CN103399877B - 基于Android应用的垂直搜索方法及系统 - Google Patents

Abstract

本发明提供了一种基于android应用的垂直搜索方法及系统，整个策略方法由爬虫系统所支撑，系统的核心平台包含数据分析系统、智能搜索算法核心、接口工程。整个系统的流程是爬虫系统每日定时的爬取指定网站的有效数据，存档。之后，数据分析系统每日对新入库的数据进行预处理，其中包含了大量应用的细节处理，到此搜索基础数据准备完毕。当接口工程收到http请求之后，由servlet节点配置信息分发至对应的类，进行搜索处理。其中，核心就是调用智能搜索算法，并返回结果集。最后，通过接口工程，以josn形式对外提供数据。本发明能帮助用户更方便，更好地发现和获取内容，真正成为连接用户与包括各大应用商店在内的内容网站的高速公路，给用户带来更佳搜索体验。

Description

基于Android应用的垂直搜索方法及系统

技术领域

本发明涉及一种搜索方法及系统，特别是一种基于android应用的垂直搜索方法及系统，属通信领域。

背景技术

对于当前android应用的现状而言，在提供方，应用提供商众多，竞争激烈。用户寻找与选择应用困难，各大商店收录的应用数量及速度各不相同，单一商店应用搜索不够全面，应用推荐各有特色，例如听说了一个新应用，但花费大量时间，找遍了几个应用商店，最后才在一个小角落里找到。另外，单一商店应用评分不权威、评论内容较少。

而在应用使用者而言，用户希望有一个途径能够便捷、全面的找到自己想找应用，最好像搜索引擎一样全面方便；希望了解最权威的应用下载热度，了解最潮的应用；希望在下载前就了解应用的质量，权威的评论与评分；希望在网上搜索到应用后，立马能够下载并安装到自己的手机；下载具备口碑传播特性，用户希望了解他人下过什么应用，同时分享给自己的好友。

基于这样一种现状需要去提供一个android应用的垂直搜索平台，专注于为用户提供更好的工具，帮助用户更方便，更好地发现和获取内容，真正成为连接用户与包括各大应用商店在内的内容网站的高速公路。在给用户带来更佳搜索体验的同时，也把更多的流量带给各大应用市场，共同帮助用户找到自己喜欢的应用、游戏。

发明内容

在发明内容部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

针对以上问题，本发明提供了一种基于android应用的垂直搜索方法及系统。本发明能帮助用户更方便，更好地发现和获取内容，真正成为连接用户与包括各大应用商店在内的内容网站的高速公路，给用户带来更佳搜索体验。

本发明采用的技术方案如下：

一种基于android应用的垂直搜索方法，其特征在于所述搜索方法具体包括如下步骤：

利用爬虫系统周期性爬取指定网站的有效数据，存档；

数据分析系统每日对新入库的数据进行预处理，完成搜索基础数据准备；

以智能搜索算法，根据给定的关键字进行标签的匹配以及相似度的计算、筛选符合条件的应用，同时按照下载量、相似度、标签匹配情况等多重权重，给出搜索结束展示策略；

对每一款应用名称进行机械分词，抓取有效词条，更精准的定位用户想找的应用信息；

对每一款应用名称转化成拼音，以此实现拼音检索；

给每款应用编辑多个特色标签，实现语义搜索；

当接口工程收到http请求之后，由其web.xml中的servlet节点配置信息分发至对应的类，进行搜索的处理，处理过程中调用智能搜索算法，并返回结果集；

最后，通过接口工程，以josn形式对外提供数据。

根据本发明所述的搜索方法，进一步的，所述预处理包含常规预处理和例外预处理，还有数据清洗、聚类分析、相似归类、热度分析等应用细节处理。

根据本发明所述的搜索方法的智能搜索算法以中英文标签为键值的索引文件，搜索的核心就是进行索引文件与关键字的匹配。

根据本发明的搜索方法的爬取周期为一天完成一次爬取。

根据本发明的搜索方法的数据清洗指剔除下载链接无效的应用信息，剔除完全重复的应用信息，剔除内容违法或者违反互联网要求的应用信息，以此保证提供给用户有效、健康的应用信息。

根据本发明的搜索方法的聚类分析指对不同超市同一软件做算法归类、对同一软件不同版本做算法归类。

根据本发明的搜索方法的相似归类，主要是针对名称相似，作者、版本、大小信息都一致的应用可以做相似归类。

根据本发明的搜索方法的热度分析，主要是对应用进行下载总量、单日下载量、周下载量、排名变化速度等多维度进行的热度分析。

根据本发明的搜索方法，合并相似应用、剔除重复应用、剔除无效应用信息。

基于android应用的垂直搜索系统，其特征在于包括

爬虫系统，用于抓取国内主流的ANDROID超市的应用信息并汇总，及时的数据更新，以提供最全面的应用搜索服务；

数据分析系统，对汇总的信息完成规预处理和例外预处理，以及数据清洗、聚类分析、相似归类、热度分析等应用细节处理；

智能搜索算法，根据给定的关键字进行标签的匹配以及相似度的计算、筛选符合条件的应用，同时按照下载量、相似度、标签匹配情况等多重权重，给出搜索结束展示策略；

中文机械分词系统，针对应用的名称，进行中文分词，筛选有意义的实词，忽略无意义虚词，从而帮助用户更精准的定位他想找的应用信息；

中英文转换系统，对每一款应用名称转化成拼音字符串，当用户输入全英文字符串时，进行拼音字符串的相似度计算，按照既定规则，筛选最相似应用，从而实现拼音检索功能；

后台运营支撑系统，编辑人员通过后台可以给每款应用编辑一个或多个与应用名称无关的分类性、内容性的标签，从而，当用户输入这些标签时，可以找到相关的应用，实现语义搜索功能；

接口服务系统，把网络上所有资源进行唯一的定位，无论文件是图片、文件Word还是视频文件，还是txt文件格式、xml文件格式或其它文本文件格式，利用支持HTTP的TCP/IP协议来确定互联网上的资源，以XML和JSON的形式返回结果。

根据本发明的系统，在文机械分词系统中，将两个字及以上的词条作为有效词条，孤立的单个字儿，予以丢弃。

根据本发明的系统，在后台运营支撑系统中，给应用贴与名称无关、与内容相关、与类别相近的热门词条作为标签，便于用户进行模糊检索。

本发明能有效帮助用户更方便，更好地发现和获取内容，真正成为连接用户与包括各大应用商店在内的内容网站的高速公路。在给用户带来更佳搜索体验的同时，也把更多的流量带给各大应用市场，共同帮助用户找到自己喜欢的应用、游戏。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例子及及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明系统模块及工作原理示意图；

图2为本发明网络爬虫系统的工作流程图；

图3为本发明数据分析系统的处理示意图；

图4为本发明了智能搜索算法的核心逻辑示意图；

图5为本发明基于restlet的接口服务示意图。

具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

为了彻底了解本发明，将在下列的描述中提出详细的细节，显然，本发明的施行不限定于通信领域的技术人员所熟习的特殊细节。本发明的较佳实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。

本发明实现了一种基于android应用的垂直搜索技术及策略方法，整个策略方法由爬虫系统所支撑，系统的核心平台包含数据分析系统、智能搜索算法核心、接口工程。整个系统的流程是：爬虫系统每日定时的爬取指定网站的有效数据，存档。之后，数据分析系统每日对新入库的数据进行预处理，其中包含了常规预处理和例外预处理，还有数据清洗、聚类分析、相似归类、热度分析等大量应用的细节处理。到此搜索基础数据准备完毕。当接口工程收到http请求之后，由其web.xml中的servlet节点配置信息分发至对应的类，进行搜索的处理。其中，核心的就是调用智能搜索算法，并返回结果集。最后，通过接口工程，以josn形式对外提供数据。参考图1，说明本发明整个系统模块及工作原理，如图1所示该基于android应用的垂直搜索技术包括：

网络爬虫系统：抓取国内主流的ANDROID超市（安智、安卓、N多、天翼空间、机锋、优亿、木蚂蚁市场等）的应用信息，包含：软件名称、软件版本、软件评分、下载次数、发布时间、作者、分类、资费、大小、评论、应用超市、下载地址等；周期为一天完成一次爬取；多个主流市场信息的汇总，以及及时的数据更新，以此保证了基础信息的最全、最新，由此，我们可以为用户提供最全面的应用搜索服务。

数据分析系统：数据清洗部分，剔除下载链接无效的应用信息，剔除完全重复的应用信息，剔除内容违法或者违反互联网要求的应用信息，以此保证提供给用户有效、健康的应用信息；聚类分析，其特征在于：对不同超市同一软件做算法归类、对同一软件不同版本做算法归类；相似归类，其特征在于：针对名称相似，作者、版本、大小信息都一致的应用可以做相似归类。

中文机械分词系统：针对应用的名称，进行中文分词，筛选有意义的实词，忽略无意义虚词，从而帮助用户更精准的定位他想找的应用信息；

中英文转换系统，其特征在于：对每一款应用名称转化成拼音字符串，当用户输入全英文字符串时，进行拼音字符串的相似度计算，按照既定规则，筛选最相似应用，从而实现拼音检索功能；

后台运营支撑系统：编辑人员通过后台可以给每款应用编辑一个或多个与应用名称无关的分类性、内容性的标签，从而，当用户输入这些标签时，可以找到相关的应用，实现语义搜索功能。

接口服务，它可以把网络上所有资源进行唯一的定位，不管你的文件是图片、文件Word还是视频文件，也不管你的文件是txt文件格式、xml文件格式还是其它文本文件格式；它利用支持HTTP的TCP/IP协议来确定互联网上的资源；它以XML和JSON的形式返回结果。

网络爬虫系统，爬取国内主流android应用商店的应用信息，为用户提供最全最新的应用；图2对爬取过程进行了描述。其中解析规则，主要是提取有效数据的一系列规则。参考图2，描述了网络爬虫系统的具体流程，核心是解析规则的指定，通过这一解析规则，爬虫系统不断获取指定网页的数据，将符合条件的数据存档，不符合条件的数据丢弃。该系统每日定时执行一次，保证了数据的及时更新。

数据分析处理系统，对不同超市同一软件做算法归类、对同一软件不同版本做算法归类，从而实现android应用的相似归类，同时进行了数据清洗，聚类分析，下载排行，热度分析，用户行为分析。图3对爬取过程进行了描述。其中，预处理主要是对应用名称、版本的基于正则表达式的规则处理，通过这样的预处理，有助于我们进行相似归类，将同一款软件进行合并。数据清洗，主要是剔除下载链接无效的应用信息，剔除完全重复的应用信息，剔除内容违法或者违反互联网要求的应用信息，以此保证提供给用户有效、健康的应用信息。聚类分析，主要是对不同超市同一软件做算法归类、对同一软件不同版本做算法归类。相似归类，主要是针对名称相似，作者、版本、大小信息都一致的应用可以做相似归类。热度分析，主要是对应用进行下载总量、单日下载量、周下载量、排名变化速度等多维度进行的热度分析。参考图3，描述了数据分析系统的具体流程，每天对新数据进行预处理、数据清洗，聚类分析、相似归并等业务，另外针对大量的应用进行热度分析，筛选最热门的应用和上升最快的应用，从而给用户更好的推荐建议，另外还有用户行为分析，通过分析用户的多维行为如搜索、下载、浏览、分享等行为，分析用户偏好，给出用户推荐。

智能搜索算法，根据给定的关键字进行标签的匹配以及相似度的计算、筛选符合条件的应用，同时按照下载量、相似度、标签匹配情况等多重权重，给出搜索结束展示策略。图4对智能搜索算法进行了描述。其中，基于中英文的标签匹配方案，前提是建立以中英文标签为键值的索引文件，然后让关键字与中英文标签键值进行匹配。参考图4，描述了智能搜索算法的具体逻辑，针对一个指定的搜索关键字，先进行中英文判断，然后启动对应的标签匹配策略，在索引文件中寻找相匹配的应用ID。如果结果不为空则返回，如果结果为空，则启动相似度算法，筛选形似度高于80%应用，结果的排序由指定的排序策略生成，最后将结果返回。

中文机械分词系统，对每一款应用名称进行机械分词，抓取有效词条，更精准的定位用户想找的应用信息；中英文转换系统，对每一款应用名称转化成拼音，以此实现拼音检索；后台运营支撑系统，通过后台，编辑人员可以给每款应用编辑多个特色标签，实现语义搜索。

接口工程，对外提供基于restlet框架的搜索服务。参考图5，描述了接口工程的工作流程，核心是restlet框架技术，服务端不断的接受客户端的http请求。web.xml进行了servlet的配置，拦截以那些开头的请求；Component文件，是组件类，在此可以对restlet进行分布式管理，将多台服务器和restlet进行关联；application文件，将在这里管理每个路径将映射到那个类；Resource文件进行类的处理；Service接口，定义获取数据的接口接口格式；ServiceImpl类，具体获取数据。最后以json的格式将结果返回。

本发明已经通过上述实施例进行了说明，但应当理解的是，上述实施例只是用于举例和说明的目的，而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人员可以理解的是，本发明并不局限于上述实施例，根据本发明的教导还可以做出更多种的变型和修改，这些变型和修改均落在本发明所要求保护的范围以内。本发明的保护范围由附属的权利要求书及其等效范围所界定。

Claims (10)

1.一种基于android应用的垂直搜索方法，其特征在于所述搜索方法具体包括如下步骤：

利用爬虫系统周期性爬取指定网站的有效数据，存档；

数据分析系统每日对新入库的数据进行预处理，完成搜索基础数据准备；

以智能搜索算法，根据给定的关键字进行标签的匹配以及相似度的计算、筛选符合条件的应用，同时按照下载量、相似度和标签匹配情况三重权重给出搜索结果展示策略；

对每一款应用名称进行机械分词，抓取有效词条，更精准的定位用户想找的应用信息；

对每一款应用名称转化成拼音，以此实现拼音检索；

给每款应用编辑多个特色标签，实现语义搜索；

当接口工程收到http请求之后，由其web.xml中的servlet节点配置信息分发至对应的类，进行搜索的处理，处理过程中调用智能搜索算法，并返回结果集；

最后，通过接口工程，以josn形式对外提供数据。

2.根据权利要求1所述的搜索方法，其特征在于所述预处理包含常规预处理和例外预处理，还有数据清洗、聚类分析、相似归类和热度分析四个应用细节处理。

3.根据权利要求1所述的搜索方法，其特征在于智能搜索算法以中英文标签为键值的索引文件，搜索的核心就是进行索引文件与关键字的匹配。

4.根据权利要求1所述的搜索方法，其特征在于所述周期为一天完成一次爬取。

5.根据权利要求2所述的搜索方法，其特征在于所述数据清洗指剔除下载链接无效的应用信息，剔除完全重复的应用信息，剔除内容违法或者违反互联网要求的应用信息，以此保证提供给用户有效、健康的应用信息。

6.根据权利要求2所述的搜索方法，其特征在于所述聚类分析指对不同超市同一软件做算法归类、对同一软件不同版本做算法归类。

7.根据权利要求2所述的搜索方法，其特征在于合并相似应用、剔除重复应用、剔除无效应用信息。

8.基于android应用的垂直搜索系统，其特征在于包括

爬虫系统，用于周期性爬取指定网站的有效数据，存档；

数据分析系统，用于每日对新入库的数据进行预处理，完成搜索基础数据准备；

智能搜索算法，根据给定的关键字进行标签的匹配以及相似度的计算、筛选符合条件的应用，同时按照下载量、相似度和标签匹配情况三重权重给出搜索结果展示策略；

中文机械分词系统，用于对每一款应用名称进行机械分词，抓取有效词条，更精准的定位用户想找的应用信息；

中英文转换系统，用于对每一款应用名称转化成拼音，以此实现拼音检索；

后台运营支撑系统，用于给每款应用编辑多个特色标签，实现语义搜索；

接口服务系统，在接口工程收到http请求之后，由其web.xml中的servlet节点配置信息分发至对应的类，进行搜索的处理，处理过程中调用智能搜索算法，并返回结果集，再通过接口工程，以josn形式对外提供数据。

9.根据权利要求8所述的系统，其特征在于在文机械分词系统中，将两个字及以上的词条作为有效词条，孤立的单个字儿，予以丢弃。

10.根据权利要求8所述的系统，其特征在于在后台运营支撑系统中，给应用贴与名称无关、与内容相关、与类别相近的热门词条作为标签，便于用户进行模糊检索。