CN107862016A

CN107862016A - 一种专题页面的配置方法

Info

Publication number: CN107862016A
Application number: CN201711041008.2A
Authority: CN
Inventors: 赵德坤; 邵飞虎; 朱启凯
Original assignee: Jiangxi Borui Tongyun Technology Co Ltd
Current assignee: Beijing Borui Tongyun Technology Co.,Ltd.
Priority date: 2017-10-30
Filing date: 2017-10-30
Publication date: 2018-03-30
Anticipated expiration: 2037-10-30
Also published as: CN107862016B

Abstract

本发明实施例涉及一种专题页面的配置方法，包括：第一服务器调用多个第二服务器的分类接口信息；获取相对应的应用数据；对应用数据进行解析，解析得到应用名、版本信息和应用描述信息；在应用信息数据库中查找是否具有应用名；当没有查找到应用名时，将应用数据储存在应用信息数据库中；当找到应用名时，查找相对应的版本信息；判断解析得到的版本信息是否高于查找得到的版本信息；当高于时，在应用信息数据库中更新相对应的应用信息；对应用描述信息进行分词处理，得到多个标签信息；将专题的专题配置信息与应用信息数据库中每个应用名对应的标签信息进行匹配度计算；获取相对应的应用数据，并添加到相对应的专题页面配置列表中。

Description

一种专题页面的配置方法

技术领域

本发明涉及数据处理领域，尤其涉及一种专题页面的配置方法。

背景技术

随着移动终端技术及网络技术的飞速发展，越来越多的用户选择在手机或平板电脑等移动终端上下载应用软件，各种专为移动终端用户打造的应用获取平台，例如应用商店也应运而生。

应用商店运营过程中，通常会挑选某些相关的应用包装成一个专题，配上一系列的问题和图案，推送给用户，以方便用户在相关的应用中挑选自己喜欢的应用下载。

专题的配置主要包括应用数据的获取和专题应用的配置两个部分，在现有的应用数据获取过程中由于存储数据结构的限制，只能从一个服务器进行应用数据的抓取，且抓取过程繁琐；且在专题应用配置过程中只能根据应用的分类进行配置，造成用户体验度极差。

发明内容

本发明的目的是针对现有技术的缺陷，提供一种专题页面的配置方法，能够从不同的服务器对应用数据进行抓取，从而获得广泛的资源数据，且抓取过程简单；并且在专题应用配置过程中通过分词得到标签，再进行标签匹配，为专题应用的配置提供了合理的依据，在向用户推送时大大提高了用户体验度。

有鉴于此，本发明实施例提供了一种专题页面的配置方法，包括：第一服务器调用配置数据库中的多个第二服务器的分类接口信息；

根据预设任务参数获取相对应的应用数据；所述应用数据包括应用名和相关联的应用信息；所述应用信息中包括版本信息和应用描述信息；

对所述应用数据进行解析，解析得到所述应用名、版本信息和应用描述信息；

在应用信息数据库中查找是否具有所述应用名；

当没有查找到所述应用名时，将所述应用数据储存在所述应用信息数据库中；

当找到所述应用名时，在所述应用信息数据库中查找相对应的版本信息；

判断所述解析得到的版本信息是否高于所述查找得到的版本信息；

当高于时，根据所述应用名，在所述应用信息数据库中更新相对应的应用信息；

根据所述应用名获取相对应的应用描述信息，对所述应用描述信息进行分词处理，得到多个标签信息；

建立应用名和所述多个标签信息之间的关联关系，并储存到所述应用信息数据库中；

将专题的专题配置信息与所述应用信息数据库中每个应用名对应的标签信息进行匹配度计算；

根据匹配度计算结果获取相对应的应用数据，并添加到相对应的专题页面配置列表中。

优选的，在所述第一服务器调用配置数据库中的多个第二服务器的分类接口信息之前，所述方法还包括：

获取多个所述第二服务器的分类接口信息，并储存在所述配置数据库中。

优选的，在所述根据预设任务参数获取相对应的应用数据之前，所述方法还包括：

所述第一服务器根据所述多个第二服务器的分类接口信息配置抓取器的数量。

进一步优选的，所述根据预设任务参数获取相对应的应用数据具体为：

所述抓取器根据配置参数和预设任务参数获取相对应的应用数据。

优选的，在所述将专题配置信息与所述应用信息数据库中每个应用名对应的标签信息进行匹配度计算之前，所述方法还包括：

所述第一服务器创建所述专题；

将所述专题对应的状态信息设置为未完成状态；

配置所述专题相对应的专题配置信息；所述专题配置信息中包括多个关键词信息。

进一步优选的，所述将专题的专题配置信息与所述应用信息数据库中每个应用名对应的标签信息进行匹配度计算具体为：

将所述专题对应的多个关键词信息与所述每个应用名对应的多个标签信息进行匹配度计算。

进一步优选的，所述方法还包括：

所述第一服务器将所述专题页面配置列表发送给管理员用户终端；

接收管理员用户终端发送的选择指令；

根据所述选择指令更新所述专题页面配置列表：

将所述专题对应的状态信息更改为已完成状态。

进一步优选的，在所述将所述专题对应的状态信息更改为已完成状态之后，所述方法还包括：

获取状态信息为已完成状态专题的专题页面配置列表；

根据所述专题页面配置列表生成专题页面。

优选的，所述应用信息数据库为开源文档型数据库。

本发明实施例提供的一种专题页面的配置方法，能够从不同的服务器对应用数据进行抓取，从而获得广泛的资源数据，且抓取过程简单；并且在专题应用配置过程中通过分词得到标签，再进行标签匹配，为专题应用的配置提供了合理的依据，在向用户推送时大大提高了用户体验度。

附图说明

图1为本发明实施例提供的一种专题页面的配置方法流程图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

图1为本发明实施例提供的一种专题页面的配置方法流程图，如图1所示，包括：

步骤101，第一服务器调用配置数据库中的多个第二服务器的分类接口信息；

其中，第一服务器是指用于应用信息抓取以及专题配置的服务器，在本例中，第一服务器可以为应用商城的服务器。第一服务器的抓取器可以向多个第二服务器进行应用信息的抓取，抓取器可以理解为爬虫；多个第二服务器可以分别为百度、腾讯等公司下的应用市场开放平台,提供开放给第三方使用的API接口，第二服务器主要储存应用数据，具体可以包括应用的详情描述信息和下载地址等，每个第二服务器具有多个分类接口信息，以供第一服务器抓取不同种类应用的数据。

在步骤101之前，方法还包括：第一服务器获取多个第二服务器的分类接口信息，并储存在配置数据库中，也就是说，在配置数据库中储存所有的第二服务器相对应的多个接口。

步骤102，根据预设任务参数获取相对应的应用数据；

获取应用数据之前，第一服务器根据多个第二服务器的分类接口信息配置抓取器的数量。具体的，第一服务器统计多个第二服务器下的分类接口数量，根据爬虫与待抓取任务分类的配比来创建爬虫数量，比如配比可以为1:5，即每个爬虫负责5个相同来源的分类抓取，如百度下设定了8个分类，则要创建两个爬虫，一个爬虫负责5个分类的抓取，另一个爬虫只负责3个分类。不同的第二服务器不能共用一个爬虫。

爬虫根据配置参数和预设任务参数获取相对应的应用数据。其中，配置参数可以包括抓取频率、抓取深度、网页页面的抓取延时条件以及网页中数据存放队列条件；预设任务参数可以包括检索词和初始抓取地址等。在一个具体的例子中，爬虫抓取应用数据，根据返回参数“是否存在下一页”来判断是否进行继续抓取。爬虫的最大抓取深度受抓取配置参数配置，默认深度配置为100，即如果100页数据是否存在下一页返回“True”，爬虫也不再进行抓取。

爬虫抓取到的应用数据中包括应用名和相关联的应用信息，应用信息中可以包括版本信息和应用描述信息，还可以包括应用来源、下载地址等；其中版本信息可以具体为版本号。

步骤103，对应用数据进行解析，解析得到应用名、版本信息和应用描述信息；

在应用数据抓取之后，为保证信息不重复，因此需要对应用数据进行解析，得到上述应用名、版本信息和应用描述信息。

步骤104，在应用信息数据库中查找是否具有应用名；

其中，应用信息数据库用于储存抓取到的应用数据，应用信息数据库为开源文档型数据库，开源文档型数据库是一种基于文档结构的非关系型数据库，因可开放市场返回应用协议标准不一，而开源文档型数据库对存储数据的结构没有模式限制，可以以JSON格式数据直接存取，所以使用开源文档型数据库来应对结构的不统一。

为保证应用信息数据库储存的应用数据不重复，通过应用名进行应用数据的验证。

具体的，当没有查找到应用名时，执行步骤105，将应用数据储存在应用信息数据库中；

在应用信息数据库中没有查找到该用户名，说明该应用名对应的应用数据没有被抓取过，因此将抓取到的应用数据储存在应用信息数据库中。在步骤105之后执行步骤109。

当找到应用名时，执行步骤106，在应用信息数据库中查找相对应的版本信息；

在应用信息数据库中查找到该用户名，说明该应用名对应的应用数据被抓取过，因此需要通过版本信息判断哪个是最新版本，从而保证应用信息数据库中储存的应用数据为最新版本，因此在步骤106之后执行步骤107。

步骤107，判断解析得到的版本信息是否高于查找得到的版本信息；

具体的，第一服务器判断解析得到的版本号与应用信息数据库中储存的版本号进行大小比较，当版本号大于当前应用信息数据库中已存储数据时进行更新，否则放弃处理。

当高于时，执行步骤108，根据应用名，在应用信息数据库中更新相对应的应用信息；

在更新应用信息或储存应用数据之后，第一服务器将相对应的应用名添加到下载成功队列中，并根据应用名生成提示信息。

步骤109，根据应用名获取相对应的应用描述信息，对应用描述信息进行分词处理，得到多个标签信息；

具体的，当下载成功队列中有信消息后，第一服务器的分词单元立即读取消息，解析出应用名，根据应用名从应用信息数据库中获取相对应的应用描述信息，将应用描述介绍信息使用IKAnalyzer分词器进行分词，将分词结果作为标签信息。

其中，IKAnalyzer分词器使用基于字符串匹配算法根据配置词典来对文本进行分词处理，即扫描字符串，如果发现字符串的子串与词相同，即视为匹配成功，将该词作为一个标签信息，因此经分词处理后对于一个应用名对应的应用描述信息可以得到多个标签信息。

步骤110，建立应用名和多个标签信息之间的关联关系，并储存到应用信息数据库中；

为了便于应用的搜索，快速准确判断应用的分类以及具体功能，将应用名与分词得到的多个标签信息进行关联，并储存到应用信息数据库中。

步骤111，将专题的专题配置信息与应用信息数据库中每个应用名对应的标签信息进行匹配度计算；

在步骤111之前，方法还包括：第一服务器创建专题，专题是指应用商店运营过程中通常会挑选某些相关的应用包装成一个专题，配上一系列的问题和图案推送给用户，丰富页面元素、扩大应用的下载量；在创建专题后，将专题对应的状态信息设置为未完成状态；并且配置专题相对应的专题配置信息，专题配置信息中包括多个关键词信息。

具体的，将专题对应的多个关键词信息分别与每个应用名对应的多个标签信息进行匹配度计算，每个应用名都得到一个与专题相对应的匹配度计算结果。

在一个具体的例子中，可以以专题对应的多个关键词信息与应用名对应的多个标签信息的重合个数计算来计算匹配度；也可以将专题的每一个关键词信息依次与多个标签信息进行相似度计算，将相似度进行和运算处理得到最终的匹配度计算结果。

步骤112，根据匹配度计算结果获取相对应的应用数据，并添加到相对应的专题页面配置列表中。

具体的，应用数据的获取具体可以依据两种方式：第一种方式是设定专题相对应的匹配度阈值，当计算得到的应用相对应的匹配度计算结果到达匹配度阈值时，根据应用名在应用信息数据库中获取相对应的应用数据，并将应用数据添加到专题页面配置列表中；第二种是设定专题相对应的预设应用数量，对各个应用匹配度计算结果进行排序，根据排序结果选取预设应用数量的应用，将相对应的应用数据添加到专题页面配置列表中。

在优选的实施例中，为了进一步保证专题发布的合理性，第一服务器将专题页面配置列表发送给管理员用户终端，管理员用户终端对专题页面配置列表进行显示，由管理员进行确认筛选，第一服务器接收管理员用户终端发送的选择指令；根据选择指令更新专题页面配置列表：并将专题对应的状态信息更改为已完成状态，从而完成一个专题页面列表的配置。

第一服务器可以同时配置多个专题，在配置完成后，第一服务器获取状态信息为已完成状态专题的专题页面配置列表；根据专题页面配置列表生成专题页面，从而将专题进行发布。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种专题页面的配置方法，其特征在于，所述方法包括：

第一服务器调用配置数据库中的多个第二服务器的分类接口信息；

在应用信息数据库中查找是否具有所述应用名；

2.根据权利要求1所述的专题页面的配置方法，其特征在于，在所述第一服务器调用配置数据库中的多个第二服务器的分类接口信息之前，所述方法还包括：

3.根据权利要求1所述的专题页面的配置方法，其特征在于，在所述根据预设任务参数获取相对应的应用数据之前，所述方法还包括：

4.根据权利要求3所述的专题页面的配置方法，其特征在于，所述根据预设任务参数获取相对应的应用数据具体为：

5.根据权利要求1所述的专题页面的配置方法，其特征在于，在所述将专题配置信息与所述应用信息数据库中每个应用名对应的标签信息进行匹配度计算之前，所述方法还包括：

所述第一服务器创建所述专题；

将所述专题对应的状态信息设置为未完成状态；

6.根据权利要求5所述的专题页面的配置方法，其特征在于，所述将专题的专题配置信息与所述应用信息数据库中每个应用名对应的标签信息进行匹配度计算具体为：

7.根据权利要求5所述的专题页面的配置方法，其特征在于，所述方法还包括：

接收管理员用户终端发送的选择指令；

根据所述选择指令更新所述专题页面配置列表：

将所述专题对应的状态信息更改为已完成状态。

8.根据权利要求7所述的专题页面的配置方法，其特征在于，在所述将所述专题对应的状态信息更改为已完成状态之后，所述方法还包括：

获取状态信息为已完成状态专题的专题页面配置列表；

根据所述专题页面配置列表生成专题页面。

9.根据权利要求1所述的专题页面的配置方法，其特征在于，所述应用信息数据库为开源文档型数据库。