CN108011934A - 一种处理资源数据的方法和装置 - Google Patents

Abstract

本发明涉及通信技术领域，提供一种处理资源数据的方法和装置。所述方法包括：在访问预设的采集地址后接收响应消息；基于响应消息中当前资源数据的数据值，从与当前资源数据对应的当前下载链接中识别失效链接，并且从与采集地址关联的在先下载链接中识别与失效链接匹配的目标下载链接；下线目标下载链接及其对应的目标资源数据。因此本发明解决在以预设的采集地址访问第三方服务商提供的资源时，由于未及时与第三方服务商同步下线该资源，导致用户无法从第三方服务商处下载该资源的问题，造成用户体验差。

Description

一种处理资源数据的方法和装置

技术领域

本发明涉及通信技术领域，尤其涉及一种资源推荐中处理资源数据的方法、装置、应用商店服务器和计算机存储介质。

背景技术

在相关技术中，应用商店系统包括安装在客户端上的应用商店app和与客户端通信的应用商店服务器，当用户在应用商店app的显示界面上产生下载行为时，应用商店app会根据下载链接访问第三方服务商，第三方服务商向客户端反馈与下载链接对应的资源，例如：游戏应用、直播app、新闻app等。其中，应用商店服务器从第三方服务商爬取下载链接、资源版本信息等版本信息，并且推送给各个客户端。

如图1所示，安装有应用商店app的电视110、应用商店服务器120和第三方服务商130之间可以相互通信，应用商店服务器120利用网络爬虫技术从第三方服务商130获取应用版本信息(例如：版本号、应用下载链接等)，并对运行在电视110的应用商店app中的应用版本信息更新，在应用商店app的显示界面上发生用户点击操作时，应用商店app根据下载地址访问第三方服务商130，以下载更新的应用版本。

然而，在应用商店服务器对客户端上的应用版本信息更新之后，若第三方服务商将更新的应用版本下线，而应用商店服务器未同步得知便不会对客户端再次更新，在用户点击下载页面上更新资源的下载链接时，客户端继续以已经更新的下载链接无法成功访问第三方服务商，导致下载失败的问题，降低用户粘度。

发明内容

有鉴于此，本发明提供一种，解决现有技术中用户无法感知第三方服务商下线资源数据时，导致用户访问用于下载该资源数据的下载链接不成功，从而造成下载失败的问题。

具体地，本发明通过如下技术方案实现：

第一方面，本发明提供一种资源推荐中处理资源数据的方法，所述方法包括以下具体步骤：

在访问预设的采集地址后接收响应消息；基于响应消息中当前资源数据的数据值，从与当前资源数据对应的当前下载链接中识别失效链接，并且从与采集地址关联的在先下载链接中识别与失效链接匹配的目标下载链接；下线目标下载链接及其对应的目标资源数据。

第二方面，基于相同的构思，本发明还提供一种资源推荐中处理资源数据的装置，所述装置包括以下具体单元：

接收单元，用于在访问预设的采集地址后接收响应消息；

识别单元，用于基于响应消息中当前资源数据的数据值，从与当前资源数据对应的当前下载链接中识别失效链接，并且从与采集地址关联的在先下载链接中识别与失效链接匹配的目标下载链接；

下线单元，用于下线目标下载链接及其对应的目标资源数据。

第三方面，基于相同的构思，本申请还提供一种应用商店服务器，该应用商店服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述程序时实现以下步骤，该步骤包括第一方面所述的方法步骤。

第四方面，基于相同的构思，本申请还提供一种计算机存储介质，该计算机存储介质用于储存为处理资源数据的装置所用的计算机软件指令，其包含针对执行第一方面所述方法步骤所设计的程序代码。

本发明实施例提供的技术方案带来的有益效果是：

相比于现有技术，本申请通过预设的采集地址访问该采集地址对应的第三方服务商之后，根据响应消息中当前资源数据的数据值，识别与该当前资源数据对应的当前下载链接的有效性，以及时主动同步第三方服务商提供下载链接的有效性，对失效链接匹配的在先下载链接及其关联的在先资源数据进行下线处理，以在向用于推荐资源时，可以仅推荐未下线的下载链接和资源数据，可以克服用户不能识别下载链接的有效性，造成用户访问第三方提服务商提供的资源数据失败的问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是现有技术中应用商店系统示意图；

图2是本发明实施例一提供的一种在资源推荐中处理资源数据的方法流程图；

图3是本发明实施例一提供的另一种在资源推荐中处理资源数据的方法流程图；

图4是本发明实施例二提供的一种在资源推荐中处理资源数据的装置示意图；

图4a是本发明实施例二提供的图4中识别单元示意图；

图5是本发明实施例二提供的一种应用商店系统结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一

如图2所示，是本发明一种在资源推荐中处理资源数据的方法的流程图，该方法包括以下具体步骤：

步骤S210：接收在访问预设的采集地址后的响应消息；

在本实施例中，应用商店服务器利用爬虫技术定时从第三方服务商爬取资源数据，根据预先设置的爬取策略中预设URL地址，在预设的访问时间到达时，访问该ULR地址，并在访问之后接收该URL地址下返回的响应消息，解析该响应消息后可以得到当前资源数据和用于下载当前资源数据的当前下载链接，该当前资源数据可以是默认图片、应用描述信息或者用于在视频详情页上显示的视频描述信息等。

表1

示范性的，如表1所示，在应用商店服务器中配置第三方服务商提供的采集地址为http://jieqian.2345.com/web/m/register/index.html，设置访问该采集地址的时间间隔为2天，访问的起始时间为19：28：00，在访问该采集地址后，接收响应消息，该响应消息为抓取的当前资源包，该资源包中包括应用ID、应用URL和应用描述信息，其中，与应用ID为66956093对应的应用描述信息不存在。

在接收前述响应消息之前，在媒资库中存储有访问采集地址得到的在先资源数据和用于下载该在先资源数据的在先下载链接，该在先下载链接推送给用户，可以在用户执行下载操作时，利用在先下载链访问与采集地址对应的第三方服务商提供的资源数据。

步骤S220：基于响应消息中当前资源数据的数据值，从对应于当前资源数据的当前下载链接中识别失效链接，并且从与采集地址关联的在先下载链接中识别与失效链接匹配的目标下载链接。

解析响应消息得到该响应消息中携带的当前资源数据和用于下载当前资源数据的当前下载链接，对与该当前下载链接对应的当前资源数据统计，在统计过程中记录各条当前资源数据的数据值，该数据值可以是存储当前资源数据所需要的字节值，然后判断前述各个字节值与第一阈值之间的大小关系，以识别出该当前下载链接中的失效链接。

若前述字节值不大于第一阈值，将该字节值对应的当前下载链接作为失效链接，并且从当前下载链接中提取该失效链接，否则，将当前下载链接作为有效链接且过滤掉该有效链接。

示范性的，如表1所示，与应用ID为66956093关联的应用描述信息的字节值为0，0小于第一阈值50，并且与应用ID为52469013关联的应用描述信息的字节值为174字节，174大于第一阈值50，此时将http:\/\/imtt.dd.qq.com\/16891\/1B1D9AD1E38AB4F97008D25C3E073894.a pk？fsname＝com.jieqian2345_1.2.6_126.apk&csr＝f7fb作为失效链接并提取出包含该失效链接的对应关系。

以前述失效链接匹配在先下载链接，在失效链接与在先下载链接匹配成功时，也就表示该在先下载链接已经是失效链接，将该在先下载链接作为目标下载链接且从在先下载链接中提取出该在先下载链接及其对应的目标资源数据；当前下载链接中失效链接与在先下载链接匹配不成功时，表示该在先下载链接为有效链接，则以从当前下载链接中过滤掉的有效链接及其对应的当前资源数据更新在先下载链接及其对应的在先资源数据，可以是将过滤掉的有效链接及其对应的当前资源数据删除后再添加前述在先下载链接及其对应的在先资源数据。

在更新在先下载链接及其对应的在先资源数据过程中，以当前下载链接中过滤掉的有效链接分别与当前下载链接中失效链接匹配不成功的在先下载链接匹配；若该有效链接与该在先下载链接匹配成功，直接以该有效链接及其对应的当前资源数据替换该在先下载链接及其对应的在先下载链接；若该有效链接与任一该在先下载链接匹配不成功，则在在先下载链接中添加该有效链接及其对应的当前资源数据，该有效链接用于访问预设的采集地址对应的服务器，可以从服务器下载应用安装包或者视频。

可选地，当从在先下载链接中识别出有效链接时，对该有效链接或者包含该有效链接的关联关系进行标记，根据标记信息，以当前下载链接中有效链接及其关联的当前资源数据，更新在先下载链接和在先资源数据之间的关联关系，并且用于区分未更新的包含在先下载链接的关联关系。

步骤S230：下线目标下载链接对应的目标资源数据。

从在先下载链接中提取出的失效链接为目标下载链接，对该目标下载链接及其对应的目标在先资源数据进行下线处理，该下线处理是指在接收到资源更新请求时，禁止将提取出的失效链接及其对应的目标资源数据作为该资源更新请求的响应数据，禁止的方式可以包括从媒资库中删除或者设置为下线状态，该下线状态是指对目标下载链接及其关联的在先下载链接进行标记的标记信息，该标记信息用于过滤掉前述失效链接及其对应的目标资源数据。

如此，可以通过抓取到的资源数据自身携带的数据信息，判断下载链接的有效性，并且提取出其中失效链接，以识别出失效链接对应的在先下载链接，进而主动下线该在线下载链接及其对应的在先资源数据，能够减小与采集地址对应的第三方服务商下线资源数据的时间差，部分用户可以无感知第三方服务下线资源数据，实现克服现有技术中，用户需要多次访问下线链接才能确定下载链接失效的问题。

作为一种可选的实施方式，当接收到响应消息时，公布步骤S210之后的详细流程图，如图3所示。

步骤S310：根据传输当前资源数据的流量值和第二阈值之间的大小关系，从用于定位所述当前资源数据的当前下载链接中提取有效链接。

在根据预设的采集地址访问第三方服务商提供的当前资源数据后，将包含当前资源数据和用于在网络中定位当前资源数据的当前URL地址的抓取包传输到访问设备上，该抓取包为响应消息。

根据响应消息中当前资源数据存储所需的总字节值和各条当前资源数据的字节值，以该字节值与总字节值之间的比值作为权重值，以该权重值与传输前述响应消息的总流量值之间的乘积作为当前资源数据的流量值，然后判断该流量值与第二阈值之间的大小，以识别出当前下载链接中的失效链接，过滤掉该失效链接，并且提取出其中的有效链接。

具体的，当前述当前资源数据的流量值大于第二阈值时，将该流量值对应的当前下载链接作为有效链接且提取该有效链接；当前述流量值小于或等于第二阈值时，将该流量值对应的当前下载链接作为失效链接且保留不提取该失效链接，也即过滤掉该失效链接。

步骤S320：以与采集地址关联的在先下载链接匹配当前下载链接中的有效链接，更新与该有效链接匹配的在先下载链接及其对应的在先资源数据。

以从当前下载链接中提取出的有效链接与在先下载链接匹配，各条在先下载链接分别关联在先资源数据，并且存储在媒资库中，该媒资库以采集地址命名。

具体的，当前述提取出的有效链接与在先下载链接匹配相同时，表示该在先下载链接为有效链接，则以提取出的有效链接对应的当前资源数据替换该在先下载链接关联的在先资源数据，可选地，也可以在该当前资源数据、在先资源数据之间和在先下载链接之间建立关联关系，以更新在先下载资源，并以更新的时间戳作为标识信息标记当前下载资源。

可选地，为了避免重复匹配，提高匹配效率，对在先资源数据更新时，对包含当前资源数据的在先下载链接进行标记，标记信息用于区分在先资源数据已经更新，可以是数字、字符串等，例如：对在先下载链接添加标记信息0-后为0-http:\/\/pp.myapp.com，根据标记信息跳过在先下载链接，不存在标记信息的在先下载链接继续与下一个当前下线链接匹配

当前述提取出的有效链接与各个在先下载链接均未匹配成功时，表示该有效链接及其对应的当前下载资源是第三方服务商新上线的下载链接，则在媒资库中添加该有效链接与当前资源数据之间的关联关系，添加后的该关联关系即转变为在先关联关系，并对该在先关联关系中有效链接标记，或者对添加的时间戳标记该关联关系中的当前资源数据标记，该标记使用的标记信息与以当前资源数据更新的关联关系使用的标记信息不同，例如：利用标记信息1-对在先下载链接标记后得到的下载链接为1-http:\/\/pp.myapp.com，或者，利用添加时的时间戳标记后得到在先下载链接为1484333913010/http:\/\/pp.myapp.com。

可选地，在接收到响应消息时，首先预判响应消息的数据值与第三阈值之间的大小关系，以根据该大小关系选择前述具体实施方式中描述的处理资源数据的算法。

具体的，当响应消息的总字节值大于第三阈值时，表示响应消息中的失效链接较少，即该失效链接少于有效链接，则从当前下载链接中提取失效链接，当响应消息的总字节值大于第三阈值时，表示响应消息中的无效链接较多，即该失效链接多于有效链接，则从当前下载链接中提取有效链接。

该第三阈值可以根据每次访问采集地址得到的响应消息的字节值，计算各个字节值的累计平均值得到，或者，根据每次响应消息中有效链接的字节值和前述权重值累计计算得到的加权平均值，也可以运维人员根据经验设置的经验值(经验值的范围)，例如：第三阈值设置为500kb，响应消息的总字节值为400kb，此时预判响应消息中的失效链接较多，返回1，1用于指示失效链接多于有效链接，根据1从当前下载链接提取出失效链接，或者响应消息的总字节值为550kb，此时预判响应消息中的有效专利较多，返回0，0用于指示有效链接多于失效链接，根据0从当前下载链接提取出有效链接。

步骤S330：以不包含标记信息的在先下载链接为目标下载链接且下线目标下载链接及其对应的目标资源数据。

在先下载链接中包含标记信息的在先下载链接为有效链接，以不包含标记信息的在先下载链接为与当前下载链接中失效链接匹配的失效链接，也即目标下载链接，如此实现从在先下载链接中识别目标下载链接，并且对目标下载链接及其关联的目标资源数据进行下线处理。

进一步地，在接收到有客户端发送的资源更新请求时，向客户端返回更新后的在先资源数据及其关联的在先资源数据，也即未执行下线处理的在先下载链接及其对应的在先资源数据。如此，对于部分用户而言，不会感知第三方服务商下线资源数据，导致下载资源数据失败的问题。

可选地，根据更新后的在先下载链接及其与在先资源数据之间的关联关系，推送包含有标记信息的关联关系。

实施例二

基于相同的构思，本发明实施例二还提供一种处理资源数据的装置，该装置可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，本发明的处理测试数据的装置作为一个逻辑意义上的装置，是通过其所设备的CPU将存储器中对应的计算机程序指令读取后运行而成。

本发明一种示例性实施方式中的一种处理资源数据的装置，该装置基本运行环境包括CPU，存储器以及其他硬件，从逻辑层面上来看，该装置400的逻辑结构如图4所示，其中包括：

接收单元410，用于在访问预设的采集地址后接收响应消息；

识别单元420，用于基于响应消息中当前资源数据的数据值，从与当前资源数据对应的当前下载链接中识别失效链接，并且从与采集地址关联的在先下载链接中识别与失效链接匹配的目标下载链接；

下线单元430，用于下线目标下载链接及其对应的目标资源数据。

可选的，如图4a所示，在装置400中，识别单元420包括第一识别单元421和第二识别单元422，其中，第一识别单元421用于基于当前资源数据的字节值和第一阈值之间的大小关系，识别失效链接；当字节值不大于第一阈值时，确定该当前下载链接为失效链接且提取该失效链接，当字节值大于第一阈值时，确定该当前下载链接为有效链接且过滤掉该有效链接。

第二识别单元422用于基于当前资源数据的字节值与响应消息的总字节值确定权重值；当权重值与传输响应消息的总流量值之间的乘积小于或等于第二阈值时，确定权重值对应的当前下载链接为失效链接且过滤掉失效链接；当权重值与传输响应消息的总流量值之间的乘积大于第二阈值时，确定权重值对应的当前下载链接为有效链接且提取有效链接。

切换单元423，用于根据响应消息的总数据值与第三阈值之间的大小关系，预判当前下载链接中有效链接和失效链接之间的的个数大小；若失效链接的个数不大于有效链接的个数，则提取失效链接；若失效链接的个数大于有效链接的个数，则提取有效链接。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

实施例三

参考图5所示，本发明实施例三还提供一种应用商店系统500，该应用商店系统500中包括应用商店服务器510和安装有应用商店程序的客户端520，应用商店服务器510包括与客户端520建立通信的通信接口511和与通信接口511之间交互数据的处理器512，以及与该处理器512通过控制总线513与存储器514链接，存储器514中存储有计算机程序，该计算机程序可以在处理器上运行，并且计算机程序处于运行状态时，处理器512从媒资库515中读取数据，实现实施例一中描述的步骤和功能。

可选地，应用商店服务器中还包括与处理器连接的推送装置，当接收到客户端发送的资源更新请求时，将媒资库中未下线的下载链接及其关联的资源数据推送给客户端，客户端接收后存储在存储器中，并且通过处理器与本地存储的下载链接及其对应的资源数据匹配进行更新。

本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种资源推荐中处理资源数据的方法，其特征在于，所述方法包括以下具体步骤：

在访问预设的采集地址后接收响应消息；

基于所述响应消息中当前资源数据的数据值，从与所述当前资源数据对应的当前下载链接中识别失效链接，并且从与所述采集地址关联的在先下载链接中识别与所述失效链接匹配的目标下载链接；

下线所述目标下载链接及其对应的目标资源数据。

2.根据权利要求1所述的方法，其特征在于，在基于所述响应消息中当前资源数据的数据值，从与所述当前资源数据对应的当前下载链接中识别失效链接，并且从与所述采集地址关联的在先下载链接中识别与所述失效链接匹配的目标下载链接中，具体包括：

基于所述当前资源数据的字节值和第一阈值之间的大小关系，识别所述失效链接；

当所述字节值小于或等于所述第一阈值时，确定所述当前下载链接为所述失效链接且提取所述失效链接；

当所述字节值大于所述第一阈值时，确定所述当前下载链接为有效链接且过滤掉所述有效链接。

3.根据权利要求2所述的方法，其特征在于，在基于所述响应消息中当前资源数据的数据值，从与所述当前资源数据对应的当前下载链接中识别失效链接，并且从与所述采集地址关联的在先下载链接中识别与所述失效链接匹配的目标下载链接中，具体包括：

以提取出的所述失效链接遍历在所述媒资库中存储的所述在先下载链接，判断所述失效链接是否与所述在先下载链接匹配；

若是，则确定所述在先下载链接为所述目标下载链接；

若否，则确定所述在先下载链接为有效链接且对所述在先下载链接标记，以及根据标记使用的标记信息、所述当前下载链接中有效链接及其与当前资源数据的关联关系，更新所述在先下载链接和在先资源数据之间的关联关系。

4.根据权利要求1所述的方法，其特征在于，在基于所述响应消息中当前资源数据的数据值，从与所述当前资源数据对应的当前下载链接中识别失效链接，并且从与所述采集地址关联的在先下载链接中识别与所述失效链接匹配的目标下载链接中，具体包括：

基于所述当前资源数据的字节值与所述响应消息的总字节值确定权重值；

当所述权重值与传输所述响应消息的总流量值之间的乘积小于或等于第二阈值时，确定所述权重值对应的所述当前下载链接为失效链接且过滤掉所述失效链接；

当所述权重值与传输所述响应消息的总流量值之间的乘积大于第二阈值时，确定所述权重值对应的所述当前下载链接为有效链接且提取所述有效链接；

根据所述在先下载链接及其与在先资源数据之间的关联关系，识别出与从所述当前下载链接中提取出的所述有效链接匹配的所述在先下载链接，以及将与所述有效链接不匹配的所述在先下载链接作为目标下载链接。

5.根据权利要求1-4任一项所述的方法，其特征在于，在下线所述目标下载链接及其对应的目标资源数据中，具体包括：

根据所述目标下载链接和所述目标下载链接之间的关联关系，删除所述目标下载链接和所述目标资源数据，或者将所述目标下载链接和所述目标资源数据设置为下线状态。

6.根据权利要求1-4任一项所述的方法，其特征在于，在基于所述响应消息中当前资源数据的数据值，从与所述当前资源数据对应的当前下载链接中识别失效链接中，具体包括：

根据所述响应消息与第三阈值之间的大小关系，预判所述当前下载链接中有效链接和所述失效链接之间的的个数大小；

若所述失效链接的个数不大于所述有效链接的个数，则提取所述失效链接；

若所述失效链接的个数大于所述有效链接的个数，则提取所述有效链接。

7.根据权利要求1-4任一项所述的方法，其特征在于，在下线所述目标下载链接及其对应的目标资源数据之后，具体包括：

接收资源更新请求；

根据所述资源更新请求中携带的下载链接，推送用于反馈资源更新请求的有效链接及其对应的所述当前资源数据。

8.一种资源推荐中处理资源数据的装置，其特征在于，所述装置包括：

接收单元，用于在访问预设的采集地址后接收响应消息；

识别单元，用于基于所述响应消息中当前资源数据的数据值，从与所述当前资源数据对应的当前下载链接中识别失效链接，并且从与所述采集地址关联的在先下载链接中识别与所述失效链接匹配的目标下载链接；

下线单元，用于下线所述目标下载链接及其对应的目标资源数据。

9.一种应用商店服务器，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行上述程序时实现以下步骤，该步骤包括权利要求1-7任一项所述方法步骤。

10.一种计算机存储介质，其特征在于，包括：所述计算机存储介质用于储存为处理资源数据的装置所用的计算机软件指令，所述计算机软件指令包含针对执行权利要求1至7任一项所述的方法所设计的程序代码。