CN110324366A - 数据处理方法、装置及系统 - Google Patents
数据处理方法、装置及系统 Download PDFInfo
- Publication number
- CN110324366A CN110324366A CN201810266891.3A CN201810266891A CN110324366A CN 110324366 A CN110324366 A CN 110324366A CN 201810266891 A CN201810266891 A CN 201810266891A CN 110324366 A CN110324366 A CN 110324366A
- Authority
- CN
- China
- Prior art keywords
- data
- access
- module
- list
- correlation rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据处理方法、装置及系统。其中，该方法包括：接收访问第一数据的访问请求，其中，第一数据为访问频率小于预设频率的数据；获取与第一数据具有关联关系的第二数据列表，其中，第二数据列表包含的第二数据为待预热数据；返回携带有第一数据和第二数据列表的请求结果。本申请解决了现有技术中访问频率较低的数据的命中率较低的技术问题。
Description
技术领域
本申请涉及数据处理领域，具体而言，涉及一种数据处理方法、装置及系统。
背景技术
在内容分发网络CDN(全称是Content Delivery Network)系统中，通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，能够实时根据网络流量和各节点的连接、负载状态以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。
CDN系统的本质是一个缓存系统，缓存的命中率对用户体验有巨大的影响，对于一些冷数据(也即被低频访问的数据)，由于缓存空间有限，冷数据容易被热数据(也即被高频访问的数据)挤出去，CDN不容易对冷数据进行缓存，导致命中率较低。
针对现有技术中访问频率较低的数据的命中率较低的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种数据处理方法、装置及系统，以至少解决现有技术中访问频率较低的数据的命中率较低的技术问题。
根据本申请实施例的一个方面，提供了一种数据处理方法，包括：接收访问第一数据的访问请求，其中，第一数据为访问频率小于预设频率的数据；获取与第一数据具有关联关系的第二数据列表，其中，第二数据列表包含的第二数据为待预热数据；返回携带有第一数据和第二数据列表的请求结果。
根据本申请实施例的另一方面，还提供了一种数据处理装置，包括：接收模块，用于接收访问第一数据的访问请求，其中，第一数据为访问频率小于预设频率的数据；获取模块，用于获取与第一数据具有关联关系的第二数据列表，其中，第二数据列表包含的第二数据为待预热数据；返回模块，用于返回携带有第一数据和第二数据列表的请求结果。
根据本申请实施例的另一方面，还提供了一种数据处理系统，包括：缓存模块，用于接收访问第一数据的访问请求；第一处理模块，与缓存模块连接，用于获取与第一数据具有关联关系的第二数据列表，其中，第二数据列表包含的第二数据为待预热数据；缓存模块还用于返回携带有第一数据和第二数据列表的请求结果。
根据本申请实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行如下步骤：接收访问第一数据的访问请求，其中，第一数据为访问频率小于预设频率的数据；获取与第一数据具有关联关系的第二数据列表，其中，第二数据列表包含的第二数据为待预热数据；返回携带有第一数据和第二数据列表的请求结果。
根据本申请实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行如下步骤：接收访问第一数据的访问请求，其中，第一数据为访问频率小于预设频率的数据；获取与第一数据具有关联关系的第二数据列表，其中，第二数据列表包含的第二数据为待预热数据；返回携带有第一数据和第二数据列表的请求结果。
根据本申请实施例的另一方面，还提供了一种数据处理系统，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：接收访问第一数据的访问请求，其中，第一数据为访问频率小于预设频率的数据；获取与第一数据具有关联关系的第二数据列表，其中，第二数据列表包含的第二数据为待预热数据；返回携带有第一数据和第二数据列表的请求结果。
在本申请实施例中，接收访问第一数据的访问请求，获取与第一数据具有关联关系的第二数据列表，并返回携带有第一数据和第二数据列表的请求结果，从而实现数据访问的目的。
容易注意到的是，由于第二数据为待预热数据，也即，在访问第一数据的过程中，通过缓存模块对与第一数据具有关联关系的第二数据进行预热，与现有技术相比，可以根据冷数据之间的关联关系，将冷数据缓存在缓存模块中，达到有效提升冷数据的缓存命中率，提升用户体验感的技术效果。
由此，本申请提供的方案解决了现有技术中访问频率较低的数据的命中率较低的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例1的一种数据处理系统的示意图；
图2是根据本申请实施例的一种可选的数据处理系统的示意图；
图3是根据本申请实施例1的另一种数据处理系统的示意图；
图4是根据本申请实施例的一种用于实现数据处理方法的计算机终端(或移动设备)的硬件结构框图；
图5是根据本申请实施例2的一种数据处理方法的流程图；
图6是根据本申请实施例3的一种数据处理装置的示意图；以及
图7是根据本申请实施例的一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
冷数据：可以是被低频访问的数据。
热数据：可以是被高频访问的数据。
预热数据：可以是指从源站主动缓存到缓存系统中的数据。
实施例1
由于现有技术中缓存系统存储空间有限，冷数据容易被热数据挤出去，导致冷数据命中率较低，用户体验感较差。
为了解决上述技术问题，本申请提出了一种数据处理系统。图1是根据本申请实施例1的一种数据处理系统的示意图，如图1所示，该系统可以包括：缓存模块12和第一处理模块14。
其中，缓存模块12用于接收访问第一数据的访问请求；第一处理模块14与缓存模块连接，用于获取与第一数据具有关联关系的第二数据列表，其中，第二数据列表包含的第二数据为待预热数据；缓存模块还用于返回携带有第一数据和第二数据列表的请求结果。
具体地，上述的缓存模块可以是CDN系统中用于缓存数据的服务节点，缓存模块中存储有用户访问的数据，用户每次访问网络数据时，首先可以访问缓存模块，查找缓存模块中是否存储有对应的数据资源，从而提高用户访问响应速度和命中率；上述的第一数据和第二数据均可以是冷数据，第一数据和第二数据之间的关联关系可以存在于用户历史访问行为中，用户在访问第一数据之后，总是会访问第二数据；上述的第二数据列表可以是用户之后可能会访问的资源列表，并对资源列表中的数据进行预热，存储在缓存模块中。
由于冷数据不容易缓存在缓存模块中，可以在CDN系统中增加资源预取模块(即上述的第一处理模块)，通过资源预取模块可以存储冷数据之间的关联关系，从而用户在访问第一数据的过程中，缓存模块可以返回第一数据，同时可以从资源预取模块中获取到用户之后可能会访问的冷数据的资源列表，缓存模块对列表中记录的冷数据进行预热。
需要说明的是，当用户访问的第一数据未缓存在缓存模块中时，缓存模块可以从源站中获取第一数据，并返回给用户客户端进行显示。
在一种可选的方案中，当用户需要访问一个冷数据时，用户客户端可以发送相应的访问请求至缓存模块，查询缓存模块中是否存储有该数据，由缓存模块返回相应的数据，同时，缓存模块可以将访问请求实时发送给资源预取模块，由资源预取模块根据该数据的关联关系，得到在访问该数据之后可能会访问的资源列表，并对资源列表中的冷数据进行预热，由缓存模块返回该资源列表，从而当用户访问该资源列表中的冷数据时，可以直接从缓存模块中获取到相应的数据，减少用户访问响应时间，提高命中率。
还需要说明的是，在用户访问第一数据的过程中，缓存模块也可以不返回第二数据列表，也即，可以在用户未感知的情况下，根据关联关系对第二数据进行预热。
图2是根据本申请实施例的一种可选的数据处理系统的示意图，下面结合图2以a视频和b视频具有关联关系为例进行详细说明。如图2所示，当用户访问a视频时(如图2中实线3所示)，用户可以发送访问a视频的访问请求至缓存模块，缓存模块实时将访问请求通知给资源预取模块(如图2中实线4所示)，资源预取模块查询与该a视频具有关联关系的资源列表，该资源列表中包含b视频，缓存模块在接收到资源列表之后，可以对b视频进行预热(如图2中实线5所示)，并将资源列表和a视频的视频数据返回给客户，从而提高b视频命中率。
本申请上述实施例1所提供的方案，通过缓存模块接收访问第一数据的访问请求，通过第一处理模块获取与第一数据具有关联关系的第二数据列表，并通过缓存模块返回携带有第一数据和第二数据列表的请求结果，从而实现数据访问的目的。
容易注意到的是，由于第二数据为待预热数据，也即，在访问第一数据的过程中，通过缓存模块对与第一数据具有关联关系第二数据进行预热，与现有技术相比，可以根据冷数据之间的关联关系，将冷数据缓存在缓存模块中，达到有效提升冷数据的缓存命中率，提升用户体验感的技术效果。
由此，本申请提供的上述实施例1的方案解决了现有技术中访问频率较低的数据的命中率较低的技术问题。
本申请上述实施例中，第一处理模块还用于获取预设关联规则集合，其中，预设关联规则集合用于表征数据之间的关联关系；从预设关联规则集合中获取第一数据匹配成功的目标关联规则；从目标关联规则中读取第二数据。
具体地，上述的预设关联规则集合可以是通过对缓存模块中存储的用户访问行为进行分析，得到的冷数据之间的关联关系，每一条预设关联规则中记录有两个冷数据，表明用户在访问前一个冷数据之后，有较大可能会访问后一个冷数据，例如，访问概率大于预设概率的冷数据，其中，预设概率可以是50％。
需要说明的是，由于在访问第一数据的过程中，对第二数据进行预热，可以确定目标关联规则中包括的第一数据为前一个冷数据。
在一种可选的方案中，第一处理模块在接收到访问冷数据的访问请求之后，可以从预先存储的关联规则中，获取到该冷数据为前一个冷数据的关联规则，并从中读取后一个冷数据作为第二数据。
本申请上述实施例中，如图3所示，该系统还可以包括：第二处理模块16。
其中，第二处理模块16与缓存模块连接，用于获取访问日志，对访问日志进行处理，生成预设关联规则集合；第一处理模块，与第二处理模块连接，还用于对预设关联规则集合进行结构化处理，并存储处理后的预设关联规则集合。
需要说明的是，为了确保第二处理模块可以从缓存模块即时获取到用户的访问日志，并且不影响系统正常工作，可以在CDN系统中增加关联分析数据挖掘模块(即上述的第二处理模块)，关联分析数据挖掘模块可以采用离线方式从缓存模块中获取用户访问日志。
还需要说明的是，为了方便第一处理模块从存储的大量关联规则中查询到与第一数据具有关联关系的目标规则，第一处理模可以将从关联分析数据挖掘模块中获取到的关联规则进行结构化存储，以实现快速查询。
如图2所示，关联分析数据挖掘模块可以从缓存模块离线的拉取用户的访问日志(如图2中虚线1所示)，并从中挖掘出关联规则，资源预取模块从关联分析数据挖掘模块获取关联规则(如图2中虚线2所示)，并将其结构化存储，从而资源预取模块在接收到缓存模块实时发送的访问请求之后，可以通过查询关联规则，得到后续可能会被访问的资源列表，并返回给缓存模块。
本申请上述实施例中，第二处理模块还用于对访问日志进行处理，确定访问完第一数据之后访问的其他数据，获取其他数据的访问概率，其中，访问概率用于表征访问完第一数据之后访问其他数据的概率，确定访问概率超过预设概率的其他数据为第二数据，根据第一数据和第二数据，得到待预热数据预设关联规则集合。
具体地，上述的预设概率可以是指允许将对应的数据确定为第二数据的概率，例如，可以是50％，如果访问完第一数据之后访问的数据的访问概率大于50％，则确定访问完第一数据之后有较大可能访问该数据，也即，该数据为与第一数据具有关联关系的第二数据。
在一种可选的方案中，在从访问日志中确定访问完第一数据之后访问的第二数据之后，可以将第一数据和第二数据进行绑定存储，从而得到预设关联规则集合。
如图2所示，关联分析数据挖掘模块从缓存模块中拉取到用户的访问日志之后，可以对访问日志进行处理，确定用户访问完视频a之后，会访问视频b、视频c和视频d，其中，访问视频b的访问概率为50％-75％，访问视频c的访问概率为20％-50％，访问视频d的访问频率为5％-50％，则可以确定用户访问完视频a之后有较大可能访问视频b，进一步根据视频a和视频b建立预设关联规则集合。
本申请上述实施例中，第二处理模块还用于判断访问日志是否满足预设条件，在访问日志满足预设条件的情况下，对访问日志进行处理，生成预设关联规则集合。
需要说明的是，由于第二处理模块从缓存模块获取到的访问日志既包含有热数据对应的访问日志，又包含有冷数据对应的访问日志，为了减少第二处理模块的处理量，可以对从缓存模块获取到的访问日志进行筛选，筛选出冷数据的访问日志，并从中挖掘出冷数据之间的关联规则。
具体地，上述的预设条件可以是判断访问日志中的数据是否为冷数据的条件。
如图2所示，关联分析数据挖掘模块在从缓存模块中拉取到访问日志之后，可以判断访问日志是否为冷数据的访问日志，如果是，则对冷数据的访问日志进行挖掘分析，得到冷数据之间的关联规则；如果不是，则无需对访问日志进行处理。
本申请上述实施例中，第二处理模块还用于获取访问日志中数据对应的访问频率，并判断访问频率是否小于预设频率，在访问频率小于预设频率的情况下，确定访问日志满足预设条件。
具体地，由于冷数据可以是被低频访问的数据，上述的预设频率可以是确定数据为冷数据对应的最高频率，若某个访问日志中数据的访问频率小于该预设频率，则可以确定该数据为冷数据，进一步确定该访问日志为冷数据的访问日志，可以对该访问日志进行挖掘分析，以得到冷数据之间的关联规则。
如图2所示，关联分析数据挖掘模块在从缓存模块中拉取到访问日志之后，可以获取访问日志中数据对应的访问频率，通过与预设频率进行比较，判断该数据是否为冷数据，进一步判断该访问日志是否为冷数据的访问日志，从而确定是否对该访问日志进行挖掘分析。
本申请上述实施例中，第一处理模块还用于生成携带有第二数据列表对应的缓存任务；缓存模块还用于执行缓存任务，以对第二数据进行缓存。
如图2所示，资源预取模块在从关联规则中查询到后续可能会被访问的资源列表之后，可以下发对应的预热任务给缓存模块(如图2中实线5所示)，缓存模块执行接收到的预热任务，从相应的源站中获取到b视频的视频数据，并将获取到的视频数据缓存在缓存模块本地，以方便用户从缓存模块中直接获取到b视频的视频数据，从而提高b视频命中率。
本申请上述实施例中，缓存模块还用于接收访问第二数据的访问请求，并返回携带有第二数据的请求结果。
需要说明的是，由于缓存模块已经在用户访问第一数据的过程中对第二数据进行预热，因此，当用户访问第二数据时，缓存模块可以直接将第二数据返回给用户，从而减少用户访问响应时间，提高命中率。
如图2所示，用户在访问完a视频之后，可以继续访问b视频，缓存模块在接收到访问b视频的访问请求之后，由于b视频的视频数据已经提前缓存，则可以直接将b视频的视频数据返回给用户，从而减少用户访问响应时间。同时，缓存模块还可以将该访问请求转发给资源预取模块，由资源预取模块查询相关联的数据，如果有，则返回资源列表并通过缓存模块进行预热，如果没有，则不进行任何处理。
本申请上述实施例中，缓存模块还用于将接收到的访问请求实时转发至第一处理模块。
需要说明的是，为了确保缓存模块对第二数据进行缓存的实时性，缓存模块在接收到访问请求之后，可以实时将访问请求转发给第一处理模块，通过第一处理模块查询到具有关联关系的第二数据列表，并通过缓存模块对第二数据列表中包含的第二数据进行预热。
实施例2
根据本申请实施例，还提供了一种数据处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图4示出了一种用于实现数据处理方法的计算机终端(或移动设备)的硬件结构框图。如图4所示，计算机终端40(或移动设备40)可以包括一个或多个(图中采用402a、402b，……，402n来示出)处理器402(处理器402可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器404、以及用于通信功能的传输装置406。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图4所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端40还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。
应当注意到的是上述一个或多个处理器402和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端40(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器404可用于存储应用软件的软件程序以及模块，如本申请实施例中的数据处理方法对应的程序指令/数据存储装置，处理器402通过运行存储在存储器404内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据处理方法。存储器404可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器404可进一步包括相对于处理器402远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端40。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置406用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端40的通信供应商提供的无线网络。在一个实例中，传输装置406包括一个网络适配器(Network Interface Control ler，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置406可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端40(或移动设备)的用户界面进行交互。
此处需要说明的是，在一些可选实施例中，上述图4所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图4仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。
在上述运行环境下，本申请提供了如图5所示的数据处理方法。图5是根据本申请实施例2的一种数据处理方法的流程图。如图5所示，该方法可以包括如下步骤：
步骤S502，接收访问第一数据的访问请求，其中，第一数据为访问频率小于预设频率的数据。
具体地，可以通过缓存模块接收第一访问数据的访问请求，上述的缓存模块可以是CDN系统中用于缓存数据的服务节点，缓存模块中存储有用户访问的数据，用户每次访问网络数据时，首先可以访问缓存模块，查找缓存模块中是否存储有对应的数据资源，从而提高用户访问响应速度和命中率；上述的第一数据可以是冷数据。
步骤S504，获取与第一数据具有关联关系的第二数据列表，其中，第二数据列表包含的第二数据为待预热数据。
具体地，上述的第二数据可以是冷数据，第一数据和第二数据之间的关联关系可以存在于用户历史访问行为中，用户在访问第一数据之后，总是会访问第二数据；上述的第二数据列表可以是用户之后可能会访问的资源列表，并对资源列表中的数据进行预热，存储在缓存模块中。
步骤S506，返回携带有第一数据和第二数据列表的请求结果。
由于冷数据不容易缓存在缓存模块中，可以在CDN系统中增加资源预取模块(即上述的第一处理模块)，通过资源预取模块可以存储冷数据之间的关联关系，从而用户在访问第一数据的过程中，缓存模块可以返回第一数据，同时可以从资源预取模块中获取到用户之后可能会访问的冷数据的资源列表，缓存模块对列表中记录的冷数据进行预热。
需要说明的是，当用户访问的第一数据未缓存在缓存模块中时，缓存模块可以从源站中获取第一数据，并返回给用户客户端进行显示。
在一种可选的方案中，当用户需要访问一个冷数据时，用户客户端可以发送相应的访问请求至缓存模块，查询缓存模块中是否存储有该数据，由缓存模块返回相应的数据，同时，缓存模块可以将访问请求实时发送给资源预取模块，由资源预取模块根据该数据的关联关系，得到在访问该数据之后可能会访问的资源列表，并对资源列表中的冷数据进行预热，由缓存模块返回该资源列表，从而当用户访问该资源列表中的冷数据时，可以直接从缓存模块中获取到相应的数据，减少用户访问响应时间，提高命中率。
还需要说明的是，在用户访问第一数据的过程中，缓存模块也可以不返回第二数据列表，也即，可以在用户未感知的情况下，根据关联关系对第二数据进行预热。
例如，如图2所示，当用户访问a视频时(如图2中实线3所示)，用户可以发送访问a视频的访问请求至缓存模块，缓存模块实时将访问请求通知给资源预取模块(如图2中实线4所示)，资源预取模块查询与该a视频具有关联关系的资源列表，该资源列表中包含b视频，缓存模块在接收到资源列表之后，可以对b视频进行预热(如图2中实线5所示)，并将资源列表和a视频的视频数据返回给客户，从而提高b视频命中率。
本申请上述实施例2所提供的方案，接收访问第一数据的访问请求，获取与第一数据具有关联关系的第二数据列表，并返回携带有第一数据和第二数据列表的请求结果，从而实现数据访问的目的。
容易注意到的是，由于第二数据为待预热数据，也即，在访问第一数据的过程中，通过缓存模块对与第一数据具有关联关系第二数据进行预热，与现有技术相比，可以根据冷数据之间的关联关系，将冷数据缓存在缓存模块中，达到有效提升冷数据的缓存命中率，提升用户体验感的技术效果。
由此，本申请提供的上述实施例2的方案解决了现有技术中访问频率较低的数据的命中率较低的技术问题。
本申请上述实施例中，步骤S504，获取与第一数据具有关联关系的第二数据列表包括：
步骤S5042，获取预设关联规则集合，其中，预设关联规则集合用于表征数据之间的关联关系。
具体地，上述的预设关联规则集合可以是通过对缓存模块中存储的用户访问行为进行分析，得到的冷数据之间的关联关系，每一条预设关联规则中记录有两个冷数据，表明用户在访问前一个冷数据之后，有较大可能会访问后一个冷数据，例如，访问概率大于预设概率的冷数据，其中，预设概率可以是50％。
步骤S5044，从预设关联规则集合中获取第一数据匹配成功的目标关联规则。
需要说明的是，由于在访问第一数据的过程中，对第二数据进行预热，可以确定目标关联规则中包括的第一数据为前一个冷数据。
步骤S5046，从目标关联规则中读取第二数据。
在一种可选的方案中，第一处理模块在接收到访问冷数据的访问请求之后，可以从预先存储的关联规则中，获取到该冷数据为前一个冷数据的关联规则，并从中读取后一个冷数据作为第二数据。
本申请上述实施例中，在步骤S5042，获取预设关联规则集合之前，该方法还包括：
步骤S508，获取访问日志。
步骤S510，对访问日志进行处理，生成预设关联规则集合。
需要说明的是，为了确保第二处理模块可以从缓存模块即时获取到用户的访问日志，并且不影响系统正常工作，可以在CDN系统中增加关联分析数据挖掘模块(即上述的第二处理模块)，关联分析数据挖掘模块可以采用离线方式从缓存模块中获取用户访问日志。
步骤S512，对预设关联规则集合进行结构化处理，并存储处理后的预设关联规则集合。
还需要说明的是，为了方便第一处理模块从存储的大量关联规则中查询到与第一数据具有关联关系的目标规则，第一处理模可以将从关联分析数据挖掘模块中获取到的关联规则进行结构化存储，以实现快速查询。
如图2所示，关联分析数据挖掘模块可以从缓存模块离线的拉取用户的访问日志(如图2中虚线1所示)，并从中挖掘出关联规则，资源预取模块从关联分析数据挖掘模块获取关联规则(如图2中虚线2所示)，并将其结构化存储，从而资源预取模块在接收到缓存模块实时发送的访问请求之后，可以通过查询关联规则，得到后续可能会被访问的资源列表，并返回给缓存模块。
本申请上述实施例中，步骤S510，对访问日志进行处理，生成预设关联规则集合包括：
步骤S5102，对访问日志进行处理，确定访问完第一数据之后访问的其他数据。
步骤S5104，获取其他数据的访问概率，其中，访问概率用于表征访问完第一数据之后访问其他数据的概率。
步骤S5106，确定访问概率超过预设概率的其他数据为第二数据。
具体地，上述的预设概率可以是指允许将对应的数据确定为第二数据的概率，例如，可以是50％，如果访问完第一数据之后访问的数据的访问概率大于50％，则确定访问完第一数据之后有较大可能访问该数据，也即，该数据为与第一数据具有关联关系的第二数据。
步骤S5108，根据第一数据和第二数据，得到待预热数据预设关联规则集合。
在一种可选的方案中，在从访问日志中确定访问完第一数据之后访问的第二数据之后，可以将第一数据和第二数据进行绑定存储，从而得到预设关联规则集合。
如图2所示，关联分析数据挖掘模块从缓存模块中拉取到用户的访问日志之后，可以对访问日志进行处理，确定用户访问完视频a之后，会访问视频b、视频c和视频d，其中，访问视频b的访问概率为50％-75％，访问视频c的访问概率为20％-50％，访问视频d的访问概率为5％-50％，则可以确定用户访问完视频a之后有极大可能访问视频b，进一步根据视频a和视频b建立预设关联规则集合。
本申请上述实施例中，在步骤S510，对访问日志进行处理，生成预设关联规则集合之前，该方法还包括：
步骤S514，判断访问日志是否满足预设条件。
需要说明的是，由于第二处理模块从缓存模块获取到的访问日志既包含有热数据对应的访问日志，又包含有冷数据对应的访问日志，为了减少第二处理模块的处理量，可以对从缓存模块获取到的访问日志进行筛选，筛选出冷数据的访问日志，并从中挖掘出冷数据之间的关联规则。
具体地，上述的预设条件可以是判断访问日志中的数据是否为冷数据的条件。
步骤S516，在访问日志满足预设条件的情况下，对访问日志进行处理，生成预设关联规则集合。
如图2所示，关联分析数据挖掘模块在从缓存模块中拉取到访问日志之后，可以判断访问日志是否为冷数据的访问日志，如果是，则对冷数据的访问日志进行挖掘分析，得到冷数据之间的关联规则；如果不是，则无需对访问日志进行处理。
本申请上述实施例中，步骤S514，判断访问日志是否满足预设条件包括：
步骤S5142，获取访问日志中数据对应的访问频率。
步骤S5144，判断访问频率是否小于预设频率。
具体地，由于冷数据可以是被低频访问的数据，上述的预设频率可以是确定数据为冷数据对应的最高频率，若某个访问日志中数据的访问频率小于该预设频率，则可以确定该数据为冷数据，进一步确定该访问日志为冷数据的访问日志，可以对该访问日志进行挖掘分析，以得到冷数据之间的关联规则。
步骤S5146，在访问频率小于预设频率的情况下，确定访问日志满足预设条件。
如图2所示，关联分析数据挖掘模块在从缓存模块中拉取到访问日志之后，可以获取访问日志中数据对应的访问频率，通过与预设频率进行比较，判断该数据是否为冷数据，进一步判断该访问日志是否为冷数据的访问日志，从而确定是否对该访问日志进行挖掘分析。
本申请上述实施例中，在步骤S504，获取与第一数据具有关联关系的第二数据列表之后，该方法还包括：
步骤S518，获取第二数据，并对第二数据进行缓存。
如图2所示，资源预取模块在从关联规则中查询到后续可能会被访问的资源列表之后，可以下发对应的预热任务给缓存模块(如图2中实线5所示)，缓存模块执行接收到的预热任务，从相应的源站中获取到b视频的视频数据，并将获取到的视频数据缓存在缓存模块本地，以方便用户从缓存模块中直接获取到b视频的视频数据，从而提高b视频命中率。
本申请上述实施例中，在步骤S506，返回携带有第一数据和第二数据列表的请求结果之后，该方法还包括：
步骤S520，接收访问第二数据的访问请求。
步骤S522，返回携带有第二数据的请求结果。
需要说明的是，由于缓存模块已经在用户访问第一数据的过程中对第二数据进行预热，因此，当用户访问第二数据时，缓存模块可以直接将第二数据返回给用户，从而减少用户访问响应时间，提高命中率。
如图2所示，用户在访问完a视频之后，可以继续访问b视频，缓存模块在接收到访问b视频的访问请求之后，由于b视频的视频数据已经提前缓存，则可以直接将b视频的视频数据返回给用户，从而减少用户访问响应时间。同时，缓存模块还可以将该访问请求转发给资源预取模块，由资源预取模块查询相关联的数据，如果有，则返回资源列表并通过缓存模块进行预热，如果没有，则不进行任何处理。
需要说明的是，为了确保缓存模块对第二数据进行缓存的实时性，缓存模块在接收到访问请求之后，可以实时将访问请求转发给第一处理模块，通过第一处理模块查询到具有关联关系的第二数据列表，并通过缓存模块对第二数据列表中包含的第二数据进行预热。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
实施例3
根据本申请实施例，还提供了一种用于实施上述数据处理方法的数据处理装置，如图6所示，该装置600包括：
接收模块602，用于接收访问第一数据的访问请求，其中，第一数据为访问频率小于预设频率的数据。
具体地，可以通过缓存模块接收第一访问数据的访问请求，上述的缓存模块可以是CDN系统中用于缓存数据的服务节点，缓存模块中存储有用户访问的数据，用户每次访问网络数据时，首先可以访问缓存模块，查找缓存模块中是否存储有对应的数据资源，从而提高用户访问响应速度和命中率；上述的第一数据可以是冷数据。
获取模块604，用于获取与第一数据具有关联关系的第二数据列表，其中，第二数据列表包含的第二数据为待预热数据。
具体地，上述的第二数据可以是冷数据，第一数据和第二数据之间的关联关系可以存在于用户历史访问行为中，用户在访问第一数据之后，总是会访问第二数据；上述的第二数据列表可以是用户之后可能会访问的资源列表，并对资源列表中的数据进行预热，存储在缓存模块中。
返回模块606，用于返回携带有第一数据和第二数据列表的请求结果。
由于冷数据不容易缓存在缓存模块中，可以在CDN系统中增加资源预取模块(即上述的第一处理模块)，通过资源预取模块可以存储冷数据之间的关联关系，从而用户在访问第一数据的过程中，缓存模块可以返回第一数据，同时可以从资源预取模块中获取到用户之后可能会访问的冷数据的资源列表，缓存模块对列表中记录的冷数据进行预热。
需要说明的是，当用户访问的第一数据未缓存在缓存模块中时，缓存模块可以从源站中获取第一数据，并返回给用户客户端进行显示。
此处需要说明的是，上述接收模块602、获取模块604和返回模块606对应于实施例2中的步骤S502至步骤S506，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例2所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例2提供的计算机终端40中。
本申请上述实施例3所提供的方案，接收访问第一数据的访问请求，获取与第一数据具有关联关系的第二数据列表，并返回携带有第一数据和第二数据列表的请求结果，从而实现数据访问的目的。
容易注意到的是，由于第二数据为待预热数据，也即，在访问第一数据的过程中，通过缓存模块对与第一数据具有关联关系第二数据进行预热，与现有技术相比，可以根据冷数据之间的关联关系，将冷数据缓存在缓存模块中，达到有效提升冷数据的缓存命中率，提升用户体验感的技术效果。
由此，本申请提供的上述实施例3的方案解决了现有技术中访问频率较低的数据的命中率较低的技术问题。
本申请上述实施例中，如图6所示，获取模块604包括：
第一获取单元608，用于获取预设关联规则集合，其中，预设关联规则集合用于表征数据之间的关联关系。
具体地，上述的预设关联规则集合可以是通过对缓存模块中存储的用户访问行为进行分析，得到的冷数据之间的关联关系，每一条预设关联规则中记录有两个冷数据，表明用户在访问前一个冷数据之后，有较大可能会访问后一个冷数据，例如，访问概率大于预设概率的冷数据，其中，预设概率可以是50％。
第二获取单元610，用于从预设关联规则集合中获取第一数据匹配成功的目标关联规则。
需要说明的是，由于在访问第一数据的过程中，对第二数据进行预热，可以确定目标关联规则中包括的第一数据为前一个冷数据。
读取单元612，用于从目标关联规则中读取第二数据。
此处需要说明的是，上述第一获取单元608、第二获取单元610和读取单元612对应于实施例2中的步骤S5042至步骤S5046，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例2所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例2提供的计算机终端40中。
本申请上述实施例中，如图6所示，该装置600还包括：
获取模块604，还用于获取访问日志；
生成模块614，用于对访问日志进行处理，生成预设关联规则集合。
需要说明的是，为了确保第二处理模块可以从缓存模块即时获取到用户的访问日志，并且不影响系统正常工作，可以在CDN系统中增加关联分析数据挖掘模块(即上述的第二处理模块)，关联分析数据挖掘模块可以采用离线方式从缓存模块中获取用户访问日志。
存储模块616，用于对预设关联规则集合进行结构化处理，并存储处理后的预设关联规则集合。
还需要说明的是，为了方便第一处理模块从存储的大量关联规则中查询到与第一数据具有关联关系的目标规则，第一处理模可以将从关联分析数据挖掘模块中获取到的关联规则进行结构化存储，以实现快速查询。
此处需要说明的是，上述获取模块604、生成模块614和存储模块616对应于实施例2中的步骤S508至步骤S512，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例2所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例2提供的计算机终端40中。
本申请上述实施例中，如图6所示，生成模块614包括：
第一确定单元618，用于对访问日志进行处理，确定访问完第一数据之后访问的其他数据。
第三获取单元620，用于获取其他数据的访问概率，其中，访问概率用于表征访问完第一数据之后访问其他数据的概率。
第二确定单元622，用于确定访问概率超过预设概率的其他数据为第二数据。
具体地，上述的预设概率可以是指允许将对应的数据确定为第二数据的概率，例如，可以是50％，如果访问完第一数据之后访问的数据的访问概率大于50％，则确定访问完第一数据之后有较大可能访问该数据，也即，该数据为与第一数据具有关联关系的第二数据。
处理单元624，用于根据第一数据和第二数据，得到待预热数据预设关联规则集合。
此处需要说明的是，上述第一确定单元618、第三获取单元620、第二确定单元622和处理单元624对应于实施例2中的步骤S5102至步骤S5108，四个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例2所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例2提供的计算机终端40中。
本申请上述实施例中，如图6所示，该装置600还包括：
判断模块626，用于判断访问日志是否满足预设条件。
需要说明的是，由于第二处理模块从缓存模块获取到的访问日志既包含有热数据对应的访问日志，又包含有冷数据对应的访问日志，为了减少第二处理模块的处理量，可以对从缓存模块获取到的访问日志进行筛选，筛选出冷数据的访问日志，并从中挖掘出冷数据之间的关联规则。
具体地，上述的预设条件可以是判断访问日志中的数据是否为冷数据的条件。
生成模块614还用于在访问日志满足预设条件的情况下，对访问日志进行处理，生成预设关联规则集合。
此处需要说明的是，上述判断模块626和生成模块614对应于实施例2中的步骤S514至步骤S516，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例2所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例2提供的计算机终端40中。
本申请上述实施例中，如图6所示，判断模块626包括：
第四获取单元628，用于获取访问日志中数据对应的访问频率。
判断单元630，判断访问频率是否小于预设频率。
具体地，由于冷数据可以是被低频访问的数据，上述的预设频率可以是确定数据为冷数据对应的最高频率，若某个访问日志中数据的访问频率小于该预设频率，则可以确定该数据为冷数据，进一步确定该访问日志为冷数据的访问日志，可以对该访问日志进行挖掘分析，以得到冷数据之间的关联规则。
第三确定单元632，用于在访问频率小于预设频率的情况下，确定访问日志满足预设条件。
此处需要说明的是，上述第四获取单元628、判断单元630和第三确定单元632对应于实施例2中的步骤S5142至步骤S5146，三个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例2所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例2提供的计算机终端40中。
本申请上述实施例中，如图6所示，该装置600还包括：
缓存模块634，用于获取第二数据，并对第二数据进行缓存。
此处需要说明的是，上述缓存模块634对应于实施例2中的步骤S518，该模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例2所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例2提供的计算机终端40中。
本申请上述实施例中，如图6所示，接收模块602还用于接收访问第二数据的访问请求。
返回模块606还用于返回携带有第二数据的请求结果。
需要说明的是，由于缓存模块已经在用户访问第一数据的过程中对第二数据进行预热，因此，当用户访问第二数据时，缓存模块可以直接将第二数据返回给用户，从而减少用户访问响应时间，提高命中率。
此处需要说明的是，上接收模块602和返回模块606对应于实施例2中的步骤S520至步骤S522，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例2所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例2提供的计算机终端40中。
需要说明的是，为了确保缓存模块对第二数据进行缓存的实时性，缓存模块在接收到访问请求之后，可以实时将访问请求转发给第一处理模块，通过第一处理模块查询到具有关联关系的第二数据列表，并通过缓存模块对第二数据列表中包含的第二数据进行预热。
实施例4
根据本申请实施例，还提供了一种数据处理系统，包括：
处理器；以及
存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：接收访问第一数据的访问请求，其中，第一数据为访问频率小于预设频率的数据；获取与第一数据具有关联关系的第二数据列表，其中，第二数据列表包含的第二数据为待预热数据；返回携带有第一数据和第二数据列表的请求结果。
本申请上述实施例4所提供的方案，接收访问第一数据的访问请求，获取与第一数据具有关联关系的第二数据列表，并返回携带有第一数据和第二数据列表的请求结果，从而实现数据访问的目的。
容易注意到的是，由于第二数据为待预热数据，也即，在访问第一数据的过程中，通过缓存模块对与第一数据具有关联关系第二数据进行预热，与现有技术相比，可以根据冷数据之间的关联关系，将冷数据缓存在缓存模块中，达到有效提升冷数据的缓存命中率，提升用户体验感的技术效果。
由此，本申请提供的上述实施例4的方案解决了现有技术中访问频率较低的数据的命中率较低的技术问题。
实施例5
本申请的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。
可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中，上述计算机终端可以执行数据处理方法中以下步骤的程序代码：接收访问第一数据的访问请求，其中，第一数据为访问频率小于预设频率的数据；获取与第一数据具有关联关系的第二数据列表，其中，第二数据列表包含的第二数据为待预热数据；返回携带有第一数据和第二数据列表的请求结果。
可选地，图7是根据本申请实施例的一种计算机终端的结构框图。如图7所示，该计算机终端A可以包括：一个或多个(图中仅示出一个)处理器702和存储器704。
其中，存储器可用于存储软件程序以及模块，如本申请实施例中的数据处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：接收访问第一数据的访问请求，其中，第一数据为访问频率小于预设频率的数据；获取与第一数据具有关联关系的第二数据列表，其中，第二数据列表包含的第二数据为待预热数据；返回携带有第一数据和第二数据列表的请求结果。
可选的，上述处理器还可以执行如下步骤的程序代码：获取预设关联规则集合，其中，预设关联规则集合用于表征数据之间的关联关系；从预设关联规则集合中获取第一数据匹配成功的目标关联规则；从目标关联规则中读取第二数据。
可选的，上述处理器还可以执行如下步骤的程序代码：在获取预设关联规则集合之前，获取访问日志；对访问日志进行处理，生成预设关联规则集合；对预设关联规则集合进行结构化处理，并存储处理后的预设关联规则集合。
可选的，上述处理器还可以执行如下步骤的程序代码：对访问日志进行处理，确定访问完第一数据之后访问的其他数据；获取其他数据的访问概率，其中，访问概率用于表征访问完第一数据之后访问其他数据的概率；确定访问概率超过预设概率的其他数据为第二数据；根据第一数据和第二数据，得到预设关联规则集合。
可选的，上述处理器还可以执行如下步骤的程序代码：在对访问日志进行处理，生成预设关联规则集合之前，判断访问日志是否满足预设条件；在访问日志满足预设条件的情况下，对访问日志进行处理，生成预设关联规则集合。
可选的，上述处理器还可以执行如下步骤的程序代码：获取访问日志中数据对应的访问频率；判断访问频率是否小于预设频率；在访问频率小于预设频率的情况下，确定访问日志满足预设条件。
可选的，上述处理器还可以执行如下步骤的程序代码：在获取与第一数据具有关联关系的第二数据列表之后，获取第二数据，并对第二数据进行缓存。
可选的，上述处理器还可以执行如下步骤的程序代码：在返回携带有第一数据和第二数据列表的请求结果之后，接收访问第二数据的访问请求；返回携带有第二数据的请求结果。
采用本申请实施例，接收访问第一数据的访问请求，获取与第一数据具有关联关系的第二数据列表，并返回携带有第一数据和第二数据列表的请求结果，从而实现数据访问的目的。
容易注意到的是，由于第二数据为待预热数据，也即，在访问第一数据的过程中，通过缓存模块对与第一数据具有关联关系第二数据进行预热，与现有技术相比，可以根据冷数据之间的关联关系，将冷数据缓存在缓存模块中，达到有效提升冷数据的缓存命中率，提升用户体验感的技术效果。
由此，本申请提供的方案解决了现有技术中访问频率较低的数据的命中率较低的技术问题。
本领域普通技术人员可以理解，图7所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobi leInternet Devices，MID)、PAD等终端设备。图7其并不对上述电子装置的结构造成限定。例如，计算机终端A还可包括比图7中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图7所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
实施例6
本申请的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例一所提供的数据处理方法所执行的程序代码。
可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：接收访问第一数据的访问请求，其中，第一数据为访问频率小于预设频率的数据；获取与第一数据具有关联关系的第二数据列表，其中，第二数据列表包含的第二数据为待预热数据；返回携带有第一数据和第二数据列表的请求结果。
可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：获取预设关联规则集合，其中，预设关联规则集合用于表征数据之间的关联关系；从预设关联规则集合中获取第一数据匹配成功的目标关联规则；从目标关联规则中读取第二数据。
可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：在获取预设关联规则集合之前，获取访问日志；对访问日志进行处理，生成预设关联规则集合；对预设关联规则集合进行结构化处理，并存储处理后的预设关联规则集合。
可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：对访问日志进行处理，确定访问完第一数据之后访问的其他数据；获取其他数据的访问概率，其中，访问概率用于表征访问完第一数据之后访问其他数据的概率；确定访问概率超过预设概率的其他数据为第二数据；根据第一数据和第二数据，得到预设关联规则集合。
可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：在对访问日志进行处理，生成预设关联规则集合之前，判断访问日志是否满足预设条件；在访问日志满足预设条件的情况下，对访问日志进行处理，生成预设关联规则集合。
可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：获取访问日志中数据对应的访问频率；判断访问频率是否小于预设频率；在访问频率小于预设频率的情况下，确定访问日志满足预设条件。
可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：在获取与第一数据具有关联关系的第二数据列表之后，获取第二数据，并对第二数据进行缓存。
可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：在返回携带有第一数据和第二数据列表的请求结果之后，接收访问第二数据的访问请求；返回携带有第二数据的请求结果。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (18)
1.一种数据处理方法，其特征在于，包括：
接收访问第一数据的访问请求，其中，所述第一数据为访问频率小于预设频率的数据；
获取与所述第一数据具有关联关系的第二数据列表，其中，所述第二数据列表包含的第二数据为待预热数据；
返回携带有所述第一数据和所述第二数据列表的请求结果。
2.根据权利要求1所述的方法，其特征在于，获取与所述第一数据具有关联关系的第二数据列表包括：
获取预设关联规则集合，其中，所述预设关联规则集合用于表征所述第一数据和所述第二数据之间的关联关系；
从所述预设关联规则集合中获取所述第一数据匹配成功的目标关联规则；
从所述目标关联规则中读取所述第二数据。
3.根据权利要求2所述的方法，其特征在于，在获取预设关联规则集合之前，所述方法还包括：
获取访问日志；
对所述访问日志进行处理，生成所述预设关联规则集合；
对所述预设关联规则集合进行结构化处理，并存储处理后的预设关联规则集合。
4.根据权利要求3所述的方法，其特征在于，对所述访问日志进行处理，生成所述预设关联规则集合，包括：
对所述访问日志进行处理，确定访问完所述第一数据之后访问的其他数据；
获取所述其他数据的访问概率，其中，所述访问概率用于表征访问完所述第一数据之后访问所述其他数据的概率；
确定访问概率超过预设概率的其他数据为所述第二数据；
根据所述第一数据和所述第二数据，得到所述预设关联规则集合。
5.根据权利要求3所述的方法，其特征在于，在对所述访问日志进行处理，生成所述预设关联规则集合之前，所述方法还包括：
判断所述访问日志是否满足预设条件；
在所述访问日志满足所述预设条件的情况下，对所述访问日志进行处理，生成所述预设关联规则集合。
6.根据权利要求5所述的方法，其特征在于，判断所述访问日志是否满足预设条件包括：
获取所述访问日志中数据对应的访问频率；
判断所述访问频率是否小于所述预设频率；
在所述访问频率小于所述预设频率的情况下，确定所述访问日志满足所述预设条件。
7.根据权利要求1所述的方法，其特征在于，在获取与所述第一数据具有关联关系的第二数据列表之后，所述方法还包括：
获取所述第二数据，并对所述第二数据进行缓存。
8.根据权利要求1所述的方法，其特征在于，在返回携带有所述第一数据和所述第二数据列表的请求结果之后，所述方法还包括：
接收访问所述第二数据的访问请求；
返回携带有所述第二数据的请求结果。
9.一种数据处理装置，其特征在于，包括：
接收模块，用于接收访问第一数据的访问请求，其中，所述第一数据为访问频率小于预设频率的数据；
获取模块，用于获取与所述第一数据具有关联关系的第二数据列表，其中，所述第二数据列表包含的第二数据为待预热数据；
返回模块，用于返回携带有所述第一数据和所述第二数据列表的请求结果。
10.一种数据处理系统，其特征在于，包括：
缓存模块，用于接收访问第一数据的访问请求；
第一处理模块，与所述缓存模块连接，用于获取与所述第一数据具有关联关系的第二数据列表，其中，所述第二数据列表包含的第二数据为预热数据；
所述缓存模块还用于返回携带有所述第一数据和所述第二数据列表的请求结果。
11.根据权利要求10所述的系统，其特征在于，所述第一处理模块还用于获取预设关联规则集合，其中，所述预设关联规则集合用于表征所述第一数据和所述第二数据之间的关联关系；从所述预设关联规则集合中获取所述第一数据匹配成功的目标关联规则；从所述目标关联规则中读取所述第二数据。
12.根据权利要求11所述的系统，其特征在于，所述系统还包括：
第二处理模块，与所述缓存模块连接，用于获取访问日志，对所述访问日志进行处理，生成所述预设关联规则集合；
所述第一处理模块，与所述第二处理模块连接，还用于对所述预设关联规则集合进行结构化处理，并存储处理后的预设关联规则集合。
13.根据权利要求10所述的系统，其特征在于，
所述第一处理模块还用于生成携带有所述第二数据列表对应的缓存任务；
所述缓存模块还用于执行所述缓存任务，以对所述第二数据进行缓存。
14.根据权利要求10所述的系统，其特征在于，所述缓存模块还用于接收访问所述第二数据的访问请求，并返回携带有所述第二数据的请求结果。
15.根据权利要求10所述的系统，其特征在于，所述缓存模块还用于将接收到的所述访问请求实时转发至所述第一处理模块。
16.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如下步骤：接收访问第一数据的访问请求，其中，所述第一数据为访问频率小于预设频率的数据；获取与所述第一数据具有关联关系的第二数据列表，其中，所述第二数据列表包含的第二数据为待预热数据；返回携带有所述第一数据和所述第二数据列表的请求结果。
17.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行如下步骤：接收访问第一数据的访问请求，其中，所述第一数据为访问频率小于预设频率的数据；获取与所述第一数据具有关联关系的第二数据列表，其中，所述第二数据列表包含的第二数据为待预热数据；返回携带有所述第一数据和所述第二数据列表的请求结果。
18.一种数据处理系统，其特征在于，包括：
处理器；以及
存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：接收访问第一数据的访问请求，其中，所述第一数据为访问频率小于预设频率的数据；获取与所述第一数据具有关联关系的第二数据列表，其中，所述第二数据列表包含的第二数据为待预热数据；返回携带有所述第一数据和所述第二数据列表的请求结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810266891.3A CN110324366B (zh) | 2018-03-28 | 2018-03-28 | 数据处理方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810266891.3A CN110324366B (zh) | 2018-03-28 | 2018-03-28 | 数据处理方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110324366A true CN110324366A (zh) | 2019-10-11 |
| CN110324366B CN110324366B (zh) | 2022-07-29 |
Family
ID=68110194
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810266891.3A Active CN110324366B (zh) | 2018-03-28 | 2018-03-28 | 数据处理方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110324366B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112883005A (zh) * | 2019-11-29 | 2021-06-01 | 阿里巴巴集团控股有限公司 | 数据访问的方法、装置、系统、存储介质和终端 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1961286A (zh) * | 2003-12-24 | 2007-05-09 | 英特尔公司 | 自适应高速缓存 |
| CN103491152A (zh) * | 2013-09-17 | 2014-01-01 | 华为数字技术（苏州）有限公司 | 分布式文件系统中元数据获取方法、装置及系统 |
| CN104714753A (zh) * | 2013-12-12 | 2015-06-17 | 中兴通讯股份有限公司 | 一种数据访问存储方法及装置 |
| CN105930255A (zh) * | 2015-10-16 | 2016-09-07 | 中国银联股份有限公司 | 一种系统健康度预测方法及装置 |
| CN106027595A (zh) * | 2016-04-25 | 2016-10-12 | 乐视控股（北京）有限公司 | 用于cdn节点的访问日志处理方法及系统 |
| CN106570108A (zh) * | 2016-11-01 | 2017-04-19 | 中国科学院计算机网络信息中心 | 一种云存储环境下海量数据自适应读取优化方法及系统 |
| CN106844740A (zh) * | 2017-02-14 | 2017-06-13 | 华南师范大学 | 基于内存对象缓存系统的数据预读方法 |
| CN206460441U (zh) * | 2017-01-06 | 2017-09-01 | 南京普天通信股份有限公司 | 一种基于分布式软件定义存储的数据存储装置 |
| CN107277125A (zh) * | 2017-06-13 | 2017-10-20 | 网宿科技股份有限公司 | 文件预取指令推送方法、装置及文件预取系统 |
| CN107426302A (zh) * | 2017-06-26 | 2017-12-01 | 腾讯科技（深圳）有限公司 | 访问调度方法、装置、系统、终端、服务器及存储介质 |
-
2018
- 2018-03-28 CN CN201810266891.3A patent/CN110324366B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1961286A (zh) * | 2003-12-24 | 2007-05-09 | 英特尔公司 | 自适应高速缓存 |
| CN103491152A (zh) * | 2013-09-17 | 2014-01-01 | 华为数字技术（苏州）有限公司 | 分布式文件系统中元数据获取方法、装置及系统 |
| CN104714753A (zh) * | 2013-12-12 | 2015-06-17 | 中兴通讯股份有限公司 | 一种数据访问存储方法及装置 |
| CN105930255A (zh) * | 2015-10-16 | 2016-09-07 | 中国银联股份有限公司 | 一种系统健康度预测方法及装置 |
| CN106027595A (zh) * | 2016-04-25 | 2016-10-12 | 乐视控股（北京）有限公司 | 用于cdn节点的访问日志处理方法及系统 |
| CN106570108A (zh) * | 2016-11-01 | 2017-04-19 | 中国科学院计算机网络信息中心 | 一种云存储环境下海量数据自适应读取优化方法及系统 |
| CN206460441U (zh) * | 2017-01-06 | 2017-09-01 | 南京普天通信股份有限公司 | 一种基于分布式软件定义存储的数据存储装置 |
| CN106844740A (zh) * | 2017-02-14 | 2017-06-13 | 华南师范大学 | 基于内存对象缓存系统的数据预读方法 |
| CN107277125A (zh) * | 2017-06-13 | 2017-10-20 | 网宿科技股份有限公司 | 文件预取指令推送方法、装置及文件预取系统 |
| CN107426302A (zh) * | 2017-06-26 | 2017-12-01 | 腾讯科技（深圳）有限公司 | 访问调度方法、装置、系统、终端、服务器及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112883005A (zh) * | 2019-11-29 | 2021-06-01 | 阿里巴巴集团控股有限公司 | 数据访问的方法、装置、系统、存储介质和终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110324366B (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106528432B (zh) | 测试场景数据的构建方法及装置、埋点测试方法 | |
| CN104639426B (zh) | 群组成员添加方法及装置 | |
| CN107682397B (zh) | 客户资源获取方法、装置、终端设备及存储介质 | |
| CN106471543B (zh) | 跨客户端设备上的多个应用的用户交互关联 | |
| CN106156133B (zh) | 控制表单重复提交的方法、装置及系统 | |
| CN104243598B (zh) | 一种信息推荐方法及装置 | |
| CN109947795A (zh) | 目标数据的获取方法和装置 | |
| CN106933871A (zh) | 短链接处理方法、装置及短链接服务器 | |
| CN109711713A (zh) | 确定派单司机的方法、装置以及存储介质 | |
| CN108737534A (zh) | 一种基于区块链的数据传输方法、装置、区块链系统 | |
| CN107181779A (zh) | 访问请求的处理方法、装置和系统 | |
| CN107347015A (zh) | 一种内容分发网络的识别方法、装置及系统 | |
| CN108512869A (zh) | 一种采用异步化方式处理并发数据的方法及系统 | |
| CN106303420A (zh) | 一种应用于运动目标的监控方法及监控系统 | |
| CN107690149A (zh) | 触发网络策略更新的方法、管理功能实体及核心网设备 | |
| CN107231398A (zh) | 信息交互方法及装置 | |
| CN109726808B (zh) | 神经网络训练方法和装置、存储介质及电子装置 | |
| CN109918553A (zh) | 移动终端爬取数据的方法、装置、移动终端和存储介质 | |
| CN110324366A (zh) | 数据处理方法、装置及系统 | |
| CN109246160A (zh) | 访问互联网应用的方法、装置、系统及设备 | |
| CN104753933A (zh) | 一种数据处理方法、装置、客户端及服务器 | |
| CN105516271A (zh) | 业务处理系统、业务处理方法及装置 | |
| CN102957702B (zh) | 请求数据的方法及客户端 | |
| CN110191362B (zh) | 数据传输方法及装置、存储介质及电子设备 | |
| CN107527508A (zh) | 路况信息获取方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |