CN110083761B - 一种基于内容流行度的数据分发方法、系统及存储介质 - Google Patents

一种基于内容流行度的数据分发方法、系统及存储介质 Download PDF

Info

Publication number
CN110083761B
CN110083761B CN201811214431.2A CN201811214431A CN110083761B CN 110083761 B CN110083761 B CN 110083761B CN 201811214431 A CN201811214431 A CN 201811214431A CN 110083761 B CN110083761 B CN 110083761B
Authority
CN
China
Prior art keywords
data
popularity
content
data service
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811214431.2A
Other languages
English (en)
Other versions
CN110083761A (zh
Inventor
杨慧杰
刘娜
李国栋
陈健军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Electronic and Information Technology of CETC
Original Assignee
China Academy of Electronic and Information Technology of CETC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Electronic and Information Technology of CETC filed Critical China Academy of Electronic and Information Technology of CETC
Priority to CN201811214431.2A priority Critical patent/CN110083761B/zh
Publication of CN110083761A publication Critical patent/CN110083761A/zh
Application granted granted Critical
Publication of CN110083761B publication Critical patent/CN110083761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12—Replacement control
    • G06F12/121—Replacement control using replacement algorithms
    • G06F12/126—Replacement control using replacement algorithms with special data handling, e.g. priority of data or instructions, handling errors or pinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G06F2212/1021—Hit rate improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/15—Use in a specific computing environment
    • G06F2212/154—Networked environment

Abstract

本发明公开了一种基于内容流行度的数据分发方法、系统及计算机可读存储介质，本发明设计了包含“数据服务中心‑数据服务中心‑数据用户”三个层级的移动数据服务系统模型，本发明的数据服务中心能够优化本地存储的数据内容，增强自身服务用户的能力，降低从数据内容服务器取数据的次数。同时，本发明通过对用户数据需求信息的在线学习实时估计数据内容流行度，并基于此提出了基于内容流行度的缓存替换算法。相比于传统的缓存替换算法，该缓存替换算法能增加缓存命中率，具有更快的收敛速度，在移动数据服务系统中可以为用户提供更高质量和更低成本的数据服务。

Description

一种基于内容流行度的数据分发方法、系统及存储介质
技术领域
本发明涉及计算机技术领域，特别是涉及一种基于内容流行度的数据分发方法、系统及计算机可读存储介质。
背景技术
移动信息系统的应用场景具有通信带宽受限、实时性要求高、系统用户数量众多、机动性强、散布范围广等特点，并且随着侦察感知手段的不断增强，数据集规模也急剧膨胀。传统的数据分发方式为发布/订阅机制。发布订阅机制中有两类角色，发布者和订阅者。发布者生成信息，给共享的信息命名(称为主题)，并将信息直接发送给感兴趣的订阅者；订阅者注册感兴趣的主题，并在主题信息有变化时接收信息。发布订阅机制在日常生活中的例子有广播电视、杂志、新闻报纸等。
近年来，逐步出现了一些基于用户兴趣的数据分发模型，通过朴素贝叶斯、人工神经网络、加权内容相似度等方法对用户的历史数据和定制信息进行分析，挖掘用户兴趣，建立用户兴趣模型，将实时数据与用户兴趣模型匹配，向用户推送其感兴趣的数据，过滤其不感兴趣的数据，从而实现按需分发。
由于数据服务中心和终端用户往往在物理上和逻辑上都有较远的距离，数据的传递过程需要经过多次转发，从而影响了现有的数据分发方法中数据服务时效性。
发明内容
本发明提供了一种基于内容流行度的数据分发方法、系统及计算机可读存储介质，以解决现有技术中现有的数据分发方法中数据服务时效性差的问题。
本发明一方面提供了一种基于内容流行度的数据分发方法，包括：
预设数据服务站；所述数据服务站基于内容流行度从数据服务中心获取数据信息，进行缓存，并向周边预定范围内的用户提供数据服务。
优选地，所述数据服务站基于内容流行度从数据服务中心获取数据信息，包括：所述数据服务站通过流行度估计函数计算内容流行度，并根据内容的流行度从数据服务中心获取数据信息。
优选地，所述数据服务站基于内容流行度从数据服务中心获取数据信息，进行缓存，并向周边预定范围内的用户提供数据服务，包括：
创建向量Tf和Rf，并初始化为0，其中，Rf为数据f总的用户请求次数，Tf为数据f总的缓存次数，在初始化阶段，每个周期Δt，从数据内容服务器顺序取m个数据进行缓存，直到所有的数据内容都被至少缓存一次，初始化阶段结束，将缓存记作C，其大小为m，当前缓存C中的数据集合记作
Figure BDA0001833185400000021
计算当前周期的数据内容流行度，通过内容流行度函数，缓存替换决策基于Tf,Rf和周期数n计算数据流行度
Figure BDA0001833185400000022
计算下一步需要缓存的内容
Figure BDA0001833185400000023
计算方法为：对PEF(f)进行排序，选取流行度最大的m个数据作为下一步应该存储的数据/>
Figure BDA0001833185400000024
计算Cexpired和Cnew，其中Cexpired表示在
Figure BDA0001833185400000025
中而不在/>
Figure BDA0001833185400000026
中的数据集，Cnew表示在
Figure BDA0001833185400000027
中而不在/>
Figure BDA0001833185400000028
中的数据集，计算公式如下：
Figure BDA0001833185400000029
Figure BDA00018331854000000210
数据分发，当收到一条用户数据请求后，从数据内容服务器获取相应的数据fk，当
Figure BDA00018331854000000211
则将该数据信息直接分发至用户，当/>
Figure BDA00018331854000000212
则从数据内容服务器获取数据fk并将其分发至用户.
优选地，所述数据服务站根据预设的缓存替换策略对缓存的数据进行更新。
优选地，所述缓存替换策略包括：如果fk∈Cnew，则从本地缓存中随机地删除一个数据fk'，fk'∈Cexpried，并存储fk，将fk的索引从
Figure BDA0001833185400000031
中移除，将fk'的索引从Cexpried中移除；否则，直接更新Tf和Rf。
本发明另一方面提供了一种基于内容流行度的数据分发系统，包括：
数据服务中心，用于存储全部的数据信息，通过卫星通信与数据服务站进行通信，提供数据服务；
数据用户，用于从数据服务站订阅数据信息；
数据服务站，用于基于内容流行度从数据服务中心获取数据信息，进行缓存，并向周边预定范围内的数据用户提供数据服务。
优选地，所述数据服务站还用于，创建向量Tf和Rf，并初始化为0，其中，Rf为数据f总的用户请求次数，Tf为数据f总的缓存次数，在初始化阶段，每个周期Δt，从数据内容服务器顺序取m个数据进行缓存，直到所有的数据内容都被至少缓存一次，初始化阶段结束，将缓存记作C，其大小为m，当前缓存C中的数据集合记作
Figure BDA0001833185400000032
计算当前周期的数据内容流行度，通过内容流行度函数，缓存替换决策基于Tf,Rf和周期数n计算数据流行度
Figure BDA0001833185400000033
计算下一步需要缓存的内容/>
Figure BDA0001833185400000034
计算方法为：对PEF(f)进行排序，选取流行度最大的m个数据作为下一步应该存储的数据/>
Figure BDA0001833185400000035
计算Cexpired和Cnew，其中Cexpired表示在/>
Figure BDA0001833185400000036
中而不在/>
Figure BDA0001833185400000037
中的数据集，Cnew表示在/>
Figure BDA0001833185400000038
中而不在/>
Figure BDA0001833185400000039
中的数据集，计算公式如下：/>
Figure BDA00018331854000000310
数据分发，当收到一条用户数据请求后，从数据内容服务器获取相应的数据fk，当/>
Figure BDA00018331854000000311
则将该数据信息直接分发至用户，当/>
Figure BDA00018331854000000312
则从数据内容服务器获取数据fk并将其分发至用户.
优选地，所述数据服务站还用于，根据预设的缓存替换策略对缓存的数据进行更新。
优选地，所述缓存替换策略包括：如果fk∈Cnew，则从本地缓存中随机地删除一个数据fk'，fk'∈Cexpried，并存储fk，将fk的索引从
Figure BDA0001833185400000041
中移除，将fk'的索引从Cexpried中移除；否则，直接更新Tf和Rf。
本发明再一方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有信号映射的计算机程序，所述计算机程序被至少一个处理器执行时，以实现上述任一种所述的基于内容流行度的数据分发方法。
本发明有益效果如下：
本发明设计了包含“数据服务中心-数据服务站-数据用户”三个层级的移动数据服务系统模型，本发明的数据服务站能够优化本地存储的数据内容，增强自身服务用户的能力，降低从数据内容服务器取数据的次数。同时，本发明通过对用户数据需求信息的在线学习实时估计数据内容流行度，并基于此提出了基于内容流行度的缓存替换算法。相比于传统的缓存替换算法，该缓存替换算法能增加缓存命中率，具有更快的收敛速度，在移动数据服务系统中可以为用户提供更高质量和更低成本的数据服务。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例的数据服务系统的模型的结构示意图；
图2是本发明实施例的数据缓存节点架构与信息交互关系示意图；
图3是本发明实施例的一种数据分发算法的流程示意图；
图4是本发明实施例的另一种数据分发算法的流程示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明第一实施例提供了一种基于内容流行度的数据分发系统，如图1所示，该系统包括：
数据服务中心，用于存储全部的数据信息，通过卫星通信与数据服务站进行通信，提供数据服务；
数据用户，用于从数据服务站订阅数据信息；
数据服务站，用于基于内容流行度从数据服务中心获取数据信息，进行缓存，并向周边预定范围内的数据用户提供数据服务。
本发明设计了包含“数据服务中心-数据服务站-数据用户”三个层级的移动数据服务系统模型，本发明的数据服务站能够优化本地存储的数据内容，增强自身服务用户的能力，降低从数据内容服务器取数据的次数。同时，本发明通过对用户数据需求信息的在线学习实时估计数据内容流行度，并基于此提出了基于内容流行度的缓存替换算法。相比于传统的缓存替换算法，该缓存替换算法能增加缓存命中率，具有更快的收敛速度，在移动数据服务系统中可以为用户提供更高质量和更低成本的数据服务。
具体实施时，本发明实施例中，所述数据服务站还用于，创建向量Tf和Rf，并初始化为0，其中，Rf为数据f总的用户请求次数，Tf为数据f总的缓存次数，在初始化阶段，每个周期Δt，从数据内容服务器顺序取m个数据进行缓存，直到所有的数据内容都被至少缓存一次，初始化阶段结束，将缓存记作C，其大小为m，当前缓存C中的数据集合记作
Figure BDA0001833185400000061
计算当前周期的数据内容流行度，通过内容流行度函数，缓存替换决策基于Tf,Rf和周期数n计算数据流行度/>
Figure BDA0001833185400000062
计算下一步需要缓存的内容/>
Figure BDA0001833185400000063
计算方法为：对PEF(f)进行排序，选取流行度最大的m个数据作为下一步应该存储的数据/>
Figure BDA0001833185400000064
计算Cexpired和Cnew，其中Cexpired表示在/>
Figure BDA0001833185400000065
中而不在/>
Figure BDA0001833185400000066
中的数据集，Cnew表示在/>
Figure BDA0001833185400000067
中而不在
Figure BDA0001833185400000068
中的数据集，计算公式如下：
Figure BDA0001833185400000069
数据分发，当收到一条用户数据请求后，从数据内容服务器获取相应的数据fk，当/>
Figure BDA00018331854000000610
则将该数据信息直接分发至用户，当/>
Figure BDA00018331854000000611
则从数据内容服务器获取数据fk并将其分发至用户.
另外，本发明实施例中所述数据服务站还用于，根据预设的缓存替换策略对缓存的数据进行更新。
其中，本发明实施例所述缓存替换策略包括：如果fk∈Cnew，则从本地缓存中随机地删除一个数据fk'，fk'∈Cexpried，并存储fk，将fk的索引从
Figure BDA00018331854000000612
中移除，将fk'的索引从Cexpried中移除；否则，直接更新Tf和Rf。
图2是本发明实施例的数据缓存节点架构与信息交互关系示意图，如图1和2所示，本发明实施例的目的是提供一种数据服务系统模型以及基于内容流行度的分发算法。本发明实施例根据数据应用环境的特点以及数据服务的需求建立包含“数据服务中心-数据服务站-数据用户”三个层级的数据服务系统模型以及数据缓存节点模型，提出基于内容流行度的数据分发算法，当缓存节点转发数据时，利用数据内容流行度估计函数将最流行的数据进行缓存，完成缓存替换。相比于传统算法，本发明提供的算法能够为用户提供更加快速的服务响应，降低数据服务器负载，减少通信带宽占用。
本发明实施例设计了如图1所示的数据服务系统模型，以期为移动环境中的所有数据用户提供服务。该数据服务系统模型分为数据服务中心、数据服务站、数据用户三个层级。
数据服务中心：存储全部的数据信息，通过卫星通信与移动环境中分布式的数据服务站进行通信，提供数据服务；
数据服务站：从数据服务中心获取数据信息并向周边一定范围内的用户提供数据服务，其可以看作一个数据镜像服务器，可以存储周边数据用户中最流行的部分数据。
数据用户：从数据服务站订阅数据信息。移动环境中上数据用户多为人员、车辆等移动节点，具有移动速度快、机动范围广、通信带宽窄、实时性要求高等特点。
数据服务系统的工作流程为：数据用户根据任务需要向数据服务站发送数据订阅需求，数据服务站在接收到数据用户的订阅需求时，首先检查本站是否存储了用户所需的数据信息，如果数据信息已存储，则直接将数据信息发送给用户。若本站未存储相关数据信息，则从数据服务中心获取数据，再将数据发送给用户。这样，可以有效提高数据服务效率，减少对无线带宽的消耗，降低数据中心服务器的负载。
本发明实施例的数据服务站内设置有数据缓存节点，如图2所示，本发明实施例的数据缓存节点包括内容缓存、数据需求处理器、数据需求数据库、缓存替换决策器和缓存替换控制器五个模块。其中，
内容缓存器是节点的高速存储模块；
数据需求处理器用于接收用户模型的数据请求，并将被请求的数据返回给用户；
数据需求数据库用于存放用户请求的历史信息；
缓存替换决策器是缓存节点模型的核心，通过特定的缓存替换策略决定如何更新缓存；
缓存控制器负责操作本地的内容缓存器，进行数据的获取、删除、添加等，同时可以连接到数据内容服务器获取需要的数据信息。
数据缓存节点的工作流程为：当数据缓存节点收到数据用户发送的数据需求时，数据需求处理器被激活。首先，它在本地寻找被请求的数据，如果被请求的数据信息在本地缓存中(称为缓存命中)，该请求被立即响应，则将该数据直接返回给用户。如果被请求的数据信息不在本地缓存中(称为缓存失效)，它则把该请求传递给缓存替换控制器，缓存替换控制器将连接到数据内容服务器获取数据。在从服务器取得数据信息之后，数据需求处理器将其返回给用户。然后，请求的相关信息被存储到请求数据库作为下一步缓存替换决策的依据。缓存替换决策器按周期从数据需求数据库中提取用户请求信息，计算数据流行度，将缓存替换指令发送给缓存替换控制器，缓存替换控制器根据缓存替换指令和缓存替换策略更新本地缓存。
本发明实施例还提供了一种基于内容流行度的缓存替换策略，并基于上述数据缓存节点模型，提出了一种新的数据分发算法。算法具体步骤如下：
步骤一：初始化。缓存节点创建向量Tf和Rf，并初始化为0。其中，Rf表示数据f总的用户请求次数，Tf表示数据f总的缓存次数。在初始化阶段，每个周期Δt，缓存节点从数据内容服务器顺序取m个数据进行缓存。直到所有的数据内容都被至少缓存一次，初始化阶段结束。将缓存记作C，其大小为m，当前缓存C中的数据集合记作
Figure BDA0001833185400000081
步骤二：计算当前周期的数据内容流行度。通过内容流行度函数，缓存替换决策基于Tf,Rf和周期数n计算数据流行度PEF(f)。计算公式如下：
Figure BDA0001833185400000082
步骤三：计算下一步需要缓存的内容
Figure BDA0001833185400000083
计算方法为：对PEF(f)进行排序，选取流行度最大的m个数据作为下一步应该存储的数据/>
Figure BDA0001833185400000091
需要注意的是，/>
Figure BDA0001833185400000092
中的这些条目仅仅是数据内容的索引，比如数据ID，而不是真正的数据本身。
步骤四：计算Cexpired和Cnew，其中Cexpired表示在
Figure BDA0001833185400000093
中而不在/>
Figure BDA0001833185400000094
中的数据集，Cnew表示在/>
Figure BDA0001833185400000095
中而不在/>
Figure BDA0001833185400000096
中的数据集。计算公式如下：
Figure BDA0001833185400000097
Figure BDA0001833185400000098
步骤五：数据分发。当缓存控制器从用户请求处理器收到一条请求后，它将从数据内容服务器获取相应的数据fk。若
Figure BDA0001833185400000099
则将该数据信息直接分发至用户。若/>
Figure BDA00018331854000000910
则缓存控制器从数据内容服务器获取数据fk并将其分发至用户。
步骤六：缓存更新。针对从服务器获取的数据信息fk，缓存控制器根据缓存替换策略判断是否需要缓存该数据。判断策略如下：如果fk∈Cnew，则控制器从本地缓存中随机地删除一个数据fk'，fk'∈Cexpried，并存储fk。然后将fk的索引从
Figure BDA00018331854000000911
中移除，将fk'的索引从Cexpried中移除。否则，数据fk不会在本地缓存中存储，也没有数据信息需要移除。更新Tf和Rf。
总体来说，本发明实施例设计了包含“数据服务中心-数据服务站-数据用户”三个层级的移动数据服务系统模型，能够为所有移动数据用户提供及时、精准的数据服务。并提出了一种基于在线学习的数据内容流行度估计函数，该函数基于完整的用户请求信息估计每类数据信息的流行度，不仅考虑了那些对缓存中信息的请求，也考虑了那些导致缓存失效的用户请求，能够更有效地量化数据内容流行度。
本发明实施例基于数据内容流行度函数，提出了一种新的缓存替换策略。该策略存储数据内容索引而非真正的数据，利用数据内容流行度函数更新缓存，能够更加快速地为用户提供服务响应，降低数据服务器负载，减少通信带宽占用。
本发明第二实施例提供了一种基于内容流行度的数据分发方法，参见图4，该方法包括：
S401、预设数据服务站；
S402、所述数据服务站基于内容流行度从数据服务中心获取数据信息，进行缓存，并向周边预定范围内的用户提供数据服务。
本发明设计了包含“数据服务中心-数据服务站-数据用户”三个层级的移动数据服务系统模型，本发明的数据服务站能够优化本地存储的数据内容，增强自身服务用户的能力，降低从数据内容服务器取数据的次数。同时，本发明通过对用户数据需求信息的在线学习实时估计数据内容流行度，并基于此提出了基于内容流行度的缓存替换算法。相比于传统的缓存替换算法，该缓存替换算法能增加缓存命中率，具有更快的收敛速度，在移动数据服务系统中可以为用户提供更高质量和更低成本的数据服务。
本发明实施例中，所述数据服务站基于内容流行度从数据服务中心获取数据信息，包括：所述数据服务站通过流行度估计函数计算内容流行度，并根据内容的流行度从数据服务中心获取数据信息。
具体实施时，本发明实施例所述数据服务站基于内容流行度从数据服务中心获取数据信息，进行缓存，并向周边预定范围内的用户提供数据服务，包括：
创建向量Tf和Rf，并初始化为0，其中，Rf为数据f总的用户请求次数，Tf为数据f总的缓存次数，在初始化阶段，每个周期Δt，从数据内容服务器顺序取m个数据进行缓存，直到所有的数据内容都被至少缓存一次，初始化阶段结束，将缓存记作C，其大小为m，当前缓存C中的数据集合记作
Figure BDA0001833185400000101
计算当前周期的数据内容流行度，通过内容流行度函数，缓存替换决策基于Tf,Rf和周期数n计算数据流行度
Figure BDA0001833185400000111
计算下一步需要缓存的内容
Figure BDA0001833185400000112
计算方法为：对PEF(f)进行排序，选取流行度最大的m个数据作为下一步应该存储的数据/>
Figure BDA0001833185400000113
计算Cexpired和Cnew，其中Cexpired表示在
Figure BDA0001833185400000114
中而不在/>
Figure BDA0001833185400000115
中的数据集，Cnew表示在
Figure BDA0001833185400000116
中而不在/>
Figure BDA0001833185400000117
中的数据集，计算公式如下：
Figure BDA0001833185400000118
Figure BDA0001833185400000119
数据分发，当收到一条用户数据请求后，从数据内容服务器获取相应的数据fk，当
Figure BDA00018331854000001110
则将该数据信息直接分发至用户，当/>
Figure BDA00018331854000001111
则从数据内容服务器获取数据fk并将其分发至用户.
本发明实施例中数据服务站根据预设的缓存替换策略对缓存的数据进行更新。
本发明实施例所述缓存替换策略包括：如果fk∈Cnew，则从本地缓存中随机地删除一个数据fk'，fk'∈Cexpried，并存储fk，将fk的索引从
Figure BDA00018331854000001112
中移除，将fk'的索引从Cexpried中移除；否则，直接更新Tf和Rf。
本发明实施例的相关部分可参见系统实施例进行理解，在此不做详细赘述。
本发明第三实施例，提供一种提供计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如下方法步骤：
预设数据服务站；
所述数据服务站基于内容流行度从数据服务中心获取数据信息，进行缓存，并向周边预定范围内的用户提供数据服务。
本发明实施例的相关部分可参见方法实施例进行理解，在此不做详细赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的分布式文件系统数据导入装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (8)

1.一种基于内容流行度的数据分发方法，其特征在于，包括：
预设数据服务站；
所述数据服务站基于内容流行度从数据服务中心获取数据信息，进行缓存，并向周边预定范围内的用户提供数据服务；
所述数据服务站基于内容流行度从数据服务中心获取数据信息，进行缓存，并向周边预定范围内的用户提供数据服务，包括：
创建向量Tf和Rf，并初始化为0，其中，Rf为数据f总的用户请求次数，Tf为数据f总的缓存次数，在初始化阶段，每个周期Δt，从数据内容服务器顺序取m个数据进行缓存，直到所有的数据内容都被至少缓存一次，初始化阶段结束，将缓存记作C，其大小为m，当前缓存C中的数据集合记作
Figure QLYQS_1
计算当前周期的数据内容流行度，通过内容流行度函数，缓存替换决策基于Tf,Rf和周期数n计算数据流行度
Figure QLYQS_2
计算下一步需要缓存的内容
Figure QLYQS_3
计算方法为：对PEF(f)进行排序，选取流行度最大的m个数据作为下一步应该存储的数据/>
Figure QLYQS_4
计算Cexpired和Cnew，其中Cexpired表示在
Figure QLYQS_5
中而不在/>
Figure QLYQS_6
中的数据集，Cnew表示在/>
Figure QLYQS_7
中而不在/>
Figure QLYQS_8
中的数据集，计算公式如下：
Figure QLYQS_9
Figure QLYQS_10
数据分发，当收到一条用户数据请求后，从数据内容服务器获取相应的数据fk，当
Figure QLYQS_11
则将该数据信息直接分发至用户，当/>
Figure QLYQS_12
则从数据内容服务器获取数据fk并将其分发至用户。
2.根据权利要求1所述的方法，其特征在于，所述数据服务站基于内容流行度从数据服务中心获取数据信息，包括：
所述数据服务站通过流行度估计函数计算内容流行度，并根据内容的流行度从数据服务中心获取数据信息。
3.根据权利要求1所述的方法，其特征在于，
所述数据服务站根据预设的缓存替换策略对缓存的数据进行更新。
4.根据权利要求3所述的方法，其特征在于，
所述缓存替换策略包括：如果fk∈Cnew，则从本地缓存中随机地删除一个数据fk'，fk'∈Cexpried，并存储fk，将fk的索引从
Figure QLYQS_13
中移除，将fk'的索引从Cexpried中移除；否则，直接更新Tf和Rf。
5.一种基于内容流行度的数据分发系统，其特征在于，包括：
数据服务中心，用于存储全部的数据信息，通过卫星通信与数据服务站进行通信，提供数据服务；
数据用户，用于从数据服务站订阅数据信息；
数据服务站，用于基于内容流行度从数据服务中心获取数据信息，进行缓存，并向周边预定范围内的数据用户提供数据服务；
所述数据服务站还用于，创建向量Tf和Rf，并初始化为0，其中，Rf为数据f总的用户请求次数，Tf为数据f总的缓存次数，在初始化阶段，每个周期Δt，从数据内容服务器顺序取m个数据进行缓存，直到所有的数据内容都被至少缓存一次，初始化阶段结束，将缓存记作C，其大小为m，当前缓存C中的数据集合记作
Figure QLYQS_16
计算当前周期的数据内容流行度，通过内容流行度函数，缓存替换决策基于Tf,Rf和周期数n计算数据流行度
Figure QLYQS_17
计算下一步需要缓存的内容/>
Figure QLYQS_22
计算方法为：对PEF(f)进行排序，选取流行度最大的m个数据作为下一步应该存储的数据/>
Figure QLYQS_15
计算Cexpired和Cnew，其中Cexpired表示在/>
Figure QLYQS_19
中而不在/>
Figure QLYQS_21
中的数据集，Cnew表示在/>
Figure QLYQS_24
中而不在/>
Figure QLYQS_14
中的数据集，计算公式如下：/>
Figure QLYQS_18
数据分发，当收到一条用户数据请求后，从数据内容服务器获取相应的数据fk，当/>
Figure QLYQS_20
则将该数据信息直接分发至用户，当/>
Figure QLYQS_23
则从数据内容服务器获取数据fk并将其分发至用户。
6.根据权利要求5所述的系统，其特征在于，
所述数据服务站还用于，根据预设的缓存替换策略对缓存的数据进行更新。
7.根据权利要求6所述的系统，其特征在于，
所述缓存替换策略包括：如果fk∈Cnew，则从本地缓存中随机地删除一个数据fk'，fk'∈Cexpried，并存储fk，将fk的索引从
Figure QLYQS_25
中移除，将fk'的索引从Cexpried中移除；否则，直接更新Tf和Rf。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有信号映射的计算机程序，所述计算机程序被至少一个处理器执行时，以实现权利要求1-4中任意一项所述的基于内容流行度的数据分发方法。
CN201811214431.2A 2018-10-18 2018-10-18 一种基于内容流行度的数据分发方法、系统及存储介质 Active CN110083761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811214431.2A CN110083761B (zh) 2018-10-18 2018-10-18 一种基于内容流行度的数据分发方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811214431.2A CN110083761B (zh) 2018-10-18 2018-10-18 一种基于内容流行度的数据分发方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN110083761A CN110083761A (zh) 2019-08-02
CN110083761B true CN110083761B (zh) 2023-06-20

Family

ID=67412888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811214431.2A Active CN110083761B (zh) 2018-10-18 2018-10-18 一种基于内容流行度的数据分发方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN110083761B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111190926B (zh) * 2019-11-25 2023-04-07 腾讯云计算（北京）有限责任公司 资源缓存方法、装置、设备及存储介质
CN113852643B (zh) * 2021-10-21 2023-11-14 西安电子科技大学 基于内容流行度的内容分发网络缓存污染防御方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106550039A (zh) * 2016-11-08 2017-03-29 华中科技大学 一种基于sd‑ran的跨层协作内容缓存方法及系统
CN108600998A (zh) * 2018-04-09 2018-09-28 东北大学 超密度蜂窝与d2d异构融合网络缓存优化决策方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102137139A (zh) * 2010-09-26 2011-07-27 华为技术有限公司 缓存替换策略的选择方法、装置、代理服务器和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106550039A (zh) * 2016-11-08 2017-03-29 华中科技大学 一种基于sd‑ran的跨层协作内容缓存方法及系统
CN108600998A (zh) * 2018-04-09 2018-09-28 东北大学 超密度蜂窝与d2d异构融合网络缓存优化决策方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张俊 ; 年梅 ; 李京 ; .内容中心网络概率缓存策略的研究.新疆师范大学学报(自然科学版).2017,(03),全文. *

Also Published As

Publication number Publication date
CN110083761A (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
US10062414B1 (en) Determining a future field of view (FOV) for a particular user viewing a 360 degree video stream in a network
Yu et al. Mobility-aware proactive edge caching for connected vehicles using federated learning
WO2020094060A1 (zh) 推荐方法及装置
EP3087500B1 (en) Populating a content stream on a mobile device
CN102355490B (zh) 用于网络空间信息服务系统的空间信息集群缓存预取方法
US9454771B1 (en) Temporal features in a messaging platform
US10248667B1 (en) Pre-filtering in a messaging platform
US10405033B2 (en) Method for controlling network media information publication, apparatus, and server
CN108881445B (zh) 一种雾计算中基于古诺博弈的协作缓存方法
US9241240B2 (en) Techniques for server-controlled tiling of location-based information
US20150073909A1 (en) Systems and Methods for Automatic Creation, Optimization, Targeting, and Delivery of Real-Time Advertising
CN106850750B (zh) 一种实时推送信息的方法和装置
CN110140135A (zh) 信息处理方法、信息处理系统和信息处理装置
MX2014007165A (es) Pre-guardado en memoria cache de red de suministro de contenido (cdn) impulsado por aplicacion.
JP6632723B2 (ja) サービスの順序列を更新するためのシステム及び方法
US10033827B2 (en) Scalable management of composite data collected with varied identifiers
CN110083761B (zh) 一种基于内容流行度的数据分发方法、系统及存储介质
CN116057964A (zh) 使用朋友列表版本的位置共享
US20150170386A1 (en) Managing updates to map tiles
US10402465B1 (en) Content authority ranking using browsing behavior
US20150170388A1 (en) Updating map tiles
CN116097633A (zh) 使用离线和在线对象的位置共享
US20150170387A1 (en) Accessing map tiles
CN113793182A (zh) 商品对象推荐方法及其装置、设备、介质、产品
US11436239B1 (en) System and method for reducing client-server network traffic for internet database queries

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant