CN107124630A - 节点数据管理的方法及装置 - Google Patents

节点数据管理的方法及装置 Download PDF

Info

Publication number
CN107124630A
CN107124630A CN201710202855.6A CN201710202855A CN107124630A CN 107124630 A CN107124630 A CN 107124630A CN 201710202855 A CN201710202855 A CN 201710202855A CN 107124630 A CN107124630 A CN 107124630A
Authority
CN
China
Prior art keywords
resource data
temperature
target resource
target
growth rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710202855.6A
Other languages
English (en)
Other versions
CN107124630B (zh
Inventor
周剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201710202855.6A priority Critical patent/CN107124630B/zh
Publication of CN107124630A publication Critical patent/CN107124630A/zh
Application granted granted Critical
Publication of CN107124630B publication Critical patent/CN107124630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种节点数据管理的方法,涉及移动通讯领域。方法包括:获取边缘节点中目标资源数据的访问日志,根据目标资源数据的访问日志,确定目标资源数据的热度参数;将热度参数,输入至预先训练的热度增长速度预估模型中,得到预估的目标资源数据在目标时间段内的热度增长速度;如果热度增长速度大于预设的第一阈值,则指示中心节点向边缘节点推送目标资源数据。本申请解决了当大量终端用户向边缘节点访问突发性热点内容时,由于边缘节点未来得及缓存突发性热点内容的数据,因此导致中心节点的访问流量激增的问题;达到了预测出突发性内容并将突发性内容提前推送至边缘节点,减少中心节点的访问流量的效果。

Description

节点数据管理的方法及装置
技术领域
本申请涉及网络技术领域,特别涉及一种节点数据管理的方法及装置。
背景技术
交互式网络电视(简称:IPTV)是一种利用宽带网,集互联网、多媒体、通讯等技术于一体,向家庭用户提供包括数字电视在内的多种交互式服务的崭新技术。
为了克服复杂的网络路线所带来的制约,IPTV系统须通过内容分发网络(英文:Content Delivery Network,简称:CDN)来实现终端用户的点播服务,CDN是在现有的互联网基础之上构成的一个系统。通常,CDN由部署在各地的边缘节点和中心节点组成。边缘节点用于缓存网站内容,当终端用户向网站服务器发送数据访问请求时,CDN通过域名系统(英文:Domain Name System,简称:DNS)技术将该终端用户发送的数据访问请求定向到距离该终端用户最近的边缘节点上,实现就近访问,从而加速终端用户的访问速度。
由于中心节点存储100%的数据,边缘节点仅缓存20%的数据,因此当终端用户向边缘节点发送数据访问请求时,若边缘节点未缓存终端用户所要访问的数据时,则会向中心节点拉取终端用户请求访问的数据,并将拉取的数据反馈给终端用户,当该边缘节点拉去该数据的次数达到阈值时,则会将该数据缓存至本地。同时,边缘节点中还存在一种老化机制,即当边缘节点所缓存的数据达快达到20%时,边缘节点会将热度最低的数据删除。由于拉取数据的过程会产生昂贵的网络流量,为了提高边缘节点的数据访问命中率,目前常用的技术是由IPTV系统中的日志服务器每隔预定时长统计终端用户的数据访问情况,筛选出终端用户访问频度较高(即热度较高)的热点内容,将热点内容从中心节点缓存至边缘节点。
而IPTV服务器先统计后推送的方法相对比较滞后,一旦出现突发性热点内容的情况,若边缘节点还未来得及缓存突发性热点内容的数据,则易造成中心节点的访问流量激增,给运营商网络和CDN的网络安全带来风险。
发明内容
为了解决相关技术的问题,本申请公开了一种节点数据管理的方法及装置。所述技术方案如下:
第一方面,提供了一种节点数据管理的方法,所述方法包括:
获取边缘节点中目标资源数据的访问日志,根据所述目标资源数据的访问日志,确定所述目标资源数据的热度参数;
将所述热度参数,输入至预先训练的热度增长速度预估模型中,得到预估的所述目标资源数据在目标时间段内的热度增长速度;
如果所述热度增长速度大于预设的第一阈值,则指示中心节点向所述边缘节点推送所述目标资源数据。
本申请实施例提供的节点数据管理的方法,通过利用预先训练的热度增长速度预估模型预估出目标资源数据在目标时间段内的热度增长速度,并当热度增长速度大于预设的第一阈值时,指示中心节点向边缘节点推送该目标资源数据,由于突发性热点内容的特点是在目标时间段内的热度增长速度很快,使得目标时间段后的访问次数远大于目标时间段前的访问次数,因此当热度增长速度大于预设的第一阈值时,即可将目标资源数据判定为突发性热点内容,指示中心节点将目标资源数据推送至边缘节点,解决了当大量终端用户向边缘节点访问突发性热点内容时,由于边缘节点未来得及缓存突发性热点内容的数据,因此导致中心节点的访问流量激增的问题;达到了预测出突发性内容并将突发性内容提前推送至边缘节点,减少中心节点的访问流量,避免对运营商网络和CDN的网络安全带来风险的效果。
结合第一方面,在第一方面的第一种可能的实施方式中,由于目标资源数据在某个时间段的热度参数,与该目标资源数据的在时间段的起始时间点和结束时间点的热度,因此,所述热度参数至少包括所述目标资源数据在多个历史时间点的历史热度,所述多个历史时间点中,相邻历史时间点的时间差为预设数值,最后一个历史时间点为所述目标时间段的起始时间点。
结合第一方面或者第一方面的第一种可能的实施方式,在第二种可能的实施方式中,为了提高预估目标资源数据的热度增长速度的准确性,目标资源数据的热度参数不仅仅为目标资源数据在多个历史时间点的历史热度,所述根据所述目标资源数据的访问日志,确定所述目标资源数据的热度参数,包括:从所述目标资源数据的访问日志中获取所述目标资源数据在多个历史时间点的历史热度;对所述目标资源数据的多个历史热度求平均,得到所述目标资源数据的历史热度均值;计算在最后一个历史时间点的历史热度与所述历史热度均值之间的方差,将所述方差和所述在多个历史时间点的历史热度确定为所述目标资源数据的热度参数。
结合第一方面、第一方面的第一种可能的实现或者第一方面的第二种可能的实现,在第一方面的第三种可能的实现中,由于当边缘节点的所缓存的数据达快达到20%时,边缘节点会将热度最低的数据删除,为了避免中心节点向边缘节点推送热度增长速度高但热度低的数据后,该数据会很快边缘节点被删除,中心节点可向边缘节点推送热度增长速度高且热度高的数据,所述如果所述热度增长速度大于预设的第一阈值,则指示中心节点向所述边缘节点推送所述目标资源数据,包括:如果所述热度增长速度大于预设的第一阈值,则根据所述在最后一个历史时间点的历史热度和所述预估的热度增长速度,计算所述目标资源数据在所述目标时间段后的目标热度;如果所述目标资源数据的目标热度大于预设的第二阈值,则指示所述中心节点向所述边缘节点推送所述目标资源数据。
结合第一方面、第一方面的第一种至第三种可能的实现,在第一方面的第四种可能的实现中,为了保证热度增长速度预估模型的可靠性,用于训练热度增长速度预估模型的各个样本中,相邻样本时间点的时间差与目标资源数据的相邻历史时间点的时间差相同,且最后一个样本时间点为该样本时间段的起始时间点,所述方法还包括:获取预先存储的多个训练样本,所述训练样本至少包括预先检测的任一资源数据在多个样本时间点的热度参数和所述任一资源数据在样本时间段的热度增长速度,其中,所述多个样本时间点中相邻样本时间点的时间差为所述预设数值,最后一个样本时间点为所述样本时间段的起始时间点;基于所述多个训练样本,对预设的初始算法模型进行训练,得到所述热度增长速度预估模型。
第二方面,提供了一种网络设备,该网络设备包括:处理器、与所述处理器相连的发射器和接收器;
该发射器和接收器被配置为由处理器控制,该处理器用于实现上述第一方面中任意一种可能的实现方式所提供的节点数据管理的方法。
第三方面,提供了一种节点数据管理的装置,所述节点数据管理的装置包括至少一个单元,该至少一个单元分别用于实现上述第一方面的节点数据管理的方法所涉及的相应步骤。
第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在网络设备上运行时,使得网络设备执行上述第一方面中任意一种可能的实现方式所提供的节点数据管理的方法。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个实施例应用的IPTV系统的系统架构示意图;
图2是本申请一个示例性实施例应用的网络设备的结构示意图;
图3是本申请一个示例性实施例提供的节点数据管理的方法的流程图;
图4是本申请另一个示例性实施例提供的节点数据管理的方法的流程图;
图5是本申请一个实施例提供的节点数据管理的装置的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在本文提及的“模块”是指存储在存储器中的能够实现某些功能的程序或指令;在本文中提及的“单元”是指按照逻辑划分的功能性结构,该“单元”可以由纯硬件实现,或者,软硬件的结合实现。
请参考图1,其示出了本申请一个实施例应用的IPTV系统的系统架构示意图,本申请所涉及的节点数据管理的方法应用于该IPTV系统中,该IPTV系统包括:IPTV运营部件、IPTV内容分发部件、IPTV日志部件、数据采集预处理部件和数据分析预测部件。
IPTV运营部件,用于管理终端用户数据、营销数据等数据。
IPTV内容分发部件,用于管理IPTV内容数据和推送到CDN节点上的资源数据,以及根据数据分析预测部件提供的目标资源数据的预推策略数据,控制中心节点向边缘节点推送目标资源数据,中心节点用于存储网络中所有的资源数据,当中心节点接收到IPTV内容分发部件下发的目标资源数据的分发指令时,将所存储的目标资源预推到边缘节点。
IPTV日志部件,用于记录并管理终端用户访问资源数据的访问日志,该访问日志包括终端用户访问目标资源数据的时刻、访问时长以及提供该终端用户访问目标资源数据的边缘节点的节点标识。
数据采集预处理部件,用于采集IPTV运营部件、IPTV内容分发部件以及IPTV日志部件管理的信息(比如:数据采集预处理部件从IPTV运营部件采集终端用户数据、营销数据等数据;数据采集预处理部件从IPTV内容分发部件采集IPTV内容数据;数据采集预处理部件从IPTV日志部件采集访问日志),并采集互联网数据(比如获取互联网上各种搜索排行榜和各种搜索指数),对从集IPTV运营部件、IPTV内容分发部件以及IPTV日志部件采集到的信息进行预处理(比如量化),得到数据分析预测部件可直接使用的数据。
数据分析预测部件至少包括数据预测功能和数据分析功能两个功能。数据预测功能用于获取数据采集预处理部件预处理后的数据,将该数据训练初始算法模型,当模型成熟后,输入目标资源数据的热度参数,预测该目标资源数据在目标时间段内的热度增长速度;数据分析功能用于根据数据预测功能预测得到的目标资源数据的热度增长速度,生成该目标资源数据对应的预推策略数据提供给IPTV内容分发部件。
请参考图2,其示出了本申请一个示例性实施例应用的网络设备的结构示意图。该网络设备用于实现图2所示IPTV系统包括的各个部件的功能,该网络设备包括:处理器11、网络接口12、高速缓存器13、存储器14和总线15。
处理器11包括一个或者一个以上处理核心,处理器11通过运行软件程序以及模块,从而执行各种功能应用以及数据处理。
网络接口12用于供网络设备与其他网络设备进行通信。
存储器14与高速缓存器13分别通过总线15与处理器11相连。
存储器14可用于存储软件程序以及模块。
存储器14可以存储至少一个功能所需的应用程序模块16,应用程序模块16至少包括获取模块161、输入模块162和指示模块163。
获取模块161,用于获取边缘节点中目标资源数据的访问日志,根据目标资源数据目标资源数据的访问日志,确定目标资源数据目标资源数据的热度参数。
输入模块162,用于将目标资源数据热度参数,输入至预先训练的热度增长速度预估模型中,得到预估的目标资源数据目标资源数据在目标时间段内的热度增长速度;
指示模块163,用于如果目标资源数据热度增长速度大于预设的第一阈值,则指示中心节点向目标资源数据边缘节点推送目标资源数据目标资源数据。
存储器14可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
本领域技术人员可以理解,图2中所示出的网络设备的结构并不构成对网络设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
请参考图3,其示出了本申请一个示例性实施例提供的节点数据管理的方法的流程图。本实施例以该方法用于如图1所示的IPTV系统的系统架构中来举例说明,该方法包括以下几个步骤:
步骤201,获取边缘节点中目标资源数据的访问日志,根据目标资源数据的访问日志,确定目标资源数据的热度参数。
IPTV日志部件中记录并管理终端用户访问每个资源数据对应的访问日志,每个资源数据对应的访问日志中至少记录有访问该资源数据的终端用户的终端用户标识、向中心节点请求拉取该资源数据的边缘节点的节点标识、各个终端用户访问该资源数据的时间段以及该时间段的具体时长。
数据采集预处理部件获取目标资源数据的访问日志后,对该访问日志中的热度参数进行预处理,并将预处理后的热度参数提供给数据分析预测部件,其中,热度参数是指影响数据采集预处理部件计算目标资源数据的热度的参数,热度是指数据采集预处理部件将各个终端用户访问目标资源数据的总时长除以该目标资源数据的内容时长得到的值。在该目标资源数据的内容时长不变的情况下,各个终端用户访问该目标资源数据的总时长越长,该目标资源数据的热度越高。
步骤202,将热度参数,输入至预先训练的热度增长速度预估模型中,得到预估的目标资源数据在目标时间段内的热度增长速度。
数据分析预测部件获取到数据采集预处理部件预处理后的目标资源数据在多个历史时间点的历史热度后,将多个历史热度输入至预先训练的热度增长速度预估模型中,运行该热度增长速度预估模型得到预估的目标资源数据在目标时间段内的热度增长速度。
需要说明的是,数据分析预测部件可以每隔1小时预估目标资源数据的热度增长速度,或者在预定时刻预估目标资源数据的热度增长速度,本申请并不限定预估目标资源数据的具体时刻和频率。
在一种可能实现的方式中,热度增长速度预估模型的训练过程至少包括下述步骤:
步骤S1,获取预先存储的多个训练样本。
由于向该热度增长速度预估模型的输入目标资源数据的热度参数,该热度增长速度预估模型会输出该目标资源数据在目标时间段内的热度增长速度,因此,热度增长速度预估模型的训练样本至少包括预先检测的任一资源数据在多个样本时间点的热度参数和任一资源数据在样本时间段的热度增长速度。其中,多个样本时间点中相邻样本时间点的时间差为预设数值,最后一个样本时间点为样本时间段的起始时间点。
可选的,不同类别的资源数据对应的热度增长趋势通常不同,比如视频类的资源数据与新闻类的资源数据的热度增长趋势不同,营销类的资源数据与新闻类的资源数据的增长趋势不同,为了提高数据分析预测部件预估目标资源数据的准确度,针对不同类型的资源数据,数据分析预测部件训练不同的热度增长速度预估模型,那么,该热度增长速度预估模型的训练样本至少包括预先检测的目标类型的任一资源数据在多个样本时间点的热度参数和目标类型的任一资源数据在样本时间段的热度增长速度。
可选的,通常终端用户访问进行数据资源访问的边缘节点是相对固定的,由于不同边缘节点所服务的终端用户的对资源数据的访问情况各不相同,因此,不同的边缘节点所缓存的资源数据各不相同,以边缘节点为单位建立热度增长速度预估模型可以有针对性的预估目标时间段内,该目标资源数据在各个边缘节点上目标资源数据热度速度,提高数据分析预测部件预估目标资源数据的准确度,其中,该热度增长速度预估模型的训练样本至少包括预先检测的目标边缘节点的任一资源数据在多个样本时间点的热度参数和该目标边缘节点的任一资源数据在样本时间段的热度增长速度。
需要说明的是,本实施例不限定训练样本的具体数量以及训练样本对应的具体时间点。
步骤S2,基于多个训练样本,对预设的初始算法模型进行训练,得到热度增长速度预估模型。
可选的,该预设的初始算法模型是基于随机森林算法训练的,决策树的生成过程如下:从原始训练样本中选择有放回的抽样方法,采用随机的方式选择K个样本子集,重复选择K次,针对每个样本子集生成决策树。该决策树的生成过程具体如下:
步骤a:设有N个训练样本,M个特征,输入m个用于确定决策树上一个节点决策结构的特征,并根据所述m个特征计算该特征的最佳分裂式,其中m远小于M。
步骤b:从N个训练样本中以有放回抽样的方式,取样N次,形成一个训练集,并用未抽到的样本作为预测,评估训练集的误差。
步骤c:对每棵树都任其成长,不进行剪枝,最终形成决策树。
可选的,在实际训练的过程中,数据分析预测部件除了将热度作为特征在训练决策树外,还可将资源数据的上线时刻、资源数据的类型、资源数据的营销时刻、与资源数据关联的其他资源数据的热度、资源数据在网页中是否被置顶显示或者在主页显示、与资源数据关联的其他资源数据在网页中是否被置顶显示或者在主页显示、该资源数据的历史热度均值、该资源数据的方差、该资源数据的互联网指数等数据作为特征来训练决策树,其中各个可能的特征的具体说明如下:
步骤203,如果热度增长速度大于预设的第一阈值,则指示中心节点向边缘节点推送目标资源数据。
目标资源数据的热度增长速度越快,说明该目标资源数据的热度上升越快,即该目标资源数据为突发性内容的可能性越高,为了避免当目标资源数据的热度激增时,由于边缘设备未缓存该目标资源数据,导致在边缘节点未缓存该目标资源数据之前,每当终端用户向边缘节点访问该目标资源数据时,该边缘节点都要从中心节点拉取该目标资源数据,造成中心节点的访问流量激增,因此,如果热度增长速度大于预设的第一阈值,IPTV内容分发部件则需指示中心节点向边缘节点推送该目标资源数据,以使边缘节点在目标时间点之前将该目标资源数据缓存的本地。
综上所述,本申请实施例提供的节点数据管理的方法,通过利用预先训练的热度增长速度预估模型预估出目标资源数据在目标时间段内的热度增长速度,并当热度增长速度大于预设的第一阈值时,指示中心节点向边缘节点推送该目标资源数据,由于突发性热点内容的特点是在目标时间段内的热度增长速度很快,使得目标时间段后的访问次数远大于目标时间段前的访问次数,因此当热度增长速度大于预设的第一阈值时,即可将目标资源数据判定为突发性热点内容,指示中心节点将目标资源数据推送至边缘节点,解决了当大量终端用户向边缘节点访问突发性热点内容时,由于边缘节点未来得及缓存突发性热点内容的数据,因此导致中心节点的访问流量激增的问题;达到了预测出突发性内容并将突发性内容提前推送至边缘节点,减少中心节点的访问流量,避免对运营商网络和CDN的网络安全带来风险的效果。
方差是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量,为了提高热度增长速度预估模型预估热度增长速度的准确度,目标资源数据的热度参数可包括该目标资源数据在多个历史时间点的历史热度,以及该目标资源数据在最后一个历史时间点的历史热度与历史热度均值之间的方差。下面结合图4对节点数据管理的方法进行进一步描述。
请参考图4,其示出了本申请另一个示例性实施例提供的节点数据管理的方法的流程图。本实施例以该方法运用于如图2所示的节点数据管理的装置中来举例说明,该方法包括以下几个步骤:
步骤301,获取边缘节点中目标资源数据的访问日志,从目标资源数据的访问日志中获取目标资源数据在多个历史时间点的历史热度。
在本实施例中,热度参数至少包括目标资源数据在多个历史时间点的历史热度。需要说明的是,为了保证后续工作中数据分析预测部件预估目标资源数据的热度增长速度的准确性,目标资源数据所在的多个历史时间点中,相邻历史时间点的时间差均为预设数值,最后一个历史时间点为目标时间段的起始时间点,最后一个历史时间点与该最后一个历史时间点在目标时间段后的目标时间点的时间差为预设数值。
比如,设相邻历史时间点的时间差为1天,历史时间点为2017年1月17日、2017年1月18日、2017年1月19日,那么,最后一个历史时间点为2017年1月19日,目标时间段的起始时间点为2017年1月19日,目标时间段后的目标时间点为2017年1月20日。
需要说明的是,本实施例不限定数据采集预处理部件所获取的历史时间点的具体数量和历史时间点所在的时间段。通常情况下,数据采集预处理部件从目标资源数据的访问日志中获取目标资源数据在目标时间段之前30天内每一天的热度。
步骤302,对目标资源数据的多个历史热度求平均,得到目标资源数据的历史热度均值。
步骤303,计算在最后一个历史时间点的历史热度与历史热度均值之间的方差,将方差和在多个历史时间点的历史热度确定为目标资源数据的热度参数。
其中,多个历史时间点中,相邻历史时间点的时间差为预设数值,最后一个历史时间点为目标时间段的起始时间点。
步骤304,将热度参数,输入至预先训练的热度增长速度预估模型中,得到预估的目标资源数据在目标时间段内的热度增长速度。
热度增长速度是结合历史时间点中最后一个历史时间点、历史热度均值和方差进行处理后的取值,该热度增长速度的取值范围在[-∞,+∞],当目标资源数据的热度增长速度为正数时,说明该目标资源数据的热度上升,正数的取值越大,则该目标资源数据的热度增长速度越快,当目标资源数据的热度增长速度为负数时,说明该目标资源数据的热度下降,负数的取值越大,则该目标资源数据的热度下降速度越快。
步骤305,如果热度增长速度大于预设的第一阈值,则根据在最后一个历史时间点的历史热度和预估的热度增长速度,计算目标资源数据在目标时间段后的目标热度。
如果热度增长速度大于预设的第一阈值,说明目标资源数据为突发性内容的可能性较高,但存在一种可能的情况,即目标资源数据在历史时间点的历史热度很低,即使目标资源数据在目标时间段内的热度增长速度很快,该目标资源数据在目标时间段后的热度仍很小,即使边缘节点未缓存该目标资源数据,在目标时间段后也不会造成中心节点的访问流量激增。
因此,在目标资源数据在目标时间段内的热度增长速度大于预设的第一阈值后,还需计算该目标资源数据在目标时间段后的目标热度,判定该目标热度是否达到推送条件,将达到推送条件的目标热度推送给边缘节点。
需要说明的是,该推送条件可以根据需要更改,本申请并不限定推送条件的具体数值。
步骤306,如果目标资源数据的目标热度大于预设的第二阈值,则指示中心节点向边缘节点推送目标资源数据。
由于目标资源数据的目标热度大于预设的第二阈值,说明该目标资源数据在目标时间段后的热度较大,也就是说,该目标资源数据在目标时间段后为突发性数据且会造成中心节点的流量激增的可能性较高,因此,如果目标资源数据的目标热度大于预设的第二阈值,IPTV内容分发部件则指示中心节点向边缘节点推送该目标资源数据。
需要说明的是,步骤304与步骤202相似,本实施例不再对步骤304赘述说明。
综上所述,本申请实施例提供的节点数据管理的方法,通过利用预先训练的热度增长速度预估模型预估出目标资源数据在目标时间段内的热度增长速度,并当热度增长速度大于预设的第一阈值时,指示中心节点向边缘节点推送该目标资源数据,由于突发性热点内容的特点是在目标时间段内的热度增长速度很快,使得目标时间段后的访问次数远大于目标时间段前的访问次数,因此当热度增长速度大于预设的第一阈值时,即可将目标资源数据判定为突发性热点内容,指示中心节点将目标资源数据推送至边缘节点,解决了当大量终端用户向边缘节点访问突发性热点内容时,由于边缘节点未来得及缓存突发性热点内容的数据,因此导致中心节点的访问流量激增的问题;达到了预测出突发性内容并将突发性内容提前推送至边缘节点,减少中心节点的访问流量,避免对运营商网络和CDN的网络安全带来风险的效果。
请参考图5,其示出了本申请一个实施例提供的节点数据管理的装置的框图。该节点数据管理的装置可以通过软件、硬件或者两者的结合实现成为网络设备的全部或者一部分。该节点数据管理的装置可以包括:获取单元401、输入单元402和指示单元403。
获取单元401,用于实现上述步骤201的功能。
输入单元402,用于实现上述步骤202的功能。
指示单元403,用于实现上述步骤203的功能。
相关细节可结合参考上述方法实施例。
在另一个可选的实施例中,上述获取单元401,用于实现步骤301至步骤303中至少一个步骤的功能。
上述输入单元402,用于实现步骤304至步骤305中至少一个步骤的功能。
上述指示单元403,用于实现步骤306的功能。
需要说明的是,上述获取单元401、输入单元402和指示单元403可以通过网络设备的处理器执行存储器中的接收模块来实现。
需要说明的是:上述实施例提供的节点数据管理的装置在管理节点数据时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将网络设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的节点数据管理的装置与节点数据管理的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种节点数据管理的方法,其特征在于,所述方法包括:
获取边缘节点中目标资源数据的访问日志,根据所述目标资源数据的访问日志,确定所述目标资源数据的热度参数;
将所述热度参数,输入至预先训练的热度增长速度预估模型中,得到预估的所述目标资源数据在目标时间段内的热度增长速度;
如果所述热度增长速度大于预设的第一阈值,则指示中心节点向所述边缘节点推送所述目标资源数据。
2.根据权利要求1所述的方法,其特征在于,所述热度参数至少包括所述目标资源数据在多个历史时间点的历史热度,所述多个历史时间点中,相邻历史时间点的时间差为预设数值,最后一个历史时间点为所述目标时间段的起始时间点。
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标资源数据的访问日志,确定所述目标资源数据的热度参数,包括:
从所述目标资源数据的访问日志中获取所述目标资源数据在多个历史时间点的历史热度;
对所述目标资源数据的多个历史热度求平均,得到所述目标资源数据的历史热度均值;
计算在最后一个历史时间点的历史热度与所述历史热度均值之间的方差,将所述方差和所述在多个历史时间点的历史热度确定为所述目标资源数据的热度参数。
4.根据权利要求2所述的方法,其特征在于,所述如果所述热度增长速度大于预设的第一阈值,则指示中心节点向所述边缘节点推送所述目标资源数据,包括:
如果所述热度增长速度大于预设的第一阈值,则根据所述在最后一个历史时间点的历史热度和所述预估的热度增长速度,计算所述目标资源数据在所述目标时间段后的目标热度;
如果所述目标资源数据的目标热度大于预设的第二阈值,则指示所述中心节点向所述边缘节点推送所述目标资源数据。
5.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取预先存储的多个训练样本,所述训练样本至少包括预先检测的任一资源数据在多个样本时间点的热度参数和所述任一资源数据在样本时间段的热度增长速度,其中,所述多个样本时间点中相邻样本时间点的时间差为所述预设数值,最后一个样本时间点为所述样本时间段的起始时间点;
基于所述多个训练样本,对预设的初始算法模型进行训练,得到所述热度增长速度预估模型。
6.一种网络设备,其特征在于,所述网络设备包括:处理器、存储器和收发器,所述存储器用于存储一个或者一个以上的指令,所述指令被配置成由所述处理器执行;
处理器,用于获取边缘节点中目标资源数据的访问日志,根据所述目标资源数据的访问日志,确定所述目标资源数据的热度参数;
所述处理器,还用于将所述热度参数,输入至预先训练的热度增长速度预估模型中,得到预估的所述目标资源数据在目标时间段内的热度增长速度;
所述处理器,还用于如果所述热度增长速度大于预设的第一阈值,则指示中心节点向所述边缘节点推送所述目标资源数据。
7.根据权利要求6所述的装置,其特征在于,所述热度参数至少包括所述目标资源数据在多个历史时间点的历史热度,所述多个历史时间点中,相邻历史时间点的时间差为预设数值,最后一个历史时间点为所述目标时间段的起始时间点。
8.根据权利要求6所述的装置,其特征在于,所述处理器,还用于:
从所述目标资源数据的访问日志中获取所述目标资源数据在多个历史时间点的历史热度;
对所述目标资源数据的多个历史热度求平均,得到所述目标资源数据的历史热度均值;
计算在最后一个历史时间点的历史热度与所述历史热度均值之间的方差,将所述方差和所述在多个历史时间点的历史热度确定为所述目标资源数据的热度参数。
9.根据权利要求6所述的装置,其特征在于,所述处理器,还用于:
如果所述热度增长速度大于预设的第一阈值,则根据所述在最后一个历史时间点的历史热度和所述预估的热度增长速度,计算所述目标资源数据在所述目标时间段后的目标热度;
如果所述目标资源数据的目标热度大于预设的第二阈值,则指示所述中心节点向所述边缘节点推送所述目标资源数据。
10.根据权利要求6所述的装置,其特征在于,所述处理器,还用于:
获取预先存储的多个训练样本,所述训练样本至少包括预先检测的任一资源数据在多个样本时间点的热度参数和所述任一资源数据在样本时间段的热度增长速度,其中,所述多个样本时间点中相邻样本时间点的时间差为所述预设数值,最后一个样本时间点为所述样本时间段的起始时间点;
基于所述多个训练样本,对预设的初始算法模型进行训练,得到所述热度增长速度预估模型。
CN201710202855.6A 2017-03-30 2017-03-30 节点数据管理的方法及装置 Active CN107124630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710202855.6A CN107124630B (zh) 2017-03-30 2017-03-30 节点数据管理的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710202855.6A CN107124630B (zh) 2017-03-30 2017-03-30 节点数据管理的方法及装置

Publications (2)

Publication Number Publication Date
CN107124630A true CN107124630A (zh) 2017-09-01
CN107124630B CN107124630B (zh) 2020-04-14

Family

ID=59717459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710202855.6A Active CN107124630B (zh) 2017-03-30 2017-03-30 节点数据管理的方法及装置

Country Status (1)

Country Link
CN (1) CN107124630B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909108A (zh) * 2017-11-15 2018-04-13 东南大学 基于内容流行度预测的边缘缓存系统及其方法
CN108021447A (zh) * 2017-11-28 2018-05-11 象翌微链科技发展有限公司 一种基于分布式数据确定最优资源策略的方法及系统
CN109327710A (zh) * 2018-12-10 2019-02-12 网宿科技股份有限公司 一种直播系统的视频流的冷热情况确定的方法及装置
CN109788319A (zh) * 2017-11-14 2019-05-21 中国科学院声学研究所 一种数据缓存方法
CN110322259A (zh) * 2018-03-29 2019-10-11 北京红马传媒文化发展有限公司 资源管理方法、装置及电子设备
CN110417861A (zh) * 2019-06-25 2019-11-05 腾讯科技(北京)有限公司 一种信息推送方法以及相关装置
CN110460866A (zh) * 2019-07-29 2019-11-15 网宿科技股份有限公司 推送流媒体数据的方法、系统和服务器
CN110493357A (zh) * 2019-09-16 2019-11-22 深圳市网心科技有限公司 一种资源部署方法、系统、装置及计算机存储介质
CN111372095A (zh) * 2018-12-25 2020-07-03 深圳市茁壮网络股份有限公司 一种计算热度的方法及装置
WO2020164612A1 (zh) * 2019-02-15 2020-08-20 贵州白山云科技股份有限公司 一种智能热点打散的方法、装置、存储介质及计算机设备
CN111753239A (zh) * 2020-06-23 2020-10-09 北京奇艺世纪科技有限公司 一种资源分发方法、装置、电子设备及存储介质
CN112269837A (zh) * 2020-11-17 2021-01-26 珠海大横琴科技发展有限公司 一种数据处理的方法和装置
CN112286965A (zh) * 2020-02-21 2021-01-29 北京沃东天骏信息技术有限公司 数据缓存方法、装置、电子设备及计算机可读介质
CN113076339A (zh) * 2021-03-18 2021-07-06 北京沃东天骏信息技术有限公司 一种数据缓存方法、装置、设备及存储介质
CN113127743A (zh) * 2021-05-06 2021-07-16 数库(上海)科技有限公司 新闻主体热度计算及排序方法、装置、设备和存储介质
CN113612823A (zh) * 2021-07-22 2021-11-05 北京金山云网络技术有限公司 内容分发网络的缓存时长调整方法、装置和存储介质
CN114860160A (zh) * 2022-04-15 2022-08-05 北京科杰科技有限公司 一种针对Hadoop数据平台的扩容资源预测方法及系统
CN116708455A (zh) * 2023-02-03 2023-09-05 天翼云科技有限公司 资源获取方法及装置、可读存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102790915A (zh) * 2012-07-09 2012-11-21 上海聚力传媒技术有限公司 一种用于向p2p节点预推送视频资源的方法与装置
US20130204961A1 (en) * 2012-02-02 2013-08-08 Comcast Cable Communications, Llc Content distribution network supporting popularity-based caching
CN103312776A (zh) * 2013-05-08 2013-09-18 青岛海信传媒网络技术有限公司 边缘节点服务器缓存视频的内容的方法和装置
CN103974138A (zh) * 2014-04-15 2014-08-06 上海聚力传媒技术有限公司 用于在内容分发网络中预加载视频的方法与设备
CN104216954A (zh) * 2014-08-20 2014-12-17 北京邮电大学 突发事件话题状态的预测装置及预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130204961A1 (en) * 2012-02-02 2013-08-08 Comcast Cable Communications, Llc Content distribution network supporting popularity-based caching
CN102790915A (zh) * 2012-07-09 2012-11-21 上海聚力传媒技术有限公司 一种用于向p2p节点预推送视频资源的方法与装置
CN103312776A (zh) * 2013-05-08 2013-09-18 青岛海信传媒网络技术有限公司 边缘节点服务器缓存视频的内容的方法和装置
CN103974138A (zh) * 2014-04-15 2014-08-06 上海聚力传媒技术有限公司 用于在内容分发网络中预加载视频的方法与设备
CN104216954A (zh) * 2014-08-20 2014-12-17 北京邮电大学 突发事件话题状态的预测装置及预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHENYU LI等: "Characterizing and Predicting the Popularity of Online Videos", 《IEEE ACCESS》 *
YIPENG ZHOU等: "Video Popularity Dynamics and Its Implication for Replication", 《 IEEE TRANSACTIONS ON MULTIMEDIA》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109788319A (zh) * 2017-11-14 2019-05-21 中国科学院声学研究所 一种数据缓存方法
CN109788319B (zh) * 2017-11-14 2020-06-09 中国科学院声学研究所 一种数据缓存方法
CN107909108A (zh) * 2017-11-15 2018-04-13 东南大学 基于内容流行度预测的边缘缓存系统及其方法
CN107909108B (zh) * 2017-11-15 2021-06-11 东南大学 基于内容流行度预测的边缘缓存系统及其方法
CN108021447B (zh) * 2017-11-28 2021-08-03 象翌微链科技发展有限公司 一种基于分布式数据确定最优资源策略的方法及系统
CN108021447A (zh) * 2017-11-28 2018-05-11 象翌微链科技发展有限公司 一种基于分布式数据确定最优资源策略的方法及系统
CN110322259A (zh) * 2018-03-29 2019-10-11 北京红马传媒文化发展有限公司 资源管理方法、装置及电子设备
CN109327710A (zh) * 2018-12-10 2019-02-12 网宿科技股份有限公司 一种直播系统的视频流的冷热情况确定的方法及装置
CN111372095B (zh) * 2018-12-25 2023-06-23 深圳市茁壮网络股份有限公司 一种计算热度的方法及装置
CN111372095A (zh) * 2018-12-25 2020-07-03 深圳市茁壮网络股份有限公司 一种计算热度的方法及装置
US11562042B2 (en) 2019-02-15 2023-01-24 Guizhou Baishancloud Technology Co., Ltd. Intelligent hotspot scattering method, apparatus, storage medium, and computer device
WO2020164612A1 (zh) * 2019-02-15 2020-08-20 贵州白山云科技股份有限公司 一种智能热点打散的方法、装置、存储介质及计算机设备
CN110417861B (zh) * 2019-06-25 2023-05-26 腾讯科技(北京)有限公司 一种信息推送方法以及相关装置
CN110417861A (zh) * 2019-06-25 2019-11-05 腾讯科技(北京)有限公司 一种信息推送方法以及相关装置
CN110460866A (zh) * 2019-07-29 2019-11-15 网宿科技股份有限公司 推送流媒体数据的方法、系统和服务器
CN110493357A (zh) * 2019-09-16 2019-11-22 深圳市网心科技有限公司 一种资源部署方法、系统、装置及计算机存储介质
CN112286965A (zh) * 2020-02-21 2021-01-29 北京沃东天骏信息技术有限公司 数据缓存方法、装置、电子设备及计算机可读介质
CN111753239A (zh) * 2020-06-23 2020-10-09 北京奇艺世纪科技有限公司 一种资源分发方法、装置、电子设备及存储介质
CN111753239B (zh) * 2020-06-23 2023-09-05 北京奇艺世纪科技有限公司 一种资源分发方法、装置、电子设备及存储介质
CN112269837A (zh) * 2020-11-17 2021-01-26 珠海大横琴科技发展有限公司 一种数据处理的方法和装置
CN113076339A (zh) * 2021-03-18 2021-07-06 北京沃东天骏信息技术有限公司 一种数据缓存方法、装置、设备及存储介质
CN113127743A (zh) * 2021-05-06 2021-07-16 数库(上海)科技有限公司 新闻主体热度计算及排序方法、装置、设备和存储介质
CN113612823A (zh) * 2021-07-22 2021-11-05 北京金山云网络技术有限公司 内容分发网络的缓存时长调整方法、装置和存储介质
CN114860160A (zh) * 2022-04-15 2022-08-05 北京科杰科技有限公司 一种针对Hadoop数据平台的扩容资源预测方法及系统
CN116708455A (zh) * 2023-02-03 2023-09-05 天翼云科技有限公司 资源获取方法及装置、可读存储介质及电子设备
CN116708455B (zh) * 2023-02-03 2024-01-05 天翼云科技有限公司 资源获取方法及装置、可读存储介质及电子设备

Also Published As

Publication number Publication date
CN107124630B (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
CN107124630A (zh) 节点数据管理的方法及装置
CN111092852B (zh) 基于大数据的网络安全监控方法、装置、设备及存储介质
CN106294614B (zh) 用于访问业务的方法和装置
US7801985B1 (en) Data transfer for network interaction fraudulence detection
KR102418969B1 (ko) 딥러닝 기반 통신망 장비의 장애 예측 시스템 및 방법
CN108737333A (zh) 一种数据检测方法以及装置
US8645300B1 (en) System and method for intent data processing
US10193908B2 (en) Data transfer for network interaction fraudulence detection
CN110233769A (zh) 一种流量检测方法和流量检测设备
CN104715020B (zh) 缓存数据的删除方法及服务器
CN105379204B (zh) 用于选择数据路由的资源的方法和系统
CN106161569A (zh) 网络内容的推荐、缓存替换方法和设备
BR112013007808A2 (pt) método, dispositivo de usuário final móvel e sistema
EP2719153A1 (en) Model-based method for managing information derived from network traffic
CA3058217A1 (en) System and method for predicting and reducing subscriber churn
US9479414B1 (en) System and method for analyzing computing performance
US20180322401A1 (en) Object count prediction using distributed processing
CN110377854A (zh) 用户访问行为信息监控方法及装置、计算机设备
CN109992427A (zh) Dpi关联规则回填处理方法、装置、设备及介质
CN111047448A (zh) 多通道数据融合的分析方法及装置
Akhtar et al. Avic: a cache for adaptive bitrate video
CN113574830A (zh) 测量网络部署的影响
CN113647055A (zh) 测量网络部署的影响
US8935285B2 (en) Searchable and size-constrained local log repositories for tracking visitors' access to web content
CN110308901A (zh) 处理前端页面中数据变量方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant