CN112351088A - 一种cdn缓存方法、装置、计算机设备及存储介质 - Google Patents

一种cdn缓存方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112351088A
CN112351088A CN202011180046.8A CN202011180046A CN112351088A CN 112351088 A CN112351088 A CN 112351088A CN 202011180046 A CN202011180046 A CN 202011180046A CN 112351088 A CN112351088 A CN 112351088A
Authority
CN
China
Prior art keywords
data
heat
cdn
cdn node
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011180046.8A
Other languages
English (en)
Inventor
张安发
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202011180046.8A priority Critical patent/CN112351088A/zh
Publication of CN112351088A publication Critical patent/CN112351088A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5683Storage of data provided by user terminals, i.e. reverse caching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/45Network directories; Name-to-address mapping
    • H04L61/4505Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种CDN缓存方法、装置、计算机设备及存储介质,可通过CDN节点获取企业用户端发送的携带区域信息的特征数据;根据所述特征数据的区域信息,对所述特征数据进行分类,生成与所述区域信息相对应的数据集;再分别对所述数据集中的特征数据进行计算,获取每一个所述数据集的热度指数,将所述热度指数映射到相应的热度区间,每一所述热度区间对应一CDN节点的缓存级别,将所述CDN节点与所述热度指数对应的所述数据集的区域信息进行关联,从而实现差异性缓存;在第一预设时间间隔内,通过所述CDN节点中的决策模型,判断企业用户端发送的与所述CDN节点关联的区域信息的待缓存数据是否执行缓存操作,缓解网络压力。

Description

一种CDN缓存方法、装置、计算机设备及存储介质
技术领域
本发明涉及互联网技术领域,尤其涉及一种CDN缓存方法、装置、计算机设备及存储介质。
背景技术
随着互联网通信技术不断的发展,视频、网页等其它内容流量的快速增长,以及人们对用户体验的不断追求,使负责内容传输的CDN的重要性日益凸显。CDN(ContentDelivery Network,即内容分发网络),一种通过互联网互相连接的电脑网络系统,利用最靠近用户的服务器,更快、更可靠地将视频、图片、视频、网页及其他文件发送给用户,来提供高性能、可扩展性及低成本的网络内容传递给用户,降低城域网和骨干网传输带宽压力,提升用户体验,CDN的分流作用不仅减少了用户的访问延时,也减少了对源站的负载。但也存在如下缺点:当网站数据更新时,如果CDN节点上数据没有及时更新,也会因为CDN边缘节点没有同步最新数据而导致用户访问异常;不同地区的访问流量数据不同,访问流量数据高的地区的用户和网站之间的链路被突发的大流量数据拥堵,造成异地访问速度慢、访问延时的问题。
目前的网络通信技术中,企业用户端的CDN节点的匹配更多的只是重点考虑了客户端用户的区域位置因素,一般是对用户端发送的包含位置的信息进行解析,获取位置信息,根据位置信息,来就近分配CDN节点,以实现对用户访问的快速反馈,提升了反馈速度。但是上述的匹配过程没有考虑到不同地区的访问数据量不同,由于没有针对性的进行CDN节点的匹配,可能造成对网络资源的消耗,同时当网站数据更新时,如果CDN节点上的数据没有及时更新,也会因为CDN边缘节点没有同步最新数据而导致用户访问异常,造成了用户体验差的问题。
综上所述,现有的CDN缓存方法主要存在:无法进行差异性缓存,存在缓存空间资源浪费的问题。
发明内容
针对现有的CDN缓存方法没有进行差异性缓存,造成缓存空间资源浪费的问题,现提供一种旨在可实现差异性缓存,避免造成缓存空间资源浪费的一种CDN缓存方法、装置、计算机设备及存储介质。
为实现上述目的,本发明提供一种基于业务接口的CDN缓存方法,应用于服务器端,包括:
通过CDN节点获取企业用户端发送的携带区域信息的特征数据;
根据所述特征数据的区域信息,对所述特征数据进行分类,生成与所述区域信息相对应的数据集;
分别对所述数据集中的特征数据进行计算,获取每一个所述数据集的热度指数,将所述热度指数映射到相应的热度区间,每一所述热度区间对应一CDN节点的缓存级别,将所述CDN节点与所述热度指数对应的所述数据集的区域信息进行关联;
在第一预设时间间隔内,通过所述CDN节点中的决策模型,判断企业用户端发送的与所述CDN节点关联的区域信息的待缓存数据是否执行缓存操作。
优选的,根据所述特征数据的区域信息,对所述特征数据进行分类,生成与所述区域信息相对应的含有不同区域标识的数据集,包括:
对携带区域信息的所述特征数据进行DNS域名解析以获取区域信息;
根据所述区域信息对所述特征数据进行分类,将同一类别的所述特征数据存储于同一所述数据集中。
优选的,分别对所述数据集中的特征数据进行计算,获取每一个所述数据集的热度指数,将所述热度指数映射到相应的热度区间,每一所述热度区间对应一CDN节点的缓存级别,将所述CDN节点与所述热度指数对应的所述数据集的区域信息进行关联,包括:
在第二预设时间间隔内,分别对每一个所述数据集中所述特征数据的所述企业用户端的访问数据量进行统计,以获取每一所述数据集的热度指数;
根据所述热度指数,对含有不同区域标识的所述数据集的热度进行排序,其中,每一热度指数对应一热度区间,每一所述热度区间对应一缓存级别,热度指数越大对应的缓存级别越高,每一缓存级别对应一CDN节点;
根据所述热度指数的排序,获取所有热度指数的所述数据集排序序列;
根据所述每一热度区间对应一缓存级别,将相应的所述热度指数与所述缓存级别对应的所述CDN节点关联。
优选的,根据所述热度指数,对含有不同区域标识的所述数据集的热度进行排序,包括:
在第二预设时间间隔内,将所述数据集的热度指数按从小到大的顺序进行排序,以得到与所述热度指数对应的所述数据集的热度进行排序。
优选的,在第一预设时间间隔内,通过与所述区域信息相关联的所述CDN节点中的决策模型,对企业用户端发送的待缓存数据是否执行缓存操作进行判断之前,还包括:
通过所述CDN节点从企业用户端发送的数据中筛选出用于训练决策模型的决策数据集;
计算所述决策数据集中每一数据特征的信息增益值,对所述信息增益值进行从大到小的排序,选择信息增益值最大的数据特征作为与所述数据集的区域信息相关联的CDN节点上的决策模型的主特征节点;其中,所述决策模型是决策树模型,所述决策树模型中包括主特征节点和次特征节点,每个决策树模型只有一个主特征节点;
根据所述信息增益值的排序顺序依次将其他所述数据特征作为所述决策树模型的次特征节点,以得到所述CDN节点中的决策模型。
优选的,通过所述CDN节点从企业用户端发送的数据中筛选出用于训练决策模型的决策数据集,包括:
对所述企业用户端发送的数据特征进行特征提取,分别计算每个数据特征的信息增益值;
对所述数据特征的信息增益值进行排序,筛选出用于决策的数据特征,形成所述决策数据集。
优选的,计算所述数据特征的信息增益值,选择信息增益值最大的数据特征作为与所述数据集的区域信息相关联的CDN节点上的决策模型的主特征节点,其特征在于,包括:
将所述决策数据集中的每个数据特征的信息增益值进行对比,选择信息增益值最大的数据特征作为决策模型的主特征节点。
为实现上述目的,本发明还提供一种基于业务接口的CDN缓存装置,包括:
数据获取单元,用于通过CDN节点获取企业用户端发送的携带区域信息的特征数据;
分类单元,用于根据所述特征数据的区域信息,对所述特征数据进行分类,生成与所述区域信息相对应的数据集;
计算单元,用于分别对所述数据集中的特征数据进行计算,获取每一个所述数据集的热度指数,将所述热度指数映射到相应的热度区间,每一所述热度区间对应一CDN节点的缓存级别,将所述CDN节点与所述热度指数对应的所述数据集的区域信息进行关联;
预测单元,用于在第一预设时间间隔内,通过所述CDN节点中的决策模型,判断企业用户端发送的与所述CDN节点关联的区域信息的待缓存数据是否执行缓存操作。
为实现上述目的,本发明还提供一种计算机设备,所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
为实现上述目的,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现上述方法的步骤。
本发明提供的一种CDN缓存方法、装置、计算机设备及存储介质,可通过CDN节点获取企业用户端发送的携带区域信息的特征数据;根据特征数据的区域信息,对特征数据进行分类,生成与区域信息相对应的数据集;再分别对数据集中的特征数据进行计算,获取每一个数据集的热度指数,将热度指数映射到相应的热度区间,每一热度区间对应一CDN节点的缓存级别,将CDN节点与热度指数对应的数据集的区域信息进行关联,从而实现了有针对性的分区域管理,进行差异化缓存,提高缓存空间的利用率和缓存效率,同时也节约了维护成本;在第一预设时间间隔内,通过CDN节点中的决策模型,判断企业用户端发送的与CDN节点关联的区域信息的待缓存数据是否执行缓存操作,以便后续的访问即可直接通过CDN节点将资源返回给客户端,而不需要再回到源服务站,加快请求速度,缓解网络了压力,同时给用户带来更好的访问体验。
附图说明
图1为本发明所述的CDN缓存方法的一种实施例的流程图;
图2为本发明中根据特征数据的区域信息生成数据集的一种实施例的流程图;
图3为本发明中将CDN节点与热度指数对应的数据集的区域信息进行关联的一种实施例的流程图;
图4为本发明中获取CDN节点中的决策模型的一种实施例的方法流程图;
图5为本发明生成决策数据集的一种实施例的方法流程图;
图6为本发明所述的CDN缓存装置的一种实施例的模块图;
图7为本发明所述的计算机设备一实施例的硬件架构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
本发明提供的一种CDN缓存方法、装置、计算机设备及存储介质,适用于互联网领域。
本发明可通过CDN节点获取企业用户端发送的携带区域信息的特征数据;根据特征数据的区域信息,对特征数据进行分类,生成与区域信息相对应的数据集;再分别对数据集中的特征数据进行计算,获取每一个数据集的热度指数,将热度指数映射到相应的热度区间,每一热度区间对应一CDN节点的缓存级别,将CDN节点与热度指数对应的数据集的区域信息进行关联,从而实现了有针对性的分区域管理,进行差异化缓存,提高缓存空间的利用率和缓存效率,同时也节约了维护成本;在第一预设时间间隔内,通过CDN节点中的决策模型,判断企业用户端发送的与CDN节点关联的区域信息的待缓存数据是否执行缓存操作,以便后续的访问即可直接通过CDN节点将资源返回给客户端,而不需要再回到源服务站,加快请求速度,缓解网络了压力,同时给用户带来更好的访问体验。
实施例一
请参阅图1,本实施例的一种基于业务接口的CDN缓存方法,所述方法包括下述步骤:
S1.通过CDN节点获取企业用户端发送的携带区域信息的特征数据;
在本步骤中,所述特征数据的特征可以包括:文件类型,文件大小,文件需求属性,预估文件热度,数据的地域特性等,还可以包括文件所属的内容生产商属性,例如文件来自于新闻网站、视频网站、游戏网站、音乐网站、购物网站、社交网站等。需要强调的是,为进一步保证上述特征数据的私密和安全性,上述特征数据还可以存储于一区块链的节点中。
S2.根据所述特征数据的区域信息,对所述特征数据进行分类,生成与所述区域信息相对应的数据集;
在本步骤中,所述区域信息是通过对所述CDN节点获取的含有区域信息的特征数据进行DNS域名解析的操作来获取的,根据获取的不同的区域信息,对特征数据进行分类,生成与区域信息相对应的数据集,不同区域标识的数据集可以包括:华北数据集,华南数据集,华中数据集,西北数据集,西南数据集等,所述数据集中存储的数据是所述特征数据。
进一步地,所述步骤S2中根据所述特征数据的区域信息,对所述特征数据进行分类,生成与所述区域信息相对应的数据集具体过程包括(参考图2所示):
S21.对携带区域信息的所述特征数据进行DNS域名解析以获取区域信息;
在本步骤中,所述区域信息是通过对所述CDN节点获取的含有区域信息的特征数据进行DNS域名解析的操作来获取的,例如,将域名为www.dnscache.com的信息进行DNS域名解析操作,获得的IP地址为11.222.33.444,简单的说,通过域名,最终得到该域名对应的IP地址,进而获得区域信息,从而可以根据获取的区域信息,生成与所述区域信息相对应的数据集。
S22.根据所述区域信息对所述特征数据进行分类,将同一类别的所述特征数据存储于同一所述数据集中。
在本步骤中,所述数据集根据区域信息的不同,可以分为含有不同区域标识的数据集,每一个数据集中存储的特征数据可以不同。
S3.分别对所述数据集中的特征数据进行计算,获取每一个所述数据集的热度指数,将所述热度指数映射到相应的热度区间,每一所述热度区间对应一CDN节点的缓存级别,将所述CDN节点与所述热度指数对应的所述数据集的区域信息进行关联;
在本步骤中,通过将CDN节点与所述热度指数对应的所述数据集的区域信息进行关联,从而实现根据不同区域的访问数据流量情况,有针对性的进行的维护和投入,节约了缓存资源空间、节约了成本,同时保证了良好的访问体验。
进一步地,所述步骤S3中分别对所述数据集中的特征数据进行计算,获取每一个所述数据集的热度指数,将所述热度指数映射到相应的热度区间,每一所述热度区间对应一CDN节点的缓存级别,将所述CDN节点与所述热度指数对应的所述数据集的区域信息进行关联的具体过程包括(参考图3所示):
S31.在第二预设时间间隔内,分别对每一个所述数据集中所述特征数据的所述企业用户端的访问数据量进行统计,以获取每一所述数据集的热度指数;
在本步骤中,企业用户端的访问数据量是对访问用户的访问次数和频率的统计,不局限是对哪一种特征数据的统计,是对整体数据访问次数的统计,这里是通过使用网站日志分析器来进行统计的,先统计访问来自哪个区域,根据不同的区域分别对访问量进行统计,分区域进行统计是很有必要的,因为可以知道哪个区域的访问流量大,这样可以根据访问数据量以及使用带宽情况,来匹配不同数量的CDN缓存节点,以及对不同热度的区域进行的维护和投入的力度也不同。
S32.根据所述热度指数,对含有不同区域标识的所述数据集的热度进行热度指数的排序;
其中,每一热度指数对应一热度区间,每一所述热度区间对应一缓存级别,热度指数的热度指数越大,对应的缓存级别越高,每一缓存级别对应一CDN节点。
在本步骤中,这里是将获取的不同区域数据集的热度值分别映射到不同的、相互独立的区间,通过对区间的比较,进而来对热度进行排序。其中,热度越高的区域,所匹配的CDN节点的缓存级别就越高,相应的,CDN节点的缓存级别越高,为了缓解该区域的网络访问压力,该区域所分配的CDN缓存节点的数量就越多,同时对该区域的运行情况的监控力度越大,投入成本更多。而热度较低的区域,相应的网络访问压力较小,该区域所分配的CDN缓存节点的数量就越少,同时对该区域的运行情况的监控力度也越小,投入成本也更少,这样有针对性进行CDN缓解节点的匹配以及不同力度的监控,实现更加精细化的管理,避免造成资源的浪费,在整体上也节约了成本。
进一步地,在所述步骤S32中根据所述热度指数对含有不同区域标识的所述数据集的热度进行热度指数的排序具体过程包括:在第二预设时间间隔内,将所述数据集的热度指数按从小到大的顺序进行排序,以得到与所述热度指数对应的所述数据集的热度进行排序。。
在本步骤中,缓存级别不是固定不变的,针对不同热度的区域,预设不同的周期,来对热度区间进行更新,热度区间越高,对应的缓存级别越高,缓存级别越高,所匹配的CDN缓存节点的数量越多,维护的力度越大,投入的成本越大,相反,缓存级别越低,匹配的CDN缓存节点的数量越少,维护的力度越小,投入的成本越小,从而可以不同热度区间所对应区域的数据访问的良好的用户体验,又避免了资源浪费。
S33.根据所述热度指数的排序,获取所有热度指数的所述数据集排序序列;
在本步骤中,所述排序的序列是按照区域热度值大小进行排序的,所述序列不是固定,在预设时间内,周期性的对热度值进行计算,进而对区域的热度情况进行评估。
S34.根据所述每一热度区间对应一缓存级别,将相应的所述热度指数与所述缓存级别对应的所述CDN节点关联。
在本步骤中,CDN节点的缓存级别是由该区域的热度来决定的。
S4.在第一预设时间间隔内,通过所述CDN节点中的决策模型,判断企业用户端发送的与所述CDN节点关联的区域信息的待缓存数据是否执行缓存操作。
在本步骤中,根据所述决策模型对待缓存数据是否执行缓存操作进行预测,获取优先缓存的数据预测结果,并针对所述不同缓存级别的CDN节点制定不同的缓存策略,设置不同的时间间隔周期来对所述决策模型进行更新。从而保证网站更高的访问效率。基于判断结果实现对企业用户端发送的待缓存数据的智能缓存,主要是将判断出的待缓存数据缓存到该区域所匹配的CDN节点上,然后后续该区域的访问即可直接通过CDN节点将资源返回给客户端,而不需要再回到源服务站,加快了请求速度。
优选的,所述步骤S4之前还包括(参考图4所示):
A1.通过所述CDN节点从企业用户端发送的数据中筛选出用于训练决策模型的决策数据集;
进一步地,所述步骤A1具体过程包括(参考图5所示):
A11.对所述企业用户端发送的数据特征进行特征提取,分别计算每个数据特征的信息增益值;
在本步骤中,信息增益可以理解为这个特征的影响力或是重要程度,首先,计算每种特征的信息增益值,选择高的进行优先决策,比如文件类型的信息增益最大,则选择根据文件类型进行优先决策,再判断再依次继续执行。是对每个特征的信息增益进行计算。计算信息增益的目的是为了构建决策树结构,根据树结构来判断是否需要缓存,计算信息增益的过程就是一个构建树结构的一个过程。
A12.对所述数据特征的信息增益值进行排序,筛选出用于决策的数据特征,形成所述决策数据集。
在本步骤中,计算出的信息增益值是一个具体的数值。比如对文件大小、文件类型、文件需求属性、文件热度的信息增益的计算得出的是一个具体数值,对数值进行比较,比如文件大小的信息增益的数值最大,则第一步先判断文件大小,则形成两组数据集,一种是文件大的,一种是文件小的,然后再继续分别对文件大的数据集的文件类型进行比较。依次类推。
A2.计算出所述决策数据集中每一数据特征的信息增益值,对所述信息增益值进行从大到小的排序,选择信息增益值最大的数据特征作为与所述数据集的区域信息相关联的CDN节点上的决策模型的主特征节点;
其中,所述决策模型是决策树模型,所述决策树模型中包括主特征节点和次特征节点,每个决策树模型只有一个主特征节点;
在本步骤中,所述信息增益值最大的数据特征不固定,根据不同时期的缓存效率,每个数据特征的信息增益值会有相应的改变,在预设时间段内,对所述决策数据集中的每个数据特征的信息增益值进行对比,选择信息增益值最大的数据特征作为决策模型的主特征节点,所述决策模型是决策树模型,所述决策树模型中包括主特征节点和次特征节点,每个决策树模型只有一个主特征节点,并且,主特征节点不是固定不变的,在预设的时间间隔内,对决策集中的数据特征的信息增益值进行计算并重新对比,将新计算的信息增益值大的数据特征作为新的主特征节点。
进一步地,在本步骤中,可以采用的决策树模型包括ID3、C4.5和CART等决策树模型。
进一步地,所述步骤A2包括:
所述信息增益值最大的数据特征不固定,随不同时期的缓存效率的变化,每个数据特征的信息增益值会有相应的改变,将所述决策数据集中的每个数据特征的信息增益值进行对比,选择信息增益值最大的数据特征作为决策模型的主特征节点。
A3.根据所述信息增益值的排序顺序依次将其他所述数据特征作为所述决策树模型的次特征节点,以得到所述CDN节点中的决策模型。
具体地,根据所述信息增益值最大的特征建立决策模型的主特征节点,主特征节点生成两个次特征节点,再选择信息增益值第二大的数据特征作为次特征节点,以此类推逐级生成新的下一个次特征节点,直到没有数据特征可以选择为止。
本实施例中通过CDN节点对需要进行缓存的数据进行缓存,当后续访问该数据时,可直接通过CDN节点将资源返回给客户端,而不需要再回到源服务站获取访问数据,减小了对源站的负载,同时也加快了访问数据的请求速度,提高了用户体验。本发明基于业务接口的CDN缓存方法,可通过CDN节点获取企业用户端发送的携带区域信息的特征数据;根据特征数据的区域信息,对特征数据进行分类,生成与区域信息相对应的数据集;再分别对数据集中的特征数据进行计算,获取每一个数据集的热度指数,将热度指数映射到相应的热度区间,每一热度区间对应一CDN节点的缓存级别,将CDN节点与热度指数对应的数据集的区域信息进行关联,从而实现了有针对性的分区域管理,进行差异化缓存,提高缓存空间的利用率和缓存效率,同时也节约了维护成本;在第一预设时间间隔内,通过CDN节点中的决策模型,判断企业用户端发送的与CDN节点关联的区域信息的待缓存数据是否执行缓存操作,以便后续的访问即可直接通过CDN节点将资源返回给客户端,而不需要再回到源服务站,加快请求速度,缓解网络了压力,同时给用户带来更好的访问体验。
实施例二
请参阅图6,本实施例的一种基于业务接口的CDN缓存装置1,包括:数据获取单元11、分类单元12、计算单元13、预测单元14,其中:
数据获取单元11,用于通过CDN节点获取企业用户端发送的携带区域信息的特征数据。
需要强调的是,为进一步保证上述特征数据的私密和安全性,上述特征数据还可以存储于一区块链的节点中。
所述特征数据的特征可以包括:文件类型,文件大小,文件需求属性,预估文件热度,数据的地域特性等,还可以包括文件所属的内容生产商属性,例如文件来自于新闻网站、视频网站、游戏网站、音乐网站、购物网站、社交网站等。
分类单元12,用于根据所述特征数据的区域信息,对所述特征数据进行分类,生成与所述区域信息相对应的数据集。
所述区域信息是通过对所述CDN节点获取的含有区域信息的特征数据进行DNS域名解析的操作来获取的,根据获取的不同的区域信息,对特征数据进行分类,生成与区域信息相对应的数据集,不同区域标识的数据集可以包括:华北数据集,华南数据集,华中数据集,西北数据集,西南数据集等,所述数据集中存储的数据是所述特征数据。
计算单元13,用于分别对所述数据集中的特征数据进行计算,获取每一个所述数据集的热度指数,将所述热度指数映射到相应的热度区间,每一所述热度区间对应一CDN节点的缓存级别,将所述CDN节点与所述热度指数对应的所述数据集的区域信息进行关联。
本实施例中将获取的不同区域数据集的热度值分别映射到不同的、相互独立的区间,通过对区间的比较,进而来对热度进行排序。其中,热度越高的区域,所匹配的CDN节点的缓存级别就越高,相应的,CDN节点的缓存级别越高,为了缓解该区域的网络访问压力,该区域所分配的CDN缓存节点的数量就越多,同时对该区域的运行情况的监控力度越大,投入成本更多。而热度较低的区域,相应的网络访问压力较小,该区域所分配的CDN缓存节点的数量就越少,同时对该区域的运行情况的监控力度也越小,投入成本也更少,这样有针对性进行CDN缓解节点的匹配以及不同力度的监控,实现更加精细化的管理,避免造成资源的浪费,在整体上也节约了成本。
预测单元14,用于在第一预设时间间隔内,通过所述CDN节点中的决策模型,判断企业用户端发送的与所述CDN节点关联的区域信息的待缓存数据是否执行缓存操作。
根据所述决策模型对待缓存数据是否执行缓存操作进行预测,获取优先缓存的数据预测结果,并针对所述不同缓存级别的CDN节点制定不同的缓存策略,设置不同的时间间隔周期来对所述决策模型进行更新。从而保证网站更高的访问效率。
本发明提供的CDN缓存装置1可通过数据获取单元11,获取企业用户端发送的携带区域信息的特征数据;采用分类单元12,根据特征数据的区域信息,对特征数据进行分类,生成与区域信息相对应的数据集;利用计算单元13,再分别对数据集中的特征数据进行计算,获取每一个数据集的热度指数,将热度指数映射到相应的热度区间,每一热度区间对应一CDN节点的缓存级别,将CDN节点与热度指数对应的数据集的区域信息进行关联,从而实现了有针对性的分区域管理,进行差异化缓存,提高缓存空间的利用率和缓存效率,同时也节约了维护成本;;采用预测单元14,在第一预设时间间隔内,通过CDN节点中的决策模型,判断企业用户端发送的与CDN节点关联的区域信息的待缓存数据是否执行缓存操作,以便后续的访问即可直接通过CDN节点将资源返回给客户端,而不需要再回到源服务站,加快请求速度,缓解网络了压力,同时给用户带来更好的访问体验。
实施例三
为实现上述目的,本发明还提供一种计算机设备2,该计算机设备2包括多个计算机设备2,实施例二的CDN缓存装置1的组成部分可分散于不同的计算机设备2中,计算机设备2可以是执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器,或者多个服务器所组成的服务器集群)等。本实施例的计算机设备2至少包括但不限于:可通过系统总线相互通信连接的存储器21、处理器23、网络接口22以及CDN缓存装置1(参考图7)。需要指出的是,图7仅示出了具有组件-的计算机设备2,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
本实施例中,所述存储器21至少包括一种类型的计算机可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器21可以是计算机设备2的内部存储单元,例如该计算机设备2的硬盘或内存。在另一些实施例中,存储器21也可以是计算机设备2的外部存储设备,例如该计算机设备2上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,所述存储器21还可以既包括计算机设备2的内部存储单元也包括其外部存储设备。本实施例中,存储器21通常用于存储安装于计算机设备2的操作系统和各类应用软件,例如实施例一的基于业务接口的CDN缓存方法的程序代码等。此外,存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器23在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器23通常用于控制计算机设备2的总体操作例如执行与所述计算机设备2进行数据交互或者通信相关的控制和处理等。本实施例中,所述处理器23用于运行所述存储器21中存储的程序代码或者处理数据,例如运行所述的CDN缓存装置1等。
所述网络接口22可包括无线网络接口或有线网络接口,该网络接口22通常用于在所述计算机设备2与其他计算机设备2之间建立通信连接。例如,所述网络接口22用于通过网络将所述计算机设备2与外部终端相连,在所述计算机设备2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication,GSM)、宽带码分多址(WidebandCode Division Multiple Access,WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是,图7仅示出了具有部件21-23的计算机设备2,但是应理解的是,并不要求实施所有示出的部件,可以替代的实施更多或者更少的部件。
在本实施例中,存储于存储器21中的所述CDN缓存装置1还可以被分割为一个或者多个程序模块,所述一个或者多个程序模块被存储于存储器21中,并由一个或多个处理器(本实施例为处理器23)所执行,以完成本发明。
实施例四
为实现上述目的,本发明还提供一种计算机可读存储介质,其包括多个存储介质,如闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等,其上存储有计算机程序,程序被处理器23执行时实现相应功能。本实施例的计算机可读存储介质用于存储CDN缓存装置1,被处理器23执行时实现实施例一的基于业务接口的CDN缓存方法。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于业务接口的CDN缓存方法,应用于服务器端,其特征在于,包括:
通过CDN节点获取企业用户端发送的携带区域信息的特征数据;
根据所述特征数据的区域信息,对所述特征数据进行分类,生成与所述区域信息相对应的数据集;
分别对所述数据集中的特征数据进行计算,获取每一个所述数据集的热度指数,将所述热度指数映射到相应的热度区间,每一所述热度区间对应一CDN节点的缓存级别,将所述CDN节点与所述热度指数对应的所述数据集的区域信息进行关联;
在第一预设时间间隔内,通过所述CDN节点中的决策模型,判断企业用户端发送的与所述CDN节点关联的区域信息的待缓存数据是否执行缓存操作。
2.根据权利要求1所述的基于业务接口的CDN缓存方法,其特征在于,根据所述特征数据的区域信息,对所述特征数据进行分类,生成与所述区域信息相对应的含有不同区域标识的数据集,包括:
对携带区域信息的所述特征数据进行DNS域名解析以获取区域信息;
根据所述区域信息对所述特征数据进行分类,将同一类别的所述特征数据存储于同一所述数据集中。
3.根据权利要求1所述的基于业务接口的CDN缓存方法,其特征在于,分别对所述数据集中的特征数据进行计算,获取每一个所述数据集的热度指数,将所述热度指数映射到相应的热度区间,每一所述热度区间对应一CDN节点的缓存级别,将所述CDN节点与所述热度指数对应的所述数据集的区域信息进行关联,包括:
在第二预设时间间隔内,分别对每一个所述数据集中所述特征数据的所述企业用户端的访问数据量进行统计,以获取每一所述数据集的热度指数;
根据所述热度指数,对含有不同区域标识的所述数据集的热度进行排序,其中,每一热度指数对应一热度区间,每一所述热度区间对应一缓存级别,热度指数越大对应的缓存级别越高,每一缓存级别对应一CDN节点;
根据所述热度指数的排序,获取所有热度指数的所述数据集排序序列;
根据所述每一热度区间对应一缓存级别,将相应的所述热度指数与所述缓存级别对应的所述CDN节点关联。
4.根据权利要求3所述的基于业务接口的CDN缓存方法,其特征在于,根据所述热度指数,对含有不同区域标识的所述数据集的热度进行排序,包括:
在第二预设时间间隔内,将所述数据集的热度指数按从小到大的顺序进行排序,以得到与所述热度指数对应的所述数据集的热度进行排序。
5.根据权利要求1所述的基于业务接口的CDN缓存方法,其特征在于,在第一预设时间间隔内,通过与所述区域信息相关联的所述CDN节点中的决策模型,对企业用户端发送的待缓存数据是否执行缓存操作进行判断之前,还包括:
通过所述CDN节点从企业用户端发送的数据中筛选出用于训练决策模型的决策数据集;
计算所述决策数据集中每一数据特征的信息增益值,对所述信息增益值进行从大到小的排序,选择信息增益值最大的数据特征作为与所述数据集的区域信息相关联的CDN节点上的决策模型的主特征节点;其中,所述决策模型是决策树模型,所述决策树模型中包括主特征节点和次特征节点,每个决策树模型只有一个主特征节点;
根据所述信息增益值的排序顺序依次将其他所述数据特征作为所述决策树模型的次特征节点,以得到所述CDN节点中的决策模型。
6.根据权利要求5所述的基于业务接口的CDN缓存方法,其特征在于,通过所述CDN节点从企业用户端发送的数据中筛选出用于训练决策模型的决策数据集,包括:
对所述企业用户端发送的数据特征进行特征提取,分别计算每个数据特征的信息增益值;
对所述数据特征的信息增益值进行排序,筛选出用于决策的数据特征,形成所述决策数据集。
7.根据权利要求5所述的基于业务接口的CDN缓存方法,计算所述数据特征的信息增益值,选择信息增益值最大的数据特征作为与所述数据集的区域信息相关联的CDN节点上的决策模型的主特征节点,其特征在于,包括:
将所述决策数据集中的每个数据特征的信息增益值进行对比,选择信息增益值最大的数据特征作为决策模型的主特征节点。
8.一种基于业务接口的CDN缓存装置,其特征在于,包括:
数据获取单元,用于通过CDN节点获取企业用户端发送的携带区域信息的特征数据;
分类单元,用于根据所述特征数据的区域信息,对所述特征数据进行分类,生成与所述区域信息相对应的数据集;
计算单元,用于分别对所述数据集中的特征数据进行计算,获取每一个所述数据集的热度指数,将所述热度指数映射到相应的热度区间,每一所述热度区间对应一CDN节点的缓存级别,将所述CDN节点与所述热度指数对应的所述数据集的区域信息进行关联;
预测单元,用于在第一预设时间间隔内,通过所述CDN节点中的决策模型,判断企业用户端发送的与所述CDN节点关联的区域信息的待缓存数据是否执行缓存操作。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
CN202011180046.8A 2020-10-29 2020-10-29 一种cdn缓存方法、装置、计算机设备及存储介质 Withdrawn CN112351088A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011180046.8A CN112351088A (zh) 2020-10-29 2020-10-29 一种cdn缓存方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011180046.8A CN112351088A (zh) 2020-10-29 2020-10-29 一种cdn缓存方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN112351088A true CN112351088A (zh) 2021-02-09

Family

ID=74356454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011180046.8A Withdrawn CN112351088A (zh) 2020-10-29 2020-10-29 一种cdn缓存方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112351088A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112835682A (zh) * 2021-02-25 2021-05-25 平安消费金融有限公司 一种数据处理方法、装置、计算机设备和可读存储介质
CN114428822A (zh) * 2022-01-27 2022-05-03 云启智慧科技有限公司 一种数据处理的方法、装置、电子设备及存储介质
CN115250295A (zh) * 2021-04-26 2022-10-28 北京字跳网络技术有限公司 一种媒体内容处理方法、装置、设备和存储介质
CN116450053A (zh) * 2023-06-13 2023-07-18 苏州浪潮智能科技有限公司 数据存储方法、装置、系统、电子设备和存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112835682A (zh) * 2021-02-25 2021-05-25 平安消费金融有限公司 一种数据处理方法、装置、计算机设备和可读存储介质
CN112835682B (zh) * 2021-02-25 2024-04-05 平安消费金融有限公司 一种数据处理方法、装置、计算机设备和可读存储介质
CN115250295A (zh) * 2021-04-26 2022-10-28 北京字跳网络技术有限公司 一种媒体内容处理方法、装置、设备和存储介质
WO2022228390A1 (zh) * 2021-04-26 2022-11-03 北京字跳网络技术有限公司 媒体内容处理方法、装置、设备和存储介质
CN114428822A (zh) * 2022-01-27 2022-05-03 云启智慧科技有限公司 一种数据处理的方法、装置、电子设备及存储介质
CN114428822B (zh) * 2022-01-27 2022-07-29 云启智慧科技有限公司 一种数据处理的方法、装置、电子设备及存储介质
CN116450053A (zh) * 2023-06-13 2023-07-18 苏州浪潮智能科技有限公司 数据存储方法、装置、系统、电子设备和存储介质
CN116450053B (zh) * 2023-06-13 2023-09-05 苏州浪潮智能科技有限公司 数据存储方法、装置、系统、电子设备和存储介质

Similar Documents

Publication Publication Date Title
US10547618B2 (en) Method and apparatus for setting access privilege, server and storage medium
CN112351088A (zh) 一种cdn缓存方法、装置、计算机设备及存储介质
US9769248B1 (en) Performance-based content delivery
JP6310071B2 (ja) クラスタリングに基づくマッピングおよびルーティングのためのシステムおよび方法
CN110019211A (zh) 关联索引的方法、装置和系统
CN107305611B (zh) 恶意账号对应的模型建立方法和装置、恶意账号识别的方法和装置
CN112118551B (zh) 设备风险识别方法及相关设备
US9705801B2 (en) Systems and methods for mapping and routing based on clustering
CN105190595A (zh) 唯一地识别网络连接实体
CN110442762B (zh) 基于云平台大数据的大数据处理方法
CN105447113A (zh) 一种基于大数据的信息分析方法
CN111698303A (zh) 数据处理方法、装置、电子设备及存储介质
CN112632129A (zh) 一种码流数据管理方法、装置及存储介质
CN108154024B (zh) 一种数据检索方法、装置及电子设备
CN112204543A (zh) 用于分布式系统的频繁模式分析
CN111339183A (zh) 数据处理方法、边缘节点、数据中心及存储介质
CN110442623B (zh) 大数据挖掘方法、装置及数据挖掘服务器
CN109218211B (zh) 数据流的控制策略中阈值的调整方法、装置和设备
CN112118189B (zh) 一种流量采样方法、计算机设备及计算机可读存储介质
CN112231481A (zh) 网址的分类方法、装置、计算机设备和存储介质
CN115987685B (zh) 一种云服务数据共享方法及系统
CN110557351B (zh) 用于生成信息的方法和装置
CN113411364B (zh) 资源获取方法、装置及服务器
CN111865576B (zh) 一种同步url分类数据的方法和装置
CN116107801A (zh) 交易处理方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210209

WW01 Invention patent application withdrawn after publication