CN108809728B - 内容分发网络数据转发方法和内容分发网络数据转发系统 - Google Patents

内容分发网络数据转发方法和内容分发网络数据转发系统 Download PDF

Info

Publication number
CN108809728B
CN108809728B CN201810628688.6A CN201810628688A CN108809728B CN 108809728 B CN108809728 B CN 108809728B CN 201810628688 A CN201810628688 A CN 201810628688A CN 108809728 B CN108809728 B CN 108809728B
Authority
CN
China
Prior art keywords
resource
content
matrix
node
content node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810628688.6A
Other languages
English (en)
Other versions
CN108809728A (zh
Inventor
刘畅
毋涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN201810628688.6A priority Critical patent/CN108809728B/zh
Publication of CN108809728A publication Critical patent/CN108809728A/zh
Application granted granted Critical
Publication of CN108809728B publication Critical patent/CN108809728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1014—Server selection for load balancing based on the content of a request

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明属于网络技术领域，具体涉及内容分发网络数据转发方法和内容分发网络数据转发系统。该内容分发网络数据转发方法，包括步骤：建立内容节点与请求资源的资源评估矩阵；对所述资源评估矩阵进行分解，获得两个稠密子矩阵；根据所述稠密子矩阵，获得每个所述内容节点中的任何资源内容的热度；对所述内容节点中每一资源的热度进行排名，预测该所述内容节点将可能访问的数据内容；将该内容节点所述将可能访问的数据内容推送给对应的所述内容节点。该内容分发网络数据转发方法和内容分发网络数据转发系统，通过对每个内容节点的“兴趣爱好”进行预判断，并将判断后的热点资源内容分发到对应的内容节点上，从而保证内容节点的请求资源命中率。

Description

内容分发网络数据转发方法和内容分发网络数据转发系统
技术领域
本发明属于网络技术领域，具体涉及内容分发网络数据转发方法和内容分发网络数据转发系统。
背景技术
近几年随着网络宽带的普及以及移动带宽的发展，直播等流媒体服务逐渐成为互联网的重要应用。为了提高流媒体的传输质量以及性能，内容分发网络(ContentDistribution/Delivery Network，简称CDN)发挥了很大的作用。CDN通过将网络内容预分发到每一个节点，在用户请求相关资源的时候为用户分配一个“最近”的节点进行数据转发，从而提高数据在网络中的传输性能。
目前的内容分发网络在分发内容时是采用全部分发的模式，即所有内容都预先分发到全部节点，以保证用户待请求相关内容时可以从最近的节点进行内容传输。但是这种非智能的“傻瓜式”预分发操作极大的占用了CDN的网络带宽以及每个节点的存储资源。随着网络的发展，网络中的大流量数据，如流媒体数据的数据量程爆炸式增长，要保证每个节点都保存一份数据，这无疑对存储资源是一个非常大的挑战。
在节点的存储资源有限的情况下，在网络数据成指数级增加的今天，需要对分发的数据进行取舍，CDN提供商或者需要不断的扩容节点的存储，或者需要保存用户最近访问过的数据从而降低了。目前的主流做法是保留用户最近访问过的资源，即类似于缓存的做法，这种方式对于单个用户的访问行为有一定的效果，但是对于服务于一个区域的内容节点，无法预知用户的下一步需求，对于整个系统资源命中率的提高效果不是很理想。
发明内容
本发明所要解决的技术问题是针对现有技术中上述不足，提供一种内容分发网络数据转发方法和内容分发网络数据转发系统，对内容节点的请求资源内容进行预测，从而保证内容节点的请求资源命中率，大大提高了提高内容节点的资源利用率和资源派发的命中率。
解决本发明技术问题所采用的技术方案是该内容分发网络数据转发方法，包括步骤：
步骤S1)：建立内容节点与请求资源的资源评估矩阵；
步骤S2)：对所述资源评估矩阵进行分解，获得两个稠密子矩阵；
步骤S3)：根据所述稠密子矩阵，获得每个所述内容节点中的任何资源内容的热度；
步骤S4)：对所述内容节点中每一资源的热度进行排名，预测该所述内容节点将可能访问的数据内容；
步骤S5)：将该内容节点所述将可能访问的数据内容推送给对应的所述内容节点。
优选的是，步骤S1)中包括：
收集各个内容节点的历史资源请求数据；
并根据所述历史资源请求数据建立所述资源评估矩阵，所述资源评估矩阵中横坐标表示内容节点，纵坐标表示资源，数值为对应资源在内容节点中的热度，热度通过将资源被请求的次数映射到[0，10]的数值区间中计算得到。
优选的是，步骤S2)中：采用交替最小二乘法对所述资源评估矩阵分解获得两个稠密子矩阵，包括：
通过公式(1)采用第一稠密子矩阵Ukm和第二稠密子矩阵Ikn的乘积来近似资源评估矩阵Amn，公式(1)为：
Figure BDA0001699852670000031
其中：k<<min(m，n)，m，n为自然数，所述第一稠密子矩阵Ukm抽象为内容节点，所述第二稠密子矩阵Ikn抽象为资源；
通过公式(2)使得两个稠密子矩阵Ukm和Ikn的乘积逼近资源评估矩阵Amn，公式(2)为：
Figure BDA0001699852670000032
其中：axy表示第x个内容节点对第y个资源的热度，ux表示内容节点x的偏好隐含特征向量，iy表示资源y的隐含特征向量，则内容节点x对资源i的热度近似为：
Figure BDA0001699852670000033
优选的是，还包括：加入正则化项，通过公式(3)收敛优化逼近资源评估矩阵Amn的两个稠密子矩阵Ukm和Ikn的乘积：
Figure BDA0001699852670000034
优选的是，步骤S3)中:结合所述第一稠密子矩阵Ukm和所述第二稠密子矩阵Ikn获得每个所述内容节点中的任何资源内容的热度，使得A(m*n)矩阵中第m的内容节点中第n个资源的热度Amn以第一稠密子矩阵U的第m行和第二稠密子矩阵I的第n列为代表。
优选的是，步骤S4)中：将热度排名靠前、且位于设定范围内的资源预测为该内容节点为将要访问的数据内容。
优选的是，还包括：重复建立内容节点与请求资源的资源评估矩阵的过程，根据后续的用户实际请求数据，更新各个内容节点的历史资源请求数据。
一种内容分发网络数据转发系统，包括核心控制节点和分布式布置的多个内容节点，其中：
所述核心控制节点，配置为：
为用户分配距离用户最近的所述内容节点进行数据转发；
以及，收集各个所述内容节点的历史资源请求数据；
以及，分析历史资源请求数据，预测各内容节点未来一段时间内可能请求的资源内容；
以及，将预测的资源内容预分发到对应的所述内容节点；
通过所述内容节点接下来的请求内容调整预估模型中的资源权值参数，优化资源评估矩阵；
以及，根据后续的用户实际请求数据，更新各个所述内容节点的历史资源请求数据；
所述分布式内容节点，配置为：
接收所述核心控制节点预分发的资源内容；
以及，处理用户的数据请求，如果本地已有数据则直接转发给用户，如果本地没有数据则需要向所述核心控制节点进行请求；
以及，对一定时间内的用户请求数据进行统计并上报给所述核心控制节点。
优选的是，所述核心控制节点包括计算单元、配置单元和预测单元，其中：
在所述计算单元中，采用交替最小二乘法对所述资源评估矩阵分解获得两个稠密子矩阵，包括：
通过公式(1)采用第一稠密子矩阵Ukm和第二稠密子矩阵Ikn的乘积来近似资源评估矩阵Amn，公式(1)为：
Figure BDA0001699852670000051
其中：k<<min(m，n)，m，n为自然数，所述第一稠密子矩阵Ukm抽象为内容节点，所述第二稠密子矩阵Ikn抽象为资源；
通过公式(2)使得两个稠密子矩阵Ukm和Ikn的乘积逼近资源评估矩阵Amn，公式(2)为：
Figure BDA0001699852670000052
其中：axy表示第x个内容节点对第y个资源的热度，ux表示内容节点x的偏好隐含特征向量，iy表示资源y的隐含特征向量，则内容节点x对资源i的热度近似为：
Figure BDA0001699852670000053
在所述配置单元中，结合所述第一稠密子矩阵Ukm和所述第二稠密子矩阵Ikn获得每个所述内容节点中的任何资源内容的热度，使得A(m*n)矩阵中第m的内容节点中第n个资源的热度Amn以第一稠密子矩阵U的第m行和第二稠密子矩阵I的第n列为代表；
在所述预测单元中，将热度排名靠前、且位于设定范围内的资源预测为该内容节点为将要访问的数据内容。
优选的是，在所述计算单元和所述配置单元之间还包括优化单元，在所述优化单元中：加入正则化项，通过公式(3)收敛优化逼近资源评估矩阵Amn的两个稠密子矩阵Ukm和Ikn的乘积：
Figure BDA0001699852670000054
本发明的有益效果是：
该内容分发网络数据转发系统，基于交替最小二乘算法的内容分发网络模型，使用一种预判断的机器学习模式对每个节点的历史兴趣爱好进行学习，从而预判断该节点接下来可能访问的内容进行分发，从而提高内容节点的资源利用率和资源派发的命中率；
该内容分发网络数据转发方法，基于交替最小二乘算法的内容分发网络模型，在保证内容节点的存储资源有限的情况下，对每个内容节点的“兴趣爱好”进行预判断，并将判断后的热点资源内容分发到对应的内容节点上，从而保证内容节点的请求资源命中率。
附图说明
图1为本发明实施例中内容分发网络数据转发系统的架构图；
图2为本发明实施例中内容分发网络数据转发方法的流程图；
图3为本发明实施例中资源评估矩阵的示意图；
图4为本发明实施例中两个稠密子矩阵的示意图；
附图标识中：
1-核心控制节点；2-多个内容节点。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明内容分发网络数据转发方法和内容分发网络数据转发系统作进一步详细描述。
本发明公开了一种基于交替最小二乘法(ALS)的内容分发网络数据转发方法和内容分发网络数据转发系统，使用ALS的算法对每个内容节点的“兴趣及爱好”进行预评估，并按照评估结果将内容个性化分配到不同的CDN中的内容节点，从而在保证CDN命中率的同时节省每个内容节点的硬件资源。
该内容分发网络数据转发系统包括两大部分：核心控制节点1和分布式布置的多个内容节点2，其中的核心控制节点1可以根据热度评估算法预测节点在未来的资源请求需求，从而可以预分配资源，提高系统效率。
本发明的技术构思在于：在核心控制节点1中对请求资源进行建模、采用交替最小二乘法算法进行内容预评估，并通过机器学习依据后续的反馈不断优化模型。
该内容分发网络数据转发系统的架构图如图1所示：
核心控制节点1，配置为：
功能1)：为用户分配距离用户最近的内容节点2进行数据转发。这里的“最近”可以理解为物理距离，更具体一些是距离用户路由跳数最少或者时延最低的节点。
功能2)：收集各个内容节点2的历史资源请求数据。
功能3)：分析历史资源请求数据，利用交替最小二乘法算法对数据进行建模及分析，预测各内容节点2未来一段时间内可能请求的资源内容。为实现该功能，核心控制节点1包括计算单元、配置单元和预测单元，其中：
在计算单元中，采用交替最小二乘法对资源评估矩阵分解获得两个稠密子矩阵，包括：
通过公式(1)采用第一稠密子矩阵Ukm和第二稠密子矩阵Ikn的乘积来近似资源评估矩阵Amn，公式(1)为：
Figure BDA0001699852670000081
其中：k<<min(m，n)，m，n为自然数，第一稠密子矩阵Ukm抽象为内容节点2，第二稠密子矩阵Ikn抽象为资源；
通过公式(2)使得两个稠密子矩阵Ukm和Ikn的乘积逼近资源评估矩阵Amn，公式(2)为：
Figure BDA0001699852670000082
其中：axy表示第x个内容节点2对第y个资源的热度，ux表示内容节点2x的偏好隐含特征向量，iy表示资源y的隐含特征向量，则内容节点2x对资源i的热度近似为：
Figure BDA0001699852670000083
在配置单元中，结合第一稠密子矩阵Ukm和第二稠密子矩阵Ikn获得每个内容节点2中的任何资源内容的热度，使得A(m*n)矩阵中第m的内容节点中第n个资源的热度Amn以第一稠密子矩阵U的第m行和第二稠密子矩阵I的第n列为代表；
在预测单元中，将热度排名靠前、且位于设定范围内的资源预测为该内容节点2为将要访问的数据内容。
优选的是，在计算单元和配置单元之间还包括优化单元，在优化单元中：加入正则化项，通过公式(3)收敛优化逼近资源评估矩阵Amn的两个稠密子矩阵Ukm和Ikn的乘积：
Figure BDA0001699852670000084
功能4)：将预测的资源内容预分发到对应的内容节点2。
功能5)：通过内容节点2接下来的请求内容调整预估模型(资源评估矩阵)中的资源权值参数，优化评估模型。如果预测的资源在接下来的一段时间被访问了，则认为这个资源预测准确，可以增加权值，反之则降低权值。
功能6)：根据后续的用户实际请求数据，更新各个内容节点2的历史资源请求数据(即重复收集各个内容节点2的历史资源请求数据的过程)。
分布式内容节点2，配置为：
功能1)：接收核心控制节点1预分发的资源内容；
功能2)：处理用户的数据请求，如果本地已有数据则直接转发给用户，如果本地没有数据则需要向核心控制节点1进行请求；
功能3)：对一定时间内的用户请求数据进行统计并上报给核心控制节点1。每个内容节点服务的范围和用户数都不同，因此时间也不可能固定，但是一般应该在10分钟之内，之后可以根据预测的准确率进行时间参数的调整。
该内容分发网络数据转发系统，基于交替最小二乘算法的内容分发网络模型，使用一种预判断的机器学习模式对每个节点的历史兴趣爱好进行学习，从而预判断该节点接下来可能访问的内容进行分发，从而提高内容节点的资源利用率和资源派发的命中率。
如图2所示，对该内容分发网络数据转发方法具体说明如下：
步骤S1)：建立内容节点2与请求资源的资源评估矩阵，资源评估矩阵中每一数值为对应资源在内容节点2中的热度。
如图3所示，该资源评估矩阵中横坐标表示内容节点2，纵坐标表示资源，数值为对应资源在内容节点2中的热度，如矩阵A的A16＝4，表示在第1个内容节点中，资源6的热度为4。其中，热度按照区域取整进行映射，例如通过将资源被请求的次数映射到[0，10]的数值区间中进行计算得到的整数。
该步骤中的请求资源为全网拥有的资源，即资源评估矩阵的每一行代表第N个内容节点对应全网所有资源的热度数据，该矩阵为一个系数矩阵，因为全网的资源数量是巨大的，而每个内容节点2真正被请求的资源只是很小的一部分。
步骤S2)：对资源评估矩阵进行分解，获得两个稠密子矩阵。
分解资源评估矩阵获得两个稠密子矩阵，这两个稠密子矩阵的乘积可以近似原矩阵中已有的热度数据，并可以计算出原矩阵中不存在的资源内容，即达到预测资源热度的目的。
稠密矩阵为非0元素占所有元素比例较大的矩阵。在该步骤中，采用交替最小二乘法求解这两个分解后的子矩阵。如图4所示，将一个m*n的资源评估矩阵A(即Amn)由分解的两个子矩阵U(m*k)和I(k*n)的乘积来近似，即A＝UTI，k<＝m，n。
通过这两个稠密子矩阵的乘积来近似原来的稀疏矩阵，虽然无法做到完全相等，但是能将不可能分解计算的矩阵简化成可分解子矩阵，保证热度评估计算的可行性。与稠密矩阵相对的稀疏矩阵是无法分解计算矩阵的，因为空间复杂度和时间复杂度都太高。
具体的，利用交替最小二乘法求解两个稠密子矩阵的步骤如下：
假设资源评估矩阵是近似低秩的，即一个m*n阶的资源评估矩阵Amn可以用两个稠密子矩阵Ukm和Ikn的乘积来近似，采用第一稠密子矩阵Ukm和第二稠密子矩阵Ikn的乘积来近似资源评估矩阵Amn，有：
Figure BDA0001699852670000101
其中：k<<min(m，n)m，n为自然数，第一稠密子矩阵Ukm抽象为内容节点2，第二稠密子矩阵Ikn抽象为资源。
首先可以确认上述假设的合理性：描述一个内容节点对一个资源的热度情况类似于描述一个人对一个资源的喜好程度，而描述一个人的喜好通常是在一个抽象的低维空间进行的，并不需要一一列出其具体喜好的事物。
为了找到使得矩阵U和I的乘积尽可能的逼近A，采用交替最小二乘法算法将CDN网络中关于资源和热度的稀疏矩阵分解为两个子矩阵的乘积，从而达到可以预测每一个节点对每一个资源的需求热度，进而根据需求热度的排名，将热度高的资源预先分发到对应的内容节点2，优化CDN网络效率和资源利用率的目的。为使得两个稠密子矩阵Ukm和Ikn的乘积逼近资源评估矩阵Amn，设置交替最小二乘法算法中最小化平方误差损失函数为：
Figure BDA0001699852670000111
其中：axy表示第x个内容节点2对第y个资源的热度，ux表示内容节点2x的偏好隐含特征向量，iy表示资源y的隐含特征向量，则内容节点2x对资源i的热度可以近似为：
Figure BDA0001699852670000112
为了防止过拟合，进一步优选的是加入正则化项进行收敛优化：
Figure BDA0001699852670000113
但是，公式(2)中的ux和iy耦合在一起，并不好求解，所以利用交替最小二乘法，先固定I，I第一次随机生成；进而由公式(3)求解U，然后再固定求得的U，求解I，……，如此交替执行直到迭代次数达到多次，例如10次。根据评估，10次迭代可以达到较好的拟合效果，如果迭代次数过多会导致过拟合，而少于10次则很可能拟合不足。
步骤S3)：根据两个稠密子矩阵，计获得每个内容节点2中的任何资源内容的热度。
在该步骤中，求解到分解后的两个子矩阵后，结合第一稠密子矩阵Ukm和第二稠密子矩阵Ikn获得每个内容节点2中的任何资源内容的热度，可以利用这两个稠密子矩阵计算得到每个内容节点2中的任何资源内容的热度，使得A(m*n)矩阵中第m的内容节点中第n个资源的热度Amn以第一稠密子矩阵U的第m行和第二稠密子矩阵I的第n列为代表。
将如图3所示的A(m*n)稀疏的资源评估矩阵分解为图4的U(m*k)和I(k*n)两个小矩阵乘积的近似。所以，原来的A(m*n)矩阵中第m的内容节点中第n个资源的热度Amn可以被Um(U的第m行)*In(I的第n列)近似。
步骤S4)：对内容节点2中每一资源的热度进行排名，预测该内容节点2将可能访问的数据内容。
将热度排名靠前、且位于设定范围内的资源预测为该内容节点2为将要访问的数据内容。也即，计算内容节点2对每一个资源的热度后进行排名，热度排名靠前的就是预测该内容节点2将可能访问的数据内容。初期建议资源数量为一百个，后期资源数量可以根据系统运行后的实际命中率进行调整。
步骤S5)：将该内容节点2将可能访问的数据内容推送给对应的内容节点2。
将预测的可能请求的资源内容推送给对应的内容节点2，利用两个子矩阵的乘积计算出原矩阵中所有空白的数据(即无访问资源)，即预测的热度数据，则矩阵中每一行的数值代表这个节点对所有资源的热度情况，对这一行热度数据进行排序，取排序前一百的热度数据对应的资源作为预推送资源推送到对应的节点，等待实际的资源命中率验证预测的效果。
为了保证预测将可能访问的数据内容的准确性，该内容分发网络数据转发方法还包括：将实际资源请求数据收集至历史资源请求数据中，更新各个内容节点2的历史资源请求数据(即重复收集各个内容节点2的历史资源请求数据的过程)。另外，调整预估模型(资源评估矩阵)中的资源权值参数时，命中资源的调高权值，反之降低权值。
该内容分发网络数据转发方法，基于交替最小二乘算法的内容分发网络模型，在保证内容节点的存储资源有限的情况下，利用机器学习能力，对每个内容节点的“兴趣爱好”进行预判断，并将判断后的热点资源内容分发到对应的内容节点上，从而保证内容节点的请求资源命中率；并且，由于机器学习算法的特性，系统运行的时间越长，该算法的预判断准确率越高，在CDN系统长时间稳定运行的情况下，各节点的命中率会有大幅提高，进一步提高内容节点的资源利用率和资源派发的命中率。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (9)

1.一种内容分发网络数据转发方法，其特征在于，包括步骤：
步骤S1)：建立内容节点与请求资源的资源评估矩阵；
步骤S2)：对所述资源评估矩阵进行分解，获得两个稠密子矩阵；
步骤S3)：根据所述稠密子矩阵，获得每个所述内容节点中的任何资源内容的热度；
步骤S4)：对所述内容节点中每一资源的热度进行排名，预测该所述内容节点将可能访问的数据内容；
步骤S5)：将该内容节点所述将可能访问的数据内容推送给对应的所述内容节点；
其中，步骤S2)中：采用交替最小二乘法对所述资源评估矩阵分解获得两个稠密子矩阵，包括：
通过公式(1)采用第一稠密子矩阵Ukm和第二稠密子矩阵Ikn的乘积来近似资源评估矩阵Amn，公式(1)为：
Figure FDA0002970372240000011
其中：k<<min(m，n)，m，n为自然数，所述第一稠密子矩阵Ukm抽象为内容节点，所述第二稠密子矩阵Ikn抽象为资源；
通过公式(2)使得两个稠密子矩阵Ukm和Ikn的乘积逼近资源评估矩阵Amn，公式(2)为：
Figure FDA0002970372240000012
其中：axy表示第x个内容节点对第y个资源的热度，ux表示内容节点x的偏好隐含特征向量，iy表示资源y的隐含特征向量，则内容节点x对资源y的热度近似为：
Figure FDA0002970372240000021
2.根据权利要求1所述的内容分发网络数据转发方法，其特征在于，步骤S1)中包括：
收集各个内容节点的历史资源请求数据；
并根据所述历史资源请求数据建立所述资源评估矩阵，所述资源评估矩阵中横坐标表示内容节点，纵坐标表示资源，数值为对应资源在内容节点中的热度，热度通过将资源被请求的次数映射到[0，10]的数值区间中计算得到。
3.根据权利要求1所述的内容分发网络数据转发方法，其特征在于，还包括：加入正则化项，通过公式(3)收敛优化逼近资源评估矩阵Amn的两个稠密子矩阵Ukm和Ikn的乘积：
Figure FDA0002970372240000022
4.根据权利要求3所述的内容分发网络数据转发方法，其特征在于，步骤S3)中:结合所述第一稠密子矩阵Ukm和所述第二稠密子矩阵Ikn获得每个所述内容节点中的任何资源内容的热度，使得A(m*n)矩阵中第m的内容节点中第n个资源的热度Amn以第一稠密子矩阵U的第m行和第二稠密子矩阵I的第n列为代表。
5.根据权利要求1所述的内容分发网络数据转发方法，其特征在于，步骤S4)中：将热度排名靠前、且位于设定范围内的资源预测为该内容节点为将要访问的数据内容。
6.根据权利要求1所述的内容分发网络数据转发方法，其特征在于，还包括：重复建立内容节点与请求资源的资源评估矩阵的过程，根据后续的用户实际请求数据，更新各个内容节点的历史资源请求数据。
7.一种内容分发网络数据转发系统，其特征在于，包括核心控制节点和分布式布置的多个内容节点，其中：
所述核心控制节点，配置为：
为用户分配距离用户最近的所述内容节点进行数据转发；
以及，收集各个所述内容节点的历史资源请求数据；
以及，分析历史资源请求数据，预测各内容节点未来一段时间内可能请求的资源内容；
以及，将预测的资源内容预分发到对应的所述内容节点；
通过所述内容节点接下来的请求内容调整预估模型中的资源权值参数，优化资源评估矩阵；
以及，根据后续的用户实际请求数据，更新各个所述内容节点的历史资源请求数据；
所述分布式内容节点，配置为：
接收所述核心控制节点预分发的资源内容；
以及，处理用户的数据请求，如果本地已有数据则直接转发给用户，如果本地没有数据则需要向所述核心控制节点进行请求；
以及，对一定时间内的用户请求数据进行统计并上报给所述核心控制节点；
其中，所述核心控制节点包括计算单元其中：
在所述计算单元中，采用交替最小二乘法对所述资源评估矩阵分解获得两个稠密子矩阵，包括：
通过公式(1)采用第一稠密子矩阵Ukm和第二稠密子矩阵Ikn的乘积来近似资源评估矩阵Amn，公式(1)为：
Figure FDA0002970372240000041
其中：k<<min(m，n)，m，n为自然数，所述第一稠密子矩阵Ukm抽象为内容节点，所述第二稠密子矩阵Ikn抽象为资源；
通过公式(2)使得两个稠密子矩阵Ukm和Ikn的乘积逼近资源评估矩阵Amn，公式(2)为：
Figure FDA0002970372240000042
其中：axy表示第x个内容节点对第y个资源的热度，ux表示内容节点x的偏好隐含特征向量，iy表示资源y的隐含特征向量，则内容节点x对资源y的热度近似为：
Figure FDA0002970372240000043
8.根据权利要求7所述的内容分发网络数据转发系统，其特征在于，所述核心控制节点还包括配置单元和预测单元，其中：
在所述配置单元中，结合所述第一稠密子矩阵Ukm和所述第二稠密子矩阵Ikn获得每个所述内容节点中的任何资源内容的热度，使得A(m*n)矩阵中第m的内容节点中第n个资源的热度Amn以第一稠密子矩阵U的第m行和第二稠密子矩阵I的第n列为代表；
在所述预测单元中，将热度排名靠前、且位于设定范围内的资源预测为该内容节点为将要访问的数据内容。
9.根据权利要求8所述的内容分发网络数据转发系统，其特征在于，在所述计算单元和所述配置单元之间还包括优化单元，在所述优化单元中：加入正则化项，通过公式(3)收敛优化逼近资源评估矩阵Amn的两个稠密子矩阵Ukm和Ikn的乘积：
Figure FDA0002970372240000051
CN201810628688.6A 2018-06-19 2018-06-19 内容分发网络数据转发方法和内容分发网络数据转发系统 Active CN108809728B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810628688.6A CN108809728B (zh) 2018-06-19 2018-06-19 内容分发网络数据转发方法和内容分发网络数据转发系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810628688.6A CN108809728B (zh) 2018-06-19 2018-06-19 内容分发网络数据转发方法和内容分发网络数据转发系统

Publications (2)

Publication Number Publication Date
CN108809728A CN108809728A (zh) 2018-11-13
CN108809728B true CN108809728B (zh) 2021-06-04

Family

ID=64083578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810628688.6A Active CN108809728B (zh) 2018-06-19 2018-06-19 内容分发网络数据转发方法和内容分发网络数据转发系统

Country Status (1)

Country Link
CN (1) CN108809728B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113784170B (zh) * 2021-11-11 2022-03-22 深圳市名竹科技有限公司 内容数据预热方法、装置、计算机设备及存储介质
CN114302181B (zh) * 2021-12-28 2022-11-29 中国科学院计算技术研究所 一种直播视频的内容预分发方法以及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101883012A (zh) * 2010-07-09 2010-11-10 四川长虹电器股份有限公司 一种对网络边缘节点中存储资源的处理方法
CN102595207A (zh) * 2012-01-10 2012-07-18 深圳市同洲视讯传媒有限公司 一种内容分发系统、内容分发方法及内容分发装置
CN103312776A (zh) * 2013-05-08 2013-09-18 青岛海信传媒网络技术有限公司 边缘节点服务器缓存视频的内容的方法和装置
CN105656997A (zh) * 2015-12-25 2016-06-08 中国科学院信息工程研究所 基于移动用户关系的热度缓存内容主动推送方法
CN105871707A (zh) * 2016-06-17 2016-08-17 中国联合网络通信集团有限公司 基于云计算的资源推荐方法及系统
CN107171961A (zh) * 2017-04-28 2017-09-15 中国人民解放军信息工程大学 基于内容流行度的缓存方法及其装置
CN107909108A (zh) * 2017-11-15 2018-04-13 东南大学 基于内容流行度预测的边缘缓存系统及其方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8688837B1 (en) * 2009-03-27 2014-04-01 Amazon Technologies, Inc. Dynamically translating resource identifiers for request routing using popularity information

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101883012A (zh) * 2010-07-09 2010-11-10 四川长虹电器股份有限公司 一种对网络边缘节点中存储资源的处理方法
CN102595207A (zh) * 2012-01-10 2012-07-18 深圳市同洲视讯传媒有限公司 一种内容分发系统、内容分发方法及内容分发装置
CN103312776A (zh) * 2013-05-08 2013-09-18 青岛海信传媒网络技术有限公司 边缘节点服务器缓存视频的内容的方法和装置
CN105656997A (zh) * 2015-12-25 2016-06-08 中国科学院信息工程研究所 基于移动用户关系的热度缓存内容主动推送方法
CN105871707A (zh) * 2016-06-17 2016-08-17 中国联合网络通信集团有限公司 基于云计算的资源推荐方法及系统
CN107171961A (zh) * 2017-04-28 2017-09-15 中国人民解放军信息工程大学 基于内容流行度的缓存方法及其装置
CN107909108A (zh) * 2017-11-15 2018-04-13 东南大学 基于内容流行度预测的边缘缓存系统及其方法

Also Published As

Publication number Publication date
CN108809728A (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
CN111182570B (zh) 提高运营商效用的用户关联和边缘计算卸载方法
CN111757354A (zh) 一种基于竞争博弈的多用户切片资源分配方法
CN109361725A (zh) 基于多目标遗传算法的车联网云系统资源分配方法
CN108809728B (zh) 内容分发网络数据转发方法和内容分发网络数据转发系统
Zhang et al. Cooperative edge caching based on temporal convolutional networks
CN116501711A (zh) 一种基于“存算分离”架构的算力网络任务调度方法
CN108833993B (zh) 一种成本敏感的网络视频分发方法
Lan et al. Deep reinforcement learning for computation offloading and caching in fog-based vehicular networks
CN114423023B (zh) 一种面向移动用户的5g网络边缘服务器部署方法
CN117077811A (zh) 联邦学习优化方法及相关装置
CN113472420B (zh) 一种基于区域用户兴趣感知的卫星网络缓存放置方法
CN113472671A (zh) 组播路由的确定方法、装置和计算机可读存储介质
AbdulRahman et al. Adaptive upgrade of client resources for improving the quality of federated learning model
CN112787833B (zh) 内容分发网络cdn服务器的部署方法和装置
CN117459112A (zh) 基于图卷积网络的leo卫星网络中的移动边缘缓存方法及设备
CN112187535B (zh) 雾计算环境下服务器部署方法及装置
CN111465057B (zh) 一种基于强化学习的边缘缓存方法、装置及电子设备
CN108512765B (zh) 一种基于网络节点分布式Pagerank的网络内容扩散方法
Koutsopoulos et al. A framework for distributed bandwidth allocation in peer-to-peer networks
CN113193999A (zh) 一种基于深度确定性策略梯度的虚拟网络映射方法
CN112511619A (zh) 无线边缘区块链场景中的资源节点间交易匹配方法
CN113285832B (zh) 基于nsga-ii的电力多模态网络资源优化分配方法
Yu et al. Analysis of distributed database access path prediction based on recurrent neural network in internet of things
CN112867033B (zh) 基于在线学习的动态异构网络选择方法及装置
CN113347255A (zh) 边缘服务器选址部署模型及其求解方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant