CN114615262B - 网络聚合方法、存储介质、处理器以及系统 - Google Patents
网络聚合方法、存储介质、处理器以及系统 Download PDFInfo
- Publication number
- CN114615262B CN114615262B CN202210114723.9A CN202210114723A CN114615262B CN 114615262 B CN114615262 B CN 114615262B CN 202210114723 A CN202210114723 A CN 202210114723A CN 114615262 B CN114615262 B CN 114615262B
- Authority
- CN
- China
- Prior art keywords
- target
- source station
- node
- group
- delay
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 230000002776 aggregation Effects 0.000 title claims abstract description 47
- 238000004220 aggregation Methods 0.000 title claims abstract description 47
- 238000003860 storage Methods 0.000 title claims abstract description 35
- 230000006870 function Effects 0.000 claims description 214
- 230000005540 biological transmission Effects 0.000 claims description 102
- 239000011159 matrix material Substances 0.000 claims description 42
- 238000012163 sequencing technique Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 23
- 238000012360 testing method Methods 0.000 claims description 21
- 230000001934 delay Effects 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000032683 aging Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013398 bayesian method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 101100534231 Xenopus laevis src-b gene Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013476 bayesian approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0893—Assignment of logical groups to network elements
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种网络聚合方法、存储介质、处理器以及系统。其中，该方法包括：获取目标节点集合和源站集合，其中，源站集合包含的源站用于为网络提供原始资源；基于约束条件对第一节点集合和第一源站集合进行聚类，生成第一节点分组和第一源站分组，其中，第一节点集合包含目标节点集合中的部分节点，第一源站集合包含源站集合中的部分源站；基于第一节点分组和第一源站分组，确定距离函数，其中，距离函数用于表征第一节点分组和第一源站分组之间的距离；利用距离函数对目标节点集合和源站集合进行层次聚类，得到第二节点分组和第二源站分组。本发明解决了相关技术中对边缘节点和源站进行分组的效率较低的技术问题。
Description
技术领域
本发明涉及网络聚合领域，具体而言，涉及一种网络聚合方法、存储介质、处理器以及系统。
背景技术
在边缘云任务场景中，网络的规模通常是巨大的，若对这个规模的网络整体进行调用是极其复杂的，所以需要对网络的规模进行降级。典型的网络规模降级方法是将边缘节点和用户源站聚合成分组，传统的聚合方式通常是按照地理位置和运营商类别等离散标签直接进行分组，其分组的过程需要人工进行维护，导致分组的效率较低。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种网络聚合方法、存储介质、处理器以及系统，以至少解决相关技术中对边缘节点和源站进行分组的效率较低的技术问题。
根据本发明实施例的一个方面，提供了一种基于内容分发网络的网络聚合方法，包括：获取目标节点集合和源站集合，其中，所述源站集合包含的源站用于为所述网络提供原始资源，所述目标节点集合和所述源站集合为所述内容分发网络中的集合；基于约束条件对第一节点集合和第一源站集合进行聚类，生成第一节点分组和第一源站分组，其中，所述第一节点集合包含所述目标节点集合中的部分节点，所述第一源站集合包含所述源站集合中的部分源站；基于所述第一节点分组和所述第一源站分组，确定距离函数，其中，所述距离函数用于表征所述第一节点分组和所述第一源站分组之间的距离；利用所述距离函数对所述目标节点集合和所述源站集合进行层次聚类，得到第二节点分组和第二源站分组。
根据本发明实施例的一个方面，提供了一种网络聚合方法，包括：获取目标节点集合和源站集合，其中，源站集合包含的源站用于为网络提供原始资源；基于约束条件对第一节点集合和第一源站集合进行聚类，生成第一节点分组和第一源站分组，其中，第一节点集合包含目标节点集合中的部分节点，第一源站集合包含源站集合中的部分源站；基于第一节点分组和第一源站分组，确定距离函数，其中，距离函数用于表征第一节点分组和第一源站分组之间的距离；利用距离函数对目标节点集合和源站集合进行层次聚类，得到第二节点分组和第二源站分组。
根据本申请实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述任意一个实施例中的网络聚合方法。
根据本申请实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一个实施例中的网络聚合方法。
根据本申请实施例的另一方面，还提供了一种网络聚合系统，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：步骤1，通过目标节点获取网络传输请求，其中，网络传输请求包括目标源站；步骤2，获取目标节点所处的第二节点分组和目标源站所处的第二源站分组；步骤3，基于第二节点分组和第二源站分组确定目标传输路径；步骤4，基于目标传输路径将网络传输请求分发至目标源站。
在本发明实施例中，首先可以获取目标节点集合和源站集合，其中，源站集合包含的源站用于为网络提供原始资源；基于约束条件对第一节点集合和第一源站集合进行聚类，生成第一节点分组和第一源站分组，其中，第一节点集合包含目标节点集合中的部分节点，第一源站集合包含源站集合中的部分源站；基于第一节点分组和第一源站分组，确定距离函数，其中，距离函数用于表征第一节点分组和第一源站分组之间的距离；利用距离函数对目标节点集合和源站集合进行层次聚类，得到第二节点分组和第二源站分组，实现了提高分组效率的目的。容易注意到的是，可以基于时效损失较小的目的对规模较小的第一节点集合和第一源站集合进行聚类，生成第一节点分组和第一源站分组，由于第一节点分组和第一源站分组的时效损失较小，因此，根据第一节点分组和第一源站分组可以提取出能够达到时效损失较小的因素，并训练得到距离函数，通过该距离函数可以对数据规模较大的目标节点集合和源站集合进行聚类，使得聚类得到的第二节点分组和第二源站分组也达到时效损失较小的效果，通过在小规模数据集上得到的距离函数对大规模数据集进行聚类，可以减少计算量，从而提高分组的效率，进而可以解决相关技术中对边缘节点和源站进行分组的效率较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种用于实现网络聚合方法的计算机终端(或移动设备)的硬件结构框图；
图2是根据本发明实施例的一种网络聚合方法的流程图；
图3是根据本发明实施例的一种处理之后的目标特征矩阵对应的目标流量传输路径的示意图；
图4是根据本发明实施例的一种层次聚类之后得到的分组示意图；
图5是根据本发明实施例的一种基于内容分发网络的网络聚合方法的流程图；
图6是根据本发明实施例的一种网络聚合装置的示意图；
图7是根据本发明实施例的一种基于内容分发网络的网络聚合装置；
图8是根据本发明实施例的一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
边缘节点：边缘节点指在靠近用户的网络边缘侧构建的任务平台，提供存储、计算、网络等资源，将部分关键任务应用下沉到接入网络边缘，以减少网络传输和多级转发带来的宽度和时延损耗。
客户源站：使用边缘云的客户的原始服务站点，使用边缘云缓存冗余(ContentDelivery Network，简称CDN)服务的本质是缓存(cache)住这些源站的静态资源，从而减小源站的访问压力，使用边缘云CDN的服务本质是针对必须回到客户源站的请求进行路由加速。
层次聚类：一种聚类方法，通过某种相似性测量方法计算节点之间的相似性，并按相似度由高到低排序，逐步重新连接各节点，该方法的优点是可随时停止划分并且结果稳定(无随机数影响)。
贝叶斯方法：一种黑箱的超参数优化方法，广泛的应用的于机器学习类任务的超参数调优。
真实的标准数据(Ground Truth)：常用于户机器学习的标准训练数据，在本发明中指最小额外时延的分组结果。
在边缘云任务场景中，网络的规模是巨大的，一般需要通过聚合的方式对网络的规模进行降级，传统的聚合方式通常是按照地理位置和运营商类别等离散标签直接进行分组，这样分组的优点是简单容易解释，缺点是缺乏层次的弹性，即不能任意调整分组的粒度，并且还需要手动维护不合理的标签，即，聚合之后得到的分组中其覆盖关系不一定合理。总的来说，传统的聚合方案存在如下问题：
(1)层次缺乏弹性，不能任意调整分组的粒度，例如按照国家分组的粒度太粗，按照省份分组的粒度太细；
(2)需要手动调整异常标签，例如，北京的部分移动节点和河北的移动节点放在一个组中能够具有更好的时效性；
(3)不能降低由于分组造成的时延损失。
为了解决上述问题，本申请提出了一种网络聚合方法，首先可以采用混合整数规划技术找到特定任务目标下的中小规模数据集聚合Ground Truth，根据Ground Truth提取出影响最终聚合结果较大的因素，并根据该因素训练得到距离函数，最后可以在大规模数据集合上使用该距离函数对边缘节点和用户源站进行层次聚类处理，从而达到任意的分组层级指定和自动调整分组结果的效果。针对于上述问题(1)，可以通过自定义距离函数来指定聚类个数和最小类间距，可以灵活的调整层级粒度；针对上述问题(2)，由于网络聚合的过程是一个全程自动化的方案，因此在遇到不合理的标签时会自动处理掉，无需人工干预；针对上述问题(3)，由于是先求解最小分组时延损失的Ground Truth，后续的聚类过程依据该Ground Truth进行展开，相比于人工配置的区域覆盖规则能够具有更小的时延损失。
实施例1
根据本发明实施例，还提供了一种网络聚合方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现网络聚合方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的网络聚合方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的网络聚合方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
此处需要说明的是，在一些可选实施例中，上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。
在上述运行环境下，本申请提供了如图2所示的网络聚合方法。图2是根据本发明实施例一的网络聚合方法的流程图。
步骤S202，获取目标节点集合和源站集合。
其中，目标节点集合包含的节点位于网络的边缘，源站集合包含的源站用于为网络提供原始资源。
上述的目标节点集合中包含的节点可以是边缘节点，其边缘节点可以是靠近用户侧网络边缘构建的平台，其中，边缘节点可以是服务器或物理设备。
上述的源站集合包含多个客户源站，其中，源站可以是提供原始资源的站点，为了减少源站的访问压力，可以将源站的内容缓存在边缘节点中，用户可以直接在边缘节点中对访问资源，对于一些必须到源站请求的资源，可以通过边缘云服务对请求进行路由加速。
在一种可选的实施例中，可以获取到需要进行分组的大规模数据集，也即上述的目标节点集合和源站集合。
步骤S204，基于约束条件对第一节点集合和第一源站集合进行聚类，生成第一节点分组和第一源站分组。
其中，第一节点集合包含目标节点集合中的部分节点，第一源站集合包含源站集合中的部分源站。
可选地，约束条件包括如下至少之一：同一分组中目标节点的数量、同一分组中目标节点之间的距离、同一分组中源站的数量、同一分组中源站之间的距离。
在一种可选的实施例中，由于目标节点集合和源站集合的规模较大，为了提高聚类的效率，可以从目标节点集合和源站集合中特定任务目标对应的第一节点集合和第一源站集合，其中，第一节点集合和第一源站集合的规模相对于目标节点集合和源站集合的规模较小，通过对第一节点集合和第一源站集合进行聚类，可以得到时效较优的第一节点分组和第一源站分组。
上述的第一节点分组和第一源站分组可以是针对于第一节点集合和第一源站集合中时效较优的分组结果，通过第一节点分组和第一源站分组可以提取出影响最终聚合结果较大的因素，在对大规模的集合进行聚类时，可以通过第一节点分组和第一源站分组训练出一个自定义距离函数，并根据该自定义距离函数作为依据对规模较大的目标节点集合和源站集合进行聚类，从而提高聚类的效率。
在另一种可选的实施例中，可以利用整数规划技术基于约束条件对第一节点集合和第一源站集合进行聚类，生成第一节点分组和第一源站分组，其中，通过整数规划技术，可以在以时效较短为目标的节点网络规划的问题中，通过添加多个约束条件，从而得到时效较短的第一节点分组和第一源站分组。
步骤S206，基于第一节点分组和第一源站分组，确定距离函数。
其中，距离函数用于表征第一节点分组和第一源站分组之间的距离。
在一种可选的实施例中，可以根据第二节点分组和第二源站分组确定边缘节点和源站在聚类之后的时延损失下限，可以根据第一节点集合、第一源站集合、第一节点分组、第一源站分组训练出一个距离函数，通过该距离函数对大规模的数据集合进行聚类，可以提高聚类的效率，并且能够减少聚类后得到的分组中的时延损失，使得聚类后的时延损失接近最小。
步骤S208，利用距离函数对目标节点集合和源站集合进行层次聚类，得到第二节点分组和第二源站分组。
在一种可选的实施例中，可以根据上述的距离函数对大规模的数据集进行聚类，从而提高聚类的效果，可以利用距离函数对目标节点集合和源站集合进行聚类，得到目标节点集合和源站集合的聚类结果，也即上述的第二节点分组和第二源站分组。
在另一种可选的实施例中，在计算能力较强或者数据规模较小的情况下，可以直接基于约束条件对目标节点集合和源站集合进行聚类，得到第二节点分组和第二源站分组，这样就可以减少训练得到距离函数的步骤，从而提高聚类的效率。但是，本申请所应用的场景一般为大规模的数据集场景，因此，需要先通过对小规模数据集合进行聚类，得到相关的距离函数，并根据距离函数对大规模数据集合进行聚类，从而可以提高聚类的效率，并且由于第一节点分组和第一源站分组的时延损失较小，因此，根据距离函数对于大规模的数据集进行聚类所得到的的第二节点分组和第二源站分组的时延损失也较小，从而提高分组的效率。
通过上述步骤，首先可以获取目标节点集合和源站集合，其中，源站集合包含的源站用于为网络提供原始资源；基于约束条件对第一节点集合和第一源站集合进行聚类，生成第一节点分组和第一源站分组，其中，第一节点集合包含目标节点集合中的部分节点，第一源站集合包含源站集合中的部分源站；基于第一节点分组和第一源站分组，确定距离函数，其中，距离函数用于表征第一节点分组和第一源站分组之间的距离；利用距离函数对目标节点集合和源站集合进行层次聚类，得到第二节点分组和第二源站分组，实现了提高分组效率的目的。容易注意到的是，可以基于时效损失较小的目的对规模较小的第一节点集合和第一源站集合进行聚类，生成第一节点分组和第一源站分组，由于第一节点分组和第一源站分组的时效损失较小，因此，根据第一节点分组和第一源站分组可以提取出能够达到时效损失较小的因素，并训练得到距离函数，通过该距离函数可以对数据规模较大的目标节点集合和源站集合进行聚类，使得聚类得到的第二节点分组和第二源站分组也达到时效损失较小的效果，通过在小规模数据集上得到的距离函数对大规模数据集进行聚类，可以减少计算量，从而提高分组的效率，进而可以解决相关技术中对边缘节点和源站进行分组的效率较低的技术问题。
本申请上述实施例中，基于约束条件对第一节点集合和第一源站集合进行聚类，生成第一节点分组和第一源站分组，包括：获取第一节点集合和第一源站集合的至少一个初始流量传输路径和至少一个流量传输时间，其中，至少一个初始流量传输路径用于表示第一节点集合到第一源站集合的流量传输路径和/或第一节点集合中多个目标节点之间的流量传输路径，至少一个初始流量传输路径与至少一个流量传输时间一一对应；获取至少一个初始流量传输路径和至少一个流量传输时间的目标乘积；基于约束条件和目标乘积对多个初始流量传输路径进行聚类，生成第一节点分组和第一源站分组。
上述的目标节点集合中可以包括有边缘节点，还可以包括有中转节点，其中，中转节点可以是边缘节点与源站之间用于中转的节点。
上述的第一节点集合中可以包含有边缘节点l1的集合N1＝{1，2，3，...，n1}和中转节点l2的集合N2＝{1，2，3，...，n2}，上述的第一源站集合可以为M＝{1，2，3，...，m}，中继组集合R＝{1，2，3，...，R}，l1+l2流向l1+l2的网络为G1，l1+l2流向源站的流向网络为G2，节点j上新产生的返回源站的流量记为(已知常数)，i∈M；j∈N1，分组r上是否包含边缘节点j记为xr，j，r∈R；j∈N1，节点j流向节点k的再回到源站i的流量记为/>改短路径的探测时间为tj，k，＜j，k＞∈G1，节点j直接流向源站i的流量记为/>该段路径对应的探测时间tj，i，＜j，k＞∈G2，节点j的流量约束记为cj，j∈N1∪N2。
在一种可选的实施例中，可以通过整数规划技术对第一节点集合和第一源站集合进行聚类，得到第一节点分组和第一源站分组，具体方式如下：
目标：最小化网络延时；
l1请求节点约束(1)；
l2请求节点约束(2)；
请求全部回源，冗余验证条件(3)；
单一节点分组唯一约束(4)；
分组中节点数量的上下限(5)；
节点是否属于同一分组(6)；
同一分组内的服务负载均衡节点是否属于同一分组(7)。
上述的(1)、(2)、(3)、(4)、(5)、(6)、(7)为约束条件，其中约束条件(6)和约束条件(7)需要进行一些转化，针对约束条件(6)可以先引入二进制辅助变量wr，j，j’＝xr，j·r，j’，由于xr，j和wr，j，j’是二进制辅助变量，可以将辅助变量改写成如下形式：
原约束条件(6)变为
针对约束条件(7)，首先可以将原约束条件转换为如下形式：
进一步地，可以引入二进制辅助变量zj，j’，一个非常大的常数M，将约束条件转化为如下形式：
通过上述步骤，可以求解上述的z，可以得到上述的第一节点分组和第一源站分组。
在另一种可选的实施例中，可以根据至少一个初始流量传输路径和至少一个流量传输时间的目标乘积和约束条件确定出每个路径的传输效率，可以将效率较高的传输路径对应的节点进行聚类，以便得到传输过程中时效损失较小的第二节点分组和第二源站分组。可以根据第一节点集合和第一源站集合的初始流量传输路径和至少一个流量传输时间确定出时效损失较小的传输路径，并基于时效损失较小的传输路径对节点进行聚类，从而生成时效损失较小的第一节点分组和第一源站分组，通过该分组传输流量，可以提高传输的效率。
本申请上述实施例中，基于第一节点分组和第一源站分组,确定距离函数，包括：基于第一节点分组和第一源站分组确定目标时延，其中，目标时延为第二节点分组向第二源站分组传输流量所需的时间；基于目标预设函数和目标时延确定距离函数。
上述的目标时延为损失较小的时延。
在一种可选的实施例中，可以根据第一节点分组和第一源站分组分析影响最终聚类结果的目标时延，并根据目标预设函数和目标时延训练自定义距离函数，得到上述的距离函数，以便该距离函数可以应用在大规模数据集的聚类过程中，从而提高聚类的效率。
本申请上述实施例中，基于第一节点分组和第一源站分组确定目标流量传输路径，包括：根据第一节点分组和第一源站分组，确定目标特征矩阵，其中，目标特征矩阵用于表示多个目标节点之间的流量传输路径和/或目标节点和源站之间的流量传输路径；利用目标预设函数对目标特征矩阵进行处理，确定目标时延。
在一种可选的实施例中，可以根据第二节点分组和第二源站分组，确定出第二节点分组和第二源站分组之间传输路径的目标特征矩阵，并利用目标预设函数对目标特征矩阵进行筛选，根据筛选之后的矩阵确定出目标时延。
在另一种可选的实施例中，可以通过排序法，将距离从小到大进行排序，将排序靠前的距离对应的时延作为目标时延；可以通过阈值法，将小于预设阈值的距离对应的时延作为目标时延；还可以用过排序法，通过指定的数值除以矩阵，并将结果从大到小进行排序，将排序靠前的距离对应的时延作为目标时延。
若边缘节点的数量为7个，中转节点的数量为5个，源站的数量为4个，则可以组成一个7×9的矩阵，以目标特征矩阵中的一行为例进行说明，前五个数字代表边缘节点与中转节点之间的距离，后四个数字代表边缘节点与源站之间的距离：
(20,128,200,5000,5000,50,5000,5000,5000)
其中，20代表边缘节点与第一个中转节点之间距离，128代表边缘节点与第二个中转节点之间的距离，200代表边缘节点与第三个中转节点之间的距离，5000代表边缘节点与第四个中转节点的距离，由于两个之间的距离较远，若要进行传输，则会导致时延损失较大，因此可以用填充值5000来表示，50代表边缘节点与第一个源站之间的距离，后面的三个5000代表边缘节点与其他三个源站之间的距离较远。
可以利用排序法将排序靠前的2个距离对应的时延作为目标时延，例如，可以将20和50距离传输的时延作为目标时延。可以利用阈值法将小于30的距离传输的时延作为目标时延，例如，可以将20对应距离的时延作为目标时延。可以通过5000除以矩阵，得到(250，39，25，1，1，1000，1，1，1)可以将排序从大到小靠前的两个数值的距离对应的时延作为目标时延，即，可以将20和50对应的时延作为目标时延。
在对目标特征矩阵进行处理之后的距离矩阵可以如下所示：
(20，5000，5000，5000，5000，50，5000，5000，5000)
(14，15，5000，5000，5000，5000，5000，5000，5000)
(5000，15，5000，5000，5000，5000，5000，5000，5000)
(5000，5000，10，5000，5000，5000，5000，5000，5000)
(5000，5000，5000，30，5000，5000，5000，5000，5000)
(5000，5000，5000，30，5000，5000，5000，5000，5000)
(5000，5000，5000，20，5000，5000，5000，5000，5000)
图3为上述处理之后的目标特征矩阵对应的目标流量传输路径的示意图，如图3所示以第一行为例进行说明，20代表边缘节点L1到L2的距离，5000代表边缘节点与其他的中转节点或源站之间的距离较大，上述的50代表边缘节点L1到源站src2的距离，依次类推，后续行所代表的含义此处不再赘述。
本申请上述实施例中，利用目标预设函数对目标特征矩阵进行处理，确定目标时延，包括：基于目标特征矩阵确定目标节点的至少一个时延，其中，至少一个时延为目标节点对应的初始流量传输路径的时延；利用目标预设函数从至少一个时延中确定出目标时延。
在一种可选的实施例中，可以利用目标特征矩阵确定出目标节点的至少一个距离，可选的，可以利用目标特征矩阵确定出目标节点对应的所有能够进行流量传输路径对应的时延，并利用目标预设函数对至少一个时延进行处理，得到时延损失较小的目标时延，在确定目标时延之后，可以根据目标时延对目标预设函数的权重值进行调整，得到距离函数，距离函数可以在对大规模的数据集合进行聚类时，能够使聚类得到的分组时效损失较小，从而提高流量传输的效率。
本申请上述实施例中，利用目标预设函数对目标特征矩阵进行处理，确定目标时延，包括：基于目标特征矩阵确定目标节点的至少一个时延，其中，至少一个时延为目标节点对应的初始流量传输路径的时延；利用目标预设函数从至少一个时延中确定出目标时延。
上述的目标预设函数可以为第一预设函数、第二预设函数、第三预设函数。其中，每个预设函数确定目标时延的方式都不相同。
在一种可选的实施例中，可以根据目标特征矩阵确定目标节点的至少一个时延，其中，至少一个时延为目标节点对应的初始流量传输路径的时延，可以通过不同的预设函数确定不同的预设函数对应的目标时延。
本申请上述实施例中，目标预设函数包括：第一预设函数，目标时延包括：第一时延，利用目标预设函数从至少一个时延中确定出目标时延，包括：利用第一预设函数对至少一个时延从小到大进行排序，生成第一排序结果；基于第一排序结果中确定第一数量的时延为第一时延。
上述的第一数量可以根据实际的流量传输情况进行设定，例如，第一数量可以为2。上述的第一预设函数可以是预先设定好的函数。
在一种可选的实施例中，可以利用排序法对至少一个时延从小到大进行排序，得到距离的第一排序结果，第一排序结果中排序靠前的时延可以是较小的时延，可以从第一排序结果中确定排序靠前的第一数量的时延为目标时延。
本申请上述实施例中，目标预设函数包括：第二预设函数，目标时延包括：第二时延，利用目标预设函数从至少一个时延中确定出目标时延，包括：基于目标阈值和至少一个距离的除积，确定至少一个商值，其中，至少一个商值与至少一个距离一一对应；对至少一个商值从大到小进行排序，生成第二排序结果；利用第二预设函数从第二排序结果中确定第二数量的商值为目标商值；确定目标商值对应的时延为第二时延。
上述的目标阈值可以为目标特征矩阵中的填充值，例如，目标阈值可以为5000。
上述的第二数量可以根据实际的流量传输情况进行设定，例如，第二数量可以为2。
在一种可选的实施例中，可以根据目标阈值和至少一个距离的除积，确定至少一个商值，每个商值都对应一个时延，可以将至少一个商值从大到小进行排序，得到商值的第二排序结果，第二排序结果中排序靠前的商值可以是较大的商值，可以从第二排序结果中确定出排序靠前的第二数量的商值对应的时延作为目标时延。
本申请上述实施例中，目标预设函数包括：第三预设函数，目标时延包括：第三时延，利用目标预设函数从至少一个时延中确定出目标时延，包括：确定至少一个时延中小于预设阈值的时延为第三时延，其中，预设阈值小于目标阈值。
上述的预设阈值可以根据实际的流量传输情况进行设定，例如，预设阈值可以为30。
在一种可选的实施例中，可以从至少一个时延中确定出小于预设阈值的时延作为目标时延，这样选择出的目标时延较小。
在另一种可选的实施例中，为了保证预设阈值能够筛选出较小的时延，设置的预设阈值可以小于表示较远时延的目标阈值。
本申请上述实施例中，基于目标预设函数和目标时延确定距离函数，包括：基于第一时延、第二时延和第三时延确定目标权重值；基于目标权重值、第一预设函数、第二预设函数和第三预设函数，确定距离函数。
在一种可选的实施例中，可以根据第一时延、第二时延和第三时延确定总时延，并获取第一时延、第二时延、第三时延分别占总时延的比值，根据每个时延占总时延的比值，可以确定出每个预设函数对应的权重值，若时延越大，其对应的预设函数的权重值越小，时延越小，其对应的预设函数的权重值越大。可以获取每个预设函数和每个预设函数对应的权重值的乘积，并将所有的乘积相加可以得到上述的距离函数。
本申请上述实施例中，利用距离函数对目标节点集合和源站集合进行聚类，得到第二节点分组和第二源站分组，包括：基于目标节点集合和源站集合对距离函数进行回归测试，得到测试结果；基于测试结果对距离函数进行更新，生成更新后的距离函数；利用更新后的距离函数对目标节点集合和源站集合进行聚类，得到第二节点分组和第二源站分组。
在一种可选的实施例中，可以在大规模的数据集合上对目标节点集合和源站集合对距离函数进行回归测试，以便距离函数能够对于大规模的数据集合的聚类结构更加的准确度，可选的，可以在目标节点集合和源站集合上利用贝叶斯方法对距离函数中的目标权重进行回归测试，并根据测试结果对距离函数进行更新，使得更新后的距离函数更适应于大规模的数据集合进行距离，在获取到更新后的距离函数之后，可以利用更新后的距离函数对目标节点集合和源站集合进行层次聚类，得到第二节点分组和第二源站分组，也即，通过更新后的距离函数可以更高效率的得到大规模数据集合对应的分组结果。
在另一种可选的实施例中，在利用贝叶斯方法对距离函数中的目标参数进行回归测试时，可以对目标参数进行黑箱调优，以便根据调优后的目标参数对距离函数进行更新。如图4所示为层次聚类之后得到的分组示意图，其中，相同分组中的边缘节点的传输路径相同，相同分组中的源站的传输路径也相同。
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的网络聚合方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，源站，或者网络设备等)执行本发明各个实施例的方法。
实施例2
根据本发明实施例，还提供了一种基于内容分发网络的网络聚合方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图5是根据本发明实施例的一种基于内容分发网络的网络聚合方法的流程图，包括：
步骤S502，获取目标节点集合和源站集合。
其中，源站集合包含的源站用于为网络提供原始资源，目标节点集合和源站集合为内容分发网络中的集合。
上述的内容分发网络可以为
步骤S504，基于约束条件对第一节点集合和第一源站集合进行聚类，生成第一节点分组和第一源站分组。
其中，第一节点集合包含目标节点集合中的部分节点，第一源站集合包含源站集合中的部分源站。
步骤S506，基于第一节点分组和第一源站分组，确定距离函数。
其中，距离函数用于表征第一节点分组和第一源站分组之间的距离。
步骤S508，利用距离函数对目标节点集合和源站集合进行层次聚类，得到第二节点分组和第二源站分组。
需要说明的是，本申请上述实施例中涉及的优选实施例与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例3
根据本发明实施例，还提供了一种用于实施上述网络聚合方法的网络聚合装置，如图6所示，该装置600包括：获取模块602、第一聚类模块604、确定模块606、第二聚类模块608。
其中，获取模块用于获取目标节点集合和源站集合，其中，目标节点集合包含的节点位于网络的边缘，源站集合包含的源站用于为网络提供原始资源；第一聚类模块用于基于约束条件对第一节点集合和第一源站集合进行聚类，生成第一节点分组和第一源站分组，其中，第一节点集合包含目标节点集合中的部分节点，第一源站集合包含源站集合中的部分源站；基于第一节点分组和第一源站分组，确定距离函数，其中，距离函数用于表征第一节点分组和第一源站分组之间的距离；第二聚类模块，用于利用距离函数对目标节点集合和源站集合进行层次聚类，得到第二节点分组和第二源站分组。
此处需要说明的是，上述获取模块602、第一聚类模块604、确定模块606、第二聚类模块608对应于实施例1中的步骤S202至步骤S208，四个模块与对应的步骤所实现实例和应用场景相同，但不限于上述实施例一所公开的内容。
本申请上述实施例中，第二聚类模块，包括：第一获取单元、聚类单元。
其中，第一获取单元用于获取第一节点集合和第一源站集合的至少一个初始流量传输路径和至少一个流量传输时间，其中，至少一个初始流量传输路径用于表示第一节点集合到第一源站集合的流量传输路径和/或第一节点集合中多个目标节点之间的流量传输路径，至少一个初始流量传输路径与至少一个流量传输时间一一对应；第一获取单元还用于基于约束条件和目标乘积对多个初始流量传输路径进行聚类，生成第一节点分组和第一源站分组。
本申请上述实施例中，确定模块，包括：第一确定单元、第二确定单元。
其中，第一确定单元用于基于第一节点分组和第一源站分组确定目标时延，其中，目标时延为第二节点分组向第二源站分组传输流量所需的时间；第二确定单元用于基于目标预设函数和目标时延确定距离函数。
本申请上述实施例中，第一确定单元还用于根据第二节点分组和第二源站分组，确定目标特征矩阵，其中，目标特征矩阵用于表示多个目标节点之间的距离和/或目标节点和源站之间的距离，利用目标参数对目标特征矩阵进行处理，确定目标流量传输路径。
本申请上述实施例中，第一确定单元还用于根据第一节点分组和第一源站分组，确定目标特征矩阵，其中，目标特征矩阵用于表示多个目标节点之间的流量传输路径和/或目标节点和源站之间的流量传输路径，利用目标预设函数对目标特征矩阵进行处理，确定目标时延。
本申请上述实施例中，第一确定单元还用于基于目标特征矩阵确定目标节点的至少一个时延，其中，至少一个时延为目标节点对应的初始流量传输路径的时延，利用目标预设函数从至少一个时延中确定出目标时延。
本申请上述实施例中，目标预设函数包括：第一预设函数，目标时延包括：第一时延，第一确定单元还用于利用第一预设函数对至少一个时延从小到大进行排序，生成第一排序结果；基于第一排序结果中确定第一数量的时延为第一时延。
本申请上述实施例中，目标预设函数包括：第二预设函数，目标时延包括：第二时延，第一确定单元还用于基于目标阈值和至少一个距离的除积，确定至少一个商值，其中，至少一个商值与至少一个距离一一对应；对至少一个商值从大到小进行排序，生成第二排序结果；利用第二预设函数从第二排序结果中确定第二数量的商值为目标商值；确定目标商值对应的时延为第二时延。
本申请上述实施例中，目标预设函数包括：第三预设函数，目标时延包括：第三时延，第一确定单元还用于确定至少一个时延中小于预设阈值的时延为第三时延，其中，预设阈值小于目标阈值。
本申请上述实施例中，第二确定单元还用于基于第一时延、第二时延和第三时延确定目标权重值，基于目标权重值、第一预设函数、第二预设函数和第三预设函数，确定距离函数。
本申请上述实施例中，该装置还包括：测试模块、更新模块、第三聚类模块。
其中，测试模块用于基于目标节点集合和源站集合对距离函数进行回归测试，得到测试结果；更新模块用于基于测试结果对距离函数进行更新，生成更新后的距离函数；第三聚类模块，用于利用更新后的距离函数对目标节点集合和源站集合进行聚类，得到第一节点分组和第一源站分组
需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
实施例4
根据本发明实施例，还提供了一种用于实施上述基于内容分发网络的网络聚合装置，如图7所示，该装置700包括：获取模块702、第一聚类模块704、确定模块706、第二聚类模块708。
其中，获取模块用于获取目标节点集合和源站集合，其中，源站集合包含的源站用于为网络提供原始资源，目标节点集合和源站集合为内容分发网络中的集合；第一聚类模块用于基于约束条件对第一节点集合和第一源站集合进行聚类，生成第一节点分组和第一源站分组，其中，第一节点集合包含目标节点集合中的部分节点，第一源站集合包含源站集合中的部分源站；确定模块用于基于第一节点分组和第一源站分组，确定距离函数，其中，距离函数用于表征第一节点分组和第一源站分组之间的距离；第二聚类模块用于利用距离函数对目标节点集合和源站集合进行层次聚类，得到第二节点分组和第二源站分组。
需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
实施例5
本发明的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。
可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中，上述计算机终端可以执行网络聚合方法中以下步骤的程序代码：获取目标节点集合和源站集合，其中，源站集合包含的源站用于为网络提供原始资源；基于约束条件对第一节点集合和第一源站集合进行聚类，生成第一节点分组和第一源站分组，其中，第一节点集合包含目标节点集合中的部分节点，第一源站集合包含源站集合中的部分源站；基于第一节点分组和第一源站分组，确定距离函数，其中，距离函数用于表征第一节点分组和第一源站分组之间的距离；利用距离函数对目标节点集合和源站集合进行层次聚类，得到第二节点分组和第二源站分组。
可选地，图8是根据本发明实施例的一种计算机终端的结构框图。如图8所示，该计算机终端10可以包括：一个或多个(图中仅示出一个)处理器、存储器。
其中，存储器可用于存储软件程序以及模块，如本发明实施例中的网络聚合方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的网络聚合方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取目标节点集合和源站集合，其中，源站集合包含的源站用于为网络提供原始资源；基于约束条件对第一节点集合和第一源站集合进行聚类，生成第一节点分组和第一源站分组，其中，第一节点集合包含目标节点集合中的部分节点，第一源站集合包含源站集合中的部分源站；基于第一节点分组和第一源站分组，确定距离函数，其中，距离函数用于表征第一节点分组和第一源站分组之间的距离；利用距离函数对目标节点集合和源站集合进行层次聚类，得到第二节点分组和第二源站分组。
可选的，上述处理器还可以执行如下步骤的程序代码：获取第一节点集合和第一源站集合的至少一个初始流量传输路径和至少一个流量传输时间，其中，至少一个初始流量传输路径用于表示第一节点集合到第一源站集合的流量传输路径和/或第一节点集合中多个目标节点之间的流量传输路径，至少一个初始流量传输路径与至少一个流量传输时间一一对应；获取至少一个初始流量传输路径和至少一个流量传输时间的目标乘积；基于约束条件和目标乘积对多个初始流量传输路径进行聚类，生成第一节点分组和第一源站分组。
可选的，上述处理器还可以执行如下步骤的程序代码：基于第一节点分组和第一源站分组确定目标时延，其中，目标时延为第二节点分组向第二源站分组传输流量所需的时间；基于目标预设函数和目标时延确定距离函数。
可选的，上述处理器还可以执行如下步骤的程序代码：根据第一节点分组和第一源站分组，确定目标特征矩阵，其中，目标特征矩阵用于表示多个目标节点之间的流量传输路径和/或目标节点和源站之间的流量传输路径；利用目标预设函数对目标特征矩阵进行处理，确定目标时延。
可选的，上述处理器还可以执行如下步骤的程序代码：基于目标特征矩阵确定目标节点的至少一个时延，其中，至少一个时延为目标节点对应的初始流量传输路径的时延；利用目标预设函数从至少一个时延中确定出目标时延。
可选的，上述处理器还可以执行如下步骤的程序代码：利用第一预设函数对至少一个时延从小到大进行排序，生成第一排序结果；基于第一排序结果中确定第一数量的时延为第一时延。
可选的，上述处理器还可以执行如下步骤的程序代码：基于目标阈值和至少一个距离的除积，确定至少一个商值，其中，至少一个商值与至少一个距离一一对应；对至少一个商值从大到小进行排序，生成第二排序结果；利用第二预设函数从第二排序结果中确定第二数量的商值为目标商值；确定目标商值对应的时延为第二时延。
可选的，上述处理器还可以执行如下步骤的程序代码：确定至少一个时延中小于预设阈值的时延为第三时延，其中，预设阈值小于目标阈值。
可选的，上述处理器还可以执行如下步骤的程序代码：基于第一时延、第二时延和第三时延确定目标权重值；基于目标权重值、第一预设函数、第二预设函数和第三预设函数，确定距离函数。
可选的，上述处理器还可以执行如下步骤的程序代码：基于目标节点集合和源站集合对距离函数进行回归测试，得到测试结果；基于测试结果对距离函数进行更新，生成更新后的距离函数；利用更新后的距离函数对目标节点集合和源站集合进行聚类，得到第二节点分组和第二源站分组。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取目标节点集合和源站集合，其中，源站集合包含的源站用于为网络提供原始资源，目标节点集合和源站集合为内容分发网络中的集合；基于约束条件对第一节点集合和第一源站集合进行聚类，生成第一节点分组和第一源站分组，其中，第一节点集合包含目标节点集合中的部分节点，第一源站集合包含源站集合中的部分源站；基于第一节点分组和第一源站分组，确定距离函数，其中，距离函数用于表征第一节点分组和第一源站分组之间的距离；利用距离函数对目标节点集合和源站集合进行层次聚类，得到第二节点分组和第二源站分组。
采用本发明实施例，提供了一种网络聚合方法的方案。通过上述步骤，首先可以获取目标节点集合和源站集合，其中，源站集合包含的源站用于为网络提供原始资源；基于约束条件对第一节点集合和第一源站集合进行聚类，生成第一节点分组和第一源站分组，其中，第一节点集合包含目标节点集合中的部分节点，第一源站集合包含源站集合中的部分源站；基于第一节点分组和第一源站分组，确定距离函数，其中，距离函数用于表征第一节点分组和第一源站分组之间的距离；利用距离函数对目标节点集合和源站集合进行层次聚类，得到第二节点分组和第二源站分组，实现了提高分组效率的目的。容易注意到的是，可以基于时效损失较小的目的对规模较小的第一节点集合和第一源站集合进行聚类，生成第一节点分组和第一源站分组，由于第一节点分组和第一源站分组的时效损失较小，因此，根据第一节点分组和第一源站分组可以提取出能够达到时效损失较小的因素，并训练得到距离函数，通过该距离函数可以对数据规模较大的目标节点集合和源站集合进行聚类，使得聚类得到的第二节点分组和第二源站分组也达到时效损失较小的效果，通过在小规模数据集上得到的距离函数对大规模数据集进行聚类，可以减少计算量，从而提高分组的效率，进而可以解决相关技术中对边缘节点和源站进行分组的效率较低的技术问题。
本领域普通技术人员可以理解，图8所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图8其并不对上述电子装置的结构造成限定。例如，计算机终端A还可包括比图8中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图8所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
实施例6
本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例一所提供的网络聚合方法所执行的程序代码。
可选的，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
可选的，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取目标节点集合和源站集合，其中，源站集合包含的源站用于为网络提供原始资源；基于约束条件对第一节点集合和第一源站集合进行聚类，生成第一节点分组和第一源站分组，其中，第一节点集合包含目标节点集合中的部分节点，第一源站集合包含源站集合中的部分源站；基于第一节点分组和第一源站分组，确定距离函数，其中，距离函数用于表征第一节点分组和第一源站分组之间的距离；利用距离函数对目标节点集合和源站集合进行层次聚类，得到第二节点分组和第二源站分组。
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：获取第一节点集合和第一源站集合的至少一个初始流量传输路径和至少一个流量传输时间，其中，至少一个初始流量传输路径用于表示第一节点集合到第一源站集合的流量传输路径和/或第一节点集合中多个目标节点之间的流量传输路径，至少一个初始流量传输路径与至少一个流量传输时间一一对应；获取至少一个初始流量传输路径和至少一个流量传输时间的目标乘积；基于约束条件和目标乘积对多个初始流量传输路径进行聚类，生成第一节点分组和第一源站分组。
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：基于第一节点分组和第一源站分组确定目标时延，其中，目标时延为第二节点分组向第二源站分组传输流量所需的时间；基于目标预设函数和目标时延确定距离函数。
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：根据第一节点分组和第一源站分组，确定目标特征矩阵，其中，目标特征矩阵用于表示多个目标节点之间的流量传输路径和/或目标节点和源站之间的流量传输路径；利用目标预设函数对目标特征矩阵进行处理，确定目标时延。
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：基于目标特征矩阵确定目标节点的至少一个时延，其中，至少一个时延为目标节点对应的初始流量传输路径的时延；利用目标预设函数从至少一个时延中确定出目标时延。
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：利用第一预设函数对至少一个时延从小到大进行排序，生成第一排序结果；基于第一排序结果中确定第一数量的时延为第一时延。
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：基于目标阈值和至少一个距离的除积，确定至少一个商值，其中，至少一个商值与至少一个距离一一对应；对至少一个商值从大到小进行排序，生成第二排序结果；利用第二预设函数从第二排序结果中确定第二数量的商值为目标商值；确定目标商值对应的时延为第二时延。
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：确定至少一个时延中小于预设阈值的时延为第三时延，其中，预设阈值小于目标阈值。
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：基于第一时延、第二时延和第三时延确定目标权重值；基于目标权重值、第一预设函数、第二预设函数和第三预设函数，确定距离函数。
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：基于目标节点集合和源站集合对距离函数进行回归测试，得到测试结果；基于测试结果对距离函数进行更新，生成更新后的距离函数；利用更新后的距离函数对目标节点集合和源站集合进行聚类，得到第二节点分组和第二源站分组。
可选的，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取目标节点集合和源站集合，其中，源站集合包含的源站用于为网络提供原始资源，目标节点集合和源站集合为内容分发网络中的集合；基于约束条件对第一节点集合和第一源站集合进行聚类，生成第一节点分组和第一源站分组，其中，第一节点集合包含目标节点集合中的部分节点，第一源站集合包含源站集合中的部分源站；基于第一节点分组和第一源站分组，确定距离函数，其中，距离函数用于表征第一节点分组和第一源站分组之间的距离；利用距离函数对目标节点集合和源站集合进行层次聚类，得到第二节点分组和第二源站分组。
采用本发明实施例，提供了一种网络聚合方法的方案。通过上述步骤，首先可以获取目标节点集合和源站集合，其中，源站集合包含的源站用于为网络提供原始资源；基于约束条件对第一节点集合和第一源站集合进行聚类，生成第一节点分组和第一源站分组，其中，第一节点集合包含目标节点集合中的部分节点，第一源站集合包含源站集合中的部分源站；基于第一节点分组和第一源站分组，确定距离函数，其中，距离函数用于表征第一节点分组和第一源站分组之间的距离；利用距离函数对目标节点集合和源站集合进行层次聚类，得到第二节点分组和第二源站分组，实现了提高分组效率的目的。容易注意到的是，可以基于时效损失较小的目的对规模较小的第一节点集合和第一源站集合进行聚类，生成第一节点分组和第一源站分组，由于第一节点分组和第一源站分组的时效损失较小，因此，根据第一节点分组和第一源站分组可以提取出能够达到时效损失较小的因素，并训练得到距离函数，通过该距离函数可以对数据规模较大的目标节点集合和源站集合进行聚类，使得聚类得到的第二节点分组和第二源站分组也达到时效损失较小的效果，通过在小规模数据集上得到的距离函数对大规模数据集进行聚类，可以减少计算量，从而提高分组的效率，进而可以解决相关技术中对边缘节点和源站进行分组的效率较低的技术问题。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、源站或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (14)
1.一种基于内容分发网络的网络聚合方法，其特征在于，包括：
获取目标节点集合和源站集合，其中，所述源站集合包含的源站用于为所述网络提供原始资源，所述目标节点集合和所述源站集合为所述内容分发网络中的集合；
基于约束条件对第一节点集合和第一源站集合进行聚类，生成第一节点分组和第一源站分组，其中，所述第一节点集合包含所述目标节点集合中的部分节点，所述第一源站集合包含所述源站集合中的部分源站，所述第一节点集合的规模小于所述目标节点集合的规模，所述第一源站集合的规模小于目标源站集合的规模；
基于所述第一节点分组和所述第一源站分组，确定距离函数，其中，所述距离函数用于表征所述第一节点分组和所述第一源站分组之间的距离；
利用所述距离函数对所述目标节点集合和所述源站集合进行层次聚类，得到第二节点分组和第二源站分组。
2.一种网络聚合方法，其特征在于，包括：
获取目标节点集合和源站集合，其中，所述源站集合包含的源站用于为所述网络提供原始资源；
基于约束条件对第一节点集合和第一源站集合进行聚类，生成第一节点分组和第一源站分组，其中，所述第一节点集合包含所述目标节点集合中的部分节点，所述第一源站集合包含所述源站集合中的部分源站，所述第一节点集合的规模小于所述目标节点集合的规模，所述第一源站集合的规模小于目标源站集合的规模；
基于所述第一节点分组和所述第一源站分组，确定距离函数，其中，所述距离函数用于表征所述第一节点分组和所述第一源站分组之间的距离；
利用所述距离函数对所述目标节点集合和所述源站集合进行层次聚类，得到第二节点分组和第二源站分组。
3.根据权利要求2所述的方法，其特征在于，基于约束条件对所述第一节点集合和第一源站集合进行聚类，生成第一节点分组和所述第一源站分组，包括：
获取所述第一节点集合和所述第一源站集合的至少一个初始流量传输路径和至少一个流量传输时间，其中，所述至少一个初始流量传输路径用于表示所述第一节点集合到所述第一源站集合的流量传输路径和/或所述第一节点集合中多个目标节点之间的流量传输路径，所述至少一个初始流量传输路径与至少一个流量传输时间一一对应；
获取所述至少一个初始流量传输路径和所述至少一个流量传输时间的目标乘积；
基于所述约束条件和目标乘积对多个初始流量传输路径进行聚类，生成所述第一节点分组和所述第一源站分组。
4.根据权利要求2所述的方法，其特征在于，基于所述第一节点分组和所述第一源站分组,确定距离函数，包括：
基于所述第一节点分组和所述第一源站分组确定目标时延，其中，所述目标时延为所述第二节点分组向所述第二源站分组传输流量所需的时间；
基于目标预设函数和所述目标时延确定所述距离函数。
5.根据权利要求4所述的方法，其特征在于，基于所述第一节点分组和所述第一源站分组确定目标流量传输路径，包括：
根据所述第一节点分组和所述第一源站分组，确定目标特征矩阵，其中，所述目标特征矩阵用于表示多个目标节点之间的流量传输路径和/或所述目标节点和所述源站之间的流量传输路径；
利用目标预设函数对所述目标特征矩阵进行处理，确定目标时延。
6.根据权利要求5所述的方法，其特征在于，利用目标预设函数对所述目标特征矩阵进行处理，确定目标时延，包括：
基于所述目标特征矩阵确定所述目标节点的至少一个时延，其中，所述至少一个时延为所述目标节点对应的初始流量传输路径的时延；
利用所述目标预设函数从所述至少一个时延中确定出目标时延。
7.根据权利要求6所述的方法，其特征在于，所述目标预设函数包括：第一预设函数，所述目标时延包括：第一时延，利用目标预设函数从所述至少一个时延中确定出目标时延，包括：
利用第一预设函数对所述至少一个时延从小到大进行排序，生成第一排序结果；
基于所述第一排序结果中确定第一数量的时延为第一时延。
8.根据权利要求7所述的方法，其特征在于，所述目标预设函数包括：第二预设函数，所述目标时延包括：第二时延，利用目标预设函数从所述至少一个时延中确定出目标时延，包括：
基于目标阈值和所述至少一个距离的除积，确定至少一个商值，其中，所述至少一个商值与所述至少一个距离一一对应；
对所述至少一个商值从大到小进行排序，生成第二排序结果；
利用第二预设函数从所述第二排序结果中确定第二数量的商值为目标商值；
确定所述目标商值对应的时延为所述第二时延。
9.根据权利要求8所述的方法，其特征在于，所述目标预设函数包括：第三预设函数，所述目标时延包括：第三时延，利用目标预设函数从所述至少一个时延中确定出目标时延，包括：
确定所述至少一个时延中小于预设阈值的时延为所述第三时延，其中，所述预设阈值小于所述目标阈值。
10.根据权利要求9所述的方法，其特征在于，基于目标预设函数和所述目标时延确定所述距离函数，包括：
基于所述第一时延、所述第二时延和所述第三时延确定目标权重值；
基于所述目标权重值、第一预设函数、第二预设函数和第三预设函数，确定所述距离函数。
11.根据权利要求2所述的方法，其特征在于，利用所述距离函数对所述目标节点集合和所述源站集合进行层次聚类，得到第二节点分组和第二源站分组，包括：
基于所述目标节点集合和所述源站集合对所述距离函数进行回归测试，得到测试结果；
基于所述测试结果对所述距离函数进行更新，生成更新后的距离函数；
利用所述更新后的距离函数对所述目标节点集合和所述源站集合进行聚类，得到所述第二节点分组和所述第二源站分组。
12.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至11中任意一项所述的方法。
13.一种处理器，其特征在于，所述处理器包括存储介质，所述处理器用于运行所述存储介质中的程序，其中，所述程序运行时执行所述权利要求1至11中任意一项所述的方法。
14.一种网络聚合系统，其特征在于，包括：
处理器；以及
存储器，与所述处理器连接，用于为所述处理器提供处理权利要求1-11中任意一项所述的方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210114723.9A CN114615262B (zh) | 2022-01-30 | 2022-01-30 | 网络聚合方法、存储介质、处理器以及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210114723.9A CN114615262B (zh) | 2022-01-30 | 2022-01-30 | 网络聚合方法、存储介质、处理器以及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114615262A CN114615262A (zh) | 2022-06-10 |
| CN114615262B true CN114615262B (zh) | 2024-05-14 |
Family
ID=81858994
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210114723.9A Active CN114615262B (zh) | 2022-01-30 | 2022-01-30 | 网络聚合方法、存储介质、处理器以及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114615262B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7035240B1 (en) * | 2000-12-27 | 2006-04-25 | Massachusetts Institute Of Technology | Method for low-energy adaptive clustering hierarchy |
| CN103281211A (zh) * | 2013-06-13 | 2013-09-04 | 黑龙江工程学院 | 大规模网络节点分组管理系统及管理方法 |
| WO2017195089A1 (en) * | 2016-05-09 | 2017-11-16 | Tata Consultancy Services Limited | Method and system for achieving auto-adaptive clustering in a sensor network |
| CN108959289A (zh) * | 2017-05-18 | 2018-12-07 | 北京京东尚科信息技术有限公司 | 网站类别获取方法和装置 |
| CN109618285A (zh) * | 2019-02-27 | 2019-04-12 | 广东工业大学 | 一种基于覆盖树的基站控制方法、装置及设备 |
| CN112383409A (zh) * | 2020-10-15 | 2021-02-19 | 新浪网技术(中国)有限公司 | 一种网络状态码聚合报警方法及系统 |
| CN112465022A (zh) * | 2020-11-26 | 2021-03-09 | 云南电网有限责任公司 | 一种基于改进层次聚类算法的变电站聚类方法 |
| WO2021062219A1 (en) * | 2019-09-25 | 2021-04-01 | Google Llc | Clustering data using neural networks based on normalized cuts |
| CN113407784A (zh) * | 2021-05-28 | 2021-09-17 | 桂林电子科技大学 | 一种基于社交网络的社团划分方法、系统及存储介质 |
| CN113468391A (zh) * | 2021-07-13 | 2021-10-01 | 杭州安恒信息技术股份有限公司 | 网站信息聚类方法、装置、电子装置和计算机设备 |
| CN113988175A (zh) * | 2021-10-27 | 2022-01-28 | 支付宝(杭州)信息技术有限公司 | 聚类处理方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200117683A1 (en) * | 2018-09-12 | 2020-04-16 | Walmart Apollo, Llc | Load and route assignments with region clustering in a delivery system |
| US11475235B2 (en) * | 2020-05-15 | 2022-10-18 | Equifax Inc. | Clustering techniques for machine learning models |
-
2022
- 2022-01-30 CN CN202210114723.9A patent/CN114615262B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7035240B1 (en) * | 2000-12-27 | 2006-04-25 | Massachusetts Institute Of Technology | Method for low-energy adaptive clustering hierarchy |
| CN103281211A (zh) * | 2013-06-13 | 2013-09-04 | 黑龙江工程学院 | 大规模网络节点分组管理系统及管理方法 |
| WO2017195089A1 (en) * | 2016-05-09 | 2017-11-16 | Tata Consultancy Services Limited | Method and system for achieving auto-adaptive clustering in a sensor network |
| CN108959289A (zh) * | 2017-05-18 | 2018-12-07 | 北京京东尚科信息技术有限公司 | 网站类别获取方法和装置 |
| CN109618285A (zh) * | 2019-02-27 | 2019-04-12 | 广东工业大学 | 一种基于覆盖树的基站控制方法、装置及设备 |
| WO2021062219A1 (en) * | 2019-09-25 | 2021-04-01 | Google Llc | Clustering data using neural networks based on normalized cuts |
| CN112383409A (zh) * | 2020-10-15 | 2021-02-19 | 新浪网技术(中国)有限公司 | 一种网络状态码聚合报警方法及系统 |
| CN112465022A (zh) * | 2020-11-26 | 2021-03-09 | 云南电网有限责任公司 | 一种基于改进层次聚类算法的变电站聚类方法 |
| CN113407784A (zh) * | 2021-05-28 | 2021-09-17 | 桂林电子科技大学 | 一种基于社交网络的社团划分方法、系统及存储介质 |
| CN113468391A (zh) * | 2021-07-13 | 2021-10-01 | 杭州安恒信息技术股份有限公司 | 网站信息聚类方法、装置、电子装置和计算机设备 |
| CN113988175A (zh) * | 2021-10-27 | 2022-01-28 | 支付宝(杭州)信息技术有限公司 | 聚类处理方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114615262A (zh) | 2022-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109918205B (zh) | 一种边缘设备调度方法、系统、装置及计算机存储介质 | |
| CN103699443B (zh) | 任务分发方法及扫描器 | |
| CN110309142B (zh) | 规则管理的方法和装置 | |
| WO2019019649A1 (zh) | 投资组合产品的生成方法、装置、存储介质和计算机设备 | |
| CN116260720A (zh) | 网络资源部署方法、装置、电子设备及存储介质 | |
| Li et al. | Cross-cloud mapreduce for big data | |
| CN103716402A (zh) | 服务器的选择系统和方法 | |
| CN108833592A (zh) | 云主机调度器优化方法、装置、设备及存储介质 | |
| CN113435534A (zh) | 一种基于相似度度量的数据异构处理方法、装置、计算机设备及计算机可读存储介质 | |
| CN114254950A (zh) | 电信资源数据处理方法、装置、电子设备及存储介质 | |
| CN114615262B (zh) | 网络聚合方法、存储介质、处理器以及系统 | |
| CN116827774A (zh) | 一种业务分析方法、装置、设备及存储介质 | |
| CN110515819A (zh) | 性能测试方法、电子设备、调度系统及介质 | |
| CN112416488B (zh) | 一种用户画像实现的方法、装置、计算机设备及计算机可读存储介质 | |
| CN104937613A (zh) | 量化数据质量的探试 | |
| CN112162859A (zh) | 数据处理方法、装置、计算机可读介质及电子设备 | |
| CN114492849B (zh) | 一种基于联邦学习的模型更新方法及装置 | |
| CN115941708A (zh) | 云端大数据存储管理方法、装置、电子设备及存储介质 | |
| Alhihi et al. | Operating task redistribution in hyperconverged networks | |
| CN114612037A (zh) | 一种仓库信息的管理方法和系统 | |
| CN110688623A (zh) | 高阶lr模型的训练优化方法、装置、设备及存储介质 | |
| CN110609701A (zh) | 提供服务的方法、装置和存储介质 | |
| CN115550259B (zh) | 基于白名单的流量分配方法及相关设备 | |
| CN111291291B (zh) | 页面加载时间的处理方法和装置、系统 | |
| CN114745310B (zh) | 基于遗传算法的流量阈值的确定方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |