CN109189552B - 虚拟网络功能扩容与缩容方法及系统 - Google Patents

虚拟网络功能扩容与缩容方法及系统 Download PDF

Info

Publication number
CN109189552B
CN109189552B CN201810943325.1A CN201810943325A CN109189552B CN 109189552 B CN109189552 B CN 109189552B CN 201810943325 A CN201810943325 A CN 201810943325A CN 109189552 B CN109189552 B CN 109189552B
Authority
CN
China
Prior art keywords
capacity
vnf
vnfs
reduction
expansion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810943325.1A
Other languages
English (en)
Other versions
CN109189552A (zh
Inventor
匡立伟
周玉成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fiberhome Telecommunication Technologies Co Ltd
Original Assignee
Fiberhome Telecommunication Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fiberhome Telecommunication Technologies Co Ltd filed Critical Fiberhome Telecommunication Technologies Co Ltd
Priority to CN201810943325.1A priority Critical patent/CN109189552B/zh
Priority to PCT/CN2018/119286 priority patent/WO2020034492A1/zh
Publication of CN109189552A publication Critical patent/CN109189552A/zh
Application granted granted Critical
Publication of CN109189552B publication Critical patent/CN109189552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种虚拟网络功能扩容与缩容方法及系统，涉及虚拟网络功能扩容与缩容领域，该方法包括以下步骤：采集历史业务负载数据并进行分析，对未来时间段的业务负载进行预测，根据预测结果判断是进行扩容还是缩容；以及根据任意两个虚拟网络功能VNF之间的切比雪夫距离，确定VNF相互之间的关联程度，将需要扩容或缩容的多个VNF按照关联程度进行分组，形成多个扩容组或缩容组，对每个扩容组中包含的VNF同时进行扩容，或对每个缩容组中包含的VNF同时进行缩容。本发明中的虚拟网络功能扩容与缩容方法能从全局最优的角度实现虚拟网络功能的扩容与缩容。

Description

虚拟网络功能扩容与缩容方法及系统
技术领域
本发明涉及虚拟网络功能扩容与缩容领域，具体涉及一种虚拟网络功能扩容与缩容方法及系统。
背景技术
虚拟网络功能管理器检测到虚拟机VM(Virtual Machine)无法处理当前业务负载时，可以通过热迁移的方式将虚拟网络功能迁移至性能更高的虚拟机上，迁移过程对用户是透明的，整个迁移期间将保持业务运行时所有网络连接、所有应用程序的状态，同时尽量减小迁移时间。虚拟机迁移内容包括内存数据、网络连接、文件系统、各种资源的迁移，需要保证迁移前后源虚拟机与目的虚拟机状态与数据的一致性。
虚拟机迁移过程中的关键是对内存状态数据的处理，其中VMotion与Xen-Motion采用预拷贝方法，由虚拟机管理程序将内存页面统一标识为脏页面(dirty page)，然后通过多轮的内存拷贝过程将内存状态数据从源虚拟机迁移至目的虚拟机，迁移过程中通过位图进行控制。随着虚拟机迁移过程的执行，内存数据逐步被传送到目的虚拟机，当需要传输的内存数据量低于事先设定的门限值时停止迭代，将最后一轮产生的脏页数据全部拷贝到目的虚拟机，启动目的虚拟机，停止源虚拟机。在虚拟机迁移过程中，为了防止迭代次数过多导致时间过长，可以设置迭代次数门限值，当迭代次数超过门限值后，直接跳出循环并执行最后一轮迭代，拷贝脏页数据，启动目的虚拟机并停止源虚拟机。
受限于网络带宽，内存拷贝可能会导致迁移时间过长，可以采用Wkdm、Delta等压缩技术对内存数据进行处理，在源虚拟机上进行内存数据压缩，在目的虚拟机上解压缩。针对迁移过程中内存数据重复冗余的特点，可利用冗余数据消除方法减少重复冗余内存数据的拷贝。
目前的开源基础设施即服务IaaS(Infrastructure as a Service)平台OpenStack支持两种类型的虚拟机迁移，即在线迁移和块迁移。在线迁移将实例信息保存在共享存储中，而块迁移需要同时迁移实例内存数据和磁盘文件数据。在虚拟机迁移过程中，OpenStack首先进行迁移条件审核，包括权限、参数、目的主机内存容量、源主机与目的虚拟机管理程序版本等。通过审核以后，调用libvirt接口，把源主机迁移到目的主机。迁移过程中，采用轮循等检测方法跟踪虚拟机迁移状态，直到迁移成功。
网络功能虚拟化环境下，虚拟网络功能运行于虚拟机VM的客户操作系统Guest OS中，当业务负载增加或缩减时，需要对虚拟网络功能进行扩容与缩容，采用的主要方法是为虚拟网络功能分配更合适的虚拟机，并将虚拟网络功能正在处理的业务数据迁移到新的虚拟机上。
但是一个具体的网络服务NS(Network Service)包括多个虚拟网络功能，业务负载的增加或减少会导致多个虚拟网络功能需要扩容或缩容，传统的方式仅仅从单个虚拟网络功能业务伸缩的角度来考虑问题，往往达不到全局最优。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种能从全局最优的角度实现虚拟网络功能的扩容与缩容的虚拟网络功能扩容与缩容方法。
为达到以上目的，本发明采取的技术方案是：
一种虚拟网络功能扩容与缩容方法，该方法包括以下步骤：
采集历史业务负载数据并进行分析，对未来时间段的业务负载进行预测，根据预测结果判断是进行扩容还是缩容；以及
根据任意两个虚拟网络功能VNF之间的高维空间距离，确定VNF相互之间的关联程度，将需要扩容或缩容的多个VNF按照关联程度进行分组，形成多个扩容组或缩容组，对每个扩容组中包含的VNF同时进行扩容，或对每个缩容组中包含的VNF同时进行缩容。
在上述技术方案的基础上，采集历史业务数据进行分析，对未来时间段的业务负载进行预测，根据预测结果判断是进行扩容还是缩容，具体过程为：
根据采集的历史业务数据，将历史业务负载按照负载量大小分为多个级别；
在时间轴上分析历史业务负载的关联关系，分析不同时间段上历史业务负载的转移情况，获取时间序列业务关联模型；
根据时间序列业务关联模型和当前时间段的业务负载的级别，计算由当前级别的业务负载转移到其他级别的业务负载的转移概率，将最大转移概率所对应的业务负载的级别，作为与当前时间段相邻的下一个时间段的业务负载的级别；
判断当前时间段的业务负载的级别是高于还是低于下一个时间段的业务负载的级别，若高于，则进行缩容；若低于，则进行扩容。
在上述技术方案的基础上，
预先设定采用高级别优先选择算法或采用低级别优先选择算法；
当存在至少两个不同级别的业务负载的转移概率相同且最大时，若预先设定的是高级别优先选择算法，则选择其中级别高的业务负载作为与当前时间段相邻的下一个时间段的业务负载的级别；若预先设定的是低级别优先选择算法，则选择其中级别低的业务负载作为与当前时间段相邻的下一个时间段的业务负载的级别。
在上述技术方案的基础上，所述方法还包括以下步骤：从多个数据中心中选出最佳虚拟机运行扩容或缩容后的VNF。
在上述技术方案的基础上，从多个数据中心中选出最佳的虚拟机运行扩容或缩容后的VNF，具体过程为：
根据不同应用场景的需求，从多个数据中心选择最佳数据中心，所述应用场景需求包括业务负载传送时间最短、经过的VNF路径最短、安全级别最高；
根据当前所需要的VNF的类型，从最佳数据中心选择最佳服务器区域；
根据服务器空闲虚拟机的数量，从最佳服务器区域中选择空闲虚拟机的数量最多的服务器作为最佳服务器；
根据VNF所需要的虚拟核数和各个空闲虚拟机提供的核数差值，从最佳服务器中选择差值最小的空闲虚拟机作为最佳虚拟机。
在上述技术方案的基础上，根据任意两个VNF之间的高维空间距离，确定VNF相互之间的关联程度，将需要扩容或缩容的多个VNF按照关联程度进行分组，形成多个扩容组或缩容组，具体过程为：
A.从所有需要扩容或者缩容的VNF中任选一个VNF，加入到参考VNF组中；
B.判断剩余的每个VNF是否与参考VNF组中的某一个VNF的高维空间距离在预设的门限值内，若是，则将该VNF加入到参考VNF组中，若否，则不进行操作；
C.按照步骤B完成对所有的剩余VNF的判断后，将最终得到的参考VNF组作为扩容组或者缩容组；
D.对于扩容组或者缩容组以外的VNF，按照步骤A至C进行处理；
E.重复步骤D，直到所有需要扩容或者缩容的VNF均处理完毕。
在上述技术方案的基础上，所述高维空间距离为切比雪夫距离。
与此同时，本发明的目的在于提供一种能从全局最优的角度实现虚拟网络功能的扩容与缩容的虚拟网络功能扩容与缩容系统。
为达到以上目的，本发明采取的技术方案是：
一种虚拟网络功能扩容与缩容系统，包括：
虚拟化编排器，其用于采集历史业务负载数据并进行分析，对未来时间段的业务负载进行预测，根据预测结果判断是进行扩容还是缩容；以及
虚拟化功能管理器，其用于根据任意两个虚拟网络功能VNF之间的高维空间距离，确定VNF相互之间的关联程度，将需要扩容或缩容的多个VNF按照关联程度进行分组，形成多个扩容组或缩容组，对每个扩容组中包含的VNF同时进行扩容，或对每个缩容组中包含的VNF同时进行缩容。
在上述技术方案的基础上，所述虚拟化编排器包括业务负载管理器，所述业务负载管理器采集历史业务数据并进行分析，对未来时间段的业务负载进行预测，根据预测结果判断是进行扩容还是缩容，具体过程为：
根据采集的历史业务数据，将历史业务负载按照负载量大小分为多个级别；
在时间轴上分析历史业务负载的关联关系，分析不同时间段上历史业务负载的转移情况，获取时间序列业务关联模型；
根据时间序列业务关联模型和当前时间段的业务负载的级别，计算由当前级别的业务负载转移到其他级别的业务负载的转移概率，将最大转移概率所对应的业务负载的级别作为与当前时间段相邻的下一个时间段的业务负载的级别；
判断当前时间段的业务负载的级别是高于还是低于下一个时间段的业务负载的级别，若高于，则进行缩容；若低于，则进行扩容。
在上述技术方案的基础上，
所述业务负载管理器预先设定采用高级别优先选择算法或采用低级别优先选择算法；
当存在至少两个不同级别的业务负载的转移概率相同且最大时，若预先设定的是高级别优先选择算法，则选择其中级别高的业务负载作为与当前时间段相邻的下一个时间段的业务负载的级别；若预先设定的是低级别优先选择算法，则选择其中级别低的业务负载作为与当前时间段相邻的下一个时间段的业务负载的级别。
在上述技术方案的基础上，所述虚拟化编排器还用于从多个数据中心中选出最佳虚拟机运行扩容或缩容后的VNF。
在上述技术方案的基础上，所述虚拟化编排器从多个数据中心中选出最佳的虚拟机运行扩容或缩容后的VNF，具体过程为：
根据不同应用场景的需求，从多个数据中心选择最佳数据中心，所述应用场景需求包括业务负载传送时间最短、经过的VNF路径最短、安全级别最高；
根据当前所需要的VNF的类型，从最佳数据中心选择最佳服务器区域；
根据服务器空闲虚拟机的数量，从最佳服务器区域中选择空闲虚拟机的数量最多的服务器作为最佳服务器；
根据VNF所需要的虚拟核数和各个空闲虚拟机提供的核数差值，从最佳服务器中选择差值最小的空闲虚拟机作为最佳虚拟机。
在上述技术方案的基础上，所述虚拟化功能管理器根据任意两个VNF之间的高维空间距离，确定VNF相互之间的关联程度，将需要扩容或缩容的多个VNF按照关联程度进行分组，形成多个扩容组或缩容组，具体过程为：
A.从所有需要扩容或者缩容的VNF中任选一个VNF，加入到参考VNF组中；
B.判断剩余的每个VNF是否与参考VNF组中的某一个VNF的高维空间距离在预设的门限值内，若是，则将该VNF加入到参考VNF组中，若否，则不进行操作；
C.按照步骤B完成对所有的剩余VNF的判断后，将最终得到的参考VNF组作为扩容组或者缩容组；
D.对于扩容组或者缩容组以外的VNF，按照步骤A至C进行处理；
E.重复步骤D，直到所有需要扩容或者缩容的VNF均处理完毕。
在上述技术方案的基础上，所述高维空间距离为切比雪夫距离。
与现有技术相比，本发明的优点在于：
相对于传统的方式仅仅从单个虚拟网络功能业务伸缩的角度来考虑问题，往往达不到全局最优。本发明的虚拟网络功能扩容与缩容方法提出动态组合方法实现虚拟网络功能迁移，面向网络服务，对虚拟网络功能的关联关系进行分析，得到最优的扩容与缩容组合集，然后再对同一扩容组中的虚拟网络功能同时进行扩容或缩容，从而实现了从全局最优的角度实现虚拟网络功能的扩容与缩容。
附图说明
图1为本发明实施例中虚拟网络功能扩容与缩容方法的流程图；
图2为本发明实施例中虚拟网络功能扩容与缩容方法中步骤S1的流程图；
图3为本发明实施例中虚拟网络功能扩容与缩容系统框图；
图4为本发明实施例中最佳虚拟机选择示意图；
图5为本发明实施例中虚拟网络功能动态组合式扩容或缩容示意图。
具体实施方式
以下结合附图及实施例对本发明作进一步详细说明。
实施例1：
参见图1所示，本实施例提供一种虚拟网络功能扩容与缩容方法，该方法包括以下步骤：
S1.采集历史业务负载数据并进行分析，对未来时间段的业务负载进行预测，根据预测结果判断是进行扩容还是缩容；以及
S2.根据任意两个虚拟网络功能VNF之间的高维空间距离，确定VNF相互之间的关联程度，将需要扩容或缩容的多个VNF按照关联程度进行分组，形成多个扩容组或缩容组，对每个扩容组中包含的VNF同时进行扩容，或对每个缩容组中包含的VNF同时进行缩容。
相对于传统的方式，其仅仅从单个虚拟网络功能业务伸缩的角度来考虑问题，往往达不到全局最优。本实施例提出动态组合方法实现虚拟网络功能迁移，面向网络服务，对虚拟网络功能的关联关系进行分析，得到最优的扩容与缩容组合集，然后再对同一扩容组中的虚拟网络功能同时进行扩容或缩容，从而实现了从全局最优的角度实现虚拟网络功能的扩容与缩容。
实施例2：
参见图2所示，作为一个较好的可选方式，在实施例1的基础上，采集历史业务数据进行分析，对未来时间段的业务负载进行预测，根据预测结果判断是进行扩容还是缩容，具体过程为：
S11.根据采集的历史业务数据，将历史业务负载按照负载量大小分为多个级别；
优选的，本实施例将业务负载分为超高负载UH(Ultra High Level)、高负载H(High Level)、普通负载C(Common Level)、低负载L(Low Level)、超低负载UL(Ultra LowLevel)五个级别。在具体实践中，可以根据业务负载数量调整分类数目，例如在负载量变化范围较大时划分为七级或者九级，在负载量变化范围较小时调整为三级。
S12.在时间轴上分析历史业务负载的关联关系，分析不同时间段上历史业务负载的转移情况，获取时间序列业务关联模型；
根据业务负载预测模型，业务负载管理器建立一个未来业务负载分类序列。本发明采用符号
Figure BDA0001769602070000091
表示这个分类序列，其中上标R表示序列范围Range，下标I表示虚拟网络功能标识Identifier，例如虚拟网络功能VNF3的未来时间段的五个分类负载序列可以表示为
Figure BDA0001769602070000092
也即是说VNF3业务负载趋势为高负载、超高负载、超高负载、高负载、超高负载。然后在时间轴上分析业务负载的关联关系，分析各个不同的时间片段上业务负载的相似性，包括高峰段、节假日段、突发流量段等，得到量化后的时间序列业务负载关联模型。基于历史数据的业务负载关联模型统计各个时间序列点上的概率值，得到业务负载转移模型。
参见图3所示，以虚拟网络功能VNF-A1为例，其九个时间段内的业务负载为
Figure BDA0001769602070000101
S13.根据时间序列业务关联模型和当前时间段的业务负载的级别，计算由当前级别的业务负载转移到其他级别的业务负载的转移概率，将最大转移概率所对应的业务负载的级别，作为与当前时间段相邻的下一个时间段的业务负载的级别；
进一步地，预先设定采用高级别优先选择算法或采用低级别优先选择算法；
当存在至少两个不同级别的业务负载的转移概率相同且最大时，若预先设定的是高级别优先选择算法，则选择其中级别高的业务负载作为与当前时间段相邻的下一个时间段的业务负载的级别；若预先设定的是低级别优先选择算法，则选择其中级别低的业务负载作为与当前时间段相邻的下一个时间段的业务负载的级别。
具体而言，根据上述得到的
Figure BDA0001769602070000102
Figure BDA0001769602070000103
通过分析得知从高负载有可能会转移到超高负载UH和普通负载C，转移序列为H→UH，H→C，H→UH，H→UH。计算概率得
Figure BDA0001769602070000104
这两个概率表示当前处于高负载H的情况下，下一步有75％的可能转移至超高负载UH，有25％的可能性转移至普通负载C。
计算得到业务负载转移序列后，通过业务负载选择算法得到下一步的可能业务负载量。如果转移概率值可以进行比较，则选择较大业务负载转移概率值作为下一步的业务负载量。例如，对于
Figure BDA0001769602070000105
和
Figure BDA0001769602070000106
这两个转移概率值，本发明将选取概率值0.75对应的负载量，即超高负载作为下一步的业务负载量。如果出现两个转移概率值相等的情况，如
Figure BDA0001769602070000111
和
Figure BDA0001769602070000112
本发明采用两种选择策略。业务负载高级别优先选择算法将返回
Figure BDA0001769602070000113
对应的业务负载，即超高业务负载，而业务负载低级别优先选择算法将返回
Figure BDA0001769602070000114
对应的业务负载，即普通业务负载。
S14.判断当前时间段的业务负载的级别是高于还是低于下一个时间段的业务负载的级别，若高于，则进行缩容；若低于，则进行扩容。
实施例3：
作为一个较好的可选方式，在实施例1的基础上，所述方法还包括以下步骤：从多个数据中心中选出最佳虚拟机运行扩容或缩容后的VNF。其中数据中心指的是运营商云化网络数据中心，运营商网络云化转型以后，面向云化网络构建的数据中心，部署电信云平台、虚拟网络功能、管理编排平台等，在本发明中简称数据中心。
进一步地，参见图4所示，从多个数据中心中选出最佳的虚拟机运行扩容或缩容后的VNF，具体过程为：
根据不同应用场景的需求，从多个数据中心选择最佳数据中心，所述应用场景需求包括业务负载传送时间最短、经过的VNF路径最短、安全级别最高；
具体而言，假设当前有三个数据中心DC1、DC2、DC3(DC：Data Center数据中心)，基于不同应用场景的需求，选择函数fDC会采用不同的策略，例如业务负载传送时间最短，经过的虚拟网络功能最短，安全级别最高等，然后选择出最优的数据中心。本实施例中的选择函数fDC为通用选择函数，不涉及具体的特定的数据中心选择逻辑。假设当前三个数据中心，需要扩容的虚拟网络功能处于数据中心DC1，业务负载会由高负载转移至超高负载，但数据中心DC1没有对应超高业务负载量的虚拟机，因此需要从数据中心DC2和DC3中选择，假设数据中心DC2比数据中心DC3的业务负载传送时间要短，则本次选择结果为DC2，即DC2＝fDC(DC1，DC2，DC3)。
根据当前所需要的VNF的类型，从最佳数据中心选择最佳服务器区域；
具体而言，选择出最佳数据中心后，本发明通过区域选择函数fRG来选择合适的服务器区域。数据中心不同区域的服务器适合不同类型的虚拟网络功能，假设区域一RG1(RG：Region区域)适合承载高带宽视频类业务的虚拟网络功能，区域二RG2适合承载分布式并行海量计算类业务的虚拟网络功能，区域三RG3适合承载低延迟远程医疗业务的虚拟网络功能，区域四RG4适合承载安全防护业务的虚拟网络功能，如果用户需要虚拟网络功能承载海量数据计算业务，则区域选择函数返回结果为区域三，即RG3＝fRG(RG1，RG2，RG3，RG4)。
根据服务器空闲虚拟机的数量，从最佳服务器区域中选择空闲虚拟机的数量最多的服务器作为最佳服务器；
具体而言，每一个区域包括多台服务器，服务器选择函数fSRV返回合适的服务器支撑智能化扩容或缩容。本发明采用空闲虚拟机最多选择算法，即函数fSRV返回空闲虚拟机数量最多的服务器。如果出现空闲虚拟机数量最多的服务器有多台，则随机选择一台服务器。假如四台服务器SRV1，SRV2，SRV3，SRV4(SRV：Server服务器)的空闲虚拟机数量分别为8、6、3，12，则服务器选择函数返回服务器四SRV4，即SRV4＝fSRV(SRV1，SRV2，SRV3，SRV4)。
根据VNF所需要的虚拟核数和各个空闲虚拟机提供的核数差值，从最佳服务器中选择差值最小的空闲虚拟机作为最佳虚拟机。
具体而言，本实施例通过虚拟机选择函数fVM来选择合适的虚拟机，fVM采用满足需求的最小虚拟核数适配方法，即虚拟网络功能所需要的虚拟核数和各个空闲虚拟机提供的核数差值，返回差值最小的那台空闲虚拟机，这种选择方法目的是保留虚拟核数多的虚拟机用于其他应用。假如虚拟网络功能需要8个虚拟核，当前服务器三个虚拟机VM1，VM2，VM3(VM：Virtual Machine虚拟机)的虚拟核数分别为12，10，6，虚拟机选择函数fVM首先进行判断，发现虚拟机VM3只能提供6个虚拟核，达不到虚拟网络功能需求，排除虚拟机VM3。然后计算虚拟机VM1和虚拟机VM2能够提供的虚拟核心与虚拟网络功能需要的核数之差，发现虚拟机VM2的差值最小，因此返回虚拟机VM2，即VM2＝fVM(VM1，VM2，VM3)。
综上所述，本实施例将通过四个函数fDC、fRG、fSRV、fVM分别选择数据中心、数据中心的特定区域、区域中的特定服务器、服务器上的特定虚拟机。其选择过程分别为DC2＝fDC(DC1，DC2，DC3)，RG3＝fRG(RG1，RG2，RG3，RG4)，SRV4＝fSRV(SRV1，SRV2，SRV3，SRV4)，VM2＝fVM(VM1，VM2，VM3)，最后选择虚拟机VM2运行扩容后的虚拟网络功能，整个过程描述为VM2＝fVM。fSRV。fRG。fDC(DC1，DC2，DC3)。
实施例4：
作为一个较好的可选方式，在实施例1的基础上，根据任意两个VNF之间的高维空间距离，确定VNF相互之间的关联程度，将需要扩容或缩容的多个VNF按照关联程度进行分组，形成多个扩容组或缩容组，具体过程为：
A.从所有需要扩容或者缩容的VNF中任选一个VNF，加入到参考VNF组中；
B.判断剩余的每个VNF是否与参考VNF组中的某一个VNF的高维空间距离在预设的门限值内，若是，则将该VNF加入到参考VNF组中，若否，则不进行操作；
C.按照步骤B完成对所有的剩余VNF的判断后，将最终得到的参考VNF组作为扩容组或者缩容组；
D.对于扩容组或者缩容组以外的VNF，按照步骤A至C进行处理；
E.重复步骤D，直到所有需要扩容或者缩容的VNF均处理完毕。
高维空间距离可以采用曼哈顿距离、欧式距离、明可夫斯基距离、切比雪夫距离等方式计算，优选切比雪夫距离。
具体而言，参见图5所示，图5描述了虚拟网络功能动态组合式扩容和缩容。图5最下部分为服务器，通过虚拟化引擎构建计算、存储、网络三类虚拟化资源池，在虚拟机上运行虚拟网络功能VNF。本实施例提出基于切比雪夫距离的扩缩容组选择算法，基于扩缩容时间、虚拟连接VL带宽计算切比雪夫距离(为了提高精度，避免不同参数的量纲差异导致数据不准，可以采用归一化、或调整量纲后的参数值计算。)，将切比雪夫距离与虚拟化编排器NFVO设定的门限值对比，小于门限值的虚拟网络功能为一个扩缩容组。门限值由虚拟化编排器NFVO根据计算得到。本实施例采用二维数据(tim，ban)表示虚拟网络功能VNF扩缩容时间、本虚拟网络功能关联的所有VL的最大带宽。假如图5中的四个虚拟网络功能VNF-1、VNF-2、VNF-3、VNF-4的扩缩容时间和关联VL最大带宽分别表示为(tim1，ban1)，(tim2，ban2)，(tim3，ban3)，(tim4，ban4)，分别计算四个虚拟网络功能两两之间的六个切比雪夫距离，例如计算虚拟网络功能VNF-1与虚拟网络功能VNF-2之间切比雪夫距离d(1，2)＝max(|tim1-tim2|，|ban1-ban2|)，同样计算出其他五个距离d(1，3)，d(1，4)，d(2，3)，d(2，4)，d(3，4)。计算出六个距离以后，首先将虚拟网络功能VNF-1选进扩缩容组，然后比较d(1，2)与门限值，如果d(1，2)大于门限值，则不会将VNF-2选进扩缩容组。接着比较d(1，3)与门限值，如果d(1，3)小于门限值，则将VNF-3选进扩缩容组。此时近缩容组包括两个虚拟网络功能VNF-1和VNF-3。接着判断是否将虚拟网络功能VNF-4选进扩缩容组内。分别查看VNF-4与扩缩容组内VNF-1、VNF-3的切比雪夫距离是否小于门限值，即分别比较d(1，4)和d(3，4)与门限值的大小，只要有一个距离小于门限值，就将虚拟网络功能添加到扩缩容组中。得到扩容与缩容组后，本实施例同时将扩缩容组中的虚拟网络功能进行扩容与缩容。在图5中，网络功能虚拟化编排器NFVO与虚拟网络功能管理器VNFM启动扩容过程，同时对VNF-1、VNF-3、VNF-4进行扩容，并对整个扩容过程进行管理。
实施例5：
参见图3所示，本实施例提供一种虚拟网络功能扩容与缩容系统，包括：
虚拟化编排器，其用于采集历史业务负载数据并进行分析，对未来时间段的业务负载进行预测，根据预测结果判断是进行扩容还是缩容；以及
虚拟化功能管理器，其用于根据任意两个虚拟网络功能VNF之间的高维空间距离，确定VNF相互之间的关联程度，将需要扩容或缩容的多个VNF按照关联程度进行分组，形成多个扩容组或缩容组，对每个扩容组中包含的VNF同时进行扩容，或对每个缩容组中包含的VNF同时进行缩容。
具体而言，业务负载管理器位于网络功能虚拟化编排器NFVO(Network FunctionVirtualization Orchestrator)中，与各个虚拟网络功能管理器VNFM(VirtualizedNetwork Function Manager)相连，获取各个虚拟网络功能VNF(Virtualized NetworkFunction)中的业务负载数据量。本实施例中，虚拟网络功能管理器VNFM上传的只是业务负载量化指标，并不需要对负载数据进行镜像和上传。业务数据采集周期由管理员在网络功能虚拟化编排器NFVO中设定并下发至VNFM和VNF中。本实施例中，网络功能虚拟化环境包括一个统一的网络功能虚拟化编排器NFVO，然后对应多个数据中心，包括网络功能虚拟化基础设施NFVI(Network Function Virtualization Infrastructure)和虚拟化基础设施管理器VIM(Virtualized Infrastructure Manager)。每个数据中心运行一套或多套虚拟网络功能组VNFGrp，每个虚拟网络功能组VNFGrp包括一个虚拟网络功能管理器VNFM，一个虚拟网元管理器EM(Element Manger)，还有多个虚拟网络功能VNF。在具体实践中，可以基于同一个厂商的业务功能实体构建一个虚拟网络功能组VNFGrp。
参见图3所示，其描述了一个业务负载管理器连接两个VNFM(即VNFMA与VNFMB)的例子，其中VNFMA管理虚拟网络功能VNF-A1和VNF-A2，VNFMB管理虚拟网络功能VNF-B1与VNF-B2。本实施例中，虚拟网络功能组VNFGrpA包括四个实体，分别为虚拟网络功能管理器VNFMA、虚拟网元管理EMA、虚拟网络功能VNF-A1、虚拟网络功能VNF-A2。在具体实施过程中，同一厂商的虚拟化功能实体可以构成一个虚拟网络功能组。图5下部为网络功能虚拟化基础设施NFVI和虚拟基础设施管理器VIM，分别实现硬件虚拟化和虚拟计算、存储、网络资源的管理。
业务负载流量从图3中的四个虚拟网络功能(即VNF-A1、VNF-A2、VNF-B1、VNF-B2)产生，负载流量按设定的周期上传虚拟网络功能管理器VNFM，并上传至业务负载管理器。在实际实施过程中，业务负载管理器会根据具体的应用场景，分析历史业务负载数据，确定合适的业务负载采集周期并下发至各个虚拟网络功能实体。虚拟网络功能所消耗的资源情况由虚拟基础设施管理器VIM采集并上报网络功能虚拟化编排器NFVO，然后交给业务负载管理器进行分析。
实施例6：
作为一个较好的可选方式，在实施例5的基础上，所述业务负载管理器采集历史业务数据并进行分析，对未来时间段的业务负载进行预测，根据预测结果判断是进行扩容还是缩容，具体过程为：
根据采集的历史业务数据，将历史业务负载按照负载量大小分为多个级别；
在时间轴上分析历史业务负载的关联关系，分析不同时间段上历史业务负载的转移情况，获取时间序列业务关联模型；
根据时间序列业务关联模型和当前时间段的业务负载的级别，计算由当前级别的业务负载转移到其他级别的业务负载的转移概率，将最大转移概率所对应的业务负载的级别作为与当前时间段相邻的下一个时间段的业务负载的级别；
进一步地，所述业务负载管理器预先设定采用高级别优先选择算法或采用低级别优先选择算法；
当存在至少两个不同级别的业务负载的转移概率最大时，若预先设定的是高级别优先选择算法，则选择其中级别高的业务负载作为与当前时间段相邻的下一个时间段的业务负载的级别；若预先设定的是低级别优先选择算法，则选择其中级别低的业务负载作为与当前时间段相邻的下一个时间段的业务负载的级别。
判断当前时间段的业务负载的级别是高于还是低于下一个时间段的业务负载的级别，若高于，则进行缩容；若低于，则进行扩容。
实施例7：
作为一个较好的可选方式，在实施例5的基础上，所述虚拟化编排器还用于从多个数据中心中选出最佳虚拟机运行扩容或缩容后的虚拟网络功能VNF。
进一步地，所述虚拟化编排器从多个数据中心中选出最佳的虚拟机运行扩容或缩容后的VNF，具体过程为：
根据不同应用场景的需求，从多个数据中心选择最佳数据中心，所述应用场景需求包括业务负载传送时间最短、经过的VNF路径最短、安全级别最高；
根据当前所需要的VNF的类型，从最佳数据中心选择最佳服务器区域；
根据服务器空闲虚拟机的数量，从最佳服务器区域中选择空闲虚拟机的数量最多的服务器作为最佳服务器；
根据VNF所需要的虚拟核数和各个空闲虚拟机提供的核数差值，从最佳服务器中选择差值最小的空闲虚拟机作为最佳虚拟机。
实施例8：
作为一个较好的可选方式，在实施例5的基础上，所述虚拟化功能管理器根据任意两个VNF之间的高维空间距离，确定VNF相互之间的关联程度，将需要扩容或缩容的多个VNF按照关联程度进行分组，形成多个扩容组或缩容组，具体过程为：
A.从所有需要扩容或者缩容的VNF中任选一个VNF，加入到参考VNF组中；
B.判断剩余的每个VNF是否与参考VNF组中的某一个VNF的高维空间距离在预设的门限值内，若是，则将该VNF加入到参考VNF组中，若否，则不进行操作；
C.按照步骤B完成对所有的剩余VNF的判断后，将最终得到的参考VNF组作为扩容组或者缩容组；
D.对于扩容组或者缩容组以外的VNF，按照步骤A至C进行处理；
E.重复步骤D，直到所有需要扩容或者缩容的VNF均处理完毕。
高维空间距离可以采用曼哈顿距离、欧式距离、明可夫斯基距离、切比雪夫距离等方式计算，本实施例优选切比雪夫距离。
本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (12)

1.一种虚拟网络功能扩容与缩容方法，其特征在于，该方法包括以下步骤：
根据采集的历史业务数据，将历史业务负载按照负载量大小分为多个级别；
在时间轴上分析历史业务负载的关联关系，分析不同时间段上历史业务负载的转移情况，获取时间序列业务关联模型；
根据时间序列业务关联模型和当前时间段的业务负载的级别，计算由当前级别的业务负载转移到其他级别的业务负载的转移概率，将最大转移概率所对应的业务负载的级别，作为与当前时间段相邻的下一个时间段的业务负载的级别；
判断当前时间段的业务负载的级别是高于还是低于下一个时间段的业务负载的级别，若高于，则进行缩容；若低于，则进行扩容；以及
根据任意两个虚拟网络功能VNF之间的高维空间距离，确定VNF相互之间的关联程度，将需要扩容或缩容的多个VNF按照关联程度进行分组，形成多个扩容组或缩容组，对每个扩容组中包含的VNF同时进行扩容，或对每个缩容组中包含的VNF同时进行缩容。
2.如权利要求1所述的虚拟网络功能扩容与缩容方法，其特征在于：
预先设定采用高级别优先选择算法或采用低级别优先选择算法；
当存在至少两个不同级别的业务负载的转移概率相同且最大时，若预先设定的是高级别优先选择算法，则选择其中级别高的业务负载作为与当前时间段相邻的下一个时间段的业务负载的级别；若预先设定的是低级别优先选择算法，则选择其中级别低的业务负载作为与当前时间段相邻的下一个时间段的业务负载的级别。
3.如权利要求1所述的虚拟网络功能扩容与缩容方法，其特征在于，所述方法还包括以下步骤：从多个数据中心中选出最佳虚拟机运行扩容或缩容后的VNF。
4.如权利要求3所述的虚拟网络功能扩容与缩容方法，其特征在于，从多个数据中心中选出最佳的虚拟机运行扩容或缩容后的VNF，具体过程为：
根据不同应用场景的需求，从多个数据中心选择最佳数据中心，所述应用场景需求包括业务负载传送时间最短、经过的VNF路径最短、安全级别最高；
根据当前所需要的VNF的类型，从最佳数据中心选择最佳服务器区域；
根据服务器空闲虚拟机的数量，从最佳服务器区域中选择空闲虚拟机的数量最多的服务器作为最佳服务器；
根据VNF所需要的虚拟核数和各个空闲虚拟机提供的核数差值，从最佳服务器中选择差值最小的空闲虚拟机作为最佳虚拟机。
5.如权利要求1所述的虚拟网络功能扩容与缩容方法，其特征在于，根据任意两个VNF之间的高维空间距离，确定VNF相互之间的关联程度，将需要扩容或缩容的多个VNF按照关联程度进行分组，形成多个扩容组或缩容组，具体过程为：
A.从所有需要扩容或者缩容的VNF中任选一个VNF，加入到参考VNF组中；
B.判断剩余的每个VNF是否与参考VNF组中的某一个VNF的高维空间距离在预设的门限值内，若是，则将该VNF加入到参考VNF组中，若否，则不进行操作；
C.按照步骤B完成对所有的剩余VNF的判断后，将最终得到的参考VNF组作为扩容组或者缩容组；
D.对于扩容组或者缩容组以外的VNF，按照步骤A至C进行处理；
E.重复步骤D，直到所有需要扩容或者缩容的VNF均处理完毕。
6.如权利要求5所述的虚拟网络功能扩容与缩容方法，其特征在于：所述高维空间距离为切比雪夫距离。
7.一种虚拟网络功能扩容与缩容系统，其特征在于，包括：
虚拟化编排器，其包括业务负载管理器，所述业务负载管理器用于根据采集的历史业务数据，将历史业务负载按照负载量大小分为多个级别；
在时间轴上分析历史业务负载的关联关系，分析不同时间段上历史业务负载的转移情况，获取时间序列业务关联模型；
根据时间序列业务关联模型和当前时间段的业务负载的级别，计算由当前级别的业务负载转移到其他级别的业务负载的转移概率，将最大转移概率所对应的业务负载的级别作为与当前时间段相邻的下一个时间段的业务负载的级别；
判断当前时间段的业务负载的级别是高于还是低于下一个时间段的业务负载的级别，若高于，则进行缩容；若低于，则进行扩容；以及
虚拟化功能管理器，其用于根据任意两个虚拟网络功能VNF之间的高维空间距离，确定VNF相互之间的关联程度，将需要扩容或缩容的多个VNF按照关联程度进行分组，形成多个扩容组或缩容组，对每个扩容组中包含的VNF同时进行扩容，或对每个缩容组中包含的VNF同时进行缩容。
8.如权利要求7所述的虚拟网络功能扩容与缩容系统，其特征在于：
所述业务负载管理器预先设定采用高级别优先选择算法或采用低级别优先选择算法；
当存在至少两个不同级别的业务负载的转移概率相同且最大时，若预先设定的是高级别优先选择算法，则选择其中级别高的业务负载作为与当前时间段相邻的下一个时间段的业务负载的级别；若预先设定的是低级别优先选择算法，则选择其中级别低的业务负载作为与当前时间段相邻的下一个时间段的业务负载的级别。
9.如权利要求7所述的虚拟网络功能扩容与缩容系统，其特征在于，所述虚拟化编排器还用于从多个数据中心中选出最佳虚拟机运行扩容或缩容后的VNF。
10.如权利要求9所述的虚拟网络功能扩容与缩容系统，其特征在于，所述虚拟化编排器从多个数据中心中选出最佳的虚拟机运行扩容或缩容后的VNF，具体过程为：
根据不同应用场景的需求，从多个数据中心选择最佳数据中心，所述应用场景需求包括业务负载传送时间最短、经过的VNF路径最短、安全级别最高；
根据当前所需要的VNF的类型，从最佳数据中心选择最佳服务器区域；
根据服务器空闲虚拟机的数量，从最佳服务器区域中选择空闲虚拟机的数量最多的服务器作为最佳服务器；
根据VNF所需要的虚拟核数和各个空闲虚拟机提供的核数差值，从最佳服务器中选择差值最小的空闲虚拟机作为最佳虚拟机。
11.如权利要求7所述的虚拟网络功能扩容与缩容系统，其特征在于，所述虚拟化功能管理器根据任意两个VNF之间的高维空间距离，确定VNF相互之间的关联程度，将需要扩容或缩容的多个VNF按照关联程度进行分组，形成多个扩容组或缩容组，具体过程为：
A.从所有需要扩容或者缩容的VNF中任选一个VNF，加入到参考VNF组中；
B.判断剩余的每个VNF是否与参考VNF组中的某一个VNF的高维空间距离在预设的门限值内，若是，则将该VNF加入到参考VNF组中，若否，则不进行操作；
C.按照步骤B完成对所有的剩余VNF的判断后，将最终得到的参考VNF组作为扩容组或者缩容组；
D.对于扩容组或者缩容组以外的VNF，按照步骤A至C进行处理；
E.重复步骤D，直到所有需要扩容或者缩容的VNF均处理完毕。
12.如权利要求11所述的虚拟网络功能扩容与缩容系统，其特征在于：所述高维空间距离为切比雪夫距离。
CN201810943325.1A 2018-08-17 2018-08-17 虚拟网络功能扩容与缩容方法及系统 Active CN109189552B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810943325.1A CN109189552B (zh) 2018-08-17 2018-08-17 虚拟网络功能扩容与缩容方法及系统
PCT/CN2018/119286 WO2020034492A1 (zh) 2018-08-17 2018-12-05 虚拟网络功能扩容与缩容方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810943325.1A CN109189552B (zh) 2018-08-17 2018-08-17 虚拟网络功能扩容与缩容方法及系统

Publications (2)

Publication Number Publication Date
CN109189552A CN109189552A (zh) 2019-01-11
CN109189552B true CN109189552B (zh) 2020-08-25

Family

ID=64918322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810943325.1A Active CN109189552B (zh) 2018-08-17 2018-08-17 虚拟网络功能扩容与缩容方法及系统

Country Status (2)

Country Link
CN (1) CN109189552B (zh)
WO (1) WO2020034492A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111093099B (zh) * 2019-02-15 2023-04-18 杭州海康威视系统技术有限公司 一种流媒体服务调度方法、装置及系统
CN112751685B (zh) * 2019-10-29 2023-04-07 中国电信股份有限公司 网络切片用户面容量配置方法、装置和系统
CN112732409B (zh) * 2021-01-21 2022-07-22 上海交通大学 一种vnf架构下使能零耗时网络流负载均衡的方法及装置
CN113014436B (zh) * 2021-03-15 2022-10-11 中国联合网络通信集团有限公司 网络服务管理方法、装置和计算机存储介质
CN113342561A (zh) * 2021-06-18 2021-09-03 上海哔哩哔哩科技有限公司 任务诊断方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104009467A (zh) * 2014-05-13 2014-08-27 南京邮电大学 一种计及预安排停电影响的配电网可靠性评估和预测方法
CN106161076A (zh) * 2015-04-22 2016-11-23 华为技术有限公司 虚拟网络功能扩展方法和装置
CN106484540A (zh) * 2016-10-20 2017-03-08 腾讯科技（深圳）有限公司 一种资源配置方法及装置
CN106775936A (zh) * 2016-11-30 2017-05-31 华为技术有限公司 一种虚拟机的管理方法及装置
CN107145393A (zh) * 2017-04-27 2017-09-08 努比亚技术有限公司 一种负载调整方法、设备及计算机可读存储介质
CN107615792A (zh) * 2015-06-01 2018-01-19 华为技术有限公司 用于mtc事件的管理方法与系统
CN108243110A (zh) * 2016-12-26 2018-07-03 华为技术有限公司 一种资源调整方法、装置和系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105610592A (zh) * 2014-10-30 2016-05-25 中兴通讯股份有限公司 一种部署虚拟核心网的方法和装置
CN104469798B (zh) * 2014-12-12 2017-11-10 重庆邮电大学 一种基于马尔可夫链的通信网络负载状态信息预测方法
CN106301829B (zh) * 2015-05-21 2019-08-09 华为技术有限公司 一种网络业务扩容的方法和装置
KR101746202B1 (ko) * 2015-06-09 2017-06-12 주식회사 케이티 네트워크 기능 가상화 방법 및 이를 위한 장치
CN106452818B (zh) * 2015-08-13 2020-01-21 阿里巴巴集团控股有限公司 一种资源调度的方法和系统
EP3148125A1 (en) * 2015-09-25 2017-03-29 Fujitsu Limited Setting method, server device and service chain system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104009467A (zh) * 2014-05-13 2014-08-27 南京邮电大学 一种计及预安排停电影响的配电网可靠性评估和预测方法
CN106161076A (zh) * 2015-04-22 2016-11-23 华为技术有限公司 虚拟网络功能扩展方法和装置
CN107615792A (zh) * 2015-06-01 2018-01-19 华为技术有限公司 用于mtc事件的管理方法与系统
CN106484540A (zh) * 2016-10-20 2017-03-08 腾讯科技（深圳）有限公司 一种资源配置方法及装置
CN106775936A (zh) * 2016-11-30 2017-05-31 华为技术有限公司 一种虚拟机的管理方法及装置
CN108243110A (zh) * 2016-12-26 2018-07-03 华为技术有限公司 一种资源调整方法、装置和系统
CN107145393A (zh) * 2017-04-27 2017-09-08 努比亚技术有限公司 一种负载调整方法、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN109189552A (zh) 2019-01-11
WO2020034492A1 (zh) 2020-02-20

Similar Documents

Publication Publication Date Title
CN109189552B (zh) 虚拟网络功能扩容与缩容方法及系统
CN110134495B (zh) 一种容器跨主机在线迁移方法、存储介质及终端设备
RU2605473C2 (ru) Автоматизированное профилирование использования ресурса
JP5218390B2 (ja) 自律制御サーバ、仮想サーバの制御方法及びプログラム
CN110262901B (zh) 一种数据处理方法及数据处理系统
US11182216B2 (en) Auto-scaling cloud-based computing clusters dynamically using multiple scaling decision makers
US20150295970A1 (en) Method and device for augmenting and releasing capacity of computing resources in real-time stream computing system
KR102585591B1 (ko) 이기종 프로세서 기반 엣지 시스템에서 slo 달성을 위한 인공지능 추론 스케쥴러
US20150133214A1 (en) Video encoding based on areas of interest
CN106681839B (zh) 弹性计算动态分配方法
KR20140131089A (ko) 자원 할당 장치 및 그 방법
CN111381928B (zh) 一种虚拟机迁移方法、云计算管理平台和存储介质
US11809424B2 (en) Auto-scaling a query engine for enterprise-level big data workloads
US10942651B1 (en) Network data management protocol redirector
KR20140117905A (ko) 클라우드 서비스의 가상자원 할당을 위한 퍼지 로직 기반의 자원평가 장치 및 방법
US20210390405A1 (en) Microservice-based training systems in heterogeneous graphic processor unit (gpu) cluster and operating method thereof
CN110728372B (zh) 一种人工智能模型动态加载的集群设计方法及集群系统
Wu et al. ABP scheduler: Speeding up service spread in docker swarm
Selvi et al. Popularity (hit rate) based replica creation for enhancing the availability in cloud storage
US10594620B1 (en) Bit vector analysis for resource placement in a distributed system
CN116627660A (zh) 一种基于云数据中心的微服务资源配置方法
Zhang et al. A locally distributed mobile computing framework for DNN based android applications
US11080092B1 (en) Correlated volume placement in a distributed block storage service
US11388050B2 (en) Accelerating machine learning and profiling over a network
CN114020218A (zh) 混合重复数据删除调度方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant