CN113630383A

CN113630383A - 一种边云协同的方法及装置

Info

Publication number: CN113630383A
Application number: CN202110772275.7A
Authority: CN
Inventors: 付腾瑶
Original assignee: Individual
Current assignee: Beijing Rencifang Technology Co.,Ltd.
Priority date: 2021-07-08
Filing date: 2021-07-08
Publication date: 2021-11-09
Anticipated expiration: 2041-07-08
Also published as: CN113630383B

Abstract

本申请公开了一种边云协同的方法，包括：中心云将热点数据组通过网络隧道发送至边缘云容器平台；每一个物理边缘节点生成一个虚拟节点子集群，由多个物理边缘节点生成的多个虚拟节点子集群集合定义为虚拟节点总集群，其中，单个虚拟节点子集群包括多个虚拟节点；中心云管理平台按照负载均衡策略，在虚拟节点总集群中选择多个虚拟节点，将热点数据组分配给选择的多个虚拟节点；边缘云容器平台将每一个由中心云管理平台选择的虚拟节点设置为簇心，以多个簇心为中心，经过K‑means聚类算法组成多个簇群，并将多个簇心中保存的热点数据组依次复制到多个簇群的非簇心虚拟节点中，以使用户终端通过多个簇群中任一虚拟节点获取热点数据组。

Description

一种边云协同的方法及装置

技术领域

本申请涉及信息技术领域，尤其涉及一种边云协同的方法及装置。

背景技术

近年来，云计算技术的进步推动了互联网行业的快速发展，云计算本身的资源池化、自助服务、服务计量等特性也得到了广泛使用。这里，通过云计算技术可以向用户提供不同的云计算服务，例如基础设施即服务(Infrastructure as a Service，IaaS)，IaaS可以为用户提供虚拟化的计算、存储、网络等基础设施资源。

边缘计算是在靠近物或数据源头的网络边缘侧，融合网络、计算、存储、应用核心能力的分布式开放平台，就近提供边缘智能服务，满足行业数字化在敏捷联接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。它可以作为联接物理和数字世界的桥梁，使能智能资产、智能网关、智能系统和智能服务。

云计算与边缘计算逐渐融合，边缘计算是云端向边缘侧的能力延伸并相互协同，边缘计算与云计算只有通过紧密协同才能更好的满足各种需求场景的匹配，从而放大边缘计算和云计算的应用价值。因此，随着5G技术逐步成熟，边云协同能够更好的支撑视频、图像辨识处理或者对网络低时延高带宽要求苛刻的各类新应用场景业务的实现，如自动驾驶、无人机、AR/VR、智慧城市等。

然而，在现有技术中，对于热点数据组的获取，往往是中心云管理平台将热点数据组发送给各个边缘节点，由各个边缘节点将热点数据组发送给不同的用户终端，没有考虑到边缘节点负载均衡的问题，会导致有一些边缘节点过饱和，有一些边缘节点不饱和，导致资源不均衡。

发明内容

本发明实施例提供一种边云协同的方法，用于解决现有技术中边云协同资源不均衡的问题。

本发明实施例提供一种边云协同的方法，应用于中心云管理平台及边缘云容器平台，所述中心云通过边云协同网关与所述边缘云容器平台的代理网关建立网络隧道，方法包括：

所述中心云管理平台获取热点数据组，并将所述热点数据组通过所述网络隧道发送至所述边缘云容器平台，所述边缘云容器平台由多个物理边缘节点组成；

每一个所述物理边缘节点生成一个虚拟节点子集群，由所述多个物理边缘节点生成的多个虚拟节点子集群集合定义为虚拟节点总集群，其中，所述单个虚拟节点子集群包括多个虚拟节点；

所述中心云管理平台按照负载均衡策略，在所述虚拟节点总集群中选择多个虚拟节点，将所述热点数据组分配给所述选择的多个虚拟节点；

所述边缘云容器平台将每一个由所述中心云管理平台选择的虚拟节点设置为簇心，以多个所述簇心为中心，经过K-means聚类算法组成多个簇群，并将所述多个簇心中保存的所述热点数据组依次复制到所述多个簇群的非簇心虚拟节点中，以使用户终端通过所述多个簇群中任一虚拟节点获取所述热点数据组。

可选地，所述方法还包括：

在所述多个簇群中，分别以所述多个簇群的中心虚拟节点作为中心点，从而重新设置所述多个簇群的簇心；

定义所述重新设置的多个簇心为第二簇心，并以所述第二簇心为基准，计算在所述第二簇心与其余非簇心虚拟节点的欧式距离，并按照距离最近原则，以所述第二簇心为基准重新分簇。

可选地，所述以多个所述簇心为中心，经过K-means聚类算法组成多个簇群，包括：

以多个所述簇心为中心，按照离簇心最近的原则划分为多个簇群。

可选地，所述中心云管理平台按照负载均衡策略，在所述虚拟节点总集群中选择多个虚拟节点，包括：

所述中心云管理平台构建长度为2³²的哈希环；

将所述虚拟节点总集群的每一个虚拟节点进行哈希运算，根据所述计算得到的哈希值确定所述每一个虚拟节点在所述哈希环上的位置；

以所述哈希环的原点为基准，在所述哈希环上进行顺时针遍历，定位到N个虚拟节点，所述定位到的N个虚拟节点为所述虚拟节点总集群中选择的多个虚拟节点。

可选地，在将所述虚拟节点总集群的每一个虚拟节点进行哈希运算之前，所述方法还包括：

将每一个所述物理边缘节点进行哈希运算，根据所述计算得到的哈希值确定所述每一个物理边缘节点在所述哈希环上的位置；

获取所述多个物理边缘节点的资源负载率，并根据所述资源负载率的大小，动态调整所述不同虚拟节点子集群中的虚拟节点数量，所述虚拟节点数量与所述资源负载率的大小呈反比。

可选地，在所述用户终端通过所述多个簇群中任一虚拟节点获取所述热点数据组之后，所述方法还包括：

用户终端基于最优路由策略，动态切换与所述虚拟节点的连接，并从切换后的虚拟节点中获取所述热点数据组。

可选地，所述中心云管理平台包括边缘云管理模块，边云协同消息队列模块，所述边缘云管理模块用于确定所述负载均衡策略，所述边云协同消息队列模块用于通过所述边云协同网关向所述边缘云容器平台下发指令。

可选地，所述边缘云容器平台包括镜像仓库模块及容器集群管理模块，所述镜像仓库模块用于生产及存储虚拟节点总集群，所述容器集群管理模块用于管理所述虚拟节点总集群，所述边缘云容器平台通过所述代理网关接收所述中心云下发的指令。

可选地，所述边缘云容器平台与中心云管理平台建立SSL双向认证及MQTT认证通道。

本发明实施例还包括一种装置，其特征在于，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述方法。

本发明实施例提供的方法及装置，通过物理边缘节点生成多个虚拟节点，并按照负载均衡策略，将所述热点数据组分配给选择的多个虚拟节点，以该虚拟节点作为簇心组建多个簇群，将热点数据组复制到该多个簇群中，以便用户终端可以就近连接簇群中任一个虚拟节点，以此来提升边缘云资源利用的效率。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。

图1为一个实施例中边云协同网络架构图；

图2为一个实施例中边云协同的方法流程图；

图3为一个实施例中哈希环遍历逻辑示意图；

图4为一个实施例中另一边云协同网络架构图；

图5为一个实施例中装置的硬件组成示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

图1是本发明实施例的边云协同网络架构图，如图1所示，整个系统平台分为中心云管理平台和边缘云容器平台两部分，中心云管理平台负责对云端和边缘云统一管理，包括中心云端数据分析、数据采集、AI模型、AI训练及行业业务运行以及中心云管理门户等；边缘云容器平台负责边缘侧PAAS业务运行及AI处理。中心云与边缘云通过自动建立网络隧道，并由边云协同网关及边缘代理网关进行数据协同交互。中心云管理平台具有边云协同网关能力、边云协同消息队列、边云协同消息处理等边云交互功能以及边缘云管理、边缘云容器编排管理、应用服务全生命周期管理、配置管理、环境资源管理、用户中心管理、证书管理、安全管理等平台系统功能组件；边缘云容器平台具有容器集群、AI运行环境等基础环境，负载均衡、日志分析、监控告警、域名解析、流量控制、安全管理、灰度发布、自动化配置等边云容器平台系统服务及边缘应用服务网关、边缘代理网关等终端、云端交互组件。

图2是本发明实施例的一种边云协同的方法流程图，本发明实施例提供的方法，具体为：

S101、所述中心云管理平台获取热点数据组，并将所述热点数据组通过所述网络隧道发送至所述边缘云容器平台，所述边缘云容器平台由多个物理边缘节点组成；

热点数据组是指在一段时间周期内获取量激增的数据集合，例如重大新闻、视频、商品抢购等，在一段时期内会有多个用户终端同时需要获取，因此，该热点数据组呈现出流量激增、连接请求突发等特点。由于热点数据组的特性，会导致云端和边缘端的流量及资源利用效率发生较大负载，因此，需要对热点数据组进行负载均衡管控措施。

在本发明实施例中，结合图1，中心云管理平台是数据存储中心，可以从自身存储的数据库中找寻该热点数据组，也可以从外部云中获取到该热点数据组，并通过建立好的网络隧道下发至边缘云容器平台中，其中，边缘云容器平台是一个集群，其由多个物理边缘节点组成。

S102、每一个所述物理边缘节点生成一个虚拟节点子集群，由所述多个物理边缘节点生成的多个虚拟节点子集群集合定义为虚拟节点总集群，其中，所述单个虚拟节点子集群包括多个虚拟节点；

在本发明实施例中，物理边缘节点的数量是有限且固定的，因此，物理边缘节点可以通过虚拟化技术，将自身的资源虚拟为多个虚拟节点，每一个虚拟节点具备独立的处理资源，设置有不同的IP地址，可实现独立的数据收发。而每一个物理边缘节点可生成任意数量的虚拟节点，且生成的虚拟节点与物理边缘节点一一对应。为了方便定义物理边缘节点与虚拟节点的关系，本发明定义了单个物理边缘节点生成的虚拟节点为虚拟节点子集群，例如，物理边缘节点A生成的3个虚拟节点为a,b,c，虚拟节点a,b,c组成了虚拟节点子集群，而多个物理节点生成的虚拟节点子集群则组成了虚拟节点总集群。

S103、所述中心云管理平台按照负载均衡策略，在所述虚拟节点总集群中选择多个虚拟节点，将所述热点数据组分配给所述选择的多个虚拟节点；

在本发明实施例中，虚拟节点总集群包含多个虚拟节点子集群，而虚拟节点子集群又包含多个虚拟节点，因此，虚拟节点总集群包含了大量的虚拟节点，而热点数据组的获取流量大小通常和本地的用户终端数多少正相关，因此，没必要将所有的热点数据组都复制到每一个虚拟节点中，既浪费存储资源也不会提高热点数据组的获取效率。

在本发明实施例中，负载均衡策略是一种优化物理存储资源，使得在边缘云中不会出现大面积的资源挤兑导致边缘节点宕机的方案。负载均衡的具体策略是：

所述中心云管理平台构建长度为2³²的哈希环；

哈希环是基于一致性哈希算法的概念而提出的，一致性哈希将整个哈希值空间组织成一个虚拟的圆环，如假设某哈希函数H的值空间为0-2³²-1(即哈希值是一个32位无符号整形，整个哈希环长度为2³²)，整个哈希空间按顺时针方向组织，则0和2³²-1在零点中方向重合。

在本发明实施例中，可以选择虚拟节点的IP地址作为关键字进行哈希，这样每一个虚拟节点就能确定其在哈希环上的位置，例如自定义一个大质数P(示例性地，P＝1325697)；使用(hash^IP地址*P)的方式计算出每个虚拟节点的哈希值。

以所述哈希环的原点为基准，在所述哈希环上进行顺时针遍历，定位到N个虚拟节点，所述定位到的N个虚拟节点为所述虚拟节点总集群中选择的多个虚拟节点，其中N为大于1的正整数。

在哈希环中，以顺时针方向进行遍历，定位到N个虚拟节点，N为自定义的正整数且大于1，由于虚拟节点的位置分布是基于哈希值来分布的，在顺时针遍历过程中，遍历到的虚拟节点一定程度上满足子集群的均衡分布规则，由于虚拟节点子集群与物理边缘节点存在一一对应关系，因此与虚拟节点对应的物理边缘节点也满足均匀分布。如图3所示，虚拟节点1，2，3属于子集群A，对应于边缘物理节点A’；虚拟节点4，5，6属于子集群B，对应于边缘物理节点B’；虚拟节点7，8，9属于子集群C，对应于边缘物理节点C’；以顺时针方向进行遍历，获取到编号为1，4，6，8的四个虚拟节点，其分别对应于边缘物理节点A’,B’,B’,C’，可以看出，3个边缘物理节点都有参与热点数据组的分配，实现了负载的均衡，而不是只集中在单个边缘物理节点中，导致该边缘物理节点会由于负载量过高而宕机。

此外，如图3所示，在将所述虚拟节点总集群的每一个虚拟节点进行哈希运算之前，中心云或边缘云还可以将每一个所述物理边缘节点进行哈希运算，根据所述计算得到的哈希值确定所述每一个物理边缘节点在所述哈希环上的位置；

获取所述多个物理边缘节点的资源负载率，并根据所述资源负载率的大小，动态调整所述不同虚拟节点子集群中的虚拟节点数量，所述虚拟节点数量与所述资源负载率的大小呈反比。即，根据边缘物理节点的负载率，动态调整虚拟节点的数量，例如，边缘物理节点有A’,B’,C’三个，资源负载率分别为50％，60％，70％，则相应的，边缘物理节点A’生成的虚拟节点数量可以多一些，边缘物理节点B’次之，边缘物理节点C’最少，例如，边缘物理节点A’生成的虚拟节点数量为200个，边缘物理节点B’生成的虚拟节点数量为150个，而边缘物理节点C’生成的虚拟节点数量为100个，这样可以保证顺时针方向遍历得到的虚拟节点中，对应于边缘物理节点A’的占多数，边缘物理节点B’的次之，而边缘物理节点C’的最少。

S104、所述边缘云容器平台将每一个由所述中心云管理平台选择的虚拟节点设置为簇心，以多个所述簇心为中心，经过K-means聚类算法组成多个簇群，并将所述多个簇心中保存的所述热点数据组依次复制到所述多个簇群的非簇心虚拟节点中，以使用户终端通过所述多个簇群中任一虚拟节点获取所述热点数据组。

本发明实施例中，K-means算法可以以多个所述簇心为中心，按照离簇心最近的原则划分为多个簇群。

K-means算法是一种机器学习的聚类算法，通过初始化簇心，并按照距离最近原则分别形成簇群，最后重新确定簇心，分簇并调整簇群，直到簇不再变动。从而实现了簇内距离最小，簇间距离最大化。传统的K-means算法中，簇心的初始化是随机过程，而本发明实施例则采用了负载均衡策略寻找特定的虚拟节点，并在此基础之上对传统的算法进行了改良，具体地：

图4是本发明实施例的另一网络架构图，如图4所示，示例性地，中心云将热点数据组发送至三个边缘物理节点A’,B’,C’,而每一个边缘物理节点会生成多个虚拟节点，其中，根据负载均衡策略，中心云选择了编号为2,4,6,8的四个虚拟节点作为簇心，并分别生成4个簇群，簇群中共享热点数据组，因此，用户终端可分别连接该4个簇群，从而从不同簇群中任一虚拟节点获取到热点数据组。

此外，如图4所示，用户终端不仅可以连接任意一个簇群中的虚拟节点，还可以基于最优路由策略，动态切换与所述虚拟节点的连接，并从切换后的虚拟节点中获取所述热点数据组。其中，最优路由策略可以是路由策略中的最短路径策略，也可以是本地(归属地)优先策略，即用户终端注册地与当地的簇群优先连接，数据获取优先从当地的簇群获取。

在本发明实施例中，所述中心云管理平台包括边缘云管理模块，边云协同消息队列模块，所述边缘云管理模块用于确定所述负载均衡策略，所述边云协同消息队列模块用于通过所述边云协同网关向所述边缘云容器平台下发指令。

在本发明实施例中，所述边缘云容器平台包括镜像仓库模块及容器集群管理模块，所述镜像仓库模块用于生产及存储虚拟节点总集群，所述容器集群管理模块用于管理所述虚拟节点总集群，所述边缘云容器平台通过所述代理网关接收所述中心云下发的指令。

需要说明的是，所述边缘云容器平台与中心云管理平台建立SSL双向认证及MQTT认证通道。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机可执行指令，该计算机可执行指令用于执行上述实施例中的方法。

本发明实施例还提供一种装置，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述方法。

图5为一个实施例中装置的硬件组成示意图。可以理解的是，图5仅仅示出了装置的简化设计。在实际应用中，装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出系统、处理器、控制器、存储器等，而所有可以实现本申请实施例的大数据管理方法的装置都在本申请的保护范围之内。

存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read至only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read至only memory，CD至ROM)，该存储器用于相关指令及数据。

输入系统用于输入数据和/或信号，以及输出系统用于输出数据和/或信号。输出系统和输入系统可以是独立的器件，也可以是一个整体的器件。

处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。处理器还可以包括一个或多个专用处理器，专用处理器可以包括GPU、FPGA等，用于进行加速处理。

存储器用于存储网络设备的程序代码和数据。

处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程系统。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read至onlymemory，ROM)，或随机存储存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims

1.一种边云协同的方法，其特征在于，应用于中心云管理平台及边缘云容器平台，所述中心云通过边云协同网关与所述边缘云容器平台的代理网关建立网络隧道，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求1或2所述的方法，其特征在于，所述以多个所述簇心为中心，经过K-means聚类算法组成多个簇群，包括：

4.根据权利要求1所述的方法，其特征在于，所述中心云管理平台按照负载均衡策略，在所述虚拟节点总集群中选择多个虚拟节点，包括：

所述中心云管理平台构建长度为2³²的哈希环；

5.根据权利要求4所述的方法，其特征在于，在将所述虚拟节点总集群的每一个虚拟节点进行哈希运算之前，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，在所述用户终端通过所述多个簇群中任一虚拟节点获取所述热点数据组之后，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，所述中心云管理平台包括边缘云管理模块，边云协同消息队列模块，所述边缘云管理模块用于确定所述负载均衡策略，所述边云协同消息队列模块用于通过所述边云协同网关向所述边缘云容器平台下发指令。

8.根据权利要求1所述的方法，其特征在于，所述边缘云容器平台包括镜像仓库模块及容器集群管理模块，所述镜像仓库模块用于生产及存储虚拟节点总集群，所述容器集群管理模块用于管理所述虚拟节点总集群，所述边缘云容器平台通过所述代理网关接收所述中心云下发的指令。

9.根据权利要求1所述的方法，其特征在于，所述边缘云容器平台与中心云管理平台建立SSL双向认证及MQTT认证通道。

10.一种装置，其特征在于，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现权利要求1至9任一项所述的方法。