CN115827192A - 一种分布式协同实时调度方法 - Google Patents

Abstract

本发明涉及边缘计算技术领域，其目的在于提供了一种分布式协同实时调度方法，包括综合数据业务平台、云节点集群和边缘节点集群，云节点集群包括若干个云节点，每个云节点纳管多个边缘节点，边缘节点集群包括若干个边缘节点和挂载在边缘节点上的端侧设备，边缘节点通过加密证书注册到云节点，边缘节点内运行有若干个容器，每一个容器中均包含有一个应用程序，边缘节点中的容器之间通过idcus‑bus组件实现数据互访和转发。本发明利用i dcus‑bus组件实现在各边缘节点间的数据互访，即使在边缘节点与云节点断开连接后，边缘节点之间仍然可以进行数据互访、协同与逻辑调度，有效减少了数据通信传输链路，减轻了云平台数据处理负荷，提高了分布式计算协同效率。

Description

一种分布式协同实时调度方法

技术领域

本发明属于边缘计算技术领域，适用于边缘计算中各边缘节点之间的数据协同与应用逻辑调度，具体涉及一种分布式协同实时调度方法。

背景技术

近年来，随着5G、人工智能和物联网的发展，数据呈现爆炸式增长的态势，对算力、时延提出更高要求，能够在靠近数据源头位置提供算力服务的边缘计算快速兴起。现有的边缘计算数据业务传输方案一般是通过中心云集中对边缘计算设备采集数据的收集、处理及存储，中心云在接收到用户操作指令或采集的数据触发预设逻辑条件后下发命令、或通过改变中心云集中控制变量从中心云传输至目的边缘节点实现对挂载在边缘的端侧设备的遥控、遥调、遥测、遥信。

但由于边缘节点与中心云之间的物理空间、网络空间的长距离导致出现了大量的通信成本、计算延迟和能量消耗，并且受到资源条件的限制，传统云计算服务不可避免受到高延迟和网络不稳定带来的影响，往往在两个较近的边缘计算节点不能进行实时数据处理转发仍需要通过中心云接收数据处理后再转发到端侧设备进行控制及逻辑调度，全过程不能满足实时计算、边缘自治场景，且业务逻辑单一，不适用于复杂的业务场景。

发明内容

本发明的目的在于提供一种分布式协同实时调度方法，以解决上述背景技术中提出的问题。

为了实现上述目的，本发明采用的技术方案是：

一种分布式协同实时调度方法，包括综合数据业务平台、云节点集群和边缘节点集群，边缘节点集群包括若干个边缘节点和挂载在边缘节点的端侧设备，所述云节点集群包括若干个云节点，云节点包括公有云、私有云和混合云，每个云节点纳管多个边缘节点，对各个边缘节点进行统一管理和协同调度，边缘节点通过加密证书注册到云节点，边缘节点内运行有若干个容器，每一个容器中均包含有一个完整且轻量级的应用程序，边缘节点中的容器之间通过idcus-bus组件(分布式协同调度组件)的server服务共享数据信息，实现数据互访和转发，每一个容器应用映射到idcus-bus组件的对应服务端口，每一个边缘节点或云节点对应的互通表是通过网络请求server服务固定地址获得，互通节点表由云节点纳管的各个区域的边缘节点表组成；

所述综合数据业务平台用于边缘节点对端侧设备的数据采集与控制、业务数据集中监测、边缘节点的生命周期管理、应用逻辑的集中调度配置；

所述idcus-bus组件是跨平台统一封包容器应用程序，适配于ARM32、ARM64、X86、RSIC-V等硬件架构平台，在云节点和边缘节点上提供等同的边缘分布式协同调度服务，云节点的server服务配置数据转发和触发其他云节点下边缘计算设备的逻辑，用于多个云节点之间的网络数据互通，实现跨云边数据转发；边缘节点的server服务配置数据转发和触发其他边缘节点和云节点，用于多个边缘节点之间的网络数据互通，实现边边数据转发；

所述边缘分布式协同调度服务用于数据的分发、收集、处理和逻辑控制协同，并将数据转发到对应的服务端口。

所述边缘节点和云节点同时开启监听服务，当边缘计算节点请求对应的边缘节点或云节点时，对应节点的idcus-bus组件同时监听全量监测数据并根据对应节点的返回数据进行判断或启动对应的服务或逻辑控制。

所述idcus-bus组件采用双向加密实现综合数据业务平台和端侧设备之间数据的加密存储和信息配置。

所述逻辑控制协同是指当边缘节点逻辑控制触发数据请求后，连接至对应边缘节点或云节点的idcus-bus组件的server服务，server服务接收请求后，根据协同请求数据鉴权后执行预设的动作，并可同时触发请求综合数据业务平台数据api，将触发逻辑和请求以事件的形式保存本地或汇聚在综合数据业务平台。

所述idcus-bus组件控制逻辑应用的方法为：边缘节点通过采集有线或无线连接的端侧设备的状态或经采集处理后的数据信息、AI识别数据信息，构建全量监测数据，通过综合数据业务平台预设的对应边缘节点的逻辑触发条件执行对应的动作，同时通过预设的触发通信方式向对应云节点或边缘节点或端侧设备发送对应的触发执行数据。

所述云节点idcus-bus组件的启动流程包括如下步骤：

1)综合数据业务平台纳管云节点集群；

2)综合数据业务平台选定云节点，边缘节点通过加密证书注册到云节点；

3)综合数据业务平台批量选择边缘节点将idcus-bus组件部署到边缘节点；

4)通过综合数据业务平台Web界面配置端侧设备的传输协议；

5)综合数据业务平台配置边缘节点逻辑信息，并进行数据加密；

6)端侧设备实时上传监测数据，实时采集并监测全量数据。

所述边缘节点idcus-bus组件的启动流程包括如下步骤；

1)初始化设备，读取并加载边缘节点本地配置；

2)请求综合数据业务平台上边缘节点的加密配置信息，读取加密逻辑配置信息并解密，获取设备配置信息，加载到边缘节点运行空间；

3)实时采集并监测挂载在边缘节点的端侧设备的全量数据；

4)启动并开放远程访问服务接口，实现历史记录的远程查看提取；

5)启动开放边缘计算网关，供外部边缘节点穿透访问。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1)本发明通过在大规模边缘计算节点及复杂业务场景下实现边缘节点之间的协同与实时调度，并提供了大规模边缘计算节点纳管平台，基于综合数据业务平台Web界面实现对调度节点拓扑图的可视化、节点资源可视化、逻辑可配置，利用边缘应用与业务配合，有效实现了统一纳管平台下边缘节点与边缘节点之间的任务协同调度、边缘节点与云节点之间的任务协同、边缘云与边缘云之间的任务调度与协同；

2)本发明通过将应用程序迁移至边缘节点，利用idcus-bus组件实现在各边缘节点间进行数据互访，即使在边缘节点与云节点断开连接后，边缘节点之间仍然可以进行数据互访、协同与逻辑调度，并且利用边缘节点之间的协同，能够减少数据通信传输链路，减轻云平台数据处理负荷，提升数据可靠性，提高分布式计算协同效率，使得边缘计算能够极大减少在云计算模式下所带来的影响，有效实现了分布式边缘计算节点的业务协同与调度。

附图说明

图1是本发明实施例的框架示意图。

图2为本发明实施例的协同调度原理示意图。

图3为本发明实施例云节点idcus-bus组件的启动流程原理框图。

图4为本发明实施例边缘节点idcus-bus组件的启动流程原理框图。

图5为本发明实施例边缘节点idcus-bus组件的启动流程图。

图6为本发明实施例的原理框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1-2所示，本发明所述的一种分布式协同实时调度方法，包括综合数据业务平台、云节点集群和边缘节点集群，边缘节点集群包括若干个边缘节点和挂载在边缘节点的端侧设备，所述云节点集群包括若干个云节点，云节点包括公有云、私有云和混合云，每个云节点纳管多个边缘节点，对各个边缘节点进行统一管理和协同调度，边缘节点通过加密证书注册到云节点，边缘节点内运行有若干个容器，每一个容器中均包含有一个完整且轻量级的应用程序，在边缘节点上部署着不同的应用，边缘节点中的容器之间通过idcus-bus组件的server服务共享数据信息，实现数据互访和转发，每一个容器应用映射到idcus-bus组件的对应服务端口；

所述idcus-bus组件是跨平台统一封包容器应用程序，适配于ARM32、ARM64、X86、RSIC-V等多种硬件架构平台，实现边缘节点或云节点的全量数据监控与数据转发，实现对cloud云节点下边缘计算设备的数据链路，并在云节点和边缘节点上提供等同的边缘分布式协同调度服务，云节点的server配置数据转发并触发其他云节点集群的边缘计算设备的逻辑，本身不配置触发逻辑控制，用于多个云节点之间的网络数据互通，实现跨云边数据转发；边缘节点的server服务配置数据转发和触发其他边缘节点和云节点，用于多个边缘节点之间的网络数据互通，实现边边数据转发；

所述边缘分布式协同调度服务是集合server与client服务，基于综合数据业务平台配置业务逻辑，可实现数据的分发、收集、处理和逻辑控制协同，并将数据转发到对应的服务端口。

所述逻辑控制协同是指当节点逻辑控制触发数据请求后，连接至对应边缘节点或云节点的idcus-bus组件的server服务，server服务接收请求后，根据协同请求数据鉴权后返回预设的请求结果，可同时触发逻辑请求综合数据业务平台数据api，将触发逻辑和请求以事件的形式保存本地或汇聚在综合数据业务平台。

所述idcus-bus组件通过综合数据业务平台批量下发到边缘节点，由综合数据业务平台web界面配置边缘节点传输协议，通过平台加密后存储；边缘节点启动idcus-bus组件时，自动请求加密协议经解密后获取配置信息。

如图3所示，所述云节点idcus-bus组件的启动流程包括如下步骤：

1)综合数据业务平台纳管云节点集群；

2)综合数据业务平台选定云节点，边缘节点通过加密证书注册到云节点；

3)综合数据业务平台批量选择边缘节点将idcus-bus组件部署到边缘节点；

4)再通过Web界面配置端侧设备的传输协议；

5)综合数据业务平台配置边缘节点逻辑信息，并进行数据加密；

6)端侧设备实时上传监测数据，实时采集并监测全量数据。

如图4-5所示，所述边缘节点idcus-bus组件的启动流程包括如下步骤；

1)综合数据业务平台批量选择边缘节点，将轻量级应用下发到边缘节点；

2)云节点将配置数据加密，并与设备序列号进行绑定；

3)初始化设备，读取并加载节点本地配置，配置设备参数(参数包含：网络信息，云节点网络地址ip，证书密钥，主机名)；

4)请求云节点加密配置信息->后台服务端鉴权->解密返回配置信息数据->边缘节点鉴权->初始化设备配置信息(配置信息、组网服务地址、数据监控地址等)；

5)监测全量信息、读取serial串口设备数据、di数字量输入状态、do数字量输出状态、记录事件、告警、数据业务逻辑控制调度日志；

6)实时上传监测数据、event设定的事件、alarm触发的设定告警、logic设定的逻辑控制等，同时存储记录到本地；

7)启动并开放远程访问服务接口，可以远程查看提取历史记录，以提高运维效率；

8)启动开放边缘计算网关，供外部其他边缘节点或云节点穿透访问，外部云节点纳管边缘节点访问节点顺序为：cloud->port->edge(云节点->服务端口->边缘节点)，同一云节点纳管边缘节点访问顺序为：edge->port->edge(边缘节点->服务端口->边缘节点)。

如图6所示，所述综合数据业务平台是提供管理边缘节点所有能力的控制台，用于边缘节点对端侧设备的数据采集与控制、业务数据集中监测、边缘节点的生命周期管理、应用逻辑的集中调度配置；综合数据业务平台通过切换云节点证书池管理云节点集群，用于云节点集群和边缘节点集群的管理；主要包括边缘节点管理子系统、端侧设备管理子系统、应用生命周期管理子系统、日志管理子系统等，同时具有对边缘节点进行创建、部署、监控、销毁等管理功能，具体包括如下内容：

1)实时监控：实时显示所管理节点的资源信息、各节点间的拓扑关系、告警信息等。

2)分析决策：将边缘侧数据采集分析对决策逻辑进行智能调度，实时动态感知风险。

3)应用管理：应用镜像构建之后可以推送至仓库储存和管理，运行时环境在有应用运行需求时，从仓库拉取特定的应用镜像来运行。

4)版本管理：统一管理边缘节点容器应用程序，动态配置资源池，方便端侧设备应用程序升级。

如图6所示，所述idcus-bus组件控制逻辑应用的方法为：

边缘节点通过采集有线或无线连接的端侧设备的状态或经采集处理后的数据信息、AI识别数据信息，构建全量监测数据，通过综合数据业务平台预设的对应边缘节点的逻辑触发条件执行对应的动作，同时通过预设的触发通信方式向对应云节点或边缘节点或端侧设备发送对应的触发执行数据。

其中，AI识别数据信息的流程为：启动摄像头，读取设定地址的RTSP/RTMP视频流，加载预设识别模型，实时检测并识别视频信息并叠加时间和识别信息后截图保存至本地，并上传识别数据至预设定的URL，进行RTMP推流。

所述全量监测数据datain(全量数据)由label标签、value采集值组成；

所述触发条件：预设label标签对应的value条件值与匹配的全量监测数据label标签对应的采集值的逻辑条件判断，预设判断条件：“＝＝”相等，“>”大于，“<”小于三种方式，如果采集值满足预设条件值的逻辑条件即触发；

所述触发通信方式：serial、tcp、udp、http、websocket、https，其中serial为与端侧设备的串口通信，其余tcp、udp、http、websocket、https通信方式为与云节点、边缘节点、网络设备的网络通信方式；

所述触发信号：来自边缘节点采集端侧设备数据(di数字量输入信号、传感器数据(模拟量与数字量)、serial串口设备数据、ai视频流识别数据)，以及采集的全量数据的指定数据的特定运算值；

触发目标：端侧设备、同子网边缘节点、同一云节点下边缘节点跟边缘节点，云节点、跨云边节点；

所述触发动作包括：直接控制、辅助逻辑和复杂逻辑；

1.直接控制：do数字量信号输出、serial串口设备下发预设定数据命令、预设定网络设备、边缘节点子服务或指定的应用组件；

2.辅助逻辑：改变全量监测数据，触发新逻辑与业务调度；

3.复杂逻辑：

a.多个条件：多个全局监测变量的或、与、取反等逻辑组合条件满足后的逻辑触发与业务调度；

b.二次逻辑：根据边边协同、边云、云边协同数据通信交互响应命令执行对应的逻辑动作(改变全局逻辑监测变量，由逻辑控制触发直接控制或辅助逻辑；执行对应的独立子系统逻辑动作)，如存储日志、开启调度子服务(调度云节点为指定节点部署pod、调度启动独立子系统服务)等。

Claims (7)

1.一种分布式协同实时调度方法，其特征在于，包括综合数据业务平台、云节点集群和边缘节点集群，边缘节点集群包括若干个边缘节点和挂载在边缘节点的端侧设备，所述云节点集群包括若干个云节点，云节点包括公有云、私有云和混合云，每个云节点纳管多个边缘节点，对各个边缘节点进行统一管理和协同调度，边缘节点通过加密证书注册到云节点，边缘节点内运行有若干个容器，每一个容器中均包含有一个完整且轻量级的应用程序，边缘节点中的容器之间通过idcus-bus组件的server服务共享数据信息，实现数据互访和转发，每一个容器应用映射到idcus-bus组件的对应服务端口，每一个边缘节点或云节点对应的互通表是通过网络请求server服务固定地址获得，互通节点表由云节点纳管的各个区域的边缘节点表组成；

所述综合数据业务平台用于边缘节点对端侧设备的数据采集与控制、业务数据集中监测、边缘节点的生命周期管理、应用逻辑的集中调度配置；

所述idcus-bus组件是跨平台统一封包容器应用程序，在云节点和边缘节点上提供等同的边缘分布式协同调度服务，云节点的server服务配置数据转发和触发其他云节点下边缘计算设备的逻辑，用于多个云节点之间的网络数据互通，实现跨云边数据转发；边缘节点的server服务配置数据转发和触发其他边缘节点和云节点，用于多个边缘节点之间的网络数据互通，实现边边数据转发；

所述边缘分布式协同调度服务用于数据的分发、收集、处理和逻辑控制协同，并将数据转发到对应节点的服务端口。

2.根据权利要求1所述的一种分布式协同实时调度方法，其特征在于：所述边缘节点和云节点同时开启监听服务，当边缘计算节点请求对应的边缘节点或云节点时，对应节点的idcus-bus组件同时监听全量监测数据并根据对应节点的返回数据进行判断或启动对应的服务或逻辑控制。

3.根据权利要求1所述的一种分布式协同实时调度方法，其特征在于：所述idcus-bus组件采用双向加密实现综合数据业务平台和边缘节点之间数据的加密存储和信息配置。

4.根据权利要求1所述的一种分布式协同实时调度方法，其特征在于：所述逻辑控制协同是指当边缘节点逻辑控制触发数据请求后，访问对应边缘节点或云节点的idcus-bus组件的server服务，server服务接收请求后根据协同请求数据鉴权后执行预设的动作，可同时触发请求综合数据业务平台数据api，将触发逻辑和请求以事件的形式保存在本地或汇聚在综合数据业务平台。

5.根据权利要求1所述的一种分布式协同实时调度方法，其特征在于：所述idcus-bus组件控制逻辑应用的方法为：边缘节点通过采集有线或无线连接的端侧设备的状态或经采集处理后的数据信息、AI识别数据信息，构建全量监测数据，通过综合数据业务平台预设的对应边缘节点的逻辑触发条件执行对应的动作，同时通过预设的触发通信方式向对应云节点或边缘节点或端侧设备发送对应的触发执行数据。

6.根据权利要求1所述的一种分布式协同实时调度方法，其特征在于：所述云节点idcus-bus组件的启动流程包括如下步骤：

1)综合数据业务平台纳管云节点集群；

2)综合数据业务平台选定云节点，边缘节点通过加密证书注册到云节点；

3)综合数据业务平台批量选择边缘节点将idcus-bus组件部署到边缘节点；

4)通过综合数据业务平台Web界面配置端侧设备的传输协议；

5)综合数据业务平台配置边缘节点逻辑信息，并进行数据加密；

6)端侧设备实时上传监测数据，实时采集并监测全量数据。

7.根据权利要求1所述的一种分布式协同实时调度方法，其特征在于：所述边缘节点idcus-bus组件的启动流程包括如下步骤；

1)初始化设备，读取并加载边缘节点本地配置；

2)请求综合数据业务平台上边缘节点的加密配置信息，读取加密逻辑配置信息并解密，获取设备配置信息，加载到运行空间；

3)实时采集并监测挂载在边缘节点的端侧设备的全量数据；

4)启动并开放远程访问服务接口，实现历史记录的远程查看提取；

5)启动开放边缘计算网关，供外部边缘节点穿透访问。

Images