CN112261146B - 一种基于消息通信和文件传输的边云协同通信系统及方法 - Google Patents

Abstract

一种基于消息通信和文件传输的边云协同通信系统，包括消息通信服务模块，文件传输服务模块和应用客户端；消息通信服务模块，是在边云协同基础架构之上用于对应用客户端之间发送的消息进行转发；文件传输模块，是在边云协同基础架构之上用于对应用客户端之间发送的文件进行转发；应用客户端，在边云协同智能应用使用，实现边云协同智能应用组件间通信的接口。

Description

一种基于消息通信和文件传输的边云协同通信系统及方法

技术领域

本发明属于边云协同通信架构技术领域，具体涉及一种基于消息通信和文件传输的边云协同通信系统及方法。

背景技术

随着物联网的蓬勃发展，海量智能设备将接入互联网平台，大量的设备管理和数据处理托管到云计算中，但这种传统的方式会极大占用网络带宽，并且无法满足如此大数据处理的实时性、安全性等需求，此时边缘计算应运而生，边缘计算是指在靠近事物、数据源端的计算，属于一种分布式计算，其将云端智能下沉到智能边缘端，即应用数据处理服务的部分下放到智能边缘节点，使其能够就近处理采集到的数据，将少量数据而不是所有数据上传到云端数据中心处理。从而能够降低交互延迟、减少带宽消耗、提升响应时间和用户体验。

但边缘计算和云计算绝不是对立而是相辅相成的关系，边云协同是边缘计算与云计算相结合的产物，二者的合理结合将放大边缘计算和云计算的应用价值，边缘计算靠近数据源，能够对数据进行采集和预处理，云计算则通过长周期大数据分析优化模型下发到边缘侧，边缘计算基于新的模型优化运行，两者互补提高设备智能性。

边云协同环境下的应用都是由一种图形结构来表示，其中每个节点表示应用程序的组成部分，不同节点之间的边表示两者之间的通信关系。这样，将应用程序各个组件部署到各个节点后，应用组件间的通信是应用能否正常运行的决定性因素。

发明内容

本发明的目的在于提供一种基于消息通信和文件传输的边云协同通信系统及方法，以解决上述问题。

为实现上述目的，本发明采用以下技术方案：

一种基于消息通信和文件传输的边云协同通信系统，包括消息通信服务模块，文件传输服务模块和应用客户端；

消息通信服务模块，是在边云协同基础架构之上用于对应用客户端之间发送的消息进行转发；

文件传输模块，是在边云协同基础架构之上用于对应用客户端之间发送的文件进行转发；

应用客户端，在边云协同智能应用使用，实现边云协同智能应用组件间通信的接口。

进一步的，使用中心云消息订阅发布服务和边缘云消息订阅发布服务在中心云和边缘云之间建立桥接，使用桥接的方式，构建中心云和边缘云；若干节点共享同一个消息订阅发布服务，实现应用客户端在中心云/边缘云内或者中心云和边缘云之间的消息通信。

进一步的，消息通信采用MQTT协议进行各应用客户端之间的消息通信，在各应用客户端间进行小包通信。

进一步的，文件传输使用文件服务和文件管理服务作为中心云和边缘云的文件存储服务，利用MQTT协议和HTTP协议相结合实现中心云/边缘云内应用客户端间和跨边缘云和中心云间应用客户端的文件传输；文件存储服务提供数据传输、存储和管理，并且根据文件服务特性，使用文件存储服务进行大包消息通信。

进一步的，应用客户端，使用客户端接口，应用内通信实现从中心云到边缘云、从边缘云到中心云、以及边缘云/中心云内部之间的通信传输；

进一步的，通信传输分为消息通信和文件传输：消息通信是应用内各组件通过应用客户端，利用本地消息订阅发布服务，实现应用组件之间的消息通信；文件传输是应用内各组件通过应用客户端，利用本地消息订阅发布服务，发送请求到文件管理服务，其向文件服务获取上传/下载链接，然后文件管理服务返回链接给请求应用客户端或发往目标应用客户端让其上传/下载对应文件。

进一步的，一种基于消息通信和文件传输的边云协同通信系统的操作方法，边云协同通信架构的应用组件间客户端消息通信包括如下步骤：

步骤1，应用客户端1发布特定主题的消息给消息订阅发布服务；

步骤2，消息订阅发布服务将消息路由至订阅发布消息的应用客户端2；

步骤3，同样，应用客户端2也可发布特定主题的消息给消息订阅发布服务；

步骤4，消息订阅发布服务将消息路由至订阅发布消息的应用客户端2；

边云协同通信框架的边云间应用客户端消息通信包括如下步骤：

步骤1，应用客户端1发布特定主题的消息给边缘云消息订阅服务；

步骤2，边缘云消息订阅服务根据桥接规则转发消息到中心云消息订阅发布服务

步骤3，中心云订阅发布服务将该消息路由至订阅应用客户端1发送主题的应用客户端2。

步骤4，同样，应用客户端1可选择发布主题，发送消息至中心云消息订阅发布服务；

步骤5，中心云消息订阅发布服务根据桥接规则同步消息至边缘云消息订阅发布服务；

步骤6，边缘云消息订阅发布服务将消息路由至订阅应用客户端1发布消息的主题的应用客户端2；

文件传输包括如下步骤：

步骤1，应用客户端1选择发布主题，发送获取putURL请求消息至中心云订阅发布服务；

步骤2，中心云消息订阅发布服务将该消息路由至订阅了应用客户端1发布主题的中心云文件管理服务；

步骤3，中心云文件管理服务调用API向中心云文件服务请求putURL；

步骤4，中心云文件管理服务接收putURL信息；

步骤5，中心云文件管理服务选择发布主题，发送putURL消息至中心云消息订阅发布服务；

步骤6，中心云消息订阅发布服务将消息路由至订阅了中心云文件管理服务发布主题的应用客户端1；

步骤7，应用客户端1通过HTTP协议将文件传输至中心云文件服务；

步骤8，应用客户端1循环等待文件传输完毕；

步骤9，应用客户端1选择发布主题，发送获取getURL和接收方主题信息的请求消息至中心云消息订阅发布服务；

步骤10，中心云消息订阅发布服务将消息路由至订阅了应用客户端1发布主题的中心云文件管理服务；

步骤11，中心云文件管理服务调用API向中心云文件服务请求getURL；

步骤12，中心云文件管理服务接收getURL信息；

步骤13，中心云文件管理服务选择发布主题，发送putURL消息至中心云消息订阅发布服务；

步骤14，中心云消息订阅发布服务根据桥接规则将消息同步到边缘云消息订阅发布服务；

步骤15，边缘云消息订阅发布服务将消息路由至订阅了中心云文件管理服务发布主题的边缘云文件管理服务；

步骤16，边缘云文件管理服务向中心云文件服务请求文件；

步骤17，中心云文件服务返回所需文件至边缘云文件管理服务；

步骤18，边缘云文件管理服务上传文件至边缘云文件服务；

步骤19，边缘云文件管理服务循环等待文件传输完毕；

步骤20，边缘云文件管理服务使用API向边缘云文件服务请求getURL；

步骤21，边缘云文件管理服务接收getURL信息；

步骤22，边缘云文件管理服务选择多个发布主题，发送多条getURL消息至边缘云消息订阅发布服务；

步骤23，边缘云消息订阅发布服务路将消息路由至订阅了边缘云文件管理服务发布主题的应用客户端；

步骤24，各应用客户端向边缘云文件服务请求文件；

步骤25，边缘云文件服务向各请求方返回文件。

与现有技术相比，本发明可以达到得技术效果有：一方面，减轻边云协同环境下NAT和防火墙对协同通信的限制；另一方面，同时满足边云协同应用小数据包(如传感器数据和小图像)和大数据包(如深度学习模型和高清图像)的通信传输需求。

附图说明

图1为本发明边云协同通信架构的示意图；

图2为本发明边云协同通信架构中消息通信的结构图；

图3为本发明边云协同通信架构中文件传输边云广播的结构图；

图4为本发明边云协同通信架构中消息通信中心云和边缘云之间应用客户端消息通信的顺序图；

图5为本发明边云协同通信架构中中心云/边缘云内应用客户端消息通信的顺序图；

图6为本发明边云协同通信架构中中心云客户端给边缘云客户端文件广播的顺序图。

具体实施方式

下面将结合具体实施例及附图对本发明进行详细的说明，以下实施例有助于本领域的技术人员进行进一步理解本发明。所描述的实施例将是本发明一部分实施例，而不是全部的实施例。对本领域的普通技术人员来讲，在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明提供的一种基于消息通信和文件传输的边云协同通信框架，包括：

消息通信：所述消息通信是在边云协同基础架构之上，使用所述应用客户端，在应用内各组件之间进行消息通信。

文件传输：所述文件传输是在边云协同基础架构之上，使用所述应用客户端，结合文件服务和文件管理服务，在应用内各组件之间进行文件传输。

应用客户端，在边云协同智能应用中使用，实现边云协同智能应用组件之间的通信接口。

所述消息通信的边云协同基础架构，将边缘云订阅发布服务桥接到中心云消息订阅发布服务(例如使用EMQ X Broker服务和EMQ X Edge服务在边云之间建立桥接)，若干节点或应用客户端可共享同一个中心云/边缘云内的消息订阅发布服务。

所述文件传输的边云协同基础架构，使用中心云消息订阅发布服务和边缘云消息订阅发布服务(例如EMQ X Broker服务和EMQ X Edge服务)在边云之间建立桥接，使用文件服务(如MinIO对象存储服务)和文件管理服务作为中心云和边缘云的文件存储服务，可实现中心云/边缘云中应用各组件之间的文件传输，中心云/边缘云之间应用客户端文件传输和中心云应用客户端向边缘云应用客户端的广播。

所述应用客户端，使用如下操作原语实现边云协同应有的消息通信和文件传输：应用客户端使用初始化函数(initialize)初始化客户端，连接本地消息订阅发布服务；使用消息发布函数(publish)向目标客户端发送消息；接收方客户端使用获取消息函数(get_sub_data_payload_queue)获取接收的消息。应用客户端使用文件上传函数(putHandler)通过文件服务管理器将文件传输给文件服务；使用文件传输函数(transfer)向文件服务管理器请求下载URL并发送给目标客户端；接收方客户端使用文件消息获取函数(get_sub_put_file_dict)和文件下载函数(download_file)从文件服务下载所需的文件。可通过上述原语实现云中各组件之间、中心云和边缘云组件之间的消息通信和文件传输。

优选的，因边缘智能设备大多为物联网设备，故对于应用组件通信，选用MQTT协议用于应用组件通信

优选的，考虑到MQTT协议存储传输大小限制以及应用存在文件传输的需求，使用MQTT协议和HTTP协议在借助MinIO对象存储服务器的基础上实现应用组件间的文件传输。

优选的，根据MinIO对象存储服务器的特性，其同样可以使用文件传输的方式对大数据量消息进行传输。

本发明实施例公开了一种基于消息通信和文件传输的边云协同通信架构，应用于边云协同通信架构技术领域，便于实现在应用可以实现方便的通信，解决了边云协同应用组件间的通信问题，有利于边云协同应用的开发和使用。下面首先对本发明的基于消息通信和文件传输的边云协同通信架构进行详细说明。

本发明的消息通信和文件传输的边云协同通信架构，其整体架构参见图1，包括中心云和边缘云两大部分，(中心云只有一个，边缘云若干)，其中，中心云中包含文件服务、中心云消息订阅发布服务、文件管理服务和应用客户端。文件服务服务用于对象存储，中心云消息订阅发布服务用于MQTT消息的路由，文件管理服务用于操作文件服务，应用客户端用于订阅/发布消息，上传/下载文件；边缘云中包括文件服务、文件管理服务、应用客户端和边缘云消息订阅发布服务。边缘云消息订阅发布服务和中心云消息订阅发布服务桥接，对符合规则的主题进行消息转发和同步，其余各组件功能一致。且中心云和边缘云中均可包含若干应用客户端。

通过上述各组件的特定连接与订阅发布，可实现应用拆分后各应用组件之间的消息通信和文件传输，包括中心云内各应用客户端、边缘云内各客户端、边云间各客户端的消息通信和文件传输。

本发明的基于消息通信和文件传输的边云协同通信架构，支持多种形式的通信，下面以实施例的形式具体描述本申请的通信方案。

图2为通信架构消息通信的结构图，包括若干应用客户端，中心云消息订阅发布服务和边缘云消息订阅发布服务。通过该结构可实现边云协同、中心云/边缘云内的应用各客户端的消息通信，两种消息通信的流程如下：

图4为本发明边云协同通信架构的(同云)应用组件间客户端消息通信的顺序图，其所有应用客户端均通过特定主题结构订阅/发布主题消息，消息通信包括如下步骤：

步骤1，应用客户端1发布特定主题的消息给消息订阅发布服务(中心云订阅发布服务/边缘云订阅发布服务)；

步骤2，消息订阅发布服务将消息路由至订阅发布消息的应用客户端2；

步骤3，同样，应用客户端2也可发布特定主题的消息给消息订阅发布服务；

步骤4，消息订阅发布服务将消息路由至订阅发布消息的应用客户端2。

图5为本发明边云协同通信框架的边云间应用客户端通信流程图，其消息通信包括如下步骤：

步骤1，应用客户端1发布特定主题的消息给边缘云消息订阅服务；

步骤2，边缘云消息订阅服务根据桥接规则转发消息到中心云消息订阅发布服务

步骤3，中心云订阅发布服务将该消息路由至订阅应用客户端1发送主题的应用客户端2。

步骤4，同样，应用客户端1可选择发布主题，发送消息至中心云消息订阅发布服务；

步骤5，中心云消息订阅发布服务根据桥接规则同步消息至边缘云消息订阅发布服务；

步骤6，边缘云消息订阅发布服务将消息路由至订阅应用客户端1发布消息的主题的应用客户端2。

图3为通信架构文件传输的结构图，包括若干应用客户端，中心云消息订阅发布服务、中心云文件服务、中心云文件管理服务、边缘云消息订阅发布服务、边缘云文件服务和边缘云文件管理服务。通过该结构可实现边云协同、中心云/边缘云内应用组件客户端的文件传输。应用内文件广播流程如下：

图6为本发明边云协同通信架构中心云中应用客户端向边缘云中多个应用客户端进行文件广播的顺序图，其所有应用客户端和文件管理服务均通过特定主题结构发布/订阅主题，其文件传输包括如下步骤：

步骤1，应用客户端1选择发布主题，发送获取putURL请求消息至中心云订阅发布服务；

步骤2，中心云消息订阅发布服务将该消息路由至订阅了应用客户端1发布主题的中心云文件管理服务；

步骤3，中心云文件管理服务调用API向中心云文件服务请求putURL；

步骤4，中心云文件管理服务接收putURL信息；

步骤5，中心云文件管理服务选择发布主题，发送putURL消息至中心云消息订阅发布服务；

步骤6，中心云消息订阅发布服务将消息路由至订阅了中心云文件管理服务发布主题的应用客户端1；

步骤7，应用客户端1通过HTTP协议将文件传输至中心云文件服务；

步骤8，应用客户端1循环等待文件传输完毕；

步骤9，应用客户端1选择发布主题，发送获取getURL和接收方主题信息的请求消息至中心云消息订阅发布服务；

步骤10，中心云消息订阅发布服务将消息路由至订阅了应用客户端1发布主题的中心云文件管理服务；

步骤11，中心云文件管理服务调用API向中心云文件服务请求getURL；

步骤12，中心云文件管理服务接收getURL信息；

步骤13，中心云文件管理服务选择发布主题，发送putURL消息至中心云消息订阅发布服务；

步骤14，中心云消息订阅发布服务根据桥接规则将消息同步到边缘云消息订阅发布服务；

步骤15，边缘云消息订阅发布服务将消息路由至订阅了中心云文件管理服务发布主题的边缘云文件管理服务；

步骤16，边缘云文件管理服务向中心云文件服务请求文件；

步骤17，中心云文件服务返回所需文件至边缘云文件管理服务；

步骤18，边缘云文件管理服务上传文件至边缘云文件服务；

步骤19，边缘云文件管理服务循环等待文件传输完毕；

步骤20，边缘云文件管理服务使用API向边缘云文件服务请求getURL；

步骤21，边缘云文件管理服务接收getURL信息；

步骤22，边缘云文件管理服务选择多个发布主题，发送多条getURL消息至边缘云消息订阅发布服务；

步骤23，边缘云消息订阅发布服务路将消息路由至订阅了边缘云文件管理服务发布主题的应用客户端；

步骤24，各应用客户端向边缘云文件服务请求文件；

步骤25，边缘云文件服务向各请求方返回文件。

以上所述仅为本发明实施方式的一部分，并非以此限制本发明的保护范围，凡是利用本发明书及附图内容所做的等效结构变化或等效流程，或直接或间接应用在其他相关的系统领域，均同理包括在本发明的保护范围内。

Claims (5)

1.一种基于消息通信和文件传输的边云协同通信系统，其特征在于，包括消息通信服务模块，文件传输服务模块和应用客户端；

消息通信服务模块，是在边云协同基础架构之上用于对应用客户端之间发送的消息进行转发；

文件传输模块，是在边云协同基础架构之上用于对应用客户端之间发送的文件进行转发；

应用客户端，在边云协同智能应用使用，实现边云协同智能应用组件间通信的接口；

使用中心云消息订阅发布服务和边缘云消息订阅发布服务在中心云和边缘云之间建立桥接，使用桥接的方式，构建中心云和边缘云；若干节点共享同一个消息订阅发布服务，实现应用客户端在中心云/边缘云内或者中心云和边缘云之间的消息通信；

文件传输使用文件服务和文件管理服务作为中心云和边缘云的文件存储服务，利用MQTT协议和HTTP协议相结合实现中心云/边缘云内应用客户端间和跨边缘云和中心云间应用客户端的文件传输；文件存储服务提供数据传输、存储和管理，并且根据文件服务特性，使用文件存储服务进行大包消息通信。

2.根据权利要求1所述的一种基于消息通信和文件传输的边云协同通信系统，其特征在于，消息通信采用MQTT协议进行各应用客户端之间的消息通信，在各应用客户端间进行小包通信。

3.根据权利要求1所述的一种基于消息通信和文件传输的边云协同通信系统，其特征在于，应用客户端，使用客户端接口，应用内通信实现从中心云到边缘云、从边缘云到中心云、以及边缘云/中心云内部之间的通信传输。

4.根据权利要求3所述的一种基于消息通信和文件传输的边云协同通信系统，其特征在于，通信传输分为消息通信和文件传输：消息通信是应用内各组件通过应用客户端，利用本地消息订阅发布服务，实现应用组件之间的消息通信；文件传输是应用内各组件通过应用客户端，利用本地消息订阅发布服务，发送请求到文件管理服务，其向文件服务获取上传/下载链接，然后文件管理服务返回链接给请求应用客户端或发往目标应用客户端让其上传/下载对应文件。

5.一种基于消息通信和文件传输的边云协同通信系统的操作方法，其特征在于，基于权利要求1至4任意一项所述的一种基于消息通信和文件传输的边云协同通信系统，边云协同通信架构的应用组件间客户端消息通信包括如下步骤：

步骤1，应用客户端1发布特定主题的消息给消息订阅发布服务；

步骤2，消息订阅发布服务将消息路由至订阅发布消息的应用客户端2；

步骤3，同样，应用客户端2也可发布特定主题的消息给消息订阅发布服务；

步骤4，消息订阅发布服务将消息路由至订阅发布消息的应用客户端1；

边云协同通信框架的边云间应用客户端消息通信包括如下步骤：

步骤1，应用客户端1发布特定主题的消息给边缘云消息订阅服务；

步骤2，边缘云消息订阅服务根据桥接规则转发消息到中心云消息订阅发布服务

步骤3，中心云订阅发布服务将该消息路由至订阅应用客户端1发送主题的应用客户端2；

步骤4，同样，应用客户端1可选择发布主题，发送消息至中心云消息订阅发布服务；

步骤5，中心云消息订阅发布服务根据桥接规则同步消息至边缘云消息订阅发布服务；

步骤6，边缘云消息订阅发布服务将消息路由至订阅应用客户端1发布消息的主题的应用客户端2；

文件传输包括如下步骤：

步骤1，应用客户端1选择发布主题，发送获取putURL请求消息至中心云订阅发布服务；

步骤2，中心云消息订阅发布服务将该消息路由至订阅了应用客户端1发布主题的中心云文件管理服务；

步骤3，中心云文件管理服务调用API向中心云文件服务请求putURL；

步骤4，中心云文件管理服务接收putURL信息；

步骤5，中心云文件管理服务选择发布主题，发送putURL消息至中心云消息订阅发布服务；

步骤6，中心云消息订阅发布服务将消息路由至订阅了中心云文件管理服务发布主题的应用客户端1；

步骤7，应用客户端1通过HTTP协议将文件传输至中心云文件服务；

步骤8，应用客户端1循环等待文件传输完毕；

步骤9，应用客户端1选择发布主题，发送获取getURL和接收方主题信息的请求消息至中心云消息订阅发布服务；

步骤10，中心云消息订阅发布服务将消息路由至订阅了应用客户端1发布主题的中心云文件管理服务；

步骤11，中心云文件管理服务调用API向中心云文件服务请求getURL；

步骤12，中心云文件管理服务接收getURL信息；

步骤13，中心云文件管理服务选择发布主题，发送putURL消息至中心云消息订阅发布服务；

步骤14，中心云消息订阅发布服务根据桥接规则将消息同步到边缘云消息订阅发布服务；

步骤15，边缘云消息订阅发布服务将消息路由至订阅了中心云文件管理服务发布主题的边缘云文件管理服务；

步骤16，边缘云文件管理服务向中心云文件服务请求文件；

步骤17，中心云文件服务返回所需文件至边缘云文件管理服务；

步骤18，边缘云文件管理服务上传文件至边缘云文件服务；

步骤19，边缘云文件管理服务循环等待文件传输完毕；

步骤20，边缘云文件管理服务使用API向边缘云文件服务请求getURL；

步骤21，边缘云文件管理服务接收getURL信息；

步骤22，边缘云文件管理服务选择多个发布主题，发送多条getURL消息至边缘云消息订阅发布服务；

步骤23，边缘云消息订阅发布服务路将消息路由至订阅了边缘云文件管理服务发布主题的应用客户端；

步骤24，各应用客户端向边缘云文件服务请求文件；

步骤25，边缘云文件服务向各请求方返回文件。

Images