CN115865680A - 分布式的设备接入、控制和数据传输的方法及系统、装置 - Google Patents

Abstract

本发明公开了分布式的设备接入、控制和数据传输的方法及系统、装置，该方法包括以下步骤：对管理平台与工作节点进行分离，对分布式部署方案进行统一管理；构建核心服务+组件的技术方案框架；实现不同任务的动态发布、实时调度、负载均衡及异常切换；采用结构化代理引擎的方式对各行业内专业的AI技能进行集成，并将原始非结构化数据转为结构化数据；提供补传机制，并保障结构化异常情况下避免数据遗漏和丢失。本发明实现核心服务+组件架构，将高定制化的组件对接业务与框架分离，使接入业务与核心服务解耦，同时提供统一的、可视化的组件仓库和任务调度管理，可灵活的扩展各种任务，满足各种类型的数据对接。

Description

分布式的设备接入、控制和数据传输的方法及系统、装置

技术领域

本发明涉及边缘计算、物联网领域，具体来说，涉及分布式的设备接入、控制和数据传输的方法及系统、装置。

背景技术

随着物联网及AI技术在城市中的广泛应用，边缘端感知设备的覆盖面积、采集的数据量都呈几何级增长，越来越多的感知数据如人脸、人体、人体行为动作、物品、机动车、非机动车、位置信息、WiFi、Rfid(射频识别技术)、门禁、温湿度、电量等业务信息，被广泛的应用到了公共安全领域。但现有资源存在着设备数量大、种类多、难统一管理控制，各业务信息无法同时收集、结构化处理、清洗和自定义共享等问题。迫切需要将各感知设备和数据进行结构化处理并汇聚，实现设备和数据的集中管理。

现有技术中相似实现方案为：

1、采用接入框架+插件的方案，框架以数据交换引擎为核心、插件即数据接入、共享中间件。框架处理了并发、缓存等高速数据交换的部分技术问题，提供简单的接口与插件交互，插件将转换后的数据输送到异构系统中，实现企业异构数据之间的高速交换、共享。

2、通过数据源适配器+kettle平台和ETL工具+任务调度引擎+目标端适配器的方案，实现数据接入和共享。kettle平台和ETL工具，用以通过时间戳、标志位、日志分析进行增量判断，利用数据过滤、数据路由、数据关联插件进行数据处理。任务调度引擎，用以完成整个任务的配置执行。

3、通过定制化程序版本的方案，实现数据接入和共享。每接入、共享不同厂商的前端设备或平台时，研发一个和其协议、数据字段、字典值一一映射的程序版本。甚至在有些情况下，同一个厂商、不同型号的设备或平台，需要研发不同的程序版本。

现有方法的缺点：

方案1：

功能单一、通用性和灵活性差，无法快速适配不同数据类型的接入，无法可视化的统一管理插件(插件数量庞大)以及插件的配置参数，并对每个插件的参数进行动态配置，实时生效。

方案2：

接入方式有限，仅支持数据库、web服务、文件类的数据接入、共享，无法对人脸抓拍机、车辆抓拍机、报警主机、门禁、视频设备等感知设备进行统一、融合的连接、控制。

方案3：

开发、维护成本高、复用率低，每次接入新的数据源都会带来开发、调试和运维等多方面工作。

同时方案1、方案2及方案3共同的缺点：

排查问题成本高，缺乏有效手段及时发现系统和数据的异常问题。在进行异构设备(或系统)数据接入、共享时，出现问题不能及时的做到自证清白，尤其在内网上不可远程，相互定位问题难，推进和解决问题的速度慢。

数据统计困难、工作效率低，缺乏系统的、多维度的展示当前数据的接入、共享情况，使客户一目了然的掌握当前每个设备(包括第三方平台和系统)的数据质量和共享程度。

缺少把实时的非结构化数据转换为结构化数据并共享的流程。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出分布式的设备接入、控制和数据传输的方法及系统、装置，以克服现有相关技术所存在的上述技术问题。

为此，本发明采用的具体技术方案如下：

根据本发明的一个方面，提供了分布式的设备接入、控制和数据传输的方法，该方法包括以下步骤：

S1、对管理平台与工作节点进行分离，且将若干工作节点并行运行，同时对分布式部署方案进行统一管理；

S2、构建核心服务+组件的技术方案框架，并将核心服务作为中心；

S3、基于KeepAlived、任务调度引擎、ETCD及组件管理服务实现不同任务的动态发布、实时调度、负载均衡及异常切换；

S4、采用结构化代理引擎的方式对各行业内专业的AI技能进行集成，并将原始非结构化数据转为结构化数据，且实现将原始非结构数据与二次结构化数据进行并行传输；

S5、提供补传机制，并保障结构化异常情况下避免数据遗漏和丢失。

进一步的，所述组件包括接入组件及共享组件，且每个组件对应一个任务。

进一步的，所述管理平台与工作节点之间使用消息队列遥测传输协议进行通信，在低带宽和不稳定的网络环境下，实现可靠的数据传输；

工作节点主动向管理平台进行注册，且管理平台向工作节点提供设备控制指令及任务调度的管理下发，并根据工作节点上报的信息进行可视化处理；

工作节点根据管理平台下发的任务，完成各任务的重新分配和服务调度，并通过组件管理服务对相应任务的接入组件或共享组件进行装载、启动、关闭及卸载。

进一步的，所述接入组件根据分配的任务消息，对设备进行主动尝试连接，若在规定的连接次数和时间内连接成功，则依照设备的协议流程主动请求数据或订阅数据，并解码返回的数据，同时将符合要求的数据上传至Data-Hub的主题中；

若连接不成功，则不再与相应设备进行交互；

接入组件按照约定好的埋点格式及埋点事项，将连接过程中产生的数据上传Data-Hub，且将上传过程中产生的异常情况记录到日志文件中，同时上报给管理平台。

进一步的，所述核心服务根据预定义的规则对Data-Hub中订阅接入的数据进行清洗，并把清洗后的数据重新发布到Data-Hub的主题中；

其中，所述预定义的规则包括以下步骤：

预先在管理平台上对需要清洗数据的清洗规则链进行配置，且每条清洗规则链包含若干规则节点，同时通过选择规则节点形成一个完整的数据传输流程；

配置完成后自动以json格式的字符串将消息持久化，并通过任务调度的管理下发送至工作节点；

核心服务将各规则节点和实体业务对象封装为若干Actor，且当管理平台下发规则引擎消息时，工作节点实时解析下发的清洗规则链信息，并动态加载并启动对应的Actor；

核心服务在Data-Hub中对已接入的每条数据进行订阅，并按清洗规则链的顺序交给各Actor进行数据清洗，并将清洗后的数据回传到Data-Hub的业务主题中；

核心服务根据管理平台下发的存储平台地址，将元数据和清洗后的数据上报至存储平台，同时将工作节点清洗数据的任务情况上报至管理平台。

进一步的，所述共享组件将Data-Hub中接入或清洗后的数据，按照数据共享引擎规则，共享至不同的平台或系统，同时按照约定好的埋点格式和埋点事项，将共享时产生的数据记录到日志文件中并上报；

其中，所述数据共享引擎规则包括以下步骤：

在管理平台上配置要共享数据的共享规则链，且配置完成后自动以json格式的字符串将消息持久化，并通过任务调度的管理下发给工作节点；

核心服务对管理平台下发的数据共享规则引擎消息进行解析，且相应共享组件根据下发的任务信息，对需共享的平台进行主动尝试连接，并判断需共享的数据通道是否正常；

若在规定的连接次数和时间内连接成功，则数据传递通道正常，且进行下一步操作，若不成功，则不再进行下一步操作，并将异常日志信息上报给管理平台；

核心服务根据数据共享规则引擎消息动态加载、启动对应的Actor，并将Data-Hub上订阅的数据按共享规则链的顺序交给各Actor进行清洗，并将清洗后的数据传递给共享组件；

共享组件将清洗后的数据封装并上报至协议平台，并将工作节点享数据的任务情况上报至管理平台。

进一步的，所述基于KeepAlived、任务调度引擎、ETCD及组件管理服务实现不同任务的动态发布、实时调度、负载均衡及异常切换包括以下步骤：

基于KeepAlived对集群虚拟IP及本地服务器IP进行映射，且探测本地任务调度引擎服务，同时基于ETCD，提供集群中各节点之间的相互注册、相互发现、健康监测及任务共享；

利用任务调度引擎服务对管理平台下发的消息任务进行解析、任务拆分及整理，并重新向ETCD发布消息任务，同时将获取的本节点的各微服务健康状况汇报至管理平台；

组件管理服务订阅ETCD服务上的任务消息，并检测是否需要从远程组件仓库中拉取及装载组件；

若不需要，则直接从本地启动相应的组件，且各组件根据下发的配置消息自动的进行设备控制及数据处理；

实时查看各组件接入或共享的数据内容及各组件的运行情况，快速判断组件是否满足生产环境要求，并对组件进行可视化验证调试。

进一步的，所述采用结构化代理引擎的方式对各行业内专业的AI技能进行集成，并将原始非结构化数据转为结构化数据，且实现将原始非结构数据与二次结构化数据进行并行传输；提供补传机制，并保障结构化异常情况下避免数据遗漏和丢失包括以下步骤：

结构化代理引擎将分配的任务消息与AI算法厂商的结构化引擎进行自动适配，并通过算法厂商的结构化引擎接口下发并分析从Data-Hub获取的原始非结构化数据；

若分析时识别成功，则根据预定义的规则解析结果集，且满足业务需要的，发布到Data-Hub中的结构化数据主题中；

若识别不成功，则将此条原始非结构化数据丢弃并记录日志，且若下发异常或识别失败，则将此条原始非结构化数据缓存到Data-Hub中的二次识别补传主题中，并重新订阅，同时在预定义的时间内重新下发识别任务，直至在规定的时间或次数内识别成功。

根据本发明的另一方面，提供了分布式的设备接入、控制和数据传输的系统，该系统包括节点部署模块、框架构建模块、任务处理模块及数据结构转化模块；

其中，所述节点部署模块，用于对管理平台与工作节点进行分离，且将若干工作节点并行运行，同时对分布式部署方案进行统一管理；

所述框架构建模块，用于构建核心服务+组件的技术方案框架，并将核心服务作为中心；

所述任务处理模块，用于基于KeepAlived、任务调度引擎、ETCD及组件管理服务实现不同任务的动态发布、实时调度、负载均衡及异常切换；

所述数据结构转化模块，用于采用结构化代理引擎的方式对各行业内专业的AI技能进行集成，并将原始非结构化数据转为结构化数据，且实现将原始非结构数据与二次结构化数据进行并行传输；提供补传机制，并保障结构化异常情况下避免数据遗漏和丢失。

根据本发明的又一方面，提供了分布式的设备接入、控制和数据传输的装置，用于实现分布式的设备接入、控制和数据传输的方法。

本发明的有益效果为：

(1)本发明实现核心服务+组件架构，将高定制化的组件对接业务与框架分离，使接入业务与核心服务解耦，同时提供统一的、可视化的组件仓库和任务调度管理，可灵活的扩展各种任务，满足各种类型的数据对接。解决了视频类、图片类、文本类的设备数据不能统一融合收集的问题，以及支持同时使用Modbus、MQTT、BLE、OPC、Onvif、Rtsp、GB28181、GB1399/1400、JT 808等标准协议或其他自定义协议的海量设备的连接、控制问题。

(2)通过组件调试功能，组件开发人员只需关注其对接业务的定制化开发，并能在本地与平台进行数据交互验证，待验证通过后，即可在生产环境中无缝集成。尤其在内网或异地环境下，大大的提高组件开发效率。

(3)通过将接入详情和共享详情上报，以及异常日志埋点、分析上报，实现可视化的数据运维，从设备数据追踪、数据对账、实时告警、任务链路监控、结构化等多个维度统计数据信息，使用户一目了然的掌握当前异构系统的设备数据接入质量，以及数据共享程度，提高用户的工作效率。解决了用户普遍头疼的边缘感知设备异常或数据收集不准确、共享不一致的问题，以及不能及时发现的问题。

(4)通过结构化代理引擎，快速适配各算法厂家的结构化引擎，将接入的非结构化数据转为用户需要的结构化数据，并可以一同和原始的非结构化数据，按需共享给第三方。解决了用户对视频、图片数据自动适配算法模型及数据重试、补传的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的分布式的设备接入、控制和数据传输的方法的流程图；

图2是根据本发明实施例中管理平台与工作节点的关系示意图；

图3是根据本发明实施例中管理平台与工作节点的原理框图；

图4是根据本发明实施例中实现不同任务的动态发布、实时调度、负载均衡及异常切换时的原理图；

图5是根据本发明实施例中任务下发时序图；

图6是根据本发明实施例中数据预览时序图；

图7是根据本发明实施例中非结构化数据转为结构化数据时的流程图。

具体实施方式

为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

根据本发明的实施例，提供了分布式的设备接入、控制和数据传输的方法及系统、装置。管理平台提供可视化的设备管理、规则引擎、实时告警、链路追踪、多维度数据统计以及组件仓库管理等。工作节点根据管理平台下发的配置任务，自动的进行任务负载均衡，拉取、启动相应的组件，实现接入设备的数据自动抽取、校验、转换和数据共享、异常告警，以及异常切换等，同时也支持在工作节点上使用App或Web页面可视化的对节点信息配置，以及节点上的组件信息配置和上传。

现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明的一个实施例，提供了分布式的设备接入、控制和数据传输的方法，该方法包括以下步骤：

如图2所示，S1、对管理平台与工作节点进行分离，且将若干工作节点并行运行，同时对分布式部署方案进行统一管理；即支持单节点模式部署，也支持集群模式部署；

如图3所示，S2、构建核心服务+组件的技术方案框架，并将核心服务作为中心，包括DATA-HUB(流式数据的处理平台)、任务调度引擎、数据预览、数据清洗、日志分析、结构化代理引擎；

在一个实施例中，所述组件包括接入组件及共享组件，且每个组件对应一个任务，每个任务关联着目标数据源和一系列的过滤、校验、转换，是一个完整的运行单元。

在一个实施例中，所述管理平台与工作节点之间使用消息队列遥测传输(MQTT)协议进行通信，在低带宽和不稳定的网络环境下，实现可靠的数据传输，管理平台对应MQTT服务端，工作节点为MQTT客户端；

工作节点主动向管理平台进行注册，上报当前工作节点上的设备接入、数据共享详情，异常日志信息，请求预览设备的数据流等；且管理平台向工作节点提供设备控制指令及任务调度的管理下发，并根据工作节点上报的信息进行可视化处理，包括数据报表统计、告警展示、链路追踪、实时预览等；

工作节点根据管理平台下发的任务消息，完成各任务的重新分配和服务调度，并通过组件管理服务(ComponentManager)对相应任务的接入组件或共享组件进行装载、启动、关闭及卸载。

在一个实施例中，所述接入组件根据分配的任务消息，对设备(或系统)进行主动尝试连接，若在规定的连接次数和时间内连接成功，则依照设备的协议流程主动请求数据或订阅数据，并解码返回的数据，同时将符合要求的数据上传至Data-Hub的主题中；

若连接不成功，则不再与相应设备进行交互；

接入组件按照约定好的埋点格式及埋点事项，将连接过程中产生的数据上传Data-Hub，包括连接设备、请求数据、订阅数据、解码数据，且将上传过程中产生的异常情况记录到日志文件中，同时上报给管理平台。

在一个实施例中，所述核心服务根据预定义的规则对Data-Hub中订阅接入的数据进行清洗，并把清洗后的数据重新发布到Data-Hub的主题中；

其中，所述预定义的规则包括以下步骤：

预先在管理平台上对需要清洗数据的清洗规则链进行配置，且每条清洗规则链包含若干规则节点，每个规则节点对应相应的业务(如转换、过滤、告警、取消告警、延迟、统计、转发等)，同时通过选择规则节点形成一个完整的数据传输流程；

配置完成后自动以json格式的字符串将消息持久化，并通过任务调度的管理下发送至工作节点；

核心服务采取Actor模型设计思想，核心服务将各规则节点和实体业务对象封装为若干Actor，各Actor有专属的处理逻辑，且当管理平台下发规则引擎消息时，工作节点实时解析下发的清洗规则链信息，并动态加载并启动对应的Actor；其中，Actor模型是一个概念模型，用于处理并发计算。它定义了一系列系统组件应该如何动作和交互的通用规则。一个Actor指的是一个最基本的计算单元，它能接收一个消息并且基于其执行计算。Actor之间通过发送消息来通信，消息的传送是异步的，通过一个邮件队列(mail queue)来处理消息。每个Actor是完全独立的，可以同时执行它们的操作。

核心服务在Data-Hub中对已接入的每条数据进行订阅，并按清洗规则链的顺序交给各Actor进行数据清洗，并将清洗后的数据回传到Data-Hub的业务主题中；

核心服务根据管理平台下发的存储平台地址，将元数据和清洗后的数据上报至存储平台，同时将工作节点清洗数据的任务情况上报至管理平台。

在一个实施例中，所述共享组件将Data-Hub中接入或清洗后的数据，按照数据共享引擎规则，共享至不同的平台或系统，同时按照约定好的埋点格式和埋点事项，将共享时产生的数据记录到日志文件中并上报，包括共享时产生的异常情况、统计详情记录；

其中，所述数据共享引擎规则包括以下步骤：

在管理平台上配置要共享数据的共享规则链，选择要共享的数据类型、数据字段、满足的条件，一个规则链中可同时选择多个共享规则节点，例如Redis节点、Kafka节点、MQTT节点、RabbitMQ节点、Rest API协议平台、GB/T 28181协议平台、GB 1399/1400协议平台，JT808协议平台等，且配置完成后自动以json格式的字符串将消息持久化，并通过任务调度的管理下发给工作节点；

核心服务对管理平台下发的数据共享规则引擎消息进行解析，调度组件管理服务(ComponentManager)装载、启动相应的共享组件。且相应共享组件根据下发的任务信息，对需共享的平台进行主动尝试连接，并判断需共享的数据通道是否正常；

若在规定的连接次数和时间内连接成功，则数据传递通道正常，且进行下一步操作，若不成功，则不再进行下一步操作，并将异常日志信息上报给管理平台；

核心服务根据数据共享规则引擎消息动态加载、启动对应的Actor，并将Data-Hub上订阅的数据按共享规则链的顺序交给各Actor进行清洗，并将清洗后的数据传递给共享组件；

共享组件将清洗后的数据按照组件协议的具体要求封装并上报至协议平台，若遇到上报异常等情况，则捕获其异常信息写入日志，并尝试重新上传，在规定的尝试次数和时间内，还是无法上传，则放弃，并将工作节点享数据的任务情况上报至管理平台。

如图4-6所示，S3、基于KeepAlived(集群管理中保证集群高可用的一个服务软件)、任务调度引擎、ETCD(一个开源的、分布式的键值对数据存储系统)及组件管理服务实现不同任务的动态发布、实时调度、负载均衡及异常切换；

在一个实施例中，所述基于KeepAlived、任务调度引擎、ETCD及组件管理服务实现不同任务的动态发布、实时调度、负载均衡及异常切换包括以下步骤：

基于开源服务KeepAlived对集群虚拟IP及本地服务器IP进行映射，且探测本地任务调度引擎服务，同时基于开源服务ETCD，提供集群中各节点之间的相互注册、相互发现、健康监测及任务共享；

利用任务调度引擎服务(ClusterScheduling)对管理平台下发的消息任务进行解析，根据已有节点上的资源利用情况进行任务拆分、整理，并重新向ETCD发布消息任务，以达到各节点上的任务负载均衡，同时将获取的本节点的各微服务健康状况汇报至管理平台；

组件管理服务订阅ETCD服务上的任务消息，并检测是否需要从远程组件仓库中拉取及装载组件；

若不需要，则直接从本地启动相应的组件，且各组件根据下发的配置消息自动的进行设备控制及数据处理，包括设备连接、数据接入、数据解码、校验、数据转换、数据共享、异常日志记录，以及下发设备控制指令(如开关、时钟同步、音量大小、温度、云台方向等)；

使用者可在移动端(App)或PC端的数据预览界面实时查看各组件接入或共享的数据内容及各组件的运行情况，快速判断组件是否满足生产环境要求，并对组件进行可视化验证调试。

S4、采用结构化代理引擎的方式对各行业内专业的AI技能进行集成，并将原始非结构化数据转为结构化数据，且实现将原始非结构数据与二次结构化数据进行并行传输；不因第三方AI厂商算法异常而导致的原始数据受到污染，或结构化引擎异常而导致的数据中断情况发生；

如图7所示，S5、提供补传机制，并保障结构化异常情况下避免数据遗漏和丢失；

在一个实施例中，所述采用结构化代理引擎的方式对各行业内专业的AI技能进行集成，并将原始非结构化数据转为结构化数据，且实现将原始非结构数据与二次结构化数据进行并行传输；提供补传机制，并保障结构化异常情况下避免数据遗漏和丢失包括以下步骤：

结构化代理引擎将分配的任务消息与AI算法厂商的结构化引擎进行自动适配，并通过算法厂商的结构化引擎接口下发并分析从Data-Hub获取的原始非结构化数据；

若分析时识别成功，则根据预定义的规则解析结果集，且满足业务需要的，发布到Data-Hub中的结构化数据主题中；

若识别不成功，则将此条原始非结构化数据丢弃并记录日志，且若下发异常或识别失败，则将此条原始非结构化数据缓存到Data-Hub中的二次识别补传主题中，并重新订阅，同时在预定义的时间内重新下发识别任务，直至在规定的时间或次数内识别成功，否则丢弃。

根据本发明的另一个实施例，提供了分布式的设备接入、控制和数据传输的系统，该系统包括节点部署模块、框架构建模块、任务处理模块及数据结构转化模块；

其中，所述节点部署模块，用于对管理平台与工作节点进行分离，且将若干工作节点并行运行，同时对分布式部署方案进行统一管理；

所述框架构建模块，用于构建核心服务+组件的技术方案框架，并将核心服务作为中心；

所述任务处理模块，用于基于KeepAlived、任务调度引擎、ETCD及组件管理服务实现不同任务的动态发布、实时调度、负载均衡及异常切换；

所述数据结构转化模块，用于采用结构化代理引擎的方式对各行业内专业的AI技能进行集成，并将原始非结构化数据转为结构化数据，且实现将原始非结构数据与二次结构化数据进行并行传输；提供补传机制，并保障结构化异常情况下避免数据遗漏和丢失。

根据本发明的又一实施例，提供了分布式的设备接入、控制和数据传输的装置，实现分布式的设备接入、控制和数据传输的方法。

综上所述，本发明实现核心服务+组件架构，将高定制化的组件对接业务与框架分离，使接入业务与核心服务解耦，同时提供统一的、可视化的组件仓库和任务调度管理，可灵活的扩展各种任务，满足各种类型的数据对接。解决了视频类、图片类、文本类的设备数据不能统一融合收集的问题，以及支持同时使用Modbus、MQTT、BLE、OPC、Onvif、Rtsp、GB28181、GB1399/1400、JT 808等标准协议或其他自定义协议的海量设备的连接、控制问题。通过组件调试功能，组件开发人员只需关注其对接业务的定制化开发，并能在本地与平台进行数据交互验证，待验证通过后，即可在生产环境中无缝集成。尤其在内网或异地环境下，大大的提高组件开发效率。通过将接入详情和共享详情上报，以及异常日志埋点、分析上报，实现可视化的数据运维，从设备数据追踪、数据对账、实时告警、任务链路监控、结构化等多个维度统计数据信息，使用户一目了然的掌握当前异构系统的设备数据接入质量，以及数据共享程度，提高用户的工作效率。解决了用户普遍头疼的边缘感知设备异常或数据收集不准确、共享不一致的问题，以及不能及时发现的问题。通过结构化代理引擎，快速适配各算法厂家的结构化引擎，将接入的非结构化数据转为用户需要的结构化数据，并可以一同和原始的非结构化数据，按需共享给第三方。解决了用户对视频、图片数据自动适配算法模型及数据重试、补传的问题。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.分布式的设备接入、控制和数据传输的方法，其特征在于，该方法包括以下步骤：

S1、对管理平台与工作节点进行分离，且将若干工作节点并行运行，同时对分布式部署方案进行统一管理；

S2、构建核心服务+组件的技术方案框架，并将核心服务作为中心；

S3、基于KeepAlived、任务调度引擎、ETCD及组件管理服务实现不同任务的动态发布、实时调度、负载均衡及异常切换；

S4、采用结构化代理引擎的方式对各行业内专业的AI技能进行集成，并将原始非结构化数据转为结构化数据，且实现将原始非结构数据与二次结构化数据进行并行传输；

S5、提供补传机制，并保障结构化异常情况下避免数据遗漏和丢失。

2.根据权利要求1所述的分布式的设备接入、控制和数据传输的方法，其特征在于，所述组件包括接入组件及共享组件，且每个组件对应一个任务。

3.根据权利要求1所述的分布式的设备接入、控制和数据传输的方法，其特征在于，所述管理平台与工作节点之间使用消息队列遥测传输协议进行通信，在低带宽和不稳定的网络环境下，实现可靠的数据传输；

工作节点主动向管理平台进行注册，且管理平台向工作节点提供设备控制指令及任务调度的管理下发，并根据工作节点上报的信息进行可视化处理；

工作节点根据管理平台下发的任务，完成各任务的重新分配和服务调度，并通过组件管理服务对相应任务的接入组件或共享组件进行装载、启动、关闭及卸载。

4.根据权利要求3所述的分布式的设备接入、控制和数据传输的方法，其特征在于，所述接入组件根据分配的任务消息，对设备进行主动尝试连接，若在规定的连接次数和时间内连接成功，则依照设备的协议流程主动请求数据或订阅数据，并解码返回的数据，同时将符合要求的数据上传至Data-Hub的主题中；

若连接不成功，则不再与相应设备进行交互；

接入组件按照约定好的埋点格式及埋点事项，将连接过程中产生的数据上传Data-Hub，且将上传过程中产生的异常情况记录到日志文件中，同时上报给管理平台。

5.根据权利要求4所述的分布式的设备接入、控制和数据传输的方法，其特征在于，所述核心服务根据预定义的规则对Data-Hub中订阅接入的数据进行清洗，并把清洗后的数据重新发布到Data-Hub的主题中；

其中，所述预定义的规则包括以下步骤：

预先在管理平台上对需要清洗数据的清洗规则链进行配置，且每条清洗规则链包含若干规则节点，同时通过选择规则节点形成一个完整的数据传输流程；

配置完成后自动以json格式的字符串将消息持久化，并通过任务调度的管理下发送至工作节点；

核心服务将各规则节点和实体业务对象封装为若干Actor，且当管理平台下发规则引擎消息时，工作节点实时解析下发的清洗规则链信息，并动态加载并启动对应的Actor；

核心服务在Data-Hub中对已接入的每条数据进行订阅，并按清洗规则链的顺序交给各Actor进行数据清洗，并将清洗后的数据回传到Data-Hub的业务主题中；

核心服务根据管理平台下发的存储平台地址，将元数据和清洗后的数据上报至存储平台，同时将工作节点清洗数据的任务情况上报至管理平台。

6.根据权利要求5所述的分布式的设备接入、控制和数据传输的方法，其特征在于，所述共享组件将Data-Hub中接入或清洗后的数据，按照数据共享引擎规则，共享至不同的平台或系统，同时按照约定好的埋点格式和埋点事项，将共享时产生的数据记录到日志文件中并上报；

其中，所述数据共享引擎规则包括以下步骤：

在管理平台上配置要共享数据的共享规则链，且配置完成后自动以json格式的字符串将消息持久化，并通过任务调度的管理下发给工作节点；

核心服务对管理平台下发的数据共享规则引擎消息进行解析，且相应共享组件根据下发的任务信息，对需共享的平台进行主动尝试连接，并判断需共享的数据通道是否正常；

若在规定的连接次数和时间内连接成功，则数据传递通道正常，且进行下一步操作，若不成功，则不再进行下一步操作，并将异常日志信息上报给管理平台；

核心服务根据数据共享规则引擎消息动态加载、启动对应的Actor，并将Data-Hub上订阅的数据按共享规则链的顺序交给各Actor进行清洗，并将清洗后的数据传递给共享组件；

共享组件将清洗后的数据封装并上报至协议平台，并将工作节点享数据的任务情况上报至管理平台。

7.根据权利要求6所述的分布式的设备接入、控制和数据传输的方法，其特征在于，所述基于KeepAlived、任务调度引擎、ETCD及组件管理服务实现不同任务的动态发布、实时调度、负载均衡及异常切换包括以下步骤：

基于KeepAlived对集群虚拟IP及本地服务器IP进行映射，且探测本地任务调度引擎服务，同时基于ETCD，提供集群中各节点之间的相互注册、相互发现、健康监测及任务共享；

利用任务调度引擎服务对管理平台下发的消息任务进行解析、任务拆分及整理，并重新向ETCD发布消息任务，同时将获取的本节点的各微服务健康状况汇报至管理平台；

组件管理服务订阅ETCD服务上的任务消息，并检测是否需要从远程组件仓库中拉取及装载组件；

若不需要，则直接从本地启动相应的组件，且各组件根据下发的配置消息自动的进行设备控制及数据处理；

实时查看各组件接入或共享的数据内容及各组件的运行情况，快速判断组件是否满足生产环境要求，并对组件进行可视化验证调试。

8.根据权利要求7所述的分布式的设备接入、控制和数据传输的方法，其特征在于，所述采用结构化代理引擎的方式对各行业内专业的AI技能进行集成，并将原始非结构化数据转为结构化数据，且实现将原始非结构数据与二次结构化数据进行并行传输；提供补传机制，并保障结构化异常情况下避免数据遗漏和丢失包括以下步骤：

结构化代理引擎将分配的任务消息与AI算法厂商的结构化引擎进行自动适配，并通过算法厂商的结构化引擎接口下发并分析从Data-Hub获取的原始非结构化数据；

若分析时识别成功，则根据预定义的规则解析结果集，且满足业务需要的，发布到Data-Hub中的结构化数据主题中；

若识别不成功，则将此条原始非结构化数据丢弃并记录日志，且若下发异常或识别失败，则将此条原始非结构化数据缓存到Data-Hub中的二次识别补传主题中，并重新订阅，同时在预定义的时间内重新下发识别任务，直至在规定的时间或次数内识别成功。

9.分布式的设备接入、控制和数据传输的系统，其特征在于，用于实现权利要求1-8中任一项所述的分布式的设备接入、控制和数据传输的方法，该系统包括节点部署模块、框架构建模块、任务处理模块及数据结构转化模块；

其中，所述节点部署模块，用于对管理平台与工作节点进行分离，且将若干工作节点并行运行，同时对分布式部署方案进行统一管理；

所述框架构建模块，用于构建核心服务+组件的技术方案框架，并将核心服务作为中心；

所述任务处理模块，用于基于KeepAlived、任务调度引擎、ETCD及组件管理服务实现不同任务的动态发布、实时调度、负载均衡及异常切换；

所述数据结构转化模块，用于采用结构化代理引擎的方式对各行业内专业的AI技能进行集成，并将原始非结构化数据转为结构化数据，且实现将原始非结构数据与二次结构化数据进行并行传输；提供补传机制，并保障结构化异常情况下避免数据遗漏和丢失。

10.分布式的设备接入、控制和数据传输的装置，其特征在于，用于实现权利要求1-8中任一项所述的分布式的设备接入、控制和数据传输的方法。

Images