CN116260698A

CN116260698A - 一种工业互联网云边端数据融合系统及方法

Info

Publication number: CN116260698A
Application number: CN202310343730.0A
Authority: CN
Inventors: 于秀明; 王程安; 杜玉琳; 贾超; 邱硕涵; 苍天竹
Original assignee: China Electronics Standardization Institute
Current assignee: China Electronics Standardization Institute
Priority date: 2023-04-03
Filing date: 2023-04-03
Publication date: 2023-06-13

Abstract

本发明公开了一种工业互联网云边端数据融合系统及方法，应用于数据处理技术领域。系统包括依次连接的数据接入模块、协同传算模块、分类分级模块、节点管理模块；数据接入模块实现工业数据的接入，协同传算模块对云边交互的工业数据进行处理分析，分类分级模块基于数据应用领域、数据敏感程度、数据影响范围对数据进行分类分级，节点管理模块用于数据管理，提供统一节点管理接口。本发明通过分布式流式计算引擎、时序数据库、轻量化消息中间件的融合创新，满足跨边云工业应用对数据双向传输的高并发、低延时、高计算性能要求。

Description

一种工业互联网云边端数据融合系统及方法

技术领域

本发明涉及数据处理技术领域，更具体的说是涉及一种工业互联网云边端数据融合系统及方法。

背景技术

随着物联网络设备的普及，在工业生产的过程中，设备产生的数据信息量日益增多，设备数据在实际场景中具有数据规模大、数据类型多样、价值密度低和数据流转快速等特征，因此对数据实时处理、数据运算和快速响应等要求随之提升。工业数据的采集和传输的性能对数据的采集、分析和应用能力至关重要。而传统的数据传输技术、数据库技术在高并发、高实时、高吞吐的跨边云数据传算应用场景下效能不佳，影响工业生产。因此，如何提供一种高并发、低延时、高计算性能的工业互联网云边端数据融合系统及方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种工业互联网云边端数据融合系统及方法，包括分布式数据接入、数据实时协同传算、数据分类分级、数据节点管理功能，支持多类型工业数据的边云交互，具备边云数据的分级分类存储、计算、处理和分析能力，实现边缘侧数据实时处理与云端大数据分析的协同，并为模型协同和服务协同提供共享数据。

为了实现上述目的，本发明提供如下技术方案：

一种工业互联网云边端数据融合系统，包括包括依次连接的数据接入模块、协同传算模块、分类分级模块、节点管理模块；

数据接入模块实现工业数据的接入，协同传算模块对云边交互的工业数据进行处理分析，分类分级模块基于数据应用领域、数据敏感程度、数据影响范围对数据进行分类分级，节点管理模块用于数据管理，提供统一节点管理接口。

可选的，数据接入模块包括实时接入单元、批量调度单元、非结构化传输单元、大数据量传输单元、报文采集单元，实时接入单元用于数据库的动态同步、日志实时采集，批量调度单元用于批量数据离线调度，非结构化传输单元对非结构化数据进行批量采集，大数据量传输单元对大并发量、低延时、大数据量的工业数据进行传输，报文采集单元对小数据量、低频度的实时数据进行报文采集。

可选的，数据接入模块还包括预处理单元，预处理单元对接入的工业数据进行数据预处理。

可选的，协同传算模块包括流式处理单元、批量处理单元、数据提炼单元、数据治理单元，流式处理单元对结构化数据数据进行流式计算，批量处理单元对结构化数据进行批量处理，数据提炼单元将非结构化数据提炼为结构化数据，数据治理单元对数据进行数据标识得到标签定义，对衍生数据进行血缘分析。

可选的，分类分级模块包括领域分类单元、维度分类单元、影响分级单元，领域分类单元对工业数据进行分域处理，维度分类单元根据数据的信息传播维度进行分类，影响分级单元根据数据泄露的影响对象和影响程度进行分级。

可选的，节点管理模块包括存储节点管理单元和作业节点管理单元，存储节点管理单元同步存储节点信息、对存储节点进行管理，作业节点管理单元实现对数据分析处理节点的动态管理。

一种工业互联网云边端数据融合方法，应用上述任一项所述的一种工业互联网云边端数据融合系统，包括以下步骤：

S1、接入工业数据，对数据进行清洗和整合；

S2、对接入的工业数据进行处理、提炼、治理；

S3、基于应用领域、传播维度、数据影响范围对数据进行分类分级；

S4、进行数据存储资源管理、数据作业资源管理。

可选的S3具体为：

S31、基于已有标记，对工业数据进行分域处理；

S32、根据数据的信息传播维度进行分类；

S33、依旧数据泄露的影响对象和影响程度进行分级。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种工业互联网云边端数据融合系统及方法，具有以下有益效果：构建了工业互联网云边端数据融合系统用于边云数据实时协同传算，通过分布式流式计算引擎、时序数据库、轻量化消息中间件的融合创新，为不同类型、不同等级的数据传算需求，提供多样化的数据交互链路，满足跨边云工业应用对数据双向传输的高并发、低延时、高计算性能要求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明的工业互联网云边端数据融合系统原理图；

图2为本发明的数据接入模块示意图；

图3为本发明的协同传算模块示意图；

图4为本发明的分类分级模块示意图；

图5为本发明的节点管理模块示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种工业互联网云边端数据融合系统，如图1所示，包括边端数据接口、云端数据接口、边云数据交互系统，边云数据交互系统包括依次连接的数据接入模块、协同传算模块、分类分级模块、节点管理模块；

具体的，数据接入模块支持分布式节点的海量异构数据接入，根据不同工业数据的数据结构、实时性差异，对数据进行清洗和整合，提供双向数据传输通道，支持云边数据交互。协同传算模块提供数据实时计算处理能力，基于模型和应用的多场景特征和传算策略，对云边交互数据进行处理、提炼、治理，提供多样化数据计算分析链路。分类分级模块基于数据应用领域、数据敏感程度、数据影响范围对数据进行分类分级，并对分类分级后的数据进行细标签化管理，并执行响应的保护、分发和存储，提升数据在敏捷联接、实时业务、数据优化、安全与隐私保护等方面能力。节点管理模块提供数据存储资源管理、数据作业资源管理和数据中间件配置功能，支持整合存储和计算资源利用效率，为第三方和开发这提供统一节点管理接口。

进一步的，数据接入模块包括实时接入单元、批量调度单元、非结构化传输单元、大数据量传输单元、报文采集单元，实时接入单元用于数据库的动态同步、日志实时采集，批量调度单元用于批量数据离线调度，非结构化传输单元对非结构化数据进行批量采集，大数据量传输单元对大并发量、低延时、大数据量的工业数据进行传输，报文采集单元对小数据量、低频度的实时数据进行报文采集。

具体的，如图2所示，为接入多类型、多模态、多时效的工业研发生产数据，分布式数据接入提供多系统异构数据接入能力。工业现场存在工业数据、工艺文件、视频图像等结构化和非结构化数据，分布式数据接入模块提供异构数据双向通道，提高了整体数据流运算效率。对于实时性要求较高的数据，实时接入单元基于CDC、OGG、Flume、Canal实现数据库动态同步、日志实时采集、数据库日志增量解析；对于实时要求较低的数据，批量调度单元基于DataX、Sqoop实现批量数据离线调度；对于视频图像、工艺文件等非结构化数据，非结构化传输单元基于FTP服务器实现批量采集；对于大并发量、低延时、大数据量的工业数据，大数据量传输单元基于Kafka实现数据传输；对于数据量较小，频度较低的实时数据通信场景，报文采集单元可以使用TCP/UDP报文采集方式。

进一步的，数据接入模块还包括预处理单元，预处理单元对接入的工业数据进行数据预处理。

具体的，为支持边端海量工业数据接入，支持服务高可用、负载均衡；提供数据对账、数据解压、目标筛选、数据统计、数据等数据预处理能力，为数据实时协同传算提供支撑。

进一步的，协同传算模块包括流式处理单元、批量处理单元、数据提炼单元、数据治理单元，流式处理单元对结构化数据数据进行流式计算，批量处理单元对结构化数据进行批量处理，数据提炼单元将非结构化数据提炼为结构化数据，数据治理单元对数据进行数据标识得到标签定义，对衍生数据进行血缘分析。

具体的，如图3所示，协同传算模块整合云边数据资源，支持多场景工业应用、模型的边云交互。数据实时协同传算以流式数据、推理、异步和实时数据处理为主，结合数据提炼、数据治理能力，实现边云交互，边缘局部闭环自治，支持多样化、异构形态的资源配置。系统内置多种计算引擎，流式处理单元采用Flink、Spark实现流式计算，批量处理单元采用Spark、Hive实现批量处理；对于无法进行流式计算和批处理的非结构化数据，数据提炼单元提供实时NLP自然语言分析、VoxForge语言识别、Kylin即席查询，进一步将数据提炼成结构化数据。数据治理单元根据粗颗粒度标签规则和数据标准，对原生数据进行数据标识，确定保证原生数据在分类分级和分流前就具备标签定义。针对基于原生数据开发而获得的衍生数据，采用图数据库技术，对衍生数据的产生路径进行血缘分析。

进一步的，分类分级模块包括领域分类单元、维度分类单元、影响分级单元，领域分类单元对工业数据进行分域处理，维度分类单元根据数据的信息传播维度进行分类，影响分级单元根据数据泄露的影响对象和影响程度进行分级。

具体的，如图4所示，工业数据分类分级存储是保障数据隐私安全的核心手段也是数据全生命周期管理的重要一环。项目结合基于数据安全等级、应用分类，形成多维的数据标签组合及规则，实现对数据的分类分级保护与分流。在协同传算模块已对数据进行数据标签、数据血缘等初步标记。分类分级模块基于已有标记，首先结合生产制造模式、平台企业结合服务运营模式，分析梳理业务流程和系统设备，考虑行业要求、业务规模、数据复杂程度等实际情况，对工业数据进行分域处理；再者根据数据的信息传播维度进行分类；最后依旧数据泄露的影响对象和影响程度进行分级，如易引发特别重大生产安全事故或突发环境事件或造成直接经济损失特别巨大即可定为最高等级数据；并根据数据分类分级结果，对数据进行保护与分流。从而实现边云协同系统工业原生数据及衍生数据分类分级标签化，为多元化数据应用提供数据安全边界条件。

进一步的，节点管理模块包括存储节点管理单元和作业节点管理单元，存储节点管理单元同步存储节点信息、对存储节点进行管理，作业节点管理单元实现对数据分析处理节点的动态管理。

具体的，如图5所示，数据节点管理支持对云端平台和边端节点的异构数据节点进行配置和管理，数据存储节点通过标准OpenAPI向云边协同智能系统注册，并向系统同步存储节点类型、状态、容量和可用空间等信息。数据作业节点管理基于网络化资源调度层的计算资源池实现对数据分析处理节点的动态管理。数据节点管理同时支持对云边两端的数据库、数据通道、元数据、节点存储和调度策略等关键信息进行配置，为存储和分析服务提供强大的横向扩展能力，为各种不同的数据负载提供优异的性能，保证数据在存储和分析过程中高可用、可扩展。

与图1所述的系统对应，本发明还公开了一种工业互联网云边端数据融合方法，用于上述任一项所述的一种工业互联网云边端数据融合系统的应用，包括以下步骤：

S1、接入工业数据，对数据进行清洗和整合；

S2、对接入的工业数据进行处理、提炼、治理；

S4、进行数据存储资源管理、数据作业资源管理。

进一步的，S3具体为：

S31、基于已有标记，对工业数据进行分域处理；

S32、根据数据的信息传播维度进行分类；

S33、依旧数据泄露的影响对象和影响程度进行分级。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法而言，由于其与实施例公开的系统相对应，所以描述的比较简单，相关之处参见系统部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种工业互联网云边端数据融合系统，其特征在于，包括包括依次连接的数据接入模块、协同传算模块、分类分级模块、节点管理模块；

2.根据权利要求1所述的一种工业互联网云边端数据融合系统，其特征在于，数据接入模块包括实时接入单元、批量调度单元、非结构化传输单元、大数据量传输单元、报文采集单元，实时接入单元用于数据库的动态同步、日志实时采集，批量调度单元用于批量数据离线调度，非结构化传输单元对非结构化数据进行批量采集，大数据量传输单元对大并发量、低延时、大数据量的工业数据进行传输，报文采集单元对小数据量、低频度的实时数据进行报文采集。

3.根据权利要求2所述的一种工业互联网云边端数据融合系统，其特征在于，数据接入模块还包括预处理单元，预处理单元对接入的工业数据进行数据预处理。

4.根据权利要求1所述的一种工业互联网云边端数据融合系统，其特征在于，协同传算模块包括流式处理单元、批量处理单元、数据提炼单元、数据治理单元，流式处理单元对结构化数据数据进行流式计算，批量处理单元对结构化数据进行批量处理，数据提炼单元将非结构化数据提炼为结构化数据，数据治理单元对数据进行数据标识得到标签定义，对衍生数据进行血缘分析。

5.根据权利要求1所述的一种工业互联网云边端数据融合系统，其特征在于，分类分级模块包括领域分类单元、维度分类单元、影响分级单元，领域分类单元对工业数据进行分域处理，维度分类单元根据数据的信息传播维度进行分类，影响分级单元根据数据泄露的影响对象和影响程度进行分级。

6.根据权利要求1所述的一种工业互联网云边端数据融合系统，其特征在于，节点管理模块包括存储节点管理单元和作业节点管理单元，存储节点管理单元同步存储节点信息、对存储节点进行管理，作业节点管理单元实现对数据分析处理节点的动态管理。

7.一种工业互联网云边端数据融合方法，其特征在于，应用权利要求1-6任一项所述的一种工业互联网云边端数据融合系统，包括以下步骤：

S1、接入工业数据，对数据进行清洗和整合；

S2、对接入的工业数据进行处理、提炼、治理；

S4、进行数据存储资源管理、数据作业资源管理。

8.根据权利要求7所述的一种工业互联网云边端数据融合方法，其特征在于，S3具体为：

S31、基于已有标记，对工业数据进行分域处理；

S32、根据数据的信息传播维度进行分类；

S33、依旧数据泄露的影响对象和影响程度进行分级。