CN113868306A - 一种基于opc-ua规范的数据建模系统和方法 - Google Patents

Abstract

本发明涉及一种基于OPC‑UA规范的数据建模系统和方法，该系统包括UI层、Service层和数据传输层；UI层进行可视化建模，形成企业基础数据模型扩展领域模型；Service层通过模型运行引擎的运行，对工业数据建模模型库；数据传输层通过Kafka进行数据传输，采用HDFS存储批量数据，Spark分布式计算，批量计算结果采用MySQL和HBase存储，其中，MySQL用于查询少量的最近结果数据，HBase用于查询大量的历史结果数据。本发明解决传统钢铁行业企业多工厂设备数据采集复杂、设备模型在不同的厂商，不同的工程师手上，无法实现企业统一的数据模型管理问题。

Description

一种基于OPC-UA规范的数据建模系统和方法

技术领域

本发明涉及物联网应用技术领域与OPC-UA信息建模技术领域，特别是一种 基于OPC-UA规范的数据建模系统和方法。

背景技术

在钢铁企业的物联网世界中，设备不再是孤立的，而是通过各种关系相互连 接构成复杂的拓扑结构，并通过相互协作实现更为复杂的功能。

随着钢铁物联网规模的不断扩大，十万、百万级别的设备互联已经成为现实， 但对于整个钢铁制造及生产领域，存在不同领域、不同类型的对象、以及不同的 历史设备，这些设备的数据多而杂，数据标准不一致，各钢铁工厂设备能对接的 通信协议不一致，难以对不同设备传感器进行统一数据建模，且目前常用的关系 型数据库基于外键的方案在处理大规模拓扑上性能低下，已经难以满足需求；若 生产管理人员要抽取不同设备的数据，还需协调设备厂商进行参与，甚至还存在 投入资源定制开发接口，仅需要设备的一个关键数据，都需要钢铁工厂进行大量 资金投入，可想而知，钢铁企业这么多的设备数据均要抽取的话，已在生产经营 方面对企业管理造成不可控制的趋势。不仅加大了生产成本，还降低了生产利润， 长期以往对钢铁企业的各方面发展将造成严重的影响。

发明内容

为了解决上述问题，本发明提供一种应用于钢铁行业的基于OPC-UA规范的 数据建模系统和方法。

本发明的目的是这样实现的：

一种基于OPC-UA规范的数据建模系统，包括UI层、Service层和数据传输层；

UI层进行可视化建模，形成企业基础数据模型扩展领域模型；Service层通过 模型运行引擎的运行，对工业数据建模模型库；

数据传输层通过Kafka进行数据传输，采用HDFS存储批量数据，Spark分布 式计算，批量计算结果采用MySQL和HBase存储，其中，MySQL用于查询少量 的最近结果数据，HBase用于查询大量的历史结果数据。

进一步地，UI层创建工厂的基础数据模型，基于基础数据模型，适应工厂多 个领域模型。

进一步地，Service层包括模型运行服务引擎和数据模型建库模块；

模型运行服务引擎包括查询引擎、脚本引擎、工作流引擎、分析引擎和协议 转换引擎；

其中，查询引擎基于Flink提供的最高抽象SQL，集成MySQL查询少量的最 近结果数据；脚本引擎集成脚本编辑器，与第三方脚本集成，满足第三方脚本的 运行；分析引擎采用Elasticsearch技术进行实时全文搜索、分析和存储数据，进 行高效搜索；

协议转换引擎：基于OPC-UA规范将模型选择的协议转换为MQTT协议；

分析引擎：基于Elasticsearch，首先将数据模型进行存储，再通过Elasticsearch的REST接口将数据进行检索，根据数据异构性的特点进行数据格式转换；根据 读取用户查询需求，适配查询条件中的索引，最终将查询翻译成Elasticsearch的 语法并将查询提交给Elasticsearch、收集查询结果，将查询分析结果返回。

数据模型建库模块：经模型运行引擎运行后，将数据模型或扩展领导的模型 存入模型库里，通过Minio Service进行对象存储来保存图片、视频、文档，通过 MySQL存储基本配置信息，通过Restful接口输出数据。

进一步地，模型选择的协议包括：OPC DA、OPC A&E、OPC UA、Modbus、 IEC101、IEC103、IEC 104、IEC 61850、CDT、PROFIBUS、PROFINET。

进一步地，通过标准接口输出模型数据后，数据传输层采用Lambda大数据 架构，基于Spark采用大数据实时计算和批量计算相结合的方式，保证系统的容 错，以及隔离计算的复杂性；采用Java语言通过Restful接口输出数据；采用Spark 作为内存分布式计算框架；基于DAG图计算调度；采用MySQL和HBase存储批 量计算结果，其中，MySQL用于查询少量的最近结果数据，HBase用于查询大量 的历史结果数据。

进一步地，与数据建模系统连接的多台设备区域均部署网络覆盖，每个区域 有对应有IP段划分，通过整个流程的处理，将进行设备实时数据的存储；所述实 时数据的存储：根据时序数据的特点及数据类型，对时序数据进行近实时压缩， 同时保证数据的时间顺序；定期将每小时时序数据合并成一行，并进行压缩存储； 采用delta-delta、XOR、RLE以及Simple8B压缩算法压缩数据。

本发明还涉及的一种基于OPC-UA规范的数据建模方法，按以下进行：

可视化建模，形成企业基础数据模型扩展领域模型；通过模型运行引擎的运 行，对工业数据建模模型库；

通过Kafka进行数据传输，采用HDFS存储批量数据，Spark分布式计算，批 量计算结果采用MySQL和HBase存储。

进一步地，该方法中：

可视化建模：通过将工厂设备的PLC点位进行设备可视化建模即依托CAD图 或者组态图，构建该设备的静态模型；

设备模型类型管理：允许用户针对模型类型进行扩展，按层级来组装实现复 杂类型建模；

设备对象管理：通过模型分类、分层级完成物理实体建模后，可设置设备的 通用属性、组件、变量、其他关联对象、基本信息配置；

设备告警管理：用户可针对某一层级的对象，或者全局进行告警规则的自定 义配置，当满足规则要求后，实现及时预警；

协议接入：基于OPC-UA规范的模型类型选择后，用户输入绑定当前设备的 通信协议，最终模型均将各设备协议转换为标准的MQTT协议将数据进行采集， 实现数据建模步骤；

生命周期管理服务包括：对于设备模型的生命周期进行管控，同时对模型关 键操作提供日志可以进行追溯；

事件及订阅服务包括：基于分布式、高可用的ElasticSearch进行设计，通过 设备告警规则自定义配置后，一旦规则成立，事件服务将通过websocket客户端 订阅事件，平台把产生的实时事件告警数据推送到设备模型，同时，事件服务进 行校验、格式转换后，存储到分布式数据库中，满足利时查询、告警查询；

基于Flink流处理框架、基于Spark作为内存分布式计算框架的运行引擎，通 过结合设备模型和底层的运行引擎，实现模型的在线运行，展示设备模型各点位 时序数据采集情况。

模型库及管理服务：包括公共模型管理和私有模型管理，提供模型上传下载 入口，所述公共模型基于OPC-UA规范抽象出一套基础模型，并基于此模型实现 可扩展出领域模型；所述私有模型管理包括设备可视化建模模型、用户上传到模 型库的模型；实现钢铁行业按领域、层级进行模型库的管理，达到企业多种类型 设备模型进行统一的模型集控管理。

模型数据服务：实现模型数据存储、数据查询与模型数据接口输出，通过模 型数据接口能满足不同应用场景和业务系统对数据的需求。

与现有技术相比，本发明的有益效果如下：

本发明结合钢铁行业的设备数采现状，基于OPC-UA规范，通过此发生所述 数据建模方法及装置，解决传统钢铁行业企业多工厂设备数据采集复杂、设备模 型在不同的厂商，不同的工程师手上，无法实现企业统一的数据模型管理问题； 间接解决企业多工厂异构数据集成难、海量数据集成难、服务器资源耗费大，成 本高的问题；最大程度的实现企业生产设备数据资产的归集。

本发明实现了实时设备数据采集可视化展现、实时设备数据预警告警推送获 获取分析结果，从而全面集控设备运行情况。本发明具有设备数据建模自定义性、 即时性、可扩展性、安全性等优势。

附图说明

图1为本发明之基于OPC-UA规范的数据建模方法流程示意图；

图2为本发明之基于OPC-UA规范的数据建模装置原理结构示意图；

图中：S100-UI层；S200-Service层；S300-数据传输层。

具体实施方式

下面将结合本申请实施例中的附图，对实施例中的技术方案进行清楚、完整 地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施 例。基于实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所 有其他实施例，都属于本申请保护的范围。

除非另外定义，本申请实施例中使用的技术术语或者科学术语应当为所属领 域内具有一般技能的人士所理解的通常意义。本实施例中使用的“第一”、“第二” 以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组 成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件 涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。 “安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可 拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可 以是两个元件内部的连通。“上”、“下”、“左”、“右”、“横”以及“竖”等仅用 于相对于附图中的部件的方位而言的，这些方向性术语是相对的概念，它们用于相对于的描述和澄清，其可以根据附图中的部件所放置的方位的变化而相应地发 生变化。

如图1、2所示，本实施例的基于OPC-UA规范的数据建模系统，其特征在于： 包括UI层S100、Service层S200和数据传输层S300。

UI层S100将设备进行可视化建模，形成企业基础数据模型扩展领域模型。Service层S200通过模型运行引擎的运行，实现工业数据建模模型库。数据传输层 S300通过Service层S200(服务层)的运用与数据输出，通过Kafka进行数据传输， 采用HDFS存储批量数据，Spark分布式计算，批量计算结果采用MySQL和HBase 存储，其中MySQL用于查询少量的最近结果数据，而HBase用于查询大量的历史 结果数据。

本实施例利用Flink流式计算框架，负责从Kafka中读取时序数据，并对数据 进行压缩处理，以及持久化到HBase，过程如下：

如图1所示，本实施例实施前置条件是工厂的多台设备区域均部署网络覆盖， 每个区域有对应有IP段划分，通过整个流程的处理，将进行设备实时数据的存储；

所述实时数据的存储：根据时序数据的特点及数据类型，采用压缩比好的数 据压缩算法，对时序数据进行近实时压缩，同时保证数据的时间顺序。其中所述 数据压缩算法部分设计如下所示：

将每小时时序数据合并成一行，并进行压缩存储。一条时序数据包括两个字 段：v和s，因此行健中的字段名只有v和s两个取值，分别代表时序值和数据质量。 字段类型的取值：B、L、F、S。

具体描述如下：

所述行键说明：

在数据压缩方面，本实施例实现了delta-delta、XOR、RLE以及Simple8B压 缩算法。结合HBase本身提供的FAST_DIFF、Snappy压缩算法，可以极大的提供 数据压缩率，减少对磁盘存储空间的需求，同时降低数据读取的IO，从而提高系 统查询效率。

如图2所示，本实施例中，UI层S100包含了可视化建模的全流程，创建工厂 的基础数据模型，从而基于基础数据模型，来适应工厂多个领域模型即领域模型 1、2、3、4....N，满足模型可复用，模型不再重复建问题。

Service层S200包含了模型运行服务引擎和数据模型建库模块。模型运行服务 引擎是基于Flink流处理框架的运行引擎，Flink可以运行在多个节点上，能够通 过横向扩展提高处理能力，且集成了查询引擎、脚本引擎、工作流引擎、分析引 擎、协议转换引擎。

查询引擎是基于Flink提供的最高抽象SQL，满足查询需求，同时也集成 MySQL用于查询少量的最近结果数据；所述脚本引擎：主要是集成了脚本编辑 器，实现与第三方脚本的集成，满足第三方脚本的运行。

分析引擎：主要采用Elasticsearch技术，实现实时全文搜索和分析，提供搜 集、分析、存储数据三大功能；满足开放的REST和JAVA API等结构提供高效搜 索功能；所述协议转换引擎：基于OPC-UA规范将模型选择的，如OPC DA、OPC A&E、OPC UA、Modbus、IEC101、IEC103、IEC 104、IEC 61850、CDT、PROFIBUS、 PROFINET等的协议转换为MQTT协议。

分析引擎：基于Elasticsearch，首先将数据模型进行存储，再通过Elasticsearch的REST接口将数据进行检索，根据数据异构性的特点进行数据格式转换，即所 有的数据采用统一的JSON格式进行描述，并进行索引适配，同时写入对应索引 文件；根据读取用户查询需求，适配查询条件中的索引，最终将查询翻译成 Elasticsearch的语法并将查询提交给Elasticsearch、收集查询结果，将查询分析结 果返回。

数据模型建库模块：经模型运行引擎运行后，将数据模型或扩展领导的模型 存入模型库里，通过Minio Service进行对象存储来保存海量的图片、视频、文档， 通过MySQL存储基本配置信息，通过Restful接口输出数据。

数据传输层S300：在通过标准接口输出模型数据后，采用Lambda大数据架 构，基于Spark采用大数据实时计算和批量计算相结合的方式，来保证系统的容 错，以及隔离计算的复杂性，采用Java语言通过Restful接口输出数据，实现Kafka 到HDFS存储批量计算数据的数据持久化过程，采用Spark作为内存分布式计算框 架，提供了丰富的算子，基于DAG图的计算调度模式，减少大量的落盘操作， 从而减少计算过程中IO操作；批量计算结果采用MySQL和HBase存储，其中 MySQL用于查询少量的最近结果数据，而HBase用于查询大量的历史结果数据。

如图1所示，本实施例的方法，包括设备接入、基于OPC-UA规范的装置、 输出模型数据，具体包括：

A、设备接入：将工厂满足接入条件的设备1-N，进行Wonderware Intouch、Kepware、RSlink的分类数据，在不更改现场设备的原则下，采用OPC-UA规范 进行设备接入；

B、基于OPC-UA规范的装置：包括运行服务引擎；工厂设备接入后，通过 UI设计的装置界面，进行设备创建模型，形成基础的数据模型，进行模型类型的 选择，分为简单类型与复杂类型，对应不同的层级属性设置，即设置设备的通用 属性、组件、变量、其他关联对象、基本信息配置等；然后再进行模型生命周期 的配置，若模型失效，将存入模型库里管理，若模型有效，将进行协议接入，绑 定对OPC-UA规范的设备点位；

运行服务引擎：包括事件及订阅、模型预览、在线运行、数据采集、协议转 换MQTT、Flink流处理、Spark流计算、数据存储；模型创建完成走到协议接入 后，将通过运行服务引擎运转，进行模型的在线运行，通过协议转换MQTT，将 设备数据实时采集，采集后的数据根据事件及订阅设置好的规则，进行Flink、 Spark流处理计算，将数据进行存储，一旦满足规则，将进行事件的触发及订阅 的消息发送、数据转发，最终输出对应的数据；

C、输出模型数据：通过上述B步骤后，整个流程已采集好、存储好对应的 数据，通过装置输出Restful标准接口，输出给对应应用场景、不同领域使用。

本实施例按各工厂的各设备传感器作为物理实体，将物理实体建模产生的静 态模型作为基础，再基于OPC-UA规范把各工厂同类型设备传感器描述为一个对 象，以模型为抽象，以对象为载体，建立通用的静态模型，并配置其基本信息、 属性、事件以及订阅等信息；包括：基于OPC-UA规范的设备可视化建模服务、 生命周期管理服务、事件及订阅服务、运行引擎服务、模型库及管理服务、模型 数据服务等，具体：

A、设备可视化建模服务包括：设备建模、设备模型类型管理、设备对象管 理、设备告警管理、协议接入、模型的在线预览、模型导入导出；

所述设备可视化建模：通过将工厂设备的PLC点位进行设备可视化建模即依 托CAD图或者组态图，构建该设备的静态模型；所述设备模型类型管理：装置 具备OPC-UA规范中的模型类型，允许用户针对模型类型进行扩展，按层级来组 装实现复杂类型建模；所述设备对象管理：通过模型分类、分层级完成物理实体 建模后，可设置设备的通用属性、组件、变量、其他关联对象、基本信息配置等； 所述设备告警管理：用户可针对某一层级的对象，或者全局进行告警规则的自定 义配置，当满足规则要求后，实现及时预警；

协议接入：基于OPC-UA规范的模型类型选择后，用户输入绑定当前设备的 通信协议，最终模型均将各设备协议转换为标准的MQTT协议将数据进行采集， 实现数据建模步骤；所述模型的在线预览、导入导出：装置提供2D、3D模型的 导入、导出，满足多种数据建模需求场景，基于B/S提供模型的在线预览。

B、生命周期管理服务包括：对于设备模型的生命周期进行管控，同时对模 型关键操作提供日志可以进行追溯。

C、事件及订阅服务包括：基于分布式、高可用的ElasticSearch进行设计， 通过设备告警规则自定义配置后，一旦规则成立，事件服务将通过websocket客 户端订阅事件，平台把产生的实时事件告警数据推送到设备模型，同时，事件服 务进行校验、格式转换后，存储到分布式数据库中，满足利时查询、告警查询。

D、运行引擎服务是整个方法及装置的关键，是基于Flink流处理框架、基于 Spark作为内存分布式计算框架的运行引擎，通过结合设备模型和底层的运行引 擎，实现模型的在线运行，展示设备模型各点位时序数据采集情况。

E、模型库及管理服务：包括公共模型管理和私有模型管理，提供模型上传 下载入口，所述公共模型基于OPC-UA规范抽象出一套基础模型，并基于此模型 实现可扩展出领域模型；所述私有模型管理包括设备可视化建模模型、用户上传 到模型库的模型；实现钢铁行业按领域、层级进行模型库的管理，达到企业多种 类型设备模型进行统一的模型集控管理。

F、模型数据服务：实现模型数据存储、数据查询与模型数据接口输出，通 过模型数据接口能满足不同应用场景和业务系统对数据的需求。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明 的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的 保护范围之内。

Claims (8)

1.一种基于OPC-UA规范的数据建模系统，其特征在于：包括UI层、Service层和数据传输层；

UI层进行可视化建模，形成企业基础数据模型扩展领域模型；Service层通过模型运行引擎的运行，对工业数据建模模型库；

数据传输层通过Kafka进行数据传输，采用HDFS存储批量数据，Spark分布式计算，批量计算结果采用MySQL和HBase存储，其中，MySQL用于查询少量的最近结果数据，HBase用于查询大量的历史结果数据。

2.根据权利要求1所述的数据建模系统，其特征在于：UI层创建工厂的基础数据模型，基于基础数据模型，适应工厂多个领域模型。

3.根据权利要求1所述的数据建模系统，其特征在于：Service层包括模型运行服务引擎和数据模型建库模块；

模型运行服务引擎包括查询引擎、脚本引擎、工作流引擎、分析引擎和协议转换引擎；

其中，查询引擎基于Flink提供的最高抽象SQL，集成MySQL查询少量的最近结果数据；脚本引擎集成脚本编辑器，与第三方脚本集成，满足第三方脚本的运行；分析引擎采用Elasticsearch技术进行实时全文搜索、分析和存储数据，进行高效搜索；

协议转换引擎：基于OPC-UA规范将模型选择的协议转换为MQTT协议；

分析引擎：基于Elasticsearch，首先将数据模型进行存储，再通过Elasticsearch的REST接口将数据进行检索，根据数据异构性的特点进行数据格式转换；根据读取用户查询需求，适配查询条件中的索引，最终将查询翻译成Elasticsearch的语法并将查询提交给Elasticsearch、收集查询结果，将查询分析结果返回；

数据模型建库模块：经模型运行引擎运行后，将数据模型或扩展领导的模型存入模型库里，通过Minio Service进行对象存储来保存图片、视频、文档，通过MySQL存储基本配置信息，通过Restful接口输出数据。

4.根据权利要求3所述的数据建模系统，其特征在于：模型选择的协议包括：OPC DA、OPC A&E、OPC UA、Modbus、IEC101、IEC103、IEC 104、IEC 61850、CDT、PROFIBUS、PROFINET。

5.根据权利要求1所述的数据建模系统，其特征在于：通过标准接口输出模型数据后，数据传输层采用Lambda大数据架构，基于Spark采用大数据实时计算和批量计算相结合的方式，保证系统的容错，以及隔离计算的复杂性；采用Java语言通过Restful接口输出数据；采用Spark作为内存分布式计算框架；基于DAG图计算调度；采用MySQL和HBase存储批量计算结果，其中，MySQL用于查询少量的最近结果数据，HBase用于查询大量的历史结果数据。

6.根据权利要求1所述的数据建模系统，其特征在于：与数据建模系统连接的多台设备区域均部署网络覆盖，每个区域有对应有IP段划分，通过整个流程的处理，将进行设备实时数据的存储；所述实时数据的存储：根据时序数据的特点及数据类型，对时序数据进行近实时压缩，同时保证数据的时间顺序；定期将每小时时序数据合并成一行，并进行压缩存储；采用delta-delta、XOR、RLE以及Simple8B压缩算法压缩数据。

7.一种基于OPC-UA规范的数据建模方法，其特征在于：按以下进行：

可视化建模，形成企业基础数据模型扩展领域模型；通过模型运行引擎的运行，对工业数据建模模型库；

通过Kafka进行数据传输，采用HDFS存储批量数据，Spark分布式计算，批量计算结果采用MySQL和HBase存储。

8.根据权利要求7所述的方法，其特征在于：该方法中：

可视化建模：通过将工厂设备的PLC点位进行设备可视化建模即依托CAD图或者组态图，构建该设备的静态模型；

设备模型类型管理：允许用户针对模型类型进行扩展，按层级来组装实现复杂类型建模；

设备对象管理：通过模型分类、分层级完成物理实体建模后，可设置设备的通用属性、组件、变量、其他关联对象、基本信息配置；

设备告警管理：用户可针对某一层级的对象，或者全局进行告警规则的自定义配置，当满足规则要求后，实现及时预警；

协议接入：基于OPC-UA规范的模型类型选择后，用户输入绑定当前设备的通信协议，最终模型均将各设备协议转换为标准的MQTT协议将数据进行采集，实现数据建模步骤；

生命周期管理服务包括：对于设备模型的生命周期进行管控，同时对模型关键操作提供日志可以进行追溯；

事件及订阅服务包括：基于分布式、高可用的ElasticSearch进行设计，通过设备告警规则自定义配置后，一旦规则成立，事件服务将通过websocket客户端订阅事件，平台把产生的实时事件告警数据推送到设备模型，同时，事件服务进行校验、格式转换后，存储到分布式数据库中，满足利时查询、告警查询；

基于Flink流处理框架、基于Spark作为内存分布式计算框架的运行引擎，通过结合设备模型和底层的运行引擎，实现模型的在线运行，展示设备模型各点位时序数据采集情况；

模型库及管理服务：包括公共模型管理和私有模型管理，提供模型上传下载入口，所述公共模型基于OPC-UA规范抽象出一套基础模型，并基于此模型实现可扩展出领域模型；所述私有模型管理包括设备可视化建模模型、用户上传到模型库的模型；实现钢铁行业按领域、层级进行模型库的管理，达到企业多种类型设备模型进行统一的模型集控管理；

模型数据服务：实现模型数据存储、数据查询与模型数据接口输出，通过模型数据接口能满足不同应用场景和业务系统对数据的需求。

Images