CN115080275B - 一种基于实时数据模型的孪生服务组件及其方法 - Google Patents

Abstract

本发明公开了一种基于实时数据模型的孪生服务组件及其方法，具体涉及孪生服务领域，包括统一数据标准单元、自动采集单元、实时数据分析单元、数据交换单元，统一数据标准单元用于保证设备生产模型与数字孪生体间信息定义的一致；自动采集单元用于采集物理实体的相关数据；实时数据分析单元用于分析采集的实时数据，建立计算服务模块、统一数据可视化模块；实时数据交换单元用于推动信息在虚拟与现实之间交换，保证虚拟数字孪生体可以实时获取设备的运行数据，并且使用孪生数据驱动设备模型与物理现实设备进行同步映射。在数字空间对孪生系统进行推演和预测，结合感知技术得到有效信息，反作用于物理实体，为其智能决策和高效操作提供支撑。

Description

一种基于实时数据模型的孪生服务组件及其方法

技术领域

本发明涉及孪生服务技术领域，更具体地说，本发明涉及一种基于实时数据模型的孪生服务组件及其方法。

背景技术

数字孪生是近几年兴起的非常前沿的新技术，简单说就是利用物理模型、物联网传感器、仿真，通过数字化的手段来构建一个与现实世界相同的数字世界，从而反映相对应的实体装备的全生命周期过程。数字孪生可以追踪资产过去的状态，提供对现在更深入的洞察，最重要的是，它们有助于预测和影响未来的行为。除了复制品之外，数字孪生还接收与物理世界系统相同的实时数据流，Swim的CTO Simon Crosby强调“数字孪生是一个实时代理，它不断分析那些从现实世界‘事物’中接收到的流媒体事件，并将结果实时传递给其他代理、应用程序和用户界面，这些数字孪生能准确地反映现实世界的当前状态”。

以构建设备生产厂家的数字孪生服务为例，需要构建包括设备模型、位置、拓扑、量测、图模等数据的设备孪生体及其访问服务组件，该孪生服务基于实时采集数据构建数字孪生体，实现对设备生产从规划、建设、运行、报废等全生命周期全业务的构建。访问服务组件是实现设备与数字孪生体数字交换、共享的关键，孪生体的数据交换，可以使物理世界的实物与虚拟世界的孪生体可以随时进行互动更新，保持物理世界和虚拟的孪生体的一致性。

目前孪生服务的构建需要众多的信息系统，随着信息系统的增加，各自孤立工作的信息系统将会造成大量的冗余数据重复劳动，急需实现整个系统之间无缝的共享和交换数据。实时数据交换的过程中，不同的数据内容、数据格式和数据质量千差万别，有时甚至会遇到数据格式不能流动与共享。因此，实现孪生服务的数据交换、数据共享已成为增强孪生服务竞争力的必然选择。数据交换的范围涉及从产品的生产到报废全面的信息档案。

发明内容

为了克服现有技术的上述缺陷，本发明的实施例提供一种基于实时数据模型的孪生服务组件及其方法，通过数据交换服务组件保证数字孪生体和物理实体之间进行模型及数据交换的有效性和可靠性，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于实时数据模型的孪生服务组件及其方法包括统一数据标准单元、自动采集单元、实时数据分析单元、数据交换单元，统一数据标准单元用于保证设备生产模型与数字孪生体间信息定义的一致；自动采集单元用于采集设备生产厂家的相关数据，依据采集的信息构建数字孪生体；实时数据分析单元用于分析采集的实时数据，建立计算服务模块、统一数据可视化模块；实时数据交换单元用于推动信息在虚拟与现实之间交换，保证虚拟数字孪生体可以实时获取设备的运行数据，并且使用孪生数据驱动设备模型与物理现实设备进行同步映射。

在一个优选地实施方式中，所述服务组件搭建方法如下：

步骤S1统一数据标准，数据标准是构建优质数据交换的前提，为保证数字孪生体和设备生产厂家的代码表对同一信息定义一致，确保数字孪生体可以根据代码辨别数据的确切含义并提供可配置的功能，数据孪生体与设备生产厂家的数据标准相同，能够进行相互转换，使数据存储和数据孪生体按照统一标准来理解数据；

步骤S2自动采集单元，采集覆盖生产设备厂家从规划、建设、生产运行、到报废的全生命周期全业务的实时数据，基于传感网络获得的海量系统状态数据，在数字空间完成物理系统与数字模型之间的同步，利用SNMP协议和数据采集设备采集物理实体数据；

步骤S3搭建实时数据平台，包括数据总线平台DBus、分布式消息系统Kafka、流式处理平台Wormhole、数据计算存储层、计算服务平台Moonbox、可视应用平台Davinci，先将采集单元得到的实时数据传输至数据总线平台，总线平台将数据以增量或者全量方式抽取出来，经常规处理后传输至分布式消息系统Kafka，分布式消息系统Kafka通过分布式、高可用、高吞吐、可发布-订阅的能力，连接虚拟模型和物理实体，传输至统一流式处理平台，处理后数据流向存储层，同时应用于统一计算服务平台、统一数据可视化平台技术平台和其他切面功能；

步骤S4实时数据交换单元，使用WebSocket协议实现物理现实和虚拟数字孪生体之间的实时数据交互，保证虚拟数字孪生体可以实时获取设备的运行数据，并且使用孪生数据驱动设备模型与物理现实设备进行同步映射。

在一个优选地实施方式中，所述步骤S3中搭建实时数据平台的具体步骤为：

步骤A1，数据总线平台DBus对接采集的实时数据，将数据以增量或全量方式抽取出来，并进行一些常规数据处理，最后将处理后的消息发布在Kafka上；

步骤A2，分布式消息系统Kafka，接收DBus处理的信息，以分布式、高可用、高吞吐、可发布的能力，连接虚拟模型和物理实体；

步骤A3，流式处理平台Wormhole，作为统一流式处理平台，负责流上处理和对接各种数据目标存储，Wormhole从Kafka消费消息，支持流上配置SQL方式实现流上数据处理逻辑，并支持配置化方式将数据以最终一致性效果落入不同数据目标存储(Sink)中；

步骤A4，在数据计算存储层，RTDP架构选择开放技术组件选型，用户可以根据实际数据特性、计算模式、访问模式、数据量等信息选择合适的存储，解决具体数据项目问题，RTDP支持同时选择多个不同数据存储，从而支持不同项目需求；

步骤A5，计算服务平台Moonbox，为统一计算服务平台，利用异构数据存储混算和数据虚拟化技对异构数据存储端负责整合、计算下推优化、异构数据存储混算；

步骤A6，可视应用平台Davinci，为统一数据可视化平台，以配置化方式支持各种数据可视化和交互需求，并可以整合其他数据应用以提供数据可视化部分需求解决方案，另外还支持不同数据从业人员在平台上协作完成各项日常数据应用。

在一个优选地实施方式中，所述其他切面功能包括数据管理、数据安全、开发运维、驱动引擎，可以通过对接DBus、Wormhole、Moonbox、Davinci的服务接口进行整合和二次开发，以支持端到端管控和治理需求。

在一个优选地实施方式中，所述步骤S4中实时数据交换通过将数据中心库中的数据发布出来提供给外部系统共享调用，同时能够监控外部调用数据的情况提升数据的价值，数据交换的方式根据数据的类型来进行区分，结构化或半结构化的数据可通过ETL的数据交换方式进行，非结构化的数据像压缩文件、电影、图片采用文件传输的方式进行交换，而对于一些实时性较高的交换一般采用接口形式进行如，restfull、webservice。

在一个优选地实施方式中，所述结构化和半结构化数据交换主要有：时间戳同步、全文比对同步、触发器同步、CDC增量同步、全量同步，其中触发器同步，在业务数据表中创建相应的触发器，当提取、复制对象进行包括插入、修改、删除的变更时，由触发器触发提数程序，将变化写入目标数据库中。

在一个优选地实施方式中，所述非结构化数据交换，以前的非结构化的数据交换，常常使用网盘或者FTP传输文件时，尤其是大文件，容易出现中断，严重影响工作效率和业务，数据交换平台中采用了数字签名、时间戳、报文加密的方式对传输的消息进行完整性验证，防止消息在传输过程中被篡改，通过数据交换平台可以验证消息确实来自于其真正的发送者而非假冒；确保消息的内容没有被修改；防止以插入、删除、调换或修改等方式篡改消息。

本发明的技术效果和优点：

1、该种基于实时数据模型的孪生服务组件及其方法，基于传感网络获得的海量系统状态数据，在数字空间完成物理系统与数字模型之间的同步；

2、该种基于实时数据模型的孪生服务组件及其方法，以数据为驱动力，构建孪生体模型，在数字空间对孪生系统进行推演和预测，结合感知技术得到有效信息，反作用于物理实体，为其智能决策和高效操作提供支撑；

3、该种基于实时数据模型的孪生服务组件及其方法，通过孪生体的数据交换，可以使物理世界的实物与虚拟世界的孪生体可以随时进行互动更新，保持物理世界和虚拟的孪生体的一致性。

附图说明

图1为本发明的整体架构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本发明提供一种基于实时数据模型的孪生服务组件及其方法，服务组件及方法整体架构如图1，包括统一数据标准单元、自动采集单元、实时数据分析单元、数据交换单元，统一数据标准单元用于保证设备生产模型与数字孪生体间信息定义的一致；自动采集单元用于采集设备生产厂家的相关数据，依据采集的信息构建数字孪生体；实时数据分析单元用于分析采集的实时数据，建立计算服务模块、统一数据可视化模块；实时数据交换单元用于推动信息在虚拟与现实之间交换，保证虚拟数字孪生体可以实时获取设备的运行数据，并且使用孪生数据驱动设备模型与物理现实设备进行同步映射。服务组件搭建步骤如下：

步骤S1统一数据标准，数据标准是构建优质数据交换的前提，为保证数字孪生体和设备生产厂家的代码表对同一信息定义一致，确保数字孪生体可以根据代码辨别数据的确切含义并提供可配置的功能，数据孪生体与设备生产厂家的数据标准相同，能够进行相互转换，使数据存储和数据孪生体按照统一标准来理解数据；

步骤S2自动采集单元，采集覆盖生产设备厂家从规划、建设、生产运行、到报废的全生命周期全业务的实时数据，基于传感网络获得的海量系统状态数据，在数字空间完成物理系统与数字模型之间的同步，利用SNMP协议和数据采集设备采集物理实体数据；

步骤S3搭建实时数据平台，包括数据总线平台DBus、分布式消息系统Kafka、流式处理平台Wormhole、数据计算存储层、计算服务平台Moonbox、可视应用平台Davinci，先将采集单元得到的实时数据传输至数据总线平台，总线平台将数据以增量或者全量方式抽取出来，经常规处理后传输至分布式消息系统Kafka，分布式消息系统Kafka通过分布式、高可用、高吞吐、可发布-订阅的能力，连接虚拟模型和物理实体，传输至统一流式处理平台，处理后数据流向存储层，同时应用于统一计算服务平台、统一数据可视化平台技术平台和其他切面功能；

步骤S4实时数据交换单元，使用WebSocket协议实现物理现实和虚拟数字孪生体之间的实时数据交互，保证虚拟数字孪生体可以实时获取设备的运行数据，并且使用孪生数据驱动设备模型与物理现实设备进行同步映射，数字空间对数字孪生体进行推演和预测，结合感知技术得到有效信息，反作用于物理实体，为其智能决策和高效操作提供支撑。

进一步的，所述步骤S3中搭建实时数据平台，具体步骤为：

A1，数据总线平台DBus对接采集的实时数据，将数据以增量或全量方式抽取出来，并进行一些常规数据处理，最后将处理后的消息发布在Kafka上；

A2，分布式消息系统Kafka，以分布式、高可用、高吞吐、可发布-订阅等能力，连接虚拟模型和物理实体；

A3，流式处理平台Wormhole，作为统一流式处理平台，负责流上处理和对接各种数据目标存储，Wormhole从Kafka消费消息，支持流上配置SQL方式实现流上数据处理逻辑，并支持配置化方式将数据以最终一致性效果落入不同数据目标存储(Sink)中；

A4，在数据计算存储层，RTDP架构选择开放技术组件选型，用户可以根据实际数据特性、计算模式、访问模式、数据量等信息选择合适的存储，本发明选择MySQL和HBase数据库，解决具体数据项目问题，RTDP还支持同时选择多个不同数据存储，从而更灵活地支持不同项目需求；

A5，计算服务平台Moonbox，作为统一计算服务平台，对异构数据存储端负责整合、计算下推优化、异构数据存储混算等(数据虚拟化技术)；

A6，可视应用平台Davinci，作为统一数据可视化平台，以配置化方式支持各种数据可视化和交互需求，并可以整合其他数据应用以提供数据可视化部分需求解决方案，另外还支持不同数据从业人员在平台上协作完成各项日常数据应用。

进一步的，其他切面功能包括数据管理、数据安全、开发运维、驱动引擎，可以通过对接DBus、Wormhole、Moonbox、Davinci的服务接口进行整合和二次开发，以支持端到端管控和治理需求。

进一步的，所述步骤S4中实时数据交换通过将数据中心库中的数据发布出来给数据孪生体共享调用，同时能够监控外部调用数据的情况提升数据的价值，数据交换的方式根据数据的类型来进行区分，结构化或半结构化的数据可通过ETL的数据交换方式进行，非结构化的数据像压缩文件、电影、图片等采用文件传输的方式进行交换，而对于一些实时性较高的交换一般采用接口形式进行如，restfull、webservice。

进一步的，所述结构化和半结构化数据交换主要有：时间戳同步、全文比对同步、触发器同步、CDC增量同步、全量同步。其中触发器同步，在业务数据表中创建相应的触发器，当提取、复制对象进行变更(插入、修改、删除)时，由触发器触发提数程序，将变化写入目标数据库中。这种方案可用于同步复制、增量复制。

进一步的，所述非结构化数据交换，数据交换平台中采数字签名、时间戳、报文加密的方式对传输的消息进行完整性验证，防止消息在传输过程中被篡改。通过数据交换平台可以验证消息确实来自于其真正的发送者而非假冒；确保消息的内容没有被修改；防止以插入、删除、调换或修改等方式篡改消息。

实验例

本发明实验例通过实时数据交换性能测试，验证基于实时数据模型的孪生服务组件的有效性，首先搭建测试环境，性能测试环境Kafka如下表，

实时数据格式为：{"name":"heres","age":"10","address":"hefei"}，采用批量插入的方式，分别为6000条/1次和2000条/1次，具体测试方案为，在kafka集群新建一个topic，topic为1个Partitions，1个Replication，通过producer程序为该topic生产1000万条消息。

在一个客户端上执行实时数据交换程序，分别统计Kafka Stream实时数据转化十万级、百万级和千万级数据转化效率(msg/sec)，统计结果如下表：

时数据转化	十万级(msg/sec)	百万级(msg/sec)	千万级(msg/sec)
				Kafka->MySQL	50000	71428	72992
Kafka->HBase	10000	12195	11876

由实验例可知，实时数据交换性能优越，在Kafka到MySQL的数据交换过程优于在Kafka到HBase的数据交换过程，并且在Kafka到MySQL的数据交换过程，会达到每秒50000条消息，在Kafka到HBase的数据交换过程，会达到每秒10000条消息。

最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于实时数据模型的孪生服务组件的方法，其特征在于：所述服务组件搭建方法如下：

步骤S1统一数据标准，数据标准是构建优质数据交换的前提，为保证数字孪生体和设备生产厂家的代码表对同一信息定义一致，确保数字孪生体可以根据代码辨别数据的确切含义并提供可配置的功能，数据孪生体与设备生产厂家的数据标准相同，能够进行相互转换，使数据存储和数据孪生体按照统一标准来理解数据；

步骤S2自动采集单元，采集覆盖生产设备厂家从规划、建设、生产运行、到报废的全生命周期全业务的实时数据，基于传感网络获得的海量系统状态数据，在数字空间完成物理系统与数字模型之间的同步，利用SNMP协议和数据采集设备采集物理实体数据；

步骤S3搭建实时数据平台，包括数据总线平台DBus、分布式消息系统Kafka、流式处理平台Wormhole、数据计算存储层、计算服务平台Moonbox、可视应用平台Davinci，先将采集单元得到的实时数据传输至数据总线平台，总线平台将数据以增量或者全量方式抽取出来，经常规处理后传输至分布式消息系统Kafka，分布式消息系统Kafka通过分布式、高可用、高吞吐、可发布-订阅的能力，连接虚拟模型和物理实体，传输至统一流式处理平台，处理后数据流向存储层，同时应用于统一计算服务平台、统一数据可视化平台技术平台和其他切面功能，搭建实时数据平台的具体步骤为：步骤A1，数据总线平台DBus对接采集的实时数据，将数据以增量或全量方式抽取出来，并进行一些常规数据处理，最后将处理后的消息发布在Kafka上；步骤A2，分布式消息系统Kafka，接收DBus处理的信息，以分布式、高可用、高吞吐、可发布的能力，连接虚拟模型和物理实体；步骤A3，流式处理平台Wormhole，作为统一流式处理平台，负责流上处理和对接各种数据目标存储，Wormhole从Kafka消费消息，支持流上配置SQL方式实现流上数据处理逻辑，并支持配置化方式将数据以最终一致性效果落入不同数据目标存储中；步骤A4，在数据计算存储层，RTDP架构选择开放技术组件选型，根据实际数据特性、计算模式、访问模式、数据量信息选择合适的存储，RTDP支持同时选择多个不同数据存储；步骤A5，计算服务平台Moonbox，为统一计算服务平台，利用异构数据存储混算和数据虚拟化技术对异构数据存储端负责整合、异构数据存储混算；步骤A6，可视应用平台Davinci，为统一数据可视化平台，以配置化方式支持各种数据可视化和交互需求，并可以整合其他数据应用以提供数据可视化部分需求解决方案，另外还支持不同数据从业人员在平台上协作完成各项日常数据应用；

步骤S4实时数据交换单元，使用WebSocket协议实现物理现实和虚拟数字孪生体之间的实时数据交互，保证虚拟数字孪生体可以实时获取设备的运行数据，并且使用孪生数据驱动设备模型与物理现实设备进行同步映射，数字孪生体进行推演和预测，反作用于物理实体，为其智能决策和高效操作提供支撑。

2.根据权利要求1所述的一种基于实时数据模型的孪生服务组件的方法，其特征在于：所述其他切面功能包括数据管理、数据安全、开发运维、驱动引擎，可以通过对接DBus、Wormhole、Moonbox、Davinci的服务接口进行整合和二次开发，以支持端到端管控和治理需求。

3.根据权利要求1所述的一种基于实时数据模型的孪生服务组件的方法，其特征在于：所述步骤S4中实时数据交换通过将数据中心库中的数据发布出来提供给外部系统共享调用，同时能够监控外部调用数据的情况提升数据的价值，数据交换的方式根据数据的类型来进行区分，结构化或半结构化的数据可通过ETL的数据交换方式进行，非结构化的数据像压缩文件、电影、图片采用文件传输的方式进行交换，而对于一些实时性较高的交换一般采用接口形式进行，如restfull接口、webservice接口。

4.根据权利要求3所述的一种基于实时数据模型的孪生服务组件的方法，其特征在于：所述结构化和半结构化数据交换主要有：时间戳同步、全文比对同步、触发器同步、CDC增量同步、全量同步，其中触发器同步，在业务数据表中创建相应的触发器，当提取、复制对象进行包括插入、修改、删除的变更时，由触发器触发提数程序，将变化写入目标数据库中。

5.根据权利要求4所述的一种基于实时数据模型的孪生服务组件的方法，其特征在于：所述非结构化数据交换采用数字签名、时间戳、报文加密的方式对传输的消息进行完整性验证，防止消息在传输过程中被篡改，通过数据交换平台可以验证消息确实来自于其真正的发送者而非假冒；确保消息的内容没有被修改；防止以插入、删除、调换或修改方式篡改消息。

Images