CN109819233A - 一种基于虚拟成像技术的数字孪生系统 - Google Patents

Abstract

本发明涉及一种基于虚拟成像技术的强映射数字孪生系统。该系统在数字孪生体之间建立多信息协同通讯机制，通过多种传感器采集物理实体系统的形态信息、状态信息和行为信息发送到边缘计算节点，边缘计算节点负责接收传感器信息，并对接收信息进行边缘计算处理；应用虚拟成像技术将数字孪生系统的数字实体以三维可视化的方式投射到真实空间中，同时以虚拟现实的方式展现物理实体的状态信息，增强了数字孪生系统的细节展示效果，满足了多视角观察和沉浸感体验的要求；系统通过上述过程在物理实体与数字实体之间建立了强信息映射，保证了信息以不失真的方式在孪生体之间实时、高速传递。

Description

一种基于虚拟成像技术的数字孪生系统

【技术领域】

本发明属于仿真技术领域，具体涉及一种基于虚拟成像技术的强映射数字孪生系统，旨在支撑数字孪生技术在5G时代的实施，推动数字孪生技术由计算机软件模拟向真实三维空间的进化。

【背景技术】

在智能制造中，以制造为导向的CPS信息物理系统被作为工业4.0的核心技术。CPS通过构筑信息空间与物理空间数据交互的闭环通道，能够实现信息虚体与物理实体之间的交互联动。随着物联技术的发展，利用物理模型、传感器更新、运行历史等数据，集成多科学、多物理量、多尺度的仿真过程越来越精确。将物理世界的参数，通过传感器重新反馈到数字世界，完成仿真验证和动态调整已经成为可能。

作为CPS系统核心的数字孪生技术是一个跨领域、跨专业的多项技术的融合，它以物理实体为参照建立静态模型，通过实时数据采集、远程协调和实时监控，动态跟踪物理实体的工作状态和工作进展，将物理空间中的物理实体在信息空间进行全要素重建，形成具有感知、分析、决策、执行能力的数字孪生体。

虚拟成像技术是一种在三维空间中投射三维立体影像(影像为物理上的“立体”而非单纯视觉上的“立体”)的次世代显示技术，包括但不限于全息影像技术、数字全息技术、3D立体成像技术、幻影成像技术和增强现实技术等。随着虚拟成像技术、大数据实时通信和边缘计算等技术的成熟，未来数字孪生系统与虚拟成像技术的融合将成为一个必然的发展趋势。

数字孪生技术的目标是更加逼真的制造产品的虚拟模型，以弥合设计和制造之间的差距以及反映真实和虚拟世界，而现阶段数字世界和物理世界之间尚无法做到一一对应、完全映射。

当前数字孪生系统普遍使用提前建好的计算机3D模型作为数字孪生系统中的数字实体，缺乏对数字孪生系统与虚拟成像技术两种技术的结合使用案例，而虚拟成像技术的应用会直接提升数字孪生系统的用户观感和沉浸感，且对于大场景数字孪生系统，如太空探索、数字工厂、虚拟城市等来说，传统计算机3D模型由于用户视角单一，同一时刻无法提供更多的细节描述。

当前数字实体与物理实体尚无法实现强信息映射，即数字实体在对物理实体信息的跟踪过程中丢失了大量的有价值信息。一方面是由于传感器采集设备的带宽限制，限制了采集信息的范围，另一方面是由于终端处理器计算能力有限，无法承载海量数据的分析处理。

当前针对数字孪生系统的信息传输方式对于需要大量数据流支撑的虚拟成像技术不再适用，尤其当数字孪生体之间需要长距离信息传输时，这种实时处理和传输大量信息的需求对与当前数字孪生系统而言是普遍难以胜任的，系统在实时性和信息完整性方面难以兼顾。

【发明内容】

为了解决现有技术中的上述问题与现有方法的不足，本发明提出一种基于虚拟成像技术的强映射数字孪生系统。该系统在数字孪生体之间建立多信息协同通讯机制，通过多种传感器采集物理实体系统的形态信息、状态信息和行为信息发送到边缘计算节点，边缘计算节点负责接收传感器信息，并对接收信息进行边缘计算处理，采用增量编码技术将图像进行增量压缩编码，并与其它信息进行打包，通过网关统一发送到终端控制系统，由终端控制系统对数据包信息进行解包、映射变换，得到用于展示的数字实体信息；应用虚拟成像技术将数字孪生系统的数字实体以三维可视化的方式投射到真实空间中，同时以虚拟现实的方式展现物理实体的状态信息，增强了数字孪生系统的细节展示效果，满足了多视角观察和沉浸感体验的要求；系统通过上述过程在物理实体与数字实体之间建立了强信息映射，保证了信息以不失真的方式在孪生体之间实时、高速传递。

本发明提出了一种数字孪生系统的构建思路，应用仿真系统为数字孪生系统提供学习进化环境，以信息流的为导向对系统进行模拟调试，指导物理系统特别是多传感器系统的构建，优化提升数字孪生系统的信息获取能力。

本发明提出了一种强信息映射的数字孪生系统，以虚拟成像技术为数字孪生系统的数字实体提供了一种多层次的展示效果，包括环境模型层面的视觉展示效果，以及传感器层面的电信号、运动信号经过变换呈现的视觉效果，该系统的强信息映射体现在多传感器信息融合及细节展示的全面性。

本发明提供了一种应用于数字孪生系统的通讯方法，该方法通过边缘计算节点处物理实体的传感器信息数据，并通过增量压缩编码技术对价值信息进行提取，然后传送至终端处理器进行处理，该方法实时性高、实现了对价值信息的高效过滤，为解决数字孪生系统内数据传递的时效性和信息强映射之间的矛盾提供了一种解决方法。

本发明采用的技术方案具体如下：

一种基于虚拟成像的强映射数字孪生系统，包括：物理系统、多传感器采集系统、边缘计算节点、数据中心、终端处理器、虚拟成像系统，其中：

物理系统为数字孪生系统的应用场景，包括场景中的实体设备及实体设备周边的物理环境；物理设备具有通讯接口，物理设备通过该通讯接口与传感器连接；

仿真系统为数字孪生系统的优化和虚拟调试环境，提供环境模拟、数据流模拟、传感器模拟和虚拟成像模拟和虚拟调试功能，为数字孪生系统提供学习进化环境，优化传感器的数量和分布范围，并指导物理系统的构建，以实现信息的高效传递，减少冗余信息；

多传感器采集系统包括多个传感器，多个传感器包括检测实体设备行为信息和状态信息的传感器、检测实体设备周边环境的传感器，该多个传感器采集物理设备的状态信息、行为信息及周边环境信息；

边缘计算节点与多传感器采集系统进行通信连接，其接收周边传感器传送过来的具有不同协议的物理信息数据并进行实时计算和分析过滤，并将计算和分析过滤后的数据打包为数据包发送给终端处理器。

终端处理器与边缘计算节点进行通信连接，并与数据中心连接，对接收到的数据包进行解包处理，获得设备的物理状态数据和健康状态信息及用于显示设备状态的第一三维图像信息，同时将解包后得到的节点信息存入数据中心；终端处理器还应用仿真模型并结合数据中心的设备实体历史数据，完成对设备实体的运行状态的分析诊断，并将诊断结果变换成可记录设备物理状态数据和健康状态信息的第二三维图像信息；并将第一三维图像信息和第二三维图像信息发送给虚拟成像设备；

虚拟成像设备与数据中心和终端处理器连接，用于对终端处理器的处理结果进行3D成像显示，虚拟成像设备接收自终端处理器处理的第一三维图像信息和第二三维图像信息，并将其按照所需的比例投射到真实的三维空间中。

进一步的，虚拟成像设备进行投射时，采用增强现实技术将接收的真实的第一三维图像信息和反映物理状态数据和健康状态信息的第二三维图像信息融合在一起，实现图像仿真。

进一步的，边缘计算节点与多传感器采集系统的通信连接为无线或有线连接，终端处理器与边缘计算节点的通信连接为无线连接。

进一步的，边缘计算节点在数据打包时，对数据量特别大的图像信息采用增量压缩编码，仅保存相对于前一帧图像发生变化的数据，然后以统一的协议将图像数据和其他过滤后的传感器信息打包处理，并将打包后的数据包发送至终端处理器进行统一处理。

进一步的，边缘计算节点还包括存储器，用于保存图像数据作运算处理。

进一步的，终端处理器内部设置多个接收队列，多个接收队列包含两种类型：一类为传感器信息接收队列，一类为图像信息接收队列，此两类接收队列均是按照接收时间先后顺序将数据包放入；

边缘计算节点发送的数据包包含类型标识，该类型标识用于标识发送的数据包为传感器信息或图像信息；

终端处理器根据数据包的类型标识，将数据包放入其对应的传感器信息接收队列或图像信息接收队列。

进一步的，终端处理器设置的接收队列中，针对每个边缘计算节点都设置一个一一对应的传感器信息接收队列和一个图像信息接收队列；

边缘计算节点发送的数据包还包含边缘计算节点标识，该边缘计算节点标识用于标识发送数据包的边缘计算节点；

终端处理器在接收数据包时，根据接收到的数据包中的边缘计算节点标识按照接收时间排序存入所标识的边缘计算节点所一一对应的传感器信息接收队列或图像信息接收队列进行暂存。

进一步的，终端处理器通过轮询处理方式来对每个边缘计算节点对应的接收队列中的数据进行处理；对于一个边缘计算节点对应的图像信息接收队列和传感器信息接收队列，图像信息接收队列的优先级高于传感器信息接收队列。

进一步的，边缘计算节点发送图像信息数据包时，每个数据包都附加一发送时间戳信息；终端处理器在当前边缘计算节点中的处理时隙，终端处理器进一步判断图像信息接收队列中排序最前的数据包的发送时间戳与当前系统时间的差值是否大于一预设阈值，如果大于预设阈值，则只将该排序最前的数据包存入数据中心，不做解包处理，即做丢包处理，然后继续判断下一个排序最前的数据包的发送时间戳与当前系统时间的差值是否大于一预设阈值，直到当前排序最前的数据包的发送时间戳与当前系统时间的差值小于等于一预设阈值，则将当前排序最前的数据包进行解压缩处理，并将其与前一个解压缩处理的图像数据包发送到虚拟成像设备。

进一步地，每隔固定时间，边缘计算节点发送一帧完整图像信息，而不仅仅只发送相对于前一帧图像发生变化的数据。

本发明所提出的一种基于虚拟成像技术的强映射数字孪生系统很好地解决了当前数字孪生系统存在的信息映射强度低、数字实体信息展示不全面、信息量和系统实时性难以兼顾的问题，产生的有益效果总结如下：

1)本发明通过边缘计算节点实现传感器数据的就近计算处理、数据变换、数据压缩和数据分发，实现了信息的就近处理和有用信息的提取，减轻了数据库的存储压力；

2)本发明通过虚拟成像技术提高了数字孪生系统的信息映射强度，一方面将设备实体的姿态信息、运动趋势和周围环境的变化实时反映到终端的三维立体空间中，展示了更多的实体设备细节，另一方面将设备实体的其他状态信息通过智能变换为图像状态，并进行虚拟成像，真实的反映了设备实体的健康状态。

3)本发明采用增量压缩编码技术，仅保留每一时刻环境图像的增量信息，在保证信息完整性的前提下降低了数据传输的压力，提高了系统信息映射能力和实时性。

4)本发明提出的边缘计算方法，由边缘计算节点对附近传感器数据进行即时处理和数据过滤，在终端处理器进行数据分析和显示，该方法极大地降低了终端处理器的计算负担，提高了整个数字孪生系统的信息映射效率。

综合来看，本发明较好地解决了目前数字孪生系统中存在的以下问题：信息共享不充分、展示效果不理想、大数据量影响系统实时性，该系统适用于强映射数据孪生系统，应用领域广泛。

【附图说明】

此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：

图1是本发明的总体方案图。

【具体实施方式】

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

数字孪生系统是CPS系统的核心技术之一，对数字孪生系统而言，其终端显示需要海量数据支撑，而受限于信息传输带宽，有必要在信息传输前进行价值信息的提取和过滤，同时数字孪生系统会产生大量需要处理的短周期数据，由于物理现场复杂多变，需要数字孪生系统具备一定的边缘计算能力。

参见图1，本发明提供一种基于虚拟成像技术的强映射数字孪生系统，包括：物理系统、多传感器采集系统、边缘计算节点、数据中心、终端处理器、虚拟成像系统，其中：

物理系统为数字孪生系统的应用场景，包括场景中的实体设备及实体设备周边的物理环境。物理设备具有通讯接口，提供给传感器接入使用。

仿真系统为数字孪生系统的优化和虚拟调试环境，提供环境模拟、数据流模拟、传感器模拟和虚拟成像模拟和虚拟调试功能，为数字孪生系统提供学习进化环境，优化传感器的数量和分布范围，并指导物理系统的构建，以实现信息的高效传递，减少冗余信息；

多传感器采集系统包括检测实体设备行为信息和状态信息的传感器、检测实体设备周边环境的传感器，可对物理设备的状态信息、行为信息及周边环境信息进行采集。

边缘计算节点与多传感器采集系统通过有线或无线通信连接，接收周边传感器传送过来的具有不同协议的物理信息数据并进行实时计算和分析过滤，其中对数据量特别大的图像信息采用增量压缩编码技术，仅保存相对于前一帧图像发生变化的数据，然后以统一的协议将图像数据和其他过滤后的传感器信息打包处理，并将打包后的数据包发送至终端处理器进行统一处理，边缘计算节点具备少量的存储能力，可保存少量图像数据作运算处理。

终端处理器以无线方式与边缘计算节点进行通信连接，并与数据中心连接，对接收到的协议数据进行解包处理，获得设备的物理状态数据和健康状态信息及用于显示设备状态的三维图像信息1，同时将解包后得到的节点信息存入数据中心。同时，终端处理器应用仿真模型并结合数据中心的设备实体历史数据，完成对设备实体的运行状态的分析诊断，并将诊断结果变换成可记录设备物理状态数据和健康状态信息的三维图像信息2。

虚拟成像设备与数据中心和终端处理器连接，用于对终端处理器的处理结果进行3D成像显示。虚拟成像设备接收自终端处理器处理的三维图像信息1和三维图像信息2，并将其按照所需的比例投射到真实的三维空间中，进行投射时，可采用增强现实技术将接收的真实的三维图像信息1和反映物理状态数据和健康状态信息的三维图像信息2融合在一起，实现图像仿真。

终端处理器为了提高实时处理效率，在终端处理器内部设置多个接收队列，多个接收队列包含两种类型：一类为传感器信息接收队列，一类为图像信息接收队列，此两类接收队列均是按照接收时间先后顺序将数据包放入；边缘计算节点发送的数据包包含类型标识，类型标识为0表示该数据包中包含的是传感器信息，类型标识为1表示该数据包中包含的是图像信息。终端处理器接收到边缘计算节点发送的数据包时，首先判断数据包中的类型标识，如果类型标识为0，则将数据包放入传感器信息接收队列；如果类型标识为1，则将数据包放入图像信息接收队列。

其中，终端处理器设置的接收队列中，针对每个边缘计算节点都设置一个一一对应的传感器信息接收队列和一个图像信息接收队列，边缘计算节点发送的数据包还包含边缘计算节点标识，该边缘计算节点标识用于标识发送数据包的边缘计算节点；终端处理器在接收数据包时，根据接收到的数据包中的边缘计算节点标识按照接收时间排序存入所标识的边缘计算节点所一一对应的传感器信息接收队列或图像信息接收队列进行暂存。

终端处理器通过轮询处理方式来对每个边缘计算节点对应的接收队列中的数据进行处理；对于一个边缘计算节点对应的图像信息接收队列和传感器信息接收队列，图像信息接收队列的优先级高于传感器信息接收队列，即在当前边缘计算节点中的处理时隙，终端处理器优先处理图像信息接收队列中的三维图像信息1，并实时地将三维图像信息1发送给虚拟成像设备，以便虚拟成像设备实时显示设备状态；在处理完图像信息接收队列中的一个数据包后，再处理传感器信息接收队列中的数据包，并将数据包中的传感器信息发送给数据中心存储。

为了进一步提高实时处理速率，对于图像信息接收队列中的数据包，每个数据包都包含一发送时间戳信息，终端处理器在当前边缘计算节点中的处理时隙，终端处理器进一步判断图像信息接收队列中排序最前的数据包的发送时间戳与当前系统时间的差值是否大于一预设阈值，如果大于预设阈值，则只将该排序最前的数据包存入数据中心，不做解包处理，即做丢包处理，然后继续判断下一个排序最前的数据包的发送时间戳与当前系统时间的差值是否大于一预设阈值，直到当前排序最前的数据包的发送时间戳与当前系统时间的差值小于等于一预设阈值，则将当前排序最前的数据包进行解压缩处理，并将其与前一个解压缩处理的图像数据包发送到虚拟成像设备。通过此方式，保证了图像信息的实时性，对于过期的图像数据包，无需处理。

进一步地，由于边缘计算节点采用增量压缩编码方法来发送图像信息，而终端处理器的丢包处理会使得图像信息有偏差，而当终端处理器丢包处理次数增多后，该偏差会累计，从而导致虚拟成像设备最后处理的图像信息与边缘计算节点实际想发送的图像信息之间存在较大偏差，造成了图像失真。为了克服该缺陷，边缘计算节点每个固定时间，重置图像信息的发送，即，每个固定时间，边缘计算节点发送一帧完整图像信息，而不仅仅只发送相对于前一帧图像发生变化的数据。

本发明所涉及的虚拟成像技术包括但不限于全息影像技术、数字全息技术、3D立体成像技术、幻影成像技术和增强现实技术等。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于虚拟成像的强映射数字孪生系统，包括：物理系统、仿真系统、多传感器采集系统、边缘计算节点、数据中心、终端处理器、虚拟成像系统，其中：

物理系统为数字孪生系统的应用场景，包括场景中的实体设备及实体设备周边的物理环境；物理设备具有通讯接口，物理设备通过该通讯接口与传感器连接；

仿真系统为数字孪生系统的优化和虚拟调试环境，提供环境模拟、数据流模拟、传感器模拟和虚拟成像模拟和虚拟调试功能，为数字孪生系统提供学习进化环境，优化传感器的数量和分布范围，并指导物理系统的构建，以实现信息的高效传递，减少冗余信息；

多传感器采集系统包括仿真优化的多个传感器，多个传感器包括检测实体设备行为信息和状态信息的传感器、检测实体设备周边环境的传感器，该多传感器系统采集物理设备的状态信息、行为信息及周边环境信息；

边缘计算节点与多传感器采集系统进行通信连接，其接收周边传感器传送过来的具有不同协议的物理信息数据并进行实时计算和分析过滤，并将计算和分析过滤后的数据打包为数据包发送给终端处理器。

终端处理器与边缘计算节点进行通信连接，并与数据中心连接，对接收到的数据包进行解包处理，获得设备的物理状态数据和健康状态信息及用于显示设备状态的第一三维图像信息，同时将解包后得到的节点信息存入数据中心；终端处理器还应用仿真模型并结合数据中心的设备实体历史数据，完成对设备实体的运行状态的分析诊断，并将诊断结果变换成可记录设备物理状态数据和健康状态信息的第二三维图像信息；并将第一三维图像信息和第二三维图像信息发送给虚拟成像设备；

虚拟成像设备与数据中心和终端处理器连接，用于对终端处理器的处理结果进行3D成像显示，虚拟成像设备接收自终端处理器处理的第一三维图像信息和第二三维图像信息，并将其按照所需的比例投射到真实的三维空间中。

2.根据权利要求1所述的方法，其特征在于，虚拟成像设备进行投射时，采用增强现实技术将接收的真实的第一三维图像信息和反映物理状态数据和健康状态信息的第二三维图像信息融合在一起，实现图像仿真。

3.根据权利要求1所述的方法，其特征在于，边缘计算节点与多传感器采集系统的通信连接为无线或有线连接，终端处理器与边缘计算节点的通信连接为无线连接。

4.根据权利要求1所述的方法，其特征在于，边缘计算节点在数据打包时，对数据量特别大的图像信息采用增量压缩编码，仅保存相对于前一帧图像发生变化的数据，然后以统一的协议将图像数据和其他过滤后的传感器信息打包处理，并将打包后的数据包发送至终端处理器进行统一处理。

5.根据权利要求1所述的方法，其特征在于，边缘计算节点还包括存储器，用于保存图像数据作运算处理。

6.根据权利要求1所述的方法，其特征在于，终端处理器内部设置多个接收队列，多个接收队列包含两种类型：一类为传感器信息接收队列，一类为图像信息接收队列，此两类接收队列均是按照接收时间先后顺序将数据包放入；

边缘计算节点发送的数据包包含类型标识，该类型标识用于标识发送的数据包为传感器信息或图像信息；

终端处理器根据数据包的类型标识，将数据包放入其对应的传感器信息接收队列或图像信息接收队列。

7.根据权利要求6所述的方法，其特征在于，终端处理器设置的接收队列中，针对每个边缘计算节点都设置一个一一对应的传感器信息接收队列和一个图像信息接收队列；

边缘计算节点发送的数据包还包含边缘计算节点标识，该边缘计算节点标识用于标识发送数据包的边缘计算节点；

终端处理器在接收数据包时，根据接收到的数据包中的边缘计算节点标识按照接收时间排序存入所标识的边缘计算节点所一一对应的传感器信息接收队列或图像信息接收队列进行暂存。

8.根据权利要求7所述的方法，其特征在于，终端处理器通过轮询处理方式来对每个边缘计算节点对应的接收队列中的数据进行处理；对于一个边缘计算节点对应的图像信息接收队列和传感器信息接收队列，图像信息接收队列的优先级高于传感器信息接收队列。

9.根据权利要求8所述的方法，其特征在于，边缘计算节点发送图像信息数据包时，每个数据包都附加一发送时间戳信息；终端处理器在当前边缘计算节点中的处理时隙，终端处理器进一步判断图像信息接收队列中排序最前的数据包的发送时间戳与当前系统时间的差值是否大于一预设阈值，如果大于预设阈值，则只将该排序最前的数据包存入数据中心，不做解包处理，即做丢包处理，然后继续判断下一个排序最前的数据包的发送时间戳与当前系统时间的差值是否大于一预设阈值，直到当前排序最前的数据包的发送时间戳与当前系统时间的差值小于等于一预设阈值，则将当前排序最前的数据包进行解压缩处理，并将其与前一个解压缩处理的图像数据包发送到虚拟成像设备。

10.根据权利要求9所述的方法，其特征在于，每隔固定时间，边缘计算节点发送一帧完整图像信息，而不仅仅只发送相对于前一帧图像发生变化的数据。