CN110505464A - 一种数字孪生系统、方法及计算机设备 - Google Patents

Abstract

本申请实施例公开了一种数字孪生系统、方法及计算机设备。本申请实施例提供的技术方案，通过多路影像采集系统采集到的多路影像，经由多路影像实时回传控制系统和数据同步系统实时回传到视频实时解算系统进行实时解算，解算结果和三维场景、多源数据经由虚拟三维渲染系统映射、融合和可视化直观展示，并可在交互界面中对虚实交互中间件进行交互操作，从而对实体控制系统进行控制，实现对现场设备的控制。

Description

一种数字孪生系统、方法及计算机设备

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种数字孪生系统、方法及计算机设备。

背景技术

当前，以物联网、大数据、人工智能等新技术为代表的数字浪潮席卷全球，物理世界和与之对应的数字世界正形成两大体系平行发展、相互作用。数字世界为了服务物理世界而存在，物理世界因为数字世界变得高效有序，数字孪生技术应运而生，从制造业逐步延伸拓展至城市空间，深刻影响着城市规划、建设与发展。

基于多源数据融合的城市信息模型是核心，城市全域部署的智能设施和感知体系是前提，支撑孪生城市高效运行的智能专网是保障，数字孪生城市可在数字化水平相对较高、需要运行机理建模、实现虚实空间协同优化、彰显多维智能决策支撑等方向提供支持。

目前，数字孪生系统仅仅在三维显示界面中对三维模型进行展示，无法根据实时侦测情况进行现场设备的控制。

发明内容

本申请实施例提供一种数字孪生系统、方法及计算机设备，以在构建并展示数据场景的同时，还可根据实时侦测情况进行现场设备的控制，实现场景要素的可知、可测、可控。

在第一方面，本申请实施例提供了一种数字孪生系统，包括场景叠加及分析系统、视频实时解算系统、多源数据采集及处理分析系统、虚拟三维渲染系统和虚实交互中间件，其中：

场景叠加及分析系统，保存有现场的三维场景，并将所述三维场景作为底图；

视频实时解算系统，对接收到的视频流进行实时解算以得到视频帧；

多源数据采集及处理分析系统，接收并存储多源数据，并进行基本分析处理，将多源数据转换为三维表示格式；

虚拟三维渲染系统，以所述三维场景为底图，将所述视频帧在所述三维场景中进行映射和融合，将所述多源数据在所述三维场景中进行位置匹配和融合，将虚实交互中间件在所述三维场景中进行映射，并对融合后的三维场景进行渲染与交互，响应于对虚实交互中间件的交互操作生成交互指令并发送至虚实交互中间件；

虚实交互中间件，用于向外发送虚拟三维渲染系统发出的交互指令。

进一步的，所述视频流由多路影像采集系统对现场多个位置的影像进行采集而生成，所述多路影像采集系统生成的视频流经多路影像实时回传控制系统进行回传。

进一步的，所述系统还包括数据同步系统，用于对多路影像实时回传控制系统回传的视频流进行数据同步，所述数据同步具体为时间同步，使得回传的同批次的视频流位于同一时间切片空间。

进一步的，所述视频实时解算系统包括视频帧提取模块和硬件解码器，其中：

视频帧提取模块，利用FFMPEG库从视频流中提取帧数据；

硬件解码器，用于对帧数据进行解算以获得视频帧。

进一步的，所述多源数据采集及处理分析系统包括多源数据采集系统和多源数据分析系统，其中：

多源数据采集系统，用于接受并存储多源传感器回传的多源数据；

多源数据分析系统，用于对多源数据进行基本分析处理，并将多源数据转换为三维表示格式。

进一步的，所述虚实交互中间件包括指令接收模块和指令传输模块，其中：

指令接收模块，用于接收虚拟三维渲染系统发出的交互指令；

指令传输模块，用于将交互指令传输至交互指令指向的实体控制系统。

进一步的，根据用于回传多源数据的多源传感器与虚实交互中间件的位置对应关系，使得所述多源数据在三维场景中渲染的位置与虚实交互中间件的位置对应。

进一步的，所述虚拟三维渲染系统还响应于多源数据的变化，对虚实交互中间件在三维场景中的渲染状态进行改变。

在第二方面，本申请实施例提供了一种数字孪生方法，包括：

场景叠加及分析系统对现场的三维场景进行保存，并将所述三维场景作为底图；

视频实时解算系统对接收到的视频流进行实时解算以得到视频帧；

多源数据采集及处理分析系统接受并储存多源数据，并进行基本分析处理，将多源数据转换为三维表示格式；

虚拟三维渲染系统以三维场景为底图，将所述视频帧在所述三维场景中进行映射和融合，将所述多源数据在所述三维场景中进行位置匹配和融合，将虚实交互中间件在所述三维场景中进行映射，并对融合后的三维场景进行渲染与交互；

虚拟三维渲染系统响应于对虚实交互中间件的交互操作生成交互指令并发送至虚实交互中间件；

虚实交互中间件向外发送虚拟三维渲染系统发出的交互指令。

在第三方面，本申请实施例提供了一种计算机设备，包括：显示屏、输入装置、存储器以及一个或多个处理器；

所述显示屏，用于进行虚实交互界面的显示；

所述输入装置，用于接收交互操作；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第二方面所述的数字孪生方法。

在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如第二方面所述的数字孪生方法。

本申请实施例通过多路影像采集系统采集现场的多路影像，经由多路影像实时回传控制系统实时回传视频流并对视频流进行时间同步，经同步后的视频流由视频实时解算系统进行实时解算得到视频帧；多源传感器对现场环境进行检测并生成对应的多源数据，并传送至多源数据采集及处理分析系统进行分析处理，并转换为可在三维场景中进行展示的三维表示格式；然后将现场的三维场景作为底图，由虚拟三维渲染系统将视频帧和多源数据在三维场景中进行匹配、映射、融合，并对融合后的三维场景进行渲染，同时对融合后的三维场景进行可视化直观展示，并可通过虚拟三维渲染系统对融合后的三维场景进行交互，交互操作所产生的交互指令经由虚实交互中间件发送至实体控制系统，实体控制系统响应于交互指令对现场设备进行控制。通过本申请实施例，所述数字孪生系统对三维场景和实时视频帧、现场的多源数据进行映射、融合和可视化直观展示，三维显示界面更为真实全面，同时通过虚拟三维渲染系统实现对融合后的三维场景进行交互，在需要对现场设备进行控制时，通过虚实交互中间件向用于控制现场设备的实体控制系统发出交互指令，从而实现对现场设备的控制，真正实现场景要素的可知、可测、可控。

附图说明

图1是本申请实施例提供的一种数字孪生系统的结构示意图；

图2是本申请实施例提供的另一种数字孪生系统的结构示意图；

图3是本申请实施例提供的另一种数字孪生系统的结构示意图；

图4是本申请实施例提供的一种数字孪生方法的流程示意图；

图5是本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

图1给出了本申请实施例提供的一种数字孪生系统的结构示意图。参考图1，该数字孪生系统包括场景叠加及分析系统110、视频实时解算系统140、多源数据采集及处理分析系统150、虚拟三维渲染系统160和虚实交互中间件170。其中：

场景叠加及分析系统110，保存有现场的三维场景，并将三维场景作为底图。具体的，其中三维场景的来源可以是从外部服务器中添加获得，也可以是在本地进行三维建模得到，在获得三维场景后将其保存在本地，并将三维场景作为底图，将其他关心的数据在三维场景上进行融合，将三维场景作为基本分析的出发点。

视频实时解算系统140，对接收到的视频流进行实时解算以得到视频帧。

多源数据采集及处理分析系统150，接收并存储多源数据，并进行基本分析处理，将多源数据转换为三维表示格式。

虚拟三维渲染系统160，以三维场景为底图，将视频帧在三维场景中进行映射和融合，将多源数据在三维场景中进行位置匹配和融合，将虚实交互中间件170在三维场景中进行映射，并对融合后的三维场景进行渲染与交互，响应于对虚实交互中间件170的交互操作生成交互指令并发送至虚实交互中间件170。

具体的，虚拟三维渲染系统160在将视频帧在三维场景中进行映射和融合时，确定视频帧中的像素与三维场景中的三维点之间的映射关系，并根据映射关系将视频帧在三维场景中进行纹理映射，并对纹理映射的重合区域进行平滑过渡处理，从而将视频帧融合在三维场景中。

进一步的，虚拟三维渲染系统160在将多源数据在三维场景中进行位置匹配和融合时，根据多源传感器与虚实交互中间件170的位置对应关系，即根据多源数据中携带的位置信息或设备识别号确定多源数据对应三维场景中的位置，并将多源数据按照目标表现形式在三维场景中进行映射，使得多源数据在三维场景中渲染的位置与虚实交互中间件170的位置对应，从而完成多源数据在三维场景中进行位置匹配和融合。

虚实交互中间件170，用于向外发送虚拟三维渲染系统160发出的交互指令。其中交互指令指向所需要控制的设备并用于指示现场设备执行相应动作。

上述，通过视频实时解算系统140对接收到的视频流进行实时解算并得到视频帧，同时多源数据采集及处理分析系统150对接收到的多源数据进行处理并转换为三维表示格式，然后将视频帧、多源数据和三维场景经由虚拟三维渲染系统160映射、融合和可视化直观展示，并可对渲染后的三维场景进行交互操作，交互所产生的交互指令经由虚实交互中间件170发送至现场设备的控制模块中，现场设备可响应于交互指令执行相应动作，从而实现对现场设备的控制。

图2给出了本申请实施例提供的另一种数字孪生系统的结构示意图。参考图2，该数字孪生系统包括场景叠加及分析系统110、视频实时解算系统140、多源数据采集及处理分析系统150、虚拟三维渲染系统160和虚实交互中间件170。其中：

场景叠加及分析系统110，保存有现场的三维场景，并将三维场景作为底图。

视频实时解算系统140，对接收到的视频流进行实时解算以得到视频帧。

具体的，视频实时解算系统140包括视频帧提取模块141和硬件解码器142，其中：

视频帧提取模块141，利用FFMPEG库从视频流中提取帧数据。FFMPEG库是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序，可实现本实施例中提取帧数据的要求。

硬件解码器142，用于对帧数据进行解算以获得视频帧。本实施例中硬件解码器142为内置在NVIDIA显卡内部的独立的视频解码模块。

进一步的，其中视频流由多路影像采集系统190(由多路视频采集装置组成)对现场多个位置的影像进行采集而生成。

多源数据采集及处理分析系统150，接受并存储多源数据，并进行基本分析处理，将多源数据转换为三维表示格式。

具体的，多源数据采集及处理分析系统150包括多源数据采集系统151和多源数据分析系统152，其中：

多源数据采集系统151，用于接受并存储多源传感器回传的多源数据。

多源传感器的选用根据现场所关注的目标、设备和实际情况进行选择，并安装在对应的位置。在现场安装多源数据接入交换机，用于对多源传感器的监测数据进行接入汇聚，并经有线或无线的方式传输至多源数据采集系统151侧设置的多源数据接入交换机，该多源数据接入交换机将接收到的多源数据发送至多源数据采集系统151，多源数据采集系统151再将接收到的多源数据发送至多源数据分析系统152。

多源数据分析系统152，用于对多源数据进行基本分析处理，并将多源数据转换为三维表示格式。

示例性的，在多源数据采集系统151输出反应所监测设备情况的多源数据后，多源数据分析系统152根据需求接收多源数据并对多源数据进行基本分析处理，如进行AD转换、阈值分析、趋势分析、预警分析、数值范围、工作状态等，其三维表示格式应理解为在虚拟三维渲染系统160中的目标表现形式对应的格式，其目标表现形式可以是所监测数据的实时数值、实时状态、数据表格、颜色等形式的一种或多种的组合。

虚拟三维渲染系统160，以三维场景为底图，将视频帧在三维场景中进行映射和融合，将多源数据在三维场景中进行位置匹配和融合，将虚实交互中间件170在三维场景中进行映射，并对融合后的三维场景进行渲染与交互，响应于对虚实交互中间件170的交互操作生成交互指令并发送至虚实交互中间件170。

虚实交互中间件170，用于向外发送虚拟三维渲染系统160发出的交互指令。

具体的，虚实交互中间件170包括指令接收模块171和指令传输模块172，其中指令接收模块171，用于接收虚拟三维渲染系统160发出的交互指令；指令传输模块172，用于将交互指令传输至交互指令指向的设备。

上述，通过视频帧提取模块141和硬件解码器142对接收到的视频流进行实时解算得到视频帧，同时多源数据采集系统151接收多源数据，并经多源数据分析系统152进行处理并转换为三维表示格式，然后将视频帧、多源数据和三维场景经由虚拟三维渲染系统160映射、融合和可视化直观展示，并可对渲染后的三维场景进行交互操作，交互所产生的交互指令发送至指令接收模块171，并由指令传输模块172发送至现场设备的控制模块中，现场设备可响应于交互指令执行相应动作，从而实现对现场设备的控制。

图3给出了本申请实施例提供的另一种数字孪生系统的结构示意图。参考图3，该数字孪生系统包括场景叠加及分析系统110、数据同步系统120、视频实时解算系统140、多源数据采集及处理分析系统150、虚拟三维渲染系统160和虚实交互中间件170，其中数据同步系统120连接有多路影像实时回传控制系统130，多路影像实时回传控制系统130连接有多路影像采集系统190，虚实交互中间件170连接有实体控制系统180。

具体的，场景叠加及分析系统110，保存有现场的三维场景，并将所述三维场景作为底图。其中三维场景的来源可以是从外部服务器中添加获得，也可以是在本地进行三维建模得到，在获得三维场景后将其保存在本地，并将三维场景作为底图，即将其他关心的数据在三维场景上进行融合，将三维场景作为基本分析的出发点。

进一步的，场景叠加及分析系统110将三维场景的三维数据进行区块划分，并且在现场的三维场景进行更新时，场景叠加及分析系统110接收对应区块的三维更新数据包，三维更新数据包应包含所指向的区块用于更新的三维数据，场景叠加及分析系统110将对应区块的三维数据更换成三维更新数据包中的三维数据，保证三维场景的时效性。

具体的，多路影像采集系统190，包括多路视频采集装置，用于对现场多个位置进行影像采集并生成视频流。

本实施例中，多路视频采集装置应包含支持最大数量不少于100个的视频采集装置(如摄像头)。其中，每个视频采集装置不低于200万像素,分辨率为1920X1080，还可根据实际需要选择以下功能：一体化ICR双滤光片日夜切换，透雾功能，电子防抖，多种白平衡模式切换，视频自动光圈，支持H.264编码等。

每个视频采集装置对现场的不同区域进行监测，并且多路视频采集装置的监测范围应覆盖三维场景所对应的现场的范围，即现场所关心的范围均应被监测到。

进一步的，多路影像实时回传控制系统130，用于对多路影像采集系统190生成的视频流进行回传。

本实施例中，多路影像实时回传控制系统130的有效传输距离应不低于3KM，视频码流应不低于8Mpbs，时延应不高于80ms，保证展示效果的时效性。

示例性的，在多路影像采集系统190侧设置接入交换机，对多路影像采集系统190生成的视频流进行收集，并将收集的视频流汇聚至汇聚交换机或中台中，汇聚交换机或中台将视频流进行预处理后发送至多路影像实时回传控制系统130，多路影像实时回传控制系统130将视频流回传至数据同步系统120进行同步处理。

可选的，汇聚交换机和两侧的接入交换机的连接可以通过有线和/或无线的方式进行通讯连接。通过有线连接时，可通过RS232、RS458、RJ45、总线等方式进行连接，通过无线进行连接时，若相互之间距离较近，可通过WiFi、ZigBee、蓝牙等近场通信模块进行无线通讯，在距离较远时，可通过无线网桥、4G模块、5G模块等进行远距离无线通讯连接。

数据同步系统120，接收多路影像实时回传控制系统130回传的视频流并用于对回传的视频流进行数据同步。同步后的视频流发送至视频实时解算系统140进行解算。所述数据同步具体为时间同步，使得回传的同批次的视频流位于同一时间切片空间。本实施例中数据同步系统120应支持最大数量不少于100个视频采集装置回传视频流的数据同步。其中时间切片空间可理解为若干固定大小的真实时间区间抽象。

具体的，视频实时解算系统140，用于对所述视频流进行实时解算以得到视频帧。

进一步的，视频实时解算系统140包括视频帧提取模块141和硬件解码器142，其中：

视频帧提取模块141，利用FFMPEG库从视频流中提取帧数据。FFMPEG库是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序，可实现本实施例中提取帧数据的要求。

硬件解码器142，用于对帧数据进行解算以获得视频帧。本实施例中硬件解码器142为内置在NVIDIA显卡内部的独立的视频解码模块，支持H.264和H.265解码，最大分辨率8K。

具体的，多源数据采集及处理分析系统150，接受并存储多源传感器回传的多源数据，并进行基本分析处理，将多源数据转换为三维表示格式。

进一步的，多源数据采集及处理分析系统150包括多源数据采集系统151和多源数据分析系统152，其中：

多源数据采集系统151，用于接受并存储多源传感器回传的多源数据。

示例性的，多源传感器至少包括电阻式传感器、电容式传感器、电感式传感器、电压式传感器、热电式传感器、阻抗式传感器、磁电式传感器、光电式传感器、谐振式传感器、霍尔式传感器、超声式传感器、同位素式传感器、电化学式传感器、微波式传感器等中的一种或多种。

多源传感器的选用根据现场所关注的目标、设备和实际情况进行选择，并安装在对应的位置。在现场安装多源数据接入交换机，用于对多源传感器的监测数据进行接入汇聚，并经有线或无线的方式传输至多源数据采集系统151侧设置的多源数据接入交换机，该多源数据接入交换机将接收到的多源数据发送至多源数据采集系统151，多源数据采集系统151再将接收到的多源数据发送至多源数据分析系统152。

具体的，多源数据分析系统152，用于对多源数据进行基本分析处理，并将多源数据转换为三维表示格式。

示例性的，在多源数据采集系统151输出反应所监测设备情况的多源数据后，多源数据分析系统152根据需求接收多源数据并对多源数据进行基本分析处理，如进行AD转换、阈值分析、趋势分析、预警分析、数值范围、工作状态等，其三维表示格式应理解为在虚拟三维渲染系统160中的目标表现形式对应的格式，其目标表现形式可以是所监测数据的实时数值、实时状态、数据表格、颜色等形式的一种或多种的组合。

具体的，虚拟三维渲染系统160，以三维场景为底图，将视频帧在三维场景中进行映射和融合，将多源数据在三维场景中进行位置匹配和融合，将虚实交互中间件170在三维场景中进行映射，并对融合后的三维场景进行渲染与交互，响应于对虚实交互中间件170的交互操作生成交互指令并发送至虚实交互中间件170。

具体的，将视频帧在三维场景中进行映射和融合时，确定视频帧中的像素与三维场景中的三维点之间的映射关系，并根据映射关系将视频帧在三维场景中进行纹理映射，并对纹理映射的重合区域进行平滑过渡处理，从而将视频帧融合在三维场景中。

进一步的，在将多源数据在三维场景中进行位置匹配和融合时，根据多源传感器与虚实交互中间件170的位置对应关系，即根据多源数据中携带的位置信息或设备识别号确定多源数据对应三维场景中的位置，并将多源数据按照目标表现形式在三维场景中进行映射，使得多源数据在三维场景中渲染的位置与虚实交互中间件170的位置对应，从而完成多源数据在三维场景中进行位置匹配和融合。

进一步的，虚拟三维渲染系统160还响应于多源数据的变化，对虚实交互中间件170在三维场景中的渲染状态进行改变。示例性的，可根据对应设备的多源数据的数值范围或工作状态对虚实交互中间件170在三维场景的颜色或表现状态进行对应性的改变，如对不同数值范围用不同的颜色进行区分、不同的工作状态用开关状态的形式表示。

具体的，虚实交互中间件170，用于实现虚拟三维渲染系统160与实体控制系统180之间的交互指令的传输。

具体的，实体控制系统180接收来自虚实交互中间件170的交互指令，响应于交互指令对现场设备进行相应的控制。

具体的，虚实交互中间件170包括指令接收模块171和指令传输模块172，其中指令接收模块171，用于接收虚拟三维渲染系统160发出的交互指令；指令传输模块172，用于将交互指令传输至交互指令指向的实体控制系统180。

示例性的，根据三维场景中多源数据交互的需要，可在三维场景中与多源数据对应的位置展示虚实交互中间件170的指令接收模块171，指令接收模块171的表现形式可以是物理按钮三维模型的形式，还可以是对应设备的三维模型的形式。

进一步的，实体控制系统180包括在现场设置的对设备进行控制的控制器，控制器可响应于交互指令对设备进行控制。指令传输模块172与控制器之间可以通过有线和/或无线的方式进行通讯连接。通过有线连接时，可通过RS232、RS458、RJ45、总线等方式进行连接，通过无线进行连接时，可通过WiFi、ZigBee、蓝牙、无线网桥、4G模块、5G模块等进行无线通讯连接，在控制器的数量较多时，可通过交换机进行数据的汇集与分发。

在用户选中三维场景中的指令接收模块171以进行交互操作时，虚拟三维渲染系统160根据对应设备的多源数据和预设的交互响应方式生成对应的交互指令并发送至指令接收模块171，交互指令包含对设备的控制指令和位置信息或设备识别号。指令传输模块172根据位置信息或设备识别号将交互指令发送至对应的控制器，控制器响应于控制指令对现场设备进行控制。

上述，通过多路影像采集系统190采集到的多路影像，经由多路影像实时回传控制系统130实时回传视频流到数据同步系统120进行时间同步，视频实时解算系统140对同步后的视频流进行实时解算得到视频帧，同时多源数据采集系统151接收多源数据，并经多源数据分析系统152进行处理并转换为三维表示格式，然后将视频帧、多源数据和三维场景经由虚拟三维渲染系统160映射、融合和可视化直观展示，交互所产生的交互指令发送至虚拟交互中间件中的指令接收模块171，并由指令传输模块172发送至实体控制系统180，实体控制系统180中控制器根据交互指令所指向的设备的位置信息和控制指令控制设备执行相应动作，从而实现对现场设备的控制。

图4给出了本申请实施例提供的一种数字孪生方法的流程示意图，本实施例提供的数字孪生方法可以由数字孪生系统来执行，该数字孪生系统可通过硬件和/或软件的方式实现，并集成在计算机中。参考图4，该数字孪生方法包括：

S201：场景叠加及分析系统对现场的三维场景进行保存，并将所述三维场景作为底图。

具体的，其中三维场景的来源可以是从外部服务器中添加获得，也可以是在本地进行三维建模得到，在获得三维场景后将其保存在本地，并将三维场景作为底图，即将其他关心的数据在三维场景上进行融合，将三维场景作为基本分析的出发点。

进一步的，场景叠加及分析系统将三维场景的三维数据进行区块划分，并且在现场的三维场景进行更新时，场景叠加及分析系统接收对应区块的三维更新数据包，三维更新数据包应包含所指向的区块用于更新的三维数据，场景叠加及分析系统将对应区块的三维数据更换成三维更新数据包中的三维数据，保证三维场景的时效性。

S202：视频实时解算系统对接收到的视频流进行实时解算以得到视频帧。

具体的，进一步的，视频实时解算系统包括视频帧提取模块和硬件解码器，其中：

视频帧提取模块，利用FFMPEG库从视频流中提取帧数据。FFMPEG库是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序，可实现本实施例中提取帧数据的要求。

硬件解码器，用于对帧数据进行解算以获得视频帧。本实施例中硬件解码器为内置在NVIDIA显卡内部的独立的视频解码模块。

S203：多源数据采集及处理分析系统接受并储存多源数据，并进行基本分析处理，将多源数据转换为三维表示格式。

具体的，多源数据采集及处理分析系统包括多源数据采集系统和多源数据分析系统，其中：

多源数据采集系统，用于接受并存储多源传感器回传的多源数据。

多源传感器的选用根据现场所关注的目标、设备和实际情况进行选择，并安装在对应的位置。在现场安装多源数据接入交换机，用于对多源传感器的监测数据进行接入汇聚，并经有线或无线的方式传输至多源数据采集系统侧设置的多源数据接入交换机，其通讯方式与数据回传系统的通讯方式类似，该多源数据接入交换机将接收到的多源数据发送至多源数据采集系统，多源数据采集系统再将接收到的多源数据发送至多源数据分析系统。

具体的，多源数据分析系统，用于对多源数据进行基本分析处理，并将多源数据转换为三维表示格式。

示例性的，在多源数据采集系统输出反应所监测设备情况的多源数据后，多源数据分析系统根据需求接收多源数据并对多源数据进行基本分析处理，如进行AD转换、阈值分析、趋势分析、预警分析、数值范围、工作状态等，其三维表示格式应理解为在虚拟三维渲染系统中的目标表现形式对应的格式，其目标表现形式可以是所监测数据的实时数值、实时状态、数据表格、颜色等形式的一种或多种的组合。

S204：虚拟三维渲染系统以三维场景为底图，将所述视频帧在所述三维场景中进行映射和融合，将所述多源数据在所述三维场景中进行位置匹配和融合，将虚实交互中间件在所述三维场景中进行映射，并对融合后的三维场景进行渲染与交互。

S205：虚拟三维渲染系统响应于对虚实交互中间件的交互操作生成交互指令并发送至虚实交互中间件。

具体的，将视频帧在三维场景中进行映射和融合时，确定视频帧中的像素与三维场景中的三维点之间的映射关系，并根据映射关系将视频帧在三维场景中进行纹理映射，并对纹理映射的重合区域进行平滑过渡处理，从而将视频帧融合在三维场景中。

具体的，在将多源数据在三维场景中进行位置匹配和融合时，根据多源传感器与虚实交互中间件的位置对应关系，即根据多源数据中携带的位置信息或设备识别号确定多源数据对应三维场景中的位置，并将多源数据按照目标表现形式在三维场景中进行映射，使得多源数据在三维场景中渲染的位置与虚实交互中间件的位置对应，从而完成多源数据在三维场景中进行位置匹配和融合。

进一步的，虚拟三维渲染系统还响应于多源数据的变化，对虚实交互中间件在三维场景中的渲染状态进行改变。示例性的，可根据对应设备的多源数据的数值范围或工作状态对虚实交互中间件在三维场景的颜色或表现状态进行对应性的改变，如对不同数值范围用不同的颜色进行区分、不同的工作状态用开关状态的形式表示。

S206：虚实交互中间件向外发送虚拟三维渲染系统发出的交互指令。

具体的，虚实交互中间件用于实现虚拟三维渲染系统与实体控制系统之间的交互指令的传输，实体控制系统接收来自虚实交互中间件的交互指令，响应于交互指令对现场设备进行相应的控制。

进一步的，虚实交互中间件包括指令接收模块和指令传输模块，其中指令接收模块，用于接收虚拟三维渲染系统发出的交互指令；指令传输模块，用于将交互指令传输至交互指令指向的实体控制系统。

上述，通过视频实时解算系统对接收到的视频流进行实时解算，解算结果得到的视频帧，同时多源数据采集及处理分析系统对接收到的多源数据进行处理并转换为三维表示格式，然后将视频帧、多源数据和三维场景经由虚拟三维渲染系统映射、融合和可视化直观展示，并可对渲染后的三维场景进行交互操作，交互所产生的交互指令经由虚实交互中间件发送至现场设备的控制模块中，现场设备可响应于交互指令执行相应动作，从而实现对现场设备的控制。

在上述实施例的基础上，图5为本申请实施例提供的一种计算机设备的结构示意图。参考图5，本实施例提供的计算机设备包括：显示屏24、输入装置25、存储器22、通信模块23以及一个或多个处理器21；所述通信模块23，用于与外界进行通信；所述显示屏24，用于进行虚实交互界面的显示；所述输入装置25，用于接收交互操作；所述存储器22，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器21执行，使得所述一个或多个处理器21实现如本申请实施例所提供的数字孪生方法和系统功能。

存储器22作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的数字孪生方法和系统功能。存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器22可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

进一步的，该计算机设备还包括通信模块23，通信模块23用于与其他设备建立有线和/或无线连接，并进行数据传输。

处理器21通过运行存储在存储器22中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的数字孪生方法和系统功能。

上述提供的数字孪生系统和计算机设备可用于执行上述实施例提供的数字孪生方法，具备相应的功能和有益效果。

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本申请实施例所提供的数字孪生方法，实现本申请实施例所提供的数字孪生系统的功能。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器21执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的数字孪生方法，还可以执行本申请任意实施例所提供的数字孪生方法中的相关操作，从而实现本申请任意实施例所提供的数字孪生系统的功能。

上述实施例中提供的数字孪生系统和计算机设备可执行本申请任意实施例所提供的数字孪生方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的数字孪生系统和方法。

上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims (10)

1.一种数字孪生系统，其特征在于，包括场景叠加及分析系统、视频实时解算系统、多源数据采集及处理分析系统、虚拟三维渲染系统和虚实交互中间件，其中：

场景叠加及分析系统，保存有现场的三维场景，并将所述三维场景作为底图；

视频实时解算系统，对接收到的视频流进行实时解算以得到视频帧；

多源数据采集及处理分析系统，接收并存储多源数据，并进行基本分析处理，将多源数据转换为三维表示格式；

虚拟三维渲染系统，以所述三维场景为底图，将所述视频帧在所述三维场景中进行映射和融合，将所述多源数据在所述三维场景中进行位置匹配和融合，将虚实交互中间件在所述三维场景中进行映射，并对融合后的三维场景进行渲染与交互，响应于对虚实交互中间件的交互操作生成交互指令并发送至虚实交互中间件；

虚实交互中间件，用于向外发送虚拟三维渲染系统发出的交互指令。

2.根据权利要求1所述的数字孪生系统，其特征在于，所述视频流由多路影像采集系统对现场多个位置的影像进行采集而生成，所述多路影像采集系统生成的视频流经多路影像实时回传控制系统进行回传。

3.根据权利要求2所述的数字孪生系统，其特征在于，所述系统还包括数据同步系统，用于对多路影像实时回传控制系统回传的视频流进行数据同步，所述数据同步具体为时间同步，使得回传的同批次的视频流位于同一时间切片空间。

4.根据权利要求1所述的数字孪生系统，其特征在于，所述视频实时解算系统包括视频帧提取模块和硬件解码器，其中：

视频帧提取模块，利用FFMPEG库从视频流中提取帧数据；

硬件解码器，用于对帧数据进行解算以获得视频帧。

5.根据权利要求1所述的数字孪生系统，其特征在于，所述多源数据采集及处理分析系统包括多源数据采集系统和多源数据分析系统，其中：

多源数据采集系统，用于接受并存储多源传感器回传的多源数据；

多源数据分析系统，用于对多源数据进行基本分析处理，并将多源数据转换为三维表示格式。

6.根据权利要求1所述的数字孪生系统，其特征在于，所述虚实交互中间件包括指令接收模块和指令传输模块，其中：

指令接收模块，用于接收虚拟三维渲染系统发出的交互指令；

指令传输模块，用于将交互指令传输至交互指令指向的实体控制系统。

7.根据权利要求1所述的数字孪生系统，其特征在于，根据用于回传多源数据的多源传感器与虚实交互中间件的位置对应关系，使得所述多源数据在三维场景中渲染的位置与虚实交互中间件的位置对应。

8.根据权利要求7所述的数字孪生系统，其特征在于，所述虚拟三维渲染系统还响应于多源数据的变化，对虚实交互中间件在三维场景中的渲染状态进行改变。

9.一种数字孪生方法，其特征在于，包括：

场景叠加及分析系统对现场的三维场景进行保存，并将所述三维场景作为底图；

视频实时解算系统对接收到的视频流进行实时解算以得到视频帧；

多源数据采集及处理分析系统接受并储存多源数据，并进行基本分析处理，将多源数据转换为三维表示格式；

虚拟三维渲染系统以三维场景为底图，将所述视频帧在所述三维场景中进行映射和融合，将所述多源数据在所述三维场景中进行位置匹配和融合，将虚实交互中间件在所述三维场景中进行映射，并对融合后的三维场景进行渲染与交互；

虚拟三维渲染系统响应于对虚实交互中间件的交互操作生成交互指令并发送至虚实交互中间件；

虚实交互中间件向外发送虚拟三维渲染系统发出的交互指令。

10.一种计算机设备，其特征在于，包括：显示屏、输入装置、存储器以及一个或多个处理器；

所述显示屏，用于进行虚实交互界面的显示；

所述输入装置，用于接收交互操作；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求9所述的数字孪生方法。