CN115988182B - 面向数字孪生的远程视频监测方法 - Google Patents

Abstract

本申请公开了一种面向数字孪生的远程视频监测方法和系统，涉及计算机技术领域，该方法包括以下步骤：搭建数字孪生管理模块，所述数字孪生管理模块包括远程端和后台端；建立所述远程端与所述后台端的数据连接；所述远程端采集并上传所述监测现场的视频图像和传感器数据，所述视频图像包括全景图像和动态图像；所述后台端接收视频图像和所述传感器数据，并构建监测现场模型；所述后台端将接收到的所述动态图像和所述传感器数据导入所述监测现场模型实现动态展现。本申请还公开了面向数字孪生的远程视频监测系统，其适用于上述的面向数字孪生的远程视频监测方法。本申请实现了全面的展现监测现场中的动态情况。

Description

面向数字孪生的远程视频监测方法

技术领域

本申请涉及计算机技术领域，具体是面向数字孪生的远程视频监测方法和系统。

背景技术

数字孪生是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。

在现有的远程视频监控技术中，多是基于摄像头采集监测现场的图像信息并回传后实现远程监控，但是，所得到的的信息数据较少且不够全面，因此，将数字孪生和远程视频监控技术结合，是一种能够全面获取监测现场数据的优良手段。

但是，由于监测现场多为动态场景，而现有的一些远程监控技术，无法全面的展示监测现场的动态情况，为此，我们提出了一种面向数字孪生的远程视频监测方法和系统。

发明内容

本申请的目的在于提供一种面向数字孪生的远程视频监测方法和系统，以实现全面的展现监测现场中的动态情况。

为实现上述目的，本申请公开了以下技术方案：

第一方面，本申请公开了一种物联网平台的多维数据融合管理系统，该方法包括以下步骤：

搭建数字孪生管理模块，所述数字孪生管理模块包括：配置为采集监测现场的视频图像、监测现场的传感器数据以及远程发送数据的远程端，和配置为接收所述远程端发送的数据、构建监测现场模型并向所述监测现场模型中导入所述远程端传输的数据的后台端；

建立所述远程端与所述后台端的数据连接；

所述远程端采集所述监测现场的视频图像和传感器数据，并上传采集到的所述视频图像和所述传感器数据，所述视频图像包括全景图像和动态图像；

所述后台端接收所述远程端上传的所述视频图像和所述传感器数据，并基于所述全景图像构建监测现场模型；

所述后台端将接收到的所述动态图像和所述传感器数据导入所述监测现场模型实现动态展现。

在一种实施方式中，基于所述全景图像构建监测现场模型具体包括：

所述后台端基于所述全景图像绘制并渲染所述监测现场的背景；

所述后台端将多个采集时间节点获取的所述全景图像中的静态物定义为第一参考物；

将所述第一参考物按照等比例缩放原则绘制并渲染在所述背景中；

所述后台端基于多个采集时间节点获取的所述全景图像和该全景图像对应的所述传感器数据获取所述监测现场中规律运动的物体并定义为第二参考物；

将所述第二参考物绘制并渲染在所述背景中，基于图像合成和动态模拟算法对所述第二参考物进行动态渲染。

在一种实施方式中，所述后台端将接收到的所述动态图像和所述传感器数据导入所述监测现场模型实现动态展现具体包括：

第一参考物的动态展现：将每一帧所述动态图像中的第一参考物与所述后台端构建的监测现场模型中的第一参考物进行位置比对，当至少一个第一参考物出现位置改变时，在所述监测现场模型中实时进行位置发生改变的第一参考物的重新绘制和渲染；

第二参考物的动态展现：基于所述传感器数据，对所述后台端构建的监测现场模型中的第二参考物的姿态实时进行调整；

其他参考物的动态展现：基于每一帧所述动态图像与所述后台端构建的监测现场模型的比对，在所述监测现场模型中对多出的参考物进行实时的绘制和渲染。

在一种实施方式中，在所述监测现场模型实现动态展现时，所述后台端还对所述第一参考物的动态展现的结果、所述第二参考物的动态展现的结果以及所述其他参考物的动态展现的结果依次进行存储。

在一种实施方式中，该种面向数字孪生的远程视频监测方法还包括：

分析并提取所述动态图像中的数据特征，将获取到的数据特征与预设的预警特征进行比对，当获取到的数据特征满足所述预设的预警特征时，所述后台端发出预警，其中，所述预警特征包括非法人员对被监测区域的进入、非法物体对被监测区域的进入、被监测物的位置变动中的一种或多种。

在一种实施方式中，当获取到的数据特征满足所述预设的预警特征时，所述后台端进行预警校验，其中，所述预警校验具体包括：

提取满足所述预设的预警特征的数据特征对应的动态图像中的至少一帧图片，对提取出的图片进行图像增强处理，对图像增强处理后的图片进行数据特征的提取，并将该图片上提取到的数据特征与预设的预警特征进行比对，当该图片上提取到的数据特征满足所述预设的预警特征时，所述后台端发出预警。

在一种实施方式中，该种面向数字孪生的远程视频监测方法还包括：

分析所述传感器数据，将获取到的传感器数据与预设的特征阈值进行比对，当获取到的数据特征大于所述预设的特征阈值时，所述后台端发出预警。

在一种实施方式中，该种面向数字孪生的远程视频监测方法还包括：

在所述后台端发出预警后，所述后台端将相应的预警情况发送至所述远程端进行现场警报，所述现场警报包括通过扬声器播放警报详请、通过扬声器发出声响进行警报中的至少一种。

第二方面，本申请公开了一种面向数字孪生的远程视频监测系统，包括：

配置为基于数字孪生构建而成的数字孪生管理模块、配置为用于数据存储的数据存储模块；其中，所述数字孪生管理模块包括：配置为采集监测现场的视频图像、监测现场的传感器数据以及远程发送数据的远程端，和配置为接收所述远程端发送的数据、构建监测现场模型并向所述监测现场模型中导入所述远程端传输的数据的后台端。

在一种实施方式中，所述后台端还配置为将所述远程端发送的视频图像和传感器数据与预设的预警特征和特征阈值进行比对，并在比对成功时进行预警；以及，

所述后台端还配置为对所述远程端发送的视频图像进行图像增强处理，并将经过图像增强处理后提取到的数据特征与预设的预警特征进行比对，当该提取到的数据特征满足所述预设的预警特征时，所述后台端发出预警。

有益效果：本申请的面向数字孪生的远程视频监测方法和系统，基于数字孪生管理模块获取置于远程的监测现场的视频图像和传感器数据，并实时地将远程端回传的视频图像和传感器数据导入后台端构建的监测现场模型中，从而实现监测现场中的全景展现和动态展现。进一步地，通过实时地对监测现场中的视频图像和传感器数据与预设的预警特征和特征阈值的比对，全面的对监测现场进行动态预警监测，实现可靠的监控效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例1中面向数字孪生的远程视频监测方法的流程框图；

图2为本申请实施例5中面向数字孪生的远程视频监测系统的结构框图。

具体实施方式

下面将对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本文中，术语“包括”意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

实施例1：在本实施例中，公开了如图1所示的一种面向数字孪生的远程视频监测方法，该方法包括以下步骤：

S101-搭建数字孪生管理模块，所述数字孪生管理模块包括：配置为采集监测现场的视频图像、监测现场的传感器数据以及远程发送数据的远程端，和配置为接收所述远程端发送的数据、构建监测现场模型并向所述监测现场模型中导入所述远程端传输的数据的后台端；

S102-建立所述远程端与所述后台端的数据连接；

S103-所述远程端采集所述监测现场的视频图像和传感器数据，并上传采集到的所述视频图像和所述传感器数据，所述视频图像包括全景图像和动态图像；

S104-所述后台端接收所述远程端上传的所述视频图像和所述传感器数据，并基于所述全景图像构建监测现场模型；

S105-所述后台端将接收到的所述动态图像和所述传感器数据导入所述监测现场模型实现动态展现。

在本实施例中，基于所述全景图像构建监测现场模型具体包括：

所述后台端基于所述全景图像绘制并渲染所述监测现场的背景；

所述后台端将多个采集时间节点获取的所述全景图像中的静态物定义为第一参考物；

将所述第一参考物按照等比例缩放原则绘制并渲染在所述背景中；

所述后台端基于多个采集时间节点获取的所述全景图像和该全景图像对应的所述传感器数据获取所述监测现场中规律运动的物体并定义为第二参考物；

将所述第二参考物绘制并渲染在所述背景中，基于图像合成和动态模拟算法对所述第二参考物进行动态渲染。

基于上述的监测现场模型构建方法，所述后台端将接收到的所述动态图像和所述传感器数据导入所述监测现场模型实现动态展现具体包括：

第一参考物的动态展现：将每一帧所述动态图像中的第一参考物与所述后台端构建的监测现场模型中的第一参考物进行位置比对，当至少一个第一参考物出现位置改变时，在所述监测现场模型中实时进行位置发生改变的第一参考物的重新绘制和渲染；

第二参考物的动态展现：基于所述传感器数据，对所述后台端构建的监测现场模型中的第二参考物的姿态实时进行调整；

其他参考物的动态展现：基于每一帧所述动态图像与所述后台端构建的监测现场模型的比对，在所述监测现场模型中对多出的参考物进行实时的绘制和渲染。

进一步地，在所述监测现场模型实现动态展现时，所述后台端还对所述第一参考物的动态展现的结果、所述第二参考物的动态展现的结果以及所述其他参考物的动态展现的结果依次进行存储。

在动态展现过程中，将所使用的动态图像均分为n个区域，标记为分割区域1、分割区域2、分割区域3……分割区域n，沿着每个区域的边界生成虚拟的三维坐标系，然后在每个区域上寻找m个点作为参考点，将采集时间节点在前的被使用的一帧图像中选出的m个参考点分别映射到对应的三维坐标系中，将每个定位点依次标记为O1、O2、O3……Om，并获取每个参考点在采集时间节点在前的被使用的图像中的三维坐标值（x_p，y_p，z_p），将采集时间节点在后的被使用的一帧图像中选出的m个参考点分别映射到对应的三维坐标系中，并获取每个参考点在采集时间节点在后的被使用的图像中的三维坐标值（X_p，Y_p，Z_p），提取同一个参考点分别在采集时间节点在前的被使用的图像和采集时间节点在后的被使用的图像中所在分割区域的图像n_前、图像n_后，其中，图像n_前为采集时间节点在前的被使用的图像中对应的分割区域，图像n_后采集时间节点在后的被使用的图像中对应的分割区域，计算图像n_前和图像n_后的相似度q，q的计算公式为：

,其中，l为采集时间节点在前的被使用的图像中的分割区域a与集时间节点在后的被使用的图像中分割区域a中重合的像素点的个数，L为采集时间节点在前的被使用的图像和采集时间节点在后的被使用的图像中均分的像素点的总数。

则采集时间节点在前的被使用的图像和采集时间节点在后的被使用的图像的相似度Q为：

。

实施例2：与实施例1不同的是，在本实施例中，该种面向数字孪生的远程视频监测方法还包括：

分析并提取所述动态图像中的数据特征，将获取到的数据特征与预设的预警特征进行比对，当获取到的数据特征满足所述预设的预警特征时，所述后台端发出预警，其中，所述预警特征包括非法人员对被监测区域的进入、非法物体对被监测区域的进入、被监测物的位置变动中的一种或多种。其中，非法人员和非法物体的判断，均可以采用现有技术中的图像比对技术实现。例如，可以预设人员白名单，该名单内的人员均为能够在监测现场出现的，对应的预警特征即为不在该名单内的人员出现在监测现场，基于人脸图像和/或人员姿态图像的预存，比对进入到监测现场中的人员是否为该名单内的人员，且不在该名单内的人员均为非法人员；同理，可以预设物体（例如当监测现场为厂区环境时，此物体可以是工件、工程车等涉及到的相关结构）白名单，该名单内的物体均为能够在监测现场出现的，对应的预警特征即为不在该名单内的物体出现在监测现场，基于物体图像和/或物体姿态图像的预存，比对进入到监测现场中的物体是否为该名单内的物体，且不在该名单内的物体均为非法人员；以及可以预设物体（例如当监测现场为厂区环境时，次物体可以是某一个设备）白名单，该名单内的物体在监测现场中的位置设定为固定位置，对应的预警特征即为该物体在监测现场出现位置变化，基于图像比对获取该物体是否发生位置偏移，当该物体出现位置偏移时，即为满足预警特征。

进一步地，当获取到的数据特征满足所述预设的预警特征时，所述后台端进行预警校验，其中，所述预警校验具体包括：

提取满足所述预设的预警特征的数据特征对应的动态图像中的至少一帧图片，对提取出的图片进行图像增强处理，对图像增强处理后的图片进行数据特征的提取，并将该图片上提取到的数据特征与预设的预警特征进行比对，当该图片上提取到的数据特征满足所述预设的预警特征时，所述后台端发出预警。在图像增强处理过程中，对每个分割区域进行图像增强处理，定义采集时间节点在前的被使用的图像的分割区域a中的p点处的对比场度为V₁，定义采集时间节点在后的被使用的图像的分割区域a中的p点处的对比场度为V₀，V₁和V₀满足

α，其中，/>

为图像增强处理过程中的增强因子，α为常数，可以看出采集时间节点在前的被使用的图像和采集时间节点在后的被使用的图像之间的动态范围存在K倍的差距。通过图像增强处理后，不仅可以提高预警校验中的数据特征和预警特征之间的比对结果准确度，还能够提高采集时间节点在前的被使用的图像和采集时间节点在后的被使用的图像的相似度的计算结果准确度，进而便于明确采集时间节点在前的被使用的图像和采集时间节点在后的被使用的图像之间的差异，进一步准确地实现远程监测结果的数字孪生结果。

实施例3：与实施例2不同的是，在本实施例中，该种面向数字孪生的远程视频监测方法还包括：

分析所述传感器数据，传感器数据一般可以是监测现场中被监测物体的运动数据，例如某一物体的移动数据、某一结构的转动数据以及某一设备的运行数据等，将获取到的传感器数据与预设的特征阈值进行比对，当获取到的数据特征大于所述预设的特征阈值时，所述后台端发出预警。

实施例4：在实施例2和实施例3的基础上，该种面向数字孪生的远程视频监测方法还包括：

在所述后台端发出预警后，所述后台端将相应的预警情况发送至所述远程端进行现场警报，所述现场警报包括通过扬声器播放警报详请、通过扬声器发出声响进行警报中的至少一种。这样做的好处是，实现远程报警进行现场提示的效果，从而实现及时地在现场做出响应，进而降低警报情况对应的损失。

实施例5：基于实施例1-4所述的面向数字孪生的远程视频监测方法，本实施例公开了如图2所示的一种面向数字孪生的远程视频监测系统，该系统包括配置为基于数字孪生构建而成的数字孪生管理模块、配置为用于数据存储的数据存储模块；其中，所述数字孪生管理模块包括：配置为采集监测现场的视频图像、监测现场的传感器数据以及远程发送数据的远程端，和配置为接收所述远程端发送的数据、构建监测现场模型并向所述监测现场模型中导入所述远程端传输的数据的后台端。

进一步地，所述后台端还配置为将所述远程端发送的视频图像和传感器数据与预设的预警特征和特征阈值进行比对，并在比对成功时进行预警；以及，所述后台端还配置为对所述远程端发送的视频图像进行图像增强处理，并将经过图像增强处理后提取到的数据特征与预设的预警特征进行比对，当该提取到的数据特征满足所述预设的预警特征时，所述后台端发出预警。

需要说明的是，在本申请所提供的实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该存储介质可以是只读存储器，磁盘或光盘等。

最后应说明的是：以上所述仅为本申请的优选实施例而已，并不用于限制本申请，尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (5)

1.一种面向数字孪生的远程视频监测方法，其特征在于，该方法包括以下步骤：

搭建数字孪生管理模块，所述数字孪生管理模块包括：配置为采集监测现场的视频图像、监测现场的传感器数据以及远程发送数据的远程端，和配置为接收所述远程端发送的数据、构建监测现场模型并向所述监测现场模型中导入所述远程端传输的数据的后台端；

建立所述远程端与所述后台端的数据连接；

所述远程端采集所述监测现场的视频图像和传感器数据，并上传采集到的所述视频图像和所述传感器数据，所述视频图像包括全景图像和动态图像；

所述后台端接收所述远程端上传的所述视频图像和所述传感器数据，并基于所述全景图像构建监测现场模型；

所述后台端将接收到的所述动态图像和所述传感器数据导入所述监测现场模型实现动态展现；

基于所述全景图像构建监测现场模型具体包括：

所述后台端基于所述全景图像绘制并渲染所述监测现场的背景；

所述后台端将多个采集时间节点获取的所述全景图像中的静态物定义为第一参考物；

将所述第一参考物按照等比例缩放原则绘制并渲染在所述背景中；

所述后台端基于多个采集时间节点获取的所述全景图像和该全景图像对应的所述传感器数据获取所述监测现场中规律运动的物体并定义为第二参考物；

将所述第二参考物绘制并渲染在所述背景中，基于图像合成和动态模拟算法对所述第二参考物进行动态渲染；

所述后台端将接收到的所述动态图像和所述传感器数据导入所述监测现场模型实现动态展现具体包括：

第一参考物的动态展现：将每一帧所述动态图像中的第一参考物与所述后台端构建的监测现场模型中的第一参考物进行位置比对，当至少一个第一参考物出现位置改变时，在所述监测现场模型中实时进行位置发生改变的第一参考物的重新绘制和渲染；

第二参考物的动态展现：基于所述传感器数据，对所述后台端构建的监测现场模型中的第二参考物的姿态实时进行调整；

其他参考物的动态展现：基于每一帧所述动态图像与所述后台端构建的监测现场模型的比对，在所述监测现场模型中对多出的参考物进行实时的绘制和渲染；

该种面向数字孪生的远程视频监测方法还包括：

分析并提取所述动态图像中的数据特征，将获取到的数据特征与预设的预警特征进行比对，当获取到的数据特征满足所述预设的预警特征时，所述后台端发出预警，其中，所述预警特征包括非法人员对被监测区域的进入、非法物体对被监测区域的进入、被监测物的位置变动中的一种或多种。

2.根据权利要求1所述的面向数字孪生的远程视频监测方法，其特征在于，在所述监测现场模型实现动态展现时，所述后台端还对所述第一参考物的动态展现的结果、所述第二参考物的动态展现的结果以及所述其他参考物的动态展现的结果依次进行存储。

3.根据权利要求1所述的面向数字孪生的远程视频监测方法，其特征在于，当获取到的数据特征满足所述预设的预警特征时，所述后台端进行预警校验，其中，所述预警校验具体包括：

提取满足所述预设的预警特征的数据特征对应的动态图像中的至少一帧图片，对提取出的图片进行图像增强处理，对图像增强处理后的图片进行数据特征的提取，并将该图片上提取到的数据特征与预设的预警特征进行比对，当该图片上提取到的数据特征满足所述预设的预警特征时，所述后台端发出预警。

4.根据权利要求1所述的面向数字孪生的远程视频监测方法，其特征在于，该种面向数字孪生的远程视频监测方法还包括：

分析所述传感器数据，将获取到的传感器数据与预设的特征阈值进行比对，当获取到的数据特征大于所述预设的特征阈值时，所述后台端发出预警。

5.根据权利要求1或4所述的面向数字孪生的远程视频监测方法，其特征在于，该种面向数字孪生的远程视频监测方法还包括：

在所述后台端发出预警后，所述后台端将相应的预警情况发送至所述远程端进行现场警报，所述现场警报包括通过扬声器播放警报详请、通过扬声器发出声响进行警报中的至少一种。

Images