CN116994197A - 一种基于视频孪生的钢厂安全监测方法 - Google Patents

一种基于视频孪生的钢厂安全监测方法 Download PDF

Info

Publication number
CN116994197A
CN116994197A CN202310846833.9A CN202310846833A CN116994197A CN 116994197 A CN116994197 A CN 116994197A CN 202310846833 A CN202310846833 A CN 202310846833A CN 116994197 A CN116994197 A CN 116994197A
Authority
CN
China
Prior art keywords
video
steel mill
camera
scene
twinning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310846833.9A
Other languages
English (en)
Inventor
张飞
冯越宁
李伟超
李艳姣
肖雄
郭强
任晓怀
毕鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202310846833.9A priority Critical patent/CN116994197A/zh
Publication of CN116994197A publication Critical patent/CN116994197A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及钢厂安全监测领域，涉及一种基于视频孪生的钢厂安全监测方法，所述方法包括：按照一定的比例，通过多传感器融合技术构建钢厂不同区域对应的三维数字孪生模拟场景；在所述三维数字孪生模拟场景中构建第三人称自由漫游视角模式，以便于对钢厂进行自由监测；确定钢厂数字孪生体需要进行视频监测的目标监测区域并利用摄像装置获取所述目标监测区域对应的视频信息；根据时间序列，空间位置和方向关系，将目标监测区域的视频信息与所述三维数字孪生模拟场景进行虚实融合，生成视频孪生系统；根据所述视频孪生系统，实现对钢厂内部目标监测区域进行实时多角度的观察。本发明提出的钢厂安全监测方法，为钢厂安全生产和高效监测带来了极大便利。

Description

一种基于视频孪生的钢厂安全监测方法
技术领域：
本发明涉及钢厂安全监测领域，尤其涉及一种基于视频孪生的钢厂安全监测方法，更具体的说是将现实目标摄像装置信息与虚拟三维场景进行时空匹配，虚实融合，来对钢厂进行实时安全监测。
背景技术：
随着科学技术的不断发展和社会基础设施建设的不断推进，钢厂生产设备的自动化程度不断提升，钢厂生产过程中很多安全问题也随之暴露出来。钢铁生产是一个危险的行业，涉及到高温、高压、有害气体和化学品等危险因素。因此，钢厂安全监测是至关重要的。正确的监测和管理可以保障工人的生命安全，减少生产事故和设备损坏。
近年来，随着监控技术的不断发展，视频监测在钢铁生产中的应用越来越广泛。视频监测可以监控设备运行状态、工人安全状况和现场环境等方面。另外，结合人工智能技术，可以对监测数据进行分析，发现潜在的问题，例如对于设备故障、人员进出、温度变化、气体泄漏等情况的检测和诊断，有助于提高钢厂生产的效率和安全性。
但是传统的视频监控技术往往需要耗费大量人力物力观察不同的摄像头画面，这样会极大地提高了人力成本，造成资源浪费和人员冗余；由于传统的视频监控需要相应人员进行对画面进行观察，避免安全问题，很容易因为人员观察疏忽导致事故发生；除此之外，传统的视频监控由于智能拍摄到目标区域的画面，并不能匹配显示目标区域周围的环境，安全监测效果相对来说比较差；由于传统的视频监测存在的诸多不足，设计一种新的钢厂安全监测方法既是弥补现在的空白，又是对钢厂安全监测的一大重要贡献。
视频孪生，即视频+数字孪生，是对数字孪生技术进一步补充和发展，它将真实的现实视频画面嵌入到三维数字孪生系统场景中，以实现虚实融合，能够在三维场景中更真实地反映现实画面。
发明内容：
针对上述技术问题，本发明提出了一种基于视频孪生的钢厂安全监测方法；本发明利用视频孪生系统虚实融合的特性，利用多传感器融合技术，对钢厂现场设备环境按照一定比例进行三维场景搭建；然后获取需要进行安全监测的目标区域视频信息；将视频信息和三维场景进行虚实融合从而实现一种全新的安全监测方式。
为实现上述目的本发明采用以下技术方案：
一种基于视频孪生的钢厂安全监测方法，所述方法包括：
按照一定的比例，通过多传感器融合技术构建钢厂不同区域对应的三维数字孪生模拟场景；
在所述三维数字孪生模拟场景中构建第三人称自由漫游视角模式，以便于对钢厂进行自由监测；
确定钢厂数字孪生体需要进行视频监测的目标监测区域并利用摄像装置获取所述目标监测区域对应的视频信息；
根据时间序列，空间位置和方向关系，将目标监测区域的视频信息与所述三维数字孪生模拟场景进行虚实融合，生成视频孪生系统；
根据所述视频孪生系统，实现对钢厂内部目标监测区域进行实时多角度的观察。
进一步地，所述按照一定的比例，通过多传感器融合技术构建钢厂不同区域对应的三维数字孪生模拟场景，具体方法为：
1)利用激光雷达获取钢厂对应设备和环境的点云数据，即激光雷达发射的激光束遇到物体反射回来的数据集合；每一个点云数据包括三维坐标、反射强度、法向量、颜色信息；
2)利用摄像装置获取钢厂对应设备和环境的图像数据；
3)将激光雷达获取的所述点云数据和摄像装置获取的所述图像数据进行融合，即将所述点云数据的几何信息和所述图像数据的纹理信息结合起来进行三维模型搭建，获得钢厂设备和环境对应的模型；
4)将建立好的钢厂设备和环境对应的模型导入计算机软件中进行钢厂三维场景搭建。
进一步地，在所述三维数字孪生模拟场景中构建第三人称自由漫游视角模式，通过鼠标控制场景的方向旋转，键盘控制场景的移动；具体实现方法为：
1)设鼠标在水平和垂直方向上的移动量分别为x和y，设鼠标灵敏度为m，视频每一帧的时间为t，计算出当鼠标滑动时，在三维场景中的实际水平位移量X＝x*m*t，实际垂直位移量Y＝y*m*t；
2)将所述实际垂直移动量Y应用到三维场景摄像机的垂直旋转(绕x轴旋转)，将水平移动量X应用到三维场景摄像机的水平旋转(绕y轴旋转)；实现通过鼠标的移动来控制三维场景中的视角变化；
3)设一个包含(xr,yr,zr)三个维度的三维向量mov，其中，xr分量设置为水平输入轴的值，将yr分量设置为0，将zr分量设置为垂直输入轴的值；通过所述三维向量mov来控制三维场景的移动方向；
4)设场景的移动速度为v,视频每一帧的时间为t，则利用键盘控制场景移动的位移量S＝v*mov*t，位移量S表示的是沿着某一分量的方向进行移动。
进一步地，所述确定钢厂数字孪生体需要进行视频监测的目标监测区域并利用摄像装置获取所述目标监测区域对应的视频信息；具体方法为：
1)明确需要监测的目标对象和区域并进行观测；
2)利用多摄像头融合技术，将多个静态摄像装置固定放置在不同的位置和角度，对目标对象和区域进行拍摄，以获取更加全面细致的视角信息；
3)采用动态摄像装置从不同的高度、角度和位置进行移动拍摄记录，以获取更加多样化和全面的信息；
4)通过计算机设备向所述静态摄像装置和/或所述动态摄像装置中的目标网络摄像头发送请求信息，获取对应视频信息。
进一步地，对于所述静态摄像装置和/或动态摄像装置获取到的视频信息，针对所述视频信息中的特定目标，利用DeepSORT算法进行检测并实时跟踪。
进一步地，所述将目标监测区域的视频信息与所述三维数字孪生模拟场景进行虚实融合，包括：
将所述目标监测区域内摄像装置的视频信息及所述三维数字孪生体对应的对象信息从时间、空间、方向三个角度进行信息匹配，从而进行虚实融合，生成视频孪生系统；
其中所述视频信息指包括所述静态摄像装置和动态摄像装置拍摄到的视频画面；所述三维数字孪生体对应的对象信息指的是所述静态摄像装置和动态摄像装置拍摄到的视频画面周围的三维场景建模。
进一步地，在所述视频孪生系统中，针对所述目标监测区域内不同角度摄像头的不同拍摄画面，自动检测当前第三人称自由漫游视角模式对应的角度并自动切换至相应角度的摄像头画面。
进一步地，所述针对所述目标监测区域内不同角度摄像头的不同拍摄画面，自动检测当前第三人称自由漫游视角模式对应的角度并自动切换至相应角度的摄像头画面，方法为：
一个目标监测区域包括n个摄像头C1，C2，C3，…，Cn；n个摄像头以(360/n)°均匀分布在所述目标监测区域周围，以某一角度为基准，n个摄像头对应的拍摄角度分别为0°～(360/n)°，(360/n)°～2*(360/n)°，…，(n-1)*(360/n)°～360°；
在所述第三人称自由漫游视角模式中，场景的视角变化由鼠标移动控制，设定当鼠标旋转角度在0°～(360/n)°时，显示摄像头C1的拍摄画面；当鼠标旋转角度在(360/n)°～2*(360/n)°时，显示摄像头C2的拍摄画面；…，当鼠标旋转角度在(n-1)*(360/n)°～360°时，显示摄像头Cn的拍摄画面。
进一步地，针对所述目标监测区域内不同角度摄像头的不同拍摄画面，自动检测当前第三人称自由漫游视角模式对应的角度并自动切换至相应角度的摄像头画面，具体方法为：
1)在所述三维数字孪生模拟场景中新建n个平面对象，设为P1，P2，P3，…，Pn；平面P1，P2，P3，…，Pn分别用来承载摄像头C1，C2，C3，…，Cn拍摄的画面；将初始状态设置为摄像头C1激活，C2，C3，…，Cn关闭；
2)在所述第三人称自由漫游视角模式中，场景的旋转角度由鼠标的实际水平位移量X表示，将实际水平位移量X的值限定在(a,b)范围内，a表示X的下界，b表示X的上界；X的值如果低于a，则会被限定为a，X的值如果高于b，则会被限定为b；将X的值限制在0°～360°之间；
3)当X的值在0°～(360/n)°时，显示平面P1，隐藏其余所有平面，即只显示摄像头C1拍摄画面；当X的值在(360/n)°～2*(360/n)°时，显示平面P2，隐藏其余所有平面，即只显示摄像头C2拍摄画面；…；当X的值在(n-1)*(360/n)°～360°时，显示平面Pn，隐藏其余所有平面，即只显示摄像头Cn拍摄画面。
进一步地，在所述三维数字孪生模拟场景中新建的平面对象的个数和所述三维数字孪生模拟场景中所有摄像头的数量保持一致，并且所有的平面的大小形状位置应该是完全一致的。
本发明的有益技术效果：
(1)本发明提供的方法极大地节约了人力资源成本，通过视频孪生技术将钢厂中需要监测的多个目标区域都集成到了同一个视频孪生系统中，可以在三维场景中进行漫游观察，节约了资源和人力。
(2)本发明提供的方法将目标区域的视频信息和三维数字孪生场景融合之后，系统可以自动监测现场情况+人工观察现场两种方式对现场环境进行监测，避免了由于人员疏忽或者系统故障带来的现场事故，极大地提高了现场的安全生产效率。
(3)本发明提供中提供的方法生成视频孪生系统，视频孪生系统为每一个目标监测区域都搭建了周围1：1的现场设备和环境等模型，有助于更加真实地反映现场真实情况，可以更加生动真实地对现场进行感知和监测。
附图说明：
图1为本发明实施例中提到的基于视频孪生的钢厂安全监测方法的流程示意图。
图2为本发明实施例中提到的自动检测当前第三人称自由漫游视角模式对应的角度并自动切换至相应角度的摄像头画面的流程图。其中，θ表示场景的旋转角度，P1，P2，P3分别表示承载摄像头画面的三个平面。
具体实施方式：
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细描述。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
如图1所示，本发明实施例提供一种基于视频孪生的钢厂安全监测方法，所述方法包括：
按照一定的比例(优选1：1的比例)，基于3ds Max，Maya和Unity3D构建钢厂不同区域对应的三维数字孪生模拟场景；
在三维数字孪生模拟场景中构建第三人称自由漫游视角模式，以便于对钢厂进行自由监测；
确定钢厂数字孪生体需要进行视频监测的目标视频监测区域并利用摄像装置获取所述目标视频监测区域对应的视频信息；
根据时间序列，空间位置和方向关系，将目标视频监测区域的视频信息与所述三维数字孪生模拟场景进行虚实融合，生成视频孪生系统；
根据所述视频孪生系统，实现对钢厂内部目标监测区域进行实时多角度的观察。
在所述视频孪生系统中，针对所述目标视频监测区域内不同角度摄像头的不同拍摄画面，自动检测当前第三人称自由漫游视角模式对应的角度并自动切换至相应角度的摄像头画面；
所述按照一定的比例，构建钢厂不同区域对应的三维数字孪生模拟场景，具体方法为：
1)利用激光雷达获取钢厂对应设备和环境的点云数据，即激光雷达发射的激光束遇到物体反射回来的数据集合，每一个点云数据包括三维坐标、反射强度、法向量、颜色信息。
2)利用摄像装置(摄像头或深度相机等)获取钢厂对应设备和环境的图像数据。
3)将激光雷达获取的点云数据和摄像装置获取的图像数据进行融合，将点云数据的几何信息和图像的纹理信息结合起来进行三维模型搭建，获得钢厂设备和环境对应的模型；
4)将建立好的钢厂设备和环境对应的模型导入计算机软件中进行钢厂三维场景搭建。该步骤中采用的计算机软件可以是Unity或者ue4,ue5等计算机软件，是常规技术；
在所述三维数字孪生模拟场景中构建第三人称自由漫游视角模式，基本操作为鼠标左右移动控制场景的方向旋转，键盘(可以选择WASD几个键盘进行控制)控制场景的移动；具体实现方法为：
1)设鼠标在水平和垂直方向上的移动量分别为x和y，设鼠标灵敏度为m，视频每一帧的时间为t，据此可以计算出当鼠标滑动时，在三维场景中的实际水平位移量X＝x*m*t，实际垂直位移量Y＝y*m*t。
2)将实际垂直移动量Y应用到三维场景摄像机的垂直旋转(绕x轴旋转)，将水平移动量X应用到三维场景摄像机的水平旋转(绕y轴旋转)；可以通过鼠标的移动来控制三维场景中的视角变化。
3)设一个包含(xr,yr,zr)三个维度的三维向量mov，其中xr分量设置为水平输入轴(键盘A和D键)的值，将yr分量设置为0，将zr分量设置为垂直输入轴(键盘W和S键)的值。通过这个三维向量mov来控制三维场景的移动方向。
4)设场景的移动速度为v，视频每一帧的时间为t，则利用键盘WASD控制场景移动的位移量S＝v*mov*t,位移量S表示的是沿着某一分量的方向进行移动。
确定钢厂数字孪生体需要进行视频监测的目标视频监测区域并利用摄像装置获取所述目标视频监测区域对应的视频信息；具体方法为：
1)明确需要监测的目标对象和区域并进行观测；
2)利用多摄像头融合技术，将多个静态摄像装置固定放置在不同的位置和角度，对目标对象和区域进行拍摄，以获取更加全面细致的视角信息；
3)采用动态摄像装置(包括使用移动机器人，无人机等移动摄像装置)从不同的高度、角度和位置进行移动拍摄记录，以获取更加多样化和全面的信息；
4)利用Unity中的UMP插件向所述静态摄像装置和/或所述动态摄像装置中的目标网络摄像头发送请求信息，获取对应网络视频流信息。
在本实施例中，对于所述静态摄像装置和/或动态摄像装置获取到的视频信息，针对所述视频信息中的特定目标，利用DeepSORT算法进行检测并实时跟踪，具体流程为：对视频帧进行目标检测并定位目标物体；对目标物体进行特征提取；将当前帧的目标与前一帧进行目标关联；对于已关联的目标，使用卡尔曼滤波(Kalman Filter)来对目标的状态进行估计和预测；通过上述DeepSORT算法，即可对特定目标进行检测并实时跟踪。
所述将目标监测区域的视频信息与三维数字孪生模拟场景进行虚实融合，包括：
将所述目标视频监测区域内摄像装置的视频信息及所述三维数字孪生体对应的对象信息从时间、空间、方向三个角度进行信息匹配，从而进行虚实融合，生成视频孪生系统；其中所述目标区域摄像装置的视频信息指的是所述静态摄像装置拍摄到的视频画面和动态摄像装置拍摄到的视频画面；所述三维数字孪生体对应的对象信息指的是所述静态摄像装置和动态摄像装置拍摄到的视频画面周围的三维场景建模。
在所述视频孪生系统中，针对所述目标视频监测区域内不同角度摄像头的不同拍摄画面，自动检测当前第三人称自由漫游视角模式对应的角度并自动切换至相应角度的摄像头画面。基本方法为：
假设针对一个目标监测区域有3个摄像头C1，C2，C3以120°均匀分布在该区域周围，以某一角度为基准，设三个摄像头拍摄角度分别为0°～120°，120°～240°，240°～360°。根据所述的场景漫游模式，场景的视角变化由鼠标移动控制，因此，可设定，当鼠标旋转角度在0°～120°时，显示摄像头C1拍摄画面；当鼠标旋转角度在120°～240°时，显示摄像头C2拍摄画面；当鼠标旋转角度在240°～360°时，显示摄像头C3拍摄画面。
在所述视频孪生系统中，针对所述目标视频监测区域内不同角度摄像头的不同拍摄画面，自动检测当前第三人称自由漫游视角模式对应的角度并自动切换至相应角度的摄像头画面，具体实现流程为：
1)在Unity中新建3个平面对象，设为P1，P2，P3。分别用来承载摄像头C1，C2，C3拍摄的画面。将初始状态设置为C1激活，C2，C3关闭。
2)根据所述的场景漫游模式，场景的旋转角度由鼠标的水平位移量X表示，可根据将X的值限定在(a,b)范围内，其中a表示X的下界，b表示X的上界，X的值如果低于a，则会被限定为a，X的值如果高于b，则会被限定为b。通过该方法，即可将X的值限制在0°～360°之间。
3)因此，当X的值在0°～120°时，显示平面P1，隐藏其余所有平面，即只显示摄像头C1拍摄画面；当X的值在120°～240°时，显示平面P2，隐藏其余所有平面，即只显示摄像头C2拍摄画面；当X的值在240°～360°时，显示平面P3，隐藏其余所有平面，即只显示摄像头C3拍摄画面。
在本实施例中，在所述三维数字孪生模拟场景中新建的平面对象的个数和所述三维数字孪生模拟场景中所有摄像头的数量保持一致，并且所有的平面的大小形状位置应该是完全一致的。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种基于视频孪生的钢厂安全监测方法，其特征在于，所述方法包括：
按照一定的比例，通过多传感器融合技术构建钢厂不同区域对应的三维数字孪生模拟场景；
在所述三维数字孪生模拟场景中构建第三人称自由漫游视角模式，以便于对钢厂进行自由监测；
确定钢厂数字孪生体需要进行视频监测的目标监测区域并利用摄像装置获取所述目标监测区域对应的视频信息；
根据时间序列，空间位置和方向关系，将所述目标监测区域的视频信息与所述三维数字孪生模拟场景进行虚实融合，生成视频孪生系统；
根据所述视频孪生系统，实现对钢厂内部目标监测区域进行实时多角度的观察。
2.根据权利要求1所述一种基于视频孪生的钢厂安全监测方法，其特征在于，所述按照一定的比例，通过多传感器融合技术构建钢厂不同区域对应的三维数字孪生模拟场景，具体方法为：
(1)利用激光雷达获取钢厂对应设备和环境的点云数据，即激光雷达发射的激光束遇到物体反射回来的数据集合；每一个点云数据包括三维坐标、反射强度、法向量、颜色信息；
(2)利用摄像装置获取钢厂对应设备和环境的图像数据；
(3)将激光雷达获取的所述点云数据和摄像装置获取的所述图像数据进行融合，即将所述点云数据的几何信息和所述图像数据的纹理信息结合起来进行三维模型搭建，获得钢厂设备和环境对应的模型；
(4)将建立好的所述钢厂设备和环境对应的模型导入计算机软件中进行钢厂三维场景搭建。
3.根据权利要求1所述一种基于视频孪生的钢厂安全监测方法，其特征在于，在所述三维数字孪生模拟场景中构建第三人称自由漫游视角模式，通过鼠标控制场景的方向旋转，键盘控制场景的移动；具体实现方法为：
1)设鼠标在水平和垂直方向上的移动量分别为x和y，设鼠标灵敏度为m，视频每一帧的时间为t，计算出当鼠标滑动时，在三维场景中的实际水平位移量X＝x*m*t，实际垂直位移量Y＝y*m*t；
2)将所述实际垂直移动量Y应用到三维场景摄像机的垂直旋转，将水平移动量X应用到三维场景摄像机的水平旋转；实现通过鼠标的移动来控制三维场景中的视角变化；
3)设一个包含(xr,yr,zr)三个维度的三维向量mov，其中，xr分量设置为水平输入轴的值，将yr分量设置为0，将zr分量设置为垂直输入轴的值；
通过所述三维向量mov来控制三维场景的移动方向；
4)设场景的移动速度为v,视频每一帧的时间为t，则利用键盘控制场景移动的位移量S＝v*mov*t，位移量S表示的是沿着某一分量的方向进行移动。
4.根据权利要求3所述一种基于视频孪生的钢厂安全监测方法，其特征在于，所述确定钢厂数字孪生体需要进行视频监测的目标监测区域并利用摄像装置获取所述目标监测区域对应的视频信息；具体方法为：
1)明确需要监测的目标对象和区域并进行观测；
2)利用多摄像头融合技术，将多个静态摄像装置固定放置在不同的位置和角度，对目标对象和区域进行拍摄，以获取更加全面细致的视角信息；
3)采用动态摄像装置从不同的高度、角度和位置进行移动拍摄记录，以获取更加多样化和全面的信息；
4)通过计算机设备向所述静态摄像装置和/或所述动态摄像装置中的目标网络摄像头发送请求信息，获取对应视频信息。
5.根据权利要求4所述一种基于视频孪生的钢厂安全监测方法，其特征在于，对于所述静态摄像装置和/或动态摄像装置获取到的视频信息，针对所述视频信息中的特定目标，利用DeepSORT算法进行检测并实时跟踪。
6.根据权利要求3所述一种基于视频孪生的钢厂安全监测方法，其特征在于，所述将目标监测区域的视频信息与所述三维数字孪生模拟场景进行虚实融合，包括：
将所述目标监测区域内摄像装置的视频信息及所述三维数字孪生体对应的对象信息从时间、空间、方向三个角度进行信息匹配，从而进行虚实融合，生成视频孪生系统；
其中所述视频信息指包括所述静态摄像装置和动态摄像装置拍摄到的视频画面；所述三维数字孪生体对应的对象信息指的是所述静态摄像装置和动态摄像装置拍摄到的视频画面周围的三维场景建模。
7.根据权利要求6所述一种基于视频孪生的钢厂安全监测方法，其特征在于，在所述视频孪生系统中，针对所述目标监测区域内不同角度摄像头的不同拍摄画面，自动检测当前第三人称自由漫游视角模式对应的角度并自动切换至相应角度的摄像头画面。
8.根据权利要求7所述一种基于视频孪生的钢厂安全监测方法，其特征在于，所述针对所述目标监测区域内不同角度摄像头的不同拍摄画面，自动检测当前第三人称自由漫游视角模式对应的角度并自动切换至相应角度的摄像头画面，方法为：
一个目标监测区域包括n个摄像头C1，C2，C3，…，Cn；n个摄像头以(360/n)°均匀分布在所述目标监测区域周围，以某一角度为基准，n个摄像头对应的拍摄角度分别为0°～(360/n)°，(360/n)°～2*(360/n)°，…，(n-1)*(360/n)°～360°；
在所述第三人称自由漫游视角模式中，场景的视角变化由鼠标移动控制，设定当鼠标旋转角度在0°～(360/n)°时，显示摄像头C1的拍摄画面；当鼠标旋转角度在(360/n)°～2*(360/n)°时，显示摄像头C2的拍摄画面；…，当鼠标旋转角度在(n-1)*(360/n)°～360°时，显示摄像头Cn的拍摄画面。
9.根据权利要求8所述一种基于视频孪生的钢厂安全监测方法，其特征在于，针对所述目标监测区域内不同角度摄像头的不同拍摄画面，自动检测当前第三人称自由漫游视角模式对应的角度并自动切换至相应角度的摄像头画面，具体方法为：
1)在所述三维数字孪生模拟场景中新建n个平面对象，设为P1，P2，P3，…，Pn；平面P1，P2，P3，…，Pn分别用来承载摄像头C1，C2，C3，…，Cn拍摄的画面；将初始状态设置为摄像头C1激活，C2，C3，…，Cn关闭；
2)在所述第三人称自由漫游视角模式中，场景的旋转角度由鼠标的实际水平位移量X表示，将实际水平位移量X的值限定在(a,b)范围内，a表示X的下界，b表示X的上界；X的值如果低于a，则会被限定为a，X的值如果高于b，则会被限定为b；将X的值限制在0°～360°之间；
3)当X的值在0°～(360/n)°时，显示平面P1，隐藏其余所有平面，即只显示摄像头C1拍摄画面；当X的值在(360/n)°～2*(360/n)°时，显示平面P2，隐藏其余所有平面，即只显示摄像头C2拍摄画面；…；当X的值在(n-1)*(360/n)°～360°时，显示平面Pn，隐藏其余所有平面，即只显示摄像头Cn拍摄画面。
10.根据权利要求9所述一种基于视频孪生的钢厂安全监测方法，其特征在于，在所述三维数字孪生模拟场景中新建的平面对象的个数和所述三维数字孪生模拟场景中所有摄像头的数量保持一致。
CN202310846833.9A 2023-07-11 2023-07-11 一种基于视频孪生的钢厂安全监测方法 Pending CN116994197A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310846833.9A CN116994197A (zh) 2023-07-11 2023-07-11 一种基于视频孪生的钢厂安全监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310846833.9A CN116994197A (zh) 2023-07-11 2023-07-11 一种基于视频孪生的钢厂安全监测方法

Publications (1)

Publication Number Publication Date
CN116994197A true CN116994197A (zh) 2023-11-03

Family

ID=88529349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310846833.9A Pending CN116994197A (zh) 2023-07-11 2023-07-11 一种基于视频孪生的钢厂安全监测方法

Country Status (1)

Country Link
CN (1) CN116994197A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117271045A (zh) * 2023-11-22 2023-12-22 北自所(北京)科技发展股份有限公司 基于数字孪生的设备信息展示方法、装置及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117271045A (zh) * 2023-11-22 2023-12-22 北自所(北京)科技发展股份有限公司 基于数字孪生的设备信息展示方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN109978409B (zh) 一种多工程企业级智慧工地区块链管理方法
Yang et al. Vision-based tower crane tracking for understanding construction activity
US9300852B2 (en) Controlling robotic motion of camera
US20110115909A1 (en) Method for tracking an object through an environment across multiple cameras
CN110253570A (zh) 基于视觉的工业机械臂人机安全系统
KR20190062171A (ko) 자율 머신에서의 오작동 센서의 딥 러닝 기반의 실시간 검출 및 수정
WO2023093217A1 (zh) 数据标注方法、装置、计算机设备、存储介质和程序
Mahmood et al. Implementation experiments on convolutional neural network training using synthetic images for 3D pose estimation of an excavator on real images
CN109448326B (zh) 一种基于快速图像识别的地质灾害智能群防监测系统
CN116994197A (zh) 一种基于视频孪生的钢厂安全监测方法
CN110796738B (zh) 巡检设备状态跟踪的三维可视化方法及装置
CN115346026A (zh) 基于数字孪生技术的应急处理系统
Franz et al. Real-time collaborative reconstruction of digital building models with mobile devices
Assadzadeh et al. Excavator 3D pose estimation using deep learning and hybrid datasets
Al-Sabbag et al. Interactive defect quantification through extended reality
Shim et al. Remote robotic system for 3D measurement of concrete damage in tunnel with ground vehicle and manipulator
Scargill et al. Here to stay: Measuring hologram stability in markerless smartphone augmented reality
Corral-Soto et al. 3D town: the automatic urban awareness project
Xu et al. Robotic cross-platform sensor fusion and augmented visualization for large indoor space reality capture
CN114115277A (zh) 一种基于巡检机器人的巡检管理方法及相关设备
WO2021217403A1 (zh) 可移动平台的控制方法、装置、设备及存储介质
Vierling et al. Dataset generation using a simulated world
CN115797406A (zh) 一种越界告警方法、装置、设备及存储介质
Zhang et al. Neural rendering-enabled 3D modeling for rapid digitization of in-service products
Huang et al. Design and application of intelligent patrol system based on virtual reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination