CN116152471A - 基于视频流的厂区安全生产监管方法及其系统、电子设备 - Google Patents

基于视频流的厂区安全生产监管方法及其系统、电子设备 Download PDF

Info

Publication number
CN116152471A
CN116152471A CN202310435026.8A CN202310435026A CN116152471A CN 116152471 A CN116152471 A CN 116152471A CN 202310435026 A CN202310435026 A CN 202310435026A CN 116152471 A CN116152471 A CN 116152471A
Authority
CN
China
Prior art keywords
dimensional
marking
preset threshold
threshold value
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310435026.8A
Other languages
English (en)
Inventor
孙誉
孟祥伟
岳洋
苏丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shuifa Wulian Technology Co ltd
Original Assignee
Shuifa Wulian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shuifa Wulian Technology Co ltd filed Critical Shuifa Wulian Technology Co ltd
Priority to CN202310435026.8A priority Critical patent/CN116152471A/zh
Publication of CN116152471A publication Critical patent/CN116152471A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Emergency Management (AREA)
  • Geometry (AREA)
  • Business, Economics & Management (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于视频流的厂区安全生产监管方法及其系统、电子设备，涉及安全生产监管技术领域，通过将球幕相机镜头、深度相机镜头、红外热成像镜头固定于空间中的同一位置，利用球幕相机和深度相机按预设时间间隔进行拍照，基于球幕相机和深度相机获取的三维信息建立三维模型；在监测到异常情况时直观、准确的在三维模型中展示出异常情况的所处地点、所处位置和异常情况的等级。在发生危险情况如火情导致的标记点阵中的各标记点的灰度平均值过高时，使相关工作人员及时、直观的观察到存在严重危险情况的地点所处的位置、具体异常情况和异常情况的具体位置，很大程度上拓展了本发明的智能化程度。

Description

基于视频流的厂区安全生产监管方法及其系统、电子设备
技术领域
本发明涉及安全生产监管技术领域，具体涉及一种基于视频流的厂区安全生产监管方法及其系统、电子设备。
背景技术
三维建模技术是物体对象在三维空间中数据表示的处理过程，三维模型可以使用采集物体的三维空间点构成点云来进行表示，点云可以使用三角网格、线、多边形网格来进行连接重建模型的表面。三维模型可以使用在在电影、游戏、制造等领域，三维建模技术属于一个多学科交叉的研究领域，是计算机图形学和图像处理在工程中的重要应用。
随着RGB-D相机的问世，RGB-D相机具有价格廉价、实时获取的优点，具有好的精度和密集扫描的能力，但是传统的RGB-D相机，比如基于kinect或者TOF （time-of-flight）方式的RGB-D相机能够形成一个空间模型，相机视角单一，视域受限，计算量比较大，耗时久，无法达到实时呈现效果。
球幕相机，即鱼眼相机，进行三维建模的方法一般适用于诸如墙面、桌面等面的结构化场景，主要比较适合拍摄较大场景的照片，如建筑、风景等题材。当球幕相机用于拍风景时能拍更广阔的画面、拍集体照时能容纳下更多的人，视角更广，可以涵盖大范围景物。
三维建模要求重建的过程快速高效，精确度高。RGB-D相机和球幕相机在各自进行三维建模时都无法满足上述要求。现有的基于视频流的安全监管系统无法在监测到异常情况时直观、准确的在三维模型中展示出异常情况的所处地点、所处位置和异常情况的等级。
因此，现有技术还有待进一步发展。
发明内容
本发明的目的在于克服上述技术不足，提供一种基于视频流的厂区安全生产监管方法及其系统、电子设备，以解决现有技术存在的问题。
为达到上述技术目的，根据本发明的第一方面，本发明提供了一种基于视频流的厂区安全生产监管方法，包括：
S100、将球幕相机镜头、深度相机镜头、红外热成像镜头固定于空间中的同一位置，利用球幕相机和深度相机按预设时间间隔进行拍照，基于球幕相机和深度相机获取的三维信息建立三维模型；
S200、对红外热成像镜头拍摄的灰度照片进行识别，提取灰度照片中灰度值大于第一预设阈值的点并建立目标搜索框，在目标搜索框建立标记点阵，判断标记点阵中的各标记点的灰度平均值是否大于第二预设阈值；
S300、根据判断结果获取灰度值大于第一预设阈值的标记点的三维坐标并控制执行模块输出控制三维模型对应坐标的点改变颜色的控制信号。
具体地，所述S100包括：
将球幕相机镜头、深度相机镜头、红外热成像镜头固定于空间中的同一位置，称为相机位置；使用球幕相机和深度相机进行拍照，球幕相机镜头获取的是至少一张二维全景照片，所述二维全景照片包含二维信息（x，y），深度相机镜头获取的是至少一张三维照片，所述三维照片包含三维信息（x，y，z）；通过VSLAM算法对所述相机位置进行定位，对二维全景照片进行计算，在二维全景照片的基础上获取空间信息；用三维照片中的三维信息对空间信息进行校准；基于校准后的三维信息形成稠密点云，使用ICP算法对稠密点云进行匹配，对所有点云进行对比，把属于不同空间的点云放在不同的位置上；进行数字化建模，生成三维模型。
具体地，所述S200包括：
判断当前帧红外热成像图像数据内是否存在灰度值大于或等于第一预设阈值的像素点，若存在，则将该像素点确定为标记点，根据标记点确定目标范围，所述目标范围需要包括当前帧红外热成像图像数据内的所有标记点，根据目标范围建立目标搜索框，计算目标搜索框以及当前帧红外热成像图像的面积，计算目标的质心并以目标的质心为基点将目标搜索框的面积的扩大至当前帧红外热成像图像的面积的预设倍数，在扩大后的目标搜索框中建立预设行数乘预设列数的标记点阵；计算标记点阵中的各标记点的灰度平均值，并判断灰度平均值是否大于或等于第二预设阈值。
具体地，所述S300包括：
若标记点阵中的各标记点的灰度平均值大于第二预设阈值，获取灰度值大于第一预设阈值的标记点的三维坐标并输出控制三维模型对应坐标的点变为黄色的控制信号。
具体地，所述S300还包括：
若标记点阵中的各标记点的灰度平均值大于第二预设阈值，记录标记点阵中的各标记点的灰度平均值大于第二预设阈值的持续时间，并判断持续时间是否大于第三预设阈值，若是，获取灰度值大于第一预设阈值的标记点的三维坐标并输出控制三维模型对应坐标的点变为红色的控制信号。
具体地，所述S300还包括：
若标记点阵中的各标记点的灰度平均值大于第二预设阈值，判断标记点阵中的各标记点的灰度平均值是否大于或等于第四预设阈值，若是，获取灰度值大于第一预设阈值的标记点的三维坐标并输出控制三维模型对应坐标的点变为红色的控制信号。
具体地，所述S300还包括：
若标记点阵中的各标记点的灰度平均值小于或等于第二预设阈值，获取灰度值大于第一预设阈值的标记点的三维坐标并输出控制三维模型对应坐标的点变为绿色的控制信号。
具体地，所述S300还包括：
若标记点阵中的各标记点的灰度平均值大于第二预设阈值的持续时间小于或等于第三预设阈值，获取灰度值大于第一预设阈值的标记点的三维坐标并输出控制三维模型对应坐标的点变为绿色的控制信号。
根据本发明的第二方面，提供一种基于视频流的厂区安全生产监管系统，包括：
采集模块，包括球幕相机镜头、深度相机镜头和红外热成像镜头，用于按预设时间间隔进行拍照，以获取三维信息；
控制模块，用于基于球幕相机和深度相机获取的三维信息建立三维模型；或用于对红外热成像镜头拍摄的灰度照片进行识别，提取灰度照片中灰度值大于第一预设阈值的点并建立目标搜索框，在目标搜索框建立标记点阵，判断标记点阵中的各标记点的灰度平均值是否大于第二预设阈值；或用于根据判断结果获取灰度值大于第一预设阈值的标记点的三维坐标并控制执行模块输出控制三维模型对应坐标的点改变颜色的控制信号；
执行模块，用于控制三维模型对应坐标的点改变颜色的控制信号。
根据本发明的第三方面，提供一种电子设备，包括：存储器；以及处理器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现上述的基于视频流的厂区安全生产监管方法。
有益效果：
本发明通过球幕相机镜头、深度相机镜头、红外热成像镜头固定于空间中的同一位置，利用球幕相机和深度相机按预设时间间隔进行拍照，基于球幕相机和深度相机获取的三维信息建立三维模型；对红外热成像镜头拍摄的灰度照片进行识别，提取灰度照片中灰度值大于第一预设阈值的点并建立目标搜索框，在目标搜索框建立标记点阵，判断标记点阵中的各标记点的灰度平均值是否大于第二预设阈值；根据判断结果获取灰度值大于第一预设阈值的标记点的三维坐标并控制执行模块输出控制三维模型对应坐标的点改变颜色的控制信号。在监测到异常情况时直观、准确的在三维模型中展示出异常情况的所处地点、所处位置和异常情况的等级。很大程度上提高了本发明的智能化程度和安全生产监控直观度，有利于出现设备异常高温或火情时，使相关工作人员及时、直观的观察到存在严重危险情况的地点所处的位置、具体异常情况和异常情况的具体位置，将复杂的基于三维建模的安全监控问题简单化，无需复杂算法建模，很大程度上拓展了本发明的智能化程度。
附图说明
图1是本发明具体实施例中提供的基于视频流的厂区安全生产监管方法的流程图；
图2是本发明具体实施例中提供的基于视频流的厂区安全生产监管系统的结构图。
具体实施方式
为了使本领域的人员更好地理解本发明的技术方案，下面结合本发明的附图，对本发明的技术方案进行清楚、完整的描述，基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它类同实施例，都应当属于本申请保护的范围。此外，以下实施例中提到的方向用词，例如“上”“下”“左”“右”等仅是参考附图的方向，因此，使用的方向用词是用来说明而非限制本发明创造。
下面结合附图和较佳的实施例对本发明作进一步说明。
请参阅图1，本发明提供一种基于视频流的厂区安全生产监管方法，包括：
S100、将球幕相机镜头、深度相机镜头、红外热成像镜头固定于空间中的同一位置，利用球幕相机和深度相机按预设时间间隔进行拍照，基于球幕相机和深度相机获取的三维信息建立三维模型。
这里需要说明的是，所述S100之前包括：
预先在控制模块中通过计算机可读指令设置第一预设阈值、第二预设阈值、第三预设阈值和第四预设阈值，其中，所述第二预设阈值小于所述第四预设阈值。
具体地，所述S100包括：
将球幕相机镜头、深度相机镜头、红外热成像镜头固定于空间中的同一位置，称为相机位置；使用球幕相机和深度相机进行拍照，球幕相机镜头获取的是至少一张二维全景照片，所述二维全景照片包含二维信息（x，y），深度相机镜头获取的是至少一张三维照片，所述三维照片包含三维信息（x，y，z）；通过VSLAM算法进行对所述相机位置定位，对二维全景照片进行计算，在二维全景照片的基础上获取空间信息；用三维照片中的三维信息对空间信息进行校准；基于校准后的三维信息形成稠密点云，使用ICP算法对稠密点云进行匹配，对所有点云进行对比，把属于不同空间的点云放在不同的位置上；进行数字化建模，生成三维模型。
这里需要说明的是，所述的同一位置，即对所述空间来说，深度相机镜头、球幕相机镜头、红外热成像镜头之间的距离差不会对相机位置造成影响，在预设误差范围内。
可以理解的是，所述球幕相机、深度相机分别与移动终端电信号连接，可传输数据信息，所述移动终端和云端服务器无线通信连接，可传输数据信息。在实际应用中，移动终端可以是手机、平板电脑，无线通信方式可以是wifi、3G、4G信号连接。
这里需要说明的是，VSLAM算法是在移动终端上基于球幕相机镜头的二维全景照片提供的二维信息进行定位，深度相机镜头拍摄的三维照片提供的三维信息可以对以上定位进行校准。三维照片的三维信息（x ，y ，z）在移动终端上仅是校准作用，当移动终端将二维信息和三维信息回传云端服务器后，云端服务器则会直接使用这些三维信息的坐标点（x，y ，z）形成稠密点云。
经过所述VSLAM定位后的位置信息即为初步定位的相机位置信息。
需要进一步说明的是，通过VSLAM算法对移动终端所拍摄的二维全景照片提取特征点，对这些特征点进行三角化的处理，恢复出移动终端的三维空间位置 （即把二维坐标转换成三维坐标）。
需要进一步说明的是，VSLAM算法的定位流程：
S10：传感器信息读取，在视觉SLAM中主要为相机图像信息的读取和预处理的操作过程，在移动终端的单目SLAM中进行的工作主要为移动终端采集的二维全景照片的操作过程。
S20：视觉里程计，又称前端，其任务是估算相邻图像间相机的运动轨迹，以及局部地图的大概轮廓和形貌，在此实施例中，移动终端的球幕相机镜头采集二维全景照片，对每一张二维全景照片提取特征点；通过多张二维全景照片之间多视觉集合原理计算出相机位置。
S30：后端优化，又称后端，其任务是接受不同时刻视觉里程计测量的相机位姿，以及回环检测的信息，对之前计算出的位置进行优化，用最小二乘法的公式优化出一整条轨迹和地图。
S40:回环检测：已经到过的场景会有特征保存，新提取的特征与之前保存的特征进行匹配，即一个相似性检测过程。对于曾经到过的场景，两者的相似值会很高，即确定曾经来过此处，并利用新的特征点对曾经的场景位置进行纠正。
S50：建图，其任务是根据后端优化后的估计的轨迹，建立与任务要求对应的地图。
这里需要说明的是，单目的VSLAM还可进行多视觉集合管理，即可基于两帧图像之间进行三角化处理，也可基于多帧视频流进行三角化处理，将上述两者结合之后就会得到一致的轨迹，进一步对轨迹进行优化处理，数据源是移动终端拍摄得到的二维全景照片，利用移动终端的计算资源，通过VSLAM的算法得出在大场景中行走的轨迹，在二维全景照片的基础上获取空间信息。
可以理解的是，三维重建离线算法在本实施例中为SFM算法，经过进一步对相机位置进行精确的定位，可以使生成的三维模型更精确。以相机位置作为原点，建立相机坐标系，通过现有的相机标定程序或算法求出相机的内参矩阵。所述的特征点为SIFT特征，匹配结果往往有很多误匹配，为了排除这些错误，这里使用了一些现有算法，包括：Ratio Test方法和KNN算法，寻找与该特征最匹配的2个特征，若第一个特征的匹配距离与第二个特征的匹配距离之比小于某一阈值，就接受该匹配，否则视为误匹配。得到匹配点后，就可以使用OpenCV3 .0中新加入的函数findEssentialMat（ ）来求取本征矩阵了。在拍摄过程中可有多个相机位置，得到本征矩阵后，再使用分解函数对本征矩阵进行分解，得到多个相机位置对应的球幕相机之间的变换矩阵，还有每一对匹配点的坐标。三维重建就是基于这些已知信息还原匹配点在空间当中的坐标进行的。
S200、对红外热成像镜头拍摄的灰度照片进行识别，提取灰度照片中灰度值大于第一预设阈值的点并建立目标搜索框，在目标搜索框建立标记点阵，判断标记点阵中的各标记点的灰度平均值是否大于第二预设阈值。
具体地，所述S200包括：
判断当前帧红外热成像图像数据内是否存在灰度值大于或等于第一预设阈值的像素点，若存在，则将该像素点确定为标记点，根据标记点确定目标范围，所述目标范围需要包括当前帧红外热成像图像数据内的所有标记点，根据目标范围建立目标搜索框，计算目标搜索框以及当前帧红外热成像图像的面积，计算目标的质心并以目标的质心为基点将目标搜索框的面积的扩大至当前帧红外热成像图像的面积的预设倍数，在扩大后的目标搜索框中建立预设行数乘预设列数的标记点阵；计算标记点阵中的各标记点的灰度平均值，并判断灰度平均值是否大于或等于第二预设阈值。
可以理解的是，当生产厂区发生火情或设备异常高温等危险情况，热成像图像采集到的火焰部分的图像的灰度值应大于正常范围，即若当前帧红外热成像图像数据内存在灰度值大于或等于第一预设阈值的像素点，则证明此时，可能存在生产厂区起火等危险情况，此时将该像素点确定为标记点，根据标记点确定目标范围，所述目标范围需要包括当前帧红外热成像图像数据内的所有标记点，即可以将灰度图像中疑似起火的部分选择出来，此时，根据目标范围建立目标搜索框，计算目标搜索框以及当前帧红外热成像图像的面积，计算目标的质心并以目标的质心为基点将目标搜索框的面积的扩大至当前帧红外热成像图像的面积的预设倍数，进一步保证使灰度图像中疑似起火的部分能够被区域性的全部选择出来，此时，在扩大后的目标搜索框中建立预设行数乘预设列数的标记点阵；计算标记点阵中的各标记点的灰度平均值，并判断灰度平均值是否大于或等于第二预设阈值，在降低计算量的基础上，能够准确的判断目标搜索框所标记的区域是否存在安全隐患，进一步提高了本发明的智能化程度和可用性。
这里需要说明的是，所述计算目标质心坐标包括：
根据原始图像灰度值的均值和标准差对所述原始图像的灰度值做分段线性变化，得到当前帧图像的8比特单通道图像的各点的灰度值，根据当前帧图像的8比特单通道图像的各点的灰度值计算目标的质心坐标。
所述分段线性变化的公式为：
Figure SMS_1
其中，μ和σ分别为原始图像灰度值的均值和标准差，x为原始图像的各点的灰度值，y为线性变换后得到的8比特单通道图像各点的灰度值，为向下取整运算。
所述质心定位计算公式为：
Figure SMS_2
其中，M和N分别表示目标搜索框的宽度和高度，（Mmin，Nmin），和（Xmax，Ymax）分别表示目标搜索框的左上角坐标和右下角坐标， Iij为所述矩形区域内像素点的灰度值，i为像素点的行位置，j为像素点的列位置，（Xc，Yc）表示目标的质心坐标。所述目标搜索框的面积为目标搜索框的高度和宽度的乘积。
S300、根据判断结果获取灰度值大于第一预设阈值的标记点的三维坐标并控制执行模块输出控制三维模型对应坐标的点改变颜色的控制信号。
具体地，所述S300包括：
若标记点阵中的各标记点的灰度平均值大于第二预设阈值，获取灰度值大于第一预设阈值的标记点的三维坐标并输出控制三维模型对应坐标的点变为黄色的控制信号。
可以理解的是，当标记点阵中的各标记点的灰度平均值大于第二预设阈值，证明此时，目标搜索框所指示的区域可能存在起火等安全隐患，此时，判断发生中度异常情况，本发明通过获取灰度值大于第一预设阈值的标记点的三维坐标并输出控制三维模型对应坐标的点变为黄色的控制信号，黄色表示中度异常等级，使温度异常的具体情况、起火细节和起火位置能够以黄色标记完全显示在组建的三维模型上，使相关工作人员及时、直观的观察到存在异常情况的地点所处的位置、具体异常情况和异常情况的具体位置，将复杂的基于三维建模的安全监控问题简单化，无需复杂算法建模，很大程度上拓展了本发明的智能化程度。
具体地，所述S300还包括：
若标记点阵中的各标记点的灰度平均值大于第二预设阈值，记录标记点阵中的各标记点的灰度平均值大于第二预设阈值的持续时间，并判断持续时间是否大于第三预设阈值，若是，获取灰度值大于第一预设阈值的标记点的三维坐标并输出控制三维模型对应坐标的点变为红色的控制信号。
这里需要说明的是，若标记点阵中的各标记点的灰度平均值大于第二预设阈值的持续时间大于第三预设阈值，证明此时，目标搜索框所指示的区域的异常情况持续时间较长，隐患过大，此时，判断发生严重异常情况，此时，本发明通过获取灰度值大于第一预设阈值的标记点的三维坐标并输出控制三维模型对应坐标的点变为红色的控制信号，使温度异常的具体情况、起火细节和起火位置能够以红色标记完全显示在组建的三维模型上，红色代表严重异常等级，使相关工作人员及时、直观的观察到存在严重危险情况的地点所处的位置、具体异常情况、异常情况的具体位置、异常情况的严重等级，将复杂的基于三维建模的安全监控问题简单化，无需复杂算法建模，进一步拓展了本发明的智能化程度。
具体地，所述S300还包括：
若标记点阵中的各标记点的灰度平均值大于第二预设阈值，判断标记点阵中的各标记点的灰度平均值是否大于或等于第四预设阈值，若是，获取灰度值大于第一预设阈值的标记点的三维坐标并输出控制三维模型对应坐标的点变为红色的控制信号。
这里需要说明的是，若标记点阵中的各标记点的灰度平均值大于第二预设阈值，则无需计算标记点阵中的各标记点的灰度平均值大于第二预设阈值的持续时间，直接判断为此时发生严重异常情况，此时，本发明通过获取灰度值大于第一预设阈值的标记点的三维坐标并输出控制三维模型对应坐标的点变为红色的控制信号，使相关工作人员及时、直观的观察到存在严重危险情况的地点所处的位置、具体异常情况、异常情况的具体位置、异常情况的严重等级，将复杂的基于三维建模的安全监控问题简单化，无需复杂算法建模，进一步拓展了本发明的智能化程度。
具体地，所述S300还包括：
若标记点阵中的各标记点的灰度平均值小于或等于第二预设阈值，获取灰度值大于第一预设阈值的标记点的三维坐标并输出控制三维模型对应坐标的点变为绿色的控制信号。
这里需要说明的是，若标记点阵中的各标记点的灰度平均值小于或等于第二预设阈值，证明此时，未存在异常情况，不存在安全隐患，此时，获取灰度值大于第一预设阈值的标记点的三维坐标并输出控制三维模型对应坐标的点变为绿色的控制信号。使相关工作人员及时、直观的观察到生产产区的安全情况，进一步拓展了本发明的智能化程度和监控方案的安全性。
具体地，所述S300还包括：
若标记点阵中的各标记点的灰度平均值大于第二预设阈值的持续时间小于或等于第三预设阈值，获取灰度值大于第一预设阈值的标记点的三维坐标并输出控制三维模型对应坐标的点变为绿色的控制信号。
这里需要说明的是，标记点阵中的各标记点的灰度平均值大于第二预设阈值的持续时间小于或等于第三预设阈值，证明此时，异常情况可能自行消失或者是由于外界短时环境干扰引起的误判，此时，不存在安全隐患，此时，通过获取灰度值大于第一预设阈值的标记点的三维坐标并输出控制三维模型对应坐标的点变为绿色的控制信号。使相关工作人员及时、直观的观察到生产产区的安全情况，进一步拓展了本发明的智能化程度和监控方案的安全性。
这里需要说明的是，本发明通过球幕相机镜头、深度相机镜头、红外热成像镜头固定于空间中的同一位置，利用球幕相机和深度相机按预设时间间隔进行拍照，基于球幕相机和深度相机获取的三维信息建立三维模型；对红外热成像镜头拍摄的灰度照片进行识别，提取灰度照片中灰度值大于第一预设阈值的点并建立目标搜索框，在目标搜索框建立标记点阵，判断标记点阵中的各标记点的灰度平均值是否大于第二预设阈值；根据判断结果获取灰度值大于第一预设阈值的标记点的三维坐标并控制执行模块输出控制三维模型对应坐标的点改变颜色的控制信号。在监测到异常情况时直观、准确的在三维模型中展示出异常情况的所处地点、所处位置和异常情况的等级。很大程度上提高了本发明的智能化程度和安全生产监控直观度，有利于在发生严重危险情况如火情或设备异常高温导致的标记点阵中的各标记点的灰度平均值过高时，使相关工作人员及时、直观的观察到存在严重危险情况的地点所处的位置、具体异常情况和异常情况的具体位置，将复杂的基于三维建模的安全监控问题简单化，无需复杂算法建模，很大程度上拓展了本发明的智能化程度。
请参阅图2，本发明提供了另一实施例，本实施例提供了一种基于视频流的厂区安全生产监管系统，所述系统包括：
采集模块100，包括球幕相机镜头、深度相机镜头和红外热成像镜头，用于按预设时间间隔进行拍照，以获取三维信息；
控制模块200，用于基于球幕相机和深度相机获取的三维信息建立三维模型；或用于对红外热成像镜头拍摄的灰度照片进行识别，提取灰度照片中灰度值大于第一预设阈值的点并建立目标搜索框，在目标搜索框建立标记点阵，判断标记点阵中的各标记点的灰度平均值是否大于第二预设阈值；或用于根据判断结果获取灰度值大于第一预设阈值的标记点的三维坐标并控制执行模块300输出控制三维模型对应坐标的点改变颜色的控制信号；
执行模块300，用于控制三维模型对应坐标的点改变颜色的控制信号。
在优选实施例中，本申请还提供了一种电子设备，所述电子设备包括：
存储器；以及处理器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现所述的基于视频流的厂区安全生产监管方法。该计算机设备可以广义地为服务器、终端，或任何其他具有必要的计算和/或处理能力的电子设备。在一个实施例中，该计算机设备可包括通过系统总线连接的处理器、存储器、网络接口、通信接口等。该计算机设备的处理器可用于提供必要的计算、处理和/或控制能力。该计算机设备的存储器可包括非易失性存储介质和内存储器。该非易失性存储介质中或上可存储有操作系统、计算机程序等。该内存储器可为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口和通信接口可用于与外部的设备通过网络连接和通信。该计算机程序被处理器执行时执行本发明的方法的步骤。
本发明可以实现为一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在由处理器执行时导致本发明实施例的方法的步骤被执行。在一个实施例中，所述计算机程序被分布在网络耦合的多个计算机设备或处理器上，以使得所述计算机程序由一个或多个计算机设备或处理器以分布式方式存储、访问和执行。单个方法步骤/操作，或者两个或更多个方法步骤/操作，可以由单个计算机设备或处理器或由两个或更多个计算机设备或处理器执行。一个或多个方法步骤/操作可以由一个或多个计算机设备或处理器执行，并且一个或多个其他方法步骤/操作可以由一个或多个其他计算机设备或处理器执行。一个或多个计算机设备或处理器可以执行单个方法步骤/操作，或执行两个或更多个方法步骤/操作。
本领域普通技术人员可以理解，本发明的方法步骤可以通过计算机程序来指示相关的硬件如计算机设备或处理器完成，所述的计算机程序可存储于非暂时性计算机可读存储介质中，该计算机程序被执行时导致本发明的步骤被执行。根据情况，本文中对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器的示例包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）、闪存、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘等。易失性存储器的示例包括随机存取存储器（RAM）、外部高速缓冲存储器等。
以上描述的各技术特征可以任意地组合。尽管未对这些技术特征的所有可能组合进行描述，但这些技术特征的任何组合都应当被认为由本说明书涵盖，只要这样的组合不存在矛盾。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (10)

1.一种基于视频流的厂区安全生产监管方法，其特征在于，所述方法包括：
S100、将球幕相机镜头、深度相机镜头、红外热成像镜头固定于空间中的同一位置，利用球幕相机和深度相机按预设时间间隔进行拍照，基于球幕相机和深度相机获取的三维信息建立三维模型；
S200、对红外热成像镜头拍摄的灰度照片进行识别，提取灰度照片中灰度值大于第一预设阈值的点并建立目标搜索框，在目标搜索框建立标记点阵，判断标记点阵中的各标记点的灰度平均值是否大于第二预设阈值；
S300、根据判断结果获取灰度值大于第一预设阈值的标记点的三维坐标并控制执行模块输出控制三维模型对应坐标的点改变颜色的控制信号。
2.根据权利要求1所述的基于视频流的厂区安全生产监管方法，其特征在于，所述S100包括：
将球幕相机镜头、深度相机镜头、红外热成像镜头固定于空间中的同一位置，称为相机位置；使用球幕相机和深度相机进行拍照，球幕相机镜头获取的是至少一张二维全景照片，所述二维全景照片包含二维信息（x，y），深度相机镜头获取的是至少一张三维照片，所述三维照片包含三维信息（x，y，z）；通过VSLAM算法进行对所述相机位置定位，对二维全景照片进行计算，在二维全景照片的基础上获取空间信息；用三维照片中的三维信息对空间信息进行校准；基于校准后的三维信息形成稠密点云，使用ICP算法对稠密点云进行匹配，对所有点云进行对比，把属于不同空间的点云放在不同的位置上；进行数字化建模，生成三维模型。
3.根据权利要求1所述的基于视频流的厂区安全生产监管方法，其特征在于，所述S200包括：
判断当前帧红外热成像图像数据内是否存在灰度值大于或等于第一预设阈值的像素点，若存在，则将该像素点确定为标记点，根据标记点确定目标范围，所述目标范围需要包括当前帧红外热成像图像数据内的所有标记点，根据目标范围建立目标搜索框，计算目标搜索框以及当前帧红外热成像图像的面积，计算目标的质心并以目标的质心为基点将目标搜索框的面积的扩大至当前帧红外热成像图像的面积的预设倍数，在扩大后的目标搜索框中建立预设行数乘预设列数的标记点阵；计算标记点阵中的各标记点的灰度平均值，并判断灰度平均值是否大于或等于第二预设阈值。
4.根据权利要求1所述的基于视频流的厂区安全生产监管方法，其特征在于，所述S300包括：
若标记点阵中的各标记点的灰度平均值大于第二预设阈值，获取灰度值大于第一预设阈值的标记点的三维坐标并输出控制三维模型对应坐标的点变为黄色的控制信号。
5.根据权利要求1所述的基于视频流的厂区安全生产监管方法，其特征在于，所述S300还包括：
若标记点阵中的各标记点的灰度平均值大于第二预设阈值，记录标记点阵中的各标记点的灰度平均值大于第二预设阈值的持续时间，并判断持续时间是否大于第三预设阈值，若是，获取灰度值大于第一预设阈值的标记点的三维坐标并输出控制三维模型对应坐标的点变为红色的控制信号。
6.根据权利要求4所述的基于视频流的厂区安全生产监管方法，其特征在于，所述S300还包括：
若标记点阵中的各标记点的灰度平均值大于第二预设阈值，判断标记点阵中的各标记点的灰度平均值是否大于或等于第四预设阈值，若是，获取灰度值大于第一预设阈值的标记点的三维坐标并输出控制三维模型对应坐标的点变为红色的控制信号。
7.根据权利要求4所述的基于视频流的厂区安全生产监管方法，其特征在于，所述S300还包括：
若标记点阵中的各标记点的灰度平均值小于或等于第二预设阈值，获取灰度值大于第一预设阈值的标记点的三维坐标并输出控制三维模型对应坐标的点变为绿色的控制信号。
8.根据权利要求5所述的基于视频流的厂区安全生产监管方法，其特征在于，所述S300还包括：
若标记点阵中的各标记点的灰度平均值大于第二预设阈值的持续时间小于或等于第三预设阈值，获取灰度值大于第一预设阈值的标记点的三维坐标并输出控制三维模型对应坐标的点变为绿色的控制信号。
9.一种基于视频流的厂区安全生产监管系统，其特征在于，包括：
采集模块，包括球幕相机镜头、深度相机镜头和红外热成像镜头，用于按预设时间间隔进行拍照，以获取三维信息；
控制模块，用于基于球幕相机和深度相机获取的三维信息建立三维模型；或用于对红外热成像镜头拍摄的灰度照片进行识别，提取灰度照片中灰度值大于第一预设阈值的点并建立目标搜索框，在目标搜索框建立标记点阵，判断标记点阵中的各标记点的灰度平均值是否大于第二预设阈值；或用于根据判断结果获取灰度值大于第一预设阈值的标记点的三维坐标并控制执行模块输出控制三维模型对应坐标的点改变颜色的控制信号；
执行模块，用于控制三维模型对应坐标的点改变颜色的控制信号。
10.一种电子设备，其特征在于，包括：
存储器；以及处理器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据权利要求1至8中任意一项所述的基于视频流的厂区安全生产监管方法。
CN202310435026.8A 2023-04-21 2023-04-21 基于视频流的厂区安全生产监管方法及其系统、电子设备 Pending CN116152471A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310435026.8A CN116152471A (zh) 2023-04-21 2023-04-21 基于视频流的厂区安全生产监管方法及其系统、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310435026.8A CN116152471A (zh) 2023-04-21 2023-04-21 基于视频流的厂区安全生产监管方法及其系统、电子设备

Publications (1)

Publication Number Publication Date
CN116152471A true CN116152471A (zh) 2023-05-23

Family

ID=86339305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310435026.8A Pending CN116152471A (zh) 2023-04-21 2023-04-21 基于视频流的厂区安全生产监管方法及其系统、电子设备

Country Status (1)

Country Link
CN (1) CN116152471A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117823232A (zh) * 2024-03-04 2024-04-05 邹城市宇光煤矿机械有限公司 一种煤矿生产安全监控方法及系统、电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629829A (zh) * 2018-03-23 2018-10-09 中德（珠海）人工智能研究院有限公司 一种球幕相机与深度相机结合的三维建模方法和系统
CN108731587A (zh) * 2017-04-14 2018-11-02 中交遥感载荷（北京）科技有限公司 一种基于视觉的无人机动态目标跟踪与定位方法
CN115880229A (zh) * 2022-11-17 2023-03-31 国网山西省电力公司运城供电公司 一种变压器局部放电智能监控方法及其系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108731587A (zh) * 2017-04-14 2018-11-02 中交遥感载荷（北京）科技有限公司 一种基于视觉的无人机动态目标跟踪与定位方法
CN108629829A (zh) * 2018-03-23 2018-10-09 中德（珠海）人工智能研究院有限公司 一种球幕相机与深度相机结合的三维建模方法和系统
CN115880229A (zh) * 2022-11-17 2023-03-31 国网山西省电力公司运城供电公司 一种变压器局部放电智能监控方法及其系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117823232A (zh) * 2024-03-04 2024-04-05 邹城市宇光煤矿机械有限公司 一种煤矿生产安全监控方法及系统、电子设备

Similar Documents

Publication Publication Date Title
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
US9646212B2 (en) Methods, devices and systems for detecting objects in a video
CN110400352B (zh) 利用特征识别的摄像机校准
CN108234927B (zh) 视频追踪方法和系统
WO2018209934A1 (zh) 基于时空约束的跨镜头多目标跟踪方法及装置
CN112686877B (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
US8369578B2 (en) Method and system for position determination using image deformation
CN103198488A (zh) Ptz监控摄像机实时姿态快速估算方法
JP2010109783A (ja) 電子カメラ
CN110634138A (zh) 一种基于视觉感知的桥梁变形的监测方法、装置及设备
CN110675448A (zh) 基于民航客机的地面灯光遥感监测方法、系统及存储介质
KR102566300B1 (ko) 실내 측위 방법, 장치, 장비 및 저장 매체
EP4220547A1 (en) Method and apparatus for determining heat data of global region, and storage medium
CN115035162A (zh) 基于视觉slam的监控视频人员定位跟踪方法及系统
JP5183152B2 (ja) 画像処理装置
CN115375779B (zh) 相机ar实景标注的方法及系统
CN116152471A (zh) 基于视频流的厂区安全生产监管方法及其系统、电子设备
CN116210013A (zh) Bim可视化系统及装置、可视化平台、存储介质
CN116563384A (zh) 一种图像采集装置标定方法、设备及计算机设备
CN116778094B (zh) 一种基于优选视角拍摄的建筑物变形监测方法及装置
CN111596594B (zh) 一种全景大数据应用监测管控系统
JP2023503750A (ja) ロボットの位置決め方法及び装置、機器、記憶媒体
CN108234932B (zh) 视频监控图像中的人员形态提取方法及装置
CN115880643A (zh) 一种基于目标检测算法的社交距离监测方法和装置
CN107274449B (zh) 一种光学照片对物体的空间定位系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20230523