CN117475343A - 一种炼化装置区交叉作业智能监控方法 - Google Patents

一种炼化装置区交叉作业智能监控方法 Download PDF

Info

Publication number
CN117475343A
CN117475343A CN202210847896.1A CN202210847896A CN117475343A CN 117475343 A CN117475343 A CN 117475343A CN 202210847896 A CN202210847896 A CN 202210847896A CN 117475343 A CN117475343 A CN 117475343A
Authority
CN
China
Prior art keywords
cross operation
calibration
binocular
layer
binocular cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210847896.1A
Other languages
English (en)
Inventor
李千登
厉建祥
孙德青
程思嘉
刘亭
张晓华
吴瑞青
刘洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sinopec Management System Certification Qingdao Co ltd
China Petroleum and Chemical Corp
Sinopec Safety Engineering Research Institute Co Ltd
Original Assignee
Sinopec Management System Certification Qingdao Co ltd
China Petroleum and Chemical Corp
Sinopec Safety Engineering Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sinopec Management System Certification Qingdao Co ltd, China Petroleum and Chemical Corp, Sinopec Safety Engineering Research Institute Co Ltd filed Critical Sinopec Management System Certification Qingdao Co ltd
Priority to CN202210847896.1A priority Critical patent/CN117475343A/zh
Publication of CN117475343A publication Critical patent/CN117475343A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种炼化装置区交叉作业智能监控方法，包括以下步骤：分别在交叉作业区域的水平和垂直方向固定架设双目摄像头，拍摄交叉作业区域画面，实时获取两个双目摄像头的RTSP视频流进行智能分析；分别对两个双目摄像头拍摄的画面进行相机标定、双目校正和立体匹配，然后对两个双目摄像头拍摄的画面进行智能分析判定；若两个双目摄像头拍摄画面均判定为疑似下层交叉作业区域站人，则进行下层交叉作业区域站人事件报警，两个双目摄像头分别输出两张拍摄图像，控制报警设备进行声光和语音提醒。本发明对异常情况进行报警，通知管理人员及作业人员对违规行为及时处置，防止交叉作业过程中出现物体打击、机械伤害等人员伤亡事故出现。

Description

一种炼化装置区交叉作业智能监控方法
技术领域
本发明涉及交叉作业监控技术领域，具体涉及一种炼化装置区交叉作业智能监控方法。
背景技术
交叉作业是在同一工作面进行不同的作业，或者是在同一立体空间不同的作业面进行不同或相同的作业。施工现场经常有上下立体交叉的作业，以及处于空间贯通状态下同时进行的高处作业，这些都属于交叉作业的范畴，极易发生坠物伤人、高处坠落、机械打击、化学品灼伤、火灾等安全事故，安全隐患多，管理难度大。
现有交叉作业的安全防护措施，主要通过建立联系沟通机制合理调作业活动配尽量避免交叉、加强人员培训及风险告知、编制应急预案等手段实现，技术手段缺乏。CN107247456A公开了一种多设备交叉作业区域的安全防碰撞系统，采用安装在不同设备上的多种传感器连续读取数据，通过计算设备之间的距离关系，能够实现多种设备之间的距离判断，并通过声光报警器报警，提醒操作者小心操作，提高了检测效率和安全性；CN101570304公开了一种塔式起重机交叉作业显示装置，在塔式起重机吊钩跑车上安装警示铃和摄像头，当起重机作业时，电铃声和摄像头能随跑车移动，利用影像、铃声来避让、提醒施工作业人员避免吊物伤害；CN113095525A提供了一种电网检修的智能管控交叉作业系统，包括数据存储单元、检测单元和高级应用单元，帮助检修作业人员能够及时准确的了解检修作业信息，防止检修作业和高压试验交叉作业，有效降低作业风险。
已有的交叉作业安全管控技术，主要侧重于采用辅助传感器探测设备或预判轨迹来进行提前预警，硬件成本高，现场架设施工复杂，在石化行业罐区、装置区等缺少适用性。因此，有必要提供一种立体交叉作业识别检测方法，用于提醒管理人员加强预警监控，避免出现作业过程中的人身伤害。
发明内容
针对上述现有技术存在的问题，本发明提出了一种炼化装置区交叉作业智能监控方法，设计合理，克服了现有技术的不足，具有良好的效果。
为了实现上述目的，本发明采用如下技术方案：
一种炼化装置区交叉作业智能监控方法，包括以下步骤：
S1、分别在交叉作业区域的水平和垂直方向固定架设双目摄像头，拍摄交叉作业区域画面，交叉作业区域包括上下两层施工平台，双目摄像头架设高度为交叉作业下层施工平台的高度，架设距离以能覆盖交叉作业环境为准，实时获取双目摄像头的RTSP视频流进行智能分析；
S2、分别对两个双目摄像头拍摄的画面进行相机标定、双目校正和立体匹配，然后对两个双目摄像头拍摄的画面进行判定；
S3、若两个方向的双目摄像头拍摄画面均判定为疑似下层交叉作业区域站人，则进行下层交叉作业区域站人事件报警，两个双目摄像头分别输出两张拍摄图像，控制报警设备进行声光和语音提醒。
进一步地，在步骤S2中，利用OpenCV分别对两个双目摄像头进行标定，具体实现步骤为：
a、使双目摄像头水平放置，固定在同一基准平面上；
b、在双目摄像头前放置棋盘格标定板，使标定板在拍摄画面中显示完整，并且占据整个拍摄画面的1/4至1/2，标定板在标定过程中保持平整；
c、在标定板的亮度足够且均匀的情况下，将多个标定板等间隔放置在实际工作距离范围内，采集20～30张标定图像；
d、使用Matlab自动导入标定图像进行自动标定，将标定的结果读入OpenCV，进行后续图像校准和匹配。
进一步地，标定完成后获得两个双目摄像头的内部参数，内部参数包括fx、fy、cx、cy、畸变系数[k1,k2,p1,p2,k3]、左右两个摄像头之间的相对位置。
进一步地，在步骤S2中，双目校正和立体匹配的具体实现过程为：经过双目标定得到摄像头的各项参数后，采用OpenCV中的stereoRectify得到校正旋转矩阵R、投影矩阵P以及重投影矩阵Q，再采用initUndistortRectifyMap函数得出校准映射参数，然后用remap来校正输入的左右图像，校正后的左右两幅图像匹配点是在同一行上的，使用OpenCV中SGBM算法计算视差图双目匹配之后得到视差图。
进一步地，在步骤S2中，分别同时对两个双目摄像头拍摄的画面进行判定，包括以下子步骤：
S21、对拍摄画面进行人员目标检测，根据人员矩形坐标计算每个矩形框下方中心点坐标，即人员脚部对应的坐标，代表每个人员的站位位置；
S22、记图像高度为H，将每个人员位置的纵坐标值与H/2进行比较，若纵坐标值大于H/2，则记为上层作业人员，若小于H/2，则记为下层作业人员；
S23、依次计算每个上层作业人员与每个下层作业人员的横坐标差值，判断是否小于阈值d1，若小于阈值，则进一步判断深度信息距离关系；
S24、根据视差图，得到上层作业人员和下层作业人员站位坐标对应的灰度值，计算灰度差值并判断是否小于阈值d2，若小于阈值d2，则该方向的双目摄像头判定为疑似下层交叉作业区域站人；
S25、若两个方向的双目摄像头均判定为疑似下层交叉作业区域站人，则判定为下层交叉作业区域站人事件。
进一步地，在步骤S21中，对拍摄画面进行人员检测采用YOLOv3人员目标检测框架，首先通过骨干网络Darknet-53提取特征信息，再通过检测网络进行分类与定位；
Darknet-53网络结构在网络中加入残差模块，每个残差模块由两个卷积层和一个快捷链路构成。
YOLOv3中采用上采样和融合法，分别在13*13、26*26、52*52三层特征图上进行预测目标框，3条预测支路采用全卷积的结构。
进一步地，针对YOLOv3检测框架，在原有分类结果和定位结果的基础上，增加目标关键点热力图的输出结果，从而集成目标检测和人体关键点检测的任务，所得到的人体关键点位置信息包括头部、胸部、腰部和脚部，根据所述关键点位置信息进一步得到人体身高信息，自适应矫正判别阈值d、d1、d2的设定。
本发明带来的有益技术效果：
本发明采用基于深度学习的视频识别方法，在不改动装置设施固有结构的基础上，通过在外部区域架设双目摄像头，并对视频流进行采集、传输、分析，突破单纯靠安全管理手段不能解决的难题，实现在垂直方向违规站人的识别，并对异常情况进行报警，通知管理人员及作业人员对违规行为及时处置，具有高效、高精度的优点，防止交叉作业过程中出现物体打击、机械伤害等人员伤亡事故出现，为管控交叉作业危险行为提供了新的思路和解决方案。
附图说明
图1为本发明提出的两个双目摄像头架设位置示意图；
图2为本发明提出的棋盘格标定板示意图；
图3为本发明提出的双目校正流程图；
图4为本发明提出的人员位置示意图；
具体实施方式
下面结合附图和具体实施例对本发明的具体实施方式做进一步说明：
实施例1
一种炼化装置区交叉作业智能监控方法，包括以下步骤：
S1、如图1所示，分别在交叉作业区域的水平和垂直方向固定架设双目摄像头，拍摄交叉作业区域画面，交叉作业区域包括上下两层施工平台，双目摄像头架设高度为交叉作业下层施工平台的高度，架设距离以能覆盖交叉作业环境为准，实时获取双目摄像头的RTSP视频流，用于识别上下两层施工平台交叉作业时下层有人的危险事件；
S2、分别对两个双目摄像头拍摄的画面进行相机标定、双目校正和立体匹配，然后对两个双目摄像头拍摄的画面进行智能分析判定；
具体地，OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可运行在Linux、Windows、Android和Mac OS操作系统上，利用OpenCV分别对两个双目摄像头进行标定，具体实现步骤为：
a、使双目摄像头水平放置，固定在同一基准平面上；
b、在双目摄像头前放置参照物-棋盘格标定板，如图2所示，使标定板在拍摄画面中显示完整，并且占据整个拍摄画面的1/4，标定板在标定过程中保持平整；
c、在标定板的亮度足够且均匀的情况下，将多个标定板等间隔放置在实际工作距离范围内，在该实施例中，工作距离为5m范围，等间隔1m分别放在5m处，采集20张标定图像；
d、使用Matlab标定工具箱立体标定进行标定，命令行输入：stereoCameraCalibrator进入标定模块，自动导入图像进行自动标定，将标定的结果读入opencv，进行后续图像校准和匹配。
标定完成后获得两个双目摄像头的内部参数，内部参数包括fx、fy、cx、cy、畸变系数[k1,k2,p1,p2,k3]、左右两个摄像头之间的相对位置，相对位置即右摄像头相对于左摄像头的平移向量t和旋转矩阵R。
具体地，如图3所示，双目校正的作用就是要把消除畸变后的两幅图像严格地行对应，使得两幅图像的对极线恰好在同一水平线上，这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。经过双目标定得到摄像头的各项参数后，采用OpenCV中的stereoRectify得到校正旋转矩阵R、投影矩阵P、重投影矩阵Q，再采用initUndistortRectifyMap函数得出校准映射参数，然后用remap来校准输入的左右图像。校正后的左右两幅图像得到后，匹配点是在同一行上的，使用OpenCV中SGBM算法计算视差图双目匹配之后得到视差图。视差(disparity)是同一个空间点在两个相机成像中对应的x坐标的差值，它可以通过编码成灰度图来反映出距离的远近，离镜头越近的灰度越亮。(如果两个摄像头是垂直的，则使用y坐标的差值)。
对两个双目摄像头拍摄的画面进行判定，包括以下子步骤：
S21、对拍摄画面进行人员目标检测，根据人员矩形坐标计算每个矩形框下方中心点坐标，即人员脚部对应的坐标，代表每个人员的站位位置；
其中，对拍摄画面进行人员检测采用YOLOv3人员目标检测框架，首先通过骨干网络Darknet-53提取特征信息，再通过YOLOv3检测框架进行分类与定位；
Darknet-53网络结构在网络中加入残差模块，有利于解决深层次网络的梯度问题，每个残差模块由两个卷积层和一个快捷链路构成。
为加强算法对人员小目标检测的精确度，YOLOv3中采用类似FPN的上采样和融合做法，分别在13*13(32倍下采样)、26*26(16倍下采样)、52*52(8倍下采样)三层特征图上进行预测目标框，3条预测支路采用全卷积的结构。
针对YOLOv3检测框架，在原有分类结果和定位结果的基础上，增加目标关键点热力图的输出结果，从而集成目标检测和人体关键点检测等多个任务，以提升目标检测准确率。所得到的人体关键点位置信息包括头部、胸部、腰部和脚部，根据所述关键点位置信息进一步得到人体身高信息，自适应矫正判别阈值d、d1、d2的设定。
S22、如图4所示，记图像高度为H，将每个人员位置的纵坐标值ydowni与H/2进行比较，若纵坐标值ydowni大于H/2，则记为上层作业人员，若小于H/2，则记为下层作业人员；
S23、依次计算每个上层作业人员与每个下层作业人员的横坐标差值，根据公式(1)判断是否小于阈值d1，若小于阈值，则水平方向的双目摄像头判定为疑似下层交叉作业区域站人，则进一步判断深度信息距离关系；
||xupi-xdownj||＜d1 (1)
其中，xupi为上层作业人员的横坐标，xdownj为下层作业人员的横坐标；
S24、根据视差图，得到上层作业人员和下层作业人员站位坐标对应的灰度值，计算灰度差值并判断是否小于阈值d2，若小于阈值d2，则垂直方向的双目摄像头判定为疑似下层交叉作业区域站人；
S25、若两个方向的双目摄像头均判定为疑似下层交叉作业区域站人，则判定为下层交叉作业区域站人事件。
S3、两个方向的双目摄像头拍摄画面均判定为疑似下层交叉作业区域站人，则进行下层交叉作业区域站人事件报警，两个双目摄像头分别输出两张拍摄图像，控制报警设备进行声光和语音提醒。
实施例2
一种炼化装置区交叉作业智能监控方法，包括以下步骤：
S1、如图1所示，分别在交叉作业区域的水平和垂直方向固定架设双目摄像头，拍摄交叉作业区域画面，交叉作业区域包括上下两层施工平台，双目摄像头架设高度为交叉作业下层施工平台的高度，架设距离以能覆盖交叉作业环境为准，实时获取双目摄像头的RTSP视频流，用于识别上下两层施工平台交叉作业时下层有人的危险事件；
S2、分别对两个双目摄像头拍摄的画面进行相机标定、双目校正和立体匹配，然后对两个双目摄像头拍摄的画面进行智能分析判定；
具体地，OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可运行在Linux、Windows、Android和Mac OS操作系统上，利用OpenCV分别对两个双目摄像头进行标定，具体实现步骤为：
a、使双目摄像头水平放置，固定在同一基准平面上；
b、在双目摄像头前放置参照物-棋盘格标定板，如图2所示，使标定板在拍摄画面中显示完整，并且占据整个拍摄画面的3/8，标定板在标定过程中保持平整；
c、在标定板的亮度足够且均匀的情况下，将多个标定板等间隔放置在实际工作距离范围内，在该实施例中，工作距离为6m范围，等间隔1m分别放在6m处，采集25张标定图像；
d、使用Matlab标定工具箱立体标定进行标定，命令行输入：stereoCameraCalibrator进入标定模块，自动导入图像进行自动标定，将标定的结果读入opencv，进行后续图像校准和匹配。
标定完成后获得两个双目摄像头的内部参数，内部参数包括fx、fy、cx、cy、畸变系数[k1,k2,p1,p2,k3]、左右两个摄像头之间的相对位置，相对位置即右摄像头相对于左摄像头的平移向量t和旋转矩阵R。
具体地，如图3所示，双目校正的作用就是要把消除畸变后的两幅图像严格地行对应，使得两幅图像的对极线恰好在同一水平线上，这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。经过双目标定得到摄像头的各项参数后，采用OpenCV中的stereoRectify得到校正旋转矩阵R、投影矩阵P、重投影矩阵Q，再采用initUndistortRectifyMap函数得出校准映射参数，然后用remap来校准输入的左右图像。校正后的左右两幅图像得到后，匹配点是在同一行上的，使用OpenCV中SGBM算法计算视差图双目匹配之后得到视差图。视差(disparity)是同一个空间点在两个相机成像中对应的x坐标的差值，它可以通过编码成灰度图来反映出距离的远近，离镜头越近的灰度越亮。(如果两个摄像头是垂直的，则使用y坐标的差值)。
对两个双目摄像头拍摄的画面进行判定，包括以下子步骤：
S21、对拍摄画面进行人员目标检测，根据人员矩形坐标计算每个矩形框下方中心点坐标，即人员脚部对应的坐标，代表每个人员的站位位置；
其中，对拍摄画面进行人员检测采用YOLOv3人员目标检测框架，首先通过骨干网络Darknet-53提取特征信息，再通过YOLOv3检测框架进行分类与定位；
Darknet-53网络结构在网络中加入残差模块，有利于解决深层次网络的梯度问题，每个残差模块由两个卷积层和一个快捷链路构成。
为加强算法对人员小目标检测的精确度，YOLOv3中采用类似FPN的上采样和融合做法，分别在13*13(32倍下采样)、26*26(16倍下采样)、52*52(8倍下采样)三层特征图上进行预测目标框，3条预测支路采用全卷积的结构。
针对YOLOv3检测框架，在原有分类结果和定位结果的基础上，增加目标关键点热力图的输出结果，从而集成目标检测和人体关键点检测等多个任务，以提升目标检测准确率。所得到的人体关键点位置信息包括头部、胸部、腰部和脚部，根据所述关键点位置信息进一步得到人体身高信息，自适应矫正判别阈值d、d1、d2的设定。
S22、如图4所示，记图像高度为H，将每个人员位置的纵坐标值ydowni与H/2进行比较，若纵坐标值ydowni大于H/2，则记为上层作业人员，若小于H/2，则记为下层作业人员；
S23、依次计算每个上层作业人员与每个下层作业人员的横坐标差值，根据公式(1)判断是否小于阈值d1，若小于阈值，则水平方向的双目摄像头判定为疑似下层交叉作业区域站人，则进一步判断深度信息距离关系；
||xupi-xdownj||＜d1 (1)
其中，xupi为上层作业人员的横坐标，xdownj为下层作业人员的横坐标；
S24、根据视差图，得到上层作业人员和下层作业人员站位坐标对应的灰度值，计算灰度差值并判断是否小于阈值d2，若小于阈值d2，则垂直方向的双目摄像头判定为疑似下层交叉作业区域站人；
S25、若两个方向的双目摄像头均判定为疑似下层交叉作业区域站人，则判定为下层交叉作业区域站人事件。
S3、两个方向的双目摄像头拍摄画面均判定为疑似下层交叉作业区域站人，则进行下层交叉作业区域站人事件报警，两个双目摄像头分别输出两张拍摄图像，控制报警设备进行声光和语音提醒。
实施例3
一种炼化装置区交叉作业智能监控方法，包括以下步骤：
S1、如图1所示，分别在交叉作业区域的水平和垂直方向固定架设双目摄像头，拍摄交叉作业区域画面，交叉作业区域包括上下两层施工平台，双目摄像头架设高度为交叉作业下层施工平台的高度，架设距离以能覆盖交叉作业环境为准，实时获取双目摄像头的RTSP视频流，用于识别上下两层施工平台交叉作业时下层有人的危险事件；
S2、分别对两个双目摄像头拍摄的画面进行相机标定、双目校正和立体匹配，然后对两个双目摄像头拍摄的画面进行智能分析判定；
具体地，OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可运行在Linux、Windows、Android和Mac OS操作系统上，利用OpenCV分别对两个双目摄像头进行标定，具体实现步骤为：
a、使双目摄像头水平放置，固定在同一基准平面上；
b、在双目摄像头前放置参照物-棋盘格标定板，如图2所示，使标定板在拍摄画面中显示完整，并且占据整个拍摄画面的1/2，标定板在标定过程中保持平整；
c、在标定板的亮度足够且均匀的情况下，将多个标定板等间隔放置在实际工作距离范围内，在该实施例中，工作距离为7m范围，等间隔1m分别放在7m处，采集30张标定图像；
d、使用Matlab标定工具箱立体标定进行标定，命令行输入：stereoCameraCalibrator进入标定模块，自动导入图像进行自动标定，将标定的结果读入opencv，进行后续图像校准和匹配。
标定完成后获得两个双目摄像头的内部参数，内部参数包括fx、fy、cx、cy、畸变系数[k1,k2,p1,p2,k3]、左右两个摄像头之间的相对位置，相对位置即右摄像头相对于左摄像头的平移向量t和旋转矩阵R。
具体地，如图3所示，双目校正的作用就是要把消除畸变后的两幅图像严格地行对应，使得两幅图像的对极线恰好在同一水平线上，这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。经过双目标定得到摄像头的各项参数后，采用OpenCV中的stereoRectify得到校正旋转矩阵R、投影矩阵P、重投影矩阵Q，再采用initUndistortRectifyMap函数得出校准映射参数，然后用remap来校准输入的左右图像。校正后的左右两幅图像得到后，匹配点是在同一行上的，使用OpenCV中SGBM算法计算视差图双目匹配之后得到视差图。视差(disparity)是同一个空间点在两个相机成像中对应的x坐标的差值，它可以通过编码成灰度图来反映出距离的远近，离镜头越近的灰度越亮。(如果两个摄像头是垂直的，则使用y坐标的差值)。
对两个双目摄像头拍摄的画面进行判定，包括以下子步骤：
S21、对拍摄画面进行人员目标检测，根据人员矩形坐标计算每个矩形框下方中心点坐标，即人员脚部对应的坐标，代表每个人员的站位位置；
其中，对拍摄画面进行人员检测采用YOLOv3人员目标检测框架，首先通过骨干网络Darknet-53提取特征信息，再通过YOLOv3检测框架进行分类与定位；
Darknet-53网络结构在网络中加入残差模块，有利于解决深层次网络的梯度问题，每个残差模块由两个卷积层和一个快捷链路构成。
为加强算法对人员小目标检测的精确度，YOLOv3中采用类似FPN的上采样和融合做法，分别在13*13(32倍下采样)、26*26(16倍下采样)、52*52(8倍下采样)三层特征图上进行预测目标框，3条预测支路采用全卷积的结构。
针对YOLOv3检测框架，在原有分类结果和定位结果的基础上，增加目标关键点热力图的输出结果，从而集成目标检测和人体关键点检测等多个任务，以提升目标检测准确率。所得到的人体关键点位置信息包括头部、胸部、腰部和脚部，根据所述关键点位置信息进一步得到人体身高信息，自适应矫正判别阈值d、d1、d2的设定。
S22、如图4所示，记图像高度为H，将每个人员位置的纵坐标值ydowni与H/2进行比较，若纵坐标值ydowni大于H/2，则记为上层作业人员，若小于H/2，则记为下层作业人员；
S23、依次计算每个上层作业人员与每个下层作业人员的横坐标差值，根据公式(1)判断是否小于阈值d1，若小于阈值，则水平方向的双目摄像头判定为疑似下层交叉作业区域站人，则进一步判断深度信息距离关系；
||xupi-xdownj||＜d1 (1)
其中，xupi为上层作业人员的横坐标，xdownj为下层作业人员的横坐标；
S24、根据视差图，得到上层作业人员和下层作业人员站位坐标对应的灰度值，计算灰度差值并判断是否小于阈值d2，若小于阈值d2，则垂直方向的双目摄像头判定为疑似下层交叉作业区域站人；
S25、若两个方向的双目摄像头均判定为疑似下层交叉作业区域站人，则判定为下层交叉作业区域站人事件。
S3、两个方向的双目摄像头拍摄画面均判定为疑似下层交叉作业区域站人，则进行下层交叉作业区域站人事件报警，两个双目摄像头分别输出两张拍摄图像，控制报警设备进行声光和语音提醒。
实施例4
一种炼化装置区交叉作业智能监控方法，包括以下步骤：
S1、如图1所示，分别在交叉作业区域的水平和垂直方向固定架设双目摄像头，拍摄交叉作业区域画面，交叉作业区域包括上下两层施工平台，双目摄像头架设高度为交叉作业下层施工平台的高度，架设距离以能覆盖交叉作业环境为准，实时获取双目摄像头的RTSP视频流，用于识别上下两层施工平台交叉作业时下层有人的危险事件；
S2、分别对两个双目摄像头拍摄的画面进行相机标定、双目校正和立体匹配，然后对两个双目摄像头拍摄的画面进行智能分析判定；
具体地，OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可运行在Linux、Windows、Android和Mac OS操作系统上，利用OpenCV分别对两个双目摄像头进行标定，具体实现步骤为：
a、使双目摄像头水平放置，固定在同一基准平面上；
b、在双目摄像头前放置参照物-棋盘格标定板，如图2所示，使标定板在拍摄画面中显示完整，并且占据整个拍摄画面的1/2，标定板在标定过程中保持平整；
c、在标定板的亮度足够且均匀的情况下，将多个标定板等间隔放置在实际工作距离范围内，在该实施例中，工作距离为7m范围，等间隔1m分别放在7m处，采集25张标定图像；
d、使用Matlab标定工具箱立体标定进行标定，命令行输入：stereoCameraCalibrator进入标定模块，自动导入图像进行自动标定，将标定的结果读入opencv，进行后续图像校准和匹配。
标定完成后获得两个双目摄像头的内部参数，内部参数包括fx、fy、cx、cy、畸变系数[k1,k2,p1,p2,k3]、左右两个摄像头之间的相对位置，相对位置即右摄像头相对于左摄像头的平移向量t和旋转矩阵R。
具体地，如图3所示，双目校正的作用就是要把消除畸变后的两幅图像严格地行对应，使得两幅图像的对极线恰好在同一水平线上，这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。经过双目标定得到摄像头的各项参数后，采用OpenCV中的stereoRectify得到校正旋转矩阵R、投影矩阵P、重投影矩阵Q，再采用initUndistortRectifyMap函数得出校准映射参数，然后用remap来校准输入的左右图像。校正后的左右两幅图像得到后，匹配点是在同一行上的，使用OpenCV中SGBM算法计算视差图双目匹配之后得到视差图。视差(disparity)是同一个空间点在两个相机成像中对应的x坐标的差值，它可以通过编码成灰度图来反映出距离的远近，离镜头越近的灰度越亮。(如果两个摄像头是垂直的，则使用y坐标的差值)。
对两个双目摄像头拍摄的画面进行判定，包括以下子步骤：
S21、对拍摄画面进行人员目标检测，根据人员矩形坐标计算每个矩形框下方中心点坐标，即人员脚部对应的坐标，代表每个人员的站位位置；
其中，对拍摄画面进行人员检测采用YOLOv3人员目标检测框架，首先通过骨干网络Darknet-53提取特征信息，再通过YOLOv3检测框架进行分类与定位；
Darknet-53网络结构在网络中加入残差模块，有利于解决深层次网络的梯度问题，每个残差模块由两个卷积层和一个快捷链路构成。
为加强算法对人员小目标检测的精确度，YOLOv3中采用类似FPN的上采样和融合做法，分别在13*13(32倍下采样)、26*26(16倍下采样)、52*52(8倍下采样)三层特征图上进行预测目标框，3条预测支路采用全卷积的结构。
针对YOLOv3检测框架，在原有分类结果和定位结果的基础上，增加目标关键点热力图的输出结果，从而集成目标检测和人体关键点检测等多个任务，以提升目标检测准确率。所得到的人体关键点位置信息包括头部、胸部、腰部和脚部，根据所述关键点位置信息进一步得到人体身高信息，自适应矫正判别阈值d、d1、d2的设定。
S22、如图4所示，记图像高度为H，将每个人员位置的纵坐标值ydowni与H/2进行比较，若纵坐标值ydowni大于H/2，则记为上层作业人员，若小于H/2，则记为下层作业人员；
S23、依次计算每个上层作业人员与每个下层作业人员的横坐标差值，根据公式(1)判断是否小于阈值d1，若小于阈值，则水平方向的双目摄像头判定为疑似下层交叉作业区域站人，则进一步判断深度信息距离关系；
||xupi-xdownj||＜d1 (1)
其中，xupi为上层作业人员的横坐标，xdownj为下层作业人员的横坐标；
S24、根据视差图，得到上层作业人员和下层作业人员站位坐标对应的灰度值，计算灰度差值并判断是否小于阈值d2，若小于阈值d2，则垂直方向的双目摄像头判定为疑似下层交叉作业区域站人；
S25、若两个方向的双目摄像头均判定为疑似下层交叉作业区域站人，则判定为下层交叉作业区域站人事件。
S3、两个方向的双目摄像头拍摄画面均判定为疑似下层交叉作业区域站人，则进行下层交叉作业区域站人事件报警，两个双目摄像头分别输出两张拍摄图像，控制报警设备进行声光和语音提醒。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (10)

1.一种炼化装置区交叉作业智能监控方法，其特征在于，包括以下步骤：
S1、分别在交叉作业区域的水平和垂直方向固定架设双目摄像头，拍摄交叉作业区域画面，交叉作业区域包括上下两层施工平台，双目摄像头架设高度为交叉作业下层施工平台的高度，架设距离以能覆盖交叉作业环境为准，实时获取双目摄像头的RTSP视频流进行智能分析；
S2、分别对两个双目摄像头拍摄的画面进行相机标定、双目校正和立体匹配，然后对两个双目摄像头拍摄的画面进行判定；
S3、若两个方向的双目摄像头拍摄画面均判定为疑似下层交叉作业区域站人，则进行下层交叉作业区域站人事件报警，两个双目摄像头分别输出两张拍摄图像，控制报警设备进行声光和语音提醒。
2.根据权利要求1所述的一种炼化装置区交叉作业智能监控方法，其特征在于，在所述步骤S2中，利用OpenCV分别对两个双目摄像头进行标定，具体实现步骤为：
a、使双目摄像头水平放置，固定在同一基准平面上；
b、在双目摄像头前放置棋盘格标定板，使标定板在拍摄画面中显示完整，标定板在标定过程中保持平整；
c、在标定板的亮度足够且均匀的情况下，将多个标定板等间隔放置在实际工作距离范围内，采集20～30张标定图像；
d、使用Matlab自动导入标定图像进行自动标定，将标定的结果读入OpenCV，进行后续图像校准和匹配。
3.根据权利要求2所述的一种炼化装置区交叉作业智能监控方法，其特征在于，在所述步骤b中，使标定板占据整个拍摄画面的1/4至1/2。
4.根据权利要求2所述的一种炼化装置区交叉作业智能监控方法，其特征在于，标定完成后获得两个双目摄像头的内部参数，内部参数包括fx、fy、cx、cy、畸变系数[k1,k2,p1,p2,k3]、左右两个摄像头之间的相对位置。
5.根据权利要求4所述的一种炼化装置区交叉作业智能监控方法，其特征在于，在所述步骤S2中，双目校正和立体匹配的具体实现过程为：经过双目标定得到摄像头的各项参数后，采用OpenCV中的stereoRectify得到校正旋转矩阵R、投影矩阵P以及重投影矩阵Q，再采用initUndistortRectifyMap函数得出校准映射参数，然后用remap来校正输入的左右图像，校正后的左右两幅图像匹配点是在同一行上的，使用OpenCV中SGBM算法计算视差图双目匹配之后得到视差图。
6.根据权利要求1所述的一种炼化装置区交叉作业智能监控方法，其特征在于，在所述步骤S2中，分别同时对两个双目摄像头拍摄的画面进行判定，包括以下子步骤：
S21、对拍摄画面进行人员目标检测，根据人员矩形坐标计算每个矩形框下方中心点坐标，即人员脚部对应的坐标，代表每个人员的站位位置；
S22、记图像高度为H，将每个人员位置的纵坐标值与H/2进行比较，若纵坐标值大于H/2，则记为上层作业人员，若小于H/2，则记为下层作业人员；
S23、依次计算每个上层作业人员与每个下层作业人员的横坐标差值，判断是否小于阈值d1，若小于阈值，则进一步判断深度信息距离关系；
S24、根据视差图，得到上层作业人员和下层作业人员站位坐标对应的灰度值，计算灰度差值并判断是否小于阈值d2，若小于阈值d2，则该方向的双目摄像头判定为疑似下层交叉作业区域站人；
S25、若两个方向的双目摄像头均判定为疑似下层交叉作业区域站人，则判定为下层交叉作业区域站人事件。
7.根据权利要求6所述的一种炼化装置区交叉作业智能监控方法，其特征在于，在所述步骤S21中，对拍摄画面进行人员检测采用YOLOv3人员目标检测框架，首先通过骨干网络Darknet-53提取特征信息，再通过检测网络进行分类与定位。
8.根据权利要求7所述的一种炼化装置区交叉作业智能监控方法，其特征在于，Darknet-53网络结构在网络中加入残差模块，每个残差模块由两个卷积层和一个快捷链路构成。
9.根据权利要求7所述的一种炼化装置区交叉作业智能监控方法，其特征在于，YOLOv3中采用上采样和融合法，分别在13*13、26*26、52*52三层特征图上进行预测目标框，3条预测支路采用全卷积的结构。
10.根据权利要求7所述的一种炼化装置区交叉作业智能监控方法，其特征在于，针对YOLOv3检测框架，在原有分类结果和定位结果的基础上，增加目标关键点热力图的输出结果，从而集成目标检测和人体关键点检测的任务，所得到的人体关键点位置信息包括头部、胸部、腰部和脚部，根据所述关键点位置信息进一步得到人体身高信息，自适应矫正判别阈值d、d1、d2的设定。
CN202210847896.1A 2022-07-19 2022-07-19 一种炼化装置区交叉作业智能监控方法 Pending CN117475343A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210847896.1A CN117475343A (zh) 2022-07-19 2022-07-19 一种炼化装置区交叉作业智能监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210847896.1A CN117475343A (zh) 2022-07-19 2022-07-19 一种炼化装置区交叉作业智能监控方法

Publications (1)

Publication Number Publication Date
CN117475343A true CN117475343A (zh) 2024-01-30

Family

ID=89631662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210847896.1A Pending CN117475343A (zh) 2022-07-19 2022-07-19 一种炼化装置区交叉作业智能监控方法

Country Status (1)

Country Link
CN (1) CN117475343A (zh)

Similar Documents

Publication Publication Date Title
CN112418103B (zh) 一种基于动态双目视觉的桥式起重机吊装安全防撞系统及方法
CN105574683A (zh) 一种全方位变电站巡检系统及方法
CN111753712A (zh) 电力生产人员安全监测方法、系统以及设备
CN114155601A (zh) 一种基于视觉的作业人员危险行为检测方法及系统
CN109308448A (zh) 一种采用图像处理技术来防止变配电误操作的方法
CN114898523A (zh) 一种具有测距功能的输电线路图像监测方法及装置
CN111539264A (zh) 一种船舶火焰探测定位系统与探测定位方法
CN112906441B (zh) 用于通信行业查勘维护的图像识别系统及方法
CN112989099A (zh) 基于图像通信的智慧施工管理系统和方法
CN111967323B (zh) 一种基于深度学习算法的电力带电作业安全检测方法
CN117475343A (zh) 一种炼化装置区交叉作业智能监控方法
CN112656081A (zh) 基于矢量位姿测量技术的室内定位系统
CN115035458B (zh) 一种安全风险评价方法及系统
KR20240040530A (ko) 딥러닝 기반 감염병 예방 시스템
KR20200133596A (ko) 자동 차량 통합 검색 시스템
CN114314347B (zh) 起重机械安全监控管理系统
CN116311034A (zh) 一种基于对比检测的机器人巡检系统
CN115984770A (zh) 一种基于图像识别的换流站远程监控方法
CN112576310B (zh) 基于机器人的隧道安防检测方法及系统
CN113989335A (zh) 一种对厂房内工人自动定位的方法
CN115049975A (zh) 一种动态展示施工场地安全活动要素的方法和系统
CN110363109B (zh) 一种基于计算机视觉的覆盖式漏油检测系统及方法
CN118018693B (zh) 一种基于云台球机的巡检监控方法和装置
CN116227849B (zh) 一种用于企业危险作业的规范化管理及预警系统
CN116973939B (zh) 安全监测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination