CN112802129A - 一种基于单目视觉的焊接安全距离测量方法 - Google Patents

一种基于单目视觉的焊接安全距离测量方法 Download PDF

Info

Publication number
CN112802129A
CN112802129A CN202110392460.3A CN202110392460A CN112802129A CN 112802129 A CN112802129 A CN 112802129A CN 202110392460 A CN202110392460 A CN 202110392460A CN 112802129 A CN112802129 A CN 112802129A
Authority
CN
China
Prior art keywords
ground
target
image
target detection
welding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110392460.3A
Other languages
English (en)
Other versions
CN112802129B (zh
Inventor
李玲
祝敏航
徐晓刚
王军
刘雪莹
朱岳江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202110392460.3A priority Critical patent/CN112802129B/zh
Publication of CN112802129A publication Critical patent/CN112802129A/zh
Application granted granted Critical
Publication of CN112802129B publication Critical patent/CN112802129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fire-Detection Mechanisms (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于单目视觉的焊接安全距离测量方法，属于焊接安全领域。该方法具体为利用放置标志物的图像坐标及世界坐标，计算地面和映射平面高度的单应矩阵；并将图像数据集输入改进的Faster RCNN+FPN目标检测模型，输出目标检测结果；最后通过地面单应矩阵、映射平面高度单应矩阵和目标物检测结果，并针对实际焊接场景，获得一种明火高度测量方法，实现目标物间距离测量。本发明的焊接安全距离测量方法能有效检测易燃气瓶是否倾倒及测量目标物间距离，并在目标物间距离小于阈值时发出预警，减少人工监督成本和存在的安全隐患。

Description

一种基于单目视觉的焊接安全距离测量方法
技术领域
本发明涉及焊接安全领域，尤其涉及一种基于单目视觉的焊接安全距离测量方法。
背景技术
焊接技术、焊接生产作业在大工业生产中，已相当广泛的应用于造船、建筑、航空等各个领域，在国民经济建设中起到了极其重要的作用。但由焊接作业引起的安全生产事故，已经严重危害到人民财产生命安全，大量资料表明，其中由焊接与切割引发的火灾、爆炸等事故最为常见。同时引发焊接安全事故的主要原因是焊接切割作业时，产生的明火具有高温高压，极易引燃可燃物造成火灾事故。
在焊接与切割作业中，溶解乙炔气瓶与氧气瓶被广泛地应用，且经常同时使用。氧气和乙炔分别盛装在移动式压力容器中，在使用过程中存在着以下问题：切割时熔化的金属会飞溅，若在火星飞溅范围内放置乙炔及氧气瓶，有发生燃烧爆炸事故的危险；氧气和乙炔气瓶的阀门、连接胶管均有可能不严密，会造成气体泄漏，长时间在空气中聚集，会形成爆炸性混合物；溶解乙炔气瓶里有丙酮，若倾斜角度在30度以下，在阀门打开（使用过程）的时候，有可能导致丙酮流出与空气混合可形成爆炸性混合物。
为减少上述意外发生几率，《溶解乙炔气瓶安全检查规程》中乙炔瓶使用规定“同时使用氧气瓶和乙炔瓶时，应尽量避免放在一起，与明火距离一般不小于10米”；国标标准GB26164.1-2010《电业安全工作规程（热力和机械部分）》中规定：“使用中的氧气瓶和乙炔气瓶应垂直放置并固定起来，氧气瓶和乙炔气瓶的距离不得小于5米”；《气焊（割）消防安全操作规程》中规定“氧气瓶、乙炔气瓶应分开放置，间距不得少于5米”。
现有焊接事故预防机制中，大多依靠提高焊接工人从业素质，自觉遵守焊接操作规定，以及专人监督方案。大量的焊接场地分布使得监督任务较为繁重，且无法及时发现问题，安全隐患仍高度存在。因此，亟需一种智能化监督系统自动检测焊接安全距离是否符合规定，当不符合相关规定时，及时发出预警，提醒相关人员存在潜在危险，减少安全隐患。
发明内容
针对现有技术中存在的问题，本发明提供了一种基于单目视觉的焊接安全距离测量方法，该方法能够及时准确的测量焊接、切割作业时产生的高温明火与易燃气体气瓶间以及易燃气体气瓶间的距离，且在距离小于安全距离时发出预警；该方法的智能化度和通用性高。
本发明的目的是通过以下技术方案来实现的：一种基于单目视觉的焊接安全距离测量方法，具体包括如下步骤：
（1）根据焊接场景，在地面放置标志物，所述标志物构成正方形网格，同时，在地面标志物1m的标定杆顶部竖直放置标志物，利用单目摄像头收集放置有标志物的焊接场景图像；
（2）标定步骤（1）收集的焊接场景图像上标志物坐标及对应的世界坐标，求解地面单应矩阵和映射平面高度的单应矩阵，所述映射平面高度取值0或1，0表示地平面，1表示离地高度为1米的平面；
（3）利用单目摄像头收集未放置标志物的焊接场景图像，构成图像集，将所述图像集输入Faster RCNN+ FPN目标检测模型进行训练；
（4）利用单目摄像头实时收集焊接场景图像，并将实时收集的焊接图像输入训练好的Faster RCNN+ FPN目标检测模型中，输出目标检测结果，所述目标检测结果包括目标检测物的类别、置信度及目标框图像坐标；
（5）通过步骤（2）求解的地面单应矩阵、映射平面高度单应矩阵和步骤（4）获得的目标检测结果进行目标物距离测量，判断是否发出预警。
进一步地，步骤（2）具体包括如下子步骤：
（2.1）对于焊接场景图像上地面的标志物，测量地面标志物的二维齐次世界坐标和二维齐次图像坐标，将所述焊接场景图像上地面的标志物二维齐次图像坐标与二维齐次世界坐标间通过图像平面与地面间的映射单应矩阵建立映射关系；
（2.2）对于焊接场景图像上地面的标志物，获得其三维齐次世界坐标和对应的三维齐次图像坐标；并获得映射平面高度的标志物的三维齐次世界坐标及对应的三维齐次图像坐标，将标志物三维齐次图像坐标通过映射平面高度的单应矩阵与标志物三维齐次世界坐标建立映射关系；
（2.3）利用Levenberg-Marquardt非线性最小二乘法最小化步骤（2.1）及步骤（2.2）所述标志物图像坐标及世界坐标间的重投影误差，求解地面单应矩阵和映射平面高度的单应矩阵。
进一步地，步骤（3）包括如下子步骤：
（3.1）在未放置标志物的焊接场景图像组成的图像集中标注目标检测物，并通过裁剪、镜像、缩放的方式对所述图像集进行预处理；所述目标检测物的类别包括：氧气气瓶、乙炔气瓶、明火及人头；
（3.2）将Faster RCNN+ FPN目标检测模型中的第一级RPN网络的损失函数改为focal loss函数，去除FPN结构中下采样到1/4的特征图；将所述图像集输入Faster RCNN+FPN目标检测模型中，进行训练，直至所述目标检测模型的训练周期达到299，完成对FasterRCNN+ FPN目标检测模型的训练。
进一步地，所述Faster RCNN+ FPN目标检测模型的参数设置为：采用随机梯度下降算法优化Faster RCNN+ FPN目标检测模型的损失函数，momentum设置为0.9，训练周期为299，warm up周期为34，初始学习率设置为0.01，权重衰减参数设置为0.0005。
进一步地，步骤（5）具体包括如下子步骤：
（5.1）首先判断目标物的类别是否为氧气气瓶或乙炔气瓶，若是，则利用目标框图像的框长宽比判断所述氧气气瓶或乙炔气瓶是否倾倒，若倾倒则发出预警，同时利用地面单应矩阵计算目标物检测物之间目标框中心点间的物理距离，若距离小于阈值，则发出预警；
（5.2）若目标检测物为明火，则根据明火边上的人头估算明火高度：若当前帧未检测到人头目标，则利用上帧人头位置信息计算明火离地高度，若上帧仍未检测到明火，则采用焊接场景设定明火高度经验阈值；若当前帧检测到人头，则以明火目标框中心点为中心，设定横向、纵向坐标搜索范围，判断人头目标框是否落入该搜索范围内，若是，则利用该人头目标物测量明火高度，利用明火高度和映射平面高度单应矩阵计算明火与氧气或乙炔气瓶检测框底部中心点间的物理距离，若距离小于阈值，若是则发出预警。
与现有技术相比，本发明的有益效果在于：本发明通过改进Faster RCNN+ FPN目标检测模型，使得检测准确率和实时性提高，能够识别出各尺度的目标检测物，该方法适用于各种焊接场景。同时，采用基于单应矩阵的目标测距方法，并针对实际焊接场景，获得一种明火高度测量方法，有效提高了单目测量的准确率。本发明的焊接安全距离测量方法能有效检测易燃气瓶是否倾倒、测量目标物间距离，并在易燃气瓶放置及目标物间距离不满足规范时发出预警，具有通用性强、智能化度高的特点，并能够有效减少人工监督成本以及存在的安全隐患。
附图说明
图1是本发明所述基于单目视觉的焊接安全距离测量方法的流程图；
图2是本发明所述的标定标志物放置示意图；
图3是本发明所述的标定结果图：图3中的（a）为标志物验证点X坐标值与实际X坐标值的误差图，图3中的（b）为标志物验证点Y坐标值与实际Y坐标值的误差图；
图4是本发明所述的Resnet50+FPN网络结构图；
图5是本发明所述的目标检测物之间的距离测量流程图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步说明，但本发明的保护范围并不仅限于此。
如图1为本发明提供的一种基于单目视觉的焊接安全距离测量方法的流程图，具体包括如下步骤：
（1）根据焊接场景，按图2的方式放置标志物，所述标志物构成正方形网格，由于焊接产生的明火并不一定都在地面上，为了标定与高度相关的单应矩阵，需利用标定杆将标志物竖直放置在高度为1米的平面，利用单目摄像头收集放置有标志物的焊接场景图像。标志物需尽可能大的覆盖地面区域，且标志物间通过激光水平尺保持在同一直线上，以确保标定精度。
Figure 58499DEST_PATH_IMAGE001
世界坐标
Figure 257530DEST_PATH_IMAGE002
，求解地面单应矩阵
Figure 834005DEST_PATH_IMAGE003
和映射平面高度的单应矩阵
Figure 760372DEST_PATH_IMAGE004
，其中
Figure 856636DEST_PATH_IMAGE005
表示标志物索引，
Figure 944677DEST_PATH_IMAGE006
表示映射平面高度，取值0或1，0表示地平面，1表示离地高度为1米的平面；具体包括如下子步骤：
（2.1）对于焊接场景图像上的地面标志物，测量地面标志物的二维齐次世界坐标
Figure 742869DEST_PATH_IMAGE007
和对应的二维齐次图像坐标
Figure 738507DEST_PATH_IMAGE008
，将所述焊接场景图像上地面的标志物地二维齐次图像坐标
Figure 672965DEST_PATH_IMAGE009
与二维齐次世界坐标
Figure 945290DEST_PATH_IMAGE010
间通过图像平面与地面间的映射单应矩阵
Figure 230778DEST_PATH_IMAGE011
建立映射关系：
Figure 498948DEST_PATH_IMAGE012
其中，N为标志物个数，
Figure 553492DEST_PATH_IMAGE013
表示地面归一化比例因子。
（2.2）对于焊接场景图像上的地面标志物，获得其三维齐次世界坐标
Figure 265227DEST_PATH_IMAGE014
和对应的三维齐次图像坐标为
Figure 303590DEST_PATH_IMAGE001
；并获得映射平面高度
Figure 844293DEST_PATH_IMAGE006
标志物的三维齐次世界坐标为
Figure 18922DEST_PATH_IMAGE015
，对应的三维齐次图像坐标为
Figure 635979DEST_PATH_IMAGE016
，则有：
Figure 896059DEST_PATH_IMAGE017
其中，
Figure 771611DEST_PATH_IMAGE018
为映射平面高度
Figure 551480DEST_PATH_IMAGE006
归一化比例因子，
Figure 588706DEST_PATH_IMAGE004
为映射平面高度的单应矩阵。
（2.3）利用Levenberg-Marquardt非线性最小二乘法最小化步骤（2.1）及步骤（2.2）所述标志物图像坐标及世界坐标间的重投影误差，求解地面单应矩阵
Figure 70503DEST_PATH_IMAGE019
和映射平面高度的单应矩阵
Figure 749746DEST_PATH_IMAGE004
。
为了验证上述方法求解地面单应矩阵
Figure 367809DEST_PATH_IMAGE019
和映射平面高度的单应矩阵
Figure 854898DEST_PATH_IMAGE004
的准确性，按图2所示，标志物间物理间隔距离从3米到30米，每隔3米进行放置，实验选取覆盖地面范围最大的4个标志物进行标定。其他未参与标定的标志物作为验证点，计算所有标志物验证点X坐标及Y坐标均值与实际X坐标及Y坐标值的误差，验证结果如图3，图3中的（a）为标志物验证点X坐标值与实际X坐标值的误差，结果显示X坐标值的标定误差在10米范围内小于0.4%，标定精度高；图3中的（b）为标志物验证点Y坐标值与实际Y坐标值的误差，结果显示Y坐标值的标定误差在10米范围内也小于0.4%，标定精度高。
（3）利用单目摄像头收集未放置标志物的焊接场景图像，所述未放置标志物的焊接场景图像构成图像集，将图像集输入Faster RCNN+ FPN目标检测模型进行训练，包括如下子步骤：
（3.1）在未放置标志物的焊接场景图像组成的图像集中标注目标检测物，并通过裁剪、镜像、缩放的方式对所述图像集进行预处理；所述目标检测物的类别包括：氧气气瓶、乙炔气瓶、明火及人头；
（3.2）本发明修改后的Faster RCNN+ FPN目标检测模型如图4所示，将FasterRCNN+ FPN目标检测模型中的第一级RPN网络的损失函数改为focal loss函数，提高目标检测模型的检测精度；focal loss函数表达式为：
Figure 823991DEST_PATH_IMAGE020
，其中
Figure 775766DEST_PATH_IMAGE021
表示关注系数，
Figure 530227DEST_PATH_IMAGE022
表示调制系数，以二分类为例
Figure 174835DEST_PATH_IMAGE023
，其中
Figure 631224DEST_PATH_IMAGE024
表示模型估计类别
Figure 386690DEST_PATH_IMAGE025
的概率，
Figure 730078DEST_PATH_IMAGE026
表示权重系数。实验中取
Figure 545587DEST_PATH_IMAGE027
，
Figure 489272DEST_PATH_IMAGE028
。由于该目标检测模型不需要对图像中较小像素的物体进行检测，去除FPN结构中下采样到1/4的特征图，从而提高目标检测模型的效率。将Faster RCNN+ FPN目标检测模型的参数设置为：采用随机梯度下降算法优化Faster RCNN+ FPN目标检测模型的损失函数，动量系数momentum设置为0.9，训练周期为299，预热周期为34，初始学习率设置为0.01，权重衰减参数设置为0.0005。将所述图像集输入Faster RCNN+ FPN目标检测模型中，进行训练，直至所述目标检测模型的训练周期达到299，完成对Faster RCNN+ FPN目标检测模型的训练。为提高检测速度，在检测阶段设置第一级输出的目标候选框数量为300。
将用于验证该Faster RCNN+ FPN目标检测模型的焊接场景图像集输入该目标检测模型中，原始使用交叉熵损失函数的Faster RCNN+FPN模型，在该验证集上MAP（MeanAverage Precision）为94.8%，改为focal loss损失函数后MAP提升为95.7%。
（4）利用单目摄像头实时收集焊接场景图像，并将实时收集的焊接图像输入训练好的Faster RCNN+ FPN目标检测模型中，输出目标检测结果，所述目标检测结果包括目标检测物的类别、置信度及目标框图像坐标。
（5）通过步骤（2）求解的地面单应矩阵
Figure 48430DEST_PATH_IMAGE019
、映射平面高度单应矩阵
Figure 511903DEST_PATH_IMAGE004
和步骤（4）获得的目标检测结果进行目标物距离测量，判断是否发出预警；具体流程如图5所示，包括如下子步骤：
（5.1）首先判断目标物的类别是否为氧气气瓶或乙炔气瓶，若是，则利用目标物图像框的长宽比判断所述氧气气瓶或乙炔气瓶是否倾倒，若倾倒则发出预警，同时利用地面单应矩阵
Figure 232735DEST_PATH_IMAGE029
计算氧气气瓶或乙炔气瓶框图像中心点间的物理距离，
具体地判断氧气气瓶或乙炔气瓶是否倾倒方法为：设目标框图像坐标为
Figure 663716DEST_PATH_IMAGE030
，其中
Figure 760985DEST_PATH_IMAGE031
为目标框左上角图像坐标，
Figure 341614DEST_PATH_IMAGE032
为目标框右下角坐标，则
Figure 233347DEST_PATH_IMAGE033
，
Figure 151625DEST_PATH_IMAGE034
，其中
Figure 52584DEST_PATH_IMAGE035
表示目标框像素宽度，
Figure 225071DEST_PATH_IMAGE036
表示目标框像素高度。若
Figure 553284DEST_PATH_IMAGE037
则氧气气瓶或乙炔气瓶倾倒，发出预警提示；
氧气气瓶或乙炔气瓶框图像中心点间的物理距离d计算方法如下：
Figure 693278DEST_PATH_IMAGE038
，
其中
Figure 397929DEST_PATH_IMAGE039
其中
Figure 690501DEST_PATH_IMAGE040
分别为氧气瓶和乙炔瓶检测框底部中心点像素坐标。若距离
Figure 189616DEST_PATH_IMAGE041
小于设定阈值，则发出预警。
（5.2）若目标检测物为明火，则根据明火边上的人头估算明火高度：若当前帧未检测到人头目标，因摄像头静止，明火位置较上帧未变动，则利用上帧人头位置信息计算明火离地高度，若上帧仍未检测到明火，则采用焊接场景设定明火高度经验阈值，以减少整体测距误差；若当前帧检测到人头，则以明火目标框中心点图像坐标
Figure 816906DEST_PATH_IMAGE042
为中心，设定像素搜索范围
Figure 59669DEST_PATH_IMAGE043
，本发明中设
Figure 472327DEST_PATH_IMAGE044
，
Figure 142342DEST_PATH_IMAGE045
分别为横向、纵向坐标搜索范围阈值，判断人头目标框图像坐标
Figure 991350DEST_PATH_IMAGE046
是否落入该搜索范围内，若是则利用该人头目标物测量明火高度，明火高度的测量方法具体为：
根据针孔相机成像模型，世界坐标系中三维（3D）坐标 X与二维（2D）图像坐标
Figure 772224DEST_PATH_IMAGE047
之间有如下关系：
Figure 36459DEST_PATH_IMAGE048
其中
Figure 142955DEST_PATH_IMAGE049
是相机内参，已知或可由张正友棋盘格标定方式标定得出，
Figure 744838DEST_PATH_IMAGE050
是旋转矩阵，
Figure 329403DEST_PATH_IMAGE051
是平移矩阵，
Figure 451074DEST_PATH_IMAGE052
是单位矩阵。
根据2D检测框与3D检测框间的约束理论：对于投影在图像上的3D框会被检测到的2D框紧密包围，即：至少一个3D框的角点通过透射投影与2D框的某一边相接触。设目标物物理长宽高表示为
Figure 197313DEST_PATH_IMAGE053
，以目标中心建立坐标系，则有8个3D框角点坐标
Figure 286491DEST_PATH_IMAGE054
，2D框四条边坐标参数表示为
Figure 674747DEST_PATH_IMAGE055
，其中
Figure 650925DEST_PATH_IMAGE056
，
Figure 833645DEST_PATH_IMAGE057
，
Figure 410119DEST_PATH_IMAGE058
，
Figure 336487DEST_PATH_IMAGE059
分别表示2D框横坐标最小值，纵坐标最小值，横坐标最大值及纵坐标最大值。假设3D点
Figure 167171DEST_PATH_IMAGE060
与坐标为
Figure 786371DEST_PATH_IMAGE061
的2D边界框接触。则存在以下约束方程：
Figure 584563DEST_PATH_IMAGE062
，其中
Figure 314621DEST_PATH_IMAGE063
表示3D点透视投影后的
Figure 996882DEST_PATH_IMAGE064
坐标。
将本发明中目标物人头，近似看为球体，根据实际设置人头尺寸
Figure 786984DEST_PATH_IMAGE065
0.18米，以人头中心点为原点，建立与地面坐标系相平行的物体坐标系，旋转矩阵
Figure 72471DEST_PATH_IMAGE066
可由步骤二中地面N个标志物的世界及对应的图像坐标，利用PnP算法计算得到。已知旋转矩阵
Figure 340642DEST_PATH_IMAGE050
及目标物尺寸后，未知参数
Figure 145918DEST_PATH_IMAGE067
，其中
Figure 106921DEST_PATH_IMAGE068
、
Figure 614125DEST_PATH_IMAGE069
、
Figure 685987DEST_PATH_IMAGE070
分别表示平移矩阵t在x、y、z方向的分量。可根据下述方式求解：
Figure 611348DEST_PATH_IMAGE071
，其中y表示2D点纵坐标，s表示缩放因子。
设
Figure 477673DEST_PATH_IMAGE072
，
Figure 737753DEST_PATH_IMAGE073
是一个3x4维的矩阵。将
Figure 347726DEST_PATH_IMAGE073
带入上式有：
Figure 127594DEST_PATH_IMAGE074
其中，
Figure 164821DEST_PATH_IMAGE075
表示矩阵第a行所有列的元素，
Figure 912197DEST_PATH_IMAGE076
矩阵第a行第0列到b-1列的所有元素，
Figure 325861DEST_PATH_IMAGE077
第a行第b列的元素，对于下述
Figure 222885DEST_PATH_IMAGE078
矩阵同理。
设
Figure 696591DEST_PATH_IMAGE079
，由一个3D点
Figure 400105DEST_PATH_IMAGE080
与
Figure 351881DEST_PATH_IMAGE061
约束得到方程，设最小二乘常用公式
Figure 106341DEST_PATH_IMAGE081
，其中
Figure 750949DEST_PATH_IMAGE082
是4x3维矩阵，
Figure 207338DEST_PATH_IMAGE083
，b是4x1维矩阵，则矩阵
Figure 713537DEST_PATH_IMAGE082
的第一行是
Figure 571772DEST_PATH_IMAGE084
，b的第一行是
Figure 387281DEST_PATH_IMAGE085
。为求解平移矩阵
Figure 330966DEST_PATH_IMAGE051
，可由另3个3D点
Figure 375277DEST_PATH_IMAGE086
，
Figure 88018DEST_PATH_IMAGE087
，
Figure 74428DEST_PATH_IMAGE088
， 与
Figure 770989DEST_PATH_IMAGE089
得到另3个约束方程，每对约束点方程计算方法同上，将点约束对
Figure 717577DEST_PATH_IMAGE090
代入
Figure 284825DEST_PATH_IMAGE074
可得：
Figure 442137DEST_PATH_IMAGE091
分别表示矩阵
Figure 111147DEST_PATH_IMAGE092
的第二三四行元素。根据最小二乘方法解方程
Figure 746527DEST_PATH_IMAGE093
可求解
Figure 433861DEST_PATH_IMAGE094
。
如上求解的
Figure 762074DEST_PATH_IMAGE095
为相机坐标系下人头的三维坐标，利用标定数据及PnP算法求得的相机到地面的转换矩阵
Figure 652801DEST_PATH_IMAGE096
，C是3x4维矩阵，则地面到相机的转换矩阵
Figure 357451DEST_PATH_IMAGE097
，人头到地面的高度
Figure 899291DEST_PATH_IMAGE098
。
计算出该高度后需减去焊接时人头与明火间的高度
Figure 398406DEST_PATH_IMAGE099
，利用人头高度
Figure 776429DEST_PATH_IMAGE100
和映射平面高度单应矩阵
Figure 753612DEST_PATH_IMAGE101
，计算明火与氧气气瓶或乙炔气瓶检测框底部中心点间的物理距离，若距离小于阈值，若是则发出预警。
将本发明的焊接安全距离测量方法用于焊接场景监测，氧气气瓶、乙炔气瓶、明火及人头目标物检测精度高，地面目标物间10米内测距误差小于0.4%，未加入明火高度测量算法，具有一定高度的明火与地面气瓶间10米内测距误差为2.78%，利用明火高度测量及映射平面单应矩阵测距，10米内测距误差小于0.6%，较大地提高了测距精度，使得方法能有效判断明火与氧气气瓶、乙炔气瓶间距离是否小于10米，及氧气气瓶、乙炔气瓶间距离是否小于5米，若是则发出预警。

Claims (5)

1.一种基于单目视觉的焊接安全距离测量方法，其特征在于，具体包括如下步骤：
（1）根据焊接场景，在地面放置标志物，所述标志物构成正方形网格，同时，在地面标志物1m的标定杆顶部竖直放置标志物，利用单目摄像头收集放置有标志物的焊接场景图像；
（2）标定步骤（1）收集的焊接场景图像上标志物坐标及对应的世界坐标，求解地面单应矩阵和映射平面高度的单应矩阵，所述映射平面高度取值0或1，0表示地平面，1表示离地高度为1米的平面；
（3）利用单目摄像头收集未放置标志物的焊接场景图像，构成图像集，将所述图像集输入Faster RCNN+ FPN目标检测模型进行训练；
（4）利用单目摄像头实时收集焊接场景图像，并将实时收集的焊接图像输入训练好的Faster RCNN+ FPN目标检测模型中，输出目标检测结果，所述目标检测结果包括目标检测物的类别、置信度及目标框图像坐标；
（5）通过步骤（2）求解的地面单应矩阵、映射平面高度单应矩阵和步骤（4）获得的目标检测结果进行目标物距离测量，判断是否发出预警。
2.根据权利要求1所述基于单目视觉的焊接安全距离测量方法，其特征在于，步骤（2）具体包括如下子步骤：
（2.1）对于焊接场景图像上地面的标志物，测量地面标志物的二维齐次世界坐标和二维齐次图像坐标，将所述焊接场景图像上地面的标志物二维齐次图像坐标与二维齐次世界坐标间通过图像平面与地面间的映射单应矩阵建立映射关系；
（2.2）对于焊接场景图像上地面的标志物，获得其三维齐次世界坐标和对应的三维齐次图像坐标；并获得映射平面高度的标志物的三维齐次世界坐标及对应的三维齐次图像坐标，将标志物三维齐次图像坐标通过映射平面高度的单应矩阵与标志物三维齐次世界坐标建立映射关系；
（2.3）利用Levenberg-Marquardt非线性最小二乘法最小化步骤（2.1）及步骤（2.2）所述标志物图像坐标及世界坐标间的重投影误差，求解地面单应矩阵和映射平面高度的单应矩阵。
3.根据权利要求1所述基于单目视觉的焊接安全距离测量方法，其特征在于，步骤（3）包括如下子步骤：
（3.1）在未放置标志物的焊接场景图像组成的图像集中标注目标检测物，并通过裁剪、镜像、缩放的方式对所述图像集进行预处理；所述目标检测物的类别包括：氧气气瓶、乙炔气瓶、明火及人头；
（3.2）将Faster RCNN+ FPN目标检测模型中的第一级RPN网络的损失函数改为focalloss函数，去除FPN结构中下采样到1/4的特征图；将所述图像集输入Faster RCNN+ FPN目标检测模型中，进行训练，直至所述目标检测模型的训练周期达到299，完成对Faster RCNN+ FPN目标检测模型的训练。
4.根据权利要求1或3所述基于单目视觉的焊接安全距离测量方法，其特征在于，所述Faster RCNN+ FPN目标检测模型的参数设置为：采用随机梯度下降算法优化Faster RCNN+FPN目标检测模型的损失函数，momentum设置为0.9，训练周期为299，warm up周期为34，初始学习率设置为0.01，权重衰减参数设置为0.0005。
5.根据权利要求1所述基于单目视觉的焊接安全距离测量方法，其特征在于，步骤（5）具体包括如下子步骤：
（5.1）首先判断目标物的类别是否为氧气气瓶或乙炔气瓶，若是，则利用目标框图像的框长宽比判断所述氧气气瓶或乙炔气瓶是否倾倒，若倾倒则发出预警，同时利用地面单应矩阵计算目标物检测物之间目标框中心点间的物理距离，若距离小于阈值，则发出预警；
（5.2）若目标检测物为明火，则根据明火边上的人头估算明火高度：若当前帧未检测到人头目标，则利用上帧人头位置信息计算明火离地高度，若上帧仍未检测到明火，则采用焊接场景设定明火高度经验阈值；若当前帧检测到人头，则以明火目标框中心点为中心，设定横向、纵向坐标搜索范围，判断人头目标框是否落入该搜索范围内，若是，则利用该人头目标物测量明火高度，利用明火高度和映射平面高度单应矩阵计算明火与氧气或乙炔气瓶检测框底部中心点间的物理距离，若距离小于阈值，若是则发出预警。
CN202110392460.3A 2021-04-13 2021-04-13 一种基于单目视觉的焊接安全距离测量方法 Active CN112802129B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110392460.3A CN112802129B (zh) 2021-04-13 2021-04-13 一种基于单目视觉的焊接安全距离测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110392460.3A CN112802129B (zh) 2021-04-13 2021-04-13 一种基于单目视觉的焊接安全距离测量方法

Publications (2)

Publication Number Publication Date
CN112802129A true CN112802129A (zh) 2021-05-14
CN112802129B CN112802129B (zh) 2021-07-06

Family

ID=75816890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110392460.3A Active CN112802129B (zh) 2021-04-13 2021-04-13 一种基于单目视觉的焊接安全距离测量方法

Country Status (1)

Country Link
CN (1) CN112802129B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781422A (zh) * 2021-09-01 2021-12-10 廊坊中油朗威工程项目管理有限公司 基于单幅图像几何测量算法的管道施工违章识别方法
CN116883661A (zh) * 2023-07-13 2023-10-13 山东高速建设管理集团有限公司 一种基于目标识别与图像处理的动火作业检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150109454A1 (en) * 2009-06-03 2015-04-23 Flir Systems Ab Facilitating analysis and interpretation of associated visible light and infrared (ir) image information
CN104616292A (zh) * 2015-01-19 2015-05-13 南开大学 基于全局单应矩阵的单目视觉测量方法
CN206400640U (zh) * 2017-01-17 2017-08-11 湖南优象科技有限公司 一种用于双目全景摄像机的标定装置
US20180336184A1 (en) * 2017-05-16 2018-11-22 Apple Inc. Emoji word sense disambiguation
CN110057295A (zh) * 2019-04-08 2019-07-26 河海大学 一种免像控的单目视觉平面距离测量方法
CN111047531A (zh) * 2019-12-02 2020-04-21 长安大学 一种基于单目视觉的仓储机器人室内定位方法
CN112258455A (zh) * 2020-09-28 2021-01-22 上海工程技术大学 基于单目视觉检测零件空间位置的检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150109454A1 (en) * 2009-06-03 2015-04-23 Flir Systems Ab Facilitating analysis and interpretation of associated visible light and infrared (ir) image information
CN104616292A (zh) * 2015-01-19 2015-05-13 南开大学 基于全局单应矩阵的单目视觉测量方法
CN206400640U (zh) * 2017-01-17 2017-08-11 湖南优象科技有限公司 一种用于双目全景摄像机的标定装置
US20180336184A1 (en) * 2017-05-16 2018-11-22 Apple Inc. Emoji word sense disambiguation
CN110057295A (zh) * 2019-04-08 2019-07-26 河海大学 一种免像控的单目视觉平面距离测量方法
CN111047531A (zh) * 2019-12-02 2020-04-21 长安大学 一种基于单目视觉的仓储机器人室内定位方法
CN112258455A (zh) * 2020-09-28 2021-01-22 上海工程技术大学 基于单目视觉检测零件空间位置的检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YAOYE SONG 等: "Fast Monocular Vision Based Vehicle Distance Measurement by License Plate Localization", 《IEEE》 *
王飞 等: "基于融合FPN和Faster R-CNN的行人检测算法", 《数据采集与处理》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781422A (zh) * 2021-09-01 2021-12-10 廊坊中油朗威工程项目管理有限公司 基于单幅图像几何测量算法的管道施工违章识别方法
CN116883661A (zh) * 2023-07-13 2023-10-13 山东高速建设管理集团有限公司 一种基于目标识别与图像处理的动火作业检测方法
CN116883661B (zh) * 2023-07-13 2024-03-15 山东高速建设管理集团有限公司 一种基于目标识别与图像处理的动火作业检测方法

Also Published As

Publication number Publication date
CN112802129B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN112802129B (zh) 一种基于单目视觉的焊接安全距离测量方法
CN108535321B (zh) 一种基于三维红外热成像技术的建筑热工性能检测方法
US11248963B2 (en) Equipment and method for three-dimensional radiance and gas species field estimation in an open combustion environment
CN106127771B (zh) 基于激光雷达lidar点云数据获取隧道正射影像系统及方法
US7826653B2 (en) Fluid measuring system and long focal point optical system
CN112525164B (zh) 一种基于无人机倾斜摄影技术对超高层建筑变形检测的方法
CN103530880B (zh) 基于投影高斯网格图案的摄像机标定方法
CN110032949A (zh) 一种基于轻量化卷积神经网络的目标检测与定位方法
CN110517315B (zh) 一种图像式铁路路基表面沉降高精度在线监测系统及方法
CN104897853A (zh) 基于塔式扩散模型的火电厂污染物排放监测显示方法
CN113658325B (zh) 数字孪生环境下的生产线不确定对象智能识别与预警方法
CN102298816B (zh) 一种多源融合船舶机舱火灾预警方法
CN105931238B (zh) 一种粮仓储粮体积测量的方法和系统
CN107492098A (zh) 一种基于pca和cnn的高温锻件表面缺陷在位检测方法
ITMI20090941A1 (it) Metodo di restituzione fotogrammetrica assistita da nuvola di punti e relativo apparato.
CN113299035A (zh) 一种基于人工智能和双目视觉的火灾识别方法及系统
CN107479065B (zh) 一种基于激光雷达的林窗立体结构量测方法
CN110285770A (zh) 一种桥梁挠度变化测量方法、装置及设备
CN110926373A (zh) 铁路异物检测场景下结构光光平面标定方法及其系统
US20240126948A1 (en) Numerical simulation optimization method of impact damage based on laser mapped solid mesh
CN113902809A (zh) 一种红外相机与激光雷达联合标定的方法
CN111539264A (zh) 一种船舶火焰探测定位系统与探测定位方法
CN115688464A (zh) 一种氢气泄露安全边界可视化方法及系统
CN109671112B (zh) 一种定容燃烧火焰传播半径的测量方法
CN114812983A (zh) 一种基于激光阵列的桥梁裂缝测量方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant