CN116883661B - 一种基于目标识别与图像处理的动火作业检测方法 - Google Patents

Abstract

本发明提供了一种基于目标识别与图像处理的动火作业检测方法，涉及动火作业监测技术领域，其目的是实现研发训练的时间、算力成本更低且精度高的动火作业检测方法，包括以下步骤：获取采集的图像；对图像中工作人员和高亮区域进行目标定位；对高亮区域进行复检：对高亮区域进行分割，过滤掉干扰区域；获取高亮区域的先验框中心点与最近的工作人员的先验框中心点之间的直线距离；判断直线距离是否小于距离阈值，若直线距离小于距离阈值，则判断为在进行动火作业，否则判断为未进行动火作业。本发明具有成本低、精度高的优点。

Description

一种基于目标识别与图像处理的动火作业检测方法

技术领域

本发明涉及动火作业监测技术领域，具体而言，涉及一种基于目标识别与图像处理的动火作业检测方法。

背景技术

动火作业是指在工业生产或施工现场中，利用明火、电火花、摩擦火花等形式进行的加热、烘烤、焊接、切割、热处理等操作活动。在施工现场，违规动火作业通常会引发严重的安全事故，危害操作人员生命财产安全。

因此，对动作作业进行准确的检测是非常有必要的，可以很大程度上减少由于动火作业造成的安全事故。但目前的检测手段仍以安全检查员进行监管为主，在此过程中，将会出现检测效率较低等问题。因此基于机器视觉对动火作业进行精准识别的方法对降低安全事故风险具有重要意义，而这其中对高亮区域的高精度检测算法是实现对动火作业高效检测的关键。而近几年，卷积神经网络(Convol utional neural network，CNN)，由于能够通过训练卷积核参数对图像的特征进行提取的特点，在目标检测领域得到了广泛的应用。由于大多时候都是通过对网络模型的结构进行优化来达到理想的性能，忽略了对网络后端的处理。而对网络结构的优化，往往需要不停对进行了不同优化的网络模型进行训练，并验证其效果。这极大的增加了检测算法的消耗的时间。

因此，需要实现一种研发训练的时间、算力成本更低的网络模型来实现动火作业检测方法。

发明内容

本发明的目的在于提供一种基于目标识别与图像处理的动火作业检测方法，其目的是实现研发训练的时间、算力成本更低且精度高的动火作业检测方法。

本发明的实施例通过以下技术方案实现：

一种基于目标识别与图像处理的动火作业检测方法，包括以下步骤：

获取采集的图像；

对所述图像中工作人员和高亮区域进行目标定位；

对所述高亮区域进行复检：对所述高亮区域进行分割，过滤掉干扰区域；

获取所述高亮区域的先验框中心点与最近的工作人员的先验框中心点之间的直线距离；

判断所述直线距离是否小于距离阈值，若所述直线距离小于所述距离阈值，则判断为在进行动火作业，否则判断为未进行动火作业。

优选地，对所述图像中工作人员和高亮区域进行目标定位的方法为：通过改进后的SE-YOLO V7对工作人员及高亮区域进行目标定位。

优选地，所述改进后的SE-YOLO V7的注意力机制采用以下机制：

v_c＝f_ex(u_c，W₁，W₂)＝Sigmoid[W₂×Relu(W₁u_c)]；

y_c＝f_scale(v_c)x_c；

其中，f_sq为挤压函数，f_ex为激活函数，f_scale为尺度变换函数，h、w和c分别为采集的图像x_c的高、宽和通道数，x_c(i，j)为第i个通道第j个元素的输入，u_c为被压缩后得到的中间张量，v_c为输出张量，y_c为经过注意力机制后得到的特征图，W₁和W₂分别为升维层和降维层。

优选地，所述对所述高亮区域进行复检的方法为：

获取RGB三通道的彩色图像；

采用的加权平均法对所述彩色图像进行灰度化得到灰度图像；

对所述灰度图像进行阈值分割筛选出所有高亮区域；

筛选出所有所述高亮区域的熵Entropy，由此为依据过滤掉干扰区域；

其中，rel[i]为相对灰度值频率直方图，i为图像灰度值；

获取熵的非匀向性：

其中，k为具有sum(rel[i])≥0.5的最小可能灰度值

计算区域灰度值的方差Deviation，再次确认为动火作业产生的火光，最终完成判定：

其中，R为所选的高亮区域，p为R中的一个像素，该像素灰度值为g(p)，F＝|R|。

优选地，所述采用的加权平均法对所述彩色图像进行灰度化得到灰度图像的方法为：

Gray(i，j)＝0.229R(i，j)+0.578G(i，j)+0.114B(i，j)

R(i，j)、R(i，j)和R(i，j)分别为像素点(i，j)的RGB值。

优选地，所述对所述灰度图像进行阈值分割筛选出所有高亮区域的方法为：

灰度值的筛选范围扩大10个灰度值，具体为：

MinGray_Fire-5≤Gray≤MaxGray_Fire+5

其中，MinGray_Fire和MaxGray_Fire分别为阈值分割的下限和上限。

优选地，获取所述高亮区域的先验框中心点与最近的工作人员的先验框中心点之间的直线距离的方法为：

其中，(X_P，Y_P)为工作人员的先验框中心点的世界坐标；(X_F，Y_F)为高亮区域的先验框中点的世界坐标。

优选地，获取某个点的所述世界坐标的方法为，通过所述图像中该点像素坐标获取，像素坐标和世界坐标的关系为：

其中，(u，v)为像素坐标，(X_W，Y_W，Z_W，1)为世界坐标，A为3×3的相机内参矩阵，M为3×4的相机外参矩阵。

优选地，所述相机内参矩阵A的获取方法为张正友标定法。

本发明实施例的技术方案至少具有如下优点和有益效果：

本发明所采用的检测方法相较于仅依靠网络进行识别的算法，其不易受到局部区域的干扰，鲁棒性强；

本发明从实际应用场景出发，对全局特征进行了综合性判定，因此具有更高的检测精度；

本发明不依赖网络模型的结构进行优化，降低了训练和识别的时间以及算力资源消耗成本；

本发明设计合理，训练和使用方法简单，成本低获取的识别精度高，性价比高，便于推广和应用。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例1提供的基于目标识别与图像处理的动火作业检测方法的流程图；

图2为本发明实施例2提供的SE-YOLO V7模型结构图；

图3为本发明实施例4提供的外参设置获取的原理示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

实施例1

参阅图1，一种基于目标识别与图像处理的动火作业检测方法，包括以下步骤：

步骤S1：获取采集的图像；

步骤S2：对所述图像中工作人员和高亮区域进行目标定位；

步骤S3：对所述高亮区域进行复检：对所述高亮区域进行分割，过滤掉干扰区域；

步骤S4：获取所述高亮区域的先验框中心点与最近的工作人员的先验框中心点之间的直线距离；这里具体可以采用单目视觉测距；

步骤S5：判断所述直线距离是否小于距离阈值，若所述直线距离小于所述距离阈值，则判断为在进行动火作业，否则判断为未进行动火作业。

本实施例的核心在于在获取图像后进行图像处理和识别来判断动火作业。获取图像可以通过场地能布置摄像装置，按照一定频率拍摄提取图像，也可以根据需求进行手动操控获取当前的图像。首先对所述图像中工作人员和高亮区域进行目标定位，通过图像识别出图中工作人员和所有高亮区域，然后通过复检排除由镜面物体产生的反光等干扰，这一步可以确定最终视为火光的高亮区域。然后，通过先验框来确定工作人员和火光的距离，先验框(Prior Box)是一种目标检测算法中的概念，指在图片中预设的一系列矩形框(bounding box)，用于框定可能存在的目标物体位置。先验框通常由经验数据或者统计方法确定，在训练过程中会通过与真实标注框进行匹配，计算损失值以调整先验框位置和尺度。

特别说明的是，如果存在多个高亮区域，可以按照步骤S4-5的方法对每个高亮区域依次处理。

实施例2

本实施例基于实施例1的技术方案，对步骤S2中对所述图像中工作人员和高亮区域进行目标定位的方法进行进一步说明。

在本实施例中，对所述图像中工作人员和高亮区域进行目标定位的方法为：通过改进后的SE-YOLO V7对工作人员及高亮区域进行目标定位。SE-YOLO V7模型结构图参阅图2。

进一步地，本实施例采用的通道注意力机制，其能够调整各通道的权重，突显网络关注的特征，这对目标识别有较为积极的作用。而传统的空间注意力机制，其主要通过图像上下文来突显目标的空间位置信息，进而在空间上分配权重突显特征。但鉴于施工现场，环境混乱，且存在许多与动火作业亮度相似的反光，差异不一，并不适合运用空间注意力机制。

具体来说，所述改进后的SE-YOLO V7的注意力机制采用以下机制：

v_c＝f_ex(u_c，W₁，W₂)＝Sigmoid[W₂×Relu(W₁u_c)]；

y_c＝f_scale(v_c)x_c；

其中，f_sq为挤压函数，f_ex为激活函数，f_scale为尺度变换函数，h、w和c分别为采集的图像x_c的高、宽和通道数，x_c(i，j)为第i个通道第j个元素的输入，u_c为被压缩后得到的中间张量，v_c为输出张量，y_c为经过注意力机制后得到的特征图，W₁和W₂分别为升维层和降维层。

实施例3

本实施例基于实施1的技术方案，对步骤S3中的所述高亮区域进行复检的方法进行进一步说明。

由于基于之前的操作，例如通过SE-YOLO V7无法保证对为火光的高亮区域进行100％精度的定位，因此需对定位出的高亮区域进行复检，保证其对高亮区域精准定位。

作为本实施例的优选方案，所述对所述高亮区域进行复检的方法为：

获取RGB三通道的彩色图像；

由于三通道彩色图像的信息含量过大，因此为了便利计算，提高运算速度，所以接下来会采用的加权平均法对所述彩色图像进行灰度化得到灰度图像；

对所述灰度图像进行阈值分割筛选出所有高亮区域；这里筛选戳来的是高亮区域大致的区域。筛选范围应将他高亮区域全部包含住，包括相应的干扰，所以需要后续的过滤；

由于动火作业产生的光亮，包括产生出的火星都拥有中心区域亮度极高，越向外扩散亮度越低的特性。该特性反映在灰度图像上为，中心局部区域灰度值高，向外灰度值递减。因此本实施例采用的筛选过滤方法为，筛选出所有所述高亮区域的熵Entropy，由此为依据过滤掉干扰区域；

其中，rel[i]为相对灰度值频率直方图，i为图像灰度值；

获取熵的非匀向性：

其中，k为具有sum(rel[i])≥0.5的最小可能灰度值

计算区域灰度值的方差Deviation，再次确认为动火作业产生的火光，最终完成判定：

其中，R为所选的高亮区域，p为R中的一个像素，该像素灰度值为g(p)，F＝|R|。

进一步，所述采用的加权平均法对所述彩色图像进行灰度化得到灰度图像的方法为：

Gray(i，j)＝0.229R(i，j)+0.578G(i，j)+0.114B(i，j)

R(i，j)、R(i，j)和R(i，j)分别为像素点(i，j)的RGB值。

另一方面，所述对所述灰度图像进行阈值分割筛选出所有高亮区域的方法为：

灰度值的筛选范围扩大10个灰度值，具体为：

MinGray_Fire-5≤Gray≤MaxGray_Fire+5

其中，MinGray_Fire和MaxGray_Fire分别为阈值分割的下限和上限。

实施例4

本实施例基于实施1的技术方案，对步骤S4中的获取所述高亮区域的先验框中心点与最近的工作人员的先验框中心点之间的直线距离的方法进行进一步说明。

作为本实施例的优选方案，获取所述高亮区域的先验框中心点与最近的工作人员的先验框中心点之间的直线距离的方法为：

其中，(X_P，Y_P)为工作人员的先验框中心点的世界坐标；(X_F，Y_F)为高亮区域的先验框中点的世界坐标。

进一步地，获取某个点的所述世界坐标的方法为，通过所述图像中该点像素坐标获取，像素坐标和世界坐标的关系为：

其中，(u,v)为像素坐标，(X_W,Y_W,Z_W,1)为世界坐标，A为3×3的相机内参矩阵，M为3×4的相机外参矩阵。

最后，所述相机内参矩阵A的获取方法为张正友标定法。

关于外参矩阵M的获取方法可以参阅图3。

已知的信息有相机距离地面高度h，相机的初始角度垂直于地面。因此相机坐标系平行于地面，我们假设世界坐标系为地面，那么相机坐标系平行于世界坐标系。因此我们可以得出相机坐标系x-y平面的垂线垂直于世界坐标系的X-Y平面，平行于世界坐标系的Z轴。由此我们可以将相机坐标系看作是世界坐标系向Z轴方向平移了h。因此可获得世界坐标相对与相机坐标的外参。

因此当相机内参矩阵A与相机外参矩阵M已知后，通过在图像上获取工作人员先验框中心点与高亮区域中心点的像素坐标，便可通过像素坐标和世界坐标的关系公式获取世界坐标。后续再通过距离求取和距离判断即可识别是否在动火作业。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于目标识别与图像处理的动火作业检测方法，其特征在于，包括以下步骤：

获取采集的图像；

对所述图像中工作人员和高亮区域进行目标定位；

对所述高亮区域进行复检：对所述高亮区域进行分割，过滤掉干扰区域；

获取所述高亮区域的先验框中心点与最近的工作人员的先验框中心点之间的直线距离；

判断所述直线距离是否小于距离阈值，若所述直线距离小于所述距离阈值，则判断为在进行动火作业，否则判断为未进行动火作业。

2.根据权利要求1所述的一种基于目标识别与图像处理的动火作业检测方法，其特征在于，对所述图像中工作人员和高亮区域进行目标定位的方法为：通过改进后的SE-YOLOV7对工作人员及高亮区域进行目标定位。

3.根据权利要求2所述的一种基于目标识别与图像处理的动火作业检测方法，其特征在于，所述改进后的SE-YOLO V7的注意力机制采用以下机制：

v_c＝f_ex(u_c,W₁,W₂)＝Sigmoid[W₂×Relu(W₁u_c)]；

y_c＝f_scale(v_c)x_c；

其中，f_sq为挤压函数，f_ex为激活函数，f_scale为尺度变换函数，h、w和c分别为采集的图像x_c的高、宽和通道数，x_c(i,j)为第i个通道第j个元素的输入，u_c为被压缩后得到的中间张量，v_c为输出张量，y_c为经过注意力机制后得到的特征图，W₁和W₂分别为升维层和降维层。

4.根据权利要求1所述的一种基于目标识别与图像处理的动火作业检测方法，其特征在于，所述对所述高亮区域进行复检的方法为：

获取RGB三通道的彩色图像；

采用的加权平均法对所述彩色图像进行灰度化得到灰度图像；

对所述灰度图像进行阈值分割筛选出所有高亮区域；

筛选出所有所述高亮区域的熵Entropy，由此为依据过滤掉干扰区域；

其中，rel[i]为相对灰度值频率直方图，i为图像灰度值；

获取熵的非匀向性：

其中，k为具有sum(rel[i])≥0.5的最小可能灰度值

计算区域灰度值的方差Deviation，再次确认为动火作业产生的火光，最终完成判定：

其中，R为所选的高亮区域，p为R中的一个像素，该像素灰度值为g(p)，F＝|R|。

5.根据权利要求4所述的一种基于目标识别与图像处理的动火作业检测方法，其特征在于，所述采用的加权平均法对所述彩色图像进行灰度化得到灰度图像的方法为：

Gray(i,j)＝0.229R(i,j)+0.578G(i,j)+0.114B(i,j)

R(i,j)、R(i,j)和R(i,j)分别为像素点(i,j)的RGB值。

6.根据权利要求5所述的一种基于目标识别与图像处理的动火作业检测方法，其特征在于，所述对所述灰度图像进行阈值分割筛选出所有高亮区域的方法为：

灰度值的筛选范围扩大10个灰度值，具体为：

MinGray_Fire-5≤Gray≤MaxGray_Fire+5

其中，MinGray_Fire和MaxGray_Fire分别为阈值分割的下限和上限。

7.根据权利要求1所述的一种基于目标识别与图像处理的动火作业检测方法，其特征在于，获取所述高亮区域的先验框中心点与最近的工作人员的先验框中心点之间的直线距离的方法为：

其中，(X_P,Y_P)为工作人员的先验框中心点的世界坐标；(X_F,Y_F)为高亮区域的先验框中点的世界坐标。

8.根据权利要求7所述的一种基于目标识别与图像处理的动火作业检测方法，其特征在于，获取某个点的所述世界坐标的方法为，通过所述图像中该点像素坐标获取，像素坐标和世界坐标的关系为：

其中，(u,v)为像素坐标，(X_W,Y_W,Z_W,1)为世界坐标，A为3×3的相机内参矩阵，M为3×4的相机外参矩阵。

9.根据权利要求8所述的一种基于目标识别与图像处理的动火作业检测方法，其特征在于，所述相机内参矩阵A的获取方法为张正友标定法。