CN114332775A - 一种基于目标检测和无序特征的烟雾检测方法 - Google Patents
一种基于目标检测和无序特征的烟雾检测方法 Download PDFInfo
- Publication number
- CN114332775A CN114332775A CN202210167326.8A CN202210167326A CN114332775A CN 114332775 A CN114332775 A CN 114332775A CN 202210167326 A CN202210167326 A CN 202210167326A CN 114332775 A CN114332775 A CN 114332775A
- Authority
- CN
- China
- Prior art keywords
- smoke
- detection
- neural network
- image
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Fire-Detection Mechanisms (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于目标检测和无序特征的烟雾检测方法，包括如下步骤：获取待检测区域内监控视频中的当前帧图像；对获得的当前帧图像进行烟雾检测，先对图像进行畸变矫正，再采用烟雾目标检测神经网络模型提取图像中可能存在烟雾的候选区域，再采用烟雾语义分割神经网络模型对候选区域进行像素分割，并计算候选区域内烟雾的无序性特征指标，根据无序性特征指标判断候选区域是否有烟雾，保存检测结果；若烟雾检测结果为有烟雾，则发出警报。本发明结合了基于卷积神经网络的检测方式和烟雾无序性特征，实现了在复杂的工厂环境下烟雾的有效检测，解决了现有检测技术的抗干扰能力差、烟雾特征提取不全、准确率低等问题，提高了检测的准确性和稳定性。
Description
技术领域
本发明属于图像检测技术领域，具体涉及一种基于目标检测和无序特征的烟雾检测方法。
背景技术
化工厂等厂区由于地域范围大、作业人员少，经常存在火灾安全隐患，因此将烟雾检测应用于工厂场景下具有重大的意义。烟雾检测方法主要基于烟雾传感器实现，例如离子式烟雾传感器，该传感器的内外电离室里存在放射源镅241，电离产生的正、负离子在电场的作用下各自向正负电极移动，在正常的情况下，内外电离室的电流、电压均稳定，一旦有烟雾窜逃，则会对带电粒子的正常运动产生干扰，电流、电压就会有所改变，破坏了内外电离室之间的平衡，从而实现对烟雾的检测。
目前室内烟雾检测大多依赖烟雾传感器，而对于室外烟雾的检测，由于空间范围大、烟雾运动方向不定等原因，很难采用烟雾传感器来检测，因此室外场景依赖人工检测较多。但是，由于人的不确定因素较大，且需检测的区域较多，很难保证检测的及时性。而采用智能化检测设备进行烟雾检测，往往只提取烟雾的静态特征(颜色、形状、纹理等)作为判断依据，而烟雾的无规则运动及具有透明度的特点使得其静态特征表现能力较弱，因此智能化检测设备在烟雾检测上存在抗干扰能力差、烟雾特征提取不全、准确率低等问题。
发明内容
本发明的目的是提供一种基于目标检测和无序特征的烟雾检测方法，用于实现复杂环境下烟雾的有效检测。
为达到上述目的，本发明采用的技术方案是：
一种基于目标检测和无序特征的烟雾检测方法，包括如下步骤：
S1：获取待检测区域内监控视频中的当前帧图像；
S2：对获得的当前帧图像进行烟雾检测，包括：
(1)图像预处理，对获得的图像进行畸变矫正，
(2)采用烟雾目标检测神经网络模型提取图像中可能存在烟雾的候选区域，
(3)采用烟雾语义分割神经网络模型对候选区域进行像素分割，计算候选区域内烟雾的无序性特征指标，
(4)根据无序性特征指标判断候选区域是否有烟雾，
(5)保存检测结果；
S3：若烟雾检测结果为有烟雾，则发出警报，否则返回步骤S1继续检测。
优选地，在S2(1)中，畸变矫正采用径向畸变矫正公式为：
x0＝x(1+k1r2+k2r4+k3r6)，
y0＝y(1+k1r2+k2r4+kar6)，
其中：
(x0，y0)为畸变像素点的原始位置，
(x，y)为畸变矫正后的位置，
k1、k2、k3为畸变系数，
r＝x2+y2。
优选地，在S2(2)中，烟雾目标检测神经网络模型包括Faster R-CNN网络、或者R-FCN网络、或者YOLO网络。
优选地，在S2(2)中，烟雾目标检测神经网络模型通过如下步骤获得：
(1)获取带有烟雾的监控视频的图像作为训练样本；
(2)对图像中烟雾所在区域进行人工标注，标注信息包括位置和种类；
(3)将标注好的图像随机打乱，按设定比例分为训练集、验证集和测试集；
(4)将标注信息和图像输入到神经网络模型中进行训练，在完成设定条件后，得到烟雾目标检测神经网络模型。
进一步优选地，设定条件有多个，在完成至少一个设定条件后，得到烟雾目标检测神经网络模型。
进一步优选地，设定条件包括：
(1)实际训练时间超过预设训练时间；
(2)实际训练次数超过预设训练次数；
(3)损失函数计算所的差异小于预设差异阈值。
优选地，在S2(3)中，采用烟雾语义分割神经网络模型对候选区域进行像素分割的步骤为：
(1)将候选区域从图像中截取出来；
(2)将截取得到的候选区域图像输入烟雾语义分割神经网络模型；
(3)根据烟雾语义分割神经网络模型得到候选区域中烟雾像素点的数量，并输出结果。
进一步优选地，烟雾语义分割神经网络模型根据候选区域内单个像素点的颜色、空间分布特征，判断是否为烟雾像素点，并得到烟雾像素点的数量。
优选地，在S2(3)中，无序性特征指标为：
其中：
ci为无序性特征指标，
Ns为烟雾像素点的数量，
Nall为候选区域的像素点总数，
wi、hi为候选区域的宽和高。
优选地，在S2(4)中，根据无序性特征指标判断候选区域是否有烟雾的方法包括：将当前帧图像的无序性特征指标与前一帧图像的无序性特征指标进行比较，若波动大于设定比例，则当前帧图像的候选区域有烟雾，否则没有烟雾。
由于上述技术方案运用，本发明与现有技术相比具有下列优点：
本发明结合了基于卷积神经网络的检测方式和烟雾无序性特征，实现了在复杂的工厂环境下烟雾的有效检测，解决了现有烟雾检测技术存在抗干扰能力差、烟雾特征提取不全、准确率低等问题，提高了检测的准确性和稳定性，过程简单，方便实现。
附图说明
附图1为本实施例的检测方法的整体流程图；
附图2为本实施例的检测过程的流程图；
附图3为本实施例的烟雾候选区域的示意图；
附图4为本实施例的候选区域从图像中截取的示意图；
附图5为本实施例的候选区域的烟雾像素分布示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
一种基于目标检测和无序特征的烟雾检测方法，如图1所示，包括如下步骤：
S1：获取待检测区域内监控视频中的当前帧图像，具体而言：获取需要进行烟雾检测的工厂区域内的摄像头IP地址，获取该IP地址下的监控视频，并对监控视频进行解码和抽帧，得到待检测的当前帧图像。
S2：对获得的当前帧图像进行烟雾检测，如图2所示，包括：
(1)图像预处理，对获得的图像进行畸变矫正，具体而言：
摄像头拍摄得到的监控视频中的图像带有一定畸变，尤其是在视线边缘部分，畸变更佳严重，相机的成像过程实质上是坐标系的转换，首先空间中的点由“世界坐标系”转换到“像机坐标系”，然后再将其投影到成像平面(图像物理坐标系)，最后再将成像平面上的数据转换到图像像素坐标，但是由于透镜制造精度以及组装工艺的偏差会引入畸变，导致原始图像失真，畸变可分为径向畸变和切向畸变，在监控视频中通常为径向畸变，因此采用径向畸变矫正公式进行畸变矫正，提高检测的准确性，防止畸变影响后续检测步骤中的像素分割，使烟雾像素点的分布与真实情况不符；
径向畸变矫正公式具体为：
x0＝x(1+k1r2+k2r4+k3r6)，
y0＝y(1+k1r2+k2r4+k3r6)，
其中：
(x0，y0)为畸变像素点的原始位置，
(x，y)为畸变矫正后的位置，
k1、k2、k3为畸变系数，
r＝x2+y2。
(2)采用烟雾目标检测神经网络模型提取图像中可能存在烟雾的候选区域，具体而言：
采用烟雾目标检测神经网络模型提取图像中可能存在烟雾的候选区域的具体步骤包括：
1、将预处理后的图像输入烟雾目标检测神经网络模型，
2、烟雾目标检测神经网络模型输出结果，若存在烟雾，则在图像中用矩形框框出烟雾的位置，即为烟雾的候选区域，如图3所示；
烟雾目标检测神经网络模型可采用Faster R-CNN网络或R-FCN网络或YOLO网络等；烟雾目标检测神经网络模型通过如下步骤获得：
1、获取带有烟雾的监控视频的图像作为训练样本，为了保证神经网络的训练与检测效果的一致性，训练样本采用与上述步骤同样的方式进行径向畸变矫正，
2、对图像中烟雾所在区域进行人工标注，标注信息包括位置和种类，
3、将标注好的图像随机打乱，按设定比例分为训练集、验证集和测试集，设定比例可为6:2:2，
4、将标注信息和图像输入到神经网络模型中进行训练，神经网络通过前向传播计算得到烟雾所在的位置作为网络的输出，并与标注信息比较，根据烟雾所在的正确位置及网络当前的预测位置反向传播更新参数，从而使提取的图片特征越来越接近烟雾特征，在完成多个设定条件中的至少一个设定条件后，得到烟雾目标检测神经网络模型，设定条件包括：实际训练时间超过预设训练时间、实际训练次数超过预设训练次数、损失函数计算所的差异小于预设差异阈值。
当然，在一些实施例中，也可不提取图像中可能存在烟雾的候选区域，而直接在对整个图像采用烟雾语义分割神经网络模型进行像素分割，但是通过采用烟雾目标检测神经网络模型提取图像中可能存在烟雾的候选区域，可缩小后续采用烟雾语义分割神经网络模型对候选区域进行像素分割的处理范围，减少了计算量、提高了计算速率，且更便于实现无序性特征指标的计算。
(3)采用烟雾语义分割神经网络模型对候选区域进行像素分割，计算候选区域内烟雾的无序性特征指标，具体而言：
采用的神经网络模型包括Mask-RCNN等，烟雾语义分割神经网络模型的获得方式与烟雾目标检测神经网络模型类似，在此不再赘述；
采用烟雾语义分割神经网络模型对候选区域进行像素分割的具体步骤包括：
1、将候选区域从图像中截取出来，如图4所示，
2、将截取得到的候选区域图像输入烟雾语义分割神经网络模型，
3、烟雾语义分割神经网络模型根据候选区域内单个像素点的颜色、空间分布特征，判断是否为烟雾像素点，如图5所示，得到烟雾像素点的数量；
无序性特征指标的计算公式为：
其中：
ci为无序性特征指标，
Ns为烟雾像素点的数量，
Nall为候选区域的像素点总数，
wi、hi为候选区域的宽和高。
(4)根据无序性特征指标判断候选区域是否有烟雾，但是仅凭当前帧图像的无序性指标无法判断是否无序，需要同时对比前一帧图像的无序性指标，使烟雾检测效果更佳稳定，具体而言：将当前帧图像的无序性特征指标与前一帧图像的无序性特征指标进行比较，若波动大于设定比例，则当前帧图像的候选区域内有烟雾，否则没有烟雾，设定比例通常为5％。
(5)保存检测结果，检测结果包括已划出烟雾的位置的原监控视频图像、烟雾在图像中的位置信息和置信度。
S3：若烟雾检测结果为有烟雾，则发出警报提醒工作人员查看，否则返回步骤S1继续检测，工作人员关闭警报后，返回步骤S1继续检测。
通过采用上述烟雾检测方法进行试验测试可知：采用烟雾目标检测神经网络模型对图像中可能存在烟雾的候选区域进行粗定位时，真实烟雾的漏检率为0％；烟雾语义分割神经网络模型对候选区域进行像素分割时，像素分类准确率为99.5％，即烟雾像素数量的准确率为99.5％；在根据烟雾的无序性特征指标进行判断时，的正确率相较直接利用目标检测方法提高了近45％，即准确率为99.5％，提高了检测的准确性和稳定性；同时，采用本方法检测一帧视频图像的时间均小于0.5秒，检测速度极快，达到了在复杂工厂环境下进行有效烟雾检测的目的。
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于目标检测和无序特征的烟雾检测方法，其特征在于：包括如下步骤：
S1：获取待检测区域内监控视频中的当前帧图像；
S2：对获得的当前帧图像进行烟雾检测，包括：
(1)图像预处理，对获得的图像进行畸变矫正，
(2)采用烟雾目标检测神经网络模型提取图像中可能存在烟雾的候选区域，
(3)采用烟雾语义分割神经网络模型对候选区域进行像素分割，计算候选区域内烟雾的无序性特征指标，
(4)根据无序性特征指标判断候选区域是否有烟雾，
(5)保存检测结果；
S3：若烟雾检测结果为有烟雾，则发出警报，否则返回步骤S1继续检测。
2.根据权利要求1所述的基于目标检测和无序特征的烟雾检测方法，其特征在于：在S2(1)中，畸变矫正采用径向畸变矫正公式为：
x0＝x(1+k1r2+k2r4+k3r6)，
y0＝y(1+k1r2+k2r4+k3r6)，
其中：
(x0，y0)为畸变像素点的原始位置，
(x，y)为畸变矫正后的位置，
k1、k2、k3为畸变系数，
r＝x2+y2。
3.根据权利要求1所述的基于目标检测和无序特征的烟雾检测方法，其特征在于：在S2(2)中，烟雾目标检测神经网络模型包括Faster R-CNN网络、或者R-FCN网络、或者YOLO网络。
4.根据权利要求1所述的基于目标检测和无序特征的烟雾检测方法，其特征在于：在S2(2)中，烟雾目标检测神经网络模型通过如下步骤获得：
(1)获取带有烟雾的监控视频的图像作为训练样本；
(2)对图像中烟雾所在区域进行人工标注，标注信息包括位置和种类；
(3)将标注好的图像随机打乱，按设定比例分为训练集、验证集和测试集；
(4)将标注信息和图像输入到神经网络模型中进行训练，在完成设定条件后，得到烟雾目标检测神经网络模型。
5.根据权利要求4所述的基于目标检测和无序特征的烟雾检测方法，其特征在于：设定条件有多个，在完成至少一个设定条件后，得到烟雾目标检测神经网络模型。
6.根据权利要求5所述的基于目标检测和无序特征的烟雾检测方法，其特征在于：设定条件包括：
(1)实际训练时间超过预设训练时间；
(2)实际训练次数超过预设训练次数；
(3)损失函数计算所的差异小于预设差异阈值。
7.根据权利要求1所述的基于目标检测和无序特征的烟雾检测方法，其特征在于：在S2(3)中，采用烟雾语义分割神经网络模型对候选区域进行像素分割的步骤为：
(1)将候选区域从图像中截取出来；
(2)将截取得到的候选区域图像输入烟雾语义分割神经网络模型；
(3)根据烟雾语义分割神经网络模型得到候选区域中烟雾像素点的数量，并输出结果。
8.根据权利要求7所述的基于目标检测和无序特征的烟雾检测方法，其特征在于：烟雾语义分割神经网络模型根据候选区域内单个像素点的颜色、空间分布特征，判断是否为烟雾像素点，并得到烟雾像素点的数量。
9.根据权利要求1所述的基于目标检测和无序特征的烟雾检测方法，其特征在于：在S2(3)中，无序性特征指标为：
其中：
ci为无序性特征指标，
Ns为烟雾像素点的数量，
Nall为候选区域的像素点总数，
wi、hi为候选区域的宽和高。
10.根据权利要求1所述的基于目标检测和无序特征的烟雾检测方法，其特征在于：在S2(4)中，根据无序性特征指标判断候选区域是否有烟雾的方法包括：将当前帧图像的无序性特征指标与前一帧图像的无序性特征指标进行比较，若波动大于设定比例，则当前帧图像的候选区域有烟雾，否则没有烟雾。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2021110539653 | 2021-09-09 | ||
| CN202111053965 | 2021-09-09 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114332775A true CN114332775A (zh) | 2022-04-12 |
Family
ID=81031589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210167326.8A Pending CN114332775A (zh) | 2021-09-09 | 2022-02-23 | 一种基于目标检测和无序特征的烟雾检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114332775A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115063718A (zh) * | 2022-06-10 | 2022-09-16 | 嘉洋智慧安全生产科技发展（北京）有限公司 | 火灾检测方法、装置、设备、存储介质及程序产品 |
-
2022
- 2022-02-23 CN CN202210167326.8A patent/CN114332775A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115063718A (zh) * | 2022-06-10 | 2022-09-16 | 嘉洋智慧安全生产科技发展（北京）有限公司 | 火灾检测方法、装置、设备、存储介质及程序产品 |
| CN115063718B (zh) * | 2022-06-10 | 2023-08-29 | 嘉洋智慧安全科技(北京)股份有限公司 | 火灾检测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111583198A (zh) | 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法 | |
| CN113435508B (zh) | 玻璃幕墙开启窗开启状态检测方法、装置、设备及介质 | |
| CN110287907B (zh) | 一种对象检测方法和装置 | |
| CN111814686A (zh) | 一种基于视觉的输电线路识别及异物入侵在线检测方法 | |
| CN108280386B (zh) | 监控场景检测方法及装置 | |
| CN113343779B (zh) | 环境异常检测方法、装置、计算机设备和存储介质 | |
| CN111814776B (zh) | 一种图像处理方法、设备、服务器及存储介质 | |
| CN111461078A (zh) | 一种基于计算机视觉技术的防钓监控方法 | |
| CN111723656B (zh) | 一种基于YOLO v3与自优化的烟雾检测方法及装置 | |
| CN110557628A (zh) | 一种检测摄像头遮挡的方法、装置及电子设备 | |
| CN111967345A (zh) | 一种实时判定摄像头遮挡状态的方法 | |
| CN111160107B (zh) | 一种基于特征匹配的动态区域检测方法 | |
| CN107862713A (zh) | 针对轮询会场的摄像机偏转实时检测预警方法及模块 | |
| CN114120171A (zh) | 基于视频帧的火灾烟雾检测方法、装置、设备及存储介质 | |
| CN114332775A (zh) | 一种基于目标检测和无序特征的烟雾检测方法 | |
| CN117333776A (zh) | VOCs气体泄漏检测方法、装置及存储介质 | |
| CN109753886B (zh) | 一种人脸图像的评价方法、装置及设备 | |
| US20230419500A1 (en) | Information processing device and information processing method | |
| CN117409083B (zh) | 一种基于红外图像和改进yolov5的电缆终端识别方法及装置 | |
| CN112784642B (zh) | 车辆检测方法及装置 | |
| CN114255493A (zh) | 图像检测方法、人脸检测方法及装置、设备及存储介质 | |
| CN111708907A (zh) | 一种目标人员的查询方法、装置、设备及存储介质 | |
| CN116403085A (zh) | 一种基于多任务的变电站多指针仪表识别方法及装置 | |
| CN112784703B (zh) | 一种基于多光谱的人员行动轨迹确定方法 | |
| CN111754713B (zh) | 视频监控方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |