CN114664047A - 高速公路火灾识别方法、装置及电子设备 - Google Patents
高速公路火灾识别方法、装置及电子设备 Download PDFInfo
- Publication number
- CN114664047A CN114664047A CN202210578039.6A CN202210578039A CN114664047A CN 114664047 A CN114664047 A CN 114664047A CN 202210578039 A CN202210578039 A CN 202210578039A CN 114664047 A CN114664047 A CN 114664047A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- fire
- mask
- highway
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 239000000779 smoke Substances 0.000 claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000012544 monitoring process Methods 0.000 claims abstract description 18
- 238000003709 image segmentation Methods 0.000 claims abstract description 15
- 238000002372 labelling Methods 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 8
- 238000002955 isolation Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010000369 Accident Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/10—Actuation by presence of smoke or gases, e.g. automatic alarm devices for analysing flowing fluid materials by the use of optical means
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Emergency Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种高速公路火灾识别方法、装置及电子设备。所述方法通过从火灾场景图像中提取火焰和烟雾区域生成掩膜图，并将掩膜图融合到非火灾场景图像中，从而实现对训练样本的扩增，有效解决了训练样本不足的问题，通过扩增后的训练样本训练得到基于图像分割的火灾识别模型，再通过训练好的火灾识别模型实时识别高速公路监控图像，能够实现对高速公路火灾及时准确的检测识别。
Description
技术领域
本发明涉及图像识别技术领域，尤其涉及一种高速公路火灾识别方法、装置及电子设备。
背景技术
随着我国高速公路的不断延伸和车流量的增加，高速公路的火灾事故愈发突出。高速公路火灾主要包括：车辆自燃、隔离带或路侧边坡起火。由于高速公路处于露天、迎风的场景，加快空气的对流速度，高速公路的火灾蔓延速度快，火灾现场复杂，灭火水源不足等问题，造成高速公路火灾扑救困难，因此火灾是高速公路危害最严重的一类灾害，对司乘人员和公路设施均会造成巨大破坏。若在火灾初期就能及时发现火情并报警，则有利于司乘人员安全疏散、抑制火势蔓延和减小火灾造成的损失。
当前高速公路路面火灾尤其涉及路测的火灾检测方法的研究甚少，通过机器学习及图像识别的方法来对高速公路的火灾进行检测识别可以作为一个有效的研究方向，现有的火灾检测模型通常是基于目标检测的网络模型，但目标检测算法的标签形状是矩形的包围框，由于火焰形态很不固定，矩形的包围框无法很好的提取火焰形态，若框大则无效背景太多，若框小则无法完整包围火焰或烟雾。更为棘手的是，无论基于何种算法的火灾识别模型均需要大量的样本素材来进行训练，才能够保证训练好的火灾识别模型具有较高的识别准确率和实用性。然而高速公路火灾虽然时有发生，但是能用于训练火灾检测模型的样本少，高质量数据获取困难，属于小样本场景，样本素材的获取难度较大。
发明内容
本发明的目的在于提供一种高速公路火灾识别方法，通过提取火焰和烟雾的掩膜图进行样本增强，保证火灾识别模型的训练效果，结合基于图像分割的火灾识别模型，实现路面火灾及时准确的检测识别。
为实现上述目的，本发明提供一种高速公路火灾识别方法，包括如下步骤：
步骤S1、采集多张对应不同火灾场景的第一图像，对所述第一图像进行标注，为第一图像中有火焰的像素区域添加火焰标签，有烟雾的像素区域添加烟雾标签，除有火焰和烟雾的像素区域以外的像素区域添加背景标签；
步骤S2、提取各个第一图像中有火焰标签和烟雾标签的像素区域，生成多个掩膜图；
步骤S3、采集对应高速公路非火灾场景的多张第二图像，将所述多张第二图像按照图像显示的场景和拍摄的时间分为多个增强组；
步骤S4、按照预设的匹配算法为每一个增强组匹配合适的掩膜图；
步骤S5、按照预设的融合算法将每一个增强组对应的掩膜图融合到该增强组中的各张第二图像中，得到多张第三图像；
步骤S6、选取多张第一图像、多张第二图像及多张第三图像组成样本集，用所述样本集训练基于图像分割的火灾识别模型，得到训练后的火灾识别模型；
步骤S7、将高速公路监控图像接入所述火灾识别模型，所述火灾识别模型对高速公路监控图像进行分析，并在分析结果中监测到烟雾或火焰时，发出火灾预警。
可选地，所述预设的匹配算法为：当一增强组中的第二图像与一掩膜图的灰度值差异小于128时，认定该增强组与该掩膜图匹配合适。
可选地，所述预设的融合算法包括：
选取一增强组中的一第二图像，将该增强组对应的掩膜图粘贴到该第二图像中；
调整粘贴了掩膜图的该第二图像的对比度、亮度及饱和度，使得掩膜图与该第二图像融合，并记录对比度、亮度及饱和度的调整方式；
将该增强组对应的掩膜图批量粘贴到该增强组中的其他的第二图像中，并根据记录的对比度、亮度及饱和度的调整方式对该些粘贴了掩膜图的第二图像进行对比度、亮度及饱和度进行调整，使得掩膜图与该些第二图像融合，得到多张第三图像。
可选地，同一个增强组中的不同的第二图像在粘贴掩膜图时，掩膜图在所述不同第二图像中上下左右平移n个像素，左右旋转±m度，n为大于1的正整数，m为小于10的正数。
可选地，所述步骤S2中还记录所述掩膜图的尺寸，所述预设的匹配算法包括当一增强组中的第二图像与一掩膜图的灰度值差异小于128且该第二图像中能插入掩膜图的区域大于所述掩膜图的尺寸时，认定该增强组与该掩膜图匹配合适。
可选地，对粘贴了掩膜图的第二图像的对比度和亮度的调整通过以下公式进行：
其中， 
为原始像素灰度， 
为调整后的像素灰度， a为对比度系数， b为亮度系数，a大于0；
对粘贴了掩膜图的第二图像的饱和度的调整在HSV色彩空间中完成。
可选地，对于选入样本集的第三图像还包括根据该第三图像中的掩膜图的信息为第三图像中有火焰的像素区域添加火焰标签，有烟雾的像素区域添加烟雾标签，除有火焰和烟雾的像素区域以外的像素区域添加背景标签的步骤。
可选地，所述步骤S1中采集多张对应不同火灾场景的第一图像包括高速公路上火灾场景的图像以及非高速公路火灾场景的图像。
可选地，所述基于图像分割的火灾识别模型为Mask RCNN网络模型。
本发明还提供一种高速公路火灾识别装置，包括：
采集单元，采集多张对应不同火灾场景的第一图像，对所述第一图像进行标注，为第一图像中有火焰的像素区域添加火焰标签，有烟雾的像素区域添加烟雾标签，除有火焰和烟雾的像素区域以外的像素区域添加背景标签；
掩膜单元，提取各个第一图像中有火焰标签和烟雾标签的像素区域，生成多个掩膜图；
分类单元，采集对应高速公路非火灾场景的多张第二图像，将所述多张第二图像按照图像显示的场景和拍摄的时间分为多个增强组；
匹配单元，按照预设的匹配算法为每一个增强组匹配合适的掩膜图；
融合单元，按照预设的融合算法将每一个增强组对应的掩膜图融合到该增强组中的各张第二图像中，得到多张第三图像；
训练单元，选取多张第一图像、多张第二图像及多张第三图像组成样本集，用所述样本集训练基于图像分割的火灾识别模型，得到训练后的火灾识别模型；
识别单元，将高速公路监控图像接入所述火灾识别模型，所述火灾识别模型对高速公路监控图像进行分析，并在分析结果中监测到烟雾或火焰时，发出火灾预警。
本发明还提供一种电子设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器上述方法的步骤。
本发明的有益效果：本发明提供一种高速公路火灾识别方法，包括如下步骤：采集多张对应不同火灾场景的第一图像，对所述第一图像进行标注，为第一图像中有火焰的像素区域添加火焰标签，有烟雾的像素区域添加烟雾标签，除有火焰和烟雾的像素区域以外的像素区域添加背景标签；提取各个第一图像中有火焰标签和烟雾标签的像素区域，生成多个掩膜图；采集对应高速公路非火灾场景的多张第二图像，将所述多张第二图像按照图像显示的场景和拍摄的时间分为多个增强组；按照预设的匹配算法为每一个增强组匹配合适的掩膜图；按照预设的融合算法将每一个增强组对应的掩膜图融合到该增强组中的各张第二图像中，得到多张第三图像；选取多张第一图像、多张第二图像及多张第三图像组成样本集，用所述样本集训练基于图像分割的火灾识别模型，得到训练后的火灾识别模型；将高速公路监控图像接入所述火灾识别模型，所述火灾识别模型对高速公路监控图像进行分析，并在分析结果中监测到烟雾或火焰时，发出火灾预警，通过从火灾场景图像中提取火焰和烟雾区域生成掩膜图，并将掩膜图融合到非火灾场景图像中，实现对训练样本的有效扩增，有效解决了训练样本不足的问题，通过扩增后的训练样本训练得到基于图像分割的火灾识别模型，在通过火灾识别模型实时识别高速公路监控图像，实现对高速公路火灾及时准确的检测识别。
附图说明
为了能更进一步了解本发明的特征以及技术内容，请参阅以下有关本发明的详细说明与附图，然而附图仅提供参考与说明用，并非用来对本发明加以限制。
附图中，
图1为本发明的高速公路火灾识别方法的流程图；
图2为本发明的高速公路火灾识别方法中一第一图像的示意图；
图3为从图2中提取出的掩膜图；
图4为本发明的高速公路火灾识别方法中另一第一图像的示意图；
图5为从图4中提取出的掩膜图；
图6为本发明的高速公路火灾识别方法中一第二图像的示意图；
图7为图3与图6融合得到的第三图像的示意图；
图8为本发明的高速公路火灾识别方法中另一第二图像的示意图；
图9为图4与图8融合得到的第三图像的示意图；
图10为本发明的高速公路火灾识别装置的示意图；
图11为本发明的电子设备的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
请参阅图1，本发明的一实施例，提供一种高速公路火灾识别方法，包括如下步骤：
步骤S1、采集多张对应不同火灾场景的第一图像，对所述第一图像进行标注，为第一图像中有火焰的像素区域添加火焰标签，有烟雾的像素区域添加烟雾标签，除有火焰和烟雾的像素区域以外的像素区域添加背景标签。
具体地，所述步骤S1中采集多张对应不同火灾场景的第一图像包括高速公路上火灾场景的图像以及非高速公路上火灾场景的图像，如图2及图4所示，图2和图4分别为本发明的一些实施例中采集的两幅第一图像，其中在图2所示的第一图像中有火焰的像素区域添加火焰标签F1，在图4所示的第一图像中有烟雾的像素区域添加烟雾标签SM1。
其中，所述高速公路上火灾场景的图像是指在高速公路上发生火灾时拍摄到的真实图像，非高速公路上火灾场景的图像具体是指一些与高速公路上火灾场景有相似或较为接近的小区火灾或园区火灾等情景下的图像。由于高速公路上火灾场景的图像获取难度较大，实际可用的图像数量非常少，因此需要加入一些非高速公路上火灾场景的图像作为补充，以保证采集到足够数量的第一图像和后续从第一图像中获取足够数量的掩膜图。
在本发明的一些实施例中，所述步骤S1具体实施方式：采集高速公路路测、龙门架监控视频，通过所述视频收集不同天气、时段有火灾发生时的图像作为第一图像和没有火灾时的图像作为后续使用的第二图像。同时，由于高速公路路面火灾的高质量样本不足以支撑训练一个鲁棒性好的模型，在本发明的实施例中还采集大量其他情景下相似角度的火灾图像作为第一图像，如小区火灾图像、园区火灾图像等，进一步地，必要时，本发明的一些实施例还可以下载现有的与烟火相关的公开数据集补充作为第一图像，也即是所述第一图像的来源不限于高速公路的火灾场景图像，任何能够提取到高质量的掩膜图的图像均可以作为本发明的第一图像使用。
步骤S2、提取各个第一图像中有火焰标签和烟雾标签的像素区域，生成多个掩膜（Mask）图。
具体地，如图3及图5所示，在图2所示的第一图像中分别提取出有火焰标签F1的像素区域，得到一如图3所示的掩膜图，在图4所示的第一图像中分别提取出有烟雾标签SM1的像素区域，得到一如图5所示的掩膜图。
具体地，所述步骤S2中提取所述的火焰标签和烟雾标签的像素区域，生成多个掩膜（Mask）图时，会按照所述火焰标签和烟雾标签的像素区域在原图中对应的角度及位置等，对其进行分类和标注。
例如，高速公路的一般包括：路面、隔离带及边坡三个不同位置区域，此时在原图中位于路面的掩膜图会被分类到路面类别中，在原图中位于隔离带的掩膜图会被分类到隔离带类别中，在原图中位于边坡的掩膜图会被分类到边坡类别中，对于原图不是高速公路场景的，会按照原图中掩膜图所在区域与路面隔离带及边坡三者中的哪个更为接近，就将该掩膜图分类到对应类别中。
进一步地，在同一类别中的不同掩膜图还可以标注出该掩膜图对应的原图的拍摄时间，例如白天还是夜晚、早晨还是中午等。必要时还可以标注出掩膜图对应的原图拍摄时的天气，例如晴、雨、雪、雾等。这些对于掩膜图的分类和标注均可以根据需要进行设置。
步骤S3、采集对应高速公路非火灾场景的多张第二图像，将所述多张第二图像按照图像显示的场景和拍摄的时间分为多个增强组。
具体地，所述步骤S3中，在本发明的一些实施例，将所述多张第二图像按照图像显示的场景和拍摄的时间分为多个增强组，该些增强组可以包括不同亮度下的多个边坡组、不同亮度下的多个路面组、不同亮度下的多个隔离带组。
一般地，为了保证足够的样本的数量，在本发明的一些实施例中，每一个增强组中均包括至少100张第二图像。
步骤S4、按照预设的匹配算法为每一个增强组匹配合适的掩膜图。
具体地，在本发明的一些实施例中，所述预设的匹配算法为：当一增强组中的第二图像与一掩膜图的灰度值差异小于128时，认定该增强组与该掩膜图匹配合适。
进一步地，在本发明的另一些实施例中，所述步骤S2中还记录所述掩膜图的尺寸，所述预设的匹配算法包括当一增强组中的第二图像与一掩膜图的灰度值差异小于128时且该第二图像中能插入掩膜图的区域大于所述掩膜图的尺寸时，认定该增强组与该掩膜图匹配合适。
进一步地，在本发明的另一些实施例中，所述预设的匹配算法还可以进一步地包括该掩膜图标注的类别与该第二图像的组别一致的条件，如掩膜图为边坡类别同时第二图像是边坡组，则认为满足上述的一致条件。此外，当考虑图像拍摄时的天气时，还可以加入掩膜图及第二图像对应的天气一致的要求，这些要求均可以根据需要进行调整。
具体地，如图6和图8，图6和图8分别显示了本发明的一些实施例中采集的两幅第二图像，图6中主要的场景可划分为路面组，图8中主要的场景可划分为边坡组，将图3所示的掩膜图融合到图6所示的第二图像中，即可得到一如图7所示的第三图像，该第三图像显示了一具有明显火焰的路面火灾场景，将图4所示的掩膜图融合到图8所示的第二图像中，即可得到一如图9所示的第三图像，该第三图像显示了一具有明显烟雾的边坡火灾场景。
步骤S5、按照预设的融合算法将每一个增强组对应的掩膜图融合到该增强组中的各张第二图像中，得到多张第三图像；
具体地，所述预设的融合算法包括：选取一增强组中的一第二图像，将该增强组对应的掩膜图粘贴到该第二图像中；
调整粘贴了掩膜图的该第二图像的对比度、亮度及饱和度，使得掩膜图与该第二图像融合，并记录对比度、亮度及饱和度的调整方式；
将该增强组对应的掩膜图批量粘贴到该增强组中的其他的第二图像中，并根据记录的对比度、亮度及饱和度的调整方式对该些粘贴了掩膜图的第二图像进行对比度、亮度及饱和度进行调整，使得掩膜图与该些第二图像融合，得到多张第三图像。
通过首先融合一张第二图像及掩膜图，并记录融合过程中对比度、亮度及饱和度的调整方式，再进行批量的粘贴与并根据记录的调整方式进行融合，能够提升融合过程中对比度、亮度及饱和度的调整速度，加快第二图像与掩膜图的融合速度。
其中， 所述第三图像即为通过掩膜图与第二图像的融合得到的扩增图像，所述扩增图像展示的画面是一模拟出的高速公路火灾画面，进而通过第三图像有效补充了现有技术中高速公路火灾图像样本不足的问题。
进一步地，为了加大通过同一个增强组得到的第三图像之间的区别，加大样本的多样性，本发明的一些实施例中同一个增强组中的不同的第二图像在粘贴掩膜图时，掩膜图在所述不同第二图像中还会上下左右平移n个像素，左右旋转±m度，n为大于1的正整数，m为小于10的正数，优选地，n为3至10，m等于5。
具体地，在本发明的一些实施例中，对粘贴了掩膜图的第二图像的对比度和亮度的调整通过以下公式进行：
其中， 
为原始像素灰度， 
为调整后的像素灰度， a为对比度系数， b为亮度系数，a大于0；
当a=1时，为原图；
当a>1时，对比度增强，图像看起来更清晰；
当a<1时，对比度减弱，图像看起来变暗；
而系数b影响图像的亮度，随着增加b或减小b，图像整体灰度值上移或者下移，即图像整体变亮或变暗，不会改变图像的对比对。
对粘贴了掩膜图的第二图像的饱和度的调整在HSV色彩空间中完成。
步骤S6、选取多张第一图像、多张第二图像及多张第三图像组成样本集，用所述样本集训练基于图像分割的火灾识别模型，得到训练后的火灾识别模型。
具体地，所述步骤S6中选取多张第一图像、多张第二图像及多张第三图像组成样本集具体包括：
将所述多张第一图像中的高速公路火灾场景的图像选入样本集；
将多张第二图像中一小部分选入样本集；
将多张第三图像中的全部或绝大部分选入样本集。
此外，在用所述样本集训练基于图像分割的火灾识别模型前，还包括一对样本集进行再次标注的步骤，其中，样本集中的第一图像已经在步骤S1中完成了标注无需再进行标注，而样本集中第二图像中没有火灾因此也无需标注，而样本集中第三图像则需要再次进行标注，具体来说即是根据第三图像中的掩膜图信息为第三图像中有火焰的像素区域添加火焰标签，有烟雾的像素区域添加烟雾标签，除有火焰和烟雾的像素区域以外的像素区域添加背景标签的步骤。
需要说明的是，请参阅图2，本发明中所述的标注主要是指，选择labelme、VIA等多边形标注工具进行图像标注，对图像中有火焰、烟雾的区域分别进行多边形标注，分别定义为fire（火焰）、smog（烟雾），其他区域定义为background（背景），若一张图像中多出有火焰、烟雾，均需标注，需注意的是，需要按照火焰和烟雾原本的形态进行多边形标注，尽量避免背景的干扰。特别的，对于选入样本集的第三图像，可以采用自动标注加微调的方式，以减少样本标注的工作量，因为，在融合掩膜图与第二图像时，我们已经知道掩膜图的类别和坐标等信息，因此，对于选入样本集的第三图像，通过自动标注加目视微调即可迅速完成。
值得一提的是，本发明所述的火灾识别模型为基于图像分割的火灾识别模型，如Mask RCNN网络模型，所述Mask RCNN主要由主干网络、区域建议网络（RPN）、ROI分类器和边界框回归器及分割掩码四个模块组成。其中，主干网络，采用残差网络加金字塔作为特征提取器，用于从原始数据中提取特征图像；区域建议网络（RPN），用滑动窗口扫描图像，寻找存在目标的区域，生成候选区域，RPN中引入了anchor，用来处理不同尺度和长宽比的对象，从而获取更好地包含目标地候选区域；ROI分类器和边界框回归器，对区域建议网络中的候选区域进行多分类和包围框回归，并对优选的ROI进行对齐（ROIAlign）操作；分割掩码，采用全卷积神经网络对ROI分类器选择的正区域进行掩码，生成语义分割掩码图。Mask RCNN的损失函数如下：
Loss= Lcls+ Lbox+ Lmask
其中，Lcls、Lbox、Lmask分别表示分类损失、回归损失和语义分割掩码损失。
训练时，先将样本集划分为训练集、验证集和测试集，如按照7:2:1比例进行划分，其中训练集、验证集和测试集均需要包括第一图像及第三图像中的一个、以及第二图像。
步骤S7、将高速公路监控图像接入所述火灾识别模型，所述火灾识别模型对高速公路监控图像进行分析，并在分析结果中监测到烟雾或火焰时，发出火灾预警。
具体地，在本发明的一些实施例中，所述步骤S7中，当火灾识别模型输出类别为fire或smog时，产生火灾预警，并将火灾发生位置和现场图片推送给相关上层平台。
请参阅图10，本发明还提供一种高速公路火灾识别装置，包括：
采集单元10，采集多张对应不同火灾场景的第一图像，对所述第一图像进行标注，为第一图像中有火焰的像素区域添加火焰标签，有烟雾的像素区域添加烟雾标签，除有火焰和烟雾的像素区域以外的像素区域添加背景标签；
掩膜单元20，提取各个第一图像中有火焰标签和烟雾标签的像素区域，生成多个掩膜图；
分类单元30，采集对应高速公路非火灾场景的多张第二图像，将所述多张第二图像按照图像显示的场景和拍摄的时间分为多个增强组；
匹配单元40，按照预设的匹配算法为每一个增强组匹配合适的掩膜图；
融合单元50，按照预设的融合算法将每一个增强组对应的掩膜图融合到该增强组中的各张第二图像中，得到多张第三图像；
训练单元60，选取多张第一图像、多张第二图像及多张第三图像组成样本集，用所述样本集训练基于图像分割的火灾识别模型，得到训练后的火灾识别模型；
识别单元70，将高速公路监控图像接入所述火灾识别模型，所述火灾识别模型对高速公路监控图像进行分析，并在分析结果中监测到烟雾或火焰时，发出火灾预警。
请参阅图11，本发明还提供一种电子设备，包括：存储器100和处理器200，所述存储器100存储有计算机程序，所述计算机程序被所述处理器200执行时，使得所述处理器200执行上述方法的步骤。
综上所述，本发明提供一种高速公路火灾识别方法、装置及电子设备。所述方法通过从火灾场景图像中提取火焰和烟雾区域生成掩膜图，并将掩膜图融合到非火灾场景图像中，从而实现对训练样本的扩增，有效解决了训练样本不足的问题，通过扩增后的训练样本训练得到基于图像分割的火灾识别模型，再通过训练好的火灾识别模型实时识别高速公路监控图像，能够实现对高速公路火灾及时准确的检测识别。
以上所述，对于本领域的普通技术人员来说，可以根据本发明的技术方案和技术构思作出其他各种相应的改变和变形，而所有这些改变和变形都应属于本发明权利要求的保护范围。
Claims (10)
1.一种高速公路火灾识别方法，其特征在于，包括如下步骤：
步骤S1、采集多张对应不同火灾场景的第一图像，对所述第一图像进行标注，为第一图像中有火焰的像素区域添加火焰标签，有烟雾的像素区域添加烟雾标签，除有火焰和烟雾的像素区域以外的像素区域添加背景标签；
步骤S2、提取各个第一图像中有火焰标签和烟雾标签的像素区域，生成多个掩膜图；
步骤S3、采集对应高速公路非火灾场景的多张第二图像，将所述多张第二图像按照图像显示的场景和拍摄的时间分为多个增强组；
步骤S4、按照预设的匹配算法为每一个增强组匹配合适的掩膜图；
步骤S5、按照预设的融合算法将每一个增强组对应的掩膜图融合到该增强组中的各张第二图像中，得到多张第三图像；
步骤S6、选取多张第一图像、多张第二图像及多张第三图像组成样本集，用所述样本集训练基于图像分割的火灾识别模型，得到训练后的火灾识别模型；
步骤S7、将高速公路监控图像接入所述火灾识别模型，所述火灾识别模型对高速公路监控图像进行分析，并在分析结果中监测到烟雾或火焰时，发出火灾预警。
2.如权利要求1所述的高速公路火灾识别方法，其特征在于，所述预设的匹配算法为：当一增强组中的第二图像与一掩膜图的灰度值差异小于128时，认定该增强组与该掩膜图匹配合适。
3.如权利要求1所述的高速公路火灾识别方法，其特征在于，所述预设的融合算法包括：
选取一增强组中的一第二图像，将该增强组对应的掩膜图粘贴到该第二图像中；
调整粘贴了掩膜图的该第二图像的对比度、亮度及饱和度，使得掩膜图与该第二图像融合，并记录对比度、亮度及饱和度的调整方式；
将该增强组对应的掩膜图批量粘贴到该增强组中的其他的第二图像中，并根据记录的对比度、亮度及饱和度的调整方式对该些粘贴了掩膜图的第二图像进行对比度、亮度及饱和度进行调整，使得掩膜图与该些第二图像融合，得到多张第三图像。
4.如权利要求3所述的高速公路火灾识别方法，其特征在于，同一个增强组中的不同的第二图像在粘贴掩膜图时，掩膜图在所述不同第二图像中上下左右平移n个像素，左右旋转±m度，n为大于1的正整数，m为小于10的正数。
5.如权利要求1所述的高速公路火灾识别方法，其特征在于，所述步骤S2中还记录所述掩膜图的尺寸，所述预设的匹配算法包括当一增强组中的第二图像与一掩膜图的灰度值差异小于128且该第二图像中能插入掩膜图的区域大于所述掩膜图的尺寸时，认定该增强组与该掩膜图匹配合适。
6.如权利要求3所述的高速公路火灾识别方法，其特征在于，对粘贴了掩膜图的第二图像的对比度和亮度的调整通过以下公式进行：
其中， 
为原始像素灰度， 
为调整后的像素灰度， a为对比度系数， b为亮度系数，a大于0；
对粘贴了掩膜图的第二图像的饱和度的调整在HSV色彩空间中完成。
7.如权利要求1所述的高速公路火灾识别方法，其特征在于，所述步骤S1中采集多张对应不同火灾场景的第一图像包括高速公路上火灾场景的图像以及非高速公路火灾场景的图像；
所述步骤S3中对于选入样本集的第三图像还包括根据该第三图像中的掩膜图的信息为第三图像中有火焰的像素区域添加火焰标签，有烟雾的像素区域添加烟雾标签，除有火焰和烟雾的像素区域以外的像素区域添加背景标签的步骤。
8.如权利要求1所述的高速公路火灾识别方法，其特征在于，所述基于图像分割的火灾识别模型为Mask RCNN网络模型。
9.一种高速公路火灾识别装置，其特征在于，包括：
采集单元，采集多张对应不同火灾场景的第一图像，对所述第一图像进行标注，为第一图像中有火焰的像素区域添加火焰标签，有烟雾的像素区域添加烟雾标签，除有火焰和烟雾的像素区域以外的像素区域添加背景标签；
掩膜单元，提取各个第一图像中有火焰标签和烟雾标签的像素区域，生成多个掩膜图；
分类单元，采集对应高速公路非火灾场景的多张第二图像，将所述多张第二图像按照图像显示的场景和拍摄的时间分为多个增强组；
匹配单元，按照预设的匹配算法为每一个增强组匹配合适的掩膜图；
融合单元，按照预设的融合算法将每一个增强组对应的掩膜图融合到该增强组中的各张第二图像中，得到多张第三图像；
训练单元，选取多张第一图像、多张第二图像及多张第三图像组成样本集，用所述样本集训练基于图像分割的火灾识别模型，得到训练后的火灾识别模型；
识别单元，将高速公路监控图像接入所述火灾识别模型，所述火灾识别模型对高速公路监控图像进行分析，并在分析结果中监测到烟雾或火焰时，发出火灾预警。
10.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-8中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210578039.6A CN114664047A (zh) | 2022-05-26 | 2022-05-26 | 高速公路火灾识别方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210578039.6A CN114664047A (zh) | 2022-05-26 | 2022-05-26 | 高速公路火灾识别方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114664047A true CN114664047A (zh) | 2022-06-24 |
Family
ID=82038372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210578039.6A Pending CN114664047A (zh) | 2022-05-26 | 2022-05-26 | 高速公路火灾识别方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114664047A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115294483A (zh) * | 2022-09-28 | 2022-11-04 | 山东大学 | 输电线路复杂场景的小目标识别方法及系统 |
| CN116740653A (zh) * | 2023-08-14 | 2023-09-12 | 山东创亿智慧信息科技发展有限责任公司 | 一种配电箱运行状态监测方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8369567B1 (en) * | 2010-05-11 | 2013-02-05 | The United States Of America As Represented By The Secretary Of The Navy | Method for detecting and mapping fires using features extracted from overhead imagery |
| CN106097346A (zh) * | 2016-06-13 | 2016-11-09 | 中国科学技术大学 | 一种自学习的视频火灾探测方法 |
| CN107609603A (zh) * | 2017-10-09 | 2018-01-19 | 济南大学 | 一种多颜色空间差分融合的图像匹配方法 |
| CN108668093A (zh) * | 2017-03-31 | 2018-10-16 | 华为技术有限公司 | Hdr图像的生成方法及装置 |
| CN110232380A (zh) * | 2019-06-13 | 2019-09-13 | 应急管理部天津消防研究所 | 基于Mask R-CNN神经网络的火灾夜间场景复原方法 |
| CN112052797A (zh) * | 2020-09-07 | 2020-12-08 | 合肥科大立安安全技术有限责任公司 | 基于MaskRCNN的视频火灾识别方法及系统 |
| CN113128422A (zh) * | 2021-04-23 | 2021-07-16 | 重庆市海普软件产业有限公司 | 一种深度神经网络的图像烟火检测方法及系统 |
-
2022
- 2022-05-26 CN CN202210578039.6A patent/CN114664047A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8369567B1 (en) * | 2010-05-11 | 2013-02-05 | The United States Of America As Represented By The Secretary Of The Navy | Method for detecting and mapping fires using features extracted from overhead imagery |
| CN106097346A (zh) * | 2016-06-13 | 2016-11-09 | 中国科学技术大学 | 一种自学习的视频火灾探测方法 |
| CN108668093A (zh) * | 2017-03-31 | 2018-10-16 | 华为技术有限公司 | Hdr图像的生成方法及装置 |
| CN107609603A (zh) * | 2017-10-09 | 2018-01-19 | 济南大学 | 一种多颜色空间差分融合的图像匹配方法 |
| CN110232380A (zh) * | 2019-06-13 | 2019-09-13 | 应急管理部天津消防研究所 | 基于Mask R-CNN神经网络的火灾夜间场景复原方法 |
| CN112052797A (zh) * | 2020-09-07 | 2020-12-08 | 合肥科大立安安全技术有限责任公司 | 基于MaskRCNN的视频火灾识别方法及系统 |
| CN113128422A (zh) * | 2021-04-23 | 2021-07-16 | 重庆市海普软件产业有限公司 | 一种深度神经网络的图像烟火检测方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 李天华: "《"3S"技术与高原机场建设工程》", 31 May 2011, 电子科技大学出版社 * |
| 点滴成海: "《[OpenCV学习笔记] 之图像混合、叠加和对比度、亮度调整¬_点滴成海~的博客-CSDN博客]https://mbd.baidu.com/ma/s/cbjlzaXv》", 4 August 2018 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115294483A (zh) * | 2022-09-28 | 2022-11-04 | 山东大学 | 输电线路复杂场景的小目标识别方法及系统 |
| CN116740653A (zh) * | 2023-08-14 | 2023-09-12 | 山东创亿智慧信息科技发展有限责任公司 | 一种配电箱运行状态监测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114664047A (zh) | 高速公路火灾识别方法、装置及电子设备 | |
| CN109977812B (zh) | 一种基于深度学习的车载视频目标检测方法 | |
| CN105373794A (zh) | 一种车牌识别方法 | |
| CN104966071B (zh) | 一种基于红外补光的夜间车牌检测和识别方法以及装置 | |
| CN110619279B (zh) | 一种基于跟踪的路面交通标志实例分割方法 | |
| CN105844257A (zh) | 基于机器视觉雾天行车错失道路标志牌的预警系统及方法 | |
| CN111274942A (zh) | 一种基于级联网络的交通锥识别方法及装置 | |
| CN105608431A (zh) | 一种基于车辆数目与车流速度的高速公路拥堵检测方法 | |
| CN102289686A (zh) | 一种基于迁移学习的运动目标分类识别方法 | |
| CN110222596B (zh) | 一种基于视觉的驾驶员行为分析防作弊方法 | |
| CN104634784B (zh) | 大气能见度监测方法和装置 | |
| CN110458126B (zh) | 一种受电弓状态监测方法及装置 | |
| CN102620766B (zh) | 地下道路交通标志动态视认性测试方法 | |
| CN110991447B (zh) | 基于深度学习的列车车号精确定位与识别方法 | |
| CN110674887A (zh) | 一种基于视频分类的端到端道路拥堵检测算法 | |
| Sikirić et al. | Classifying traffic scenes using the GIST image descriptor | |
| CN104881661A (zh) | 基于结构相似度的车辆检测方法 | |
| CN111753612A (zh) | 一种抛洒物检测方法、装置及存储介质 | |
| CN113515968A (zh) | 街道的异常事件检测方法、装置、设备及介质 | |
| CN109191492A (zh) | 一种基于轮廓分析的智能视频黑烟车检测方法 | |
| CN115171034A (zh) | 道路异物检测方法、场景中异物检测方法及装置 | |
| TWI696958B (zh) | 影像適應性特徵提取法及其應用 | |
| CN111582344A (zh) | 一种加油站卸油口盖状态识别方法 | |
| CN117294818A (zh) | 一种用于机场施工的工地全景监控方法 | |
| CN116228756B (zh) | 一种自动驾驶中相机坏点的检测方法及检测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220624 |