CN111860323A

CN111860323A - 一种基于yolov3算法识别监控画面中初期火灾的方法

Info

Publication number: CN111860323A
Application number: CN202010701656.1A
Authority: CN
Inventors: 徐俊生; 张俊; 陈洋
Original assignee: Beijing Huazheng Tomorrow Information Technology Co ltd
Current assignee: Beijing Huazheng Tomorrow Information Technology Co ltd
Priority date: 2020-07-20
Filing date: 2020-07-20
Publication date: 2020-10-30

Abstract

本发明公开了一种基于yolov3算法识别监控画面中初期火灾的方法，所述方法包括以下步骤：获取第一火焰图像；对所述第一火焰图像进行特征提取，得到第一特征图；根据所述第一特征图，确定所述第一火焰图像中火焰的位置。本发明还公开了一种图像处理装置和可读存储介质。本发明能够解决现有的识别监控画面中初期火灾的技术中火焰识别的算法结构复杂，运行速度慢，识别精度不高的问题。

Description

一种基于yolov3算法识别监控画面中初期火灾的方法

技术领域

本发明涉及图像识别技术领域，特别涉及一种基于yolov3算法识别监控画面中初期火灾的方法。

背景技术

随着科学技术的不断发展，基于人工智能和机器视觉的图像识别技术逐渐成为研究的重点，比如，人们通过对火焰图像的识别来确定火焰在图像上的位置，现有的火焰识别技术一般通对火焰图像中火焰的形状、颜色、亮度以及运动状态等特征进行分析，从而实现对火焰的识别和检测，但是由于该识别方法需要对火焰的许多特征进行分析处理，导致火焰识别的算法结构复杂，运行速度慢，识别精度不高。

发明内容

本发明的主要目的是提供一种基于yolov3算法识别监控画面中初期火灾的方法，旨在解决现有的识别监控画面中初期火灾中的火焰的技术，由于该识别方法需要对火焰的许多特征进行分析处理，导致火焰识别的算法结构复杂，运行速度慢，识别精度不高的问题。

为实现上述目的，本发明提供一种基于yolov3算法识别监控画面中初期火灾的方法，所述方法包括：

获取第一火焰图像；

对所述第一火焰图像进行特征提取，得到第一特征图；

根据所述第一特征图，确定所述第一火焰图像中火焰的位置。

可选地，所述对所述第一火焰图像进行特征提取，得到第一特征图的步骤包括：

根据所述第一火焰图像获取预设尺寸的第二特征图，并对所述预设尺寸的第二特征图进行卷积操作，得到所述第一特征图。

可选地，所述预设尺寸包括第一预设尺寸、第二预设尺寸以及第三预设尺寸，所述第一预设尺寸小于所述第二预设尺寸，所述第二预设尺寸小于所述第三预设尺寸，所述根据所述第一火焰图像获取预设尺寸的第二特征图，并对所述预设尺寸的第二特征图进行卷积操作，得到所述第一特征图的步骤包括：

对所述第一预设尺寸的第二特征图进行第一卷积操作以及第二卷积操作，得到第一待确定特征图；

对所述第一预设尺寸的第二特征图的第一卷积操作后的特征图以及所述第二预设尺寸的第二特征图进行第一卷积操作以及第二卷积操作，得到第二待确定特征图；

对所述第一预设尺寸的第二特征图进行两次第一卷积操作得到中间特征图，并根据所述中间特征图以及所述第三预设尺寸的第二特征图进行第一卷积操作以及第二卷积操作，得到第三待确定特征图；

根据所述第一待确定特征图、所述第二待确定特征图以及所述第三待确定特征图，确定所述第一特征图。

可选地，所述根据所述第一待确定特征图、所述第二待确定特征图以及所述第三待确定特征图，确定所述第一特征图的步骤包括：

对所述第一待确定特征图、所述第二待确定特征图以及所述第三待确定特征图进行非极大抑制处理，得到处理后的所述第一待确定特征图、处理后的所述第二待确定特征图以及处理后的所述第三待确定特征图；

获取所述处理后的所述第一待确定特征图、处理后的所述第二待确定特征图以及处理后的所述第三待确定特征图的置信度分数；

将所述置信度分数最大的所述处理后的待确定特征图确定为所述第一特征图，所述待确定特征图包括所述所述第一待确定特征图、所述第二待确定特征图以及所述第三待确定特征图。

可选地，所述对所述第一待确定特征图、所述第二待确定特征图以及所述第三待确定特征图进行非极大抑制处理，得到处理后的所述第一待确定特征图、处理后的所述第二待确定特征图以及处理后的所述第三待确定特征图的步骤，具体包括：

分别获取每个待确定特征图中各个预测框的置信度分数，所述待确定特征图包括所述第一待确定特征图、所述第二待确定特征图以及所述第三待确定特征图；

将最大的所述置信度分数目标预测框与各个其他预测框做交并比计算，得到每个所述待确定特征图对应的各个交并比值，其中，所述其他预测框为除目标预测框之外的所述预测框；

删除大于预设数值的所述交并比值对应的其他预测框，以得到处理后的所述第一待确定特征图、处理后的所述第二待确定特征图以及处理后的所述第三待确定特征图。

可选地，所述获取第一火焰图像的步骤之前，还包括；

采集第二火焰图像；

若所述第二火焰图像为预设格式，将所述第二火焰图像确定为第一火焰图像。

可选地，所述采集第二火焰图像的步骤之后，还包括；

若所述第二火焰图像不为所述预设格式，对所述第二火焰图像进行处理，得到预设格式的所述第一火焰图像。

可选地，所述根据所述第一特征图，确定所述第一火焰图像中火焰的位置的步骤包括：

获取所述第一特征图中火焰的坐标；

根据各个所述坐标确定图相框，并将所述图相框显示于所述第一火焰图像上，所述图相框包括火焰。

为实现上述目的，本发明还提供了一种图像处理装置，所述图像处理装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的火焰识别程序，所述火焰识别程序被所述处理器执行时实现如上所述的基于yolov3算法识别监控画面中初期火灾的方法的步骤。

为实现上述目的，本发明还提供了一种可读存储介质，所述可读存储介质上存储有火焰识别程序，所述火焰识别程序被处理器执行时实现如上所述的基于yolov3算法识别监控画面中初期火灾的方法的步骤。

本发明提出了一种基于yolov3算法识别监控画面中初期火灾的方法，图像处理装置获取第一火焰图像；然后对第一火焰图像进行特征提取，得到第一特征图；最后根据第一特征图，确定第一火焰图像中火焰的位置，这样，本发明提供的技术方案不需要对火焰的形状、颜色、亮度以及运动状态等特征进行分析，使得对火焰的识别更加简便，从而有效解决了现有的火焰识别技术中，由于需要对火焰的许多特征进行分析处理，导致火焰识别的算法结构复杂，运行速度慢，识别精度不高的问题。

附图说明

为了更清楚地说明本发明实施例或示例性中的技术方案，下面将对实施例或示例性描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以按照这些附图示出获得其他的附图。

图1为本发明实施例方案涉及的硬件运行环境的图像处理装置的结构示意图；

图2为本发明基于yolov3算法识别监控画面中初期火灾的方法第一实施例的流程示意图；

图3为本发明基于yolov3算法识别监控画面中初期火灾的方法第二实施例的流程示意图；

图4为本发明基于yolov3算法识别监控画面中初期火灾的方法第三实施例的流程示意图；

图5为本发明基于yolov3算法识别监控画面中初期火灾的方法第四实施例的流程示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：图像处理装置获取第一火焰图像；然后对第一火焰图像进行特征提取，得到第一特征图；最后根据第一特征图，确定第一火焰图像中火焰的位置，这样，本实施例提供的技术方案中，不需要对火焰的形状、颜色、亮度以及运动状态等特征进行分析，使得对火焰的识别更加简便，从而有效解决了现有的火焰识别技术中，由于需要对火焰的许多特征进行分析处理，导致火焰识别的算法结构复杂，运行速度慢，识别精度不高的问题。

为了更好的理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的图像处理装置的结构示意图。

如图1所示，该图像处理装置可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)、遥控器，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如存储器(non-volatile memory))，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的图像处理装置的结构并不构成对图像处理装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统以及图像处理装置的火焰识别程序。

在图1所示的图像处理装置中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的火焰识别程序，并执行以下操作：

获取第一火焰图像；

对所述第一火焰图像进行特征提取，得到第一特征图；

进一步地，处理器1001可以调用存储器1005中存储的图像处理装置的火焰识别程序，还执行以下操作：

采集第二火焰图像；

获取所述第一特征图中火焰的坐标；

实施例一

参照图2，图2为本发明基于yolov3算法识别监控画面中初期火灾的方法第一实施例的流程示意图。本发明实施例提出了一种基于yolov3算法识别监控画面中初期火灾的方法，所述方法包括以下步骤：

步骤S1000，获取第一火焰图像；

在本实施例中，执行主体是图像处理装置，图像处理装置中具有图像采集装置以及yoloV3算法的目标检测模型，所述第一火焰图像为第二火焰图像经过预处理后的图像，所述第二火焰图像为采集装置采集到的待检测的火焰图像，所述采集装置可以为手机、摄像机，也可以为其他可以获取到图像的设备或装置，在此并无限制。图像处理装置采集到第二火焰图像后进行预处理得到第一火焰图像。

具体地，采集装置采集到第二火焰图像后，判断第二火焰图像的格式是否为预设格式，所述预设格式为yoloV3算法的目标检测模型的输入图像所要满足的格式要求，在本实施例中预设格式为416*416，当然，在其他实施例中，预设格式可以根据具体的需要进行确定，在此并无限制。若判断第二火焰图像满足预设格式，将第二火焰图像确定为第一火焰图像；若判断第二火焰图像不满足预设格式，先将第二火焰图像进行等比放大或缩小，然后对缩放后的图像进行填充，使第二火焰图像等于预设格式，以得到第一火焰图像，比如，第二火焰图像格式为832*500，先对其进行缩放处理，使较长的边长度等于416，即将长度为832的边变为416得到416*250图像，然后对缩放后的图像进行填充，在小于416边长的一边的上下(或左右)进行填充，得到填充后格式满足416*416的填充图形，最后将填充后的图像确定为第一火焰图像。

步骤S2000，对所述第一火焰图像进行特征提取，得到第一特征图；

在本实施例中，所述第一特征图为第一火焰图像经过yolov3目标检测模型处理后最终得到的火焰图像，该图像包含最终的火焰预测结果。

具体地，将第一火焰图像作为输入图像送入yolov3目标检测模型，经过一系列卷积操作得到三个不同尺度下且相互独立的预测结果，然后对这三个预测结果分别进行非极大抑制处理(NMS),比较处理后的三个预测结果的置信度分数，将置信度分数最大的预测结果作为最终的预测结果，包含该最终预测结果的火焰图像即为第一特征图。

步骤S3000，根据所述第一特征图，确定所述第一火焰图像中火焰的位置。

在本实施例中，得到第一特征图后，需要将第一特征图中火焰的坐标信息转换到第一火焰图像以确定第一火焰图像中火焰的具体位置。

具体地，通过获取第一特征图中火焰的坐标，根据火焰的坐标确定图相框，所述图相框包括火焰，并将所述图相框显示于第一火焰图像上，这样，通过图像框即可确定火焰在第一图像中的具体位置。

本实施例提供的技术方案中，图像处理装置获取第一火焰图像；然后对第一火焰图像进行特征提取，得到第一特征图；最后根据第一特征图，确定第一火焰图像中火焰的位置，这样，本实施例提供的技术方案中，不需要对火焰的形状、颜色、亮度以及运动状态等特征进行分析，使得对火焰的识别更加简便，从而有效解决了现有的火焰识别技术中，由于需要对火焰的许多特征进行分析处理，导致火焰识别的算法结构复杂，运行速度慢，识别精度不高的问题。

实施例二

参照图3，图3为本发明基于yolov3算法识别监控画面中初期火灾的方法第二实施例的流程示意图，基于实施例一，上述S2000的步骤包括：

步骤S2100，根据所述第一火焰图像获取预设尺寸的第二特征图，并对所述预设尺寸的第二特征图进行卷积操作，得到所述第一特征图。

在本实施例中，所述第二特征图为第一火焰图像经过yolov3算法的目标检测模型下采样后的输出图像，第二特征图包含第一预设尺寸的第二特征图、第二预设尺寸的第二特征图以及第三预设尺寸的第二特征图，所述第一预设尺寸为13*13，所述第二预设尺寸为26*26，所述第三预设尺寸为52*52，第二特征图的通道数为18。

具体地，第一火焰图像经过一系列的卷积操作后，得到三个不同尺寸，通道数相同的特征图，比如，对于13*13*18的特征图，将第一火焰图像分成了边长为13*13的小格，每个网格格预测中心点落在网格中的火焰。此时有13*13＝169个网格，每一个网格都会预测3个边界框(bounding box)，每个bounding box都会预测三个参数：(1)每个框的位置(包括中心坐标tx和ty，框的高度bh和宽度bw)，(2)一个对象预测，(3)1个类别(火)。可以理解的是第二尺寸的第二特征图预测的是26*26个网格，第三尺寸的第二特征图预测的是52*52个网格。在此不再赘述。

在本实施例中，在得到第二特征图后，对第二特征图进行卷积操作以及非极大抑制处理，比较处理后的特征图的置信度分数即可得到第一特征图。

本实施例提供的技术方案中，根据第一火焰图像获取预设尺寸的第二特征图，并对预设尺寸的第二特征图进行卷积操作，得到第一特征图。这样，本实施例通过对第一火焰图像下采样进行特征提取得到不同尺度下的第二特征图，对第二特征图进行卷积来确定第一特征图，使得对第一火焰图像中火焰位置的预测更准确。

实施例三

参照图4，图4为本发明基于yolov3算法识别监控画面中初期火灾的方法第三实施例的流程示意图，基于实施例二，上述S2100的步骤包括：

步骤S2110，对所述第一预设尺寸的第二特征图进行第一卷积操作以及第二卷积操作，得到第一待确定特征图；

步骤S2120，对所述第一预设尺寸的第二特征图的第一卷积操作后的特征图以及所述第二预设尺寸的第二特征图进行第一卷积操作以及第二卷积操作，得到第二待确定特征图；

步骤S2130，对所述第一预设尺寸的第二特征图进行两次第一卷积操作得到中间特征图，并根据所述中间特征图以及所述第三预设尺寸的第二特征图进行第一卷积操作以及第二卷积操作，得到第三待确定特征图；

步骤S2140，根据所述第一待确定特征图、所述第二待确定特征图以及所述第三待确定特征图，确定所述第一特征图。

在本实施例中，所述第一卷积操作为经过convolutional set模块卷积，该模块为卷积核1*1，3*3，1*1，3*3，1*1，步长为1的五层卷积的一个集合，所述第二卷积操作为3*3，1*1的两层卷积。

本实施例提供的技术方案中，对第二特征图进行卷积操作，得到待确定特征图，待确定特征图包括第一待确定特征图、第二待确定特征图以及第三待确定特征图，这样，本实施例的技术方案对第二特征图作进一步的特征分析得到待确定特征图，提高了对第一特征图确定的准确性，进而对第一火焰图像中火焰位置的预测更准确。

实施例四

参照图5，图5为本发明基于yolov3算法识别监控画面中初期火灾的方法第四实施例的流程示意图，基于实施例三，上述S2140的步骤包括：

步骤S2141，对所述第一待确定特征图、所述第二待确定特征图以及所述第三待确定特征图进行非极大抑制处理，得到处理后的所述第一待确定特征图、处理后的所述第二待确定特征图以及处理后的所述第三待确定特征图；

在本实施例中，第一火焰图像输入yolov3网络后，输出的待确定特征图中存在一些区域有交集的重复预测，所述非极大抑制处理即是消除重复预测。

具体地，每一个待确定特征图中都有许多的预测框，每一个预测框都有一个置信度分数，置信度的取值在0-1之间，置信度是衡量预测结果准确性的一个指标，预测结果越准确，置信度的取值越大。获取特征图中所有预测框的置信度分数，并对其进行从大到小的排序，用置信度分数最大的预测框分别与剩下的框做iou(交并比)计算，得到交并比值，所述交并比值为两个预测框交集部分的面积与两个预测框并集部分的面积的比值，当两个预测框的交并比值超过阀值时，代表两个预测框预测的是同一个目标，舍弃置信度分数较小的预测矿框，留下置信度较大的框，重复操作，得到处理后的待确定特征图。所述阈值为0.5。比如，预测框1为置信度分数最大的预测框，预测框1和预测框2交集部分面积为8，并集部分面积为10，得出的交并比值为0.8，大于阈值0.5，舍弃预测框2。当然，在其他实施例中，所述阈值可以根据具体的需要进行选择，在此并无限制。

步骤S2142，获取所述处理后的所述第一待确定特征图、处理后的所述第二待确定特征图以及处理后的所述第三待确定特征图的置信度分数；

步骤S2143，将所述置信度分数最大的所述处理后的待确定特征图确定为所述第一特征图，所述待确定特征图包括所述所述第一待确定特征图、所述第二待确定特征图以及所述第三待确定特征图。

在本实施例中，处理后的所述第一待确定特征图、处理后的所述第二待确定特征图以及处理后的所述第三待确定特征图是在三个不同尺度下的预测结果，为使最终预测结果准确，得到待确定特征图后，分别获取待确定特征图的置信度分数，将置信度分数最大的处理后的待确定特征图确定为第一特征图，即最终的预测结果。比如，第一待确定特征图的置信度分数为0.4，第二待确定特征图的置信度分数为0.9，第三待确定特征图为0.7，则将第二待确定特征图确定为第一特征图。

本实施例提供的技术方案中，先对三个待确定特征图进行非极大抑制处理消除重复预测，得到处理后的待确定特征图，分别获取处理后的待确定特征图的置信度分数，将置信度分数最大的处理后的待确定特征图确定为第一特征图，提高了最终预测结果精度。

基于上述实施例，本发明还提供了一种图像处理装置，上述图像处理装置可以包括存储器、处理器及存储在上述存储器上并可在上述处理器上运行的火焰识别程序，上述处理器执行上述火焰识别程序时，实现如上述任一实施例所述的基于yolov3算法识别监控画面中初期火灾的方法的步骤。

基于上述实施例，本发明还提供一种可读存储介质，其上存储有火焰识别程序，上述火焰识别程序被处理器执行时实现如上述任一实施例所述的基于yolov3算法识别监控画面中初期火灾的方法的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种基于yolov3算法识别监控画面中初期火灾的方法，其特征在于，所述方法包括：

获取第一火焰图像；

对所述第一火焰图像进行特征提取，得到第一特征图；

2.如权利要求1所述的基于yolov3算法识别监控画面中初期火灾的方法，其特征在于，所述对所述第一火焰图像进行特征提取，得到第一特征图的步骤包括：

3.如权利要求2所述的基于yolov3算法识别监控画面中初期火灾的方法，其特征在于，所述预设尺寸包括第一预设尺寸、第二预设尺寸以及第三预设尺寸，所述第一预设尺寸小于所述第二预设尺寸，所述第二预设尺寸小于所述第三预设尺寸，所述根据所述第一火焰图像获取预设尺寸的第二特征图，并对所述预设尺寸的第二特征图进行卷积操作，得到所述第一特征图的步骤包括：

4.如权利要求3所述的基于yolov3算法识别监控画面中初期火灾的方法，其特征在于，所述根据所述第一待确定特征图、所述第二待确定特征图以及所述第三待确定特征图，确定所述第一特征图的步骤包括：

获取处理后的所述第一待确定特征图、处理后的所述第二待确定特征图以及处理后的所述第三待确定特征图的置信度分数；

将所述置信度分数最大的处理后的待确定特征图确定为所述第一特征图，所述待确定特征图包括所述所述第一待确定特征图、所述第二待确定特征图以及所述第三待确定特征图。

5.如权利要求4所述的基于yolov3算法识别监控画面中初期火灾的方法，其特征在于，所述对所述第一待确定特征图、所述第二待确定特征图以及所述第三待确定特征图进行非极大抑制处理，得到处理后的所述第一待确定特征图、处理后的所述第二待确定特征图以及处理后的所述第三待确定特征图的步骤，具体包括：

6.如权利要求1所述的基于yolov3算法识别监控画面中初期火灾的方法，其特征在于，所述获取第一火焰图像的步骤之前，还包括；

采集第二火焰图像；

7.如权利要求6所述的基于yolov3算法识别监控画面中初期火灾的方法，其特征在于，所述采集第二火焰图像的步骤之后，还包括；

8.如权利要求1-7任一项所述的基于yolov3算法识别监控画面中初期火灾的方法，其特征在于，所述根据所述第一特征图，确定所述第一火焰图像中火焰的位置的步骤包括：

获取所述第一特征图中火焰的坐标；

9.一种图像处理装置，其特征在于，所述图像处理装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的火焰识别程序，所述火焰识别程序被所述处理器执行时实现如权利要求1-8中任一项所述的基于yolov3算法识别监控画面中初期火灾的方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有火焰识别程序，所述火焰识别程序被处理器执行时实现如权利要求1-8中任一项所述的基于yolov3算法识别监控画面中初期火灾的方法的步骤。