CN110348390B - 一种火焰检测模型的训练方法、计算机可读介质及系统 - Google Patents
一种火焰检测模型的训练方法、计算机可读介质及系统 Download PDFInfo
- Publication number
- CN110348390B CN110348390B CN201910631448.6A CN201910631448A CN110348390B CN 110348390 B CN110348390 B CN 110348390B CN 201910631448 A CN201910631448 A CN 201910631448A CN 110348390 B CN110348390 B CN 110348390B
- Authority
- CN
- China
- Prior art keywords
- flame
- candidate frames
- detection model
- feature map
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 88
- 238000012549 training Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000001629 suppression Effects 0.000 claims abstract description 34
- 238000004590 computer program Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 16
- 230000001172 regenerating effect Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 15
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Analysis (AREA)
- Fire-Detection Mechanisms (AREA)
Abstract
本发明涉及一种火焰检测模型的训练方法，该方法包括以下步骤：步骤S1：获取包含火焰的图像；步骤S2：提供一具有至少两个空洞卷积的卷积网络，并在卷积网络中输入包含火焰的图像，以提取至少两种不同尺度的特征图；步骤S3：对每个尺度的特征图，生成目标候选框，而后对各尺度的候选框进行非极大值抑制,去除冗余的候选框；步骤S4：结合对应不同尺度特征图中的锚点进行位置偏移预测和中心偏移预测，并获得火焰状态预测结果；及步骤S5：根据火焰状态预测结果输出加权损失函数，并利用加权损失函数训练卷积网络，以获得火焰检测模型。本发明还提供一种计算机可读介质。本发明还提供一种火焰检测模型的训练系统。
Description
【技术领域】
本发明涉及计算机视觉领域，尤其涉及一种火焰检测模型的训练方法、计算机可读介质及系统。
【背景技术】
早期的计算机视觉检测火灾的方法是用人工提取的特征，如图像通道、火焰边缘、火焰物理特征等进行判断，但这些方案都抗干扰性不强，容易出现漏报、误报，对图像背景、质量要求很高；
随着深度学习的使用，人们开始利用深度学习目标检测的方法开始对火灾图像进行检测，大多为通过卷积神经网络(CNN，Convolutional Neural Networks)学习火焰的图像特征，进而当监控图像中出现与卷积神经网络学习到的火焰图像特征时，自动识别为监控的场景存在火焰，但是在实际场景中，火焰在不同的情况下其表现形式存在很大差异，如火焰刚出现时的体现出的特征很少，火焰面积较大时，能够参照的背景特征很少，因此很难通过普通的卷积学习火焰在不同情况下的图像特征，因此很容易存在漏检、误检的情况。
【发明内容】
为克服现有技术存在的问题，本发明提供一种火焰检测模型的训练方法、计算机可读介质及系统。
本发明解决技术问题的方案是提供一种火焰检测模型的训练方法，该方法包括以下步骤：步骤S1：获取包含火焰的图像；步骤S2：提供一具有至少两个空洞卷积的卷积网络，并在所述卷积网络中输入所述包含火焰的图像，以提取至少两种不同尺度的特征图；步骤S3：对每个尺度的特征图，生成目标候选框，而后对各尺度的候选框进行非极大值抑制(NMS,Non Maximum Suppression),去除冗余的候选框；其中，所述对各尺度的候选框进行非极大值抑制，去除冗余的候选框，包括：计算每个候选框与真实火焰区域重叠度；当所述特征图中的所述候选框重叠度均低于预设值时，则根据所述特征图重新生成候选框；及保留重叠度大于预设值的候选框，以去除冗余的候选框；步骤S4：结合对应不同尺度特征图中的锚点进行位置偏移预测和中心偏移预测，并获得火焰状态预测结果；及步骤S5：根据火焰状态预测结果输出加权损失函数，并利用加权损失函数训练卷积网络，以获得火焰检测模型。
优选地，步骤S3对每个尺度的特征图，生成目标候选框，而后对各尺度的候选框进行非极大值抑制,去除冗余的候选框，进一步包括以下步骤：步骤S31：将每张所述特征图分为火焰区域和背景区域，并选取每张特征图中的火焰区域为感兴趣区域；步骤S32：根据感兴趣区域中锚点的分布，在每张特征图中生成至少两个候选框；步骤S33：通过非极大值抑制去除冗余的候选框；及步骤S34：根据候选框对所有不同尺度的特征图进行合并，并输出对应的锚点。
优选地，所述火焰状态预测结果包括火焰区域占整张图比例及其位置置信度、火焰旺度及其旺度置信度。
优选地，步骤S2提供一具有至少两个空洞卷积的卷积网络，并在所述卷积网络中输入所述包含火焰的图像，以提取至少两种不同尺度的特征图，进一步包括以下步骤：步骤S21：使用设定尺寸的卷积核，膨胀系数为1，提取小尺度的特征图；步骤S22：使用设定尺寸的卷积核，膨胀系数为2，提取中尺度的特征图；及步骤S23：使用设定尺寸的卷积核，膨胀系数为4，提取大尺度的特征图。
优选地，步骤S331计算每个候选框与真实火焰区域重叠度，进一步包括以下步骤：步骤S3311：在小尺度的特征图计算每个候选框与真实火焰区域的重叠度；步骤S3312：在中尺度的特征图计算每个候选框与真实火焰区域的重叠度；及步骤S3313：在大尺度的特征图计算每个候选框与真实火焰区域的重叠度。
优选地，上述步骤S4中，通过全连接层结合候选框的坐标进行回归计算，以对锚点进行位置偏移预测和中心偏移预测。
本发明还提供一种计算机可读介质，所述计算机可读介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述的火焰检测模型的训练方法。
本发明还提供一种火焰检测模型的训练系统，所述火焰检测模型的训练系统包括：读取模块，被配置为获取包含火焰的图像；提取模块，被配置为提供一具有至少两个空洞卷积的卷积网络，并在所述卷积网络中输入所述包含火焰的图像，以提取至少两种不同尺度的特征图；抑制模块，被配置为对每个尺度的特征图，生成目标候选框，而后对各尺度的候选框进行非极大值抑制,去除冗余的候选框；其中，所述对各尺度的候选框进行非极大值抑制，去除冗余的候选框，包括：计算每个候选框与真实火焰区域重叠度；当所述特征图中的所述候选框重叠度均低于预设值时，则根据所述特征图重新生成候选框；及保留重叠度大于预设值的候选框，以去除冗余的候选框；预测模块，被配置为结合对应不同尺度特征图中的锚点进行位置偏移预测和中心偏移预测，并获得火焰状态预测结果；及训练模块，被配置为根据火焰状态预测结果输出加权损失函数，并利用加权损失函数训练卷积网络，以获得火焰检测模型。
优选地，所述抑制模块中进一步包括：设定单元，被配置为将每张所述特征图分为火焰区域和背景区域，并选取每张特征图中的火焰区域为感兴趣区域；候选框单元，被配置为根据感兴趣区域中锚点的分布，在每张特征图中生成至少两个候选框；抑制单元，被配置为通过非极大值抑制去除冗余的候选框；及输出单元，被配置为根据候选框对所有不同尺度的特征图进行合并，并输出对应的锚点。
与现有技术相比，本发明的火焰检测模型的训练方法、计算机可读介质及火焰检测模型的训练系统具有以下优点：
1.通过至少两个空洞卷积的卷积网络在获取的包含火焰的图像中提取至少两个不同尺度的特征图，以使训练得到的火焰检测模型通过不同尺度检测火焰特征，提高火焰检测模型检测火焰的精度，即当火焰刚出现时或者存在大面积火焰时，均可以通过至少两个空洞卷积提取不同尺度的特征图，进而提升火焰检测模型检测火焰的精度。
2.通过对输出的锚点进行位置偏移预测和中心偏移预测，结合锚点的分布预测火焰区域占整张图的比例及其置信度、火焰旺度及其置信度，以使训练得到的火焰检测模型检测的火焰位置更准确，并在检测到火焰之后计算火焰区域占整张图的比例和火焰旺度，并计算对应检测结果的置信度，以结合检测结果和置信度进行救火行动。
3.在每张特征图中获取至少两个候选框，并通过非极大值抑制去除冗余的候选框，进而将每张特征图中保留的候选框进行合并，以使输出的锚点为火焰特征的准确度更高，进而使训练得到的火焰检测模型检测火焰时的准确度更高，以在火焰监测模型在进行检测火焰检测时，防止漏检或误检的情况发生。
4.在本发明提供的一种计算机可读介质中，将火焰检测模型的训练方法存储于计算机程序中，以便于计算机可读介质运行该计算机程序，进而运行该计算机程序，以获得上述的火焰检测模型，并使火焰检测模型从不同尺度检测火焰，同时使检测火焰的准确率更高。
5.在本发明提供的一种火焰检测模型的训练系统中设置读取模块、提取模块、抑制模块、预测模块及训练模块，实现从不同尺度检测火焰，同时使检测火焰的准确率更高。
【附图说明】
图1是本发明第一实施例火焰检测模型的训练方法的流程示意图。
图2是本发明第一实施例火焰检测模型的训练方法中步骤S2的流程示意图。
图3是本发明第一实施例火焰检测模型的训练方法中膨胀系数为1的空洞卷积示意图。
图4是本发明第一实施例火焰检测模型的训练方法中膨胀系数为2的空洞卷积示意图。
图5是本发明第一实施例火焰检测模型的训练方法中膨胀系数为4的空洞卷积示意图。
图6是本发明第一实施例火焰检测模型的训练方法中步骤S3的流程示意图。
图7是本发明第一实施例火焰检测模型的训练方法中步骤S33的流程示意图。
图8是本发明第一实施例火焰检测模型的训练方法中步骤S331的流程示意图。
图9是本发明第三实施例火焰检测模型的训练系统的模块示意图。
图10是本发明第三实施例火焰检测模型的训练系统中抑制模块的模块示意图。
附图标记说明：1、火焰检测模型的训练系统；11、读取模块；12、提取模块；13、抑制模块；14、预测模块；15、训练模块；131、设定单元；132、候选框单元；133、抑制单元；134、输出单元。
【具体实施方式】
为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，本发明第一实施例提供一种火焰检测模型的训练方法，该方法包括以下步骤：
步骤S1：获取包含火焰的图像；
步骤S2：提供一具有至少两个空洞卷积的卷积网络，并在所述卷积网络中输入所述包含火焰的图像，以提取至少两种不同尺度的特征图；
步骤S3：对每个尺度的特征图，生成目标候选框，而后对各尺度的候选框进行非极大值抑制,去除冗余的候选框；其中，所述对各尺度的候选框进行非极大值抑制，去除冗余的候选框，包括：计算每个候选框与真实火焰区域重叠度；当所述特征图中的所述候选框重叠度均低于预设值时，则根据所述特征图重新生成候选框；及保留重叠度大于预设值的候选框，以去除冗余的候选框；
步骤S4：结合对应不同尺度特征图中的锚点进行位置偏移预测和中心偏移预测，并获得火焰状态预测结果；及
步骤S5：根据火焰状态预测结果输出加权损失函数，并利用加权损失函数训练卷积网络，以获得火焰检测模型。
首先，通过互联网下载、现场拍摄等方式获取包含火焰的图像；然后，通过一具有至少两个空洞卷积的卷积网络，并在所述卷积网络中输入所述包含火焰的图像，以提取至少两种不同尺度的特征图；进而对每个尺度的特征图，生成目标候选框，而后对各尺度的候选框进行非极大值抑制,去除冗余的候选框；进而，结合对应不同尺度特征图中的锚点进行位置偏移预测和中心偏移预测，并获得火焰状态预测结果；最后，根据火焰状态预测结果输出加权损失函数，并利用加权损失函数训练卷积网络，以获得火焰检测模型。
可以理解，特征图即为在图像中提取特征的子图，特征包括火焰特征和背景特征，锚点为特征图中形成特征的最小单位，即特征图由多个锚点组成，火焰特征和背景特征中对应的锚点表现形式不同，候选框可以根据不同形式的锚点进行遍历形成，也可以根据直接根据特征图的像素值形成。
在本实施例中，对感兴趣区域对应的锚点进行位置偏移预测和中心偏移预测时，通过全连接层进行回归操作，即用一个四元组来表示候选框的左下角和右上角对应的坐标，进而通过全连接层对应的四个元素进行连接，并将全连接层的激活函数设置为sigmoid函数，以获得感兴趣区域中锚点的矫正值，进而根据矫正值进行位置偏移预测和中心偏移预测。
进一步地，步骤S1获取图像数据之后，对图像数据进行预处理，以使图像数据增强。
可以理解，对图像进行预处理的方法包括但不限于对图像进行翻转、旋转、仿射变换、滤波、直方图均衡等，其中，仿射变换即为对图像进行平移、缩放等操作，滤波的目的为过滤图像中的噪点干扰，直方图均衡的目的为调整图像的亮度，防止图像中曝光、阴影等影响。对图像进行预处理之后，可以增强图像的表现力，还可以增加图像的数据量，进而在训练火焰检测的模型时，保证了训练集的数量，即保证了包含火焰的图像之数量。
请参阅图2，步骤S2将卷积网络的普通卷积改为三个空洞卷积，以在图像中提取三种不同尺度的特征图，进一步包括以下步骤：
步骤S21：使用设定尺寸的卷积核，膨胀系数为1，提取小尺度的特征图；
步骤S22：使用设定尺寸的卷积核，膨胀系数为2，提取中尺度的特征图；及
步骤S23：使用设定尺寸的卷积核，膨胀系数为4，提取大尺度的特征图。
请参阅图3-图5，在本实施例中，空洞卷积的数量为三个，每个空洞卷积的卷积核相同，膨胀系数不同，卷积核均采用3*3的形式；膨胀系数分别为1、2、4，即膨胀系数为1的空洞卷积为普通卷积，以提取小尺度的特征图，小尺度的特征感受野为3*3，如图3所示；
膨胀系数为2的空洞卷积提取特征图时，只有9个点和3*3的卷积核发生卷积操作，其余的点略过，提取的特征图尺寸为7*7，即为中尺度特征图，如图4所示；
同理，膨胀系数为4的空洞卷积提取特征图时，也只有9个点和3*3的卷积核发生卷积操作，其余的点略过，提取的特征图尺寸为15*15，即为大尺度特征图，如图5所示。
可以理解，小尺度的特征图表现出的特征更为精细，大尺度的特征图表现出的特征视野更广，中尺度的特征图表现出的特征介于小尺度特征图和大尺度特征图之间，以便于在不同尺度的特征图提取火焰特征，以结合不同尺度的特征图提取的火焰特征训练火焰检测模型，增加火焰检测模型检测火焰的准确度。
请参阅图6，步骤S3对每个尺度的特征图，生成目标候选框，而后对各尺度的候选框进行非极大值抑制,去除冗余的候选框，进一步包括以下步骤：
步骤S31：将每张所述特征图分为火焰区域和背景区域，并选取每张特征图中的火焰区域为感兴趣区域；
步骤S32：根据感兴趣区域中锚点的分布，在每张特征图中生成至少两个候选框；
步骤S33：通过非极大值抑制去除冗余的候选框；及
步骤S34：根据候选框对所有不同尺度的特征图进行合并，并输出对应的锚点。
首先，将每张所述特征图分为火焰区域和背景区域，并选取每张特征图中的火焰区域为感兴趣区域；然后，根据感兴趣区域中锚点的分布，在每张特征图中生成至少两个候选框，即根据火焰特征对应的锚点分布进行遍历，以在每张特征图中生成至少两个候选框，如在小尺度的特征图中生成两个候选框，中尺度的特征图中生成三个候选框，大尺度的特征图中生成四个候选框；进而，通过非极大值抑制去除冗余的候选框，即在每个特征图中仅保留一个候选框，并将其余的候选框去除；最后，根据候选框对所有不同尺度的特征图进行合并，以获得火焰特征对应的锚点。
可以理解，根据候选框对所有不同尺度的特征图进行合并时，根据候选框在每个特征图中的位置，对相同位置的候选框进行合并；火焰区域即为火焰特征对应的区域，背景区域即为背景特征对应的区域；
火焰状态预测结果包括火焰区域占整张图比例及其位置置信度、火焰旺度及其旺度置信度。
不同的环境对应的置信度不同，如在潮湿或阴雨的环境中，火灾发生前到发生火灾的时间周期较长，进而可设置较低的置信度，以防止不必要的救火行动；如在干燥或烈日的环境中，火灾发生前到发生火灾的时间周期较短，进而可设置较高的置信度，以在最快的时间内进行救火行动。
将训练后的火焰检测模型结合监控设备应用在森林、厂房、电力系统等场景中，即可根据监控设备获取的图像进行火焰检测，由于在卷积神经网络中的普通卷积改为至少两个空洞卷积，以在图像中提取至少两种不同尺度的特征图，通过结合至少两个不同尺度特征图中的候选框和对应的锚点，以检测不同尺度特征图下的火焰，提高火焰检测模型的火焰检测能力；进而通过对锚点进行位置偏移预测和中心偏移预测，并预测火焰区域占整张图比例及其置信度、火焰旺度及其置信度，即根据输出的锚点占整张图的比例获得火焰区域占整张图的比例；根据输出锚点的密度获得火焰旺度，进而在火焰检测模型检测到火焰区域占整张图比例和火焰旺度之后，分别输出对应的置信度，以使用户根据其对应的置信度进行救火行动。
请参阅图7，步骤S33通过非极大值抑制去除冗余的候选框，进一步包括以下步骤：
步骤S331：计算每个候选框与真实火焰区域重叠度；及
步骤S332：设定重叠度大于预设值的候选框进行保留，以去除冗余的候选框。
首先，在每个特征图中获得至少两个候选框之后，计算每个特征图中候选框与真实火焰区域重叠度，即求出每个候选框与真实火焰区域的交集和并集，并使用求出的交集与并集之比，得出该候选框与真实火焰区域的重叠度；
在本实施例中，设定的重叠度为0.7，可以理解，真实火焰区域通过人为标注获得，即标注图像中火焰部分为真实火焰区域；当特征图中的候选框重叠度均低于设定重叠度时，则根据特征图中的锚点重新生成候选框，直至生成的候选框与真实火焰区域重叠度大于0.7才保留该候选框；当特征图中的重叠度均大于设定重叠度时，则保留候选框中重叠度最大的一个，以使训练火焰检测模型时的候选框更精准，进而提升训练好的火焰检测模型检测火焰的准确度。
请参阅图8，步骤S331计算每个候选框与真实火焰区域重叠度，进一步包括以下步骤：
步骤S3311：在小尺度的特征图计算每个候选框与真实火焰区域的重叠度；
步骤S3312：在中尺度的特征图计算每个候选框与真实火焰区域的重叠度；及
步骤S3313：在大尺度的特征图计算每个候选框与真实火焰区域的重叠度。
在一些应用场景中，如在小尺度的特征图中生成两个候选框，在中尺度的特征图中生成四个候选框，在大尺度的特征图中生成五个候选框；
进而，在小尺度的特征图中，分别计算两个候选框与真实火焰区域的重叠度，即分别计算两个候选框真实火焰区域的交集和并集之比；在中尺度的特征图中，分别计算四个候选框与真实火焰区域的重叠度，即分别计算四个候选框真实火焰区域的交集和并集之比；在大尺度的特征图中，分别计算五个候选框与真实火焰区域的重叠度，即分别计算五个候选框真实火焰区域的交集和并集之比；
进而，根据设定的重叠度与每个候选框进行比对，以去除低于设定重叠度的候选框，并将不同尺度的特征图中之候选框，并结合各候选框的位置进行合并，以获得火焰特征对应的锚点。
进而，火焰特征对应的锚点进行位置偏移预测和中心偏移预测，并预测火焰区域占整张图比例及其置信度、火焰旺度及其置信度，以使用户根据其对应的置信度判断预测结果的准确性；最后，根据预测的结果输出加权损失函数，并利用加权损失函数训练卷积网络，以获得火焰检测模型。
本发明第二实施例提供一种计算机可读介质，计算机可读介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述的火焰检测模型的训练方法。
根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
请参阅图9，本发明第三实施例提供一种火焰检测模型的训练系统1，包括读取模块11、提取模块12、抑制模块13、预测模块14及训练模块15；
读取模块11被配置为获取包含火焰的图像；
提取模块12被配置为提供一具有至少两个空洞卷积的卷积网络，并在所述卷积网络中输入所述包含火焰的图像，以提取至少两种不同尺度的特征图；
抑制模块13被配置为对每个尺度的特征图，生成目标候选框，而后对各尺度的候选框进行非极大值抑制,去除冗余的候选框；其中，所述对各尺度的候选框进行非极大值抑制，去除冗余的候选框，包括：计算每个候选框与真实火焰区域重叠度；当所述特征图中的所述候选框重叠度均低于预设值时，则根据所述特征图重新生成候选框；及保留重叠度大于预设值的候选框，以去除冗余的候选框；
预测模块14被配置为结合对应不同尺度特征图中的锚点进行位置偏移预测和中心偏移预测，并获得火焰状态预测结果；及
训练模块15被配置为根据火焰状态预测结果输出加权损失函数，并利用加权损失函数训练卷积网络，以获得火焰检测模型。
请参阅图10，抑制模块13中进一步包括：设定单元131、候选框单元132、抑制单元133及输出单元134；
设定单元131被配置为将每张所述特征图分为火焰区域和背景区域，并选取每张特征图中的火焰区域为感兴趣区域；
候选框单元132被配置为根据感兴趣区域中锚点的分布，在每张特征图中生成至少两个候选框；
抑制单元133被配置为通过非极大值抑制去除冗余的候选框；及
输出单元134被配置为根据候选框对所有不同尺度的特征图进行合并，并输出对应的锚点。
第一实施例中的相关限定内容同样适用于本实施例。
与现有技术相比，本发明的火焰检测模型的训练方法、计算机可读介质及火焰检测模型的训练系统具有以下优点：
1.通过至少两个空洞卷积的卷积网络在获取的包含火焰的图像中提取至少两个不同尺度的特征图，以使训练得到的火焰检测模型通过不同尺度检测火焰特征，提高火焰检测模型检测火焰的精度，即当火焰刚出现时或者存在大面积火焰时，均可以通过至少两个空洞卷积提取不同尺度的特征图，进而提升火焰检测模型检测火焰的精度。
2.通过对输出的锚点进行位置偏移预测和中心偏移预测，结合锚点的分布预测火焰区域占整张图的比例及其置信度、火焰旺度及其置信度，以使训练得到的火焰检测模型检测的火焰位置更准确，并在检测到火焰之后计算火焰区域占整张图的比例和火焰旺度，并计算对应检测结果的置信度，以结合检测结果和置信度进行救火行动。
3.在每张特征图中获取至少两个候选框，并通过非极大值抑制去除冗余的候选框，进而将每张特征图中保留的候选框进行合并，以使输出的锚点为火焰特征的准确度更高，进而使训练得到的火焰检测模型检测火焰时的准确度更高，以在火焰监测模型在进行检测火焰检测时，防止漏检或误检的情况发生。
4.在本发明提供的一种计算机可读介质中，将火焰检测模型的训练方法存储于计算机程序中，以便于计算机可读介质运行该计算机程序，进而运行该计算机程序，以获得上述的火焰检测模型，并使火焰检测模型从不同尺度检测火焰，同时使检测火焰的准确率更高。
5.在本发明提供的一种火焰检测模型的训练系统中设置读取模块、提取模块、抑制模块、预测模块及训练模块，实现从不同尺度检测火焰，同时使检测火焰的准确率更高。
以上所述仅为本发明较佳实施例而已，并不用以限制本发明，凡在本发明原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。
Claims (9)
1.一种火焰检测模型的训练方法，其特征在于：该方法包括以下步骤：
步骤S1：获取包含火焰的图像；
步骤S 2：提供一具有至少两个空洞卷积的卷积网络，并在所述卷积网络中输入所述包含火焰的图像，以提取至少两种不同尺度的特征图；
步骤S 3：对每个尺度的特征图，生成目标候选框，而后对各尺度的候选框进行非极大值抑制,去除冗余的候选框；其中，所述对各尺度的候选框进行非极大值抑制，去除冗余的候选框，包括：
计算每个候选框与真实火焰区域重叠度；
当所述特征图中的所述候选框重叠度均低于预设值时，则根据所述特征图重新生成候选框；及
保留重叠度大于预设值的候选框，以去除冗余的候选框；
当所述特征图中所述候选框重叠度均大于预设值时，则保留所述候选框中重叠度最大的一个；
步骤S 4：结合对应不同尺度特征图中的锚点进行位置偏移预测和中心偏移预测，并获得火焰状态预测结果；及
步骤S 5：根据火焰状态预测结果输出加权损失函数，并利用加权损失函数训练卷积网络，以获得火焰检测模型。
2.如权利要求1所述的火焰检测模型的训练方法，其特征在于：步骤S 3将每张所述特征图分为至少两个区域，选取每张特征图中的设定区域生成候选框，并输出对应不同尺度特征图中的锚点，进一步包括以下步骤：
步骤S 31：将每张所述特征图分为火焰区域和背景区域，并选取每张特征图中的火焰区域为感兴趣区域；
步骤S 32：根据感兴趣区域中锚点的分布，在每张特征图中生成至少两个候选框；
步骤S 33：通过非极大值抑制去除冗余的候选框；及
步骤S 34：根据候选框对所有不同尺度的特征图进行合并，并输出对应的锚点。
3.如权利要求2所述的火焰检测模型的训练方法，其特征在于：所述火焰状态预测结果包括火焰区域占整张图比例及其位置置信度、火焰旺度及其旺度置信度。
4.如权利要求1所述的火焰检测模型的训练方法，其特征在于：步骤S 2提供一具有至少两个空洞卷积的卷积网络，并在所述卷积网络中输入所述包含火焰的图像，以提取至少两种不同尺度的特征图，进一步包括以下步骤：
步骤S 21：使用设定尺寸的卷积核，膨胀系数为1，提取小尺度的特征图；
步骤S 22：使用设定尺寸的卷积核，膨胀系数为2，提取中尺度的特征图；及
步骤S 23：使用设定尺寸的卷积核，膨胀系数为4，提取大尺度的特征图。
5.如权利要求4所述的火焰检测模型的训练方法，其特征在于：计算每个候选框与真实火焰区域重叠度，进一步包括以下步骤：
步骤S 3311：在小尺度的特征图计算每个候选框与真实火焰区域的重叠度；
步骤S 3312：在中尺度的特征图计算每个候选框与真实火焰区域的重叠度；及
步骤S 3313：在大尺度的特征图计算每个候选框与真实火焰区域的重叠度。
6.如权利要求1所述的火焰检测模型的训练方法，其特征在于：上述步骤S 4中，通过全连接层结合候选框的坐标进行回归计算，以对锚点进行位置偏移预测和中心偏移预测。
7.一种计算机可读介质，其特征在于：所述计算机可读介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1-6中任一项中所述的火焰检测模型的训练方法。
8.一种火焰检测模型的训练系统，其特征在于：所述火焰检测模型的训练系统包括：
读取模块，被配置为获取包含火焰的图像；
提取模块，被配置为提供一具有至少两个空洞卷积的卷积网络，并在所述卷积网络中输入所述包含火焰的图像，以提取至少两种不同尺度的特征图；
抑制模块，被配置为对每个尺度的特征图，生成目标候选框，而后对各尺度的候选框进行非极大值抑制,去除冗余的候选框；其中，所述对各尺度的候选框进行非极大值抑制，去除冗余的候选框，包括：
计算每个候选框与真实火焰区域重叠度；
当所述特征图中的所述候选框重叠度均低于预设值时，则根据所述特征图重新生成候选框；及
设定重叠度大于预设值的候选框进行保留，以去除冗余的候选框；
当所述特征图中所述候选框重叠度均大于预设值时，则保留所述候选框中重叠度最大的一个；
预测模块，被配置为结合对应不同尺度特征图中的锚点进行位置偏移预测和中心偏移预测，并获得火焰状态预测结果；及
训练模块，被配置为根据火焰状态预测结果输出加权损失函数，并利用加权损失函数训练卷积网络，以获得火焰检测模型。
9.如权利要求8所述的火焰检测模型的训练系统，其特征在于：所述抑制模块中进一步包括：
设定单元，被配置为将每张所述特征图分为火焰区域和背景区域，并选取每张特征图中的火焰区域为感兴趣区域；
候选框单元，被配置为根据感兴趣区域中锚点的分布，在每张特征图中生成至少两个候选框；
抑制单元，被配置为通过非极大值抑制去除冗余的候选框；及
输出单元，被配置为根据候选框对所有不同尺度的特征图进行合并，并输出对应的锚点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910631448.6A CN110348390B (zh) | 2019-07-12 | 2019-07-12 | 一种火焰检测模型的训练方法、计算机可读介质及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910631448.6A CN110348390B (zh) | 2019-07-12 | 2019-07-12 | 一种火焰检测模型的训练方法、计算机可读介质及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110348390A CN110348390A (zh) | 2019-10-18 |
| CN110348390B true CN110348390B (zh) | 2023-05-16 |
Family
ID=68175167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910631448.6A Active CN110348390B (zh) | 2019-07-12 | 2019-07-12 | 一种火焰检测模型的训练方法、计算机可读介质及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110348390B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929805B (zh) * | 2019-12-05 | 2023-11-10 | 上海肇观电子科技有限公司 | 神经网络的训练方法、目标检测方法及设备、电路和介质 |
| CN111027491A (zh) * | 2019-12-12 | 2020-04-17 | 江西洪都航空工业集团有限责任公司 | 一种基于无锚点机制的火焰检测方法及装置 |
| CN111127433B (zh) * | 2019-12-24 | 2020-09-25 | 深圳集智数字科技有限公司 | 一种检测火焰的方法及装置 |
| CN112232368B (zh) * | 2020-09-10 | 2023-09-01 | 浙江大华技术股份有限公司 | 目标识别模型训练方法、目标识别方法及其相关装置 |
| CN114399719B (zh) * | 2022-03-25 | 2022-06-17 | 合肥中科融道智能科技有限公司 | 一种变电站火灾视频监测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109613006A (zh) * | 2018-12-22 | 2019-04-12 | 中原工学院 | 一种基于端到端神经网络的织物疵点检测方法 |
| CN109658387A (zh) * | 2018-11-27 | 2019-04-19 | 北京交通大学 | 电力列车的受电弓碳滑板缺陷的检测方法 |
| CN109949253A (zh) * | 2019-04-18 | 2019-06-28 | 达闼科技（北京）有限公司 | 一种预测框的过滤方法、电子设备及存储介质 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009136895A1 (en) * | 2008-05-08 | 2009-11-12 | Utc Fire & Security | System and method for video detection of smoke and flame |
| US20180204076A1 (en) * | 2017-01-13 | 2018-07-19 | The Regents Of The University Of California | Moving object detection and classification image analysis methods and systems |
| US10067509B1 (en) * | 2017-03-10 | 2018-09-04 | TuSimple | System and method for occluding contour detection |
| CN109214241A (zh) * | 2017-07-03 | 2019-01-15 | 中国科学院文献情报中心 | 基于深度学习算法的行人检测方法 |
| CN108537215B (zh) * | 2018-03-23 | 2020-02-21 | 清华大学 | 一种基于图像目标检测的火焰检测方法 |
| CN108564065B (zh) * | 2018-04-28 | 2020-02-21 | 广东电网有限责任公司 | 一种基于ssd的电缆隧道明火识别方法 |
| CN108960069A (zh) * | 2018-06-05 | 2018-12-07 | 天津大学 | 一种用于单阶段物体检测器的增强上下文的方法 |
| CN109086799A (zh) * | 2018-07-04 | 2018-12-25 | 江苏大学 | 一种基于改进卷积神经网络模型AlexNet的作物叶片病害识别方法 |
| CN109147254B (zh) * | 2018-07-18 | 2021-05-18 | 武汉大学 | 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法 |
| CN109344883A (zh) * | 2018-09-13 | 2019-02-15 | 西京学院 | 一种基于空洞卷积的复杂背景下果树病虫害识别方法 |
| CN109325534B (zh) * | 2018-09-22 | 2020-03-17 | 天津大学 | 一种基于双向多尺度金字塔的语义分割方法 |
| CN109598269A (zh) * | 2018-11-14 | 2019-04-09 | 天津大学 | 一种基于多分辨率输入与金字塔膨胀卷积的语义分割方法 |
| CN109784476B (zh) * | 2019-01-12 | 2022-08-16 | 福州大学 | 一种改进dsod网络的方法 |
| CN109635882B (zh) * | 2019-01-23 | 2022-05-13 | 福州大学 | 一种基于多尺度卷积特征提取和融合的显著物体检测方法 |
-
2019
- 2019-07-12 CN CN201910631448.6A patent/CN110348390B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109658387A (zh) * | 2018-11-27 | 2019-04-19 | 北京交通大学 | 电力列车的受电弓碳滑板缺陷的检测方法 |
| CN109613006A (zh) * | 2018-12-22 | 2019-04-12 | 中原工学院 | 一种基于端到端神经网络的织物疵点检测方法 |
| CN109949253A (zh) * | 2019-04-18 | 2019-06-28 | 达闼科技（北京）有限公司 | 一种预测框的过滤方法、电子设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| Songtao Liu等.Adaptive NMS: Refining Pedetrian Detection in a Crowd.《arXiv:1904.03629v1》.2019,第1-10页. * |
| 程博.基于卷积神经网络的多尺度检测研究.《中国优秀硕士学位论文全文数据库 信息科技辑 》.2019,(第（2019）06期),I138-452. * |
| 苏越.基于卷积神经网络的多标签图像分类.《中国优秀硕士学位论文全文数据库 信息科技辑》.2019,(第（2019）01期),I138-3514. * |
| 雷维卓.基于YOLOv2的实时目标检测研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2019,(第（2019）04期),I138-896. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110348390A (zh) | 2019-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110348390B (zh) | 一种火焰检测模型的训练方法、计算机可读介质及系统 | |
| KR101967089B1 (ko) | 컨볼루션 신경망 기반의 완전 기준 이미지 품질 평가 | |
| CN107404628B (zh) | 图像处理装置及方法以及监视系统 | |
| CN109815881A (zh) | 行为识别模型的训练方法、行为识别方法、装置及设备 | |
| CN112001375B (zh) | 一种火焰检测方法、装置、电子设备及存储介质 | |
| CN108875482B (zh) | 物体检测方法和装置、神经网络训练方法和装置 | |
| CN110263654A (zh) | 一种火焰检测方法、装置及嵌入式设备 | |
| CN112492297B (zh) | 一种对视频的处理方法以及相关设备 | |
| JP2020504383A (ja) | 画像前景の検出装置、検出方法及び電子機器 | |
| CN113781370A (zh) | 图像的增强方法、装置和电子设备 | |
| CN116797504A (zh) | 图像融合方法、电子设备及存储介质 | |
| CN116343093A (zh) | 火灾态势预测方法、设备及介质 | |
| CN114140320B (zh) | 图像迁移方法和图像迁移模型的训练方法、装置 | |
| JP2019046039A (ja) | 火災検知装置及び火災検知方法 | |
| CN113496176B (zh) | 动作识别方法、装置以及电子设备 | |
| CN112052823A (zh) | 目标检测方法和装置 | |
| CN108665455B (zh) | 图像显著性预测结果的评价方法和装置 | |
| CN116664694A (zh) | 图像亮度获取模型的训练方法、图像获取方法及移动终端 | |
| CN114882557A (zh) | 一种人脸识别方法和装置 | |
| CN114612771A (zh) | 一种基于神经网络的火源监控方法及系统 | |
| CN113505844A (zh) | 标签生成方法、装置、设备、存储介质及程序产品 | |
| CN113706402A (zh) | 神经网络训练方法、装置及电子设备 | |
| CN110674764A (zh) | 一种工地裸露土方的检测方法、装置及系统 | |
| CN117935116B (zh) | 基于人工智能的实时火场态势感知模型训练方法及系统 | |
| CN111191593A (zh) | 图像目标检测方法、装置、存储介质及污水管道检测装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |