CN115187831A - 模型训练及烟雾检测方法、装置、电子设备及存储介质 - Google Patents

模型训练及烟雾检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115187831A
CN115187831A CN202210728997.7A CN202210728997A CN115187831A CN 115187831 A CN115187831 A CN 115187831A CN 202210728997 A CN202210728997 A CN 202210728997A CN 115187831 A CN115187831 A CN 115187831A
Authority
CN
China
Prior art keywords
feature map
image
smoke
input
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210728997.7A
Other languages
English (en)
Inventor
王磊
汪昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN202210728997.7A priority Critical patent/CN115187831A/zh
Publication of CN115187831A publication Critical patent/CN115187831A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例涉及深度学习技术领域，提供一种模型训练及烟雾检测方法、装置、电子设备及存储介质，在模型训练过程中，将输入图像分配到特征图中的每个特征点进行预测，既能满足不同烟雾尺度大小需求，还能降低网络结构复杂度并减小计算量，同时，对输入图像的烟雾区域和背景区域进行二值化处理得到二值掩膜图像，并基于二值掩膜图像生成每个特征点的标签，可以去掉背景信息的干扰，使模型专注于烟雾特征学习。这样，在利用训练后的烟雾检测模型进行烟雾检测时，能够克服现有技术的局限性，快速、精准地检测出图像中的烟雾区域。

Description

模型训练及烟雾检测方法、装置、电子设备及存储介质
技术领域
本申请实施例涉及深度学习技术领域，具体而言，涉及一种模型训练及烟雾检测方法、装置、电子设备及存储介质。
背景技术
火灾是当前普遍发生且危害性极大的灾害之一，它关系到人们的生命财产安全，因此，对火情的监控和预防一直是火灾防治技术领域的重要研究内容。烟雾作为火情的早期表现，是及时发现火情的有力证据。
目前，烟雾主要是通过传统的烟雾报警器进行监测的，但是，在实际的使用中，烟雾报警器通常安装在室内的屋顶，当烟雾浓度达到一定阈值才会产生告警，因此，现有的烟雾报警器存在局限性，例如，在室内空间较大时会造成告警延迟，在野外由于烟雾扩散可能会导致无法使用。
发明内容
本申请实施例的目的在于提供一种模型训练及烟雾检测方法、装置、电子设备及存储介质，用以克服烟雾报警器的局限性，实现烟雾的快速、精准检测。
为了实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供了一种模型训练方法，所述方法包括：
获取训练集，其中，所述训练集包括多个输入图像和每个所述输入图像的二值掩膜图像，所述二值掩膜图像采用不同的数值表征所述输入图像的烟雾区域和背景区域；
将所述训练集输入预先建立的烟雾检测模型，利用所述烟雾检测模型进行多尺度特征提取，得到所述输入图像的特征图；
利用所述烟雾检测模型对所述特征图进行预测，得到所述特征图中的每个特征点映射到所述输入图像中的区域为烟雾区域的预测值；
根据所述输入图像的二值掩膜图像，生成每个所述特征点的标签，所述标签表征所述特征点映射到所述输入图像中的区域为烟雾区域的真实值；
基于每个所述特征点的预测值和标签、以及预设的损失函数，对所述烟雾检测模型进行训练，得到训练后的烟雾检测模型。
可选地，所述获取训练集的步骤，包括：
获取M个原始图像，其中，所述原始图像带标签，所述标签表征所述原始图像中烟雾区域的轮廓；
基于所述M个原始图像，得到多个输入图像，其中，所述多个输入图像包括所述M个原始图像和N个增强图像，所述N个增强图像是分别对N个原始图像进行图像增强处理得到的，且N≤M；
针对每个所述输入图像，对所述输入图像的烟雾区域和背景区域进行二值化处理，生成每个所述输入图像的二值掩膜图像。
可选地，所述烟雾检测模型包括三个不同尺度的降采样单元、两个不同尺度的上采样单元和一个输出单元；
所述利用所述烟雾检测模型进行多尺度特征提取，得到所述输入图像的特征图的步骤，包括：
利用第一个降采样单元对所述输入图像进行特征提取及降采样，得到第一输入特征图，所述第一输入特征图的大小为所述输入图像的1/8；
利用第二个降采样单元对所述第一输入特征图进行特征提取及降采样，得到第二输入特征图，所述第二输入特征图的大小为所述输入图像的1/16；
利用第三个降采样单元对所述第二输入特征图进行特征提取及降采样，得到第三输入特征图，所述第三输入特征图的大小为所述输入图像的1/32；
利用第一个上采样单元对所述第三输入特征图进行特征提取及上采样得到第一中间特征图，并将所述第一中间特征图和所述第二输入特征图进行合并得到第一输出特征图，所述第一中间特征图和所述第一输出特征图的大小均为所述输入图像的1/16；
利用第二个上采样单元对所述第一输出特征图进行特征提取及上采样得到第二中间特征图，并将所述第二中间特征图和所述第一输入特征图进行合并得到第二输出特征图，所述第二中间特征图和所述第二输出特征图的大小均为所述输入图像的1/8；
利用所述输出单元对所述第二输出特征图进行特征提取并减少通道数，得到所述特征图，所述特征图的大小为所述输入图像的1/8且通道数为1。
可选地，所述烟雾检测模型还包括logistic激活层；
所述利用所述烟雾检测模型对所述特征图进行预测，得到所述特征图中的每个特征点映射到所述输入图像中的区域为烟雾区域的预测值的步骤，包括：
利用所述logistic激活层对所述特征图中的每个特征点均进行logistic激活，得到每个所述特征点映射到所述输入图像中的区域为烟雾区域的预测值。
可选地，所述二值掩膜图像和所述特征图的大小满足设定降采样率；
所述根据所述输入图像的二值掩膜图像，生成每个所述特征点的标签的步骤，包括：
针对每个所述特征点，确定所述特征点映射到所述二值掩膜图像中的映射区域；
根据所述设定降采样率和所述映射区域中每个像素点的数值，利用预设公式
Figure BDA0003712102160000021
计算所述映射区域内的烟雾占比；
其中，rij表示所述烟雾占比，s表示所述设定降采样率，Mmn表示所述二值掩膜图像中的第(m,n)个像素点，m和n分别表示所述像素点的横坐标和纵坐标，i和j分别表示所述特征点的横坐标和纵坐标；
根据所述烟雾占比，生成所述特征点的标签。
可选地，所述损失函数为：
loss＝Σylogp+(1-y)log(1-p)
其中，y和p分别表示同一特征点的标签和预测值。
第二方面，本申请实施例还提供了一种烟雾检测方法，所述方法包括：
获取待检测图像；
将所述待检测图像输入利用上述第一方面中的模型训练方法训练后的烟雾检测模型，得到所述待检测图像的融合特征图、以及所述融合特征图中每个融合特征点映射到所述待检测图像中的区域为烟雾区域的预测值；
针对每个所述融合特征点，当所述融合特征点的预测值大于预设阈值时，在所述待检测图像中确定所述融合特征点对应的映射区域，并生成包围所述映射区域的输出框；
对所述待检测图像中的各个输出框进行边框融合，得到烟雾检测结果。
第三方面，本申请实施例还提供了一种模型训练装置，所述装置包括：
训练集获取模块，用于获取训练集，其中，所述训练集包括多个输入图像和每个所述输入图像的二值掩膜图像，所述二值掩膜图像采用不同的数值表征所述输入图像的烟雾区域和背景区域；
处理模块，用于：
将所述训练集输入预先建立的烟雾检测模型，利用所述烟雾检测模型进行多尺度特征提取，得到所述输入图像的特征图；
利用所述烟雾检测模型对所述特征图进行预测，得到所述特征图中的每个特征点映射到所述输入图像中的区域为所述烟雾区域的预测值；
根据所述输入图像的二值掩膜图像，生成每个所述特征点的标签，所述标签表征所述特征点映射到所述输入图像中的区域为所述烟雾区域的真实值；
训练模块，用于基于每个所述特征点的预测值和标签、以及预设的损失函数，对所述烟雾检测模型进行训练，得到训练后的烟雾检测模型。
第四方面，本申请实施例还提供了一种烟雾检测装置，所述装置包括：
图像获取模块，用于获取待检测图像；
预测模块，用于将所述待检测图像输入利用上述第一方面中的模型训练方法训练后的烟雾检测模型，得到所述待检测图像的融合特征图、以及所述融合特征图中每个融合特征点映射到所述待检测图像中的区域为烟雾区域的预测值；
生成模块，用于针对每个所述融合特征点，当所述融合特征点的预测值大于预设阈值时，在所述待检测图像中确定所述融合特征点对应的映射区域，并生成包围所述映射区域的输出框；
融合模块，用于对所述待检测图像中的各个输出框进行边框融合，得到烟雾检测结果。
第五方面，本申请实施例还提供了一种电子设备，包括处理器和存储器，所述存储器用于存储程序，所述处理器用于在执行所述程序时，实现上述第一方面中的模型训练方法，和/或，上述第二方面中的烟雾检测方法。
第六方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面中的模型训练方法，和/或，上述第二方面中的烟雾检测方法。
相对现有技术，本申请实施例提供的一种模型训练及烟雾检测方法、装置、电子设备及存储介质，在训练预先建立的烟雾检测模型时，首先，将训练集输入烟雾检测模型，利用烟雾检测模型对输入图像进行多尺度特征提取得到特征图，并预测特征图中的每个特征点映射到输入图像中的区域为烟雾区域的预测值；然后，根据二值掩膜图像生成每个特征点的标签；最后，基于每个特征点的预测值和标签以及预设的损失函数，对烟雾检测模型进行训练，得到训练后的烟雾检测模型。也就是，在训练过程中，一方面，将输入图像分配到特征图中的每个特征点进行预测，既能满足不同烟雾尺度大小需求，还能降低网络结构复杂度并减小计算量；另一方面，由于二值掩膜图像采用不同的数值表征输入图像的烟雾区域和背景区域，故基于二值掩膜图像生成每个特征点的标签，可以去掉背景信息的干扰，使模型专注于烟雾特征学习。这样在利用训练后的烟雾检测模型进行烟雾检测时，能够克服烟雾报警器的局限性，快速、精准地检测出图像中的烟雾区域。
附图说明
图1示出了本申请实施例提供的一种模型训练方法的流程示意图。
图2示出了本申请实施例提供的一种输入图像的标注示例图一。
图3示出了本申请实施例提供的一种输入图像的标注示例图二。
图4示出了本申请实施例提供的一种二值掩膜图像的示例图。
图5示出了本申请实施例提供的一种烟雾检测模型的结构示例图一。
图6示出了本申请实施例提供的一种烟雾检测模型的结构示例图二。
图7示出了本申请实施例提供的一种烟雾检测方法的流程示意图。
图8示出了本申请实施例提供的一种输出框的示例图。
图9示出了本申请实施例提供的一种烟雾检测结果的示例图。
图10示出了本申请实施例提供的一种模型训练装置的方框示意图。
图11示出了本申请实施例提供的一种烟雾检测装置的方框示意图。
图12示出了本申请实施例提供的一种电子设备的方框示意图。
图标：100-模型训练装置；101-训练集获取模块；102-处理模块；103-训练模块；200-烟雾检测装置；201-图像获取模块；202-预测模块；203-生成模块；204-融合模块；10-电子设备；11-处理器；12-存储器；13-总线。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述。
火灾是一种危及人们生活生产的突发灾害，如果能够及时监测到火灾可以挽救生命和财产安全。目前，主要是通过传统的烟雾报警器监测烟雾来发现火情。
但是，在实际的使用中，烟雾报警器通常安装在室内的屋顶，当烟雾浓度达到一定阈值才会产生告警，因此，现有的烟雾报警器存在局限性，例如，在室内空间较大时会造成告警延迟，在野外由于烟雾扩散可能会导致无法使用。
随着计算机视觉技术和人工智能技术的发展，基于计算机视觉的烟雾检测方法也成为当前的研究热点。该方法可以识别早期形成的烟雾而没有烟雾浓度的限制，并且适用于室内和室外的空旷区域，也可用于野外的山火预警。该方法还可以定位烟雾位置范围从而找到火情起源。
目前，基于计算机视觉的烟雾检测方法，主要是基于视频的检测，通过利用烟雾在视频中的动态特性采用帧间差或者光流法提取出图像中的疑似烟雾区域，然后对疑似烟雾区域进行特征提取并分类，从而得到最终的检测结果，该方法需要对视频连续帧进行处理，无法实现单帧图像检测，处理时占用资源较大，并且由于烟雾受气流影响，其在帧间的动态特性稳定性差，利用帧间信息不能完整提取烟雾区域，具有局限性。
为了解决上述问题，本申请实施例构建烟雾检测模型，在模型训练过程中，将输入图像分配到特征图中的每个特征点进行预测，既能满足不同烟雾尺度大小需求，还能降低网络结构复杂度并减小计算量，同时，对输入图像的烟雾区域和背景区域进行二值化处理得到二值掩膜图像，并基于二值掩膜图像生成每个特征点的标签，可以去掉背景信息的干扰，使模型专注于烟雾特征学习。这样，在利用训练后的烟雾检测模型进行烟雾检测时，能够克服现有技术的局限性，快速、精准地检测出图像中的烟雾区域。下面进行详细介绍。
请参照图1，图1示出了本申请实施例提供的模型训练方法的流程示意图。该模型训练方法应用于电子设备，电子设备可以是服务器，例如，单个服务器、服务器集群等，也可以是终端，例如，智能手机、笔记本电脑、平板电脑、台式计算机等，还可以是芯片系统，该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件等，本申请实施例对此不做任何限制。该模型训练方法可以包括以下步骤：
S101，获取训练集，其中，训练集包括多个输入图像和每个输入图像的二值掩膜图像，二值掩膜图像采用不同的数值表征输入图像的烟雾区域和背景区域。
在本实施例中，首先进行数据准备，可以收集公开数据和真实场景的监控图像构建训练集和测试集，训练集和数据集的数据大小可以是10:1。同时，训练集和测试集中的样本均由有烟雾的正样本图片和无烟雾的负样本图片组成，正负样本数量占比大概为1:3。下述实施例以训练集为例进行说明。
例如，收集公开数据集VSD Smoke图像和真实场景的监控图像构建训练集和测试集，其中训练集8800张，测试集900张，训练集和测试集中正负样本比例均为1:3。
在完成数据准备后，可以使用开源的LabelMe标注工具对训练集中的样本进行烟雾区域标注，生成标签文件。
目前，采用目标检测的方法对样本进行烟雾检测时，对烟雾的标注方式均为矩形框标注，即，如图2所示，直接采用矩形框标注烟雾区域。但是，通常烟雾形态不规律且边缘发散，这种标注方式会包含大量的背景区域，除了在模型训练时会对烟雾特征的学习造成干扰外，还会使模型学习到不必要的背景特征，影响模型检出准确率。
因此，本实施例中，在标注时，可以使用开源的LabelMe标注工具，按照图像分割的标注方式对训练集中样本进行烟雾区域标注，生成标签文件。即，如图3所示，采取图像分割的标注方式，直接标注烟雾区域的外部轮廓范围，从而去掉背景信息的干扰，使模型专注于烟雾特征学习，此外，针对这种标注的训练方式还可以降低烟雾轮廓扩散的影响，使得模型预测准确率更高，且对烟雾区域的位置标记更准确。
在完成训练集中样本的标注之后，考虑到训练过程中正样本数量较少且存在尺度和颜色差异，还可以对训练集中的全部样本、或者随机选择部分样本进行一系列图像增强操作。图像增强操作可以包括，但不限于图像缩放、随机翻转、增加小幅度的颜色抖动以适应不同光线导致的烟雾颜色变化等。图像增强操作一方面可以扩大样本量，另一方面还可以增加数据的多样性，使训练模型的泛化性更强。如此，训练集中的样本就包括原来的样本及图像增强操作后的样本。
可以理解地，由于训练集中原来的样本都带有标签，即，如图3所示的标注框，因此，图像增强操作后的样本也都带有标签，例如，将样本缩小到原来的1/2，则标签也会相应地缩小到原来的1/2。
同时，为了使模型专注于烟雾特征学习，针对训练集中的每个样本，都需要根据该样本的标签，对样本中的烟雾区域和背景区域进行二值化处理，生成与样本同等大小的二值掩膜图像。以图3所示的样本为例，根据标注框生成同等大小的二值掩膜图像如图4所示。
可选地，在二值掩摸图像中，烟雾区域可以被标记为1，背景区域可以被标记为0。例如，图4中的黑色区域对应样本的背景区域，白色区域对应样本的烟雾区域。
因此，在一种可能的实现方式中，步骤S101中获取训练集的过程，可以包括子步骤S1011～S1013。
S1011，获取M个原始图像，其中，原始图像带标签，标签表征所述原始图像中烟雾区域的轮廓。
在本实施例中，原始图像可以是公开数据和真实场景的监控图像。标签是指标注烟雾区域的外部轮廓范围的标注框。
S1012，基于M个原始图像，得到多个输入图像，其中，多个输入图像包括M个原始图像和N个增强图像，N个增强图像是分别对N个原始图像进行图像增强处理得到的，且N≤M。
S1013，针对每个输入图像，对输入图像的烟雾区域和背景区域进行二值化处理，生成每个输入图像的二值掩膜图像。
S102，将训练集输入预先建立的烟雾检测模型，利用烟雾检测模型进行多尺度特征提取，得到输入图像的特征图。
在本实施例中，烟雾检测模型可以是目前常见的目标检测模型，例如，Yolo系列模型，如YoloV3、YoloV3-tiny等，也可以是卷积神经网络，还可以是自行设计的烟雾检测模型，本申请实施例对此不做任何限制。下述实施例以自行设计的烟雾检测模型为例进行描述。
请参照图5，烟雾检测模型可以包括三个不同尺度的降采样单元、两个不同尺度的上采样单元和一个输出单元。将训练集输入烟雾检测模型后，首先，输入图像依次经过三个不同尺度的降采样单元，输出大小分别为输入图像的1/8、1/16和1/32的特征图；然后，采用两个不同尺度的上采样单元对三个不同尺度的降采样单元输出的特征进行多尺度融合及上采样，输出大小为输入图像的1/8的特征图；最后，通过输出单元减少通道数，最终输出大小为输入图像的1/8、通道数为1的特征图。
需要指出的是，上述的降采样单元、上采样单元和输出单元，在实现降采样、上采样和减少通道数的同时，还会进行特征提取。
在图5所示的烟雾检测模型的基础上，步骤S102中利用烟雾检测模型进行多尺度特征提取，得到输入图像的特征图的过程，可以包括子步骤S1021～S1026。
S1021，利用第一个降采样单元对输入图像进行特征提取及降采样，得到第一输入特征图，第一输入特征图的大小为输入图像的1/8。
在本实施例中，第一个降采样单元可以包括，但不限于卷积层、池化层等，用于对输入图像进行特征提取及降采样，得到大小为输入图像的1/8的第一输入特征图。
可选地，请参照图6，第一个降采样单元可以包括依次连接的：1卷积层(7*7卷积核、步长2)、1池化层(2*2窗口、步长2)、3卷积层(3*3卷积核、步长1)、1卷积层(3*3卷积核、步长2)和4卷积层(3*3卷积核、步长1)。可选地，池化层可以是，但不限于最大池化。
经过第一个降采样单元后，与输入图像相比，第一输入特征图的大小和通道都会发生变化，例如，输入图像为960*512*3，即，大小为960*512、通道数为3，第一输入特征图为120*64*48，即，大小为120*64、通道数为48。
S1022，利用第二个降采样单元对第一输入特征图进行特征提取及降采样，得到第二输入特征图，第二输入特征图的大小为输入图像的1/16。
在本实施例中，第二个降采样单元可以包括，但不限于卷积层等，用于对第一输入特征图进行特征提取及降采样，得到大小为输入图像的1/16的第二输入特征图。
可选地，如图6所示，第二个降采样单元可以包括依次连接的：1卷积层(3*3卷积核、步长2)和7卷积层(3*3卷积核、步长1)。
经过第二个降采样单元后，与第一输入特征图相比，第二输入特征图的大小和通道会发生变化，例如，第二输入特征图为60*32*64，即，大小为60*32、通道数为64。
S1023，利用第三个降采样单元对第二输入特征图进行特征提取及降采样，得到第三输入特征图，第三输入特征图的大小为输入图像的1/32。
在本实施例中，第三个降采样单元可以包括，但不限于卷积层等，用于对第二输入特征图进行特征提取及降采样，得到大小为输入图像的1/32的第三输入特征图。
可选地，如图6所示，第三个降采样单元可以包括依次连接的：1卷积层(3*3卷积核、步长2)和5卷积层(3*3卷积核、步长1)。
经过第三个降采样单元后，与第二输入特征图相比，第三输入特征图的大小和通道会发生变化，例如，第三输入特征图为30*16*96，即，大小为30*16、通道数为96。
S1024，利用第一个上采样单元对第三输入特征图进行特征提取及上采样得到第一中间特征图，并将第一中间特征图和第二输入特征图进行合并得到第一输出特征图，第一中间特征图和第一输出特征图的大小均为输入图像的1/16。
在本实施例中，第一个上采样单元可以包括，但不限于转置卷积层、卷积层、拼接层等，用于对第三输入特征图进行特征提取及上采样得到第一中间特征图，并将第一中间特征图和第二输入特征图进行合并，得到大小为输入图像的1/16的第一输出特征图。
转置卷积也被称为反卷积，可以实现特征图的上采样。拼接层可以是concat，能够整合特征图信息，实现特征图的通道叠加。
可选地，如图6所示，第一个上采样单元可以包括依次连接的：1转置卷积层(4*4卷积核、步长2)、2卷积层(3*3卷积核、步长1)和拼接层(concat)。
其中，对于第三输入特征图(30*16*96)，经1转置卷积层和2卷积层后得到第一中间特征图(60*32*64)，再由拼接层将第一中间特征图(60*32*64)和第二输入特征图(60*32*64)进行合并，得到第一输出特征图(60*32*128)。
S1025，利用第二个上采样单元对第一输出特征图进行特征提取及上采样得到第二中间特征图，并将第二中间特征图和第一输入特征图进行合并得到第二输出特征图，第二中间特征图和第二输出特征图的大小均为输入图像的1/8。
在本实施例中，第二个上采样单元可以包括，但不限于卷积层、转置卷积层、拼接层等，用于对第一输出特征图进行特征提取及上采样得到第二中间特征图，并将第二中间特征图和第一输入特征图进行合并，得到大小为输入图像的1/8的第二输出特征图。
可选地，如图6所示，第一个上采样单元可以包括依次连接的：1卷积层(1*1卷积核、步长1)、1转置卷积层(4*4卷积核、步长2)、2卷积层(3*3卷积核、步长1)和拼接层(concat)。
卷积层(1*1卷积核、步长1)，用于对特征图进行卷积操作以减少通道数。
其中，对于第一输出特征图(60*32*128)，经1卷积层(1*1卷积核、步长1)、1转置卷积层和2卷积层(3*3卷积核、步长1)后得到第二中间特征图(120*64*48)，再由拼接层将第二中间特征图(120*64*48)和第一输入特征图(120*64*48)进行合并，得到第二输出特征图(120*64*96)。
S1026，利用输出单元对第二输出特征图进行特征提取并减少通道数，得到特征图，特征图的大小为输入图像的1/8且通道数为1。
在本实施例中，输出单元可以包括，但不限于卷积层等，用于对第二输出特征图进行特征提取并减少通道数，得到大小为输入图像的1/8且通道数为1的特征图。
可选地，如图6所示，输出单元可以包括依次连接的：1卷积层(1*1卷积核、步长1)、2卷积层(3*3卷积核、步长1)和1卷积层(1*1卷积核、步长1)。
其中，对于第二输出特征图(120*64*96)，经1卷积层(1*1卷积核、步长1)、2卷积层(3*3卷积核、步长1)和1卷积层(1*1卷积核、步长1)后，得到特征图(120*64*1)。
现有技术中，为了满足不同尺度大小的烟雾检测，使用的卷积神经网络通常需要设计多层特征输出，造成计算量增加。本申请实施例自行设计的烟雾检测模型，在降低卷积通道数的同时提升了网络深度，既能满足不同烟雾尺度大小需求，还能降低网络结构复杂度并减小计算量。同时，为了融合多尺度特征，模型会依次经过1/8、1/16和1/32倍率的降采样，再利用转置卷积上采样到1/8，同时利用卷积层(1*1卷积核、步长1)减少通道数，这样最后输出的特征图的大小为输入图像的1/8且通道数为1。
需要说明的是，图6所示的烟雾检测模型的结构，仅为给出的一种示例，本领域技术人员能够基于本申请实施例提供的思路设计烟雾检测模型。即，本申请实施例提供的烟雾检测模型，其结构不应局限于图6所示的模型结构，可以在图6的基础上进行符合本申请实施例提供的思路的改进、变形等。
S103，利用烟雾检测模型对特征图进行预测，得到特征图中的每个特征点映射到输入图像中的区域为烟雾区域的预测值。
在本实施例中，为了实现烟雾区域的快速、精准地检测，通过步骤S102介绍的上述过程得到特征图之后，还可以对特征图中的各个特征点进行分类。可选地，可以通过logistic激活实现特征点分类。
因此，烟雾检测模型还可以包括logistic激活层，可以利用logistic激活层对特征图中的每个特征点均进行logistic激活，得到每个特征点映射到输入图像中的区域为烟雾区域的预测值。
激活函数的公式如下：
Figure BDA0003712102160000091
其中，x表示特征点；f(x)表示特征点的预测值，也可以用p表示。
在本实施例中，由于特征图的大小为输入图像的1/8，所以特征图上的每一个特征点都可以代表输入图像上一个8×8大小的区域。即，特征图上的每个特征点映射到输入图像上，都对应一个8×8大小的区域。例如，特征点的坐标为(1,2)，映射到输入图像上的区域的坐标范围为(8～16,16～24)。
因此，通过logistic激活层得到的特征点的预测值，即为该特征点映射到输入图像中的8×8大小的区域为烟雾区域的预测值。
S104，根据输入图像的二值掩膜图像，生成每个特征点的标签，标签表征特征点映射到输入图像中的区域为烟雾区域的真实值。
在本实施例中，由于二值掩膜图像采用不同的数值表征输入图像的烟雾区域和背景区域，所以为了去掉背景信息的干扰，使模型专注于烟雾特征学习，可以基于二值掩膜图像生成每个特征点的标签。同时，由于二值掩膜图像是根据输入图像的标签，对输入图像中的烟雾区域和背景区域进行二值化处理得到的，所以基于二值掩膜图像生成的特征点的标签，即为该特征点映射到输入图像中的区域为烟雾区域的真实值。
因此，步骤S104中根据输入图像的二值掩膜图像，生成每个特征点的标签的过程，可以包括子步骤S1041～S1043。
S1041，针对每个特征点，确定特征点映射到二值掩膜图像中的映射区域。
在本实施例中，由于特征图和输入图像满足设定降采样率，输入图像和二值掩膜图像同等大小，故二值掩膜图像和特征图的大小满足设定降采样率，即，特征图的大小为二值掩膜图像的1/设定降采样率。例如，特征图的大小为二值掩膜图像的1/8，则设定采样率为8。
因此，将特征图上的每个特征点映射到二值掩膜图像上，都对应一个特定大小的区域。例如，特征点的坐标为(i,j)，映射到二值掩膜图像上的区域的坐标范围为(s*i～s*(i+1),s*j～s*(j+1),)，其中，s表示设定将采样率。
S1042，根据设定降采样率和映射区域中每个像素点的数值，利用预设公式
Figure BDA0003712102160000101
计算映射区域内的烟雾占比；
其中，rij表示烟雾占比，s表示设定降采样率，Mmn表示二值掩膜图像中的第(m,n)个像素点，m和n分别表示像素点的横坐标和纵坐标，i和j分别表示特征点的横坐标和纵坐标。
在本实施例中，由于二值掩膜图像采用不同的数值表征所述输入图像的烟雾区域和背景区域，例如，烟雾区域为1，背景区域为0，因此，按照上述公式，就能计算出映射区域内烟雾区域的比例，即烟雾占比。
S1043，根据烟雾占比，生成特征点的标签。
在本实施例中，对于一个特征点，计算出该特征点对应的映射区域的烟雾占比之后，可以根据烟雾占比的大小，将该特征点划分为正样本1、负样本0和忽略样本ignore，以缓解标注时的边界误差，其中，正样本1和负样本0即为该特征点的标签，忽略样本ignore表示没有标签，这部分特征点不纳入最终的损失函数计算。
划分规则可以如以下公式所示：
Figure BDA0003712102160000111
需要指出的是，上述公式中的0.5和0.7仅为示例，可以根据实际情况灵活调整，本申请实施例对此不做任何限制。
上述S1041～S1043，是以一个特征点为例进行说明的，可以理解地，需要遍历特征图中的每个特征点，以生成特征点的标签。
S105，基于每个特征点的预测值和标签、以及预设的损失函数，对烟雾检测模型进行训练，得到训练后的烟雾检测模型。
在本实施例中，可以基于每个特征点的预测值和标签，使用logistic损失函数计算特征图的损失进行网络训练。
可选地，损失函数为：
loss＝Σylogp+(1-y)log(1-p)
其中，y和p分别表示同一特征点的标签和预测值。
在本实施例中，可以利用Darknet框架进行模型训练，训练时，采用SGD优化算法，学习率可以设为0.004，按poly方式更新学习率，其中power参数为2，batch大小设为64，训练完成后获得烟雾检测模型。
在完成烟雾检测模型的训练之后，可以利用训练后的烟雾检测模型进行烟雾检测，训练后的烟雾检测模型可以部署于终端，例如，用户的智能手机、笔记本电脑、平板电脑，也可以是开发板、芯片系统等。从而可以实现任何场景下的烟雾检测，尤其是野外等复杂场景。
请参照图7，图7示出了本申请实施例提供的烟雾检测方法的流程示意图。该烟雾检测方法应用于电子设备，电子设备可以是终端，例如，智能手机、笔记本电脑、平板电脑、台式计算机等，也可以是开发板、芯片系统等。该烟雾检测方法可以包括以下步骤：
S201，获取待检测图像。
在本实施例中，待检测图像是指单张图像，可以是照片，也可以是视频帧。
S202，将待检测图像输入利用上述的模型训练方法训练后的烟雾检测模型，得到待检测图像的融合特征图、以及融合特征图中每个融合特征点映射到待检测图像中的区域为烟雾区域的预测值。
在本实施例中，将待检测图像输入训练后的烟雾检测模型后，处理过程与步骤S102～S103的过程类似，在此不再赘述。
S203，针对每个融合特征点，当融合特征点的预测值大于预设阈值时，在待检测图像中确定融合特征点对应的映射区域，并生成包围映射区域的输出框。
在本实施例中，针对每个融合特征点，当融合特征点的预测值大于预设阈值时，则在待检测图像中该融合特征点对应的映射区域，生成一个包围该映射区域的输出框。例如，融合特征点的坐标为(1,2)，在待检测图像中对应的映射区域的坐标范围为(8～16,16～24)，则生成一个包围(8～16,16～24)的输出框。
遍历融合特征图中每个融合特征点，完成待检测图像中映射区域的输出框的生成之后，得到待检测图像如图8所示，图8中的一个网格即为一个输出框。
可选地，在实际应用中，预设阈值可以根据实际情况灵活设置，例如，0.5～0.9，本申请实施例对此不做任何限制。
S204，对待检测图像中的各个输出框进行边框融合，得到烟雾检测结果。
在本实施例中，完成待检测图像中映射区域的输出框的生成之后，需要对输出结果进行边框融合操作，其目的为合并所有存在交叉的输出框。
可选地，边框融合操作的过程可以是：分别判断任意两个输出框是否相交，如果两个输出框相交，便计算两个输出框的外接最小矩形框，保留外接最小矩形框并去掉这两个相交的输出框，直到所有输出框都不存在交集为止。
同时，考虑到输出框是根据特征点生成的且同等大小，所以在进行边框融合之前，可以先对所有输出框进行一定像素的外扩，例如，外扩像素为3，即将所有输出框由8x8外扩为11x11再进行边框融合操作。经过边框融合操作后的输出结果如图9所示，经过边框融合的结果即为最终的烟雾检测结果。
与现有技术相比，本申请实施例具有以下有益效果：
首先，相比于视频的方法更灵活，可以同时应用于图像和视频检测领域；
其次，采取图像分割的标注方式，直接标注烟雾区域的外部轮廓范围，从而去掉背景信息的干扰，使模型专注于烟雾特征学习，此外，针对这种标注的训练方式还可以降低烟雾轮廓扩散的影响，使得模型预测准确率更高，且对烟雾区域的位置标记更准确；
第三，对训练集中的全部样本、或者随机选择部分样本进行一系列图像增强操作，一方面可以扩大样本量，另一方面还可以增加数据的多样性，使训练模型的泛化性更强；
第四，自行设计的烟雾检测模型，在降低卷积通道数的同时提升了网络深度，既能满足不同烟雾尺度大小需求，还能降低网络结构复杂度并减小计算量；
第五，通过将烟雾标注区域进行二值化生成掩摸标签，并按照降采样倍率分配到单一特征图上的每一个特征点进行预测，既能满足不同烟雾尺度大小需求，还能降低网络结构复杂度并减小计算量；
第六，利用训练后的烟雾检测模型进行烟雾检测时，能够克服现有技术的局限性，快速、精准地检测出图像中的烟雾区域。
为了执行上述方法实施例及各个可能的实施方式中的相应步骤，下面分别给出一种模型训练装置和烟雾检测装置的实现方式。
请参照图10，图10示出了本申请实施例提供的模型训练装置100的方框示意图。模型训练装置100应用于电子设备，模型训练装置100包括：训练集获取模块101、处理模块102和训练模块103。
训练集获取模块101，用于获取训练集，其中，训练集包括多个输入图像和每个输入图像的二值掩膜图像，二值掩膜图像采用不同的数值表征输入图像的烟雾区域和背景区域。
处理模块102，用于：
将训练集输入预先建立的烟雾检测模型，利用烟雾检测模型进行多尺度特征提取，得到输入图像的特征图；
利用烟雾检测模型对特征图进行预测，得到特征图中的每个特征点映射到输入图像中的区域为烟雾区域的预测值；
根据输入图像的二值掩膜图像，生成每个特征点的标签，标签表征特征点映射到输入图像中的区域为烟雾区域的真实值。
训练模块103，用于基于每个特征点的预测值和标签、以及预设的损失函数，对烟雾检测模型进行训练，得到训练后的烟雾检测模型。
可选地，训练集获取模块101具体用于：
获取M个原始图像，其中，原始图像带标签，标签表征原始图像中烟雾区域的轮廓；
基于M个原始图像，得到多个输入图像，其中，多个输入图像包括M个原始图像和N个增强图像，N个增强图像是分别对N个原始图像进行图像增强处理得到的，且N≤M；
针对每个输入图像，对输入图像的烟雾区域和背景区域进行二值化处理，生成每个输入图像的二值掩膜图像。
可选地，烟雾检测模型包括三个不同尺度的降采样单元、两个不同尺度的上采样单元和一个输出单元；
处理模块102执行利用烟雾检测模型进行多尺度特征提取，得到输入图像的特征图的方式，包括：
利用第一个降采样单元对输入图像进行特征提取及降采样，得到第一输入特征图，第一输入特征图的大小为输入图像的1/8；
利用第二个降采样单元对第一输入特征图进行特征提取及降采样，得到第二输入特征图，第二输入特征图的大小为输入图像的1/16；
利用第三个降采样单元对第二输入特征图进行特征提取及降采样，得到第三输入特征图，第三输入特征图的大小为输入图像的1/32；
利用第一个上采样单元对第三输入特征图进行特征提取及上采样得到第一中间特征图，并将第一中间特征图和第二输入特征图进行合并得到第一输出特征图，第一中间特征图和第一输出特征图的大小均为输入图像的1/16；
利用第二个上采样单元对第一输出特征图进行特征提取及上采样得到第二中间特征图，并将第二中间特征图和第一输入特征图进行合并得到第二输出特征图，第二中间特征图和第二输出特征图的大小均为输入图像的1/8；
利用输出单元对第二输出特征图进行特征提取并减少通道数，得到特征图，特征图的大小为输入图像的1/8且通道数为1。
可选地，烟雾检测模型还包括logistic激活层；
处理模块102执行利用烟雾检测模型对特征图进行预测，得到特征图中的每个特征点映射到输入图像中的区域为烟雾区域的预测值的方式，包括：
利用logistic激活层对特征图中的每个特征点均进行logistic激活，得到每个特征点映射到输入图像中的区域为烟雾区域的预测值。
可选地，二值掩膜图像和特征图的大小满足设定降采样率；
处理模块102执行根据输入图像的二值掩膜图像，生成每个特征点的标签的方式，包括：
针对每个特征点，确定特征点映射到二值掩膜图像中的映射区域；
根据设定降采样率和映射区域中每个像素点的数值，利用预设公式
Figure BDA0003712102160000141
计算映射区域内的烟雾占比；
其中，rij表示烟雾占比，s表示设定降采样率，Mmn表示二值掩膜图像中的第(m,n)个像素点，m和n分别表示像素点的横坐标和纵坐标，i和j分别表示特征点的横坐标和纵坐标；
根据烟雾占比，生成特征点的标签。
请参照图11，图11示出了本申请实施例提供的烟雾检测装置200的方框示意图。烟雾检测装置200应用于电子设备，烟雾检测装置200包括：图像获取模块201、预测模块202、生成模块203和融合模块204。
图像获取模块201，用于获取待检测图像。
预测模块202，用于将待检测图像输入利用上述的模型训练方法训练后的烟雾检测模型，得到待检测图像的融合特征图、以及融合特征图中每个融合特征点映射到待检测图像中的区域为烟雾区域的预测值。
生成模块203，用于针对每个融合特征点，当融合特征点的预测值大于预设阈值时，在待检测图像中确定融合特征点对应的映射区域，并生成包围映射区域的输出框。
融合模块204，用于对待检测图像中的各个输出框进行边框融合，得到烟雾检测结果。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的模型训练装置100和烟雾检测装置200的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
请参照图12，图12示出了本申请实施例提供的电子设备10的方框示意图。电子设备10包括处理器11、存储器12及总线13，处理器11通过总线13与存储器12连接。
存储器12用于存储程序，处理器11在接收到执行指令后，执行所述程序以实现上述实施例揭示的模型训练方法和/或烟雾检测方法。
存储器12可能包括高速随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失存储器(non-volatile memory，NVM)。
处理器11可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器11中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器11可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、微控制单元(Microcontroller Unit，MCU)、复杂可编程逻辑器件(Complex Programmable LogicDevice，CPLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、嵌入式ARM等芯片。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器11执行时实现上述实施例揭示的模型训练方法和/或烟雾检测方法。
综上所述，本申请实施例提供的一种模型训练及烟雾检测方法、装置、电子设备及存储介质，在模型训练过程中，将输入图像分配到特征图中的每个特征点进行预测，既能满足不同烟雾尺度大小需求，还能降低网络结构复杂度并减小计算量，同时，对输入图像的烟雾区域和背景区域进行二值化处理得到二值掩膜图像，并基于二值掩膜图像生成每个特征点的标签，可以去掉背景信息的干扰，使模型专注于烟雾特征学习。这样，在利用训练后的烟雾检测模型进行烟雾检测时，能够克服现有技术的局限性，快速、精准地检测出图像中的烟雾区域。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种模型训练方法，其特征在于，所述方法包括：
获取训练集，其中，所述训练集包括多个输入图像和每个所述输入图像的二值掩膜图像，所述二值掩膜图像采用不同的数值表征所述输入图像的烟雾区域和背景区域；
将所述训练集输入预先建立的烟雾检测模型，利用所述烟雾检测模型进行多尺度特征提取，得到所述输入图像的特征图；
利用所述烟雾检测模型对所述特征图进行预测，得到所述特征图中的每个特征点映射到所述输入图像中的区域为烟雾区域的预测值；
根据所述输入图像的二值掩膜图像，生成每个所述特征点的标签，所述标签表征所述特征点映射到所述输入图像中的区域为烟雾区域的真实值；
基于每个所述特征点的预测值和标签、以及预设的损失函数，对所述烟雾检测模型进行训练，得到训练后的烟雾检测模型。
2.如权利要求1所述的方法，其特征在于，所述获取训练集的步骤，包括：
获取M个原始图像，其中，所述原始图像带标签，所述标签表征所述原始图像中烟雾区域的轮廓；
基于所述M个原始图像，得到多个输入图像，其中，所述多个输入图像包括所述M个原始图像和N个增强图像，所述N个增强图像是分别对N个原始图像进行图像增强处理得到的，且N≤M；
针对每个所述输入图像，对所述输入图像的烟雾区域和背景区域进行二值化处理，生成每个所述输入图像的二值掩膜图像。
3.如权利要求1所述的方法，其特征在于，所述烟雾检测模型包括三个不同尺度的降采样单元、两个不同尺度的上采样单元和一个输出单元；
所述利用所述烟雾检测模型进行多尺度特征提取，得到所述输入图像的特征图的步骤，包括：
利用第一个降采样单元对所述输入图像进行特征提取及降采样，得到第一输入特征图，所述第一输入特征图的大小为所述输入图像的1/8；
利用第二个降采样单元对所述第一输入特征图进行特征提取及降采样，得到第二输入特征图，所述第二输入特征图的大小为所述输入图像的1/16；
利用第三个降采样单元对所述第二输入特征图进行特征提取及降采样，得到第三输入特征图，所述第三输入特征图的大小为所述输入图像的1/32；
利用第一个上采样单元对所述第三输入特征图进行特征提取及上采样得到第一中间特征图，并将所述第一中间特征图和所述第二输入特征图进行合并得到第一输出特征图，所述第一中间特征图和所述第一输出特征图的大小均为所述输入图像的1/16；
利用第二个上采样单元对所述第一输出特征图进行特征提取及上采样得到第二中间特征图，并将所述第二中间特征图和所述第一输入特征图进行合并得到第二输出特征图，所述第二中间特征图和所述第二输出特征图的大小均为所述输入图像的1/8；
利用所述输出单元对所述第二输出特征图进行特征提取并减少通道数，得到所述特征图，所述特征图的大小为所述输入图像的1/8且通道数为1。
4.如权利要求1所述的方法，其特征在于，所述二值掩膜图像和所述特征图的大小满足设定降采样率；
所述根据所述输入图像的二值掩膜图像，生成每个所述特征点的标签的步骤，包括：
针对每个所述特征点，确定所述特征点映射到所述二值掩膜图像中的映射区域；
根据所述设定降采样率和所述映射区域中每个像素点的数值，利用预设公式
Figure FDA0003712102150000021
计算所述映射区域内的烟雾占比；
其中，rij表示所述烟雾占比，s表示所述设定降采样率，Mmn表示所述二值掩膜图像中的第(m,n)个像素点，m和n分别表示所述像素点的横坐标和纵坐标，i和j分别表示所述特征点的横坐标和纵坐标；
根据所述烟雾占比，生成所述特征点的标签。
5.如权利要求1所述的方法，其特征在于，所述损失函数为：
loss＝∑ylogp+(1-y)log(1-p)
其中，y和p分别表示同一特征点的标签和预测值。
6.一种烟雾检测方法，其特征在于，所述方法包括：
获取待检测图像；
将所述待检测图像输入利用权利要求1-5任一项所述的方法训练后的烟雾检测模型，得到所述待检测图像的融合特征图、以及所述融合特征图中每个融合特征点映射到所述待检测图像中的区域为烟雾区域的预测值；
针对每个所述融合特征点，当所述融合特征点的预测值大于预设阈值时，在所述待检测图像中确定所述融合特征点对应的映射区域，并生成包围所述映射区域的输出框；
对所述待检测图像中的各个输出框进行边框融合，得到烟雾检测结果。
7.一种模型训练装置，其特征在于，所述装置包括：
训练集获取模块，用于获取训练集，其中，所述训练集包括多个输入图像和每个所述输入图像的二值掩膜图像，所述二值掩膜图像采用不同的数值表征所述输入图像的烟雾区域和背景区域；
处理模块，用于：
将所述训练集输入预先建立的烟雾检测模型，利用所述烟雾检测模型进行多尺度特征提取，得到所述输入图像的特征图；
利用所述烟雾检测模型对所述特征图进行预测，得到所述特征图中的每个特征点映射到所述输入图像中的区域为所述烟雾区域的预测值；
根据所述输入图像的二值掩膜图像，生成每个所述特征点的标签，所述标签表征所述特征点映射到所述输入图像中的区域为所述烟雾区域的真实值；
训练模块，用于基于每个所述特征点的预测值和标签、以及预设的损失函数，对所述烟雾检测模型进行训练，得到训练后的烟雾检测模型。
8.一种烟雾检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取待检测图像；
预测模块，用于将所述待检测图像输入利用权利要求1-5任一项所述的方法训练后的烟雾检测模型，得到所述待检测图像的融合特征图、以及所述融合特征图中每个融合特征点映射到所述待检测图像中的区域属于烟雾区域的预测值；
生成模块，用于针对每个所述融合特征点，当所述融合特征点的预测值大于预设阈值时，在所述待检测图像中确定所述融合特征点对应的映射区域，并生成包围所述映射区域的输出框；
融合模块，用于对所述待检测图像中的各个输出框进行边框融合，得到烟雾检测结果。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器用于存储程序，所述处理器用于在执行所述程序时，实现权利要求1-5中任一项所述的模型训练方法，和/或，权利要求6所述的烟雾检测方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该计算机程序被处理器执行时实现如权利要求1-5中任一项所述的模型训练方法，和/或，权利要求6所述的烟雾检测方法。
CN202210728997.7A 2022-06-24 2022-06-24 模型训练及烟雾检测方法、装置、电子设备及存储介质 Pending CN115187831A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210728997.7A CN115187831A (zh) 2022-06-24 2022-06-24 模型训练及烟雾检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210728997.7A CN115187831A (zh) 2022-06-24 2022-06-24 模型训练及烟雾检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115187831A true CN115187831A (zh) 2022-10-14

Family

ID=83515361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210728997.7A Pending CN115187831A (zh) 2022-06-24 2022-06-24 模型训练及烟雾检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115187831A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468974A (zh) * 2023-06-14 2023-07-21 华南理工大学 一种基于图像生成的烟雾检测方法、装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468974A (zh) * 2023-06-14 2023-07-21 华南理工大学 一种基于图像生成的烟雾检测方法、装置及存储介质
CN116468974B (zh) * 2023-06-14 2023-10-13 华南理工大学 一种基于图像生成的烟雾检测方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN111160335B (zh) 基于人工智能的图像水印处理方法、装置及电子设备
JP5775225B2 (ja) マルチレイヤ連結成分をヒストグラムと共に用いるテキスト検出
CN107292886B (zh) 基于网格划分及神经网络的目标物入侵检测方法及装置
CN111368636B (zh) 目标分类方法、装置、计算机设备和存储介质
WO2022133627A1 (zh) 图像分割方法、装置、设备及存储介质
CN112949507A (zh) 人脸检测方法、装置、计算机设备及存储介质
CN111652181B (zh) 目标跟踪方法、装置及电子设备
CN112766137B (zh) 一种基于深度学习的动态场景异物入侵检测方法
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
Guo et al. A novel transformer-based network with attention mechanism for automatic pavement crack detection
JP2022090633A (ja) 高解像度画像内の物体検出を改善するための方法、コンピュータ・プログラム製品、およびコンピュータ・システム
CN111709377B (zh) 特征提取方法、目标重识别方法、装置及电子设备
CN112419202A (zh) 基于大数据及深度学习的野生动物图像自动识别系统
CN115439395A (zh) 显示面板的缺陷检测方法、装置、存储介质及电子设备
CN115187831A (zh) 模型训练及烟雾检测方法、装置、电子设备及存储介质
WO2024174726A1 (zh) 基于深度学习的手写及打印文本检测方法和装置
CN113537026B (zh) 建筑平面图中的图元检测方法、装置、设备及介质
CN114283431A (zh) 一种基于可微分二值化的文本检测方法
CN112580656A (zh) 一种端到端的文本检测方法、系统、终端及存储介质
CN115861922B (zh) 一种稀疏烟火检测方法、装置、计算机设备及存储介质
CN115345895B (zh) 用于视觉检测的图像分割方法、装置、计算机设备及介质
CN116543333A (zh) 电力系统的目标识别方法、训练方法、装置、设备和介质
CN113573137B (zh) 视频画布边界检测方法、系统、终端设备及存储介质
CN116912872A (zh) 图纸识别方法、装置、设备及可读存储介质
CN113762266B (zh) 目标检测方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination