CN112396026A - 基于特征聚合与密集连接的火灾图像特征提取方法 - Google Patents
基于特征聚合与密集连接的火灾图像特征提取方法 Download PDFInfo
- Publication number
- CN112396026A CN112396026A CN202011383830.9A CN202011383830A CN112396026A CN 112396026 A CN112396026 A CN 112396026A CN 202011383830 A CN202011383830 A CN 202011383830A CN 112396026 A CN112396026 A CN 112396026A
- Authority
- CN
- China
- Prior art keywords
- feature
- fire
- image
- sample
- sample image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 77
- 230000002776 aggregation Effects 0.000 title claims abstract description 72
- 238000004220 aggregation Methods 0.000 title claims abstract description 72
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 53
- 238000001514 detection method Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000007246 mechanism Effects 0.000 claims abstract description 24
- 238000013135 deep learning Methods 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 14
- 238000003062 neural network model Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000002457 bidirectional effect Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000006116 polymerization reaction Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明属于火灾检测技术领域，公开了一种基于特征聚合与密集连接的火灾图像特征提取方法。所述方法包括：获取样本火灾图像，生成样本图像集合；获取特征聚合与密集连接的预设卷积神经网络模型，并根据预设卷积神经网络模型对样本图像集合进行分类；根据分类结果生成样本图像子集合，根据样本图像子集合进行图像特征提取。利用具有特征聚合与密集连接机制的卷积神经网络对构建成的火灾样本集合进行分类，区分火灾图像对应的场景，生成对应的样本图像子集合，避免人工标注带来的错误，并根据样本图像子集合进行图像特征提取，获取不同场景下的火灾图像特征。提取方式较现有技术更加准确，可利用提取结果提升火灾检测准确率。
Description
技术领域
本发明涉及火灾检测技术领域，尤其涉及一种基于特征聚合与密集连接的火灾图像特征提取方法。
背景技术
现有技术中对于森林火灾通常使用卫星进行监测，但森林火灾具有突发性、不可预测性，森林环境地形复杂，受天气影响大。通过历史图像与当前图像进行比对的方式判断是否发生火灾存在误判。另一方面，采用人工现场拍摄或飞机巡航拍摄获取火灾图像的手段，危险性高覆盖面窄，成本高。因而，需要增加对火灾图像的识别精确度。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种基于特征聚合与密集连接的火灾图像特征提取方法，旨在解决现有技术对火灾图像分辨率低的技术问题。
为实现上述目的，本发明提供了一种基于特征聚合与密集连接的火灾图像特征提取方法，所述方法包括以下步骤：
获取样本火灾图像，生成样本图像集合；
获取特征聚合与密集连接的预设卷积神经网络模型，并根据所述预设卷积神经网络模型对所述样本图像集合进行分类；
根据分类结果生成样本图像子集合，根据所述样本图像子集合进行图像特征提取。
优选地，所述获取特征聚合与密集连接的预设卷积神经网络模型，并根据所述预设卷积神经网络模型对所述样本图像集合进行分类的步骤，具体包括：
获取特征聚合与密集连接的预设卷积神经网络模型；
将所述样本图像集合输入所述预设卷积神经网络模型以获取输出结果，根据所述输出结果对所述样本图像集合进行分类。
优选地，所述将所述样本图像集合输入所述预设卷积神经网络模型以获取输出结果，根据所述输出结果对所述样本图像集合进行分类的步骤，具体包括：
将所述样本图像集合输入所述预设卷积神经网络模型以进行特征提取，以获取目标卷积特征；
根据所述目标卷积特征对所述样本图像集合中的样本火灾图像进行分类。
优选地，所述将所述样本图像集合输入所述预设卷积神经网络模型以进行特征提取，以获取目标卷积特征的步骤，具体包括：
将所述样本图像集合输入所述预设卷积神经网络模型进行特征提取，以得到初级语义特征集合与初级外观特征集合；
通过密集连接机制对所述初级语义特征集合进行特征聚合，以获取第一卷积特征；
通过密集连接机制对所述初级语义特征集合进行特征聚合，以获取第二卷积特征；
根据所述第一卷积特征与所述第二卷积特征获取目标卷积特征。
优选地，所述根据所述目标卷积特征对所述样本图像集合中的样本火灾图像进行分类的步骤，具体包括：
根据所述目标卷积特征获取目标特征向量，并根据所述目标特征向量获取目标分类数量；
根据所述目标分类数量对所述样本图像集合中的样本火灾图像进行分类。
优选地，所述根据分类结果生成样本图像子集合，根据所述样本图像子集合进行图像特征提取的步骤，具体包括：
根据分类结果确定样本类别；
根据所述样本类别对所述样本图像集合中的样本火灾图像进行分类，以获取样本图像子集合；
提取各样本图像子集合对应的图像特征，作为图像特征提取结果。
优选地，所述根据分类结果生成样本图像子集合，根据所述样本图像子集合进行图像特征提取的步骤之后，还包括：
根据所述图像特征提取结果构建火灾图片特征信息库，根据所述火灾图片特征信息库进行深度学习，并根据深度学习结果进行火灾检测。
此外，为实现上述目的，本发明还提出一种基于特征聚合与密集连接的火灾图像特征提取装置，所述装置包括：
集合构建模块，用于获取样本火灾图像，生成样本图像集合；
图像分类模块，用于获取特征聚合与密集连接的预设卷积神经网络模型，并根据所述预设卷积神经网络模型对所述样本图像集合进行分类；
特征提取模块，用于根据分类结果生成样本图像子集合，根据所述样本图像子集合进行图像特征提取。
优选地，所述特征提取模块，还用于根据分类结果确定样本类别；
根据所述样本类别对所述样本图像集合中的样本火灾图像进行分类，以获取样本图像子集合；
提取各样本图像子集合对应的图像特征，作为图像特征提取结果。
优选地，所述装置还包括火灾检测模块，用于根据所述图像特征提取结果构建火灾图片特征信息库，根据所述火灾图片特征信息库进行深度学习，并根据深度学习结果进行火灾检测。
本发明通过获取样本火灾图像，生成样本图像集合；获取特征聚合与密集连接的预设卷积神经网络模型，并根据所述预设卷积神经网络模型对所述样本图像集合进行分类；根据分类结果生成样本图像子集合，根据所述样本图像子集合进行图像特征提取。利用具有特征聚合与密集连接机制的卷积神经网络对构建成的火灾样本集合进行分类，区分火灾图像对应的场景，生成对应的样本图像子集合，避免人工标注带来的错误，并根据所述样本图像子集合进行图像特征提取，获取不同场景下的火灾图像特征。提取方式较现有技术更加准确，可利用提取结果进行深度学习，并根据深度学习结果进行火灾检测，提升火灾检测准确率。
附图说明
图1为本发明基于特征聚合与密集连接的火灾图像特征提取方法第一实施例的流程示意图；
图2为本发明基于特征聚合与密集连接的火灾图像特征提取方法第二实施例的流程示意图；
图3为本发明基于特征聚合与密集连接的火灾图像特征提取方法第一实施例的结构框图。
图4为本发明基于特征聚合与密集连接的火灾图像特征提取装置第二实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明实施例提供了一种基于特征聚合与密集连接的火灾图像特征提取方法，参照图1，图1为本发明基于特征聚合与密集连接的火灾图像特征提取方法第一实施例的流程示意图。
本实施例中，所述基于特征聚合与密集连接的火灾图像特征提取方法包括以下步骤：
步骤S10：获取样本火灾图像，生成样本图像集合。
需要说明的是，本实施例的执行主体为基于特征聚合与密集连接的火灾图像特征提取装置，所述样本火灾图像的可以为气象卫星拍摄的火灾图像、设置在森林中基于输电网的火灾检测系统拍摄的火灾图像，进一步地还可以包含人工拍摄、无人机或飞机拍摄的森林火灾图像等。所述样本火灾图像可以从云端进行获取，或特定的资料库进行获取，获取更多的图像有助于提取更准确的火灾图像特征。所述样本火灾图像对应的场景较为均衡，不偏重极端场景。
步骤S20：获取特征聚合与密集连接的预设卷积神经网络模型，并根据所述预设卷积神经网络模型对所述样本图像集合进行分类。
需要说明的是，卷积神经网络模型可以应用于遥感场景分类，或其他图像分类工作，所述预设卷积神经网络模型中包含顶部卷积层、中部卷积层及底部卷积层、池化层，各卷积层具有对应的激活函数，可以用于复杂数据的拟合。
需要说明的是，密集连接机制具体为，将上一卷积层作为当前卷积层的输入，将当前卷积层与上一卷积层作为下一卷积层的输入，将最终得到的卷积特征表示为顶层高级语义卷积特征。密集连接机制可以避免在串联的卷积神经网络模型的深度增加时，输入或者梯度的信息通过多层卷积层造成的梯度爆炸或梯度消失。相较于传统的连接方式，密集连接机制无需重新学习冗余特征图，密集连接机制所需的相关参数更少。
进一步地，对样本图像集合进行准确的图像场景分类，步骤S20，具体包括：获取特征聚合与密集连接的预设卷积神经网络模型；将所述样本图像集合输入所述预设卷积神经网络模型以获取输出结果，根据所述输出结果对所述样本图像集合进行分类。
需要说明的是，具体实施中，所述预设卷积神经网络模型的输出结果为目标卷积特征，根据所述目标卷积特征可以获取对应的分类场景标签、场景类别数量，根据所述信息可以进行对应的分类。
进一步地，为了提升图像分类的准确性，所述将所述样本图像集合输入所述预设卷积神经网络模型以获取输出结果，根据所述输出结果对所述样本图像集合进行分类的步骤，具体包括：将所述样本图像集合输入所述预设卷积神经网络模型以进行特征提取，以获取目标卷积特征；根据所述目标卷积特征对所述样本图像集合中的样本火灾图像进行分类。
需要说明的是，在获取目标卷积特征的过程中，由于预设卷积神经网络模型各层级对应不同层级的功能，最终输出的目标卷积特征需要进行特征补偿，在对特征尺寸调整的过程中任意遗失浅层卷积特征，因而需要对普通的卷积神经网络引入密集连接机制形成本实施例中的所述预设卷积神经网络。
进一步地，为了避免生成所述目标卷积特征的过程中遗失浅层卷积特征，所述将所述样本图像集合输入所述预设卷积神经网络模型以进行特征提取，以获取目标卷积特征的步骤，具体包括：将所述样本图像集合输入所述预设卷积神经网络模型进行特征提取，以得到初级语义特征集合与初级外观特征集合；通过密集连接机制对所述初级语义特征集合进行特征聚合，以获取第一卷积特征；通过密集连接机制对所述初级语义特征集合进行特征聚合，以获取第二卷积特征；根据所述第一卷积特征与所述第二卷积特征获取目标卷积特征。
需要说明的是，所述初级语义特征集合为卷积神经网络模型特征提取得到的卷积神经网络模型的顶层卷积层得到的顶层语义特征集合；所述特征聚合可以为级联聚合和算术聚合。级联聚合是指在特征通道上堆叠卷积特征图。算术聚合是指在相同的空间位置和通道上计算卷积特征的和、乘或平均等运算。
需要说明的是，在获取到第一卷积特征与第二卷积特征后，需要通过双向门控连接对二者进行互补以得到目标卷积特征，所述双向门控连接为根据对应的门控函数将一个卷积特征的互补信息向另一卷积特征进行传递，得到目标卷积特征。
进一步地，为明确火灾图像的类别，所述根据所述目标卷积特征对所述样本图像集合中的样本火灾图像进行分类的步骤，具体包括：根据所述目标卷积特征获取目标特征向量，并根据所述目标特征向量获取目标分类数量；根据所述目标分类数量对所述样本图像集合中的样本火灾图像进行分类。
需要说明的是，所述目标卷积特征为所述预设卷积神经网络根据密集连接机制输出的卷积特征，所述预设卷积神经网络模型还输出对应的全局卷积特征，通过目标特征向量对所述全局卷积特征进行补偿，可以得到对应的补偿后的卷积特征，根据所述补偿后的卷积特征获取目标特征向量，所述目标特征向量可以作为获取目标分类数的基础得到对应的目标分类数，所述目标分类数对应于所述样本火灾图像最终分类的数量和类别。
步骤S30：根据分类结果生成样本图像子集合，根据所述样本图像子集合进行图像特征提取。
易于理解的是，通过上述预设卷积神经网络模型可以获取到分类类别数量，根据所述分类类别数量基于所述样本图像集合生成多个样本图像子集合，所述样本图像子集合中的图像对应于同一场景，经过分类后同一集合中图像的聚合度、场景相似度较高，可以从同一样本图像子集合中提取出该类别火灾图像的图像特征信息。例如：同一场景的火灾图像，可以得到该场景下的火灾区域与植被覆盖率的关系等，提取到的特征可以作为火灾检测的有效数据。
本发明实施例中利用具有特征聚合与密集连接机制的卷积神经网络对构建成的火灾样本集合进行分类，区分火灾图像对应的场景，生成对应的样本图像子集合，避免人工标注带来的错误，并根据所述样本图像子集合进行图像特征提取，获取不同场景下的火灾图像特征。提取方式较现有技术更加准确，可利用提取结果进行深度学习，并根据深度学习结果进行火灾检测，提升火灾检测准确率。
基于本发明基于特征聚合与密集连接的火灾图像特征提取方法第一实施例，提出本发明基于特征聚合与密集连接的火灾图像特征提取方法第二实施例，参考图2，图2为本发明一种基于特征聚合与密集连接的火灾图像特征提取方法第二实施例的流程示意图。
基于上述第一实施例，本实施例基于特征聚合与密集连接的火灾图像特征提取方法在所述步骤S30，具体包括：
步骤S31：根据分类结果确定样本类别。
易于理解的是，所述分类结果包括样本类别数量及样本类别标签，所述样本类别标签可以为对应的文字信息也可以为编号标识，用于区分各类别。
步骤S32：根据所述样本类别对所述样本图像集合中的样本火灾图像进行分类，以获取样本图像子集合。
应当理解的是，基于所述样本类别数量与所述样本类别标签可以对样本图像集合中各个样本火灾图像进行类别划分，得到多个样本图像子集合，每个样本图像子集合对应一种对应的火灾场景。
步骤S33：提取各样本图像子集合对应的图像特征，作为图像特征提取结果。
易于理解的是，同一个样本图像子集合中的图像属于同一场景，提取同子集合内的图像特征可以得到对应的场景的火灾图像特征，从而生成对应不同场景下的火灾特征库。
进一步地，为了根据火灾图像特征进行火灾检测，步骤S30之后，还包括：步骤S40：根据所述图像特征提取结果构建火灾图片特征信息库，根据所述火灾图片特征信息库进行深度学习，并根据深度学习结果进行火灾检测。
需要说明的是，所述火灾图片特征信息库中包含火灾图片对应的特征信息，例如：通过卫星拍摄到的火灾图像与未发生火灾的原始场景图像之间的像素差别特征，通过输电网拍摄到的火灾图像与未发生火灾的原始场景图像之间的像素差别特征，以上述像素差别特征为分辨依据，在火灾检测中可以更有效更迅速的检测出火灾或预警火灾。
应当理解的是，对于基于输电网进行的火灾检测，火灾图像特征信息库中可以包含火焰纹理特征、燃烧遗迹特征(火焰烧灼后留下的痕迹)等；对于基于气象卫星进行的火灾检测，所述火灾图像特征信息库中可以包含火灾烟雾特征、火灾明度特征等。
本发明实施例通过上述方法，基于提取到的火灾图像特征进行深度学习，以所述火灾图像特征为依据进行火灾检测，提升火灾检测的效率，提升火灾检测的准确度。
参照图3，图3为本发明基于特征聚合与密集连接的火灾图像特征提取装置第一实施例的结构框图。
所述基于特征聚合与密集连接的火灾图像特征提取装置包括：集合构建模块10、图像分类模块20、特征提取模块30。
集合构建模块10，用于获取样本火灾图像，生成样本图像集合。
需要说明的是，本实施例的执行主体为基于特征聚合与密集连接的火灾图像特征提取装置，所述样本火灾图像的可以为气象卫星拍摄的火灾图像、设置在森林中基于输电网的火灾检测系统拍摄的火灾图像，进一步地还可以包含人工拍摄、无人机或飞机拍摄的森林火灾图像等。所述样本火灾图像可以从云端进行获取，或特定的资料库进行获取，获取更多的图像有助于提取更准确的火灾图像特征。所述样本火灾图像对应的场景较为均衡，不偏重极端场景。
图像分类模块20，用于获取特征聚合与密集连接的预设卷积神经网络模型，并根据所述预设卷积神经网络模型对所述样本图像集合进行分类。
需要说明的是，卷积神经网络模型可以应用于遥感场景分类，或其他图像分类工作，所述预设卷积神经网络模型中包含顶部卷积层、中部卷积层及底部卷积层、池化层，各卷积层具有对应的激活函数，可以用于复杂数据的拟合。
需要说明的是，密集连接机制具体为，将上一卷积层作为当前卷积层的输入，将当前卷积层与上一卷积层作为下一卷积层的输入，将最终得到的卷积特征表示为顶层高级语义卷积特征。密集连接机制可以避免在串联的卷积神经网络模型的深度增加时，输入或者梯度的信息通过多层卷积层造成的梯度爆炸或梯度消失。相较于传统的连接方式，密集连接机制无需重新学习冗余特征图，密集连接机制所需的相关参数更少。
进一步地，对样本图像集合进行准确的图像场景分类，图像分类模块20，还用于获取特征聚合与密集连接的预设卷积神经网络模型；将所述样本图像集合输入所述预设卷积神经网络模型以获取输出结果，根据所述输出结果对所述样本图像集合进行分类。
需要说明的是，具体实施中，所述预设卷积神经网络模型的输出结果为目标卷积特征，根据所述目标卷积特征可以获取对应的分类场景标签、场景类别数量，根据所述信息可以进行对应的分类。
进一步地，为了提升图像分类的准确性，图像分类模块20，用于将所述样本图像集合输入所述预设卷积神经网络模型以进行特征提取，以获取目标卷积特征；根据所述目标卷积特征对所述样本图像集合中的样本火灾图像进行分类。
需要说明的是，在获取目标卷积特征的过程中，由于预设卷积神经网络模型各层级对应不同层级的功能，最终输出的目标卷积特征需要进行特征补偿，在对特征尺寸调整的过程中任意遗失浅层卷积特征，因而需要对普通的卷积神经网络引入密集连接机制形成本实施例中的所述预设卷积神经网络。
进一步地，为了避免生成所述目标卷积特征的过程中遗失浅层卷积特征，图像分类模块20，用于将所述样本图像集合输入所述预设卷积神经网络模型进行特征提取，以得到初级语义特征集合与初级外观特征集合；通过密集连接机制对所述初级语义特征集合进行特征聚合，以获取第一卷积特征；通过密集连接机制对所述初级语义特征集合进行特征聚合，以获取第二卷积特征；根据所述第一卷积特征与所述第二卷积特征获取目标卷积特征。
需要说明的是，所述初级语义特征集合为卷积神经网络模型特征提取得到的卷积神经网络模型的顶层卷积层得到的顶层语义特征集合；所述特征聚合可以为级联聚合和算术聚合。级联聚合是指在特征通道上堆叠卷积特征图。算术聚合是指在相同的空间位置和通道上计算卷积特征的和、乘或平均等运算。
需要说明的是，在获取到第一卷积特征与第二卷积特征后，需要通过双向门控连接对二者进行互补以得到目标卷积特征，所述双向门控连接为根据对应的门控函数将一个卷积特征的互补信息向另一卷积特征进行传递，得到目标卷积特征。
进一步地，为明确火灾图像的类别，图像分类模块20，用于根据所述目标卷积特征获取目标特征向量，并根据所述目标特征向量获取目标分类数量；根据所述目标分类数量对所述样本图像集合中的样本火灾图像进行分类。
需要说明的是，所述目标卷积特征为所述预设卷积神经网络根据密集连接机制输出的卷积特征，所述预设卷积神经网络模型还输出对应的全局卷积特征，通过目标特征向量对所述全局卷积特征进行补偿，可以得到对应的补偿后的卷积特征，根据所述补偿后的卷积特征获取目标特征向量，所述目标特征向量可以作为获取目标分类数的基础得到对应的目标分类数，所述目标分类数对应于所述样本火灾图像最终分类的数量和类别。
特征提取模块30，用于根据分类结果生成样本图像子集合，根据所述样本图像子集合进行图像特征提取。
易于理解的是，通过上述预设卷积神经网络模型可以获取到分类类别数量，根据所述分类类别数量基于所述样本图像集合生成多个样本图像子集合，所述样本图像子集合中的图像对应于同一场景，经过分类后同一集合中图像的聚合度、场景相似度较高，可以从同一样本图像子集合中提取出该类别火灾图像的图像特征信息。例如：同一场景的火灾图像，可以得到该场景下的火灾区域与植被覆盖率的关系等，提取到的特征可以作为火灾检测的有效数据。
本发明实施例中利用具有特征聚合与密集连接机制的卷积神经网络对构建成的火灾样本集合进行分类，区分火灾图像对应的场景，生成对应的样本图像子集合，避免人工标注带来的错误，并根据所述样本图像子集合进行图像特征提取，获取不同场景下的火灾图像特征。提取方式较现有技术更加准确，可利用提取结果进行深度学习，并根据深度学习结果进行火灾检测，提升火灾检测准确率。
基于本发明基于特征聚合与密集连接的火灾图像特征提取装置第一实施例，提出本发明基于特征聚合与密集连接的火灾图像特征提取装置第二实施例；参考图4，图4为本发明基于特征聚合与密集连接的火灾图像特征提取装置第二实施例的结构框图。
特征提取模块30，还用于根据分类结果确定样本类别。
易于理解的是，所述分类结果包括样本类别数量及样本类别标签，所述样本类别标签可以为对应的文字信息也可以为编号标识，用于区分各类别。
特征提取模块30，还用于根据所述样本类别对所述样本图像集合中的样本火灾图像进行分类，以获取样本图像子集合。
应当理解的是，基于所述样本类别数量与所述样本类别标签可以对样本图像集合中各个样本火灾图像进行类别划分，得到多个样本图像子集合，每个样本图像子集合对应一种对应的火灾场景。
特征提取模块30，还用于提取各样本图像子集合对应的图像特征，作为图像特征提取结果。
易于理解的是，同一个样本图像子集合中的图像属于同一场景，提取同子集合内的图像特征可以得到对应的场景的火灾图像特征，从而生成对应不同场景下的火灾特征库。
进一步地，为了根据火灾图像特征进行火灾检测，所述装置还包括：火灾检测模块40，用于根据所述图像特征提取结果构建火灾图片特征信息库，根据所述火灾图片特征信息库进行深度学习，并根据深度学习结果进行火灾检测。
需要说明的是，所述火灾图片特征信息库中包含火灾图片对应的特征信息，例如：通过卫星拍摄到的火灾图像与未发生火灾的原始场景图像之间的像素差别特征，通过输电网拍摄到的火灾图像与未发生火灾的原始场景图像之间的像素差别特征，以上述像素差别特征为分辨依据，在火灾检测中可以更有效更迅速的检测出火灾或预警火灾。
应当理解的是，对于基于输电网进行的火灾检测，火灾图像特征信息库中可以包含火焰纹理特征、燃烧遗迹特征(火焰烧灼后留下的痕迹)等；对于基于气象卫星进行的火灾检测，所述火灾图像特征信息库中可以包含火灾烟雾特征、火灾明度特征等。
本发明实施例通过上述方法，基于提取到的火灾图像特征进行深度学习，以所述火灾图像特征为依据进行火灾检测，提升火灾检测的效率，提升火灾检测的准确度。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的基于特征聚合与密集连接的火灾图像特征提取方法，此处不再赘述。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于特征聚合与密集连接的火灾图像特征提取方法，其特征在于，所述方法包括：
获取样本火灾图像，生成样本图像集合；
获取特征聚合与密集连接的预设卷积神经网络模型，并根据所述预设卷积神经网络模型对所述样本图像集合进行分类；
根据分类结果生成样本图像子集合，根据所述样本图像子集合进行图像特征提取。
2.如权利要求1所述的基于特征聚合与密集连接的火灾图像特征提取方法，其特征在于，所述获取特征聚合与密集连接的预设卷积神经网络模型，并根据所述预设卷积神经网络模型对所述样本图像集合进行分类的步骤，具体包括：
获取特征聚合与密集连接的预设卷积神经网络模型；
将所述样本图像集合输入所述预设卷积神经网络模型以获取输出结果，根据所述输出结果对所述样本图像集合进行分类。
3.如权利要求2所述的基于特征聚合与密集连接的火灾图像特征提取方法，其特征在于，所述将所述样本图像集合输入所述预设卷积神经网络模型以获取输出结果，根据所述输出结果对所述样本图像集合进行分类的步骤，具体包括：
将所述样本图像集合输入所述预设卷积神经网络模型以进行特征提取，以获取目标卷积特征；
根据所述目标卷积特征对所述样本图像集合中的样本火灾图像进行分类。
4.如权利要求3所述的基于特征聚合与密集连接的火灾图像特征提取方法，其特征在于，所述将所述样本图像集合输入所述预设卷积神经网络模型以进行特征提取，以获取目标卷积特征的步骤，具体包括：
将所述样本图像集合输入所述预设卷积神经网络模型进行特征提取，以得到初级语义特征集合与初级外观特征集合；
通过密集连接机制对所述初级语义特征集合进行特征聚合，以获取第一卷积特征；
通过密集连接机制对所述初级语义特征集合进行特征聚合，以获取第二卷积特征；
根据所述第一卷积特征与所述第二卷积特征获取目标卷积特征。
5.如权利要求4所述的基于特征聚合与密集连接的火灾图像特征提取方法，其特征在于，所述根据所述目标卷积特征对所述样本图像集合中的样本火灾图像进行分类的步骤，具体包括：
根据所述目标卷积特征获取目标特征向量，并根据所述目标特征向量获取目标分类数量；
根据所述目标分类数量对所述样本图像集合中的样本火灾图像进行分类。
6.如权利要求5所述的基于特征聚合与密集连接的火灾图像特征提取方法，其特征在于，所述根据分类结果生成样本图像子集合，根据所述样本图像子集合进行图像特征提取的步骤，具体包括：
根据分类结果确定样本类别；
根据所述样本类别对所述样本图像集合中的样本火灾图像进行分类，以获取样本图像子集合；
提取各样本图像子集合对应的图像特征，作为图像特征提取结果。
7.如权利要求6所述的基于特征聚合与密集连接的火灾图像特征提取方法，其特征在于，所述根据分类结果生成样本图像子集合，根据所述样本图像子集合进行图像特征提取的步骤之后，还包括：
根据所述图像特征提取结果构建火灾图片特征信息库，根据所述火灾图片特征信息库进行深度学习，并根据深度学习结果进行火灾检测。
8.一种基于特征聚合与密集连接的火灾图像特征提取装置，其特征在于，所述装置包括：
集合构建模块，用于获取样本火灾图像，生成样本图像集合；
图像分类模块，用于获取特征聚合与密集连接的预设卷积神经网络模型，并根据所述预设卷积神经网络模型对所述样本图像集合进行分类；
特征提取模块，用于根据分类结果生成样本图像子集合，根据所述样本图像子集合进行图像特征提取。
9.如权利要求8所述的基于特征聚合与密集连接的火灾图像特征提取方法，其特征在于，所述特征提取模块，还用于根据分类结果确定样本类别；
根据所述样本类别对所述样本图像集合中的样本火灾图像进行分类，以获取样本图像子集合；
提取各样本图像子集合对应的图像特征，作为图像特征提取结果。
10.如权利要求9所述的基于特征聚合与密集连接的火灾图像特征提取方法，其特征在于，所述装置还包括火灾检测模块，用于根据所述图像特征提取结果构建火灾图片特征信息库，根据所述火灾图片特征信息库进行深度学习，并根据深度学习结果进行火灾检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011383830.9A CN112396026B (zh) | 2020-11-30 | 2020-11-30 | 基于特征聚合与密集连接的火灾图像特征提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011383830.9A CN112396026B (zh) | 2020-11-30 | 2020-11-30 | 基于特征聚合与密集连接的火灾图像特征提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112396026A true CN112396026A (zh) | 2021-02-23 |
| CN112396026B CN112396026B (zh) | 2024-06-07 |
Family
ID=74603970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011383830.9A Active CN112396026B (zh) | 2020-11-30 | 2020-11-30 | 基于特征聚合与密集连接的火灾图像特征提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112396026B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103886344A (zh) * | 2014-04-14 | 2014-06-25 | 西安科技大学 | 一种图像型火灾火焰识别方法 |
| CN104408469A (zh) * | 2014-11-28 | 2015-03-11 | 武汉大学 | 基于图像深度学习的烟火识别方法及系统 |
| US20160260135A1 (en) * | 2015-03-04 | 2016-09-08 | Google Inc. | Privacy-aware personalized content for the smart home |
| CN109002746A (zh) * | 2017-06-06 | 2018-12-14 | 刘禹岐 | 3d立体火灾识别方法和系统 |
| CN109522819A (zh) * | 2018-10-29 | 2019-03-26 | 西安交通大学 | 一种基于深度学习的火灾图像识别方法 |
| CN109858516A (zh) * | 2018-12-24 | 2019-06-07 | 武汉工程大学 | 一种基于迁移学习的火灾和烟雾预测方法、系统和介质 |
| CN109903507A (zh) * | 2019-03-04 | 2019-06-18 | 上海海事大学 | 一种基于深度学习的火灾智能监控系统及其方法 |
| CN110135269A (zh) * | 2019-04-18 | 2019-08-16 | 杭州电子科技大学 | 一种基于混合颜色模型与神经网络的火灾图像检测方法 |
| US10497250B1 (en) * | 2017-09-27 | 2019-12-03 | State Farm Mutual Automobile Insurance Company | Real property monitoring systems and methods for detecting damage and other conditions |
| CN110543891A (zh) * | 2019-07-23 | 2019-12-06 | 百度(中国)有限公司 | 数据标注方法、装置、系统及存储介质 |
| CN111126293A (zh) * | 2019-12-25 | 2020-05-08 | 国网智能科技股份有限公司 | 一种火焰和烟雾异常情况检测方法及系统 |
| CN111310662A (zh) * | 2020-02-17 | 2020-06-19 | 淮阴工学院 | 一种基于集成深度网络的火焰检测识别方法及系统 |
| CN111860293A (zh) * | 2020-07-16 | 2020-10-30 | 中南民族大学 | 遥感场景分类方法、装置、终端设备及存储介质 |
| CN111882810A (zh) * | 2020-07-31 | 2020-11-03 | 广州市微智联科技有限公司 | 一种火灾识别与预警方法及其系统 |
-
2020
- 2020-11-30 CN CN202011383830.9A patent/CN112396026B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103886344A (zh) * | 2014-04-14 | 2014-06-25 | 西安科技大学 | 一种图像型火灾火焰识别方法 |
| CN104408469A (zh) * | 2014-11-28 | 2015-03-11 | 武汉大学 | 基于图像深度学习的烟火识别方法及系统 |
| US20160260135A1 (en) * | 2015-03-04 | 2016-09-08 | Google Inc. | Privacy-aware personalized content for the smart home |
| CN109002746A (zh) * | 2017-06-06 | 2018-12-14 | 刘禹岐 | 3d立体火灾识别方法和系统 |
| US10497250B1 (en) * | 2017-09-27 | 2019-12-03 | State Farm Mutual Automobile Insurance Company | Real property monitoring systems and methods for detecting damage and other conditions |
| CN109522819A (zh) * | 2018-10-29 | 2019-03-26 | 西安交通大学 | 一种基于深度学习的火灾图像识别方法 |
| CN109858516A (zh) * | 2018-12-24 | 2019-06-07 | 武汉工程大学 | 一种基于迁移学习的火灾和烟雾预测方法、系统和介质 |
| CN109903507A (zh) * | 2019-03-04 | 2019-06-18 | 上海海事大学 | 一种基于深度学习的火灾智能监控系统及其方法 |
| CN110135269A (zh) * | 2019-04-18 | 2019-08-16 | 杭州电子科技大学 | 一种基于混合颜色模型与神经网络的火灾图像检测方法 |
| CN110543891A (zh) * | 2019-07-23 | 2019-12-06 | 百度(中国)有限公司 | 数据标注方法、装置、系统及存储介质 |
| CN111126293A (zh) * | 2019-12-25 | 2020-05-08 | 国网智能科技股份有限公司 | 一种火焰和烟雾异常情况检测方法及系统 |
| CN111310662A (zh) * | 2020-02-17 | 2020-06-19 | 淮阴工学院 | 一种基于集成深度网络的火焰检测识别方法及系统 |
| CN111860293A (zh) * | 2020-07-16 | 2020-10-30 | 中南民族大学 | 遥感场景分类方法、装置、终端设备及存储介质 |
| CN111882810A (zh) * | 2020-07-31 | 2020-11-03 | 广州市微智联科技有限公司 | 一种火灾识别与预警方法及其系统 |
Non-Patent Citations (2)
| Title |
|---|
| LI T等: "Detection of wildfire smoke images based on a densely dilated convolutional network", 《ELECTRONICS》, vol. 8, no. 10, pages 1 - 12 * |
| 仲济源等: "GIST特征提取的异构并发流计算实现", 《计算机工程与应用》, no. 6, pages 139 - 144 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112396026B (zh) | 2024-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lobry et al. | RSVQA: Visual question answering for remote sensing data | |
| CN106909924B (zh) | 一种基于深度显著性的遥感影像快速检索方法 | |
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| US9218364B1 (en) | Monitoring an any-image labeling engine | |
| Yandouzi et al. | Review on forest fires detection and prediction using deep learning and drones | |
| Bakos et al. | Hierarchical hybrid decision tree fusion of multiple hyperspectral data processing chains | |
| CN112837315A (zh) | 一种基于深度学习的输电线路绝缘子缺陷检测方法 | |
| CN108460114B (zh) | 一种基于层次注意力模型的图像检索方法 | |
| CN113706480A (zh) | 一种基于关键点多尺度特征融合的点云3d目标检测方法 | |
| KR102349854B1 (ko) | 표적 추적 시스템 및 방법 | |
| US20210200984A1 (en) | Information Processing Apparatus, Information Processing Method and Non-Transitory Computer-Readable Storage Medium | |
| CN110738100A (zh) | 一种基于深度学习的伪装军事目标识别方法及系统 | |
| CN116310850B (zh) | 基于改进型RetinaNet的遥感图像目标检测方法 | |
| KR20190031126A (ko) | 물체 묘사를 위한 후보가 되는 하나 이상의 후보 디지털 이미지를 위치 결정하는 방법 | |
| CN107578003B (zh) | 一种基于地理标记图像的遥感图像迁移学习方法 | |
| CN112819073A (zh) | 分类网络训练、图像分类方法、装置和电子设备 | |
| Lunga et al. | Resflow: A remote sensing imagery data-flow for improved model generalization | |
| US20220237908A1 (en) | Flight mission learning using synthetic three-dimensional (3d) modeling and simulation | |
| CN111291695A (zh) | 人员违章行为识别模型训练方法、识别方法及计算机设备 | |
| CN114168768A (zh) | 图像检索方法及相关设备 | |
| Ye et al. | A Self Training Mechanism With Scanty and Incompletely Annotated Samples for Learning‐Based Cloud Detection in Whole Sky Images | |
| CN112396026B (zh) | 基于特征聚合与密集连接的火灾图像特征提取方法 | |
| CN114414090B (zh) | 基于遥感影像和多层感知的地表温度预测方法及系统 | |
| CN115631444A (zh) | 一种无人机航拍图像目标检测算法 | |
| Baraldi et al. | Quality assessment of preclassification maps generated from spaceborne/airborne multispectral images by the Satellite Image Automatic Mapper and Atmospheric/Topographic Correction-spectral classification software products: Part 1—theory |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |