CN111353412B - 端到端的3D-CapsNet火焰检测方法及装置 - Google Patents

端到端的3D-CapsNet火焰检测方法及装置 Download PDF

Info

Publication number
CN111353412B
CN111353412B CN202010117037.8A CN202010117037A CN111353412B CN 111353412 B CN111353412 B CN 111353412B CN 202010117037 A CN202010117037 A CN 202010117037A CN 111353412 B CN111353412 B CN 111353412B
Authority
CN
China
Prior art keywords
flame
image
depth feature
flame detection
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010117037.8A
Other languages
English (en)
Other versions
CN111353412A (zh
Inventor
赵运基
张楠楠
周梦林
魏胜强
刘晓光
孔军伟
张新良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN202010117037.8A priority Critical patent/CN111353412B/zh
Publication of CN111353412A publication Critical patent/CN111353412A/zh
Application granted granted Critical
Publication of CN111353412B publication Critical patent/CN111353412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/28—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture specially adapted for farming

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种端到端的3D‑CapsNet火焰检测方法和装置，火焰检测方法包括以下步骤：选择火焰样本图像，构建火焰样本集合；创建火焰检测初始模型；通过Mnist数据集对CapsNet网络进行训练，将对CapsNet网络进行训练形成的主胶囊层参数、数字胶囊层参数以及全连接层参数迁移至火焰检测初始模型的主胶囊层、数字胶囊层以及全连接层；通过火焰样本集合对火焰检测初始模型进行训练，形成最终的火焰检测模型；采集目标图像，将火焰标准图像和目标图像的RGB三通道图像分别输入火焰检测模型的第一输入端和第二输入端，经由火焰检测模型输出最终的检测结果。本发明实现火焰的精准检测。

Description

端到端的3D-CapsNet火焰检测方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种端到端的3D-CapsNet火焰检测方法和装置。
背景技术
森林火灾是一种严重影响生态环境的因素之一。它给森林带来的危害是毁灭性的，给环境带来的危害也是毁灭性的。森林火灾一旦发生，扑灭难度较大。因此，对森林火灾的及时预警显得格外重要。随着科技的进步，对森林火灾的预警取得了长足的进步。
森林火灾检测方法有多种，基于图像识别的森林火灾检测算法较多。其中，有多种算法是基于颜色空间的火灾检测与识别算法。基于颜色的火灾识别算法在检测过程中无法摆脱颜色空间固有的缺陷——颜色容易受到光照的影响，最终造成基于颜色空间的火灾检测算法存在较高的误报率。
传统的卷积神经网络特征是基于局部信息的，而胶囊网络提取的特征是基于整体的，在数字识别，自然语言的理解中胶囊网络的优越性得到了有效的验证。胶囊网络不但能够提取到识别对象的局部特征，同时能够提取局部特征之间的相对信息，因此，将胶囊网络引入于火灾的识别。火焰的不同位置特征之间存在某种约束关系，基于局部纹理的火灾识别类方法已经初步验证了火焰图像不同分布区域之间存在的约束关系。
由于胶囊网络模型自身的应用局限性，如果直接应用CapsNet网络对整帧图像进行检测，则需要将整帧图像分块为不同的区域，然后针对不同的区域块应用预训练的火焰检测CapsNet网络进行检测，检测效率低下，应对实时性要求较高的场合则不能够满足要求。
发明内容
为了克服传统的CapsNet网络模型在火焰检测应用中的局限性，克服传统的卷积神经网络对火焰局部特征之间约束关系相对较弱的描述能力，导致在检测应用中的局限性，本发明提供一种端到端的3D-CapsNet火焰检测方法和装置。
第一方面，本发明实施例公开了一种端到端的3D-CapsNet火焰检测方法，其包括以下步骤：
选择火焰样本图像，构建火焰样本集合；所述火焰样本集合包括正样本和负样本；
创建火焰检测初始模型，所述火焰检测初始模型包括两个VGG16网络、深度特征预选层以及CapsNet网络的部分结构，所述CapsNet网络的部分结构包括主胶囊层、数字胶囊层以及全连接层；所述两个VGG16网络的输出端依次经由深度特征预选层以及CapsNet网络的部分结构输出检测结果；
通过Mnist数据集对CapsNet网络进行训练，将对CapsNet网络进行训练形成的主胶囊层参数、数字胶囊层参数以及全连接层参数迁移至火焰检测初始模型的主胶囊层、数字胶囊层以及全连接层；
通过火焰样本集合对火焰检测初始模型进行训练，形成最终的火焰检测模型；
采集目标图像，将火焰标准图像的RGB三通道图像输入火焰检测模型的第一输入端，将所述目标图像的RGB三通道图像输入火焰检测模型的第二输入端，经由火焰检测模型输出最终的检测结果；所述第一输入端和第二输入端分别为两个VGG16网络的输入端。
作为一种优选实施例，所述深度特征预选层包括：全卷积层以及提取层；
所述第一输入端用于输入火焰标准图像的RGB三通道图像，所述第二输入端用于输入相关图像，所述相关图像为火焰样本集合中的火焰样本的RGB三通道图像或目标图像的RGB三通道图像；所述第一输入端对应的VGG16网络的 Conv4-3输出第一深度特征矩阵，所述第二输入端对应的VGG16网络的Conv4-3 输出第二深度特征矩阵；所述第一深度特征矩阵和第二深度特征矩阵分别对应第一深度特征图像和第二深度特征图像；
所述第一深度特征矩阵和第二深度特征矩阵通过全卷积层进行全卷积操作，得到响应矩阵，所述响应矩阵对应响应图像，根据所述响应矩阵确定响应图像的最大值位置(xm，ym)，基于线性插值的方式通过所述最大值位置(xm，ym)找到第二深度特征图像中的最大值位置(xmf，ymf)；
通过预选框在第二深度特征图像中构建第三深度特征图像，所述预选框为四个点：xmf-2、ymf-2、xmf+3以及ymf+3围成的区域，所述围成的区域在第二深度特征图像中的部分即为第三深度特征图像，获取第三深度特征图像对应的第三深度特征矩阵；将第三深度特征矩阵输入所述CapsNet网络的部分结构。
作为一种优选实施例，通过火焰样本集合对火焰检测初始模型进行训练，形成最终的火焰检测模型；包括：
所述火焰样本集合的正样本或负样本的RGB三通道图像输入至第二输入端，将所述火焰标准图像的RGB三通道图像输入至第一输入端；
根据火焰检测初始模型的输出结果以及对应的火焰样本集合的样本标签对所述火焰检测初始模型的参数进行修正；其中，训练时，正样本的样本标签以及正样本对应火焰检测初始模型的输出结果用于对火焰检测初始模型的参数进行修正；负样本不参与火焰检测初始模型的参数修正；对火焰检测初始模型的参数进行修正包括对火焰检测初始模型的主胶囊层、数字胶囊层以及全连接层的参数进行修正。
作为一种优选实施例，所述火焰标准图像的大小为80×80，相关图像的大小为640×480；第一深度特征矩阵为20×20×512的矩阵，第二深度特征矩阵为 160×120×512的矩阵；响应矩阵为(160-20+1)×(120-20+1)×1＝141×101×1的矩阵；第三深度特征矩阵为6×6×512的矩阵。
作为一种优选实施例，经由火焰检测模型输出最终的检测结果，包括：
所述最终的检测结果为2×1的向量，如果检测结果为
Figure BDA0002391808530000041
则表示所述目标图像中存在火焰；如果输出结果为/>
Figure BDA0002391808530000042
则表明所述目标图像中不存在火焰；
所述火焰检测方法还包括对所述检测结果进行判断：
如果所述目标图像中存在火焰，则发出报警；
如果所述目标图像中不存在火焰，则所述目标图像对应的位置未发现火灾。
第二方面，本发明实施例公开了一种端到端的3D-CapsNet火焰检测装置，其包括：
选择模块，用于选择火焰样本图像，构建火焰样本集合；所述火焰样本集合包括正样本和负样本；
创建模块，用于创建火焰检测初始模型，所述火焰检测初始模型包括两个 VGG16网络、深度特征预选层以及CapsNet网络的部分结构，所述CapsNet网络的部分结构包括主胶囊层、数字胶囊层以及全连接层；所述两个VGG16网络的输出端依次经由深度特征预选层以及CapsNet网络的部分结构输出检测结果；
第一训练模块，用于通过Mnist数据集对CapsNet网络进行训练，将对 CapsNet网络进行训练形成的主胶囊层参数、数字胶囊层参数以及全连接层参数迁移至火焰检测初始模型的主胶囊层、数字胶囊层以及全连接层；
第二训练模块，用于通过火焰样本集合对火焰检测初始模型进行训练，形成最终的火焰检测模型；
检测模块，用于采集目标图像，将火焰标准图像的RGB三通道图像输入火焰检测模型的第一输入端，将所述目标图像的RGB三通道图像输入火焰检测模型的第二输入端，经由火焰检测模型输出最终的检测结果；所述第一输入端和第二输入端分别为两个VGG16网络的输入端。
作为一种优选实施例，所述深度特征预选层包括：全卷积层以及提取层；
所述第一输入端用于输入火焰标准图像的RGB三通道图像，所述第二输入端用于输入相关图像，所述相关图像为火焰样本集合中的火焰样本的RGB三通道图像或目标图像的RGB三通道图像；所述第一输入端对应的VGG16网络的 Conv4-3输出第一深度特征矩阵，所述第二输入端对应的VGG16网络的Conv4-3 输出第二深度特征矩阵；所述第一深度特征矩阵和第二深度特征矩阵分别对应第一深度特征图像和第二深度特征图像；
所述第一深度特征矩阵和第二深度特征矩阵通过全卷积层进行全卷积操作，得到响应矩阵，所述响应矩阵对应响应图像，根据所述响应矩阵确定响应图像的最大值位置(xm，ym)，基于线性插值的方式通过所述最大值位置(xm，ym)找到第二深度特征图像中的最大值位置(xmf，ymf)；
通过预选框在第二深度特征图像中构建第三深度特征图像，所述预选框为四个点：xmf-2、ymf-2、xmf+3以及ymf+3围成的区域，所述围成的区域在第二深度特征图像中的部分即为第三深度特征图像，获取第三深度特征图像对应的第三深度特征矩阵；将第三深度特征矩阵输入所述CapsNet网络的部分结构。
作为一种优选实施例，所述第二训练模块包括：
所述火焰样本集合的正样本或负样本的RGB三通道图像输入至第二输入端，将所述火焰标准图像的RGB三通道图像输入至第一输入端；
根据火焰检测初始模型的输出结果以及对应的火焰样本集合的样本标签对所述火焰检测初始模型的参数进行修正；其中，训练时，正样本的样本标签以及正样本对应火焰检测初始模型的输出结果用于对火焰检测初始模型的参数进行修正；负样本不参与火焰检测初始模型的参数修正；对火焰检测初始模型的参数进行修正包括对火焰检测初始模型的主胶囊层、数字胶囊层以及全连接层的参数进行修正。
作为一种优选实施例，所述识别模块，包括：
所述火焰标准图像的大小为80×80，相关图像的大小为640×480；第一深度特征矩阵为20×20×512的矩阵，第二深度特征矩阵为160×120×512的矩阵；响应矩阵为(160-20+1)×(120-20+1)×1＝141×101×1的矩阵；第三深度特征矩阵为6×6×512的矩阵。
作为一种优选实施例，所述最终的检测结果为2×1的向量，如果检测结果为
Figure BDA0002391808530000061
则表示所述目标图像中存在火焰；如果输出结果为/>
Figure BDA0002391808530000062
则表明所述目标图像中不存在火焰；
所述火焰检测装置还包括判断模块，用于：
如果所述目标图像中存在火焰，则发出报警；
如果所述目标图像中不存在火焰，则所述目标图像对应的位置未发现火灾。
本发明提供的端到端的3D-CapsNet火焰检测方法和装置，借助于传统的 VGG16模型的较好的描述能力，应用VGG16中的Conv4-3层作为最终的深度特征提取层。针对纯火焰样本的图像和待检测图像，均提取对应的Conv4-3层深度特征，应用深度特征全卷积的方法在待检测图像中确定火焰的极大疑似点位置。在待检测图像多通道的Conv4-3层深度特征中，在极大疑似点位置处，提取固定区域的深度特征，以此特征替代传统的CapsNet网络中的卷积层输出的结果。提取到的深度特征经过CapsNet网络的PrimaryCaps层、DigitalCaps层、全连接层和L2范数处理层，最终确定待检测图像中极大疑似火点位置区域是否存在火焰，如果确实存在则给出报警信息。应用预训练的VGG16模型作为卷积网络的特征提取模型有效的避免多样本集训练，同时能够提取原始图像中的3D 信息，对提取到的网络特征进行胶囊网络模型的进一步处理，有利于提取火焰图像整体和局部信息，提高火焰特征的描述能力，最终提高检测精度。端到端的3D-CapsNet火焰检测模型充分体现了端到端的模型处理优势，端到端的学习省去了在每一个独立学习任务执行之前所做的数据标注，为样本做标注的代价是昂贵的、易出错的。整个模型的训练分为两个步骤：首选通过手写数字集合训练数字识别的CapsNet网络模型，提取该模型中PrimaryCaps层、DigitalCaps 层、全连接层等相关参数，作为端到端3D-CapsNet模型中相关部分的模型训练初始化参数；然后应用构建的数据集对整个模型进行训练并测试模型的准确度。以此模型作为最终的火焰检测模型，通过火焰检测模型确定是否存在火灾，如果存在，通过5G无线传输的方式传输至服务器并报警。整个检测网络方法的软件程序可以直接固化至配备图像采集设备的TX2或Edgebord等相关硬件设备上。
相比现有技术，本发明的有益效果在于：
1、应用现有的VGG16网络模型提供深度特征，并以此深度特征实现待检测图像区域的火焰区域粗检，将检测结果的深度特征直接输入CapsNet网络，最终实现火焰的精准检测；
2、该网络结构提供了一种应用CapsNet网络实现目标检测的网络架构模型，更换检测对象样本，构建检测对象的样本数据集，通过模型训练即可实现应用本发明提供的端到端的3D-CapsNet模型检测其他对象；
3、本发明提出的方法的程序可以固化至一般的TX1、TX2、Edgebord等相关硬件设备上，并实现组网，可以大范围布置，提高火灾检测的精度。
附图说明
图1为本发明实施例一的端到端的3D-CapsNet火焰检测方法的流程图；
图2为火焰检测初始模型结构的结构示意图；
图3为本发明实施例二的端到端的3D-CapsNet火焰检测系统的结构框图。
具体实施方式
以下将结合附图，对本发明进行更为详细的描述，需要说明的是，下参照附图对本发明进行的描述仅是示意性的，而非限制性的。各个不同实施例之间可以进行相互组合，以构成未在以下描述中示出的其他实施例。
实施例一
本发明实施例一公开了一种端到端的3D-CapsNet火焰检测方法，请参照图1所示，其包括以下步骤：
S110、选择火焰样本图像，构建火焰样本集合；所述火焰样本集合包括正样本和负样本。
为了保证样本的多样性和可行性，火焰样本集合中的样本包含正、负样本，正样本的选择包含火焰发生在白天、黑夜、阴天、晴天以及小火点和大火点的情况。负样本包括夕阳，火烧云等红色区域图像。火焰样本集合通过网络收集相关火焰识别的标准数据集构建。针对对应的正负样本构建正负样本对应的样本标签值，正样本的标签值为
Figure BDA0002391808530000081
负样本对应的标签值为/>
Figure BDA0002391808530000082
火焰样本集合的样本图像的大小统一设定为640×480×3(640和480分别为像素点，构成尺寸， 3为R、G、B三通道)，对尺度不符合要求的图像通过线性插值的方式进行处理，确保火焰样本集合中的所有正负样本的尺度全部为640×480×3。通过搜集相关公认的火焰图像数据集，火焰视频数据集以及网络火焰图像，将火焰视频数据集直接转换为视频图像帧集合，然后制作带有标签的数据集，最终构建出1.5 万张包含正负样本及标签的火焰样本集合，以此火焰样本集合作为端到端 3D-CapsNet模型的训练样本集合。
S120、创建火焰检测初始模型，所述火焰检测初始模型包括两个VGG16网络、深度特征预选层以及CapsNet网络的部分结构，所述CapsNet网络的部分结构包括主胶囊层、数字胶囊层以及全连接层；所述两个VGG16网络的输出端依次经由深度特征预选层以及CapsNet网络的部分结构输出检测结果。
火焰检测初始模型主要由两部分组成，卷积特征提取部分以及CapsNet识别部分。其中，卷积特征提取部分包括两个VGG16网络、深度特征预选层； CapsNet识别部分为CapsNet网络的部分结构，CapsNet网络的部分结构包括主胶囊层、数字胶囊层以及全连接层；所述两个VGG16网络的输出端依次经由深度特征预选层以及CapsNet网络的部分结构，再通过L2范数处理层输出检测结果。
卷积特征提取部分包含了应用火焰样本图像的深度特征和待检测图像的深度特征，应用全卷积网络运算确定待检测图像的特征与火焰样本深度特征最相似的位置——响应图像中确定火焰极大值点位置，在待检测图像的多通道深度特征集中，以极大值点位置为中心点提取出待检测图像的多通道深度特征 6×6×512替代传统的CapsNet网络模型中的卷积部分，最终输出的识别结果为 2×1的向量。火焰检测初始模型结构示意图如图2所示。
图2中，VGG16的模型结构中VGG是由Simonyan和Zisserman在文献《Very DeepConvolutional Networks for Large Scale Image Recognition》中提出卷积神经网络模型，其名称来源于作者所在的牛津大学视觉几何组(Visual Geometry Group)的缩写，VGG模型为参加2014年的ImageNet图像分类与定位挑战赛时构建的架构，取得了优异成绩：在分类任务上排名第二，在定位任务上排名第一。VGG中根据卷积核大小和卷积层数目的不同，可分为A、A-LRN、 B、C、D、E共6个配置(ConvNet Configuration)，其中以D、E两种配置较为常用，分别称为VGG16和VGG19。VGG模型被广泛的应用于目标跟踪与检测等领域。用于图像分类的VGG16模型包含13个卷积层(Convolutional Layer)，分别用conv3-XXX表示；3个全连接层(Fully connected Layer)，分别用FC-XXXX 表示；5个池化层(Pool layer)，分别用maxpool表示。其中，卷积层和全连接层具有权重系数，因此也被称为权重层，总数目为13+3＝16，这即是VGG16中 16的来源。(池化层不涉及权重，因此不属于权重层，不被计数)。VGG16的卷积层和池化层可以划分为不同的块(Block)，从前到后依次编号为Block1～block5。每一个块内包含若干卷积层和一个池化层。为了实现深度特征预选层中多通道深度特征的相关结果响应图像中初步确定火焰中心点位置，本发明的端到端 3D-CapsNet模型中采用了VGG16模型中的Block4中的Conv4-3层输出的特征作为深度特征的提取结果层。
S130、通过Mnist数据集对CapsNet网络进行训练，将对CapsNet网络进行训练形成的主胶囊层参数、数字胶囊层参数以及全连接层参数迁移至火焰检测初始模型的主胶囊层、数字胶囊层以及全连接层。
手写数字样本Mnist训练的CapsNet网络结构主要包括：PrimaryCaps(主胶囊)层、DigitalCaps(数字胶囊)层和全连接层。
CapsNet原始的手写数字识别模型中，Mnist数据集提供了6万张用于训练和测试的手写数字。从Mnist数据集中选择5万张手写数字图像用于CapsNet 网络结构相关的参数训练，用Mnist数据集中剩余1万张对训练的模型进行测试。通过CapsNet网络结构的预训练最终获得PrimaryCaps层的相关参数， DigitalCaps层、全连接层的相关参数，然后把这些参数迁移至火焰检测初始模型的CapsNet网络的部分结构中，即火焰检测初始模型的主胶囊层、数字胶囊层以及全连接层中。
S140、通过火焰样本集合对火焰检测初始模型进行训练，形成最终的火焰检测模型。
深度特征预选层包括：全卷积层以及提取层。两个VGG16网络的输入端分别定义为第一输入端和第二输入端。
其中，第一输入端用于输入火焰标准图像的RGB三通道图像，第二输入端用于输入相关图像，这里的相关图像为火焰样本集合中的火焰样本的RGB三通道图像。
第一输入端对应的VGG16网络的Conv4-3输出第一深度特征矩阵，第二输入端对应的VGG16网络的Conv4-3输出第二深度特征矩阵；第一深度特征矩阵和第二深度特征矩阵分别对应第一深度特征图像和第二深度特征图像。
火焰标准图像的大小设定为80×80×3(2个80分别为长和宽的像素点数，3 为R、G、B三个通道)，则经过VGG16模型进行深度特征提取后获得的深度特征为20×20×512(2个20为矩阵的行和列，512为维度)。火焰样本图像的大小为640×480×3(640和480分别为长和宽的像素点数，3为R、G、B三个通道)，则经过VGG16模型提取到的深度特征大小为160×120×512(160和120 为矩阵的行和列，512为维度)。
所述第一深度特征矩阵和第二深度特征矩阵通过全卷积层进行全卷积操作，得到响应矩阵，响应矩阵为(160-20+1)×(120-20+1)×1＝141×101×1(运算的结构与SiamFC网络结构的计算过程相同)，响应矩阵对应响应图像，根据响应矩阵确定响应图像的最大值位置(xm，ym)，基于线性插值的方式通过所述最大值位置(xm，ym)找到第二深度特征图像中的最大值位置(xmf，ymf)。
通过预选框在第二深度特征图像中构建第三深度特征图像，所述预选框为四个点：xmf-2、ymf-2、xmf+3以及ymf+3围成的区域，所述围成的区域在第二深度特征图像中的部分即为第三深度特征图像，获取第三深度特征图像对应的第三深度特征矩阵；将第三深度特征矩阵输入所述CapsNet网络的部分结构。
四个点xmf-2、ymf-2、xmf+3以及ymf+3依次之间连线围成矩形区域，围成矩形区域对应的像素点矩阵为6×6，为了确保第三深度特征矩阵的维度为 6×6×512，在本发明较佳的实施例中，构建深度特征160×120×512的特征提取 Mask，Mask的大小为6×6×512的全1三维矩阵(即预选框大小)，通过Mask 矩阵与待检测图像的深度特征进行乘运算，提取出待检测图像的深度特征与最大值位置(xmf，ymf)相邻的特征值，提取区域在160×120中的位置区域表示为： (xmf-2:xmf+3，ymf-2:ymf+3)。
将筛选出的第三深度特征矩阵6×6×512输入CapsNet的PrimaryCaps层，PrimaryCaps层的输出结果通过DigitalCaps层，全连接层最终输出2×16的矩阵，通过计算L2范数处理层(通过随机初始化生成初始参数)最终确定输出的2×1 的识别结果，然后根据识别结果与样本标签的比对修正火焰检测初始模型的参数，具体是将识别结果与样本标签之间的差值进行误差反传的参数调整，多次迭代训练的目的是确保识别结果与样本标签之间的差值最小，从而确定模型的最优的参数，完成火焰检测初始模型的训练，得到最终的火焰检测模型。在本发明较佳的实施例中，正样本参与对火焰检测初始模型的参数进行修正，负样本不参与火焰检测初始模型的参数进行修正，只用于训练和测试。
S150、采集目标图像，将火焰标准图像的RGB三通道图像输入火焰检测模型的第一输入端，将所述目标图像的RGB三通道图像输入火焰检测模型的第二输入端，经由火焰检测模型输出最终的检测结果；所述第一输入端和第二输入端分别为两个VGG16网络的输入端。
通过图像采集设备采集待检测视野范围内图像(称为目标图像)是否存在火焰，目标图像大小为M×N×3RGB三通道图像，先通过强制图像变换将目标图像大小转换成640×480×3。
然后将火焰标准图像的RGB三通道图像输入至第一输入端，目标图像输入至第二输入端，依据步骤S140相同的方式最终获得输出最终的检测结果，最终的检测结果的2×1向量，若此向量如果为
Figure BDA0002391808530000131
则确定目标图像内必然存在火焰，也表示火灾发生。如果最终获得的2×1向量为/>
Figure BDA0002391808530000132
则确定目标图像内不存在火焰，即表示火灾没有发生。
如果确定了目标图像内存在火焰，则给出采集到的图像中存在火焰的信息，通过报警网络给出相关的报警信息。报警信息包括但不限于火灾可能发生的时间、位置。如果所述目标图像内均不存在火焰，则所述目标图像对应的位置未发现火灾。
实施例二
实施例二公开了一种基于CN和CapsNet的森林火灾在线识别装置，为上述实施例的虚拟装置，请参照图3所示，其包括：
选择模块210，用于选择火焰样本图像，构建火焰样本集合；所述火焰样本集合包括正样本和负样本；
创建模块220，用于创建火焰检测初始模型，所述火焰检测初始模型包括两个VGG16网络、深度特征预选层以及CapsNet网络的部分结构，所述CapsNet 网络的部分结构包括主胶囊层、数字胶囊层以及全连接层；所述两个VGG16网络的输出端依次经由深度特征预选层以及CapsNet网络的部分结构输出检测结果；
第一训练模块230，用于通过Mnist数据集对CapsNet网络进行训练，将对 CapsNet网络进行训练形成的主胶囊层参数、数字胶囊层参数以及全连接层参数迁移至火焰检测初始模型的主胶囊层、数字胶囊层以及全连接层；
第二训练模块240，用于通过火焰样本集合对火焰检测初始模型进行训练，形成最终的火焰检测模型；
检测模块250，用于采集目标图像，将火焰标准图像的RGB三通道图像输入火焰检测模型的第一输入端，将所述目标图像的RGB三通道图像输入火焰检测模型的第二输入端，经由火焰检测模型输出最终的检测结果；所述第一输入端和第二输入端分别为两个VGG16网络的输入端。
进一步地，所述深度特征预选层包括：全卷积层以及提取层；
所述第一输入端用于输入火焰标准图像的RGB三通道图像，所述第二输入端用于输入相关图像，所述相关图像为火焰样本集合中的火焰样本的RGB三通道图像或目标图像的RGB三通道图像；所述第一输入端对应的VGG16网络的 Conv4-3输出第一深度特征矩阵，所述第二输入端对应的VGG16网络的Conv4-3 输出第二深度特征矩阵；所述第一深度特征矩阵和第二深度特征矩阵分别对应第一深度特征图像和第二深度特征图像；
所述第一深度特征矩阵和第二深度特征矩阵通过全卷积层进行全卷积操作，得到响应矩阵，所述响应矩阵对应响应图像，根据所述响应矩阵确定响应图像的最大值位置(xm，ym)，基于线性插值的方式通过所述最大值位置(xm，ym)找到第二深度特征图像中的最大值位置(xmf，ymf)；
通过预选框在第二深度特征图像中构建第三深度特征图像，所述预选框为四个点：xmf-2、ymf-2、xmf+3以及ymf+3围成的区域，所述围成的区域在第二深度特征图像中的部分即为第三深度特征图像，获取第三深度特征图像对应的第三深度特征矩阵；将第三深度特征矩阵输入所述CapsNet网络的部分结构。
进一步地，所述第二训练模块包括：
所述火焰样本集合的正样本或负样本的RGB三通道图像输入至第二输入端，将所述火焰标准图像的RGB三通道图像输入至第一输入端；
根据火焰检测初始模型的输出结果以及对应的火焰样本集合的样本标签对所述火焰检测初始模型的参数进行修正；其中，训练时，正样本的样本标签以及正样本对应火焰检测初始模型的输出结果用于对火焰检测初始模型的参数进行修正；负样本不参与火焰检测初始模型的参数修正；对火焰检测初始模型的参数进行修正包括对火焰检测初始模型的主胶囊层、数字胶囊层以及全连接层的参数进行修正。
进一步地，所述识别模块，包括：
所述火焰标准图像的大小为80×80，相关图像的大小为640×480；第一深度特征矩阵为20×20×512的矩阵，第二深度特征矩阵为160×120×512的矩阵；响应矩阵为(160-20+1)×(120-20+1)×1＝141×101×1的矩阵；第三深度特征矩阵为6×6×512的矩阵。
进一步地，所述最终的检测结果为2×1的向量，如果检测结果为
Figure BDA0002391808530000151
则表示所述目标图像中存在火焰；如果输出结果为/>
Figure BDA0002391808530000161
则表明所述目标图像中不存在火焰；
所述火焰检测装置还包括判断模块，用于：
如果所述目标图像中存在火焰，则发出报警；
如果所述目标图像中不存在火焰，则所述目标图像对应的位置未发现火灾。
对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (10)

1.一种端到端的3D-CapsNet火焰检测方法，其特征在于，其包括以下步骤：
选择火焰样本图像，构建火焰样本集合；所述火焰样本集合包括正样本和负样本；
创建火焰检测初始模型，所述火焰检测初始模型包括两个VGG16网络、深度特征预选层以及CapsNet网络的部分结构，所述CapsNet网络的部分结构包括主胶囊层、数字胶囊层以及全连接层；所述两个VGG16网络的输出端依次经由深度特征预选层以及CapsNet网络的部分结构输出检测结果；
通过Mnist数据集对CapsNet网络进行训练，将对CapsNet网络进行训练形成的主胶囊层参数、数字胶囊层参数以及全连接层参数迁移至火焰检测初始模型的主胶囊层、数字胶囊层以及全连接层；
通过火焰样本集合对火焰检测初始模型进行训练，形成最终的火焰检测模型；
采集目标图像，将火焰标准图像的RGB三通道图像输入火焰检测模型的第一输入端，将所述目标图像的RGB三通道图像输入火焰检测模型的第二输入端，经由火焰检测模型输出最终的检测结果；所述第一输入端和第二输入端分别为两个VGG16网络的输入端。
2.如权利要求1所述的端到端的3D-CapsNet火焰检测方法，其特征在于，所述深度特征预选层包括：全卷积层以及提取层；
所述第一输入端用于输入火焰标准图像的RGB三通道图像，所述第二输入端用于输入相关图像，所述相关图像为火焰样本集合中的火焰样本的RGB三通道图像或目标图像的RGB三通道图像；所述第一输入端对应的VGG16网络的Conv4-3输出第一深度特征矩阵，所述第二输入端对应的VGG16网络的Conv4-3输出第二深度特征矩阵；所述第一深度特征矩阵和第二深度特征矩阵分别对应第一深度特征图像和第二深度特征图像；
所述第一深度特征矩阵和第二深度特征矩阵通过全卷积层进行全卷积操作，得到响应矩阵，所述响应矩阵对应响应图像，根据所述响应矩阵确定响应图像的最大值位置(xm，ym)，基于线性插值的方式通过所述最大值位置(xm，ym)找到第二深度特征图像中的最大值位置(xmf，ymf)；
通过预选框在第二深度特征图像中构建第三深度特征图像，所述预选框为四个点：xmf-2、ymf-2、xmf+3以及ymf+3围成的区域，所述围成的区域在第二深度特征图像中的部分即为第三深度特征图像，获取第三深度特征图像对应的第三深度特征矩阵；将第三深度特征矩阵输入所述CapsNet网络的部分结构。
3.如权利要求2所述的端到端的3D-CapsNet火焰检测方法，其特征在于，通过火焰样本集合对火焰检测初始模型进行训练，形成最终的火焰检测模型；包括：
所述火焰样本集合的正样本或负样本的RGB三通道图像输入至第二输入端，将所述火焰标准图像的RGB三通道图像输入至第一输入端；
根据火焰检测初始模型的输出结果以及对应的火焰样本集合的样本标签对所述火焰检测初始模型的参数进行修正；其中，训练时，正样本的样本标签以及正样本对应火焰检测初始模型的输出结果用于对火焰检测初始模型的参数进行修正；负样本不参与火焰检测初始模型的参数修正；对火焰检测初始模型的参数进行修正包括对火焰检测初始模型的主胶囊层、数字胶囊层以及全连接层的参数进行修正。
4.如权利要求2或3所述的端到端的3D-CapsNet火焰检测方法，其特征在于，所述火焰标准图像的大小为80×80，相关图像的大小为640×480；第一深度特征矩阵为20×20×512的矩阵，第二深度特征矩阵为160×120×512的矩阵；响应矩阵为(160-20+1)×(120-20+1)×1＝141×101×1的矩阵；第三深度特征矩阵为6×6×512的矩阵。
5.如权利要求2所述的端到端的3D-CapsNet火焰检测方法，其特征在于，经由火焰检测模型输出最终的检测结果，包括：
所述最终的检测结果为2×1的向量，如果检测结果为
Figure FDA0002391808520000031
则表示所述目标图像中存在火焰；如果输出结果为
Figure FDA0002391808520000032
则表明所述目标图像中不存在火焰；
所述火焰检测方法还包括对所述检测结果进行判断：
如果所述目标图像中存在火焰，则发出报警；
如果所述目标图像中不存在火焰，则所述目标图像对应的位置未发现火灾。
6.一种端到端的3D-CapsNet火焰检测装置，其特征在于，其包括：
选择模块，用于选择火焰样本图像，构建火焰样本集合；所述火焰样本集合包括正样本和负样本；
创建模块，用于创建火焰检测初始模型，所述火焰检测初始模型包括两个VGG16网络、深度特征预选层以及CapsNet网络的部分结构，所述CapsNet网络的部分结构包括主胶囊层、数字胶囊层以及全连接层；所述两个VGG16网络的输出端依次经由深度特征预选层以及CapsNet网络的部分结构输出检测结果；
第一训练模块，用于通过Mnist数据集对CapsNet网络进行训练，将对CapsNet网络进行训练形成的主胶囊层参数、数字胶囊层参数以及全连接层参数迁移至火焰检测初始模型的主胶囊层、数字胶囊层以及全连接层；
第二训练模块，用于通过火焰样本集合对火焰检测初始模型进行训练，形成最终的火焰检测模型；
检测模块，用于采集目标图像，将火焰标准图像的RGB三通道图像输入火焰检测模型的第一输入端，将所述目标图像的RGB三通道图像输入火焰检测模型的第二输入端，经由火焰检测模型输出最终的检测结果；所述第一输入端和第二输入端分别为两个VGG16网络的输入端。
7.如权利要求6所述的端到端的3D-CapsNet火焰检测装置，其特征在于，所述深度特征预选层包括：全卷积层以及提取层；
所述第一输入端用于输入火焰标准图像的RGB三通道图像，所述第二输入端用于输入相关图像，所述相关图像为火焰样本集合中的火焰样本的RGB三通道图像或目标图像的RGB三通道图像；所述第一输入端对应的VGG16网络的Conv4-3输出第一深度特征矩阵，所述第二输入端对应的VGG16网络的Conv4-3输出第二深度特征矩阵；所述第一深度特征矩阵和第二深度特征矩阵分别对应第一深度特征图像和第二深度特征图像；
所述第一深度特征矩阵和第二深度特征矩阵通过全卷积层进行全卷积操作，得到响应矩阵，所述响应矩阵对应响应图像，根据所述响应矩阵确定响应图像的最大值位置(xm，ym)，基于线性插值的方式通过所述最大值位置(xm，ym)找到第二深度特征图像中的最大值位置(xmf，ymf)；
通过预选框在第二深度特征图像中构建第三深度特征图像，所述预选框为四个点：xmf-2、ymf-2、xmf+3以及ymf+3围成的区域，所述围成的区域在第二深度特征图像中的部分即为第三深度特征图像，获取第三深度特征图像对应的第三深度特征矩阵；将第三深度特征矩阵输入所述CapsNet网络的部分结构。
8.如权利要求7所述的端到端的3D-CapsNet火焰检测装置，其特征在于，所述第二训练模块包括：
所述火焰样本集合的正样本或负样本的RGB三通道图像输入至第二输入端，将所述火焰标准图像的RGB三通道图像输入至第一输入端；
根据火焰检测初始模型的输出结果以及对应的火焰样本集合的样本标签对所述火焰检测初始模型的参数进行修正；其中，训练时，正样本的样本标签以及正样本对应火焰检测初始模型的输出结果用于对火焰检测初始模型的参数进行修正；负样本不参与火焰检测初始模型的参数修正；对火焰检测初始模型的参数进行修正包括对火焰检测初始模型的主胶囊层、数字胶囊层以及全连接层的参数进行修正。
9.如权利要求7或8所述的端到端的3D-CapsNet火焰检测装置，其特征在于，所述识别模块，包括：
所述火焰标准图像的大小为80×80，相关图像的大小为640×480；第一深度特征矩阵为20×20×512的矩阵，第二深度特征矩阵为160×120×512的矩阵；响应矩阵为(160-20+1)×(120-20+1)×1＝141×101×1的矩阵；第三深度特征矩阵为6×6×512的矩阵。
10.如权利要求9所述的端到端的3D-CapsNet火焰检测装置，其特征在于，所述最终的检测结果为2×1的向量，如果检测结果为
Figure FDA0002391808520000051
则表示所述目标图像中存在火焰；如果输出结果为
Figure FDA0002391808520000052
则表明所述目标图像中不存在火焰；
所述火焰检测装置还包括判断模块，用于：
如果所述目标图像中存在火焰，则发出报警；
如果所述目标图像中不存在火焰，则所述目标图像对应的位置未发现火灾。
CN202010117037.8A 2020-02-25 2020-02-25 端到端的3D-CapsNet火焰检测方法及装置 Active CN111353412B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010117037.8A CN111353412B (zh) 2020-02-25 2020-02-25 端到端的3D-CapsNet火焰检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010117037.8A CN111353412B (zh) 2020-02-25 2020-02-25 端到端的3D-CapsNet火焰检测方法及装置

Publications (2)

Publication Number Publication Date
CN111353412A CN111353412A (zh) 2020-06-30
CN111353412B true CN111353412B (zh) 2023-03-24

Family

ID=71192375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010117037.8A Active CN111353412B (zh) 2020-02-25 2020-02-25 端到端的3D-CapsNet火焰检测方法及装置

Country Status (1)

Country Link
CN (1) CN111353412B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052298A (zh) * 2021-03-12 2021-06-29 电子科技大学 一种基于胶囊网络的三维模型检索方法
CN113408488B (zh) * 2021-07-19 2022-11-25 中南大学 基于胶囊网络的火焰目标识别方法、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU137808U1 (ru) * 2012-06-15 2014-02-27 Открытое акционерное общество "Научно-производственная фирма "Меридиан" Судовой аппаратно-программный комплекс для выявления предпожарных ситуаций, обнаружения возгораний и пожаров на ранней стадии, выработки прогноза распространения пожара, выработки рекомендаций вахтенной службе и аварийным партиям по действиям в сложившейся обстановке
CN109376747A (zh) * 2018-12-11 2019-02-22 北京工业大学 一种基于双流卷积神经网络的视频火焰检测方法
CN110456234A (zh) * 2018-05-07 2019-11-15 珠海格力电器股份有限公司 故障电弧的检测方法、装置和系统
RU2713850C1 (ru) * 2018-12-10 2020-02-07 Федеральное государственное бюджетное учреждение науки Институт теплофизики им. С.С. Кутателадзе Сибирского отделения Российской академии наук (ИТ СО РАН) Система мониторинга режимов горения топлива путем анализа изображений факела при помощи классификатора на основе свёрточной нейронной сети

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU137808U1 (ru) * 2012-06-15 2014-02-27 Открытое акционерное общество "Научно-производственная фирма "Меридиан" Судовой аппаратно-программный комплекс для выявления предпожарных ситуаций, обнаружения возгораний и пожаров на ранней стадии, выработки прогноза распространения пожара, выработки рекомендаций вахтенной службе и аварийным партиям по действиям в сложившейся обстановке
CN110456234A (zh) * 2018-05-07 2019-11-15 珠海格力电器股份有限公司 故障电弧的检测方法、装置和系统
RU2713850C1 (ru) * 2018-12-10 2020-02-07 Федеральное государственное бюджетное учреждение науки Институт теплофизики им. С.С. Кутателадзе Сибирского отделения Российской академии наук (ИТ СО РАН) Система мониторинга режимов горения топлива путем анализа изображений факела при помощи классификатора на основе свёрточной нейронной сети
CN109376747A (zh) * 2018-12-11 2019-02-22 北京工业大学 一种基于双流卷积神经网络的视频火焰检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种新型的城市火灾检测方法;杨柳等;《现代电子技术》;20190510(第10期);全文 *
基于Faster R-CNN模型的火焰检测;严云洋等;《南京师大学报(自然科学版)》;20180920(第03期);全文 *

Also Published As

Publication number Publication date
CN111353412A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN109840556B (zh) 一种基于孪生网络的图像分类识别方法
CN107527352B (zh) 基于深度学习fcn网络的遥感舰船目标轮廓分割与检测方法
CN112508098B (zh) 表盘定位与自动读数的指针式表计数值识别方法及系统
CN109325395A (zh) 图像的识别方法、卷积神经网络模型的训练方法及装置
CN111986240A (zh) 基于可见光和热成像数据融合的落水人员检测方法及系统
CN111444924B (zh) 一种病虫害检测及灾害等级分析方法及系统
CN113052835A (zh) 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统
CN110570363A (zh) 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法
Tian et al. Multiscale building extraction with refined attention pyramid networks
CN113628261B (zh) 一种电力巡检场景下的红外与可见光图像配准方法
CN114998566B (zh) 一种可解释的多尺度红外弱小目标检测网络设计方法
CN111353412B (zh) 端到端的3D-CapsNet火焰检测方法及装置
CN111652039A (zh) 基于残差网络和特征融合模块的高光谱遥感地物分类方法
CN111310690B (zh) 基于cn和三通道胶囊网络的森林火灾识别方法及装置
CN114119621A (zh) 基于深度编解码融合网络的sar遥感图像水域分割方法
CN113936214A (zh) 一种基于融合空天遥感影像的岩溶湿地植被群落分类方法
CN115393404A (zh) 双光图像配准方法、装置及设备、存储介质
CN112364747A (zh) 一种有限样本下的目标检测方法
CN115409814A (zh) 一种基于融合图像的光伏组件热斑检测方法及系统
CN115082422A (zh) 一种基于图像的建筑钢管横截面尺寸测量方法
CN111523586A (zh) 一种基于噪声可知的全网络监督目标检测方法
CN116778346B (zh) 一种基于改进自注意力机制的管线识别方法及系统
Maduako et al. Automated school location mapping at scale from satellite imagery based on deep learning
CN111291712B (zh) 基于插值的cn和胶囊网络的森林火灾识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant