CN111310690B - 基于cn和三通道胶囊网络的森林火灾识别方法及装置 - Google Patents

基于cn和三通道胶囊网络的森林火灾识别方法及装置 Download PDF

Info

Publication number
CN111310690B
CN111310690B CN202010117030.6A CN202010117030A CN111310690B CN 111310690 B CN111310690 B CN 111310690B CN 202010117030 A CN202010117030 A CN 202010117030A CN 111310690 B CN111310690 B CN 111310690B
Authority
CN
China
Prior art keywords
image
flame
target
color space
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010117030.6A
Other languages
English (en)
Other versions
CN111310690A (zh
Inventor
赵运基
周梦林
张楠楠
范存良
孔军伟
刘晓光
张新良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN202010117030.6A priority Critical patent/CN111310690B/zh
Publication of CN111310690A publication Critical patent/CN111310690A/zh
Application granted granted Critical
Publication of CN111310690B publication Critical patent/CN111310690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/28—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture specially adapted for farming

Abstract

本发明公开了一种基于CN和三通道胶囊网络的森林火灾识别方法和装置，识别方法包括以下步骤：构建森林火灾火焰的初始样本集合；获取初始样本集合中的每个样本的火焰区域图像，构建形成火焰样本集合；创建三通道CapsNet网络模型；通过Mnist数据集对单个的CapsNet网络进行训练，将对单个的CapsNet网络进行训练形成的参数迁移至三通道CapsNet网络模型中，三通道CapsNet网络模型中的总全连接层的参数通过随机初始化实现；通过火焰样本集合对三通道CapsNet网络模型进行二次训练，形成最终的火灾识别模型；应用CN算法构建火焰样本集合描述的主元颜色空间向量。本发明提高了火灾检测的实时性和有效性。

Description

基于CN和三通道胶囊网络的森林火灾识别方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于CN和三通道胶囊网络的森林火灾识别方法和装置。
背景技术
森林火灾是一种严重影响生态环境的因素之一。它给森林带来的危害是毁灭性的，给环境带来的危害也是毁灭性的。森林火灾一旦发生，扑灭难度较大。因此，对森林火灾的及时预警显得格外重要。
随着科技的进步，对森林火灾的预警取得了长足的进步。森林火灾检测方法有多种，基于图像识别的森林火灾检测算法较多。其中，有多种算法是基于颜色空间的火灾检测与识别算法。基于颜色的火灾识别算法在检测过程中无法摆脱颜色空间固有的缺陷——颜色容易受到光照的影响，最终造成基于颜色空间的火灾检测算法存在较高的误报率。
传统的卷积神经网络特征是基于局部信息的，而胶囊网络提取的特征是基于整体的，在数字识别，自然语言的理解中胶囊网络的优越性得到了有效的验证。胶囊网络不但能够提取到识别对象的局部特征，同时能够提取局部特征之间的相对信息，因此，将胶囊网络引入于火灾的识别。
火焰的不同位置特征之间存在某种约束关系，基于局部纹理的火灾识别类方法已经初步验证了火焰图像不同分布区域之间存在的约束关系。由于胶囊网络模型自身的应用局限性，如果直接应用CapsNet网络对整帧图像进行检测，则需要将整帧图像分块为不同的区域，然后针对不同的区域块应用预训练的火焰检测CapsNet网络进行检测，检测效率低下，应对实时性要求较高的场合则不能够满足要求。
同时传统的CapsNet网络应用在手写数字识别中时，由于手写数字是单通道的灰度图像，因此，CapsNet网络为单通道模型。火灾检测过程中，针对火焰区域的RGB三通道图像，RGB三通道之间存在一定的约束关系，因此，在识别火焰时为了提高识别的精确度，不但要考虑火焰图像局部区域之间的约束关系，同时也需要考虑不同通道之间的约束关系。
发明内容
为了克服基于颜色空间对火焰检测过程中受光照变换的影响，造成基于颜色空间描述的火灾检测算法误报率较高的缺陷，传统的卷积神经网络对局部特征之间约束关系相对较弱的描述能力，本发明提供一种基于CN和三通道胶囊网络的森林火灾识别方法和装置。
第一方面，本发明实施例公开了一种基于CN和三通道胶囊网络的森林火灾识别方法，其包括以下步骤：
选择不同光照条件下的森林火灾图像，构建森林火灾火焰的初始样本集合；所述初始样本集合包括正样本和负样本；
获取初始样本集合中的每个样本的火焰区域图像，构建形成火焰样本集合；正样本对应的火焰区域图像称为火焰正样本，负样本对应的火焰区域图像称为火焰负样本；
创建三通道CapsNet网络模型，所述三通道CapsNet网络模型包括三个 CapsNet网络和一个总全连接层，所述总连接层用于对三个CapsNet网络的输出进行连接；
通过Mnist数据集对单个的CapsNet网络进行训练，将对单个的CapsNet 网络进行训练形成的参数迁移至三通道CapsNet网络模型中的每一个CapsNet 网络中，三通道CapsNet网络模型中的总全连接层的参数通过随机初始化实现；通过火焰样本集合对三通道CapsNet网络模型进行二次训练，形成最终的火灾识别模型；
应用CN算法的颜色空间转换矩阵将火焰样本集合对应的RGB图像转换到 10维的多颜色空间，应用主元分析的方法在10维的多颜色空间中构建火焰样本集合描述的主元颜色空间向量；
采集目标图像，并将所述目标图像通过所述主元颜色空间向量进行投影变换，得到目标投影图像，在所述目标投影图像中应用阈值处理确定疑似火焰区域；
提取目标图像在疑似火焰区域中的部分，记为疑似火焰图像，获取所述疑似火焰图像的RGB图像，并将所述疑似火焰图像的RGB图像输入所述火灾识别模型，得到最终的识别结果。
作为一种优选实施例，应用CN算法的颜色空间转换矩阵将火焰样本集合对应的RGB图像转换到10维的多颜色空间，应用主元分析的方法在10维的多颜色空间中构建火焰样本集合描述的主元颜色空间向量，包括：
将火焰样本集合中的每一个样本，应用多颜色空间CN算法所提供的颜色空间转换矩阵将每一个样本对应的原始RGB图像投影到10个通道的多颜色空间，得到每一个样本的投影结果矩阵，将所述投影结果矩阵中心化，求解中心化后投影结果矩阵的协方差矩阵，将火焰样本集合中的所有样本获得的协方差矩阵进行求取均值的操作，以所述协方差矩阵的均值作为最终协方差矩阵，所述最终协方差矩阵为10×10维的矩阵，应用SVD分解求取所述最终协方差矩阵对应的特征值和特征向量，获得的最大特征值对应的特征向量即为主元颜色空间向量，所述主元颜色空间向量为10×1的矩阵。
作为一种优选实施例，将所述目标图像在所述主元颜色空间向量进行投影变换，得到目标投影图像，在所述目标投影图像中应用阈值处理确定疑似火焰区域，包括：
将采集到的目标图像转换为RGB的三通道图像，将所述RGB的三通道图像应用CN算法投影到10个通道的多颜色空间，获得目标初始投影结果图像，将所述目标初始投影结果图像在主元颜色空间向量上投影，获得所述目标投影图像；
对所述目标投影图像中进行腐蚀和膨胀的操作；然后对腐蚀和膨胀处理后的目标投影图像进行二值化，构建二值化图像，二值化的规则为像素值非零点的值为1，否则为0；
将所述二值化图像在X轴投影，得到X轴投影图像，确定所述X轴投影图像的非零值区域，并沿所述X轴投影图像的非零值区域对X轴投影图像进行分割；得到第一分割图像；将所述第一分割图像沿Y轴投影，得到Y轴投影图像，确定所述Y轴投影图像的非零值区域，并沿所述Y轴投影图像的非零值区域对 Y轴投影图像进行分割，得到第二分割图像，所述第二分割图像对应的目标投影图像的区域即为所述疑似火焰区域。
作为一种优选实施例，将所述目标标准化图像输入所述火灾识别模型，得到最终的识别结果，包括：
将所述目标标准化图像输入所述火灾识别模型，输出结果为2×1的向量，如果输出结果为
Figure BDA0002391806660000041
则表示所述疑似火焰图像中存在火焰；如果输出结果为/>
Figure BDA0002391806660000042
则表明所述疑似火焰图像中不存在火焰。
作为一种优选实施例，所述森林火灾识别方法还包括对所述识别结果进行判断：
如果所述目标图像中任一疑似火焰图像中存在火焰，则发出报警；
如果所述目标图像中所有的疑似火焰图像中均不存在火焰，则所述目标图像对应的位置未发现火灾。
第二方面，本发明实施例公开了一种基于CN和三通道胶囊网络的森林火灾识别装置，其包括：
选择模块，用于选择不同光照条件下的森林火灾图像，构建森林火灾火焰的初始样本集合；所述初始样本集合包括正样本和负样本；
获取模块，用于获取初始样本集合中的每个样本的火焰区域图像，构建形成火焰样本集合；正样本对应的火焰区域图像称为火焰正样本，负样本对应的火焰区域图像称为火焰负样本；
创建模块，用于创建三通道CapsNet网络模型，所述三通道CapsNet网络模型包括三个CapsNet网络和一个总全连接层，所述总连接层用于对三个CapsNet 网络的输出进行连接；
训练模块，用于通过Mnist数据集对单个的CapsNet网络进行训练，将对单个的CapsNet网络进行训练形成的参数迁移至三通道CapsNet网络模型中的每一个CapsNet网络中，三通道CapsNet网络模型中的总全连接层的参数通过随机初始化实现；通过火焰样本集合对三通道CapsNet网络模型进行二次训练，形成最终的火灾识别模型；
转换模块，用于应用CN算法的颜色空间转换矩阵将火焰样本集合对应的 RGB图像转换到10维的多颜色空间，应用主元分析的方法在10维的多颜色空间中构建火焰样本集合描述的主元颜色空间向量；
投影模块，用于采集目标图像，并将所述目标图像通过所述主元颜色空间向量进行投影变换，得到目标投影图像，在所述目标投影图像中应用阈值处理确定疑似火焰区域；
识别模块，用于提取目标图像在疑似火焰区域中的部分，记为疑似火焰图像，获取所述疑似火焰图像的RGB图像，并将所述疑似火焰图像的RGB图像输入所述火灾识别模型，得到最终的识别结果。
作为一种优选实施例，所述转换模块，包括：
将火焰样本集合中的每一个样本，应用多颜色空间CN算法所提供的颜色空间转换矩阵将每一个样本对应的原始RGB图像投影到10个通道的多颜色空间，得到每一个样本的投影结果矩阵，将所述投影结果矩阵中心化，求解中心化后投影结果矩阵的协方差矩阵，将火焰样本集合中的所有样本获得的协方差矩阵进行求取均值的操作，以所述协方差矩阵的均值作为最终协方差矩阵，所述最终协方差矩阵为10×10维的矩阵，应用SVD分解求取所述最终协方差矩阵对应的特征值和特征向量，获得的最大特征值对应的特征向量即为主元颜色空间向量，所述主元颜色空间向量为10×1的矩阵。
作为一种优选实施例，所述投影模块，包括：
投影单元，用于将采集到的目标图像转换为RGB的三通道图像，将所述 RGB的三通道图像应用CN算法投影到10个通道的多颜色空间，获得目标初始投影结果图像，将所述目标初始投影结果图像在主元颜色空间向量上投影，获得所述目标投影图像；
二值化单元，用于对所述目标投影图像中进行腐蚀和膨胀的操作；然后对腐蚀和膨胀处理后的目标投影图像进行二值化，构建二值化图像，二值化的规则为像素值非零点的值为1，否则为0；
分割单元，用于将所述二值化图像在X轴投影，得到X轴投影图像，确定所述X轴投影图像的非零值区域，并沿所述X轴投影图像的非零值区域对X轴投影图像进行分割；得到第一分割图像；将所述第一分割图像沿Y轴投影，得到Y轴投影图像，确定所述Y轴投影图像的非零值区域，并沿所述Y轴投影图像的非零值区域对Y轴投影图像进行分割，得到第二分割图像，所述第二分割图像对应的目标投影图像的区域即为所述疑似火焰区域。
作为一种优选实施例，所述识别模块，包括：
将所述目标标准化图像输入所述火灾识别模型，输出结果为2×1的向量，如果输出结果为
Figure BDA0002391806660000071
则表示所述疑似火焰图像中存在火焰；如果输出结果为/>
Figure BDA0002391806660000072
则表明所述疑似火焰图像中不存在火焰。
作为一种优选实施例，所述森林火灾识别装置还包括判断模块，用于：
如果所述目标图像中任一疑似火焰图像中存在火焰，则发出报警；
如果所述目标图像中所有的疑似火焰图像中均不存在火焰，则所述目标图像对应的位置未发现火灾。
本发明提供的基于CN和三通道胶囊网络的森林火灾识别方法和装置，应用多颜色空间主元描述确定疑似区域，然后应用三通道CapsNet网络进行疑似火焰图像识别的火灾在线检测方法，三通道的CapsNet网络不但能够提取火焰图像分布的约束信息，而且能够提取不同通道之间的火焰图像的约束信息，最终提高火焰识别的精度。为了实现模型的迁移学习训练，需要搜集森林火焰样本数据集，为了提高三通道CapsNet网络的泛化能力，所搜集的样本包含了林火的正样本和负样本。最终构建用于模型迁移学习的火焰样本集合。针对林火样本应用CN算法构建林火的主元颜色通道投影矩阵，应用主元颜色投影的方法对待检测图像帧进行预检，确定候选火焰区域。为了提高三通道CapsNet网络的识别精度，首先应用MNIST数据集对单通道的CapsNet网络模型进行训练，然后通过迁移学习的方式将单通道CapsNet网络相关的参数移植至三通道CapsNet网络模型，然后应用火焰样本集合的样本对三通道CapsNet网络模型的参数进行修正(其中，火焰正样本参三通道CapsNet网络模型的参数修正，而火焰负样本不参三通道CapsNet网络模型的参数修正)，最终构建出预训练的三通道CapsNet网络模型，以此三通道CapsNet网络模型用于对疑似火焰图像的识别；最终确定疑似火焰图像是否存在火灾，如果存在，通过5G无线传输的方式传输至服务器并报警。
相比现有技术，本发明的有益效果在于：
1、应用CN粗检和三通道CapsNet网络二次检测的方法实现森林火灾的识别，充分实现了CN检测的快速性能和三通道CapsNet精准检测的有效互补，提高了火灾检测的实时性和有效性；
2、采用粗检到细检(三通道CapsNet网络)的方式，有效的降低计算负担，从而降低硬件成本；
3、本发明提出的方法可以固化至一般的TX1，TX2，Edgebord等相关硬件设备上，并实现组网，对硬件计算能力的要求较低，可以大范围布置，提高森林火灾检测的精度。
附图说明
图1为本发明实施例一的基于CN和三通道胶囊网络的森林火灾识别方法的流程图；
图2为三通道CapsNet网络模型的结构示意图；
图3为疑似火焰区域获取的原理图；
图4为本发明实施例二的基于CN和三通道胶囊网络的森林火灾识别装置的结构框图。
具体实施方式
以下将结合附图，对本发明进行更为详细的描述，需要说明的是，下参照附图对本发明进行的描述仅是示意性的，而非限制性的。各个不同实施例之间可以进行相互组合，以构成未在以下描述中示出的其他实施例。
实施例一
本发明实施例一公开了一种基于CN和三通道胶囊网络的森林火灾识别方法，请参照图1所示，其包括以下步骤：
S110、选择不同光照条件下的森林火灾图像，构建森林火灾火焰的初始样本集合；所述初始样本集合包括正样本和负样本。
林火对象具有极强的特殊性，其小样本特性，在林火检测算法难以直接应用深度网络训练，将林火检测应用于实际检测系统仍然是一个具有挑战性的课题。为了保证样本的多样性和可行性，森林火灾图像的选取包含林火可能发生的大多数场景，本发明的火灾样本包括:白天、黑夜、阴天、晴天、小火点。负样本包括：夏季、秋季、冬季等。为了验证算法的鲁棒性，正样本中同时包含火和红色区域；负样本包括夕阳，火烧云等红色区域。为了验证算法的泛化能力将算法应用于DS2公认火灾样本集。表1给出本发明样本以及DS2样本集的信息。
表1 数据集介绍
Figure BDA0002391806660000091
针对对应的正负样本构建正负样本对应的样本标签值，正样本的标签值为
Figure BDA0002391806660000092
负样本对应的标签值为/>
Figure BDA0002391806660000093
S120、获取初始样本集合中的每个样本的火焰区域图像，构建形成火焰样本集合；正样本对应的火焰区域图像称为火焰正样本，负样本对应的火焰区域图像称为火焰负样本。
火焰区域图像的获取方式可以是人工方式得到。火焰区域图像主要用于对后续的三通道CapsNet网络模型进行训练使用，训练时，为火焰区域图像的RGB 三通道图像，分别输入三通道CapsNet网络模型的三个CapsNet网络中。
S130、创建三通道CapsNet网络模型，所述三通道CapsNet网络模型包括三个CapsNet网络和一个总全连接层，所述总连接层用于对三个CapsNet网络的输出进行连接。
三通道CapsNet网络模型如图2所示，三个CapsNet网络分别是R通道 CapsNet网络、G通道CapsNet网络和B通道CapsNet网络，三个CapsNet网络均输出16×2的矩阵(也可以写成2×16的矩阵)，总全连接层将三个CapsNet 网络的输出进行连接，输出16×2的矩阵。
每个CapsNet网络均包括卷积层、主胶囊层、数字胶囊层和全连接层，其中，卷积层、主胶囊层和数字胶囊层用于编码，全连接层用于解码。
S140、通过Mnist数据集对单个的CapsNet网络进行训练，将对单个的 CapsNet网络进行训练形成的参数迁移至三通道CapsNet网络模型中的每一个 CapsNet网络中，三通道CapsNet网络模型中的总全连接层的参数通过随机初始化实现；通过火焰样本集合对三通道CapsNet网络模型进行二次训练，形成最终的火灾识别模型。
手写数字样本Mnist训练的单个的CapsNet网络。CapsNet原始的手写数字识别模型中，Mnist数据集提供了6万张用于训练和测试的手写数字。从Mnist 数据集中选择5万张手写数字图像用于CapsNet网络结构相关的参数训练。最终用Mnist数据集中剩余1万张对训练的模型进行测试，测试完成后，形成初始CapsNet网络模型。
将训练完成的初始CapsNet网络模型中相关的参数迁移至本发明基于CN和CapsNet的火灾检测方法的三通道CapsNet网络模型中，具体是：初始CapsNet 网络模型的卷积层参数、主胶囊层参数、数字胶囊层参数以及全连接层参数均迁移至三个CapsNet网络的卷积层、主胶囊层、数字胶囊层以及全连接层。无法迁移的结构参数(主要是全连接层)采用随机初始化的方式进行初始化，形成初始火灾识别模型。初始火灾识别模型中，采用火焰样本集合中的样本图像对其进行二次训练，也即是迁移学习的过程。
训练过程中对于火焰负样本不需要进行解码重建。模型训练的目标是确保样本的标签与识别标签之间的误差最小，解码重建的三通道图像与输入三通道 CapsNet模型的误差最小。通过火焰正、负样本的训练最终构建出用于识别火焰的三通道CapsNet模型，即形成最终的火灾识别模型。
S150、应用CN算法的颜色空间转换矩阵将火焰样本集合对应的RGB图像转换到10维的多颜色空间，应用主元分析的方法在10维的多颜色空间中构建火焰样本集合描述的主元颜色空间向量。
选择的火焰集合中的每一个样本，应用CN算法提供的RGB颜色空间提供的多颜色空间投影矩阵将每一个样本对应的原始RGB图像(这里的原始RGB 图像是指初始样本集合中的火焰样本区域图像，即为灰度化的图像)投影到10 维的多颜色空间，得到每一个样本的投影结果矩阵，将所述投影结果矩阵中心化，求解中心化后投影结果矩阵的协方差矩阵，将火焰样本集合中的所有样本获得的协方差矩阵进行求取均值的操作，以所述协方差矩阵的均值作为最终协方差矩阵，所述最终协方差矩阵为10×10维的矩阵，应用SVD分解求取所述最终协方差矩阵对应的特征值和特征向量，获得的最大特征值对应的特征向量即为主元颜色空间向量，所述主元颜色空间向量为10×1的矩阵。
S160、采集目标图像，并将所述目标图像在所述主元颜色空间向量进行投影变换，得到目标投影图像，在所述目标投影图像中应用阈值处理确定疑似火焰区域。
将采集到的目标图像转换为RGB三通道图像mi×ni×3，通过应用CN算法提供的32768×10的转换矩阵，将原始的RGB彩色三通道图像投影到10个通道的颜色空间，获得目标初始投影结果图像mi×ni×10，将目标初始投影结果图像在主元颜色空间向量上投影，也即是在10×1的向量上投影，最终获得目标投影图像mi×ni。
在获得目标投影图像mi×ni中进行腐蚀和膨胀的处理。图3给出了投影结果图像经过腐蚀膨胀处理后确定候选目标区域的示例。对腐蚀和膨胀处理后的结果图像进行二值化，二值化的规则为像素值非零点的值为1，否则为0。最终构建二值化的图像。将二值化的图像在X轴投影，确定投影结果的非零值区域，并沿非零值区域对原始图像进行分割(第一分割图像)。分割结果的图像沿Y 轴投影，相同的方法确定非零区域(第二分割图像，即图3中的候选目标区域)，通过第二分割图像的投影(第二分割图像对应的目标投影图像上的位置)的方法最终确定火灾的区域。
S170、提取目标图像在疑似火焰区域中的部分，记为疑似火焰图像，获取所述疑似火焰图像的RGB图像，并将所述疑似火焰图像的RGB图像输入所述火灾识别模型，得到最终的识别结果。
依据步骤S160确定的疑似火焰区域相关参数坐标(Xtj,Ytj,Wtj,Htj)确定目标图像中对应该疑似火焰区域的候选目标(即疑似火焰图像)的三通道图像矩阵，Xtj为第j个疑似火焰区域的最大横坐标，Ytj为第j个疑似火焰区域的最大纵坐标，Wtj为第j个疑似火焰区域的长度，Htj为第j个疑似火焰区域的宽度。
获取所述疑似火焰图像的RGB三个通道的图像，火灾识别模型要求的输入图像大小为28×28，三个通道的要求大小一致。但是，实际检测结果的图像大小很难保证为大小为28×28的图像区域。如果疑似火焰图像大小不符合要求，通常情况下进行强制的尺度变换，将最终的检测结果图像转换为28×28的大小。为了降低由于强制的尺度变换对火焰形状造成的影响，对最终的识别结果造成的影响，在确定疑似火焰区域的过程中，确保疑似火焰区域中的矩形区域为正方形区域，也即是矩形区域的宽高比比值为1(Wtj＝Htj)。
在检测到疑似火焰区域后，第j个疑似火灾区域对应的目标图像的三通道图像矩阵表示为Mj×Mj×3。为了能够实现疑似火灾区域图像正常输入火灾识别模型，需要对疑似火灾区域对应的目标图像进行转换。通过强制的尺度变换，将第j个疑似火焰图像Mj×Mj×3转换为28×28×3。
将转换结果图像按照对应的通道输入火灾识别模型，如果最终输出向量的结果为
Figure BDA0002391806660000131
则表示该疑似火焰图像中存在火焰，如果输出的结果为/>
Figure BDA0002391806660000132
则表明对应的疑似火焰图像中不存在火焰图像，最终确定第j个疑似火焰图像中是否存在火焰图像。相同的方法对所有的疑似火焰图像进行识别，最终给出所有疑似火焰图像的识别结果。
S180、对所述识别结果进行判断。
如果确定了疑似火焰图像中存在火焰，则给出采集到的图像中存在火焰的信息，通过报警网络给出相关的报警信息。报警信息包括但不限于火灾可能发生的时间、位置。
如果所述目标图像中所有的疑似火焰图像中均不存在火焰，则所述目标图像对应的位置未发现火灾。
实施例二
实施例二公开了一种基于CN和CapsNet的森林火灾在线识别装置，为上述实施例的虚拟装置，请参照图4所示，其包括：
选择模块210，用于选择不同光照条件下的森林火灾图像，构建森林火灾火焰的初始样本集合；所述初始样本集合包括正样本和负样本；
获取模块220，用于获取初始样本集合中的每个样本的火焰区域图像，构建形成火焰样本集合；正样本对应的火焰区域图像称为火焰正样本，负样本对应的火焰区域图像称为火焰负样本；
创建模块230，用于创建三通道CapsNet网络模型，所述三通道CapsNet网络模型包括三个CapsNet网络和一个总全连接层，所述总连接层用于对三个 CapsNet网络的输出进行连接；
训练模块240，用于通过Mnist数据集对单个的CapsNet网络进行训练，将对单个的CapsNet网络进行训练形成的参数迁移至三通道CapsNet网络模型中的每一个CapsNet网络中，三通道CapsNet网络模型中的总全连接层的参数通过随机初始化实现；通过火焰样本集合对三通道CapsNet网络模型进行二次训练，形成最终的火灾识别模型；
转换模块250，用于应用CN算法的颜色空间转换矩阵将火焰样本集合对应的RGB图像转换到10维的多颜色空间，应用主元分析的方法在10维的多颜色空间中构建火焰样本集合描述的主元颜色空间向量；
投影模块260，用于采集目标图像，并将所述目标图像通过所述主元颜色空间向量进行投影变换，得到目标投影图像，在所述目标投影图像中应用阈值处理确定疑似火焰区域；
识别模块270，用于提取目标图像在疑似火焰区域中的部分，记为疑似火焰图像，获取所述疑似火焰图像的RGB图像，并将所述疑似火焰图像的RGB图像输入所述火灾识别模型，得到最终的识别结果。
进一步地，所述转换模块，包括：将火焰样本集合中的每一个样本，应用多颜色空间CN算法所提供的颜色空间转换矩阵将每一个样本对应的原始RGB 图像投影到10个通道的多颜色空间，得到每一个样本的投影结果矩阵，将所述投影结果矩阵中心化，求解中心化后投影结果矩阵的协方差矩阵，将火焰样本集合中的所有样本获得的协方差矩阵进行求取均值的操作，以所述协方差矩阵的均值作为最终协方差矩阵，所述最终协方差矩阵为10×10维的矩阵，应用 SVD分解求取所述最终协方差矩阵对应的特征值和特征向量，获得的最大特征值对应的特征向量即为主元颜色空间向量，所述主元颜色空间向量为10×1的矩阵。
进一步地，所述投影模块，包括：
投影单元，用于将采集到的目标图像转换为RGB的三通道图像，将所述 RGB的三通道图像应用CN算法投影到10个通道的多颜色空间，获得目标初始投影结果图像，将所述目标初始投影结果图像在主元颜色空间向量上投影，获得所述目标投影图像；
二值化单元，用于对所述目标投影图像中进行腐蚀和膨胀的操作；然后对腐蚀和膨胀处理后的目标投影图像进行二值化，构建二值化图像，二值化的规则为像素值非零点的值为1，否则为0；
分割单元，用于将所述二值化图像在X轴投影，得到X轴投影图像，确定所述X轴投影图像的非零值区域，并沿所述X轴投影图像的非零值区域对X轴投影图像进行分割；得到第一分割图像；将所述第一分割图像沿Y轴投影，得到Y轴投影图像，确定所述Y轴投影图像的非零值区域，并沿所述Y轴投影图像的非零值区域对Y轴投影图像进行分割，得到第二分割图像，所述第二分割图像对应的目标投影图像的区域即为所述疑似火焰区域。
进一步地，所述识别模块，包括：将所述目标标准化图像输入所述火灾识别模型，输出结果为2×1的向量，如果输出结果为
Figure BDA0002391806660000161
则表示所述疑似火焰图像中存在火焰；如果输出结果为/>
Figure BDA0002391806660000162
则表明所述疑似火焰图像中不存在火焰。
进一步地，所述森林火灾识别装置还包括判断模块，用于：
如果所述目标图像中任一疑似火焰图像中存在火焰，则发出报警；
如果所述目标图像中所有的疑似火焰图像中均不存在火焰，则所述目标图像对应的位置未发现火灾。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器 (Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory， RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台电子设备(可以是手机，个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述基于CN和三通道胶囊网络的森林火灾识别装置的实施例中，所包括的各个模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (10)

1.一种基于CN和三通道胶囊网络的森林火灾识别方法，其特征在于，其包括以下步骤：
选择不同光照条件下的森林火灾图像，构建森林火灾火焰的初始样本集合；所述初始样本集合包括正样本和负样本；
获取初始样本集合中的每个样本的火焰区域图像，构建形成火焰样本集合；正样本对应的火焰区域图像称为火焰正样本，负样本对应的火焰区域图像称为火焰负样本；
创建三通道CapsNet网络模型，所述三通道CapsNet网络模型包括三个CapsNet网络和一个总全连接层，总连接层用于对三个CapsNet网络的输出进行连接；
通过Mnist数据集对单个的CapsNet网络进行训练，将对单个的CapsNet网络进行训练形成的参数迁移至三通道CapsNet网络模型中的每一个CapsNet网络中，三通道CapsNet网络模型中的总全连接层的参数通过随机初始化实现；通过火焰样本集合对三通道CapsNet网络模型进行二次训练，形成最终的火灾识别模型；
应用CN算法的颜色空间转换矩阵将火焰样本集合对应的RGB图像转换到10维的多颜色空间，应用主元分析的方法在10维的多颜色空间中构建火焰样本集合描述的主元颜色空间向量；
采集目标图像，并将所述目标图像通过所述主元颜色空间向量进行投影变换，得到目标投影图像，在所述目标投影图像中应用阈值处理确定疑似火焰区域；
提取目标图像在疑似火焰区域中的部分，记为疑似火焰图像，获取所述疑似火焰图像的RGB图像，并将所述疑似火焰图像的RGB图像输入所述火灾识别模型，得到最终的识别结果。
2.如权利要求1所述的基于CN和三通道胶囊网络的森林火灾识别方法，其特征在于，应用CN算法的颜色空间转换矩阵将火焰样本集合对应的RGB图像转换到10维的多颜色空间，应用主元分析的方法在10维的多颜色空间中构建火焰样本集合描述的主元颜色空间向量，包括：
将火焰样本集合中的每一个样本，应用多颜色空间CN算法所提供的颜色空间转换矩阵将每一个样本对应的原始RGB图像投影到10个通道的多颜色空间，得到每一个样本的投影结果矩阵，将所述投影结果矩阵中心化，求解中心化后投影结果矩阵的协方差矩阵，将火焰样本集合中的所有样本获得的协方差矩阵进行求取均值的操作，以所述协方差矩阵的均值作为最终协方差矩阵，所述最终协方差矩阵为10×10维的矩阵，应用SVD分解求取所述最终协方差矩阵对应的特征值和特征向量，获得的最大特征值对应的特征向量即为主元颜色空间向量，所述主元颜色空间向量为10×1的矩阵。
3.如权利要求2所述的基于CN和三通道胶囊网络的森林火灾识别方法，其特征在于，将所述目标图像在所述主元颜色空间向量进行投影变换，得到目标投影图像，在所述目标投影图像中应用阈值处理确定疑似火焰区域，包括：
将采集到的目标图像转换为RGB的三通道图像，将所述RGB的三通道图像应用CN算法投影到10个通道的多颜色空间，获得目标初始投影结果图像，将所述目标初始投影结果图像在主元颜色空间向量上投影，获得所述目标投影图像；
对所述目标投影图像中进行腐蚀和膨胀的操作；然后对腐蚀和膨胀处理后的目标投影图像进行二值化，构建二值化图像，二值化的规则为像素值非零点的值为1，否则为0；
将所述二值化图像在X轴投影，得到X轴投影图像，确定所述X轴投影图像的非零值区域，并沿所述X轴投影图像的非零值区域对X轴投影图像进行分割；得到第一分割图像；将所述第一分割图像沿Y轴投影，得到Y轴投影图像，确定所述Y轴投影图像的非零值区域，并沿所述Y轴投影图像的非零值区域对Y轴投影图像进行分割，得到第二分割图像，所述第二分割图像对应的目标投影图像的区域即为所述疑似火焰区域。
4.如权利要求1-3任一项所述的基于CN和三通道胶囊网络的森林火灾识别方法，其特征在于，将所述目标标准化图像输入所述火灾识别模型，得到最终的识别结果，包括：
将所述目标标准化图像输入所述火灾识别模型，输出结果为2×1的向量，如果输出结果为
Figure FDA0002391806650000031
则表示所述疑似火焰图像中存在火焰；如果输出结果为
Figure FDA0002391806650000032
则表明所述疑似火焰图像中不存在火焰。
5.如权利要求4所述的基于CN和三通道胶囊网络的森林火灾识别方法，其特征在于，所述森林火灾识别方法还包括对所述识别结果进行判断：
如果所述目标图像中任一疑似火焰图像中存在火焰，则发出报警；
如果所述目标图像中所有的疑似火焰图像中均不存在火焰，则所述目标图像对应的位置未发现火灾。
6.一种基于CN和三通道胶囊网络的森林火灾识别装置，其特征在于，其包括：
选择模块，用于选择不同光照条件下的森林火灾图像，构建森林火灾火焰的初始样本集合；所述初始样本集合包括正样本和负样本；
获取模块，用于获取初始样本集合中的每个样本的火焰区域图像，构建形成火焰样本集合；正样本对应的火焰区域图像称为火焰正样本，负样本对应的火焰区域图像称为火焰负样本；
创建模块，用于创建三通道CapsNet网络模型，所述三通道CapsNet网络模型包括三个CapsNet网络和一个总全连接层，总连接层用于对三个CapsNet网络的输出进行连接；
训练模块，用于通过Mnist数据集对单个的CapsNet网络进行训练，将对单个的CapsNet网络进行训练形成的参数迁移至三通道CapsNet网络模型中的每一个CapsNet网络中，三通道CapsNet网络模型中的总全连接层的参数通过随机初始化实现；通过火焰样本集合对三通道CapsNet网络模型进行二次训练，形成最终的火灾识别模型；
转换模块，用于应用CN算法的颜色空间转换矩阵将火焰样本集合对应的RGB图像转换到10维的多颜色空间，应用主元分析的方法在10维的多颜色空间中构建火焰样本集合描述的主元颜色空间向量；
投影模块，用于采集目标图像，并将所述目标图像通过所述主元颜色空间向量进行投影变换，得到目标投影图像，在所述目标投影图像中应用阈值处理确定疑似火焰区域；
识别模块，用于提取目标图像在疑似火焰区域中的部分，记为疑似火焰图像，获取所述疑似火焰图像的RGB图像，并将所述疑似火焰图像的RGB图像输入所述火灾识别模型，得到最终的识别结果。
7.如权利要求6所述的基于CN和三通道胶囊网络的森林火灾识别装置，其特征在于，所述转换模块，包括：
将火焰样本集合中的每一个样本，应用多颜色空间CN算法所提供的颜色空间转换矩阵将每一个样本对应的原始RGB图像投影到10个通道的多颜色空间，得到每一个样本的投影结果矩阵，将所述投影结果矩阵中心化，求解中心化后投影结果矩阵的协方差矩阵，将火焰样本集合中的所有样本获得的协方差矩阵进行求取均值的操作，以所述协方差矩阵的均值作为最终协方差矩阵，所述最终协方差矩阵为10×10维的矩阵，应用SVD分解求取所述最终协方差矩阵对应的特征值和特征向量，获得的最大特征值对应的特征向量即为主元颜色空间向量，所述主元颜色空间向量为10×1的矩阵。
8.如权利要求7所述的基于CN和三通道胶囊网络的森林火灾识别装置，其特征在于，所述投影模块，包括：
投影单元，用于将采集到的目标图像转换为RGB的三通道图像，将所述RGB的三通道图像应用CN算法投影到10个通道的多颜色空间，获得目标初始投影结果图像，将所述目标初始投影结果图像在主元颜色空间向量上投影，获得所述目标投影图像；
二值化单元，用于对所述目标投影图像中进行腐蚀和膨胀的操作；然后对腐蚀和膨胀处理后的目标投影图像进行二值化，构建二值化图像，二值化的规则为像素值非零点的值为1，否则为0；
分割单元，用于将所述二值化图像在X轴投影，得到X轴投影图像，确定所述X轴投影图像的非零值区域，并沿所述X轴投影图像的非零值区域对X轴投影图像进行分割；得到第一分割图像；将所述第一分割图像沿Y轴投影，得到Y轴投影图像，确定所述Y轴投影图像的非零值区域，并沿所述Y轴投影图像的非零值区域对Y轴投影图像进行分割，得到第二分割图像，所述第二分割图像对应的目标投影图像的区域即为所述疑似火焰区域。
9.如权利要求6-8任一项所述的基于CN和三通道胶囊网络的森林火灾识别装置，其特征在于，所述识别模块，包括：
将所述目标标准化图像输入所述火灾识别模型，输出结果为2×1的向量，如果输出结果为
Figure FDA0002391806650000061
则表示所述疑似火焰图像中存在火焰；如果输出结果为
Figure FDA0002391806650000062
则表明所述疑似火焰图像中不存在火焰。
10.如权利要求9所述的基于CN和三通道胶囊网络的森林火灾识别装置，其特征在于，所述森林火灾识别装置还包括判断模块，用于：
如果所述目标图像中任一疑似火焰图像中存在火焰，则发出报警；
如果所述目标图像中所有的疑似火焰图像中均不存在火焰，则所述目标图像对应的位置未发现火灾。
CN202010117030.6A 2020-02-25 2020-02-25 基于cn和三通道胶囊网络的森林火灾识别方法及装置 Active CN111310690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010117030.6A CN111310690B (zh) 2020-02-25 2020-02-25 基于cn和三通道胶囊网络的森林火灾识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010117030.6A CN111310690B (zh) 2020-02-25 2020-02-25 基于cn和三通道胶囊网络的森林火灾识别方法及装置

Publications (2)

Publication Number Publication Date
CN111310690A CN111310690A (zh) 2020-06-19
CN111310690B true CN111310690B (zh) 2023-03-24

Family

ID=71148069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010117030.6A Active CN111310690B (zh) 2020-02-25 2020-02-25 基于cn和三通道胶囊网络的森林火灾识别方法及装置

Country Status (1)

Country Link
CN (1) CN111310690B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113395491A (zh) * 2021-06-11 2021-09-14 上海海事大学 船舶机舱远程监测报警系统
CN113408488B (zh) * 2021-07-19 2022-11-25 中南大学 基于胶囊网络的火焰目标识别方法、设备及介质
CN115512507A (zh) * 2022-09-22 2022-12-23 中交四航局江门航通船业有限公司 一种船舶机舱的安全监控方法、系统、装置及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101592524B (zh) * 2009-07-07 2011-02-02 中国科学技术大学 基于类间方差的modis森林火灾火点检测方法
US10726326B2 (en) * 2016-02-24 2020-07-28 International Business Machines Corporation Learning of neural network
CN109635814B (zh) * 2018-12-21 2022-11-04 河南理工大学 基于深度神经网络的森林火灾自动检测方法和装置

Also Published As

Publication number Publication date
CN111310690A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN111310690B (zh) 基于cn和三通道胶囊网络的森林火灾识别方法及装置
CN109840556B (zh) 一种基于孪生网络的图像分类识别方法
CN110889449A (zh) 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法
CN111222434A (zh) 基于局部二值模式和深度学习的合成人脸图像取证方法
CN110033040B (zh) 一种火焰识别方法、系统、介质和设备
TW201732651A (zh) 一種單詞的分割方法和裝置
CN108921120B (zh) 一种适应广泛零售场景下的香烟识别方法
CN108154133B (zh) 基于非对称联合学习的人脸画像-照片识别方法
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN111768415A (zh) 一种无量化池化的图像实例分割方法
CN111291712B (zh) 基于插值的cn和胶囊网络的森林火灾识别方法及装置
WO2024021461A1 (zh) 缺陷检测方法及装置、设备、存储介质
CN108537223B (zh) 一种车牌检测方法、系统及设备和存储介质
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN114581646A (zh) 文本识别方法、装置、电子设备及存储介质
CN110135428B (zh) 图像分割处理方法和装置
CN116977750B (zh) 土地覆盖场景分类模型构建方法及分类方法
CN111353412A (zh) 端到端的3D-CapsNet火焰检测方法及装置
CN116543333A (zh) 电力系统的目标识别方法、训练方法、装置、设备和介质
CN116188361A (zh) 一种基于深度学习的铝型材表面缺陷分类方法及装置
CN114119970B (zh) 目标跟踪方法及装置
CN112396638A (zh) 一种图像处理方法、终端和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant