CN109635814A - 基于深度神经网络的森林火灾自动检测方法和装置 - Google Patents

基于深度神经网络的森林火灾自动检测方法和装置 Download PDF

Info

Publication number
CN109635814A
CN109635814A CN201811567947.5A CN201811567947A CN109635814A CN 109635814 A CN109635814 A CN 109635814A CN 201811567947 A CN201811567947 A CN 201811567947A CN 109635814 A CN109635814 A CN 109635814A
Authority
CN
China
Prior art keywords
image
fitting
fire
combination
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811567947.5A
Other languages
English (en)
Other versions
CN109635814B (zh
Inventor
赵运基
张海波
张新良
马义超
范存良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN201811567947.5A priority Critical patent/CN109635814B/zh
Publication of CN109635814A publication Critical patent/CN109635814A/zh
Application granted granted Critical
Publication of CN109635814B publication Critical patent/CN109635814B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/28—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture specially adapted for farming

Abstract

本发明公开了一种基于深度神经网络的森林火灾自动检测方法，其包括以下步骤：对训练样本图像进行拟合，获取拟合后的拟合图像集，寻求组合图像；获取所述组合图像中的最优数字组合；将待检测图像拟合得到初始处理图像；采用自适应阈值分割法选定初始处理图像的候选区域，并对所述候选区域进行分割，得到疑似火灾图像；构建基于空间尺度HOG池化的卷积神经网络模型，将所述疑似火灾图像输入至所述卷积神经网络模型，当存在两个或以上的火灾时，则所述待检测图像存在火灾点。本发明还提供了一种基于深度神经网络的森林火灾自动检测装置。本发明通过多通道融合后的融合图像集训练创建树状CNN模型，进而获取发生火灾的概率，精度高。

Description

基于深度神经网络的森林火灾自动检测方法和装置
技术领域
本发明涉及图像处理技术领域，具体为一种基于深度神经网络的森林火灾自动检测方法和装置。
背景技术
火灾是一种人为灾害，造成经济、社会、生态的灾难。为了降低灾害的损失，火灾的检测具有非常重要的意义。随着深度神经网络算法的不断发展完善，学术界出现了多种基于深度神经网络的森林火灾检测算法。其中，基于CNN(Convolutional Neural Network)的火灾检测方法应用较为广泛。传统的CNN算法要求输入图像尺寸固定，而在基于图像的火灾检测中，通常获得的疑似火灾区域的尺寸不能满足CNN网络的尺寸要求。为了满足CNN网络的要求，需要对图像进行变形、剪裁等处理，这种处理的结果可能造成失真，影响最终的识别结果。同时传统的CNN网络的池化方法基本采用最大、平均值池化的方法。这类方法没有考虑特征图像中像素间的几何关系。
发明内容
为了克服现有技术的不足，本发明的目的之一在于提供一种基于深度神经网络的森林火灾自动检测方法，其将SPP应用于CNN，解决输入图像的尺度转换问题；通过验证，该方法识别率较高，鲁棒性较强。
本发明的目的之二在于提供一种基于深度神经网络的森林火灾自动检测装置，其将SPP应用于CNN，解决输入图像的尺度转换问题；通过验证，该方法识别率较高，鲁棒性较强。
为实现上述目的之一，本发明提供如下技术方案：
一种基于深度神经网络的森林火灾自动检测方法，包括以下步骤：
对训练样本图像进行拟合，获取拟合后的拟合图像集，寻求拟合图像集中火焰区域和背景区域的对比度最大的一组拟合图像作为组合图像；
获取所述组合图像中各个拟合图像的RGB三通道系数，将各个拟合图像的RGB三通道系数的组合定义为最优数字组合；
将待检测图像通过所述最优数字组合进行RGB三通道拟合，得到初始处理图像；
采用自适应阈值分割法选定初始处理图像的候选区域，并对所述候选区域进行分割，分割后的图像，记为疑似火灾图像；
构建基于空间尺度HOG池化的卷积神经网络模型，将所述疑似火灾图像输入至所述卷积神经网络模型，当存在两个或以上的疑似火灾图像经卷积神经网络模型的输出结果为火灾时，则所述待检测图像存在火灾点。
优选地，所述对训练样本图像进行拟合，获取拟合后的拟合图像集，包括：
对所述训练样本图像的R，G，B三个通道的图像按照公式(1)所示进行拟合，得到拟合图像集：
I(xi,yi)＝{k1*R(xi，yi)+k2*G(xi,yi)+k3*B(xi,yi)|k∈[-2 -1 0 1 2]} (1)
其中，(xi,yi)为训练样本图像，I(xi,yi)代表训练样本图像(xi,yi)的拟合图像集，R(xi,yi)、G(xi,yi)和B(xi,yi)分别代表训练样本图像(xi,yi)在RGB色彩空间下的红色通道图像、绿色通道图像和蓝色通道图像；k为拟合系数，k＝k1，k2，k3；k1、k2、k3分别为训练样本图像(xi,yi)的R，G，B三个通道的图像的拟合系数。
优选地，所述得到拟合图像集之后还包括：
消除拟合系数冗余项的拟合图像，所述消除的拟合系数冗余项的拟合图像为：
I(xi,yi)＝{k1*R(xi,yi)+k2*G(xi,yi)+k3*B(xi,yi)|k1＝k2＝k3}。
优选地，获取所述组合图像中各个拟合图像的RGB三通道系数，将各个拟合图像的RGB三通道系数的组合定义为最优数字组合，包括：
获取所述组合图像中各个拟合图像的RGB三通道系数，设定组合图像中拟合图像的个数为n个，第j个拟合图像的RGB三通道系数为(Rj、Gj、Bj)；1≤j≤n；
将各个拟合图像的RGB三通道系数的组合定义为最优数字组合：
其中：P(R、G、B)为最优数字组合。
优选地，采用自适应阈值分割法选定初始处理图像的候选区域，并对所述候选区域进行分割，分割后的图像，记为疑似火灾图像，包括：
采用自适应阈值分割法选定初始处理图像中疑似火灾的候选区域；
通过矩形框对候选区域进行分割，分割后的矩形框内的图像记为疑似火灾图像；
所述矩形框内的图像的像素点不少于1000个。
优选地，构建基于空间尺度HOG池化的卷积神经网络模型，包括：
创建卷积神经网络模型，所述卷积神经网络模型包括六层，按照对疑似火灾图像的处理顺序依次为：第一卷积层、第一池化层、第二卷积层、SP-HOGP层、全连接层和输出层；
所述SP-HOGP层采用SPP的结构，池化选择为计算区域中的HOG特征作为池化方式；
依据网络火灾图像创建火灾样本数据集合，火灾样本包括正样本和负样本，正样本标签设置为[10]，负样本标签设置为[01]；应用火灾样本数据对卷积神经网络模型进行训练并测试，调整SP-HOGP层中最后一组区域分割的数目，获得最终的基于空间尺度HOG池化的卷积神经网络模型。
本发明的目的之二采用如下技术方案实现：
一种基于深度神经网络的森林火灾自动检测装置，其包括：
拟合模块，用于对训练样本图像进行拟合，获取拟合后的拟合图像集，寻求拟合图像集中火焰区域和背景区域的对比度最大的一组拟合图像作为组合图像；
获取模块，用于获取所述组合图像中各个拟合图像的RGB三通道系数，将各个拟合图像的RGB三通道系数的组合定义为最优数字组合；
初始处理模块，用于将待检测图像通过所述最优数字组合进行RGB三通道拟合，得到初始处理图像；
分割模块，用于采用自适应阈值分割法选定初始处理图像的候选区域，并对所述候选区域进行分割，分割后的图像，记为疑似火灾图像；
检测模块，用于构建基于空间尺度HOG池化的卷积神经网络模型，将所述疑似火灾图像输入至所述卷积神经网络模型，当存在两个或以上的疑似火灾图像经卷积神经网络模型的输出结果为火灾时，则所述待检测图像存在火灾点。
优选地，所述对训练样本图像进行拟合，获取拟合后的拟合图像集，包括：
对所述训练样本图像的R，G，B三个通道的图像按照公式(2)所示进行拟合，得到拟合图像集：
I(xi,yi)＝{k1*R(xi,yi)+k2*G(xi,yi)+k3*B(xi,yi)|k∈[-2 -1 0 1 2]} (2)
其中，(xi,yi)为训练样本图像，I(xi,yi)代表训练样本图像(xi,yi)的拟合图像集，R(xi,yi)、G(xi,yi)和B(xi,yi)分别代表训练样本图像(xi,yi)在RGB色彩空间下的红色通道图像、绿色通道图像和蓝色通道图像；k为拟合系数，k＝k1，k2，k3；k1、k2、k3分别为训练样本图像(xi,yi)的R，G，B三个通道的图像的拟合系数。
优选地，获取所述组合图像中各个拟合图像的RGB三通道系数，将各个拟合图像的RGB三通道系数的组合定义为最优数字组合，包括：
获取所述组合图像中各个拟合图像的RGB三通道系数，设定组合图像中拟合图像的个数为n个，第j个拟合图像的RGB三通道系数为(Rj、Gj、Bj)；1≤j≤n；
将各个拟合图像的RGB三通道系数的组合定义为最优数字组合：
其中：P(R、G、B)为最优数字组合。
优选地，采用自适应阈值分割法选定初始处理图像的候选区域，并对所述候选区域进行分割，分割后的图像，记为疑似火灾图像，包括：
采用自适应阈值分割法选定初始处理图像中疑似火灾的候选区域；
通过矩形框对候选区域进行分割，分割后的矩形框内的图像记为疑似火灾图像；
所述矩形框内的图像的像素点不少于1000个；
构建基于空间尺度HOG池化的卷积神经网络模型，包括：
创建卷积神经网络模型，所述卷积神经网络模型包括六层，按照对疑似火灾图像的处理顺序依次为：第一卷积层、第一池化层、第二卷积层、SP-HOGP层、全连接层和输出层；
所述SP-HOGP层采用SPP的结构，池化选择为计算区域中的HOG特征作为池化方式；
依据网络火灾图像创建火灾样本数据集合，火灾样本包括正样本和负样本，正样本标签设置为[10]，负样本标签设置为[01]；应用火灾样本数据对卷积神经网络模型进行训练并测试，调整SP-HOGP层中最后一组区域分割的数目，获得最终的基于空间尺度HOG池化的卷积神经网络模型。
与现有技术相比，本发明基于深度神经网络的森林火灾自动检测方法和装置，其有益效果在于：本发明将SPP(Spatial Pyramid Pooling)应用于CNN，解决输入图像的尺度转换问题；同时在SPP的池化过程中采用了方向梯度直方图池化的方法，在特征中加入像素间的相对位置关系；为了获得较高的识别精度，识别特征的提取充分考虑各个卷积层特征，通过验证，该方法识别率较高，鲁棒性较强。
附图说明
图1为本发明实施例一基于深度神经网络的森林火灾自动检测方法的流程图；
图2为一种训练样本图像的实例；
图3为图2训练样本图像拟合后的拟合图像集；
图4为一种待检测图像的实例；
图5为图4中待检测图像经过通道拟合获得的初始处理图像；
图6为候选区域的定位示意图；
图7为初始处理图像的矩形框位置示意图；
图8为卷积神经网络模型的结构图；
图9为HOG计算示意图；
图10为本发明实施例二基于深度神经网络的森林火灾自动检测装置的结构示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
实施例一
请参照图1所示，一种基于深度神经网络的森林火灾自动检测方法，包括以下步骤：
110、对训练样本图像进行拟合，获取拟合后的拟合图像集，寻求拟合图像集中火焰区域和背景区域的对比度最大的一组拟合图像作为组合图像。
应用网络图像作为训练样本图像构建森林火灾数据集合。训练样本图像区域中着火点在局部区域，因此，需要粗略定位着火点。着火点的定位通过多样本训练得到。由于训练样本图像是彩色图像，本发明的识别网络为单通道图像的识别，因此，需要将彩色图像转换为单通道图像。多通道图像转换为单通道图像采用多通道图像拟合加局部调优的方法实现。
首先，将训练样本图像(xi,yi)位置的R，G，B三通道图像经过公式(3)进行拟合，并规范为0～255之间，拟合后的像素值为I(xi,yi)：
I(xi,yi)＝{k1*R(xi,yi)+k2*G(xi,yi)+k3*B(xi,yi)|k∈[-2 -1 0 1 2]} (3)
其中，(xi,yi)为训练样本图像，I(xi,yi)代表训练样本图像(xi,yi)的拟合图像集，R(xi,yi)、G(xi,yi)和B(xi,yi)分别代表训练样本图像(xi,yi)在RGB色彩空间下的红色通道图像、绿色通道图像和蓝色通道图像；k为拟合系数，k＝k1，k2，k3；k1、k2、k3分别为训练样本图像(xi,yi)的R，G，B三个通道的图像的拟合系数。
然后，消除拟合系数冗余项的拟合图像，所述消除的拟合系数冗余项的拟合图像为：
I(xi,yi)＝{k1*R(xi,yi)+k2*G(xi,yi)+k3*B(xi,yi)|k1＝k2＝k3}。
如图2所示的一幅训练样本图像，通过拟合可以获得图3所示的49幅拟合图像。
通过在森林火灾数据集合中实验，寻求拟合图像集中火焰区域和背景区域的对比度最大的一组拟合图像作为组合图像，该组拟合图像的数量根据需要进行设置，在本发明较佳的实施例中，该组拟合图像的数量设定为3个。
120、获取所述组合图像中各个拟合图像的RGB三通道系数，将各个拟合图像的RGB三通道系数的组合定义为最优数字组合；
获取所述组合图像中各个拟合图像的RGB三通道系数，设定组合图像中拟合图像的个数为n个，第j个拟合图像的RGB三通道系数为(Rj、Gj、Bj)；1≤j≤n；
将各个拟合图像的RGB三通道系数的组合定义为最优数字组合：
其中：P(R、G、B)为最优数字组合。
通过实验验证，图3中的第19，23，32个拟合图像中火焰区域与背景区域的对比最为明显，因此，该组合图像为第19、23、32个拟合图像。第19、23、32个拟合图像的RGB三通道系数分别为：(-2，1，1)、(-2，2，0)、(-1，-1，2)。因此，本发明选择这三组RGB三通道系数组合作为三通道图像拟合的最优数字组合。最优数字组合的系数为(-5，2，3)。
130、将待检测图像通过所述最优数字组合进行RGB三通道拟合，得到初始处理图像。
图4示出了一个待检测图像，图5为该待检测图像经过最优数字组合进行RGB三通道拟合后得到的初始处理图像。
140、采用自适应阈值分割法选定初始处理图像的候选区域，并对所述候选区域进行分割，分割后的图像，记为疑似火灾图像。
获取初始处理图像，采用自适应阈值分割法选定初始处理图像疑似火灾区域的候选区域，具体是：应用腐蚀膨胀对初始处理图像进行处理，采用阈值自适应的方法选定候选区域，并用最小的矩形框形成对候选区域的包络，图像中检测到的候选区域为疑似火灾区域，依据候选区域的大小选定分割数目。如图6和7所示，由于经过阈值处理后选定的候选区域的大小为509×271，将候选区域分为16个矩形框，为确保每个疑似火灾图像在运算过程中输出特征数据具有足够的描述能力，矩形框中像素点数目超过1000个。为了便于计算，候选区域设置为矩形，分割成的矩形框的长宽采用等分的方式进行。
150、构建基于空间尺度HOG池化的卷积神经网络模型，将所述疑似火灾图像输入至所述卷积神经网络模型，当存在两个或以上的疑似火灾图像经卷积神经网络模型的输出结果为火灾时，则所述待检测图像存在火灾点。
创建卷积神经网络模型，请参照图8所示，火灾识别的卷积神经网络模型包括六层，按照对疑似火灾图像的处理顺序依次为：第一卷积层、第一池化层、第二卷积层、SP-HOGP层、全连接层和输出层；其中，第一卷积层的卷积核选择为6个5×5矩阵；第一池化层的池化层选择为1/2降采样；第二卷积层的卷积核选择为12个5×5矩阵；SP-HOGP层采用SPP的结构，池化选择为计算区域中的HOG特征作为池化方式。
依据网络火灾图像创建火灾样本数据集合，火灾样本包括正样本和负样本，正样本标签设置为[10]，负样本标签设置为[01]；应用火灾样本数据对卷积神经网络模型进行训练并测试，调整SP-HOGP层中最后一组区域分割的数目，获得最终的基于空间尺度HOG池化的卷积神经网络模型。如图8所示SP-HOGP层中最后一组区域分割的数目选择为12×9×8-d，也可选择为12×16×8-d，依据测试结果调整选择测量。最终选择为12×9×8-d。为了确保SPP-HOGP层具有方向鲁棒性，HOG特征在计算过程中进行了旋转处理，处理的依据为整个HOG的最大幅值方向为主方向，主方向定义为0～45°。主方向确定如图9所示。
将所述疑似火灾图像直接输入至最终的基于空间尺度HOG池化的卷积神经网络模型，当存在两个或以上的疑似火灾图像经卷积神经网络模型的输出结果为火灾时，则所述待检测图像存在火灾点。由于本发明的模型采用了空间金字塔式的池化策略，因此，在切割后的图像不需要进行尺度等调整。同时，在图像区域中应用HOG，提取了图像的几何特征，提高了识别的精度。
实施例二
请参照图10所示，一种基于深度神经网络的森林火灾自动检测装置，其包括：
拟合模块210，用于对训练样本图像进行拟合，获取拟合后的拟合图像集，寻求拟合图像集中火焰区域和背景区域的对比度最大的一组拟合图像作为组合图像；
获取模块220，用于获取所述组合图像中各个拟合图像的RGB三通道系数，将各个拟合图像的RGB三通道系数的组合定义为最优数字组合；
初始处理模块230，用于将待检测图像通过所述最优数字组合进行RGB三通道拟合，得到初始处理图像；
分割模块240，用于采用自适应阈值分割方法选定初始处理图像的疑似火灾区域，并分割出各个疑似火灾区域的图像，记为疑似火灾图像；
检测模块250，用于构建基于空间尺度HOG池化的卷积神经网络模型，将所述疑似火灾图像输入至所述卷积神经网络模型，当存在两个或以上的疑似火灾图像经卷积神经网络模型的输出结果为火灾时，则所述待检测图像存在火灾点。
优选地，所述对训练样本图像进行拟合，获取拟合后的拟合图像集，包括：
对所述训练样本图像的R，G，B三个通道的图像按照公式(4)所示进行拟合，得到拟合图像集：
I(xi,yi)＝{k1*R(xi,yi)+k2*G(xi,yi)+k3*B(xi,yi)|k∈[-2 -1 0 1 2]} (4)
其中，(xi,yi)为训练样本图像，I(xi,yi)代表训练样本图像(xi,yi)的拟合图像集，R(xi,yi)、G(xi,yi)和B(xi,yi)分别代表训练样本图像(xi,yi)在RGB色彩空间下的红色通道图像、绿色通道图像和蓝色通道图像；k为拟合系数，k＝k1，k2，k3；k1、k2、k3分别为训练样本图像(xi,yi)的R，G，B三个通道的图像的拟合系数。
优选地，获取所述组合图像中各个拟合图像的RGB三通道系数，将各个拟合图像的RGB三通道系数的组合定义为最优数字组合，包括：
获取所述组合图像中各个拟合图像的RGB三通道系数，设定组合图像中拟合图像的个数为n个，第j个拟合图像的RGB三通道系数为(Rj、Gj、Bj)；1≤j≤n；
将各个拟合图像的RGB三通道系数的组合定义为最优数字组合：
其中：P(R、G、B)为最优数字组合。
优选地，采用自适应阈值分割方法选定初始处理图像的疑似火灾区域，并分割出各个疑似火灾区域的图像，记为疑似火灾图像，包括：
采用自适应阈值分割方法通过矩形框选定初始处理图像的疑似火灾区域；
依据所述矩形框对初始处理图像进行分割，分割后的矩形框内的图像记为疑似火灾图像；
所述矩形框内的图像的像素点不少于1000个；
构建基于空间尺度HOG池化的卷积神经网络模型，包括：
创建卷积神经网络模型，所述卷积神经网络模型包括六层，按照对疑似火灾图像的处理顺序依次为：第一卷积层、第一池化层、第二卷积层、SP-HOGP层、全连接层和输出层；
所述SP-HOGP层采用SPP的结构，池化选择为计算区域中的HOG特征作为池化方式；
依据网络火灾图像创建火灾样本数据集合，火灾样本包括正样本和负样本，正样本标签设置为[10]，负样本标签设置为[01]；应用火灾样本数据对卷积神经网络模型进行训练并测试，调整SP-HOGP层中最后一组区域分割的数目，获得最终的基于空间尺度HOG池化的卷积神经网络模型。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.一种基于深度神经网络的森林火灾自动检测方法，其特征在于，包括以下步骤：
对训练样本图像进行拟合，获取拟合后的拟合图像集，寻求拟合图像集中火焰区域和背景区域的对比度最大的一组拟合图像作为组合图像；
获取所述组合图像中各个拟合图像的RGB三通道系数，将各个拟合图像的RGB三通道系数的组合定义为最优数字组合；
将待检测图像通过所述最优数字组合进行RGB三通道拟合，得到初始处理图像；
采用自适应阈值分割法选定初始处理图像的候选区域，并对所述候选区域进行分割，分割后的图像，记为疑似火灾图像；
构建基于空间尺度HOG池化的卷积神经网络模型，将所述疑似火灾图像输入至所述卷积神经网络模型，当存在两个或以上的疑似火灾图像经卷积神经网络模型的输出结果为火灾时，则所述待检测图像存在火灾点。
2.根据权利要求1所述的基于深度神经网络的森林火灾自动检测方法，其特征在于，所述对训练样本图像进行拟合，获取拟合后的拟合图像集，包括：
对所述训练样本图像的R，G，B三个通道的图像按照公式(1)所示进行拟合，得到拟合图像集：
I(xi,yi)＝{k1*R(xi,yi)+k2*G(xi,yi)+k3*B(xi,yi)|k∈[-2 -1 0 1 2]} (1)
其中，(xi,yi)为训练样本图像，I(xi,yi)代表训练样本图像(xi,yi)的拟合图像集，R(xi,yi)、G(xi,yi)和B(xi,yi)分别代表训练样本图像(xi,yi)在RGB色彩空间下的红色通道图像、绿色通道图像和蓝色通道图像；k为拟合系数，k＝k1，k2，k3；k1、k2、k3分别为训练样本图像(xi,yi)的R，G，B三个通道的图像的拟合系数。
3.根据权利要求2所述的基于深度神经网络的森林火灾自动检测方法，其特征在于，所述得到拟合图像集之后还包括：
消除拟合系数冗余项的拟合图像，所述消除的拟合系数冗余项的拟合图像为：
I(xi,yi)＝{k1*R(xi,yi)+k2*G(xi,yi)+k3*B(xi,yi)|k1＝k2＝k3}。
4.根据权利要求2所述的基于深度神经网络的森林火灾自动检测方法，其特征在于，获取所述组合图像中各个拟合图像的RGB三通道系数，将各个拟合图像的RGB三通道系数的组合定义为最优数字组合，包括：
获取所述组合图像中各个拟合图像的RGB三通道系数，设定组合图像中拟合图像的个数为n个，第j个拟合图像的RGB三通道系数为(Rj、Gj、Bj)；1≤j≤n；
将各个拟合图像的RGB三通道系数的组合定义为最优数字组合：
其中：P(R、G、B)为最优数字组合。
5.根据权利要求1所述的基于深度神经网络的森林火灾自动检测方法，其特征在于，采用自适应阈值分割法选定初始处理图像的候选区域，并对所述候选区域进行分割，分割后的图像，记为疑似火灾图像，包括：
采用自适应阈值分割法选定初始处理图像中疑似火灾的候选区域；
通过矩形框对候选区域进行分割，分割后的矩形框内的图像记为疑似火灾图像；
所述矩形框内的图像的像素点不少于1000个。
6.根据权利要求1所述的基于深度神经网络的森林火灾自动检测方法，其特征在于，构建基于空间尺度HOG池化的卷积神经网络模型，包括：
创建卷积神经网络模型，所述卷积神经网络模型包括六层，按照对疑似火灾图像的处理顺序依次为：第一卷积层、第一池化层、第二卷积层、SP-HOGP层、全连接层和输出层；
所述SP-HOGP层采用SPP的结构，池化选择为计算区域中的HOG特征作为池化方式；
依据网络火灾图像创建火灾样本数据集合，火灾样本包括正样本和负样本，正样本标签设置为[10]，负样本标签设置为[01]；应用火灾样本数据对卷积神经网络模型进行训练并测试，调整SP-HOGP层中最后一组区域分割的数目，获得最终的基于空间尺度HOG池化的卷积神经网络模型。
7.一种基于深度神经网络的森林火灾自动检测装置，其特征在于，其包括：
拟合模块，用于对训练样本图像进行拟合，获取拟合后的拟合图像集，寻求拟合图像集中火焰区域和背景区域的对比度最大的一组拟合图像作为组合图像；
获取模块，用于获取所述组合图像中各个拟合图像的RGB三通道系数，将各个拟合图像的RGB三通道系数的组合定义为最优数字组合；
初始处理模块，用于将待检测图像通过所述最优数字组合进行RGB三通道拟合，得到初始处理图像；
分割模块，用于采用自适应阈值分割法选定初始处理图像的候选区域，并对所述候选区域进行分割，分割后的图像，记为疑似火灾图像；
检测模块，用于构建基于空间尺度HOG池化的卷积神经网络模型，将所述疑似火灾图像输入至所述卷积神经网络模型，当存在两个或以上的疑似火灾图像经卷积神经网络模型的输出结果为火灾时，则所述待检测图像存在火灾点。
8.根据权利要求7所述的基于深度神经网络的森林火灾自动检测装置，其特征在于，所述对训练样本图像进行拟合，获取拟合后的拟合图像集，包括：
对所述训练样本图像的R，G，B三个通道的图像按照公式(2)所示进行拟合，得到拟合图像集：
I(xi,yi)＝{k1*R(xi,yi)+k2*G(xi,yi)+k3*B(xi,yi)|k∈[-2 -1 0 1 2]} (2)
其中，(xi,yi)为训练样本图像，I(xi,yi)代表训练样本图像(xi,yi)的拟合图像集，R(xi,yi)、G(xi,yi)和B(xi,yi)分别代表训练样本图像(xi,yi)在RGB色彩空间下的红色通道图像、绿色通道图像和蓝色通道图像；k为拟合系数，k＝k1，k2，k3；k1、k2、k3分别为训练样本图像(xi,yi)的R，G，B三个通道的图像的拟合系数。
9.根据权利要求8所述的基于深度神经网络的森林火灾自动检测装置，其特征在于，获取所述组合图像中各个拟合图像的RGB三通道系数，将各个拟合图像的RGB三通道系数的组合定义为最优数字组合，包括：
获取所述组合图像中各个拟合图像的RGB三通道系数，设定组合图像中拟合图像的个数为n个，第j个拟合图像的RGB三通道系数为(Rj、Gj、Bj)；1≤j≤n；
将各个拟合图像的RGB三通道系数的组合定义为最优数字组合：
其中：P(R、G、B)为最优数字组合。
10.根据权利要求7所述的基于深度神经网络的森林火灾自动检测装置，其特征在于，采用自适应阈值分割法选定初始处理图像的候选区域，并对所述候选区域进行分割，分割后的图像，记为疑似火灾图像，包括：
采用自适应阈值分割法选定初始处理图像中疑似火灾的候选区域；
通过矩形框对候选区域进行分割，分割后的矩形框内的图像记为疑似火灾图像；
所述矩形框内的图像的像素点不少于1000个；
构建基于空间尺度HOG池化的卷积神经网络模型，包括：
创建卷积神经网络模型，所述卷积神经网络模型包括六层，按照对疑似火灾图像的处理顺序依次为：第一卷积层、第一池化层、第二卷积层、SP-HOGP层、全连接层和输出层；
所述SP-HOGP层采用SPP的结构，池化选择为计算区域中的HOG特征作为池化方式；
依据网络火灾图像创建火灾样本数据集合，火灾样本包括正样本和负样本，正样本标签设置为[10]，负样本标签设置为[01]；应用火灾样本数据对卷积神经网络模型进行训练并测试，调整SP-HOGP层中最后一组区域分割的数目，获得最终的基于空间尺度HOG池化的卷积神经网络模型。
CN201811567947.5A 2018-12-21 2018-12-21 基于深度神经网络的森林火灾自动检测方法和装置 Active CN109635814B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811567947.5A CN109635814B (zh) 2018-12-21 2018-12-21 基于深度神经网络的森林火灾自动检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811567947.5A CN109635814B (zh) 2018-12-21 2018-12-21 基于深度神经网络的森林火灾自动检测方法和装置

Publications (2)

Publication Number Publication Date
CN109635814A true CN109635814A (zh) 2019-04-16
CN109635814B CN109635814B (zh) 2022-11-04

Family

ID=66076093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811567947.5A Active CN109635814B (zh) 2018-12-21 2018-12-21 基于深度神经网络的森林火灾自动检测方法和装置

Country Status (1)

Country Link
CN (1) CN109635814B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211133A (zh) * 2019-05-27 2019-09-06 中国农业大学 带叶树木的安全防护策略获取方法、装置与电子设备
CN110378421A (zh) * 2019-07-19 2019-10-25 西安科技大学 一种基于卷积神经网络的煤矿火灾识别方法
CN110895701A (zh) * 2019-06-12 2020-03-20 河南理工大学 基于cn和fhog的森林火灾在线识别方法及装置
CN111291712A (zh) * 2020-02-25 2020-06-16 河南理工大学 基于插值的cn和胶囊网络的森林火灾识别方法及装置
CN111310690A (zh) * 2020-02-25 2020-06-19 河南理工大学 基于cn和三通道胶囊网络的森林火灾识别方法及装置
CN111523528A (zh) * 2020-07-03 2020-08-11 平安国际智慧城市科技股份有限公司 基于规模识别模型的策略发送方法、装置和计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013017395B3 (de) * 2013-10-19 2014-12-11 IQ Wireless Entwicklungsges. für Systeme und Technologien der Telekommunikation mbH Verfahren und Vorrichtung zur automatisierten Waldbrandfrüherkennung mittels optischer Detektion von Rauchwolken
CN106250845A (zh) * 2016-07-28 2016-12-21 北京智芯原动科技有限公司 基于卷积神经网络的火焰检测方法及装置
CN108597172A (zh) * 2018-04-16 2018-09-28 河南理工大学 一种森林火灾识别方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013017395B3 (de) * 2013-10-19 2014-12-11 IQ Wireless Entwicklungsges. für Systeme und Technologien der Telekommunikation mbH Verfahren und Vorrichtung zur automatisierten Waldbrandfrüherkennung mittels optischer Detektion von Rauchwolken
CN106250845A (zh) * 2016-07-28 2016-12-21 北京智芯原动科技有限公司 基于卷积神经网络的火焰检测方法及装置
CN108597172A (zh) * 2018-04-16 2018-09-28 河南理工大学 一种森林火灾识别方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
厉谨等: "一种新型的图像型火灾识别算法的研究", 《江苏师范大学学报(自然科学版)》 *
张开生等: "基于K-means和颜色模型的林火辨识方法研究", 《电子技术应用》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211133A (zh) * 2019-05-27 2019-09-06 中国农业大学 带叶树木的安全防护策略获取方法、装置与电子设备
CN110895701A (zh) * 2019-06-12 2020-03-20 河南理工大学 基于cn和fhog的森林火灾在线识别方法及装置
CN110895701B (zh) * 2019-06-12 2023-03-24 河南理工大学 基于cn和fhog的森林火灾在线识别方法及装置
CN110378421A (zh) * 2019-07-19 2019-10-25 西安科技大学 一种基于卷积神经网络的煤矿火灾识别方法
CN111291712A (zh) * 2020-02-25 2020-06-16 河南理工大学 基于插值的cn和胶囊网络的森林火灾识别方法及装置
CN111310690A (zh) * 2020-02-25 2020-06-19 河南理工大学 基于cn和三通道胶囊网络的森林火灾识别方法及装置
CN111523528A (zh) * 2020-07-03 2020-08-11 平安国际智慧城市科技股份有限公司 基于规模识别模型的策略发送方法、装置和计算机设备
CN111523528B (zh) * 2020-07-03 2020-10-20 平安国际智慧城市科技股份有限公司 基于规模识别模型的策略发送方法、装置和计算机设备

Also Published As

Publication number Publication date
CN109635814B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN109635814A (zh) 基于深度神经网络的森林火灾自动检测方法和装置
CN105631880B (zh) 车道线分割方法和装置
CN107330453B (zh) 基于分步识别和融合关键部位检测的色情图像识别方法
CN104050471B (zh) 一种自然场景文字检测方法及系统
CN108960135B (zh) 基于高分辨遥感图像的密集舰船目标精确检测方法
CN110276264B (zh) 一种基于前景分割图的人群密度估计方法
CN109859171A (zh) 一种基于计算机视觉和深度学习的楼面缺陷自动检测方法
CN101630363B (zh) 复杂背景下彩色图像人脸的快速检测方法
WO2016165082A1 (zh) 基于深度学习的图像隐写检测方法
CN110363134B (zh) 一种基于语义分割的人脸遮挡区定位方法
CN107767413A (zh) 一种基于卷积神经网络的图像深度估计方法
CN108520516A (zh) 一种基于语义分割的桥梁路面裂缝检测和分割方法
CN109598268A (zh) 一种基于单流深度网络的rgb-d显著目标检测方法
CN106204779A (zh) 基于多人脸数据采集策略和深度学习的课堂考勤方法
CN108960404B (zh) 一种基于图像的人群计数方法及设备
CN108960141A (zh) 基于增强型深度卷积神经网络的行人再识别方法
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
CN110136110A (zh) 光伏组件缺陷的检测方法和装置
CN111914761A (zh) 一种热红外人脸识别的方法及系统
CN110267101B (zh) 一种基于快速三维拼图的无人机航拍视频自动抽帧方法
CN114078218B (zh) 一种自适应融合的森林烟火识别数据增广方法
CN111582093A (zh) 一种基于计算机视觉和深度学习的高分辨率图像中小目标自动检测方法
CN109961013A (zh) 车道线的识别方法、装置、设备及计算机可读存储介质
CN108776777A (zh) 一种基于Faster RCNN的遥感影像对象间空间关系的识别方法
CN112784779A (zh) 一种基于特征金字塔多级特征融合的遥感影像场景分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant