CN114723959A - 一种基于颜色边缘深度感知的火灾检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于颜色边缘深度感知的火灾检测方法及系统，包括：获取待识别图像，并将所述待识别图像输入至火灾检测模型，以使所述火灾检测模型对所述待识别图像进行特征提取，获得所述待识别图像的第一颜色特征图和第一边缘特征图，并对所述第一颜色特征图和所述第一边缘特征图合并后的第一特征图进行隐式特征提取，继而根据隐式特征提取结果，输出火灾检测结果。本发明所公开的火灾检测模型为一种二阶段特征提取架构，包括显式特征提取阶段与隐式特征提取阶段，实现对图像颜色、边缘、空间细节和深度的特征提取。同时，通过对火灾检测模型内部架构的优化，进一步简化模型，降低模型的计算量，提升模型的处理速度与准确率。

Description

一种基于颜色边缘深度感知的火灾检测方法及系统

技术领域

本发明涉及火灾检测领域，尤其涉及一种基于颜色边缘深度感知的火灾检测方法及系统。

背景技术

在时间或空间上失去控制的燃烧所导致的火灾通常伴随着严重的财产损失与人身损害。从中国应急管理部消防救援局相关数据统计分析，农村地区火灾比重偏大，大火概率偏高，火灾现在当场身亡人员占比高；同时居民住宅失火是火灾致死的主要原因，此类火灾防范面临挑战严峻；此外工商文娱场所人员聚集、生产经营设施集中、用电用油用气负荷大、成品原材料堆积，一旦发生火灾极易蔓延扩大，造成伤亡损失，此类火灾过火面积大且往往造成较大社会影响。除了主动地在各方面预防可能的火情发生，最有效的方式在就是在火灾早期即时控制住火情避免进一步蔓延造成严重后果。

在不同场景下火灾探测的重难点各有不同，但目前的火情探测系统仍多基于传统的传感器，如烟雾传感器、温度传感器、红外传感器等。这类基于传感器的火情探测系统由于传感器存在的各种缺陷与限制条件使得其难以在各种复杂的作用环境中都做到有效，即时的火情预警。而随着监控探头的快速普及，其高覆盖率与实时性的特点使得基于监控视频的实时火情监测技术发展迅速。在监控探头的影像数据中，火情监测问题就是一类特定的图像分类或目标监测任务，现有的基于视觉的火情监测方法主要有两种，分别是基于传统计算机视觉的方法与基于深度学习的方法。基于传统的计算机视觉方法依靠手工提取的特征与基本的图像处理技术达到火情监测的目的，如颜色、形状、纹理等。这类方法在简单的火焰检测中有着优良的表现，但难以推广应用到其他复杂场景中。深度学习作为计算机视觉的前沿技术，通过非线性表达式提取数据中的高级抽象特征，能够在分类与检测任务中取得更高的精度，其中卷积神经网络 (Convolutional neural network，CNN)在图像数据的分类与监测方面性能优越。目前为止已有许多经典的卷积神经网络架构被提出，如AlexNet、VGGNet、 GoogLeNet、ResNet、EfficientNet、HRNet等。尤其是Li等人在2020年提出的efficient fire detection network(EFDNet)，模型大小4.8MB且分别在其制作的FD－dataset数据集与challenging test set数据集上取得了95.3％与 81.4％的准确率。

智慧城市的建设，5G、物联网、边缘计算、云计算等技术的快速发展，为基于监控探头的实时火灾探测监测技术的实施打下了坚实的基础。但受限与边缘监测设备的资源与性能限制，基于深度学习的火情监测方法需要在准确性、模型大小以及监测速度之间进行权衡。目前效果最优的EFDNet参数量较大，不便于在资源有限的移动设备上嵌入进行实时的火情监测，且在监测的速度与精度上仍有可提高的空间。

发明内容

本发明提供了一种基于颜色边缘深度感知的火灾检测方法及系统，以解决现有的火灾检测方法计算量较大、监测效率低，导致构建的网络模型较大，嵌入网络模型的移动设备受限的技术问题。

为了解决上述技术问题，本发明实施例提供了一种基于颜色边缘深度感知的火灾检测方法，包括：

获取待识别图像，并将所述待识别图像输入至火灾检测模型，以使所述火灾检测模型对所述待识别图像进行特征提取，获得所述待识别图像的第一颜色特征图和第一边缘特征图，并对所述第一颜色特征图和所述第一边缘特征图合并后的第一特征图进行隐式特征提取，继而根据隐式特征提取结果，输出火灾检测结果；

其中，所述火灾检测模型为二阶段特征提取架构，所述二阶段特征提取架构包括显式特征提取阶段与隐式特征提取阶段，所述显式特征提取阶段用于对输入图像进行颜色特征提取和边缘特征提取，所述隐式特征提取阶段用于对输入的颜色特征图和边缘特征图进行合并，并对合并图像进行隐式特征提取。

进一步地，所述第一颜色特征图的获取，具体为：

通过第一卷积层提取所述待识别图像的各颜色通道的初始特征信息，并采用通道混洗操作交换所述各颜色通道的初始特征信息，然后通过第二卷积层得到所述待识别图像的通道特征信息；

通过恒等映射的第三卷积层，匹配所述第一颜色特征图的大小与通道数；

结合所述待识别图像的通道特征信息和所述第一颜色特征图的大小与通道数，获得所述第一颜色特征图。

进一步地，所述第一边缘特征图的获取，具体为：

通过第四卷积层，计算所述待识别图像在四个方向上的导数，进而得到四个方向上的梯度图像，以提取所述待识别图像在相应方向上的初始边缘特征，并通过第五卷积层进一步提取所述待识别图像的边缘特征；其中，所述第四卷积层包括四个固定卷积核权重的子分支卷积，分别对应索贝尔算子模板卷积的四个方向子分支；

通过恒等映射的第三卷积层，匹配所述第一边缘特征图的大小与通道数；

结合所述待识别图像的边缘特征和所述第一边缘特征图的大小与通道数，获得所述第一边缘特征图。

进一步地，所述对所述第一颜色特征图和所述第一边缘特征图合并后的第一特征图进行隐式特征提取，包括：

将所述第一颜色特征图和所述第一边缘特征图合并得到第一特征图；

通过第六卷积层，对所述第一特征图进行通道数交换，提取小尺度特征，得到所述第一特征图对应的第一细节特征图；

分别通过第七卷积层和第八卷积层，捕捉所述第一特征图的大尺度感受野中的局部空间细节特征和中尺度感受野中的局部空间细节特征，得到所述第一特征图对应的第二细节特征图和第三细节特征图；

通过第九卷积层，捕捉所述第一特征图的中尺度感受野中的关键特征，得到所述第一特征图对应的第四细节特征图；

将所述第一细节特征图、所述第二细节特征图、所述第三细节特征图、所述第四细节特征图合并，得到所述第一特征图对应的第二特征图，并将所述第二特征图作为所述第一特征图，对所述第二特征图进行迭代处理，每次迭代处理时根据当前的所述第一特征图更新所述第二特征图，直至满足预设的操作次数，并将当前的所述第二特征图作为所述第一特征图对应的第三特征图。

进一步地，在所述将当前的第二特征图作为所述第一特征图对应的第三特征图之后，还包括对所述第三特征图进行深度特征提取，具体为：

通过基层堆叠残差网络结构的操作，提取所述第三特征图的初始深度特征，得到所述第三特征图对应的第四特征图；

根据所述第三特征图的尺寸，结合降维层的平均池化操作，调整所述第四特征图的尺寸至预设的范围内，得到所述第四特征图对应的第五特征图；

采用高效通道注意力机制，对所述第五特征图进行第一全局平均池化操作，得到对应的通道级特征向量，并按照预设的初始深度特征提取流程，对所述第五特征图进行初始深度特征提取，获得所述第五特征图对应的第六特征图，并将所述第六特征图作为所述第三特征图，对所述第二特征图进行迭代处理，每次迭代处理时根据当前的所述第三特征图更新所述第六特征图，直至满足预设的处理次数，并将当前的所述第六特征图作为所述第三特征图对应的第七特征图，完成对所述第三特征图的深度特征提取。

进一步地，所述根据隐式特征提取结果，输出火灾检测结果，具体为：

将第三特征图对应的第七特征图输入至分类层，对所述第七特征图进行批标准化操作和第二全局平均池化操作，提取所述第七特征图的关键特征；

根据提取结果，结合Softmax分类器的分类计算，将所述待识别图像中是否存在火焰的分类结果作为所述火灾检测结果，并输出所述火灾检测结果。

作为优选方案，所述二阶段特征提取架构使用的激活函数为PReLU激活函数。

为了解决相同的技术问题，本发明还提供了一种基于颜色边缘深度感知的火灾检测系统，包括：输入模块、显式特征提取模块、隐式特征提取模块和结果输出模块；

其中，所述输入模块，用于获取待识别图像，并将所述待识别图像输入至火灾检测模型；其中，所述火灾检测模型为二阶段特征提取架构，所述二阶段特征提取架构包括显式特征提取阶段与隐式特征提取阶段，所述显式特征提取阶段用于对输入图像进行颜色特征提取和边缘特征提取，所述隐式特征提取阶段用于对输入的颜色特征图和边缘特征图进行合并，并对合并图像进行隐式特征提取；

所述显式特征提取模块，用于使所述火灾检测模型对所述待识别图像进行特征提取，获得所述待识别图像的第一颜色特征图和第一边缘特征图；

所述隐式特征提取模块，用于对所述第一颜色特征图和所述第一边缘特征图合并后的第一特征图进行隐式特征提取，得到隐式特征提取结果；

所述结果输出模块，用于根据所述隐式特征提取结果，输出火灾检测结果。

进一步地，所述显式特征提取模块，还包括：颜色特征提取单元、第一合并单元、边缘特征提取单元和第二合并单元；

其中，所述颜色特征提取单元，用于通过第一卷积层提取所述待识别图像的各颜色通道的初始特征信息，并采用通道混洗操作交换所述各颜色通道的初始特征信息，然后通过第二卷积层得到所述待识别图像的通道特征信息，并通过恒等映射的第三卷积层，匹配所述第一颜色特征图的大小与通道数；

所述第一合并单元，用于结合所述待识别图像的通道特征信息和所述第一颜色特征图的大小与通道数，获得所述第一颜色特征图；

所述边缘特征提取单元，用于通过第四卷积层，计算所述待识别图像在四个方向上的导数，进而得到四个方向上的梯度图像，以提取所述待识别图像在相应方向上的初始边缘特征，并通过第五卷积层进一步提取所述待识别图像的边缘特征，并通过恒等映射的第三卷积层，匹配所述第一边缘特征图的大小与通道数；其中，所述第四卷积层包括四个固定卷积核权重的子分支卷积，分别对应索贝尔算子模板卷积的四个方向子分支；

所述第二合并单元，用于结合所述待识别图像的边缘特征和所述第一边缘特征图的大小与通道数，获得所述第一边缘特征图。

进一步地，所述隐式特征提取模块，还包括：细节特征提取单元、第一迭代单元、深度特征提取单元和第二迭代单元；

其中，所述细节特征提取单元，用于将所述第一颜色特征图和所述第一边缘特征图合并得到第一特征图，并通过第六卷积层，对所述第一特征图进行通道数交换，提取小尺度特征，得到所述第一特征图对应的第一细节特征图，同时分别通过第七卷积层和第八卷积层，捕捉所述第一特征图的大尺度感受野中的局部空间细节特征和中尺度感受野中的局部空间细节特征，得到所述第一特征图对应的第二细节特征图和第三细节特征图，并通过第九卷积层，捕捉所述第一特征图的中尺度感受野中的关键特征，得到所述第一特征图对应的第四细节特征图；

所述第一迭代单元，用于将所述第一细节特征图、所述第二细节特征图、所述第三细节特征图、所述第四细节特征图合并，得到所述第一特征图对应的第二特征图，并将所述第二特征图作为所述第一特征图，对所述第二特征图进行迭代处理，每次迭代处理时根据当前的所述第一特征图更新所述第二特征图，直至满足预设的操作次数，并将当前的所述第二特征图作为所述第一特征图对应的第三特征图；

所述深度特征提取单元，用于通过基层堆叠残差网络结构的操作，提取所述第三特征图的初始深度特征，得到所述第三特征图对应的第四特征图，并根据所述第三特征图的尺寸，结合降维层的平均池化操作，调整所述第四特征图的尺寸至预设的范围内，得到所述第四特征图对应的第五特征图；

所述第二迭代单元，用于采用高效通道注意力机制，对所述第五特征图进行第一全局平均池化操作，得到对应的通道级特征向量，并按照预设的初始深度特征提取流程，对所述第五特征图进行初始深度特征提取，获得所述第五特征图对应的第六特征图，并将所述第六特征图作为所述第三特征图，对所述第二特征图进行迭代处理，每次迭代处理时根据当前的所述第三特征图更新所述第六特征图，直至满足预设的处理次数，并将当前的所述第六特征图作为所述第三特征图对应的第七特征图，完成对所述第三特征图的深度特征提取。

相比于现有技术，本发明实施例具有如下有益效果：

本发明提供了一种基于颜色边缘深度感知的火灾检测方法及系统，通过显式特征提取阶段与隐式特征提取阶段共同组成一种二阶段特征提取架构，实现对图像颜色、边缘的显式视觉特征提取以及空间细节、深度的隐式空间特征提取，并结合分类层，对通过显式和隐式特征提取的最终结果进行分类，输出对输入图像中是否存在火焰的分类结果，进而实现对火灾的实时监测。

进一步地，本发明中的二阶段特征提取架构通过调整堆叠残差网络结构的基层的数量，简化火灾检测模型，并且在基层和降维层之间，进行通道维度的卷积操作，重校通道特征，从而在保证捕捉通道特征的效果的前提下，降低模型计算量，提升图像处理速度。此外，在二阶段特征提取架构中采用PReLU激活函数，避免出现激活函数因输入参数小于零时输出为零，从而梯度死亡导致火灾检测模型网络无法学习的情况，提高火灾检测模型的准确率，进一步增强火灾检测模型的性能，使得火灾检测模型能够在资源与性能有限的边缘检测设备上做到实时对视频火灾目标的监测。

附图说明

图1：为本发明一实施例提供的基于颜色边缘深度感知的火灾检测方法的流程示意图；

图2：为本发明一实施例提供的基于颜色边缘深度感知的火灾检测方法的网络架构示意图；

图3：为本发明一实施例提供的基于颜色边缘深度感知的火灾检测系统的结构示意图；

图4：为本发明一实施例提供的基于颜色边缘深度感知的火灾检测系统的显式特征提取模块的结构示意图；

图5：为本发明一实施例提供的基于颜色边缘深度感知的火灾检测系统的隐式特征提取模块的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

请参照图1，为本发明实施例提供的一种基于颜色边缘深度感知的火灾检测方法，包括：

步骤S1：获取待识别图像，并将待识别图像输入至火灾检测模型，以使火灾检测模型对待识别图像进行特征提取，获得待识别图像的第一颜色特征图和第一边缘特征图。

进一步地，步骤S1具体包括步骤S11至步骤S17，各步骤具体如下：

步骤S11：获取待识别图像，并将待识别图像输入至火灾检测模型。

其中，火灾检测模型为二阶段特征提取架构，二阶段特征提取架构包括显式特征提取阶段与隐式特征提取阶段，显式特征提取阶段用于对输入图像进行颜色特征提取和边缘特征提取，隐式特征提取阶段用于对输入的颜色特征图和边缘特征图进行合并，并对合并图像进行隐式特征提取。

需要说明的是，二阶段特征提取架构采用PReLU(Parametric Rectified LinearUnit)激活函数，在提升火灾检测模型网络的分类精度的同时，避免了出现激活函数因输入参数为零时输出为零，从而梯度死亡导致火灾检测模型网络无法学习的情况。

步骤S12：通过第一卷积层提取待识别图像的各颜色通道的初始特征信息，并采用通道混洗操作交换各颜色通道的初始特征信息，然后通过第二卷积层得到待识别图像的通道特征信息。

作为一种举例，第一卷积层可以由两个3×3group卷积层组成，第二卷积层可以由一个1×1pointwise卷积组成。

步骤S13：通过恒等映射的第三卷积层，匹配第一颜色特征图的大小与通道数。

作为一种举例，恒等映射的第三卷积层可以由一个1×1pointwise卷积和一个3×3depthwise卷积组成。

步骤S14：结合待识别图像的通道特征信息和第一颜色特征图的大小与通道数，获得第一颜色特征图。

需要说明的是，由于颜色通道值在不同的颜色空间(如RGB，YUV等)中有着独特的统计特征，同时考虑到卷积运算等价于特征提取，所以在显式特征提取阶段提出步骤S12至步骤S14代替传统图像颜色分析的统计分析方法，并使用残差学习来突出待识别图像的颜色特征。

步骤S15：通过第四卷积层，计算待识别图像在四个方向上的导数，进而得到四个方向上的梯度图像，以提取待识别图像在相应方向上的初始边缘特征，并通过第五卷积层进一步提取待识别图像的边缘特征；其中，第四卷积层包括四个固定卷积核权重的子分支卷积，分别对应索贝尔算子模板卷积的四个方向子分支。

需要说明的是，同样使用残差学习来突出待识别图像的边缘特征，应用了索贝尔算子计算待识别图像在四个方向上的导数，进而得到四个方向上的梯度图像，以提取待识别图像在相应方向上的初始边缘特征，即提取待识别图像中火焰特殊的不规则形状纹理信息。

作为一种举例，第四卷积层可以由四个固定卷积核权重的子分支卷积，分别对应索贝尔模板卷积的4个方向分支，提取待识别图像在相应方向上的初始边缘特征；第五卷积层可以由一个3×3卷积层组成。

步骤S16：通过恒等映射的第三卷积层，匹配第一边缘特征图的大小与通道数。

需要说明的是，步骤S16的第三卷积层与步骤S13的第三卷积层，由于二者都用于匹配输出特征图的大小与通道数，所以可以通用，减少卷积层的使用数量，进一步简化火灾检测模型。

步骤S17：结合待识别图像的边缘特征和第一边缘特征图的大小与通道数，获得第一边缘特征图。

步骤S2：对第一颜色特征图和第一边缘特征图合并后的第一特征图进行隐式特征提取。

进一步地，请参照图2，步骤S2具体包括步骤S21至步骤S28，各步骤具体如下：

步骤S21：将第一颜色特征图和第一边缘特征图合并得到第一特征图。

需要说明的是，在本实施例中，在隐式特征提取阶段构建了一个高效的通用神经网络结构以获得更好的细节、深度特征，并将第一颜色特征图和第一边缘特征图合并得到的第一特征图，作为隐式特征提取阶段的输入。其中，隐式特征提取阶段分为细节特征提取流程和深度特征提取流程，细节特征提取流程具体包括步骤S22至步骤S25，深度特征提取流程具体包括步骤S26至步骤S28。

步骤S22：通过第六卷积层，对第一特征图进行通道数交换，提取小尺度特征，得到第一特征图对应的第一细节特征图。

作为一种举例，第六卷积层可以由一个1×1卷积组成。

步骤S23：分别通过第七卷积层和第八卷积层，捕捉第一特征图的大尺度感受野中的局部空间细节特征和中尺度感受野中的局部空间细节特征，得到第一特征图对应的第二细节特征图和第三细节特征图。

作为一种举例，第七卷积层可以由一个1×1卷积和一个3×3卷积组成，第八卷积层可以由一个1×1卷积和一个5×5卷积组成。

步骤S24：通过第九卷积层，捕捉第一特征图的中尺度感受野中的关键特征，得到第一特征图对应的第四细节特征图。

作为一种举例，第九卷积层可以由一个3×3最大池化层和一个1×1卷积组成。

步骤S25：将第一细节特征图、第二细节特征图、第三细节特征图、第四细节特征图合并，得到第一特征图对应的第二特征图，并将第二特征图作为第一特征图，对第二特征图进行迭代处理，每次迭代处理时根据当前的所述第一特征图更新所述第二特征图，直至满足预设的操作次数，并将当前的第二特征图作为第一特征图对应的第三特征图。

需要说明的是，分别通过第六卷积层、第七卷积层、第八卷积层和第九卷积层，捕捉第一特征图的多个尺度感受野中的细节特征，最终得到第一特征图对应的第二特征图，并将第二特征图作为第一特征图，对第二特征图进行迭代处理，每次迭代处理时根据当前的所述第一特征图更新所述第二特征图，直至满足预设的操作次数，作为一种举例，预设的操作次数为三次，以达到进一步提取第一特征图的空间细节信息的目的。其中，操作次数可以根据实际需求进行调整。

步骤S26：通过基层堆叠残差网络结构的操作，提取第三特征图的初始深度特征，得到第三特征图对应的第四特征图。

需要说明的是，通过堆叠残差网络结构以提取第三特征图的初始深度特征的基层数量与火灾检测模型的大小有关，现有技术中的EFDNet的基层数量为(6，8，12，24)，相比较之下，本实施例将其减小至(4，6，8，12)，使得火灾检测模型的大小从4.8MB缩小到3.39MB。

步骤S27：根据第三特征图的尺寸，结合降维层的平均池化操作，调整第四特征图的尺寸至预设的范围内，得到第四特征图对应的第五特征图。

作为一种举例，通过平均池化操作降低第四特征图的尺寸，减少参数，降低火灾检测模型的复杂程度。

步骤S28：采用高效通道注意力机制，对第五特征图进行第一全局平均池化操作，得到对应的通道级特征向量，并按照预设的初始深度特征提取流程，对第五特征图进行初始深度特征提取，获得第五特征图对应的第六特征图，并将第六特征图作为第三特征图，对第二特征图进行迭代处理，每次迭代处理时根据当前的所述第三特征图更新所述第六特征图，直至满足预设的处理次数，并将当前的第六特征图作为第三特征图对应的第七特征图，完成对第三特征图的深度特征提取。

需要说明的是，结合在基层和降维层之间，先进行第一全局平均池化操作提取每个通道内的全局空间信息，再采用大小为k的一维卷积核进行通道维度的卷积操作，在避免降维的基础上，实现局部跨通道交互，提升通道特征的捕捉能力，降低火灾检测模型的计算量。然后，通过sigmoid函数，将卷积结果映射到0至1的区间范围内，并对映射输出结果和第五特征图进行点乘操作，获得第五特征图对应的第六特征图。

同时，结合PReLU激活函数，增强火灾检测模型的性能，将其准确率从现有技术的93.8％提高至95.1％，使得火灾检测模型能够在资源与性能有限的边缘检测设备上做到实时对视频火灾目标的监测。其中，作为一种举例，k取值为3。

作为一种举例，预设的处理次数为四次，以达到深入提取第二特征图的深度特征的目的。其中，处理次数可以根据实际需求进行调整。

步骤S3：根据隐式特征提取结果，输出火灾检测结果。

在本实施例中，进一步地，请参照图2，步骤S3具体包括步骤S31至步骤 S32，各步骤具体如下：

步骤S31：将第三特征图对应的第七特征图输入至分类层，对第七特征图进行批标准化操作和第二全局平均池化操作，提取第七特征图的关键特征。

需要说明的是，对第七特征图进行批标准化操作可以提高火灾检测模型的分类速度，并通过第二全局平均池化操作的操作进行关键特征的提取，减少参数。

步骤S32：根据提取结果，结合Softmax分类器的分类计算，将待识别图像中是否存在火焰的分类结果作为火灾检测结果，并输出火灾检测结果。

为了解决相同的技术问题，本发明还提供了一种基于颜色边缘深度感知的火灾检测系统，请参见图3，包括：输入模块1、显式特征提取模块2、隐式特征提取模块3和结果输出模块4；

其中，输入模块1，用于获取待识别图像，并将待识别图像输入至火灾检测模型；其中，火灾检测模型为二阶段特征提取架构，二阶段特征提取架构包括显式特征提取阶段与隐式特征提取阶段，显式特征提取阶段用于对输入图像进行颜色特征提取和边缘特征提取，隐式特征提取阶段用于对输入的颜色特征图和边缘特征图进行合并，并对合并图像进行隐式特征提取；

显式特征提取模块2，用于使火灾检测模型对待识别图像进行特征提取，获得待识别图像的第一颜色特征图和第一边缘特征图；

隐式特征提取模块3，用于对第一颜色特征图和第一边缘特征图合并后的第一特征图进行隐式特征提取，得到隐式特征提取结果；

结果输出模块4，用于根据隐式特征提取结果，输出火灾检测结果。

进一步地，请参照图4，显式特征提取模块2，还包括：颜色特征提取单元、第一合并单元、边缘特征提取单元和第二合并单元；

其中，颜色特征提取单元，用于通过第一卷积层提取待识别图像的各颜色通道的初始特征信息，并采用通道混洗操作交换各颜色通道的初始特征信息，然后通过第二卷积层得到待识别图像的通道特征信息，并通过恒等映射的第三卷积层，匹配第一颜色特征图的大小与通道数；

第一合并单元，用于结合待识别图像的通道特征信息和第一颜色特征图的大小与通道数，获得第一颜色特征图；

边缘特征提取单元，用于通过第四卷积层，计算待识别图像在四个方向上的导数，进而得到四个方向上的梯度图像，以提取待识别图像在相应方向上的初始边缘特征，并通过第五卷积层进一步提取待识别图像的边缘特征，并通过恒等映射的第三卷积层，匹配第一边缘特征图的大小与通道数；其中，第四卷积层包括四个固定卷积核权重的子分支卷积，分别对应索贝尔算子模板卷积的四个方向子分支；

第二合并单元，用于结合待识别图像的边缘特征和第一边缘特征图的大小与通道数，获得第一边缘特征图。

进一步地，请参照图5，隐式特征提取模块3，还包括：细节特征提取单元、第一迭代单元、深度特征提取单元和第二迭代单元；

其中，细节特征提取单元，用于将第一颜色特征图和第一边缘特征图合并得到第一特征图，并通过第六卷积层，对第一特征图进行通道数交换，提取小尺度特征，得到第一特征图对应的第一细节特征图，同时分别通过第七卷积层和第八卷积层，捕捉第一特征图的大尺度感受野中的局部空间细节特征和中尺度感受野中的局部空间细节特征，得到第一特征图对应的第二细节特征图和第三细节特征图，并通过第九卷积层，捕捉第一特征图的中尺度感受野中的关键特征，得到第一特征图对应的第四细节特征图；

第一迭代单元，用于将第一细节特征图、第二细节特征图、第三细节特征图、第四细节特征图合并，得到第一特征图对应的第二特征图，并将第二特征图作为第一特征图，对第二特征图进行迭代处理，每次迭代处理时根据当前的所述第一特征图更新所述第二特征图，直至满足预设的操作次数，并将当前的第二特征图作为第一特征图对应的第三特征图；

深度特征提取单元，用于通过基层堆叠残差网络结构的操作，提取第三特征图的初始深度特征，得到第三特征图对应的第四特征图，并根据第三特征图的尺寸，结合降维层的平均池化操作，调整第四特征图的尺寸至预设的范围内，得到第四特征图对应的第五特征图；

第二迭代单元，用于采用高效通道注意力机制，对第五特征图进行第一全局平均池化操作，得到对应的通道级特征向量，并按照预设的初始深度特征提取流程，对第五特征图进行初始深度特征提取，获得第五特征图对应的第六特征图，并将第六特征图作为第三特征图，对第二特征图进行迭代处理，每次迭代处理时根据当前的所述第三特征图更新所述第六特征图，直至满足预设的处理次数，并将当前的第六特征图作为第三特征图对应的第七特征图，完成对第三特征图的深度特征提取。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

相比于现有技术，本发明实施例具有如下有益效果：

本发明提供了一种基于颜色边缘深度感知的火灾检测方法及系统，通过显式特征提取阶段与隐式特征提取阶段共同组成一种二阶段特征提取架构，实现对图像颜色、边缘的显式视觉特征提取以及空间细节、深度的隐式空间特征提取，并结合分类层，对通过显式和隐式特征提取的最终结果进行分类，输出对输入图像中是否存在火焰的分类结果，进而实现对火灾的实时监测。

进一步地，本发明中的二阶段特征提取架构通过调整堆叠残差网络结构的基层的数量，简化火灾检测模型，并且在基层和降维层之间，进行通道维度的卷积操作，重校通道特征，从而在保证捕捉通道特征的效果的前提下，降低模型计算量，提升图像处理速度。此外，在二阶段特征提取架构中采用PReLU激活函数，避免出现激活函数因输入参数小于零时输出为零，从而梯度死亡导致火灾检测模型网络无法学习的情况，提高火灾检测模型的准确率，进一步增强火灾检测模型的性能，使得火灾检测模型能够在资源与性能有限的边缘检测设备上做到实时对视频火灾目标的监测。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于颜色边缘深度感知的火灾检测方法，其特征在于，包括：

获取待识别图像，并将所述待识别图像输入至火灾检测模型，以使所述火灾检测模型对所述待识别图像进行特征提取，获得所述待识别图像的第一颜色特征图和第一边缘特征图，并对所述第一颜色特征图和所述第一边缘特征图合并后的第一特征图进行隐式特征提取，继而根据隐式特征提取结果，输出火灾检测结果；

其中，所述火灾检测模型为二阶段特征提取架构，所述二阶段特征提取架构包括显式特征提取阶段与隐式特征提取阶段，所述显式特征提取阶段用于对输入图像进行颜色特征提取和边缘特征提取，所述隐式特征提取阶段用于对输入的颜色特征图和边缘特征图进行合并，并对合并图像进行隐式特征提取。

2.如权利要求1所述的一种基于颜色边缘深度感知的火灾检测方法，其特征在于，所述第一颜色特征图的获取，具体为：

通过第一卷积层提取所述待识别图像的各颜色通道的初始特征信息，并采用通道混洗操作交换所述各颜色通道的初始特征信息，然后通过第二卷积层得到所述待识别图像的通道特征信息；

通过恒等映射的第三卷积层，匹配所述第一颜色特征图的大小与通道数；

结合所述待识别图像的通道特征信息和所述第一颜色特征图的大小与通道数，获得所述第一颜色特征图。

3.如权利要求1所述的一种基于颜色边缘深度感知的火灾检测方法，其特征在于，所述第一边缘特征图的获取，具体为：

通过第四卷积层，计算所述待识别图像在四个方向上的导数，进而得到四个方向上的梯度图像，以提取所述待识别图像在相应方向上的初始边缘特征，并通过第五卷积层进一步提取所述待识别图像的边缘特征；其中，所述第四卷积层包括四个固定卷积核权重的子分支卷积，分别对应索贝尔算子模板卷积的四个方向子分支；

通过恒等映射的第三卷积层，匹配所述第一边缘特征图的大小与通道数；

结合所述待识别图像的边缘特征和所述第一边缘特征图的大小与通道数，获得所述第一边缘特征图。

4.如权利要求1所述的一种基于颜色边缘深度感知的火灾检测方法，其特征在于，所述对所述第一颜色特征图和所述第一边缘特征图合并后的第一特征图进行隐式特征提取，包括：

将所述第一颜色特征图和所述第一边缘特征图合并得到第一特征图；

通过第六卷积层，对所述第一特征图进行通道数交换，提取小尺度特征，得到所述第一特征图对应的第一细节特征图；

分别通过第七卷积层和第八卷积层，捕捉所述第一特征图的大尺度感受野中的局部空间细节特征和中尺度感受野中的局部空间细节特征，得到所述第一特征图对应的第二细节特征图和第三细节特征图；

通过第九卷积层，捕捉所述第一特征图的中尺度感受野中的关键特征，得到所述第一特征图对应的第四细节特征图；

将所述第一细节特征图、所述第二细节特征图、所述第三细节特征图、所述第四细节特征图合并，得到所述第一特征图对应的第二特征图，并将所述第二特征图作为所述第一特征图，对所述第二特征图进行迭代处理，每次迭代处理时根据当前的所述第一特征图更新所述第二特征图，直至满足预设的操作次数，并将当前的所述第二特征图作为所述第一特征图对应的第三特征图。

5.如权利要求4所述的一种基于颜色边缘深度感知的火灾检测方法，其特征在于，在所述将当前的所述第二特征图作为所述第一特征图对应的第三特征图之后，还包括对所述第三特征图进行深度特征提取，具体为：

通过基层堆叠残差网络结构的操作，提取所述第三特征图的初始深度特征，得到所述第三特征图对应的第四特征图；

根据所述第三特征图的尺寸，结合降维层的平均池化操作，调整所述第四特征图的尺寸至预设的范围内，得到所述第四特征图对应的第五特征图；

采用高效通道注意力机制，对所述第五特征图进行第一全局平均池化操作，得到对应的通道级特征向量，并按照预设的初始深度特征提取流程，对所述第五特征图进行初始深度特征提取，获得所述第五特征图对应的第六特征图，并将所述第六特征图作为所述第三特征图，对所述第六特征图进行迭代处理，每次迭代处理时根据当前的所述第三特征图更新所述第六特征图，直至满足预设的处理次数，并将当前的所述第六特征图作为所述第三特征图对应的第七特征图，完成对所述第三特征图的深度特征提取。

6.如权利要求1所述的一种基于颜色边缘深度感知的火灾检测方法，其特征在于，所述根据隐式特征提取结果，输出火灾检测结果，具体为：

将第三特征图对应的第七特征图输入至分类层，对所述第七特征图进行批标准化操作和第二全局平均池化操作，提取所述第七特征图的关键特征；

根据提取结果，结合Softmax分类器的分类计算，将所述待识别图像中是否存在火焰的分类结果作为所述火灾检测结果，并输出所述火灾检测结果。

7.如权利要求1所述的一种基于颜色边缘深度感知的火灾检测方法，其特征在于，所述二阶段特征提取架构使用的激活函数为PReLU激活函数。

8.一种基于颜色边缘深度感知的火灾检测系统，其特征在于，包括：输入模块、显式特征提取模块、隐式特征提取模块和结果输出模块；

其中，所述输入模块，用于获取待识别图像，并将所述待识别图像输入至火灾检测模型；其中，所述火灾检测模型为二阶段特征提取架构，所述二阶段特征提取架构包括显式特征提取阶段与隐式特征提取阶段，所述显式特征提取阶段用于对输入图像进行颜色特征提取和边缘特征提取，所述隐式特征提取阶段用于对输入的颜色特征图和边缘特征图进行合并，并对合并图像进行隐式特征提取；

所述显式特征提取模块，用于使所述火灾检测模型对所述待识别图像进行特征提取，获得所述待识别图像的第一颜色特征图和第一边缘特征图；

所述隐式特征提取模块，用于对所述第一颜色特征图和所述第一边缘特征图合并后的第一特征图进行隐式特征提取，得到隐式特征提取结果；

所述结果输出模块，用于根据所述隐式特征提取结果，输出火灾检测结果。

9.如权利要求8所述的一种基于颜色边缘深度感知的火灾检测系统，其特征在于，所述显式特征提取模块，还包括：颜色特征提取单元、第一合并单元、边缘特征提取单元和第二合并单元；

其中，所述颜色特征提取单元，用于通过第一卷积层提取所述待识别图像的各颜色通道的初始特征信息，并采用通道混洗操作交换所述各颜色通道的初始特征信息，然后通过第二卷积层得到所述待识别图像的通道特征信息，并通过恒等映射的第三卷积层，匹配所述第一颜色特征图的大小与通道数；

所述第一合并单元，用于结合所述待识别图像的通道特征信息和所述第一颜色特征图的大小与通道数，获得所述第一颜色特征图；

所述边缘特征提取单元，用于通过第四卷积层，计算所述待识别图像在四个方向上的导数，进而得到四个方向上的梯度图像，以提取所述待识别图像在相应方向上的初始边缘特征，并通过第五卷积层进一步提取所述待识别图像的边缘特征，并通过恒等映射的第三卷积层，匹配所述第一边缘特征图的大小与通道数；其中，所述第四卷积层包括四个固定卷积核权重的子分支卷积，分别对应索贝尔算子模板卷积的四个方向子分支；

所述第二合并单元，用于结合所述待识别图像的边缘特征和所述第一边缘特征图的大小与通道数，获得所述第一边缘特征图。

10.如权利要求8所述的一种基于颜色边缘深度感知的火灾检测系统，其特征在于，所述隐式特征提取模块，还包括：细节特征提取单元、第一迭代单元、深度特征提取单元和第二迭代单元；

其中，所述细节特征提取单元，用于将所述第一颜色特征图和所述第一边缘特征图合并得到第一特征图，并通过第六卷积层，对所述第一特征图进行通道数交换，提取小尺度特征，得到所述第一特征图对应的第一细节特征图，同时分别通过第七卷积层和第八卷积层，捕捉所述第一特征图的大尺度感受野中的局部空间细节特征和中尺度感受野中的局部空间细节特征，得到所述第一特征图对应的第二细节特征图和第三细节特征图，并通过第九卷积层，捕捉所述第一特征图的中尺度感受野中的关键特征，得到所述第一特征图对应的第四细节特征图；

所述第一迭代单元，用于将所述第一细节特征图、所述第二细节特征图、所述第三细节特征图、所述第四细节特征图合并，得到所述第一特征图对应的第二特征图，并将所述第二特征图作为所述第一特征图，对所述第二特征图进行迭代处理，每次迭代处理时根据当前的所述第一特征图更新所述第二特征图，直至满足预设的操作次数，并将当前的所述第二特征图作为所述第一特征图对应的第三特征图；

所述深度特征提取单元，用于通过基层堆叠残差网络结构的操作，提取所述第三特征图的初始深度特征，得到所述第三特征图对应的第四特征图，并根据所述第三特征图的尺寸，结合降维层的平均池化操作，调整所述第四特征图的尺寸至预设的范围内，得到所述第四特征图对应的第五特征图；

所述第二迭代单元，用于采用高效通道注意力机制，对所述第五特征图进行第一全局平均池化操作，得到对应的通道级特征向量，并按照预设的初始深度特征提取流程，对所述第五特征图进行初始深度特征提取，获得所述第五特征图对应的第六特征图，并将所述第六特征图作为所述第三特征图，对所述第六特征图进行迭代处理，每次迭代处理时根据当前的所述第三特征图更新所述第六特征图，直至满足预设的处理次数，并将当前的所述第六特征图作为所述第三特征图对应的第七特征图，完成对所述第三特征图的深度特征提取。

Images