CN111882803A - 一种基于温感、视频图像信息的智能识别火灾预警的方法 - Google Patents

Abstract

本发明公开了一种基于温感、视频图像信息的智能识别火灾预警的方法，所述方法包括以下步骤：获取目标区域的目标温度；判断所述目标温度是否大于或等于第一预设温度阈值；当所述目标温度大于或等于所述第一预设温度阈值时，获取所述目标区域的目标视频流；利用智能识别模型，对所述目标视频流的待检测帧进行检测，获得检测结果；根据所述检测结果，获得所述目标区域的火灾预警结果。不需要对视频流的全部视频帧进行检测和分析，检测和分析的数据较少，终端设备负载较低。

Description

一种基于温感、视频图像信息的智能识别火灾预警的方法

技术领域

本发明涉及火灾预警领域，特别涉及一种基于温感、视频图像信息的智能识别火灾预警的方法。

背景技术

目前，为了减少火灾带来的损失，需要时刻对目标区域进行监控，以在火灾发生时，快速检测出火情，并发出火灾预警，以使人们及时发现火灾，对火灾进行灭火处理，减少损失。

相关技术中，公开了一种火灾预警方法，通过对目标区域的实时视频流的视频帧进行检测和分析，获得视频帧的检测结果，进而通过检测结果，获得目标区域是否发生火灾分析结果。

但是，采现有的火灾预警方法，终端设备负载较高。

发明内容

本发明的主要目的是提供一种基于温感、视频图像信息的智能识别火灾预警的方法，旨在解决现有技术中终端设备负载较高的技术问题。

为实现上述目的，本发明提出一种基于温感、视频图像信息的智能识别火灾预警的方法，所述方法包括以下步骤：

获取目标区域的目标温度；

判断所述目标温度是否大于或等于第一预设温度阈值；

当所述目标温度大于或等于所述第一预设温度阈值时，获取所述目标区域的目标视频流；

利用智能识别模型，对所述目标视频流的待检测帧进行检测，获得检测结果；

根据所述检测结果，获得所述目标区域的火灾预警结果。

可选的，所述当所述目标温度大于或等于所述第一预设温度阈值时，获取所述目标区域的目标视频流的步骤包括：

当所述目标温度大于或等于所述第一预设温度阈值时，判断所述目标温度是否小于第二预设温度阈值；

当所述目标温度小于所述第二预设温度阈值时，获得疑似火灾信息；

根据所述疑似火灾信息，获取所述目标区域的目标视频流。

可选的，所述判断所述目标温度是否小于第二预设温度阈值的步骤之后，所述方法还包括：

当所述目标温度不小于所述第二预设温度阈值时，输出火灾报警信号。

可选的，所述利用智能识别模型，对所述目标视频流的待检测帧进行检测，获得检测结果的步骤之前，所述方法还包括：

获取火灾区域的样本图像；

利用所述样本图像对神经网络模型进行训练，获得智能识别模型。

可选的，所述利用智能识别模型，对所述目标视频流的待检测帧进行检测，获得检测结果的步骤之前，所述方法还包括：

对所述目标视频流的待检测帧进行火焰颜色分析，获得颜色分析结果；

对所述目标视频流的待检测帧进行火焰亮度分析，获得亮度分析结果；

所述利用智能识别模型，对所述目标视频流的待检测帧进行检测，获得检测结果的步骤包括：

利用智能识别模型，对所述目标视频流的待检测帧进行检测，获得模型检测结果；

根据所述颜色分析结果、所述亮度分析结果以及所述模型检测结果，获得检测结果。

可选的，所述对所述目标视频流的待检测帧进行火焰颜色分析，获得颜色分析结果的步骤包括：

根据所述目标视频流的待检测帧获得颜色二分图，其中，所述颜色二分图包括所述目标视频流的待检测帧像素值在预设颜色区间的第一像素点，和所述目标视频流的待检测帧像素值不在所述预设颜色区间的第二像素点；

根据所述颜色二分图，获得颜色分析结果。

可选的，所述对所述目标视频流的待检测帧进行火焰亮度分析，获得亮度分析结果的步骤包括：

将所待检测帧像素点的像素值转换为亮度值；

根据所述目标视频流的待检测帧和所述亮度值获得亮度二分图，其中，所述亮度二分图包括所述目标视频流的待检测帧亮度值在预设亮度区间的第三像素点，和所述目标视频流的待检测帧亮度值不在所述预设亮度区间的第四像素点；

根据所述亮度二分图，获得亮度分析结果。

可选的，所述根据所述检测结果，获得目标区域的火灾预警结果的步骤包括：

判断所述检测结果是否满足第一预设条件；

在所述检测结果满足所述第一预设条件时，获得目标区域出现火灾的火灾预警结果。

可选的，所述判断所述火灾分析结果是否满足第一预设条件的步骤之后，所述方法还包括：

在所述检测结果不满足所述第一预设条件时，判断所述目标温度和所述检测结果是否满足第二预设条件；

在所述目标温度和所述检测结果满足所述第二预设条件时，输出温度异常报警信号。

此外，为实现上述目的，本发明还提出一种基于温感、视频图像信息的智能识别火灾预警的装置，所述装置包括：

判断模块，用于判断所述目标区域的目标温度是否大于或等于第一预设温度阈值；

获取模块，用于当所述目标温度大于或等于所述第一预设温度阈值时，获取所述目标区域的目标视频流；

检测模块，用于利用智能识别模型，对所述目标视频流的待检测帧进行检测，获得检测结果；

结果获得模块，用于根据所述检测结果，获得所述目标区域的火灾预警结果。

此外，为实现上述目的，本发明还提出一种基于温感、视频图像信息的智能识别火灾预警的设备，所述基于温感、视频图像信息的智能识别火灾预警的设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行基于温感、视频图像信息的智能识别火灾预警的程序，所述基于温感、视频图像信息的智能识别火灾预警的程序被所述处理器执行时实现如上述任一项所述的基于温感、视频图像信息的智能识别火灾预警的方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于温感、视频图像信息的智能识别火灾预警的程序，所述基于温感、视频图像信息的智能识别火灾预警的程序被处理器执行时实现如上述任一项所述的基于温感、视频图像信息的智能识别火灾预警的方法的步骤。

本发明技术方案通过判断所述目标区域的目标温度是否大于或等于第一预设温度阈值；当所述目标温度大于或等于所述第一预设温度阈值时，获取所述目标区域的目标视频流；利用智能识别模型，对所述目标视频流的待检测帧进行检测，获得检测结果；根据所述检测结果，获得所述目标区域的火灾预警结果。在目标区域的目标温度大于或等于第一预设温度阈值时，获取目标视频流，以利用智能识别模型，对所述目标视频流的待检测帧进行检测，获得检测结果；不需要对视频流的全部视频帧进行检测和分析，检测和分析的数据较少，终端设备负载较低。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的基于温感、视频图像信息的智能识别火灾预警的设备结构示意图；

图2为本发明基于温感、视频图像信息的智能识别火灾预警的方法第一实施例的流程示意图；

图3为本发明基于温感、视频图像信息的智能识别火灾预警的方法第二实施例步骤S14之前的流程示意图；

图4为本发明目标样本图像尺寸转换过程示意图；

图5为本发明智能识别模型的结构示意图；

图6为本发明智能识别模型对目标图像卷积的示意图；

图7为本发明目标图像检测过程中坐标预测的示意图；

图8为本发明智能识别模型输出的第一检测结果示意图；

图9为本发明智能识别模型输出的第二检测结果示意图；

图10为本发明智能识别模型输出的模型检测结果示意图；

图11为本发明基于温感、视频图像信息的智能识别火灾预警的方法第三实施例步骤S14之前的流程示意图；

图12为本发明基于温感、视频图像信息的智能识别火灾预警的装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的基于温感、视频图像信息的智能识别火灾预警的方法的推荐设备结构示意图。

设备可以是移动电话、智能电话、笔记本电脑、数字广播接收器、个人数字助理(PDA)、平板电脑(PAD)等用户设备(User Equipment，UE)、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备、移动台(Mobile station，MS)等。设备可能被称为用户终端、便携式终端、台式终端等。

通常，设备包括：至少一个处理器301、存储器302以及存储在所述存储器上并可在所述处理器上运行的基于温感、视频图像信息的智能识别火灾预警的程序，所述基于温感、视频图像信息的智能识别火灾预警的程序配置为实现如前所述的基于温感、视频图像信息的智能识别火灾预警的方法的步骤。

处理器301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器301可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(CentralProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器301可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。处理器301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关基于温感、视频图像信息的智能识别火灾预警的方法操作，使得基于温感、视频图像信息的智能识别火灾预警的方法模型可以自主训练学习，提高效率和准确度。

存储器302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器801所执行以实现本申请中方法实施例提供的基于温感、视频图像信息的智能识别火灾预警的方法。

在一些实施例中，终端还可选包括有：通信接口303和至少一个外围设备。处理器301、存储器302和通信接口303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与通信接口303相连。具体地，外围设备包括：射频电路304、显示屏305和电源306中的至少一种。

通信接口303可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器301和存储器302。在一些实施例中，处理器301、存储器302和通信接口303被集成在同一芯片或电路板上；在一些其他实施例中，处理器301、存储器302和通信接口303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路304用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路304将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路304包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路304还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏305用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏305是触摸显示屏时，显示屏305还具有采集在显示屏305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器301进行处理。此时，显示屏305还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏305可以为一个，电子设备的前面板；在另一些实施例中，显示屏305可以为至少两个，分别设置在电子设备的不同表面或呈折叠设计；在再一些实施例中，显示屏305可以是柔性显示屏，设置在电子设备的弯曲表面上或折叠面上。甚至，显示屏305还可以设置成非矩形的不规则图形，也即异形屏。显示屏305可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

电源306用于为电子设备中的各个组件进行供电。电源306可以是交流电、直流电、一次性电池或可充电电池。当电源306包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。本领域技术人员可以理解，图1中示出的结构并不构成对基于温感、视频图像信息的智能识别火灾预警的设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于温感、视频图像信息的智能识别火灾预警的程序，所述基于温感、视频图像信息的智能识别火灾预警的程序被处理器执行时实现如下文实施例所述的基于温感、视频图像信息的智能识别火灾预警的方法的步骤。因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。确定为示例，程序指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

基于上述硬件结构，提出本发明基于温感、视频图像信息的智能识别火灾预警的方法的实施例。

参照图2，图2为本发明基于温感、视频图像信息的智能识别火灾预警的方法第一实施例的流程示意图，所述方法包括以下步骤：

步骤S11：获取目标区域的目标温度。

步骤S12：判断所述目标温度是否大于或等于第一预设温度阈值。

需要说明的是，本发明的执行主体可以是安装基于温感、视频图像信息的智能识别火灾预警的程序的终端设备，终端设备的类型不做具体限制；本发明的目标区域可以是室内办公室，也可以是工厂，本发明不做限制；目标温度是指目标区域的温度，为了获取目标区域的温度，需要在目标区域设置温感设备，其中，温感设备可以是温度检测器，也可以是其他温感设备，本发明不做限制；本发明的第一预设温度阈值可以是火灾发生时的低温阈值，本发明不做具体限制，用户可以根据自己的需求进行设定。

可以理解的是，为了准确获取到目标区域的温度，温感设备的数量和密度需要较高的数值，具体数值本发明不做限制；另外，为了避免火灾发生时未判断出目标温度大于或等于第一预设温度的情况发生，第一预设温度阈值设置较低为优选方案。

步骤S13：当所述目标温度大于或等于所述第一预设温度阈值时，获取所述目标区域的目标视频流。

需要说明的是，目标区域需安装摄像头，本发明的摄像头可以是高清摄像头，也可以是普通摄像头，本发明不做限制；目标视频流是指当目标区域的目标温度大于或等于所述第一预设温度阈值时，目标区域的摄像头收集的目标视频流，当目标区域的目标温度小于所述第一预设温度阈值时，不需要获取目标区域的摄像头收集的目标视频流。可以理解的是，目标区域的摄像头不仅是为了收集与火灾相关的目标视频流，也可以收集目标区域的包括其他信息的目标视频流，即，目标区域的摄像头可以时刻运行，以收集目标区域的包括其他信息的目标视频流。另外，为了准确获取到目标区域的目标视频流，摄像头的数量和密度需要较高的数值，具体数值本发明不做限制，用户可以根据自己的需求进行设定。

例如，第一预设温度阈值为55℃，目标区域为A办公楼3层。当A办公楼3层的温感设备获取到的目标温度为57度时，安装有基于温感、视频图像信息的智能识别火灾预警的程序的终端设备获取A办公楼3层的目标视频流。

进一步的，所述步骤S12还包括：当所述目标温度大于或等于所述第一预设温度阈值时，判断所述目标温度是否小于第二预设温度阈值；当所述目标温度小于所述第二预设温度阈值时，获得疑似火灾信息；根据所述疑似火灾信息，获取所述目标区域的目标视频流。

需要说明的是，本发明的第二预设温度可以是目标区域的火灾高发温度阈值，也可以是火灾发生时的高温阈值，本发明不做具体限制，用户可以根据自己的需求进行设定；可以理解的是，为避免火灾误报，第二预设温度阈值不宜过低。另外，当目标温度低于第二预设温度阈值时，目标区域发生火灾的可能性较大，因此，需要获取目标区域的目标视频流。

目标温度大于或等于所述第一预设温度阈值时，判断所述目标温度是否小于第二预设温度阈值，且当所述目标温度小于所述第二预设温度阈值时，目标区域疑似发生火灾，获得疑似火灾信息，根据所述疑似火灾信息，获取目标区域的目标视频流。

例如，第一预设温度阈值为55℃，第二预设温度阈值为89℃，目标区域为A办公楼3层。当A办公楼3层的温感设备获取到的目标温度为57℃时，判断目标温度高于55℃，继续判断目标温度低于89℃，并获得疑似火灾信息，根据所述疑似火灾信息获得目标区域的目标视频流。

进一步的，当所述目标温度不小于所述第二预设温度阈值时，输出火灾报警信号。

可以理解的是，当所述目标温度不小于所述第二预设温度阈值时，目标区域发生火灾的可能性极高，因此，需要输出火灾报警信号，以使灭火人员对目标区域进行灭火处理。另外，输出火灾报警信号可以是安装有基于温感、视频图像信息的智能识别火灾预警的程序输出信号指令给警报器，由警报器输出火灾报警信号。

例如，第一预设温度阈值为55℃，第二预设温度阈值为89℃，目标区域为A办公楼3层。当A办公楼3层的温感设备获取到的目标温度为90℃时，判断目标温度高于55℃，继续判断目标温度高于89℃，安装有基于温感、视频图像信息的智能识别火灾预警的程序输出信号指令给警报器，由警报器输出火灾报警信号，以使灭火人员对目标区域进行灭火处理。

步骤S14：利用智能识别模型，对所述目标视频流的待检测帧进行检测，获得检测结果。

需要说明的是，本发明的视频图像信息即为目标视频流的待检测帧，本发明的智能识别模型可以是对神经网络训练后获得的智能识别模型，神经网络模型的具体种类本发明不做限定；本发明的待检测帧可以是以目标区域的目标视频流播放起点为计时起点，之后的每一帧，其中，目标视频流播放起点是指目标温度大于或等于所述第一预设温度阈值的时刻，为了保证检测的准确性和终端设备检测数据量不超载，以目标视频流播放起点为基准，每隔10s的视频帧确定为待检测帧，直到目标温度低于第一预设温度阈值，停止对目标视频流的待检测帧的检测。另外，将目标视频流的待检测帧输入智能识别模型，智能识别模型对待检测帧进行检测，获得待检测帧的检测结果，检测结果为待检测帧包括火灾信息或待检测帧不包括火信息。

例如，第一预设温度阈值为55℃，第二预设温度阈值为89℃，目标区域为A办公楼3层。当A办公楼3层的温感设备获取到的目标温度为57℃时，判断目标温度高于55℃，继续判断目标温度低于89℃，并获得疑似火灾信息，当前时刻为10:35:00(24时制)，安装有基于温感、视频图像信息的智能识别火灾预警的程序的终端设备根据疑似火灾信息，获取A办公楼3层的目标视频流；视频流的待检测帧分别为10:35：00、10:35：10······对应的视频帧，装有基于温感、视频图像信息的智能识别火灾预警的程序的终端设备分别对上述多个检测帧进行检测，以获得待检测帧各自的检测结果。

步骤S15：根据所述检测结果，获得所述目标区域的火灾预警结果。

所述预警结果为待检测帧包括火灾信息时，目标区域火灾预警结果为目标区域出现火灾，发出火灾预警，所述检测结果为待检测帧不包括火灾信息时，目标区域火灾预警结果为目标区域未出现火灾，不发出火灾预警。可以理解的是，目标区域出现火灾时，会输出火灾警报。

例如，第一预设温度阈值为55℃，第二预设温度阈值为89℃，目标区域为A办公楼3层。当A办公楼3层的温感设备获取到的目标温度为57℃时，判断目标温度高于55℃，继续判断目标温度低于89℃，并获得疑似火灾信息，当前时刻为10:35:00(24时制)，安装有基于温感、视频图像信息的智能识别火灾预警的程序的终端设备获取A办公楼3层的目标视频流；视频流的待检测帧分别为10:35：00、10:35：10······对应的视频帧，装有基于温感、视频图像信息的智能识别火灾预警的程序的终端设备分别对上述多个检测帧进行检测，以获得待检测帧各自的检测结果。其中，10:35:20对应的视频帧的检测结果为待检测帧包括火灾信息，根据检测结果获得目标区域于10:35:20出现火灾的火灾预警结果，发出火灾警报，以使灭火人员对目标区域进行灭火处理，同时装有基于温感、视频图像信息的智能识别火灾预警的程序的终端设备停止对视频流的视频帧检测。

本实施例技术方案通过判断所述目标区域的目标温度是否大于或等于第一预设温度阈值；当所述目标温度大于或等于所述第一预设温度阈值时，获取所述目标区域的目标视频流；利用智能识别模型，对所述目标视频流的待检测帧进行检测，获得检测结果；根据所述检测结果，获得所述目标区域的火灾预警结果。在目标区域的目标温度大于或等于第一预设温度阈值时，获取目标视频流，以利用智能识别模型，对所述目标视频流的待检测帧进行检测，获得检测结果，不需要对视频流的全部视频帧进行检测和分析，检测和分析的数据较少，终端设备负载较低

参照图3，图3为本发明基于温感、视频图像信息的智能识别火灾预警的方法第二实施例步骤S14之前的流程示意图，所述方法包括：

步骤S21：获取火灾区域的样本图像。

需要说明的是，火灾区域的样本图像可以是包括火灾信息的高清图像，火灾信息可以是火焰信息，也可以是烟雾信息等，本发明不做具体限制，用户可以根据自己的需求选择适宜的样本图像。

步骤S22：利用所述样本图像对神经网络模型进行训练，获得智能识别模型。

本发明的神经网络模型可以是卷积神经网络模型，也可以是其他结构的神经网络模型，本发明不做限制。

较优的，本发明利用样本图像对目标网络模型进行训练，获得智能识别模型，其中，目标网络模型为Yolov3，样本图像为包含火焰信息的样本图像。

需要说明的是，Yolov3的输入图像的目标尺寸为416*416。获取到的样本文件的图像尺寸可能是各种尺寸的图像，需要对不满足目标尺寸的样本图像进行等比缩放，获得缩放样本图像，通常，缩放样本图像也并不满足所述目标尺寸，需要对缩放样本图像进行填充处理，获得目标样本图像。

参照图4，图4为本发明目标样本图像尺寸转换过程示意图，样本图像的尺寸为832*500，对样本图像进行缩放处理，获得缩放样本图像，尺寸为416*250，继续对缩放样本图像进行填充处理，获得目标样本图像，尺寸为416*416。

获得目标样本图像时，将目标样本图像输入基于Yolov3的目标网络模型进行训练，以获得智能识别模型。

参照图5，图5为本发明智能识别模型的结构示意图，其中，智能识别模型是基于Yolov3的，第一部分灰色框中内容是指Yolov3中的darknet-53网络，用于对输入的目标样本图像进行卷积，即，将416*416的目标样本图像卷积成13*13*1024(1024代表通道数)的特征图。

其中，第一部分灰色框中第一行信息为：卷积核为3*3、通道数为32，卷积步长为1、输出特征图大小416*416*32；第一部分灰色框中第二行信息为：卷积核为3*3、通道数为64、卷积步长为2、输出特征图大小为208*208*32。第一部分灰色框中左边1，2，8，8，4代表重复操作该部分1，2，8，8，4次，residual代表着残差操作，可见第一部分灰色框中，共有卷积神经网络2+1*2+1+2*2+1+8*2+1+8*2+1+4*2＝52层，具体信息如下：

Input:416*416

Layers1:卷积核为3*3，通道数为32，步长为1的卷积网络

Layers2:卷积核为3*3，通道数为64，步长为2的卷积网络

Layers3:卷积核为1*1，通道数为32，步长为1的卷积网络

Layers4:卷积核为3*3，通道数为64，步长为1的卷积网络

残差结构

Layers5:卷积核为3*3，通道数为128，步长为2的卷积网络

Layers6:卷积核为1*1，通道数为64，步长为1的卷积网络

Layers7:卷积核为3*3，通道数为128，步长为1的卷积网络

残差结构

Layers8:卷积核为1*1，通道数为64，步长为1的卷积网络

Layers9:卷积核为3*3，通道数为128，步长为1的卷积网络

残差结构

Layers10:卷积核为3*3，通道数为256，步长为2的卷积网络

Layers11:卷积核为1*1，通道数为128，步长为1的卷积网络

Layers12:卷积核为3*3，通道数为256，步长为1的卷积网络

残差结构

Layers13:卷积核为1*1，通道数为128，步长为1的卷积网络

Layers14:卷积核为3*3，通道数为256，步长为1的卷积网络

残差结构

Layers15:卷积核为1*1，通道数为128，步长为1的卷积网络

Layers16:卷积核为3*3，通道数为256，步长为1的卷积网络

残差结构

Layers17:卷积核为1*1，通道数为128，步长为1的卷积网络

Layers18:卷积核为3*3，通道数为256，步长为1的卷积网络

残差结构

Layers19:卷积核为1*1，通道数为128，步长为1的卷积网络

Layers20:卷积核为3*3，通道数为256，步长为1的卷积网络

残差结构

Layers21:卷积核为1*1，通道数为128，步长为1的卷积网络

Layers22:卷积核为3*3，通道数为256，步长为1的卷积网络

残差结构

Layers23:卷积核为1*1，通道数为128，步长为1的卷积网络

Layers24:卷积核为3*3，通道数为256，步长为1的卷积网络

残差结构

Layers25:卷积核为1*1，通道数为128，步长为1的卷积网络

Layers26:卷积核为3*3，通道数为256，步长为1的卷积网络

残差结构

Layers27:卷积核为3*3，通道数为512，步长为2的卷积网络

Layers28:卷积核为1*1，通道数为256，步长为1的卷积网络

Layers29:卷积核为3*3，通道数为512，步长为1的卷积网络

残差结构

Layers30:卷积核为1*1，通道数为256，步长为1的卷积网络

Layers31:卷积核为3*3，通道数为512，步长为1的卷积网络

残差结构

Layers32:卷积核为1*1，通道数为256，步长为1的卷积网络

Layers33:卷积核为3*3，通道数为512，步长为1的卷积网络

残差结构

Layers34:卷积核为1*1，通道数为256，步长为1的卷积网络

Layers35:卷积核为3*3，通道数为512，步长为1的卷积网络

残差结构

Layers36:卷积核为1*1，通道数为256，步长为1的卷积网络

Layers37:卷积核为3*3，通道数为512，步长为1的卷积网络

残差结构

Layers38:卷积核为1*1，通道数为256，步长为1的卷积网络

Layers39:卷积核为3*3，通道数为512，步长为1的卷积网络

残差结构

Layers40:卷积核为1*1，通道数为256，步长为1的卷积网络

Layers41:卷积核为3*3，通道数为512，步长为1的卷积网络

残差结构

Layers42:卷积核为1*1，通道数为256，步长为1的卷积网络

Layers43:卷积核为3*3，通道数为512，步长为1的卷积网络

残差结构

Layers44:卷积核为3*3，通道数为1024，步长为2的卷积网络

Layers45:卷积核为1*1，通道数为512，步长为1的卷积网络

Layers46:卷积核为3*3，通道数为1024，步长为1的卷积网络

残差结构

Layers47:卷积核为1*1，通道数为512，步长为1的卷积网络

Layers48:卷积核为3*3，通道数为1024，步长为1的卷积网络

残差结构

Layers49:卷积核为1*1，通道数为512，步长为1的卷积网络

Layers50:卷积核为3*3，通道数为1024，步长为1的卷积网络

残差结构

Layers51:卷积核为1*1，通道数为512，步长为1的卷积网络

Layers52:卷积核为3*3，通道数为1024，步长为1的卷积网络

残差结构

每一个目标样本图像经过darknet-53网络的前52层，得到尺寸为13*13，通道数为1024的特征图。

需要说明的是，利用基于Yolov3的智能识别模型对待检测帧进行检测之前，由于目标视频流的待检测帧的尺寸通常不是416*416，需要对待检测帧进行上述缩放以及填充处理，获得目标图像，然后将目标图像输入基于Yolov3的智能识别模型，以获得目标视频流的待检测帧的模型检测结果，当智能识别模型输出的模型检测结果包括被检测框框出的火焰区域时，目标视频流的待检测帧的模型检测结果为待检测帧包括火焰信息。

具体应用中，将待检测帧对应的目标图像输入基于Yolov3的智能识别模型，基于Yolov3的智能识别模型中的darknet-53网络对目标图像进行卷积，获得尺寸为13*13，通道数为1024的特征图。

之后，将得到的13*13，通道数为1024的特征图经过convolutional set模块(卷积核分别为1*1，3*3，1*1，3*3，1*1，步长为1的五层卷积网络集)卷积，得到特征图2，再对特征图2进行3*3，1*1的卷积，最终得到predict one，即，输出一，尺寸为13*13*18。

对上述特征图2进行上采样，得到26*26的特征图，再与图5中第一部分灰色框中的下采样四得到的特征图连接，得到连接后的特征图，再将连接后的特征图经过convolutional set模块卷积，得到特征图3，再对特征图3进行3*3，1*1的卷积，最终得到predict two，即，输出二，尺寸为26*26*18。

对上述特征图3进行上采样，得到52*52的特征图，再与图5中第一部分灰色框中的下采样三得到的特征图连接，连接后的特征图经过convolutional set模块卷积，得到特征图4，再对特征图4进行3*3，1*1的卷积，最终得到predict three，即，输出三，尺寸为52*52*18。

参照图6，图6为本发明智能识别模型对目标图像卷积的示意图，目标图像(416*416)经过基于Yolov3的智能识别模型的darknet-53网络卷积操作后，得到一个尺寸数为13*13、通道数为18的特征图，即，将目标图像(即，图6左侧目标图像)分成了边长为13*13的小格(即，图6右侧网格图)，每个小格负责预测中心点落在网格中的火焰，此时有13*13＝169个网格，特征图中的每一个网格都会预测3个边界框，每个边界框都会预测三个参数：每个框的位置(4个值：中心坐标tx和ty、框的高度bh和宽度bw)、一个objectness prediction以及1个类别(即，火焰)。

对于本发明，在将尺寸为416*416的目标图像输入基于Yolov3的智能识别模型时，输出尺寸为13*13(3*(4+1+1))＝》13*13*18的输出一。同理，还输出尺寸为26*26*18的输出二和52*52*18的输出三。

需要说明的是，目标图像的预测过程中，坐标预测涉及到的每个框的位置(4个值：中心坐标tx和ty、框的高度bh和宽度bw)，需要进一步说明，参照图7。

图7为本发明目标图像检测过程中坐标预测的示意图，对于中心坐标(tx和ty)：Yolov3使用sigmoid函数进行中心坐标预测，这使得输出值在0和1之间；正常情况下，Yolo不会预测边界框中心的确切坐标，它预测的是与预测目标的网格单元左上角相关的偏移，并使用特征图中的网格大小进行归一化；当输入目标图像尺寸为416*416，中心的预测是(0.4，0.7)，则第二个网格在13*13特征图上的相对坐标是(1.4,1.7)，具体的位置x坐标还需要1.4乘以网格的宽，y坐标为1.7乘以网格的高。

边界框的宽度bw和高度bh：Yolov3获得的预测bw和bh使用目标图像的高和宽进行归一化，边界框的预测bx和by是(0.3,0.8)，那么13*13特征图的实际宽和高是(13*0.3,13*0.8)。

参照图8-10，图8为本发明智能识别模型输出的第一检测结果示意图，图9为本发智能识别模型输出的第二检测结果示意图，图10为本发明智能识别模型输出的模型检测结果示意图。

其中，基于Yolov3的智能识别模型根据上述获得的三个输出：输出一、输出二和输出三，获得图8所示的第一检测结果(尺寸为416*416)，第一检测结果中包括三个有交集的区域，即，三个灰色预测框中的区域，每一个预测框具有一个置信度(置信度表示基于Yolov3的智能识别模型表达自己预测框中框出物体的自信程度，物体即为本发明中的火焰)，置信度的取值在0-1之间，将置信度从大到小的进行排序，用置信度值最大的预测框分别与剩下的预测框做交并比计算，当两个框的面积相交部分与各自总面积比值超过阀值时(本发明的阈值为0.5，用户可以根据自己的需求进行设定，本发明不做限制)，代表两个预测框预测的是同一个目标，舍弃置信度较小的预测框，并进行重复操作，直到第一检测结果中的预测框只有一个时，获得第二检测结果(尺寸为416*416)，如图9所示，将第二检测结果的尺寸还原到目标图像对应的待检测帧的尺寸(832*500)，获得模型检测结果(尺寸为832*500的图像)，即如图10所示的模型检测结果。

参照图11，图11为本发明基于温感、视频图像信息的智能识别火灾预警的方法第三实施例步骤S14之前的流程示意图，所述方法包括以下步骤：

步骤S31：对所述目标视频流的待检测帧进行火焰颜色分析，获得颜色分析结果。

需要说明的是，本发明的待检测帧是由R(红)G(绿)B(蓝)三原色构成，即，待检测帧的像素值是RGB值，且，R、G、B三原色取值范围均为0～255。可以理解的是，本发明火焰颜色分析是指对待检测帧进行火焰颜色分析，判断待检测帧是否存在火焰颜色像素值对应的像素点，当待检测帧存在火焰颜色像素值对应的像素点时，颜色分析结果为待检测帧包括火焰信息，当待检测帧不存在火焰颜色像素值对应的像素点时，颜色分析结果为待检测帧不包括火焰信息。

进一步的，步骤S31包括：根据所述目标视频流的待检测帧获得颜色二分图，其中，所述颜色二分图包括所述目标视频流的待检测帧像素值在预设颜色区间的第一像素点，和所述目标视频流的待检测帧像素值不在所述预设颜色区间的第二像素点；根据所述颜色二分图，获得颜色分析结果。

本发明，通过对大量火焰图像进行分析，获得到火焰颜色像素值的取值范围为：R：160-256，G：70-220，B：60-130，即本发明发的预设颜色区间；可以理解的是，用户可以根据需求对预设颜色区间进行改动，选择适宜的区间，区间取值范围本发明不做具体限定。

具体应用中，对待检测帧的每一个像素点像素值进行判断，当像素值在预设颜色区间时，将该像素点标记为数值1，即第一像素点，当像素值不在预设颜色区间时，将该像素点标记为数值0，即第二像素点，获得颜色二分图。判断颜色二分图中是否存在数值1聚集区域，判断方法为：将颜色二分图划分成边长20*20像素点的多个子二分图，每个子二分图共有400个像素点，对400个像素点标记的数值取均值，当均值>0.4时，确定该子二分图为数值1的聚集区域，从而确定颜色二分图存在数值1的聚集区域，即颜色分析结果为待检测帧包括火焰信息。可以理解的是，0.4是本发明提出的较优的值，用户可以根据自己的需求进行设定，本发明不做具体限制。

步骤S32：对所述目标视频流的待检测帧进行火焰亮度分析，获得亮度分析结果。

需要说明的是，本发明的待检测帧是由R(红)G(绿)B(蓝)三原色构成，即，待检测帧的像素值是RGB值，且，R、G、B三原色取值范围均为0～255，然后将像素值转换为亮度值。可以理解的是，本发明火焰亮度分析是指对待检测帧进行火焰亮度分析，判断待检测帧是否存在火焰亮度值对应的像素点，当待检测帧存在火焰亮度值对应的像素点时，亮度分析结果为待检测帧包括火焰信息，当待检测帧不存在火焰亮度值对应的像素点时，亮度分析结果为待检测帧不包括火焰信息。

进一步的，步骤S32包括：将所待检测帧像素点的像素值转换为亮度值；根据所述目标视频流的待检测帧和所述亮度值获得亮度二分图，其中，所述亮度二分图包括所述目标视频流的待检测帧亮度值在预设亮度区间的第三像素点，和所述目标视频流的待检测帧亮度值不在所述预设亮度区间的第四像素点；根据所述亮度二分图，获得亮度分析结果。

首先，利用公式1将待检测帧像素点的像素值转换为亮度值，所述公式1为：

本发明，通过对大量火焰图像进行分析，获得到火焰颜色像素值的取值范围为：R：160-256，G：70-220，B：60-130，即本发明发的预设颜色区间；继续对火焰图像进行分析，获得预设亮度区间；可以理解的是，用户可以根据需求对预设亮度区间进行改动，选择适宜的区间，区间范围本发明不做具体限定。

具体应用中，对待检测帧的每一个像素点亮度值进行判断，当亮度值在预设亮度区间时，将该像素点标记为数值1，即第三像素点，当亮度值不在预设亮度区间时，将该像素点标记为数值0，即第四像素点，获得亮度二分图。判断亮度二分图中是否存在数值1聚集区域，判断方法为：将亮度二分图划分成边长20*20像素点的多个子二分图，每个子二分图共有400个像素点，对400个像素点标记的数值取均值，均值>0.4时，确定该子二分图为数值1的聚集区域，从而确定亮度二分图存在数值1的聚集区域，即亮度分析结果为待检测帧包括火焰信息。可以理解的是，0.4是本发明提出的较优的值，用户可以根据自己的需求进行设定，本发明不做具体限制。

所述步骤S14包括：利用智能识别模型，对所述目标视频流的待检测帧进行检测，获得模型检测结果；根据所述颜色分析结果、所述亮度分析结果以及所述模型检测结果，获得检测结果。

需要说明的是，本发明的检测结果是基于所述颜色分析结果、所述亮度分析结果以及所述模型检测结果的，其中，所述颜色分析结果、所述亮度分析结果以及所述模型检测结果各自的权重值是不同的，需要根据权重进行综合分析，获得检测结果。

可以理解的是，火焰颜色与一些非火焰物体颜色存在相近区间，为避免误判，火焰的颜色分析结果权重较低，火焰的亮度分析结果和模型检测结果权重相对较高，具体权重本发明不作具体限定，用户可以根据自己的需求设定。

具体应用中，当火焰的颜色分析结果、亮度分析结果以及模型检测结果均为待检测帧包含火焰信息时，获得目标区域出现火灾的火灾预警结果，当任一分析结果或检测结果为待检测帧不包括火焰信息时，继续对目标视频流的下一个待检测帧进行检测，直到目标区域的目标温度低于第一预设温度阈值时，停止对目标视频流的检测，并获得检测结果，以根据所述检测结果获得所述目标区域未出现火灾的火灾预警结果，并继续对目标区域进行温度检测；或，直到火焰的颜色分析结果、亮度分析结果以及模型检测结果均为待检测帧包含火焰信息时，获得检测结果，以根据所述检测结果获得所述目标区域出现火灾的检测结果，再或，直到目标温度不低于第二预设温度阈值，输出火灾报警信号。

进一步的，步骤S15包括：判断所述检测结果是否满足第一预设条件；在所述检测结果满足所述第一预设条件时，获得目标区域出现火灾的火灾预警结果。

需要说明的是，本发明的第一预设条件是待检测帧的颜色分析结果、亮度分析结果以及模型检测结果均为待检测帧包含火焰信息，当满所述第一预设条件时，确定目标视频流的待检测帧包括火焰信息，进而确定目标区域出现火灾。当每一帧的三个结果中任一结果为待检测帧不包括火焰信息时，继续对目标视频流的下一个待检测帧进行检测，直到目标区域的目标温度低于第一预设温度阈值时，停止对目标视频流的检测，并获得检测结果，以根据所述检测结果获得所述目标区域未出现火灾的而检测结果，并继续对目标区域进行温度检测；或，直到火焰的颜色分析结果、亮度分析结果以及模型检测结果均为待检测帧包含火焰信息时，获得检测结果，以根据所述检测结果获得所述目标区域出现火灾的检测结果，再或，直到目标温度不低于第二预设温度阈值，输出火灾报警信号。

进一步的，步骤S15的步骤之后，所述方法还包括：在所述检测结果不满足所述第一预设条件时，判断所述目标温度和所述检测结果是否满足第二预设条件；在所述目标温度和所述检测结果满足所述第二预设条件时，输出温度异常报警信号。

需要说明的是，本发明的第二预设条件是目标区域的目标温度大于或等于第一预设温度阈值，不超过第二预设温度阈值，且，目标视频流的连续多个待检测帧每一帧的颜色分析结果、亮度分析结果以及模型检测结果三个结果中至少一个为待检测帧不包含火焰信息，即，目标区域温度异常且目标区域未检测出火灾。可以理解的是，第二预设条件至少满足目标温度大于或等于第一预设温度阈值，其他检测条件用户可以根据需求选择性确定，本发明不做限制，其中，多个待检测帧的数值可以是10，也可以是其他值，本发明不做具体限制。

当满足第二预设条件时，目标区域温度异常，温度较高，且未检测出火灾，输出温度异常报警信号，以使灭火人员对目标区域进行温度异常处理。另外，输出温度异常报警信号可以是安装有基于温感、视频图像信息的智能识别火灾预警的程序输出信号指令给警报器，由警报器输出温度异常报警信号。

当不满足第二预设条件时，即，所述目标视频流的连续多个待检测帧每一帧的颜色分析结果、亮度分析结果以及模型检测结果三个结果中至少一个为待检测帧不包含火焰信息，且目标区域的目标温度降至第一预设温度阈值以下时，目标区域的目标温度正常，停止对目标区域的目标视频流进行检测，并获得检测结果，以根据所述检测结果获得所述目标区域未出现火灾的而检测结果，并继续对目标区域进行温度检测；或，所述目标视频流的连续多个待检测帧每一帧的颜色分析结果、亮度分析结果以及模型检测结果三个结果中至少一个为待检测帧不包含火焰信息，且，目标区域的目标温度升至第二预设温度阈值以上时，输出火灾报警信号。

参照图11，图11为本发明基于温度、视频流及目标监测模型的火灾预警装置第一实施例的结构框图，所述装置包括：

判断模块10，用于判断所述目标区域的目标温度是否大于或等于第一预设温度阈值。

获取模块20，用于当所述目标温度大于或等于所述第一预设温度阈值时，获取所述目标区域的目标视频流。

检测模块30，用于利用智能识别模型，对所述目标视频流的待检测帧进行检测，获得检测结果。

结果获得模块40，用于根据所述检测结果，获得所述目标区域的火灾预警结果。

以上所述仅为本发明的可选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (9)

1.一种基于温感、视频图像信息的智能识别火灾预警的方法，其特征在于，所述方法包括以下步骤：

获取目标区域的目标温度；

判断所述目标温度是否大于或等于第一预设温度阈值；

当所述目标温度大于或等于所述第一预设温度阈值时，获取所述目标区域的目标视频流；

利用智能识别模型，对所述目标视频流的待检测帧进行检测，获得检测结果；

根据所述检测结果，获得所述目标区域的火灾预警结果。

2.如权利要求1所述的基于温感、视频图像信息的智能识别火灾预警的方法，其特征在于，所述当所述目标温度大于或等于所述第一预设温度阈值时，获取所述目标区域的目标视频流的步骤包括：

当所述目标温度大于或等于所述第一预设温度阈值时，判断所述目标温度是否小于第二预设温度阈值；

当所述目标温度小于所述第二预设温度阈值时，获得疑似火灾信息；

根据所述疑似火灾信息，获取所述目标区域的目标视频流。

3.如权利要求2所述的基于温感、视频图像信息的智能识别火灾预警的方法，其特征在于，所述判断所述目标温度是否小于第二预设温度阈值的步骤之后，所述方法还包括：

当所述目标温度不小于所述第二预设温度阈值时，输出火灾报警信号。

4.如权利要求1所述的基于温感、视频图像信息的智能识别火灾预警的方法，其特征在于，所述利用智能识别模型，对所述目标视频流的待检测帧进行检测，获得检测结果的步骤之前，所述方法还包括：

获取火灾区域的样本图像；

利用所述样本图像对神经网络模型进行训练，获得智能识别模型。

5.如权利要求4所述的基于温感、视频图像信息的智能识别火灾预警的方法，其特征在于，所述利用智能识别模型，对所述目标视频流的待检测帧进行检测，获得检测结果的步骤之前，所述方法还包括：

对所述目标视频流的待检测帧进行火焰颜色分析，获得颜色分析结果；

对所述目标视频流的待检测帧进行火焰亮度分析，获得亮度分析结果；

所述利用智能识别模型，对所述目标视频流的待检测帧进行检测，获得检测结果的步骤包括：

利用智能识别模型，对所述目标视频流的待检测帧进行检测，获得模型检测结果；

根据所述颜色分析结果、所述亮度分析结果以及所述模型检测结果，获得检测结果。

6.如权利要求5所述的基于温感、视频图像信息的智能识别火灾预警的方法，其特征在于，所述对所述目标视频流的待检测帧进行火焰颜色分析，获得颜色分析结果的步骤包括：

根据所述目标视频流的待检测帧获得颜色二分图，其中，所述颜色二分图包括所述目标视频流的待检测帧像素值在预设颜色区间的第一像素点，和所述目标视频流的待检测帧像素值不在所述预设颜色区间的第二像素点；

根据所述颜色二分图，获得颜色分析结果。

7.如权利要求6所述的基于温感、视频图像信息的智能识别火灾预警的方法，其特征在于，所述对所述目标视频流的待检测帧进行火焰亮度分析，获得亮度分析结果的步骤包括：

将所待检测帧像素点的像素值转换为亮度值；

根据所述目标视频流的待检测帧和所述亮度值获得亮度二分图，其中，所述亮度二分图包括所述目标视频流的待检测帧亮度值在预设亮度区间的第三像素点，和所述目标视频流的待检测帧亮度值不在所述预设亮度区间的第四像素点；

根据所述亮度二分图，获得亮度分析结果。

8.如权利要求7所述的基于温感、视频图像信息的智能识别火灾预警的方法，其特征在于，所述根据所述检测结果，获得目标区域的火灾预警结果的步骤包括：

判断所述检测结果是否满足第一预设条件；

在所述检测结果满足所述第一预设条件时，获得目标区域出现火灾的火灾预警结果。

9.如权利要求8所述的基于温感、视频图像信息的智能识别火灾预警的方法，其特征在于，所述判断所述火灾分析结果是否满足第一预设条件的步骤之后，所述方法还包括：

在所述检测结果不满足所述第一预设条件时，判断所述目标温度和所述检测结果是否满足第二预设条件；

在所述目标温度和所述检测结果满足所述第二预设条件时，输出温度异常报警信号。

Images