CN104978744A - 基于异构双核的烟雾检测系统 - Google Patents

Abstract

本发明公开了基于异构双核的烟雾检测系统，将彩色图像转成灰度图像；计算变化窗口在基准状态与当前状态下两幅频度图像之间的相关系数；计算变化窗口在基准状态与当前状态下两幅灰度图像之间的相关系数；把起始无烟无运动物体的场景图作为基准图，依据频度图像的高灵敏性，判别相邻两帧图像有否变化，时有变化，给出可疑窗口；判别浓烟的可疑窗口，连续多帧的窗口即为浓烟的可疑窗口；浓烟的可疑窗口是否满足连续性和扩展性特征，满足则判断为是，则有浓烟，一级报警；如果没有浓烟，则所有可疑窗口满足，即为薄烟，二级报警。本发明的有益效果是方法简单，能够准确的判断出是否有薄烟、浓烟，并及时进行预警。

Description

基于异构双核的烟雾检测系统

技术领域

本发明属于安防设备技术领域，涉及基于异构双核的烟雾检测系统。

背景技术

复杂指令计算机(CISC)指令系统比较丰富，会有专用指令来完成特定的功能，处理特殊任务效率较高。而精简指令计算机(RISC)主要把精力放在常用的指令上，尽量使他们简单高效，对不常用的功能用组合指令完成，因此在RISC机器上实现特殊任务时效率比较低。OMAPL138是TI公司的一款达芬奇架构的低功耗双核嵌入式处理器，它的非对称多核结构使得它兼具CISC高数字信号处理性能和RISC技术的优点。系统划分为多个可并行的不同工作类型的任务，将不同的任务运行在其更适合运行的处理器上，整个应用系统将运行得更为高效。采用复杂指令集的高性能TMS320C674x DSP核心运行SYS/BIOS实时操作系统，处理各种视频算法；采用精简指令集的ARM926EJ-S核心作为主处理器运行Linux操作系统，负责驱动外围设备进行网络传输，视频显示，引导、加载从处理器DSP，对DSP进行电源管理、复位控制、在合适的寄存器中写入DSP执行的入口点等，除此之外，主处理器还有运行Qt人机交互界面、装载文件系统等常规操作系统的所有功能，有了ARM主处理器，DSP就从复杂的系统控制中解脱出来了。同时相较于传统的视频图像处理系统，OMAPL138将ARM和DSP集成于一块芯片中，在稳定性方面有着无可比拟的优势。

现有的火灾检测用到以上技术，目前提出的基于图像的火灾检测技术，如特定环境下的火灾检测，利用火焰色彩、轮廓等特征的火灾检测，但检测到火焰可能为时已晚。在火灾形成的初期，往往会有烟雾产生，若能有效检测到这些烟雾并实时报警，就能把火灾扼杀在摇篮中

发明内容

本发明的目的在于提供基于异构双核的烟雾检测系统，解决了目前火灾检测建立在图像检测上，无法检测出火灾初期产生的烟雾，延误了火灾的及时发现的问题。

本发明所采用的技术方案是按照以下步骤进行：

步骤1：首先根据公式

Gray＝0.299R+0.587G+0.114B(2)

Gray表示灰度值，R，G，B表示RGB格式视频数据的R，G，B分量值，将彩色图像转成灰度图像；

步骤2：为了检测频度图像与基准图像之间的变化程度，采用公式(1)计算变化窗口在基准状态与当前状态下两幅频度图像之间的相关系数：

$C_i^{\left(h\right)}\left(t\right)=\frac{\underset{(m,n)\∈\mathrm{\Ω}}{\mathrm{\Σ}}(p_i^{\left(t\right)}(m,n)-{\mathrm{\α}}_i^{\left(t\right)})(q_i^{\left(t_0\right)}(m,n)-{\mathrm{\β}}_i^{\left(t_0\right)})}{\sqrt{\underset{(m,n)\∈\mathrm{\Ω}}{\mathrm{\Σ}}{(p_i^{\left(t\right)}(m,n)-{\mathrm{\α}}_i^{\left(t\right)})}^2}\sqrt{\underset{(m,n)\∈\mathrm{\Ω}}{\mathrm{\Σ}}{(q_i^{\left(t_0\right)}(m,n)-{\mathrm{\β}}_i^{\left(t_0\right)})}^2}}---\left(1\right)$

公式中，表示时刻t的频度图像在窗口i的点(m，n)的频度值，表示时刻t频度图像在窗口i各像素的平均频度值，表示基准图像的频度图像在窗口i的点(m，n)的频度值，表示基准图像的频度图像在窗口i各像素的平均频度值；

依据公式(3)计算变化窗口在基准状态与当前状态下两幅灰度图像之间的相关系数：

$C_i^{\left(g\right)}\left(t\right)=\frac{\underset{(m,n)\∈\mathrm{\Ω}}{\mathrm{\Σ}}(b_i^{\left(t\right)}(m,n)-e_i^{\left(t\right)})(d_i^{\left(t_0\right)}(m,n)-k_i^{\left(t_0\right)})}{\sqrt{\underset{(m,n)\∈\mathrm{\Ω}}{\mathrm{\Σ}}{(b_i^t(m,n)-e_i^{\left(t\right)})}^2}\sqrt{\underset{(m,n)\∈\mathrm{\Ω}}{\mathrm{\Σ}}{(d_i^{\left(t_0\right)}(m,n)-k_i^{\left(t_0\right)})}^2}}---\left(3\right)$

公式中，表示时刻t的灰度图像在窗口i的点(m，n)的灰度值，表示时刻t灰度图像在窗口i各像素的平均灰度值，表示基准图像的灰度图像在窗口i的点(m，n)的灰度值，表示基准图像的灰度图像在窗口i各像素的平均灰度值；

步骤3：把起始无烟无运动物体的场景图作为基准图，为保证烟雾检测的可靠性，每隔一段时间自动更新基准图，通过定时自动检测窗口的变化率来确定是否场景状态已稳定，变化率r＝S₁/S，其中S₁表示当前帧各窗口与基准图的差分图像二值化后值为1的像素的个数，S表示各窗口的总像素数，若各窗口的变化率在连续100帧内均保持在一个稳定值上，则判断该场景已达到稳定状态，此时进行薄烟或者浓烟的检测；

步骤4：

1、依据频度图像的高灵敏性，判别相邻两帧图像有否变化，时有变化，给出可疑窗口；是窗口i中的频度图像的相关阈值；

2、判别浓烟的可疑窗口，连续多帧的窗口即为浓烟的可疑窗口；θ^(g)是灰度图像的相关阈值；

3、判别是否有浓烟，浓烟的可疑窗口是否满足连续性和扩展性特征，满足则判断为是，则有浓烟，一级报警；

4、如果没有浓烟，则所有可疑窗口满足即为薄烟，二级报警。

本发明的有益效果是方法简单，能够准确的判断出是否有薄烟、浓烟，并及时进行预警。

附图说明

图1系统硬件框图；

图2系统软件结构图；

图3异构多核协作与通信流程图；

图4视频处理流程图；

图5频度图像映射关系；

图6烟雾检测结果图(室内)；

图7烟雾检测结果图(室外)。

具体实施方式

下面结合具体实施方式对本发明进行详细说明。

通过检测当前帧与基准图的频度图像之间的相关性和当前帧与基准图的灰度图像之间的相关性来检测烟雾。

本发明是基于低功耗浮点DSP+ARM双核架构的高性能芯片OMAPL138，带烟雾检测功能的视频监控与处理系统。本发明利用Davinci异构多核通信的基础组件SysLink，实现了视频信号在异构多核处理器之间的通信与处理，具有体积小，功耗低，算法实现灵活高效，可以脱离计算机独立运行等特点。在OMAPL138的DSP端运行了基于图像频度特征的烟雾检测算法，综合运用频度图像和灰度图像相对于基准图的相关系数，既能检测浓烟也能检测稀薄烟雾，并利用烟雾的独有特征避免了物体移动与光照变化等场景引起的误检测。

本发明基于TI(德州仪器)公司最新推出的ARM+DSP架构的高性能嵌入式微处理器OMAPL138，通过ARM和DSP的分工合作，实现了视频的捕获、烟雾检测处理、输出通路。系统使用Syslink为OMAPL138提供协作与通信，DSP运行视频处理算法，ARM进行输入输出处理，大大提高了视频信号的处理速度。烟雾检测系统利用基于图像频度特征的烟雾检测算法，能有效检测出薄烟和浓烟，增加了预警级别，减少了误检测，从而更加准确有效的提供监控视频的火灾预警服务。

本发明的烟雾检测算法通过检测当前帧与基准图的频度图像之间的相关性和当前帧与基准图的灰度图像之间的相关性来检测烟雾，不仅能检测出火灾形成初期的稀薄烟雾，还能检测出浓烟，是目前已有的烟雾检测技术所做不到的。频度图像具有较强的敏感性，频度图像中原本的像素值被替换为具有与此像素值相同的像素点个数，故即使彩色图像中的局部像素点有着比较微小的改变，也会引起频度图像中其他具有相同像素值的像素点发生变化，整幅频度图像就会有全局性的显著变化。在烟雾检测中利用频度图像的特性十分合适，当视频场景中出现少量薄烟时，在彩色图像中有薄烟的地方，其像素值会有很小的变化，这样的变化并不足以得到检测，但是从频度图像上就会发现，不仅在薄烟存在的区域，在无烟的其他区域，频度值也会发生明显变化。因此，只要有薄烟在局部区域出现，便会引起全局图像的频率信息发生明显变化，利用此特性便能有效地进行稀薄薄烟的检测。

本发明算法步骤：

步骤1：在对薄烟进行判定时，不仅要利用图像的频度特性，同时也需要结合图像的灰度特性进行判别。首先根据公式

Gray＝0.299R+0.587G+0.114B(2)

Gray表示灰度值，R，G，B表示RGB格式视频数据的R，G，B分量值

将彩色图像转成灰度图像；

步骤2：为了检测频度图像与基准图像之间的变化程度，本发明设计了计算相关性的相关系数，公式(1)计算变化窗口在基准状态与当前状态下两幅频度图像之间的相关系数，如下：

$C_i^{\left(h\right)}\left(t\right)=\frac{\underset{(m,n)\∈\mathrm{\Ω}}{\mathrm{\Σ}}(p_i^{\left(t\right)}(m,n)-{\mathrm{\α}}_i^{\left(t\right)})(q_i^{\left(t_0\right)}(m,n)-{\mathrm{\β}}_i^{\left(t_0\right)})}{\sqrt{\underset{(m,n)\∈\mathrm{\Ω}}{\mathrm{\Σ}}{(p_i^{\left(t\right)}(m,n)-{\mathrm{\α}}_i^{\left(t\right)})}^2}\sqrt{\underset{(m,n)\∈\mathrm{\Ω}}{\mathrm{\Σ}}{(q_i^{\left(t_0\right)}(m,n)-{\mathrm{\β}}_i^{\left(t_0\right)})}^2}}---\left(1\right)$

公式中，表示时刻t的频度图像在窗口i的点(m，n)的频度值，表示时刻t频度图像在窗口i各像素的平均频度值，表示基准图像的频度图像在窗口i的点(m，n)的频度值，表示基准图像的频度图像在窗口i各像素的平均频度值。

依据公式(3)计算变化窗口在基准状态与当前状态下两幅灰度图像之间的相关系数，即把公式中代表频度值的变量改成灰度值即可。

$C_i^{\left(g\right)}\left(t\right)=\frac{\underset{(m,n)\∈\mathrm{\Ω}}{\mathrm{\Σ}}(b_i^{\left(t\right)}(m,n)-e_i^{\left(t\right)})(d_i^{\left(t_0\right)}(m,n)-k_i^{\left(t_0\right)})}{\sqrt{\underset{(m,n)\∈\mathrm{\Ω}}{\mathrm{\Σ}}{(b_i^t(m,n)-e_i^{\left(t\right)})}^2}\sqrt{\underset{(m,n)\∈\mathrm{\Ω}}{\mathrm{\Σ}}{(d_i^{\left(t_0\right)}(m,n)-k_i^{\left(t_0\right)})}^2}}---\left(3\right)$

公式中，表示时刻t的灰度图像在窗口i的点(m，n)的灰度值，表示时刻t灰度图像在窗口i各像素的平均灰度值，表示基准图像的灰度图像在窗口i的点(m，n)的灰度值，表示基准图像的灰度图像在窗口i各像素的平均灰度值。

如前所示，在彩色图像中即使薄烟只出现在部分区域内，其对应的频度图像也会呈现出全体性的明显变化。所以，薄烟出现前后的频度图像之间的相关性变得很小，表现为相关系数值变得很低。另一方面，当彩色图像中出现少量薄烟时，灰度图像的改变并不大，其灰度值只有在有烟的区域上会有小量的变化，其他无烟区域的灰度值并没有发生改变。因此，薄烟出现前后的灰度图仍然保持着高度相关，其相关系数值比较接近于1。

步骤3：基准图及其更新方法

把起始无烟无运动物体的场景图作为基准图，为保证烟雾检测的可靠性，每隔一段时间自动更新基准图。在有物体或烟的运动时，窗口的变化率是不稳定的，基准图的更新需要选定在无烟、无运动物体的情况下进行。我们可以通过定时自动检测窗口的变化率来确定是否场景状态已稳定，变化率r＝S₁/S，其中S₁表示当前帧各窗口与基准图的差分图像二值化后值为1的像素的个数，S表示各窗口的总像素数。

若各窗口的变化率在连续100帧内均保持在一个稳定值上，则可以判断该场景已达到稳定状态。此时便可以进行基准图的更新并且计算窗口的各项阈值，包括窗口的平均频度相关值。

步骤4：对薄烟进行检测，寻找存在薄烟的窗口；

要检测出薄烟的可疑窗口，只要满足公式(4)就可以判断窗口i可能有烟雾存在。

$\begin{array}{c}\begin{array}{ccc}{C}_i^{\left(h\right)}<{\mathrm{\&theta;}}_i^{\left(h\right)}& \mathrm{and}& C_i^{\left(g\right)}>{\mathrm{\&theta;}}^{\left(g\right)}\end{array}\\ {\mathrm{\&theta;}}_i^{\left(h\right)}=\stackrel{\&OverBar;}{{\mathrm{\&theta;}}_i}-{\mathrm{\&theta;}}_{\mathrm{hd}}\end{array}---\left(4\right)$

θ^(g)是灰度图像的相关阈值，是窗口i中的频度图像的相关阈值，频度图像对环境比较敏感，对不同窗口需要不同阈值，其计算方法如公式(4)，为无烟场景下平均频度相关值，系统中的计算方式是更新基准图之后的一百帧每个窗口的平均频度相关值。在系统启动时，为第2帧到第101帧的每个窗口的平均频度相关值，θ_hd被称为敏感度，表示在薄烟场景下平均频度图像相关值的下降程度。本发明系统θ_hd取0.08，θ^(g)取0.85，是经过大量的室内室外烟雾样本的测试后确定的，用于测试的样本数量足够多，该值就可信而稳定了。如果窗口i在连续的100帧时间内满足公式(4)，且在此期间没有发生引起误检测的情况，就可以判断窗口i内是存在薄烟的。θ_hd越小，虚警率越大，θ_hd越大，漏警率越大，θ^(g)越小，虚警率越大，θ^(g)越大，漏警率越大。

步骤5：浓烟检测方法如下：

在某些特殊的情况下(如有人吸烟)，稀薄的烟雾不足以报警，达不到预警级别。或者随着浓烟的产生，原本检测到薄烟的地方会反而检测不到烟雾。因此，能检测出浓烟也至关重要。

浓烟不具透明性特征，故薄烟检测方法不适合浓烟检测，但判断浓烟的可疑窗口可依据公式连续一定帧数都满足公式的窗口为可疑窗口。为了进一步检测可疑窗口的浓烟，考虑浓烟具有的“扩散性”与“连续性”这两个特征。鉴于此，为了确定是否具备扩散性与连续性特征，我们可以通过检测前后帧中可疑窗口的数目来观察是否有扩散，只要可疑窗口数增多，就可判断为满足扩散特性。同时，在确定存在扩散现象之后，利用这些窗口在图像上的编号位置，来检测窗口之间是否有连续特征，当所有的可疑窗口的位置均在其他任一可疑窗口的四周时，则可以判定为满足连续性特征。

误检测分析：

利用烟雾独有的连续性、扩散性和整体移动的稳定性就可以避免绝大部分情况下的误检测，比如局部照明变化和物体移动等引起的误检测。对于全局照明变化引起的误检测，可以根据同一时间里不会有全局每个窗口都发生变化的特征予以消除。另一方面，除了烟雾具有透明性，水雾也具有透明性，系统应用于室外场景时需要排除水雾引起的误检测，这里可以根据水雾形成的时间比烟雾形成的时间长得多的特性来判断。

总结与实验：

综上所述，烟雾检测算法的流程如下：

1、依据频度图像的高灵敏性，判别相邻两帧图像(按分块处理)有否变化。时有变化，给出“可疑窗口”(可疑的分块)；

2、判别浓烟的可疑窗口，连续多帧的窗口即为浓烟的可疑窗口。

3、判别是否有浓烟，浓烟的可疑窗口是否满足连续性和扩展性特征，是，则有浓烟，一级报警；

4、如果没有浓烟，则所有可疑窗口满足即为薄烟，二级报警。

本发明硬件系统：

OMAPL138 CPU基于C674x Fixed/Floating-Point VLIWDSP+ARM926EJ-S双核设计，集成128MB DDR2，512MB NAND Flash存储器，DDR2作为软件的运行空间，NAND FLASH用于存储bootloader、启动时系统环境变量、Linux内核、文件系统。系统接口模块主要有JTAG调试接口，自适应10/100M网络接口，RS232串口，其中网口采用了SMSC的LAN8710网卡芯片。

参照图1所示，OV2640 CMOS摄像头模块作为采集模块，将采集的模拟信号通过OV2640译码成数字视频YUV格式。将采集的数字视频信号交给OMAPL138进行处理，烟雾检测的结果既可以通过网络通知远程客户，也可以在本地实现报警。

参照图2所示，V4L2(Video for Linux two)是Linux下视频设备驱动开发的标准框架，它作为视频采集的驱动，控制OV2640进行视频采集。应用程序运行于ARM9，视频算法运行于DSP，ARM9和DSP通过Syslink进行通信与协作。

Syslink为异构多核处理器间提供了高效的多核协作和通信机制。本系统灵活运用Syslink提供的处理器间通信协议，实现了视频在ARM核心和DSP核心之间的传输。其中Notify用于发送低于32bit的消息，HeapBufMP用于提供固定大小的内存及其管理，MessageQ基于队列，用来传递视频数据。实现流程参照图3所示：

1.ARM端和DSP端分别注册Notify并等待各自Notify注册完毕，用于消息传递与同步处理。2.利用HeapBufMP为视频队列分配共享内存空间。3.分别创建ARM端和DSP端的视频队列并相互打开，Notify用于相互打开之间的同步。4.创建一帧视频数据结点，节点分配的内存即第二步创建的共享内存空间。5.在ARM端把数据结点插入DSP视频队列。6.从DSP视频队列取出一帧视频数据节点。7.在DSP端对视频数据进行算法处理。8.处理后的视频数据插入HOST视频队列。9.在ARM端从HOST视频队列取出视频数据并交给ARM进行I/O处理，之后回收结点空间。

系统视频信号处理流程参照图4所示，。通过OV2640捕获一路D1格式的视频信号，在ARM9中把信号复制到共享内存区，通过Syslink的地址映射，使得DSP得以访问。DSP中运行了烟雾检测算法，ARM9主处理器完成网络功能和本地报警。

频度图像的映射关系参照图5所示，彩色图像(a)记录了像素点具体的位置信息，颜色直方图(b)记录了彩色图像内具有相同像素值的像素点的个数即像素点的频率信息，将两者结合起来就能够得到彩色图像(a)的频度图像(c)。因此，频度图像记录了以下两个信息：1.彩色图像中具有相同像素值的像素点个数；2.像素点所在的具体位置。

对比实验与分析如下：

场景1：参照图6，室内火灾前如图(a)所示，随着火灾初期烟雾的产生，系统在窗口22、27、28和窗口33检测出了薄烟的存在，用边框标示，系统发出报警，级别为二级；随着时间的持续，浓烟开始出现，所有可疑窗口用边框标示，系统发出高于二级的一级报警。

场景2：参照图7，室外火灾前如图(a)所示，在第18和23号窗口有两只飞鸟并没有被烟雾检测检测出来，系统在图(b)检测到了薄烟的存在，在图(c)中检测到了浓烟的存在。

以上所述仅是对本发明的较佳实施方式而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施方式所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。

Claims (1)

1.基于异构双核的烟雾检测系统，其特征在于按照以下步骤进行：

步骤1：

首先根据公式

Gray＝0.299R+0.587G+0.114B(2)

Gray表示灰度值，R，G，B表示RGB格式视频数据的R，G，B分量值，将彩色图像转成灰度图像；

步骤2：为了检测频度图像与基准图像之间的变化程度，采用公式(1)计算变化窗口在基准状态与当前状态下两幅频度图像之间的相关系数：

$G_i^{\left(h\right)}\left(t\right)=\frac{\underset{(m,n)\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}(p_i^{\left(t\right)}(m,n)-{\mathrm{\&alpha;}}_i^{\left(t\right)})(q_i^{\left(t_0\right)}(m,n)-{\mathrm{\&beta;}}_i^{\left(t_0\right)})}{\sqrt{\underset{(m,n)\&Element;}{\mathrm{\&Sigma;}}{(p_i^{\left(t\right)}(m,n)-{\mathrm{\&alpha;}}_i^{\left(t\right)})}^2}\sqrt{\underset{(m,n)\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}{(q_i^{\left(t_0\right)}(m,n)-{\mathrm{\&beta;}}_i^{\left(t_0\right)})}^2}}---\left(1\right)$

公式中，表示时刻t的频度图像在窗口i的点(m，n)的频度值，表示时刻t频度图像在窗口i各像素的平均频度值，表示基准图像的频度图像在窗口i的点(m，n)的频度值，表示基准图像的频度图像在窗口i各像素的平均频度值；

依据公式(3)计算变化窗口在基准状态与当前状态下两幅灰度图像之间的相关系数：

$C_i^{\left(g\right)}\left(t\right)=\frac{\underset{(m,n)\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}(b_i^{\left(t\right)}(m,n)-e_i^{\left(t\right)})(d_i^{\left(t_0\right)}(m,n)-k_i^{\left(t_0\right)})}{\sqrt{\underset{(m,n)\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}{(b_i^{\left(t\right)}(m,n)-e_i^{\left(t\right)})}^2}\sqrt{\underset{(m,n)\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}{(d_i^{\left(t_0\right)}(m,n)-k_i^{\left(t_0\right)})}^2}}---\left(3\right)$

公式中，表示时刻t的灰度图像在窗口i的点(m，n)的灰度值，表示时刻t灰度图像在窗口i各像素的平均灰度值，表示基准图像的灰度图像在窗口i的点(m，n)的灰度值，表示基准图像的灰度图像在窗口i各像素的平均灰度值；

步骤3：把起始无烟无运动物体的场景图作为基准图，为保证烟雾检测的可靠性，每隔一段时间自动更新基准图，通过定时自动检测窗口的变化率来确定是否场景状态已稳定，变化率r＝S₁/S，其中S₁表示当前帧各窗口与基准图的差分图像二值化后值为1的像素的个数，S表示各窗口的总像素数，若各窗口的变化率在连续100帧内均保持在一个稳定值上，则判断该场景已达到稳定状态，此时进行薄烟或者浓烟的检测；

步骤4：

1、依据频度图像的高灵敏性，判别相邻两帧图像有否变化，时有变化，给出可疑窗口；是窗口i中的频度图像的相关阈值；

2、判别浓烟的可疑窗口，连续多帧的窗口即为浓烟的可疑窗口；θ^(g)是灰度图像的相关阈值；

3、判别是否有浓烟，浓烟的可疑窗口是否满足连续性和扩展性特征，满足则判断为是，则有浓烟，一级报警；

4、如果没有浓烟，则所有可疑窗口满足即为薄烟，二级报警。