CN109145689A - 一种机器人火灾检测方法 - Google Patents

Abstract

本发明公开了一种机器人火灾检测方法，包括如下步骤：1)通过高清摄像头获取火灾检测区域的视频图像，在机器人操作系统中对视频当前帧图像进行图像预处理得到图像z1；2)对图像z1进行基于Ohta颜色空间和Otsu阈值分割算法的火焰区域分割，得到分割图像f1；3)通过帧间差法，将前一帧预处理后的图像z2与当前帧图像z1相减，对图像进行运动区域分割，得到分割图像f2；4)在机器人操作系统中将得到的分割图像f1与分割图像f2取交集，得到具有火焰运动特征的分割图像f3；5)基于火焰其他特性对分割图像f3中的区域进行火焰识别；6)判断火焰面积是否大于阈值，并返回火灾最终检测结果。本发明提供的一种新的机器人火灾检测方法，对火焰多项特征进行识别，准确性高，且实时性好。

Description

一种机器人火灾检测方法

技术领域

本发明属于图像识别领域，具体涉及一种机器人火灾检测方法。

背景技术

近年来，火灾事故日益频发，不仅造成了巨大的经济损失，同时也极大地危害到人类的人身安全。传统的火灾检测方法主要是通过传感器，分析火灾发生时的物体现象和化学反应生成物成分情况来进行火灾检测，这些检测方法容易受设备自身、场地以及周围环境的影响而不能实时对所监控区域进行火灾检测。

随着计算机技术和图像处理技术的发展，具有图像处理功能的机器人进入人们的视野。机器人是集计算机、机械、传感技术、信息处理技术、图像处理与识别技术、语言识别与处理技术为一体的系统。具有图像处理功能的机器人也成为检测火灾的重要手段。它们在火灾检测方面具有很好的实时性，比传统的识别方法具有更高的准确性。不仅如此，可移动的机器人能代替人工进行火灾巡检工作，特别是在恶劣的环境或者在检测范围较大的区域。

随着机器人朝着复杂化、通用化以及跟踪环境不确定化发展，对代码的复用性、模块化提出了较高的要求。机器人操作系统提供了一个标准的操作系统环境，包括硬件抽象、底层设备控制、通用功能的实现、进程间消息转发和功能包管理等。采用机器人操作系统能提高代码的复用性，分布式进程架构，使得程序具有高独立性和低耦合性。但是现有技术中尚无一种利用机器人进行火灾检测的方法。

发明内容

本发明的目的在于提供一种新的机器人火灾检测方法，来应对场景复杂的火灾情况。

实现本发明目的的技术解决方案为：一种新的机器人火灾检测方法，包括以下步骤：步骤一、通过高清摄像头获取火灾检测区域的视频图像，在机器人操作系统中对视频当前帧图像进行图像预处理得到图像z1；

所述图像预处理采用中值滤波方法对采集到的视频图像进行滤波，去除图像中的噪声干扰。

步骤二、对图像z1进行基于Ohta颜色空间和Otsu阈值分割算法的火焰区域分割，得到分割图像f1；所述Ohta颜色空间为一组正交颜色特征集{I₁,I₂,I₃}，主要结合RGB进行特征量化，且RGB空间到Ohta空间的转换是线性的，各分量间相互独立，对彩色图像的分割具有非常好的效果。所述Otsu阈值分割算法为一种使类间方差最大的自适应阈值确定方法，可用其进行图像分割。

步骤三、通过帧间差法，将前一帧预处理后的图像z2与当前帧图像z1相减，对图像进行运动区域分割，得到分割图像f2；所述帧间差法采用相邻两帧图像相减，并计算其绝对值，判断是否大于某个阈值，从而对视频图像序列进行分析。

步骤四、在机器人操作系统中将得到的分割图像f1与分割图像f2取交集，得到具有火焰运动特征的分割图像f3；

步骤五、基于火焰其他特性对分割图像f3中的区域进行火焰识别；所述火焰其他特性包括圆形度、角点个数、连通域个数方差等，加以这些特性进行判断，增加了火焰识别的准确性。

步骤六、判断火焰面积是否大于阈值，并返回火灾最终检测结果。所述在机器人操作系统中返回火灾检测结果，指通过发布消息至话题中，供报警模块订阅。

本发明与现有技术相比，其显著优点为：1)本发明的方法根据火焰颜色及运动特征，利用Ohta颜色空间与背景更新相结合提取运动目标，该方法能够分割出符合火焰颜色特征的运动目标，可以排除大量非火焰运动目标，相对于直接利用背景更新提取的运动目标而言，减少了大量的噪声，便于后续快速处理；2)本发明利用灰度位平面算法在Ohta空间的I₂分量图进行火焰区域的分割，其分割出的火焰区域相对于基于RGB空间分割出的火焰区域要好的多；3)本发明对疑似火焰区域再加以圆形度、角点个数、连通域个数方差等特性进行识别，增加了识别的准确性；4)将图像处理技术与机器人操作系统相结合，使用机器人操作系统能提高代码的复用性，且程序具有更高独立性和低耦合性。5)本发明提出的火灾检测方法比传统的图像检测方法具有更高的准确率，减少误报率。采用机器人操作系统的机器人，可代替人工在复杂环境下进行火灾情况巡检，减少了人力成本，提高了经济效益。

附图说明

图1是本发明的机器人火灾检测方法流程图。

图2为图像预处理中值滤波方法流程图；

图3为基于Ohta颜色空间和Otsu阈值分割算法的火焰区域分割方法流程图；

图4为基于火焰其他特性进行火焰最终识别的方法流程图。

图中编号代表的含义为：1为通过高清摄像头获取火灾检测区域的视频图像，在机器人操作系统中对视频当前帧图像进行图像预处理得到图像z1；2为对图像z1进行基于Ohta颜色空间和Otsu阈值分割算法的火焰区域分割，得到分割图像f1；3为通过帧间差法，将前一帧预处理后的图像z2与当前帧图像z1相减，对图像进行运动区域分割，得到分割图像f2；4为在机器人操作系统中将得到的分割图像f1与分割图像f2取交集，得到具有火焰运动特征的分割图像f3；5为基于火焰其他特性对分割图像f3中的区域进行火焰识别；6为判断火焰面积是否大于阈值，并返回火灾最终检测结果。

具体实施方式

结合附图，本发明的一种机器人火灾检测方法，具体步骤为：

步骤1、通过高清摄像头获取火灾检测区域的视频图像，并对视频当前帧图像进行图像预处理得到图像z1；所述图像预处理具体是采用中值滤波方法对采集到的视频图像进行滤波，去除图像中的噪声干扰，具体为：采用一个3×3的滑动窗口对图像像素矩阵按照下列步骤进行处理：

步骤1-1、选定一个3×3的窗口，总共为9个像素点，位于窗口中间的点为当前像素点；

步骤1-2、将这9个像素点的数值从小到大进行排序；

步骤1-3、取排在中间位置的值作为当前像素点的值；

步骤1-4、重复执行步骤1-1到步骤1-3直至整幅图像像素矩阵处理完毕。

步骤2、对图像z1进行基于Ohta颜色空间和Otsu阈值分割算法的火焰区域分割，得到分割图像f1；

对图像z1进行基于Ohta颜色空间和Otsu阈值分割算法的火焰区域分割，得到分割图像f1时；

所述Ohta颜色空间，有三个颜色两两正交的分量{I₁,I₂,I₃}，当前具有两种变换方式，方式一：

上式中，R、G、B是图像红、绿、蓝颜色分量；

方式二：

上式中，R、G、B是图像红、绿、蓝颜色分量；

所述Otsu阈值分割算法根据图像的灰度特性在图像的背景和目标两部分之间自适应寻找的寻找最佳分割阈值，其实现方法如下：

设图像像素数为N，灰度范围为[0，L-1]，对应灰度级i的像素数为n_i，几率为：

p_i＝n_i/N，i＝0，1，2，...，L-1

把图像中的像素灰度值用阈值T分成两类C₀和C₁，C₀由灰度值在[0，T]之间的像素组成，C₁由灰度值在[T+1，L-1]之间的像素组成，对应灰度分布几率，整幅图像的均值为：

则C₀和C₁的均值为：

其中：

由上式得：

u_T＝w₀u₀+w₁u₁

类间方差为：

σ²＝w₀(u₀-u_T)²+w₁(u₁-u_T)²

＝w₁w₀(u₀-u₁)²

让T在[0，L-1]范围依次取值，使σ²最大的T值即为Otsu法的最佳阈值；

对图像z1进行基于Ohta颜色空间和Otsu阈值分割算法的火焰区域分割的基本步骤如下：

步骤2-1、把RGB彩色图像转换为Ohta色彩空间内各个颜色特征的灰度图像，即通过计算得到I₁分量图像，I₂分量图像和I₃分量图像；

步骤2-2、输入固定阈值，由此固定阈值对I₁分量图像进行二值化，得到疑似火焰区域1；

步骤2-3、对I₂分量图像采用Otsu阈值分割算法进行二值化，得到疑似火焰区域2；

步骤2-4、将步骤2-2与步骤2-3中得到的疑似火焰区域进行相与运算，得到最终基于Ohta颜色空间和Otsu阈值分割算法的疑似火焰区域3。

步骤3、通过帧间差法，将前一帧预处理后的图像z2与当前帧图像z1相减，对图像进行运动区域分割，得到分割图像f2；

所述帧间差法采用相邻两帧图像相减，并计算其绝对值，判断是否大于阈值，从而对视频图像序列进行分析，如果大于所选阈值，则判断为运动前景区域，将该像素点值置为1，实现过程如下：

式中，f(x，y，n)为像素在第n帧图像点(x，y)处的特征值；T为某个灰度阈值。

步骤4、将得到的分割图像f1与分割图像f2取交集，得到具有火焰运动特征的分割图像f3；

步骤5、对分割图像f3中的区域进行火焰识别，判断火焰面积是否大于阈值，若大于阈值则发出火灾预警，否则不发出预警，之后返回火灾最终检测结果。对分割图像f3中的区域进行火焰识别时，所述火焰特性包括圆形度、角点个数、连通域个数方差，具体的按照如下方法进行特征提取：

(1)圆形度

圆形度用来度量物体接近圆形的程度，用下式计算：

式中，p代表物体的周长，A代表物体的面积，C代表圆形度；

当物体的形状趋近于圆时，圆形度C趋近于1，当物体边缘越复杂时，C的取值越高；由于火焰燃烧时边缘的变化和不规则性，使得火焰区域的圆形度要比一般近似火焰的物体大很多，C＞1；

(2)角点个数

采用如下Harris角点检测算法对火焰进行判断：

1)对原始图像计算水平和垂直方向上的导数；

2)对第1步所得偏导数进行高斯平滑以去除噪声；

3)计算角点量；

4)进行局部非极大值抑制；

5)获取最终角点位置及数目；

6)根据角点数目判断是否为火焰，形状规则的物体其角点数目固定不变，火焰区域角点数目大于阈值且数目在不同时刻有变化；

(3)连通域个数方差

连续几帧图像中连通区域个数方差大于阈值，被判别为火焰区域；

(4)面积增长率

根据相邻帧的同一疑似火焰区域的面积是否发生变化来作为判别火焰的一个依据，依据公式如下：

式中，k表示为面积增长率，S为可疑区域的面积。

本发明的方法根据火焰颜色及运动特征，利用Ohta颜色空间与背景更新相结合提取运动目标，该方法能够分割出符合火焰颜色特征的运动目标，可以排除大量非火焰运动目标，相对于直接利用背景更新提取的运动目标而言，减少了大量的噪声，便于后续快速处理。

下面进行更详细的描述。

本发明提供一种新的机器人火灾检测方法，包括以下步骤：

步骤一、通过高清摄像头获取火灾检测区域的视频图像，在机器人操作系统中对视频当前帧图像进行图像预处理得到图像z1；

步骤二、对图像z1进行基于Ohta颜色空间和Otsu阈值分割算法的火焰区域分割，得到分割图像f1；

步骤三、通过帧间差法，将前一帧预处理后的图像z2与当前帧图像z1相减，对图像进行运动区域分割，得到分割图像f2；

步骤四、在机器人操作系统中将得到的分割图像f1与分割图像f2取交集，得到具有火焰运动特征的分割图像f3；

步骤五、基于火焰其他特性对分割图像f3中的区域进行火焰识别；

步骤六、判断火焰面积是否大于阈值，并返回火灾最终检测结果。

进一步，步骤一中，所述图像预处理中值滤波方法，用以对采集到的视频图像进行滤波，去除图像中的噪声干扰，方法步骤如下：

采用一个3×3的滑动窗口对图像像素矩阵按照下列步骤进行处理：

(1)选定一个3×3的窗口，总共为9个像素点，位于窗口中间的点为当前像素点；

(2)将这9个像素点的数值从小到大进行排序；

(3)取排在中间位置的值作为当前像素点的值；

(4)重复执行(1)到(3)步骤至整幅图像像素矩阵处理完毕。

进一步，步骤二中，所述Ohta颜色空间，有三个颜色两两正交的分量{I₁,I₂,I₃}，其主要结合RGB进行特征量化的，当前具有两种变换方式，方式一：

上式中，R、G、B是图像红、绿、蓝颜色分量；

方式二：

上式中，R、G、B是图像红、绿、蓝颜色分量。

进一步，步骤二中，所述Otsu阈值分割算法可根据图像的灰度特性在图像的背景和目标两部分之间自适应寻找的寻找最佳分割阈值，其实现方法如下：

设图像像素数为N，灰度范围为[0，L-1]，对应灰度级i的像素数为n_i，几率为：

p_i＝n_i/N，i＝0，1，2，…，L-1 (3)

把图像中的像素灰度值用阈值T分成两类C₀和C₁，C₀由灰度值在[0,T]之间的像素组成，C₁由灰度值在[T+1，L-1]之间的像素组成，对应灰度分布几率，整幅图像的均值为：

则C₀和C₁的均值为：

其中：

由上面式(5)～(9)可得：

u_T＝w₀u₀+w₁u₁ (10)

类间方差为：

σ²＝w₀(u₀-u_T)²+w₁(u₁-u_T)²

＝w₁w₀(u₀-u₁)² (11)

让T在[0，L-1]范围依次取值，使σ²最大的T值即为Otsu法的最佳阈值。

进一步，步骤二中，对图像z1进行基于Ohta颜色空间和Otsu阈值分割算法的火焰区域分割的基本步骤如下：

(1)通过公式(1)把RGB彩色图像转换为Ohta色彩空间内各个颜色特征的灰度图像，即通过计算得到I₁分量图像，I₂分量图像和I₃分量图像；

(2)通过大量实验结果统计得到固定阈值，由此固定阈值对I₁分量图像进行二值化，得到疑似火焰区域1；

(3)对I₂分量图像采用Otsu阈值分割算法进行二值化，得到疑似火焰区域2；

(4)将步骤2与步骤3中得到的疑似火焰区域进行相与运算，得到最终基于Ohta颜色空间和Otsu阈值分割算法的疑似火焰区域3。

进一步，步骤三中，所述帧间差法采用相邻两帧图像相减，并计算其绝对值，判断是否大于某个阈值，从而对视频图像序列进行分析，如果大于所选阈值，则判断为运动前景区域，将该像素点值置为1，实现过程如下：

上式中，f(x，y，n)为像素在第n帧图像点(x，y)处的特征值；T为某个灰度阈值，T的选值非常重要，它决定了分割的效果和最终检测的准确性，我们可以通过实验统计得到T的合适取值。

进一步，步骤四中，所述具有火焰运动特征的分割图像f3，对其利用形态学运算中的开运算消除由噪声引起的孤立点。

进一步，步骤四中，所述具有火焰运动特征的分割图像f3中，由于焰心过于明亮且移动性缓慢，导致火焰区域存在空洞，在对其进行开运算处理后再采用形态学运算中的腐蚀运算对空洞进行填充。

进一步，步骤五中，所述火焰其他特性包括圆形度、角点个数、连通域个数方差等，具体的按照如下方法进行特征提取：

(1)圆形度

圆形度用来度量物体接近圆形的程度，用下式计算：

上式中，p代表物体的周长，A代表物体的面积，C代表圆形度；

当物体的形状趋近于圆时，圆形度C趋近于1，当物体边缘越复杂时，C的取值越高；像路灯、车灯和手电筒等近似火焰颜色的物体边缘复杂度不高，C≈1，而由于火焰燃烧时边缘的变化和不规则性，使得火焰区域的圆形度要比一般近似火焰的物体大很多，C＞1；

(2)角点个数

通常我们将图像所凹进去或凸出来的角称作角点，由于火焰的运动特征以及周围环境的影响使得火焰的角点数呈现出无规则的变化，而形状规则的物体其角点数目一般是固定不变的，基于此，可以利用这一特征进行火焰判断；

采用如下Harris角点检测算法对火焰进行判断：

1)对原始图像计算水平和垂直方向上的导数；

2)对第1步所得偏导数进行高斯平滑以去除噪声；

3)计算角点量；

4)进行局部非极大值抑制；

5)获取最终角点位置及数目；

6)根据角点数目判断是否为火焰，形状规则的物体其角点数目一般固定不变，火焰区域角点数目较多且数目在不同时刻有一定的变化。

(3)连通域个数方差

在火灾中的火焰特别是距离摄像头比较近一些的火焰，其二值化后的图像的连通区域个数不是一个，而是一个到多个之间发生快速无规则的变化，此特性也为火焰检测提供方法，连续几帧图像中连通区域个数方差较大的被判别为火焰区域；

(4)面积增长率

火灾在发生初期一个非常显著的特征就是蔓延,具体表现就是面积的增长，因此，根据相邻帧的同一疑似火焰区域的面积是否发生变化来作为判别火焰的一个依据，依据计算公式如下：

上式中，k表示为面积增长率，S为可疑区域的面积，面积用所在疑似连通区域的像素点数量来计算。

进一步，步骤六中，当火焰区域面积大于一定的阈值时，则识别为火灾；在机器人操作系统中，将识别结果存入消息中，并将包含此消息的话题发布，供报警模块订阅。

本发明提供的一种新的机器人火灾检测方法，对火焰多项特征进行识别，准确性高，且实时性好。

Claims (5)

1.一种机器人火灾检测方法，其特征在于，具体步骤为：

步骤1、通过高清摄像头获取火灾检测区域的视频图像，并对视频当前帧图像进行图像预处理得到图像z1；

步骤2、对图像z1进行基于Ohta颜色空间和Otsu阈值分割算法的火焰区域分割，得到分割图像f1；

步骤3、通过帧间差法，将前一帧预处理后的图像z2与当前帧图像z1相减，对图像进行运动区域分割，得到分割图像f2；

步骤4、将得到的分割图像f1与分割图像f2取交集，得到具有火焰运动特征的分割图像f3；

步骤5、对分割图像f3中的区域进行火焰识别，判断火焰面积是否大于阈值，若大于阈值则发出火灾预警，否则不发出预警，之后返回火灾最终检测结果。

2.如权利要求1所述的机器人火灾检测方法，其特征在于，步骤1中，所述图像预处理具体是采用中值滤波方法对采集到的视频图像进行滤波，去除图像中的噪声干扰，具体为：采用一个3×3的滑动窗口对图像像素矩阵按照下列步骤进行处理：

步骤1-1、选定一个3×3的窗口，总共为9个像素点，位于窗口中间的点为当前像素点；

步骤1-2、将这9个像素点的数值从小到大进行排序；

步骤1-3、取排在中间位置的值作为当前像素点的值；

步骤1-4、重复执行步骤1-1到步骤1-3直至整幅图像像素矩阵处理完毕。

3.如权利要求1所述的机器人火灾检测方法，其特征在于，步骤2中，对图像z1进行基于Ohta颜色空间和Otsu阈值分割算法的火焰区域分割，得到分割图像f1时；

所述Ohta颜色空间，有三个颜色两两正交的分量{I₁,I₂,I₃}，当前具有两种变换方式，方式一：

上式中，R、G、B是图像红、绿、蓝颜色分量；

方式二：

上式中，R、G、B是图像红、绿、蓝颜色分量；

所述Otsu阈值分割算法根据图像的灰度特性在图像的背景和目标两部分之间自适应寻找的寻找最佳分割阈值，其实现方法如下：

设图像像素数为N，灰度范围为[0，L-1]，对应灰度级i的像素数为n_i，几率为：

p_i＝n_i/N，i＝0，1，2，...，L-1

把图像中的像素灰度值用阈值T分成两类C₀和C₁，C₀由灰度值在[0,T]之间的像素组成，C₁由灰度值在[T+1，L-1]之间的像素组成，对应灰度分布几率，整幅图像的均值为：

则C₀和C₁的均值为：

其中：

由上式得：

u_T＝w₀u₀+w₁u₁

类间方差为：

σ²＝w₀(u₀-u_T)²+w₁(u₁-u_T)²

＝w₁w₀(u₀-u₁)²

让T在[0，L-1]范围依次取值，使σ²最大的T值即为Otsu法的最佳阈值；

对图像z1进行基于Ohta颜色空间和Otsu阈值分割算法的火焰区域分割的基本步骤如下：

步骤2-1、把RGB彩色图像转换为Ohta色彩空间内各个颜色特征的灰度图像，即通过计算得到I₁分量图像，I₂分量图像和I₃分量图像；

步骤2-2、输入固定阈值，由此固定阈值对I₁分量图像进行二值化，得到疑似火焰区域1；

步骤2-3、对I₂分量图像采用Otsu阈值分割算法进行二值化，得到疑似火焰区域2；

步骤2-4、将步骤2-2与步骤2-3中得到的疑似火焰区域进行相与运算，得到最终基于Ohta颜色空间和Otsu阈值分割算法的疑似火焰区域3。

4.如权利要求1所述的机器人火灾检测方法，其特征在于，步骤3中所述帧间差法采用相邻两帧图像相减，并计算其绝对值，判断是否大于阈值，从而对视频图像序列进行分析，如果大于所选阈值，则判断为运动前景区域，将该像素点值置为1，实现过程如下：

式中，f(x，y，n)为像素在第n帧图像点(x，y)处的特征值；T为某个灰度阈值。

5.如权利要求1所述的机器人火灾检测方法，其特征在于，步骤5对分割图像f3中的区域进行火焰识别时，所述火焰特性包括圆形度、角点个数、连通域个数方差，具体的按照如下方法进行特征提取：

(1)圆形度

圆形度用来度量物体接近圆形的程度，用下式计算：

式中，p代表物体的周长，A代表物体的面积，C代表圆形度；

当物体的形状趋近于圆时，圆形度C趋近于1，当物体边缘越复杂时，C的取值越高；由于火焰燃烧时边缘的变化和不规则性，使得火焰区域的圆形度要比一般近似火焰的物体大很多，C＞1；

(2)角点个数

采用如下Harris角点检测算法对火焰进行判断：

1)对原始图像计算水平和垂直方向上的导数；

2)对第1步所得偏导数进行高斯平滑以去除噪声；

3)计算角点量；

4)进行局部非极大值抑制；

5)获取最终角点位置及数目；

6)根据角点数目判断是否为火焰，形状规则的物体其角点数目固定不变，火焰区域角点数目大于阈值且数目在不同时刻有变化；

(3)连通域个数方差

连续几帧图像中连通区域个数方差大于阈值，被判别为火焰区域；

(4)面积增长率

根据相邻帧的同一疑似火焰区域的面积是否发生变化来作为判别火焰的一个依据，依据公式如下：

式中，k表示为面积增长率，S为可疑区域的面积。