CN108876856A - 一种大型建筑火灾火源识别定位方法及系统 - Google Patents

Abstract

本发明公开了一种大型建筑火灾火源识别定位方法及系统，该方法包括：首先采用RGB和HIS双色彩空间先验阈值约束条件和频谱图的平均灰度值、标准差双重判断双目摄像机采集的大型建筑内部空间图像是否存在火灾型火焰，若存在则采用基于轮廓的空洞填充算法对初次分割以及二值化后的大型建筑内部空间图像进行填充；然后采用优化SURF算法对填充后的图像进行特征点提取，采用基于特征的匹配算法对两幅填充后的图像的特征点进行优化匹配；最后根据仿射几何空间模型确定优化匹配点的三维空间坐标，确定火灾型火焰的位置。因此，本发明提供的方法及系统利用计算机双目立体视觉技术，能够及时识别、精准定位大空间建筑火灾火源位置，提高灭火效率。

Description

一种大型建筑火灾火源识别定位方法及系统

技术领域

本发明涉及计算机双目视觉匹配技术领域，特别涉及一种基于计算机双目视觉匹配的大型建筑火灾火源识别定位方法及系统。

背景技术

随着经济水平飞跃发展和建筑科学技术的日益增强，各类现代化城市建筑趋向于向大空间、综合性及高层的方向发展。但是近年来，时常有大空间建筑发生火灾的新闻，造成巨大损失。大空间建筑(如商场、电影院、车间、仓库、展览馆等)单层面积大，层间跨度高，一方面，由于烟雾浓度、温度传到安装于天花板处的检测装置时已经很低，传统检测装置往往不能及时反应；另一方面，传统的喷淋灭火装置不是定点灭火，而是在一定保护范围内全面的洒水，效率较低，而且易造成不必要的水渍，带来额外的财产损失。因此，传统的灭火装置已经不能够满足大空间建筑的防火需求。

发明内容

本发明的目的是提供一种基于计算机双目视觉匹配的大型建筑火灾火源识别定位方法及系统，该方法及系统利用计算机双目立体视觉技术，能够及时识别、精准定位大空间建筑火灾火源位置，提高灭火效率。

为实现上述目的，本发明提供了如下方案：

一种大型建筑火灾火源识别定位方法，所述大型建筑火灾火源识别定位方法包括：

获取双目摄像机采集的大型建筑内部空间图像；

判断所述大型建筑内部空间图像是否满足RGB和HIS双色彩空间先验阈值约束条件，得到第一判断结果；

若所述第一判断结果表示所述大型建筑内部空间图像满足所述RGB和HIS双色彩空间先验阈值约束条件，则初步确定所述大型建筑内部空间图像为火焰区域图像，并对所述火焰区域图像进行二值化、高斯滤波以及形态学处理，得到火焰二值化图像；

若所述第一判断结果表示所述大型建筑内部空间图像不满足所述RGB和HIS双色彩空间先验阈值约束条件，则确定大型建筑内部不存在火焰，并返回获取双目摄像机采集的大型建筑内部空间图像步骤；

对所述火焰二值化图像进行频域变换，得到火焰区域频谱图，并计算所述火焰区域频谱图的平均灰度值和标准差；

判断所述火焰区域频谱图的平均灰度值和标准差是否均超过设定阈值，得到第二判断结果；

若所述第二判断结果表示所述火焰区域频谱图的平均灰度值和标准差均超过所述设定阈值，则保留火焰区域图像，并采用基于轮廓的空洞填充算法对保留下来的所述火焰区域图像进行处理，得到填充后的火焰区域图像；

若所述第二判断结果表示所述火焰区域频谱图的平均灰度值和标准差未均超过所述设定阈值，则剔除所述火焰区域图像，并返回获取双目摄像机采集的大型建筑内部空间图像步骤；

采用优化SURF算法对所述填充后的火焰区域图像进行特征点提取，得到所述填充后的火焰区域图像的特征点，并对采用基于特征的匹配算法对两幅所述填充后的火焰区域图像的特征点进行优化匹配，得到优化匹配点以及优化匹配点的二维坐标；

根据仿射几何空间模型计算所述优化匹配点的深度值，得到优化匹配点三维空间坐标，确定火灾型火焰的位置。

可选的，所述RGB和HIS双色彩空间先验阈值约束条件为其中，Rt，St是阈值，h1，h2为松弛量。

可选的，所述对所述火焰区域图像进行二值化、高斯滤波以及形态学处理，得到火焰二值化图像，具体包括：

对所述火焰区域图像进行二值化处理，得到初步二值化图像；

对所述二值化图像进行高斯滤波处理，得到平滑图像；

对所述平滑图像依次进行闭操作、膨胀操作以及腐蚀操作，得到火焰二值化图像。

可选的，所述对所述火焰二值化图像进行频域变换，得到火焰区域频谱图，具体包括：

对所述火焰二值化图像进行扩充裁剪处理；

对扩充裁剪处理后的火焰二值化图像进行傅里叶变换，得到频域变换图像；

对所述频域变换图像进行对数尺度变换，得到火焰区域频谱图。

可选的，在采用基于轮廓的空洞填充算法对保留下来的所述火焰区域图像进行处理之前，所述大型建筑火灾火源识别定位方法还包括：

采用RGB模型和HIS模型编写的画矩形框的函数DrawFire对所述火焰区域图像进行区域划分，得到感兴趣区域图像集合；

判断所述感兴趣区域图像集合中的感兴趣区域图像是否均不符合圆形度衡量物体形状约束条件，得到第三判断结果；

若所述第三判断结果表示所述感兴趣区域图像符合圆形度衡量物体形状约束条件，则确定大型建筑内部存在火灾型火焰，并将符合圆形度衡量物体形状约束条件的感兴趣区域图像确定为火灾型火焰区域图像，保留所述火焰区域图像；

若所述第三判断结果表示所述感兴趣区域图像均不符合圆形度衡量物体形状约束条件，则确定大型建筑内部不存在火灾型火焰，并剔除所有感兴趣区域图像。

可选的，所述采用RGB模型和HIS模型编写的画矩形框的函数DrawFire对所述火焰区域图像进行区域划分得到感兴趣区域图像集合，具体包括：

采用OpenCV中寻找轮廓的函数findContours提取所述火焰区域图像中的火焰轮廓曲线；

采用RGB模型和HIS模型编写的画矩形框的函数DrawFire对所述火焰轮廓曲线进行矩形框标记，得到感兴趣区域图像集合；其中，用不同矩形框标记不同区域出现的火焰。

可选的，所述采用基于轮廓的空洞填充算法对保留下来的所述火焰区域图像进行处理，得到填充后的火焰区域图像，具体包括：

对所述初步二值化图像进行轮廓线提取；

对轮廓线包围的图像进行填充。

可选的，采用优化SURF算法对所述填充后的火焰区域图像进行特征点提取，得到所述填充后的火焰区域图像的特征点，具体包括：

采用近似Hessian矩阵计算所述填充后的火焰区域图像中每个关键点的极值；

对所述极值进行空间非最大值抑制运算以及插值运算，得到特征点坐标。

可选的，所述对采用基于特征的匹配算法对两幅所述填充后的火焰区域图像的特征点进行优化匹配，得到优化匹配点以及优化匹配点的二维坐标，具体包括：

采用欧式距离匹配法，对两幅所述填充后的火焰区域图像的特征点进行匹配，得到多个候选匹配点；

将大于垂直视差阈值的候选匹配点剔除，得到优化匹配点以及优化匹配点的二维坐标。

本发明还提供了一种大型建筑火灾火源识别定位系统，，所述火灾火源识别定位系统包括：

大型建筑内部空间图像获取模块，用于获取双目摄像机采集的大型建筑内部空间图像；

第一判断结果得到模块，用于判断所述大型建筑内部空间图像是否满足RGB和HIS双色彩空间先验阈值约束条件，得到第一判断结果；

火焰二值化图像得到模块，用于当所述第一判断结果表示所述大型建筑内部空间图像满足所述RGB和HIS双色彩空间先验阈值约束条件时，初步确定所述大型建筑内部空间图像为火焰区域图像，并对所述火焰区域图像进行二值化、高斯滤波以及形态学处理，得到火焰二值化图像；

平均灰度值和标准差计算模块，用于对所述火焰二值化图像进行频域变换，得到火焰区域频谱图，并计算所述火焰区域频谱图的平均灰度值和标准差；

第二判断结果得到模块，用于判断所述火焰区域频谱图的平均灰度值和标准差是否均超过设定阈值，得到第二判断结果；

填充后的火焰区域图像得到模块，用于当所述第二判断结果表示所述火焰区域频谱图的平均灰度值和标准差均超过所述设定阈值时，保留火焰区域图像，并采用基于轮廓的空洞填充算法对保留下来的所述火焰区域图像进行处理，得到填充后的火焰区域图像；

返回模块，用于当所述第一判断结果表示所述大型建筑内部空间图像不满足所述RGB和HIS双色彩空间先验阈值约束条件时确定大型建筑内部不存在火焰，并返回获取双目摄像机采集的大型建筑内部空间图像步骤或者当所述第二判断结果表示所述火焰区域频谱图的平均灰度值和标准差未均超过所述设定阈值时剔除所述火焰区域图像，并返回获取双目摄像机采集的大型建筑内部空间图像步骤；

优化匹配点以及优化匹配点的二维坐标得到模块，用于采用优化SURF算法对所述填充后的火焰区域图像进行特征点提取，得到所述填充后的火焰区域图像的特征点，并对采用基于特征的匹配算法对两幅所述填充后的火焰区域图像的特征点进行优化匹配，得到优化匹配点以及优化匹配点的二维坐标；

火灾型火焰的位置确定模块，用于根据仿射几何空间模型计算所述优化匹配点的深度值，得到优化匹配点三维空间坐标，确定火灾型火焰的位置。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供了一种大型建筑火灾火源识别定位方法及系统，该方法包括：判断获取的双目摄像机采集的大型建筑内部空间图像是否满足RGB和HIS双色彩空间先验阈值约束条件，若是则大型建筑内部空间图像确定为火焰区域图像，并对此图像进行二值化、高斯滤波以及形态学处理得到火焰二值化图像，若否则继续判断；对火焰二值化图像进行频域变换得到火焰区域频谱图，并判断计算的火焰区域频谱图的平均灰度值和标准差是否均超过设定阈值，若是则保留火焰区域图像，并采用基于轮廓的空洞填充算法对火焰区域图像进行处理，采用优化SURF算法对填充后的火焰区域图像进行特征点提取，采用基于特征的匹配算法对两幅所述填充后的火焰区域图像的特征点进行优化匹配，根据仿射几何空间模型计算所述优化匹配点的深度值得到优化匹配点三维空间坐标，确定火灾型火焰的位置。本发明提供的方法及系统利用计算机双目立体视觉技术，能够及时识别、精准定位大空间建筑火灾火源位置，提高灭火效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例大型建筑火灾火源识别定位方法的流程示意图；

图2为本发明图像提取示意图一；

图3为本发明图像提取示意图二；

图4为本发明常见干扰源图像傅里叶变换过程示意图；

图5为本发明真正火源图像傅里叶变换过程示意图；

图6为本发明初步感兴趣区域示意图；

图7为本发明最终感兴趣区域示意图；

图8为本发明采用基于轮廓的空洞填充算法对图像处理示意图；

图9为本发明单目图像特征点匹配算法效果图；

图10为本发明双目图像特征点匹配算法效果图；

图11为本发明经过极线校正后的平行配置双目立体视觉系统的结构示意图；

图12为本发明相机标定过程示意图；

图13为本发明填充后的火焰区域图像

图14为本发明极线校正对比图；

图15为本发明实际场景匹配效果图；

图16为本发明实施例大型建筑火灾火源识别定位系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于计算机双目视觉匹配的大型建筑火灾火源识别定位方法及系统，该方法及系统利用计算机双目立体视觉技术，能够及时识别、精准定位大空间建筑火灾火源位置，提高灭火效率。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明提供的大型建筑火灾火源识别定位方法及系统的具体工作原理：通过双目摄像机采集图像，火焰识别模块识别火灾发生，当火焰识别模块识别到火灾发生后就立刻调用定位测距模块动态分析火灾的特征信息并准确定位，同时将相应的数据信息传输给现场控制器，利用机械转动控制技术控制消防水炮并转向火源位置，完成火灾的初期探测和定点灭火。

在火灾识别模块，利用颜色空间模型实现火焰区域的初步检测，通过静态特征、动态特征剔除伪区域，进而通过延迟时间以及区域面积判断是否发生火灾。

定位测距模块利用基于图像填充的优化SURF算法，通过对经填充处理过的预分割图像进行特征提取与特征匹配，得到候选匹配点；通过匹配点对筛选，对较优的匹配点进行空间仿射，可以得到火源的实际空间坐标。

图1为本发明实施例大型建筑火灾火源识别定位方法的流程示意图，如图1所示，本发明实施例提供的一种大型建筑火灾火源识别定位方法包括：

步骤101：获取双目摄像机采集的大型建筑内部空间图像。

步骤102：判断所述大型建筑内部空间图像是否满足RGB和HIS双色彩空间先验阈值约束条件，得到第一判断结果；若所述第一判断结果表示所述大型建筑内部空间图像不满足所述RGB和HIS双色彩空间先验阈值约束条件，则执行步骤103；若所述第一判断结果表示所述大型建筑内部空间图像满足所述RGB和HIS双色彩空间先验阈值约束条件，则执行步骤104。

步骤103：确定大型建筑内部不存在火焰，并返回步骤101。

步骤104：初步确定所述大型建筑内部空间图像为火焰区域图像，并对所述火焰区域图像进行二值化、高斯滤波以及形态学处理，得到火焰二值化图像。

步骤105：对所述火焰二值化图像进行频域变换，得到火焰区域频谱图，并计算所述火焰区域频谱图的平均灰度值和标准差。

步骤106：判断所述火焰区域频谱图的平均灰度值和标准差是否均超过设定阈值，得到第二判断结果。若所述第二判断结果表示所述火焰区域频谱图的平均灰度值和标准差均超过所述设定阈值，则执行步骤107；若所述第二判断结果表示所述火焰区域频谱图的平均灰度值和标准差未均超过所述设定阈值，则执行步骤108。

步骤107：保留火焰区域图像，并采用基于轮廓的空洞填充算法对保留下来的所述火焰区域图像进行处理，得到填充后的火焰区域图像。

步骤108：剔除所述火焰区域图像，并返回步骤101。

步骤109：采用优化SURF算法对所述填充后的火焰区域图像进行特征点提取，得到所述填充后的火焰区域图像的特征点，并对采用基于特征的匹配算法对两幅所述填充后的火焰区域图像的特征点进行优化匹配，得到优化匹配点以及优化匹配点的二维坐标。

步骤110：根据仿射几何空间模型计算所述优化匹配点的深度值，得到优化匹配点三维空间坐标，确定火灾型火焰的位置。

本发明实施例结合RGB和HIS双色彩空间先验，初步检测火焰区域。火焰图像偏向红黄色，因此红分量R通常最大，可以通过统计先验得到的阈值约束三通道分量的值。考虑到单一色彩空间准确性较差，在RGB空间先验基础上，附加HIS条件，即RGB和HIS双色彩空间先验阈值约束条件为其中，Rt，St是阈值，h1，h2为松弛量。若满足上述约束条件，则判断为火焰像素，二值化为白色，否则二值化为黑色。阈值的选择对于检测效果至关重要，本发明实施例选择Rt为125，St为175，h1为10，h2为15。

步骤104具体包括：

步骤1041：对所述火焰区域图像进行二值化处理，得到初步二值化图像。

步骤1042：对所述二值化图像进行高斯滤波处理，得到平滑图像。

获取二值化图像后，需要进一步处理噪声和离散点。本发明实施例采用高斯滤波，用像素点邻域内灰度值的高斯模糊来代替该像素点的灰度值，平滑后可以消除一些噪声或伪点。

步骤1043：对所述平滑图像依次进行闭操作、膨胀操作以及腐蚀操作，得到火焰二值化图像。

火焰实际燃烧过程影响因素复杂，使用火焰颜色不完全为红黄色，导致初步提取后存在空洞，因此对平滑图像进行数学形态学操作，实现区域的粗略连通；如果后续判断确为火焰区域，则进一步用更精确的算法填充。这里依次采用形态学中的闭操作以及膨胀、腐蚀操作。

图2与图3的(a)至(d)分别为两组实例，经过图像分割、中值滤波、形态学处理后得到的结果。在图像分割时引入了一些噪声点(如图(a)中的一部分圆盘在(b)中引入了噪声点)。经过中值滤波，噪声点得到了有效滤除。再经两次形态学处理中的膨胀操作，得到了火焰的最终二值图像。

二维图像中，频率高低表征灰度图变化的剧烈程度，即空间域中的梯度。区域内部灰度变化缓慢，属于低频部分，边缘、噪声等属于高频部分。通常低频分量会占图片的绝大多数能量。

步骤105具体包括：

步骤1051：对所述火焰二值化图像进行扩充裁剪处理。

在进行傅里叶变换时，为了取得更快的计算效果，先对图像进行扩充，然后进行裁剪。为了可视化的需要，同样需要对显示的结果图像像素进行调整，一般会将原点F(0，0)平移到图像中心，使得低频区域位于图像中部，高频区域位于图像外围。

为达到可视化的目的，对结果进行归一化处理，上述得到了幅度值仍然超出了0-1的显示范围。这就需要利用normalize()函数对数据进行归一化处理。

步骤1052：对扩充裁剪处理后的火焰二值化图像进行傅里叶变换，得到频域变换图像。

步骤1053：对所述频域变换图像进行对数尺度变换，得到火焰区域频谱图。将二维傅里叶变换的结果转变为对数尺度，其计算公式如下：

D(u，v)＝log(1+|F(u，v)|)

为剔除掉初步提取后的伪区域(如台灯、蜡烛等色彩特征相近的实体)，采用频率特征进行二次判断。火灾型火焰边缘不规则，尖角众多；而可控型火焰尖角数和变化率都较小。因此火灾火焰频谱的平均灰度与标准差都要更大。所以计算频谱的平均灰度与标准差，当二者超过某一阈值时，则判定存在火灾型火焰，否则剔除。

图4和图5的(a)至(c)分别为常见干扰源(如台灯)与真正火源实例、实例二值化后的图像及二值化图像经过傅里叶变换后的结果。可以观察到，干扰源二值化图像的频谱图能量主要集中在低频段，而真正火源二值化图像的频谱图能量大量分布于中、高频段，这正是火灾火焰特征所引起的区别。

在执行步骤106之前，所述大型建筑火灾火源识别定位方法还包括：

步骤111：采用RGB模型和HIS模型编写的画矩形框的函数DrawFire对所述火焰区域图像进行区域划分，得到感兴趣区域图像集合；采用OpenCV中寻找轮廓的函数findContours提取所述火焰区域图像中的火焰轮廓曲线；采用RGB模型和HIS模型编写的画矩形框的函数DrawFire对所述火焰轮廓曲线进行矩形框标记，得到感兴趣区域图像集合；其中，用不同矩形框标记不同区域出现的火焰。

为了表示出视频中火焰的区域，在经由傅立叶变换确认存在火焰区域过后，根据RGB模型和HIS模型编写了画矩形框的函数DrawFire，将火焰轮廓用矩形框标记，其中使用了OpenCV的寻找轮廓的函数findContours，对整张图像进行区域的划分，分别用不同矩形标记不同区域出现的火焰，得到初步感兴趣区域，如图6所示。

步骤112：判断所述感兴趣区域图像集合中的感兴趣区域图像是否均不符合圆形度衡量物体形状约束条件，得到第三判断结果；若所述第三判断结果表示所述感兴趣区域图像符合圆形度衡量物体形状约束条件，则确定大型建筑内部存在火灾型火焰，并将符合圆形度衡量物体形状约束条件的感兴趣区域图像确定为火灾型火焰区域图像，保留所述火焰区域图像；若所述第三判断结果表示所述感兴趣区域图像均不符合圆形度衡量物体形状约束条件，则确定大型建筑内部不存在火灾型火焰，并剔除所有感兴趣区域图像。

圆形度指的是物体周长的平方与其面积的比值。圆形度e为1时，图形即为圆形；e越小，图形越不规律，与圆形的差距越大。以圆形度衡量物体形状的规则程度，计算目标区域的形状复杂程度的特征量。火灾火焰呈现出形状的不规则特性，而绝大部分干扰源(如手电筒、反射的镜面、白炽灯等)的形状规则程度较高。因此可以将火焰的圆形度作为火灾识别的一个判据。根据圆形度判据，对得到的初步感兴趣区域进一步处理。计算的圆形度，当其中某部分圆形度在一定区间范围内时，确认该部分存在火灾火焰并选出最终感兴趣区域，如图7所示。

人眼能产生立体视觉是因为，同一个物体在双眼中形成的图像存在视差，光信号经过神经元处理后，视差转换为深度。计算机视觉系统中，可以通过双目工业相机拍摄不同视角下的图像，获取视差信息，进而获取物体的深度。完整的双目立体视觉系统流程分为四个部分：相机标定、极线校正、立体匹配和映射测量。

双目立体匹配是通过两幅图像间对应像素点的匹配关系，转换像素坐标为三维深度，是双目视觉系统的核心。

立体匹配算法可以分为基于区域的匹配算法、基于特征的匹配算法、基于相位的匹配算法。区域算法可以获得稠密视差图，但是耗时长，复杂度高，不适合实时运行。基于特征的匹配算法，具有明显速度优势，可以满足实时性要求。考虑到火源识别定位系统的实时性要求。

由于特征点的提取过程不考虑图像的颜色信息，而考虑到火焰的颜色和边缘的特殊性，因此本发明实施例先通过颜色模型对图像进行分割处理，再进行立体匹配。

基于色彩空间的分割：本发明实施例结合RGB和HIS双色彩空间先验，初步检测火焰区域。火焰图像偏向红黄色，因此红分量(R)通常最大，可以通过统计先验得到的阈值约束三通道分量的值。考虑到单一色彩空间准确性较差，在RGB空间先验基础上，附加HIS条件。具体为：其中，Rt，St是阈值，h1，h2为松弛量。若满足上述公式，则判断为火焰像素，二值化为白色，否则二值化为黑色。阈值的选择对于检测效果至关重要，本发明实施例选择Rt为125，St为175，h1为10，h2为1。

基于轮廓的空洞填充：如图8所示，由于火焰中央部分通常接近白色，所以使用颜色模型进行分割时往往会在火焰中央产生空洞，影响后续的特征提取，如图(b)所示。因此，利用初次分割结果二值化寻找轮廓，计算整个轮廓或部分轮廓的面积，对多边形内部进行填充，得到最终的分割结果，其中图(c)为填充后结果，图(d)为二值化结果。

因此，步骤107具体包括：

对所述初步二值化图像进行轮廓线提取。

对轮廓线包围的图像进行填充。

步骤109具体包括：

步骤1091：采用近似Hessian矩阵计算所述填充后的火焰区域图像中每个关键点的极值，对所述极值进行空间非最大值抑制运算以及插值运算，得到特征点坐标。

为了提高算法速度，不对整幅图像进行全局匹配，而是对图像进行特征提取减小时间复杂度。点特征是图像特征中最基本的一种特征，不仅具有较低的复杂度以及较好的统计特性，而且能够很好地表达图像中的重要信息。主要采用SURF算法的Hessian矩阵来检测局部极值并且定位该特征点，采用积分图像可以大幅度地提高了算法的实时性。这里采用近似Hessian矩阵计算图像在某一关键点的极值后，进行空间非最大值抑制，以及插值运算，科研得到精确、稳定的特征点坐标。

步骤1092：采用欧式距离匹配法，对两幅所述填充后的火焰区域图像的特征点进行匹配，得到多个候选匹配点，并将大于垂直视差阈值的候选匹配点剔除，得到优化匹配点以及优化匹配点的二维坐标。

为了进行匹配，还需要对提取到的特征点生成特征描述算子。首先确定主方向，然后对每个特征点生成一64维的向量描述，通过特征向量归一化，可以使特征描述算子对旋转、尺度及亮度具有较好的鲁棒性。特征点匹配时，可以从一幅图像中选取一个特征点，计算另一幅图像中所有特征点与其的距离，当最近的欧式距离与次近的欧氏距离之比小于给定阈值，则认为匹配成功。这种匹配方法相对简单，但是会产生误匹配，因此需要剔除错误匹配点对

初次匹配点集按匹配程度进行排序，选取较好的匹配点对保留。并且由于极线校正后的图像对垂直方向应无视差，因此将垂直视差过大的点对进行剔除；由于左视图点的像素坐标总应大于右视图坐标，因此将视差小于0的点也进行剔除，其中匹配过程如图9至10所示。

步骤110具体包括：

立体匹配的直接输出是视差，为了进一步获得三维深度，还需要根据仿射几何原理计算深度值，得到三维空间点。

图11为本发明经过极线校正后的平行配置双目立体视觉系统的结构示意图，如图11所示，(X_c，Y_c，Z_c)是P点的三维世界坐标(以左相机为参考系)，令B和f分别表示基线距离和相机焦距，由相似三角形可以得到：左右图像对应像素的位置差定义为视差d：

火焰图像不是单个像素点，而是多个像素点组成，利用仿射几何计算出每个特征点的三维坐标信息。如果空间匹配特征点对总数为N，那么可以计算出这些特征点的平均三维深度：

为了对算法进一步验证，首先采用双目相机拍摄真实场景图像，摄像机的分辨率为2592×1944像素。然后进行相机标定，再用本发明提供的方法进行图像处以及图形对的极线校正，其效果如图11-15所示。

随着现代城市建筑趋向于大空间及高层的方向发展，能够精准定位火焰位置的火源识别定位系统对于防控火灾损失具有较强的现实意义。本发明针对传统红外、气体检测装置以及喷淋式自动灭火装置存在的缺陷和不足，在火灾图像预检测的基础上，采用双目立体匹配技术确定图像视差，进而通过仿射几何测算火源的空间位置。另外考虑到火焰图像的特殊性以及结合火源空间定位的时效性和准确性，本发明设计了一个利用双目立体视觉技术及时、精准定位火焰位置的大型建筑火灾火源识别定位系统。

图16为本发明实施例火灾火源识别定位系统的结构示意图，如图16所示，本发明实施例提供的的包括大型建筑火灾火源识别定位系统：

大型建筑内部空间图像获取模块100，用于获取双目摄像机采集的大型建筑内部空间图像。

第一判断结果得到模块200，用于判断所述大型建筑内部空间图像是否满足RGB和HIS双色彩空间先验阈值约束条件，得到第一判断结果。

火焰二值化图像得到模块300，用于当所述第一判断结果表示所述大型建筑内部空间图像满足所述RGB和HIS双色彩空间先验阈值约束条件时，初步确定所述大型建筑内部空间图像为火焰区域图像，并对所述火焰区域图像进行二值化、高斯滤波以及形态学处理，得到火焰二值化图像。

平均灰度值和标准差计算模块400，用于对所述火焰二值化图像进行频域变换，得到火焰区域频谱图，并计算所述火焰区域频谱图的平均灰度值和标准差。

第二判断结果得到模块500，用于判断所述火焰区域频谱图的平均灰度值和标准差是否均超过设定阈值，得到第二判断结果。

填充后的火焰区域图像得到模块600，用于当所述第二判断结果表示所述火焰区域频谱图的平均灰度值和标准差均超过所述设定阈值时，保留火焰区域图像，并采用基于轮廓的空洞填充算法对保留下来的所述火焰区域图像进行处理，得到填充后的火焰区域图像。

返回模块700，用于当所述第一判断结果表示所述大型建筑内部空间图像不满足所述RGB和HIS双色彩空间先验阈值约束条件时确定大型建筑内部不存在火焰，并返回获取双目摄像机采集的大型建筑内部空间图像步骤或者当所述第二判断结果表示所述火焰区域频谱图的平均灰度值和标准差未均超过所述设定阈值时剔除所述火焰区域图像，并返回获取双目摄像机采集的大型建筑内部空间图像步骤。

优化匹配点以及优化匹配点的二维坐标得到模块800，用于采用优化SURF算法对所述填充后的火焰区域图像进行特征点提取，得到所述填充后的火焰区域图像的特征点，并对采用基于特征的匹配算法对两幅所述填充后的火焰区域图像的特征点进行优化匹配，得到优化匹配点以及优化匹配点的二维坐标。

火灾型火焰的位置确定模块900，用于根据仿射几何空间模型计算所述优化匹配点的深度值，得到优化匹配点三维空间坐标，确定火灾型火焰的位置。

本发明创新内容如下：

1、基于实际火灾场景的图像特征分析，针对现实中可能存在的干扰因素讨论如何准确识别出图像中的火灾现象，设计出利用多种判据综合判定的方法来进行火灾识别的流程。

2、在火灾识别部分，利用颜色空间模型和形态学方法实现火焰区域的初步提取，通过静态特征、动态特征剔除伪区域，进而通过延迟时间以及区域面积判断是否发生火灾。通过火灾识别的实验以及相关结果的分析验证了识别算法的可行性。

3、在火源定位部分，提出了一种基于图像填充的优化SURF算法，通过对经填充处理过的预分割图像进行特征提取与特征匹配，得到候选匹配点；通过匹配点对筛选及校正，对较优的匹配点进行空间仿射，可以得到火源的实际空间坐标。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种大型建筑火灾火源识别定位方法，其特征在于，所述大型建筑火灾火源识别定位方法包括：

获取双目摄像机采集的大型建筑内部空间图像；

判断所述大型建筑内部空间图像是否满足RGB和HIS双色彩空间先验阈值约束条件，得到第一判断结果；

若所述第一判断结果表示所述大型建筑内部空间图像满足所述RGB和HIS双色彩空间先验阈值约束条件，则初步确定所述大型建筑内部空间图像为火焰区域图像，并对所述火焰区域图像进行二值化、高斯滤波以及形态学处理，得到火焰二值化图像；

若所述第一判断结果表示所述大型建筑内部空间图像不满足所述RGB和HIS双色彩空间先验阈值约束条件，则确定大型建筑内部不存在火焰，并返回获取双目摄像机采集的大型建筑内部空间图像步骤；

对所述火焰二值化图像进行频域变换，得到火焰区域频谱图，并计算所述火焰区域频谱图的平均灰度值和标准差；

判断所述火焰区域频谱图的平均灰度值和标准差是否均超过设定阈值，得到第二判断结果；

若所述第二判断结果表示所述火焰区域频谱图的平均灰度值和标准差均超过所述设定阈值，则保留火焰区域图像，并采用基于轮廓的空洞填充算法对保留下来的所述火焰区域图像进行处理，得到填充后的火焰区域图像；

若所述第二判断结果表示所述火焰区域频谱图的平均灰度值和标准差未均超过所述设定阈值，则剔除所述火焰区域图像，并返回获取双目摄像机采集的大型建筑内部空间图像步骤；

采用优化SURF算法对所述填充后的火焰区域图像进行特征点提取，得到所述填充后的火焰区域图像的特征点，并对采用基于特征的匹配算法对两幅所述填充后的火焰区域图像的特征点进行优化匹配，得到优化匹配点以及优化匹配点的二维坐标；

根据仿射几何空间模型计算所述优化匹配点的深度值，得到优化匹配点三维空间坐标，确定火灾型火焰的位置。

2.根据权利要求1所述的大型建筑火灾火源识别定位方法，其特征在于，所述RGB和HIS双色彩空间先验阈值约束条件为其中，Rt，St是阈值，h1，h2为松弛量。

3.根据权利要求1所述的大型建筑火灾火源识别定位方法，其特征在于，所述对所述火焰区域图像进行二值化、高斯滤波以及形态学处理，得到火焰二值化图像，具体包括：

对所述火焰区域图像进行二值化处理，得到初步二值化图像；

对所述二值化图像进行高斯滤波处理，得到平滑图像；

对所述平滑图像依次进行闭操作、膨胀操作以及腐蚀操作，得到火焰二值化图像。

4.根据权利要求1所述的大型建筑火灾火源识别定位方法，其特征在于，所述对所述火焰二值化图像进行频域变换，得到火焰区域频谱图，具体包括：

对所述火焰二值化图像进行扩充裁剪处理；

对扩充裁剪处理后的火焰二值化图像进行傅里叶变换，得到频域变换图像；

对所述频域变换图像进行对数尺度变换，得到火焰区域频谱图。

5.根据权利要求1所述的大型建筑火灾火源识别定位方法，其特征在于，在采用基于轮廓的空洞填充算法对保留下来的所述火焰区域图像进行处理之前，所述大型建筑火灾火源识别定位方法还包括：

采用RGB模型和HIS模型编写的画矩形框的函数DrawFire对所述火焰区域图像进行区域划分，得到感兴趣区域图像集合；

判断所述感兴趣区域图像集合中的感兴趣区域图像是否均不符合圆形度衡量物体形状约束条件，得到第三判断结果；

若所述第三判断结果表示所述感兴趣区域图像符合圆形度衡量物体形状约束条件，则确定大型建筑内部存在火灾型火焰，并将符合圆形度衡量物体形状约束条件的感兴趣区域图像确定为火灾型火焰区域图像，保留所述火焰区域图像；

若所述第三判断结果表示所述感兴趣区域图像均不符合圆形度衡量物体形状约束条件，则确定大型建筑内部不存在火灾型火焰，并剔除所有感兴趣区域图像。

6.根据权利要求5所述的大型建筑火灾火源识别定位方法，其特征在于，所述采用RGB模型和HIS模型编写的画矩形框的函数DrawFire对所述火焰区域图像进行区域划分得到感兴趣区域图像集合，具体包括：

采用OpenCV中寻找轮廓的函数findContours提取所述火焰区域图像中的火焰轮廓曲线；

采用RGB模型和HIS模型编写的画矩形框的函数DrawFire对所述火焰轮廓曲线进行矩形框标记，得到感兴趣区域图像集合；其中，用不同矩形框标记不同区域出现的火焰。

7.根据权利要求3所述的大型建筑火灾火源识别定位方法，其特征在于，所述采用基于轮廓的空洞填充算法对保留下来的所述火焰区域图像进行处理，得到填充后的火焰区域图像，具体包括：

对所述初步二值化图像进行轮廓线提取；

对轮廓线包围的图像进行填充。

8.根据权利要求1所述的大型建筑火灾火源识别定位方法，其特征在于，采用优化SURF算法对所述填充后的火焰区域图像进行特征点提取，得到所述填充后的火焰区域图像的特征点，具体包括：

采用近似Hessian矩阵计算所述填充后的火焰区域图像中每个关键点的极值；

对所述极值进行空间非最大值抑制运算以及插值运算，得到特征点坐标。

9.根据权利要求1所述的大型建筑火灾火源识别定位方法，其特征在于，所述对采用基于特征的匹配算法对两幅所述填充后的火焰区域图像的特征点进行优化匹配，得到优化匹配点以及优化匹配点的二维坐标，具体包括：

采用欧式距离匹配法，对两幅所述填充后的火焰区域图像的特征点进行匹配，得到多个候选匹配点；

将大于垂直视差阈值的候选匹配点剔除，得到优化匹配点以及优化匹配点的二维坐标。

10.一种大型建筑火灾火源识别定位系统，其特征在于，所述火灾火源识别定位系统包括：

大型建筑内部空间图像获取模块，用于获取双目摄像机采集的大型建筑内部空间图像；

第一判断结果得到模块，用于判断所述大型建筑内部空间图像是否满足RGB和HIS双色彩空间先验阈值约束条件，得到第一判断结果；

火焰二值化图像得到模块，用于当所述第一判断结果表示所述大型建筑内部空间图像满足所述RGB和HIS双色彩空间先验阈值约束条件时，初步确定所述大型建筑内部空间图像为火焰区域图像，并对所述火焰区域图像进行二值化、高斯滤波以及形态学处理，得到火焰二值化图像；

平均灰度值和标准差计算模块，用于对所述火焰二值化图像进行频域变换，得到火焰区域频谱图，并计算所述火焰区域频谱图的平均灰度值和标准差；

第二判断结果得到模块，用于判断所述火焰区域频谱图的平均灰度值和标准差是否均超过设定阈值，得到第二判断结果；

填充后的火焰区域图像得到模块，用于当所述第二判断结果表示所述火焰区域频谱图的平均灰度值和标准差均超过所述设定阈值时，保留火焰区域图像，并采用基于轮廓的空洞填充算法对保留下来的所述火焰区域图像进行处理，得到填充后的火焰区域图像；

返回模块，用于当所述第一判断结果表示所述大型建筑内部空间图像不满足所述RGB和HIS双色彩空间先验阈值约束条件时确定大型建筑内部不存在火焰，并返回获取双目摄像机采集的大型建筑内部空间图像步骤或者当所述第二判断结果表示所述火焰区域频谱图的平均灰度值和标准差未均超过所述设定阈值时剔除所述火焰区域图像，并返回获取双目摄像机采集的大型建筑内部空间图像步骤；

优化匹配点以及优化匹配点的二维坐标得到模块，用于采用优化SURF算法对所述填充后的火焰区域图像进行特征点提取，得到所述填充后的火焰区域图像的特征点，并对采用基于特征的匹配算法对两幅所述填充后的火焰区域图像的特征点进行优化匹配，得到优化匹配点以及优化匹配点的二维坐标；

火灾型火焰的位置确定模块，用于根据仿射几何空间模型计算所述优化匹配点的深度值，得到优化匹配点三维空间坐标，确定火灾型火焰的位置。