CN107730517B - 一种基于自适应亮度分割的火灾视频图像分析算法 - Google Patents

Abstract

本发明提供一种基于自适应亮度分割的火灾视频图像分析算法，将火灾现场周边监控设备拍摄的视频录像拷贝到计算机上进行图像处理；计算机对视频图像初步进行逐帧的分析检索，自动找到图像中发生亮度变化的区域并记录录；将从监控上截取的视频从第一帧作为初始背景，对前后相邻帧做作差分运算得到两帧图像亮度差的绝对值，并对帧差进行二值化处理得到二值图；对视频监控区域部分的二值图进行逐帧分析；对处理后的二值图利用OTSU算法进行自适应的阈值分割；对二值图中的边界进行直线拟合可得到精确的亮度分割线；对视频中自动提取到的实时显示的亮度分割线进行分析，可以确定火灾的起火点和蔓延方向，便于火灾调查人员快速分析，极大地提高工作效率。

Description

一种基于自适应亮度分割的火灾视频图像分析算法

技术领域

本发明提供一种基于自适应亮度分割的火灾视频图像分析算法属于计算机视觉领域，本质上是图像分割问题。

具体来说是消防部队火灾原因调查人员利用火灾现场周边监控设备拍摄的视频录像在计算机上进行图像处理，自动提取到有利于分析起火部位的阴影与亮度分割线，并给出火灾蔓延趋势变化，从而有助于提高火灾现场勘验效率，便于对起火部位进行溯源。

背景技术

在当今社会中，火灾一直是人类所面临的主要灾害之一，对人类造成了大量的人身伤亡和财产损失。随着科技的发展，近年来火灾预警技术和消防技术都有了长足的发展，然而重特大火灾事故仍然时有发生。所以消防人员需要对火灾发生情况进行调查研究，找到起火的原因，从而减少火灾的发生。在分析火灾时对起火点的精确定位以及对起火原因的准确分析就显得至关重要。一方面，精确的起火点定位可以作为证据来明确火灾事故的责任，另一方面，准确的火灾原因分析则有利于日后对相同类型火灾的预警和防范。

在传统的火灾原因调查工作中，主要以现场勘验为主要手段，以调查询问和火灾技术鉴定为辅助手段。这种传统的火灾原因调查方法具有弊端和局限性。首先，传统方法在调查过程中容易导致火灾现场破坏和有关证据的灭失，从而错误地认定火灾原因。并且传统方法有时形成不了认定火灾原因的证据链，没有确定的证明力和说服力，导致火灾原因认定不清，火灾认定的证据不足，证据之间不能相互印证等问题。其次，由于现在各种场所越来越多的安装了视频监控平台，火调人员通常会通过观看视频来获取有价值的信息。但由于视频时间长数据量大，需要消耗大量的人力和时间。另外，由于很多监控设备的安装位置只能观察到火场周围火光反射的情况，在火灾发生初期，火光会对周围环境产生一定程度的照射，但由于物体的遮挡，会产生阴影与亮光的分割线，这些分割线对推断起火部位和火灾蔓延趋势是有价值的。但是在燃烧初期，亮度变化并不明显，人眼不易察觉和识别，火灾调查人员往往会遗漏这些有效信息，从而影响了火灾调查的效果和效率。这种人工手动逐帧去观察有无亮度分割线，耗时且不能实时记录，不能指导火灾调查工作。

发明内容

鉴于现有技术的状况及存在的不足，本发明提供了一种基于自适应亮度分割的火灾视频图像分析算法，本分析算法是对火灾视频图像中光影变化进行自动提取的图像分析算法，火灾原因调查人员可以利用该方法对火灾现场周边监控设备拍摄的视频录像在计算机上进行图像处理，自动提取到有利于分析起火部位的亮度分割线，即可完成对可能起火时间的检测，起火部位的预测以及火灾蔓延方向的判断。

本发明为实现上述目的，所采用的技术方案是：一种基于自适应亮度分割的火灾视频图像分析算法，利用计算机作为分析平台，其特征在于，其主要功能和步骤如下：

1)、火灾原因调查人员将火灾现场周边监控设备拍摄的视频录像拷贝到计算机上进行图像分析处理，即可自动提取到分析和推断起火部位的亮度分割线，亮度分割线指火灾发生后火焰的散射光被物体遮挡后在某一平面上形成的明暗区域分界线；

2)、计算机首先对视频图像初步进行逐帧的分析检索，自动找到图像中发生亮度变化的区域，并记录作为下一步的视频处理区域，如果存在多个区域则分别记录；

3)、将从监控上截取的视频从第一帧作为初始背景，对前后相邻帧做作差分运算得到两帧图像亮度差的绝对值，并对帧差进行二值化处理得到二值图，二值图是指图像中的每个像素不是黑就是白，其灰度值没有中间过渡，对帧差进行二值化处理时，要判断它是否大于阈值来分析视频的运动特性从而确定图像序列中有无亮度变化，根据大量实际火灾的研究发现，阀值为6时二值化效果最好，即当帧差变化大于阈值6时设置为1，小于阈值6时设置为0，随后进行腐蚀，即排除噪声的影响，再进行膨胀，即去除二值图中的空洞，最终得到理想的二值图，二值化时公式如下：

其中Binary(x,y),B(x,y),F(x,y)分别代表二值图、前一帧、后一帧图像中坐标为(x,y)处的像素值；

4)、对视频监控区域部分的二值图进行逐帧分析，根据大量实际火灾的研究发现，在当前二值图中1值比例阀值为20％时，进行图像分割的效果最好，即二值图像素值为1的区域面积比例超过二值图总面积20％时进行下一步分割处理，此时比例的计算公式如下：

公式中Binary是处理的二值图，p(x,y)是Binary中坐标为(x,y)的的点，p(x,y)的取值为0或者1，由此公式即可得到二值图中像素值为1的点占二值图总像素点的比例；

5)、对处理后的二值图利用OTSU算法进行自适应的阈值分割，OTSU算法是按图像的灰度特性，将图像分成背景和目标部分，背景和目标之间的类间方差越大，说明构成图像的两部分的差别越大，当部分目标错分为背景或部分背景错分为目标都会导致两部分差别变小，因此，使类间方差最大的分割意味着错分概率最小，从而对二值图进行更加精确的分割，得到由火光照亮的区域和由遮挡引起的阴影区域边界线；

6)、对二值图中的边界进行直线拟合可得到精确的亮度分割线，并将亮度分割线显示在视频图像中，从而实现对火光阴影边界实时的检测；

7)、对视频中自动提取到的实时显示的亮度分割线进行如下分析，即可帮助火灾调查人员解读出以下信息：首先亮度分割线的出现时间可推断出起火时间，其次亮度分割线的反向延长线可推断出起火部位区域，最后亮度分割线的变化方向可判断出火灾蔓延的方向，矩形框区域为监控设备所拍摄视频中的某一帧图像范围，其余部分为标注及一些辅助线段，a左侧和b右侧为遮挡物，a,b两点之间为通道，起火部位在ab遮挡物的后侧，火灾发生时，监控设备只能拍摄到从ab通道透射出来的火光，aa’和bb’是计算机通过步骤2)至步骤6)的算法在视频中自动提取出来的亮度分割线，Aa和Ab是其反向延长线，交于A点，火灾蔓延一段时间之后视频中的边界线变为ab1和bb’，将ab1反向延长可确定现在火灾已蔓延到B点方向，这样火灾的蔓延方向则为从A到B，当视频中出现多条边界时，依据步骤2)至步骤7)，同理对火灾现场进行分析，可以确定火灾的起火点和蔓延方向。

本发明的有益效果是：近年来随着计算机视觉的发展，越来越多的技术被应用到相关领域中。在火灾原因调查工作中，利用数字图像处理技术来进行火灾视频图像的辅助分析，对于起火部位的确定和火灾蔓延趋势的预测，将会有极大的优势。

本发明是一种对视频图像中有效信息进行提取的方法，提前选取一个准备分析的火灾视频，即可完成对可能起火时间的检测，起火点的预测以及火势发展情况的还原，相对于现在普遍的人工手动观察、比对、画线的方法，本发明将极大提高火灾调查人员的现场勘验效率及准确度。

第一，该方法基于视频图像来分析，准确直观，可以为起火原因和起火点定位提供相关的证据。

第二，该方法不会造成火灾现场破坏和有关证据的灭失。

第三，鉴于现在各个场所都有监控的广泛布置以及未来的发展趋势，该方法普遍适用并有广阔的推广空间。

第四，许多火灾现场会有多个监控摄像头，该方法利用计算机的快速运算速度，可以对大量视频进行快速的批量处理，快速准确的找出所有视频中的亮度变化区域及分割线，与人工分析的方法相比可以极大地节省时间，提高效率。

总之，通过对火灾现场周边的视频监控信息进行分析，可以了解最初起火部位及火灾蔓延趋势等相关信息。利用计算机视觉可以早于人眼识别到视频中发生的变化，自动检索出视频中有火灾发生的关键帧，对光影进行分析，得到有用信息，从而指导火灾调查人员进行现场勘验，极大地提高工作效率。

该方法在现有研究成果的基础上，提出了一种基于图像分割的算法，从而有效的对视频中发生火灾的亮度变化区域进行提取和分割，从而便于火灾调查人员快速分析。

附图说明

图1是本发明预处理得到的人眼难以识别的疑似火灾亮度变化区域示意图；

图2是本发明对图1矩形区域进行再次检测，得到的亮度区域分割线示意图；

图3是本发明对矩形区域进行实时分割的结果示意图；

图4是本发明方法的流程图；

图5是本发明具体实施方式的示意图。

具体实施方式

本发明是一种对视频图像中的有效信息进行提取的方法，提前选取一个准备分析的视频，即可完成对可能起火时间的检测，起火点的预测以及火势发展情况的还原。

如图1至图5所示，其实现过程可以描述为以下几个步骤：

1)、火灾原因调查人员将火灾现场周边监控设备拍摄的视频录像拷贝到计算机上对视频进行图像分析处理，检测出视频中存在的人眼无法准确识别的变化，记录这些亮度存在变化的区域，即可自动提取到分析和推断起火部位的亮度分割线，亮度分割线指火灾发生后火焰的散射光被物体遮挡后在某一平面上形成的明暗区域分界线。

2)、计算机首先对视频图像初步进行逐帧的分析检索，自动找到图像中发生亮度变化的区域，并记录作为下一步的视频处理区域，如果存在多个区域则分别记录，如图1所示，R1矩形区域为当前视频窗口，R2矩形区域为疑似火灾现场周边亮度变化区域。

3)、将从监控上截取的视频从第一帧作为初始背景，对前后相邻帧做作差分运算得到两帧图像亮度差的绝对值，并对帧差进行二值化处理得到二值图，对帧差进行二值化处理时，要判断它是否大于阈值来分析视频的运动特性从而确定图像序列中有无亮度变化，根据大量实际火灾的研究发现，阀值为6时二值化效果最好，即当帧差变化大于阈值6时设置为1，小于阈值6时设置为0，随后进行腐蚀，即排除噪声的影响，再进行膨胀，即去除二值图中的空洞，最终得到理想的二值图；二值化时公式如下：

其中Binary(x,y),B(x,y),F(x,y)分别代表二值图、前一帧、后一帧图像中坐标为(x,y)处的像素值。

4)、根据大量实际火灾的研究发现，在当前二值图中1值比例阀值为20％时，进行图像分割的效果最好，即二值图像素值为1的区域面积比例超过二值图总面积20％时进行下一步分割处理，此时比例的计算公式如下：

公式中Binary是处理的二值图，p(x,y)是Binary中坐标为(x,y)的的点，p(x,y)的取值为0或者1，由此公式即可得到二值图中像素值为1的点占二值图总像素点的比例。

如对图1中R2矩形区域部分的二值图进行逐帧分析时，在如图2某一帧时刻的二值图中L1右侧的Binary p(x,y)值为1的比例大于20％时进行下一步处理。

5)、对当前的二值图利用OTSU算法进行自适应的阈值分割，得到由火光照亮的区域和由遮挡引起的阴影区域边界线；

6)、对二值图中的边界进行直线拟合可得到精确的亮度分割线，并将亮度分割线显示在视频图像中，从而实现对火光阴影边界实时的检测；

7)、由上一步拟合出的直线，依据火灾调查人员的经验知道起火点是在上一步骤拟合直线的延长线上的，若在步骤6)中得到了多条亮度分割线，则起火点应该在所拟合的多条直线的交界处及其附近。另外而随着火势的发展，视频中的亮度边界线会实时的变化，通过对根据亮线的角度的变化就可以推断出火势的发展方向和蔓延情况。

这样当视频中无法准确看到起火位置时，根据检测到的亮度分割边界线来反向推断火灾的发生位置，同时由于该算法可以对亮度边界线实时处理，所以可以动态的对火灾蔓延发展情况进行分析，从而有助于火调人员对火灾的研究，具体过程如图5所示：

矩形框区域为监控设备所拍摄视频中的某一帧图像范围，其余部分为标注及一些辅助线段。a左侧和b右侧为遮挡物，a,b两点之间为通道。起火部位在ab遮挡物的后侧，火灾发生时，监控设备只能拍摄到从ab通道透射出来的火光。aa’和bb’是计算机通过上述步骤2)至6)的算法在视频中自动提取出来的亮度分割线，Aa和Ab是其反向延长线，交于A点。火灾蔓延一段时间之后视频中的边界线变为ab1和bb’，将ab1反向延长可确定现在火灾已蔓延到B点方向，这样火灾的蔓延方向则为从A到B。

Claims (1)

1.一种基于自适应亮度分割的火灾视频图像分析算法，利用计算机作为分析平台，其特征在于，其主要功能和步骤如下：

1)、火灾原因调查人员将火灾现场周边监控设备拍摄的视频录像拷贝到计算机上进行图像分析处理，即可自动提取到分析和推断起火部位的亮度分割线，亮度分割线指火灾发生后火焰的散射光被物体遮挡后在某一平面上形成的明暗区域分界线；

2)、计算机首先对视频图像初步进行逐帧的分析检索，自动找到图像中发生亮度变化的区域，并记录作为下一步的视频处理区域，如果存在多个区域则分别记录；

3)、将从监控上截取的视频从第一帧作为初始背景，对前后相邻帧做差分运算得到两帧图像亮度差的绝对值，并对帧差进行二值化处理得到二值图，二值图是指图像中的每个像素不是黑就是白，其灰度值没有中间过渡，对帧差进行二值化处理时，要判断它是否大于阈值来分析视频的运动特性从而确定图像序列中有无亮度变化，根据大量实际火灾的研究发现，阈值为6时二值化效果最好，即当帧差大于阈值6时设置为1，小于阈值6时设置为0，随后进行腐蚀，即排除噪声的影响，再进行膨胀，即去除二值图中的空洞，最终得到理想的二值图，二值化时公式如下：

其中Binary(x,y),B(x,y),F(x,y)分别代表二值图、前一帧、后一帧图像中坐标为(x,y)处的像素值；

4)、对视频监控区域部分的二值图进行逐帧分析，根据大量实际火灾的研究发现，在当前二值图中1值比例阈值为20％时，进行图像分割的效果最好，即二值图像素值为1的区域面积比例超过二值图总面积20％时进行下一步分割处理，此时比例的计算公式如下：

公式中Binary是处理的二值图，p(x,y)是Binary中坐标为(x,y)的点，p(x,y)的取值为0或者1，由此公式即可得到二值图中像素值为1的点占二值图总像素点的比例；

5)、对处理后的二值图利用OTSU算法进行自适应的阈值分割，OTSU算法是按图像的灰度特性，将图像分成背景和目标部分，背景和目标之间的类间方差越大，说明构成图像的两部分的差别越大，当部分目标错分为背景或部分背景错分为目标都会导致两部分差别变小，因此，使类间方差最大的分割意味着错分概率最小，从而对二值图进行更加精确的分割，得到由火光照亮的区域和由遮挡引起的阴影区域边界线；

6)、对二值图中的边界进行直线拟合可得到精确的亮度分割线，并将亮度分割线显示在视频图像中，从而实现对火光阴影边界实时的检测；

7)、对视频中自动提取到的实时显示的亮度分割线进行如下分析，即可帮助火灾调查人员解读出以下信息：首先亮度分割线的出现时间可推断出起火时间，其次亮度分割线的反向延长线可推断出起火部位区域，最后亮度分割线的变化方向可判断出火灾蔓延的方向，矩形框区域为监控设备所拍摄视频中的某一帧图像范围，其余部分为标注及一些辅助线段，a左侧和b右侧为遮挡物，a,b两点之间为通道，起火部位在ab遮挡物的后侧，火灾发生时，监控设备只能拍摄到从ab通道透射出来的火光，aa’和bb’是计算机通过步骤2)至步骤6)的算法在视频中自动提取出来的亮度分割线，Aa和Ab是其反向延长线，交于A点，火灾蔓延一段时间之后视频中的边界线变为ab1和bb’，将ab1反向延长可确定现在火灾已蔓延到B点方向，这样火灾的蔓延方向则为从A到B，当视频中出现多条边界时，依据步骤2)至步骤7)，同理对火灾现场进行分析，可以确定火灾的起火点和蔓延方向。