CN108038867A - 基于多特征融合和立体视觉的火焰检测和定位方法 - Google Patents
基于多特征融合和立体视觉的火焰检测和定位方法 Download PDFInfo
- Publication number
- CN108038867A CN108038867A CN201711403456.2A CN201711403456A CN108038867A CN 108038867 A CN108038867 A CN 108038867A CN 201711403456 A CN201711403456 A CN 201711403456A CN 108038867 A CN108038867 A CN 108038867A
- Authority
- CN
- China
- Prior art keywords
- flame
- pixel
- mrow
- msub
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000004927 fusion Effects 0.000 title claims abstract description 26
- 230000004807 localization Effects 0.000 title claims abstract description 5
- 230000008859 change Effects 0.000 claims abstract description 24
- 230000011218 segmentation Effects 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims description 45
- 230000033001 locomotion Effects 0.000 claims description 16
- 230000000877 morphologic effect Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 238000002187 spin decoupling employing ultra-broadband-inversion sequences generated via simulated annealing Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 4
- 230000036039 immunity Effects 0.000 abstract 1
- 230000003068 static effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 230000001988 toxicity Effects 0.000 description 1
- 231100000419 toxicity Toxicity 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多特征融合和立体视觉的火焰检测和定位方法,其涉及计算机视觉领域。该方法利用改进Vibe算法和OHTA颜色分割方法提取疑似火焰区域;再提取疑似火焰区域中的目标的形状特征、形态重叠度特征和面积变化率特征,从而建立多特征融合模型获得存在火焰的概率,根据概率来检测出是否存在火焰;最后根据火焰检测的结果和SSDA立体匹配算法,根据平行双目立体视觉系统原理进行火焰定位。本发明实现了具有抗干扰性强、鲁棒性、实时性,根据火焰检测定位结果有助于定位灭火,最大地降低火灾损失。
Description
技术领域
本发明涉及计算机视觉领域,特指基于多特征融合和立体视觉的火焰检测和定位方法。
背景技术
为了满足人民生活水平不断提高的需要,采用大空间格局来突出建筑和尺度的大型公共建筑越来越多。内净高大于8米的建筑物,如体育馆、机场航站楼、会展中心、大型歌舞剧院等,都是一些具有代表性的大空间建筑。对于这些大空间建筑,普通的感烟、感温火灾探测报警系统无法迅速采集火灾发出烟温变化信息,而图像型火灾探测技术对于火灾探测具有非接触式探测的特点,不受空间高度、热障、易爆、有毒等环境条件的限制。
基于图像型火焰检测包括了火焰目标提取和火焰检测。通常可以利用运动目标检测的方法提取火焰目标,常用的运动检测方法有相邻帧差法、背景差分法和光流法。其中,所述相邻帧差法对光照不敏感,非常适合动态变化的环境,而且运算简单,但是不能检测出静止或运动速度过慢物体;所述背景差分法适用于摄像机静止的情况,计算速度快,但是对场景中光照条件、大面积运动和噪声比较敏感。所述光流法在摄像机运动时也能检测出独立的运动目标,但其缺点在于易受噪声干扰,且计算量较大。基于视频图像的火焰检测可利用火焰的运动、颜色、时频等特征实现火焰识别。其中,仅利用颜色等静态特征的火焰识别方法,容易受到类似与火焰颜色景物干扰,影响了系统的鲁棒性。Phollips等人利用火焰的灰度直方图强度以及相邻帧的时间变化进行火焰识别,同样需要比较好的检测环境(较少的移动的非火焰亮光干扰),而且其实验数据为自己主观确定的,若输入数据发生变化,则效果会大打折扣。Yamagishi等人提出了一种基于神经网络的火焰检测方法,算法的计算量比较大。
再者,传统的自动的水喷淋嘴灭火措施不是定点灭火,而是在一定保护范围内全面洒水,易造成不必要的水渍,带来更多的财产损失。在确定发生火灾的同时,及时定位火灾位置,才能及时有效地进行灭火,最大地降低损失。
发明内容
本发明的目的在于克服上述现有技术的不足,提出一种基于多特征融合和立体视觉的火焰检测和定位方法,该方法能够快速有效地检测火灾,具有抗干扰性强和鲁棒性,并且能够及时定位出火灾位置,有利用及时地进行灭火,降低火灾损失。
为实现上述目的,本发明技术方案具体如下:
一种基于多特征融合和立体视觉的火焰检测和定位方法,包括以下步骤:
S1采用双目立体视觉系统的双摄像机采集图像,利用左右两个摄像机采集左右视频流图像,并对左摄像机采集到的视频流图像提取疑似火焰区域;
S2对步骤S1中的疑似火焰区域进行基于多特征融合的火焰检测;
S3利用检测得到的火焰目标进行火灾定位。
作为本发明的优选技术方案,所述步骤S1包括:
S1.1运动前景区域提取;
S1.2采用OHTA颜色空间进行颜色分割;
S1.3将步骤S1.1的运动前景区域结果和步骤S1.2的颜色分割结果进行与操作,获得疑似火焰区域。
作为本发明的优选技术方案,所述步骤S1.1包括:
S1.1.1利用Vibe算法建立背景模型;
S1.1.2检测运动前景目标和消除鬼影。
作为本发明的优选技术方案,所述检测运动前景目标包括:
从第二帧开始对运动目标进行检测,以像素点x在像素值v(x)为圆心,R为半径,创建一个二维欧几里得色度空间的区域SR(v(x)),该区域SR(v(x))中包含像素x的背景样本值的个数为#{SR(v(x))∩{v1,v2,...,vN}};
其中,
上式中,k为背景模型中与像素p比较的像素值的个数,v(p)为当前帧中像素p位置处的像素值,vi为像素p背景模型的像素值;
设定判定像素为前景像素还是背景像素的阈值为#min,如果#{SR(v(x))∩{v1,v2,...,vN}}大于或是等于阈值#min,则在当前帧中,该像素为背景像素;如果#{SR(v(x))∩{v1,v2,...,vN}}小于阈值#min,则该像素为前景像素。
作为本发明的优选技术方案,所述消除鬼影包括:
1)计算当前帧的最佳分割阈值;
假设当前图像帧的灰度级为L,灰度范围为[0,L-1],分割阈值为t,可以将图像分为灰度级为[0,t]的区域A以及灰度级为[t+1,L-1]的区域B,其中A、B分别代表前景以及背景;
类间方差为:
σ2=ω0(μ0-μ)2+ω1(μ0-μ1)2=ω0ω1(μ0-μ1)2
其中,ω0表示前景像素点数目占整幅图像的比例,前景像素平均灰度值为μ0,ω1表示背景像素点数目占整幅图像的比例,背景像素平均灰度值为μ1,整幅图像的平均灰度值为μ;
当σ2取得最大值时的灰度值即为最佳阈值:
2)进行运动目标像素点的二次判断;
在检测得到的背景像素点中随机选取M个,计算该M个像素点灰度的平均值为假设f(x)为检测出的前景像素,判断规则为:
如果当f(x)>t*时,f(x)再次判断为前景;当f(x)≤t*时,f(x)再次判断为背景;
如果当f(x)<t*时,f(x)再次判断为前景;当f(x)≥t*时,f(x)再次判断为背景。
作为本发明的优选技术方案,所述步骤S2包括提取火焰特征,其中,火焰特征包括火焰形状特征、火焰目标的形态重叠度特征、火焰目标的面积变化率特征。
作为本发明的优选技术方案,所述步骤S2还包括:
所述多特征融合模型为:
上式中,G为检测出疑似火焰区域的为火焰的概率;nC、nS、nR分别为疑似火焰区域的圆形度特征帧数统计值、形态重叠度特征帧数统计值和面积变化率特征帧数统计值;αC、βS和γR分别为三个帧数统计值nC、nS和nR的权值,三个权值之和为1,T为判定火焰是否存在的一个周期,T取值25,即每一个T周期启动一次判定。
作为本发明的优选技术方案,所述S3包括:
S3.1利用步骤S1中的方法处理fR,得到与图像FL一样只含有相同火焰目标的右摄像机的火焰图像,记为FR;
S3.2利用SUSAN边缘检测算法分别提取FL和FR两幅火焰图像的边缘特征;
S3.3对步骤S3.2中边缘特征,利用SSDA算法进行立体匹配得到左右两幅图像的视差结果;
S3.4利用双目立体视觉理论进行火灾定位。
与现有技术相比,本发明具有以下有益效果:
1)本发明利用改进的Vibe算法,提取更加精确的运动区域,改进的算法利用了Vibe算法的像素级判断特性和Otsu算法针对图像整体特性来消除运动检测过程中出现的鬼影;再结合基于OHTA颜色空间进行颜色分割提取了准确度高的疑似火焰区域,很大程度上排除了类似火焰的物体,有利于提高后续的火焰识别率。
2)本发明提取疑似火焰区域中的目标的形状特征、形态重叠度特征和面积变化率特征,从而建立多特征融合模型获得存在火焰的概率,根据概率来检测出是否存在火焰。
3)本发明结合火焰检测结果和SSDA立体匹配方法,根据平行双目立体视觉系统原理对火灾的位置进行了定位,从而有利于根据定位结果有效地进行灭火,最大地降低损失。
附图说明
图1是本实施例中基于多特征融合和立体视觉的火焰检测和定位方法流程图;
图2是本实施例中火焰检测方法流程图。
具体实施方式
本发明为一种基于多特征融合和立体视觉的火焰检测和定位方法,该方法实际上可嵌入FPGA实现,运用与具有火焰检测的相机或摄像机。下面将结合本申请说明书附图,对本发明的基于多特征融合和立体视觉的火焰检测和定位方法,的具体实施例做进一步详细说明,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本发明的一种基于多特征融合和立体视觉的火焰检测和定位方法,其具体操作流程如图1所示,包括以下步骤S1-S3。
S1采用光轴平行的双目立体视觉系统的双摄像机采集图像,利用左右两个摄像机采集左右视频流图像,并对左摄像机采集到的视频流图像提取疑似火焰区域;
S1.1运动前景区域提取;
火焰在燃烧过程中,由于气流、气压以及温度等影响,火焰会呈现出运动特性。而Vibe算法具有运动速度较快、目标提取准确率高的优点,因此本发明对Vibe算法进行进一步改进,并将其用于提取运动前景目标,其主要步骤为:
S1.1.1利用Vibe算法建立背景模型;
Vibe算法利用第一帧进行初始化,为了给第一帧的每一个像素点建立相应的背景集合,引入邻域的方法。定义像素点x处的背景像素值为v(x),在像素点x的8邻域内随机选取N个像素值v1,v2,...,vN作为像素点x的背景模型样本值,设背景模型为M(x),则:
M(x)={v1,v2,...,vN} (1)
Vibe算法使用首帧图像初始化背景模型,对于像素背景样本空间中的每一个样本值,从该像素点x和其邻域像素点中选择一个像素点值对其进行初始化。在首帧图像中,y值在像素点x的8邻域NG(x)内的样本点中随机选择,令v0(y)为首帧图像在y处的像素值,那么可以得到:
M0(x)={v0(y)|y∈NG(x)} (2)
其中,M0(x)为初始化后的背景模型。
S1.1.2检测运动前景目标和消除鬼影;
(1)基于自适应阈值的Vibe算法的背景和前景的分类;
从第二帧开始对运动目标进行检测。以像素点x在像素值v(x)为圆心,R为半径,创建一个二维欧几里得色度空间的球体SR(v(x)),用来将像素点x处在新一帧图像中的像素值与该像素点x处的背景样本值做对比,将像素点分类。Vibe算法进行运动前景目标检测时,判断背景模型中样本值是否与当前像素值匹配,采用固定半径阈值R。当R设定较大时,与背景像素值比较接近的前景像素就会被检测背景,导致检测到的运动目标不能完整检测出来。当R设定较小时,背景中不希望被检测出来的动态变化部分(如树叶、树枝等)就会被检测出来,导致检测结果中出现较多的噪声。
为提高检测的准确度,根据像素的具体情况,为每个像素设定一个阈值,阈值R的设定方法如下:
式中,k为背景模型中与像素p比较的像素值的个数;v(p)为当前帧中像素p位置处的像素值;vi为像素p背景模型的像素值。
为了防止阈值R出现过大和过小的情况,设定了阈值R的上限和下限,设定阈值R∈[20,40],即当由公式(3)求得的阈值R小于20时,设定阈值R为20,当由公式(3)求得的阈值R大于40时,设定阈值R为40。
区域SR(v(x))中包含像素x的背景样本值的个数为#{SR(v(x))∩{v1,v2,...,vN}},以#{SR(v(x))∩{v1,v2,...,vN}}的大小判定像素是前景像素还是背景像素。初始化#{SR(v(x))∩{v1,v2,...,vN}}为0,设定判定像素为前景像素还是背景像素的阈值为#min,设定其值为2。如果#{SR(v(x))∩{v1,v2,...,vN}}大于或是等于阈值#min,则在当前帧中,该像素为背景像素;如果#{SR(v(x))∩{v1,v2,...,vN}}小于阈值#min,则该像素为前景像素。
(2)消除鬼影
鬼影是指不对应实际运动目标的前景区域,它是由背景中原来静止的物体突然运动从而导致背景模型与实际背景不一致引起的。当背景中的物体突然运动时,物体原来的位置会被物体原来覆盖的区域取代,这种变化会在接下来的图像序列中立即反映出来,而背景模型并不会立即反映这种变化。因而会造成一段时间的背景模型失效的问题,这就会在物体原来的位置产生误检,检测到不存在的运动目标,从而出现鬼影现象。为了避免鬼影对运动目标检测造成影响,本发明结合前景检测结果和Otsu阈值方法进行二次判断的来抑制鬼影,其主要步骤为:
1)计算当前帧的最佳分割阈值;
假设当前图像帧的灰度级为L,灰度范围为[0,L-1],分割阈值为t,可以将图像分为灰度级为[0,t]的区域A以及灰度级为[t+1,L-1]的区域B,其中A、B分别代表前景以及背景。
类间方差为:
σ2=ω0(μ0-μ)2+ω1(μ0-μ1)2=ω0ω1(μ0-μ1)2 (4)
其中,ω0表示前景像素点数目占整幅图像的比例,前景像素平均灰度值为μ0;ω1表示背景像素点数目占整幅图像的比例,背景像素平均灰度值为μ1;整幅图像的平均灰度值为μ。类间方差越大,则两个区域差别越大,能更好地进行图像的分割。当σ2取得最大值时的灰度值即为最佳阈值:
2)确定二次判断规则。
在步骤(1)中检测得到的背景像素点中随机选取M个,计算这些像素点灰度的平均值为假设f(x)为步骤(1)检测出的前景像素,判断规则为:
如果当f(x)>t*时,f(x)再次判断为前景;当f(x)≤t*时,f(x)再次判断为背景。
如果当f(x)<t*时,f(x)再次判断为前景;当f(x)≥t*时,f(x)再次判断为背景。
利用上述二次判断规则对步骤(1)检测出的前景进行二次判别,能够过滤掉误判的部分,将鬼影部分重新判别为背景。
(3)背景更新;
针对由步骤(2)检测出的背景像素,采用Vibe算法的背景更新方法对背景模型进行更新背景模型更新后继续后续的运动前景检测。
本发明的运动前景提取方法能够对火灾动态区域进行较为精确地检测,从而排除大量的背景干扰区域。
S1.2采用OHTA颜色空间进行颜色分割。
为了去除不具有火焰颜色的运动物体,还需进行颜色分割。由于火焰的颜色整体是偏向红色,因此红色分量所占比重最大。但是,一些与火焰颜色比较相近的区域的红色分量也具有较高亮度值,因此在RGB空间进行阈值分割的方法不适用于火焰区域的分割。据此,本发明采用OHTA空间的阈值法进行颜色分割。
OHTA空间可表示为:
(6)式中,I1、I2和I3是OHTA颜色空间的正交特征。当上述3个特征用于颜色分割是,通常只通过I1和I2就可以很好的分割色彩特征。
I1、I2和I3模型的一种变型是I'1、I'2和I'3模型,其中:
采用OHTA空间的阈值法进行颜色分割的步骤为:
(1)通过式(6)把RGB图像转换成OHTA色彩空间内各个颜色特征的灰度图像,即得到分量图像I1、分量图像I2和分量图像I3;并根据式(7)得到分量图像I'2;
(2)分别对分量图像I2和I'2采用Ostu算法进行二值化处理;
(3)对I2和I'2的二值图像取交集,再进行高斯滤波得到最终分割结果。
S1.3将步骤S1.1的运动前景区域结果和步骤S1.2的颜色分割结果进行与操作,获得疑似火焰区域;
将步骤S1.1的运动前景区域和S1.2的颜色分割结果进行取交集操作,这样排除了不具有火焰颜色的运动物体和具有火焰颜色的静止物体,获得了更加接近火焰的疑似火焰区域,为进一步的火焰识别做好准备。
S2对步骤S1中的疑似火焰区域进行基于多特征融合的火焰检测;
S2.1提取火焰特征;
S2.1.1火焰形状特征提取;
利用形态学的开运算和闭运算对步骤S1获取的疑似火焰区域进行去噪平滑填补之后,利用Canny边缘算子检测算法提取疑似火焰区域的轮廓,轮廓的像素点用f(x,y)表示,t时刻疑似火焰区域的轮廓周长Lt可以用所有边缘的像素点之和来表示,如公式(8)所示:
其中,fe(m,n)为边缘的像素点。
利用公式(9)计算t时刻疑似火焰区域的区域面积为Pt,面积Pt可以用目标像素点的个数表示,即:
上式中,(x,y)表示像素点的位置,ft bh(x,y)为t时刻疑似火焰区域的二值化图像中像素点的个数。
圆形度Ct用来描述疑似火焰区域的二值化图像的形状接近圆形的程度,计算公式为:
Ct表示第t时刻疑似火焰区域的面积变化率,Ct的取值范围为0<Ct≤1,Ct的值越大,则区域形状越接近圆形。火焰的圆形度值偏小,本发明设定火焰圆形度最大阈值为0.5,最小阈值为0.05,火焰目标的圆形度在范围(0.55,0.5)内。火焰的边缘通常呈现不规则的形状,而类似火焰的运动物体则具有比较规则的几何形状,因此可以利用圆形排除类似火焰的运动物体,从而提高检测准确率。
S2.1.2火焰目标的形态重叠度特征提取;
形态重叠度主要对图像的亮度、色度或则目标的面积、形态结构等特征值进行提取分析,通过对比得出两者重叠的比例。
假设ft(x,y)和ft-k(x,y)分别为疑似火焰区域在第t帧和第t-k帧中的像素点,第t帧的疑似火焰区域的所有响度点的集合表示为Ωt,第t-k帧的疑似火焰区域的第i个目标的所有响度点的集合表示为Ωt-k。则火焰的形态重叠度可表示为:
上式中,St为t帧与t-k帧图像的疑似火焰区域的火焰形态重叠度。
类似火焰的运动物体,其重叠度很小;类似火焰的静止物体或是运动很小的物体,其重叠度很大;火焰目标的重叠度介于两者之间。本发明中设定面积变化率的最大阈值为0.9,最小阈值为0.5,火焰目标的形态重叠度在范围(0.5,0.9)内。
S2.1.3火焰目标的面积变化率特征提取;
物体燃烧的整个过程是连续的,火焰在燃烧时面积一直在发生着变化。据此,本发明通过面积变化率来表征火焰在燃烧过程中的面积变化,面积变化率为:
上式中,ΔAt表示第t时刻疑似火焰区域的面积变化率,Pt-k和Pt的定义与公式(9)中的相同。
为了提高算法的计算速度,对面积变化率进行归一化处理,使其在整个算法处理过程中都在0-1之间,则公式(12)变为:
上式中,Rt表示第t时刻疑似火焰区域的面积变化率。
静止或是运动的类似火焰的物体由于不会像火焰一样产生抖动因此面积变化率非常小,通过面积变化可以排除类似火焰的移动物体带来的干扰,提高检测结果的准确度。本发明中设定面积变化率的最大阈值为0.65,最小阈值为0.35,火焰目标的面积变化率在范围(0.35,0.65)内。
S2.2建立多特征融合模型进行火焰检测;
公式(10)求得疑似火焰区域内各个目标的圆形度Ct,根据设定的阈值判定疑似火焰区域是否存在火焰,如果0.05<Ct<0.5,则特征帧数加1,如公式(14)所示:
nC=nC+1,Ct∈(0.05,0.5) (14)
上式中,nC为疑似火焰区域的圆形度特征帧数统计值。
公式(11)求得疑似火焰区域内各个目标的形态重叠度St,根据设定的阈值判定疑似火焰区域是否存在火焰,如果0.5<St<0.9,则特征帧数加1,如公式(15)所示:
nS=nS+1,St∈(0.5,0.9) (15)
上式中,nS为疑似火焰区域的形态重叠度特征帧数统计值。
公式(13)求得疑似火焰区域内各个目标的归一化的面积变化率Rt,根据设定的阈值判定疑似火焰区域是否存在火焰,如果0.35<Rt<0.65,则特征帧数加1,如公式(16)所示:
nR=nR+1,Rt∈(0.35,0.65) (16)
上式中,nR为疑似火焰区域的面积变化率特征帧数统计值。
特征融合模型为:
Gt=αCt+βSt+γRt (17)
上式中,Gt为t时刻检测出疑似火焰区域为火焰的概率;α、β和γ分别为三个特征值Ct、St和Rt的权值,三个权值之和为1。
为了便于判定是否存在火焰目标和降低系统的误报率,分别采用nC、nS和nR三个特征的帧数统计变量来代替公式(17)中的Ct、St和Rt三个特征值,则公式(17)变为:
上式中,G为检测出疑似火焰区域的为火焰的概率;αC、βS和γR分别为三个帧数统计值nC、nS和nR的权值,三个权值之和为1,其中,αS取值0.4,βS取值0.4,γR取值0.2;T为判定火焰是否存在的一个周期,T取值25,即每一个T周期启动一次判定。
通过疑似火焰区域的三个特征在周期T内帧数统计值和各统计值所占的权重可以计算出该目标为火焰的概率,设定存在火焰的概率阈值为Fture,当G>Fture时,判定存在火焰目标。若是存在火焰,则进行火灾报警。其中,火焰检测方法的流程图如图2所示。
S3利用检测得到的火焰目标进行火灾定位。
若由步骤S2判断出火焰目标,则对火焰目标进行定位,从而可以进行及时和定位准确地灭火行动。利用步骤S2检测出左摄像机获得的视频流图像中的火焰目标,从而在左摄像机的最后一帧火焰图像仅保留此火焰目标,去除其他非火焰背景和物体获得左图像FL,再结合与FL相对应的右摄像机中火焰图像fR进行火灾定位,其步骤为:
S3.1利用步骤S1中的方法处理fR,得到与图像FL一样只含有相同火焰目标的右摄像机的火焰图像,记为FR;
S3.2利用SUSAN边缘检测算法分别提取FL和FR两幅火焰图像的边缘特征;
S3.3对步骤S3.2中边缘特征,利用SSDA算法进行立体匹配得到左右两幅图像的视差结果;
S3.4利用双目立体视觉理论进行火灾定位;
利用步骤S3.3中左右图像的视差结果,根据平行双目立体视觉系统原理将视差图转换成距离,可以得到深度图,获取距离的公式为:
上式中,Z为距离;B两摄像机之间的基线,f为摄像机的焦距,B和f为可以根据基于张正友摄像机标定方法获得。Xl为步骤S3.2中提取的左摄像机图像的火焰目标边缘特征点,Xr为步骤S3.4立体匹配过程与Xl相匹配的右摄像机图像的火焰目标边缘特征点,Xl-Xr为步骤S3.4求得视差结果。
本发明方法提取了准确度高的疑似火焰区域,很大程度上排除了类似火焰物体的干扰,并且融合了多种火焰显特征。算法的抗干扰性强、鲁棒性强、而且具有实时性和误报率低,能够及时地对火灾进行响应,在检测火灾目标的同时,对火灾的位置进行了定位,从而根据定位结果能有效地进行灭火,最大地降低火灾损失。
本领域技术人员将清楚本发明的范围不限制于以上讨论的示例,有可能对其进行若干改变和修改,而不脱离所附权利要求书限定的本发明的范围。尽管己经在附图和说明书中详细图示和描述了本发明,但这样的说明和描述仅是说明或示意性的,而非限制性的。本发明并不限于所公开的实施例。
Claims (8)
1.一种基于多特征融合和立体视觉的火灾检测和定位方法,其特征在于,包括以下步骤:
S1采用双目立体视觉系统的双摄像机采集图像,利用左右两个摄像机采集左右视频流图像,并对左摄像机采集到的视频流图像提取疑似火焰区域;
S2对步骤S1中的疑似火焰区域进行基于多特征融合的火焰检测;
S3利用检测得到的火焰目标进行火灾定位。
2.根据权利要求1所述的一种基于多特征融合和立体视觉的火灾检测和定位方法,其特征在于,所述步骤S1包括:
S1.1运动前景区域提取;
S1.2采用OHTA颜色空间进行颜色分割;
S1.3将步骤S1.1的运动前景区域结果和步骤S1.2的颜色分割结果进行与操作,获得疑似火焰区域。
3.根据权利要求2所述的一种基于多特征融合和立体视觉的火灾检测和定位方法,其特征在于,所述步骤S1.1包括:
S1.1.1利用Vibe算法建立背景模型;
S1.1.2检测运动前景目标和消除鬼影。
4.根据权利要求3所述的一种基于多特征融合和立体视觉的火灾检测和定位方法,其特征在于,
所述检测运动前景目标包括:
从第二帧开始对运动目标进行检测,以像素点x在像素值v(x)为圆心,R为半径,创建一个二维欧几里得色度空间的区域SR(v(x)),该区域SR(v(x))中包含像素x的背景样本值的个数为#{SR(v(x))∩{v1,v2,...,vN}};
其中,
上式中,k为背景模型中与像素p比较的像素值的个数,v(p)为当前帧中像素p位置处的像素值,vi为像素p背景模型的像素值;
设定判定像素为前景像素还是背景像素的阈值为#min,如果#{SR(v(x))∩{v1,v2,...,vN}}大于或是等于阈值#min,则在当前帧中,该像素为背景像素;如果#{SR(v(x))∩{v1,v2,...,vN}}小于阈值#min,则该像素为前景像素。
5.根据权利要求4所述的一种基于多特征融合和立体视觉的火灾检测和定位方法,其特征在于,所述消除鬼影包括:
1)计算当前帧的最佳分割阈值;
假设当前图像帧的灰度级为L,灰度范围为[0,L-1],分割阈值为t,可以将图像分为灰度级为[0,t]的区域A以及灰度级为[t+1,L-1]的区域B,其中A、B分别代表前景以及背景;
类间方差为:
σ2=ω0(μ0-μ)2+ω1(μ0-μ1)2=ω0ω1(μ0-μ1)2
其中,ω0表示前景像素点数目占整幅图像的比例,前景像素平均灰度值为μ0,ω1表示背景像素点数目占整幅图像的比例,背景像素平均灰度值为μ1,整幅图像的平均灰度值为μ;
当σ2取得最大值时的灰度值即为最佳阈值:
<mrow>
<msup>
<mi>t</mi>
<mo>*</mo>
</msup>
<mo>=</mo>
<mi>A</mi>
<mi>r</mi>
<mi>g</mi>
<munder>
<mrow>
<mi>M</mi>
<mi>a</mi>
<mi>x</mi>
</mrow>
<mrow>
<mn>0</mn>
<mo>&le;</mo>
<mi>t</mi>
<mo>&le;</mo>
<mi>L</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munder>
<mo>&lsqb;</mo>
<msub>
<mi>&omega;</mi>
<mn>0</mn>
</msub>
<msub>
<mi>&omega;</mi>
<mn>1</mn>
</msub>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>&mu;</mi>
<mn>0</mn>
</msub>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>&rsqb;</mo>
<mo>;</mo>
</mrow>
2)进行运动目标像素点的二次判断;
在检测得到的背景像素点中随机选取M个,计算该M个像素点灰度的平均值为假设f(x)为检测出的前景像素,判断规则为:
如果当f(x)>t*时,f(x)再次判断为前景;当f(x)≤t*时,f(x)再次判断为背景;
如果当f(x)<t*时,f(x)再次判断为前景;当f(x)≥t*时,f(x)再次判断为背景。
6.根据权利要求1所述的一种基于多特征融合和立体视觉的火灾检测和定位方法,其特征在于,所述步骤S2包括提取火焰特征,其中,火焰特征包括火焰形状特征、火焰目标的形态重叠度特征、火焰目标的面积变化率特征。
7.根据权利要求6所述的一种基于多特征融合和立体视觉的火灾检测和定位方法,其特征在于,所述步骤S2还包括:
所述多特征融合模型为:
<mrow>
<mi>G</mi>
<mo>=</mo>
<msub>
<mi>&alpha;</mi>
<mi>C</mi>
</msub>
<mo>&CenterDot;</mo>
<mfrac>
<mrow>
<mi>n</mi>
<mi>C</mi>
</mrow>
<mi>T</mi>
</mfrac>
<mo>+</mo>
<msub>
<mi>&beta;</mi>
<mi>S</mi>
</msub>
<mo>&CenterDot;</mo>
<mfrac>
<mrow>
<mi>n</mi>
<mi>S</mi>
</mrow>
<mi>T</mi>
</mfrac>
<mo>+</mo>
<msub>
<mi>&gamma;</mi>
<mi>R</mi>
</msub>
<mo>&CenterDot;</mo>
<mfrac>
<mrow>
<mi>n</mi>
<mi>R</mi>
</mrow>
<mi>T</mi>
</mfrac>
</mrow>
上式中,G为检测出疑似火焰区域的为火焰的概率;nC、nS、nR分别为疑似火焰区域的圆形度特征帧数统计值、形态重叠度特征帧数统计值和面积变化率特征帧数统计值;αC、βS和γR分别为三个帧数统计值nC、nS和nR的权值,三个权值之和为1,T为判定火焰是否存在的一个周期,T取值25,即每一个T周期启动一次判定。
8.根据权利要求1所述的一种基于多特征融合和立体视觉的火灾检测和定位方法,其特征在于,所述S3包括:
S3.1利用步骤S1中的方法处理fR,得到与图像FL一样只含有相同火焰目标的右摄像机的火焰图像,记为FR;
S3.2利用SUSAN边缘检测算法分别提取FL和FR两幅火焰图像的边缘特征;
S3.3对步骤S3.2中边缘特征,利用SSDA算法进行立体匹配得到左右两幅图像的视差结果;
S3.4利用双目立体视觉理论进行火灾定位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711403456.2A CN108038867A (zh) | 2017-12-22 | 2017-12-22 | 基于多特征融合和立体视觉的火焰检测和定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711403456.2A CN108038867A (zh) | 2017-12-22 | 2017-12-22 | 基于多特征融合和立体视觉的火焰检测和定位方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108038867A true CN108038867A (zh) | 2018-05-15 |
Family
ID=62100434
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711403456.2A Pending CN108038867A (zh) | 2017-12-22 | 2017-12-22 | 基于多特征融合和立体视觉的火焰检测和定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108038867A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108876856A (zh) * | 2018-06-29 | 2018-11-23 | 北京航空航天大学 | 一种大型建筑火灾火源识别定位方法及系统 |
CN109598700A (zh) * | 2018-10-16 | 2019-04-09 | 天津大学 | 采用卷积神经网络的早期火灾检测方法 |
CN109903339A (zh) * | 2019-03-26 | 2019-06-18 | 南京邮电大学 | 一种基于多维融合特征的视频群体人物定位检测方法 |
CN110309808A (zh) * | 2019-07-09 | 2019-10-08 | 北京林业大学 | 一种大范围尺度空间下的自适应烟雾根节点检测方法 |
CN110717946A (zh) * | 2019-09-25 | 2020-01-21 | 浙江万胜智能科技股份有限公司 | 一种从视频图像中筛选火焰目标的方法 |
CN110910402A (zh) * | 2019-11-01 | 2020-03-24 | 武汉纺织大学 | 一种夜间室外火焰检测方法 |
CN111914689A (zh) * | 2020-07-15 | 2020-11-10 | 营口新山鹰报警设备有限公司 | 一种图像型火灾探测器的火焰识别方法 |
CN112216055A (zh) * | 2020-09-24 | 2021-01-12 | 佛山市天然气高压管网有限公司 | 一种燃气场站火灾预警检测方法及系统 |
CN112633060A (zh) * | 2020-11-18 | 2021-04-09 | 合肥中科贝伦科技有限公司 | 一种基于泡沫细水雾涡扇炮自动瞄准系统的火源定位算法 |
CN112785613A (zh) * | 2020-11-30 | 2021-05-11 | 上海大学 | 一种智能炉膛火焰图像识别方法 |
CN113537099A (zh) * | 2021-07-21 | 2021-10-22 | 招商局重庆交通科研设计院有限公司 | 一种公路隧道火灾烟雾动态检测方法 |
CN114120208A (zh) * | 2022-01-27 | 2022-03-01 | 青岛海尔工业智能研究院有限公司 | 一种火焰检测方法、装置、设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101574567A (zh) * | 2009-06-08 | 2009-11-11 | 南京航空航天大学 | 基于计算机视觉技术的火灾智能探测、扑灭方法及系统 |
CN103400111A (zh) * | 2013-07-10 | 2013-11-20 | 重庆大学 | 基于视频检测技术的高速公路隧道火灾事件检测方法 |
CN105261029A (zh) * | 2015-11-20 | 2016-01-20 | 中国安全生产科学研究院 | 基于双目视觉进行火源定位和灭火的方法及其机器人 |
CN106096603A (zh) * | 2016-06-01 | 2016-11-09 | 中国科学院自动化研究所 | 一种融合多特征的动态火焰检测方法及装置 |
CN106846375A (zh) * | 2016-12-30 | 2017-06-13 | 广东工业大学 | 一种应用于自主灭火机器人的火焰检测方法 |
-
2017
- 2017-12-22 CN CN201711403456.2A patent/CN108038867A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101574567A (zh) * | 2009-06-08 | 2009-11-11 | 南京航空航天大学 | 基于计算机视觉技术的火灾智能探测、扑灭方法及系统 |
CN103400111A (zh) * | 2013-07-10 | 2013-11-20 | 重庆大学 | 基于视频检测技术的高速公路隧道火灾事件检测方法 |
CN105261029A (zh) * | 2015-11-20 | 2016-01-20 | 中国安全生产科学研究院 | 基于双目视觉进行火源定位和灭火的方法及其机器人 |
CN106096603A (zh) * | 2016-06-01 | 2016-11-09 | 中国科学院自动化研究所 | 一种融合多特征的动态火焰检测方法及装置 |
CN106846375A (zh) * | 2016-12-30 | 2017-06-13 | 广东工业大学 | 一种应用于自主灭火机器人的火焰检测方法 |
Non-Patent Citations (5)
Title |
---|
吴建胜 等: "一种基于视频的火焰检测方法", 《计算机应用与软件》 * |
夏凯: "双目视觉立体匹配技术研究及其应用", 《中国优秀硕士论文全文数据库(电子期刊) 信息科技辑》 * |
张瑞: "基于火焰动态模型融合的火焰检测算法研究", 《中国优秀硕士学位论文全文数据库(电子期刊) 信息科技辑》 * |
王辉: "基于道路监控视频的交通拥堵判别方法研究", 《中国优秀硕士学位论文全文数据库(电子期刊) 工程科技II辑》 * |
许伟靖: "基于视频图像的火灾检测方法研究", 《中国优秀硕士学位论文全文数据库(电子期刊) 信息科技辑》 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108876856B (zh) * | 2018-06-29 | 2020-10-09 | 北京航空航天大学 | 一种大型建筑火灾火源识别定位方法及系统 |
CN108876856A (zh) * | 2018-06-29 | 2018-11-23 | 北京航空航天大学 | 一种大型建筑火灾火源识别定位方法及系统 |
CN109598700A (zh) * | 2018-10-16 | 2019-04-09 | 天津大学 | 采用卷积神经网络的早期火灾检测方法 |
CN109903339A (zh) * | 2019-03-26 | 2019-06-18 | 南京邮电大学 | 一种基于多维融合特征的视频群体人物定位检测方法 |
CN110309808A (zh) * | 2019-07-09 | 2019-10-08 | 北京林业大学 | 一种大范围尺度空间下的自适应烟雾根节点检测方法 |
CN110309808B (zh) * | 2019-07-09 | 2021-03-12 | 北京林业大学 | 一种大范围尺度空间下的自适应烟雾根节点检测方法 |
CN110717946A (zh) * | 2019-09-25 | 2020-01-21 | 浙江万胜智能科技股份有限公司 | 一种从视频图像中筛选火焰目标的方法 |
CN110910402B (zh) * | 2019-11-01 | 2022-07-29 | 武汉纺织大学 | 一种夜间室外火焰检测方法 |
CN110910402A (zh) * | 2019-11-01 | 2020-03-24 | 武汉纺织大学 | 一种夜间室外火焰检测方法 |
CN111914689A (zh) * | 2020-07-15 | 2020-11-10 | 营口新山鹰报警设备有限公司 | 一种图像型火灾探测器的火焰识别方法 |
CN111914689B (zh) * | 2020-07-15 | 2024-03-22 | 营口新山鹰报警设备有限公司 | 一种图像型火灾探测器的火焰识别方法 |
CN112216055A (zh) * | 2020-09-24 | 2021-01-12 | 佛山市天然气高压管网有限公司 | 一种燃气场站火灾预警检测方法及系统 |
CN112216055B (zh) * | 2020-09-24 | 2021-05-11 | 佛山市天然气高压管网有限公司 | 一种燃气场站火灾预警检测方法及系统 |
CN112633060A (zh) * | 2020-11-18 | 2021-04-09 | 合肥中科贝伦科技有限公司 | 一种基于泡沫细水雾涡扇炮自动瞄准系统的火源定位算法 |
CN112785613A (zh) * | 2020-11-30 | 2021-05-11 | 上海大学 | 一种智能炉膛火焰图像识别方法 |
CN113537099A (zh) * | 2021-07-21 | 2021-10-22 | 招商局重庆交通科研设计院有限公司 | 一种公路隧道火灾烟雾动态检测方法 |
CN114120208A (zh) * | 2022-01-27 | 2022-03-01 | 青岛海尔工业智能研究院有限公司 | 一种火焰检测方法、装置、设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108038867A (zh) | 基于多特征融合和立体视觉的火焰检测和定位方法 | |
CN108876856B (zh) | 一种大型建筑火灾火源识别定位方法及系统 | |
CN108074234A (zh) | 一种基于目标跟踪和多特征融合的大空间火焰检测方法 | |
CN107609470A (zh) | 野外火灾早期烟雾视频检测的方法 | |
CN108346160A (zh) | 基于视差图背景差法和Meanshift结合的多运动目标跟踪方法 | |
CN108038866A (zh) | 一种基于Vibe和视差图背景差法的运动目标检测方法 | |
EP2965262A1 (en) | Method for detecting and tracking objects in sequence of images of scene acquired by stationary camera | |
CN111951250B (zh) | 一种基于图像的火灾检测方法 | |
CN109752855A (zh) | 一种光斑发射装置和检测几何光斑的方法 | |
CN105913441A (zh) | 一种用于改善视频中目标检测性能的阴影去除方法 | |
CN112561946B (zh) | 一种动态目标检测方法 | |
CN107301375A (zh) | 一种基于稠密光流的视频图像烟雾检测方法 | |
CN106327525B (zh) | 一种机房重地越界行为实时监测方法 | |
CN114202646A (zh) | 一种基于深度学习的红外图像吸烟检测方法与系统 | |
CN107045723A (zh) | 基于透射率动态检测的烟雾识别方法 | |
CN109544535B (zh) | 一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法及系统 | |
Huerta et al. | Exploiting multiple cues in motion segmentation based on background subtraction | |
CN114399734A (zh) | 一种基于视觉信息的森林火灾预警方法 | |
Cai et al. | Intelligent video analysis-based forest fires smoke detection algorithms | |
CN106570447A (zh) | 基于灰度直方图匹配的人脸照片太阳镜自动去除方法 | |
CN105913464A (zh) | 一种基于视频的多人体目标在线测量方法 | |
CN104504382A (zh) | 一种基于图像处理技术的火焰识别算法 | |
CN116309810A (zh) | 一种火灾场景下消防机器人的实时火焰定位方法 | |
CN102609710A (zh) | 针对火灾图像视频中烟雾笼罩场景的烟火目标分割方法 | |
Bohush et al. | Smoke and flame detection in video sequences based on static and dynamic features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180515 |