CN1282132C - 基于运动目标检测的红外和可见光动态图像融合方法 - Google Patents

Abstract

一种基于运动目标检测的红外和可见光动态图像融合方法，首先采用区域生长方法对红外图像进行分割，然后利用分割后各区域亮度与背景亮度的差异程度去判断每一个分割后的区域是否属于准目标区域，采用最近邻关联方法从所有检测到的准目标区域中找出真实的运动目标，最后采用基于不可分离小波框架变换的图像融合方法将红外序列图像中检测到的目标信息融合到可见光序列图像中。本发明利用了两种成像传感器所成图像的空间灰度信息及序列图像时间轴上的运动信息，融合后的序列图像既具有红外图像较好的目标指示特性，又具有可见光图像较高的清晰度，有利于提高监控人员对目标情景的感知能力。本发明可广泛应用于目标成像、安全监视等领域中。

Description

基于运动目标检测的红外和可见光动态图像融合方法

技术领域

本发明涉及一种基于运动目标检测的红外和可见光动态图像融合方法，是信息融合领域中的一项红外与可见光序列图像信息融合方法，在目标成像、安全监视等系统中均有广泛应用。

背景技术

图像融合技术是多传感器信息融合中可视信息的融合，它利用各种成像传感器不同的成像方式，为不同的影像提供互补信息，增加图像信息量，减少原始图像数据量，提高对环境的适应性，以获得更可靠、更准确的有用信息供观察或进一步处理。它是一门综合了传感器、信号处理、图像处理和人工智能等的新兴技术。近年来，图像融合已成为一种十分重要和有用的图像分析与计算机视觉技术。它在自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域有着广泛的应用前景。

可见光成像传感器和红外成像传感器是两种常用的传感器，工作机理不同，性能也各有差异。红外成像传感器与一般的可见光成像传感器不同，它采用红外探测器获取地面目标的红外辐射，记录的是目标自身的红外辐射信息。利用红外成像传感器对温度的敏感性，在军事上常用于探测和监视如人员、飞机、坦克、导弹发射和核爆炸等有热源目标。由于红外成像传感器是靠探测目标与背景间的热辐射差异来识别目标的，因而具有特殊的识别伪装能力。尽管红外成像传感器对热目标的探测性能较好(由目标与场景的温差及辐射率差决定)，但其对场景的亮度变化不敏感，成像分辨率低，不利于人眼判读。可见光成像传感器只敏感于目标场景的反射，而与目标场景的热对比度无关。监控侦察的任务不仅是要发现、识别目标，而且应确定目标所在的准确位置，要求获取的图像具有较高的分辨率。可见光成像传感器分辨率较高，能够提供目标所在场景的细节信息。红外与可见光图像的融合将有利于综合红外图像较好的目标指示特性和可见光图像的清晰场景信息。目前常用的图像融合方法是基于多分辨率分析的图像融合方法，包括基于金字塔图像分解(Burt P.J，Kolczynski R.J.Enhancement withapplication to image fusion，Proc.4th Int.Conf.on Computer Vision，1993：173-182.)和基于小波变换图像分解的融合算法(Li H.，Manjunath B.S.，Mitra S.，Multisensorimage fusion using the wavelet transform，Graphical Models and Image Process，1995，57(3)：235-245.)。这些传统的方法只能逐帧的对红外与可见光图像进行融合，在融合时并未将序列图像在时间轴上的运动信息考虑在内，融合效果较差。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于运动目标检测的红外和可见光动态图像融合方法，能够提高融合后的图像质量，达到理想的实用效果。

为实现上述目的，本发明提出了基于运动目标检测的红外与可见光动态图像融合方法，首先采用区域生长的方法对红外图像进行分割。红外序列图像中热目标特征较明显，目标区域亮度均值要比背景区域的亮度均值高很多。然后利用分割后各区域亮度与背景亮度的差异程度去判断每一个分割后的区域是否属于准目标区域(可能的目标区域)。准目标区域可能属于真实的运动目标，也可能是错检测的假目标。采用最近邻关联方法从所有检测到的准目标区域中找出真实的运动目标。最后采用基于不可分离小波框架变换的图像融合方法，将红外序列图像中检测到的目标信息融合到可见光序列图像中。

本发明的方法包括如下具体步骤：

1.对当前帧图像分割。采用基于区域生长的图像分割方法对当前帧红外图像进行分割。区域生长的一个关键是选择合适的灰度相似阈值，灰度相似阈值一般大致取为热目标区域亮度均值与周围背景亮度均值的差的0.3-0.6倍，目的是使图像中的目标能分割为单独的区域。

2.求取每一个分割后的区域属于准目标区域的信任程度。对当前帧红外图像分割后的结果，利用各分割后各区域亮度与背景亮度的差异程度去求取每一个分割后的区域属于准目标区域的信任程度。如果某区域亮度均值与背景的亮度均值相比越高，则该区域属于准目标区域的信任度越接近1，否则该区域属于准目标区域的信任度越接近0。

3.运动目标检测。结合以前各帧红外图像检测到运动目标，采用最近邻关联方法从所有检测到的准目标区域中找出当前帧红外图像中真实的运动目标。目标运动状态为包含水平方向位置、水平方向速度、垂直方向位置以及垂直方向速度的四维矢量。目标运动模型假设为匀速直线运动。目标量测为目标区域的质心坐标。从当前帧红外图像所有准目标区域质心坐标集合中求取最近邻量测，如果其落入跟踪门内，即将其认为是真实目标质心位置的量测值，其相应的区域即作为真实的目标区域。

4.采用小波变换对当前帧红外图像和可见光图像进行融合处理。首先对当前帧红外图像和可见光图像分别进行不可分离小波框架变换，然后对变换后的系数进行组合。如果当前帧红外图像中检测到目标，则在目标区域内组合后的系数取红外图像变换后的系数，其他区域内的组合系数取可见光图像变换后的系数。如果当前帧红外图像中没有检测到目标，则对于两图像变换后的最低频子带，组合后的系数取两图像变换后系数的均值，对于其它子带，组合后的系数取两图像变换后的系数绝对值大者。对组合后的系数进行不可分离小波框架逆变换即可得到当前帧红外与可见光图像融合后的结果。

5.循环对下一帧红外与可见光图像进行处理。重复以上步骤对下一帧红外与可见光图像进行处理，直到最后一帧待融合红外图像与可见光图像处理完毕。整个流程结束后将得到红外序列图像与可见光序列图像融合后的序列图像。

本发明的图像融合方法不仅利用了两种成像传感器所成图像的空间灰度信息，而且还利用了序列图像时间轴上的运动信息，融合后的序列图像既具有红外图像较好的目标指示特性，又具有可见光图像较高的清晰度，有利于提高监控人员对目标情景的感知能力。

附图说明

图1为基于运动目标检测的红外和可见光动态图像融合方法流程图。

图2为图像不可分离小波框架变换分解与重建结构示意图。

图3为待融合的红外图像序列。

图4为待融合的可见光图像序列。

图5为红外图像序列经图像分割后的结果。

图6为基于Laplacian金字塔的融合方法逐帧融合后的图像序列。

图7为基于小波变换的融合方法逐帧融合后的图像序列。

图8为本发明动态图像方法融合后的图像序列。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。基于运动目标检测的红外和可见光动态图像融合方法整体流程如图1，本实施例中待融合的红外图像序列如图3，待融合的可见光图像序列如图4。

1.对当前帧图像分割

采用基于区域生长的图像分割方法对当前帧红外图像进行分割，区域生长的一个关键是选择合适的灰度相似阈值，灰度相似阈值一般大致取为热目标区域亮度均值与周围背景亮度均值的差的0.3-0.6倍，目的是使图像中的目标能分割为单独的区域。图3中待融合的红外图像序列经逐帧分割后的结果如图5所示，其中不同颜色表示不同区域。

2.求取每一个分割后的区域属于准目标区域的信任程度红外序列图像中热目标特征较明显，目标区域亮度均值要比背景区域的亮度均值高很多。可以利用亮度信息去判断每一个分割后的区域是否属于准目标区域。对于每一个分割后的区域，定义该区域属于准目标区域的信任度为：

$C_i=\frac{1}{\{1+\exp [-{\mathrm{\λ}}_1({\mathrm{\μ}}_f-{\mathrm{\μ}}_1)\left]\right\}}\×\frac{1}{\{1+\exp [-{\mathrm{\λ}}_2({\mathrm{\μ}}_f-{\mathrm{\μ}}_b-{\mathrm{\μ}}_2)\left]\right\}},---\left(1\right)$

其中，μ_f与μ_b分别是第i个区域的灰度均值和背景区域(第i个区域以外的区域)的灰度均值，λ₁与λ₂为控制高斯函数方差的常数，μ₁与μ₂为控制高斯函数均值的常数。如果某区域亮度均值与背景的亮度均值相比越高，则该区域属于准目标区域的信任度越接近1，否则该区域属于准目标区域的信任度越接近0。选择属于准目标区域的信任度高的区域作为准目标区域。

3.运动目标检测

准目标区域可能属于真实的运动目标，也可能是错检测的假目标。采用最近邻关联方法可从所有检测到的准目标区域中找出真实的运动目标。在序列图像中目标的运动速度一般都比较慢，可假设目标处于匀速直线运动状态。令k时刻(帧)的目标状态向量表示为 $x\left(k\right)={[x_1\left(k\right),{\stackrel{\·}{x}}_1\left(k\right),x_2\left(k\right),{\stackrel{\·}{x}}_2\left(k\right)]}^{\′},$ 其中(x₁(k)，x₂(k))表示目标质心的坐标， 表示目标在垂直方向与水平方向上的速度，k时刻的量测向量表示为z(k)。令Z(k)表示k时刻所有待检验的目标量测值的集合(准目标区域质心坐标的集合)，则k时刻的最近邻量测值为：

$z_{*}\left(k\right)=\arg \underset{z\∈Z\left(k\right)}{\min }D\left(z\right),---\left(2\right)$

其中 $D\left(z\right)=[z-\hat{z}\left(k\right|k-1){]}^{\′}\·S{\left(k\right)}^{-1}\·[z-\hat{z}\left(k\right|k-1)],$ $\hat{z}\left(k\right|k-1)$ 与S(k)下面给出。

设T为图像采样周期，根据匀速直线运动模型，目标状态方程可表示为：

           x(k)＝F·x(k-1)+G·v(k-1)，            (3)

目标量测方程可表示为：

           z(k)＝H·x(k)+w(k)，                   (4)

其中状态转移矩阵 $F=\left[\begin{array}{cccc}1& T& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& T\\ 0& 0& 0& 1\end{array}\right],$ 输入矩阵 $G=\left[\begin{array}{cc}{T}^2/2& 0\\ T& 0\\ 0& T^2/2\\ 0& T\end{array}\right],$ 观测矩阵 $H=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 0& 1& 0\end{array}\right],\begin{array}{}\end{array}$ v(k-1)与w(k)分别为状态噪声和量测噪声，且为互不相关的零均值高斯白噪声向量序列，其协方差矩阵分别为Q(k-1)和R(k)。根据运动目标跟踪理论：

$\hat{x}\left(k\right|k-1)=F\·\hat{x}(k-1|k-1),---\left(5\right)$

$\hat{z}\left(k\right|k-1)=H\·\hat{x}\left(k\right|k-1),---\left(6\right)$

      P(k|k-1)＝F·P(k-1|k-1)·F′+G·Q(k-1)·G′，    (7)

定义椭圆跟踪门为R_γ＝{z：D(z)≤γ}，如果有最近邻量测落入跟踪门内，则：

$\hat{x}\left(k\right|k)=\hat{x}\left(k\right|k-1)+W\left(k\right)\·V\left(k\right)---\left(8\right)$

      P(k|k)＝P(k|k-1)-W(k)·S(k)·W(k)′，            (9)

其中，

$V\left(k\right)=z_{*}\left(k\right)-\hat{z}\left(k\right|k-1),---\left(10\right)$

      S(k)＝H·P(k|k-1)·H′+R(k)，                    (11)

       W(k)＝P(k|k-1)·H′·S(k)^-1；             (12)

如果没有最近邻量测落入跟踪门内，则：

$\hat{x}\left(k\right|k)=\hat{x}\left(k\right|k-1),---\left(13\right)$

       P(k|k)＝P(k|k-1)。                        (14)

落入跟踪门内的量测z_*(k)即认为是真实目标质心位置的量测值，其相应的区域即作为真实的目标区域。

4.基于不可分离小波框架图像变换的图像融合

运动目标检测后的图像融合问题就成了如何将每帧红外图像中的运动目标融合到相应的可见光图像帧中。可以将每帧红外图像中的运动目标直接剪切下来放入相应可见光图像帧中，但这样产生的融合图像拼凑痕迹较明显。本发明中采用基于不可分离小波框架变换的图像融合方法较好的解决了这一问题。不可分离小波框架变换分解与重建过程如图2。图像分解后的系数表示如下：

$\left\{\begin{array}{c}{g}_{i+1}\left(K\right)={\left[G_0\right]}_{\↑D^i}*f_i\left(K\right)\\ f_{i+1}\left(K\right)={\left[H_0\right]}_{\↑D^i}*f_i\left(K\right)\end{array}\right.,i=\mathrm{0,1},...,N,---\left(15\right)$

其中H₀，G₀是二维的原型分析滤波器， $D=\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]$ 为采样矩阵，[H₀]_↑Di是低

通滤波器H₀经过升采样后的滤波器，[G₀]_↑Di是高通滤波器G₀经过升采样后的滤波器，f₀(K)＝f(K)为原始图像，K∈Z²为像素的坐标位置，N是图像分解的层数。在图2中H₁，G₁是二维原型综合滤波器。

图像f(K)经过N层不可分离小波框架变换分解后将产生N个高通子带{g_i(K)|i＝1，2，...，N}以及一个低通子带f_N(K)，每一个子带的尺寸与源图像的尺寸相同。使用g_i ^A(K)与f_N ^A(K)，g_i ^B(K)与f_N ^B(K)表示待融合的当前帧红外图像A与可见光图像B分别经不可分离小波框架变换分解后的系数，使用g_i ^F(K)与f_N ^F(K)表示组合后的不可分离小波框架变换系数。如果当前待融合红外图像帧中检测到运动目标，则：

如果当前帧红外图像中没有检测到运动目标，则：

$f_N^F\left(K\right)=0.5\·f_N^A\left(K\right)+0.5\·f_N^B\left(K\right).---\left(19\right)$

对于组合后的不可分离小波框架变换系数进行逆变换即可得到当前帧红外与可见光图像融合后的结果。

5.循环对下一帧红外与可见光图像进行处理

重复以上步骤对下一帧红外与可见光图像进行处理，直到最后一帧待红外图像与可见光图像处理完毕。整个流程结束后将得到红外序列图像与可见光序列图像融合后的序列图像。

本方法与其它融合方法的性能评价：图6是采用基于Laplacian金字塔变换的图像融合方法对各帧红外图像和可见光图像逐帧融合后的结果，图7是采用基于小波变换的图像融合方法对各帧红外图像和可见光图像逐帧融合后的结果，图8是采用本发明的动态图像融合算法得到的融合图像序列。客观评价采用常用的熵和互信息两种评价指标，各融合算法的性能评价见表1。熵(H)用于衡量融合图像的整体信息量，数值越大表示融合效果越好。互信息(MI)可用来衡量融合图像从源图像中继承信息的多少，互信息越大表示融合效果越好。

            表1.图像融合实验性能评价

		本发明方法	金字塔变换融合方法	离散小波变换融合方法
					第1帧	H	7.1168	6.6867	6.5913
MI	4.1208	1.5117	1.4004
				第2帧		H	7.0900	6.6616	6.5797
MI	4.3277	1.5037	1.3841
					第3帧	H	7.1571	6.7181	6.6426
MI	4.3807	1.5134	1.4034
				第4帧		H	7.1655	6.7114	6.6381
MI	4.3677	1.5144	1.3941
					第5帧	H	7.1479	6.7063	6.6318

Claims (1)

1、一种基于运动目标检测的红外和可见光动态图像融合方法，其特征在于包括如下具体步骤：

1)采用基于区域生长的图像分割方法对当前帧红外图像进行分割，区域生长选择的灰度相似阈值取为热目标区域亮度均值与周围背景亮度均值的差的0.3-0.6倍；

2)利用分割后各区域亮度与背景亮度的差异程度，求取每一个分割后的区域属于准目标区域的信任程度，如果某区域亮度均值与背景的亮度均值相比越高，则该区域属于准目标区域的信任度越接近1，否则该区域属于准目标区域的信任度越接近0；

3)结合以前各帧红外图像检测到运动目标，采用最近邻关联方法从所有检测到的准目标区域中找出当前帧红外图像中真实的运动目标；目标运动状态为包含水平方向位置、水平方向速度、垂直方向位置以及垂直方向速度的四维矢量，目标运动模型假设为匀速直线运动，目标量测为目标区域的质心坐标；从当前帧红外图像所有准目标区域质心坐标集合中求取最近邻量测，如果其落入跟踪门内，即将其认为是真实目标质心位置的量测值，其相应的区域即作为真实的目标区域；

4)对当前帧红外图像和可见光图像分别进行不可分离小波框架变换，然后对变换后的系数进行组合，如果当前帧红外图像中检测到目标，则在目标区域内组合后的系数取红外图像变换后的系数，其他区域内的组合系数取可见光图像变换后的系数，如果当前帧红外图像中没有检测到目标，则对于两图像变换后的最低频子带，组合后的系数取两图像变换后系数的均值，对于其它子带，组合后的系数取两图像变换后的系数绝对值大者，对组合后的系数进行不可分离小波框架逆变换，得到当前帧红外与可见光图像融合后的结果；

5)循环对下一帧红外与可见光图像进行处理，直到最后一帧待融合红外图像与可见光图像处理完毕，得到红外序列图像与可见光序列图像融合后的序列图像。

Images