CN107784642B - 一种红外视频和可见光视频自适应融合方法 - Google Patents

Abstract

本发明提出了一种红外视频和可见光视频自适应融合方法。该方法对视频进行逐帧融合，每帧融合都包括三个部分：第一，分别利用引导滤波将红外视频帧与可见光视频帧分解为基本层和细节层；第二，对于红外视频中的基本层，利用当前场景的灰度分布模型，自适应地计算红外基本层的权重图。对于可见光视频中的基本层，根据可见光视频的质量，自适应采用不同方法生成可见光基本层的权重图。利用加权平均法融合红外和可见光的基本层；第三，利用融合后的基本层和可见光帧的细节层，重构图像。该方法能够获得较好的融合结果，同时能够应用于实时的视频融合中。

Description

一种红外视频和可见光视频自适应融合方法

技术领域

本发明涉及一种视频融合方法，尤其涉及一种自适应的红外与可见光视频方法，属于视频图像处理领域。

背景技术

视频监控具有数据量大，冗余度高的特点，因此在实际的视频分析处理时会浪费许多人力和工作量。红外视频与可见光视频作为两类常用的监控视频类型，具有不同的特点和应用场景。例如，在白天可见光视频质量较好，而红外视频分辨率较低，细节表现能力较差；在夜晚可见光视频受光照影响质量较差，但是红外视频在夜晚则不受影响。基于以上红外视频和可见光视频的互补性，视频融合技术成为了近年来新兴的研究方向。

红外视频与可见光视频融合就是将同一场景同一时间下的红外视频和可见光视频通过特定的准则进行融合，最终得到一段融合视频。融合视频可以对当前场景提供更全面的描述，因此有利于人眼观察和机器分析。从融合的方式来讲，当前融合技术主要分为两大类：基于整段视频的融合和基于帧的融合。

基于整段视频的融合主要使用3D(Three-dimensional)多分辨率变换，例如3D曲波变换或3D轮廓波变换。3D多分辨率基于传统的2D多分辨率变换，只是额外增加了一个时间维度。这种方法有以下缺点：首先，必须对整段视频做3D变换之后，再进行后续处理，这表明此方法不适用于视频的实时融合，只可以进行离线的视频融合；第二，3D变换的时间复杂度高，计算复杂。

基于帧的融合是对两段视频逐帧进行融合。这种方法与图像融合的方法类似，包括空间域融合和变换域融合。空间域融合是在空间域设计某些准则对源图像进行融合。这种方法的优势是其可以充分保留原图像的纹理细节信息，但是在某些情况下会导致图像局部过亮或颜色不均衡的现象。因为这类算法仅仅关注某一些准则的最大化，而缺乏对图像空间一致性的考虑。基于数学优化的融合方法，如马尔科夫随机场或广义随机游走算法，可以很好地保留源图像的纹理细节信息，同时能保持图像空间一致性，但是这种方法需要经过多次迭代才能获得全局最优解，导致效率十分低下。变换域融合通常是将源图像进行某种变化，在变换域涉及某些准则进行融合，最后将融合后的结果经过反变化得到融合的图像。变换域的选择很多，常见的变换域包括小波，曲波和轮廓波等。

红外视频与可见光视频的融合作为视频领域的重要分支，具有互补性强，应用范围广等特点。红外视频通常是灰度图像，其成像机理是靠空间上某点的温度成像，即空间某点温度越高，所成像的灰度值越大。但是由于红外传感器的技术原因，红外视频的分辨率相对于可见光视频而言较低，且纹理细节特征不丰富。可见光视频通常是彩色图像，其成像机理是通过可见光在物体表面的反射成像。通常可见光视频的纹理细节丰富，但是在某些低光照的恶劣环境下，如夜晚或者雾天，可见光成像质量很差。

基于上述红外传感器与可见光传感器的特性与成像机理分析可以看出，红外视频与可见光视频的融合与其余融合的策略有很大不同。现有的融合方法，一般将图像的对比度选取为融合准则，融合的目的是使融合结果能够保留源图像所有的纹理细节，进而最大限度保存所有源图像的信息。现有方法不将红外视频与可见光视频融合与其余类型融合进行区分，因此有以下两方面问题。一方面，不能正确保留红外视频中的热目标。在红外图像中，最有价值的热目标信息保存在低频的灰度信息中，并且热目标的温度与当前环境温度有关，因此在融合红外视频时需要自适应考虑红外中环境温度。另一方面，不能对可见光视频中的纹理信息做出判断。虽然在正常情况下可见光视频中纹理细节信息丰富，但是在恶劣环境中的可见光成像结果，其纹理细节部分缺失，提取出的纹理细节存在很多噪声信息，因此在融合可见光视频时还需自适应考虑可见光图像的质量。

为此，本发明提出了一种红外视频和可见光视频自适应融合方法，该方法利用灰度分布模型量化红外视频中的场景温度信息，利用信息熵量化可见光场景中的视频质量信息，通过自适应地生成红外帧与可见光帧的权重图，实现了红外与可见光的自适应融合。

发明内容

为实现上述目的，本发明采用下述技术方案。

一种红外视频和可见光视频自适应融合方法，其特征在于包括如下步骤：

(A)针对红外视频，计算红外视频的熵，并通过计算灰度分布，生成当前场景的灰度分布模型。针对可见光视频，计算可见光视频的熵。

(B)对于红外视频和可见光视频中的每一帧，通过引导滤波分别得到红外帧和可见光帧的基本层。将原始帧与对应的基本层相减，分别得到红外帧和可见光帧的细节层。

(C)对于红外视频中的，针对步骤(B)分解中的红外视频基本层，利用步骤(A)生成的当前场景的灰度分布模型，自适应地计算红外基本层的权重图。对于可见光视频中的每一帧，针对步骤(B)分解中的可见光视频基本层，利用步骤(A)生成的当前场景可见光熵，自适应地生成可见光基本层的权重图。通过加权平均法，计算红外视频和可见光视频的基本层融合后的融合基本层。

(D)将融合基本层和可见光视频中帧的细节层相加，得到融合结果帧。

如上所述的红外视频和可见光视频自适应融合方法，其特征在于所述步骤(A)中，利用灰度分布模型来描述红外场景中整体温度特征，并利用以下公式计算灰度分布模型：

式中k为像素灰度，n(i)表示当前帧中灰度为i的像素数量，M和N分别为帧大小。

如上所述的红外视频和可见光视频自适应融合方法，其特征在于所述步骤(C)中，利用以下公式计算红外基本层的权重图：

式中inf_w为红外帧基本层的权图，I为红外基本层，i,j分别为像素的坐标，s为惩罚因子，取值范围为[1,+∞)。

如上所述的红外视频和可见光视频自适应融合方法，其特征在于所述步骤(B)中，可见光视频的熵小于红外视频的熵时，利用以下公式计算可见光基本层的初始权重图：

vis_w_i,j＝1-inf_w_i,j (3)

式中vis_w为可见光帧基本层的权重图，i,j分别为像素的坐标。

如上所述的红外视频和可见光视频自适应融合方法，其特征在于所述步骤(B)中，可见光视频的熵大于红外视频的熵时，利用以下公式计算可见光基本层的初始权重图：

H_i,j＝V_i,j*L

vis_w_i,j＝abs(H_i,j)/max(H) (4)

式中V_i,j为可见光基本层，L为大小为3x3的拉普拉斯算子。通过步骤(B)计算出的熵，对可见光基本层的权重图做出自适应的调整：

其中e_v和e_i分别为可见光基本层和红外基本层的熵。

如上所述的红外视频和可见光视频自适应融合方法，其特征在于所述步骤(C)中利用以下公式计算基本层的融合结果

式中B^fuse表示基本层的融合结果。

如上所述的红外视频和可见光视频自适应融合方法，其特征在于所述步骤(D)中，利用细节层和融合后的基本层重构帧时，只考虑可见光的细节层，而不考虑红外的细节层。

如上所述的红外视频和可见光视频自适应融合方法，其特征在于所述步骤(B)中，通过引导滤波分别计算红外帧和可见光帧的基本层，再讲红外原始帧与可见光原始帧减去对应的基本层，得到对应的细节层。

如上所述的红外视频和可见光视频自适应融合方法，其特征在于所述步骤(A)中，利用灰度分布模型自适应考虑环境温度和目标温度。在环境中较热的目标对应的像素值在[0,1]区间内取较大值，在环境中较冷的目标对应的像素值在[0,1]区间内取较小值。

为此，本发明提出了一种红外视频和可见光视频自适应融合方法。该方法与当前主流方法相比，可以较好地提高融合结果的质量，并且可以应用于实际的融合中。

附图说明

下面结合附图和具体实施方式对本发明作进一步的说明。

图1为红外视频和可见光视频自适应融合方法流程图。

图2为红外视频和可见光视频自适应融合方法示意图。

图3为不同场景热目标比较示意图。

图4为同一场景下不同帧的灰度模型比较图。

图5为同一场景下不同帧的熵值比较图。

图6-图8为本发明与其他融合算法的结果对比。

具体实施方式

下面详述本发明的具体步骤：

(1)计算灰度分布模型和熵

红外视频中最重要的信息是其显示出了热目标，这些热目标在融合结果中是需要凸显的。对于大多数传感器来说，同一场景中热目标对应着较高的像素。但是对于不同场景，根据场景特征的不同，可能并不是较热的目标对应较高的像素。如图3所示，(a)与(b)为两幅不同的场景下红外视频中的帧。(a)拍摄的时间为冬天的晚上，场景温度很低，而(b)中场景温度较高。可以明显看出，(a)中的热目标的像素值与(b)中背景像素值近似，这是因为较低的场景温度使得(a)所有物体的像素值被整体“拉低”。由此可见，在融合时，对于热目标的处理需要考虑场景的特征信息。

基于以上分析，本发明提出了一种自适应的灰度分布模型。此模型可以准确地描述红外场景的特征信息，从而自适应地处理红外中的热目标。灰度分布模型可以通过下式计算：

式中M和N代表帧尺寸，k代表像素的灰度值，n(i)代表当前帧中灰度值为i的像素的个数。很明显，gd(k)的范围是[0,1]。

本发明提出的灰度模型，揭示出了在当前场景下，灰度值为k的像素点，是否可以被判断为较热的目标。具体为，如果gd(k)的值接近1，则可以判断其为较热的点；如果gd(k)的值接近0，则可以判断其为较冷的点。

可见光场景中最重要的信息是其纹理细节信息。一个好的融合结果中应能保持或增强可见光的纹理细节信息。但是由于在低光照，如夜间或大雾天气下，可见光成像质量较差，纹理细节很弱，很多纹理细节信息甚至可能是噪声。因此，为了能够自适应地评判可见光中纹理细节的重要程度，本发明考虑了可见光视频本身的质量信息，并用图像熵量化纹理细节的重要程度。图像的熵利用以下公式计算：

式中T代表图像的灰度级数，对于一个8位的像素值来说，T＝256，P_F(l)代表图像的归一化直方图。

(2)基于引导滤波的帧分解。

对于红外与可见光视频中的每一帧，需要利用引导滤波对其进行分解为基本层和细节层。利用以下公式可以计算出基本层：

B^vis＝GF_r,ε(I^vis,I^vis)

B^inf＝GF_r,ε(I^inf,I^inf) (9)

式中B表示基本层，I为原始帧。r和ε分别代表引导滤波中的参数，默认值分别是4和0.1²。对于红外视频与可见光视频的细节层，可以利用原始帧与基本层相减得到：

D^vis＝I^vis-B^vis

D^inf＝I^inf-B^inf (10)

本发明首先对红外与可见光的帧进行分解，是因为红外中的热目标与可见光中的纹理细节其本质特征并不相同。红外中的热目标位于基本层，而可见光中的纹理细节位于细节层。将基本层与细节层分开融合，可以确保融合在融合时，红外中的温度细节等不需要保留的特征不会影响可见光中的纹理细节。

本发明选用了引导滤波器来抽取帧的基本层和细节层，因为引导滤波相对于双边滤波器等传统的保边去噪的滤波器，有以下几个优点：第一，当引导图像与输入图片相同时(即本发明中的情况)，双边滤波器会有时导致一个梯度逆转的效应，这会影响本发明的后续步骤。而引导滤波器并不会出现这种情况。第二，引导滤波的时间复杂度是标准的O(N)时间复杂度，并不受窗口大小r的影响。与之对应的是，双边滤波器的时间复杂度是O(Nr²)，经过下采样后才能近似达到O(N)的时间复杂度。而引导滤波经过下采样后，可以达到O(N/S²)的时间复杂度。因为视频融合的实时性要求，引导滤波更快速的优点使其具有天然的优势。

(3)自适应基本层融合

对于红外视频与可见光视频中每一帧的基本层，我们利用步骤(1)中的场景特征自适应地生成权重图，并通过加权平均法得到基本层融合的结果。具体做法如下：

对于红外帧的基本层，根据当前场景的灰度分布模型，通过下式计算出权重图：

式中inf_w为红外帧的权重图，I为红外基本层，i,j分别代表像素的坐标。s为惩罚因子，取值范围为[1,+∞)。式中以0.9为阈值，如果灰度分布小于或等于0.9，则需要对其施加一个惩罚因子。因为在通常的监控视频下，热目标仅仅占据整个视频的一小部分，0.9的阈值可以在绝大部分情况下区分出热目标与背景。如果s取值为1，则惩罚因子无效，在这种情况下，红外的背景区域可能获得较大的权值，进而对可见光的背景区域产生影响，即弱化可见光的纹理细节。如果s取值太大，则红外的背景区域权值很低，使得红外权重图中权重跳跃太大，在融合后会产生空间上的不一致性，影响融合结果。因此惩罚因子s的选取需要适中，本发明默认值为s＝2。

对于可见光帧的基本层，需要同时考虑可见光的纹理细节信息与可见光图像的质量。在可见光视频熵小于红外视频熵时，可见光中的细节信息很少，反而噪声较多。在这种情况下，不应过多考虑可见光的细节信息，因此本发明利用以下公式生成可见光的权重图：

vis_w_i,j＝1-inf_w_i,j (12)

在可见光视频熵大于红外视频熵时，需根据可见光的纹理细节信息生成权重图。基本层中，纹理细节信息越多，图像质量越好，则获得的权值应该越大。首先，本发明通过拉普拉斯算子计算图像当前帧的纹理细节信息，并得到初始化的可见光权重图：

H_i,j＝V_i,j*L

vis_w_i,j＝abs(H_i,j)/max(H) (13)

式中，vis_w代表可见光帧的权重图，V代表可见光帧的基本层，L是3x3的拉普拉斯算子，i,j代表像素的坐标。通过公式(13)，可见光帧的权重图被归一化到[0,1]范围内。

公式(13)的结果仅仅体现了对可见光基本层细节信息的考虑，并没有考虑到图像的质量。为了自适应地判断可见光基本层纹理细节信息的重要性，本发明利用下式(14)调整可见光基本层的权重图：

式中e_v和e_i分别代表可见光场景和红外场景的熵。经过式(14)调整后的可见光基本层权重图，保证了在可见光场景熵较高时，可见光权重图的范围较大；可见光场景熵较低时，可见光权重图的范围较小。

在获得自适应的红外与可见光基本层的权重图后，本发明利用加权平均法进行基本层的融合。首先，基本层的融合是基于可见光基本层的，因此融合结果必须突出可见光基本层的信息。其次，融合结果必须在可见光基本层的基础上，突出红外中热目标的信息。最后，可见光基本层的纹理细节信息不应该受到红外的干扰。基于上述原则，基本层的融合结果通过下式计算：

式中B^fuse表示基本层的融合结果，i,j分别表示像素的坐标。

(4)融合结果生成

在步骤(2)的帧分解过程中，红外与可见光帧被分为了基本层和细节层。红外的基本层保留绝大部分热目标的信息，细节层保留了温度的细节信息。可见光的基本层保留了大部分的低频信息和部分纹理细节信息，细节层保留了大部分的纹理细节信息。在基本层的融合过程中，红外基本层的热目标信息和可见光基本层的热目标信息都已被保留下来，而红外细节层的温度细节信息在融合中并不重要。因此，本步骤需要利用融合后的基本层和可见光的细节层，重构最终的融合结果。

本发明利用下式重构最终的融合结果：

I^fuse＝B^fuse+d×D^vis (16)

式中B^fuse表示基本层的融合结果，D^vis表示可见光的细节层，I^fuse表示最终的融合结果。d这里是一个可调节参数，取值范围是[1,+∞)。如果d为1，则表明需要按照原始图像的细节丰富程度对融合结果进行重构；如果d>1，则表明融合结果相对于原始图像而言，进行了一个细节的增强。通常情况下，用一个略大于1的系数进行增强能够得到更好地结果，但在可见光图像噪声强烈的情况下，增强的结果可能反而导致噪声的增加。

为了验证本发明的有效性，将本发明与拉普拉斯金字塔融合(LAP)，广义随机游走融合(GRW)，引导滤波融合(GFF)等融合算法在OTCBVS，TNO，INO，Eden等数据集上进行了对比。图6-图8展示了主观对比的结果。图9展示了对于以上融合算法，在互信息(MI)和结构相似性指标(SSIM)下的客观结果。通过以上对比结果，可以看出本发明相对于其他融合算法，在红外与可见光融合方面有明显的优势。通过本发明得到的融合图像，能够同时正确，准确地保留红外视频中的热目标和可见光中的纹理细节信息。

同时，为了验证本发明的实时性，将本发明与拉普拉斯金字塔融合(LAP)，广义随机游走融合(GRW)，引导滤波融合(GFF)等融合算法在OTCBVS，TNO，INO，Eden等数据集上进行了对比。图10展示了算法运行的时间比较。其中“本发明(帧)”指每帧都重新计算灰度分布模型和熵的算法运行时间；“本发明(视频)”指利用帧间相关性，只在第一帧计算灰度分布模型和熵时，每帧融合的平均运行时间。可以看出，本发明的算法运行时间较低，基本能满足实时红外与可见光视频融合的要求。

以上公开的仅为本发明的具体实施例。根据本发明提供的技术思想，本领域的技术人员能思及的变化，都应落入本发明的保护范围内。

Claims (7)

1.一种红外视频和可见光视频自适应融合方法，其特征在于包括如下步骤：

(A)针对红外视频，计算红外视频的熵，并通过计算灰度分布，生成当前场景的灰度分布模型；针对可见光视频，计算可见光视频的熵；

(B)对于红外视频和可见光视频中的每一帧，通过引导滤波分别得到红外帧基本层和可见光帧基本层，将原始帧与红外帧基本层和可见光帧基本层相减，分别得到红外帧的细节层和可见光帧的细节层；

(C)对于红外视频中的，针对步骤(B)分解中的红外帧基本层，利用步骤(A)生成的当前场景的灰度分布模型，自适应地计算红外帧基本层的权重图，对于可见光视频中的每一帧，针对步骤(B)分解中的可见光帧基本层，利用步骤(A)生成的当前场景可见光视频的熵，自适应地生成可见光帧基本层的权重图，通过加权平均法，计算红外帧基本层和可见光帧基本层的权重图融合后的融合基本层；

(D)将融合基本层和可见光帧的细节层相加，得到融合结果帧。

2.如权利要求1所述的红外视频和可见光视频自适应融合方法，其特征在于所述步骤(A)中，利用灰度分布模型来描述红外场景中整体温度特征，并利用以下公式计算灰度分布模型：

式中k为像素灰度，n(i)表示当前帧中灰度为i的像素数量，M和N分别为帧大小。

3.如权利要求2所述的红外视频和可见光视频自适应融合方法，其特征在于所述步骤(C)中，利用以下公式计算红外帧基本层的权重图：

式中：

inf_w为红外帧基本层的权重，

I表示红外帧基本层，

i,j分别为像素的坐标，

s为惩罚因子，取值范围为[1,+∞)。

4.如权利要求3所述的红外视频和可见光视频自适应融合方法，其特征在于所述步骤(B)中，可见光视频的熵小于红外视频的熵时，利用以下公式计算可见光帧基本层的初始权重图：

vis_w_i,j＝1-inf_w_i,j (3)

式中vis_w为可见光帧基本层的权重图，i,j分别为像素的坐标。

5.如权利要求4所述的红外视频和可见光视频自适应融合方法，其特征在于所述步骤(B)中，可见光视频的熵大于红外视频的熵时，利用以下公式计算可见光帧基本层的初始权重图：

H_i,j＝V_i,j*L

vis_w_i,j＝abs(H_i,j)/max(H) (4)

式中V_i,j为可见光帧基本层，L为大小为3x3的拉普拉斯算子；通过步骤(A)计算出的熵，对可见光帧基本层的权重图做出自适应的调整：

其中e_v和e_i分别为可见光视频的熵和红外视频的熵。

6.如权利要求5所述的红外视频和可见光视频自适应融合方法，其特征在于所述步骤(C)中利用以下公式计算红外帧基本层的权重图和可见光帧基本层的权重图融合后的融合结果：

式中B^fuse表示融合结果。

7.如权利要求1所述的红外视频和可见光视频自适应融合方法，其特征在于所述步骤(A)中，利用灰度分布模型自适应考虑环境温度和目标温度，在环境中较热的目标对应的像素值在[0,1]区间内取较大值，在环境中较冷的目标对应的像素值在[0,1]区间内取较小值。