CN107909562B - 一种基于像素级的快速图像融合算法 - Google Patents

Abstract

本发明公开了一种基于像素级的快速图像融合算法，先对可见光图像进行色彩空间变换，将可见光图像由RGB空间转换至YUV空间下；然后分别获取可见光图像和红外图像的自适应权值；采用加权平均法进行可见光图像和红外图像的融合过程处理；再对融合结果进行优化调整；最后对可见光图像进行色彩空间变换，将图像从YUV色彩空间变换至RGB空间下，完成图像融合的整个过程。本发明的算法能够在像素层面对可见光图像和红外图像进行融合，充分结合了可见光图像的丰富光谱信息和高分辨率，以及红外图像所反映的独特热辐射特征，实现融合图像信息的最大化。

Description

一种基于像素级的快速图像融合算法

技术领域

本发明属于一种光学图像处理算法，具体涉及一种应用于机载光电吊舱中的基于像素级的快速图像融合算法。

背景技术

图像融合作为一种综合处理多传感器图像数据的有效技术，得到了广泛的应用，尤其是可见光和红外传感器领域，其应用范围已遍及军事、安全监控等领域。

可见光光谱信息丰富，在一定照度下能反映场景的细节，但在照度不足时对比度较低；红外图像为热辐射图像，目标的灰度值由自身与背景的温度差决定，在照度低时依然能够发现目标，但是分辨率不高，色彩不够丰富。单独使用可见光或红外图像均存在不足之处，而图像融合技术能够有效综合二者的特征信息，增强场景理解，突出目标，有利于在隐藏、伪装和迷惑的情况下更快、更精确地探测目标。

机载光电吊舱集光学、机械、自动控制和通讯技术为一体，是航空航天领域的重要搜索、侦察设备，常搭载可见光和红外传感器，因此，研究应用于机载光电吊舱中的快速图像融合技术具有重要意义。

发明内容

本发明的目的在于根据现有技术的不足，提供一种在像素层面进行的可见光和红外图像快速融合算法。

本发明解决其技术问题所采用的技术方案是：一种基于像素级的快速图像融合算法，包括如下步骤：

a)，对可见光图像进行色彩空间变换

按如下公式将可见光图像由RGB空间转换至YUV空间下：

获取转换后的可见光YUV图像，对可见光YUV图像的Y分量图像和红外图像进行图像增强处理，提升其对比度，增大图像中目标和背景之间的反差；

b)，获取可见光图像和红外图像的自适应权值

按如下公式分别计算可见光图像和红外图像的信息熵：

式中P(i)表示图像中灰度值为i的像素所占的比例；

得到融合过程中可见光图像所占的权值：

以及，融合过程中红外图像所占的权值：

式中Ent_tv和Ent_ir分别代表可见光图像和红外图像的信息熵；

c)，图像融合

按如下公式采用加权平均法进行可见光图像和红外图像的融合过程处理：

F＝P_tv×f_tv+P_ir×f_ir，

式中f_tv代表融合前可见光图像的灰度值，f_ir代表融合前红外图像的灰度值，F代表融合结果图像的灰度值；

d)，对融合结果进行优化调整

按如下公式计算优化融合后图像的灰度值：

式中μ_F代表融合图像的灰度均值，μ_tv代表融合前亮度域Y分量图像灰度均值，σ_F和σ_tv则分别代表二者的灰度方差，F代表整幅图像的灰度值；

e)，对可见光图像进行色彩空间变换

用融合后图像的灰度值F′代替原始YUV空间下的亮度域Y分量，保持原始的颜色域U分量和颜色域V分量，实施色彩空间逆变换，将图像从YUV色彩空间变换至RGB空间下，完成图像融合的整个过程：

所述的一种基于像素级的快速图像融合算法，步骤a)和d)中还包括采用如下公式进行线性拉伸处理并将原始的可见光亮度域Y分量图像和红外图像的灰度范围拉伸至[0，255]：

式中f′为变换后的像素灰度，f为变换前的像素灰度，f_max和f_min分别为变换前图像的灰度最大值和最小值。

本发明的有益效果是：1，根据可见光和红外图像各自信息量的不同，确定其在融合过程中对应的权值大小，实现自适应的权值分配，避免了人工干预，算法针对不同图像的适应性更强；

2，利用可见光图像纹理更丰富、分辨率更高的特点，以可见光图像为模板，对融合的结果图像进行优化，进一步提升融合效果；

3，相较于运算复杂的特征级或决策级融合算法，本算法原理简单，运算速度快，融合结果能够满足战场等复杂环境对算法的实时性需求。

本发明的算法能够在像素层面对可见光图像和红外图像进行融合，充分结合了可见光图像的丰富光谱信息和高分辨率，以及红外图像所反映的独特热辐射特征，实现融合图像信息的最大化，本发明算法相对于面向对象等融合方法，运算速度快，能够满足战场等特殊环境对算法实时性的需求，具有很好的推广使用价值。

附图说明

图1为本发明图像融合算法的原理流程图；

图2为可见光灰度图像和红外图像对比图；

图3为可见光彩色图像和红外图像对比图；

图4为可见光和红外图像直接融合效果图；

图5为融合结果优化调整后的效果图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

参照图1至图5所示，本发明公开了一种在像素层面进行的可见光和红外图像快速融合算法。

为了降低在获取图像瞬间光照等原因带来的影响，首先对待融合图像进行对比度增强操作，以提升目标和背景之间的反差；

由于可见光图像和红外图像在体现目标特性之间存在差异性，二者存在一定的信息互补关系，为了能够较好的兼顾二者的特点，最大化的保留二者的信息，采用自适应的融合权值确定方法，根据二者各自信息量的不同决定在融合过程中的权值分配比，避免了人工干预的过程。

可见光图像相比于红外图像其光谱信息更丰富，分辨率也更高，加权融合之后融合结果相较于可见光图像其对比度会下降，因此，以原始可见光图像为基础对融合图像进行均值和对比度的优化，进一步提升其图像质量。

本专利的算法包括如下步骤：

1.色彩空间变换。

通常情况下可见光图像为色彩丰富的彩色图像，分辨率较高，红外图像为灰度图像，分辨率较低，为了尽可能使两种图像的信息得到最大的保留，一般保留可见光图像的色调分量，利用其亮度域Y分量和红外灰度图像进行融合处理，而在RGB空间下，可见光图像的亮度信息和色调信息具有较强的相关性，不方便处理，因此首先将RGB空间转换至YUV空间下，两种色彩空间的变换关系如下：

获取转换后的可见光YUV图像，分解为亮度域Y分量图像、颜色域U分量图像和颜色域V分量图像，为了降低光照等原因对图像对比度所造成的影响，对可见光YUV图像的亮度域Y分量图像和红外图像进行图像增强处理，提升其对比度，增大图像中目标和背景之间的反差，同时为了节省运算时间，采用简单的线性拉伸处理，公式如下：

其中，f′为变换后的像素灰度，f为变换前的像素灰度，f_max和f_min分别为变换前图像的灰度最大值和最小值，利用上式将原始的可见光亮度域Y分量图像和红外图像的灰度范围拉伸至[0，255]。

2.灰度图像自适应融合。

2.1自适应权值获取

为了确定可见光图像和红外图像在融合过程中分别占的比重，同时尽量减小人工干预的程度，采用自适应的方式来确定融合权值，根据图像各自所包含的信息量大小决定其权值分配比，信息量大证明图像中目标和背景差别较大，内容更丰富，融合过程中图像所表达的信息应该更多的得到保留。

采用图像的信息熵来衡量图像包含的信息量的大小，信息熵从整个信息源的统计特性进行考虑，表征了图像灰度分布的聚集特性，反映了图像中平均信息量的多少，其计算公式如下：

式中，P(i)表示图像中灰度值为i的像素所占的比例。

分别求取可见光图像和红外图像各自的信息熵后，可以得到二者在融合过程中所占的权值分配如下：

式中，P_tv和P_ir分别代表融合过程中可见光图像和红外图像所占的权值，Ent_tv和Ent_ir分别代表可见光图像和红外图像的信息熵。

2.2灰度图像融合

确定可见光图像和红外图像在融合过程中各自所占的权值后，即可进行图像融合。采用加权平均法进行融合过程处理，公式如下：

F＝P_tv×f_tv+P_ir×f_ir。

式中，f_tv代表融合前可见光图像，f_ir代表融合前的红外图像，F代表融合结果图像。以像素为单位进行融合运算，因此融合前需要保证参与融合的可见光图像和红外图像是像素级严格配准的。

3.融合图像优化调整。

由于成像机制的不同，红外图像和可见光图像强度分量的亮度分布差异有时会很大，在某些特定场景下，红外图像较为灰暗，而可见光图像整体较为明亮，在和红外图像融合时，红外图像只能起到很小的作用，最终的融合效果会受到较大影响。这种情况下就需要对融合结果进行优化调整，使其与对比度较强，整体较为明亮的可见光亮度域Y分量图像在亮度分布上协调一致。

采用的处理方法如下式所示：

上式中，μ_F和μ_tv分别代表融合图像的灰度均值以及融合前可见光亮度域Y分量图像的灰度均值，σ_F和σ_tv则分别代表二者的灰度方差，F代表整幅图像的灰度值，F′代表优化调整后图像的灰度值。灰度代表了图像的一阶统计量，方差代表了图像的二阶统计量。

经过上述方法处理过后，灰度融合图像亮度分布的一阶和二阶统计量就会和可见光图像的相类似，灰度均值可以反映图像的平均亮度，方差可以表示图像的对比度，以此实现将参考图像的图像灰度特征传递至融合图像中。

再次对处理后的图像进行线性拉伸操作，使其灰度分布更为均匀，图像目标和背景之间的反差更为明显，有利于图像的判读解译等后期处理操作。

4.色彩空间逆变换。

灰度图像融合过程完成之后，用融合结果代替原始YUV空间下的亮度域Y分量，保持原始的亮度域UV分量不变，实施色彩空间逆变换，将图像从YUV色彩空间变换至RGB空间下，完成图像融合的整个过程。

为了获得高质量的融合图像，灰度融合过程中通常会用到某些高计算复杂度的融合算法如小波融合算法等，高复杂度的计算不仅会占用大量资源，使得整个融合系统变得复杂，而且会消耗大量的时间，很难满足某些特殊情况下的对融合算法的高实时性需求。

本专利算法基于像素融合法，直接在像素层面上进行操作，根据可见光和红外图像的灰度信息统计量的多少决定其在融合中所占比例大小，增强了算法对融合图像的适应性。

融合处理完成之后，为了提升融合图像的视觉效果，将可见光图像作为参考图像，利用其灰度信息对融合图像进行优化调整，包括了一阶的灰度均值信息以及二阶的灰度方差信息，调整过后融合图像具有和参考图像相类似的灰度分布，减小了因为红外图像分辨率不高且细节信息不清晰对融合图像造成的影响，提升了融合图像的质量。

同时因为计算过程中仅用到了图像的一阶统计量和二阶统计量，而且是基于像素进行直接融合处理，没有使用多分辨率等高复杂度的处理方法，因此算法的运算速度快，节省了处理时间，能够满足实时性要求。

上述实施例仅例示性说明本发明的原理及其功效，以及部分运用的实施例，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (2)

1.一种基于像素级的快速图像融合算法，其特征在于，包括如下步骤：

a)，对可见光图像进行色彩空间变换

按如下公式将可见光图像由RGB空间转换至YUV空间下：

获取转换后的可见光YUV图像，对可见光YUV图像的Y分量图像和红外图像进行图像增强处理，提升其对比度，增大图像中目标和背景之间的反差；

b)，获取可见光图像和红外图像的自适应权值

按如下公式分别计算可见光图像和红外图像的信息熵：

式中P(i)表示图像中灰度值为i的像素所占的比例；

得到融合过程中可见光图像所占的权值：

以及，融合过程中红外图像所占的权值：

式中Ent_tv和Ent_ir分别代表可见光图像和红外图像的信息熵；

c)，图像融合

按如下公式采用加权平均法进行可见光图像和红外图像的融合过程处理：

F＝P_tv×f_tv+P_ir×f_ir，

式中f_tv代表融合前可见光图像的灰度值，f_ir代表融合前红外图像的灰度值，F代表融合结果图像的灰度值；

d)，对融合结果进行优化调整

按如下公式计算优化融合后图像的灰度值：

式中μ_F代表融合图像的灰度均值，μ_tv代表融合前亮度域Y分量图像灰度均值，σ_F和σ_tv则分别代表二者的灰度方差，F代表整幅图像的灰度值；

e)，对可见光图像进行色彩空间变换

用融合后图像的灰度值F′代替原始YUV空间下的亮度域Y分量，保持原始的颜色域U分量和颜色域V分量，实施色彩空间逆变换，将图像从YUV色彩空间变换至RGB空间下，完成图像融合的整个过程：

2.根据权利要求1所述的一种基于像素级的快速图像融合算法，其特征在于，所述的步骤a)和d)中还包括采用如下公式进行线性拉伸处理并将原始的可见光亮度域Y分量图像和红外图像的灰度范围拉伸至[0，255]：

式中f_′为变换后的像素灰度，f为变换前的像素灰度，f_max和f_min分别为变换前图像的灰度最大值和最小值。

Images