CN113222877A - 红外和可见光图像融合方法及其在机载光电视频中的应用 - Google Patents

Abstract

本发明公开了红外和可见光图像融合方法及其在机载光电视频中的应用。其中所述融合方法包括：将经过目标提取预处理得到预处理后红外图像，与经过视觉增强预处理得到的预处理后可见光图像通过融合模型进行融合，其中所述融合模型基于含有多层各向异性扩散滤波器的多尺度分析模型构建。本发明所得融合图像在高分辨、高清晰度的同时具有夜间成像效果好、环境影响小、集成信息量大、融合效率高等特点，特别适用于在机载嵌入式平台实时融合多源光电图像。

Description

红外和可见光图像融合方法及其在机载光电视频中的应用

技术领域

本发明涉及多源图像融合技术领域。

背景技术

不同类型的成像传感器的成像机理和应用场景各异，其中，由于技术手段等的限制，单一成像传感器得到的单源图像仅可以满足一些特定的应用需求，无法适应环境更复杂、用途更广泛的场景。为了得到目标和背景清晰、语义信息充足、应用范围广泛和更符合人类视觉以及机器识别的图像，同时避免因使用多个单一成像传感器而产生的信息冗余和损耗，相关应用中更多采用了多源图像融合技术。

多源图像融合技术旨在利用多源图像的冗余性和互补性，综合不同成像传感器的图像数据特点，取长补短，提供具有更高可信度，较少的不确定性以及更好的可理解性的目标和图像信息，从而反应出对事物更客观、更丰富、更本质的认识，达到改善图像视觉效果、强化图像有用信息、增加图像可理解性、使系统更具鲁棒性的目的。根据应用方向的不同，多源图像融合可分为医学图像融合、多聚焦图像融合、遥感图像融合、多曝光图像融合、可见光和红外图像融合等。其中，可见光和红外图像融合是机载视景增强和机载辅助驾驶等系统中的关键技术。这些系统利用红外和可见光传感器拍摄飞机前方区域场景，并通过多源图像融合技术生成视景图像供飞行员观察和辅助导航。

在可见光与红外图像融合技术中，可见光图像可提供纹理细节信息和与人类视觉系统一致的高空间分辨率和清晰度，红外图像则由于其波长和热成像等特性，可提供在雾天或光照不足等条件下的良好成像优势，同时，可见光图像可弥补红外无法对机场指示灯和航空障碍灯等冷光源成像的缺陷，通过两者的融合有效改善复杂气候条件下的成像效果，减少视觉盲点，提升态势感知能力，大幅提高飞行和着陆安全性。

现有的红外和可见光图像融合技术多使用基于多尺度分析的方法和基于神经网络的方法。其中，多尺度分析又被称为多分辨率分析，其基本思想是将图像经过多尺度变换之后得到不同尺度空间下的子图像，然后在各个尺度空间下根据特定的规则融合多源图像的子图像，最后用多尺度逆变换恢复到原来的空间。多尺度分析可在尺度空间中挖掘图像的底层特征语义，如图像的纹理细节、边缘轮廓等，但是，一方面，该方法通常只能提取图像的全局特征而非局部特征，且在复杂场景下提取图像全局特征时，易出现将目标和其他噪声混淆的情况；另一方面，该方法在尺度空间中的融合规则存在泛用性低的问题，如不适用多个昼夜及温度环境的情况，导致获得的目标显著度不高、图像纹理背景不均匀、光照不均匀、前景不够突出等问题，融合效果较差。

在神经网络方面，包括CNN、GAN等在内的一些深度学习模型被应用到了可见光与红外图像融合上，但深度学习需要大量的数据进行训练，在数据量较少的情况下难以使用，另外，图像融合中常缺少先验信息，导致融合策略对融合结果的影响过大。

发明内容

本发明的目的在于提出一种红外和可见光图像融合方法，其所得融合图像在保持较好的与人眼视觉图像一致的高分辨、高清晰度的特性同时又综合红外热成像夜视范围广、受环境影响小的特定信息，集成信息量大、效率高，便于目标检测识别等后续处理，并特别适用于在机载嵌入式平台实时融合多源光电图像。

本发明首先提供了如下的技术方案：

红外和可见光图像融合方法，其包括：

S1对待融合的红外图像进行目标提取预处理，得到含有目标区域红外特征分量的预处理后红外图像；

S2对待融合的可见光图像进行视觉增强预处理，得到视觉增强后的可见光图像；

S3将预处理后红外图像与预处理后的可见光图像输入融合模型进行融合；

其中，所述融合模型基于含有多层各向异性扩散滤波器的多尺度分析模型构建。

根据本发明的一种具体实施方式，所述目标提取预处理包括：

S11对待融合的红外图像进行顶帽变换，获得差异化图像；

S12通过最大类间方差法获得所得差异化图像的阈值灰度级，根据阈值灰度级进行像素点分类，通过掩膜去除其中灰度级在阈值灰度级以下的像素点；

S13将掩膜处理后的图像与红外及可见光图像的灰度差值矩阵进行作差处理，并将所得差值规范到0～255的灰度值，得到目标区域红外特征分量。

优选的，其还包括：

S14通过所述目标区域红外特征分量与抑制比的相乘，获得压缩后的目标区域红外特征分量。

根据本发明的一种具体实施方式，所述步骤S12中：

通过以下模型获得所得差异化图像的阈值灰度级k^*：

其中，i、k表示灰度级，k∈{0,1,2,……,L-1}，其中{0,1,2,……,L-1}表示所得差异化图像的L个不同的灰度级；a(k)表示灰度从0到k级的像素累加均值；a_G表示图像的全局像素均值；P₁(k)表示灰度级低于k的像素点在所有像素点中的占比，P₂(k)表示灰度级高于k的像素点在所有像素点中的占比。

根据本发明的一种具体实施方式，通过以下掩膜mask(x,y)对差异化图像T_hat(IR)进行处理：

其中，k^*表示阈值灰度级，f(x,y)表示差异化图像T_hat(IR)的灰度值矩阵，x、y表示像素点的横坐标和纵坐标且1≤x≤M,1≤y≤N。

根据本发明的一种具体实施方式，所述步骤S13中：

对通过下式获得所述差值矩阵：

r(x,y)＝vis(x,y)-ir(x,y) 1≤x≤M,1≤y≤N (16)

其中，ir(x,y)表示待融合红外图像的灰度值矩阵，vis(x,y)表示可见光图像的灰度值矩阵，r(x,y)表示vis(x,y)和ir(x,y)的差值矩阵。

根据本发明的一种具体实施方式，通过下式进行所述差值规范：

其中，I₃(x,y)＝I₂(x,y)-r(x,y)1≤x≤M,1≤y≤N表示经掩膜处理后的图像I₂与差值矩阵r(x,y)的差，I₂＝f(x,y)mask(x,y)，1≤x≤M,1≤y≤N表示经所述掩膜mask(x,y)处理后的图像。

根据本发明的一种具体实施方式，所述视觉增强预处理包括：

S21将待融合可见光图像通过引导滤波器，获得通过滤波器后的图像；

S22将所述待融合可见光图像和所得滤波后图像分别进行非线性变换，对应得到变换后的图像及图像矩阵；

S23将所述变换后的图像及图像矩阵进行作差，得到非线性变换域上的差值矩阵；

S24对所述变换后的图像矩阵和所述非线性变换域上的差值矩阵进行加权加和，得到非线性变换域中视觉增强后的可见光图像：

S25通过非线性变换的逆变换将所述非线性变换域中视觉增强后的可见光图像恢复到原始域，得到增强图像。

根据本发明的一种具体实施方式，所述视觉增强预处理中：

所述非线性变换为：

g(I)＝log(I(x,y)+ξ)，1≤x≤M,1≤y≤N (18)，

其中，I(x,y)表示待处理图像I的像素矩阵，ξ表示为避免像素值为0导致非线性变换无法完成而添加的常数；

所述加权加和为：

其中，

表示所述变换后的图像矩阵，

表示所述非线性变换域上的差值矩阵，

和

分别表示

灰度矩阵中的最大值和最小值，

表示所述非线性变换域中视觉增强后的可见光图像，β表示动态压缩系数，由下式确定：

其中T表示对照系数。

根据本发明的一种具体实施方式，所述融合模型包括两个并列的图像处理模块、即第一图像处理模块和第二图像处理模块，与两个图像处理模块均相连的一个图像融合模块及与图像融合模块相连的一个图像重构模块；其中每个图像处理模块包括三个滤波层、即第一滤波层、第二滤波层和第三滤波层，每个滤波层含有一个各向异性扩散滤波器；所述图像融合模块包括四个图像融合层、即第一图像融合层-第四图像融合层；其中两个图像处理模块通过其三个滤波层对所述预处理后的可见光图像和所述预处理后的红外图像分别进行滤波处理，包括：输入预处理后的图像，图像通过所述第一滤波层后得到第一基础层和第一细节层，所述第一基础层通过所述第二滤波层后得到第二基础层和第二细节层，所述第二基础层通过所述第三滤波层后得到第三基础层和第三细节层；在通过两个图像处理模块分别得到红外图像第三基础层、第一-第三细节层，可见光图像第三基础层、第一-第三细节层后，由所述图像融合模块进行融合，包括：通过所述第一-第四图像融合层分别进行红外图像第三基础层与可见光图像第三基础层的融合，红外图像第一细节层与可见光图像第一细节层的融合，红外图像第二细节层与可见光图像第二细节层的融合，红外图像第三细节层与可见光图像第三细节层的融合，并对应得到融合基础层、第一融合细节层、第二融合细节层、第三融合细节层；由所述图像重构模块将所述融合基础层、所述第一融合细节层、所述第二融合细节层、所述第三融合细节层进行融合，即得到重构后的图像。

根据本发明的一种具体实施方式，所述各向异性扩散滤波器通过以下滤波模型进行滤波：

其中，I_t和I_t+1分别表示第t次和第t+1次迭代的图像，λ表示稳定性常数且满足0≤λ≤1/4，

分别表示图像在北、南、东、西方向的最近领域差分，如下：

cN_x,y、cS_x,y、cE_x,y、cW_x,y分别表示图像在北、南、东、西四个方向上的传导系数，如下：

k表示设定的导热系数，

I(x,y)表示待处理图像I的像素矩阵，其中，x、y表示像素点的横坐标和纵坐标。

根据本发明的一种具体实施方式，所述步骤S3包括：

通过两个并列的图像处理模块分别对红外及可见光图像进行处理，在每个图像处理模块中，通过其第一个各向异性扩散滤波器对输入图像I⁰进行滤波，得到滤波后的基础层和细节层，如下：

其中，ad(I⁰)表示待处理图像I通过各向异性扩散滤波器，

和

分别表示图像I的第一基础层和第一细节层；

其后，第n层的基础层

由上一层的基础层

通过第n个各向异性扩散滤波器得到，第n层的细节层

由上一层的基础层

与本层的基础层

作差分得到，如下：

其中，n≥2；

其后，通过如下的模型获得最终的融合图像F：

其中，

表示经n个红外图像和可见光图像基础层融合后得到的最终基础层，

表示每个红外图像细节层与可见光图像细节层的融合细节层，如下：

其中，

表示经过n个可见光图像基础层融合后得到的可见光图像最终基础层，

表示经过n个红外图像基础层融合后得到的红外图像最终基础层，

表示每个红外图像细节层，

表示每个可见光图像细节层，Wⁱ和1-Wⁱ表示大小为M×N的加权系数矩阵，其中：

其中，abs表示对一个图像矩阵中所有元素取绝对值操作，称为图像的显著图。

本发明进一步提出了上述融合方法的一种应用，为将其用于机载光电视频上。

本发明具备以下有益效果：

本发明的融合方法包括对红外图像的目标提取预处理和可见光图像的视觉增强预处理，特别适用于机载光电视频或具有类似特点的其它图像源；同时考虑到机载平台或其他类似平台的对于实时采集源图像并生成融合图像的计算资源限制，提出了一种轻量化图像融合方法，其视觉改善效果好、图像有用信息利用率高、系统鲁棒性高。

本发明的目标提取预处理中，根据红外图像热成像和环境辐射强度差异的特性和实际情况，以亮度高的区域为目标，亮度低的区域为背景，通过保留阈值以上的像素点、舍弃阈值以下的像素点的方法对原始红外图像进行了高效、准确的目标特征提取，滤除了图像背景信息。其中，在阈值分类之前对图像进行的顶帽变换可扩大目标和背景的灰度值差异，提高二分类的精度。该预处理可有效解决融合图像噪声多、背景亮度低、目标识别度低的问题，对红外图像中的背景噪声和其他冗余信息的抑制是有效的。

在机载光电视频图像多源数据的应用场景中，可见光图像背景中的颜色、纹理等是希望得到保留的部分，而相对的，红外图像中的背景部分被视为冗余信息。传统融合方法中，对图像融合是进行的全局处理，即图像的目标区域和背景区域使用了相同的融合策略，且不管是基于多尺度分析和深度学习的方法，或者是像素级融合和特征值融合，融合策略多为一比一的加权方法，在这种情况下，希望保留的可见光图像背景会受到红外图像背景的噪声干扰和抑制。另一方面，因可见光图像具有目标不突出、不明显、与环境之间的对比度低的特点，因此在机载光电视频图像多源数据的应用场景中，引入带有少量颜色纹理信息但具有高环境对比度的红外图像是更优选的选择，但在传统方法中，类似的，红外图像中的目标会受到可见光图像中低清晰度目标的抑制，尤其当红外和可见光图像中目标灰度值差异较大时，这种抑制更加明显，造成融合图像的目标依然不清晰的问题。本发明对红外图像的目标提取预处理过滤了红外图像背景，并在其后的融合中准确保留了可见光图像的背景信息，有效克服了上述问题，经测试，其在机载平台的夜晚应用场景中表现优良。

本发明的可见光图像视觉增强预处理可对红外图像预处理进行有效补充，如，通过红外图像预处理很好地保留了可见光图像提供的大部分背景和颜色纹理信息，但是就机载平台场景而言，其存在昼夜、温度、天气环境条件复杂，光照不充足、不均匀的客观条件，若直接使用未处理的可见光图像，难以得到高质量的融合效果。

本发明的融合方法使用各向异性扩散滤波，将图像视为热量场，并按照热量场内热传导方程以热能运动的观点处理图像，具有现实的物理意义，相较于传统的高斯滤波器，该过程基于偏微分方程perona-malik模型，因具有各向异性的特点，滤波效果更加平滑，保边效果更好，有效消除了通过最大类间方差法提取特征可能产生的边缘噪声，且核窗口为十字形，而非N×N的矩阵，对一些不规则形状的小目标更为敏感。

本发明的融合方法基于各向异性扩散滤波的多尺度融合模型，可进一步挖掘出图像中的深度特征，相对于传统的两尺度融合模型，可获得更佳的平滑融合图像。

附图说明

图1为具体实施方式所述融合方法的过程示意图。

图2为具体实施方式所述目标预处理过程示意图。

图3为具体实施方式所述视觉增强预处理过程示意图。

图4为具体实施方式所述各向异性扩散滤波过程示意图；

图5为具体实施方式所述多源图像多尺度分析融合过程示意图。

具体实施方式

根据本发明的技术方案，一种具体的实施方式包括如附图1所示的过程，如下：

S1：对待融合的红外图像进行目标提取预处理，得到含有目标区域红外特征分量的预处理后红外图像；

在一种具体实施方式中，如附图2所示，所述目标提取预处理包括：

S11对待融合的红外图像进行top-hat顶帽变换，获得差异化图像；

S12通过最大类间方差法获得所得差异化图像的阈值灰度级，根据阈值灰度级进行像素点分类，通过掩膜去除其中灰度级在阈值灰度级以下的像素点；

S13将掩膜处理后的图像与红外及可见光灰度差值矩阵进行作差处理，并将差值规范到0～255的灰度值，得到目标区域红外特征分量；

S14优选的，通过增加抑制比，获得压缩后的目标区域红外特征分量。

更具体的，步骤S11可包括：

S110

通过下式对红外图像IR进行灰度级形态学腐蚀处理：

其中，IR表示大小为M×N的红外图像；b表示红外图像IR的结构元(SE)，优选的，b为边长为n个像素的方形结构元；x和y表示图像的横坐标和纵坐标，s和t表示取值在结构元b内的横坐标和纵坐标，⊙表示结构元b对图像的腐蚀操作。

S111

通过下式对腐蚀后的红外图像IR'进行灰度级形态学膨胀处理：

其中，

表示结构元b对图像的膨胀操作。

即，通过下式对IR进行先腐蚀、后膨胀的开运算处理：

其中，

表示开运算处理后所得图像。

S112

通过下式对开运算处理后所得图像进行top-hat顶帽变换，得到变换后的差异化图像T_hat(IR)：

其中，-表示作差。

更具体的，步骤S12可包括：

S121通过最大类间方差法获得所得差异化图像的阈值灰度级，如下：

设该M×N的IR图像得到的差异化图像T_hat(IR)包括L个不同的灰度级{0,1,2,……,L-1}，其中灰度级为i的图像含有n_i个像素数，则图像像素总数为MN＝n₀+n₁+n₂+……+n_L-1，将n_i归一化，有：

其中，p_i表示灰度级为i的像素数在总像素中的比例，即p_i＝n_i/MN。

设灰度级k、0＜k＜L-1为阈值灰度级，由灰度级在区间[0,k]中的所有像素组成C₁类像素集，由灰度级在区间[k+1,L-1]中所有像素组成C₂类像素集，其像素比例分别为：

其中，P₁(k)表示C₁类像素在所有像素中的占比，P₂(k)表示C₂类像素在所有像素中的占比，根据式(5)，可知P₁(k)+P₂(k)＝1。

则C₁类像素的平均灰度值为：

C₂类像素的平均灰度值为：

则图像中灰度从0到k级的像素累加均值及图像全局像素均值可分别表示为：

其中，a(k)表示灰度从0到k级的像素累加均值，a_G表示图像的全局像素均值。

则可得到不同像素分类C₁和C₂的类间方差如下：

其中，a_G、P₁(k)、a(k)分别由式(11)、(6)、(10)确定，

的取值与阈值灰度k(0＜k＜L-1)有关。

根据Ostu方法，取使

最大的灰度作为阈值灰度级k^*，即：

S122设置如下的差异化图像T_hat(IR)掩膜mask(x,y)：

其中，f(x,y)表示T_hat(IR)的灰度值矩阵，x、y表示像素点的横坐标和纵坐标，且1≤x≤M,1≤y≤N；

通过掩膜mask(x,y)对T_hat(IR)进行处理，保留阈值以上灰度级的像素点，舍弃阈值以下灰度级的像素点，得到处理后的图像I₂，如下：

I₂＝f(x,y)mask(x,y) 1≤x≤M,1≤y≤N (15)。

更具体的，步骤S13可包括：

S131对待融合红外图像与可见光图像进行灰度值作差处理，如下：

r(x,y)＝vis(x,y)-ir(x,y) 1≤x≤M,1≤y≤N (16)

其中，ir(x,y)表示待融合红外图像的灰度值矩阵，vis(x,y)表示可见光图像的灰度值矩阵，r(x,y)表示vis(x,y)和ir(x,y)的差值矩阵。

通常情况下可见光图像比红外图像对应更亮的区域属于背景，因此通过差值矩阵r(x,y)估计红外图像中的背景部分。

S132将掩膜处理后的图像I₂与差值矩阵r(x,y)进行作差处理，将差值规范到0～255的灰度值，得到红外特征分量，如下：

I₃(x,y)＝I₂(x,y)-r(x,y) 1≤x≤M,1≤y≤N

其中，规范后的I₃ ^*(x,y)差值矩阵即为红外特征分量，其可在保留原始可见光细节的同时避免融合结果过度曝光或噪声放大。

更具体的，步骤S13可包括：

将所得红外特征分量I₃(x,y)乘以抑制比α，优选的，所述抑制比α可根据实际情况取0.5～1，进一步压缩红外特征分量，得到预处理之后的红外图像。

S2：对待融合的可见光图像进行视觉增强预处理，得到视觉增强后的可见光图像V_out(x,y)。

在一种具体实施方式中，如附图3所示，所述视觉增强预处理包括：

定义如下的非线性变换g，对任意的大小为M×N的图像I，有：

g(I)＝log(I(x,y)+ξ)，1≤x≤M,1≤y≤N (18)

其中，I(x,y)表示图像I的像素矩阵，ξ表示为避免像素值为0导致非线性变换无法完成而添加的常数。

S21将待融合可见光图像V(x,y)通过引导滤波器，获得通过滤波器后的图像V₁(x,y)；

S22将所述待融合可见光图像V(x,y)和所得滤波后图像V₁(x,y)分别通过上述非线性变换g进行变换，对应得到变换后的图像及图像矩阵

和

S23将所述变换后的图像及图像矩阵

进行作差，得到非线性变换域上的差值矩阵

如下：

其中，

在非线性变换域，进行反变换后可得其原始域的对应矩阵V₂(x,y)；

S24对变换后的图像矩阵

和所得差值矩阵

进行如下的加权处理，得到非线性变换域中视觉增强后的可见光图像

其中，β表示动态压缩系数，由下式确定：

其中，

和

表示非线性变换域中

灰度矩阵中的最大值和最小值，两者之差表示图像灰度的动态范围，值越大表示图像灰度范围越大，在一些程度上说明图像的背景越暗，相应地，作为补偿，1-β的值就越大，可对图像的对比度作自适应的调节；T表示对照系数，可通过人为选取确定，一般令T取较小的值，以适应大多数的实际情况。

其中，

是

经过动态压缩系数β压缩后恢复至原对比度的结果。

为非线性变换域中视觉增强后的可见光图像。

其中，

带有原始可见光图像的整体明暗、对比度、结构信息，通过其对

进行对比度增强处理，可保留

中的细节信息不变。

S25通过非线性变换g的逆变换将

恢复到原始域，得到可见光图像增强结果V_out(x,y)。

S3：将预处理后红外图像与预处理后的可见光图像输入基于多层各向异性扩散滤波的多尺度分析多源图像融合模型进行融合。

其中所述基于多层各向异性扩散滤波的多尺度分析多源图像融合模型一种具体实施方式如附图4及附图5所示，其包括两个并列的图像处理模块、一个图像融合模块及一个图像重构模块。其中，每个图像处理模块包括三个滤波层，每个滤波层由一个各向异性扩散滤波器组成，图像在通过第一个滤波层后得到第一基础层和第一细节层，将第一基础层通过第二个滤波层后得到第二基础层和第二细节层，将第二基础层通过第三个滤波层后得到第三基础层和第三细节层，如附图4所示。在得到红外图像第三基础层、第一-第三细节层，可见光图像第三基础层、第一-第三细节层后，再通过融合模块进行融合，所述融合模块包括四个融合层，分别进行红外图像第三基础层与可见光图像第三基础层的融合，红外图像第一细节层与可见光图像第一细节层的融合，红外图像第二细节层与可见光图像第二细节层的融合，红外图像第三细节层与可见光图像第三细节层的融合，并对应得到融合基础层、第一融合细节层、第二融合细节层、第三融合细节层，如附图5所示，在得到该融合结果后，将融合基础层、第一融合细节层、第二融合细节层、第三融合细节层输入所述图像重构模块中(即附图4中“重构输入图像”部分)，得到最终融合重构后的图像。

其中，每个各向异性扩散滤波器通过如下的各向异性扩散方程实现各向异性扩散滤波：

其中，I表示来自不同源的输入图像，如经目标提取预处理后的红外图像或经视觉增强预处理后的可见光图像；c(x,y,t)表示通量函数，其中t表示迭代次数；Δ表示拉普拉斯算子，

表示梯度算子。

上述各向异性扩散方程引入了热力学中场的概念，将整幅图像视为一个热量场，将各个像素视为热流(热通量，heat flux)。

通过各向异性扩散滤波克服了各向同性扩散滤波的缺点，后者运用区域间平滑方法但无法保留边缘信息。作为对比，各向异性扩散滤波利用偏微分方程(PDE)在保持非齐次区域(即边缘)的同时平滑齐次区域(即非边缘)，运用区域间平滑的方式粗糙、平滑图像，在边缘处则保留尖锐的细节信息。

在一种具体实施方式中，可通过下式获得式(22)的迭代解，即具体的滤波模型：

其中，I_t和I_t+1分别表示第t次和第t+1次迭代的图像，λ表示稳定性常数且满足0≤λ≤1/4，

分别表示图像在北、南、东、西方向的最近领域差分，如下：

cN_x,y、cS_x,y、cE_x,y、cW_x,y分别表示图像在北、南、东、西四个方向上的传导系数，如下：

在边界区域，各方向的传导系数小。各向异性扩散滤波是区域平滑和边界保留的一个平衡，各向异性扩散滤波中，迭代次数t、导热系数e稳定性系数λ可根据实际需求人为设定，一般情况下，e取值越大图像平滑效果越好，λ取值越大图像平滑效果越好。

在上述模型下，两个并列的图像处理模块分别对红外及可见光图像进行处理，在每个图像处理模块中，输入图像经过第一个各向异性扩散滤波器后，滤波器输出作为第一基础层，输入图像与第一基础层做差作为第一细节层，其后第一基础层作为第二个各向异性扩散滤波器的输入，经其滤波后得到第二基础层和第二细节层，其后第二基础层作为第三个各向异性扩散滤波器的输入，经其滤波后得到第三基础层和第三细节层。

其中，所述基础层及细节层的具体获得过程如下：

通过融合模型的第一个各向异性扩散滤波器对输入图像I⁰进行滤波，得到滤波后的基础层和细节层，如下：

其中，ad(I⁰)表示通过各向异性扩散滤波器后的图像I，

和

分别表示图像I的第一基础层和第一细节层。

其后，第n层的基础层

由上一层的基础层

通过第n个各向异性扩散滤波器得到，第n层的细节层

由上一层的基础层

与本层的基础层

作差分得到，如下：

其中，n≥2。

在经过图像处理模块处理后，再经两个基础融合层分别对全部基础层及全部细节层进行融合，最终经总融合得到融合图像，如下：

其中，

表示经n个红外图像和可见光图像基础层融合后得到的最终基础层，

表示每个红外图像细节层与可见光图像细节层的融合细节层。

优选的，本发明通过如下的模型获得最终基础层和每个细节层：

其中，

表示经过n个可见光图像基础层融合后得到的可见光图像最终基础层，

表示经过n个红外图像基础层融合后得到的红外图像最终基础层，

表示每个红外图像细节层，

表示每个可见光图像细节层，Wⁱ和1-Wⁱ表示大小为M×N的加权系数矩阵。

进一步的，Wⁱ和1-Wⁱ设置如下：

其中，abs表示对一个图像矩阵中所有元素取绝对值操作，称为图像的显著图。

通过融合后得到的

和

按照式(28)n层的多尺度各向异性扩散滤波融合，即可得到融合图像F。

实施例1

通过具体实施方式所述的融合方法的优选方案对由机载光电视频获得的红外图像进行预处理，其中：

输入的红外图像IR大小为450×620，通道数为1，结构元b为边长为35个像素的方形结构元，根据式(4)顶帽变换后得到的图像T_hat(IR)大小为450×620，通道数为1。

对T_hat(IR)进行最大类间方差二分类时，选择灰度级比例0.3804，即38.04％的像素归为类别一，其余归为类别二，使图像T_hat(IR)阈值化为两类C₁和C₂，即：P₁(k)＝0.3804，P₂(k)＝0.6196。继续求得掩膜mask(x,y)，进而得到阈值化处理图像I₂。根据式(16)、(17)，求得红外特征分量I₃(x,y)。令抑制比α＝0.75，得到红外预处理图像。

实施例2

通过具体实施方式所述的融合方法的优选方案对由机载光电视频获得的可见光图像进行预处理，其中：

输入可见光图像V(x,y)大小为450×620，通道数为3，取式(18)中非线性变换g中的ξ＝1。将V(x,y)通过引导滤波器，所用引导滤波器的参数为：引导图＝V(x,y)自身及如下的局部窗口半径r：

r＝floor(0.04max(M,N)) (32)

其中，floor表示向负无穷大方向取整，max表示取大；正则化参数＝0.01，下采样系数＝r/4，在该实施例中，可求得r＝24，下采样系数＝6，由式(19)求得可见光图像的差值矩阵。

设置对照系数T＝4，由式(21)求得动态压缩系数β＝0.4140。在变换域中，由式(20)求得可见光图像增强结果

最后通过非线性变换g的反变换将

恢复到原始域，得到可见光图像增强结果V_out(x,y)。

实施例3

通过具体实施方式所述的融合方法的优选方案对预处理后的由机载光电视频获得的可见光图像及红外图像进行多层各向异性扩散滤波并融合，其中：

各向异性扩散滤波器的参数为：迭代次数t＝10，稳定性常数λ＝0.15,热传导系数k＝30。

多尺度分解的层数为n＝3，通过式(26)、(27)、(28)进行基于各向异性扩散滤波的图像多尺度分解和重构。

多源图像数为2，红外图像IR、可见光图像VIS分别经过3层的多尺度各向异性扩散滤波分解过程，得到1层基础层和3层细节层，由式(29)、(30)、(31)，得到融合图像。

以上实施例仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例。凡属于本发明思路下的技术方案均属于本发明的保护范围。应该指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下的改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.红外和可见光图像融合方法，其特征在于：包括：

S1对待融合的红外图像进行目标提取预处理，得到含有目标区域红外特征分量的预处理后红外图像；

S2对待融合的可见光图像进行视觉增强预处理，得到视觉增强后的可见光图像；

S3将预处理后红外图像与预处理后的可见光图像输入融合模型进行融合；

其中，所述融合模型基于含有多层各向异性扩散滤波器的多尺度分析模型构建。

2.根据权利要求1所述的融合方法，其特征在于：所述目标提取预处理包括：

S11对待融合的红外图像进行顶帽变换，获得差异化图像；

S12通过最大类间方差法获得所得差异化图像的阈值灰度级，根据阈值灰度级进行像素点分类，通过掩膜去除其中灰度级在阈值灰度级以下的像素点；

S13将掩膜处理后的图像与红外及可见光图像的灰度差值矩阵进行作差处理，并将所得差值规范到0～255的灰度值，得到目标区域红外特征分量；

优选的，其还包括：

S14通过所述目标区域红外特征分量与抑制比的相乘，获得压缩后的目标区域红外特征分量。

3.根据权利要求2所述的融合方法，其特征在于：所述步骤S12中：

通过以下模型获得所得差异化图像的阈值灰度级k^*：

P₁(k)+P₂(k)＝1，

其中，i、k表示灰度级，k∈{0,1,2,……,L-1}，其中{0,1,2,……,L-1}表示所得差异化图像的L个不同的灰度级；a(k)表示灰度从0到k级的像素累加均值；a_G表示图像的全局像素均值；P₁(k)表示灰度级低于k的像素点在所有像素点中的占比，P₂(k)表示灰度级高于k的像素点在所有像素点中的占比；

和/或，通过以下掩膜mask(x,y)对差异化图像T_hat(IR)进行处理：

其中，k^*表示阈值灰度级，f(x,y)表示差异化图像T_hat(IR)的灰度值矩阵，x、y表示像素点的横坐标和纵坐标且1≤x≤M,1≤y≤N。

4.根据权利要求3所述的融合方法，其特征在于：所述步骤S13中：

通过下式获得所述差值矩阵：

r(x,y)＝vis(x,y)-ir(x,y) 1≤x≤M,1≤y≤N (16)

其中，ir(x,y)表示待融合红外图像的灰度值矩阵，vis(x,y)表示可见光图像的灰度值矩阵，r(x,y)表示vis(x,y)和ir(x,y)的差值矩阵；

通过下式进行所述差值规范：

其中，I₃(x,y)＝I₂(x,y)-r(x,y)，1≤x≤M,1≤y≤N表示经掩膜处理后的图像I₂与差值矩阵r(x,y)的差，I₂＝f(x,y)mask(x,y)，1≤x≤M,1≤y≤N表示经所述掩膜mask(x,y)处理后的图像。

5.根据权利要求1所述的融合方法，其特征在于：所述视觉增强预处理包括：

S21将待融合可见光图像通过引导滤波器，获得通过滤波器后的图像；

S22将所述待融合可见光图像和所得滤波后图像分别进行非线性变换，对应得到变换后的图像及图像矩阵；

S23将所述变换后的图像及图像矩阵进行作差，得到非线性变换域上的差值矩阵；

S24对所述变换后的图像矩阵和所述非线性变换域上的差值矩阵进行加权加和，得到非线性变换域中视觉增强后的可见光图像：

S25通过非线性变换的逆变换将所述非线性变换域中视觉增强后的可见光图像恢复到原始域，得到增强图像。

6.根据权利要求5所述的融合方法，其特征在于：所述视觉增强预处理中：

所述非线性变换为：

g(I)＝log(I(x,y)+ξ)，1≤x≤M,1≤y≤N (18)，

其中，I(x,y)表示待处理图像I的像素矩阵，ξ表示为避免像素值为0导致非线性变换无法完成而添加的常数；

所述加权加和为：

其中，

表示所述变换后的图像矩阵，

表示所述非线性变换域上的差值矩阵，

和

分别表示

灰度矩阵中的最大值和最小值，

表示所述非线性变换域中视觉增强后的可见光图像，β表示动态压缩系数，由下式确定：

其中T表示对照系数。

7.根据权利要求1所述的融合方法，其特征在于：所述融合模型包括两个并列的图像处理模块、即第一图像处理模块和第二图像处理模块，与两个图像处理模块均相连的一个图像融合模块及与图像融合模块相连的一个图像重构模块；其中每个图像处理模块包括三个滤波层、即第一滤波层、第二滤波层和第三滤波层，每个滤波层含有一个各向异性扩散滤波器；所述图像融合模块包括四个图像融合层、即第一图像融合层-第四图像融合层；其中两个图像处理模块通过其三个滤波层对所述预处理后的可见光图像和所述预处理后的红外图像分别进行滤波处理，包括：输入预处理后的图像，图像通过所述第一滤波层后得到第一基础层和第一细节层，所述第一基础层通过所述第二滤波层后得到第二基础层和第二细节层，所述第二基础层通过所述第三滤波层后得到第三基础层和第三细节层；在通过两个图像处理模块分别得到红外图像第三基础层、第一-第三细节层，可见光图像第三基础层、第一-第三细节层后，由所述图像融合模块进行融合，包括：通过所述第一-第四图像融合层分别进行红外图像第三基础层与可见光图像第三基础层的融合，红外图像第一细节层与可见光图像第一细节层的融合，红外图像第二细节层与可见光图像第二细节层的融合，红外图像第三细节层与可见光图像第三细节层的融合，并对应得到融合基础层、第一融合细节层、第二融合细节层、第三融合细节层；由所述图像重构模块将所述融合基础层、所述第一融合细节层、所述第二融合细节层、所述第三融合细节层进行融合，即得到重构后的图像。

8.根据权利要求7所述的融合方法，其特征在于：所述各向异性扩散滤波器通过以下滤波模型进行滤波：

I_t+1＝I_t+λ(cN_x,y▽_N(I_t)+cS_x,y▽_S(I_t)+cE_x,y▽_E(I_t)+cW_x,y▽_W(I_t)) (23)

其中，I_t和I_t+1分别表示第t次和第t+1次迭代的图像，λ表示稳定性常数且满足0≤λ≤1/4，▽_N、▽_S、▽_E、▽_W分别表示图像在北、南、东、西方向的最近领域差分，如下：

▽_N(I(x,y))＝I(x-1,y)-I(x,y)

▽_S(I(x,y))＝I(x+1,y)-I(x,y)

▽_E(I(x,y))＝I(x,y+1)-I(x,y)

▽_W(I(x,y))＝I(x,y-1)-I(x,y) (24)，

cN_x,y、cS_x,y、cE_x,y、cW_x,y分别表示图像在北、南、东、西四个方向上的传导系数，如下：

cN_x,y＝exp(-||▽_N(I)||²/k²)

cS_x,y＝exp(-||▽_S(I)||²/k²)

cE_x,y＝exp(-||▽_E(I)||²/k²)

cW_x,y＝exp(-||▽_W(I)||²/k²) (25)，

k表示设定的导热系数，

I(x,y)表示待处理图像I的像素矩阵，其中，x、y表示像素点的横坐标和纵坐标。

9.根据权利要求7所述的融合方法，其特征在于：所述步骤S3包括：

通过两个并列的图像处理模块分别对红外及可见光图像进行处理，在每个图像处理模块中，通过其第一个各向异性扩散滤波器对输入图像I⁰进行滤波，得到滤波后的基础层和细节层，如下：

其中，ad(I⁰)表示待处理图像I通过各向异性扩散滤波器，

和

分别表示图像I的第一基础层和第一细节层；

其后，第n层的基础层

由上一层的基础层

通过第n个各向异性扩散滤波器得到，第n层的细节层

由上一层的基础层

与本层的基础层

作差分得到，如下：

其中，n≥2；

其后，通过如下的模型获得最终的融合图像F：

其中，

表示经n个红外图像和可见光图像基础层融合后得到的最终基础层，

表示每个红外图像细节层与可见光图像细节层的融合细节层，如下：

其中，

表示经过n个可见光图像基础层融合后得到的可见光图像最终基础层，

表示经过n个红外图像基础层融合后得到的红外图像最终基础层，

表示每个红外图像细节层，

表示每个可见光图像细节层，Wⁱ和1-Wⁱ表示大小为M×N的加权系数矩阵，其中：

其中，abs表示对一个图像矩阵中所有元素取绝对值。

10.权利要求1-9中任一项所述的融合方法在机载光电视频上的应用。

Images