CN105427268A - 一种中长波双波段红外图像特征级彩色融合方法 - Google Patents

Abstract

本发明涉及一种中长波双波段红外图像特征级彩色融合方法，针对同一场景信号得到中长波双波段红外成像系统的长波红外图像信号数据与中波红外图像信号数据；对长波红外图像信号数据与中波红外图像信号数据进行双波段差异特征提取与HIS空间融合：设定阈值T，对中波与长波图像中差异部分，对其在HIS色度空间中的S分量与H分量进行标定与融合计算；将HIS空间融合信息数据转换到RGB空间，得到特征级彩色融合数据。该方法已有效保留原始图像的细节信息，并彩色融合提取后的特征信息，使图像含有更丰富的信息量，并显著提高特定场景目标的识别效率。

Description

一种中长波双波段红外图像特征级彩色融合方法

技术领域

本发明涉及像处理领域，特别是一种中长波双波段红外图像特征级彩色融合方法。

背景技术

不同的波段图像会含有不同的信息细节，让这些细节在一幅图像中呈现并尽量避免掺杂虚假信息，最终获得一幅光谱信息量丰富，细节清晰并利于识别的图像，已经是目前红外成像技术的一种迫切需要。

到上世纪九十年代为止，日本以及欧美等国家早期的多光谱彩色夜视系统，由于光谱数量与波段的限制，采用简单的融合方法得到的彩色分布与实际的场景不一致，不适合长期的观察。到九十年代中后期至二十世纪初，国内外相继出现的自然感彩色夜视处理算法[6](即MIT算法)、MIT基础上改进的线性组合法和混合法[8,9]、TNO法、基于色彩传递的自然感彩色夜视处理技术[7]等等方法，使融合图像更加清晰，色彩更加丰富。但这些算法大部分都停留在像素级图像融合的基础上，或者严重色彩失真、或者计算量庞大不易工程化应用，且不能综合考虑待融合图像的整体图像信息特征，这样势必导致融合后的图像不能很好表现原始图像的综合特征，在彩色融合的同时，也丢失了大量宝贵细节。

发明内容

本发明的目的是提供一种中长波双波段红外图像特征级彩色融合方法，用以解决现有算法色彩失真、丢失信息的问题，实现有效保留原始图像的细节信息，并融合提取后的特征信息，使图像含有更丰富的信息量。

为实现上述目的，本发明的方案包括：

一种中长波双波段红外图像特征级彩色融合方法，其特征在于，步骤如下：

1)针对同一场景信号得到中长波双波段红外成像系统的长波红外图像信号数据与中波红外图像信号数据；

2)对长波红外图像信号数据与中波红外图像信号数据进行双波段差异特征提取与HIS空间融合：设定阈值T，对中波与长波图像中差异部分，对其在HIS色度空间中的S分量与H分量进行标定与融合计算；

3)将HIS空间融合信息数据转换到RGB空间，得到特征级彩色融合数据。

进一步的，步骤1)具体包括：

针对同一场景信号得到中长波双波段红外成像系统的长波红外图像信号数据IL与中波红外图像信号数据IM：IL与IM用矩阵标识如下，其中f(i,j)为长波红外图像数据信号中每个图像像素点的灰度值，f’(i,j)为中波红外图像数据信号中每个图像像素点的灰度值，M为总行数，N为总列数；

对获取的中长波双波段红外图像信号数据IL与IM进行规定化，其中gl(i,j)为长波红外图像数据信号中每个图像像素点规定化后的灰度值，gm(i,j)为中波红外图像数据信号中每个图像像素点规定化的灰度值；

$\begin{array}{cc}gl(i,j)=\frac{f(i,j)}{MAX\left(IL\right)}\×255& gm(i,j)=\frac{f^{\′}(i,j)}{MAX\left(IM\right)}\×255\end{array}.$

进一步的，步骤2)具体包括：

设定阈值T，按照如下公式对中波与长波图像中差异部分，对其在HIS色度空间中的S分量与H分量进行标定与融合计算；

若gl(i,j)≥gm(i,j)+T，

则H(i,j)＝240°,S(i,j)＝gl(i,j)-gm(i,j)-T,I(i,j)＝gl(i,j)；

若gm(i,j)≥gl(i,j)+T，

则H(i,j)＝0°,S(i,j)＝gm(i,j)-gl(i,j)-T,I(i,j)＝gm(i,j)；

若|g'(i,j)-g(i,j)|＜T，则H(i,j)＝1°，S(i,j)＝0。

进一步的，在步骤3)之前还包括对对HIS空间的饱和度信号S(i,j)进行归一化处理：若MAX(S(i,j))≠0，则

进一步的，步骤3)具体包括：

将HIS空间融合信息数据转换到RGB空间，得到特征级彩色融合数据:

若H(i,j)＝0°，

若H(i,j)＝240°；先令H(i,j)＝H(i,j)-120°，

r(i,j)＝I(i,j)×(1-S(i,j))

$b(i,j)=3I(i,j)\×\[1-\frac{r(i,j)+g(i,j)}{3I(i,j)}\]$

若H(i,j)＝1°， $\begin{array}{c}g\left(i,j\right)=\left(gl\left(i,j\right)+gm\left(i,j\right)\right)/2\\ r\left(i,j\right)=\left(gl\left(i,j\right)+gm\left(i,j\right)\right)/2\\ b\left(i,j\right)=\left(gl\left(i,j\right)+gm\left(i,j\right)\right)/2\end{array}$

对融合后数据进行数值范围与格式约束，得到最终中长波双波段特征级彩色融合数据并输出，融合后的数值是[0，255]范围内的整数。

本发明充分考虑了中长波双波段红外图像之间的差异性，创新性地在HIS色度空间对差异位置进行特别标定与着色，达到特征级融合的目的，这样可以在最终的融合图像中着重显示对两个波段有不同响应的场景目标区域，从而对这种场景目标进行快速识别。同时对双波段响应没有明显差异的场景目标又完整保留了原始信号特征，使这部分图像的灰度细节得以完整保留，避免因颜色失真而影响图像视觉观测的问题。该方法已有效保留原始图像的细节信息，并彩色融合提取后的特征信息，使图像含有更丰富的信息量，并显著提高特定场景目标的识别效率。

附图说明

图1是本发明实施例的流程图。

具体实施方式

下面结合附图对本发明做进一步详细的说明。

该发明的具体实现程序流程见附图1。

具体实施方法步骤如下：

1)中长波双波段红外成像系统上电运行的步骤；

2)针对同一场景信号得到中长波双波段红外成像系统的长波红外图像信号数据IL与中波红外图像信号数据IM的步骤，IL与IM可以用矩阵标识如下，其中f(i,j)为长波红外图像数据信号中每个图像像素点的灰度值，f’(i,j)为中波红外图像数据信号中每个图像像素点的灰度值，M为总行数，N为总列数；

3)对获取的中长波双波段红外图像信号数据IL与IM进行规定化的步骤，其中gl(i,j)为长波红外图像数据信号中每个图像像素点规定化后的灰度值，gm(i,j)为中波红外图像数据信号中每个图像像素点规定化的灰度值；

$\begin{array}{cc}gl(i,j)=\frac{f(i,j)}{MAX\left(IL\right)}\×255& gm(i,j)=\frac{f^{\′}(i,j)}{MAX\left(IM\right)}\×255\end{array}$

4)初始化融合后图像在HIS空间与RGB空间的三维数据矩阵的步骤。HSI与RGB可以用矩阵标识如下，其中H(i,j)为融合后图像在HIS空间的色调特征描述因子，通常用0°代表红色，用120°代表绿色，而240°代表蓝色，S(i,j)为融合后图像在HIS空间的饱和度特征描述因子，表示对应像素点颜色的饱和度深浅，最后I(i,j)分量为融合后图像在HIS空间的亮度描述因子，表示对应像素点的亮度大小，r(i,j)g(i,j)b(I,j)则分别表示融合后图像在RGB空间内对应通道对应的像素的灰度数值。M为总行数，N为总列数；

5)对规定化后的中波与长波图像信息进行双波段差异特征提取与HIS空间融合的步骤。设定阈值T，按照如下公式对中波与长波图像中差异部分，对其在HIS色度空间中的S分量与H分量进行标定与融合计算；

若gl(i,j)≥gm(i,j)+T，

则H(i,j)＝240°,S(i,j)＝gl(i,j)-gm(i,j)-T,I(i,j)＝gl(i,j)；

若gm(i,j)≥gl(i,j)+T，

则H(i,j)＝0°,S(i,j)＝gm(i,j)-gl(i,j)-T,I(i,j)＝gm(i,j)；

若|g'(i,j)-g(i,j)|＜T，则H(i,j)＝1°，S(i,j)＝0。

6)对HIS空间的饱和度信号S(i,j)进行归一化的步骤。归一化过程按如下公式进行计算；

若MAX(S(i,j))≠0，则

7)将HIS空间融合信息数据转换到RGB空间，得到特征级彩色融合数据的步骤。转换过程中按照如下公式进行；

若H(i,j)＝0°，

若H(i,j)＝240°；先令H(i,j)＝H(i,j)-120°，

r(i,j)＝I(i,j)×(1-S(i,j))

$b(i,j)=3I(i,j)\×\[1-\frac{r(i,j)+g(i,j)}{3I(i,j)}\]$

若H(i,j)＝1°， $\begin{array}{c}g\left(i,j\right)=\left(gl\left(i,j\right)+gm\left(i,j\right)\right)/2\\ r\left(i,j\right)=\left(gl\left(i,j\right)+gm\left(i,j\right)\right)/2\\ b\left(i,j\right)=\left(gl\left(i,j\right)+gm\left(i,j\right)\right)/2\end{array}$

8)对融合后数据进行数值范围与格式约束，得到最终中长波双波段特征级彩色融合数据并输出的步骤，融合后的数值应该是[0，255]范围内的整数。

下面针对本发明提出的一种中长波双波段红外图像特征级彩色融合方法，举一个具体实例说明该方法的应用。

中长波双波段红外成像系统上电运行，针对同一场景得到大小为640×512像素的中波与长波图像；对中波与长波图像分别进行规定化，得到gl(i,j)与gm(i,j)，将数值拉伸到[0，255]区间内；初始化融合后图像在HIS空间与RGB空间的三维数据矩阵HIS与RGB，数值分别初始化为0；按照步骤5)对规定化后的中波与长波图像信息进行双波段差异特征提取与HIS空间融合，令T＝10，若gl(1,1)＝100，gm(1,1)＝120，

则H(1,1)＝0°,S(1,1)＝gm(1,1)-gl(1,1)-T＝10,I(1,1)＝gm(1,1)＝120；

依此类推，得到矩阵HIS的所有数据；按照步骤6)对饱和度信号S(i,j)进行归一化，若统计的得到MAX(S(i,j))＝30，

则S(1,1)＝10/30＝0.33；

最后按照步骤7)将将HIS空间融合信息数据转换到RGB空间，得到最终彩色融合数据，由于H(1,1)＝0°，

b(1,1)＝I(1,1)×(1-S(1,1))＝120×(1-0.33)＝80.4

$g\left(1,1\right)=3I\left(1,1\right)\×\[1-\frac{r\left(1,1\right)+b\left(1,1\right)}{3I\left(1,1\right)}\]=3\×120\×\[1-\frac{199.2+80.4}{3\×120}\]=80.4$

最后对融合数据进行范围与格式约束，最终的中长波双波特征级融合数据中r(1,1)＝199,g(1,1)＝80,b(1,1)＝80，以此类推，可以得到整幅图像的融合数据。

以上给出了本发明涉及的具体实施方式，但本发明不局限于所描述的实施方式。本发明的主要思路在于：首先针对同一场景信号得到中长波双波段红外成像系统的长波红外图像信号数据与中波红外图像信号数据；然后对长波红外图像信号数据与中波红外图像信号数据进行双波段差异特征提取与HIS空间融合：设定阈值T，对中波与长波图像中差异部分，对其在HIS色度空间中的S分量与H分量进行标定与融合计算；最后将HIS空间融合信息数据转换到RGB空间，得到特征级彩色融合数据。以上实施例中涉及的具体技术手段，都可以采用现有技术的其他同类型技术手段进行替换，或者删除某些步骤。在本发明给出的思路下，采用对本领域技术人员而言容易想到的方式对上述实施例中的技术手段进行变换、替换、修改，并且起到的作用与本发明中的相应技术手段基本相同、实现的发明目的也基本相同，这样形成的技术方案是对上述实施例进行微调形成的，这种技术方案仍落入本发明的保护范围内。

Claims (5)

1.一种中长波双波段红外图像特征级彩色融合方法，其特征在于，步骤如下：

1)针对同一场景信号得到中长波双波段红外成像系统的长波红外图像信号数据与中波红外图像信号数据；

2)对长波红外图像信号数据与中波红外图像信号数据进行双波段差异特征提取与HIS空间融合：设定阈值T，对中波与长波图像中差异部分，对其在HIS色度空间中的S分量与H分量进行标定与融合计算；

3)将HIS空间融合信息数据转换到RGB空间，得到特征级彩色融合数据。

2.根据权利要求1所述的一种中长波双波段红外图像特征级彩色融合方法，其特征在于，步骤1)具体包括：

针对同一场景信号得到中长波双波段红外成像系统的长波红外图像信号数据IL与中波红外图像信号数据IM：IL与IM用矩阵标识如下，其中f(i,j)为长波红外图像数据信号中每个图像像素点的灰度值，f’(i,j)为中波红外图像数据信号中每个图像像素点的灰度值，M为总行数，N为总列数；

对获取的中长波双波段红外图像信号数据IL与IM进行规定化，其中gl(i,j)为长波红外图像数据信号中每个图像像素点规定化后的灰度值，gm(i,j)为中波红外图像数据信号中每个图像像素点规定化的灰度值；

$\begin{array}{cc}gl(i,j)=\frac{f(i,j)}{MAX\left(IL\right)}\×255& gm(i,j)=\frac{f^{\′}(i,j)}{MAX\left(IM\right)}\×255\end{array}.$

3.根据权利要求2所述的一种中长波双波段红外图像特征级彩色融合方法，其特征在于，步骤2)具体包括：

设定阈值T，按照如下公式对中波与长波图像中差异部分，对其在HIS色度空间中的S分量与H分量进行标定与融合计算；

若gl(i,j)≥gm(i,j)+T，则

H(i,j)＝240°,S(i,j)＝gl(i,j)-gm(i,j)-T,I(i,j)＝gl(i,j)；

若gm(i,j)≥gl(i,j)+T，则H(i,j)＝0°,S(i,j)＝gm(i,j)-gl(i,j)-T,I(i,j)＝gm(i,j)；

若|g'(i,j)-g(i,j)|＜T，则H(i,j)＝1°，S(i,j)＝0。

4.根据权利要求3所述的一种中长波双波段红外图像特征级彩色融合方法，其特征在于，在步骤3)之前还包括对对HIS空间的饱和度信号S(i,j)进行归一化处理：

若MAX(S(i,j))≠0，则

5.根据权利要求4所述的一种中长波双波段红外图像特征级彩色融合方法，其特征在于，步骤3)具体包括：

将HIS空间融合信息数据转换到RGB空间，得到特征级彩色融合数据:

b(i,j)＝I(i,j)×(1-S(i,j))

$g(i,j)=3I(i,j)\×\[1-\frac{r(i,j)+b(i,j)}{3I(i,j)}\]$

若H(i,j)＝0°，

若H(i,j)＝240°；先令H(i,j)＝H(i,j)-120°，

r(i,j)＝I(i,j)×(1-S(i,j))

$b(i,j)=3I(i,j)\×\[1-\frac{r(i,j)+g(i,j)}{3I(i,j)}\]$

若H(i,j)＝1°， $\begin{array}{c}g(i,j)=\left(gl\right(i,j)+gm(i,j\left)\right)/2\\ r(i,j)=\left(gl\right(i,j)+gm(i,j\left)\right)/2\\ b(i,j)=\left(gl\right(i,j)+gm(i,j\left)\right)/2\end{array};$

对融合后数据进行数值范围与格式约束，得到最终中长波双波段特征级彩色融合数据并输出，融合后的数值是[0，255]范围内的整数。