CN104574335A - 一种基于显著图和兴趣点凸包的红外与可见光图像融合方法 - Google Patents

Abstract

本发明属于图像处理技术领域，具体涉及一种基于显著图和兴趣点凸包的红外与可见光图像融合方法，包括如下步骤：首先，对红外图像进行显著性检测，得到二值化显著图；然后，对红外图像进行兴趣点检测；其次，进行去游离兴趣点处理得到显著兴趣点；再次，对显著兴趣点求取凸包；再通过对二值化显著图和凸包图像做“与”运算，得到目标区域，图像剩余部分作为背景区域；最后，分别对目标区域和背景区域采取不同的融合规则，实现红外与可见光图像的融合；该方法，能够剔除那些位于背景上的少数兴趣点，使得对显著兴趣点求取的凸包更加接近真实的目标，并通过与显著图结合，能够更准确地提取出目标区域，该方法简单、快速，能够有效提升融合性能。

Description

一种基于显著图和兴趣点凸包的红外与可见光图像融合方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于显著图和兴趣点凸包的红外与可见光图像融合方法。

背景技术

图像融合就是把多个不同模式的图像传感器获得的同一场景的多幅图像，或同一传感器在不同时刻或不同方式下获得的多幅图像合成一幅包含输入图像相关信息的图像的过程。通过综合利用不同图像之间的互补信息和冗余信息，能够获得对该场景更为全面、准确的图像描述。图像融合技术已广泛应用在军事、遥感、机器人、医学处理以及计算机视觉等领域中。

目前大多数图像融合算法主要是基于单个像素或者是基于窗口提出的，是在图像像素之间或者图像经某种工具分解后系数之间或多或少是相互独立的这一假设前提下提出的，显然这一假设与事实并不相符。事实上，图像中的目标特征并不是由单个像素能够表征的，而是由局部区域表征的。因此，基于区域的图像融合在实际中更具有意义，能够获得更好的融合效果。同时，基于区域的图像融合算法还能够降低算法对噪声的灵敏程度以及对配准误差具有较强的鲁棒性。

近年来出现了一定数量的基于区域的图像融合算法。如Lewis J J,O’CallaghanR J,Nikolov S G,et al.Pixel-and region-based image fusion with complexwavelets.Information Fusion.2007,8(2):119-130.以及文献Aslantas V,BendesE,Kurban R,Toprak A.N.New optimised region-based multi-scale image fusionmethod for thermal and visible images.Image Processing,IET.2014,8(5):289-299.所述，这些方法通过图像分割算法提取目标区域，然后针对目标区域和背景区域制定不同的融合规则。

然而图像分割一直是一个亟待突破的关键技术，目前很难找到一种通用的分割算法将目标完整地与背景分割开，而且目标易受部分缺损、背景混杂、仿射变换、光照等因素的干扰，导致分割正确率下降。

发明内容

本发明的目的是克服现有技术的不足，提升图像融合性能，实现从源图像中提取更多的有用信息，使红外图像中目标特性与可见光图像中的背景信息有机地结合在一起。

为此，本发明提供了一种基于显著图和兴趣点凸包的红外与可见光图像融合方法，包括如下步骤：

步骤一、对红外图像进行显著性检测，得到二值化显著图；

步骤二、对红外图像进行兴趣点检测；

步骤三、去掉游离的兴趣点得到显著兴趣点；

步骤四、对显著兴趣点求取凸包；

步骤五、通过对红外图像的二值化显著图和凸包图像做“与”运算，得到目标区域，图像剩余部分作为背景区域；

步骤六、分别对目标区域和背景区域采取不同的融合规则，实现红外与可见光图像的融合。

上述步骤一、对红外图像进行显著性检测，得到二值化显著图，包括如下步骤：

(1.1)计算长度为M、宽度为N的红外图像的显著图S(x,y)：

S(x,y)＝|I_g(x,y)-I_u|   (1)

I_g(x,y)是红外图像经过高斯滤波后的矢量图，目的是对图像进行平滑滤波，剔除噪声；I_u是红外图像的像素算数平均值；

(1.2)通过设定阈值TH，将大小为M*N的红外图像显著图二值化得SM(x,y)：

$\mathrm{TH}=\frac{2*\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}S(x,y)}{M*N}---\left(2\right)$

则：

$\mathrm{SM}(x,y)=\left\{\begin{array}{cc}1& S(x,y)>\mathrm{TH}\\ 0& \mathrm{others}\end{array}\right.---\left(3\right)$

上述步骤二、对红外图像进行兴趣点检测是对红外图像进行Harris兴趣点检测；Harris算子H为：

H＝det(C)-ktrace²(C)   (4)

其中， $C=\left[\begin{array}{cc}{I_x}^2& I_{\mathrm{xy}}\\ I_{\mathrm{xy}}& {I_y}^2\end{array}\right];$ I_x,I_y和I_xy分别为图像在x和y方向的偏导以及二阶混合偏导；k为经验值，通常取0.04～0.06；根据图像取出Harris算子值最大的n个点，得到图像的兴趣点图。

上述红外图像经过高斯滤波后得到矢量图,采用的是3*3的模板进行滤波。

上述步骤三、去掉游离的兴趣点得到显著兴趣点，包括如下步骤：

(3.1)红外图像兴趣点集合为Q＝{q(x,y)|1≤x≤M,1≤y≤N}，兴趣点个数为n，则兴趣点质心O表示如下：

$O=(O_x,O_y)=(\frac{1}{n}\underset{(x,y)\∈n}{\mathrm{\Σ}}x,\frac{1}{n}\underset{(x,y)\∈n}{\mathrm{\Σ}}y)---\left(5\right)$ 计算每个兴趣点到质心的距离R_i：

R_i＝[(x_i-O_x)²+(y_i-O_y)²]^1/2,(x_i,y_i)∈Q,i＝1,2,...n   (6)

其中，R_i为第i个兴趣点到质心的距离；

(3.2)对所有的R_i求均值记做令记σ_i的均值为选择为半径，质心为圆心做圆C；

(3.3)将圆C的圆心依次取遍红外图像的每一个像素点，并记录遍历过程中圆心的位置以及圆C包含的兴趣点的数目；取其中包含兴趣点数目最多的圆所覆盖的区域为显著区域，显著区域圆心为(x_b,y_b)；若遍历过程中有多个像素为符合条件的圆心值，则取这些像素位置的平均值为显著区域圆心；

(3.4)将显著区域内部兴趣点作为显著兴趣点保留，显著兴趣点集合为显著区域外的兴趣点为游离兴趣点剔除。

上述步骤四、对显著兴趣点求取凸包，是采用格雷厄姆扫描算法，包括如下步骤：

(4.1)对所有显著兴趣点排序，取左侧最低点为p₀，取p₀右侧最低点为p₁，将过p₀、p₁的直线绕p₀逆时针旋转，与直线先后相交的点依次编号为p₂,p₃,…p_n-1；

(4.2)凸包搜索，①将p₀,p₁,p₂三点依次放入堆栈；②令栈顶点为p_top，栈顶前一点为p_next-to-top；③令i＝3；④若i＞n，跳到步骤⑤，否则判断线段p_next-to-top p_top到线段p_next-to-top p_i是否是“非逆时针旋转”，若是，点p_top出栈，继续判断，若不是，点p_i进栈，i＝i+1，返回步骤④；⑤堆栈中的点就是点集凸包上的点；按顺序将堆栈中的点相连，就得到所求的显著兴趣点凸包。

上述步骤六、分别对目标区域和背景区域采取不同的融合规则，实现红外与可见光图像的融合，包括如下步骤：

(6.1)目标区域融合

对于目标区域，其目的是尽可能地保持红外图像中的目标特性，因此，对于目标区域，制定如下融合规则：

I_T ^F(x,y)＝I_ir(x,y),(x,y)∈I_T   (7)

其中，I_T表示目标区域，I_T ^F表示融合图像的目标区域,I_ir表示红外图像；

(6.2)背景区域融合

首先计算红外图像背景区域和可见光图像背景区域能量；选择大小为3×3的区域窗口计算

$E_i(x,y)=\underset{m=-1}{\overset{1}{\mathrm{\Σ}}}\underset{n=-1}{\overset{1}{\mathrm{\Σ}}}{I_{\mathrm{ir}}}^2(x+m,y+n)---\left(8\right)$

$E_v(x,y)=\underset{m=-1}{\overset{1}{\mathrm{\Σ}}}\underset{n=-1}{\overset{1}{\mathrm{\Σ}}}{I_v}^2(x+m,y+n)---\left(9\right)$

则

${I_B}^F(x,y)=\left\{\begin{array}{cc}{I}_{\mathrm{ir}}(x,y)& E_i(x,y)>E_v(x,y)\\ I_v(x,y)& \mathrm{others}\end{array}\right.(x,y)\∈I_B---\left(10\right)$

E_i,E_v分别是红外图像背景区域能量和可见光图像背景区域能量，I_v表示可见光图像，I_B表示背景区域，I_B ^F表示融合图像的背景区域。

本发明的有益效果：本发明提供的这种基于显著图和兴趣点凸包的红外与可见光图像融合方法，包括如下步骤：步骤一、对红外图像进行显著性检测，得到二值化显著图；步骤二、对红外图像进行兴趣点检测；步骤三、去掉游离的兴趣点得到显著兴趣点；步骤四、对显著兴趣点求取凸包；步骤五、通过对红外图像的二值化显著图和凸包图像做“与”运算，得到目标区域，图像剩余部分作为背景区域；步骤六、分别对目标区域和背景区域采取不同的融合规则，实现红外与可见光图像的融合；因此，该基于显著图和兴趣点凸包的红外与可见光图像融合方法，由于兴趣点检测算法比起图像分割算法具有更好的通用性和稳定性，它有助于更可靠地提取出目标区域；由于对兴趣点检测结果进行了去游离点处理，能够剔除那些位于背景上的少数兴趣点，使得对显著兴趣点求取的凸包更加接近真实的目标；采用对显著兴趣点求凸包运算得到由兴趣点集合所确定的显著区域，该方法简单、快速、有效，能够降低图像融合算法的耗时；将显著图和兴趣点凸包结合起来确定最终的目标区域，将两种方法优势互补，能够提取出更加准确的目标区域，为提升融合性能奠定坚实基础。

以下将结合附图对本发明做进一步详细说明。

附图说明

图1为本发明的总流程图。

图2(a)为一幅红外图像；图2(b)为一幅可见光图像。

图3为用本发明对图2(a)提取的显著图。

图4为用本发明对图3的二值化结果图。

图5为用本发明对图2(a)进行兴趣点检测的结果。

图6为用本发明对图5去游离点后的显著兴趣点图。

图7为用本发明对图6中显著兴趣点求凸包后的结果。

图8为用本发明对图4和图7做”与”运算后的结果。

图9为用本发明对图2(a)和图2(b)融合后的结果。

具体实施方式

为进一步阐述本发明达成预定目的所采取的技术手段及功效，以下结合附图及实施例对本发明的具体实施方式、结构特征及其功效，详细说明如下。

实施例1：

参照图1，本发明的图像融合步骤如下：

步骤一，对红外图像进行显著性检测，得到二值化显著图。

(1.1)计算长度为M、宽度为N的红外图像的显著图S(x,y)：

S(x,y)＝|I_g(x,y)-I_u|   (1)

I_g(x,y)是红外图像经过高斯滤波后的矢量图，目的是对图像进行平滑滤波，剔除噪声；I_u是红外图像的像素算数平均值；

(1.2)通过设定阈值TH，将大小为M*N的红外图像显著图二值化得SM(x,y)：

$\mathrm{TH}=\frac{2*\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}S(x,y)}{M*N}---\left(2\right)$

则：

$\mathrm{SM}(x,y)=\left\{\begin{array}{cc}1& S(x,y)>\mathrm{TH}\\ 0& \mathrm{others}\end{array}\right.---\left(3\right)$

对一幅如图2(a)所示的红外图像，利用上述方法检测出的显著图如图3所示，二值化后的显著图如图4所示。

上述红外图像经过高斯滤波后得到矢量图,采用的是3*3的模板进行滤波。

步骤二，对红外图像进行兴趣点检测。

对红外图像进行Harris兴趣点检测；Harris算子H为：

H＝det(C)-ktrace²(C)   (4)

其中， $C=\left[\begin{array}{cc}{I_x}^2& I_{\mathrm{xy}}\\ I_{\mathrm{xy}}& {I_y}^2\end{array}\right];$ I_x,I_y和I_xy分别为图像在x和y方向的偏导以及二阶混合偏导；k为经验值，通常取0.04～0.06；根据图像取出Harris算子值最大的n个点，得到图像的兴趣点图。

对一幅如图2(a)所示的红外图像，利用上述方法检测出的兴趣点结果如图5所示。

步骤三，去掉游离的兴趣点得到显著兴趣点。

(3.1)红外图像兴趣点集合为Q＝{q(x,y)|1≤x≤M,1≤y≤N}，兴趣点个数为n，则兴趣点质心O表示如下：

$O=(O_x,O_y)=(\frac{1}{n}\underset{(x,y)\∈n}{\mathrm{\Σ}}x,\frac{1}{n}\underset{(x,y)\∈n}{\mathrm{\Σ}}y)---\left(5\right)$ 计算每个兴趣点到质心的距离R_i：

R_i＝[(x_i-O_x)²+(y_i-O_y)²]^1/2,(x_i,y_i)∈Q,i＝1,2,...n   (6)

其中，R_i为第i个兴趣点到质心的距离；

(3.2)对所有的R_i求均值记做令记σ_i的均值为选择为半径，质心为圆心做圆C；

(3.3)将圆C的圆心依次取遍红外图像的每一个像素点，并记录遍历过程中圆心的位置以及圆C包含的兴趣点的数目；取其中包含兴趣点数目最多的圆所覆盖的区域为显著区域，显著区域圆心为(x_b,y_b)；若遍历过程中有多个像素为符合条件的圆心值，则取这些像素位置的平均值为显著区域圆心；

(3.4)将显著区域内部兴趣点作为显著兴趣点保留，显著兴趣点集合为显著区域外的兴趣点为游离兴趣点剔除。

对图5所示的兴趣点检测结果去游离点后的显著兴趣点提取结果如图6所示。

步骤四，采用格雷厄姆扫描算法对显著兴趣点求取凸包。

(4.1)对所有显著兴趣点排序，取左侧最低点为p₀，取p₀右侧最低点为p₁，将过p₀、p₁的直线绕p₀逆时针旋转，与直线先后相交的点依次编号为p₂,p₃,…p_n-1；

(4.2)凸包搜索，①将p₀,p₁,p₂三点依次放入堆栈；②令栈顶点为p_top，栈顶前一点为p_next-to-top；③令i＝3；④若i＞n，跳到步骤⑤，否则判断线段p_next-to-top p_top到线段p_next-to-top p_i是否是“非逆时针旋转”，若是，点p_top出栈，继续判断，若不是，点p_i进栈，i＝i+1，返回步骤④；⑤堆栈中的点就是点集凸包上的点；按顺序将堆栈中的点相连，就得到所求的显著兴趣点凸包。

对图6所示的显著兴趣点集合求凸包结果如图7所示。

步骤五，通过对红外图像的二值化显著图SM和凸包图像做“与”运算，得到目标区域，图像剩余部分作为背景区域。

对图4所示的显著图和图7所示的显著兴趣点凸包进行“与”运算的结果如图8所示。

步骤六，分别对目标区域和背景区域采取不同的融合规则，实现红外与可见光图像的融合。

(6.1)目标区域融合

对于目标区域，其目的是尽可能地保持红外图像中的目标特性，因此，对于目标区域，制定如下融合规则：

I_T ^F(x,y)＝I_ir(x,y),(x,y)∈I_T   (7)

其中，I_T表示目标区域，I_T ^F表示融合图像的目标区域,I_ir表示红外图像；

(6.2)背景区域融合

首先计算红外图像背景区域和可见光图像背景区域能量；选择大小为3×3的区域窗口计算

$E_i(x,y)=\underset{m=-1}{\overset{1}{\mathrm{\Σ}}}\underset{n=-1}{\overset{1}{\mathrm{\Σ}}}{I_{\mathrm{ir}}}^2(x+m,y+n)---\left(8\right)$

$E_v(x,y)=\underset{m=-1}{\overset{1}{\mathrm{\Σ}}}\underset{n=-1}{\overset{1}{\mathrm{\Σ}}}{I_v}^2(x+m,y+n)---\left(9\right)$

则

${I_B}^F(x,y)=\left\{\begin{array}{cc}{I}_{\mathrm{ir}}(x,y)& E_i(x,y)>E_v(x,y)\\ I_v(x,y)& \mathrm{others}\end{array}\right.(x,y)\∈I_B---\left(10\right)$

E_i,E_v分别是红外图像背景区域能量和可见光图像背景区域能量，I_v表示可见光图像，I_B表示背景区域，I_B ^F表示融合图像的背景区域。

图9是用本发明对图2(a)和图2(b)融合后的结果，由于采用显著图和兴趣点凸包提取了准确的目标区域，因此有效提升了融合性能。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (7)

1.一种基于显著图和兴趣点凸包的红外与可见光图像融合方法，其特征在于，包括如下步骤：

步骤一、对红外图像进行显著性检测，得到二值化显著图；

步骤二、对红外图像进行兴趣点检测；

步骤三、去掉游离的兴趣点得到显著兴趣点；

步骤四、对显著兴趣点求取凸包；

步骤五、通过对红外图像的二值化显著图和凸包图像做“与”运算，得到目标区域，图像剩余部分作为背景区域；

步骤六、分别对目标区域和背景区域采取不同的融合规则，实现红外与可见光图像的融合。

2.如权利要求1所述的基于显著图和兴趣点凸包的红外与可见光图像融合方法，其特征在于，所述步骤一、对红外图像进行显著性检测，得到二值化显著图，包括如下步骤：

(1.1)计算长度为M、宽度为N的红外图像的显著图S(x,y)：

S(x,y)＝|I_g(x,y)-I_u|   (1)

I_g(x,y)是红外图像经过高斯滤波后的矢量图，目的是对图像进行平滑滤波，剔除噪声；I_u是红外图像的像素算数平均值；

(1.2)通过设定阈值TH，将大小为M*N的红外图像显著图二值化得SM(x,y)：

$\mathrm{TH}=\frac{2*\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}S(x,y)}{M*N}---\left(2\right)$

则：

$\mathrm{SM}(x,y)=\left\{\begin{array}{cc}1& S(x,y)>\mathrm{TH}\\ 0& \mathrm{others}\end{array}\right.---\left(3\right)$

3.如权利要求2所述的基于显著图和兴趣点凸包的红外与可见光图像融合方法，其特征在于:所述红外图像经过高斯滤波后得到矢量图,采用的是3*3的模板进行滤波。

4.如权利要求1所述的基于显著图和兴趣点凸包的红外与可见光图像融合方法，其特征在于，所述步骤二、对红外图像进行兴趣点检测是对红外图像进行Harris兴趣点检测；Harris算子H为：

H＝det(C)-ktrace²(C)   (4)

其中， $C=\left[\begin{array}{cc}{I_x}^2& I_{\mathrm{xy}}\\ I_{\mathrm{xy}}& {I_y}^2\end{array}\right];$ I_x,I_y和I_xy分别为图像在x和y方向的偏导以及二阶混合偏导；k为经验值，通常取0.04～0.06；根据图像取出Harris算子值最大的n个点，得到图像的兴趣点图。

5.如权利要求1所述的基于显著图和兴趣点凸包的红外与可见光图像融合方法，其特征在于，所述步骤三、去掉游离的兴趣点得到显著兴趣点，包括如下步骤：

(3.1)红外图像兴趣点集合为Q＝{q(x,y)1≤x≤M,1≤y≤N}，兴趣点个数为n，则兴趣点质心O表示如下：

$O=(O_x,O_y)=(\frac{1}{n}\underset{(x,y\∈n)}{\mathrm{\Σ}}x,\frac{1}{n}\underset{(x,y)\∈n}{\mathrm{\Σ}}y)---\left(5\right)$

计算每个兴趣点到质心的距离R_i：

R_i＝[(x_i-O_x)²+(y_i-O_y)²]^1/2,(x_i,y_i)∈Q,i＝1,2,...n   (6)

其中，R_i为第i个兴趣点到质心的距离；

(3.2)对所有的R_i求均值记做令记σ_i的均值为选择为半径，质心为圆心做圆C；

(3.3)将圆C的圆心依次取遍红外图像的每一个像素点，并记录遍历过程中圆心的位置以及圆C包含的兴趣点的数目；取其中包含兴趣点数目最多的圆所覆盖的区域为显著区域，显著区域圆心为(x_b,y_b)；若遍历过程中有多个像素为符合条件的圆心值，则取这些像素位置的平均值为显著区域圆心；

(3.4)将显著区域内部兴趣点作为显著兴趣点保留，显著兴趣点集合为显著区域外的兴趣点为游离兴趣点剔除。

6.如权利要求1所述的基于显著图和兴趣点凸包的红外与可见光图像融合方法，其特征在于，所述步骤四、对显著兴趣点求取凸包是采用格雷厄姆扫描算法，其步骤如下：

(4.1)对所有显著兴趣点排序，取左侧最低点为p₀，取p₀右侧最低点为p₁，将过p₀、p₁的直线绕p₀逆时针旋转，与直线先后相交的点依次编号为p₂,p₃,…p_n-1；

(4.2)凸包搜索，①将p₀,p₁,p₂三点依次放入堆栈；②令栈顶点为p_top，栈顶前一点为p_next-to-top；③令i＝3；④若i＞n，跳到步骤⑤，否则判断线段p_next-to-top p_top到线段p_next-to-top p_i是否是“非逆时针旋转”，若是，点p_top出栈，继续判断，若不是，点p_i进栈，i＝i+1，返回步骤④；⑤堆栈中的点就是点集凸包上的点；按顺序将堆栈中的点相连，就得到所求的显著兴趣点凸包。

7.如权利要求1所述的基于显著图和兴趣点凸包的红外与可见光图像融合方法，其特征在于，所述步骤六、分别对目标区域和背景区域采取不同的融合规则，实现红外与可见光图像的融合，包括如下步骤：

(6.1)目标区域融合

对于目标区域，其目的是尽可能地保持红外图像中的目标特性，因此，对于目标区域，制定如下融合规则：

I_T ^F(x,y)＝I_ir(x,y),(x,y)∈I_T   (7)

其中，I_T表示目标区域，I_T ^F表示融合图像的目标区域,I_ir表示红外图像；

(6.2)背景区域融合

首先计算红外图像背景区域和可见光图像背景区域能量；选择大小为3*3的区域窗口计算

$E_i(x,y)=\underset{m=-1}{\overset{1}{\mathrm{\Σ}}}\underset{n=-1}{\overset{1}{\mathrm{\Σ}}}{I_{\mathrm{ir}}}^2(x+m,y+n)---\left(8\right)$

$E_v(x,y)=\underset{m=-1}{\overset{1}{\mathrm{\Σ}}}\underset{n=-1}{\overset{1}{\mathrm{\Σ}}}{I_v}^2(x+m,y+n)---\left(9\right)$

则

${I_B}^F(x,y)=\left\{\begin{array}{cc}{I}_{\mathrm{ir}}(x,y)& E_i(x,y)>E_v(x,y)\\ I_V(x,y)& \mathrm{others}\end{array}\right.(x,y)\∈I_B---\left(10\right)$

E_i,E_v分别是红外图像背景区域能量和可见光图像背景区域能量，I_v表示可见光图像，I_B表示背景区域，I_B ^F表示融合图像的背景区域。