CN101853492A - 一种夜视微光图像与红外图像融合方法 - Google Patents

Abstract

本发明涉及一种夜视微光图像与红外图像融合方法。本发明方法首先采用拮抗特性模型中的中心-周边对抗网络对红外与微光图像进行增强，利用区域生长方法对增强后红外图像进行分割，根据分割后各区域亮度得到目标图像。在融合阶段加入两种融合运算：采用选择运算将目标图像信息融合到增强后微光背景中作为亮度通道的输入；利用拮抗特性模型将经采用区域生长法得到红外图像和增强后的微光图像进行融合，作为饱和度通道的输入。同时，直接将增强的微光图像送入调色通道，作为彩色融合图像的背景进行调色，最后通过彩色重映射并加以显示。本发明方法获得的图像具有较好的目标指示特性，色彩更适合人眼观察，有利于提高监控人员对目标情景的感知能力。

Description

一种夜视微光图像与红外图像融合方法

技术领域

本发明属于图像处理技术领域，涉及一种结合拮抗视觉特性模型与区域生长法的夜视微光图像与红外图像融合方法。

背景技术

基于多传感器的夜视图像融合技术可以充分利用现有成像传感器的特点，通过信息处理与视频处理技术，更全面地获取目标的信息，在安防、辅助驾驶等领域有重要的应用价值。

夜视图像融合能增强场景理解、突出目标，有利于在隐藏、伪装和迷惑的背景下更快更精确地探测目标。将融合图像显示成简单、适合人眼观察的自然形式，可明显改善人眼的识别性能，减小操作者的疲劳感。夜视微光图像序列与红外图像序列融合方法与可见光图像与红外图像融合方法不同的有很大不同，主要包括夜视微光图像的色彩度和分辨率大大降低，因此在图像融合之前需要进行增强；目标分割和融合方法的有机结合是保证图像序列实时性的关键；图像的彩色化显示方法决定了融合图像的视觉效果。

目前在夜视图像增强的专利如：一种基于相关系数的自适应图像增强方法(200710120588.4)是根据图像间的噪声相关系数进行处理，得到锐化后的图像，但该法相关系数计算较为复杂。根据边缘和亮度特征进行自适应调整的图像增强方法(CN200710058019.1)对图像进行多尺度分析，调整直方图处理，但由于微光图像灰度级有限，不适用该法。红外图像多级均值对比度增强方法(200610125572.8)包括多级均值计算、中值滤波和线性增强三步进行增强的方法，但增强的同时将噪声也增强了。

图像融合显示方面已申请的专利有：红外与可见光图像融合方法(200310108933.4)主要是对源图像进行多分辨率分解的融合方法，但基于多分辨率的图像融合方法图像的实时性根本无法满足图像序列的融合要求。用于以红外图像和可见图像与环境相关的结合来显示车辆环境的方法和装置(200480003555.6)只是简单将两幅图像加权相加以及像素级的融合处理。一种基于目标检测的红外和可见光序列图像特征级融合方法(200610117275.9)是先把源图像分割成不同区域，对不同区域应用不同的融合规则的特征级融合法，同样这种分级型的图像分割方法也无法满足实时性的要求。一种基于彩色传递与熵信息的红外与彩色可见光图像融合方法(200810017443.6)提出一种非采样Contourlet变换对灰度可见光图像及红外图像进行分解，采用基于lαβ颜色空间的彩色传递方法将可见光图像的彩色信息传递到融合图像中，得到彩色融合图像。但该方法并未涉及图像的增强与目标的分割部分，无法满足实时性也不能适用于夜视微光图像。

在夜视微光图像与红外图像融合方面，还没有涉及完整的图像增强、目标分割及融合并显示的实时融合系统。

发明内容

本发明的目的就是为了克服现有方法中的不足，提出一种将视觉模型神经动力学理论用于图像增强和图像融合、利用区域生长法进行图像分割、三通道信息转换显示的完整的夜视微光图像与红外图像融合方法。

本发明方法包含图像增强、分割、融合和彩色映射，具体包括以下步骤：

步骤(1)采用拮抗特性模型分别对夜视微光图像与红外图像进行增强处理，具体是：以差分高斯函数模拟人眼视网膜中的同心圆拮抗特性，用于图像处理的中心-周边分离网络对抗系统，其动力学方程为

$\frac{{\mathrm{dE}}_{i,j}}{\mathrm{dt}}={\mathrm{AE}}_{i,j}+(B-E_{i,j}){[C_1\×I^c]}_{i,j}-(D+E_{i,j}){[C_2\×I^s]}_{i,j}$

其中E是处理后的图像，C₁为二维高斯核、C₂为模拟同心圆模式分布，A为向零值衰减的速率，B为兴奋饱和值，D为抑制饱和值，I^c为中心兴奋图像，I^s为周边抑制图像，i、j为对应像素点的横坐标和纵坐标；

设B＝D＝1，图像增强时保证E值动态范围为-1～1，图像处理的中心-周边分离网络对抗系统达到平衡时的方程，即

得到：

$E_{i,j}=\frac{{[C_1\×I^c]}_{i,j}-{[C_2\×I^s]}_{i,j}}{A+{[C_1\×I^c]}_{i,j}+{[C_2\×I^s]}_{i,j}}$

分别用参数C、高斯环G_s代替C₁，C₂，改写为

$E_{i,j}=\frac{{[C\×I^c]}_{i,j}-{[G_s\×I^s]}_{i,j}}{A+{[C\×I^c]}_{i,j}+{\left[G_s{\×I}^s\right]}_{i,j}}$

即用常数A、参数C和高斯环的大小定义了一种非线性的图像处理方法，增强处理后的夜视微光图像记为I_Light、增强处理后的红外图像记为I_IR；

步骤(2)采用区域生长法对增强处理后红外图像I_IR进行目标分割，具体是：

选择具有最大灰度值的像素点作为种子点，在空间上采用八邻域连通方案对邻接的相似像素进行搜索；选择邻近的像素为：

|z-z_seed|≤T

其中z表示像素的灰度值，z_seed表示种子点的灰度值，T表示控制像素之间的相似度门限，对图像数据进行聚类分析，自动选取生长准则确定门限阈值T；

然后将种子像素周围邻域中与种子像素有相同或相近性质的像素合并到种子像素所在的区域中；应用形态学处理法对图像进行开闭运算处理，消除空洞和毛刺；根据标定的目标灰度值在分割后的红外图像I_IR ^seg中提取目标图像I^target；

步骤(3)将目标分割后的红外图像与夜视微光图像进行融合，具体步骤是：

①“选择”运算：融合的过程为选择分割后的红外图像I_IR ^seg的目标图像I^target作为融合后的图像目标部分，其余部分为增强后的夜视微光图像I_Light，合并得到“选择”运算的融合图像I_select，即

$I_{{\mathrm{select}}_{i,j}}=\begin{array}{}\left\{\begin{array}{ccc}{I^{t\arg \mathrm{et}}}_{i,j}& \mathrm{if}& (i,j)\∈I^{t\arg \mathrm{et}}\\ I_{{\mathrm{Light}}_{i,j}}& & \mathrm{else}\end{array}\right.\end{array}$

②拮抗融合运算：取I^s＝I_IR ^seg和I^c＝I_Light，根据步骤(1)中公式产生拮抗融合图像I_CSSN；在融合过程中选取常数A的范围为与max[C₁×I^c+C₂×I^s]在同一数量级的常数；

步骤(4)融合后的图像利用三通道信息转换进行显示，具体是：

采用视觉颜色HSV模型，该模型根据人眼的颜色知觉三个要素，即色调(H)、饱和度(S)、调色(V)来表示各个通道颜色属性，将对比度图像L_CSSN送入S通道，经过增强处理的夜视微光图像I_Light送入V通道；然后将HSV模型转化为RGB模型，并加以显示；

从HSV彩色空间到RGB空间的三基色的转换公式为

$h_i=\left[\frac{H}{60}\right]\mathrm{mod}6,$ $f=\frac{H}{60}-h_i$

p＝V×(1-S)，q＝V×(1-f×S)，t＝V×(1-(1-f)×S)

$(R,G,B)=\left\{\begin{array}{ccc}(V,t,p),& \mathrm{if}& h_1=0\\ (q,V,p),& \mathrm{if}& h_i=1\\ (p,V,t),& \mathrm{if}& h_i=2\\ (p,q,V),& \mathrm{if}& h_i=3\\ (t,p,V),& \mathrm{if}& h_i=4\\ (V,p,q),& \mathrm{if}& h_i=5\end{array}\right.$

其中H为色调、V为颜色的相对明暗度、S为颜色的强度或纯度，h_i为色调参考值、为色调相对值、p为饱和度-颜色转换值、q为明暗度-颜色转换值、t为色调-颜色转换值。

本发明的有益效果是：

1、利用视觉模型神经动力学理论在图像融合过程中加入图像增强步骤，提高的融合后图像清晰度以及运算速度。

2、利用区域生长法进行图像分割，并将其融入视觉模型的拮抗特性的图像融合过程，使融合速度进一步提高。

3、将融合图像送入HSV空间并转换为RGB空间进行显示，提高了夜视图像的可视性。不仅可用不同的色彩突出红外图像中环境温度较低和较高的目标，而且可保留丰富的微光细节，使彩色图像接近人眼的视觉感。

附图说明

图1是基于目标分割的CSSN对抗系统融合结构示意图。

具体实施方式

一种夜视微光图像与红外图像融合方法，是一种将视觉模型神经动力学理论用于图像增强和图像融合、利用区域生长法进行图像分割、三通道信息转换显示的完整的夜视微光图像与红外图像融合方法。

如图1所示，该方法包含图像增强、分割、融合和彩色映射，具体包括以下步骤：

步骤(1)采用拮抗特性模型分别对夜视微光图像与红外图像进行增强处理

以差分高斯函数模拟人眼视网膜中的同心圆拮抗特性，用于图像处理的中心-周边分离网络(Center Surround Shunting Network，CSSN)对抗系统，其动力学方程为

$\frac{{\mathrm{dE}}_{i,j}}{\mathrm{dt}}={\mathrm{AE}}_{i,j}+(B-E_{i,j}){[C_1\×I^c]}_{i,j}-(D+E_{i,j}){[C_2\×I^s]}_{i,j}---\left(1\right)$

其中E是处理后的图像，C₁为二维高斯核、C₂为模拟同心圆模式分布，A为向零值衰减的速率，B为兴奋饱和值，D为抑制饱和值，I^c为中心兴奋图像，I^s为周边抑制图像，i、j为对应像素点的横坐标和纵坐标。

设B＝D＝1，图像增强时保证E值动态范围为-1～1，CSSN对抗系统达到平衡时的方程，即

求解得：

$E_{i,j}=\frac{{[C_1\×I^c]}_{i,j}-{[C_2\×I^s]}_{i,j}}{A+{[C_1\×I^c]}_{i,j}+{[C_2\×I^s]}_{i,j}}---\left(2\right)$

为减少卷积计算量，用参数C、高斯环G_s代替C₁，C₂，改写为

$E_{i,j}=\frac{{[C\×I^c]}_{i,j}-{[G_s\×I^s]}_{i,j}}{A+{[C\×I^c]}_{i,j}+{\left[G_s{\×I}^s\right]}_{i,j}}---\left(3\right)$

式(3)描述每个像素迅速(即帧速)达到的平衡状态。它用常数A、参数C和高斯环的大小定义了一种非线性的图像处理方法。图像增强，即当环内和中心馈入同一图像，I^c＝I^s，式(3)的分子类似于高斯差分滤波器，可提升叠加在背景上的高频信息，分母以局部均值为基础，自适应地标准化对比度已得到增强的图像，明显增强灰度变化部分的对比度。其中常数A可压缩输出图像动态范围，参数C大意味着被增强的程度越大。分别记增强处理后的夜视微光图像和红外图像为I_Light和I_IR。

步骤(2)采用区域生长法对增强处理后红外图像I_IR进行目标分割

选择具有最大灰度值的像素点作为种子点，在空间上采用八邻域连通方案对邻接的相似像素进行搜索。选择邻近的像素为：

|z-z_seed|≤T              (4)

其中z表示像素的灰度值，z_seed表示种子点的灰度值，T表示控制像素之间的相似度门限，对图像数据进行聚类分析，自动选取生长准则确定门限阈值T。然后将种子像素周围邻域中与种子像素有相同或相近性质的像素(根据事先确定的生长或相似准则来判定)合并到种子像素所在的区域中。若经过区域生长后图像的边界有毛刺，区域内部有空洞，可以应用形态学处理法对图像进行开闭运算处理，消除空洞和毛刺。

根据事先标定的目标灰度值在分割后的红外图像I_IR ^seg中提取目标图像I^target。

步骤(3)将目标分割后的红外图像与夜视微光图像进行融合

为了彩色映射时显示出各通道特有颜色信息，按照如下步骤进行融合。

①“选择”运算：融合的过程为选择分割后的红外图像I_IR ^seg的目标图像I^target作为融合后的图像目标部分，其余部分为增强后的夜视微光图像I_Light，合并得到“选择”运算的融合图像I_select，即

$I_{{\mathrm{select}}_{i,j}}=\begin{array}{c}\left\{\begin{array}{ccc}{I^{t\arg \mathrm{et}}}_{i,j}& \mathrm{if}& (i,j)\∈I^{t\arg \mathrm{et}}\\ I_{{\mathrm{Light}}_{i,j}}& & \mathrm{else}\end{array}\right.---\left(5\right)\end{array}$

②拮抗融合运算：取I^s＝I_IR ^seg和I^c＝I_Light，根据式(3)产生拮抗融合图像I_CSSN。在融合过程中选取常数A的范围为与max[C₁×I^c+C₂×I^s]在同一数量级的常数，可使得输出的不均匀现象得到改善。而参数C大则意味着融合过程中加进更多的中心信息。

步骤(4)融合后的图像利用三通道信息转换进行显示

采用视觉颜色HSV模型，该模型根据人眼的颜色知觉三个要素，即色调(H)、饱和度(S)、调色(V)来表示各个通道颜色属性。包含丰富目标与背景信息的融合图像I_select送入H通道，使图像目标随灰度级的大小呈现不同是色泽。来自CSSN网络的对比度图像I_CSSN送入S通道，使图像的亮目标随灰度级的大小呈现明暗程度；经过增强处理的夜视微光图像I_Light的细节丰富，直接将其送入V通道，作为彩色融合图像的背景进行调色。然后将HSV模型转化为RGB模型，并加以显示。

从HSV彩色空间到RGB空间的三基色的转换公式为

$h_i=\left[\frac{H}{60}\right]\mathrm{mod}6,$ $f=\frac{H}{60}-h_i---\left(6\right)$

p＝V×(1-S)，q＝V×(1-f×S)，t＝V×(1-(1-f)×S)      (7)

$(R,G,B)=\left\{\begin{array}{ccc}(V,t,p),& \mathrm{if}& h_1=0\\ (q,V,p),& \mathrm{if}& h_i=1\\ (p,V,t),& \mathrm{if}& h_i=2\\ (p,q,V),& \mathrm{if}& h_i=3\\ (t,p,V),& \mathrm{if}& h_i=4\\ (V,p,q),& \mathrm{if}& h_i=5\end{array}\right.---\left(8\right)$

其中H为色调、V为颜色的相对明暗度、S为颜色的强度或纯度，h_i为色调参考值、f为色调相对值、p为饱和度-颜色转换值、q为明暗度-颜色转换值、t为色调-颜色转换值。

Claims (1)

1.一种夜视微光图像与红外图像融合方法，其特征在于该方法具体包括以下步骤：

步骤(1)采用拮抗特性模型分别对夜视微光图像与红外图像进行增强处理，具体是：以差分高斯函数模拟人眼视网膜中的同心圆拮抗特性，用于图像处理的中心-周边分离网络对抗系统，其动力学方程为

$\frac{{\mathrm{dE}}_{i,j}}{\mathrm{dt}}={\mathrm{AE}}_{i,j}+(B-E_{i,j}){[C_1\×I^c]}_{i,j}-(D+E_{i,j}){[C_2\×I^s]}_{i,j}$

其中E是处理后的图像，C₁为二维高斯核、C₂为模拟同心圆模式分布，A为向零值衰减的速率，B为兴奋饱和值，D为抑制饱和值，I^c为中心兴奋图像，I^s为周边抑制图像，i、j为对应像素点的横坐标和纵坐标；

设B＝D＝1，图像增强时保证E值动态范围为-1～1，图像处理的中心-周边分离网络对抗系统达到平衡时的方程，即得到：

$E_{i,j}=\frac{{[C_1\×I^c]}_{i,j}-{[C_2\×I^s]}_{i,j}}{A+{[C_1\×I^c]}_{i,j}+{[C_2\×I^s]}_{i,j}}$

分别用参数C、高斯环G_s代替C₁，C₂，改写为

$E_{i,j}=\frac{{[C\×I^c]}_{i,j}-{[G_s\×I^s]}_{i,j}}{A+{[C\×I^c]}_{i,j}+{[G_s\×I^s]}_{i,j}}$

即用常数A、参数C和高斯环的大小定义了一种非线性的图像处理方法，增强处理后的夜视微光图像记为I_Light、增强处理后的红外图像记为I_IR；

步骤(2)采用区域生长法对增强处理后红外图像I_IR进行目标分割，具体是：

选择具有最大灰度值的像素点作为种子点，在空间上采用八邻域连通方案对邻接的相似像素进行搜索；选择邻近的像素为：

|z-z_seed|≤T

其中z表示像素的灰度值，z_seed表示种子点的灰度值，T表示控制像素之间的相似度门限，对图像数据进行聚类分析，自动选取生长准则确定门限阈值T；

然后将种子像素周围邻域中与种子像素有相同或相近性质的像素合并到种子像素所在的区域中；应用形态学处理法对图像进行开闭运算处理，消除空洞和毛刺；根据标定的目标灰度值在分割后的红外图像I_IR ^seg中提取目标图像I^target；

步骤(3)将目标分割后的红外图像与夜视微光图像进行融合，具体步骤是：

①选择运算：选择分割后的红外图像I_IR ^seg的目标图像I^target作为融合后的图像目标部分，其余部分为增强后的夜视微光图像I_Light，合并得到选择运算的融合图像I_select，即

$I_{{\mathrm{select}}_{i,j}}=\left\{\begin{array}{cc}{I^{t\arg \mathrm{et}}}_{i,j}& \mathrm{if}(i,j)\∈I^{t\arg \mathrm{et}}\\ I_{{\mathrm{Light}}_{i,j}}& \mathrm{else}\end{array}\right.$

②拮抗融合运算：取I^s＝I_IR ^seg和I^c＝I_Light，根据步骤(1)中公式产生拮抗融合图像I_CSSN；在融合过程中选取常数A的范围为与max[C₁×I^c+C₂×I^s]在同一数量级的常数；

步骤(4)融合后的图像利用三通道信息转换进行显示，具体是：

采用视觉颜色HSV模型，该模型根据人眼的颜色知觉三个要素来表示各个通道颜色属性，将对比度图像L_CSSN送入S通道，经过增强处理的夜视微光图像I_Light送入V通道；然后将HSV模型转化为RGB模型，并加以显示；

从HSV彩色空间到RGB空间的三基色的转换公式为

$h_i=\left[\frac{H}{60}\right]\mathrm{mod}6,$ $f=\frac{H}{60}-h_i$

p＝V×(1-S)，q＝V×(1-f×S)，t＝V×(1-(1-f)×S)

$(R,G,B)=\left\{\begin{array}{c}(V,t,p),\mathrm{if}{h}_i=0\\ (q,V,p),\mathrm{if}{h}_i=1\\ (p,V,t),\mathrm{if}{h}_i=2\\ (p,q,V),\mathrm{if}{h}_i=3\\ (t,p,V),\mathrm{if}{h}_i=4\\ (V,p,q),\mathrm{if}{h}_i=5\end{array}\right.$

其中H为色调、V为颜色的相对明暗度、S为颜色的强度或纯度，h_i为色调参考值、f为色调相对值、p为饱和度-颜色转换值、q为明暗度-颜色转换值、t为色调-颜色转换值。