CN102547063B - 基于颜色对比度增强的自然感彩色融合方法 - Google Patents

Abstract

本发明公开一种基于颜色对比度增强的自然感彩色融合方法，步骤为：在同一时间点，分别从红外和可见光视频中各提取一帧经光学配准的灰度图像；将前述两帧灰度图像进行线性运算映射至Lab颜色空间，得到双波段图像的伪彩色融合图像，并由观察者选取效果最佳的融合系数；用预存的一组白光参考图像对前述伪彩色融合图像进行颜色传递，由观察者选定一幅参考图像；利用选定的参考图像对伪彩色融合图像进行颜色对比度增强的自然感颜色校正；用前述步骤得到的参考图像和参数对红外与可见光视频进行颜色对比度增强的快速自然感彩色融合。此种融合方法可解决现有技术中双波段视频的自然感彩色融合的目标与背景颜色对比度低的问题。

Description

基于颜色对比度增强的自然感彩色融合方法

技术领域

本发明属于彩色夜视成像领域，特别涉及一种基于颜色对比度增强的红外与可视视频自然感彩色融合方法。

背景技术

人类从外界获取信息的83%来自视觉，但人眼视觉只响应很窄的可见光波段；在微弱光照下,人眼不仅逐渐失去颜色分辨能力,甚至因灵敏度下降而无法获得场景图像。微光夜视仪和红外热像仪等拓展了人类的光谱响应范围和黑暗中观察景物的能力。而可见光与红外图像融合技术可以充分利用不同传感器的优势，弥补单一传感器的不足。由于人眼能分辨的颜色等级是灰度等级的几百倍，因此，在以人眼观察为主的任务中，如车辆驾驶、直升机巡逻等，彩色融合图像更有利于场景的记忆，提高观察者的反应速度，增强对场景的印象。适于人眼感知的多波段自然感彩色融合成像成为国内外研究的重要方向。

20世纪9O年代美国麻省理工学院林肯实验室提出基于生物视觉特性的MIT多波段彩色融合方法，获得了具有一定自然感的融合图像。2003年，Toet等将Reinhard等提出的色彩传递算法应用到多波段夜视图像（近红外、微光、中波红外）融合中，将白光彩色图像的色彩信息传递到颜色对比强烈的融合图像中，明显改善了图像的自然感。然而，该方法包含多个颜色空间转换，以及对数变换等，对硬件的要求较高，不利于实时处理，限制了该方法在成像系统中的应用。针对这一不足，2010年Hovgervorst和Toet利用查找表技术进行视频融合，获得了一种简单快速的彩色融合方法。然而，多数自然感彩色融合方法仅考虑了图像整体颜色效果，对颜色空间的三通道进行类似的线性处理，使得目标与其周围背景间的颜色非常相近。因此，在红外视频中清晰的目标有时在融合结果中很难被观测，这反而不利于侦察和监控等。

为了提高目标在融合图像中的颜色对比度，2007年Wang等人利用非线性融合和色彩传递方法在YUV颜色空间将热目标渲染成红色，冷目标渲染成淡蓝色，增强了可视效果。

在2008年和2009年，Zheng和Ma等人将图像分割、识别等方法引入色彩传递中，对融合图像进行局部颜色映射，提高了目标与背景间的颜色对比度，使得目标更易于观察和识别。但由于涉及非线性融合、局部对比和图像分割等，这些方法甚至较2003年Toet的方法运算量更大，不利于快速处理，所以并不符合实际应用场合。

基于以上分析，本发明人对现有的彩色融合方法进行研究改进，本案由此产生。

发明内容

本发明的目的，在于提供一种基于颜色对比度增强的自然感彩色融合方法，其可解决现有技术中双波段视频的自然感彩色融合的目标与背景颜色对比度低的问题。

为了达成上述目的，本发明的解决方案是：

一种基于颜色对比度增强的自然感彩色融合方法，包括如下步骤：

（1）在同一时间点，分别从红外视频和可见光视频中各提取一帧经光学配准的灰度图像；

（2）将前述两帧灰度图像进行线性运算映射至Lab颜色空间，得到双波段图像的伪彩色融合图像，并由观察者选取效果最佳的融合系数；

（3）用预存的一组白光参考图像对前述伪彩色融合图像进行颜色传递，由观察者选定一幅参考图像；

（4）利用选定的参考图像对伪彩色融合图像通过线性与非线性结合的色彩传递处理进行颜色对比度增强的自然感颜色校正；

对L、a通道，利用线性颜色传递方法将由观察者选定的参考图像的一阶统计特性传输至伪彩色融合图像相应通道，表达式写为：

$\left\{\begin{array}{c}{L}^{\&prime;}=\frac{{\mathrm{\&sigma;}}_{\mathrm{rer}}^L}{{\mathrm{\&sigma;}}_{\mathrm{fuse}}^L}(L-<L_{\mathrm{fuse}}>)+<L_{\mathrm{ref}}>\\ a^{\&prime;}=\frac{{\mathrm{\&sigma;}}_{\mathrm{rer}}^a}{{\mathrm{\&sigma;}}_{\mathrm{fuse}}^a}(a-<a_{\mathrm{fuse}}>)+<a_{\mathrm{ref}}>\end{array}\right.$

其中，和

分别表示参考图像与伪彩色融合图像在L、a通道的方差；<L_ref>、<a_ref>和<L_fuse>、<a_fuse>分别表示参考图像与伪彩色融合图像在L、a通道的均值；

对伪彩色融合图像的b通道进行非线性颜色传递，在传输方程中加入伸缩因子w如下：

$b^{\&prime;}=w\&CenterDot;\frac{{\mathrm{\&sigma;}}_{\mathrm{rer}}^b}{{\mathrm{\&sigma;}}_{\mathrm{fuse}}^b}(b-<b_{\mathrm{fuse}}>)+<b_{\mathrm{ref}}>$

其中，

和

分别表示参考图像与伪彩色融合图像在b通道的方差；<b_ref>和<b_fuse>分别表示参考图像与伪彩色融合图像在b通道的均值；

伪彩色融合图像中各像素对应的伸缩因子w(i,j)由其亮度值到伪彩色融合图像亮度均值的距离dist(i,j)确定，距离越大，其值越大，表达式为：

w(i,j)=dist(i,j)/<dist>

$<\mathrm{dist}>=\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{dist}(i,j)/M\&times;N$

dist(i,j)=||L(i,j)-<L_fuse>)||^p

其中，M×N为图像大小，<dist>表示伪彩色融合图像亮度距离的均值；伸缩指数因子p是一个常数，由观察者根据实际增强需求确定，当其在一个适当范围内变化时，其值越大，目标与背景间的颜色对比度效果越好；

（5）用前述步骤得到的参考图像和参数对红外与可见光视频进行颜色对比度增强的快速自然感彩色融合。

上述步骤（2）中，进行线性运算的内容为：将可见光映射至a通道，将红外与可见光图像的差值送入b通道，将两帧图像的加权和送至L通道。

采用上述方案后，本发明在实现双波段视频自然感彩色融合时，相对于以往的基于生物视觉特性的自然感彩色融合算法，以及基于色彩传递的自然感彩色融合算法具有以下优势：

（1）现有图像色彩传递处理技术有的虽能带来自然感很好的融合效果，甚至速度很快，但由于各帧图像的三通道进行类似的线性着色，造成融合视频中目标往往不够鲜明。本发明提出的一种基于颜色对比度增强的方法，根据对各帧伪彩色融合结果进行线性和非线性相结合的色彩传递，能够使得冷、热目标颜色更加鲜明、突出，易于观察；

（2）现有技术有的虽能突出目标但不符合实际应用需求。本发明直接在Lab空间进行伪彩色融合和全局色彩传递，一方面增大了与目标灰度相近的某些背景成分与目标间的颜色距离，更利于突出目标；另一方面仅有参考图像需要Lab与RGB空间简单的线性变换，提高了算法运行速度；

（3）对人眼视觉特性的研究和实验表明，人眼颜色视觉是视觉生理和心理共同作用的结果，因此不同观察者对某图像或者视频的色彩自然程度和目标突出程度会有不同的主观评价。本发明基于颜色对比度增强的双波段视频自然感彩色融合方法中，融合视频效果和相关融合参数由观察者选定，这十分有利于观察者对场景的感知和对目标的识别，符合实际应用中的操作模式。

附图说明

图1是本发明的流程图；

图2和图3分别是不同实际场景的伪彩色融合效果图；其中，（a）为红外图像，（b）为可见光图像，（c）为伪彩色融合图像；

图4是本发明实施例中根据观察者选择的不同参考图像获得的一组色彩传递结果图像；

图5是本发明实施例中实际场景在不同伸缩指数下的色彩传递结果图像；其中，（a）中伸缩指数为3，（b）中伸缩指数为4，（c）中伸缩指数为6；

图6是本发明实施例中采用现有技术进行的双波段自然感彩色融合视频的其中四帧图像；

图7是本发明实施例中基于颜色对比度增强的双波段自然感彩色融合视频的其中四帧图像。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

如图1所示，本发明提供一种基于颜色对比度增强的自然感彩色融合方法，其设计原理为：根据双波段灰度图像的伪彩色融合效果得到融合系数；然后，按红外图像中各像素亮度到中心均值的距离修正b通道颜色传输方程，并根据线性和非线性的颜色迁移效果，得到合适的伸缩指数因子；最后，使用确定的融合系数和伸缩指数因子进行双波段视频的自然感彩色融合，建立起实际应用中有利于不同观察者感知场景的操作模式。

本发明采用线性与非线性结合的色彩传递方法给输入视频各帧图像进行颜色赋值，融合视频中背景颜色自然，目标突出，十分有利于观察者对场景的感知，对目标的检测跟踪。由于融合视频色彩效果以及相关融合系数由观察者选定，这符合实际应用中的操作模式。

本实施例中采用红外视频与可见光视频来进行基于目标颜色对比度增强的自然感彩色融合，其具体实现过程包括如图1所示的四个步骤：

步骤一、在同一时间点，分别从红外视频和可见光视频中各提取一帧经光学配准的图像，即红外波段灰度图像I_IR和可见光波段灰度图像I_vis，作为伪彩色融合的输入。

步骤二、将步骤一得到的两帧灰度图像I_IR和I_vis进行线性运算映射至Lab颜色空间，得到红外与可见光图像的伪彩色融合图像，如式（1）。

$\left\{\begin{array}{c}L=m_1.I_{\mathrm{vis}}+m_2.I_{\mathrm{IR}}\\ a=I_{\mathrm{vis}}\\ b=I_{\mathrm{IR}}-I_{\mathrm{vis}}\end{array}\right.---\left(1\right)$

红外图像动态范围大，目标与背景差大时对比度很好；可见光图像高频成分多，能反映场景细节。为了使两种图像特征得以互补，伪彩色融合时通常采用将可见光映射至a（红-绿）通道，红外与可见光图像的差值送入b（黄-蓝）通道，两幅图像的加权和送至L通道（m₁+m₂=1）。其中，融合系数m₁和m₂受所采用的传感器类型、视频采集环境以及场景构成的影响，其值具体由观察者根据融合效果主观确定。它们的具体作用表现为：1）增大背景中与红外目标灰度相近的某些成分与红外目标的颜色距离，如图2红外图像前景中的树木与红外目标灰度相近，经加权融合后，颜色距离将被拉大。2）突出目标，丰富背景细节。图2、3给出两组用不同类型传感器捕获的不同实际场景的彩色融合效果，其中（a）为可见光图像，（b）为对应红外图像，（c）为伪彩色融合图像，我们实验时取m1的值分别为0.5和0.7。

步骤三、用预存的一组白光参考图像对步骤二得到的伪彩色融合图像进行颜色传递，由观察者选定一幅参考图像。

为校正步骤二得到的伪彩色融合图像的整体色调，并提高冷热目标与背景间的颜色对比度，用多幅参考图像分别对伪彩色融合图像进行色彩传递，获得不同的传递目标图像。由于色彩传递时只需要用到参考图像在去相关色空间Lab中各通道的均值和方差，因此系统硬件只需预存储参考图像的均值和方差，选择一定数量的典型参考图像库（如山林、灌木、沙漠、海面及蓝天白云等）并不占用更多的存储空间，进而可保证不同环境的应用要求。

图4给出了利用参考图像对图2(a)和(b)做色彩传递所获得的6幅传递结果图像。可以看出：色彩传递的结果与源伪彩色融合图像相比都更加鲜艳，饱和度也均有明显改善，但是图像的色彩自然感有所差别。根据观察者的视觉喜好，选择其中一种色彩传递结果图像效果。本实施例选择图4(e)所采用的参考图像。

步骤四、利用选定的参考图像对伪彩色融合图像通过线性与非线性结合的色彩传递处理进行颜色对比度增强的自然感颜色校正。

对L、a通道，利用线性颜色传递方法将由观察者选定的参考图像的一阶统计特性传输至伪彩色融合图像相应通道，表达式写为：

$\left\{\begin{array}{c}{L}^{\&prime;}=\frac{{\mathrm{\&sigma;}}_{\mathrm{rer}}^L}{{\mathrm{\&sigma;}}_{\mathrm{fuse}}^L}(L-<L_{\mathrm{fuse}}>)+<L_{\mathrm{ref}}>\\ a^{\&prime;}=\frac{{\mathrm{\&sigma;}}_{\mathrm{rer}}^a}{{\mathrm{\&sigma;}}_{\mathrm{fuse}}^a}(a-<a_{\mathrm{fuse}}>)+<a_{\mathrm{ref}}>\end{array}\right.---\left(2\right)$

其中，

和

分别表示参考图像与伪彩色融合图像在L、a通道的方差；<L_ref>、<a_ref>和<L_fuse>、<a_fuse>分别表示参考图像与伪彩色融合图像在L、a通道的均值。

为了进一步突出冷热目标，对伪彩色融合图像的b通道进行非线性颜色传递，在传输方程中加入伸缩因子w如下：

$b^{\&prime;}=w\&CenterDot;\frac{{\mathrm{\&sigma;}}_{\mathrm{rer}}^b}{{\mathrm{\&sigma;}}_{\mathrm{fuse}}^b}(b-<b_{\mathrm{fuse}}>)+<b_{\mathrm{ref}}>---\left(3\right)$

其中，和分别表示参考图像与伪彩色融合图像在b通道的方差；<b_ref>和<b_fuse>分别表示参考图像与伪彩色融合图像在b通道的均值。

伪彩色融合图像中各像素对应的伸缩因子w(i,j)由其亮度值到伪彩色融合图像亮度均值的距离dist(i,j)确定，距离越大，其值越大，表达式为：

w(i,j)=dist(i,j)/<dist>    （4）

$<\mathrm{dist}>=\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{dist}(i,j)/M\&times;N---\left(5\right)$

dist(i,j)=||L(i,j)-<L_fuse>)||^p    (6)

其中，M×N为图像大小，<dist>表示伪彩色融合图像亮度距离的均值；伸缩指数因子p是一个常数，由观察者根据实际增强需求确定，当其在一个适当范围内变化时，其值越大，目标与背景间的颜色对比度效果越好，如图5，伸缩指数因子p依次为3、4、6。

步骤五、用步骤二、三、四得到的参考图像和相关融合参数对红外与可见光视频进行颜色对比度增强的快速自然感彩色融合。

图6为采用现有技术对红外和可见光双波段视频进行色彩传递处理得到的4帧图像。图7给出了基于颜色对比度增强得到的双波段自然感彩色融合视频序列中的4帧图像。可以看出，图6中4帧图像虽具有自然的颜色效果，但整体被渲染成绿色，目标被淹没在树丛中，不利于观察。

与图6所示的处理效果对比可见，本发明基于颜色对比度增强的双波段视频自然感彩色融合方法得到的融合视频具有更加鲜明的颜色，目标更加突出，冷目标（如屋顶）被渲染成深蓝色，而热目标被渲染成鲜亮的黄色，更易于识别。

综上所述，本发明一种基于颜色对比度增强的自然感彩色融合方法，与现有技术相比，主要改进之处在于：

①采用一组参考图像进行色彩传递处理，得到的一组结果图像具有若干色彩效果，可供用户根据主观判断进行选择，有利于场景感知，符合进一步实际应用的操作模式；

②为了增大与目标灰度相近的某些背景成分与目标间的颜色距离，在伪彩色融合过程中将双波段灰度图像进行加权融合，由观察者根据主观判断选择融合系数，便于进一步对目标颜色的增强处理；

③为了突出冷热目标，并能使背景颜色保持自然，对伪彩色融合图像L、a通道实现全局线性颜色迁移，而对b通道根据各像素亮度与均值亮度的距离实现非线性颜色迁移，并增加伸缩指数因子，获得目标增强，背景抑制的效果。

以上实施例对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于颜色对比度增强的自然感彩色融合方法，其特征在于包括如下步骤：

（1）在同一时间点，分别从红外视频和可见光视频中各提取一帧经光学配准的灰度图像；

（2）将前述两帧灰度图像进行线性运算映射至Lab颜色空间，得到双波段图像的伪彩色融合图像，并由观察者选取效果最佳的融合系数；

（3）用预存的一组白光参考图像对前述伪彩色融合图像进行颜色传递，由观察者选定一幅参考图像；

（4）利用选定的参考图像对伪彩色融合图像通过线性与非线性结合的色彩传递处理进行颜色对比度增强的自然感颜色校正；

对L、a通道，利用线性颜色传递方法将由观察者选定的参考图像的一阶统计特性传输至伪彩色融合图像相应通道，表达式写为：

$\left\{\begin{array}{c}{L}^{\&prime;}=\frac{{\mathrm{\&sigma;}}_{\mathrm{rer}}^L}{{\mathrm{\&sigma;}}_{\mathrm{fuse}}^L}(L-<L_{\mathrm{fuse}}>)+<L_{\mathrm{ref}}>\\ a^{\&prime;}=\frac{{\mathrm{\&sigma;}}_{\mathrm{rer}}^a}{{\mathrm{\&sigma;}}_{\mathrm{fuse}}^a}(a-<a_{\mathrm{fuse}}>)+<a_{\mathrm{ref}}>\end{array}\right.$

其中，

和

分别表示参考图像与伪彩色融合图像在L、a通道的方差；<L_ref>、<a_ref>和<L_fuse>、<a_fuse>分别表示参考图像与伪彩色融合图像在L、a通道的均值；

对伪彩色融合图像的b通道进行非线性颜色传递，在传输方程中加入伸缩因子w如下：

$b^{\&prime;}=w\&CenterDot;\frac{{\mathrm{\&sigma;}}_{\mathrm{rer}}^b}{{\mathrm{\&sigma;}}_{\mathrm{fuse}}^b}(b-<b_{\mathrm{fuse}}>)+<b_{\mathrm{ref}}>$

其中，

和

分别表示参考图像与伪彩色融合图像在b通道的方差；<b_ref>和<b_fuse>分别表示参考图像与伪彩色融合图像在b通道的均值；

伪彩色融合图像中各像素对应的伸缩因子w(i,j)由其亮度值到伪彩色融合图像亮度均值的距离dist(i,j)确定，距离越大，其值越大，表达式为：

w(i,j)=dist(i,j)/<dist>

$<\mathrm{dist}>=\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{dist}(i,j)/M\&times;N$

dist(i,j)=||L(i,j)-<L_fuse>)||^p

其中，M×N为图像大小，<dist>表示伪彩色融合图像亮度距离的均值；伸缩指数因子p是一个常数，由观察者根据实际增强需求确定，当其在一个适当范围内变化时，其值越大，目标与背景间的颜色对比度效果越好；

（5）用前述步骤得到的参考图像和参数对红外与可见光视频进行颜色对比度增强的快速自然感彩色融合。

2.如权利要求1所述的基于颜色对比度增强的自然感彩色融合方法，其特征在于：所述步骤（2）中，进行线性运算的内容为：将可见光映射至a通道，将红外与可见光图像的差值送入b通道，将两帧图像的加权和送至L通道。

Images