CN101867685B - 基于颜色查找表的双波段视频快速自然感彩色融合方法 - Google Patents

Abstract

本发明涉及一种基于颜色查找表的双波段视频快速自然感彩色融合方法，属于彩色夜视成像领域。该方法首先根据双波段灰度图像和用色彩传递方法得到的自然感彩色图像之间的像素灰度值和颜色值的对应关系，初步建立二维颜色查找表；然后，按像素间欧氏距离越接近颜色越相似的原则，进一步得到完整的颜色查找表；最后，使用该完整颜色查找表进行双波段视频的快速自然感彩色融合，建立起实际应用中有利于不同观察者感知场景的操作模式。本发明通过二维颜色查找表给输入视频各帧图像直接进行颜色赋值，使算法运行速度大幅提升；融合视频中景物颜色的稳定性明显改善。由于融合视频色彩效果由观察者选定，这十分有利于观察者对场景的感知，符合实际应用中的操作模式。

Description

基于颜色查找表的双波段视频快速自然感彩色融合方法

技术领域

本发明涉及一种基于颜色查找表的双波段视频快速自然感彩色融合方法，属于彩色夜视成像领域。

背景技术

现代战场侦察对目标的探测和识别要求越来越高，战场伪装使得目标的探测更加困难。单波段的成像仪器已经不能满足战场的需要。为了更有效的发现目标，长波、中波红外热像仪、可见光传感器包括微光夜视仪都广泛应用于军事领域。而多波段图像融合技术可以充分利用不同传感器各自的优势，弥补单一传感器的不足。由于人眼能分辨的颜色等级是灰度等级的几百倍，因此，在以人眼观察为主的任务中，如直升机巡逻、车辆驾驶等，彩色融合图像更有利于场景的记忆，提高观察者的反应速度，增强对场景的印象。适于人眼感知的多波段自然感彩色融合成像成为国内外研究的重要方向。

上世纪九十年代美国MIT林肯实验室Waxman等基于对生物视觉特性增强波段内图像对比度和波段间彩色对比度，提出了多种符合人眼视觉的微光和红外图像融合方法。荷兰TNO研究所的Toet等提出用局部最小算子确定微光与红外图像的共有和独有成分并增强特定细节的自然感彩色融合方法。2003年借鉴Reinhard等为校正彩色照片偏色所做的处理，Toet等提出基于色彩传递的多波段图像彩色融合方法，将白光彩色图像的色彩传递到颜色对比强烈的融合图像中，明显改善了图像自然感。然而，多数自然感彩色融合方法的运算量很大，对硬件的要求较高，不利于快速处理，限制了该方法在成像系统中的应用。

计算机科学中的查找表是一种以提取内存数据代替复杂计算的数据结构，而颜色查找表则是多媒体技术中存储和显示彩色图像时常用的数据结构，通过图像像素值索引颜色查找表的颜色值，能减少空间占用、提高处理速度。彩色印刷、网页编辑等技术经常使用颜色查找表。2008年Toet等曾用颜色查找表进行视频融合，但他们建立颜色查找表时没有解决颜色查找表中某些像素没有颜色值的问题，而且建立颜色查找表过程中没有对图像做色彩传递处理；另外，他们的方法中同时采集的配准视频包括了夜视视频和白天光照条件的视频，所以并不符合实际应用场合。

发明内容

本发明的目的是为解决现有技术中双波段视频的自然感彩色融合的实现速度较低，以及融合视频中同一景物在不同帧的颜色不稳定的问题，提出一种基于颜色查找表的双波段视频快速自然感彩色融合方法。

本发明所述方法的设计原理为：根据双波段灰度图像和用色彩传递方法得到的自然感彩色图像之间的像素灰度值和颜色值的对应关系，初步建立二维颜色查找表；然后，按像素间欧氏距离越接近颜色越相似的原则，进一步得到完整的颜色查找表；最后，使用该完整颜色查找表进行双波段视频的快速自然感彩色融合，建立起实际应用中有利于不同观察者感知场景的操作模式。

本发明的基于颜色查找表的双波段视频快速自然感彩色融合方法，包括如下步骤：

步骤一、在同一时间点，分别从双波段视频中提取一帧图像。

首先采集经光学配准的两个波段视频，然后从得到的两个视频的同一时间点分别提取一帧图像，从而得到两幅配准的灰度图像，其目的是用于建立二维颜色查找表。

步骤二、将步骤一得到的两帧灰度图像映射到RGB颜色空间，得到双波段图像的假彩色融合图像。

首先新建一幅R、G、B三个颜色通道值全为0的RGB图像，然后将步骤一得到的两幅灰度图像分别映射到其中两个颜色通道中，得到双波段图像的假彩色融合图像。

步骤三、对步骤二得到的假彩色融合图像通过色彩传递处理进行自然感颜色校正。

为校正步骤二得到的假彩色融合图像的整体色调，改善颜色饱和度，用预存的一组白天光照下采集的自然感彩色图像作参考图像，将参考图像的色彩分别传递给假彩色融合图像，得到一组色彩传递结果图像，并由观察者选取其中色彩自然感最佳的一幅。

步骤四、建立不完整的二维颜色查找表。

同时逐像素扫描步骤一得到的两幅灰度图像和步骤三得到的色彩自然感最佳的色彩传递结果图像，以得到的两幅灰度图像各像素灰度值分别作横纵坐标，以色彩传递结果图像对应的与两灰度图像像素位置相同的像素的三个颜色值(R、G、B颜色值)作查找表的取值，初步建立不完整的颜色查找表。

步骤五、建立完整的二维颜色查找表。

对于步骤四得到的不完整的二维颜色查找表中没有颜色值的像素，将与其欧氏距离最近的像素颜色均值赋值给它们，得到完整的二维颜色查找表。

步骤六、用步骤五得到的完整二维颜色查找表进行双波段视频快速自然感彩色融合。

将步骤一中采集到的已配准的双波段视频做如下的连续处理：用双波段视频的各帧图像的各像素点灰度值，以在步骤四中所建立坐标系为依据，查询步骤五得到的二维颜色查找表，确定出融合后对应各像素的颜色值，从而快速获得双波段自然感彩色融合视频。

有益效果

本发明在实现双波段视频自然感彩色融合时，相对于以往的基于生物视觉特性的自然感彩色融合算法，以及基于色彩传递的自然感彩色融合算法具有以下优势：

(1)现有技术有的采用传统方法对各帧图像分别处理，有的虽应用了颜色查找表但建立颜色查找表的方式不符合实际应用需求。本发明提出一种基于色彩传递处理建立二维颜色查找表的方法，并通过二维颜色查找表给输入视频各帧图像直接进行颜色赋值，算法运行速度有大幅提升。

(2)现有的图像色彩传递处理技术在处理视频的各帧图像时，需分别计算各帧图像的三个颜色通道的均值和标准差，造成融合视频中景物的颜色会随着各帧图像整体场景的不同而变化。本发明基于颜色查找表的双波段视频快速自然感彩色融合方法中，因为同一组灰度值输入颜色查找表索引到的颜色值也相同，所以融合视频中景物颜色的稳定性明显改善。

(3)对人眼视觉特性的研究和实验表明，人眼颜色视觉是视觉生理和心理共同作用的结果，因此不同观察者对某图像或者视频的色彩自然感程度会有不同的主观评价。本发明基于颜色查找表的双波段视频快速自然感彩色融合方法中，融合视频色彩效果由观察者选定，这十分有利于观察者对场景的感知，符合实际应用中的操作模式。

附图说明

图1为本发明基于颜色查找表的双波段视频快速自然感彩色融合方法的流程图；

图2为具体实施例中实际场景的假彩色融合效果图；其中，(a)为长波红外图像、(b)为可见光图像、(c)为假彩色融合图像；

图3为具体实施例中图2中假彩色融合图像的一组色彩传递结果图像；

图4为具体实施例中根据观察者选择建立的二维颜色查找表；

图5为具体实施例中基于图4的二维颜色查找表的双波段快速自然感彩色融合视频的其中四帧图像；

图6为具体实施例中采用现有技术进行的双波段自然感彩色融合视频的其中四帧图像。

具体实施方式

本发明所提供的基于颜色查找表的双波段视频快速自然感彩色融合方法，与现有技术相比，主要改进之处在于

①采用一组参考图像进行色彩传递处理，得到的一组结果图像具有若干色彩效果，可供用户根据主观判断进行选择，有利于场景感知，符合进一步实际应用的操作模式。

②初步建立颜色查找表时，采用观察者选取的色彩传递结果图像提供颜色值，而不是采用与双波段灰度图像配准的白天光照条件下采集的灰度图像，降低了获取输入视频的难度，与实际应用场合情况相符。

③为解决查找表中颜色信息不完整的问题，根据像素距离越近颜色也应越相似的原则，将查找表中欧氏距离最近的像素颜色值赋值给没有颜色值的像素，得到颜色信息完整的颜色查找表。

为了进一步说明本发明的目的和优点，下面结合附图和具体实施例对本发明作进一步的说明。

本实施例中采用长波红外视频与可见光视频来进行基于颜色查找表的快速自然感彩色融合。其具体实现过程包括如图1所示的六个步骤：

步骤一、在同一时间点，分别从长波红外视频和可见光视频中各提取一帧图像。

采集光学配准的长波红外与可见光两路视频，然后从得到的两路视频的同一时间点分别提取一帧图像，从而得到两幅配准的灰度图像，即长波红外波段图像I_IR和可见光波段图像I_vis。I_IR和I_vis的各像素灰度值将作为二维颜色查找表的输入。

步骤二、将步骤一得到的长波红外与可见光的两帧灰度图像I_IR和I_vis映射到RGB颜色空间，得到长波红外与可见光图像的假彩色融合图像。

长波红外图像动态范围大，目标与背景温差大时对比度很好；可见光图像高频成分多，能反映场景细节。为了使两种图像特征得以互补，假彩色融合时通常采用将长波红外图像映射到R颜色通道，将可见光送入G颜色通道，B颜色通道置零的方式。附图2给出一组实际场景的假彩色融合效果，其中(a)为长波红外图像，(b)为可见光图像，(c)为假彩色融合图像。

步骤三、对步骤二得到的假彩色融合图像通过色彩传递处理进行自然感颜色校正。

用多幅参考图像分别对假彩色融合图像进行色彩传递，获得不同的传递目标图像。由于色彩传递时只用到参考图像在去相关对立色空间1αβ中各通道均值和标准差，因此系统硬件中只需预存储参考图像的均值和标准差，选择一定数量的典型参考图像库(如山林、灌木、丘陵、沙漠、城镇、海面以及蓝天白云等)并不占用更多的存储空间，进而可保证不同环境的应用要求。

附图3给出了利用参考图像对附图2(c)做色彩传递所获得的6幅传递结果图像，可以看出：色彩传递的结果图像与源图像相比都更加鲜艳，饱和度也均有明显改善，但是图像的色彩自然感有所差别。根据观察者的视觉喜好，选择其中一种色彩传递结果图像效果，本实施例选择的是图3(d)。

步骤四、建立不完整的二维颜色查找表。

根据输入的双波段图像灰度值与选定的色彩传递结果图像颜色值建立不完整的二维颜色查找表，即长波红外与可见光两个波段图像的灰度值对应一个色彩传递结果图像颜色值。输入的双波段图像为I_IR和I_vis，经彩色空间映射和色彩传递处理后得到观察者认可的传递结果I_trans，初步建立一个二维颜色查找表L₀，具体方法是把I_IR和I_vis各像素的灰度值作为L₀的横、纵坐标，将相同位置的I_IR和I_vis灰度值所对应I_trans在该位置的颜色值(RGB值)作为L₀的值，表达式写为

$\left\{\begin{array}{c}{L}_0[I_{\mathrm{IR}}(x,y),I_{\mathrm{vis}}(x,y),1]=I_{\mathrm{trans}}(x,y,1)\\ L_0[I_{\mathrm{IR}}(x,y),I_{\mathrm{vis}}(x,y),2]=I_{\mathrm{trans}}(x,y,2)\\ L_0[I_{\mathrm{IR}}(x,y),I_{\mathrm{vis}}(x,y),3]=I_{\mathrm{trans}}(x,y,3)\end{array}\right.---\left(1\right)$

其中x∈{0，1，2，…，m-1}，y∈{0，1，2，…，n-1}，m、n为图像行列数。图像I_IR、I_vis的灰度及I_trans各颜色通道的取值均为[0，255]，颜色查找表L₀横纵坐标范围均为[0，255]，最多可索引65536种颜色。

步骤五、建立完整的二维颜色查找表。

由于实际的双波段视频图像通常不会占据全部灰度值，上述过程建立的其实是一个不完整的二位颜色查找表。其一方面的原因为I_IR和I_vis的灰度值集合包含于查找表的坐标值集合，即

$\left\{\right[I_{\mathrm{IR}}(x,y),I_{\mathrm{vis}}(x,y)\left]\right\}\⊆\left\{(x_0,y_0)\right|x_0,y_0\∈\{\mathrm{0,1,2},...,255\}\}---\left(2\right)$

另一方面的原因为：彩色融合图像I_trans提供的数据不能覆盖整幅颜色查找表，因此查找表L₀中会出现横或竖线和若干间断点。L₀只给出了部分灰度与颜色之间的映射关系，直接应用于视频融合会使某些帧的部分像素不能彩色化。

对于不完整查找表的问题，我们根据“输入灰度值越接近，输出颜色应越相似”的原则，将欧氏距离最近的像素颜色赋值给L₀中没有颜色的像素，从而建立完整的颜色查找表。具体实现方法是以L₀中R+G+B＝0的像素为圆心，画包含有颜色像素而且半径最小的圆，取圆上颜色均值作圆心的颜色值，遍历L₀后得到完整颜色查找表L，如附图4。

步骤六、用步骤五得到的完整二维颜色查找表L对长波红外和可见光视频进行快速自然感彩色融合。

利用二维颜色查找表L直接对输入的长波红外和可见光双路视频进行颜色赋值，即由同帧时双波段视频图像的同坐标像素点灰度值查询完整的二维颜色查找表，确定出自然感彩色融合后对应像素的颜色值。附图5给出了基于图4的二维颜色查找表实际得到的双波段快速自然感彩色融合视频序列中的4帧图像。附图6为采用现有技术对长波红外和可见光双波段视频进行色彩传递处理得到的4帧图像，可以看出虽然4帧图像整体色彩差异不大，但第219帧的树叶与其它三帧中的相同树叶相比颜色偏红，而第463帧的建筑物与其它三帧中的相同建筑物相比颜色又较暗。

与附图6所示的处理效果对比可见，本发明基于颜色查找表的双波段视频快速自然感彩色融合方法得到的融合视频具有很好的色彩稳定性，可避免传统方法在场景变化时，由于各帧假彩色图像各通道均值μ_SC和标准差σ_SC改变而产生的不同帧间同一景物色彩不稳定现象。由于二维颜色查找方式省去了对每帧图像进行颜色空间变换与反变换、lαβ通道的均值与标准差计算以及色彩传递计算等过程，因此，计算量明显减少，可实现实时双通道自然感彩色融合处理。

其中，本具体实施方式中的步骤一在获取配准的双波段视频时，不仅可采集长波红外波段与可见光波段的灰度视频，也可采集紫外、近红外、中波红外等波段的灰度视频，即可实现相应的双波段视频快速自然感彩色融合。另外，为得到更多种效果的色彩传递结果图像，步骤二双波段图像映射到RGB空间时，可将长波红外图像和可见光图像分别映射到R和B通道或者G和B通道，还可改变灰度图像与颜色通道的排列组合，以获得不同的融合色彩效果。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.基于颜色查找表的双波段视频快速自然感彩色融合方法，其特征在于：首先根据双波段灰度图像和用色彩传递方法得到的自然感彩色图像之间的像素灰度值和颜色值的对应关系，初步建立二维颜色查找表；然后，按像素间欧氏距离越接近颜色越相似的原则，进一步得到完整的颜色查找表；最后，使用该完整颜色查找表进行双波段视频的快速自然感彩色融合，建立起实际应用中有利于不同观察者感知场景的操作模式；具体包括如下步骤：

步骤一、在同一时间点，分别从双波段视频中提取一帧图像；

首先采集经光学配准的两个波段视频，然后从得到的两个视频的同一时间点分别提取一帧图像，得到两幅配准的灰度图像，用于建立二维颜色查找表；

步骤二、将步骤一得到的两帧灰度图像映射到RGB颜色空间，得到双波段图像的假彩色融合图像；

首先新建一幅R、G、B三个颜色通道值全为0的RGB图像，然后将步骤一得到的两幅灰度图像分别映射到其中两个颜色通道中，得到双波段图像的假彩色融合图像；

步骤三、对步骤二得到的假彩色融合图像通过色彩传递处理进行自然感颜色校正；

为校正步骤二得到的假彩色融合图像的整体色调，改善颜色饱和度，用预存的一组白天光照下采集的自然感彩色图像作参考图像，将参考图像的色彩分别传递给假彩色融合图像，得到一组色彩传递结果图像，并由观察者选取其中色彩自然感最佳的一幅；

步骤四、建立不完整的二维颜色查找表；

同时逐像素扫描步骤一得到的两幅灰度图像和步骤三得到的色彩自然感最佳的色彩传递结果图像，以得到的两幅灰度图像各像素灰度值分别作横纵坐标，以色彩传递结果图像对应的与两灰度图像像素位置相同的像素的三个颜色值(R、G、B颜色值)作查找表的取值，初步建立不完整的颜色查找表；

步骤五、建立二维颜色查找表；

对于步骤四得到的不完整的二维颜色查找表中没有颜色值的像素，将与其欧氏距离最近的像素颜色均值赋值给它们，得到完整的二维颜色查找表；

步骤六、用步骤五得到的完整二维颜色查找表进行双波段视频快速自然感彩色融合：

将步骤一中采集到的已配准的双波段视频做如下的连续处理：用双波段视频的各帧图像的各像素点灰度值，以在步骤四中所建立坐标系为依据，查询步骤五得到的二维颜色查找表，确定出融合后对应各像素的颜色值，从而快速获得双波段自然感彩色融合视频。

2.根据权利要求1所述的基于颜色查找表的双波段视频快速自然感彩色融合方法，其特征在于：二维颜色查找表基于色彩传递处理建立，并通过二维颜色查找表给输入视频各帧图像直接进行颜色赋值。

3.根据权利要求1所述的基于颜色查找表的双波段视频快速自然感彩色融合方法，其特征在于：融合视频色彩效果由观察者选定。

Images