CN104992418B - 一种适用于热像视频彩色化的异常色校正方法 - Google Patents

Abstract

本发明涉及一种适用于热像视频彩色化的异常色校正方法，包括以下步骤：1)找出当前帧上相对于前一帧的变化像素；2)在当前帧上以每个变化像素为初始点分别进行局部区域生长；3)计算每一区域的主色，并将该区域内与主色差异大于阈值的色彩判定为异常色；4)使用区域主色对异常色进行校正。与现有技术相比，本发明复杂度低，能在彩色化过程中进行实时的异常色检测和校正，可以显著提高彩色化结果的准确度。

Description

一种适用于热像视频彩色化的异常色校正方法

技术领域

本发明涉及一种彩色图像的异常色校正方法，尤其是涉及一种适用于热像视频彩色化的异常色校正方法。

背景技术

任何温度高于绝对零度的物体都有热辐射，其辐射的强度与物体温度的高低有关。热像仪探测物体的热辐射，将被测场景的温度分布形成视频图像，即热像。热像因其对热目标的高探测性和不受光照、雾霾等环境条件影响的高适应性被广泛应用于夜视观测领域，在军用和民用中都发挥着重要作用。

从成像效果来看，夜视用热像技术经历了三个发展阶段：灰度成像、假彩色成像及自然彩色成像。灰度成像就是用像素的亮度值来表示温度的高低，是热像的标准显示方式。但是由于人眼感知灰度信息远远没有感知彩色信息那么灵敏，现代夜视技术正逐渐向能进行彩色成像的彩色夜视发展；假彩色成像是以像素的亮度值为基础，通过查找表给具有不同亮度值的像素赋予不同的色彩值。假彩色成像虽然增加了色彩，增强了人眼观察的灵敏度，但是图像的色彩不连续并且极其不自然，妨碍了观察者对所观测场景的理解，不适用于场景监控。目前主要应用于设备检测及医学辅助诊断；自然彩色成像是借助模式识别或人机交互技术，通过构建热像中景物特征与该景物在白天所呈现出来的色彩之间的某种模式关系来进行彩色化显示的方法。自然彩色成像不但可以提高人眼观测的灵敏度，还由于热像中景物所呈现的色彩与人的认知体系相一致而可以显著提升观测者对场景的理解能力，是未来技术的发展方向。

目前，按照对关键帧处理方式的不同，针对热像视频实现自然彩色成像的方法可以分为两种：一种方法是利用模式识别技术，通过有监督学习或无监督学习将不同类别景物在热像中所呈现出的图像特征与其自然色彩相对应，直接或间接地通过判别像素所属的景物类别来估计该像素的色彩值，实现对关键帧的全自动化渲染。另一种方法在初始阶段需要少量人工参与，首先由操作者选定一段视频的关键帧并在关键帧上以少量彩色点或彩色短线条的方式标记出各类景物的色彩值，然后采用色彩扩展算法来自行完成关键帧的渲染。

不管是采用何种关键帧渲染方法，自然彩色成像技术的基本思路都是先提取并渲染关键帧，再在帧间像素具有某种时空相关性的约束条件下利用关键帧的彩色化结果对邻近帧进行递推式处理。即根据关键帧处理其后的第二帧，根据第二帧处理第三帧，以此类推。根据所使用约束条件的不同，这种逐帧处理过程又可以分为运动估计、特征跟踪、邻近匹配等多种方法。然而，任何一种方法在帧间处理时都可能由于估计不准、跟踪不准或匹配不准而不可避免地产生局部上色偏差，即异常色。而且这种异常色会随着递推过程逐渐积累扩大，直至显著影响到整幅画面效果，令视频序列的渲染不能继续有效进行。

因此，异常色的检测和校正在热像视频彩色化处理中至关重要。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种适用于热像视频彩色化的异常色校正方法。

本发明的目的可以通过以下技术方案来实现：

一种适用于热像视频彩色化的异常色校正方法，其特征在于，包括以下步骤：

1)找出当前帧上相对于前一帧的变化像素；

2)在当前帧上以每个变化像素为初始点分别进行局部区域生长；

3)计算每一区域的主色，并将该区域内与主色差异大于阈值的色彩判定为异常色；

4)使用区域主色对异常色进行校正。

所述的变化像素具体为：

用当前帧上像素的亮度值减去前一帧上相应位置的像素的亮度值，亮度差异大于给定阈值的像素点。

所述的区域生长在亮度通道上进行，按照给定的生长规则及停止条件，用区域生长算法得到以每个变化像素为初始生长点的局部区域。

各局部区域之间可重叠。

所述的区域生长算法具体包括以下步骤：

a.以变化像素为初始生长点；

b.将相邻的且相似的像素归并到目前的区域中；

c.重复步骤b，从而逐步增长区域，直至区域面积达到设定的阈值或没有可归并的像素点为止。

所述的相似的像素为相似性度量在设定的阈值范围内，其中相似性度量为相邻像素与初始生长点之间的亮度差、当前区域平均灰度或者纹理信息。

所述的区域的主色计算为区域内所有像素的色彩通道的平均值，或计算为区域内所有像素的色彩通道的中位值。

所述的校正过程为：使用区域主色的色彩值替换该区域内具有异常色的像素的色彩值。

与现有技术相比，本发明复杂度低、占用运算资源少等优点，能在彩色化过程中进行实时的异常色检测和校正，显著提高热像视频彩色化的准确度。

附图说明

图1为本发明的算法流程图。

图2为实施例的变化像素示例图。

图3为实施例的生长区域示例图。

图4为实施例未使用本发明方法与使用本发明方法的彩色化效果对比图，其中a)为未使用本发明方法的彩色化效果图，b)为使用本发明方法的彩色化效果图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

图1所示为本发明一种适用于热像视频彩色化的异常色校正方法的流程图。本发明采用逐帧处理的框架，应用于当现有彩色化方法对当前帧完成处理之后，对下一帧开始处理之前。在完成对当前帧的异常色校正之后，系统读取下一帧作为当前帧，重复这一过程，直至视频序列完成全部彩色化处理。以下结合实施例对图1中涉及异常色校正的过程进行详细描述。

(1)找出当前帧上相对于前一帧的变化像素。用当前帧上像素的亮度值减去前一帧上相应位置的像素的亮度值，亮度差异大于给定阈值的像素点称为变化像素。图2显示了本实施例的第1帧后的连续5帧的变化像素。由图可知在热像视频中，变化像素常常出现在移动物体的边缘附近，只占全部像素的一小部分。在本实施例中，亮度差异的阈值设定为3(灰度级为0～255)。

(2)在当前帧上以每个变化像素为初始点分别进行局部区域生长。区域生长在亮度通道上进行，按照给定的生长规则及停止条件，用区域生长算法得到以每个变化像素为初始生长点的局部区域。各局部区域之间可重叠。图3显示了本实施例中第二帧上以八个不同变化像素为初始点进行区域生长所得到的局部区域。

在本实施例中，区域生长算法包括以下步骤：

a.以变化像素为初始生长点；像素之间的相似性度量使用相邻像素与初始生长点之间的亮度差。设定亮度差小于30的相邻像素满足生长条件(灰度级为0～255)。

b.将相邻的且相似的像素归并到目前的区域中；

c.重复步骤b,从而逐步增长区域，直至区域面积达到设定的阈值或没有可以归并的像素点为止。在本实施例中，设定区域的面积不超过500个像素。

(3)计算每一区域的主色，并将该区域内与主色差异大于阈值的色彩判定为异常色。在本实施例中，区域的主色计算为区域内所有像素的色彩通道的中位值；与色彩中位值差异大于该中位值20％的色彩值被判定为异常色。

(4)使用区域主色对异常色进行校正。校正方法为使用区域主色的色彩值替换该区域内具有异常色的像素的色彩值。

图4为本实施例未使用本发明方法与使用本发明方法的彩色化效果对比图。图4中的第一行为未使用本发明方法的热像视频彩色化效果。视频第一帧为关键帧，所用到的彩色化方法为基于模式识别的有监督学习方法。该方法通过预先对大量人工渲染的热像进行统计学习来得到一个可以根据图像特征估计出色彩的模型，然后利用模型自动渲染新的热像。相邻帧的处理方法为递推式，借助于像素匹配和色彩传递根据前一帧的彩色化结果渲染当前帧。图4中的第一行显示了该方法的彩色化结果的第10帧、第20帧及第30帧，可以看到在第10帧中左侧树木的边缘出现了异常色，这块异常色在后续帧的彩色化处理中逐渐扩大，在第20帧及第30帧中已经非常显著。图4中的第二行显示了用同样的方法彩色化方法但使用本发明的彩色化效果。通过在每一帧彩色化后再使用本发明进行异常色校正，递推式帧序列彩色化处理可以更准确的进行。如图所示，使用本发明后，同一视频序列的第10帧、第20帧及第30帧中都没有出现异常色。本实施例充分显示了本发明的有效性。

Claims (7)

1.一种适用于热像视频彩色化的异常色校正方法，其特征在于，包括以下步骤：

1)找出当前帧上相对于前一帧的变化像素；2)在当前帧上以每个变化像素为初始点分别进行局部区域生长；3)计算每一区域的主色，并将该区域内与主色差异大于阈值的色彩判定为异常色；4)使用区域主色对异常色进行校正；

所述的区域生长在亮度通道上进行，按照给定的生长规则及停止条件，用区域生长算法得到以每个变化像素为初始生长点的局部区域。

2.根据权利要求1所述的一种适用于热像视频彩色化的异常色校正方法，其特征在于，所述的变化像素具体为：

用当前帧上像素的亮度值减去前一帧上相应位置的像素的亮度值，亮度差异大于给定阈值的像素点。

3.根据权利要求1所述的一种适用于热像视频彩色化的异常色校正方法，其特征在于，各局部区域之间可重叠。

4.根据权利要求1所述的一种适用于热像视频彩色化的异常色校正方法，其特征在于，所述的区域生长算法具体包括以下步骤：

a.以变化像素为初始生长点；

b.将相邻的且相似的像素归并到目前的区域中；

c.重复步骤b，从而逐步增长区域，直至区域面积达到设定的阈值或没有可归并的像素点为止。

5.根据权利要求4所述的一种适用于热像视频彩色化的异常色校正方法，其特征在于，所述的相似的像素为相似性度量在设定的阈值范围内，其中相似性度量为相邻像素与初始生长点之间的亮度差、当前区域平均灰度或者纹理信息。

6.根据权利要求1所述的一种适用于热像视频彩色化的异常色校正方法，其特征在于，所述的区域的主色计算为区域内所有像素的色彩通道的平均值，或计算为区域内所有像素的色彩通道的中位值。

7.根据权利要求1所述的一种适用于热像视频彩色化的异常色校正方法，其特征在于，所述的校正过程为：使用区域主色的色彩值替换该区域内具有异常色的像素的色彩值。