CN104408749A - 一种基于色彩混合的快速红外彩色夜视实现方法 - Google Patents

Abstract

本发明涉及一种基于色彩混合的快速红外彩色夜视实现方法，包括以下步骤：步骤1、将给定参考点的色彩进行加权混合为关键帧上色；步骤2、将自适应参考点的色彩进行平均混合为后续帧上色。与现有技术相比，本发明具有能对红外热像进行实时彩色化，为单色的红外热像赋予与人眼在白天看到的景物一样的自然色彩。

Description

一种基于色彩混合的快速红外彩色夜视实现方法

技术领域

本发明涉及一种快速彩色夜视实现方法，尤其是涉及一种基于色彩混合的快速红外彩色夜视实现方法。

背景技术

彩色夜视技术通过给单色的夜视图像赋予色彩来提高观察者对场景的理解能力，是夜视技术的发展方向。夜视技术主要分为微光夜视和红外夜视两大类。其中，红外夜视是利用红外热像传感器将人眼不可见的热辐射转化为电信号并成像，是进行目标观测的重要手段。红外热像传感器不受光照、雨雾等环境条件的影响，可以全天候工作，在军用和民用领域中都有着广泛应用。

红外热像的彩色化不同于普通黑白影像的彩色化，有其自身特点。首先，由于成像机制不同，红外热像的亮度分布规律与可见光图像极为不同：在可见光图像中较暗的物体在红外热像中可能具有较高的亮度，并且红外热像的内容常常具有较大的明暗反差。其次，红外热像纹理信息匮乏、边界模糊、图像特征不明显。因此，适用于普通黑白影像彩色化或微光夜视彩色化的方法并不适用于红外热像的彩色化。

目前，适用于红外热像的彩色化方法主要分为两类。一类方法需要使用包含微光信息和红外信息的多波段图像，基于不同波段间的信息差来渲染图像，因而不能单独对红外热像使用。另一类方法基于机器学习技术，适用于单波段的红外热像。这类方法通过预先对大量人工渲染的红外热像进行统计学习来得到一个可以根据图像特征估计出色彩的模型，然后利用模型自动渲染新的红外热像。此类方法的一个显著缺点就是计算量非常大，无法适应红外视频的实时处理要求。另外，此类方法没有考虑视频中前后帧的相关性，渲染出来的视频序列缺乏色彩的一致性，同一物体在前后帧中的色彩常常会出现可见差异。

因此，针对红外热像视频，开发一种适用于实时处理的彩色夜视实现方法具有重要意义。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于色彩混合的快速红外彩色夜视实现方法，能对红外热像进行实时彩色化，为单色的红外热像赋予与人眼在白天看到的景物一样的自然色彩。

本发明的目的可以通过以下技术方案来实现：

一种基于色彩混合的快速红外彩色夜视实现方法，其特征在于，包括以下步骤：

步骤1、将给定参考点的色彩进行加权混合为关键帧上色；

步骤2、将自适应参考点的色彩进行平均混合为后续帧上色。

所述的步骤1、将给定参考点的色彩进行加权混合为关键帧上色具体为：

步骤1.1、读取视频的第一帧作为关键帧，其中第一帧包含给定参考点；

步骤1.2、将关键帧从RGB色彩空间(图像默认存储格式)变换到LUV色彩空间，其中L为亮度通道，U、V为色彩通道，使用LUV色彩空间可以只改变色彩通道的值而不影响图像原来的亮度值；

步骤1.3、计算出关键帧上每个目标像素到所有给定参考点的固有距离；

步骤1.4、计算出关键帧上每个目标像素的色彩值；

步骤1.5、将关键帧从LUV色彩空间变换回RGB色彩空间；

步骤1.6、输出已上色的关键帧。

所述的步骤1.1中给定参考点为指作为输入给出、在所属帧中的行列坐标及色彩值都已知的像素点；

所述的关键帧为需要根据给定参考点进行渲染的帧，给定参考点通过人工方式标记或由自动化方式标记。

所述的人工方式标记为操作者预先在图像上以个别彩色点或彩色短线条的方式标记出各类景物的色彩值，所述的自动化方式标记为使用算法预先自动化地识别出图像中景物的类别并对其进行色彩值标记。

所述的步骤1.3中的固有距离为连接图中的最短路径距离，采用Dijkstra算法计算。

所述的连接图为一种由节点和边组成的图，通过以下方法将一幅灰度图像转化为一个连接图：将灰度图像中的每个像素用一个节点表示，并且每个节点与上下左右四个节点用边相连，其中边的长度定义为两个节点的绝对亮度差，绝对亮度差是指像素之间亮度差的绝对值。

所述的步骤1.4中的色彩值(U通道、V通道)由按照固有距离对所有给定参考点的色彩值进行加权平均而得到，其中，权值为固有距离的一种衰减函数。即，每个目标像素的色彩都由全部给定参考点的色彩按权值混合而成：与该目标像素固有距离较小的给定参考点的色彩所占比重较大，与该目标像素固有距离较大的给定参考点的色彩所占比重较小。

所述的步骤2、将自适应参考点的色彩进行平均混合为后续帧上色具体步骤如下：

步骤2.1、读取下一帧作为当前帧；

步骤2.2、将当前帧从RGB色彩空间变换到LUV色彩空间；

步骤2.3、将当前帧上的目标像素与前一帧上的同位像素进行亮度值比较，设定阈值T，如果绝对亮度差小于或等于T，执行步骤2.4；反之，执行步骤2.5，其中同位像素是指行列坐标相同的像素；

步骤2.4、令当前帧上满足阈值条件的目标像素继承其前一帧上同位像素的色彩值，即U、V通道的值，并执行步骤步骤2.7；

步骤2.5、在前一帧上，以当前帧上不满足阈值条件的目标像素的同位像素为中心，按照二维Double Lomax分布的概率进行搜索，将搜索范围内与目标像素的绝对亮度差最小的k个像素列为该目标像素的自适应参考点，并执行步骤步骤2.6；

所谓搜索范围是指，在中心像素周围依照二维Double Lomax分布，其概率值显著大于零的区域，所谓的二维Double Lomax分布，是指数据在横、纵坐标方向上分别独立地服从一维Double Lomax分布的分布，其中，一维Double Lomax分布具有如下的概率函数：

$\mathrm{DL}\left(x\right|0,\mathrm{\η},f)=\frac{\mathrm{\η}}{2}{(1+\frac{\mathrm{\η}\left|x\right|}{f})}^{-(f+1)},\mathrm{\η}>0,f>0.$

x为随机变量，η为尺度参数，f为形状参数，参数0表示其均值为零，因此该分布以x＝0为中心、左右对称，本步骤在中心像素周围按照二维Double Lomax分布概率进行搜索是因为，统计分析表明，红外热像视频前后帧中像素的移动规律符合二维Double Lomax分布；

步骤2.6、计算当前帧上每个目标像素的色彩值，该色彩值为其全部自适应参考点的平均色彩值(U通道、V通道)，并执行步骤步骤2.7；

步骤2.7、将当前帧从LUV色彩空间变换回RGB色彩空间；

步骤2.8、输出显示已上色的当前帧；

步骤2.9、重复步骤2.1至步骤2.8，直至所有序列帧都渲染完毕。

所述的步骤1.3和步骤2.5中所涉及的待搜索数据均采用具有如下特征一种近似优先级队列存储：

a)该近似优先级队列结构将整个优先级范围分为L个区间，建立L条子队列，该子队列定义为一种先进先出的堆栈，每个子队列中只存储具有相应优先级区间的元素，子队列按照所包含的优先级区间依序排列，其中优先级，是指待排序元素的数值越小的优先级越高，数值越大的优先级越低；

b)每增加一个元素时根据其优先级所属区间决定它应该属于哪条子队列，并直接加到该子队列的末尾；取元素时直接取第一条非空队列中的第一个非空元素。

所谓的待搜索数据，在步骤1.3中，为使用Dijkstra算法计算最短路径时，关键帧上每个给定参考点与全体目标像素间的固有距离的当前值。Dijkstra算法每一步迭代都需要找出该当前值中的最小值用于更新。若每一帧上有m个给定参考点，n个像素点，则当使用无序链表存储待搜索数据时，Dijkstra算法每迭代一步的复杂度为mO(n)，进而计算全帧的复杂度为mO(n²)；当使用基于二叉树的优先级队列存储待搜索数据时，Dijkstra算法每迭代一步的复杂度为mO(log(n))，进而计算全帧的复杂度为mO(nlog(n))；当使用本部分所定义的近似优先级队列来存储待搜索数据时，Dijkstra算法每迭代一步的复杂度为mO(1)，进而计算全帧的复杂度为mO(n)，显著加速了计算。

所谓的待搜索数据，在步骤2.5中，为当前帧上每个目标像素与前一帧上位于其搜索范围内的全体像素的绝对亮度差。步骤2.5要求找出该待搜索数据中最小的k个值，将这k个值对应的像素列为该目标像素的自适应参考点。若当前帧上有p个目标像素，每个目标像素的搜索范围内有q个像素，则当使用无序链表存储待搜索数据时，待搜索数据排序的复杂度是O(q²)，进而计算全帧的复杂度为pO(q²)；当使用基于二叉树的优先级队列存储待搜索数据时，待搜索数据排序的复杂度是O(log(q))，进而计算全帧的复杂度为pO(log(q))；当使用本部分所定义的近似优先级队列来存储待搜索数据时，该步骤的复杂度是pO(1)，显著加速了计算。

因此，该近似优先级队列进行每一次插入和提取操作的时间复杂度都为O(1)。

与现有技术相比，本发明具有不依赖其他波段图像就能为红外热像赋予与人眼在白天看到的景物一样的自然色彩；算法复杂度低，能实现实时彩色化。

附图说明

图1为本发明的方法流程图；

图2(a)输入的黑白红外热像视频序列，图2(b)为输出的彩色红外热像视频序列；

图3(a)为本发明所用到的二维Double Lomax分布三维视图，图3(b)为本发明所用到的二维Double Lomax分布的两维视图；

图4为按照二维Double Lomax分布所设计的一种搜索模板；

图5为近似优先级队列示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

图1为本发明的流程图。本发明的方法可分为两个步骤：第一个步骤将给定参考点的色彩进行加权混合为关键帧上色；第二步骤将自适应参考点的色彩进行平均混合为后续帧上色。每个步骤又由若干个子步骤组成：第一个步骤由图1中的步骤101至步骤106组成；第二个步骤由图1中的步骤107至步骤115组成。以下对图1的各步骤进行详细描述：

在步骤101中，算法读取视频的第一帧(含给定参考点)作为关键帧。在本实施例中，读取的关键帧如图2(a)的第一帧所示。在本实施例中，给定参考点由人工方式标记。然后执行步骤102。

在步骤102中，关键帧的存储格式从RGB色彩空间变换到LUV色彩空间。然后执行步骤103。

在步骤103中，计算关键帧上每个目标像素到所有给定参考点的固有距离。固有距离采用Dijkstra算法计算。然后执行步骤104。

在步骤104中，计算关键帧上每个目标像素的色彩值。该色彩值由按照固有距离对所有给定参考点的色彩值(U通道、V通道)进行加权平均而得到。其中，权值为固有距离的一种衰减函数。在本实施例中，衰减函数为f(τ)＝e^-τ。然后执行步骤105。

在步骤105中，关键帧从LUV色彩空间变换回RGB色彩空间。然后执行步骤106。

在步骤106中，输出已上色的关键帧。在本实施例中，输出的关键帧如图2(b)的第一帧所示。然后执行步骤107。

在步骤107中，读取下一帧作为当前帧。在本实施例中，读取的当前帧如图2(a)的第二帧所示。然后执行步骤108。

在步骤108中，当前帧的存储格式从RGB色彩空间变换到LUV色彩空间。然后执行步骤109。

在步骤109中，将当前帧上的目标像素与前一帧上的同位像素进行亮度值比较。如果绝对亮度差小于或等于阈值T，执行步骤110；反之，执行步骤111。在本实施例中，阈值T＝3。

在步骤110中，当前帧上满足阈值条件的目标像素继承其前一帧上同位像素的色彩值。

在步骤111中，在前一帧上，以当前帧上不满足阈值条件的目标像素的同位像素为中心，按照二维Double Lomax分布的概率进行搜索。将搜索范围内与目标像素的绝对亮度差最小的k个像素列为该目标像素的自适应参考点。图3(a)和(b)中是二维Double Lomax分布的三维视图及二维视图。在本实施例中，所使用的二维Double Lomax分布的尺度参数η＝0.5，形状参数f＝1。图4为按照具有此参数的二维Double Lomax分布所设计的一种搜索模板，即服从该二维Double Lomax分布的数据的一种概率实现。模板中黑色的像素属于搜索范围。在本实施例中，对于每一个目标像素，搜索范围包括前一帧上如图4中所示位置的24个像素。在本实施例中，自适应参考点的个数k为搜索范围内与目标像素的绝对亮度差小于阈值T＝3的像素的个数。然后执行步骤112。

在步骤112中，计算当前帧上每个目标像素的色彩值。该色彩值为其全部自适应参考点的平均色彩值(U通道、V通道)。然后执行步骤113。

在步骤113中，当前帧从LUV色彩空间变换回RGB色彩空间。然后执行步骤114。

在步骤114中，输出已上色的当前帧。在本实施例中，输出的当前帧如图2(b)的第二帧所示。然后执行步骤115。

在步骤115中，算法循环执行步骤107至步骤114，为后续帧上色，直至视频序列结束。在本实施例中，输入的当前帧如图2(a)的第三、四、五帧所示，输出的当前帧如图2(b)的第三、四、五帧所示。

在步骤103及步骤111中涉及一种基于近似优先级队列的加速优化方法。

在本实施例中，在步骤103中，待搜索数据储存于如图5所示的近似优先级队列中。步骤103中，该队列由L＝30条子队列组成，每条子队列包含的优先级区间长度为Δ＝10。子队列按照所包含的优先级区间依序排列，因此整条队列包含的优先级范围为300。在Dijkstra算法迭代过程中，中间值按照优先级插入相应子队列末尾，更新值直接取第一条非空队列中的第一个非空元素。

在本实施例中，在步骤111中，待搜索数据储存于如图5所示的近似优先级队列中。步骤111中，该队列由L＝10条子队列组成，每条子队列包含的优先级区间长度为Δ＝3。子队列按照所包含的优先级区间依序排列，因此整条队列包含的优先级范围为30。搜索与目标像素的绝对亮度差最小的k个像素时只需要直接提取第一条非空子队列中的所有元素。

Claims (9)

1.一种基于色彩混合的快速红外彩色夜视实现方法，其特征在于，包括以下步骤：

步骤1、将给定参考点的色彩进行加权混合为关键帧上色；

步骤2、将自适应参考点的色彩进行平均混合为后续帧上色。

2.根据权利要求1所述的一种基于色彩混合的快速红外彩色夜视实现方法，其特征在于，所述的步骤1、将给定参考点的色彩进行加权混合为关键帧上色具体为：

步骤1.1、读取视频的第一帧作为关键帧，其中第一帧包含给定参考点；

步骤1.2、将关键帧从RGB色彩空间变换到LUV色彩空间；

步骤1.3、计算出关键帧上每个目标像素到所有给定参考点的固有距离；

步骤1.4、计算出关键帧上每个目标像素的色彩值；

步骤1.5、将关键帧从LUV色彩空间变换回RGB色彩空间；

步骤1.6、输出已上色的关键帧。

3.根据权利要求2所述的一种基于色彩混合的快速红外彩色夜视实现方法，其特征在于，所述的步骤1.1中给定参考点为指作为输入给出、在所属帧中的行列坐标及色彩值都已知的像素点；

所述的关键帧为需要根据给定参考点进行渲染的帧，给定参考点通过人工方式标记或由自动化方式标记。

4.根据权利要求3所述的一种基于色彩混合的快速红外彩色夜视实现方法，其特征在于，所述的人工方式标记为操作者预先在图像上以个别彩色点或彩色短线条的方式标记出各类景物的色彩值，所述的自动化方式标记为使用算法预先自动化地识别出图像中景物的类别并对其进行色彩值标记。

5.根据权利要求2所述的一种基于色彩混合的快速红外彩色夜视实现方法，其特征在于，所述的步骤1.3中的固有距离为连接图中的最短路径距离，采用Dijkstra算法计算。

6.根据权利要求5所述的一种基于色彩混合的快速红外彩色夜视实现方法，其特征在于，所述的连接图为一种由节点和边组成的图，通过以下方法将一幅灰度图像转化为一个连接图：将灰度图像中的每个像素用一个节点表示，并且每个节点与上下左右四个节点用边相连，其中边的长度定义为两个节点的绝对亮度差，绝对亮度差是指像素之间亮度差的绝对值。

7.根据权利要求2所述的一种基于色彩混合的快速红外彩色夜视实现方法，其特征在于，所述的步骤1.4中的色彩值由按照固有距离对所有给定参考点的色彩值进行加权平均而得到。

8.根据权利要求2所述的一种基于色彩混合的快速红外彩色夜视实现方法，其特征在于，所述的步骤2、将自适应参考点的色彩进行平均混合为后续帧上色具体步骤如下：

步骤2.1、读取下一帧作为当前帧；

步骤2.2、将当前帧从RGB色彩空间变换到LUV色彩空间；

步骤2.3、将当前帧上的目标像素与前一帧上的同位像素进行亮度值比较，设定阈值T，如果绝对亮度差小于或等于T，执行步骤2.4；反之，执行步骤2.5；

步骤2.4、令当前帧上满足阈值条件的目标像素继承其前一帧上同位像素的色彩值，并执行步骤步骤2.7；

步骤2.5、在前一帧上，以当前帧上不满足阈值条件的目标像素的同位像素为中心，按照二维Double Lomax分布的概率进行搜索，将搜索范围内与目标像素的绝对亮度差最小的k个像素列为该目标像素的自适应参考点，并执行步骤步骤2.6；

步骤2.6、计算当前帧上每个目标像素的色彩值，该色彩值为其全部自适应参考点的平均色彩值，并执行步骤步骤2.7；

步骤2.7、将当前帧从LUV色彩空间变换回RGB色彩空间；

步骤2.8、输出显示已上色的当前帧；

步骤2.9、重复步骤2.1至步骤2.8，直至所有序列帧都渲染完毕。

9.根据权利要求8所述的一种基于色彩混合的快速红外彩色夜视实现方法，其特征在于，所述的步骤1.3和步骤2.5中所涉及的待搜索数据均采用具有如下特征一种近似优先级队列存储：

a)该近似优先级队列结构将整个优先级范围分为L个区间，建立L条子队列，该子队列定义为一种先进先出的堆栈，每个子队列中只存储具有相应优先级区间的元素，子队列按照所包含的优先级区间依序排列，其中优先级，是指待排序元素的数值越小的优先级越高，数值越大的优先级越低；

b)每增加一个元素时根据其优先级所属区间决定它应该属于哪条子队列，并直接加到该子队列的末尾；取元素时直接取第一条非空队列中的第一个非空元素。