CN102663729A - 基于轮廓跟踪的车载红外视频彩色化方法 - Google Patents

Abstract

本发明提出一种车载红外视频快速彩色化的方法，利用轮廓特征点跟踪来获取每帧物体类别的轮廓区域，采用类别特征色彩对各区域传递色彩。首先构建各景物样本特征色彩集，以各类景物在自然彩色图像中表现出来的特征色彩；接着利用改进的高效K-Means方法对红外关键帧进行聚类，得到分割区域，提取轮廓特征点；然后通过KLT算法跟踪特征点，得到其在下一帧中的位置并同时修正，采用B样条插值进行轮廓复原，得到该帧的各类别轮廓区域；最后对每帧区分好的类别区域，将特征色彩按类别赋予该区域，从而给物体着上合适的颜色，实现红外视频序列的快速彩色化。实验结果表明，该方法提高了处理的速度，能够得到较理想的效果。

Description

基于轮廓跟踪的车载红外视频彩色化方法

技术领域

本发明涉及一种快速的车载红外视频彩色化方法，通过本方法可赋予车载红外图像较自然感的彩色，同时提高处理速度，实现车载红外视频的快速彩色化。

背景技术

车载夜视系统可以在夜晚辅助驾驶，提高行车安全。在驾驶室中的夜视系统屏幕上，可以显示仅凭人眼或普通可见光摄像设备无法获取的路况及路旁的树木建筑等的夜视图像。但是，由于夜间获得的夜视图像较模糊，再加上夜视仪所监视或探测的目标距离较远，因此对夜视图像中的内容理解往往难以如白天的自然光图像那样作出快速准确的判断。由于人眼能分辨的颜色等级是灰度等级的几百倍，若将夜视图像彩色化，将大大提高夜视图像的视觉理解效果，帮助驾驶员对夜视图像内容迅速作出正确的理解和判断，从而大大地提高夜间行驶安全。

目前彩色夜视领域主要研究对静态夜视图像的彩色化，为达到较好的彩色图像效果，往往设计的算法时间复杂度很高，该类算法无法实时地对动态夜视图像实现彩色化。而针对动态夜视彩色化的实时算法相对较少，相关文献直接采用从视频编码中提取运动矢量的方法用于彩色化，由于运动矢量主要用于视频压缩，并不能反映真实的运动场，往往存在误差，进行多次色彩传递之后，这种误差会逐渐扩大，从而得到失败的彩色化图像效果。代中华等提出采用关键帧分割，以所得固定阈值进行后续帧的分割，并采用先验知识上色的方法，速度有所提高，但后续帧采用固定阈值很难获得理想的分割效果，易导致后续帧的上色处理出现错误。

发明内容

本发明的目的是提供一种快速对动态夜视图像进行彩色化的方法，通过该方法可较为准确地赋予车载红外视频较自然感的彩色。

为了达到上述目的，本发明的技术方案是提供了一种基于轮廓跟踪的车载红外视频彩色化方法，其特征在于：步骤为：

步骤1、获取具有不同景物类别的多个自然彩色图像块，每个自然彩色图像块仅具有

一个景物类别，将每个自然彩色图像块转至YCbCr空间，计算其Cb通道及Cr通道的均值

及

作为各景物类别的特征色彩；

步骤2、在获得的车载红外视频中选取一帧图像作为关键帧，采用K-均值聚类算法对关键帧的灰度进行聚类，得到分割图像，分割图像中每个类别区域对应一个景物类别，将关键帧转为YCbCr空间，根据得到的分割图像，将转换后关键帧的所有像素按位置分别划分到相应的类别区域中，为每个类别区域赋予与其相对应的景物类别的特征色彩，得到关键帧彩色图像；

步骤3、从车载红外视频中与关键帧相邻的下一帧图像开始为每一帧图像赋予色彩，从而将车载红外视频彩色化，对于第i帧图像而言，其彩色化步骤为：

步骤3.1、利用KLT特征跟踪算法得到与第i帧图像相邻的第i-1帧图像的特征点，并得到这些特征点在第i帧图像中的位置；

步骤3.2、利用Canny边缘检测算法得到第i帧图像的物体边缘点，搜索与每个特征点最近邻的物体边缘点作为修正后的特征点，修正后的特征点分布在第i帧图像各类别区域的边缘上；

步骤3.3、采用轮廓复原的方法把修正后的特征点用光滑曲线按类别区域顺序连接起来，从而生成各类别区域的闭合区域轮廓曲线，为每个类别区域赋予与其相对应的景物类别的特征色彩，得到第i帧彩色图像。

优选地，步骤2中所述K-均值聚类算法为改进的K-均值聚类算法，其步骤为：

步骤2.1、K值为景物类别的总个数；

步骤2.2、统计记录不同灰度值f_i及其灰度点个数N_i，i＝1，2，...，n，且

其中，n为出现灰度级的总个数，N为图像中所有像素点总个数，L为关键帧的宽度，H为关键帧的高度；

步骤2.3、对不同灰度值f_i从小到大进行排序；

步骤2.4、依次取初始聚类中心为Z_j(I)＝Z₀+f_j×int(n/K)，其中，j＝1，2，...，K，int表示取整运算，Z₀∈[f′₁，f′_int(n/K)]，f′₁为最小的灰度值，f′_int(n/K)为排序后的第n/K个灰度值；

步骤2.5、计算每个灰度值f_i与聚类中心Z_j(I)的距离D(f_i，Z_j(I))，i＝1，2，...，n，j＝1，2，...，K，若 $D(f_i,Z_k\left(I\right))=\underset{j=\mathrm{1,2},...,K}{\min }\{D(f_i,Z_j\left(I\right)),i=\mathrm{1,2},...,n\},$ 则f_i∈w_k，w_k为第k簇集合；

步骤2.6、重新调整聚类中心j＝1，2，...，K，其中m_j为第j簇的灰度元素总个数，

为属于第j簇的第k个灰度值；

步骤2.7、若Z_j(I+1)≠Z_j(I)，j＝1，2，...，K，则I＝I+1，返回步骤2.5，否则，算法结束。

优选地，在所述步骤3.1之前还包括：利用Canny边缘检测算法得到第i-1帧图像的物体边缘点，将这些物体边缘点作为步骤3.1所述KLT特征跟踪算法的候选特征点集合。

优选地，步骤3.3所述轮廓复原的方法为采用三次B样条插值以及平滑调整进行轮廓复原。

本发明提出了一种基于轮廓跟踪的车载红外视频彩色化方法。通过构建景物类别色彩数据集，作为彩色化的色彩信息；将全局分割引入帧间颜色传递，使颜色传递的单位从像素变为区域；采用改进的KLT运动估计方法提取和跟踪特征点，获得跟踪点在处理帧的位置；提取物体在处理帧中的轮廓，最后将跟踪结束的处理帧作为参考帧，后续一帧作为处理帧连续跟踪物体轮廓，从而提高了物体轮廓跟踪的效率，同时按类别区域分别上色，增强了红外视频彩色化的实时性。

本发明通过构建景物类别色彩数据集，提供彩色化中颜色信息的来源。将全局分割引入帧间颜色传递，使颜色传递的单位从像素变为区域以及采用改进的KLT运动估计方法提取和跟踪特征点，提高了处理速度。提取物体在处理帧中的轮廓，最后将跟踪结束的处理帧作为参考帧，后续一帧作为处理帧连续跟踪物体轮廓，从而提高了物体轮廓跟踪的效率，同时按类别区域分别上色，增强了红外视频彩色化的实时性，可为驾驶员提供较好视觉效果的彩色化红外视频。

附图说明

图1是本发明的算法流程图。

具体实施方式

为使本发明更明显易懂，兹以一优选实施例，并配合附图作详细说明如下。

如图1所示，本发明提供了一种基于轮廓跟踪的车载红外视频彩色化方法，其步骤为：

步骤1、构建景物类别特征色彩数据集

可预先选取具有天空、树木、草地、道路等景物类别的自然彩色图像块。每个自然彩色图像块仅具有一种景物类别。将各类景物做标记，在本实施例中，将天空标记为1，将树木标记为2，将道路标记为3，将草地标记为4。设每个自然彩色图像块的规格为M×N，其中M为宽度，N为高度，将该自然彩色图像块由RGB空间转为YCbCr空间，计算图像的两个色差通道的均值：

$\stackrel{\‾}{\mathrm{Cb}}=\frac{1}{M\×N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{Cb}(i,j)---\left(1\right)$

$\stackrel{\‾}{\mathrm{Cr}}=\frac{1}{M\×N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{Cr}(i,j)---\left(2\right)$

其中Cb(i，j)、Cr(i，j)分别为自然彩色图像块中的第i行第j列像素点的Cb值、Cr值，得到各种景物类别Cb通道及Cr通道的均值

作为各种景物类别的特征色彩。在本实施例中，四种景物类别的特征色彩的具体数值如下表所示：

步骤2、在获得的车载红外视频中选取一帧图像作为关键帧，在本实施例中，将车载红外视频中的第一帧作为关键帧，对关键帧采用如下步骤进行处理：

步骤2.1、关键帧的分割：

本发明采用改进的K-均值聚类算法实现对关键帧快速准确的全局分割，得到准确的分割效果，为后续实现视频序列的较好彩色化效果提供支持。首先对红外灰度图像的灰度数据进行统计学习，产生初始聚类中心，然后根据初始聚类中心对该图像的灰度进行聚类。具体步骤如下：

步骤2.1.1、将K值取为景物类别的总个数，在本实施例中，由于有天空、树木、草地、道路四种景物类别，因此K＝4；

步骤2.1.2、统计记录不同灰度值f_i及其灰度点个数N_i，i＝1，2，...，n，且

其中，n为出现灰度级的总个数，N为图像中所有像素点总个数，L为关键帧的宽度，H为关键帧的高度；

步骤2.1.3、对不同灰度值f_i从小到大进行排序；

步骤2.1.4、依次取初始聚类中心为Z_j(I)＝Z₀+f_j×int(n/K)，其中，j＝1，2，...，K，int表示取整运算，Z₀∈[f′₁，f′_int(n/K)]，f′₁为最小的灰度值，f′_int(n/K)为排序后的第n/K个灰度值；

步骤2.1.5、计算每个灰度值f_i与聚类中心Z_j(I)的距离D(f_i，Z_j(I))，i＝1，2，...，n，j＝1，2，...，K，若则f_i∈w_k，w_k为第k簇集合；

步骤2.1.6、重新调整聚类中心

其中m_j为第j簇的灰度元素总个数，

为属于第j簇的第k个灰度值；

步骤2.1.7、若Z_j(I+1)≠Z_j(I)，j＝1，2，...，K，则I＝I+1，返回步骤2.5，否则，算法结束。

在步骤2.1.5～步骤2.1.7的聚类迭代中，仅对不同灰度的样本数据f_i，i＝1，2，...，n进行迭代，通常n＜＜N，N为图像中所有像素点总个数，简化了参与迭代的数据量，因此较原K-均值聚类算有较快的响应速度。

步骤2.2、关键帧的上色

使用一个与关键帧图像同维的矩阵Mark来记录目标图像各像素点所属的景物类别，对应原始的关键帧，根据前面得到的分割图像，所有像素按位置分别划分到相应类别中。将各个类别区域赋予对应的特征色彩，从而得到较自然的彩色图像。具体步骤如下：

步骤2.2.1、将关键帧I_t由RGB空间转换至YCbCr空间；

步骤2.2.2、根据分割图像中各景物类别区域位置，将对应的景物类别的色彩特征赋予该区域，同时保留该区域的亮度信息保持不变。即对于I_t(i，j)，如果Mark(i，j)∈m，m表示景物类别，则Y_r(i，j)＝Y_t(i，j)，

步骤2.2.3、将完成的结果图像I_r_YCbCr由YCbCr空间转换到RGB空间，用以显示关键帧的彩色图像I_r_RGB。

从车载红外视频中与关键帧相邻的下一帧图像开始为每一帧图像赋予色彩，从而将车载红外视频彩色化，对于第i帧图像而言，其彩色化步骤为：

步骤3、轮廓特征点提取与跟踪：

对第i-1帧图像的分割图像进行Canny边缘检测，以边界点作为候选特征点集合，减小选取范围。利用KLT特征跟踪算法，选取特征点并跟踪，得到各点在每一帧的跟踪位置。这样特征点在相邻两帧的位移就构成了运动信息，我们正是以此运动信息为基础进行后续算法的处理的。

步骤3.1、特征点提取

KLT特征跟踪算法在特征点选择过程中会计算图像中所有的像素点，为加快选取的处理速度，我们提出一种利用图像区域轮廓线作为候选特征点选取的方法，减小候选特征点范围，从而减少特征点选取时的计算量。具体步骤如下：

步骤3.1.1、对第i-1帧图像的分割图像进行Canny边缘检测，以边界点作为候选特征点集合M。

步骤3.1.2、按照KLT特征跟踪算法计算候选特征点集合M中像素点的特征值，也就是以该像素点为中心的特征窗口W(本实例中的特征窗口设定为7*7个大小的像素块)的特征值Feature，计算公式为：

$\mathrm{Feature}=g_{\mathrm{xx}}+g_{\mathrm{yy}}-\frac{1}{2}\sqrt{{(g_{\mathrm{xx}}-g_{\mathrm{yy}})}^2+{4g}_{\mathrm{xy}}^2},---\left(3\right)$

$g_{\mathrm{xx}}=\underset{W}{\mathrm{\Σ}}{g}_x^2,$ $g_{\mathrm{yy}}=\underset{W}{\mathrm{\Σ}}{g}_y^2,$ $g_{\mathrm{xy}}=\underset{W}{\mathrm{\Σ}}(g_x\×g_y),---\left(4\right)$

g_x和g_y分别表示图像在x方向和y方向的梯度。

满足特征点的条件要求为：Feature＞d，d为最小特征值，应根据具体环境进行设置，若取的较大，则会漏掉一些特征点，取的较小，会选上很多无意义的点，加重运算负担。通过实验，本实例中d取1。

步骤3.1.3、由步骤3.1.2选出特征点，进行跟踪，得到各特征点在下一帧中的位置。

步骤3.2、特征点跟踪及修正

特征点选取之后，KLT特征跟踪算法会自动在后续帧里对这些特征点的位置变化进行跟踪，即在后续帧里寻找和前一帧的特征点窗口的相似性最高的特征窗口位置，具体方法是用Newton-Raphson算法进行迭代计算，以得到使得两个窗口的SSD(Sum of SquareDifference)最小化的位移值。对于已经得到的特征点，进行KLT跟踪，得到其在下一帧中的位置。具体步骤如下：

(1)图像的当前帧I及与其相邻帧J之间满足关系：

$J\left(X\right)=I(X-\stackrel{\→}{d})+n\left(X\right)---\left(5\right)$

其中，X为特征点窗口在相邻J中的位置，

为当前帧I及与其相邻帧J中特征点窗口的平移矢量，n(X)表示两个特征点窗口的残差。为了计算最小化残差，列出匹配准则函数(SSD)：

$\mathrm{\ϵ}=\∫[I(X-\stackrel{\→}{d})-J\left(X\right){]}^2\mathrm{dX}---\left(6\right)$

当ε最小时对应的

就是匹配的平移矢量。

(2)泰勒展开求解平移矢量。在最小化残差的计算中，为了避免遍历搜索图像来得到匹配窗口，KLT特征跟踪算法利用泰勒展开：

$I(X-\stackrel{\→}{d})\≈I\left(X\right)-g\·\stackrel{\→}{d}---\left(7\right)$

其中

将(7)式代入(6)式，然后式(6)两边同时对

求导，当一阶导数值为0时，ε取得最小值，从而可得到平移矢量

(3)Newton-Raphson迭代求解。由于泰勒展开引入了误差，计算得到的

不准确，因此，KLT特征跟踪算法使用Newton-Raphson迭代算法进行求解，公式如下：

$G_k=\underset{W}{\mathrm{\Σ}}\left[\stackrel{\→}{g}(X+{\stackrel{\→}{d}}_k)\right]{\left[\stackrel{\→}{g}(X-{\stackrel{\→}{d}}_k)\right]}^T$

${\stackrel{\→}{d}}_{k+1}={\stackrel{\→}{d}}_k+G_k^{-1}\left\{\underset{W}{\mathrm{\Σ}}\right[J\left(X\right)-I(x+{\stackrel{\→}{d}}_k)\left]\stackrel{\→}{g}(X+{\stackrel{\→}{d}}_k)\right\}---\left(8\right)$

通过(8)式的迭代过程得到最终的平移矢量

跟踪得到的特征点并不能准确地位于物体的边缘，而存在一定的偏移误差。为利于轮廓恢复和后续的跟踪，利用Canny算子提取边缘信息，对特征点位置进行修正调整，使特征点准确地分布在物体的边缘上。

特征点修正调整过程：在初始的特征点分布中，部分特征点存在偏移误差。首先利用Canny算子提取物体的边缘，注意到Canny算子得到的边缘并不是完全连续的，对每个特征点，搜索最近邻的边缘点，得到最佳匹配点，作为修正后较准确地特征点，并将特征点位置移动到边缘点上。

步骤3.3、轮廓恢复算法

经过特征点跟踪、修正后，我们可以得到分布在非关键帧各类别轮廓上的特征点，接下来，根据各类别特征点位置，采用轮廓复原的方法把这些离散点用光滑曲线按类别顺序连接起来，从而生成该帧中多个闭合的轮廓曲线，恢复这些特征点所对应的区域轮廓。

B样条插值得到的闭合轮廓曲线光滑，而且有很高的拟合精度，可以很准确地拟合前景物体的边缘，我们采用三次B样条曲线进行插值。

B样条曲线的数学表达式为：

$P_{i,n}\left(t\right)=\underset{k=0}{\overset{n}{\mathrm{\Σ}}}{P}_{i+k}\·F_{k,n}\left(t\right)---\left(9\right)$

n为样条曲线次数。F(t)为n次B样条曲线，其表达式如下：其中0≤t≤1，k＝0，1，2，...，n    (10)

三次B样条曲线由相邻的四个顶点定义，表达式为：

p(t)＝F_0，3(t)·B₀+F_1，3(t)·B₁+F_2，3(t)·B₂+F_3，3(t)·B₃    (11)

可见，由n个顶点定义的完整的三次B样条曲线由(n-3)段分段曲线连接而成，在连接处达到二阶连续。通过B样条插值拟合曲线，将所有点按照先后顺序及类别依次连接，从而恢复出物体的轮廓线。将跟踪结束的处理帧作为下一次跟踪的参考帧，后续一帧作为下一次跟踪的处理帧进行连续实时跟踪。

Claims (4)

1.一种基于轮廓跟踪的车载红外视频彩色化方法，其特征在于：步骤为：

步骤1、获取具有不同景物类别的多个自然彩色图像块，每个自然彩色图像块仅具有

一个景物类别，将每个自然彩色图像块转为YCbCr空间，计算其Cb通道及Cr通道的均值

及

作为各景物类别的特征色彩；

步骤2、在获得的车载红外视频中选取一帧图像作为关键帧，采用K-均值聚类算法对关键帧的灰度进行聚类，得到分割图像，分割图像中每个类别区域对应一个景物类别，将关键帧转为YCbCr空间，根据得到的分割图像，将转换后关键帧的所有像素按位置分别划分到相应的类别区域中，为每个类别区域赋予与其相对应的景物类别的特征色彩，得到关键帧彩色图像；

步骤3、从车载红外视频中与关键帧相邻的下一帧图像开始为每一帧图像赋予色彩，从而将车载红外视频彩色化，对于第i帧图像而言，其彩色化步骤为：

步骤3.1、利用KLT特征跟踪算法得到与第i帧图像相邻的第i-1帧图像的特征点，并得到这些特征点在第i帧图像中的位置；

步骤3.2、利用Canny边缘检测算法得到第i帧图像的物体边缘点，搜索与每个特征点最近邻的物体边缘点作为修正后的特征点，修正后的特征点分布在第i帧图像各类别区域的边缘上；

步骤3.3、采用轮廓复原的方法把修正后的特征点用光滑曲线按类别区域顺序连接起来，从而生成各类别区域的闭合区域轮廓曲线，为每个类别区域赋予与其相对应的景物类别的特征色彩，得到第i帧彩色图像。

2.如权利要求1所述的一种基于轮廓跟踪的车载红外视频彩色化方法，其特征在于：步骤2中所述K-均值聚类算法为改进的K-均值聚类算法，其步骤为：

步骤2.1、将K值取为景物类别的总个数；

步骤2.2、统计记录不同灰度值f_i及其灰度点个数N_i，i＝1，2，...，n，且

其中，n为出现灰度级的总个数，N为图像中所有像素点总个数，L为关键帧的宽度，H为关键帧的高度；

步骤2.3、对不同灰度值f_i从小到大进行排序；

步骤2.4、依次取初始聚类中心为Z_j(I)＝Z₀+f_j×int(n/K)，其中，j＝1，2，...，K，int表示取整运算，Z₀∈[f′₁，f′_int(n/K)]，f′₁为最小的灰度值，f′_int(n/K)为排序后的第n/K个灰度值；

步骤2.5、计算每个灰度值f_i与聚类中心Z_j(I)的距离D(f_i，Z_j(I))，i＝1，2，...，n，j＝1，2，...，K，若

则f_i∈w_k，w_k为第k簇集合；

步骤2.6、重新调整聚类中心j＝1，2，...，K，其中m_j为第j簇的灰度元素总个数，

为属于第j簇的第k个灰度值；

步骤2.7、若Z_j(I+1)≠Z_j(I)，j＝1，2，...，K，则I＝I+1，返回步骤2.5，否则，算法结束。

3.如权利要求1所述的一种基于轮廓跟踪的车载红外视频彩色化方法，其特征在于：在所述步骤3.1之前还包括：利用Canny边缘检测算法得到第i-1帧图像的物体边缘点，将这些物体边缘点作为步骤3.1所述KLT特征跟踪算法的候选特征点集合。

4.如权利要求1所述的一种基于轮廓跟踪的车载红外视频彩色化方法，其特征在于：步骤3.3所述轮廓复原的方法为采用三次B样条插值以及平滑调整进行轮廓复原。