CN105023269A - 一种车载红外图像彩色化方法 - Google Patents

Abstract

本发明涉及一种车载红外图像彩色化方法，其特征在于，包括如下步骤：特征提取并训练随机森林分类器；测试图片输入训练好的随机森林分类器进行分类，获得分类结果图；对分类结果图进行超像素分割，并在超像素内部进行直方图结果统计，最终确定超像素块的所属分类；将色彩空间转为HSV空间，根据对应的分类赋予对应的色调，并将原图像的灰度值转为最终彩色图像的V层的值。本发明适用于多种不同的车载红外场景，且算法的鲁棒性明显提高。

Description

一种车载红外图像彩色化方法

技术领域

本发明涉及一种车载红外图像彩色化技术。

背景技术

在夜间或者雾霾等情况下肉眼的能见度非常低，非常容易导致交通安全等问题的发生。由于车载红外摄像头具有抗干扰性强，视野稳定，克服了在车辆行驶中由于外界因素导致的肉眼能见度极具下降的情况下无法获取完整的道路信息的问题。近年来基于车载红外图像的辅助驾驶系统的研究越来越被人们所关注。研究内容包括红外图像目标检测、深度估计、彩色化等。红外图像的彩色化技术是研究红外图像的关键技术之一，能够将颜色单一，对比不明显的红外图像通过图像处理的技术手段将图像中所包含的信息更加友好、直观的呈现给用户，改善用户对于红外图像的理解效果。

近年来随着图像彩色化研究的不断深入，如基于标签转移算法的图像分类彩色化技术和分层分割技术以及使用局部特征描述符和条件随机场(CRF)相结合的图像分类彩色化技术。但在红外图像彩色化研究的领域中，主要依然停留在基于图像分割基础上的红外图像彩色化算法，导致最终的彩色化结果过分依赖于图像分割的结果。基于标签转移的彩色化算法则需要建立大量匹配图像库，且随着库中的图像增多，消耗的时间代价则越大。

发明内容

本发明要解决的技术问题是能够在车载红外道路情况多变的条件下，正确进行车载红外图像的彩色化工作。

为了解决上述技术问题，本发明的技术方案是提供了一种车载红外图像彩色化方法，其特征在于，包括如下步骤：

第一步、收集用于训练随机森林分类的多幅车载红外图像以及与车载红外图像相对应的分类图，提取每幅车载红外图像中各像素点的特征信息，将各幅车载红外图像的所有像素点的特征信息及对应的分类图一起构建训练样本集；

第二步、利用训练样本集训练随机森林分类器；

第三步、将待测试的车载红外图像输入训练好的随机森林分类器，由随机森林分类器对待测试的车载红外图像中的各个像素进行分类，得到分类结果图；

第四步、对分类结果图进行超像素分割，并在每个超像素内部对每个像素点的分类进行直方图统计，将每个超像素的分类标记为当前超像素内统计到的分类属性最多的那一类，得到最终优化后的分类结果图；

第五步、创建和待测试的车载红外图像大小一样的RGB图像，将RGB图像的色彩空间转换至HSV色彩空间，根据最终优化后的分类结果图，将对应的像素赋予对应的色调，得到最终彩色图像，并将待测试的车载红外图像的灰度值转为最终彩色图像的V层的值。

优选地，在所述第一步中，用Law’s掩膜对每幅车载红外图像中各像素点进行3个尺度的特征提取。

优选地，在所述第四步中，利用SLIC超像素分割算法对分类结果图进行超像素分割。

本发明由于采取以上技术方案，其具有以下优点：

(1)本文彩色化算法适用于多种不同的车载红外场景，且算法的鲁棒性明显提高。

(2)文本的算法基于像素级别的分类，错误的分类只会影响该像素，而不会导致其周围的像素出现问题。再结合超像素分割和直方图统计算法，将进一步有效的遏制错误像素错误分类的情况，进而使得最终的红外图像的彩色化更加准确。

附图说明

图1为本发明提供的一种车载红外图像彩色化方法的算法流程框图；

图2为Law’s掩膜；

图3(a)至图3(c)为训练用图的3个不同尺度；

图4(a)为原始训练图像；

图4(b)为对应的分类结果图；

图5(a)至图5(d)为彩色化算法结果图。

具体实施方式

为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。

如图1所示，本发明主要包括：1、特征提取并训练随机森林分类器。2、测试图片输入训练好的随机森林分类器进行分类，获得分类结果图。3、对分类结 果图进行超像素分割，并在超像素内部进行直方图结果统计，最终确定超像素块的所属分类。4、将色彩空间转为HSV空间，根据对应的分类赋予对应的色调，并将原图像的灰度值转为最终彩色图像的V层的值。一下将会对这4个部分分别做出详细的描述。

1、随机森林 

随机森林算法由Leo Breiman和Adele Cutler提出，该算法结合了Breim-ans的“Bootstrap aggregating”思想和Ho的“random subspace”方法。其实质是一个包含多个决策树的分类器，这些决策树的形成采用了随机的方法，因此也叫做随机决策树，随机森林中的树之间是没有关联的。当测试数据进入随机森林时，即让每一棵决策树进行分类，最后取所有决策树中分类结果最多的那类为最终的结果。因此随机森林是一个包含多个决策数的分类器，并且其输出的类别是由个别树输出的类别的众数而定。它具有很高的的预测准确率，对异常和噪声具有很好的容忍度，且不容易出现过拟合。

随机森林算法是基于Bootstrap方法的重采样，产生多个训练集。随机森林算法在构建决策树时采用了随机选取分裂属性集的方法。详细的随机森林算法流程如下：

(1)利用Bootstrap方法重采样，随机产生T个训练集S₁，S₂…，S_T。

(2)利用每个训练集，生成对应的决策树C₁，C₂，…，C_T；在每个非叶子节点上选择属性前，从M个属性中随机抽取m个属性作为当前节点的分裂属性集，并以这m个属性中最好的分裂方式对该节点进行分裂。

(3)每棵树都完整生长，而不进行剪枝。

(4)对于测试样本X，利用每个决策树进行测试，得到对应的类别C₁(X)，C₂(X)，…，C_T(X)。

(5)采用投票的方法，将T个决策树中输出最多类别的作为测试急样本类别。

2、基于Law’s掩膜的多尺度特征提取

对于每个像素点而言，需要计算一系列的特征值来捕捉每个像素及其周边一 定范围内的像素所蕴含的视觉特征，同时需要对还需要结合该像素点的位置信息等。使用Law’s掩膜对图像进行3个尺度的特征提取，其特征如图2所示。

训练所使用的图像的三个不同尺度的图像如图3(a)至图3(c)所示。

图2即为Law’s特征掩膜，在特征提取时使用Law’s掩膜分别在上述训练图像的三个不同尺度上进行卷积，输出结果为F_n(x，y)，n＝1，2，...，9。定义每个超像素块上的纹理能量如式(3)所示.

$E_i\left(n\right)={\mathrm{\Σ}}_{(x,y)\∈S_i}|I(x,y)*F_n(x,y){|}^k---\left(3\right)$

其中，I(x，y)为原图像的像素值，当k＝2，4时的E_i(n)分别代表了像素纹理的能量和峰度特性，因此每个像素有9×3×2＝54个特征，最后再结合像素点上的x，y位置信息，那么对于每个像素提取了一个56维的特征与之对应。

3、超像素分割和直方图统计优化算法

由于随机森林的输出结果图中包含了部分的不连续的错误分类的点，所以本文使用超像素分割对原始的分类图进行分割，分割成超像素块。再对超像素块内部进行直方图统计。在超像素内部统计到的分类属性最多的那一类，最终标记为超像素所在的最终分类。

所谓超像素，是指具有相似纹理、颜色、亮度等特征的相邻像素构成的图像块。SLIC超像素分割由Radhakrishna Achanta等人提出，其它超像素分割算法相比，该算法分割速度快，内存使用效率高，算法效果好，非常适合对于车载红外图像的优化处理。该算法将彩色图像RGB空间转换为CIELAB颜色空间，结合像素点的位置信息，对于每一个像素点都生成一个[l_i，a_i，b_i，x_i，y_i]^T的向量，其中，l_i，a_i，b_i分别为l_i为像素的亮度值，a_i，b_i是转换后对应像素的两个颜色通道。然后对5维特征向量构造度量标准，对图像像素进行局部聚类的过程其具体步骤如下：

(1)确定算法参数K，即图像需要被分成多少个超像素块。确定参数后，将图像的色彩空间转为CIELAB颜色空间。像图像初始分割为间距为S的方格，其中N为需要分割的超像素块的个数。超像素中心位置 C_i＝[l_i，a_i，b_i，x_i，y_i]^T即为方格的中心位置。为了避免种子点处在图像的边缘位置，以及对后续的聚类过程造成干扰，需要将种子点在以它为中心的3×3的窗口内移动到梯度值最小的位置。

(2)在每个超像素中心位置的2S范围内计算每个像素点到中心的距离。第i个超像素内第j个像素与此超像素的中心位置的距离计算如公式(4)所示：

$\begin{array}{c}{d}_c=\sqrt{{(l_j-l_i)}^2+{(a_j-a_i)}^2+{(b_j-b_i)}^2},\\ d_s=\sqrt{{(x_j-x_i)}^2+{(y_j-y_i)}^2},\\ D^{\′}=\sqrt{{\left(\frac{d_c}{m}\right)}^2+{\left(\frac{d_s}{S}\right)}^2}\end{array}---\left(4\right)$

其中d_c为色彩上距离，d_s为空间距离，m用来调整d_c和d_s之间的比例关系。

(3)每一个像素点都被归为与它距离D′最小的类别。重新计算每个超像素的中心位置，重复步骤(2)。

4、超像素内部分类结果直方图统计

为了去除随机森林分类结果中存在部分像素点错误分类的情况，增强像素点之间分类结果的连续性。在超像素分割之后，在超像素内部使用直方图统计，整个超像素的所属分类结果将被标记为统计结果中出现频率最大的类别。若天空、地面、树林的所属分类分别用数值1～3表示，超像素中包含某种分类结果的数量用N(i)，i∈1，2，3，某超像素块j所属分类用Sup_j表示那么超像素直方图统计公式如下式(5)所示。

N(i)＝max N(t)，t∈1，2，3

                                 (5) 

Sup_j＝i

5、红外图像彩色化算法

首先创建和原始图像大小一样的RGB图像，将图像的色彩空间转换至HSV色彩空间。H为彩色图像的色调层，S为彩色图像的饱和度层，V为彩色图像的亮度层。在彩色化中根据先验知识，根据最终优化后的分类输出的分类结果，将对应的赋予对应的色调其取值范围均为0～1之间。如天空的色调值为0.55，树木 的色调为0.32，地面的色调为0.09，整幅图像饱和度的取值为0.65。关于色调与饱和度的取值可以有多种，彩色化后可以根据用户的视觉习惯相应调整。

由于红外图像主要为亮度信息，因此需要在彩色化后的图像中保留这一至关重要的信息，因此将原红外图像的亮度值赋予给最终彩色化后的图像的V层。使得最终彩色化后的图像保留了红外图像的原始信息。

所使用的训练图像的尺寸大小为344×132像素，去除边后所使用的尺寸大小为340×128像素。本实验使用8幅图像作为训练图像，700幅图像为测试图像。训练用的8幅样本图像和对应的分类图像构成了最原始的训练集，如图4(a)至图4(b)所示。在原始的训练图像上进行特征提取。根据特征提取部分可知，每个像素均有一个56维的特征向量代表该像素点与其周围一定范围内图像的特征。

将700幅测试图像输入随机森林分类器中，随机森林分类器输出的分类图像如图4(b)所示。超像素分割算法对分类器输出的图像进行分割并在超像素块内进行直方图统计，优化结果如图5(c)所示。最终将优化的结果图像进行彩色化处理最终的效果图如图5(d)所示。图5(a)为对应的红外图像。

Claims (3)

1.一种车载红外图像彩色化方法，其特征在于，包括如下步骤：

第一步、收集用于训练随机森林分类的多幅车载红外图像以及与车载红外图像相对应的分类图，提取每幅车载红外图像中各像素点的特征信息，将各幅车载红外图像的所有像素点的特征信息及对应的分类图一起构建训练样本集；

第二步、利用训练样本集训练随机森林分类器；

第三步、将待测试的车载红外图像输入训练好的随机森林分类器，由随机森林分类器对待测试的车载红外图像中的各个像素进行分类，得到分类结果图；

第四步、对分类结果图进行超像素分割，并在每个超像素内部对每个像素点的分类进行直方图统计，将每个超像素的分类标记为当前超像素内统计到的分类属性最多的那一类，得到最终优化后的分类结果图；

第五步、创建和待测试的车载红外图像大小一样的RGB图像，将RGB图像的色彩空间转换至HSV色彩空间，根据最终优化后的分类结果图，将对应的像素赋予对应的色调，得到最终彩色图像，并将待测试的车载红外图像的灰度值转为最终彩色图像的V层的值。

2.如权利要求1所述的一种车载红外图像彩色化方法，其特征在于，在所述第一步中，用Law’s掩膜对每幅车载红外图像中各像素点进行3个尺度的特征提取。

3.如权利要求1所述的一种车载红外图像彩色化方法，其特征在于，在所述第四步中，利用SLIC超像素分割算法对分类结果图进行超像素分割。