CN106295542A - 一种夜视红外图像中的基于显著性的道路目标提取方法 - Google Patents

Abstract

本发明公开了一种夜视红外图像中的基于显著性的道路目标提取方法，属于机器视觉领域，本发明的具体步骤为：先运用GBVS模型对夜视红外图像进行显著性区域的粗提取；运用基于超复数频域的谱尺度空间的方法，基于全局特征，进行显著性区域的再提取；运用基于融合全局和局部线索的显著性提取方法，对显著性图像ZZ进行全局和局部线索的融合，得到最终的显著性图像。本发明融合了时域与频域，全局对比度与局部对比度，低层次特征与高层次特征上的显著性，并且考虑到了能量辐射也是一种显著性因素，所以处理对象不是平常的自然图像，而是红外图像，即通过处理红外图像的方式，对原始的自然图像进行了基于能量辐射的显著性区域的提取；因此本发明所得到的显著性区域的提取效果更为准确，全面，显著性区域目标的轮廓更加清晰。

Description

一种夜视红外图像中的基于显著性的道路目标提取方法

技术领域

本发明属于机器视觉领域，尤其涉及一种夜视红外图像中的基于显著性的道路目标提取方法。

背景技术

视觉显著性机制可以用来提取复杂的道路场景中的对行车安全有重大影响的显著性区域，为计算机视觉的后期处理奠定了基础，提高计算机视觉的后续处理的效果和效率，面对复杂的道路场景，如果将全部内容进行计算机视觉处理，那样计算机所面对的数据处理量将非常大，处理效率也会非常的低，因此研究者们受到人类视觉系统中视觉注意力机制的启发，希望机器视觉也像人类视觉系统那样首先对原始输入的数据进行一个筛选，从而为后期处理减少计算量，提高其处理效率，所以提出了机器视觉的视觉显著性模型。

视觉显著性是一个神经生理学和心理学的概念，各国的神经生理学和心理学家都提出了很多用来解释人类视觉系统注意力的模型，例如周围-中央神经抑制机制，来模拟人类视觉注意力机制的高效的数据筛选的能力，受此启发，各国的研究者们针对如何将机器视觉具有人类视觉显著性那样的数据筛选的能力，展开了广泛而深入的研究。

中国专利(CN102999926A)公开了一种基于底层特征融合的图像视觉显著性计算方法，此方法将颜色、纹理等底层特征进行了融合，从而得到显著性区域，但只是基于底层特征，没有考虑到高层次特征，因此显著性提取的不准确。中国专利(CN103020993A)公开了一种双通道颜色对比度融合的视觉显著性检测方法，该方法运用超像素的方法，计算颜色显著性值，从而得到基于颜色特征的显著性图像，但只是在时域范围内进行处理，并且只是基于颜色特征，忽略了频域上的显著性，所以显著性区域提取的不全面。上述方法在显著性区域提取的过程中，都有上述各自的不足，并且处理的是一幅原始自然的图像，没有考虑到可以处理与原始图像相对应的夜视红外图像，所以在夜晚道路场景中的检测具有准确率低，易受背景环境中灯光的干扰，显著性目标的轮廓不清晰的不足。

本发明通过处理原始的可见光图像的对应的夜视红外图像，来避免夜晚原始的可见光图像中非显著性背景环境中灯光的影响，从而提高在夜晚道路场景中显著性目标的提取的准确性。

发明内容

针对现有技术的不足，本发明提出了一种夜视红外图像中的基于显著性的道路目标提取方法，解决现有的视觉注意力模型在夜晚道路场景中的目标检测中正确率低，易受自然场景中非显著区域的干扰，易受夜晚道路图像中灯光的影响，显著性目标轮廓不清晰等问题。

本发明是通过以下技术手段实现上述技术目的的。

一种夜视红外图像中的基于显著性的道路目标提取方法，包括如下步骤：

S1，针对道路目标的夜视红外图像，先运用GBVS模型(基于图论的图像显著性分析算法)进行基于局部对比度的显著性区域的粗提取，得到夜视红外图像的显著性图像CC；

S2，运用基于超复数频域的谱尺度空间的方法，基于全局特征，对显著性图像CC进行显著性区域的再提取，得到夜视红外图像的显著性图像ZZ；

S3，运用基于融合全局和局部线索的显著性提取方法，对显著性图像ZZ进行全局和局部线索的融合，得到显著性图像AA。

进一步，所述S2中运用基于超复数频域的谱尺度空间的方法，基于全局特征，对显著性图像CC进行显著性区域的再提取的具体步骤为：

S2.1，通过对显著性图像CC的红绿蓝三个分量组合计算，得到显著性图像CC的三个特征图U,RG,BY；

S2.2，对特征图U,RG,BY进行整合，计算得到显著性图像CC的超复数矩阵f(x,y)；

S2.3，先对超复数矩阵f(x,y)进行超复数傅立叶变换，然后计算显著性图像CC的幅值谱A，相位谱p，特征轴谱kk；

S2.4，对幅值谱A进行卷积，从而得到显著性图像CC的谱尺度空间{AA_k}；

S2.5，基于显著性图像CC的谱尺度空间{AA_k}计算得到显著性图像CC的显著图序列{Z_i}；

S2.6，运用基于最大方差的原则选取显著图序列{Z_i}中的一个显著图序列作为夜视红外图像的显著性图像ZZ。

进一步，所述S3中运用基于融合全局和局部线索的显著性提取方法，对显著性图像ZZ进行全局和局部线索的融合，得到显著性图像AA的具体步骤为：

S3.1，运用超像素分割的方法，将显著性图像ZZ分割成多个小图像区域；

S3.2，基于全局对比度对S3.1中的多个小图像区域进行计算，得到显著性图像ZZ的低层次模型的显著性图像；

S3.3，按照阀值分割的方法对显著性图像ZZ的低层次模型的显著性图像进行处理，分别得到显著性图像ZZ的高层次模型的背景的编码字典BC、高层次模型的显著性目标的编码字典FC；

S3.4，计算显著性图像ZZ的高层次模型的背景的显著性图像、高层次模型的显著性目标的显著性图像p_g(w_i)；

S3.5，将显著性图像ZZ的高层次模型的背景的显著性图像、高层次模型的显著性目标的显著性图像进行图像融合，得到显著性图像ZZ高层次模型的显著性图像；

S3.6，将显著性图像ZZ的低层次模型的显著性图像与高层次模型的显著性图像相融合，得到最终的显著性图像AA。

进一步，所述S2.2中超复数矩阵f(x,y)的计算公式为其中向量分别为在三维空间直角坐标系中与x、y、z轴方向相同的单位向量。

进一步，所述S2.3中幅值谱A的计算公式为A＝|F(f(x,y))|，其中||表示求幅值，F()表示超复数傅立叶变换。

进一步，所述S 2.5中计算显著图序列{Z_i}的计算公式为：Z_i＝g*|F^-1{AA_k(x,y)e^{kk ×p(x,y)}}|²，其中相位谱特征轴谱||表示求幅值，F()表示超复数傅立叶变换，表示相位，g表示高斯核，*表示卷积，×表示乘积，F^-1表示傅立叶反变换，v()表示取傅立叶变换后的矢量部分，||||表示求矢量的模。

进一步，所述S 3.3中高层次模型的背景的编码字典BC、高层次模型的显著性目标的编码字典FC的阀值分割原则为：BC＝w_i(if P_d(w_i)<λ₁)，FC＝w_i(if P_d(w_i)>λ₂)，其中λ₁为背景的编码中选取的阀值，λ₂为显著性目标的编码中选取的阀值。

进一步，所述S 3.4得到显著性图像ZZ的高层次模型的背景的显著性图像、高层次模型的显著性目标的显著性图像的计算过程为：由计算机随机选取惩罚性考虑与正则化之间的平衡系数μ，使其满足其中局部适配器U_i指的是对夜视红外图像的描述，D为编码字典，ο为元素相乘，cc_i指的是协方差矩阵，λ为正则化系数，×为乘积，tr(cc_i)指的是矩阵cc_i中对角线元素之和，H_n为编码字典的矢量，n为编码字典中的元素的个数，α为局部适配器的权重系数，dist(U_i,H_n)指的是U_i与H_n之间的欧式距离；则高层次模型的背景的显著性图像、高层次模型的显著性目标的显著性图像P_g(w_i)＝||U_i-Dbb_i||²。

本发明的有益效果为：本发明先运用GBVS模型提取初步提取显著性；再在此基础上显，运用基于超复数频域的谱尺度空间的方法，提取全局特征，能在频域上提取显著性特征，使得时域与频域上的显著性相结合；最后运用基于融合全局和局部线索的显著性提取方法，将全局与局部的显著性特征结合，进行显著性目标轮廓的清晰化，从而提高显著性目标提取的准确性和轮廓的清晰性。本发明有效地突出显著性区域和抑制非显著性区域，从而对显著性目标实现更为精确的提取。

附图说明

图1为一种夜视红外图像中的基于显著性的道路目标提取方法的流程图；

图2为基于融合全局和局部线索的显著性提取方法的流程图；

图3为利用本发明得到的显著性图像图，图3(a)为行人的夜视红外图像图，图3(b)为利用本发明得到的行人显著性图像图，图3(c)为车辆的夜视红外图像图，图3(d)为利用本发明得到的车辆显著性图像图。

具体实施方式

下面将结合附图对本发明作进一步的说明，但本发明的保护范围并不限于此。

如图1所示，一种夜视红外图像中的基于显著性的道路目标提取方法的流程图，包括步骤：

S1，针对道路目标的夜视红外图像，先运用GBVS模型(基于图论的图像显著性分析算法)进行基于局部对比度的显著性区域的粗提取，得到夜视红外图像的显著性图像CC；

S1.1，运用经典的Itti视觉显著性模型(基于显著性的视觉注意力模型)，提取出夜视红外图像的特征图；

S1.2，运用马尔科夫随机场，构建特征图的马尔科夫链；

马尔科夫随机场：一个图像小区域中像素的显著性只与它邻近的像素的显著性有关，而与其他地方像素的显著性无关，那么这个图像小区域中像素的集合，就是一个马尔可夫随机场；

S1.3，通过求马尔科夫链的平衡分布，得到显著性图像CC。

S2，运用基于超复数频域的谱尺度空间的方法(运用超复数傅里叶变换，将显著性图像CC从时域转化到超复数频域的谱尺度空间)，基于全局特征，对显著性图像CC进行显著性区域的再提取；

S2.1，通过对显著性图像CC的红绿蓝三个分量组合计算，得到显著性图像CC的三个特征图U,RG,BY；显著性图像CC的三个特征图U,RG,BY的计算公式如下：

U＝(r+g+b)/3 (1)

RG＝[r-(g+b)/2]-[g-(r+b)/2] (2)

BY＝[b-(r+g)/2]-[(r+g)/2-|r-g|/2-b] (3)

其中：r,g,b分别为显著性图像CC的红绿蓝三个分量；

S2.2，对特征图U,RG,BY进行整合，计算得到显著性图像CC的超复数矩阵f(x,y)；超复数矩阵f(x,y)的计算公式为：

$f(x,y)=0.5\&times;U\stackrel{\&RightArrow;}{i}+0.25\&times;RG\stackrel{\&RightArrow;}{j}+0.25BY\stackrel{\&RightArrow;}{k}---\left(4\right)$

其中：向量分别为在三维空间直角坐标系中与x、y、z轴方向相同的单位向量；

S2.3，先对超复数矩阵f(x,y)进行超复数傅立叶变换，然后计算显著性图像CC的幅值谱A，相位谱p，特征轴谱kk；幅值谱A的计算公式为：

A＝|F(f(x,y))| (5)

其中：||表示求幅值，F()表示超复数傅立叶变换；

S2.4，对幅值谱A进行卷积，从而得到显著性图像CC的谱尺度空间{AA_k}；谱尺度空间{AA_k}的计算公式为：

{AA_k}＝g*A (6)

其中：g表示高斯核，*表示卷积；

S2.5，基于显著性图像CC的谱尺度空间{AA_k}计算得到显著性图像CC的显著图序列{Z_i}；计算显著图序列{Z_i}的计算公式为：

Z_i＝g*|F^-1{AA_k(x,y)e^kk×p(x,y)}|² (7)

其中：相位谱特征轴谱||表示求幅值，F()表示超复数傅立叶变换，表示相位，g表示高斯核，*表示卷积，×表示乘积，F^-1表示傅立叶反变换，v()表示取傅立叶变换后的矢量部分，||||表示求矢量的模；

S2.6，运用基于最大方差的原则选取显著图序列{Z_i}中的一个显著图序列作为夜视红外图像的显著性图像ZZ。

S3，如图2所示，运用基于融合全局和局部线索的显著性提取方法，对显著性图像ZZ进行全局和局部线索的融合，得到显著性图像AA；

S3.1，运用超像素分割的方法(超像素分割是指从显著性图像AA中分割出一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小图像区域)，将显著性图像ZZ分割成多个小图像区域；

S3.2，基于全局对比度对S3.1中的多个小图像区域进行计算，得到显著性图像ZZ的低层次模型的显著性图像；基于全局对比度对多个小图像区域进行计算的过程为：

$OK\left(w_i\right)=\frac{\underset{q\&Element;w_i}{\&Sigma;}OK\left(q\right)}{N_{w_i}}---\left(10\right)$

其中：OK(q)指的是像素q落在显著性目标区域的频率，w_i指的是超像素中分割出的多个小图像区域，指的是落在区域w_i中的像素的个数；

$CK\left(w_i\right)=\exp \&lsqb;-\frac{{(x-x_o)}^2}{2V_x^2}-\frac{{(y-y_o)}^2}{2V_y^2}\&rsqb;---\left(11\right)$

其中：(x,y)指的是显著性图像ZZ的平均坐标，(x_o,y_o)指的是图像中心坐标，V_x,V_y指的是由小图像区域的宽和高决定的参数；

由公式(10)、(11)可得低层次模型的显著性图像P_d(w_i)

$P_d\left(w_i\right)=\frac{\underset{j=1}{\overset{M}{\&Sigma;}}dd\left(w_{i,}{c}_j\right)}{M}\&times;OK\left(w_i\right)\&times;CK\left(w_i\right)---\left(12\right)$

其中：c_j指的是位于显著性图像ZZ边界上的小图像区域，M指的是位于显著性图像ZZ边界上的小图像区域的个数，dd(w_i,c_j)指的是运用欧几里得度量所得的小图像区域w_i与c_j之间的差异；

S3.3，按照阀值分割的方法(通过设置阈值的方法对图像进行分割)对显著性图像ZZ的低层次模型的显著性图像进行处理，分别得到显著性图像ZZ的高层次模型的背景的编码字典BC、高层次模型的显著性目标的编码字典FC；高层次模型的背景的编码字典BC、高层次模型的显著性目标的编码字典FC的阀值分割原则为：BC＝w_i(if P_d(w_i)<λ₁)，FC＝w_i(ifP_d(w_i)>λ₂)，其中λ₁为背景的编码中选取的阀值，λ₂为显著性目标的编码中选取的阀值；

S3.4，显著性图像ZZ的高层次模型的背景的显著性图像、高层次模型的显著性目标的显著性图像的计算过程为：

由计算机随机选取惩罚性考虑与正则化之间的平衡系数μ，使其满足

其中：U_i指的是对夜视红外图像的描述，D为编码字典，ο为元素相乘；

公式(13)中

其中：cc_i指的是协方差矩阵，λ为正则化系数，×为乘积，tr(cc_i)是矩阵cc_i中对角线元素之和；

公式(13)中局部适配器

其中：H_n为编码字典的矢量，n为编码字典中的元素的个数，α为局部适配器的权重系数，dist(U_i,H_n)指的是U_i与H_n之间的欧式距离；

由公式(13)、(14)、(15)，可得高层次模型的背景的显著性图像、高层次模型的显著性目标的显著性图像p_g(w_i)：

P_g(w_i)＝||U_i-Dbb_i||² (16)

S3.5，将显著性图像ZZ的高层次模型的背景的显著性图像、高层次模型的显著性目标的显著性图像进行图像融合，得到显著性图像ZZ高层次模型的显著性图像；

S3.6，将显著性图像ZZ的低层次模型的显著性图像与高层次模型的显著性图像相融合，得到最终的显著性图像AA。

通过本发明一种夜视红外图像中的基于显著性的道路目标提取方法得到如图3所示的行人及车辆的显著性图像。

所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

Claims (8)

1.一种夜视红外图像中的基于显著性的道路目标提取方法，其特征在于，包括如下步骤：

S1，针对道路目标的夜视红外图像，先运用GBVS模型(基于图论的图像显著性分析算法)进行基于局部对比度的显著性区域的粗提取，得到夜视红外图像的显著性图像CC；

S2，运用基于超复数频域的谱尺度空间的方法，基于全局特征，对显著性图像CC进行显著性区域的再提取，得到夜视红外图像的显著性图像ZZ；

S3，运用基于融合全局和局部线索的显著性提取方法，对显著性图像ZZ进行全局和局部线索的融合，得到显著性图像AA。

2.根据权利要求1所述的一种夜视红外图像中的基于显著性的道路目标提取方法，其特征在于，所述S2中运用基于超复数频域的谱尺度空间的方法，基于全局特征，对显著性图像CC进行显著性区域的再提取的具体步骤为：

S2.1，通过对显著性图像CC的红绿蓝三个分量组合计算，得到显著性图像CC的三个特征图U,RG,BY；

S2.2，对特征图U,RG,BY进行整合，计算得到显著性图像CC的超复数矩阵f(x,y)；

S2.3，先对超复数矩阵f(x,y)进行超复数傅立叶变换，然后计算显著性图像CC的幅值谱A，相位谱p，特征轴谱kk；

S2.4，对幅值谱A进行卷积，从而得到显著性图像CC的谱尺度空间{AA_k}；

S2.5，基于显著性图像CC的谱尺度空间{AA_k}计算得到显著性图像CC的显著图序列{Z_i}；

S2.6，运用基于最大方差的原则选取显著图序列{Z_i}中的一个显著图序列作为夜视红外图像的显著性图像ZZ。

3.根据权利要求1所述的一种夜视红外图像中的基于显著性的道路目标提取方法，其特征在于，所述S3中运用基于融合全局和局部线索的显著性提取方法，对显著性图像ZZ进行全局和局部线索的融合，得到显著性图像AA的具体步骤为：

S3.1，运用超像素分割的方法，将显著性图像ZZ分割成多个小图像区域；

S3.2，基于全局对比度对S3.1中的多个小图像区域进行计算，得到显著性图像ZZ的低层次模型的显著性图像；

S3.3，按照阀值分割的方法对显著性图像ZZ的低层次模型的显著性图像进行处理，分别得到显著性图像ZZ的高层次模型的背景的编码字典BC、高层次模型的显著性目标的编码字典FC；

S3.4，计算显著性图像ZZ的高层次模型的背景的显著性图像、高层次模型的显著性目标的显著性图像p_g(w_i)；

S3.5，将显著性图像ZZ的高层次模型的背景的显著性图像、高层次模型的显著性目标的显著性图像进行图像融合，得到显著性图像ZZ高层次模型的显著性图像；

S3.6，将显著性图像ZZ的低层次模型的显著性图像与高层次模型的显著性图像相融合，得到最终的显著性图像AA。

4.根据权利要求2所述的一种夜视红外图像中的基于显著性的道路目标提取方法，其特征在于，所述S2.2中超复数矩阵f(x,y)的计算公式为其中向量分别为在三维空间直角坐标系中与x、y、z轴方向相同的单位向量。

5.根据权利要求2所述的一种夜视红外图像中的基于显著性的道路目标提取方法，其特征在于，所述S2.3中幅值谱A的计算公式为A＝|F(f(x,y))|，其中||表示求幅值，F()表示超复数傅立叶变换。

6.根据权利要求2所述的一种夜视红外图像中的基于显著性的道路目标提取方法，其特征在于，所述S 2.5中显著图序列{Z_i}的计算公式为：Z_i＝g*|F^-1{AA_k(x,y)e^kk×p(x,y)}|²，其中相位谱特征轴谱||表示求幅值，F()表示超复数傅立叶变换，表示相位，g表示高斯核，*表示卷积，×表示乘积，F^-1表示傅立叶反变换，v()表示取傅立叶变换后的矢量部分，||||表示求矢量的模。

7.根据权利要求3所述的一种夜视红外图像中的基于显著性的道路目标提取方法，其特征在于，所述S 3.3中高层次模型的背景的编码字典BC、高层次模型的显著性目标的编码字典FC的阀值分割原则为：BC＝w_i(if P_d(w_i)<λ₁)，FC＝w_i(if P_d(w_i)>λ₂)，其中λ₁为背景的编码中选取的阀值，λ₂为显著性目标的编码中选取的阀值。

8.根据权利要求3所述的一种夜视红外图像中的基于显著性的道路目标提取方法，其特征在于，所述S 3.4得到显著性图像ZZ的高层次模型的背景的显著性图像、高层次模型的显著性目标的显著性图像的计算过程为：由计算机随机选取惩罚性考虑与正则化之间的平衡系数μ，使其满足其中局部适配器U_i指的是对夜视红外图像的描述，D为编码字典，。为元素相乘，cc_i指的是协方差矩阵，λ为正则化系数，×为乘积，tr(cc_i)指的是矩阵cc_i中对角线元素之和，H_n为编码字典的矢量，n为编码字典中的元素的个数，α为局部适配器的权重系数，dist(U_i,H_n)指的是U_i与H_n之间的欧式距离；则高层次模型的背景的显著性图像、高层次模型的显著性目标的显著性图像P_g(w_i)＝||U_i-Dbb_i||²。