CN109522813B - 一种基于行人显著特征的改进随机游走算法 - Google Patents

Abstract

一种基于行人显著特征的改进随机游走算法，其步骤如下：一：图像预处理；二：基于全局对比度的亮度显著性计算；三：基于行人形状特征计算形状显著；四：改进随机游走；通过以上步骤，针对红外行人图像能得到很好的显著性检测结果，行人被完整地突出，而背景几乎被完全抑制，在其他图像处理领域如目标分割、目标跟踪和目标检索等都有实际应用价值。

Description

一种基于行人显著特征的改进随机游走算法

(一)技术领域

本发明涉及一种基于行人显著特征的改进随机游走算法，属于计算机视觉和数字图像处理领域。在目标分割、目标识别等领域中有广阔的应用前景。

(二)背景技术

显著性检测重点集中于图像中重要且突出的区域，其这一特性使得显著性被广泛应用于目标分割、图像压缩和目标检测等视觉课题中。然而将显著性应用到红外行人图像中对现有的算法来说仍然是具有挑战性的，但同时这一研究也十分具有现实意义，因为红外行人检测在智能交通领域有着重要的应用。

以往的显著性模型主要研究显著目标的颜色、方向和纹理等底层特征而随着人们对图像理解的深入，一些先验原则被引入到了显著性模型中，最常用的则包括中心先验和背景先验。而在最近的研究中，基于概率传播的显著性模型吸引了越来越多的注意，并取得了较好的成果。马尔可夫链、流形排序和随机游走是最常用的传播模型，于是诞生了许多基于这些传播方法的显著模型。除此之外，一些新的传播模型也不断被提出，同是在显著性中有较好的应用。例如，Gong等人提出了一种learning-to-teach和teaching-to-learn的策略作为显著性传播方式，从简单易判断的点出发逐渐向复杂点逐步扩散。Li等人则提出了一种共同转化的方式对背景标签和似物性标签进行传播，不仅考虑邻域间的传播同时也考虑了非邻域部分间的传播。Qin等人构建了一种元胞自动机模型，以超像素作为元胞并以邻域元胞不断影响显著性传播，对基于背景先验的初始显著度有很好的优化作用。

尽管多种多样的显著性模型不断被提出，但这些模型大多是针对可见光图像的。然而由于红外图像对比度低、信噪比低、并缺少颜色信息等缺点，使得当把这些模型直接应用于红外图像时，往往会产生较差的结果。一些学者提出了一些用于红外图像的显著性检测算法，如Ko等人利用中央-周围机制计算通过计算亮度对比度得到了红外图像的亮度显著图。Zhang等人则结合区域对比度和边缘对比度提出了针对红外小目标的显著性。然而，现有的针对红外图像的显著性模型往往不能提出能体现显著目标特征的有效的特征，并且难以适用于较复杂的场景。

考虑到现有的显著性方法所存在的缺点以及显著性检测在红外行人图像中的应用价值，本算法的研究是十分有必要的。本发明结合红外图像和行人特性提出了两种显著性特征：基于全局对比度的亮度显著和基于行人轮廓特征的形状显著，并构建了两种显著特征的数学模型，将两种特征引入随机游走算法，最终针对红外行人的到了较好的显著性结果。

(三)发明内容

(1)本发明的目的

红外行人图像在智能交通领域有着重要的应用，例如行人监控系统中和车载行人检测系统中。由于红外相比可见光而言能够适用于黑夜以及一些特殊环境中，因此对与红外行人图像的研究是必不可少的。考虑到显著性具有自动判断图像中的显著目标，突出目标并抑制背景的作用，显著性可被用于目标检测之中。常用于显著性检测的图像中目标往往较大，且与背景有较大的差异，然而红外行人图像中行人大小不一，很多时候目标往往较小，另外红外图像中行人没有颜色和纹理信息，同时与背景对比度较低。这些特性使得现有的显著性模型往往不适用于红外行人图像。为了解决现有的问题，使得显著性能够较好的应用于红外行人图像中，突出行人并将行人与背景分离，本发明提出了一种基于行人显著特征的改进随机游走算法。首先考虑到红外行人图像中的行人相对背景往往具有较高的亮度对比度，所以可以以亮度对比度作为红外图像中行人的显著特征之一；另外，行人在形状上具有相对一致的特性：行人的长宽比满足一定范围、行人的轮廓外形也具有一定的一致性，将这两个特性以数学模型描述，作为行人的形状显著特征；最后为了进一步融合并优化这两个特征，将它们转化为概率先验，引入随机游走的能量函数中，得到改进的随机游走算法。最后得到的显著结果在很大程度上突出了行人并抑制了背景。

(2)技术方案

本发明的一种基于行人显著特征的改进随机游走算法，其具体方法步骤如下：

步骤一：图像预处理；针对后续步骤，首先，通过超像素分割将输入图像分割为许多灰度相近，保留边界的超像素，并计算各超像素的平均位置和平均颜色；

超像素分割可以很大程度减少计算量，并起到局部平滑的作用，这对于信噪比较低的红外图像来说可以起到抑制局部噪音的作用；

其中，在步骤一中所述的“通过超像素分割将输入图像分割为许多灰度相近，保留边界的超像素，并计算各超像素的平均位置和平均颜色”，其作法如下：利用SLIC算法，将具有相似纹理、颜色、亮度等特征的相邻像素聚类为有一定视觉意义的不规则像素块，即超像素。各超像素的平均位置c_i和平均颜色I_i的计算公式为：

其中C(p)和I(p)分别代表像素p的位置坐标和颜色，SP_i表示第i个超像素块，|SP_i|则为其对应的面积；

步骤二：基于全局对比度的亮度显著性计算；首先统计灰度图像直方图；再计算各个像素值对应的显著性值；然后将原图像中的像素按照像素值赋予对应的显著性值，得到亮度显著图；最后，通过数学建模，将亮度显著图转化为概率先验；

其中，在步骤二中所述的“计算各个像素值对应的显著性值”，其作法如下：对于某一个像素值c_i∈[0,255]，其显著性值Sal(c_i)计算方法为：

其中，n为图像I中存在的像素值总数，f_i由直方图统计得到，为像素值c_j在图像I中出现的概率。

其中，在步骤二中所述的“将亮度显著转化为概率先验”，其作法如下：将亮度显著图中每个像素值的大小视为该点在亮度层面上属于前景的概率，即

p_l(v_i)＝I_sal(v_i)

然后，利用如下公式，将亮度显著图转化为概率先验，即

其中x为各像素属于前景的概率，即待求解量，初始值为将原图像素点灰度展开构成的一维向量。

步骤三：基于行人形状特征的形状显著计算；首先提取图中所有连通域，计算各区域的长宽比，排除掉所有不符合行人长宽比范围的区域，得到疑似目标区域；然后在此基础上生成特制模板，同时将各区域与行人模板比对，计算各区域为行人的概率，得到形状显著分布；最后，利用特制模板和形状显著分布，得到形状概率先验；

其中，在步骤三中所述的“生成特制模板”，其生成方式如下：在已经通过长宽比过滤得到疑似区域的位置信息的前提下，将事先生成的单个行人模板t进行尺寸变换后添加到与输入图像大小一致的一幅全0图像中的对应区域，从而生成一幅针对输入图像特制的模板T_p。

其中，在步骤三中所述的“计算各区域为行人的概率”，其计算方法如下：对于每一个疑似目标区域，通过以下公式计算该区域与行人模板的相似程度：

其中F和F_t分别为疑似目标区域和行人模板的轮廓表征系数，其计算公式为

其中，I(x,y)为图像中位置的像素值，d(x,y)²为像素点(x,y)到图像中心的几何距离；F_t则为在模板图像上计算表征系数的结果。

然后，通过以下公式，将Sim的值域调整到[0,1]，即

s＝exp(-(Sim-1)²)

将各区域的s值赋值到一幅全0图像对应区域内，得到形状概率分布I_shape；

其中，在步骤三所述的“得到形状概率先验”，其计算方法如下：参考原始随机游走算法中L矩阵的生成方法，以像素为节点，像素间的四邻域关系为图的边，将模板T_p映射为有权无向图

边上的连接权值定义为：

其中

为控制权值大小的参数，/>

为像素i在模板T_p中的像素值。定义拉普拉斯矩阵S：/>

那么，形状显著的概率先验Prior_s定义为：

步骤四：改进随机游走；将前述行人亮度显著与形状显著分别以一定的权重共同作为随机游走能量函数的约束，进行随机游走。

其中，在步骤四中所述的“共同作为随机游走能量函数的约束”，其结合方法为

E_rw＝E_orign+μ_lPrior_l+μ_sPrior_s

将上式展开，即

通过以上步骤，针对红外行人图像能得到很好的显著性检测结果，行人被完整地突出，而背景几乎被完全抑制，在其他图像处理领域如目标分割、目标跟踪和目标检索等都有实际应用价值。

(3)与现有技术相比，本发明的优点：

在原有随机游走算法的基础上，本方法提出了一种结合行人显著特征的改进随机游走算法：分别对行人的亮度和形状显著特征建立模型，作为随机游走算法中能量函数的概率先验，实现显著性检测和图像分割。

本方法相比以往的方法对于红外行人图像能产生更好的结果，对于行人能被完整地突出，背景也能被更完全地抑制。

(四)附图说明

图1为本发明所述检测方法的流程框图。

(五)具体实施方式

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。

本发明的流程框图如图1所示，本发明一种基于行人显著特征的改进随机游走算法，其具体实施步骤如下：

步骤一：图像预处理；

首先，通过超像素分割将输入图像分割为许多灰度相近，保留边界的超像素，并计算各超像素的平均位置c_i和平均颜色I_i：

/>

步骤二：基于全局对比度的亮度显著性计算；

首先提取红外图像中的最大稳定极值区域；首先统计灰度图像直方图，接下来，对于某一个像素值c_i∈[0,255]，其显著性值Sal(c_i)计算方法为：

其中，n为图像I中存在的像素值总数，f_i由直方图统计得到，为像素值c_j在图像I中出现的概率。

然后，将原图像中的像素按照像素值赋予对应的显著性值，得到亮度显著图；最后，将亮度显著图中每个像素值的大小视为该点在亮度层面上属于前景的概率，即

p_l(v_i)＝I_sal(v_i)

利用如下公式，将亮度显著图转化为概率先验，即

其中x为各像素属于前景的概率，即待求解量，初始值为将原图像素点灰度展开构成的一维向量。

步骤三：基于行人形状特征计算形状显著；

首先提取图中所有连通域，计算各区域的长宽比，排除掉所有不符合行人长宽比范围的区域，得到疑似目标区域；然后将事先生成的单个行人模板t进行尺寸变换后添加到与输入图像大小一致的一幅全0图像中的对应区域，从而生成一幅针对输入图像特制的模板T_p。对于每一个疑似目标区域，通过以下公式计算该区域与行人模板的相似程度：

其中，F和F_t分别为疑似目标区域和行人模板的轮廓表征系数，其计算公式为

其中，I(x,y)为图像中(x,y)位置的像素值，d(x,y)²为像素点(x,y)到图像中心的几何距离；F_t则为在模板图像上利用上式计算表征系数的结果。

然后，通过以下公式，将Sim的值域调整到[0,1]，即

s＝exp(-(Sim-1)²)

将各区域的s值赋值到一幅全0图像对应区域内，得到形状概率分布I_shape；最后，利用特制模板和形状显著分布，得到形状概率先验；

最后，参考原始随机游走算法中L矩阵的生成方法，以像素为节点，像素间的四邻域关系为图的边，将模板T_p映射为有权无向图

边上的连接权值定义为：

其中

为控制权值大小的参数，/>

为像素i在模板T_p中的像素值。定义拉普拉斯矩阵S：

那么，形状显著的概率先验Prior_s定义为：

步骤四：改进随机游走；

将前述行人亮度显著与形状显著分别以一定的权重共同作为随机游走能量函数的约束，即

E_rw＝E_orign+μ_lPrior_l+μ_sPrior_s

将上式展开，即

将上式中元素按是否为种子点进行重排，得

对x_U微分，得

由上式得到x_U的即为随意游走中未标记点的游走概率结果。

Claims (6)

1.一种基于行人显著特征的改进随机游走算法，其特征在于：其具体方法步骤如下：

步骤一：图像预处理；针对后续步骤，首先，通过超像素分割将输入图像分割为许多灰度相近，保留边界的超像素，并计算各超像素的平均位置和平均颜色；

超像素分割可以能很大程度减少计算量，并起到局部平滑的作用，这对于信噪比较低的红外图像来说可以能起到抑制局部噪音的作用；

步骤二：基于全局对比度的亮度显著性计算；首先统计灰度图像直方图；再计算各个像素值对应的显著性值；然后将原图像中的像素按照像素值赋予对应的显著性值，得到亮度显著图；最后，通过数学建模，将亮度显著图转化为亮度概率先验；

步骤三：基于行人形状特征的形状显著性计算；首先提取图中所有连通域，计算各区域的长宽比，排除掉所有不符合行人长宽比范围的区域，得到疑似目标区域；然后在此基础上生成特制模板，同时将各区域与行人模板比对，计算各区域为行人的概率，得到形状概率分布；最后，通过构建基于形状概率分布的无向图模型，得到形状概率先验；

步骤四：改进随机游走；将前述亮度概率先验与形状概率先验分别以一定的权重共同作为随机游走能量函数的约束，进行随机游走；

在步骤三中所述的“生成特制模板”，其生成方式如下：在已经通过长宽比过滤得到疑似区域的位置信息的前提下，将事先生成的单个行人模板进行尺寸变换后添加到与输入图像大小一致的一幅全0图像中的对应区域，从而生成一幅针对输入图像特制的模板T_p；

在步骤三中所述的“得到形状概率先验”，其计算方法如下：参考原始随机游走算法中L矩阵的生成方法，以像素为节点，像素间的四邻域关系为图的边，将模板T_p映射为有权无向图

边上的连接权值定义为：

其中

为控制权值大小的参数，/>

和/>

为像素i和j在模板T_p中的像素值；定义拉普拉斯矩阵S：

那么，形状概率先验Prior_s定义为：

2.根据权利要求1所述的一种基于行人显著特征的改进随机游走算法，其特征在于：在步骤一中所述的“通过超像素分割将输入图像分割为许多灰度相近，保留边界的超像素，并计算各超像素的平均位置和平均颜色”，其做法如下：利用SLIC算法，将具有相似纹理、颜色和亮度等特征的相邻像素聚类为有一定视觉意义的不规则像素块，即超像素；各超像素的平均位置c_i和平均颜色I_i的计算公式为：

其中C(p)和I(p)分别代表像素p的位置坐标和颜色，SP_i表示第i个超像素块，|SP_i|则为其对应的面积。

3.根据权利要求1所述的一种基于行人显著特征的改进随机游走算法，其特征在于：在步骤二中所述的“计算各个像素值对应的显著性值”，其做法如下：对于某一个像素值c_i∈[0,255]，其显著性值Sal(c_i)计算方法为：

其中，n为图像I中存在的像素值总数，f_j由直方图统计得到，为像素值c_j在图像I中出现的概率。

4.根据权利要求1所述的一种基于行人显著特征的改进随机游走算法，其特征在于：在步骤二中所述的“将亮度显著图转化为亮度概率先验”，其做法如下：首先将Sal(c_i)分配给对应的像素得到初始显著性图I_sal；然后将亮度显著图中每个像素值的大小视为该点在亮度层面上属于前景的概率，即：

p_l(v_i)＝I_sal(v_i)

然后，利用如下公式，将亮度显著图转化为概率先验，即

其中x为各像素属于前景的概率，即待求解量，初始值为将原图像素点灰度展开构成的一维向量。

5.根据权利要求1所述的一种基于行人显著特征的改进随机游走算法，其特征在于：在步骤三中所述的“计算各区域为行人的概率”，其计算方法如下：

对于每一个疑似目标区域，通过以下公式计算该区域与行人模板t的相似程度：

其中，F和F_t分别为疑似目标区域和行人模板的轮廓表征系数，其计算公式为：

其中，I(x,y)为图像中(x,y)位置的像素值，d(x,y)²为像素点(x,y)到图像中心的几何距离；F_t则为在模板图像上计算表征系数的结果；

然后，通过以下公式，将Sim的值域调整到[0，1]，即

s＝exp(-(Sim-1)²)

将各区域的s值赋值到一幅全0图像对应区域内，得到形状概率分布I_shape。

6.根据权利要求1所述的一种基于行人显著特征的改进随机游走算法，其特征在于：在步骤四中所述的“共同作为随机游走能量函数的约束”，其结合方法为：

E_rw＝E_orign+μ_lPrior_l+μ_sPrior_s

其中μ_l和μ_s比例系数；将上式展开，即

/>

Images