CN107527054B - 基于多视角融合的前景自动提取方法 - Google Patents

Abstract

本发明提出了一种基于多视角融合的前景自动提取方法，用于解决现有基于图切割的前景提取方法中，提取过程比较繁琐和提取的前景边缘不精确的技术问题。本发明首先对SVM分类器进行训练，然后对待提取图像进行灰度化，得到灰度图像，通过训练的SVM分类器，在灰度图像中检测包含前景的子图像，并将子图像在待提取图像中的位置坐标，作为GrabCut算法的输入，对待提取图像进行前景提取，得到待提取图像的像素视角下的提取结果，以SLIC算法对待提取图像生成超像素图像，通过融合超像素图像和像素视角下的提取结果，得到待提取图像的精确的前景提取结果。本发明可用于立体视觉、图像语义识别，三维重建、图像搜索等的应用与研究。

Description

基于多视角融合的前景自动提取方法

技术领域

本发明属于图像处理技术领域，更进一步涉及一种基于多视角融合的前景自动提取方法方法，本发明可用于立体视觉、图像语义识别，图像搜索等的应用与研究。

背景技术

前景提取是一种在图像中提取感兴趣目标的手段。它把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程，并且已经成为从图像处理到图像分析的关键步骤。具体解释为根据灰度、颜色、纹理和形状等特征把图像划分成若干互补交叠的区域，并使这些特征在同一区域内呈现出相似性，而在不同区域间呈现出明显的差异。经过了几十年的发展与变化，前景提取逐步形成了自己的科学体系，新的提取方法层出不穷，已然成为了一个跨学科的领域，并且引起了各个领域的研究人员和应用人士的广泛关注，如医学领域，航空航天遥感领域，工业检测，安防与军事领域等。

当前前景提取方法主要包括基于阈值的前景提取方法、基于边缘的前景提取方法、基于区域的前景提取方法、基于图切割的前景提取方法、基于能量泛函的前景提取方法和基于深度学习的图像前景提取方法等。其中基于图切割的前景提取方法因为提取精度高，操作简单而受到青睐，基于图切割的前景提取方法是一种基于图论的组合优化方法,根据用户的交互信息，它将一幅图像映射成一个网络图，并建立关于标号的能量函数，运用最大流最小割算法对网络图进行有限次的迭代切割，得到网络图的最小割，作为图像的前景提取结果。但是因为人机交互的存在，对多幅图像进行提取时，人工操作量太大，限制了其在工程中的应用。例如，Meng Tang等人2013年在2013IEEE International Conference onComputer Vision上发表的《GrabCut in One Cut》，通过用户选择前景区域，然后将前景所在区域映射为图，通过One Cut对映射图进行有限次迭代切割，获得图像的前景提取结果，但是需要人机交互标定前景所在区域，导致前景提取过程比较繁琐，而且有限次的能量迭代优化只能获得较优解的最小割，难以得到精确的前景边缘。

发明内容

本发明的目的在于针对上述已有技术的不足，提出了一种基于多视角融合的前景自动提取方法，用于解决现有基于图切割的前景提取方法中，因为人机交互的存在导致的前景提取过程比较繁琐和有限次的能量迭代优化导致的前景边缘不精确的技术问题。

为实现上述目的，本发明采取的技术方案包括以下步骤：

(1)对SVM分类器进行训练；

(1a)采集含有前景类别的样本图像集，并对其中的所有样本图像进行灰度化，得到样本灰度图像集；

(1b)提取样本灰度图像集中各图像的HOG特征，得到样本HOG特征集；

(1c)采用样本HOG特征集中所有的HOG特征对SVM分类器进行训练，得到训练的SVM分类器；

(2)对待提取图像进行灰度化，得到灰度图像；

(3)通过训练的SVM分类器，在灰度图像中检测包含前景目标的子图像p_i，得到子图像p_i左上角的像素在待提取图像的相应位置(x_min,y_min)和右下角的像素在待提取图像的相应位置(x_max,y_max)；

(3a)采用多尺度窗口，按照设定的间隔在灰度图像中进行逐行滑动，得到由多个子图像组成的图像集P＝{p₁,p₂,...p_i,...,p_q}，其中，p_i为第i个子图像，q为子图像的数量；

(3b)提取图像集P中各子图像p_i的HOG特征，并将其输入到训练的SVM分类器中进行分类，得到子图像p_i的标签l_pi；

(3c)判断子图像p_i的标签l_pi是否为正，若是，记录子图像p_i左上角的像素在待提取图像的相应位置(x_min,y_min)和右下角的像素在待提取图像的相应位置(x_max,y_max)，执行步骤(4)，否则，丢弃图像p_i；

(4)采用GrabCut算法，对待提取图像进行前景提取：

采用子图像p_i左上角和右下角的像素在待提取图像的相应位置(x_min,y_min)和(x_max,y_max)对GrabCut算法的人机交互进行替换，并利用替换结果对待提取图像进行前景提取，得到待提取图像的像素视角下的提取结果S₁(x,y)；

(5)采用SLIC算法计算待提取图像的超像素，得到超像素图像B，B＝{b₁,b₂,...,b_h,...,b_o}，b_h为第h个超像素，o为超像素的数量；

(6)通过融合超像素图像和待提取图像的像素视角下的提取结果S₁(x,y)，获取待提取图像的最终提取结果S₂(x,y)：

(6a)对超像素图像B的超像素b_i包含的所有像素在像素视角下的提取结果S₁(x,y)中的标签l_hj进行加权，得到超像素b_h的标签置信度Score_bh；

(6b)设定置信度阈值gate，并将置信度阈值gate与超像素b_h的标签置信度Score_bh进行比较，得到超像素b_h视角下l_bh；

(6c)将属于超像素b_i的像素点(x_i,y_i)的标签S₂(x_h,y_h)＝l_bh作为最终的前景提取结果S₂(x,y)。

本发明与现有技术相比，具有如下优点：

(1)本发明采用训练的SVM分类器获得待提取图像中前景所在的子图像，并采用子图像在待提取图像中的位置坐标替换GrabCut算法的人机交互获得的矩形区域作为算法输入，实现对待提取图像的前景提取，充分结合了SVM分类器和GrabCut算法，可以自动完成图像前景提取过程，解决了现有基于图切割的前景提取方法中，因为人机交互的存在导致的前景提取过程比较繁琐的问题，有效地提高了图像前景提取的效率。

(2)本发明采用SLIC算法对待提取图像进行超像素提取，充分利用了超像素块内一致性较好的特点，通过对超像素图像的融合，对GrabCut算法输出的像素视角下的提取结果的边缘进行修补，得到待提取图像的前景精确提取结果，通过引入超像素，使前景提取结果更加精确，平滑，解决了现有基于图切割的前景提取方法中，因为有限次的能量迭代优化导致的前景边缘不精确的问题，提高了图像前景提取的精度。

附图说明

图1是本发明的实现流程图；

图2是本发明中样本图像集的结构图；

图3是本发明中HOG特征提取的实现流程图；

图4是本发明中HOG特征的可视化展示图；

图5是本发明对行人、树叶的提取实验结果图。

具体实施方式

以下结合附图和具体实施例，对本发明作进一步详细描述。

参照图1，基于多视角融合的前景自动提取方法，包括以下步骤：

步骤1)对SVM分类器进行训练；

(1a)采集含有前景类别的样本图像集，并对其中的所有样本图像进行灰度化，得到样本灰度图像集；

样本图像集的结构图如图2所示，所述的含有前景的样本图像集包含正样本、负样本和样本标签文件，其中正样本为包含前景的图像，负样本为不包含前景的图像，样本标签文件对正样本和负样本的类别和存储位置进行说明；

所述的对样本图像集中的所有样本图像进行灰度化，具体为：

将样本图像中的三通道的红色分量R，绿色分量G，蓝色分量B，进行加权平均得到灰度图像的灰度值Gray，加权平均公式为：

Gray＝R×0.299+G×0.587+B×0.114；

(1b)提取样本灰度图像集中各图像的HOG特征，HOG特征提取的实现流程图如图3所示：

(1b1)将输入图像分为连通相邻、又不重叠的若干个单元，在每个单元内计算像素的梯度幅值G(x,y)和梯度方向α(x,y)，计算公式分别为：

其中，G_x(x,y)＝H(x+1,y)-H(x-1,y)，G_y(x,y)＝H(x,y+1)-H(x,y-1)分别表示输入图像中像素点(x,y)处的水平方向梯度和垂直方向梯度，H(x,y)表示输入图像中像素点(x,y)处的像素值；

(1b2)将所有梯度方向α(x,y)划分为9个角度，作为直方图的横轴，每个角度范围所对应的梯度值累加作为直方图的纵轴，得到梯度直方图；

(1b3)统计每个单元的梯度直方图，得到每个单元的特征描述子；

(1b4)将8×8个单元组成一个块，串联一个块内所有单元的特征描述子，得到该块的HOG特征描述子；

(1b5)串联输入图像内所有块的HOG特征描述子，得到该输入图像的HOG特征，其中HOG特征的可视化展示图如图4所示，HOG特征通过梯度或边缘方向密度很好的描述局部目标的表象和形状；

(1b6)串联样本灰度图像集中所有输入图像的HOG特征，得到该样本灰度图像集的HOG特征集，得到样本HOG特征集。

(1c)采用样本HOG特征集中所有的HOG特征对SVM分类器进行训练，得到训练的SVM分类器；

步骤2)对待提取图像进行灰度化，得到灰度图像；

步骤3)通过训练的SVM分类器，在灰度图像中检测包含前景目标的子图像p_i，得到子图像p_i左上角的像素在待提取图像的相应位置(x_min,y_min)和右下角的像素在待提取图像的相应位置(x_max,y_max)；

(3a)采用多尺度窗口，按照设定的间隔在灰度图像中进行逐行滑动，得到由多个子图像组成的图像集P＝{p₁,p₂,...p_i,...,p_q}，其中，p_i为第i个子图像，q为子图像的数量；

(3b)提取图像集P中各子图像p_i的HOG特征，并将其输入到训练的SVM分类器中进行分类，得到子图像p_i的标签l_pi；

(3c)判断子图像p_i的标签l_pi是否为正，若是，记录子图像p_i左上角的像素在待提取图像的相应位置(x_min,y_min)和右下角的像素在待提取图像的相应位置(x_max,y_max)，执行步骤4)，否则，丢弃图像p_i；

所述的子图像p_i左上角的像素在待提取图像的相应位置(x_min,y_min)和右下角的像素在待提取图像的相应位置(x_max,y_max)，组成包含前景的矩形区域

步骤4)采用GrabCut算法，对待提取图像进行前景提取：

采用子图像p_i左上角和右下角的像素在待提取图像的相应位置(x_min,y_min)和(x_max,y_max)对GrabCut算法的人机交互进行替换，并利用替换结果对待提取图像进行前景提取，得到待提取图像的像素视角下的提取结果S₁(x,y)；

所述的采用子图像p_i左上角和右下角的像素在待提取图像的相应位置(x_min,y_min)和(x_max,y_max)对GrabCut算法的人机交互进行替换，其中GrabCut算法通过人机交互在待提取图像上获取前景目标的所在矩形区域R₁作为算法输入，以(x_min,y_min)和(x_max,y_max)分别作为矩形区域R₂的左上点坐标和右下点坐标在待提取图像中组成矩形区域R₂，并替换R₁作为GrabCut算法的输入；

(4a)将待提取图像从RGB颜色空间转换到CIE-Lab颜色空间，得到CIE-Lab图像；

所述的待提取图像从RGB颜色空间转换到CIE-Lab颜色空间，其中在RGB和LAB之间没有直接的转换公式，其必须用XYZ颜色空间作为中间层，转换公式为：

其中，

X,Y,Z三通道为：

其中，

则CIE-Lab颜色空间中，L，a，b三通道的值为：

L＝116f(Y/Y_n)

b＝500(f(X/X_N)-f(Y/Y_n))

a＝200(f(Y/Y_N)-f(Z/Z_n))

其中，X_N，Y_N，Z_n一般默认为95.047，100.0，108.883；

(4b)初始化超像素的聚类中心：设定超像素个数o＝200，在CIE-Lab图像内按照超像素个数均匀的分配超像素的聚类中心，得到聚类中心集其中，为第d次迭代后的第h个聚类中心；

(4c)对CIE-Lab图像的每一个像素pixel，设置标签l(pixel)＝-1和距离d(pixel)＝∞；

(4d)分别计算聚类中心集C^d中聚类中心的n×n领域内所有像素点的梯度值，将聚类中心移到该领域内梯度最小的像素点上，获得新的聚类中心集C^d+1；

(4e)对于聚类中心集C^d中每一个聚类中心的2S×2S内的每一个像素pixel＝[l_p,a_p,b_p,x_p,y_p]计算和pixel的距离D(pixel)，计算公式为：

其中，m为d_c的最大值；

(4f)比较d(pixel)和D(pixel)的大小，如果D(pixel)＜d(pixel)，则d(pixel)＝D(pixel)，l(pixel)＝h，得到新的超像素b_h；

(4g)不断执行步骤(4d)(4e)(4f)，更新聚类中心，直到残余误差收敛，得到超像素图像B＝{b₁,b₂,...,b_h,...,b₂₀₀}。

步骤5)采用SLIC算法计算待提取图像的超像素，得到超像素图像B，B＝{b₁,b₂,...,b_h,...,b₂₀₀}，b_h为第h个超像素；

步骤6)通过融合超像素图像和待提取图像的像素视角下的提取结果S₁(x,y)，获取待提取图像的最终提取结果S₂(x,y)：

(6a)对超像素图像B的超像素b_h的所有的像素在像素视角下的提取结果S₁(x,y)标签l_hj进行加权，得到超像素b_h的标签置信度Score_bh；

上述的对超像素图像B中的超像素b_h的所有的像素在像素视角下的提取结果S₁(x,y)标签l_hj进行加权，加权公式为：

Score_bh＝∑l_hj

其中，Score_bh为超像素b_h的标签置信度。

(6b)设定置信度阈值gate，并将置信度阈值gate与超像素b_h的标签置信度Score_bh进行比较，得到超像素b_h的标签l_bh；

所述的设定置信度gate，gate越小，超像素b_h判为前景的概率越小，gate越大，超像素b_h判为前景的概率越大，但是gate过大时，前景提取结果中会有过多的噪声存在。

所述的将置信度阈值gate与超像素b_h的标签置信度Score_bh进行比较，得到超像素b_h的标签l_bh，比较公式为：

其中，l_bh为超像素b_h的标签，num_bh为超像素b_h中像素的数量，gate为置信度阈值，1为前景标签，0为背景标签。

(6c)将属于超像素b_h的像素点(x_h,y_h)的标签S₂(x_h,y_h)＝l_bh作为最终的前景提取结果S₂(x,y)；

所述的将属于超像素b_h的像素点(x_h,y_h)的标签S₂(x_h,y_h)＝l_bh，超像素b_h内的所有像素的标签和超像素的标签相同。

以下通过前景提取实验，对本发明的技术效果作进一步说明：

1、实验条件和内容：

本发明的实验分别对行人、树叶目标进行提取，训练数据为网络随机找的行人、树叶图像集，图像数量分别为736张、186张，对每幅图片分别取正负样本，然后制作标签，分别形成含行人类别的样本图像集、含树叶类别的样本图像集。仿真实验都是在MATLAB R2017a中编程实现。对行人、树叶目标进行前景提取实验的结果如图5所示。

2、实验结果分析：

实验结果如图5所示，对两类数据分别测试4幅图像。对于输出的前景提取结果，不存在噪声，并且提取的前景边缘较好，如对树叶类别的4幅图像的前景提取结果，提取的前景边缘极为准确。对于输入图像中含有的前景完整度有较好的兼容性，如对行人类别的输入图像3，以半身像作为输入图像，仍然能获得较好的前景提取效果。

本发明在SVM分类器完成训练后，本方法可以自动完成对待提取图像的前景自动过程，获得待提取图像的前景提取结果，解决了现有基于图切割的前景提取方法中，需要人机交互辅助提取的问题，但是因为SVM分类器的存在，算法的运行时间略长于GrabCut算法。同时本发明充分利用了超像素块内一致性较好的特点，对GrabCut算法输出的像素视角下的提取结果的边缘进行修补，使前景提取结果更加准确，平滑，得到精确的前景提取结果，提高了前景提取精度。

Claims (7)

1.一种基于多视角融合的前景自动提取方法，其特征在于：包括以下步骤：

(1)对SVM分类器进行训练；

(1a)采集含有前景类别的样本图像集，并对其中的所有样本图像进行灰度化，得到样本灰度图像集；

(1b)提取样本灰度图像集中各图像的HOG特征，得到样本HOG特征集；

(1c)采用样本HOG特征集中所有的HOG特征对SVM分类器进行训练，得到训练的SVM分类器；

(2)对待提取图像进行灰度化，得到灰度图像；

(3)通过训练的SVM分类器，在灰度图像中检测包含前景目标的子图像p_i，得到子图像p_i左上角的像素在待提取图像的相应位置(x_min,y_min)和右下角的像素在待提取图像的相应位置(x_max,y_max)；

(3a)采用多尺度窗口，按照设定的间隔在灰度图像中进行逐行滑动，得到由多个子图像组成的图像集P＝{p₁,p₂,...p_i,...,p_q}，其中，p_i为第i个子图像，q为子图像的数量；

(3b)提取图像集P中各子图像p_i的HOG特征，并将其输入到训练的SVM分类器中进行分类，得到子图像p_i的标签l_pi；

(3c)判断子图像p_i的标签l_pi是否为正，若是，记录子图像p_i左上角的像素在待提取图像的相应位置(x_min,y_min)和右下角的像素在待提取图像的相应位置(x_max,y_max)，执行步骤(4)，否则，丢弃图像p_i；

(4)采用GrabCut算法，对待提取图像进行前景提取：

采用子图像p_i左上角和右下角的像素在待提取图像的相应位置(x_min,y_min)和(x_max,y_max)对GrabCut算法的人机交互进行替换，并利用替换结果对待提取图像进行前景提取，得到待提取图像的像素视角下的提取结果S₁(x,y)；

(5)采用SLIC算法计算待提取图像的超像素，得到超像素图像B，B＝{b₁,b₂,...,b_h,...,b_o}，b_h为第h个超像素，o为超像素的数量；

(6)通过融合超像素图像和待提取图像的像素视角下的提取结果S₁(x,y)，获取待提取图像的最终提取结果S₂(x,y)：

(6a)对超像素图像B的超像素b_h包含的所有像素在像素视角下的提取结果S₁(x,y)中的标签l_hj进行加权，得到超像素b_h的标签置信度Score_bh；

(6b)设定置信度阈值gate，并将置信度阈值gate与超像素b_h的标签置信度Score_hi进行比较，得到超像素b_h视角下l_bh；

(6c)将属于超像素b_h的像素点(x_h,y_h)的标签S₂(x_h,y_h)＝l_bh作为最终的前景提取结果S₂(x,y)。

2.根据权利要求1所述的基于多视角融合的前景自动提取方法，其特征在于：步骤(1a)中所述的对样本图像集中的所有样本图像进行灰度化，具体为：

将样本图像中的三通道的红色分量R，绿色分量G，蓝色分量B，进行加权平均得到灰度图像的灰度值Gray，加权平均公式为：

Gray＝R×0.299+G×0.587+B×0.114。

3.根据权利要求1所述的基于多视角融合的前景自动提取方法，其特征在于：步骤(1b)中所述的提取样本灰度图像集中每个图像的HOG特征，按照如下步骤进行：

(1b1)将输入图像分为连通相邻、又不重叠的若干个单元，在每个单元内计算像素的梯度幅值G(x,y)和梯度方向α(x,y)，计算公式分别为：

其中，G_x(x,y)＝H(x+1,y)-H(x-1,y)，G_y(x,y)＝H(x,y+1)-H(x,y-1)分别表示输入图像中像素点(x,y)处的水平方向梯度和垂直方向梯度，H(x,y)表示输入图像中像素点(x,y)处的像素值；

(1b2)将所有梯度方向α(x,y)划分为9个角度，作为直方图的横轴，每个角度范围所对应的梯度值累加作为直方图的纵轴，得到梯度直方图；

(1b3)统计每个单元的梯度直方图，得到每个单元的特征描述子；

(1b4)将n×n个单元组成一个块，串联一个块内所有单元的特征描述子，得到该块的HOG特征描述子；

(1b5)串联输入图像内所有块的HOG特征描述子，得到该输入图像的HOG特征；

(1b6)串联样本灰度图像集中所有输入图像的HOG特征，得到该样本灰度图像集的HOG特征集。

4.根据权利要求1所述的基于多视角融合的前景自动提取方法，其特征在于：步骤(3b)所述的输入到训练的SVM分类器中，子图像的标签l_pi可从以下公式得到：

其中，为SVM分类器的超平面的法向量，φ为SVM分类器的超平面的位移项。

5.根据权利要求1所述的基于多视角融合的前景自动提取方法，其特征在于：步骤(4)中所述的计算待提取图像的超像素，实现步骤为：

(4a)将待提取图像从RGB颜色空间转换到CIE-Lab颜色空间，得到CIE-Lab图像；

(4b)初始化超像素的聚类中心：设定超像素个数，在CIE-Lab图像内按照超像素个数均匀的分配超像素的聚类中心，得到聚类中心集其中，为第d次迭代后的第h个聚类中心，共o个；

(4c)对CIE-Lab图像的每一个像素pixel，设置标签l(pixel)＝-1和距离d(pixel)＝∞；

(4d)分别计算聚类中心集C^d中聚类中心的n×n领域内所有像素点的梯度值，将聚类中心移到该领域内梯度最小的像素点上，获得新的聚类中心集C^d+1；

(4e)对于聚类中心集C^d中每一个聚类中心的2S×2S内的每一个像素pixel＝[l_p,a_p,b_p,x_p,y_p]计算和pixel的距离D(pixel)，计算公式为：

其中，m为d_c的最大值；

(4f)比较d(pixel)和D(pixel)的大小，如果D(pixel)＜d(pixel)，则d(pixel)＝D(pixel)，l(pixel)＝h，得到新的超像素b_h；

(4g)不断执行步骤(4d)(4e)(4f)，更新聚类中心，直到残余误差收敛，得到超像素图像B＝{b₁,b₂,...,b_h,...,b_o}。

6.根据权利要求1所述的基于多视角融合的前景自动提取方法，其特征在于：步骤(6a)所述的对超像素图像B中的超像素b_h的所有的像素在像素视角下的提取结果S₁(x,y)标签l_hj进行加权，加权公式为：

Score_bh＝∑l_hj

其中，Score_bh为超像素b_h的标签置信度。

7.根据权利要求1所述的基于多视角融合的前景自动提取方法，其特征在于：步骤(6b)所述的将置信度阈值gate与超像素b_h的标签置信度Score_bh进行比较，得到超像素b_h的标签l_bh，比较公式为：

其中，l_bh为超像素b_h的标签，num_bh为超像素b_h中像素的数量，gate为置信度阈值，1为前景标签，0为背景标签。