CN103914840B - 一种针对非简单背景的人体轮廓自动提取方法 - Google Patents

Abstract

本发明公开了一种针对非简单背景的人体轮廓自动提取方法，包括以下步骤：对图像预处理，将图像中前景区域人体位置进行定位，找到人体质心像素位置；对图像中每个像素，计算其到人体质心的距离，得到图像的三维直方图统计，结合图像的三维直方图分析得到背景的颜色分布；利用扫描线依次对图像各行或各列像素进行扫描，最后得到一系列区域边界；区域边界进行后处理，如果两个区域同属于背景区域，则将两个区域合并，消除之间的边界，最终获得人体边界轮廓线。提出了三维直方图的概念，弥补了二维直方图丢失图像空间信息的缺陷。

Description

一种针对非简单背景的人体轮廓自动提取方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种针对非简单背景的人体轮廓自动提取方法。

背景技术

图像的轮廓作为图像的一种基本特征，往往携带着一幅图像的大部分信息，经常被应用到较高层次的图像应用中去。它在图像识别，图像分割，图像增强以及图像压缩等的领域有广泛应用，也是图像处理的基础。因而这就需要我们对一幅图像检测并提取出它的轮廓。轮廓提取在许多智能视觉系统中特别是模式识别中被认为是非常重要的过程。

采用区域增长的方法来提取轮廓线，能够避免对图像所有数据点的处理，大大提高了轮廓线的提取速度，通过限制条件保证了生成的轮廓线的封闭性，然而传统的种子区域生长法不仅受初始种子点选取以及生长顺序的影响，而且还面临着如何自动选取种子及自动确定生长区域的数目等问题。种子点的确定直接影响最后形成的区域，如果选取不当，就会造成过分割或者欠分割的。停止生长的准则也是缺乏通用的准则，如果确定不好，很容易引起程序的死循环。对于非简单背景的图像，由于色彩、纹理等特征变化较大，使得区域增长的种子点选取不能自动实现，因此采用传统的单一方法分割不能满足实际要求。

另外将图像直接用一个二维颜色直方图表示时，其统计的是不同颜色出现的频数，以色彩作为横坐标，纵坐标为色彩出现的频数。二维颜色直方图仅描述了每个灰度级的像素的个数，但不能为这些像素在图像中的位置提供任何线索。当一幅图像被压缩为直方图后，所有的空间信息将全部丢失。

发明内容

为解决现有技术存在的不足，本发明公开了一种针对非简单背景的人体轮廓自动提取方法，针对二维直方图的缺点，将像素距人体质心像素的距离附加到二维颜色直方图，提出了三维直方图的概念，辅助种子点的选取。该方法鲁棒于初始种子点的选取及生长顺序的优点。自动选取种子以及自动确定生长区域数目，保证背景区域内部的一致性，能够得到人体轮廓提取希望的区域分割。

为实现上述目的，本发明的具体方案如下：

一种针对非简单背景的人体轮廓自动提取方法，包括以下步骤：

步骤一：对图像预处理，将图像中前景区域人体位置进行定位，找到人体质心像素位置；

步骤二：对图像中每个像素，计算其到人体质心的距离，得到图像的三维直方图统计，结合图像的三维直方图分析得到背景的颜色分布；

步骤三：利用扫描线依次对图像各行或各列像素进行扫描，在扫描过程中，当遇到属于背景颜色集的像素，且该像素到人体质心的距离小于阈值时，则标记为种子点，并进行基于区域颜色梯度的生长，否则继续扫描，直至找出整幅图像所有背景种子点，最后得到一系列区域边界；

步骤四：步骤三中的区域边界进行后处理，如果两个区域同属于背景区域，则将两个区域合并，消除之间的边界，最终获得人体边界轮廓线。

所述步骤一对图像的预处理：采用显著性区域检测的方法定位出人体的大致位置，然后找到人体区域的质心。

所述步骤一对图像的预处理的步骤如下：

（1-1）采用SGC显著性区域检测方法定位出人体的大致位置，并赋予其标号I，在进行显著性区域检测时需要进行颜色空间转换，即由RGB空间转换为Lab空间；

具体转换步骤如下：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\begin{array}{}\end{array}\left[\begin{array}{ccc}0.4124& 0.3575& 0.1804\\ 0.2128& 0.7152& 0.0722\\ 0.0193& 0.1192& 0.9502\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

$L=116*f\left(\frac{Y}{Y_0}\right)-16$

$a=500*(f\left(\frac{X}{X_0}\right)-f\left(\frac{Y}{Y_0}\right))$

$b=200*(f\left(\frac{Y}{Y_0}\right)-f\left(\frac{Z}{Z_0}\right))$

其中，R，G，B表示彩色图像的3个通道，取值范围在[0，1]之间，X₀＝0.950456，Y₀＝1.0，Z₀＝1.088754表示3个常量，X、Y、Z为中间变量，L、a、b为CIE颜色模型分量。

（1-2）显著性区域检测后得到人体像素的大概范围，根据式(1)计算出标识为人体区域的质心坐标(x₁,y₁)。

$x_1=\frac{1}{n}\underset{(x,y)\∈I}{\mathrm{\Σ}}x,y_1=\frac{1}{n}\underset{(x,y)\∈I}{\mathrm{\Σ}}y---\left(1\right)$

其中，(x,y)为像素几何位置，I为给定图像。

所述步骤二是计算像素到人体质心像素的距离附加到二维直方图，得到三维直方图，并依此判断出属于背景区域的颜色范围，具体包括以下步骤：

（2-1）计算图像中各个像素s_k到(x₁,y₁)的距离，然后将距离量化为8个级别，将距离级别作为竖坐标附加到二维直方图上，得到三维直方图，k表示像素的标号；

（2-2）由三维直方图看出，同一颜色值的像素因为距人体质心像素的距离不同，将会被划分到不同的区域，根据三维直方图确定区分前景与背景的阈值T_d，然后将距离大于阈值T_d的像素标记为背景像素，得到初步背景像素集S_d，并将其颜色集标识为B。

所述步骤三利用扫描线，根据步骤二求出的背景颜色范围和初步背景颜色集S_d，确定出能代表背景特征的种子点，以此进行区域增长；

扫描线就是指由图像中的像素组成的一条横向或纵向的直线。对扫描线上的种子点提取是通过分析扫描线上各点的颜色特征，以此来判断点是否为种子点；

判断的依据为该像素的颜色是否属于背景颜色集B以及其到人体质心像素的距离是否小于阈值T_d。

所述步骤二计算三维直方图的具体步骤如下：

A.首先按照公式（2）计算出图像中各个像素s_k到(x₁,y₁)的距离，

$d_k=\sqrt{{(x_k-x_1)}^2+{(y_k-y_1)}^2}---\left(2\right)$

B.将步骤A中计算得到的所有距离均匀量化为22个等级，量化间隔为其中d_kmax＝max{d_k}，

C.以距离等级作为竖坐标附加到二维直方图中，得到三维直方图，直方图定义如下：在Lab颜色空间中，三维颜色直方图可以看成是一个离散函数，即

$H(c,d)=\frac{n_{c,d}}{n},c=\mathrm{0,1},...,L,d=\mathrm{1,2},...,22---\left(3\right)$

其中，c表示图像的颜色特征取值，即L、a、b三个分量的加权平均值，L表示颜色特征量化的等级数，d表示像素距人体质心像素的距离等级，n_c,d表示图像中具有颜色特征值为c和距离等级d的像素个数，n表示图像像素的总个数。

通过三维直方图得到背景颜色范围的具体步骤如下：

D.首先确定距离阈值为T_d，其计算定义如下：（或采用经验值，或采用步骤一定位的人体边界到人体质心的最远距离）

$T_d=\frac{\mathrm{\Σ}{d}_k}{n},k=\mathrm{0,1},...,L-1---\left(4\right)$

E.将距离大于阈值T_d的像素标记为背景像素，得到初步背景像素集S_d，并将其颜色集标识为B。

所述步骤三利用扫描线进行种子点自动选取、自动区域生长的具体步骤如下：

（3-1）对于图像，从左至右依次纵向（或横向）扫描，对于扫描线上的点，首先判断其颜色是否属于背景颜色集B，并且判断其到人体质心像素的距离是否大于阈值T_d，即是否属于初步背景像素集S_d，若符合条件，则标记为种子点s_k；

（3-2）对确定的种子点按照公式（5）计算的颜色梯度进行区域增长，并将该种子点区域增长之后得到的区域标记为R_k，

$G=\▿I_E=[\frac{{\∂I}_E}{\∂x},\frac{{\∂I}_E}{\∂y}]---\left(5\right)$

其中， ${\▿I}_E=\sqrt{{\mathrm{\Δ}}^2{I}_L+{\mathrm{\Δ}}^2{I}_a+{\mathrm{\Δ}}^2{I}_b}*\mathrm{sign}(E_{+\mathrm{\Δ}}-E_{-\mathrm{\Δ}}),E=\sqrt{I_L^2+I_a^2+I_b^2}.$ 其中G表示CIELab颜色空间的梯度值，I_L，I_a，I_b分别为CIELab颜色空间的颜色分量，E为CIELab颜色空间的距离项。

（3-3）继续沿扫描线扫描未标记区域，重复(3-1)、(3-2)步骤，若是没有满足条件的种子点，则结束扫描，否则继续进(3-1)、(3-2)的迭代。

步骤四对背景区域进行区域合并，消除边界，得到真正的人体轮廓。合并规则定义如下：首先根据种子点扫描找到一个背景区域R,设表示R的所有相邻区域的集合。如果邻接区域的种子点也为背景像素，我们就将R和合并。迭代扫描整幅图像，直到将所有背景区域合并。

本发明的有益效果：

本发明首先需要对前景区域人体的大致位置进行定位，找出人体的中心位置并计算图像中每个像素到人体中心的距离，结合图像的三维直方图分析得到背景的颜色分布，利用扫描线对图像扫描，自动获得多区域增长的种子点，基于颜色梯度变化进行区域生长，得到图像内各区域的划分，然后判断这些区域是否属于背景图像，最终进行区域合并，去掉图像的背景区域，获得人体边界轮廓线。达到了以下优点：

（1）改进了区域生长算法，实现了自动选取种子点，以及自动确定了生长区域的数目。

（2）保证了背景区域内部的一致性，并能够得到封闭连续的人体轮廓。

（3）提出了三维直方图的概念，弥补了二维直方图丢失图像空间信息的缺陷。

附图说明

图1是本发明的流程示意图。

具体实施方式：

下面结合附图对本发明进行详细说明：

如图1流程图所示，本发明包括以下步骤：

步骤1对图像进行预处理，对人体进行定位，找到人体质心像素位置；

步骤2对图像中每个像素，计算其到人体质心的距离，得到图像的三维直方图统计，并依此确定背景的大致颜色范围；

步骤3依次对图像各行或各列像素进行扫描，在扫描过程中，当遇到属于背景颜色集的像素，且该像素到人体质心的距离小于阈值时，则标记为种子点，并进行基于区域颜色梯度的生长，否则继续扫描，直至找出整幅图像所有背景种子点。得到一系列区域边界。

步骤4将步骤3中找到的区域边界进行后处理，如果两个区域同属于背景区域，则将两个区域合并，消除之间的边界。

所述步骤1对图像的预处理的步骤如下：

（1）采用SGC显著性区域检测方法定位出人体的大致位置，并赋予其标号I。在进行显著性区域检测时需要进行颜色空间转换，即由RGB空间转换为Lab空间。具体转换步骤如下：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\begin{array}{}\end{array}\left[\begin{array}{ccc}0.4124& 0.3575& 0.1804\\ 0.2128& 0.7152& 0.0722\\ 0.0193& 0.1192& 0.9502\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

$L=116*f\left(\frac{Y}{Y_0}\right)-16$

$a=500*(f\left(\frac{X}{X_0}\right)-f\left(\frac{Y}{Y_0}\right))$

$b=200*(f\left(\frac{Y}{Y_0}\right)-f\left(\frac{Z}{Z_0}\right))$

其中，R,G,B表示彩色图像的3个通道，取值范围在[0,1]之间，X₀＝0.950456，Y₀＝1.0，Z₀＝1.088754表示3个常量。

（2）显著性区域检测后得到人体像素的大概范围，根据式(1)计算出标识为人体区域的质心坐标(x₁,y₁)。

$x_1=\frac{1}{n}\underset{(x,y)\∈I}{\mathrm{\Σ}}x,y_1=\frac{1}{n}\underset{(x,y)\∈I}{\mathrm{\Σ}}y---\left(1\right)$

所述步骤2计算三维直方图的具体步骤如下：

（1）首先按照公式（2）计算出图像中各个像素s_k到(x₁,y₁)的距离。

$d_k=\sqrt{{(x_k-x_1)}^2+{(y_k-y_1)}^2}---\left(2\right)$

（2）将步骤2-1中计算得到的所有距离均匀量化为22个等级，量化间隔为其中d_kmax＝max{d_k}。

（3）以距离等级作为竖坐标附加到二维直方图中，得到三维直方图。直方图定义如下：在Lab颜色空间中，三维颜色直方图可以看成是一个离散函数，即

$H(c,d)=\frac{n_{c,d}}{n},c=\mathrm{0,1},...,L,d=\mathrm{1,2},...,22---\left(4\right)$

其中，c表示图像的颜色特征取值，即L、a、b三个分量的加权平均值，L表示颜色特征量化的等级数，d表示像素距人体质心像素的距离等级，n_c,d表示图像中具有颜色特征值为c和距离等级d的像素个数，n表示图像像素的总个数。

通过三维直方图得到背景颜色范围的具体步骤如下：

（1）首先确定距离阈值为T_d，其计算定义如下：（或采用经验值，或采用步骤1定位的人体边界到人体质心的最远距离）

$T_d=\frac{\mathrm{\Σ}{d}_k}{n},k=\mathrm{0,1},...,L-1---\left(4\right)$

（2）将距离大于阈值T_d的像素标记为背景像素，得到初步背景像素集S_d，并将其颜色集标识为B。

所述步骤3利用扫描线进行种子点自动选取、自动区域生长的具体步骤如下：

（1）对于图像，从左至右依次纵向（或横向）扫描，对于扫描线上的点，首先判断其颜色是否属于背景颜色集B，并且判断其到人体质心像素的距离是否大于阈值T_d，即是否属于初步背景像素集S_d，若符合条件，则标记为种子点s_k。

（2）对确定的种子点按照公式（5）计算的颜色梯度进行区域增长，并将该种子点区域增长之后得到的区域标记为R_k。

$G=\▿I_E=[\frac{{\∂I}_E}{\∂x},\frac{{\∂I}_E}{\∂y}]---\left(5\right)$

其中， ${\▿I}_E=\sqrt{{\mathrm{\Δ}}^2{I}_L+{\mathrm{\Δ}}^2{I}_a+{\mathrm{\Δ}}^2{I}_b}*\mathrm{sign}(E_{+\mathrm{\Δ}}-E_{-\mathrm{\Δ}}),E=\sqrt{I_L^2+I_a^2+I_b^2}.$

（3）继续沿扫描线扫描未标记区域，重复(1)、(2)步骤，若是没有满足条件的种子点，则结束扫描，否则继续进(1)、(2)的迭代。

步骤4对背景区域进行区域合并，消除边界，得到真正的人体轮廓。合并规则定义如下：

首先根据种子点扫描找到一个背景区域R,设表示R的所有相邻区域的集合。如果邻接区域的种子点也为背景像素，我们就将R和合并。迭代扫描整幅图像，直到将所有背景区域合并。

上述说明虽然是结合了效果图和流程图，但是并不是本发明的保护范围进行的限制，技术人员可以在本发明的基础上对齐进行修改或变形，但所得结果仍然在本发明的保护范围内。

Claims (9)

1.一种针对非简单背景的人体轮廓自动提取方法，其特征是，包括以下步骤：

步骤一：对图像预处理，将图像中前景区域人体位置进行定位，找到人体质心像素位置；

步骤二：对图像中每个像素，计算其到人体质心的距离，得到图像的三维直方图统计，结合图像的三维直方图分析得到背景的颜色分布；

步骤三：利用扫描线依次对图像各行或各列像素进行扫描，在扫描过程中，当遇到属于背景颜色集的像素，且该像素到人体质心的距离小于阈值时，则标记为种子点，并进行基于区域颜色梯度的生长，否则继续扫描，直至找出整幅图像所有背景种子点，最后得到一系列区域边界；

步骤四：步骤三中的区域边界进行后处理，如果两个区域同属于背景区域，则将两个区域合并，消除之间的边界，最终获得人体边界轮廓线；

所述步骤二计算像素到人体质心像素的距离附加到二维直方图，得到三维直方图，并依此判断出属于背景区域的颜色范围，具体包括以下步骤：

(2-1)计算图像中各个像素s_k到标识为人体区域的质心坐标(x₁,y₁)的距离，然后将距离量化为8个级别，将距离级别作为竖坐标附加到二维直方图上，得到三维直方图；

(2-2)由三维直方图看出，同一颜色值的像素因为距人体质心像素的距离不同，将会被划分到不同的区域，通过三维直方图得到背景颜色范围，根据三维直方图确定区分前景与背景的阈值T_d，然后将距离大于阈值T_d的像素标记为背景像素，得到初步背景像素集S_d，并将其颜色集标识为B。

2.如权利要求1所述的一种针对非简单背景的人体轮廓自动提取方法，其特征是，所述步骤一对图像的预处理的步骤如下：

(1-1)采用SGC显著性区域检测方法定位出人体的大致位置，并赋予其标号I，在进行显著性区域检测时需要进行颜色空间转换，即由RGB空间转换为Lab空间；

(1-2)显著性区域检测后得到人体像素的范围，根据式(1)计算出标识为人体区域的质心坐标(x₁,y₁)，

$x_1=\frac{1}{n}\underset{(x,y)\∈I}{\Σ}x,y_1=\frac{1}{n}\underset{(x,y)\∈I}{\Σ}y---\left(1\right),$

其中，(x,y)为像素几何位置，I为给定图像。

3.如权利要求2所述的一种针对非简单背景的人体轮廓自动提取方法，其特征是，所述由RGB空间转换为Lab空间，具体转换步骤如下：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{ccc}0.4124& 0.3575& 0.1804\\ 0.2128& 0.7152& 0.0722\\ 0.0193& 0.1192& 0.9502\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

$L=116*f\left(\frac{Y}{Y_0}\right)-16$

$a=500*\left(f\right(\frac{X}{X_0})-f(\frac{Y}{Y_0}\left)\right)$

$b=200*\left(f\right(\frac{Y}{Y_0})-f(\frac{Z}{Z_0}\left)\right)$

其中，R,G,B表示彩色图像的3个通道，取值范围在[0,1]之间，X₀＝0.950456，Y₀＝1.0，Z₀＝1.088754表示3个常量，X、Y、Z为中间变量，L、a、b为CIE颜色模型分量。

4.如权利要求1所述的一种针对非简单背景的人体轮廓自动提取方法，其特征是，所述步骤二得到三维直方图的具体步骤如下：

A.首先按照公式(2)计算出图像中各个像素s_k到(x₁,y₁)的距离，

$d_k=\sqrt{{(x_k-x_1)}^2+{(y_k-y_1)}^2}---\left(2\right)$

B.将步骤A中计算得到的所有距离均匀量化为22个等级，量化间隔为其中d_kmax＝max{d_k}，

C.以距离等级作为竖坐标附加到二维直方图中，得到三维直方图，直方图定义如下：在Lab颜色空间中，三维颜色直方图可以看成是一个离散函数，即

$H(c,d)=\frac{n_{c,d}}{n},c=0,1,\mathrm{...},L,d=1,2,\mathrm{..},22---\left(3\right)$

其中，c表示图像的颜色特征取值，即L、a、b三个分量的加权平均值，L表示颜色特征量化的等级数，d表示像素距人体质心像素的距离等级，n_c,d表示图像中具有颜色特征值为c和距离等级d的像素个数，n表示图像像素的总个数。

5.如权利要求1所述的一种针对非简单背景的人体轮廓自动提取方法，其特征是，通过三维直方图得到背景颜色范围的具体步骤如下：

D.首先确定距离阈值为T_d，其计算定义如下：

$T_d=\frac{{\mathrm{\Σd}}_k}{n},k=0,1,...,L-1---\left(4\right)$

E.将距离大于阈值T_d的像素标记为背景像素，得到初步背景像素集S_d，并将其颜色集标识为B。

6.如权利要求1所述的一种针对非简单背景的人体轮廓自动提取方法，其特征是，所述步骤三利用扫描线，根据步骤二求出的背景颜色范围和初步背景颜色集S_d，确定出能代表背景特征的种子点，以此进行区域增长。

7.如权利要求5所述的一种针对非简单背景的人体轮廓自动提取方法，其特征是，种子点为该像素的颜色属于背景颜色集B以及其到人体质心像素的距离小于阈值T_d的像素。

8.如权利要求1所述的一种针对非简单背景的人体轮廓自动提取方法，其特征是，所述步骤三利用扫描线进行种子点自动选取、自动区域生长的具体步骤如下：

(3-1)对于图像，从左至右依次纵向或横向扫描，对于扫描线上的点，首先判断其颜色是否属于背景颜色集B，并且判断其到人体质心像素的距离是否大于阈值T_d，即是否属于初步背景像素集S_d，若符合条件，则标记为种子点s_k；

(3-2)对确定的种子点按照公式(5)计算的颜色梯度进行区域增长，并将该种子点区域增长之后得到的区域标记为R_k，

$G=\▿I_E=\[\frac{\∂I_E}{\∂x},\frac{\∂I_E}{\∂y}\]---\left(5\right)$

其中， $\▿I_E=\sqrt{{\mathrm{\Δ}}^2{I}_L+{\mathrm{\Δ}}^2{I}_a+{\mathrm{\Δ}}^2{I}_b}*sign(E_{+\mathrm{\Δ}}-E_{-\mathrm{\Δ}}),E=\sqrt{I_L^2+I_a^2+I_b^2},$ G表示CIELab颜色空间的梯度值，I_L，I_a，I_b分别为CIELab颜色空间的颜色分量，E为CIELab颜色空间的距离项；

(3-3)继续沿扫描线扫描未标记区域，重复重复步骤(3-1)，(3-2)，若是没有满足条件的种子点，则结束扫描，否则继续进行步骤(3-1)，(3-2)的迭代。

9.如权利要求1所述的一种针对非简单背景的人体轮廓自动提取方法，其特征是，步骤四对背景区域进行区域合并，消除边界，得到真正的人体轮廓，合并规则定义如下：

首先根据种子点扫描找到一个背景区域R，设表示R的所有相邻区域的集合，如果邻接区域的种子点也为背景像素，我们就将R和合并，迭代扫描整幅图像，直到将所有背景区域合并。