CN102147917A - 检测类棍状目标部件的方法 - Google Patents

Abstract

一种检测类棍状目标部件的方法，所述类棍状目标部件包括至少一个棍状的子部件，相邻的子部件之间通过铰链连接的方式连接起来，其中，针对每个子部件，执行如下搜索操作：产生子部件的假设子部件；对产生的假设子部件进行评估；产生子部件的候选子部件。

Description

检测类棍状目标部件的方法

技术领域

本发明涉及图像处理中对目标部件进行检测的方法，具体来说，在深度图像中检测用类棍状形状铰链连接的高变形的目标部件。

背景技术

当前，正在广泛研究三种分类方法。第一种方法是对深度图像进行聚类(WO2008128568)，在该方法中，将深度图像用作输入，并对深度图像进行聚类。第二种方法使用具有对称属性的线段，它在彩色/灰度图像中检测线，然后找到具有两条对称线的匹配对以形成对象部件。第三种方法试图提取类棍状部件的内在模式，然后用基于样本的方法来训练其分类器。

对于第一种分类方法，它显然只对简单对象姿势起作用。对于第二种分类方法，为了能够很好地提取线条，需要彩色/灰度图像中的裸体的人。对于第三种分类方法，它将在刚体对象检测(比如脸部检测、头部检测等)的方法移植到变形对象的检测，从而使检测变得复杂，并且检测性能很低。

目标检测分成两类，一类是刚体目标检测，一类是非刚体目标检测；前者比较容易，后者难在目标可以高度变形，导致检测很难。还有一个问题就是检测的速度问题，现有应用要求实时检测，如果在图像内扫描验证每个位置，每个尺度的窗口(滑动窗口方式)是否是目标，就要求分类器简单可靠，这就对分类器的性能要求很高。这对非刚体目标来说，就更加困难，通常都是排除出去大部分目标不可能所在的区域，然后在较小的区域上检测，期望降低计算量，从而提高运行速度。

发明内容

本发明提供了一种在深度图像中检测用类棍状形状铰链连接的可变形的目标部件的方法，其中，深度图像的像素表示相机和3D空间中对象上的点之间的距离。所使用的相机可以是能够输出对象的深度值的TOF相机、立体相机等。通过所述方法，分析视频流以提取对象分量。为了提高对象分量检测的性能，可使用其他类型的相机或装置已与深度视频相机协作，这样可利用他们的优点并有助于定位对象部分。

本发明提供了一种可对因为所穿的衣服而变形的高度变形的对象(比如人的胳膊、腿)进行有效检测的方法。在用深度相机产生的或者多相机构造的深度图像中，当对象部件被呈现在图像中时，它们到相机之间的距离不同。基于该特征，可容易地将对象部件(例如人的胳膊、腿等)进行定位。对于人的胳膊或腿等这类对象，可由N个类棍状体来构成这类对象，可逐个检测类棍状体，也就是说，先检测第一类棍状体部分、第二类棍状体部分......对于深度图像，像素值表示对象上的相应点到相机之间的距离。

根据本发明的一方面，提供了一种检测类棍状目标部件的方法，所述类棍状目标部件包括至少一个棍状的子部件，相邻的子部件之间通过铰链连接的方式连接起来，其中，针对每个子部件，执行如下搜索操作：产生子部件的假设子部件；对产生的假设子部件进行评估；产生子部件的候选子部件。

根据本发明的一方面，通过使用具有二维特征的梯形来产生子部件的假设子部件，所述产生假设子部件的步骤包括：在图像中选择预定起点，然后分别按预定步长变化梯形的高度、宽度和方向，从而得到该起点的所有假设子部件。

根据本发明的一方面，对产生的假设子部件进行评估的步骤包括：根据预定特征丢弃掉一些不可能是子部件的假设子部件。

根据本发明的一方面，所述产生子部件的候选子部件的步骤包括：计算每个未被丢弃掉的假设子部件可能是子部件的概率；生成子部件的候选子部件的集合。

根据本发明的一方面，在对产生的假设子部件进行评估的步骤中，对于每个假设子部件，在其两侧构造两个辅助假设子部件，所述辅助假设子部件与该假设子部件具有相同的高度，但是其底边的宽度分别为该假设子部件的相应底边的宽度的一半。

根据本发明的一方面，所述预定特征是下述特征中的至少一个：表示假设子部件不属于背景、假设子部件的最小深度小于辅助假设子部件的平均深度、假设子部件的平均深度小于辅助假设子部件的平均深度、假设子部件在3D空间中具有有效尺度。

根据本发明的一方面，计算每个未被丢弃掉的假设子部件可能是子部件的概率的步骤包括：将假设子部件分割为N个切片，并产生与每个切片相应的两个位于辅助假设子部件中的外切片；将切割下来的每个片段的像素分成切片和外切片；对N个切片中的第m切片中像素深度值满足|D(k，m)-D(m)|＜TI的像素以及该切片中不满足该条件的像素进行计数，其中，TI是预先设定的阈值，D(k，m)表示切片中的第k个像素的深度值，D(m)表示第m切片的平均深度值；对于与该切片相应的两个外切片中的像素，计算其中的第p像素满足|D1(p，m)-D(m)|＞TO的像素以及所述两个外切片中不满足该条件的像素进行计数，其中，TO是预先设定的阈值，D1(p，m)表示外切片中的第p个像素的深度值；计算第m切片中满足|D(k，m)-D(m)|＜TI的像素个数和不满足该条件的像素个数的比率Pi(m)，以及与第m切片相应的外切片中满足|D1(p，m)-D(m)|＞TO的像素个数和不满足该条件的像素个数的比率Po(m)；

利用下面的公式来计算每个假设子部件的概率Ph：

$\mathrm{Ph}=\mathrm{\α}*\underset{m=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{Pi}\left(m\right)*\mathrm{Po}\left(m\right),$

其中，α是常数；对假设子部件根据概率值由大到小的顺序进行排序，选取排在前面的至少一个假设子部件作为该子部件的有效的假设子部件。

根据本发明的一方面，所述生成子部件的候选子部件的集合的步骤包括：对获得的有效的假设子部件进行聚类；在每个聚类中按照计算出来的假设子部件的概率进行排序；选择具有较高概率的假设子部件作为子部件的候选子部件；保存和输出该子部件的候选子部件。

根据本发明的一方面，在产生了所述子部件的候选子部件之后，从该子部件和相邻子部件相连接的点作为起点，开始进行对相邻子部件的搜索操作。

根据本发明的一方面，在对多个子部件进行搜索操作之后，当子部件的相邻子部件的候选子部件与该子部件的候选子部件相同时，去除与该子部件的候选子部件相同的所述相邻子部件的候选子部件，以输出相邻子部件的候选子部件。

根据本发明的一方面，通过计算凹凸度图像特征的方法确定所述预定起点，凸度深度特征计算公式如下：

$P_h=e^{-1/(N_c+N_r)}$

其中，Ph表示凸度特征值，R和C分别为外圆和内圆区域，N_r表示R中深度值小于深度极值d_th的像素的百分比，N_c表示C中深度值大于d_th的像素的百分比，深度极值d_th可以为R区域中最小深度值加上一个常数δ得到；其中，所述预定起点是Ph值大于预定阈值的点。

附图说明

图1是根据本发明示例性实施例的对由子部件构成的目标部件进行搜索的流程图。

图2是由2个子部件构成的目标部件的示图。

图3是对部件进行搜索的流程图。

图4是解释说明假设子部件和在部件检测中用到的深度特征依据。

图5是进一步对产生假设子部件步骤的详细的流程图。

图6进一步对第一子部件的假设子部件进行评估并产生第一子部件的候选子部件的步骤的详细流程图。

图7进一步说明假设子部件的切割方法。

图8示出了通过特征集合来对假设子部件进行评估的流程图。

图9示出计算参照图8所述的假设子部件评估过程中未被丢弃的假设子部件的概率的流程图。

图10示出产生第一子部件的候选子部件的集合的流程图。

图11A示出凹凸度深度特征计算选取内圆和外圆的方法。

图11B示出计算出来潜在的搜索起点。

具体实施方式

图1是根据本发明示例性实施例的对由多个棍状体(在下面的描述中称作子部件)构成的目标部件进行搜索的流程图。图2是由2个子部件构成的目标部件的示图。在图2中，目标部件(如，对应于胳膊)由两个通过铰链(如，肘部)连接的子部件(如，分别对应于上臂和前臂)构成。如图1所示，输入是深度图像，在步骤S100中，对第一子部件进行搜索，然后在步骤S120中，对第二子部件进行搜索。由于子部件之间进行端对端铰链连接，所以它们具有相同的端点，在对第二子部件进行搜索的过程中，以它与第一子部件的相同端点作为起点，来对第二子部件进行搜索。以此类推，直至搜索到后面第N子部件，如步骤S130所示。图1从宏观上初步说明如何去搜索由多个子部件首尾铰链一起而形成的目标部件。首先从图像上某个特定点出发，在不同方向、高度和宽度上搜索第一子部件，将得到一些候选子部件，如图2中为了描述简便而示出的若干梯形。然后，从这些候选子部件出发，接着搜索下一子部件。另外，根据本发明的另一示例性实施例，为了降低计算量，可以将得到的若干梯形做简单的聚类，得到至少一个聚类梯形，然后从所述聚类梯形出发搜索下一子部件。

图3是对部件进行搜索的流程图。参照图3，在S310，首先对构成部件的第一子部件产生假设子部件，然后在S320中对得到的假设子部件进行评估，从而在步骤S330中产生第一子部件的候选子部件。图2中的不同位置不同尺寸的梯形对应着图3中产生的假设子部件，在步骤S320中，在确定假设子部件是目标部件的子部件时，则生成该子部件的候选子部件；而在确定该假设子部件不是目标部件的子部件时，丢弃该假设子部件。对于第二子部件，采用与上面步骤S310、S320和S330分别相同的方式，来对第二子部件执行相同的操作，即：产生第二子部件的假设子部件(S340)、评估所述假设子部件(S350)和产生第二子部件的候选子部件(S360)。如果目标部件由N(N大于等于2)个子部件构成，则重复S310、S320和S330的操作，直至对最后一个子部件的搜索完成后，就生成目标部件的候选部件(S370)，所述目标部件的候选部件由各个子部件的候选子部件构成。

图4是解释说明假设子部件和在部件检测中用到的深度特征依据。棍状子部件实际是具有近似圆台(3维)或者梯形(2维)的形状。这些三维或二维的子部件在显示的图像中以二维的形式呈现出来，因此在部件检测的过程中，通过使用具有二维特征的梯形来执行子部件的检测，即起点(梯形的某一底边中心点)、梯形的高度、两个底边的宽度和方向。通过观察深度图像上部件的深度数值的分布，发现呈U型的形状，所以叫U型特征，即子部件所在的经线上的深度和两侧的深度值呈现U型的形状，反映了子部件离摄像机的距离，即子部件离摄像机近，两侧的背景和其它目标离摄像机远一些。

图5是进一步对图3的步骤S310的产生假设子部件步骤的详细的流程图。根据本发明，首先，在步骤S510，在图像中选择预定起点，然后，可以分别按预定步长在步骤S520中变化梯形的高度、在步骤S530中变化梯形的宽度，并在步骤S540中变化梯形的方向，从而在高度、宽度和方向上遍历所有可能的组合，从而得到针对该起点的所有假设子部件。

图6进一步对图3的步骤S320和步骤S330中对第一子部件的假设子部件进行评估并产生第一子部件的候选子部件的步骤的详细流程图。根据本发明，对第一子部件进行评估的过程分为三个步骤。首先，在步骤S610，首先根据预定特征丢弃掉一些不可能是子部件的假设子部件，将参照图8对该步骤进行详细描述；然后在步骤S620，计算每个假设子部件可能是子部件的概率，将参照图9对该步骤进行详细描述；最后在步骤S630，生成子部件的候选子部件的集合，将参照图10对该步骤进行详细描述。

图7进一步说明假设子部件的切割方法。对于每个假设子部件，在其两侧构造两个辅助假设子部件，这两个辅助假设子部件与该假设子部件具有相同的高度，但是其底边的宽度分别为该假设子部件的相应底边的宽度的一半。对于在假设子部件的两侧构造了两个辅助假设子部件的情况，经过切割之后所产生的片段除了包括假设子部件的切片之外，也会同时在辅助假设子部件中产生相应的两个外切片，以参与特征结合的计算。

图8在以上所示的附图的基础上，示出了通过特征集合来对假设子部件进行评估的流程图。假定特征集合中有n(n为正整数)个特征，则首先针对假设子部件集合中的某个特定假设子部件检测其是否符合特征1(S810)，然后检测该假设子部件是否符合特征2(S820)......直到该假设子部件是否符合第n个特征(S830)，其中，如果检测到该假设子部件不符合所述n个特征中的某个特征，将跳出对该假设子部件后续特征的检测，直接丢弃当前假设子部件。例如，针对本发明，可以如下设定四个特征，其中，特征1表示假设子部件不属于背景，特征2表示假设子部件的最小深度小于辅助假设子部件的平均深度，特征3表示假设子部件的平均深度小于辅助假设子部件的平均深度，特征4表示假设子部件在3D空间中具有有效尺度，也就是说，子部件的宽度和高度存在于一个合理的范围之内，这样做，变换参数的范围就受到这个尺度的约束，从而减少了假设子部件的个数，降低了需要验证的假设子部件的个数。

图9示出计算参照图8所述的假设子部件评估过程中未被丢弃的假设子部件的概率的流程图。从相同的起点，可产生很多在方向、高度、宽度上有所不同的假设子部件。针对预定起点的每个假设子部件，分别执行下述操作。首先，在步骤S910，根据图7所示的方式来构造辅助假设子部件。将假设子部件分割为N个切片，并产生与每个切片相应的两个外切片。然后，将切割下来的每个片段的像素分成两类(S920)，即切片和外切片。在该步骤中，首先计算第m切片的平均深度值，用D(m)表示，其中，m＝1，2，......N。然后分别对该切片中像素深度值满足|D(k，m)-D(m)|＜TI的像素以及该切片中不满足该条件的像素进行计数，其中，TI是预先设定的阈值，D(k，m)表示切片中的第k个像素的深度值。与此同时，对于与该切片相应的两个外切片中的像素，计算其中的第p像素满足|D1(p，m)-D(m)|＞TO的像素以及所述两个外切片中不满足该条件的像素进行计数，其中，TO是预先设定的阈值，其中，D1(p，m)表示外切片中的第p个像素的深度值，这里的D(m)依然表示第m切片的平均深度值。然后在步骤S930中计算第m切片中满足上述相应条件的像素个数和不满足该条件的像素个数的比率Pi(m)，以及与第m切片相应的外切片中满足上述相应条件的像素个数和不满足该条件的像素个数的比率Po(m)，其中，m等于1、2......N。最后，在步骤S940中，利用下面的公式来计算每个假设子部件的概率Ph：

$\mathrm{Ph}=\mathrm{\α}*\underset{m=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{Pi}\left(m\right)*\mathrm{Po}\left(m\right),$

其中，α是常数。

在步骤S950，对第一子部件的假设子部件根据概率值由大到小的顺序进行排序，选取排在前面的R(R为自然数且大于等于1)个假设子部件作为该子部件的有效的假设子部件。

图10示出产生第一子部件的候选子部件的集合的流程图。对于特定起点产生如图9中的步骤S950所述的R个有效的假设子部件。对于根据图9所示的步骤而获得的有效的假设子部件的集合，首先，在步骤S1010，通过使用通用的k均值(k-means)聚类算法、模糊C均值(fuzzy c-means)聚类算法、QT聚类算法及相关或变异的方法获得假设子部件的至少一个聚类，其中，每个聚类中具有至少一个具有代表性的假设子部件，以减少后续子部件检测的计算量。然后，在步骤S1020，在每个聚类中按照计算出来的假设子部件的概率进行排序。在步骤S1030，选择具有较高概率的假设子部件作为子部件的候选子部件。在步骤S1040，最后保存和输出该子部件的候选子部件的集合。

在产生了第一子部件的候选子部件的集合之后，从第一子部件和第二子部件相连接的点作为起点，开始进行对第二子部件的搜索。与此同时，针对获得的第二子部件的候选子部件与第一子部件的候选子部件相同的情况，剔除与第一子部件的候选子部件相同的第二子部件的候选子部件，以输出最终的第二子部件的候选子部件。该方法同样适用于子部件个数大于2的情况。

图11A示出凹凸度深度特征计算选取内圆和外圆的方法，图11B示出计算出来潜在的搜索起点。在深度图像内，以一定的步长扫描图像中的点，以这些点为当前的中心点，绘制内圆和外圆。然后根据公式计算当前点的凹凸度深度值Ph。其中，R和C分别为外圆和内圆区域。N_r表示R中深度值小于深度极值d_th的像素的百分比，N_c表示C中深度值大于d_th的像素的百分比。深度极值d_th可以为R区域中最小深度值加上一个常数δ得到。外圆和内圆区域大小的选取，取决于部件的宽度，可以根据目标部件和其它部件的比值的统计分布得到，如人的胳膊的尺寸，可以由胳膊宽度与人头宽度的统计比例，乘以当前人头的宽度尺寸计算得到。通过比较当前中心点的凹凸度特征值P_h和根据经验选取的阈值T_h，即选取那些P_h＞T_h的当前点确定为潜在的搜索起点。部件的搜索，就可以从这些起点出发，不需要以一定的步长去遍历图像中的所有点，从而大幅度的减少了计算量。

Claims (11)

1.一种检测类棍状目标部件的方法，所述类棍状目标部件包括至少一个棍状的子部件，相邻的子部件之间通过铰链连接的方式连接起来，其中，针对每个子部件，执行如下搜索操作：

产生子部件的假设子部件；

对产生的假设子部件进行评估；

产生子部件的候选子部件。

2.如权利要求1所述的方法，其特征在于，通过使用具有二维特征的梯形来产生子部件的假设子部件，所述产生假设子部件的步骤包括：

在图像中选择预定起点，然后分别按预定步长变化梯形的高度、宽度和方向，从而得到该起点的所有假设子部件。

3.如权利要求2所述的方法，其特征在于，对产生的假设子部件进行评估的步骤包括：

根据预定特征对假设的子部件进行评估，丢弃掉一些不可能是子部件的假设子部件。

4.如权利要求3所述的方法，其特征在于，所述产生子部件的候选子部件的步骤包括：

计算每个未被丢弃掉的假设子部件可能是子部件的概率；

生成子部件的候选子部件的集合。

5.如权利要求4所述的方法，其特征在于，在对产生的假设子部件进行评估的步骤中，对于每个假设子部件，在其两侧构造两个辅助假设子部件，所述辅助假设子部件与该假设子部件具有相同的高度，但是其底边的宽度分别为该假设子部件的相应底边的宽度的一半。

6.如权利要求5所述的方法，其特征在于，所述预定特征是下述特征中的至少一个：表示假设子部件不位于背景区域、假设子部件的最小深度小于辅助假设子部件的平均深度、假设子部件的平均深度小于辅助假设子部件的平均深度、假设子部件在3D空间中具有有效尺度。

7.如权利要求6所述的方法，其特征在于，计算每个未被丢弃掉的假设子部件可能是子部件的概率的步骤包括：

将假设子部件分割为N个切片，并产生与每个切片相应的两个位于辅助假设子部件中的外切片；

将切割下来的每个片段的像素分成切片和外切片；

对N个切片中的第m切片中像素深度值满足|D(k，m)-D(m)|＜TI的像素以及该切片中不满足该条件的像素进行计数，其中，TI是预先设定的阈值，D(k，m)表示切片中的第k个像素的深度值，D(m)表示第m切片的平均深度值；

对于与该切片相应的两个外切片中的像素，计算其中的第p像素满足|D1(p，m)-D(m)|＞TO的像素以及所述两个外切片中不满足该条件的像素进行计数，其中，TO是预先设定的阈值，D1(p，m)表示外切片中的第p个像素的深度值；

计算第m切片中满足|D(k，m)-D(m)|＜TI的像素个数和不满足该条件的像素个数的比率Pi(m)，以及与第m切片相应的外切片中满足|D1(p，m)-D(m)|＞TO的像素个数和不满足该条件的像素个数的比率Po(m)；

利用下面的公式来计算每个假设子部件的概率Ph：

$\mathrm{Ph}=\mathrm{\α}*\underset{m=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{Pi}\left(m\right)*\mathrm{Po}\left(m\right),$

其中，α是常数；

对假设子部件根据概率值由大到小的顺序进行排序，选取排在前面的至少一个假设子部件作为该子部件的有效的假设子部件。

8.如权利要求7所述的方法，其特征在于，所述生成子部件的候选子部件的集合的步骤包括：

对获得的有效的假设子部件进行聚类；

在每个聚类中按照计算出来的假设子部件的概率进行排序；

选择具有较高概率的假设子部件作为子部件的候选子部件；

保存和输出该子部件的候选子部件。

9.如权利要求8所述的方法，其特征在于，在产生了所述子部件的候选子部件之后，从该子部件和相邻子部件相连接的点作为起点，开始进行对相邻子部件的搜索操作。

10.如权利要求9所述的方法，其特征在于，在对多个子部件进行搜索操作之后，当子部件的相邻子部件的候选子部件与该子部件的候选子部件相同时，去除与该子部件的候选子部件相同的所述相邻子部件的候选子部件，以输出相邻子部件的候选子部件。

11.如权利要求2所述的方法，通过计算凹凸度图像特征的方法来确定所述预定起点，凸度深度特征计算公式如下：

$P_h=e^{-1/(N_c+N_r)}$

其中，Ph表示凸度特征值，R和C分别为外圆和内圆区域，N_r表示R中深度值小于深度极值d_th的像素的百分比，N_c表示C中深度值大于d_th的像素的百分比，深度极值d_th可以为R区域中最小深度值加上一个常数δ得到；其中，所述预定起点是Ph值大于预定阈值的点。

Images