CN103455976A - 人体图像解析装置和方法 - Google Patents

Abstract

本发明提供一种人体图像解析装置和方法。所述该方法包括步骤：获取包括人体对象的深度图像；对深度图像进行最小能量骨架扫描，以从深度图像中检测出多个点。

Description

人体图像解析装置和方法

技术领域

本发明涉及图像处理领域。更具体地讲，涉及一种人体图像解析装置和方法。

背景技术

近来，人体图像解析技术已经获得越来越多的关注。人体图像解析技术可应用于人机交互、医学辅助等多个领域。

当前主要存在三种人体图像解析技术：基于匹配的方法、基于分类的方法以及基于特征分析的方法。

在基于匹配的方法中，需要收集大量标注了真实的人体部位的样本，并通过将人体深度图像与数据库进行匹配来对输入的人体图像进行解析。该方法的解析精度取决于数据库的数据。

在基于分类的方法中，需要预先训练分类器来对人体图像进行解析。在训练分类器时，需要大量的随机训练数据。该方法的解析精确取决于训练数据的选取。

在基于特征分析的方法，不需要训练数据和数据库，而是直接通过特征提取和分析来对人体图像进行解析。然而，现有的基于特征分析的方法，其提取的特征对于噪声较为敏感，对于姿态较为复杂的人体图像难以进行解析。

因此，需要一种具有较高的解析精度以及更稳定的人体图像解析技术。

发明内容

本发明的目的在于提供一种人体图像解析装置和方法。

本发明的一方面提供一种人体图像解析方法，该方法包括：获取包括人体对象的深度图像；对深度图像进行最小能量骨架扫描，以从深度图像中检测出多个点。

可选地，最小能量骨架扫描是指对关于深度图像的能量函数最小化以从深度图像中检测出多个点，所述多个点中的每个点被定义为骨架点，其中，所述能量函数表示对深度图像中各个像素作为骨架点或非骨架点的概率的对数的相反数求和。

可选地，所述能量函数被最小化时，如果一个像素的作为骨架点的概率参与所述求和使得所述能量函数最小化，则确定该像素为骨架点；如果一个像素的作为非骨架点的概率参与所述求和使得所述能量函数最小化，则确定该像素为非骨架点。

可选地，通过预定方向上的深度对比度、与预定方向相反的方向上的深度对比度和深度对比度阈值之中的最小值的归一化值来确定像素作为骨架点的概率。

可选地，预定方向上的深度对比度是指在预定方向上与所述像素相距预定距离的第一像素与第一像素的一个相邻像素之间的深度值之差的绝对值。

可选地，所述相邻像素在预定方向上或在与预定方向相反的方向上与第一像素相邻。

可选地，所述预定距离为通过在各个方向上满足深度对比度约束的最小距离，所述预定距离被表示为下面的等式：

$l_x=\underset{l}{\min }\underset{\mathrm{\θ}\∈\left[\mathrm{0,2}\mathrm{\π}\right]}{\max }\left(\right|d_{x,l-1,\mathrm{\θ}}-d_{x,l,\mathrm{\θ}}|>T)l\∈(l_{\min },l_{\max }),$

其中，l_x表示所述预定距离，(l_min，l_max)表示距离l的取值范围，θ表示方向，T表示深度对比度阈值，d_x，l，θ表示在方向θ上与所述像素相距预定距离l的像素的深度值，d_x，l-1，θ表示与所述像素相距预定距离l的像素的一个相邻像素的深度值。

可选地，所述方法还包括：利用大于预定阈值的深度对比度阈值(即，第一深度对比度阈值)对深度图像执行最小能量骨架扫描，以获得低分辨骨架图像，利用不大于预定阈值的深度对比度阈值(即，第二深度对比度阈值)对深度图像执行最小能量骨架扫描，以获得高分辨骨架图像。

可选地，获得低分辨骨架图像的步骤包括：利用大于预定阈值的深度对比度阈值对深度图像执行最小能量骨架扫描，获得多个骨架点；通过位置和深度的连续性约束将所述多个骨架点或由骨架点形成的骨架归到相应的部位类型；针对各部位类型的骨架进行生长，从而得到与每种部位类型对应的部位区域。

可选地，骨架进行生长的步骤包括：将形成骨架的每一个骨架点沿着预定方向及其相反方向分别扩展预定距离。

可选地，获得高分辨骨架图像的步骤包括：利用不大于预定阈值的深度对比度阈值对深度图像执行最小能量骨架扫描，获得多个骨架点；通过位置和深度的连续性约束将所述多个骨架点或由骨架点形成的骨架归到相应的部位类型；针对各部位类型的骨架进行生长，从而得到与每种部位类型对应的部位区域。

可选地，对深度图像进行最小能量骨架扫描的步骤包括：利用至少一个预定方向及至少两个深度对比度阈值或利用至少两个预定方向及至少一个深度对比度阈值对深度图像进行最小能量骨架扫描，以得到多组骨架点和多个骨架图像，其中，标识了骨架点的深度图像称为骨架图像；通过位置和深度的连续性约束将各骨架图像中的由骨架点形成的骨架归到相应的部位类型；针对每个骨架图像中的各部位类型的骨架进行生长，从而在每个骨架图像中得到各部位类型的部位区域；根据多个骨架图像之间相互对应的多个部位区域之间的重叠程度来对生长出多个部位区域的骨架进行融合，其中，当多个骨架图像之间相互对应的多个部位区域之间的重叠程度大于预定阈值时，采用生长出所述多个部位区域的骨架之中最长的骨架作为最终的骨架；当多个骨架图像之间相互对应的多个部位区域之间的重叠程度不大于预定阈值时，将生长出所述多个部位区域的骨架进行叠加。

可选地，利用至少两个预定方向及大于预定阈值的深度对比度阈值对深度图像进行最小能量骨架扫描，在深度图像中针对融合之后的骨架进行生长，以得到低分辨骨架图像。

可选地，利用至少两个预定方向及不大于预定阈值的深度对比度阈值对深度图像进行最小能量骨架扫描，在深度图像中针对融合之后的骨架进行生长，以得到高分辨骨架图像。

可选地，所述方法还包括：从低分辨率深度图像中提取躯干区域；根据确定的躯干区域从低分辨骨架图像中初步解析出其他人体部位；使用高分辨率深度图像中与初步解析出的上肢相对应的部位区域来优化上肢区域；使用高分辨率深度图像将初步解析出的下肢区域划分为腿部和臀部。

可选地，从低分辨率深度图像中提取躯干区域的步骤包括：根据低分辨骨架图像中各个部位区域之间的尺寸和位置关系来初步确定躯干区域；对初步确定的躯干区域执行最小能量骨架扫描，从而提取躯干区域的骨架；将整个身体区域的质心之下的区域作为下肢，从而从初步确定的躯干区域中排除质心之下的区域；沿着骨架从中间到两侧进行扫描直到遇到背景区域或与四肢对应的部位区域，来确定躯干的左右边缘。

可选地，根据确定的躯干区域从低分辨骨架图像中初步解析出其他人体部位的步骤包括：根据低分辨骨架图像中的其他部位区域与躯干区域之间的连接位置来初步解析出其他人体部位区域。

可选地，使用高分辨率深度图像中与上肢相对应的深度部位区域来优化上肢区域的步骤包括：当已经初步解析出来的上肢区域时，在高分辨骨架图像中寻找与初步解析出来的上肢区域重叠的部位区域，然后将初步解析出来的上肢区域扩展到该深度部位区域；当没有解析出来上肢区域时，寻找高分辨骨架图像中的与已经解析出来的头部和/或躯干相应的部位区域，将位于该部位区域中的与周围区域相比具有不同深度的部位区域作为候选上肢区域，将候选上肢区域中的具有比周围区域高的深度的候选上肢区域去除，结合相对尺寸和位置从剩余的候选上肢区域中确定最终的上肢区域。

可选地，使用高分辨率深度图像将初步解析出的下肢区域划分为腿部和臀部的步骤包括：将初步解析出来的下肢区域中的与高分辨骨架图像中的下肢区域对应的区域作为腿部，将初步解析出来的下肢区域中的其他区域作为臀部。

可选地，所述还包括预处理步骤，在预处理步骤中，从获取的深度图像中去除背景区域。

本发明的另一方面提供一种人体图像解析装置，包括：深度图像接收单元，获取包括人体对象的深度图像；骨架扫描单元，对深度图像进行最小能量骨架扫描，以从深度图像中检测出多个点。

可选地，最小能量骨架扫描是指对关于深度图像的能量函数最小化以从深度图像中检测出多个点，所述多个点中的每个点被定义为骨架点，其中，所述能量函数表示对深度图像中各个像素作为骨架点或非骨架点的概率的对数的相反数求和。

可选地，所述能量函数被最小化时，如果一个像素的作为骨架点的概率参与所述求和使得所述能量函数最小化，则确定该像素为骨架点；如果一个像素的作为非骨架点的概率参与所述求和使得所述能量函数最小化，则确定该像素为非骨架点。

可选地，所述人体图像解析装置还包括：预处理单元，从获取的深度图像中去除背景区域。

可选地，所述人体图像解析装置还包括：部位解析单元，利用骨架点来解析出人体的各个部分。

可选地，部位解析单元包括：躯干分割单元，从低分辨率深度图像中提取躯干区域；人体初步解析单元，根据确定的躯干区域从低分辨骨架图像中初步解析出其他人体部位；人体精细解析单元，使用高分辨率深度图像中与初步解析出的上肢相对应的部位区域来优化上肢区域，使用高分辨率深度图像将初步解析出的下肢区域划分为腿部和臀部。

可选地，躯干分割单元包括：躯干区域初步提取单元，根据低分辨骨架图像中各个部位区域之间的尺寸和位置关系来初步确定躯干区域；躯干方位估计单元，对初步确定的躯干区域执行最小能量骨架扫描，从而提取躯干区域的骨架；躯干区域精细化单元，将整个身体区域的质心之下的区域作为下肢，从而从初步确定的躯干区域中排除质心之下的区域，沿着骨架从中间到两侧进行扫描直到遇到背景区域或与四肢对应的部位区域，来确定躯干的左右边缘。

可选地，当已经初步解析出来的上肢区域时，人体精细解析单元在高分辨骨架图像中寻找与初步解析出来的上肢区域重叠的部位区域，然后将初步解析出来的上肢区域扩展到该深度部位区域；当没有解析出来上肢区域时，人体精细解析单元寻找高分辨骨架图像中的与已经解析出来的头部和/或躯干相应的部位区域，将位于该部位区域中的与周围区域相比具有不同深度的部位区域作为候选上肢区域，将候选上肢区域中的具有比周围区域高的深度的候选上肢区域去除，结合相对尺寸和位置从剩余的候选上肢区域中确定最终的上肢区域。

根据本发明的人体图像解析方法和设备可以实现在各种复杂环境和人体姿态下的人体图像的解析，具有较高解析精度，并且不需要预先准备大量的数据库数据和训练数据。

根据本发明的人体图像解析方法和设备，可以从深度图像中解析出表示人体各部位的基本位置和形状的骨架信息(例如，骨架点或骨架)，从而可以利用解析出的骨架信息来实现诸如姿态检测、姿态跟踪、人体建模等各种应用。

此外，根据本发明的人体图像解析方法和设备，在解析的骨架信息的基础上，可以进一步更精确地解析出人体的各个部位。

将在接下来的描述中部分阐述本发明另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明的实施而得知。

附图说明

通过下面结合附图进行的详细描述，本发明的上述和其它目的、特点和优点将会变得更加清楚，其中：

图1示出根据本发明的一个实施例的人体图像解析装置的框图；

图2示出根据本发明实施例的人体图像解析装置中的骨架扫描单元获得的骨架的一个示例；

图3示出根据本发明实施例的在不同的深度对比度阈值下得到的骨架的对比示图；

图4示出根据本发明实施例的在不同的扫描方向下得到的骨架的对比示图；

图5示出根据本发明实施例的对在不同条件下获得的骨架信息进行融合的示图；

图6示出根据本发明实施例的部位解析单元的框图；

图7示出根据本发明实施例的解析出躯干区域的处理的示图；

图8示出根据本发明的实施例的对在不同条件下得到的骨架信息进行融合的处理的流程图；

图9示出人体精细解析单元执行的处理的示例；

图10示出根据本发明的一个实施例的人体图像解析方法的流程图；

图11示出根据本发明的另一个实施例的人体图像解析方法的流程图。

具体实施方式

下面，将参照附图详细描述本发明的实施例。

图1示出根据本发明的一个实施例的人体图像解析装置的框图。

如图1所示，根据本发明的人体图像解析装置100包括：深度图像接收单元110、预处理单元120和骨架扫描单元130。

深度图像接收单元110用于接收包括人体对象的深度图像。例如，深度图像接收单元110可从深度图像拍摄设备、存储器、网络等各种具有深度图像的源接收深度图像。

预处理单元120对深度图像接收单元110所接收的深度图像进行预处理。例如，对深度图像进行噪声滤波、从深度图像中确定背景区域并去除背景区域来获得预处理的深度图像等。可以利用现有的各种背景去除技术来去除深度图像中的背景。由于去除了背景，因此可以减少待处理的数据，并且可以初步获得人体所在的区域。

骨架扫描单元130对深度图像接收单元110接收的深度图像或者预处理后的深度图像进行最小能量骨架扫描，从而检测出人体的骨架点或骨架。

图2示出检测的骨架的一个示例。

最小能量骨架扫描是指对关于深度图像的以尺寸及深度连续性为约束条件的能量函数最小化来获得深度图像中的一些点。这些点被称为骨架点。骨架点形成了骨架。

所述能量函数表示对深度图像中各个像素作为骨架点或非骨架点的概率的对数的相反数求和。

当所述能量函数最小时，如果一个像素作为骨架点的概率使得所述能量函数最小，则确定该像素为骨架点；如果一个像素作为非骨架点的概率使得所述能量函数最小，则确定该像素为非骨架点。

换句话说，当所述能量函数最小时，如果一个像素作为骨架点(而非作为非骨架点)的概率参与了上述求和，则确定该像素为骨架点；如果一个像素作为非骨架点(而非作为骨架点)的概率参与了上述求和，则确定该像素为非骨架点。这里，不是考虑概率大小来确定像素是否为骨架点，而是考虑参与求和计算是以骨架点还是非骨架点的身份。

在一个示例中，以尺寸及深度连续性为约束条件的能量函数可被表示为下面的等式(1)。

$\underset{\mathrm{\α}}{\min }E(x,\mathrm{\θ},\mathrm{\α})=\underset{\mathrm{\α}}{\min }\underset{x\∈\mathrm{Im}}{\mathrm{\Σ}}-{\log }_n\left(p(x;{\mathrm{\α}}_x)\right),{\mathrm{\α}}_x=\left\{\mathrm{0,1}\right\}---\left(1\right)$

其中，Im表示深度图像，x是深度图像Im的像素，α_x表示像素x是骨架点还是非骨架点，其中，当x是骨架点时，α＝1，当x为非骨架点时，α＝0；p(x；1)表示像素x属于骨架点的概率，p(x；0)表示像素x不属于骨架点的概率，n大于0且不等于1。

可通过在两个相反方向上的深度对比度和深度对比度阈值之中的最小值的归一化值来确定像素作为骨架点的概率，即，p(x；1)。

深度对比度是指在预定方向θ上与像素x相距预定距离l_x的像素

与像素

的一个相邻像素之间的深度值之差的绝对值。相应地，在与预定方向θ相反的方向上的深度对比度是指在预定方向θ-π上与像素x相距预定距离l_x的像素与像素

的一个相邻像素

之间的深度值之差。

优选地，像素

为像素在方向θ或θ-π上的相邻像素；像素

为像素

在方向θ或θ-π上的相邻像素。

像素x属于骨架点的概率被表示为下面的等式(2)。

$p(x;1)=\frac{\min \left\{\right|d_{x,l_x-1,\mathrm{\θ}}-d_{x,l_x,\mathrm{\θ}}|,|d_{x,l_x-1,\mathrm{\θ}-\mathrm{\π}}-d_{x,l_x,\mathrm{\θ}-\mathrm{\π}}|,T\}}{D}---\left(2\right)$

其中，

表示像素

的深度值，

表示像素

的深度值，

表示像素

的深度值，

表示像素

的深度值，T是深度对比度阈值，D是用于归一化的对比度，D大于等于T。

像素x不属于骨架点的概率被表示为下面的等式(3)。

p(x；0)＝1-p(x；1)                    (3)

在另一实施例中，l_x与深度对比度阈值T相关。此时，l_x被定义为通过扫描各个方向且满足深度对比度约束的最小距离。此时，距离l_x可被表示为下面的等式(4)。

$l_x=\underset{l}{\min }\underset{\mathrm{\θ}\∈\left[\mathrm{0,2}\mathrm{\π}\right]}{\max }\left(\right|d_{x,l-1,\mathrm{\θ}}-d_{x,l,\mathrm{\θ}}|>T),l\∈(l_{\min },l_{\max })---\left(4\right)$

(l_min，l_max)表示距离l的取值范围，d_x，l，θ表示在方向θ上与像素x相距预定距离l的像素的深度值，d_x，l-1，θ表示与像素x相距预定距离l的像素的一个相邻像素的深度值。

为了检测不同的人体部位，l_min、l_max可具有不同的值，其与被检测部位的相对长度有关。例如，在仅检测上肢时的取值可小于在检测整个人体时的取值。

这样，通过从深度图像中获取骨架点和骨架，可以更精确地检测出人体区域。此外，骨架点或骨架能够表现出人体各部位的基本位置和形状，因此可直接使用骨架点或骨架来容易地表示人体的各种姿态。

此外，在另外的实施例中，可通过考虑使用多个方向θ和/或多个深度对比度阈值T执行最小能量骨架扫描，并将其结果进行融合来获得更精确的骨架。

根据本发明的深度对比度阈值T的大小决定了得到了骨架信息的丰富程度。深度对比度阈值T的值越小，则得到的骨架信息越丰富。因此，可以根据实际需要来设置深度对比度阈值T的值。例如，当检测相对尺寸比较大的人体部位(例如，躯干)时，可设置较大的深度对比度阈值T；当检测相对尺寸比较小的人体部位(例如，胳膊)时，可设置较小的深度对比度阈值T。

例如，图3(a)是深度对比度阈值T的值较大时的结果，图3(b)是深度对比度阈值T的值较小时的结果。在图3(a)中，深度对比度阈值T较大，与躯干重合的胳膊的骨架就无法得到。而在图3(b)中，深度对比度阈值T较小，与躯干重合的胳膊的骨架可以提取出来。

然而，当深度对比度阈值T的值较大时，虽然骨架信息丰富，但是得到的骨架点也更为凌乱，可能存在噪声。因此，可以采取各种自适应方式来获得深度对比度阈值T的大小。具体地说，可同时考虑对比度图像的噪声大小以及被检测目标的尺寸来确定深度对比度阈值T的值。

此外，也可将利用不同大小的深度对比度阈值T的结果进行融合以获得更为精确的骨架信息。

此外，采用不同的预定方向θ得到的骨架信息也有所不同。例如，图4(a)是预定方向θ为水平方向时的结果，图4(b)是预定方向θ为竖直方向时的结果。可以看到，在预定方向θ为水平方向时，缺少水平方向的骨架；在预定方向θ为竖直方向时，缺少竖直方向的骨架。

因此，为了获得更为精确的结果，可考虑将采用不同的预定方向θ和/或不同大小的深度对比度阈值T得到的骨架信息进行融合或合并。

在一个进行融合或合并的示例中，可直接将采用不同的预定方向θ和/或不同大小的深度对比度阈值T得到的骨架点或骨架进行重叠或合并。

图5(a)示出直接将图4(a)和图4(b)进行叠加后获得的结果。

在另一进行融合或合并的示例中，考虑采用不同的预定方向θ和/或不同大小的深度对比度阈值T得到的对应的骨架之间的重叠程度来确定是否叠加。当对应的多条骨架之间的重叠程度大于预定阈值时，采用最长的骨架作为最终的骨架；当骨架之间的重叠程度不大于预定阈值时，将对应的多条骨架进行叠加。

例如，可仅考虑最短的骨架与最长的骨架之间的重叠程度。此外，也可使用其他的重叠程度统计方法来确定上述重叠程度。

在又一进行融合的示例中，考虑采用不同的预定方向θ和/或不同大小的深度对比度阈值T得到的骨架点或骨架所对应的区域之间的重叠程度来确定是否叠加。下面结合图8来说明该示例。

图8示出根据本发明的实施例的对在不同条件下得到的骨架信息进行融合的处理的流程图。

在操作801，利用不同的预定方向θ和/或不同大小的深度对比度阈值T得到多组骨架，进而得到多个骨架图像。不同的预定方向θ和/或不同大小的深度对比度阈值T对应于一组骨架和一个骨架图像。例如，利用三个预定方向θ和四个深度对比度阈值T时，可以得到十二组骨架以及十二个骨架图像。

为了便于说明，将标识了骨架信息(即，骨架点和骨架)的深度图像称为骨架图像。

在操作802，通过位置和深度的连续性约束将各骨架图像中的骨架归到相应的部位类型。

这里，每个部位类型表示特定人体部位(例如，上肢、下肢、躯干、头部等)。

在操作803，针对每个骨架图像中的各部位类型的骨架进行生长，从而在每个骨架图像中得到与各部位类型对应的部位区域。

骨架生长的一个示例如下：每一个骨架点在检测的过程中对应于一个固定的方向θ和距离l_x，把这个骨架点沿着方向θ及其相反方向分别扩展距离l_x就可以得到一条线，所有的骨架点都按照上述方式进行扩展，就得到一个连通区域，即部位区域。

此外，也可以利用其他的像素扩展方式来实现骨架生长。

例如，如果以上肢、下肢、躯干、头部的方式进行分类，可得到上肢区域、下肢区域、躯干区域、头部区域。

例如，针对一个骨架图像中的一上肢上的骨架进行生长，生长出来就是上肢区域，可以得到与骨架的组数相同数量的上肢区域(例如，利用三个预定方向θ和四个深度对比度阈值T时，可以得到十二个上肢区域)。

应该理解，上述归类过程是一个初步的归类处理，有些类型的部位可能没有骨架或者有些骨架被归到错误的部位类型。

在操作804，根据不同骨架图像之间对应的部位区域之间的重叠程度来对生长出所述部位区域的骨架进行融合。例如，根据不同骨架图像之间对应的躯干区域之间的重叠程度来对不同骨架图像中生长出躯干区域的骨架进行融合。

当对应的部位区域之间的重叠程度大于预定阈值时，采用最长的骨架作为最终的骨架；当对应的部位区域之间的重叠程度不大于预定阈值时，将同骨架图像中生长出所述部位区域的骨架进行叠加。

可仅考虑面积最小的区域与最大的区域之间的重叠程度。此外，也可使用其他的重叠程度统计方法来确定上述重叠程度。

例如，假设预定阈值为50％，对于图4(a)和图4(b)中的与左侧胳膊对应的骨架，它们生长之后得到的部位区域之间的重叠程度大于80％，因此，可使用图4(a)中的与左胳膊对应的骨架作为融合结果中的最终骨架。

图5(b)示出考虑重叠情况将图4(a)和图4(b)进行叠加后获得的结果。可以看到，图5(b)得到的结果比较完整，而且噪声点相对较少。

在另外的实施例中，在利用不同的预定方向θ和/或不同大小的深度对比度阈值T得到多组骨架时，对以相同深度对比度阈值T得到的骨架进行融合，从而得到与利用的深度对比度阈值T的数量相同数量的组数的骨架。与较大的深度对比度阈值T(例如，大于预定阈值TL的深度对比度阈值T)对应的骨架可被称为前景骨架，与较小的深度对比度阈值T(例如，小于等于预定阈值TL的深度对比度阈值T)对应的骨架可被称为深度骨架。

与前景骨架相比，深度骨架可反映出更多的细节。

在标识了前景骨架的深度图像中，前景骨架生长之后得到的区域被称为前景部位区域。生长出前景部位区域的深度图像被称为低分辨骨架图像。

在标识了深度骨架的深度图像中，深度骨架生长之后得到的区域被称为深度部位区域。生长出深度部位区域的深度图像被称为高分辨骨架图像。

下面描述沿两个方向(例如，竖直方向和水平方向)并利用两个不同大小的深度对比度阈值T执行最小能量骨架扫描的一个示例。

首先，使用两个不同的方向以及两个深度对比度阈值T执行最小能量骨架扫描，从而可获得四组骨架。

具体地说，沿第一方向使用第一深度对比度阈值T对深度图像执行最小能量骨架扫描，从而得到第一前景骨架。

沿第一方向使用第二深度对比度阈值T对深度图像执行最小能量骨架扫描，从而得到第二深度骨架。这里，第一深度对比度阈值T大于第二深度对比度阈值T。

沿第二方向使用第一深度对比度阈值T对深度图像执行最小能量骨架扫描，从而得到第二前景骨架。

沿第二方向使用第二深度对比度阈值T对深度图像执行最小能量骨架扫描，从而得到第二深度骨架。

其次，通过位置和深度的连续性约束将每组骨架中的骨架归到预定的部位类型。优选地，长度小于预定阈值的骨架被去除以降低噪声影响。

随后，对于每组骨架，对每个部位类型的骨架进行生长处理从而得到与每个部位类型对应的区域。

最终，对于每个部位类型，根据四组骨架之间对应的区域之间的重叠程度来进行融合。当对应的区域之间的重叠程度大于预定阈值时，采用最长的骨架作为最终的骨架；当对应的区域之间的重叠程度不大于预定阈值时，将骨架进行叠加。

在另一示例中，将第一前景骨架和第二前景骨架进行融合，并将第二深度骨架和第一深度骨架进行融合，而非将四组骨架进行融合。

具体地说，考虑第一前景骨架和第二前景骨架之间对应的多对区域之间的重叠程度来融合第一前景骨架和第二前景骨架，从而得到前景骨架。考虑分别第一深度骨架和第二深度骨架之间对应的多对区域之间的重叠程度来融合第二深度骨架和第一深度骨架，从而得到深度骨架。

前景骨架生长之后得到的区域被称为前景部位区域；深度骨架生长之后得到的区域被称为深度部位区域。

在实际应用中可直接使用根据本发明的方式所获得的骨架信息。此外，可以在得到骨架信息的基础上，进一步更精确地从接收的深度图像中解析出人体的各个部位。

下面，示出从深度图像中解析人体部位的一个示例。在此情况下，人体图像解析装置100还可包括部位解析单元(未示出)。

图6示出根据本发明实施例的部位解析单元的框图。

部位解析单元可包括：躯干分割单元610、人体初步解析单元620、人体精细解析单元630。

躯干分割单元610包括躯干区域初步提取单元611、躯干方位估计单元612、躯干区域精细化单元613。

躯干区域初步提取单元611从低分辨骨架图像中的前景部位区域中初步确定躯干区域(如图7(a)中标号701所指示的区域)。

躯干是最大的可见人体部位，其在尺寸上显然与四肢的尺寸不同。从四肢前景部位区域，可以发现在大多数情况下实际的躯干区域位于非四肢前景部位区域。因此，可以容易地初步确定躯干区域。

躯干方位估计单元612根据初步确定的躯干区域获得躯干的骨架。具体地说，再次对初步确定的躯干区域执行最小能量骨架扫描，从而提取躯干区域的骨架点。随后对骨架点进行拟合从而得到躯干的骨架(如图7(b)中标号702所示)。

躯干区域精细化单元613对初步确定的躯干区域进行优化，以得到更精确的躯干区域(如图7(c)中标号703所指示的区域)。

具体地说，对于整个身体区域，获取身体质心之下的区域作为下肢。随后，沿着骨架从中间到两侧进行扫描直到遇到背景区域或四肢前景部位区域，来确定躯干的左/右边缘。这里，背景区域可以通过预处理单元120确定。

此外，如果预先对头部进行了检测(例如，使用现有的头部检测方法)，并且检测到头部区域包括在初步确定的躯干区域，则通过检测的头部来调整初步躯干区域的顶部边缘。例如，可由预处理单元120或其他专门的单元来实现对头部的预先检测。

人体初步解析单元620根据躯干分割单元610确定的躯干区域从前景部位区域中初步解析出其他人体部位。

通常，人体的头部、上肢和下肢在不同的位置连接到躯干，而且这些连接位置之间的相对位置是固定的。因此，确定了躯干区域的基础上，根据其他区域(例如，头部、上肢、下肢)与躯干区域之间的连接位置可以区分出其他区域。

此外，在前景部位区域中，头部可能与躯干区域无法区分出来。换句话说，头部可能与躯干区域存在重叠。在这样的情况下，可能无法从前景部位区域中检测到头部区域，此时可利用头部尺寸以及关于躯干的相对位置来从高分辨骨架图像中的深度部位区域中检测头部区域。这是因为深度部位区域与前景部位区域相比具有更多的骨架细节。在检测到头部区域之后，可根据检测到的头部区域来调整躯干区域的边缘。

人体精细解析单元630利用深度部位区域对已经解析出来的人体部位区域进行优化。具体地说，使用与四肢相对应的深度部位区域来分割或优化上肢区域并将下肢区域进一步划分为腿部和臀部。

如果已经初步解析出来上肢区域，则在深度部位区域中找到与初步解析出来的上肢区域重叠的深度部位区域，然后将初步解析出来的上肢区域扩展到该深度部位区域。

图9示出人体精细解析单元630执行的处理的示例。

图9(a)示出人体初步解析单元620解析出来的部位。图9(b)示出包括深度部位区域的高分辨骨架图像。图9(c)示出躯干区域精细化单元613输出的结果。

如在图9(a)中所示，人体初步解析单元620仅是解析出在画面中靠上的一条胳膊的一部分，该胳膊与躯干部分重叠的部分没有解析出来。通过将图9(a)中的上述胳膊区域扩展到图9(b)中的相应深度部位区域，从而可以得到图9(c)所示的完整的胳膊区域。

如果在初步解析中没有解析出来上肢区域，则寻找高分辨骨架图像中的与已经解析出来的头部和/或躯干相应的深度部位区域，将位于该深度部位区域中的与周围区域相比具有不同深度的深度部位区域作为候选上肢区域。然后，通过与四周区域相比通过上肢区域的深度对比度类型来进一步滤除可能的上肢区域。随后，将候选上肢区域中的具有比周围区域高的深度的候选上肢区域去除。最后，结合相对尺寸和位置深度从剩余的候选上肢区域中确定最终的上肢区域。

为了将初步解析出来的下肢区域进一步划分为臀部和腿部，可将初步解析出来的下肢区域中的与深度部位区域中的下肢区域对应的区域作为腿部，将初步解析出来的下肢区域中的其他区域作为臀部。

如在图9(a)中所示，人体初步解析单元620初步解析出来的下肢区域实际上包括了腿部和腿部，但没有区分开来。通过图9(b)中的下肢区域应用到图9(a)，从而可以得到图9(c)所示的腿部区域，相应地也同时得到臀部区域。

本发明中所使用的术语“单元”代表硬件组件。本领域技术人员根据本发明对不同单元的定义，可以例如使用现场可编程门阵列(FPGA)或专用集成电路(ASIC)来实现上述单元。此外，本发明中所使用的术语“单元”也可代表软件组件。

图10示出根据本发明的一个实施例的人体图像解析方法的流程图。

在步骤1001，获取包括人体对象的深度图像。例如，可从深度图像拍摄设备、存储器、网络等各种具有深度图像的源获取深度图像。

在步骤1002，对获取的深度图像进行预处理。例如，对获取的深度图像进行噪声滤波、从深度图像中去除背景区域来获得预处理深度图像等。可以利用现有的各种背景去除技术来去除深度图像中的背景。由于去除了背景，因此在预处理深度图像中可以初步得到人体区域。

此外，步骤1002是可选地，本发明也可以不对深度图像进行预处理。

在步骤1003，对获取的深度图像或者预处理后的深度图像进行最小能量骨架扫描，从而检测出人体的骨架点或骨架。

可利用骨架扫描单元130所利用的方式来进行最小能量骨架扫描。即，可利用参照图2-图5以及图8所描述的方式来提取骨架信息。

通过提取的骨架点或骨架线可以实现各种应用。例如，骨架点或骨架能够表现出人体各部位的基本位置和形状，因此可直接利用骨架来表示人体的各种姿态。

图11示出根据本发明的另一个实施例的人体图像解析方法的流程图。

在步骤1101，获取包括人体对象的深度图像。例如，可从深度图像拍摄设备、存储器、网络等各种具有深度图像的源获取深度图像。

在步骤1102，对获取的深度图像进行预处理。例如，对获取的深度图像进行噪声滤波、从深度图像中去除背景区域来获得预处理深度图像等。可以利用现有的各种背景去除技术来去除深度图像中的背景。由于去除了背景，因此在预处理深度图像中可以初步得到人体区域。

此外，步骤1102是可选地，本发明也可以不对深度图像进行预处理。

在步骤1103，利用较大的深度对比度阈值T(例如，大于预定阈值TL的深度对比度阈值T)执行最小能量骨架扫描，从而获得低分辨骨架图像。低分辨骨架图像中包括前景部位区域。

在步骤1104，利用较小的深度对比度阈值T(例如，不大于预定阈值TL的深度对比度阈值T)执行最小能量骨架扫描，从而获得高分辨骨架图像。高分辨骨架图像中包括深度部位区域。

在步骤1105，从低分辨骨架图像提取躯干区域。具体地说，根据低分辨骨架图像中各个前景部位区域之间的尺寸和位置关系来初步确定躯干区域(如图7(a)中标号701所指示的区域)。对初步确定的躯干区域执行最小能量骨架扫描，从而提取躯干区域的骨架(如图7(a)中标号702所示)。然后，将整个身体区域的质心之下的区域作为下肢，从而从初步确定的躯干区域中排除质心之下的区域(如图7(b)中标号703所示)。随后，沿着骨架从中间到两侧进行扫描直到遇到背景区域或四肢前景部位区域，来确定躯干的左/右边缘。同时，如果在低分辨骨架图像中存在头部区域，则利用该头部区域来调整初步躯干区域的顶部边缘(如图7(b)中标号704所示)。

步骤1105可与躯干分割单元610所执行的处理类似。

在步骤1106，根据确定的躯干区域从低分辨骨架图像中初步解析出其他人体部位。具体地说，在确定的躯干区域的基础上，根据低分辨骨架图像中的其他前景部位区域与躯干区域之间的连接位置来初步解析出其他人体部位区域(例如，头部、上肢、下肢)。

此外，在前景部位区域中，头部可能与躯干区域无法区分出来。换句话说，头部可能与躯干区域存在重叠。在这样的情况下，可能无法从前景部位区域中检测到头部区域，此时可利用头部尺寸以及关于躯干的相对位置来从高分辨骨架图像中的深度部位区域中检测头部区域。这是因为深度部位区域与前景部位区域相比具有更多的骨架细节。在检测到头部区域之后，可根据检测到的头部区域来调整躯干区域的边缘。

步骤1106可与人体初步解析单元620所执行的处理类似。

在步骤1107，使用高分辨率深度图像中与上肢相对应的深度部位区域来优化上肢区域。

如果在步骤1106已经初步解析出来的上肢区域，则在深度部位区域中找到与初步解析出来的上肢区域重叠的深度部位区域，然后将初步解析出来的上肢区域扩展到该深度部位区域。

如果在步骤1106中没有解析出来上肢区域，则寻找高分辨骨架图像中的与已经解析出来的头部和/或躯干相应的深度部位区域，将位于该深度部位区域中的与周围区域相比具有不同深度的深度部位区域作为候选上肢区域。然后，与四周区域相比通过上肢区域的深度对比度类型来进一步过滤出可能的上肢区域。随后，将候选上肢区域中的具有比周围区域高的深度的候选上肢区域去除。最后，结合相对尺寸、位置和/或深度对比度从剩余的候选上肢区域中确定最终的上肢区域。

这里，深度对比度类型可以按照如下方式划分：骨架点比两侧像素深度都小、骨架点的深度低于一侧的深度且高于另一侧的深度，骨架点的深度高于两侧的深度。通常，当上肢位于躯干时，上肢的骨架点比两侧的深度都小，也就是距离摄像机比较近，所以可以对这种深度对比度类型的骨架线给予较大的置信度，上肢骨架点比两侧的深度都大，也就是距离摄像机较远的通常不容易出现，这种深度对比度类型的骨架线就给予较小的置信度从而滤除。

在步骤1108，使用高分辨率深度图像将下肢区域进一步划分为腿部和臀部。为了将初步解析出来的下肢区域进一步划分为臀部和腿部，可将初步解析出来的下肢区域中的与深度部位区域中的下肢区域对应的区域作为腿部，将初步解析出来的下肢区域中的其他区域作为臀部。

步骤1107和1108可与人体精细解析单元630所执行的处理类似。

根据本发明的人体图像解析方法和设备，可以从深度图像中解析出表示人体的基本位置和形状的骨架信息(例如，骨架点或骨架)，从而可以利用解析出的骨架信息来实现诸如姿态检测、姿态跟踪、人体建模等各种应用。

此外，根据本发明的人体图像解析方法和设备，在解析的骨架信息的基础上，可以进一步更精确地解析出人体的各个部位。

尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (19)

1.一种人体图像解析方法，该方法包括：

获取包括人体对象的深度图像；

对深度图像进行最小能量骨架扫描，以从深度图像中检测出多个点。

2.根据权利要求1所述的方法，其中，最小能量骨架扫描是指对关于深度图像的能量函数最小化以从深度图像中检测出多个点，所述多个点中的每个点被定义为骨架点，

其中，所述能量函数表示对深度图像中各个像素作为骨架点或非骨架点的概率的对数的相反数求和。

3.根据权利要求2所述的方法，其中，当所述能量函数被最小化时，如果一个像素的作为骨架点的概率参与所述求和使得所述能量函数最小化，则确定该像素为骨架点；如果一个像素的作为非骨架点的概率参与所述求和使得所述能量函数最小化，则确定该像素为非骨架点。

4.根据权利要求3所述的方法，其中，通过预定方向上的深度对比度、与预定方向相反的方向上的深度对比度和深度对比度阈值之中的最小值的归一化值来确定像素作为骨架点的概率。

5.根据权利要求4所述的方法，其中，预定方向上的深度对比度是指在预定方向上与所述像素相距预定距离的第一像素与第一像素的一个相邻像素之间的深度值之差的绝对值。

6.根据权利要求5所述的方法，其中，所述相邻像素在预定方向上或在与预定方向相反的方向上与第一像素相邻。

7.根据权利要求5所述的方法，其中，所述预定距离为通过在各个方向上满足深度对比度约束的最小距离，所述预定距离被表示为下面的等式：

$l_x=\underset{l}{\min }\underset{\mathrm{\θ}\∈\left[\mathrm{0,2}\mathrm{\π}\right]}{\max }\left(\right|d_{x,l-1,\mathrm{\θ}}-d_{x,l,\mathrm{\θ}}|>T)l\∈(l_{\min },l_{\max }),$

其中，l_x表示所述预定距离，(l_min，l_max)表示距离l的取值范围，θ表示方向，T表示深度对比度阈值，d_x，l，θ表示在方向θ上与所述像素相距预定距离l的像素的深度值，d_x，l-1，θ表示与所述像素相距预定距离l的像素的一个相邻像素的深度值。

8.根据权利要求4所述的方法，还包括：利用第一深度对比度阈值对深度图像执行最小能量骨架扫描，以获得低分辨骨架图像，利用第二深度对比度阈值对深度图像执行最小能量骨架扫描，以获得高分辨骨架图像，其中，第一深度对比度阈值大于第二深度对比度阈值。

9.根据权利要求8所述的方法，其中，获得低分辨骨架图像的步骤包括：

利用第一深度对比度阈值对深度图像执行最小能量骨架扫描，获得多个骨架点；

通过位置和深度的连续性约束将所述多个骨架点或由骨架点形成的骨架归到相应的部位类型；

针对各部位类型的骨架进行生长，从而得到与每种部位类型对应的部位区域。

10.根据权利要求8所述的方法，其中，获得高分辨骨架图像的步骤包括：

利用第二深度对比度阈值对深度图像执行最小能量骨架扫描，获得多个骨架点；

通过位置和深度的连续性约束将所述多个骨架点或由骨架点形成的骨架归到相应的部位类型；

针对各部位类型的骨架进行生长，从而得到与每种部位类型对应的部位区域。

11.根据权利要求4或8所述的方法，其中，对深度图像进行最小能量骨架扫描的步骤包括：

利用至少一个预定方向及至少两个深度对比度阈值或利用至少两个预定方向及至少一个深度对比度阈值对深度图像进行最小能量骨架扫描，以得到多组骨架点和多个骨架图像，其中，标识了骨架点的深度图像称为骨架图像；

通过位置和深度的连续性约束将各骨架图像中的由骨架点形成的骨架归到相应的部位类型；

针对每个骨架图像中的各部位类型的骨架进行生长，从而在每个骨架图像中得到各部位类型的部位区域；

根据多个骨架图像之间相互对应的多个部位区域之间的重叠程度来对生长出多个部位区域的骨架进行融合，其中，当多个骨架图像之间相互对应的多个部位区域之间的重叠程度大于预定阈值时，采用生长出所述多个部位区域的骨架之中最长的骨架作为最终的骨架；当多个骨架图像之间相互对应的多个部位区域之间的重叠程度不大于预定阈值时，将生长出所述多个部位区域的骨架进行叠加。

12.根据权利要求11所述的方法，其中，利用至少两个预定方向及第一深度对比度阈值对深度图像进行最小能量骨架扫描，在深度图像中针对融合之后的骨架进行生长，以得到低分辨骨架图像。

13.根据权利要求11所述的方法，其中，利用至少两个预定方向及第二深度对比度阈值对深度图像进行最小能量骨架扫描，在深度图像中针对融合之后的骨架进行生长，以得到高分辨骨架图像。

14.根据权利要求8所述的方法，还包括：

从低分辨率深度图像中提取躯干区域；

根据确定的躯干区域从低分辨骨架图像中初步解析出其他人体部位；

使用高分辨率深度图像中与初步解析出的上肢相对应的部位区域来优化上肢区域；

使用高分辨率深度图像将初步解析出的下肢区域划分为腿部和臀部。

15.根据权利要求14所述的方法，其中，从低分辨率深度图像中提取躯干区域的步骤包括：

根据低分辨骨架图像中各个部位区域之间的尺寸和位置关系来初步确定躯干区域；

对初步确定的躯干区域执行最小能量骨架扫描，从而提取躯干区域的骨架；

将整个身体区域的质心之下的区域作为下肢，从而从初步确定的躯干区域中排除质心之下的区域；

沿着骨架从中间到两侧进行扫描直到遇到背景区域或与四肢对应的部位区域，来确定躯干的左右边缘。

16.根据权利要求14所述的方法，其中，根据确定的躯干区域从低分辨骨架图像中初步解析出其他人体部位的步骤包括：根据低分辨骨架图像中的其他部位区域与躯干区域之间的连接位置来初步解析出其他人体部位区域。

17.根据权利要求14所述的方法，其中，使用高分辨率深度图像中与上肢相对应的深度部位区域来优化上肢区域的步骤包括：

当已经初步解析出来的上肢区域时，在高分辨骨架图像中寻找与初步解析出来的上肢区域重叠的部位区域，然后将初步解析出来的上肢区域扩展到该深度部位区域；

当没有解析出来上肢区域时，寻找高分辨骨架图像中的与已经解析出来的头部和/或躯干相应的部位区域，将位于该部位区域中的与周围区域相比具有不同深度的部位区域作为候选上肢区域，将候选上肢区域中的具有比周围区域高的深度的候选上肢区域去除，结合相对尺寸和位置从剩余的候选上肢区域中确定最终的上肢区域。

18.根据权利要求14所述的方法，其中，使用高分辨率深度图像将初步解析出的下肢区域划分为腿部和臀部的步骤包括：

将初步解析出来的下肢区域中的与高分辨骨架图像中的下肢区域对应的区域作为腿部，将初步解析出来的下肢区域中的其他区域作为臀部。

19.一种人体图像解析装置，包括：

深度图像接收单元，获取包括人体对象的深度图像；

骨架扫描单元，对深度图像进行最小能量骨架扫描，以从深度图像中检测出多个点。

Images