CN103577792A - 用于估计人体姿势的设备和方法 - Google Patents

Abstract

提供一种用于估计人体姿势的设备和方法，所述设备包括：图像获取单元，用于获取拍摄的人体图像；部件检测器，用于从获取的人体图像中检测出人体的各个候选部件；以及姿势确定单元，用于将检测出的人体的各个候选部件组装的至少一个假设姿势中最符合预先定义的姿势类别之一的假设姿势确定为人体姿势。根据上述方案，能够基于姿势子空间来估计图像中人体姿势。

Description

用于估计人体姿势的设备和方法

技术领域

本发明涉及计算机视觉技术，具体说来，涉及一种能够基于姿势子空间来估计图像中人体姿势的设备和方法。

背景技术

随着计算机视觉技术的发展，人们可针对真实3D空间或虚拟3D空间中显示的对象进行交互操作。在进行这种交互操作时，需要对所述显示的对象进行自然的非接触式遥控。此时，人体本身（例如，头部、手部/手指/胳膊、躯干或整个身体）可用作进行控制的实体，从而通过身体部位在真实场景中的各种动作对所述显示的对象进行操作。在这种情况下，可利用深度相机拍摄现场图像或视频，基于深度图像数据估计出人体的姿势，借此分析出用户的意图，从而不需要借助于鼠标、键盘、操纵杆或触摸屏等也能够操纵在虚拟3D空间或真实3D空间中显示的对象。此外，在许多其它的应用场景下也需要识别人体的姿势。

人们对如何估计人体姿势进行了大量研究，但是，目前用于估计人体姿势的方案仅在单一层次的姿势空间中直接估计人体姿势，这导致运算量较大，且估计精度不高。在这种情况下，现有的人体姿势估计方案往往主要依赖于大量的姿势样本，但是，即使样本数量很多，也难以涵盖针对不同体型、不同姿势（简单姿势或复杂姿势）的各种样本，而建立如此大量样本的姿势数据库也成为机器学习方法中的难题。

例如，第US20100278384号美国专利申请“Human body pose estimation”提出了一种基于大量人体姿势样本来识别人体姿势的系统。这一方案在很大程度上依赖于样本的姿势，而且训练时间过长。由于上述方案在建立姿势训练数据库时无法涉及各种体型的所有复杂姿势，因此，在估计复杂的姿势时性能显著降低。此外，第US20100197390号美国专利申请“Pose trackingpipeline”公开了一种基于像素簇来产生身体部位的方案，其依赖于第US20100278384号美国专利中公开的像素标记结果。在上述方案中，姿势估计的算法比较复杂，而且在单一层次的姿势空间中进行，因此，姿势估计结果的精确性不高。此外，第US20090252423号美国专利申请“Controlled humanpose estimation from depth image streams”、第US2010049675A1号美国专利申请“Recovery of 3D Human Pose by Jointly Learning Metrics andMixtures of Experts”、第US2011025834A1号美国专利申请“Method andapparatus of identifying human body posture”也均存在类似的问题，导致仅适用于简单的姿势，而在估计复杂姿势时精确度不高，或者，由于运算量大而无法适用于实时系统。

综上所述，现有的人体姿势估计方案往往主要借助于预先建立的姿势数据库，因此这种依赖于姿势数据库的单一方式会由于姿势样本的限制导致无法估计出准确的姿势，特别在估计复杂的姿势时准确性较差。实际上，如果姿势数据库中样本数量过多，也将给机器学习过程带来相当大的难度。另一方面，由于仅在单一层次的姿势空间中直接进行估计运算，这导致运算量较大，且估计精度不高，因此，有必要对现有的人体姿势估计方案进行改进，以提高姿势估计的准确性和有效性。

发明内容

本发明的目的在于提供一种能够基于姿势子空间来估计图像中人体姿势的设备和方法。本发明的另一目的在于提供一种能够以互补方式利用不同种类的人体部件检测器的检测结果来产生人体部件候选的设备和方法。此外，本发明的目的在于提供一种能够有效检测人体躯干部件的设备和方法以及一种能够有效检测人体棍状部件的设备和方法。

根据本发明的一方面，提供一种用于估计人体姿势的设备，包括：图像获取单元，用于获取拍摄的人体图像；部件检测器，用于从获取的人体图像中检测出人体的各个候选部件；以及姿势确定单元，用于将检测出的人体的各个候选部件组装的至少一个假设姿势中最符合预先定义的姿势类别之一的假设姿势确定为人体姿势。

所述预先定义的姿势类别可包括正面姿势和侧面姿势，其中，所述正面姿势包括正面胳膊交叉姿势、正面腿部交叉姿势、正面躯干靠近胳膊姿势中的至少一个，所述侧面姿势包括侧面胳膊交叉姿势、侧面腿部交叉姿势、侧面躯干靠近胳膊姿势中的至少一个。

所述姿势确定单元可包括：姿势分类模块，用于将由人体的各个候选部件组装成所述至少一个假设姿势，并根据每个假设姿势的至少一个部件参数来确定每个假设姿势在所述预先定义的姿势类别之间的概率分布；以及姿势评估模块，用于利用每个假设姿势的至少一个部件约束特征来评估每个假设姿势在所述预先定义的姿势类别之间的概率分布，然后将与评估后的所有假设姿势的概率分布中的最高概率值相应的假设姿势确定为人体姿势。

所述姿势分类模块可基于机器学习算法，根据每个假设姿势的部件参数来确定每个假设姿势在所述预先定义的姿势类别之间的概率分布。

所述至少一个部件参数可包括以下项中的至少一个：躯干部件的方向、胳膊部件与躯干部件之间的距离、胳膊部件之间的交叉区域大小、腿部部件之间的交叉区域大小。

所述至少一个部件约束特征可包括以下项中的至少一个：胳膊部件的二维或三维长度、腿部部件的二维或三维长度、胳膊或腿部中深度沿轴向的连续性、胳膊或腿部中深度沿垂直于轴向的方向与周围区域的对比度、每个部件的前景覆盖率、每个部件的深度一致性、邻近部件之间的距离和角度。

姿势分类模块可将人体的各个候选部件组装成M个假设姿势X_j，j=1,…,M，M为正整数，并且，姿势分类模块根据假设姿势X_j的至少一个部件参数组成的矢量V来确定假设姿势X_j在预先定义的姿势类别C_i的概率P（C_i|X_j），i=1,…,N，N为正整数；

姿势评估模块可通过将针对假设姿势X_j的评估函数F_i应用于假设姿势X_j在预先定义的姿势类别C_i的概率P（C_i|X_j），评估假设姿势X_j在预先定义的姿势类别C_i的概率P（C_i|X_j），以获得评估后的概率P＇（C_i|X_j）=P（C_i|X_j）·F_i，然后将与P'（C_i|X_j）的最大值相应的假设姿势确定为人体姿势，其中，

f_k为假设姿势X_j的部件约束特征，k=1,…,K，K为正整数，w_i，k为部件约束特征f_k针对姿势类别C_i的权重，w_i，k的值根据实验来确定。

图像获取单元可基于人体图像的深度值从获取的人体图像提取前景部分，划分出前景部分的单个人体部分，并将划分出的单个人体部分输出到部件检测器。

所述部件检测器可包括：至少两种部件检测器，用于按照不同方式分别针对人体图像中的人体部件进行检测；以及候选部件产生单元，用于针对所述至少两种部件检测器的检测结果按照互补方式来产生所述人体部件的部件候选。

当所述至少两种部件检测器针对相同人体部件的检测结果相同时，候选部件产生单元增强所述检测结果，以作为所述相同人体部件的候选部件；当所述检测结果不同时，候选部件产生单元融合所述检测结果，以作为所述相同人体部件的候选部件；当所述至少两种部件检测器中只有一种部件检测器检测到所述相同人体部件时，候选部件产生单元将检测到的人体部件作为所述相同人体部件的候选部件。

所述至少两种部件检测器可包括：基于机器学习的部件检测器，用于基于机器学习方法检测人体图像中的人体部件；以及基于人体分析的部件检测器，用于通过分析人体图像的信息检测人体图像中的人体部件。

所述基于机器学习的部件检测器可识别人体图像中与人体部件相关的一组子图像，并基于每个子图像本身的基本视觉特征和该子图像的周围区域的扩展特征，为每个子图像的人体部件分配信任度，合并信任度高于门限值的子图像来基于机器学习方法检测人体部件。

基于人体分析的部件检测器可对关于人体图像的能量函数最小化以从人体图像中检测出人体部件的骨架点，其中，所述能量函数表示对人体图像中各个像素作为骨架点或非骨架点的概率的对数的相反数求和。

如果由基于机器学习的部件检测器检测到的胳膊部件或腿部部件区域没有覆盖由基于人体分析的部件检测器检测出的胳膊部件或腿部部件的骨架点，则候选部件产生单元控制基于人体分析的部件检测器在由基于机器学习的部件检测器检测到的胳膊部件或腿部部件区域中重新检测胳膊部件或腿部部件的骨架点。

候选部件产生单元在由基于人体分析的部件检测器重新检测出的骨架点中划分出胳膊部件和腿部部件。

当由基于机器学习的部件检测器检测到的头部部件区域覆盖由基于人体分析的部件检测器检测出的头部部件的骨架点时，候选部件产生单元将由基于机器学习的部件检测器检测到的头部部件作为头部部件的候选部件；当由基于机器学习的部件检测器检测到的头部部件区域没有覆盖由基于人体分析的部件检测器检测出的头部部件的骨架点时，候选部件产生单元丢弃由基于机器学习的部件检测器检测到的头部部件；当没有检测到覆盖由基于人体分析的部件检测器检测出的头部部件的骨架点的头部部件时，候选部件产生单元将基于人体分析的部件检测器检测出的头部部件作为头部部件的候选部件。

所述部件检测器可包括棍状部件检测器，该棍状部件检测器包括：棍状部件延长模块，用于将假设棍状部件沿主轴方向延长至预定值；棍状部件划分模块，用于将延长后的假设棍状部件沿主轴方向划分为至少一个区块，并且将在与主轴方向垂直的方向上位于所述至少一个区块两侧并靠近所述至少一个区块的区块分别设置为所述至少一个区块的邻近区块；棍状部件确定模块，用于基于所述至少一个区块沿主轴方向在深度上的连续性以及所述至少一个区块与其邻近区块在深度上的对比度从假设棍状部件中确定棍状部件。

所述假设棍状部件可以是预先检测到的四肢或头部部件，或在人体图像中按照遍历方式选取的棍状部件。

棍状部件确定模块可将棍状部件确定为 $H_C=\arg \underset{x,y,w,h,\mathrm{\θ}}{\max }{P}_{\mathrm{hypo}}(x,y,w,h,\mathrm{\θ}),$ 其中，P_hypo（x,y,w,h,θ)为假设棍状部件，(x,y)为假设棍状部件的中心位置坐标，w为假设棍状部件的宽度,h为假设棍状部件的高度，θ为假设棍状部件的三维方向矢量，

其中，T_b-1,b为第b-1个区块与第b个区块之间的全局深度连续性转移概率，b=1,…,B,B为正整数，P_b为第b个区块与它的邻近区块之间的局部深度对比度概率， $T_{b-1,b}=e^{-|d_b-d_{b-1}+d\left(\mathrm{\θ}\right)|},$ $P_b=e^{-\left|\frac{1}{2d_b-d_b^r-d_b^l}\right|},$ 其中，d_b为第b个区块的平均深度，

和

为第b个区块两侧的邻近区块的平均深度，d(θ)为沿主轴方向划分的所述至少一个区块中相邻区块之间的平均深度增量。

所述部件检测器可包括三维躯干部件检测器，该三维躯干部件检测器包括：二维躯干检测模块，用于从人体图像检测出人体的二维躯干区域；种子点选取模块，基于平滑度约束以及深度差异约束从所述二维躯干区域中选取用于生长出躯干的三维点云簇的种子点；三维点云簇生成模块，基于所述种子点生长出躯干的三维点云簇；以及三维躯干生成模块，用于基于所述三维点云簇中各个三维点的法线方向来估计躯干的法线方向，并对法线方向被确定的躯干进行椭圆柱形约束来生成包括肩部的三维躯干部件。

种子点选取模块可基于代价函数 $E=\underset{p}{\mathrm{\Σ}}{E}_{\mathrm{data}}\left(p\right)+\underset{p,q\∈N\left(p\right)}{\mathrm{\Σ}}{E}_{\mathrm{smooth}}(p,q)$ 从二维躯干区域中获取用于生长出躯干的三维点云簇的种子点，该种子点对应的代价函数值最小，其中，像素q位于二维躯干区域中像素p的邻域N(p)，深度差异代价E_data(P)表示像素p与二维躯干区域中的其它像素在三维空间的深度差异，平滑度约束代价E_smooth(p,q)表示像素p和像素q之间的平滑度。

三维点云簇生成模块可利用贪婪算法遍历搜索与所述种子点具有相似的拟合表面法线和相似的三维位置的三维点以组成三维点云簇。

所述设备可还包括：姿势输出单元，用于基于确定的人体姿势来产生并输出表示所述人体姿势的信息，其中，所述信息包括以下项中的至少一个：人体姿势中各个部件的二维或三维位置、所述各个部件的运动速度、所述各个部件的运动方向、所述各个部件的尺寸。

根据本发明的另一方面，提供一种基于用户的人体姿势进行人机交互的装置，包括：用于估计人体姿势的设备，用于基于拍摄的人体图像，输出表示人体姿势的信息；用户指令确认单元，用于基于所述表示人体姿势的信息确定用户的指令，并将所述用户的指令传送给控制单元；以及控制单元，用于基于用户的指令来控制相应操作的执行。

根据本发明的另一方面，提供一种用于检测人体部件的设备，包括：至少两种部件检测器，用于按照不同方式分别针对人体图像中的人体部件进行检测；以及候选部件产生单元，用于针对所述至少两种部件检测器的检测结果按照互补方式来产生所述人体部件的部件候选。

根据本发明的另一方面，提供一种用于从人体图像检测棍状部件的部件检测器，包括：棍状部件延长模块，用于将假设棍状部件沿主轴方向延长至预定值；棍状部件划分模块，用于将延长后的假设棍状部件沿主轴方向划分为至少一个区块，并且将在与主轴方向垂直的方向上位于所述至少一个区块两侧并靠近所述至少一个区块的区块分别设置为所述至少一个区块的邻近区块；棍状部件确定模块，用于基于所述至少一个区块沿主轴方向在深度上的连续性以及所述至少一个区块与其邻近区块在深度上的对比度从假设棍状部件中确定棍状部件。

根据本发明的另一方面，提供一种用于从人体图像检测三维躯干部件的部件检测器，包括：二维躯干检测模块，用于从人体图像检测出人体的二维躯干区域；种子点选取模块，基于平滑度约束以及深度差异约束从所述二维躯干区域中选取用于生长出躯干的三维点云簇的种子点；三维点云簇生成模块，基于所述种子点生长出躯干的三维点云簇；以及三维躯干生成模块，用于基于所述三维点云簇中各个三维点的法线方向来估计躯干的法线方向，并对法线方向被确定的躯干进行椭圆柱形约束来生成包括肩部的三维躯干部件。

根据本发明的另一方面，提供一种用于估计人体姿势的方法，包括：获取拍摄的人体图像；从获取的人体图像中检测出人体的各个候选部件；以及将检测出的人体的各个候选部件组装的至少一个假设姿势中最符合预先定义的姿势类别之一的假设姿势确定为人体姿势。

根据本发明的另一方面，提供一种用于检测人体部件的方法，包括：按照不同方式分别针对人体图像中的人体部件进行检测；以及针对检测结果按照互补方式来产生所述人体部件的部件候选。

根据本发明的另一方面，提供一种用于从人体图像检测棍状部件的方法，包括：将假设棍状部件沿主轴方向延长至预定值；将延长后的假设棍状部件沿主轴方向划分为至少一个区块，并且将在与主轴方向垂直的方向上位于所述至少一个区块两侧并靠近所述至少一个区块的区块分别设置为所述至少一个区块的邻近区块；基于所述至少一个区块沿主轴方向在深度上的连续性以及所述至少一个区块与其邻近区块在深度上的对比度从假设棍状部件中确定棍状部件。

根据本发明的另一方面，提供一种用于从人体图像检测三维躯干部件的方法，包括：从人体图像检测出人体的二维躯干区域；基于平滑度约束以及深度差异约束从所述二维躯干区域中选取用于生长出躯干的三维点云簇的种子点；基于所述种子点生长出躯干的三维点云簇；以及基于所述三维点云簇中各个三维点的法线方向来估计躯干的法线方向，并对法线方向被确定的躯干进行椭圆柱形约束来生成包括肩部的三维躯干部件。

根据本发明的各个方面，能够基于姿势子空间来估计图像中人体姿势，从而提高估计的准确性，并降低处理的复杂性。此外，能够以互补方式利用不同种类的人体部件检测器的检测结果来加强人体部件候选效果。另外，可通过考虑深度连续性来有效检测人体躯干部件。此外，可通过考虑深度连续性和深度对比度来有效地检测棍状部件。并且，还能够有效利用邻域信息或借助骨架点的分析结果来有效检测部件。

附图说明

通过下面结合示出本发明示例性实施例的附图进行的描述，本发明的上述和其它目的和特点将会变得更加清楚，其中：

图1是示出根据本发明示例性实施例的用于估计人体姿势的设备的框图；

图2是示出根据本发明示例性实施例的棍状部件检测器的框图；

图3是示出根据本发明示例性实施例的棍状部件检测器执行棍状部件检测的示例；

图4来示出根据本发明示例性实施例的由棍状部件检测器执行棍状部件检测的方法的流程图；

图5是示出根据本发明示例性实施例的三维躯干部件检测器的框图；

图6是示出根据本发明示例性实施例的由三维躯干部件检测器执行三维躯干部件检测的方法的流程图；

图7是示出根据本发明示例性实施例的基于互补方式的人体部件检测设备的框图；

图8是示出根据本发明示例性实施例的由基于互补方式的部件检测设备执行人体部件检测的方法的流程图；

图9是示出由根据本发明示例性实施例的姿势确定单元的结构的框图；

图10是示出由根据本发明示例性实施例的姿势确定单元确定人体姿势的方法的流程图；

图11示出根据本发明示例性实施例估计出的人体姿势的示例；

图12是示出根据本发明示例性实施例的用于估计人体姿势的方法的流程图；以及

图13示出根据本发明示例性实施例的基于用户的人体姿势进行人机交互的装置的框图。

具体实施方式

现将详细描述本发明的示例性实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。

图1是示出根据本发明示例性实施例的用于估计人体姿势的设备的框图。参照图1，用于估计人体姿势的设备包括：图像获取单元10、部件检测器20和姿势确定单元30，其中，图像获取单元10用于获取拍摄的人体图像；部件检测器20用于从获取的人体图像中检测出人体的各个候选部件；姿势确定单元30用于将检测出的人体的各个候选部件组装的至少一个假设姿势中最符合预先定义的姿势类别之一的假设姿势确定为人体姿势。

具体说来，图像获取单元10可获取由深度相机（诸如基于飞行时间TOF的深度相机）拍摄的深度图像，还可附加地获取由彩色相机拍摄的彩色图像，或由黑白相机拍摄的亮度图像。实践中，可将由不同相机拍摄的图像分量组合为更多维的图像矢量，例如，深度相机拍摄的像素空间坐标（x,y,z）可与彩色相机拍摄的像素彩色分量（r，g，b）进行组合，以获取图像矢量（x，y，z，r，g，b）。此外，也可仅选取分量中的一部分来构成图像矢量。应注意：这里的图像获取单元10可包括执行拍摄的相应相机模块或其它图像拾取器。或者，也可将所述相机或其它图像拾取器设置在图像获取单元10之外，在这种情况下，图像获取单元10包括图像信号的传输接口即可。

作为优选方式，图像获取单元10还可对拍摄的人体图像执行预处理，具体说来，图像获取单元10可从拍摄的人体图像中提取前景部分，并在多用户的情况下，从提取的前景部分划分出每个用户的人体部分。除了以彩色分量为依据来分割前景部分和背景部分的传统方式之外，作为本发明的优选方式，图像获取单元10可基于人体图像的深度值（或深度值与其它位置坐标或图像分量的组合）从获取的人体图像提取前景部分，划分出前景部分的单个人体部分，并将划分出的单个人体部分输出到部件检测器。

当检测人体部件时，往往并不能够直接获得确切的结果，而是获得至少一个可能是相关部件的候选部件。因此，部件检测器20被用于从获取的图像中检测出人体的各个候选部件。这里，部件是指人体中易于检测的特征部分，例如，躯干（可包括肩部）、胳膊、腿部、头部等。此外，在这些部件中，可容易地检测出相应的关节部，例如，头部、手部、手腕、手肘、肩部、骨盆、膝盖、脚踝、脚部等，其中，头部、手部、手腕、手肘和肩部构成上半身的关节部。人体的姿势可由检测到的各个部件来体现，也可表示为所述各个部件的关节点。

具体说来，可根据待检测部件的特点按照不同的方式来构建部件检测器20。例如，基于机器学习的部件检测器、基于颜色特征的部件检测器、基于前景/背景划分的部件检测器、基于形状特征的部件检测器等。举例说来，对于刚性或近似刚性的部件而言，它们在彩色值或深度值方面具有固有的模式，因此，可采用基于样本的机器学习方法来构建相应的部件检测器20。在这种情况下，部件检测器20可包括用于训练样本的分类器以及用于通过扫描窗口来检测部件的检测器。例如，对于头部部件而言，可将其固有模式看作是具有椭圆形状，相应地，在机器学习过程中，具有椭圆形状的头部正样本和具有非椭圆形状的头部负样本被用来训练分配器。此外，基于颜色特征的部件检测器可针对皮肤颜色、手套颜色、袜子颜色等可明显区分出的颜色来检测相应的各个人体部件。基于前景/背景划分的部件检测器可用于根据前景/背景在颜色/深度方面的不同分布来提取出图像的前景部分，相应地检测出位于前景部分的人体部件。此外，基于形状特征的部件检测器可用于根据部件的形状（例如，棍状、圆形、矩形、椭圆形等）来检测出不同形状的人体部件。

尽管以上描述了几种典型的部件检测器，然而，应注意：根据本发明的部件检测器20并非受限于上述类别。以下，将描述本发明提出的能够更加有效地检测棍状部件的部件检测器以及能够更加有效地检测三维躯干部件的部件检测器。

图2是示出根据本发明示例性实施例的棍状部件检测器的框图。如图2所示，根据本发明示例性实施例的棍状部件检测器包括：棍状部件延长模块210，用于将假设棍状部件沿主轴方向延长至预定值；棍状部件划分模块211，用于将延长后的假设棍状部件沿主轴方向划分为至少一个区块，并且将在与主轴方向垂直的方向上位于所述至少一个区块两侧并靠近所述至少一个区块的区块分别设置为所述至少一个区块的邻近区块；棍状部件确定模块212，用于基于所述至少一个区块沿主轴方向在深度上的连续性以及所述至少一个区块与其邻近区块在深度上的对比度从假设棍状部件中确定棍状部件。

具体说来，上述棍状部件检测器适用于形状特征为棍状的人体部件，例如，四肢（包括胳膊和腿部）、躯干等，甚至也可以把头部看作是具有棍状形状的部件。根据本发明示例性实施例的棍状部件检测器在检测棍状部件时，考虑了棍状部件的深度值在沿主轴方向上具有连续性，而棍状部件与其两侧的邻近区域在深度值上存在明显对比，因此能够更加准确和有效地检测出人体的棍状部件。

图3是示出根据本发明示例性实施例的棍状部件检测器执行棍状部件检测的示例。

参照图3中的（a），棍状部件延长模块210接收到假设棍状部件，这里，假设棍状部件可以是由其它部件检测器预先检测到的四肢或头部部件。作为示例，图3中的（a）是预先检测到的胳膊（手臂）部件，在这种情况下，根据本发明示例性实施例的棍状部件检测器可对预先检测到的假设胳膊部件进行有效地修正，从而确定出更为准确的棍状部件。具体说来，棍状部件延长模块210可将接收到的假设棍状部件延长到预定值，以扩大检测范围。这里的预定值可以是根据实际经验设置的棍状部件长度最大值，也可以是根据应用需要而选取的棍状部件长度值等。

参照图3中的（b），以右臂为例，棍状部件划分模块211将延长后的假设棍状部件沿主轴方向（即，手臂方向）划分为至少一个区块（如图3的（b）中的大圆所示），并且将在与主轴方向垂直的方向上位于所述至少一个区块两侧并靠近所述至少一个区块的区块（如图3的（b）中的小圆所示）分别设置为所述至少一个区块的邻近区块。从图3的（b）可以看出，相邻大圆表示的区块之间在深度值上具有一定的连续性，而大圆表示的区块与其两侧的小圆表示的邻近区块在深度值上具有鲜明的差异。

在这种情况下，棍状部件确定单元212可基于上述特性来确定棍状部件，即，棍状部件确定模块212基于至少一个区块沿主轴方向在深度上的连续性以及所述至少一个区块与其邻近区块在深度上的对比度从假设棍状部件中确定棍状部件。

作为示例，棍状部件确定单元212可通过以下处理来确定棍状部件。具体说来，棍状部件确定模块212可将棍状部件确定为 $H_C=\arg \underset{x,y,w,h,\mathrm{\θ}}{\max }{P}_{\mathrm{hypo}}(x,y,w,h,\mathrm{\θ}),$ 其中，P_hypo（x,y,w,h,θ)为假设棍状部件，(x,y)为假设棍状部件的中心位置坐标，w为假设棍状部件的宽度,h为假设棍状部件的高度，θ为假设棍状部件的三维方向矢量，

其中，T_b-1,b为第b-1个区块与第b个区块之间的全局深度连续性转移概率，b=1,…,B,B为正整数，P_b为第b个区块与它的邻近区块之间的局部深度对比度概率， $T_{b-1,b}=e^{-|d_b-d_{b-1}+d\left(\mathrm{\θ}\right)|},$ $P_b=e^{-\left|\frac{1}{2d_b-d_b^r-d_b^l}\right|},$ 其中，d_b为第b个区块的平均深度，

和

为第b个区块两侧的邻近区块的平均深度，d(θ)为沿主轴方向划分的所述至少一个区块中相邻区块之间的平均深度增量。

然而，本领域技术人员应知晓：只要棍状部件确定模块212在确定棍状部件时考虑到了至少一个区块沿主轴方向在深度上的连续性以及所述至少一个区块与其邻近区块在深度上的对比度，即能够更为有效地检测出棍状部件，而不必受限于如何利用上述特性的具体方式。

如图3的（c）所示，由棍状部件确定模块212确定的棍状部件与假设部件相比更为准确，覆盖的范围也更广。

这里应注意：虽然上述示例中，假设棍状部件是由其它部件检测器预先检测到的四肢或头部部件，但本发明并非受限于此。实际上，根据本发明示例性实施例的棍状部件检测器完全可直接通过扫描图像来搜索出初始的假设棍状部件，而不需要借助于其它部件检测器预先检测到的初始假设部件。

以下参照图4来描述根据本发明示例性实施例的执行棍状部件检测的方法。

参照图4，在步骤S210，由棍状部件延长模块210将假设棍状部件沿主轴方向延长至预定值。作为示例，所述假设棍状部件为预先检测到的四肢或头部部件，或在人体图像中按照遍历方式选取的棍状部件。

然后，在步骤S211，由棍状部件划分模块211将延长后的假设棍状部件沿主轴方向划分为至少一个区块，并且将在与主轴方向垂直的方向上位于所述至少一个区块两侧并靠近所述至少一个区块的区块分别设置为所述至少一个区块的邻近区块。

然后，在步骤S212，由棍状部件确定模块212基于所述至少一个区块沿主轴方向在深度上的连续性以及所述至少一个区块与其邻近区块在深度上的对比度从假设棍状部件中确定棍状部件。作为示例，棍状部件确定模块212可将棍状部件确定为 $H_C=\arg \underset{x,y,w,h,\mathrm{\θ}}{\max }{P}_{\mathrm{hypo}}(x,y,w,h,\mathrm{\θ}),$ 其中，P_hypo（x,y,w,h,θ)为假设棍状部件，(x,y)为假设棍状部件的中心位置坐标，w为假设棍状部件的宽度,h为假设棍状部件的高度，θ为假设棍状部件的三维方向矢量，

其中，T_b-1,b为第b-1个区块与第b个区块之间的全局深度连续性转移概率，b=1,…,B,B为正整数，P_b为第b个区块与它的邻近区块之间的局部深度对比度概率， $T_{b-1,b}=e^{-|d_b-d_{b-1}+d\left(\mathrm{\θ}\right)|},$ $P_b=e^{-\left|\frac{1}{2d_b-d_b^r-d_b^l}\right|},$ 其中，d_b为第b个区块的平均深度，

和

为第b个区块两侧的邻近区块的平均深度，d(θ)为沿主轴方向划分的所述至少一个区块中相邻区块之间的平均深度增量。

在人体的各种姿势中，躯干部件携带的信息非常丰富，其有助于明确地表示出用户的意图。然而，由于躯干部件在比较复杂的姿势中常常与四肢部件存在相当程度的重叠或交叉，因此，躯干部件检测的准确性和强健性还有待于提高。为此，本发明提出一种能够有效地检测三维躯干部件的检测器。

图5是示出根据本发明示例性实施例的三维躯干部件检测器的框图。如图5所示，根据本发明示例性实施例的三维躯干部件检测器包括：二维躯干检测模块220，用于从人体图像检测出人体的二维躯干区域；种子点选取模块221，基于平滑度约束以及深度差异约束从所述二维躯干区域中选取用于生长出躯干的三维点云簇的种子点；三维点云簇生成模块222，基于由所述种子点生长出躯干的三维点云簇；以及三维躯干生成模块223，用于基于所述三维点云簇中各个三维点的法线方向来估计躯干的法线方向，并对法线方向被确定的躯干进行椭圆柱形约束来生成包括肩部的三维躯干部件。

具体说来，上述三维躯干部件检测器适用于基于深度图像来检测三维躯干部件。根据本发明示例性实施例的三维躯干部件检测器在检测躯干部件时，利用了二维躯干区域中选取的种子点，从而提高了三维点云簇生成的可靠性，这是因为，虽然二维躯干区域可能与其它关节部存在重叠，但是根据本发明示例性实施例的三维躯干部件检测器可通过有效地利用平滑度约束以及深度约束从二维躯干区域中选取良好的种子点。具体说来，除了考虑躯干部分的平滑度约束之外，根据本发明示例性实施例的三维躯干部件检测器还考虑躯干表面深度的平滑性来确定种子点，因此能够更加准确和有效地检测出人体的三维躯干部件。

以下将参照图6来描述根据本发明示例性实施例的执行三维躯干部件检测的方法。

在步骤S220，由二维躯干检测模块220从人体图像检测出人体的二维躯干区域。这里，可采用任何类型的二维躯干检测方式来构建二维躯干检测模块220。

然后，在步骤S221，由种子点选取模块221基于平滑度约束以及深度差异约束从所述二维躯干区域中选取用于生长出躯干的三维点云簇的种子点。

作为优选方式，种子点选取模块221可基于代价函数

从二维躯干区域中获取用于生长出躯干的三维点云簇的种子点，该种子点对应的代价函数值最小，其中，像素q位于二维躯干区域中像素p的邻域N(p)，深度差异代价E_data(P)表示像素p与二维躯干区域中的其它像素在三维空间的深度差异，平滑度约束代价E_smooth(p,q)表示像素p和像素q之间的平滑度。作为示例，可在任意像素点的邻近区域拟合出相应的表面，该表面的法线方向可作为所述任意像素点的法线方向，而平滑度可表示为不同表面的法向量之间的夹角。

应注意，尽管上述方式示出以像素为单位来确定种子点的方式，但本发明并非受限于此，还可将若干像素组成的面片作为确定种子点的单位。

接下来，在步骤S222，由三维点云簇生成模块222基于所述种子点生长出躯干的三维点云簇。作为示例，三维点云簇生成模块222可利用贪婪算法遍历搜索与所述种子点具有相似的拟合表面法线和相似的三维位置的三维点以组成三维点云簇。

接下来，在步骤S223，由三维躯干生成模块223基于所述三维点云簇中各个三维点的法线方向来估计躯干的法线方向，并对法线方向被确定的躯干进行椭圆柱形约束来生成包括肩部的三维躯干部件。作为示例，三维躯干生成模块223可利用三维点云簇中每个三维点的法线方向的直方图，将具有多数三维点的特定法线方向确定为三维躯干的方向。在此基础上，三维躯干生成模块223可基于椭圆柱形的三维模型来约束躯干部件的立体形状，从而生成包括肩部的三维躯干部件。

可以看出，根据本发明示例性实施例的三维躯干部件检测器在检测躯干部件时，不仅考虑了躯干的平滑度，而且附加了深度差异作为约束条件，因此，能够更为准确地检测出躯干部件。相应地，本领域技术人员应知晓：只要三维躯干部件检测器在检测躯干部件时考虑到了上述要素，即能够更为有效地检测出三维躯干部件，而不必受限于如何利用上述特性的具体方式。

以上示出了各种现有的部件检测器以及本发明提出的用于检测棍状部件和躯干部件的检测器。应理解：可独立地使用上述用于检测棍状部件的检测器或用于检测三维躯干部件的检测器，而不必受限于图1所示的用于估计人体姿势的设备或其它任何应用环境。

此外，本发明提供了一种可通过互补方式利用至少两种部件检测器来产生部件候选的方案。具体说来，部件检测器20可包括至少两种部件检测器候选部件产生单元，其中，所述至少两种部件检测器用于按照不同方式分别针对人体图像中的人体部件进行检测；所述候选部件产生单元用于针对所述至少两种部件检测器的检测结果按照互补方式来产生所述人体部件的部件候选。作为互补方式的示例，当所述至少两种部件检测器针对相同人体部件的检测结果相同时，候选部件产生单元增强所述检测结果，以作为所述相同人体部件的候选部件；当所述检测结果不同时，候选部件产生单元融合所述检测结果，以作为所述相同人体部件的候选部件；当所述至少两种部件检测器中只有一种部件检测器检测到所述相同人体部件时，候选部件产生单元将检测到的人体部件作为所述相同人体部件的候选部件。

应理解：根据本发明的互补方式并不需要受限于上述示例性实施例，本领域技术人员应清楚：任何能够以彼此增强、约束、校正或补充的方式处理至少两种不同部件检测器的检测结果，从而获取更为有效的部件候选的方式均可应用于本发明。另外，应注意：上述部件检测器20并非必然应用于图1所示的用于估计人体姿势的设备或其它任何应用环境，其本身完全可作为独立的用于检测人体部件的设备。

作为示例，假设用于检测人体部件的设备包括两种部件检测器：基于机器学习的部件检测器、基于人体分析的部件检测器。

以下将参照图7来描述根据本发明示例性实施例的基于互补方式的人体部件检测设备。

如图7所示的人体部件检测设备包括：基于机器学习的部件检测器230，用于基于机器学习方法检测人体图像中的人体部件；基于人体分析的部件检测器231，用于通过分析人体图像的信息检测人体图像中的人体部件；候选部件产生单元232，用于针对上述两种部件检测器的检测结果按照互补方式来产生所述人体部件的部件候选。

可以看出，图7所示的人体部件检测设备融合了基于机器学习的检测方式和基于信息分析的检测方式两者的优点，使得检测出的人体部件可靠性更高。

以下将参照图8来描述根据本发明示例性实施例的由基于互补方式的人体部件检测设备执行人体部件检测的方法。

在步骤S230，由基于机器学习的部件检测器230基于机器学习方法检测人体图像中的人体部件。如之前所述，基于机器学习的检测方式主要涉及训练数据的学习，并利用到固有模式的统计特性。除了现有的各种基于机器学习的部件检测器之外，本发明还特别提出一种可基于机器学习有效检测人体部件的方式。具体说来，基于机器学习的部件检测器230可识别人体图像中与人体部件相关的一组子图像，并基于每个子图像本身的基本视觉特征和该子图像的周围区域的扩展特征，为每个子图像的人体部件分配信任度，合并信任度高于门限值的子图像来基于机器学习方法检测人体部件。根据上述方式，部件之间的邻域信息（位于子图像的周围区域）被用于强化部件检测时特征的分类性能，因此，可取得更为有效的检测结果。

在步骤S231，由基于人体分析的部件检测器231通过分析人体图像的信息检测人体图像中的人体部件。如之前所述，基于人体分析的检测方式主要依据人体图像的局部颜色/形状/深度等信息将人体划分为不同含义的区域。除了现有的各种基于人体分析的部件检测器之外，本发明还特别提出一种可基于人体分析有效检测人体部件的方式。具体说来，基于人体分析的部件检测器231可对关于人体图像的能量函数最小化以从人体图像中检测出人体部件的骨架点，其中，所述能量函数表示对人体图像中各个像素作为骨架点或非骨架点的概率的对数的相反数求和。根据上述方式，可从深度图像中解析出表示人体的基本位置和形状的骨架点以及对应的人体部件，因此可进一步更精确地解析出人体的各个部件。

应注意：步骤S230和步骤S231可同时执行，或者，可首先执行步骤S231，而不必受限于图8所示的时序关系。

接下来，在步骤S232，由候选部件产生单元232针对步骤S230和步骤S231的检测结果按照互补方式来产生人体部件的部件候选。

作为示例，如果由基于机器学习的部件检测器230检测到的胳膊部件或腿部部件区域没有覆盖由基于人体分析的部件检测器231检测出的胳膊部件或腿部部件的骨架点，则候选部件产生单元232控制基于人体分析的部件检测器231在由基于机器学习的部件检测器230检测到的胳膊部件或腿部部件区域中重新检测胳膊部件或腿部部件的骨架点。在此之后，候选部件产生单元232可在由基于人体分析的部件检测器231重新检测的骨架点中划分出胳膊部件和腿部部件。此外，作为优选方式，候选部件产生单元232可基于直线分割对产生的部件候选（例如，胳膊部件候选或腿部部件候选）进行拟合，以获得更为精细的检测结果。

作为另一示例，当由基于机器学习的部件检测器230检测到的头部部件区域覆盖由基于人体分析的部件检测器231检测出的头部部件的骨架点时，候选部件产生单元232将由基于机器学习的部件检测器230检测到的头部部件作为头部部件的候选部件；当由基于机器学习的部件检测器230检测到的头部部件区域没有覆盖由基于人体分析的部件检测器231检测出的头部部件的骨架点时，候选部件产生单元232丢弃由基于机器学习的部件检测器230检测到的头部部件；当没有检测到覆盖由基于人体分析的部件检测器231检测出的头部部件的骨架点的头部部件，则候选部件产生单元232将基于人体分析的部件检测器231检测出的头部部件作为头部部件的候选部件。

以上示出了根据本发明示例性实施例的基于互补方式的部件检测设备及其检测方法，上述部件检测设备及其检测方法可独立使用，也可作为图1所示的部件检测器20。

在部件检测器20通过各种方式检测出人体的各个候选部件之后，根据本发明示例性实施例的姿势确定单元30可基于姿势子空间来估计图像中人体姿势。具体说来，现有技术中仅能够直接基于姿势样本来估计人体姿势，因此，一方面难以准确地估计出人体姿势，另一方面也因为姿势样本数量较多而增加了处理的复杂程度。为了解决上述问题，根据本发明示例性实施例的姿势确定单元30针对姿势子空间（即，预先定义的姿势类别）来确定人体姿势。其中，作为示例，所述预先定义的姿势类别可包括正面姿势和侧面姿势，其中，所述正面姿势包括正面胳膊交叉姿势、正面腿部交叉姿势或正面躯干靠近胳膊姿势，所述侧面姿势包括侧面胳膊交叉姿势、侧面腿部交叉姿势或侧面躯干靠近胳膊姿势。相应地，姿势确定单元30将检测出的各个部件的候选组装成所有可能的假设姿势，然后确定与预先定义的某个姿势类别最符合的假设姿势（例如，该假设姿势属于所述某个姿势类别的概率高于该假设姿势属于其它姿势类别的概率，也高于其它假设姿势属于任何姿势类别的概率），该确定的假设姿势即为估计出的人体姿势。

应理解：本发明的姿势确定单元30可采取任何方式来确定与预先定义的某个姿势类别最符合的假设姿势，使其作为估计出的人体姿势。在这一处理中，可考虑通过机器学习来建立不同姿势类别的模型，可采取多种方式来设置机器学习中使用的特定模式，此外，还可基于其它约束对机器学习的结果进行修正或补充。

作为示例，以下参照图9来描述根据根据本发明示例性实施例的姿势确定单元的结构。

如图9所示，根据本发明示例性实施例的姿势确定单元30包括：姿势分类模块310和姿势评估模块320。具体说来，姿势分类模块310用于将由人体的各个候选部件组装成至少一个假设姿势，并根据每个假设姿势的至少一个部件参数来确定每个假设姿势在所述预先定义的姿势类别之间的概率分布。作为示例，所述姿势分类模块310基于机器学习算法，根据每个假设姿势的部件参数来确定每个假设姿势在所述预先定义的姿势类别之间的概率分布。姿势评估模块320用于利用每个假设姿势的至少一个部件约束特征来评估每个假设姿势在所述预先定义的姿势类别之间的概率分布，然后将与评估后的所有假设姿势的概率分布中的最高概率值相应的假设姿势确定为人体姿势。

以下将参照图10来描述由根据本发明示例性实施例的姿势确定单元30确定人体姿势的方法。

在步骤S310，由姿势分类模块310将由人体的各个候选部件组装成至少一个假设姿势，并根据每个假设姿势的至少一个部件参数来确定每个假设姿势在所述预先定义的姿势类别之间的概率分布。

作为示例，可根据躯干的方向以及其它部件的相对位置来划分出不同的姿势类别，例如，可根据躯干的方向范围将姿势类别大体上划分为正面姿势和侧面姿势，在此基础上，可根据胳膊之间交叉的区域以及腿部之间交叉的区域、胳膊与躯干之间的距离以及腿部与躯干之间的距离确定以下姿势类别：正面胳膊交叉姿势、正面腿部交叉姿势、正面躯干靠近胳膊姿势、侧面胳膊交叉姿势、侧面腿部交叉姿势、侧面躯干靠近胳膊姿势。应注意，上述类别仅作为示例，并非用于限制本发明的范围。

具体说来，姿势分类模块310可基于机器学习算法，根据每个假设姿势的部件参数来确定每个假设姿势在所述预先定义的姿势类别之间的概率分布。这里所说的至少一个部件参数可包括以下项中的至少一个：躯干部件的方向、胳膊部件与躯干部件之间的距离、胳膊部件之间的交叉区域大小、腿部部件之间的交叉区域大小。

作为示例，姿势分类模块310可将人体的各个候选部件组装成M个假设姿势X_j，j=1,…,M，M为正整数，并且，姿势分类模块310根据假设姿势X_j的至少一个部件参数组成的矢量V来确定假设姿势X_j在预先定义的姿势类别C_i的概率P（C_i|X_j），i=1,…,N，N为正整数。

在姿势分类模块310根据每个假设姿势的至少一个部件参数确定该假设姿势在预先定义的姿势类别之间的概率分布之后，本发明可进一步利用评估函数对上述概率分布进行评估，以更加准确地确定假设姿势在各个姿势类别之间的概率分布。

具体说来，在步骤S320，由姿势评估模块320利用每个假设姿势的至少一个部件约束特征来评估每个假设姿势在所述预先定义的姿势类别之间的概率分布，然后将与评估后的所有假设姿势的概率分布中的最高概率值相应的假设姿势确定为人体姿势。

作为示例，所述至少一个部件约束特征包括以下项中的至少一个：胳膊部件的二维或三维长度、腿部部件的二维或三维长度、胳膊或腿部中深度沿轴向的连续性、胳膊或腿部中深度沿垂直于轴向的方向与周围区域的对比度、每个部件的前景覆盖率、每个部件的深度一致性、邻近部件之间的距离和角度。

作为示例，姿势评估模块320可通过将针对假设姿势X_j的评估函数F_i应用于假设姿势X_j在预先定义的姿势类别C_i的概率P（C_i|X_j），评估假设姿势X_j在预先定义的姿势类别C_i的概率P（C_i|X_j），以获得评估后的概率P'（C_i|X_j）=P（C_i|X_j）·F_i，然后将与所有P＇（C_i|X_j）中的最大值相应的假设姿势确定为人体姿势，其中，

f_k为假设姿势X_j的部件约束特征，k=1,…,K，K为正整数，w_i，k为部件约束特征f_k针对姿势类别C_i的权重，w_i，k的值根据实验来确定。

应注意，上述部件检测器20和姿势确定单元30的具体结构仅仅是示例性的，其本身不仅可通过计算机编程来执行相应的功能，也可利用可编程逻辑器件（诸如CPLD或FPGA）等来完成相应的操作。另外，还可利用通用的数字信号处理器（DSP）或专用的集成芯片来配置部件检测器20和姿势确定单元30。也就是说，随着信号处理技术的发展，本领域技术人员已经掌握了各种实现部件检测器20和姿势确定单元30的软件方式或硬件方式，在了解了部件检测器20和姿势确定单元30执行的操作流程之后，完全可构建相应的软件模块或硬件单元。

此外，作为优选方式，图1所示的用于估计人体姿势的设备还可包括附加的姿势输出单元40，用于基于确定的人体姿势来产生并输出表示所述人体姿势的信息，其中，所述信息包括以下项中的至少一个：人体姿势中各个部件的二维或三维位置、所述各个部件的运动速度、所述各个部件的运动方向、所述各个部件的尺寸。具体说来，由于人体姿势可由检测到的各个部件来体现，也可表示为所述各个部件的关节点（如图11示出的根据本发明示例性实施例估计出的人体姿势的示例），因此，姿势输出单元40可输出表示人体当前姿势或姿势变化的信息组成的数据流。

以下将结合图12来说明图1所示的用于估计人体姿势的设备执行人体姿势估计的操作。参照图12，在步骤S10，由图像获取单元10获取拍摄的人体图像。在步骤S20，由部件检测器20从获取的人体图像中检测出人体的各个候选部件。在步骤S30，由姿势确定单元30将检测出的人体的各个候选部件组装的至少一个假设姿势中最符合预先定义的姿势类别之一的假设姿势确定为人体姿势。关于各个步骤的细节，以上已经进行了详细的描述，因此不再赘述。

根据本发明的一示例性实施例，能够基于姿势子空间来估计图像中人体姿势，从而提高估计的准确性，并降低处理的复杂性。此外，根据本发明的另一示例性实施例，能够以互补方式利用不同种类的人体部件检测器的检测结果来加强人体部件候选效果。另外，根据本发明的另一示例性实施例，可通过考虑深度连续性来有效检测人体躯干部件。此外，根据本发明的另一示例性实施例，可通过考虑深度连续性和深度对比度来有效地检测棍状部件。并且，本发明还提出了能够有效利用邻域信息的基于机器学习的部件检测器以及能够借助骨架点的分析结果来有效检测部件的检测器。

根据本发明示例性实施例估计出的人体姿势方案可应用于各种不同的设计需要。作为示例，可将其应用于人机交互的装置，该装置可作为完整的电子装置（例如，机顶盒、智能电视、游戏机、立体电视、移动终端），还可集成为专门的人机交互控制芯片，从而嵌入相应的装置。

图13示出根据本发明示例性实施例的基于用户的人体姿势进行人机交互的装置的框图，所述装置包括：根据本发明示例性实施例的的人体姿势估计设备100，用于基于拍摄的人体图像，输出表示人体姿势的信息；用户指令确认单元200，用于基于所述表示人体姿势的信息确定用户的指令，并将所述用户的指令传送给控制单元300；控制单元300，用于基于用户的指令来控制相应操作的执行。作为示例，当图13所示的装置为人机交互控制芯片时，控制单元300控制的操作可以是将用户指令传送给其它设备的端口。当图13所示的装置为电子装置时，控制单元300控制的操作可以是根据用户指令进行的任何控制操作，如，开启电视、控制游戏等。

尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (22)

1.一种用于估计人体姿势的设备，包括：

图像获取单元，用于获取拍摄的人体图像；

部件检测器，用于从获取的人体图像中检测出人体的各个候选部件；以及

姿势确定单元，用于将检测出的人体的各个候选部件组装的至少一个假设姿势中最符合预先定义的姿势类别之一的假设姿势确定为人体姿势。

2.如权利要求1所述的设备，其中，所述预先定义的姿势类别包括正面姿势和侧面姿势，其中，所述正面姿势包括正面胳膊交叉姿势、正面腿部交叉姿势、正面躯干靠近胳膊姿势中的至少一个，所述侧面姿势包括侧面胳膊交叉姿势、侧面腿部交叉姿势、侧面躯干靠近胳膊姿势中的至少一个。

3.如权利要求2所述的设备，其中，所述姿势确定单元包括：

姿势分类模块，用于将由人体的各个候选部件组装成所述至少一个假设姿势，并根据每个假设姿势的至少一个部件参数来确定每个假设姿势在所述预先定义的姿势类别之间的概率分布；以及

姿势评估模块，用于利用每个假设姿势的至少一个部件约束特征来评估每个假设姿势在所述预先定义的姿势类别之间的概率分布，然后将与评估后的所有假设姿势的概率分布中的最高概率值相应的假设姿势确定为人体姿势。

4.如权利要求3所述的设备，其中，所述姿势分类模块基于机器学习算法，根据每个假设姿势的部件参数来确定每个假设姿势在所述预先定义的姿势类别之间的概率分布。

5.如权利要求4所述的设备，其中，所述至少一个部件参数包括以下项中的至少一个：躯干部件的方向、胳膊部件与躯干部件之间的距离、胳膊部件之间的交叉区域大小、腿部部件之间的交叉区域大小。

6.如权利要求5所述的设备，其中，所述至少一个部件约束特征包括以下项中的至少一个：胳膊部件的二维或三维长度、腿部部件的二维或三维长度、胳膊或腿部中深度沿轴向的连续性、胳膊或腿部中深度沿垂直于轴向的方向与周围区域的对比度、每个部件的前景覆盖率、每个部件的深度一致性、邻近部件之间的距离和角度。

7.如权利要求1所述的设备，其中，所述部件检测器包括：

至少两种部件检测器，用于按照不同方式分别针对人体图像中的人体部件进行检测；以及

候选部件产生单元，用于针对所述至少两种部件检测器的检测结果按照互补方式来产生所述人体部件的部件候选。

8.如权利要求7所述的设备，其中，当所述至少两种部件检测器针对相同人体部件的检测结果相同时，候选部件产生单元增强所述检测结果，以作为所述相同人体部件的候选部件；当所述检测结果不同时，候选部件产生单元融合所述检测结果，以作为所述相同人体部件的候选部件；当所述至少两种部件检测器中只有一种部件检测器检测到所述相同人体部件时，候选部件产生单元将检测到的人体部件作为所述相同人体部件的候选部件。

9.如权利要求7所述的设备，其中，所述至少两种部件检测器包括：

基于机器学习的部件检测器，用于基于机器学习方法检测人体图像中的人体部件；以及

基于人体分析的部件检测器，用于通过分析人体图像的信息检测人体图像中的人体部件。

10.如权利要求9所述的设备，其中，所述基于机器学习的部件检测器识别人体图像中与人体部件相关的一组子图像，并基于每个子图像本身的基本视觉特征和该子图像的周围区域的扩展特征，为每个子图像的人体部件分配信任度，合并信任度高于门限值的子图像来基于机器学习方法检测人体部件。

11.如权利要求10所述的设备，其中，基于人体分析的部件检测器对关于人体图像的能量函数最小化以从人体图像中检测出人体部件的骨架点，其中，所述能量函数表示对人体图像中各个像素作为骨架点或非骨架点的概率的对数的相反数求和。

12.如权利要求11所述的设备，其中，如果由基于机器学习的部件检测器检测到的胳膊部件或腿部部件区域没有覆盖由基于人体分析的部件检测器检测出的胳膊部件或腿部部件的骨架点，则候选部件产生单元控制基于人体分析的部件检测器在由基于机器学习的部件检测器检测到的胳膊部件或腿部部件区域中重新检测胳膊部件或腿部部件的骨架点。

13.如权利要求11所述的设备，其中，当由基于机器学习的部件检测器检测到的头部部件区域覆盖由基于人体分析的部件检测器检测出的头部部件的骨架点时，候选部件产生单元将由基于机器学习的部件检测器检测到的头部部件作为头部部件的候选部件；当由基于机器学习的部件检测器检测到的头部部件区域没有覆盖由基于人体分析的部件检测器检测出的头部部件的骨架点时，候选部件产生单元丢弃由基于机器学习的部件检测器检测到的头部部件；当没有检测到覆盖由基于人体分析的部件检测器检测出的头部部件的骨架点的头部部件时，候选部件产生单元将基于人体分析的部件检测器检测出的头部部件作为头部部件的候选部件。

14.如权利要求1所述的设备，其中，所述部件检测器包括棍状部件检测器，该棍状部件检测器包括：

棍状部件延长模块，用于将假设棍状部件沿主轴方向延长至预定值；

棍状部件划分模块，用于将延长后的假设棍状部件沿主轴方向划分为至少一个区块，并且将在与主轴方向垂直的方向上位于所述至少一个区块两侧并靠近所述至少一个区块的区块分别设置为所述至少一个区块的邻近区块；

棍状部件确定模块，用于基于所述至少一个区块沿主轴方向在深度上的连续性以及所述至少一个区块与其邻近区块在深度上的对比度从假设棍状部件中确定棍状部件。

15.如权利要求14所述的设备，其中，所述假设棍状部件为预先检测到的四肢或头部部件，或在人体图像中按照遍历方式选取的棍状部件。

16.如权利要求1所述的设备，其中，所述部件检测器包括三维躯干部件检测器，该三维躯干部件检测器包括：

二维躯干检测模块，用于从人体图像检测出人体的二维躯干区域；

种子点选取模块，基于平滑度约束以及深度差异约束从所述二维躯干区域中选取用于生长出躯干的三维点云簇的种子点；

三维点云簇生成模块，基于所述种子点生长出躯干的三维点云簇；以及

三维躯干生成模块，用于基于所述三维点云簇中各个三维点的法线方向来估计躯干的法线方向，并对法线方向被确定的躯干进行椭圆柱形约束来生成包括肩部的三维躯干部件。

17.如权利要求16所述的设备，其中，三维点云簇生成模块利用贪婪算法遍历搜索与所述种子点具有相似的拟合表面法线和相似的三维位置的三维点以组成三维点云簇。

18.如权利要求1到17中的任何一个所述的设备，还包括：

姿势输出单元，用于基于确定的人体姿势来产生并输出表示所述人体姿势的信息，其中，所述信息包括以下项中的至少一个：人体姿势中各个部件的二维或三维位置、所述各个部件的运动速度、所述各个部件的运动方向、所述各个部件的尺寸。

19.一种基于用户的人体姿势进行人机交互的装置，包括：

如权利要求18所述的用于估计人体姿势的设备，用于基于拍摄的人体图像，输出表示人体姿势的信息；

用户指令确认单元，用于基于所述表示人体姿势的信息确定用户的指令，并将所述用户的指令传送给控制单元；以及

控制单元，用于基于用户的指令来控制相应操作的执行。

20.一种用于检测人体部件的设备，包括：

至少两种部件检测器，用于按照不同方式分别针对人体图像中的人体部件进行检测；以及

候选部件产生单元，用于针对所述至少两种部件检测器的检测结果按照互补方式来产生所述人体部件的部件候选。

21.一种用于从人体图像检测棍状部件的部件检测器，包括：

棍状部件延长模块，用于将假设棍状部件沿主轴方向延长至预定值；

棍状部件划分模块，用于将延长后的假设棍状部件沿主轴方向划分为至少一个区块，并且将在与主轴方向垂直的方向上位于所述至少一个区块两侧并靠近所述至少一个区块的区块分别设置为所述至少一个区块的邻近区块；

棍状部件确定模块，用于基于所述至少一个区块沿主轴方向在深度上的连续性以及所述至少一个区块与其邻近区块在深度上的对比度从假设棍状部件中确定棍状部件。

22.一种用于从人体图像检测三维躯干部件的部件检测器，包括：

二维躯干检测模块，用于从人体图像检测出人体的二维躯干区域；

种子点选取模块，基于平滑度约束以及深度差异约束从所述二维躯干区域中选取用于生长出躯干的三维点云簇的种子点；

三维点云簇生成模块，基于所述种子点生长出躯干的三维点云簇；以及

三维躯干生成模块，用于基于所述三维点云簇中各个三维点的法线方向来估计躯干的法线方向，并对法线方向被确定的躯干进行椭圆柱形约束来生成包括肩部的三维躯干部件。

Images