CN104850219A - 估计附着物体的人体姿势的设备和方法 - Google Patents

Abstract

本发明公开了一种用于估计附着物体的人体姿势的设备和方法，所述设备包括：部件检测单元，从输入图像中检测人体前景区域中的人体部件的位置；附着物体检测单元，参考从输入图像中检测出的人体部件的位置中的可靠人体部件的位置来检测附着物体区域，其中，可靠人体部件表示人体中不容易发生大幅度位置变化的部件；检测优化单元，从人体前景区域去除附着物体检测单元检测到的附着物体区域以得到准确的人体部件区域；姿势推理单元，根据检测优化单元的检测结果得到输入图像的人体姿势。

Description

估计附着物体的人体姿势的设备和方法

技术领域

本申请涉及一种图像处理设备和方法，更具体地讲，涉及一种用于估计附着物体的人体姿势的设备和方法。

背景技术

随着计算机视觉技术的发展，人们可针对真实3D空间或虚拟3D空间中显示的对象进行交互操作。在进行这种交互操作时，需要对所述显示的对象进行自然的非接触式遥控。此时，人体本身（例如，头部、手部/手指/臂、躯干或整个身体）可用作进行控制的实体，从而通过身体部位在真实场景中的各种动作对显示的对象进行操作。在这种情况下，可利用深度相机拍摄现场图像或视频，基于深度图像数据估计出人体的姿势，借此分析出用户的意图，从而不需要借助于鼠标、键盘、操纵杆或触摸屏等也能够操纵在虚拟3D空间或真实3D空间中显示的对象。此外，在许多其它的应用场景下也需要识别人体的姿势。

现有研究的人体姿势估计方法大致可以分为以下两类：

1、基于样本匹配的方法

该方法先建立姿势数据库，然后把测试图像的人体和数据库中的样本进行匹配，从而估计出测试图像中的人体姿势。例如，公开号为US20100278384、标题为“Human body pose estimation”的美国专利申请即采用了这类方法。这类算法对数据库的依赖性很强，为了处理各种姿势，需要非常大的数据库，但是随着数据库的变大，检测的速度也会变慢。此外，对于数据库中没有出现过的姿势，很难准确估计。

2、基于姿势推理的方法

通常，这类方法先对图像中的每个像素或者像素区域进行分类，比如说分成头、胳膊、腿、躯干等等类别，也可以称为人体部件的检测。然后在分类或检测的基础上，结合人体模型、运动信息、人体先验知识等，推理出最终的人体姿势。这类方法通常先把人体区域从背景中分割出来，以避免场景变化对人体姿势的影响。在人体部件检测中，可以对图像的像素进行分类，也可以采用了其他特征检测人体部件，比如说骨架线、末端点等等。这类算法速度快，推广性和鲁棒性强。

然而，针对身体附有道具的情况，现有技术的人体姿势估计技术存在如下问题。首先，仅仅根据深度信息无法把道具和人体分割开来；其次，由于姿势和物体的多样性，没有有效特征可以把人体和道具分割出来；另外，根据人体模型或者人体姿势的先验知识，很难有效去除道具的影响。因此，需要一种在人体附着有物体、道具的情况下正确地估计人体姿势的方法和装置。

发明内容

根据本发明的一方面，提供了一种用于估计附着物体的人体姿势的设备，包括：部件检测单元，从输入图像中检测人体前景区域中的人体部件的位置；附着物体检测单元，参考从输入图像中检测出的人体部件的位置中的可靠人体部件的位置来检测附着物体区域，其中，可靠人体部件表示人体中不容易发生大幅度位置变化的部件；检测优化单元，从人体前景区域去除附着物体检测单元检测到的附着物体区域以得到准确的人体部件区域；姿势推理单元，根据检测优化单元的检测结果得到输入图像的人体姿势。

根据本发明的一方面，部件检测单元包括：人体前景提取单元，将输入图像中的人体前景区域从背景区域分离；人体部件检测单元，从人体前景提取单元提取的人体前景区域中检测人体部件的可能区域，并从人体部件的可能区域中得到人体部件的位置。

根据本发明的一方面，附着物体检测单元包括：可靠部件位置确定单元，确定人体部件的位置中的可靠人体部件的位置；测地距计算单元，以可靠人体部件的位置作为参考位置，计算人体前景区域中的人体前景像素到可靠人体部件的位置的测地距；附着物体种子点计算单元，根据人体前景像素的测地距和预设的附着物体的人体部件位置相对于可靠人体部件的测地距的阈值，从人体前景像素中确定附着物体种子区域；候选区域生成单元，基于附着物体种子区域进行区域生长，以得到附着物体的候选区域；附着物体区域识别单元，从附着物体的候选区域中识别最终的附着物体区域。

根据本发明的一方面，候选区域生成单元在保证相邻像素的深度连续性的情况下进行区域生长，其中，用于确定深度连续性的阈值根据应用场景和摄像机捕捉数据的精度而设定。

根据本发明的一方面，附着物体识别单元通过从附着物体的候选区域中去除噪声区域，对去除噪声区域后的候选区域执行区域合并，基于预定规则对合并后的候选区域进行评价来确定最终附着物体区域。

根据本发明的一方面，附着物体识别单元通过去除面积在预定范围之外的候选区域来去除噪声区域。

根据本发明的一方面，附着物体识别单元将由于物体遮挡或运动模糊而造成深度不连续的多个候选区域合并为同一个候选区域。

根据本发明的一方面，附着物体识别单元考虑候选区域的位置信息、深度信息、与周围像素的深度对比度信息和关于附着物体的先验知识中的至少一项来评价候选区域。

根据本发明的一方面，附着物体是手持物体，可靠人体部件是肩部。

根据本发明的另一方面，提供了一种用于估计附着物体的人体姿势的方法，包括：从输入图像中检测人体前景区域中的人体部件的位置；参考从输入图像中检测出的人体部件的位置中的可靠人体部件的位置来检测附着物体区域，其中，可靠人体部件表示人体中不容易发生大幅度位置变化的部件；从人体前景区域去除附着物体检测单元检测到的附着物体区域以得到准确的人体部件区域；根据检测优化单元的检测结果得到输入图像的人体姿势。

根据本发明的另一方面，从输入图像中检测人体部件的位置的步骤包括：将输入图像中的人体前景区域从背景区域分离；从提取的人体前景区域中检测人体部件的可能区域，并从人体部件的可能区域中得到人体部件的位置。

根据本发明的另一方面，检测附着物体区域的步骤包括：确定人体部件的位置中的可靠人体部件的位置；以可靠人体部件的位置作为参考位置，计算人体前景区域中的人体前景像素到可靠人体部件的位置的测地距；根据人体前景像素的测地距和附着物体的人体部件位置相对于预设的可靠人体部件的测地距的阈值，从人体前景像素中确定附着物体种子区域；基于附着物体种子区域进行区域生长，以得到附着物体的候选区域；从附着物体的候选区域中识别最终的附着物体区域。

根据本发明的另一方面，基于附着物体种子区域进行区域生长的步骤包括：在保证相邻像素的深度连续性的情况下进行区域生长，其中，用于确定深度连续性的阈值根据应用场景和摄像机捕捉数据的精度而设定。

根据本发明的另一方面，从附着物体的候选区域中识别最终的附着物体区域的步骤包括：从附着物体的候选区域中去除噪声区域；对去除噪声区域后的候选区域执行区域合并；基于预定规则对合并后的候选区域进行评价来确定最终附着物体区域。

根据本发明的另一方面，执行去除噪声区域包括：通过去除面积在预定范围之外的候选区域来去除噪声区域。

根据本发明的另一方面，执行区域合并包括：将由于物体遮挡或运动模糊而造成深度不连续的多个候选区域合并为同一个候选区域。

根据本发明的另一方面，基于预定规则对合并后的候选区域进行评价包括：考虑候选区域的位置信息、深度信息、与周围像素的深度对比度信息和关于附着物体的先验知识中的至少一项来评价候选区域。

根据本发明的另一方面，附着物体是手持物体，可靠人体部件是肩部。

根据本发明的另一方面，提供了一种人体姿势估计设备，包括：普通人体姿势估计模块，用于在普通人体姿势估计模式下估计人体姿势；附着物体人体姿势估计模块，用于在附着物体人体姿势估计模式下估计人体姿势；模式设置模块，根据输入图像的特性来自动将人体姿势估计设备设置为在普通人体姿势估计模式和附着物体人体姿势估计模式中的一个下操作，其中，模式设置模块检测输入图像中的人体前景区域的成对的末端点，计算成对的末端点相对其各自对应的可靠部件位置的测地距，并在成对的末端点相对其各自对应的可靠部件位置的测地距之差超过阈值时，确定采用附着物体人体姿势估计模式来估计输入图像中的人体姿势。

根据本发明的另一方面，附着物体人体姿势估计模块包括前述的用于估计附着物体的人体姿势的设备。

根据本发明的另一方面，所述阈值根据取决于输入图像的精度。

根据本发明的另一方面，模式设置模块在确定在连续多个帧的输入图像中所述成对的末端点相对其各自对应的可靠部件位置的两个测地距之差均超过所述预定阈值时，确定采用附着物体人体姿势估计模式来确定人体姿势。

根据本发明的另一方面，模式设置模块将获取的两个测地距中的较小值作为后续附着物体检测的阈值，其中，两个测地距中的较小值是所述连续多个帧的输入图像的较小测地距的均值，或者是所述连续多个帧中的输入图像的某一帧的较小测地距的值。

根据本发明的另一方面，模式设置模块还根据手动输入的设置来采用普通人体姿势估计模式和附着物体人体姿势估计模式中的一个估计人体姿势，并且模式设置单元根据用户输入来设置用于帮助人体姿势识别的参数。

根据本发明的另一方面，还提供了一种人体姿势估计方法，包括：检测输入图像中的人体前景区域的成对的末端点；计算成对的末端点相对其各自对应的可靠部件位置的测地距；确定成对的末端点相对其各自对应的可靠部件位置的测地距之差是否超过阈值；当超出阈值时，采用附着物体人体姿势估计模式来估计输入图像中的人体姿势，否则，采用普通人体姿势估计模式来估计输入图像中的人体姿势。

根据本发明的另一方面，采用附着物体人体姿势估计模式来估计输入图像中的人体姿势的步骤包括：采用前述的用于估计附着物体的人体姿势的方法来估计输入图像中的人体姿势。

附图说明

通过下面结合附图对本发明的示例性实施例进行的详细描述，本发明的上述和其他目的和特点将会变得更加清楚，其中：

图1是示出根据本发明示例性实施例的人体姿势估计系统的框图；

图2是示出根据本发明示例性实施例的用于估计附着物体的人体姿势的设备的框图；

图3是示出根据本发明的示例性实施例的附着物体检测单元的框图；

图4是示出根据本发明的示例性实施例的附着物体检测单元进行的区域合并的示意图；

图5是根据本发明的示例性实施例的用于估计附着物体的人体姿势的方法的流程图；

图6是示出根据本发明的示例性实施例的人体姿势估计装置的框图；

图7是用于说明根据本发明的示例性实施例的图6的人体姿势估计设备的模式切换的示意图；

图8是示出根据本发明的示例性实施例的在普通模式和附着物体模式之间进行切换的人体姿势估计方法的流程图。

图9是示出根据本发明的示例性实施例的采用普通模式和附着物体模式下的人体姿势估计结果比较的示意图。

具体实施方式

提供以下参照附图进行的描述以帮助全面理解由权利要求及其等同物限定的本发明的示例性实施例。所述描述包括各种特定细节以帮助理解，但这些细节被认为仅是示例性的。因此，本领域的普通技术人员将认识到：在不脱离本发明的范围和精神的情况下，可对这里描述的实施例进行各种改变和修改。在附图中，相同的附图标号将被理解为是指相同的部件。此外，为了清楚和简明，可省略已知功能和构造的描述。

图1是示出根据本发明示例性实施例的人体姿势估计系统100的框图。参照图1，所述系统100包括输入接口装置110、姿势估计装置120、显示接口装置130、网络接口装置140以及应用接口150。

输入接口装置110可从例如深度相机、彩色相机等接收输入图像（如深度图像、彩色图像等）。

姿势估计装置120可使用从输入接口装置110接收的图像来确定所述图像中的人体对象的姿势。特别地，与现有的人体姿势估计装置相比，根据本发明实施例的姿势估计装置120可包括用于估计附着物体的人体的姿势的设备。姿势估计装置120可实现为一种人体姿势估计芯片，并集成到诸如手机、3D电视的多种设备中。

姿势估计装置120可具有用于估计普通的人体姿势(即，不包括附着物体的人体姿势估计)的模式和用于估计附着物体的人体姿势的模式。在估计普通的人体姿势时，例如，姿势估计装置120可获取包括人体对象的深度图像，从获取的深度图像提取人体对象并检测人体的各个候选部位及特征，对所述深度图像进行最小能量骨架扫描确定多个骨架点并构建最小能量骨架扫描（MESS）骨架，并且通过各个候选部位的像素标记结果以及深度分布构建各候选部位的像素标记（PIXLA）骨架；通过融合最小能量骨架扫描的结果以及像素标记的结果来产生各个人体部位的部位假定；将所述部位假定组装成为至少一个姿势假定，根据姿势评价准则对各个姿势假定进行评价并确定人体姿势。当然以上仅是估计普通的人体姿势的模式的一个示例。

在估计附着物体的人体姿势的模式下，姿势估计装置120采用人体部件检测或者人体姿势估计的可靠结果作为参考，识别道具。例如，在人手持有物体的时候，物体很容易被误判为手或者胳膊，但是该物体不应影响肩膀或者头的估计。因此，基于此原理，可以通过检测到的肩膀或者头为参考信息，来定位附着物体区域。稍后将进行更详细的描述。

显示接口装置130可将来自输入接口装置110的输入图像、来自姿势估计装置120的人体姿势流数据、以及其他图像处理结果（可包括，但不限于，姿势/骨架数据、当前的运动速度、加速度、人体部位及骨架尺寸等）提供给显示器以进行显示。

网络接口装置140可通过局域网、互联网或无线网络发送从姿势估计装置120输出的数据，并且接收相关数据。

应用接口150可将从姿势估计装置120接收的姿势流数据提供给所连接的应用（例如，用于人机交互的应用），使得所述应用可基于接收的数据来识别用户意图，并且向用户提供相关反馈。例如，所述应用可通过对姿势估计装置120估计的多个图像中的人体对象的姿势的变化进行识别和分析，确定用户的运动情况，从而识别用户意图。

在本发明的实施例中，所述系统100可集成到嵌入式系统中，以提供自动的姿势估计功能。

图2是示出根据本发明示例性实施例的用于估计附着物体的人体姿势的设备200的框图。所述设备200可实现为图1中的姿势估计装置120或姿势估计装置120的一部分。

如图2所示，根据本发明的示例性实施例的用于估计深度图像中的重叠的人体对象的姿势的设备200包括：预处理单元210、人体前景提取单元220、人体部件检测单元230、附着物体检测单元240、检测优化单元250以及姿势推理单元260。

预处理单元210可以对采用不同的设备获取的输入图像的序列(例如，深度相机获取的深度图像序列)进行预处理，预处理包括噪声去除等操作。

人体前景提取单元220用于将输入图像中的人体前景区域从背景区域分离开来以提取人体图像，从而除去背景对人体姿势估计的影响。

人体部件检测单元230从人体前景提取单元220提取的人体前景区域中检测出不同的人体部件的可能区域，并从人体部件的可能区域中得到人体部件的位置。可采用像素分类、区域检测、其它特征提取等方法来检测人体部件。

人体前景提取单元220和人体部件检测单元230可合并为一个部件检测单元来用于从输入图像中的人体前景区域中检测出人体部件的位置。除了上述的方式，可采用任何已知技术或将来将被使用的人体部件检测技术来检测人体部件的位置。

附着物体检测单元240参考人体部件检测单元230检测出的人体部件位置中的可靠人体部件的位置，检测人体前景区域中的附着物体区域。这里，可靠人体部件是人体中不容易出现大幅度位置变化的部件，例如，肩部、头部、腰部等位置。例如，在检测手持物体时，可采用肩部或头部的位置作为可靠人体部件的位置。

检测优化单元250在去除附着物体检测单元240检测到的附着物体区域的影响之后，得到更为准确的人体部件区域。检测优化单元250可以检测所有的人体部件，也可以检测特定的部件，还可以仅简单地去除落在附着物体区域的错误检测结果。

姿势推理单元260根据检测优化单元250的检测结果来推理得到当前图像的人体姿势。具体地，姿势推理单元可根据结合人体模型以及其它先验知识等来从去除了附着物体区域的人体前景图像推理得到当前图像的人体姿势。

下面将参照图3来更详细地说明本发明的示例性实施例的附着物体检测单元240的处理过程。

如图3所示，根据本发明实施例的附着物体检测单元240包括：可靠部件位置确定单元241、测地距计算单元242、附着物体种子点计算单元243、候选区域生成单元244和附着物体区域识别单元245。

可靠部件位置确定单元241用于确定在人体图像中检测到的可靠部件的位置。例如，在检测手持物体的情况下，可采用肩部或头部位置作为参考位置。可根据现有技术的人体部件设别技术来确定人体的可靠部件的位置。

特别地，根据本发明，可靠部件位置确定单元241还可排除不能被用作参考位置的可靠部件的位置。例如，在有些姿势下，比如侧身等，某个肩膀会被遮挡。在这种情况下，被遮挡的肩膀将不被作为参考位置用于后续的测地距计算，因此，应当将该肩膀的位置排除。具体地，在确定正确的肩部位置时，可通过确定肩部位置是否在躯干之外来确定肩部位置是否正确。可从肩部的位置向身体位置扫描，如果扫描到了背景像素，则确定该肩部位置是不正确的。如果肩部位置没有在躯干之外，则计算肩部位置的图像深度和周围图像的深度对比度。这里，可沿着多个不同方向来计算肩部位置的图像深度和周围图像的深度对比度。如果计算的某个方向上的深度对比度大于预定值，则认为该肩部位置被遮挡，从而可以排除该肩部位置。

测地距计算单元242以可靠的部件作为参考位置，计算人体前景的每个前景像素到可靠部件的测地距。计算测地距的方法可参考文献“Fast exact andapproximate geodesics on meshes”,ACM Trans.Graphics(SIGGRAPH),24(3),2005。特别地，在使用肩膀作为可靠部件时，如果两个肩膀的位置都不可靠，则测地距计算单元242可使用头部的位置作为参考位置来计算前景像素的测地距。

附着物体种子点计算单元243根据人体前景像素的测地距和预设的附着物体的人体部件位置相对于可靠部件的测地距的阈值来确定附着物体种子区域。例如，在检测手持物体时，可以以手的典型测地距D_hand作为预设阈值，并将测地距大于该预设阈值的像素点作为附着物体的种子点。所有的附着物体种子点构成附着物体种子区域。

候选区域生成单元244基于附着物体种子区域进行区域生长，从而得到附着物体的候选区域。具体地，在区域生长的过程中，候选区域生成单元244在保证相邻像素深度的连续性的情况下进行区域生长。用于确定深度连续性的阈值可以根据具体的应用场景和摄像机捕捉数据的精度来设定，例如，可将阈值设置为5cm。通过区域生长可以得到若干个深度连续区域，这些区域即为附着物体的候选区域。

在获得附着物体的候选区域之后，附着物体区域识别单元245从附着物体的候选区域中识别出最终的附着物体区域。附着物体区域识别单元245通过去除噪声区域、执行区域合并和评价候选区域来确定最终附着物体区域。

附着物体区域识别单元245的去除噪声区域的处理可去除面积在预定范围之外的候选区域。也就是说，由于面积过大或者过小的候选区域不可能成为附着物体区域，因此，需要去除这些面积过大或过小的候选区域。

接下来，附着物体区域识别单元245通过分析候选区域的特性来基于预定规则对附着物体的候选区域进行合并。在实际应用中，附着物体可能由于遮挡或者其它原因被分成了多个区域。图4示出的是附着物体的候选区域的合并的示意图。例如，如图4所示，图4中的401和402所指示的手持物体由于头部的遮挡而被分为两个块。而图4中的403和404所指示的手持物体由于运动模糊或者其它原因而导致深度上不连续。为此，可以通过分析候选区域的特性来进行区域合并。

例如，对于图4中的401和402的候选区域由于头部遮挡而造成手持物体分为多块的示例，附着物体区域识别单元245首先判断两块候选区域401和402是否在图像空间上和同一块深度连续的区域相连。在图4中，即可确定候选区域401和402是否与头部区域相连。如果确定这两个候选区域401和402与同一深度区域相连，则附着物体区域识别单元245判断候选区域401和402在合并后在三维空间里的尺寸是否和手持物符合。然后，附着物体区域识别单元245通过判断两块候选区域401和402是否具有相似的主方向来决定是否需要合并两个候选区域401和402。

对于图4中的候选区域403和404所指示的运动模糊的情况，附着物体区域识别单元245首先判断候选区域403和404在图像空间上是否相邻。如果是，则判断前景区域的极值点（例如，最前、最左、最右点等）是否落在其中一块候选区域上。在图4的示例中，可以看出，前景区域的最左点落在候选区域403中。接下来，在排除候选区域403之后，附着物体区域识别单元245判断剩余前景区域的最左点是否落在候选区域404中。如果是，则认为这两个候选区域属于同一物体区域，附着物体区域识别单元245合并这两个候选区域。

接下来，附着物体区域识别单元245基于预定的规则对合并后的候选区域进行评分，并基于评分来选择最终的附着物体区域。评分的规则可包括考虑候选区域的位置信息、深度信息、与周围像素的深度对比度信息和关于附着物体的先验知识(例如，与物体的形状相关的知识，例如，球棒的形状)中的至少一项。

例如，如果某个候选区域包含前景区域中的极值点，则该区域将会得到较高的评分。如果候选区域覆盖头部区域或者在三维空间上和地板相连，则评分将会比较低。此外，如果某个候选区域的周围邻接的像素深度值都小于该候选区域的深度值，则该区域也会评分较低。另外，前一帧图像中的手持物的位置也会对评分造成影响。比如，前一帧判断手持物区域在头部区域附近，则当前帧的位于脚附近的候选区域将会得分较低。可以对以上的因素进行加权求和，最终得到候选区域的评分。在得到了所有候选区域的评分之后，附着物体区域识别单元245选择评分最高的区域输出作为附着物体区域。应理解，以上只是评分规则的示例，本发明不限于以上的评分规则。

图5示出的是根据本发明实施例的用于估计附着物体的人体姿势的方法的流程图。

首先，在步骤S501，确定在人体图像中检测到的可靠部件的位置。例如，在检测手持物体的情况下，可检测肩部的位置。特别地，当可靠部件中的一个(例如，左肩或右肩)被遮挡时，被遮挡的可靠部件将不被作为参考位置用于后续的测地距计算。

接下来，在步骤S503，以在步骤S501获得的可靠部件的位置作为参考位置，计算人体前景的每个前景像素到可靠部件的测地距。例如，在手持物体的情况下，可检测两个肩部的位置作为参考位置。特别地，如果两个肩膀的位置都不可靠，则可使用头部的位置作为参考位置来计算前景像素的测地距。

然后，在步骤S505，根据人体前景像素的测地距来确定附着物体种子点。具体地，以手的测地距D_hand作为阈值，并将测地距大于该阈值的像素点作为附着物体的种子点。所有的附着物体种子点构成附着物体种子区域。

接下来，在步骤S507，基于附着物体种子区域进行区域生长，从而得到附着物体的候选区域。具体地，在区域生长的过程中，在保证相邻像素深度的连续性的情况下进行区域生长，从而得到附着物体的候选区域。用于确定深度连续性的阈值可以根据具体的应用场景和摄像机捕捉数据的精度来设定。

在获得附着物体的候选区域之后，在步骤S509，从附着物体的候选区域中识别出最终的附着物体区域。具体地，识别最终的附着物体区域的操作可包括：去除噪声区域、执行区域合并、评价候选区域以及推断最终附着物体区。

下面将参照图6来说明根据本发明的示例性实施例的能够在普通人体估计模式和附着物体人体估计模式之间切换的人体姿势估计装置600。

如图6所示，人体姿势估计装置600包括普通人体姿势估计模块610、附着物体人体姿势估计模块620和模式设置模块630。

普通人体姿势估计模块610可用于在普通人体姿势估计模式下估计没有附着物体的人体姿势。附着物体人体姿势估计模块620用于在附着物体人体姿势估计模式下估计附着物体的人体姿势。这里，附着物体人体姿势估计模块620可包括前面参照图2和图3描述的用于估计附着物体的人体姿势的设备。普通人体姿势估计模块610可按照现有技术的方式来估计人体姿势。附着物体人体姿势估计模块620可采用如前面描述的根据本发明实施例的用于估计附着物体的人体姿势的设备的构造方式。

模式设置模块630根据用户的手动输入来在普通人体姿势估计模式和附着物体人体姿势估计模式之间进行切换，或者自动地在在普通人体姿势估计模式和附着物体人体姿势估计模式之间进行切换。

具体地，在手动切换人体姿势估计模式的情况下，可以在人体姿势估计装置600的初始化阶段由用户选择和输入用于人体姿势识别的模式，从而模式设置模块630可控制普通人体姿势估计模块610和附着物体人体姿势估计模块620中的一个来估计输入图像中的人体姿势。

特别地，根据优选的实施例，模式设置模块630还可在选择模式时进一步地设置特定的用于帮助人体姿势识别的参数。例如，可由用户选择或输入身高的情况。在选择好附着物体的人体姿势估计模式之后，如果确定用户身高高于预定参考值，则附着物体人体姿势估计模块620可选择与“高”相应的参数(诸如，较高的测地距阈值、手臂长度等)来用于人体姿势估计。

另外，模式设置模块630还可根据输入图像的特性来自动切换用于人体姿势识别的模式。将参照图7来进行模式设置模块630自动切换人体姿势识别的模式的过程。在图7中，假设初始模式为普通人体姿势估计模式，并且附着物体为手持物体。

首先，模式设置模块630确定人体前景图像区域的成对的末端点。例如，可检测左右手的末端点。特别地，当手持物体的时候，手的定位容易出错。为了保证左右手的末端点的可靠性，可以选择具有舒展的姿势的人体前景图像来进行判断。例如，包括图7中的(a)所示的姿势的图像可用作确定手的末端点的图像。在图7(a)中，可以看出，人体的两条胳膊分别位于人体的两侧。图7(b)示出的是提取的人体前景图像中识别出的肩膀位置。如图7(c)所示，当胳膊分别位于人的身体两侧的时候，人体前景区域中的左肩膀往左区域的末端点可作为左手的末端点，右肩膀往右的区域的末端点可作为右手的末端点。如果手中没有拿着其它物体，则这两个末端点即是左右手的各自的位置；若其中一只手中拿着物体，则成对的末端点中的一个末端点即为物体的某个点。

接下来，模式设置模块630可计算成对的两个末端点相对其各自对应的可靠位置(例如，两个肩膀的位置)的测地距，并通过比较两个末端点相对其各自对应的可靠部件位置的测地距之差来确定是采用普通人体姿势估计模式还是采用附着物体人体姿势估计模式。如图7(d)所示，可确定出

例如，当人的手中持有物体的时候，手所在区域的末端点会比手更远一些，测地距的值也会更大，因此，两个末端点的测地距的值就会存在一定的差别。当两者之差大于阈值D_th的时候，就认为手中持有物体，并进入附着物体人体姿势估计模式。否则，当两者之差小于阈值D_th的时候，则认为手中没有持有物体，并进入普通人体姿势估计模式。

这里，阈值D_th的选择可根据深度图像的具体情况而变化。具体地，阈值D_th取决于深度图像的精度。深度图像的精度越高，噪声越小，D_th可以越小，从而根据本发明的附着物体人体姿势检测方法能够检测到更为细小的物体。

为了增强系统的稳定性，通常对连续的多个帧进行测地距对比判断来确定采用哪一个人体姿势估计模式。例如，当连续5个图像帧中的人体均被确定为附着物体模式的时候，即，在连续5帧中都确定两个末端点的测地距之差均超过阈值D_th时，模式设置模块630确定将采用附着物体人体姿势估计模式来确定人体姿势。此时，模式设置模块630将获取的测地距中的较小值作为后续附着物体检测的阈值。测地距中的较小值可以是连续帧的较小测地距的均值，或者是连续帧中的某一帧的较小测地距的值。

在模式设置模块630设置好模式之后，普通人体姿势估计模块610和附着物体人体姿势估计模块620可按照设置的模式来对输入图像进行人体姿势估计，从而得到最终的人体姿势估计结果。

下面将参照图8来说明根据本发明实施例的在普通人体姿势估计模式和附着物体人体姿势估计模式之间进行切换的人体姿势估计方法。

首先，在步骤S801，在输入图像中确定人体前景图像中的成对的末端点。上面已经参照图7说明了确定人体前景图像中的成对末端点的过程，在此不再详细描述。

接下来，在步骤S803，计算成对的两个末端点相对其各自对应的可靠位置的测地距。

然后，在步骤S805，通过比较两个末端点相对其各自对应的可靠位置的测地距来确定采用的人体姿势估计模式。具体地，如果两个末端点的测地距之间的差值大于阈值D_th，则认为附着有物体，并进入附着物体人体姿势估计模式，参照前面所述的附着物体人体姿势估计方法进行估计。如果两个末端点的测地距之间的差值小于阈值D_th，则认为没有附着物体，并进入普通人体姿势估计模式，按照现有技术的人体姿势估计方法进行估计。

优选地，可对连续的多个帧的输入图像执行上述的操作S801～S803来确定采用的人体姿势估计模式。例如，当连续5个图像帧中的人体均被确定为附着物体模式的时候，即，在连续5帧中都确定成对的末端点的测地距之差均超过阈值D_th时，则在步骤S805确定采用附着物体模式来估计人体姿势。此时，还将获取的成对的末端点的测地距中的较小值作为后续附着物体检测的阈值。测地距中的较小值可以是连续帧的较小测地距的均值，或者是连续帧中的某一帧的较小测地距的值。

图9是示出根据本发明实施例的采用普通模式和附着物体模式的人体姿势估计结果的对比图。

在图9中，第一列和第二列的图9a和图9b分别示出输入图像及其深度图像，第三列的图9c示出从深度图像中提取的人体前景区域，第四列的图9d示出像素分类结果，第五列的图9e示出部件检测结果，第六列的图9f示出姿势推理结果。其中，第一行和第二行的图像示出了采用普通人体姿势估计模式对输入图像进行姿势估计的过程和结果，而第三行和第四行的图像示出了采用附着物体人体姿势估计模式对同样的两组图像分别进行姿势估计的结果。可以看出，采用普通人体姿势估计模式所得到的姿势推理结果中将手持的物体识别为人的手臂，而采用附着物体人体姿势估计模式所得到的结果排除了手持的物体的影响，得到了更为准确的人体姿势估计结果。

根据本发明实施例的人体姿势估计设备和方法能够更好地检测附着物体的人体姿势，并且可以在估计普通人体姿势的模式和估计附着物体的人体姿势的模式之间进行切换，从而提高了人体姿势识别的准确性。

根据本发明示例性实施例的设备和方法可应用于各种不同的设计需要。作为示例，可将其应用于人机交互的装置，该装置可作为完整的电子装置（例如，机顶盒、智能电视、游戏机、立体电视、移动终端），还可集成为专门的人机交互控制芯片，从而嵌入相应的装置。

本发明示例性实施例可实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储其后可由计算机系统读出的数据的任意数据存储装置。计算机可读记录介质的示例包括：只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光数据存储装置和载波(诸如经有线或无线传输路径通过互联网的数据传输)。计算机可读记录介质也可分布于连接网络的计算机系统，从而计算机可读代码以分布式存储和执行。此外，完成本发明的功能程序、代码和代码段可容易地被与本发明相关的领域的普通程序员在本发明的范围之内解释。

尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (26)

1.一种用于估计附着物体的人体姿势的设备，包括：

部件检测单元，从输入图像中检测人体前景区域中的人体部件的位置；

附着物体检测单元，参考从输入图像中检测出的人体部件的位置中的可靠人体部件的位置来检测附着物体区域，其中，可靠人体部件表示人体中不容易发生大幅度位置变化的部件；

检测优化单元，从人体前景区域去除附着物体检测单元检测到的附着物体区域以得到准确的人体部件区域；

姿势推理单元，根据检测优化单元的检测结果得到输入图像的人体姿势。

2.如权利要求1所述的设备，其中，部件检测单元包括：

人体前景提取单元，将输入图像中的人体前景区域从背景区域分离；

人体部件检测单元，从人体前景提取单元提取的人体前景区域中检测人体部件的可能区域，并从人体部件的可能区域中得到人体部件的位置。

3.如权利要求1所述的设备，其中，附着物体检测单元包括：

可靠部件位置确定单元，确定人体部件的位置中的可靠人体部件的位置；

测地距计算单元，以可靠人体部件的位置作为参考位置，计算人体前景区域中的人体前景像素到可靠人体部件的位置的测地距；

附着物体种子点计算单元，根据人体前景像素的测地距和预设的附着物体的人体部件位置相对于可靠人体部件的测地距的阈值，从人体前景像素中确定附着物体种子区域；

候选区域生成单元，基于附着物体种子区域进行区域生长，以得到附着物体的候选区域；

附着物体区域识别单元，从附着物体的候选区域中识别最终的附着物体区域。

4.如权利要求3所述的设备，其中，候选区域生成单元在保证相邻像素的深度连续性的情况下进行区域生长，其中，用于确定深度连续性的阈值根据应用场景和摄像机捕捉数据的精度而设定。

5.如权利要求4所述的设备，其中，附着物体识别单元通过从附着物体的候选区域中去除噪声区域，对去除噪声区域后的候选区域执行区域合并，基于预定规则对合并后的候选区域进行评价来确定最终附着物体区域。

6.如权利要求5所述的设备，其中，附着物体识别单元通过去除面积在预定范围之外的候选区域来去除噪声区域。

7.如权利要求5所述的设备，其中，附着物体识别单元将由于物体遮挡或运动模糊而造成深度不连续的多个候选区域合并为同一个候选区域。

8.如权利要求5所述的设备，其中，附着物体识别单元考虑候选区域的位置信息、深度信息、与周围像素的深度对比度信息和关于附着物体的先验知识中的至少一项来评价候选区域。

9.如权利要求1-9中任意一个所述的设备，其中，附着物体是手持物体，可靠人体部件是肩部。

10.一种用于估计附着物体的人体姿势的方法，包括：

从输入图像中检测人体前景区域中的人体部件的位置；

参考从输入图像中检测出的人体部件的位置中的可靠人体部件的位置来检测附着物体区域，其中，可靠人体部件表示人体中不容易发生大幅度位置变化的部件；

从人体前景区域去除附着物体检测单元检测到的附着物体区域以得到准确的人体部件区域；

根据检测优化单元的检测结果得到输入图像的人体姿势。

11.如权利要求10所述的方法，其中，从输入图像中检测人体部件的位置的步骤包括：

将输入图像中的人体前景区域从背景区域分离；

从提取的人体前景区域中检测人体部件的可能区域，并从人体部件的可能区域中得到人体部件的位置。

12.如权利要求10所述的方法，其中，检测附着物体区域的步骤包括：

确定人体部件的位置中的可靠人体部件的位置；

以可靠人体部件的位置作为参考位置，计算人体前景区域中的人体前景像素到可靠人体部件的位置的测地距；

根据人体前景像素的测地距和附着物体的人体部件位置相对于预设的可靠人体部件的测地距的阈值，从人体前景像素中确定附着物体种子区域；

基于附着物体种子区域进行区域生长，以得到附着物体的候选区域；

从附着物体的候选区域中识别最终的附着物体区域。

13.如权利要求12所述的方法，其中，基于附着物体种子区域进行区域生长的步骤包括：在保证相邻像素的深度连续性的情况下进行区域生长，其中，用于确定深度连续性的阈值根据应用场景和摄像机捕捉数据的精度而设定。

14.如权利要求13所述的方法，其中，从附着物体的候选区域中识别最终的附着物体区域的步骤包括：

从附着物体的候选区域中去除噪声区域；

对去除噪声区域后的候选区域执行区域合并；

基于预定规则对合并后的候选区域进行评价来确定最终附着物体区域。

15.如权利要求14所述的方法，其中，执行去除噪声区域包括：通过去除面积在预定范围之外的候选区域来去除噪声区域。

16.如权利要求14所述的方法，其中，执行区域合并包括：将由于物体遮挡或运动模糊而造成深度不连续的多个候选区域合并为同一个候选区域。

17.如权利要求14所述的方法，其中，基于预定规则对合并后的候选区域进行评价包括：考虑候选区域的位置信息、深度信息、与周围像素的深度对比度信息和关于附着物体的先验知识中的至少一项来评价候选区域。

18.如权利要求10-17中任意一个所述的方法，其中，附着物体是手持物体，可靠人体部件是肩部。

19.一种人体姿势估计设备，包括：

普通人体姿势估计模块，用于在普通人体姿势估计模式下估计人体姿势；

附着物体人体姿势估计模块，用于在附着物体人体姿势估计模式下估计人体姿势；

模式设置模块，根据输入图像的特性来自动将人体姿势估计设备设置为在普通人体姿势估计模式和附着物体人体姿势估计模式中的一个下操作，

其中，模式设置模块检测输入图像中的人体前景区域的成对的末端点，计算成对的末端点相对其各自对应的可靠部件位置的测地距，并在成对的末端点相对其各自对应的可靠部件位置的测地距之差超过阈值时，确定采用附着物体人体姿势估计模式来估计输入图像中的人体姿势。

20.如权利要求19所述的人体姿势估计设备，其中，附着物体人体姿势估计模块包括如权利要求1所述的用于估计附着物体的人体姿势的设备。

21.如权利要求19或20所述的人体姿势估计设备，其中，所述阈值根据取决于输入图像的精度。

22.如权利要求21所述的人体姿势估计设备，其中，模式设置模块在确定在连续多个帧的输入图像中所述成对的末端点相对其各自对应的可靠部件位置的两个测地距之差均超过所述预定阈值时，确定采用附着物体人体姿势估计模式来确定人体姿势。

23.如权利要求22所述的人体姿势估计设备，其中，模式设置模块将获取的两个测地距中的较小值作为后续附着物体检测的阈值，其中，两个测地距中的较小值是所述连续多个帧的输入图像的较小测地距的均值，或者是所述连续多个帧中的输入图像的某一帧的较小测地距的值。

24.如权利要求19或20所述的人体姿势估计设备，其中，模式设置模块还根据手动输入的设置来采用普通人体姿势估计模式和附着物体人体姿势估计模式中的一个估计人体姿势，并且模式设置单元根据用户输入来设置用于帮助人体姿势识别的参数。

25.一种人体姿势估计方法，包括：

检测输入图像中的人体前景区域的成对的末端点；

计算成对的末端点相对其各自对应的可靠部件位置的测地距；

确定成对的末端点相对其各自对应的可靠部件位置的测地距之差是否超过阈值；

当超出阈值时，采用附着物体人体姿势估计模式来估计输入图像中的人体姿势，否则，采用普通人体姿势估计模式来估计输入图像中的人体姿势。

26.如权利要求25所述的人体姿势估计方法，其中，采用附着物体人体姿势估计模式来估计输入图像中的人体姿势的步骤包括：

采用权利要求10所述的用于估计附着物体的人体姿势的方法来估计输入图像中的人体姿势。