CN102971768A - 姿势状态估计装置及姿势状态估计方法 - Google Patents

Abstract

公开了能够高精度地估计具有关节的物体的姿势状态的姿势状态估计装置。姿势状态估计装置(100)基于拍摄具有由关节连接的多个部位的物体所得到的图像数据进行物体的姿势状态的估计，其具有：部位候补提取单元(140)，其从图像数据提取部位的部位候补；补充部位候补提取单元(160)，其估计到未由部位候补提取单元(140)提取到部位候补的未提取部位的一部分被由部位候补提取单元(140)提取到部位候补的已提取部位遮挡，而从图像数据提取未提取部位的部位候补；以及姿势状态估计单元(170)，其基于提取到的部位候补进行物体的姿势状态的估计。

Description

姿势状态估计装置及姿势状态估计方法

技术领域

本发明涉及基于拍摄具有通过关节连接的多个部位的物体所得到的图像数据，进行该物体的姿势状态的估计的姿势状态估计装置及姿势状态估计方法。

背景技术

近年来，盛行有关基于拍摄到的动态图像的图像数据进行的人的姿势估计的研究。这是因为，如果能够通过计算机分析根据动态图像判定人的行动，则可以不依赖于人力来进行在各种领域所进行的行动分析。作为行动分析，可例举例如街头的异常行动探测、商店中的购买行动分析、工厂中的作业高效化辅助、及运动中的姿势指导。

因此，例如专利文献1中记载了基于由单眼相机拍摄到的图像数据来估计人的姿势状态的技术。专利文献1中记载的技术(以下称作“现有技术”)中，首先基于包含于拍摄图像的椭圆形状或平行线提取部位候补。其次，现有技术中，使用从多个采样图像统计求出的似然函数计算部位似然及部位关系似然。而且，现有技术中，基于这些似然计算最佳的部位候补的组合。通过使用这种现有技术，能够确定哪个部位位于哪个区域，能够不依赖于人的位置及朝向估计人的姿势状态。

专利文献

专利文献1：日本特开2005-165923号公报

非专利文献

非专利文献1：下坂正伦、佐藤真、森武俊、佐藤知正、“单眼画像からの形状特徵を用いた動作認識法”、全国大会演讲论文集第70次平成20年(5)、社团法人信息处理学会、2008年3月13日、p.5-93、p.5-94。

非专利文献2：P.Viola and M.Jones、″Rapid Object Detection Using aBoosted Cascade of Simple Features、″in Proc.of CVPR、vol.1、December、2001、ppp.511-518

发明内容

发明要解决的问题

但是，现有技术存在以下的问题：由于姿势状态不同，而不能高精度地对其进行估计。这是因为，在存在被其它部位遮挡的部位的情况下，图像上的形状不为椭圆形状、或不能获取两个边缘中的一方等，而无法提取该部位的部位候补。例如，假设使左侧朝前的人的右上臂被位于前侧的左上臂遮挡的情况。在这种情况下，现有技术中，无法提取右上臂的部位候补，其结果，例如无法区别右上臂被左上臂遮挡的姿势状态和右上臂被躯体遮挡的姿势状态。

另外，虽然认为现有技术也适用于机器人等具有通过关节连接的多个部位的各种人以外的物体，但在这种情况下也会产生同样的问题。

本发明的目的在于，提供能够高精度地估计具有关节的物体的姿势状态的姿势状态估计装置及姿势状态估计方法。

解决问题的方案

本发明的姿势状态估计装置，基于拍摄具有由关节连接的多个部位的物体所得到的图像数据进行所述物体的姿势状态的估计，具有：部位候补提取单元，其从所述图像数据提取所述部位的部位候补；补充部位候补提取单元，其估计到未由所述部位候补提取单元提取到所述部位候补的未提取部位的一部分被由所述部位候补提取单元提取到所述部位候补的已提取部位遮挡，而从所述图像数据提取所述未提取部位的部位候补；以及姿势状态估计单元，其基于提取到的所述部位候补进行所述物体的姿势状态的估计。

本发明的姿势状态估计方法，基于拍摄具有通过关节连接的多个部位的物体所得到的图像数据进行所述物体的姿势状态的估计，具有以下步骤：从所述图像数据提取所述部位的部位候补的步骤；估计到未由所述部位候补提取单元提取到所述部位候补的未提取部位的一部分被由所述部位候补提取单元提取到所述部位候补的已提取部位遮挡，而从所述图像数据提取所述未提取部位的部位候补的步骤；基于提取到的所述部位候补进行所述物体的姿势状态的估计的步骤。

发明效果

根据本发明，能够高精度地估计具有关节的物体的姿势状态。

附图说明

图1是表示一例本发明实施方式的姿势状态估计装置的结构的框图；

图2是用于说明本实施方式的图像数据的图；

图3是表示一例本实施方式的补充部位候补提取单元的结构的框图；

图4是表示一例本实施方式的姿势状态估计装置的动作的流程图；

图5是用于说明本实施方式的欧米茄形状(Ω形状)的图；

图6是用于说明本实施方式的从基准线到欧米茄形状的垂直距离的图；

图7是表示一例本实施方式的距离直方图的图；

图8是表示一例本实施方式的二值化后的距离直方图的图；

图9是用于说明表示本实施方式的基准部位的各种参数的图；

图10是表示一例本实施方式的基准部位对应表的内容的图；

图11是表示一例本实施方式的部位区域对应表的内容的图；

图12是表示一例本实施方式的部位区域数据的内容的图；

图13是表示一例本实施方式的估计似然图的图；

图14是表示一例本实施方式的对象图像的图；

图15是表示一例本实施方式的边缘的提取结果的图；

图16是表示一例本实施方式的部位候补的提取结果的图；

图17是表示一例本实施方式的部位候补补充处理的流程图；

图18是表示一例本实施方式的未提取部位的可动范围的图；

图19是表示本实施方式的露出区域的估计的第1例的图；

图20是表示本实施方式的露出区域的估计的第2例的图；

图21是表示本实施方式的露出区域的估计的第三例的图；

图22是表示一例本实施方式的整合后的露出区域的图；

图23是表示一例本实施方式的补充候补区域的图；

图24是表示一例本实施方式的二值化后的估计似然图的图。

标号说明

100姿势状态估计装置

110身体限制信息存储单元

120图像数据获取单元

130部位区域估计单元

140部位候补提取单元

150部位候补判断单元

160补充部位候补提取单元

161前景部位估计单元

162露出区域估计单元

163露出区域整合单元

164边缘提取区域决定单元

165边缘提取单元

166补充候补区域决定单元

167部位候补信息修正单元

170姿势状态估计单元

200单眼相机

300信息输出装置

具体实施方式

下面参照附图详细说明本发明的一实施方式。

在以下的说明中，“部位”是指人的身体中由关节分割开的部分的集合。

即，部位例如是头、肩、右上臂、右前臂、左上臂、左前臂、右膝上、右膝下、左膝上、及左膝下。另外，“部位区域”是指图像中某部位可占的区域、即部位的可动范围。

另外，“部位轴”是指部位的长度方向的假想的中心轴。具体而言，部位轴是指连结将部位与基准部位侧的另外的第1部位连接的第1关节和将部位与另外的第2部位连接的第2关节或部位的端部的线段。例如可以由第1关节的坐标信息、角度信息、部位长度这样的组定义部位轴，也可以由第1关节的坐标信息和第2关节或部位的端部的坐标信息定义部位轴。例如，右上臂的部位轴的位置、朝向、及长度与右上臂的骨头的中心轴的位置、朝向、及长度大致一致。

另外，“部位粗度”是指部位的部位轴周围的粗度。

另外，“部位候补”是指部位的位置的候补，是根据图像数据估计的部位的位置。

另外，“姿势状态”是指应关注的两个以上的部位的姿势(位置及/或角度)的组合的类别，例如是“右臂弯曲”、“直立状态”等。在此，“姿势”是指由二维坐标系或三维坐标系中的、连接部位的关节的位置、或相关各部位的长度及部位间的角度等信息所表示的姿势。因此，“姿势状态估计”是指通过估计这些信息来估计姿势状态。此外，可以利用以人的规定的身体部位为基准的相对值来表示上述的位置、长度及角度，也可以利用二维坐标系或三维坐标系中的绝对值表示上述的位置、长度及角度。

此外，在本实施方式中，以像素为单位进行说明，但姿势状态估计装置100也可以将与规定尺寸相当的多个像素集合分别看作是一个像素进行同样的处理。由此，姿势状态估计装置可以高速进行处理。在将多个像素看作是一个像素的情况下，可以将成为多个像素的重心的像素的值作为该多个像素的值使用，也可以将多个像素的值的平均值作为该多个像素的值使用。

图1是表示本发明实施方式的姿势状态估计装置的结构的框图。为便于说明，对姿势状态估计装置的外围设备也一并进行图示。

图1中，姿势状态估计装置100具有：身体限制信息存储单元110、图像数据获取单元120、部位区域估计单元130、部位候补提取单元140、部位候补判断单元150、补充部位候补提取单元160及姿势状态估计单元170。

身体限制信息存储单元110预先存储与人的体型及姿势有关的限制条件(以下称作“身体限制信息”)。身体限制信息是用于后述的部位区域的估计及部位候补的提取的信息。身体限制信息的具体内容根据部位区域的估计方法或部位候补的提取方法而不同，因此将后述。

图像数据获取单元120通过有线通信或无线通信获取利用设置在规定的三维坐标空间的单眼相机200拍摄的图像的图像数据，且输出到部位区域估计单元130。此外，在本实施方式中，单眼相机200为视频摄像机。图像数据获取单元120输入单眼相机200中连续地实时拍摄到的动态图像数据，将构成动态图像数据的各静态图像数据依次输出到部位区域估计单元130。在以下的说明中，设为图像数据包含只是一个人的图像进行说明，但不限于此，可以包含多人的图像，也可以未包含人的图像。

图2是用于说明图像数据的图。

如图2所示，例如设定以将单眼相机200的位置投影到地面而得到的位置为原点O的三维坐标系410。坐标系410例如以垂直方向为Y轴，以与Y轴及单眼相机200的光轴411正交的方向为X轴，以与X轴及Y轴正交的方向为Z轴。

例如利用Y轴和光轴411之间的角度θ表示单眼相机200的设置角度。而且，单眼相机200使焦点(focus)与包含于单眼相机200的视角

的范围的某平面412对准进行拍摄。将这样拍摄的图像的图像数据发送到姿势状态估计装置100。

图1的部位区域估计单元130基于从图像数据获取单元120输入的图像数据估计各部位的部位区域。具体而言，部位区域估计单元130根据图像数据估计人的基准部位的位置及朝向。“基准部位”是指在其它部位之前进行其位置及朝向的估计且其估计结果影响对其它部位的位置及朝向的估计的部位。在图像获取空间中，优选采用可稳定地得到影像的部位。而且，部位区域估计单元130以估计出的基准部位的位置及朝向为基准估计各部位的部位区域。

在本实施方式中，基准部位为人的头部及肩部。另外，将基准部位的朝向设为肩部的朝向，将肩部的朝向设为连结右肩部和左肩部的直线的方向。而且，部位区域估计单元130将图像数据和表示每个部位的部位区域的信息(以下称作“部位区域数据”)输出到部位候补提取单元140。在本实施方式中，如图2所示从上方获取图像。因此，通过将基准部位设为人的头部及肩部，能够最为稳定地进行估计。

部位候补提取单元140基于所输入的部位区域数据从所输入的图像数据提取各部位候补。而且，部位候补提取单元140将图像数据和表示提取到的部位候补的信息(以下称作“部位候补信息”)输出到部位候补判断单元150。此外，在本实施方式中，利用图像上的位置即图像的二维坐标系表示部位候补，将部位候补信息设为对各部位存在的似然度的分布进行表示的似然图。

即，在本实施方式中，部位候补提取单元140对于从部位区域估计单元130输入的部位区域数据所表示的部位区域以外的区域生成降低与该部位区域相对应的指定部位存在的似然度的似然图。下面，将基于图像数据生成的似然图称为“估计似然图”。

部位候补判断单元150判断应该用于姿势状态估计的部位中的哪一部位是已提取部位，哪一部位是未提取部位。在此，“已提取部位”是指由部位候补提取单元140提取到部位候补的部位。另外，“未提取部位”是指未由部位候补提取单元140提取到部位候补的部位。而且，部位候补判断单元150将表示已提取部位的已提取部位标识符和表示未提取部位的未提取部位标识符与图像数据及部位候补信息一同输出到补充部位候补提取单元160。

补充部位候补提取单元160估计到未提取部位的一部分被已提取部位遮挡，而从图像数据提取未提取部位的部位候补。而且，补充部位候补提取单元160将提取结果反映在部位候补信息(估计似然图)中而对部位候补信息进行补充，并将补充后的部位候补信息输出到姿势状态估计单元170。

图3是表示一例补充部位候补提取单元160的结构的框图。

如图3所示，补充部位候补提取单元160具有：前景部位估计单元161、露出区域估计单元162、露出区域整合单元163、边缘提取区域决定单元164、边缘提取单元165、补充候补区域决定单元166、及部位候补信息修正单元167。此外，补充部位候补提取单元160的各单元可以分别获取图像数据、部位候补信息、已提取部位标识符、未提取部位标识符、及身体限制信息。

前景部位估计单元161基于输入的已提取部位标识符及未提取部位标识符对每个未提取部位估计前景部位。在此，“前景部位”是指在画面上与未提取部位重叠且在其后面可隐藏未提取部位的一部分的已提取部位。具体而言，前景部位估计单元161估计各已提取部位的部位轴，将未提取部位的可动范围和该部位轴重叠的已提取部位确定为前景部位。而且，前景部位估计单元161将各已提取部位的部位轴输出到露出区域估计单元162，并且，将各前景部位与未提取部位的未提取部位标识符建立对应关系，输出到露出区域估计单元162。

露出区域估计单元162按每个未提取部位及每个前景部位估计其露出区域。在此，“露出区域”是指在未提取部位的一部分被前景部位遮挡的情况下，该未提取部位可露出的区域。具体而言，露出区域估计单元162根据前景部位的部位轴和该前景部位的部位粗度估计前景部位的边缘。另外，露出区域估计单元162根据前景部位的边缘和未提取部位的部位粗度估计未提取部位的边缘的范围，将该范围作为露出区域。而且，露出区域估计单元162将估计出的露出区域与未提取部位的未提取部位标识符及表示前景部位的前景部位标识符建立对应关系，输出到露出区域整合单元163。

露出区域整合单元163对每个未提取部位生成整合所有的前景部位的露出区域而成的露出区域。具体而言，露出区域整合单元163将从所有的前景部位的露出区域的总和(逻辑和)除去了所有的已提取部位的部位候补后的区域设为整合后的露出区域。而且，露出区域整合单元163将整合后的露出区域输出到边缘提取区域决定单元164。

边缘提取区域决定单元164对每个未提取部位，根据输入的露出区域和未提取部位的可动范围决定成为边缘提取的对象的边缘提取区域。具体而言，边缘提取区域决定单元164将未提取部位的露出区域和可动范围重叠的区域(逻辑积)设为边缘提取区域。而且，边缘提取区域决定单元164将所决定的边缘提取区域输出到边缘提取单元165。

边缘提取单元165对每个未提取部位，在边缘提取区域进行边缘的提取。具体而言，边缘提取单元165根据身体限制信息估计边缘的角度，从图像数据的边缘提取区域提取估计出的角度的直线成分。而且，边缘提取单元165从提取到的直线成分提取边缘，将提取到的边缘和表示未提取部位位于边缘的哪一侧的位置信息输出到补充候补区域决定单元166。

补充候补区域决定单元166对每个未提取部位，将基于输入的边缘及位置信息估计为未提取部位的一部分露出的区域决定为补充候补区域。具体而言，补充候补区域决定单元166计算以边缘为1边且在位置信息表示的一侧宽度为该未提取部位的部位粗度的矩形区域，作为补充候补区域。即，补充候补区域是未提取区域以其一部分被已提取部位遮挡的方式而存在的似然度高的区域。而且，补充候补区域决定单元166将所决定的补充候补区域与未提取部位的识别信息建立对应关系，输出到部位候补信息修正单元167。

部位候补信息修正单元167按每个未提取部位，修正部位候补信息(估计似然图)，以提高该未提取部位位于对应的补充候补区域的似然度。具体而言，部位候补信息修正单元167使从部位候补判断单元150输入的估计似然图中的补充候补区域的似然值增加。

图1的姿势状态估计单元170基于从部位候补提取单元140输入的部位候补信息进行包含于图像数据的人(以下称作“被摄体”)的姿势状态的估计。具体而言，姿势状态估计单元170按每个姿势状态预先保持有从处于该姿势状态的基准模型学习的似然图(以下称作“学习似然图”)。而且，姿势状态估计单元170在估计似然图和某一个的学习似然图的一致度高时，将与相符的学习似然图相对应的姿势状态估计为被摄体的姿势状态。而且，姿势状态估计单元170通过有线通信或无线通信对显示装置等信息输出装置300发送信息，对用户通知估计结果。此外，姿势状态估计单元170不仅估计姿势状态，而且一并估计被摄体的朝向(例如朝向右坐着还是朝向左坐着)。

姿势状态估计装置100是包含CPU(central processing unit，中央处理单元)及RAM(random access memory，随机存取存储器)等存储介质等的计算机。即，姿势状态估计装置100通过CPU执行所存储的控制程序而进行动作。

这样的姿势状态估计装置100可以在未提取部位的一部分被已提取部位遮挡的情况下，估计这种情况，并从图像数据提取该未提取部位的部位候补。因此，姿势状态估计装置100即使在图像上的形状不为椭圆形状的情况或不能获取两个边缘中的一方的情况下，也能够提取该部位的部位候补。由此，姿势状态估计装置100与现有技术相比可以高精度地估计姿势状态。

下面，说明姿势状态估计装置100的动作。

图4是表示一例姿势状态估计装置100的动作的流程图。

首先，在步骤S1100中，部位区域估计单元130借助于图像数据获取单元120从单眼相机200获取1张静态图像的量的图像数据。

然后，在步骤S1200中，部位区域估计单元130进行估计基准部位的位置及朝向的处理(以下称作“基准部位估计处理”)。

在此，说明基准部位估计处理的详细例。基准部位估计处理大体上由估计人的肩关节位置的第1处理和估计人的躯体的朝向的第2处理构成。

首先，说明估计人的肩关节位置的第1处理。

部位区域估计单元130从图像数据检测欧米茄形状，基于欧米茄形状估计肩关节位置。

图5是用于说明欧米茄形状的图。

欧米茄(Ω)形状是包含人的头部及肩部的区域的特征性边缘形状，是人的身体中在使用监视相机等的情况下稳定地拍摄到的概率最高的形状。另外，头部及肩部与人的躯体之间的相对位置的变化少。因此，部位区域估计单元130首先检测欧米茄形状并检测出人的头部及肩部的位置，以这些为基准估计其它部位的部位区域，由此高精度地估计部位区域。

例如可使用足够数量的采样图像且使用利用Real Ada Boost(实时自适应增强)等制作的检测器检测欧米茄形状。作为用于检测器的特征量，可使用例如HoG(histogram of gradient，梯度直方图)特征量、Sparse(稀疏)特征量、Haar(哈尔)特征量等。另外，作为学习方法，例如除Boosting(增强型)方法外，还可以利用SVM(支持向量机)、神经网络等。

部位区域估计单元130首先从图像数据的图像420检测欧米茄形状421。在此，设为，欧米茄区域422的像素中构成欧米茄形状421的像素(边缘部分的像素)为数字信号“1”，其它像素为数字信号“0”。而且，将包含欧米茄形状421的较小的矩形区域决定为欧米茄区域422。在此，将欧米茄区域422的下面的边称为基准线423。

部位区域估计单元130去除包含于欧米茄区域422的噪声。具体而言，部位区域估计单元130将欧米茄区域422的像素中存在于被欧米茄形状421包围的区域的数字信号“1”设为噪声，将其修正为数字信号“0”。例如可通过进行所谓的闭运算(closing)处理来进行该修正。闭运算处理是指以规定像素量或规定的比例将图像区域进行放大或缩小的处理。通过该修正，可以提高后述的距离直方图的精度。

而且，部位区域估计单元130对基准线423的各位置获取从基准线423到欧米茄形状421的垂直距离。

图6是用于说明从基准线423到欧米茄形状421的垂直距离的图。

如图6所示，部位区域估计单元130以基准线423的方向为X轴，以基准线423的垂直方向为Y轴进行处理。部位区域估计单元130例如将从基准线423的左端起的像素数作为X坐标值。而且，部位区域估计单元130获取从基准线423到构成欧米茄形状421的像素为止的Y轴方向的像素数、即到欧米茄形状421的垂直距离，作为垂直距离d(X)。构成欧米茄形状421的像素例如是数字信号“1”的像素中距基准线423最近的像素。

而且，部位区域估计单元130生成使n个(n为正的整数)垂直距离d(X)的数据与X坐标建立了对应关系的距离直方图。

图7是表示一例部位区域估计单元130基于图5所示的欧米茄区域422生成的距离直方图的图。

如图7所示，部位区域估计单元130在XY坐标系中以垂直距离d(X)为Y轴的值，生成表示垂直距离d(X)的分布的距离直方图430。距离直方图430成为如下的形状：以与肩部相对应的形状隆起，其中，在与头部的中心部相对应的范围突出。

而且，部位区域估计单元130应用规定的阈值Th对所生成的距离直方图430进行二值化处理。具体而言，部位区域估计单元130将垂直距离d(X)为阈值Th以上的X坐标处的Y坐标值置换为“1”，将垂直距离d(X)小于阈值Th的X坐标处的Y坐标值置换为“0”。将阈值Th设定为如下的值，即，在欧米茄区域422中以高的概率比肩部上端的垂直距离d(X)大且比头部上端的垂直距离d(X)小的值。此外，二值化处理不限于此，例如也可以为所谓的大津二值化(大津法)等其它方法。

图8是一例将图7所示的距离直方图430进行了二值化处理后的结果。

如图8所示，成为“1”的范围441表示头部的中央部分的图像区域(以下称作“头区域”)的X坐标的范围。另外，包含成为“1”的范围441的整体的范围442表示肩部的图像区域(以下称作“肩区域”)的X坐标的范围。因此，部位区域估计单元130提取图像数据的图像420中的欧米茄区域422的X轴方向范围作为肩区域的X轴方向范围，提取成为“1”的范围441的X轴方向范围作为头区域的X轴方向范围。

而且，部位区域估计单元130基于提取到的肩区域及头区域计算表示基准部位的位置及朝向的各种参数。

图9是用于说明表示基准部位的各种参数的图。

在此，如图9所示，部位区域估计单元130使用H(xh，yh)、RSE(x_rse)、RD(x_rd)、RS(x_rs，y_rs)、RSU(y_rsu)、及LS作为表示基准部位的位置的记号。此外，附于各记号的括弧中表示XY坐标系中的参数。H是头部的重心位置。RSE是右肩的端部的位置。RD是从头部的重心到右肩的端部为止的X轴方向的距离。RS是右肩的关节的位置(以下称作“右肩位置”)。RSU是右肩的顶部的位置。LS是左肩的关节的位置(以下称作“左肩位置”)。

部位区域估计单元130例如如下计算各参数的值。

首先，部位区域估计单元130从基于二值化处理的结果提取出的肩区域，基于人(的躯体)是否朝向单眼相机200侧来决定右肩区域。部位区域估计单元130基于头区域的颜色信息的肤色成分是否为规定的阈值以上来判断人是否朝向单眼相机200侧。在此，设为人朝向单眼相机200侧，面对图像看，左侧的肩区域被决定为右肩区域。

其次，部位区域估计单元130计算右肩区域的重心位置作为右肩位置RS(x_rs，y_rs)。另外，部位区域估计单元130也可以计算头部的重心位置H(xh，yh)，使用重心位置H(xh，yh)和基础的欧米茄形状421之间的Y轴方向的距离(以下称作“头部高度Δh”)计算右肩位置RS(x_rs，y_rs)。具体而言，部位区域估计单元130例如只要将相对于头部高度Δh成为预先决定的比的值设为从头部的重心位置H到右肩位置RS为止的X轴方向的距离(xh-x_rs)即可。另外，部位区域估计单元130例如也可以将从肩的高度降低头部高度Δh的一半的值Δh/2的位置设为右肩位置RS的Y坐标y_rs。

另外，部位区域估计单元130计算欧米茄形状421的边缘的倾斜(即距离直方图的变化率)越过阈值的点，作为右肩的端部的位置RSE(x_rse)。而且，部位区域估计单元130计算头部的重心位置H和右肩的端部的位置RSE之间的X轴方向的距离RD(x_rd)。

最后，部位区域估计单元130估计为右肩位置RS位于在X轴方向上距头部的重心位置H的距离为RD的80％的位置。即，部位区域估计单元130利用x_rs＝x_rse+0.2×RD计算右肩位置RS的X坐标x_rs。另外，部位区域估计单元130计算通过右肩位置RS且垂直的直线(与Y轴平行的直线)和欧米茄形状421的边缘的交点，作为右肩的顶部的位置RSU(y_rsu)。而且，部位区域估计单元130利用y_rs＝y_rsu-0.2×RD计算右肩位置RS的Y坐标y_rs。

另外，部位区域估计单元130也同样计算左肩位置LS。

此外，各参数的计算方法不限于上述例。例如存在肩宽(例如右肩位置RS和左肩位置LS之间的距离)等部位长度作为身体限制信息之一被存储于身体限制信息存储单元110的情况。在这种情况下，部位区域估计单元130也可以使用该身体限制信息计算各参数。

下面，说明估计人的躯体朝向的第2处理。

本实施方式中，设为，部位区域估计单元130参照作为身体限制信息之一而预先保持于身体限制信息存储单元110的基准部位对应表进行第2处理。

基准部位对应表是将头部的重心位置H、右肩位置RS和左肩位置LS的组合，与根据该组合所表示的位置估计的身体朝向建立对应关系而记述的表。即，基准部位表是记述各部位的相对位置关系的表。此外，以下将头部的重心位置H、右肩位置RS和左肩位置LS的组合称作“基准部位的位置”。另外，以下将根据基准部位的位置估计的身体朝向称作“基准部位的朝向”。如上所述，基准部位是表示人的头部及肩部的欧米茄形状的部分。因此，基准部位的朝向是指人的身体(躯体)的朝向。

部位区域估计单元130从基准部位对应表导出与根据图像数据计算出的基准部位的位置相对应的基准部位的朝向。

此外，优选，所保持的基准部位对应表中记述的基准部位的位置、以及部位区域估计单元130根据图像数据计算的基准部位的位置是不依赖于人的画面上的大小的归一化后的值。具体而言，部位区域估计单元130例如以头部的重心位置H为原点，使用以头部的重心位置H和右肩位置RS或左肩位置LS之间的长度成为1的方式归一化后的值导出基准部位的朝向。

另外，在基准部位对应表中也可以记述右肩位置RS及左肩位置LS。另外，在基准部位对应表中也可以记述由通过头部的重心位置H和右肩位置RS或左肩位置LS的线、和通过头部的重心位置H的垂直的直线(以下称作“头部垂直线”)所成的角。另外，在基准部位对应表中也可以记述将头部的重心位置H和右肩位置RS之间的距离设为1时的头部的重心位置H和左肩位置LS之间的距离。部位区域估计单元130通过计算与记述于基准部位对应表中的参数相对应的参数，导出基准部位的朝向。

图10是表示一例基准部位对应表的内容的图。

如图10所示，基准部位对应表450中，与标识符451相对应记述投影角度452、左肩位置LS的坐标453、头部的重心位置H的坐标454、及基准部位的朝向455。例如以右肩位置RS为原点，使用与画面的二维坐标系平行的规定的二维坐标系来表示各坐标。投影角度452例如是该规定的二维坐标系相对于图2中说明过的三维坐标系410的XZ平面的角度(即图2所示的设置角度θ)。另外，例如利用相对于图2中说明过的三维坐标系410的XYZ轴的每个轴的旋转角度表示基准部位的朝向455。此外，也可以使用将臂的部位长度或身长等其它长度设为1的坐标系来表示各坐标。

这样，部位区域估计单元130使用身体限制信息估计基准部位的位置及朝向。如上结束基准部位估计处理的说明。

接着，在图4的步骤S1300中，部位区域估计单元130进行基于估计出的基准部位的位置及朝向对每个部位估计部位区域的处理(以下称作“部位区域估计处理”)。

在此，说明部位区域估计处理的详细例。

本实施方式中，部位区域估计单元130参照作为身体限制信息之一而预先保持于身体限制信息存储单元110的部位区域对应表进行部位区域估计处理。

部位区域对应表是将基准部位的位置及朝向与其它部位的部位区域建立对应关系而记述的表。

部位区域估计单元130根据部位区域对应表导出与根据图像数据估计出的基准部位的位置及朝向相对应的部位区域。

例如利用图像数据的图像的像素位置定义部位区域。因此，部位区域估计单元130对图像数据的图像整体的所有像素，判断各像素是否是属于任一部位的部位区域的像素。

图11是表示一例部位区域对应表的内容的图。

如图11所示，部位区域对应表460中，与标识符461建立对应关系地记述投影角度462、头肩区域(基准部位)的位置463、头肩区域(基准部位)的朝向464、及各部位的区域465。

例如利用图像的二维坐标系的值表示各位置及区域。投影角度462例如是该规定的二维坐标系相对于图2中说明过的三维坐标系410的XZ平面的角度(即图2所示的设置角度θ)。头肩区域的位置463例如是右肩位置RS。例如利用相对于图2中说明过的三维坐标系410的XYZ轴的每个轴的旋转角度表示头肩区域的朝向464。例如利用将区域以圆近似的情况下的该圆的中心坐标和半径表示各部位的区域465。半径即是部位长度。

此外，在标识符461与基准部位对应表450的标识符451相同的情况下，也可以不必将头肩区域的朝向464记述于部位区域对应表460。

此外，在估计部位区域时，也可以使用其他种类的身体限制信息。另外，身体限制信息也可以取上述的结构以外的结构。

在此，说明可用于部位区域的估计的其它身体限制信息。

身体限制信息例如以规定部位的长度及关节的角度中至少一者为基准，限制与规定的部位连接的部位可存在的区域(即部位区域)。在这种情况下，身体限制信息例如包含某部位和其它部位之间的长度之比及关节的可动角度中的至少一者。例如，在将肩宽设为1时，身体限制信息规定上臂的长度为0.6。

例如，身体限制信息按每个部位包含部位长比、和对3个方向(X轴方向、Y轴方向、Z轴方向)记述以接近躯体之侧的关节为基点时的运动的自由度的信息。

另外，例如在右上臂的部位ID为“3”，右上臂的部位长相对于肩部的部位长之比为“0.8”的情况下，身体限制信息可以通过以下那样记述的文件或程序源规定右上臂的部位长。

Begin

部位ID：3

长度之比：0.8

End

另外，例如在右上臂的部位ID为“3”，右上臂的粗度相对于肩部的部位长之比为“0.2”的情况下，身体限制信息可以通过以下那样记述的文件或程序源规定右上臂的部位粗度。

Begin

部位ID：3

粗度之比：0.2

End

另外，例如设为右肩的关节ID为“100”，肩部的部位ID为“1”，右上臂的部位ID为“3”。另外，设为右上臂的可动方向关于X轴为(-60.0，90.0)，关于Y轴为(-90.0，90.0)，关于Z轴为(-90.0，90.0)。这种情况下，身体限制信息例如可以通过以下那样记述的文件或程序源规定右上臂相对于右肩的关节的自由度。

Begin

关节ID：100

部位ID：1

部位ID：3

可动方向：rx，ry，rz

角度：(-60.0，90.0)、(-90.0，90.0)、(-90.0，90.0)

End

此外，这些情况下，也可以将表示由关节ID和部位ID所示的关节和部位之间的连接关系的信息和表示各关节的可动方向及角度的信息记述在另外的文件中。

另外，也可以利用将各位置投影于二维坐标系所得的信息记述身体限制信息。在这种情况下，即使在三维中为唯一的位置信息，其值也会因投影角度而不同。另外，可动方向和角度为二维的值。因此，身体限制信息存储单元110在将这样的值作为身体限制信息保持的情况下，需要一并预先保持有关投影角度的信息。

以上结束有关用于部位区域的估计的其它身体限制信息的例的说明。

部位区域估计单元130在结束部位区域的估计时，将针对图像数据的图像整体的所有像素，按每个像素表示是否是部位的部位区域的信息作为部位区域数据输出到部位候补提取单元140。

部位区域数据例如可具有针对图像数据的所有像素位置(i、j)，将表示是否与任一部位的部位区域相符的像素信息Kij排列所得的构造。像素信息Kij的各要素例如在属于对应的部位的部位区域的情况下取“1”，在不属于的情况下取“0”。像素信息Kij例如象Kij＝[k1，k2]那样具有与部位数相同数量的维。在此，k1与右上臂的部位区域对应，k2与右前臂的部位区域对应。

例如，部位区域估计单元130在判定为某像素位置Kab包含于右上臂的部位区域但不包含于右前臂的部位区域的情况下，生成Kab＝[1，0]这样的像素信息。部位区域估计单元130生成这样生成的各像素的像素信息的集合，作为部位区域数据。

此外，基于部位区域数据的部位区域的表示方法不限于上述例。例如，部位区域数据可以按图像中预先设定的每个部分区域表示是与哪一部位的部位区域相符，也可以按每个部位表示部位区域的外缘的坐标。

此外，在将基准部位的位置归一化后的位置用于基准部位估计处理的情况下，优选在部位区域对应表中记述与归一化后的基准部位相对应的部位区域。另外，在部位区域数据中，与上述的基准部位对应表的情况相同，也可以记述右肩位置RS及左肩位置LS等其它信息。部位区域估计单元130通过计算与部位区域对应表中记述的参数相对应的参数，导出各部位的部位区域。

图12是一例表示部位区域数据的内容的图。在此，为简化说明，将处于直立状态的情况下的各部位的位置一并图示。

如图12所示，部位区域数据在图像数据的图像420中表示右上臂的部位区域471和右前臂的部位区域472。这些部位区域471、472如上所述是以先估计出的基准部位473的位置及朝向为基准估计出的。

这样，部位区域估计单元130使用身体限制信息估计各部位的部位区域。以上结束部位区域估计处理的说明。

接着，在图4的步骤S1400中，部位候补提取单元140按每个部位针对部位区域进行部位候补的提取，生成表示提取出的部位候补的部位候补信息。

在此，说明作为部位候补信息生成估计似然图的处理(以下称作“估计似然图生成处理”)的细节的第1例。

首先，部位候补提取单元140根据图像数据对各部位的部位区域内的每个像素判别适于表示该部位的位置及朝向的状态的图像特征量，计算对部位存在的似然度进行表示的似然值。而且，部位候补提取单元140使用根据图像数据计算出的似然值生成表示各像素的似然值的分布的估计似然图。似然值可以是如0～1的范围那样归一化后的值，也可以是包含正的整数和负数的实数。

作为从图像识别关注对象的方法，例如可采用如下的技术，即使用整合多个弱识别器而成的强识别器识别出脸部作为图像中的关注对象的技术。该技术中，将以矩形信息为基础的多个弱识别器的总和通过AdaBoost(自适应增强)进行整合，来制作强识别器，且将强识别器串联连接，识别图像中的关注对象。另外，作为图像特征量，例如可采用SIFT(scale-invariant featuretransform，尺度不变特征变换)特征量(例如参照非专利文献1及非专利文献2)。SIFT特征量由128维的向量构成，是按每个像素计算的值。由于SIFT特征量不受成为检测对象的物体的尺度变化、旋转、及平行移动的影响，所以特别对如臂那样可在各个方向旋转的部位的检测有效。即，SIFT特征量适合由两个以上的部位的相对的关节位置及角度定义姿势状态的本实施方式。

在将使用SIFT特征量的方法适用于本实施方式的情况下，按右上臂(k＝1)、右前臂(k＝2)等每个部位区域预先通过机器学习而生成强识别器Hk(k＝1，2)，并保持于部位候补提取单元140。通过AdaBoost算法生成识别器Hk。即，在生成强识别器Hk时，对于预先按每个部位准备的多个学习图像反复进行学习，直至能够以所希望的精度判定是否是右上臂、及是否是右前臂为止。而且，通过将多个弱识别器串联连接而生成强识别器Hk。

部位候补提取单元140在按每个部位及每个像素计算出图像特征量时，将该图像特征量输入到强识别器Hk。然后，部位候补提取单元140计算对构成该强识别器Hk的各弱识别器的输出，乘以按每个弱识别器预先得到的可靠度α所得的值的总和。然后，部位候补提取单元140从计算出的总和减去规定的阈值Th，计算每个部位及每个像素的似然值ck。在此，c1表示右上臂的似然值，c2表示右前臂的似然值。

部位候补提取单元140将整合各部位的似然值而成的每个像素的似然值Cij设为Cij＝[c1，c2]。而且，部位候补提取单元140将图像整体的所有像素的似然值Cij作为估计似然图输出到姿势状态估计单元170。

部位候补提取单元140也可以针对各像素判断该像素是否包含于任一部位区域，如果包含则使用该部位的识别器计算似然值，如果不包含则将该部位的似然值设为0。换言之，部位候补提取单元140也可以将由部位区域估计单元130输出的像素信息的行列式(Kij)和与部位区域无关地计算出的各像素的似然值的行列式(Cij)相乘所得的结果设为最终的估计似然图。

图13是表示一例估计似然图的图。在此，仅表示估计似然图中一个部位(例如右上臂)的似然值，越是似然值高的像素，越是标注浓的网格。如图13所示，估计似然图478表示部位存在的似然度的分布。

例如在将部位k的似然值表示为ck，并存在n个部位的情况下，似然图的每个像素的信息为似然向量Cij＝[c1，c2，...，ck，...，cn]这样的数据构造。

这样，部位候补提取单元140生成估计似然图。以上结束有关估计似然图生成处理的细节的第1例的说明。

接着，说明估计似然图生成处理的细节的第2例。

部位候补提取单元140例如如专利文献1所记载的技术那样，通过从包含于图像数据的边缘提取平行线，生成估计似然图。

在这种情况下，部位候补提取单元140例如参照作为身体限制信息之一预先保持于身体限制信息存储单元110的、将肩关节的长度和各部位的标准粗度的值建立对应关系而得到的对应表，进行平行线的提取。部位候补提取单元140一边使进行判定的方向旋转360度，一边在部位区域内检索以相当于该部位的标准粗度的距离隔开的平行线的组。而且，部位候补提取单元140在符合的平行线的组存在的情况下，重复进行对由这些平行线包围的区域的各像素进行投票的处理，基于最终的各像素的投票数生成估计似然图。

在是这种方法的情况下，估计似然图及学习似然图按每个像素及每个部位包含平行线的方向和投票数(以下称作“方向的似然值”)。例如，在将平行线的角度分类为8个的情况下，每个像素及每个部位的似然值成为与8方向相对应的8维的值。进而，例如在将平行线的宽度分类为2种的情况下，每个像素及每个部位的似然值成为2×8＝16维的值。此外，成为投票对象的平行线的距离和角度也可以按每个部位而不同。通过多次求平行线的宽度，并使用其中的似然值最高的宽度的似然值，能够减少体型或服装的不同带来的影响来求似然。

而且，部位候补提取单元140例如按每个部位将方向的似然值最高的方向判定为该部位的主要的边缘方向。此时，姿势状态估计单元170也可以按每个方向取所有像素的似然值的合计值，将其合计值最高的方向判定为方向的似然值最高的方向。

这样，部位候补提取单元140使用身体限制信息生成估计似然图。以上结束有关估计似然图生成处理的细节的第2例的说明。

接着，在步骤S1500中，部位候补判断单元150确定已提取部位和未检测部位。具体而言，部位候补判断单元150将满足了规定的条件的部位判断为已提取部位，将不满足规定的条件的部位判断为未提取部位。规定的条件例如在是估计似然图的情况下，是指值的平均值超过规定的阈值，或超过规定的阈值的像素的数量超过规定的阈值。

在以下的说明中，设为输入了图14所示那样的包含人的头部511、躯体512、左上臂513、及左前臂514和被左臂遮挡的右上臂515及右前臂516的对象图像510。另外，部位候补提取单元140如专利文献1所记载的技术那样，通过提取平行线，进行部位候补的提取。

在这种情况下，如图15所示，从右上臂515及右前臂516只能提取各一个边缘525、526。因此，如图16所示，对头部511、躯体512、左上臂513、及左前臂514，提取出部位候补531～534，但对于右上臂515及右前臂516，未提取出部位候补535、535。因此，部位候补判断单元150将头部511、躯体512、左上臂513、及左前臂514设为已提取部位，将右上臂515及右前臂516设为未提取部位。

然后，在步骤S1600中，补充部位候补提取单元160进行如下的处理，即进行未提取部位的部位候补的提取来补充部位候补信息的处理(以下称作“部位候补补充处理”)。

图17是一例表示部位候补补充处理的流程图。另外，图18～图23是表示通过部位候补补充处理补充了部位候补信息的状况的示意图。参照图17～图23进行有关部位候补补充处理的说明。

首先，在步骤S1601中，前景部位估计单元161估计各已提取部位的部位轴。具体而言，前景部位估计单元161例如在已提取部位的部位候补所表示的部位的外形可近似于椭圆的情况下，将该椭圆的长轴设为部位轴。另外，前景部位估计单元161也可以将该区域的各像素的似然值的平均值超过规定的阈值那样的区域近似成椭圆，将该椭圆的长轴设为部位轴。另外，前景部位估计单元161也可以在部位候补包含方向成分的情况下，采用在部位候补内最多的平行成分作为部位的轴方向，将轴方向的通过包含似然值为规定的阈值以上的像素的区域的重心的直线设为部位轴。

然后，在步骤S1602中，前景部位估计单元161选择一个未提取部位，获取该未提取部位的可动范围及部位粗度。例如可根据已提取部位的部位轴所表示的各关节位置和表示未提取部位相对于各关节的可动范围的身体限制信息估计未提取部位的可动范围。例如可从身体限制信息获取未提取部位的部位粗度。

然后，在步骤S1603中，前景部位估计单元161将其部位轴与所选择的未提取部位的可动范围重叠的已提取部位确定为前景部位。

在未提取部位中的右上臂被选择的情况下，如图18所示，在右上臂的可动范围545包含头部、躯体、及左上臂的部位轴541～543。因此，前景部位估计单元161将头部、躯体、及左上臂确定为前景部位。

此外，在部位候补信息为估计似然图的情况下，前景部位估计单元161也可以在未提取部位的可动范围内将超过规定的阈值的像素的数量达到规定的阈值以上的已提取部位确定为前景部位。在这种情况下，也可以构成为，不在前景部位估计单元161中进行部位轴的获取，而是在后级的露出区域估计单元162中进行部位轴的获取。

然后，在步骤S1604中，露出区域估计单元162选择一个前景部位，获取其部位粗度。例如可以从身体限制信息获取前景部位的部位粗度。

然后，在步骤S1605中，露出区域估计单元162根据已提取部位的部位轴及部位粗度估计所选择的已提取部位的边缘。具体而言，露出区域估计单元162例如如图19所示那样，将以距部位轴的距离为部位粗度的一半的2条线段为对边的矩形563设为已提取部位的边缘。

然后，在步骤S1606中，露出区域估计单元162根据已提取部位的边缘及未提取部位的部位粗度估计所选择的未提取部位针对所选择的已提取部位的露出区域。具体而言，露出区域估计单元162例如首先提取与已提取部位的部位轴543平行且为1.2倍的长度的两条线段，且是距已提取部位的边缘(距矩形563的距离)为未提取部位的部位粗度的两条线段。然后，如图19所示，露出区域估计单元162获取以提取到的两条线段为对边的矩形565，将该矩形565设为未提取部位的边缘的最大范围。而且，露出区域估计单元162将已提取部位的边缘即矩形563和未提取部位的边缘的最大范围即矩形565之间的区域设为所选择的未提取部位的露出区域573。

此外，露出区域估计单元162也可以将未提取部位的边缘的最大范围即矩形565设为已提取部位的部位粗度的1.2倍的粗度等、基于已提取部位的部位粗度和部位轴的长度来进行决定。在这种情况下，也可以是，不在前景部位估计单元161中获取未提取部位的部位粗度，而是在后级的补充候补区域决定单元166中获取未提取部位的部位粗度。

然后，在步骤S1607中，露出区域估计单元162判定是否存在尚未进行露出区域的估计处理的前景部位。露出区域估计单元162在存在未处理的前景部位的情况下(S1607：“是”)，返回到步骤S1604，选择下一前景部位。

通过反复进行步骤S1604～S1607的处理，如图19～图21所示那样，露出区域估计单元162与头部、躯体、及左上臂的部位轴541～543相对应地估计露出区域571～573。

然后，露出区域估计单元162在已不存在未处理的前景部位时(S1607：“否”)，进入步骤S1608。

在步骤S1608中，露出区域整合单元163求对所选择的未提取部位估计出的所有的露出区域的总和。

然后，在步骤S1609中，露出区域整合单元163将从露出区域的总和中除去了所有的已提取部位的部位候补后的区域设为整合后的露出区域。对于已提取部位的部位候补，可以如上述那样根据部位粗度求边缘，设为由所求出的边缘所包围的区域，也可以设为估计似然图的值为规定的阈值以上的区域。

在图19～图21所示的情况下，如图22所示，露出区域整合单元163获取从头部、躯体、及左上臂的露出区域571～573的总和除去了头部、躯体、左上臂、及左前臂的部位候补531～534后得到的区域。

然后，在步骤S1610中，边缘提取区域决定单元164将整合后的露出区域和所选择的未提取部位的可动范围545(参照图18)重叠的区域决定为边缘提取区域。

然后，在步骤S1611中，边缘提取单元165根据身体限制信息估计所选择的未提取部位的边缘的角度，对图像数据的边缘提取区域进行估计出的角度的直线成分的提取。在此，例如可以将边缘的角度设为以基准部位侧的关节为中心的每隔3度而设的角度。而且，边缘提取单元165从提取出的直线成分提取边缘，并且判断未提取部位位于边缘的哪一侧。可以基于与基础的露出区域相对应的已提取部位位于边缘的哪一侧来判断未提取部位位于边缘的哪一侧。

在图15所示的例中选择了右上臂的情况下，边缘提取单元165提取右上臂的上侧的边缘525，判断为右上臂位于边缘525的下侧。

然后，在步骤S1612中，补充候补区域决定单元166判断是否提取到所选择的未提取部位的边缘。补充候补区域决定单元166在提取到边缘的情况下(S1612：“是”)，进入步骤S1613。另外，补充候补区域决定单元166在未提取到边缘的情况下(S1612：“否”)，进入后述的步骤S1615。

在步骤S1613中，补充候补区域决定单元166以提取到的边缘为基准，在所选择的未提取部位所在的一侧设定长度为所选择的未提取部位的部位轴的长度且宽度为部位粗度的矩形区域。而且，补充候补区域决定单元166将该矩形区域决定为补充候补区域。

在图15所示的例中选择了右上臂的情况下，如图23所示，补充候补区域决定单元166将以右上臂的上侧的边缘525为上侧的长边、以右上臂的部位粗度为宽度的矩形区域决定为补充候补区域583。此外，补充候补区域不限于矩形，可以设为以未提取部位的边缘和相对于边缘而存在的一侧为基准的椭圆等其他的形状。

然后，在步骤S1614中，部位候补信息修正单元167修正部位候补信息，以使所选择的未提取部位位于决定了的补充候补区域的似然度提高。

在此，部位候补信息修正单元167使估计似然图中的补充候补区域的值增加，对补充候补区域进行加权。即，部位候补信息修正单元167修正估计似然图，以便在补充候补区域中容易提取出未提取部位。

然后，在步骤S1615中，前景部位估计单元161判断是否存在尚未进行部位候补信息的修正处理的未提取部位。在存在未处理的未提取部位的情况下(S1615：“是”)，前景部位估计单元161返回到步骤S1602，选择下一未提取部位。另外，在不存在未处理的未提取部位的情况下(S1615：“否”)，前景部位估计单元161返回到图4的处理。

通过反复进行步骤S1601～S1615的处理，补充部位候补提取单元160可以提取右上臂及右前臂的部位候补，补充部位候补信息。

接着，在图4的步骤S1700中，姿势状态估计单元170基于适宜地进行了补充的部位候补信息来判断被摄体的姿势状态是否与作为判定对象而预先设定的姿势状态的任一个相符。

姿势状态估计单元170基于估计似然图是否与任一学习似然图一致来进行该判断。在这种情况下，姿势状态估计单元170进行一致度判定处理，该一致度判定处理是例如基于学习似然图和估计似然图的一致度是否为规定的水平以上来判断学习似然图和估计似然图是否一致的处理。

在此，说明一致度判定处理的详细例。首先，说明与采用上述的估计似然图生成处理的第1例的情况相对应的一致度判定处理的细节的第1例。

姿势状态估计单元170首先使用规定的阈值分别将估计似然图及各学习似然图二值化。具体而言，姿势状态估计单元170在每个像素及每个部位的似然值为规定的阈值以上的情况下将其似然值变换为数字信号“0”，在小于规定的阈值的情况下变换为数字信号“1”。

图24是表示将图13所示的估计似然图二值化后的状态的一例的图。在此，数字信号“1”的像素由灰色表示，数字信号“0”的像素由白色表示。如图24所示，二值化后的估计似然图479表示部位存在的似然度高的部分的分布。

而且，姿势状态估计单元170按每个学习似然图，在估计似然图和学习似然图之间，取对每个像素及每个部位二值化后的似然值的积，将关于所有像素及所有部位的值的和设为评价值。具体而言，姿势状态估计单元170将估计似然图和学习似然图以规定的位置关系重叠，按每个像素将二值化后的似然值信息相乘，求关于所有的像素及部位的相乘所得的值的和。

姿势状态估计单元170通过移动及旋转使估计似然图和学习似然图之间重合的位置关系逐渐错位，对各位置关系进行上述的运算处理。而且，姿势状态估计单元170获取所求出的评价值中的最大值，作为表示与学习似然图之间的一致度的最终评价值。而且，姿势状态估计单元170在该评价值为规定的阈值以上的学习似然图存在时，判断为该学习似然图和估计似然图一致。预先通过学习等将阈值设定为适当的值。

此外，姿势状态估计单元170也可以不必将估计似然图及学习似然图二值化。在这种情况下，姿势状态估计单元170可以更高精度地判定学习似然图和估计似然图的一致度。另外，在进行了二值化的情况下，姿势状态估计单元170能够高速进行一致度的判定。

这样，姿势状态估计单元170判定估计似然图和学习似然图的一致度。以上结束有关一致度判定处理的第1例的说明。

接着，说明与采用上述的估计似然图生成处理的第2例的情况相对应的一致度判定处理的细节的第2例。

姿势状态估计单元170以按每个部位使得各自的主要的边缘方向一致的方式使估计似然图和学习似然图重合，来计算一致度。以后的处理与上述的第1例相同。

这样，考虑边缘的方向的方法由于能够对估计似然图和学习似然图之间的重合位置关系施加限制，所以能够减轻处理负荷。

此外，姿势状态估计单元170在计算估计似然图和学习似然图的一致度时，也可以仅使用边缘方向的信息。在这种情况下，例如姿势状态估计单元170将在多个指定部位间各指定部位的边缘方向所成的角的一致度设为表示估计似然图和学习似然图之间的一致度的评价值。而且，姿势状态估计单元170在评价值在规定的范围内时，判定为被摄体的姿势处于与相应的学习似然图对应的姿势状态。边缘方向与部位轴的方向相对应。因此，这种姿势状态估计相当于根据图像数据估计各部位轴的方向及各关节的角度，评价估计出的部位轴方向及关节角度与各姿势状态下的基准模型之间的一致度。

这样，仅使用边缘方向判定一致度的方法由于可以不需要一边使图像旋转一边反复计算多个评价值的处理，所以能够进一步降低处理负荷。以上结束有关一致度判定处理的第2例的说明。

姿势状态估计单元170在估计似然图与任一学习似然图一致的情况下(S1700：“是”)，进入步骤S1800。另外，姿势状态估计单元170在学习似然图和估计似然图不一致的情况下(S1700：“否”)，进入步骤S1900。

在步骤S1800中，姿势状态估计单元170将对应于与估计似然图一致的学习似然图的姿势状态经由信息输出装置300通知给用户，并进入步骤S1900。

在步骤S1900中，部位区域估计单元130判断是否通过用户操作等而存在处理结束的指示。在没有处理结束的指示的情况下(S1900：“否”)，部位区域估计单元130返回到步骤S1100，且移至对下一静态图像的处理。另外，在存在处理结束的指示的情况下(S1900：“是”)，部位区域估计单元130结束一连串的处理。

通过这样的动作，姿势状态估计装置100可以在提取部位的一部分被已提取部位遮挡的情况下，估计出该情况，并从图像数据提取该未提取部位的部位候补。

如上所述，本实施方式的姿势状态估计装置100在未提取部位的一部分被已提取部位遮挡的情况下，估计出该情况，并从图像数据提取该未提取部位的部位候补。因此，姿势状态估计装置100例如可以在使左侧朝前的人的右上臂的一部分被位于前侧的左上臂遮挡的情况下，提取右上臂的部位候补。而且，姿势状态估计装置100可以使用右上臂的部位候补进行姿势状态的估计。即，与现有技术相比，姿势状态估计装置100能够更高精度地估计人等具有关节的物体的姿势状态。

另外，姿势状态估计装置100由于使用表示每个部位的似然分布的似然图，所以例如即使在图像上右臂收敛于躯体的外形中的情况下，也能够判定是否处于“右臂弯曲”这样的姿势状态。

另外，姿势状态估计装置100由于估计指定部位的可动区域即部位区域，且对部位区域以外的区域降低似然值，所以能够提高似然图的精度。

此外，姿势状态估计装置100也可以仅对具体指定的某姿势状态进行估计，将是否与指定的姿势状态符合作为估计结果输出。

另外，用于物体检测的图像数据也可以是由立体相机或多个相机拍摄的图像的数据。在使用立体相机的图像数据的情况下，姿势状态估计装置100也可以使用由单侧相机拍摄的图像数据和根据立体相机的设置参数得到的被摄体的位置信息。另外，在使用多个相机的图像数据的情况下，姿势状态估计装置100也可以使用由这些相机中的一台相机拍摄的图像数据和根据各相机的设置参数得到的被摄体的位置信息。

另外，在基准部位的位置及朝向已知的情况或被指定的情况下，部位区域估计单元130也可以不进行上述的基准部位估计处理。另外，例如在人步行的方向确定了，基准部位的朝向大致固定的情况下，部位区域估计单元130也可以预先保持身体的朝向信息。

另外，部位区域估计单元130进行的部位区域的估计的方法不限于上述的例。例如，部位区域估计单元130也可以从图像数据提取图像的边缘部分(以下简称为“边缘”)，基于由边缘包围的区域的Y坐标的值的范围估计各部位区域。具体而言，例如部位区域估计单元130以在由边缘包围的区域内将从Y坐标的值最高的位置到20％的区域称为头部的部位区域的方式进行估计。同样，例如部位区域估计单元130以将15％～65％的区域称为躯体的部位区域、将55％～85％的区域称为膝上的部位区域、将75％～100％的区域称为膝下的部位区域的方式进行估计。在这种情况下，与各区域的百分比对应的值成为身体限制信息。

另外，部位区域估计单元130也可以通过在基础的动态图像数据中的图像间取背景差分来提取动体，且将包含提取到的区域的区域整体作为各部位的部位区域的候补。由此，能够实现估计部位区域时的处理的高速化。

另外，姿势状态估计装置100也可以按距基准部位从近到远的顺序一个一个地估计部位的位置，通过重复基于估计出的位置估计下一部位的部位区域的处理，估计各关注部位的部位区域。

另外，姿势状态估计装置100也可以不必进行部位区域估计。在这种情况下，部位候补提取单元140对图像的所有区域均一地进行似然值的计算。

另外，有时将与成为学习似然图的基础的图像的光轴方向相关的信息与该学习似然图建立了对应关系。在这种情况下，姿势状态估计单元170也可以将与单眼相机200的设置角度θ相对应的学习似然图设为比较对象。

另外，姿势状态估计装置100在可通过无线标签等识别被摄体的情况下也可以按每个被摄体保持身体限制信息，进行姿势状态估计。

另外，姿势状态估计装置100也可以如专利文献1所记载的技术那样使用表示部位候补的区域，作为部位候补信息。在这种情况下，补充部位候补提取单元160例如在提取到的补充部位候补的图上使与所决定的补充区域583(参照图23)相同尺寸的矩形移动。而且，补充部位候补提取单元160提取该矩形内包含的像素的似然值的总和最大时的位置(例如矩形的三个顶点的坐标)。由此，也可以将本发明适用于专利文献1所记载的姿势状态估计方法。

另外，姿势状态估计单元170进行的姿势状态估计的方法不限于上述例。例如，姿势状态估计单元170也可以使用有关人的基准模型的信息(以下称作“基准模型信息”)进行姿势状态的估计。基准模型信息例如包含从某视点观察某姿势状态时的每个图像上的状态(以下称作“图像姿势状态”)的表示各关节的图像上的关节角度及位置的信息(例如各部位的图像上的部位长及可动范围)。换言之，基准模型信息为有关基准模型的体格及姿势的限制条件。

作为使用基准模型信息的姿势状态估计的方法之一例，例举例如使用被摄体的关节位置的方法。在这种情况下，将基准模型信息例如设为按每个姿势状态表示从相机视点观察关节位置等时的关节位置等的信息。而且，姿势状态估计单元170例如通过从基准模型信息检索被摄体和关节位置最一致的姿势状态来进行姿势状态的估计。

2011年1月24日提出的日本专利申请特愿2011-11860中包含的说明书、附图及摘要的公开内容全部引用于本申请。

工业实用性

本发明作为可高精度地估计具有关节的物体的姿势状态的姿势状态估计装置及姿势状态估计方法是有用的。

权利要求书(按照条约第19条的修改)

1.姿势状态估计装置，基于具有多个部位的物体的图像数据估计所述物体的姿势状态，具有：

部位候补提取单元，其从所述图像数据提取所述部位的候补即第1部位候补；

补充部位候补提取单元，其基于所述第1部位候补和与所述物体的部位有关的限制信息决定补充候补区域，且从所述补充候补区域的范围内的图像数据提取第2部位候补；以及

估计单元，其基于所述第1部位候补及所述第2部位候补估计所述物体的姿势状态。

2.如权利要求1所述的姿势状态估计装置，

所述限制信息是至少基于所述物体的部位长度决定的信息。

3.如权利要求2所述的姿势状态估计装置，

基于所述部位长度决定的信息是所述多个部位之间的长度比。

4.如权利要求1所述的姿势状态估计装置，

所述补充候补区域是估计为所述未提取部位的一部分露出的区域。

5.如权利要求1所述的姿势状态估计装置，

所述补充部位候补提取单元基于所述第1部位候补求部位轴及部位粗度，且基于所述部位轴、所述粗度和所述限制信息求边缘，基于所述边缘和所述第1部位候补之间的位置关系决定所述补充候补区域。

6.如权利要求5所述的姿势状态估计装置，

所述补充部位候补提取单元基于所述部位轴、所述粗度和基于所述第1部位候补求出的所述第2部位候补的可动范围决定边缘提取区域，且基于所述边缘提取区域和所述限制信息求所述边缘。

7.如权利要求6所述的姿势状态估计装置，

所述补充部位候补提取单元基于所述限制信息估计所述未提取部位的边缘的角度，且从所述边缘提取区域提取估计出的所述角度的直线成分，从所述直线成分提取边缘。

8.如权利要求1所述的姿势状态估计装置，

在存在多个所述已提取部位时，所述补充部位候补提取单元从所述补充候补区域除去所有的所述已提取部位的所述部位候补。

9.如权利要求1所述的姿势状态估计装置，

所述姿势状态估计单元基于根据所述图像数据估计的与各部位轴的方向相对应的信息进行所述物体的姿势状态的估计。

10.如权利要求1所述的姿势状态估计装置，

所述物体是人。

11.如权利要求1所述的姿势状态估计装置，

所述限制信息是基于所述物体的部位的长度和相邻的部位之间的角度决定的信息。

12.如权利要求1所述的姿势状态估计装置，

所述限制信息是基于所述物体的部位的长度和所述物体的部位的粗度决定的信息。

13.姿势状态估计方法，基于具有多个部位的物体的图像数据估计所述物体的姿势状态，包括以下步骤：

部位候补提取单元从所述图像数据提取所述部位的候补即第1部位候补；

补充部位候补提取单元基于所述第1部位候补和与所述物体的部位有关的限制信息决定补充候补区域，从所述补充候补区域的范围内的图像数据提取第2部位候补；以及

估计单元基于所述第1部位候补及所述第2部位候补估计所述物体的姿势状态。

Claims (10)

1.姿势状态估计装置，基于拍摄具有由关节连接的多个部位的物体所得到的图像数据进行所述物体的姿势状态的估计，具有：

部位候补提取单元，其从所述图像数据提取所述部位的部位候补；

补充部位候补提取单元，其估计到未由所述部位候补提取单元提取到所述部位候补的未提取部位的一部分被由所述部位候补提取单元提取到所述部位候补的已提取部位遮挡，而从所述图像数据提取所述未提取部位的部位候补；以及

姿势状态估计单元，其基于提取到的所述部位候补进行所述物体的姿势状态的估计。

2.如权利要求1所述的姿势状态估计装置，

所述补充部位候补提取单元基于所述已提取部位的部位候补把估计为所述未提取部位的一部分露出的区域决定为补充候补区域，仅对所决定的补充候补区域进行所述未提取部位的部位候补的提取。

3.如权利要求2所述的姿势状态估计装置，

所述补充部位候补提取单元基于所述已提取部位的部位候补估计所述已提取部位的部位轴，且基于估计出的所述部位轴决定所述补充候补区域。

4.如权利要求2所述的姿势状态估计装置，

所述补充部位候补提取单元基于所述已提取部位的部位候补估计所述已提取部位的部位粗度，且基于估计出的所述部位粗度决定所述补充候补区域。

5.如权利要求2所述的姿势状态估计装置，

所述补充部位候补提取单元基于所述已提取部位的部位候补估计所述未提取部位的可动范围，且基于估计出的所述可动范围决定所述补充候补区域。

6.如权利要求2所述的姿势状态估计装置，

所述补充部位候补提取单元基于所述已提取部位的部位候补估计所述未提取部位的边缘的角度，从所述图像数据提取估计出的所述角度的直线成分，基于提取出的所述直线成分决定所述补充候补区域。

7.如权利要求2所述的姿势状态估计装置，

在所述已提取部位存在多个时，所述补充部位候补提取单元从所述补充候补区域中除去所有的所述已提取部位的所述部位候补。

8.如权利要求1所述的姿势状态估计装置，

所述姿势状态估计单元基于根据所述图像数据估计的与各部位轴的方向对应的信息进行所述物体的姿势状态的估计。

9.如权利要求1所述的姿势状态估计装置，

所述物体是人。

10.姿势状态估计方法，基于拍摄具有通过关节连接的多个部位的物体所得到的图像数据进行所述物体的姿势状态的估计，包括：

从所述图像数据提取所述部位的部位候补的步骤；

估计到未由所述部位候补提取单元提取到所述部位候补的未提取部位的一部分被由所述部位候补提取单元提取到所述部位候补的已提取部位遮挡，而从所述图像数据提取所述未提取部位的部位候补的步骤；以及

基于提取到的所述部位候补进行所述物体的姿势状态的估计的步骤。

Images