CN103003845A - 姿势估计装置、姿势估计系统、及姿势估计方法 - Google Patents

Abstract

公开了能够高精度地估计具有关节的物体的姿势的姿势估计装置。姿势估计装置（100）基于拍摄具有由关节连接的多个部位的物体所得到的图像数据进行物体的姿势估计，具有：基准模型存储单元（140），其按每个姿势存储对部位的位置进行规定的基准模型；加权计算单元（150），其按每个姿势以密集部分的权重小的方式对部位进行加权；以及姿势估计单元（160），其通过应用加权对基准模型和物体进行比较，来估计物体的姿势。

Description

姿势估计装置、姿势估计系统、及姿势估计方法

技术领域

本发明涉及基于拍摄具有通过关节连接的多个部位的物体所得的图像数据进行该物体的姿势的估计的姿势估计装置、姿势估计系统、及姿势估计方法。

背景技术

近年来，盛行有关基于拍摄到的动态图像的图像数据进行的人的姿势估计的研究。这是因为，如果能够通过计算机分析根据动态图像判定人的行动，则可以不依赖于人力来进行在各种领域所进行的行动分析。作为行动分析，可例举例如街头的异常行动探测、商店中的购买行动分析、工厂中的作业高效化辅助、及运动中的姿势指导。

因此，例如专利文献1及非专利文献1中记载有基于由单眼相机拍摄到的图像数据来估计人的姿势的技术。

专利文献1及非专利文献1中记载的技术（以下称作“现有技术”）中，按每个姿势准备模型图像的剪影（模型剪影）。而且，现有技术中，将与从拍摄图像提取到的剪影（观测对象剪影）之间的相似度最高的剪影的姿势估计为包含于拍摄图像的被摄体的姿势。具体而言，现有技术中，基于模型剪影和观测剪影之间的对每个像素的“逻辑异或”计算剪影距离，且以剪影距离小来判定类似度高。

但是，即使为相同的姿势，剪影的轮廓部分的位置及角度的偏差也会较大。因此，现有技术中，越是接近观测剪影的中心的像素，越对其“逻辑异或”进行大的加权，来计算剪影距离。由此，现有技术能够进行对轮廓部分的噪声（偏差）具有鲁棒性的姿势估计。

现有技术文献

专利文献

专利文献1：日本特开2007－310707号公报

非专利文献

非专利文献1：冈田隆三、シュテンガビヨン、“シルエットを用いたTree-Based Filteringによる人体の姿勢推定”，画像の認識·理解シンポジウム（MIRU2006），2006年7月、p.63－69

非专利文献2：下坂正伦、佐藤真、森武俊、佐藤知正、“単眼画像からの形状特徴を用いた動作認識法”，全国大会演讲论文集第70次平成20年（5），社团法人信息处理学会，2008年3月13日，p.5－93、p.5－94

非专利文献3：P.Viola and M.Jones、"Rapid Object Detection Using aBoosted Cascade of Simple Features、"in Proc.of CVPR、vol.1、December、2001、ppp.511-518

发明内容

发明要解决的问题

但是，现有技术中存在由于姿势不同而不能高精度地对其进行估计的问题。这是因为，现有技术虽然针对每个部位，基于距部位的中心位置的距离进行加权，但不能有效运用特征性姿势信息。例如对于伸开臂的姿势，前臂为特征性姿势信息，而对于垂下臂的姿势，前臂不是特征性姿势信息，尽管如此，对于所有姿势，其姿势中的前臂的加权都相同。

另外，现有技术认为也适用于机器人等具有通过关节连接的多个部位的人以外的各种物体，但该情况下也会产生同样的问题。

本发明的目的在于，提供能够高精度地估计具有关节的物体的姿势的姿势估计装置、姿势估计系统及姿势估计方法。

解决问题的方案

本发明的姿势估计装置，基于拍摄具有由关节连接的多个部位的物体所得到的图像数据进行所述物体的姿势估计，具有：基准模型存储单元，其按每个所述姿势存储规定所述部位的位置的基准模型；加权计算单元，其按每个所述姿势以密集部分的权重小的方式对所述部位进行加权；以及姿势估计单元，其通过应用所述加权对所述基准模型和所述物体进行比较，来估计所述物体的姿势。

本发明的姿势估计系统，包括姿势估计装置，该姿势估计装置基于拍摄具有由关节连接的多个部位的物体所得到的图像数据进行所述物体的姿势估计，该姿势估计系统具有加权决定装置，该加权决定装置具有：第一基准模型存储单元，其按每个所述姿势存储规定所述部位的位置的基准模型；加权计算单元，其按每个所述姿势以密集部分的权重小的方式对所述部位进行加权；以及加权信息存储单元，其存储表示所述加权的加权信息，所述姿势估计装置具有：第二基准模型存储单元，存储所述基准模型；加权信息获取单元，从所述加权决定装置获取所述加权信息；以及姿势估计单元，通过应用所获取的所述加权信息对所述基准模型和所述物体进行比较，来估计所述物体的姿势。

本发明的姿势估计方法，基于拍摄具有由关节连接的多个部位的物体所得到的图像数据，使用按每个所述姿势规定所述部位的位置的基准模型进行所述物体的姿势估计，包括：按每个所述姿势以密集部分的权重小的方式对所述部位进行加权的步骤；以及应用所述加权对所述基准模型和所述物体进行比较，由此估计所述物体的姿势的步骤。

发明效果

根据本发明，能够高精度地估计具有关节的物体的姿势。

附图说明

图1是表示一例本发明实施方式1的姿势估计装置的结构的框图；

图2是表示一例本发明实施方式2的姿势估计装置的结构的框图；

图3是表示本发明实施方式3的姿势估计装置的结构的第一例的框图；

图4是用于说明本实施方式3的图像数据的图；

图5是表示一例本实施方式3的身体候补估计单元的结构的框图；

图6是表示一例本实施方式3的加权计算单元的结构的框图；

图7是表示一例本实施方式3的姿势估计装置的动作的流程图；

图8是表示一例本实施方式3的部位间最小权重距离计算处理的流程图；

图9是示意性表示本实施方式3的基准模型的例和估计似然图所表示的物体的例的图；

图10是用于说明本实施方式3的部位间最小权重距离的计算方法的第一例的第一图；

图11是用于说明本实施方式3的部位间最小权重距离的计算方法的第二例的第二图；

图12是用于说明本实施方式3的部位间最小权重距离的计算方法的第三例的图；

图13是表示一例本实施方式3的加权计算处理的流程图；

图14是表示一例本实施方式3的姿势估计处理的流程图；

图15是用于说明本实施方式3的欧米茄形状(Ω形状)的图；

图16是用于说明本实施方式3的从基准线到欧米茄形状的垂直距离的图；

图17是表示一例本实施方式3的距离直方图的图；

图18是表示一例本实施方式3的二值化后的距离直方图的图；

图19是用于说明表示本实施方式3的基准部位的各种参数的图；

图20是表示一例本实施方式3的基准部位对应表的内容的图；

图21是表示一例本实施方式3的部位区域对应表的内容的图；

图22是表示一例本实施方式3的部位区域数据的内容的图；

图23是表示一例本实施方式3的估计似然图的图；

图24是表示一例本实施方式3的二值化後的估计似然图的图；

图25是表示本实施方式3的姿势估计装置的结构的第二例的框图；

图26是表示本实施方式3的姿势估计装置的结构的第三例的框图。

符号说明

100  姿势估计装置

100－1  加权决定装置

100－2  姿势估计装置

110  身体限制信息存储单元

110－1  第一身体限制信息存储单元

110－2  第二身体限制信息存储单元

120  图像数据获取单元

130  身体候补估计单元

131  部位区域估计单元

132  部位候补提取单元

140  基准模型存储单元

140-1  第一基准模型存储单元

140-2  第二基准模型存储单元

150  加权计算单元

151  部位间最小权重距离计算单元

152  最大最小权重计算单元

153  按姿势加权处理单元

160  姿势估计单元

170－1  第一加权存储单元

170－2  第二加权存储单元

180－1  第一通信处理单元

180－2  第二通信处理单元

200  单眼相机

300  信息输出装置

500  姿势估计系统

600  通信网络

具体实施方式

下面，参照附图详细说明本发明的各实施方式。本发明的实施方式1及实施方式2是本发明的基本方式例，本发明的实施方式3是本发明的具体方式之例。

此外，在以下说明的各实施方式中，“部位”是指人的身体中由关节分割开的部分的集合。即，部位例如是头、肩、右上臂、右前臂、左上臂、左前臂、右膝上、右膝下、左膝上及左膝下。另外，“部位区域”是指图像中某部位可占的区域、即部位的可动范围。

另外，“部位数”是指成为姿势估计中的评价对象的部位的总数。即，在以全身为评价对象进行姿势的估计时，部位数例如为以头、肩（包含躯体）、右上臂、右前臂、左上臂、左前臂、右膝上、右膝下、左膝上及左膝下进行分类的部位的数量，为“10”。

另外，“部位轴”是指部位的长度方向的假想的中心轴。具体而言，部位轴是指连结将部位与基准部位侧的另外的第一部位连接的第一关节和将部位与另外的第二部位连接的第二关节或部位的端部的线段。例如可以由第一关节的坐标信息、角度信息、部位长度这样的组定义部位轴，也可以由第一关节的坐标信息和第二关节或部位的端部的坐标信息定义部位轴。例如，右上臂的部位轴的位置、朝向、及长度与右上臂的骨头的中心轴的位置、朝向及长度大致一致。

另外，“部位粗度”是指部位的部位轴周围的粗度，例如是画面上的宽度。

另外，“部位候补”是指部位的位置的候补，是根据图像数据估计的部位的位置。

另外，“剪影”是指在画面上一人的身体所占的封闭的区域的候补，是根据图像估计的身体的位置。此外，将部位候补及剪影候补适宜地称作“身体候补”。

另外，“姿势”是由二维坐标系或三维坐标系中的连接部位的关节的位置、或相关各部位的长度及部位间的角度等信息表示的。因此，“姿势估计”是指通过估计这些信息来估计姿势。此外，可以利用以人的规定的身体部位为基准的相对值表示上述的位置、长度及角度，也可以利用二维坐标系或三维坐标系中的绝对值表示上述的位置、长度及角度。

另外，在以下的各实施方式中，将处理对象的单位设为像素进行说明，但姿势估计装置也可以将相当于规定尺寸的多个像素的集合分别看作是一个像素进行同样的处理。由此，姿势估计装置可以高速进行处理。在将多个像素看作是一个像素的情况下，可以将成为多个像素的重心的像素的值作为该多个像素的值使用，也可以将多个像素的值的平均值作为该多个像素的值使用。

（实施方式1）

图1是表示本发明实施方式的姿势估计装置的结构的框图。

图1中，本发明实施方式的姿势估计装置100是基于拍摄具有由关节连接的多个部位的物体即人所得到的图像数据进行该人的姿势估计的装置。姿势估计装置100具有基准模型存储单元140、加权计算单元150及姿势估计单元160。

基准模型存储单元140按每个姿势存储对部位的位置进行规定的基准模型。

加权计算单元150按每个姿势以密集部分的权重小的方式对部位进行加权。在此，密集部分是指在躯体之前交叉的两臂的各部位等多个部位密集的部分。即，密集部分是在姿势估计中容易产生噪声的部位。

姿势估计单元160应用上述加权对基准模型和人进行比较，由此估计人的姿势。

此外，姿势估计装置100例如分别具有CPU（central processing unit，中央处理单元）、存储控制程序的ROM（read only memory，只读存储器）等存储介质、及RAM（random access memory，随机存储器）等工作存储器。在这种情况下，通过CPU执行控制程序来实现上述的各构成单元的功能。

这种姿势估计装置100可以降低容易产生噪声的密集部分的影响来进行姿势估计。另外，由此，姿势估计装置100可以相对增大伸到周围的手臂的手或前臂等与其它部位分开而构成姿势的特征部分的部位（以下称作“分散部分”）的权重。因此，姿势估计装置100由于进行与各部位对姿势估计精度带来的影响的程度相对应的加权，所以能够高精度地估计具有关节的人的姿势。

此外，在此，说明了加权计算单元150按每个姿势以密集部分的权重小的方式对部位进行加权的例子，但也可以增大分散部分的权重而相对地使密集部分的权重减小。

（实施方式2）

图2是表示本发明实施方式的姿势估计装置的结构的框图。

图2中，本发明实施方式的姿势估计装置100是基于拍摄具有由关节连接的多个部位的物体即人所得到的图像数据进行该人的姿势估计的装置。姿势估计装置100具有基准模型存储单元140、加权计算单元150及姿势估计单元160。

基准模型存储单元140按每个姿势存储对部位的位置进行规定的基准模型。

加权计算单元150按每个姿势以密集部分的权重小的方式对部位进行加权。加权计算单元150具有部位间最小权重距离计算单元151、最大最小权重计算单元152及按姿势加权处理单元153。

部位间最小权重距离计算单元151对每个部位计算部位间最小权重距离。部位间最小权重距离是表示在存在其它部位时该其它部位的存在成为上述姿势估计的噪声的可能性高的范围的参数。

最大最小权重计算单元152保持权重的范围。

按姿势加权处理单元153按每个姿势在上述的权重范围对基准模型的每个部位决定小的权重或大的权重，而对基准模型的各部位决定加权。更具体而言，按姿势加权处理单元153对基准模型的部位中的如下部位决定小的权重，即在其部位间最小权重距离表示的范围内存在与该部位间最小权重距离相对应的其它部位的部位。另外，按姿势加权处理单元153对如下部位决定大的权重，即在其部位间最小权重距离表示的范围内不存在与该部位间最小权重距离相对应的其它部位的部位。

姿势估计单元160通过应用按姿势加权处理单元153决定的加权对基准模型和人进行比较，估计人的姿势。

此外，姿势估计装置100例如分别具有CPU、存储控制程序的ROM等存储介质、及RAM等工作存储器。在这种情况下，通过CPU执行控制程序来实现上述的各构成单元的功能。

这样的姿势估计装置100可以将在其它部位存在时该其它部位的存在成为姿势估计的噪声的可能性高的范围作为应决定小的权重的密集部分进行处理。这样的范围即为图像区域，是部位间最小权重距离表示的范围。由此，姿势估计装置100能够对容易产生噪声的部分准确地设定小的权重，因此能够高精度地估计具有关节的人的姿势。

（实施方式3）

图3是表示本发明实施方式的姿势估计装置的结构的框图。为便于说明，将姿势估计装置的外围设备一并进行图示。

图3中，本发明实施方式的姿势估计装置100是基于拍摄具有由关节连接的多个部位的物体即人所得到的图像数据进行该人的姿势估计的装置。姿势估计装置100具有身体限制信息存储单元110、图像数据获取单元120、身体候补估计单元130、基准模型存储单元140、加权计算单元150及姿势估计单元160。

身体限制信息存储单元110预先存储与人的体格或姿势有关的限制条件（以下称作“身体限制信息”）。身体限制信息是用于后述的部位区域的估计或部位候补的提取的信息。身体限制信息的具体的内容根据部位区域的估计方法或部位候补的提取方法而不同，所以后述。

图像数据获取单元120通过有线通信或无线通信获取由设置在规定的三维坐标空间的单眼相机200拍摄的图像的图像数据，且输出到身体候补估计单元130。此外，在本实施方式中，单眼相机200为视频摄像机。图像数据获取单元120输入在单眼相机200中连续地实时拍摄到的动态图像数据，将构成动态图像数据的各静态图像数据依次输出到身体候补估计单元130。在以下的说明中，设为图像数据包含只是一个人的图像进行说明，但不限于此，可以包含多人的图像，也可以未包含人的图像。

图4是用于说明图像数据的图。

如图4所示，例如设定以将单眼相机200的位置投影到地面而得到的位置为原点O的三维坐标系410。坐标系410例如以垂直方向为Y轴，以与Y轴及单眼相机200的光轴411正交的方向为X轴，以与X轴及Y轴正交的方向为Z轴。

例如利用Y轴和光轴411之间的角度θ表示单眼相机200的设置角度。而且，单眼相机200使焦点（focus）与包含于单眼相机200的视角φ的范围的某平面412对准进行拍摄。这样拍摄的图像的图像数据被发送到姿势估计装置100。

图3的身体候补估计单元130基于从图像数据获取单元120输入的图像数据获取人的身体候补（剪影或部位候补）。而且，身体候补估计单元130将表示所获取的身体候补的身体候补信息（剪影信息或部位候补信息）输出到姿势估计单元160。在本实施方式中，身体候补估计单元130获取人的部位候补，输出部位候补信息。

图5是表示一例身体候补估计单元130的结构的框图。

图5中，身体候补估计单元130具有部位区域估计单元131及部位候补提取单元132。

部位区域估计单元131基于从图像数据获取单元120输入的图像数据估计各部位的部位区域。具体而言，基于从图像数据获取单元120输入的图像数据估计各部位的部位区域。具体而言，部位区域估计单元131根据图像数据估计人的基准部位的位置及朝向。“基准部位”是指在其它部位之前进行其位置及朝向的估计，且其估计结果影响对其它部位的位置及朝向的估计的部位。而且，部位区域估计单元131以估计出的基准部位的位置及朝向为基准，估计各部位的部位区域。

优选将基准部位设为在图像获取空间中可稳定地得到影像的部位。因此，在本实施方式中，将基准部位设为人的头部及肩部。另外，将基准部位的朝向设为肩部的朝向，将肩部的朝向设为连结右肩部和左肩部的直线的方向。而且，部位区域估计单元131将图像数据和表示每个部位的部位区域的信息（以下称作“部位区域数据”）输出到部位候补提取单元132。在本实施方式中，如图4所示从上方获取图像。因此，通过将基准部位设为人的头部及肩部，可以最为稳定地进行估计。

部位候补提取单元132基于所输入的部位区域数据从所输入的图像数据提取各部位候补。而且，部位候补提取单元132将图像数据和表示提取到的部位候补的部位候补信息输出到姿势估计单元160。此外，在本实施方式中，利用图像上的位置即图像的二维坐标系表示部位候补，将部位候补信息设为对各部位存在的似然度的分布进行表示的似然图。

即，在本实施方式中，部位候补提取单元132对于从部位区域估计单元131输入的部位区域数据所表示的部位区域以外的区域生成降低与该部位区域相对应的指定部位存在的似然度的似然图。下面，将基于图像数据生成的似然图称为“估计似然图”。

图3的基准模型存储单元140按可成为图3的姿势估计单元160的姿势估计结果的每个姿势存储有基准模型二维信息。基准模型二维信息是利用将某姿势的基准模型投影于某二维平面时的各部位的相对位置关系表示的信息。基准模型二维信息可以是非专利文献1中所公开的那样的、各部位的带编号投影像信息，也可以是各部位的位置、角度构成的信息。基准模型二维信息的细节将后述。

图3的加权计算单元150参照身体限制信息存储单元110的身体限制信息，按在基准模型存储单元140存储有基准模型二维信息的每个姿势，对基准模型的各部位决定加权。更具体而言，加权计算单元150按每个姿势以密集部分的权重小的方式对部位进行加权。而且，加权计算单元150将表示所决定的加权的加权信息输出到姿势估计单元160。

图6是表示一例加权计算单元150的结构的框图。为便于说明，对加权计算单元150的周边的功能单元也一并图示。

图6中，加权计算单元150具有部位间最小权重距离计算单元151、最大最小权重计算单元152、及按姿势加权处理单元153。

部位间最小权重距离计算单元151参照身体限制信息存储单元110，按每个姿势和每个基准模型的部位，计算部位间最小权重距离。部位间最小权重距离如上所述是表示在其它部位存在时该其它部位的存在成为上述姿势估计的噪声的可能性高的范围的参数。部位间最小权重距离的细节将后述。

最大最小权重计算单元152基于部位数计算权重的最大值和最小值作为权重范围，并对其进行保持。具体而言，最大最小权重计算单元152基于后述的姿势估计单元160将其作为比较的对象的部位的数量（部位数），以部位数越多则越宽的方式决定权重范围。

按姿势加权处理单元153按每个姿势在上述权重范围对基准模型的每个部位决定小的权重或大的权重，而对基准模型的各部位决定加权。更具体而言，按姿势加权处理单元153对基准模型的部位中的如下部位决定小的权重，即在其部位间最小权重距离表示的范围内存在与该部位间最小权重距离相对应的其它部位的部位。另外，按姿势加权处理单元153对如下部位决定大的权重，即在其部位间最小权重距离表示的范围内不存在与该部位间最小权重距离相对应的其它部位的部位。加权的单位可以是部位、像素、多个像素的范围中的任一个。在按每个部位进行的情况下，可以特别高速地进行加权处理，在按每个像素进行的情况下，能够特别高精度地估计姿势。而且，按姿势加权处理单元153将所决定的表示对于每个姿势的基准模型的各部位的加权的加权信息输出到姿势估计单元160。

此外，部位间最小权重距离计算单元151计算出的每个部位的部位间最小权重距离及最大最小权重计算单元152计算出的权重范围成为所有姿势共通的值。因此，部位间最小权重距离计算单元151及最大最小权重计算单元152不用按每个姿势重新计算这些值也可以，只要保持计算结果即可。

图3的姿势估计单元160基于从身体候补估计单元130输入的身体候补信息进行包含于图像数据的人（以下称作“被摄体”）的姿势估计。在本实施方式中，姿势估计单元160基于估计似然图进行姿势估计。

具体而言，姿势估计单元160按每个姿势和每个部位对二维基准模型图所示的基准模型的各部位的位置（区域）和估计似然图所示的对应部位的位置（区域）重叠的像素的个数进行计数。例如，二维基准模型图将存在某部位的像素的值设为1保持，将不存在的像素的值设为0保持。另外，估计似然图将存在某部位的像素的值设为1保持，将不存在的像素的值设为0保持。在这种情况下，姿势估计单元160按每个部位对每个像素将二维基准模型图的值和估计似然图的值相乘，对值为1的像素的个数进行计数。

在此，二维基准模型图是表示将基准模型二维信息所表示的基准模型投影于规定的二维平面时各部位的相对位置关系的信息。该规定的二维平面与拍摄图像数据的相机（在此为单眼相机200）的拍摄面相对应。二维基准模型图的细节将后述。

另外，姿势估计单元160按每个姿势针对画面整体将各部位的计数值乘以对该部位决定的权重所得的值进行合计。而且，姿势估计单元160基于该合计值判定估计似然图所表示的人和各姿势的基准模型的一致度。而且，姿势估计单元160对显示装置等信息输出装置300通过有线通信或无线通信发送信息，对用户通知估计结果。

姿势估计装置100例如分别具有CPU、存储控制程序的ROM等存储介质及RAM等工作存储器。在这种情况下，通过CPU执行控制程序来实现上述的各构成单元的功能。

这样的姿势估计装置100对于基准模型的每个部位，对在存在其它部位时该其它部位的存在成为姿势估计的噪声的可能性高的范围（图像区域）相对减小权重。

与其它部位重叠、或与其它部位的距离近的部位（密集部分）在身体候补估计单元130中被正确估计的概率低。特别是在通过提取平行线来进行部位候补的估计的情况下，密集部分被正确估计的概率低。

因此，姿势估计装置100减小密集部分的影响而增大分散部分的影响来进行姿势估计。由此，姿势估计装置100可以在减小会大量含有噪声的密集部分的影响的同时，增大对姿势赋予特征的分散部分的影响，来进行姿势估计，因此，可以提高姿势估计的精度。

另外，人的姿势的自由度高，与之相对，现实中只能将限定的代表性姿势作为基准模型来准备。因此，部位数越多，应成为估计结果的姿势相对于基准模型的构造上的细微的差异越容易累积。

因此，部位数越多，姿势估计装置100则越增大密集部分的权重和分离部分的权重之差。由此，姿势估计装置100能够进行在使得不遗漏一个部位这样大的差异的同时，抑制细微差异的影响的姿势估计。即，姿势估计装置100能够进一步提高姿势估计的精度。

在此，在说明姿势估计装置100的动作之前，说明身体限制信息及基准模型的例子。

首先，说明存储于身体限制信息存储单元110的身体限制信息的例子。

身体限制信息例如以规定部位的长度及关节的角度中的至少一者为基准，对与规定部位连接的部位可存在的区域（即部位区域）进行限制。在这种情况下，身体限制信息例如包含某部位和其它部位之间的长度比和关节的可动角度中的至少一者。例如，在将肩宽设为1时，身体限制信息规定上臂的长度为0.6。

例如，身体限制信息按每个部位包含部位长度比、和对3个方向（X轴方向、Y轴方向、Z轴方向）记述以接近躯体侧的关节为基点时的运动的自由度的信息。

另外，例如在右上臂的部位ID为“3”，右上臂的部位长度相对于肩部的部位长度之比为“0.8”的情况下，身体限制信息可以通过以下那样记述的文件或程序源规定右上臂的部位长度。

另外，例如在右上臂的部位ID为“3”，右上臂的粗度相对于肩部的部位长度之比为“0.2”的情况下，身体限制信息可以通过以下那样记述的文件或程序源规定右上臂的部位粗度。

另外，例如设为右肩的关节ID为“100”，肩部的部位ID为“1”，右上臂的部位ID为“3”。另外，设为右上臂的可动方向关于X轴为（－60.0，90.0），关于Y轴为（－90.0，90.0），关于Z轴为（－90.0，90.0）。在这种情况下，身体限制信息例如可以通过以下那样记述的文件或程序源规定右上臂相对于右肩的关节的自由度。

此外，这些情况下，也可以将表示由关节ID和部位ID所示的关节和部位之间的连接关系的信息和表示各关节的可动方向及角度的信息记述在其它文件中。

另外，也可以利用将各位置投影于二维坐标系所得的信息记述身体限制信息。在这种情况下，即使在三维中为唯一的位置信息，其值也会因投影角度而不同。另外，可动方向和角度为二维的值。因此，身体限制信息存储单元110在将这样的值作为身体限制信息保持的情况下，需要一并预先保持有关投影角度的信息。

以上结束有关身体限制信息的例子的说明。

接着，说明基准模型的例子。

基准模型例如由基准模型三维信息和关于该基准模型三维信息的基准模型二维信息构成。

在此，基准模型三维信息是由三维坐标系中的部位位置及关节位置等表示每个姿势状态的基准模型的第一阶段的信息。而且，基准模型二维信息是由二维坐标系中的部位位置及关节位置等表示处于基准模型三维信息所表示的姿势状态的基准模型的第二阶段的信息。即，基准模型二维信息是从某视点观察时（投影于某二维平面时）的表示关节等的相对位置关系的信息。

该情况下，通过将基准模型三维信息投影于二维坐标系而得到基准模型二维信息。另外，在对处于一个姿势状态的基准模型假设多个视点的情况下，会由一个基准模型三维信息生成多个基准模型二维信息。多个视点即与相对于相机视点存在多个基准模型的位置和朝向的组合的情况相对应。

首先，说明基准模型三维信息。

使用以右肩关节的关节位置为原点且将右肩位置和左肩位置之间的距离设为1的规定的三维坐标系表示基准模型三维信息。此外，也可以使用以其它位置为原点的坐标系、或将臂的部位长度或身长等其它长度设为1的坐标系来表示基准模型三维信息。

在此，例如设为姿势状态的姿势ID为“200”，右肩的关节ID为“100”，肩部的部位ID为“1”，右上臂的部位ID为“3”。另外，设右上臂的可动方向关于X轴为（20.0），关于Y轴为（90.0），关于Z轴为（0.0）。在这种情况下，基准模型三维信息例如可以通过如下那样记述的文件或程序源规定基准模型的右上臂相对于右肩的关节的自由度。此外，与身体限制信息不同，基准模型三维信息中的可动方向不是范围而是一方向，这是因为基准模型三维信息为每个姿势状态的信息。但是，也可以考虑关节角度的误差或个体差，用范围定义基准模型三维信息中的可动方向。

此外，对于基准模型三维信息，也可以将有关关节的信息和有关部位的信息在另外的文件中记述。由此，可以在多个姿势状态之间共享文件，可以减小基准模型存储单元140的尺寸。

另外，对于基准模型三维信息，也可以将关节位置和姿势状态的对应关系、关节角度和姿势状态的对应关系在另外的文件中记述。由此，在准备有关体格不同的多个基准模型的基准模型三维信息的情况下，可以将记述关节角度和姿势状态的对应关系的文件设为共通的文件。因此，可以减小基准模型存储单元140的尺寸。

另外，基准模型三维信息也可以记述各关节的关节角度和部位长度及部位粗度等，而不记述关节位置。在这种情况下，可以根据关节角度和身体限制计算关节位置。由此，可以减小基准模型存储单元140的尺寸。

例如，有关上述的右上臂的基准模型三维信息可以如下那样分开记述。

另外，基准模型三维信息也可以如下所述在一个文件中含有多个有关关节的信息。此外，在这种情况下，也可以利用以右肩关节位置等一个基准点为原点的规定的三维坐标系表示角度及位置。或者，也可以利用以接近躯体一侧的关节位置及接近躯体一侧的其它部位的轴方向为基准的相对的三维坐标系表示角度及位置。

此外，对于基准模型三维信息，即使这样在一个文件中含有多个有关关节的信息的情况下，也可以如上所述按每个信息的类别在另外的文件中进行记述。

另外，基准模型三维信息同样也可以在一个文件中含有多个有关姿势状态的信息。

接着，说明基准模型二维信息。

基于基准模型三维信息生成基准模型二维信息。可以将基准模型二维信息预先生成并存储于基准模型存储单元140，也可以每次都是通过基准模型存储单元140、加权计算单元150及姿势估计单元160等根据基准模型三维信息生成。在假设多个视点的情况下，通过每次都生成基准模型二维信息，可以减小基准模型存储单元140的尺寸。例如由基准模型存储单元140生成基准模型二维信息。此外，设为，基准模型二维信息中附加有表示成为基准的部位的长度在图像上相当于几像素的信息。

例如，设为，向二维坐标投影的水平的角度为“90度”，垂直方向的角度为“45度”，成为基准的部位为肩部，肩的长度（从右肩关节位置到左肩关节位置的距离）为“20像素”。在这种情况下，上述的有关右上臂的基准模型二维信息可以如下记述。在此，二维坐标系以图像中的水平方向为x轴，以垂直方向为y轴，以右肩关节位置为原点。另外，将角度设为相对于x轴的角度。此外，投影角度例如用于基于单眼相机200的设置角度提取基准模型二维信息。

此外，与上述的基准三维模型信息的情况相同，对于基准二维模型信息，也可以按每个图像姿势状态或每个信息的类别，在另外的文件中进行记述。

另外，基准二维模型信息如下所示，也可以对于一个投影角度包含多个有关关节的信息、或对于一个姿势包含多个有关投影角度的信息。

此外，基准模型二维信息即使在相对于一个姿势包含多个有关投影角度的信息的情况下，也可以与上述的基准三维模型信息的情况相同，按每个图像姿势状态或每个信息的类别在另外的文件中进行记述。由此，能够减小基准模型存储单元140的尺寸。

另外，用于将基准模型三维信息变换为基准模型二维信息的向二维坐标系的投影角度可以是固定值，也可以是根据计算出的肩朝向变化的值。

另外，基准模型二维信息也可以包含二维基准模型图。在此，二维基准模型图是在规定大小的图像上表示以二维信息记述的姿势的图，是确定各基准模型的进行加权的像素的映射图。

例如可以通过基于三维基准模型信息将于各部位具有粗度的立体以包含于二维基准模型信息的投影方向投影于平面上来计算二维基准模型图。另外，可以通过基于二维基准模型信息将具有各部位的粗度和长度的矩形区域内设为该部位的像素来计算二维基准模型图。另外，可以通过基于二维基准模型信息将连结各部位的关节的轴的像素、或各部位的中心的一点、或包含该一点的区域设为该部位的像素来计算二维基准模型图。

二维基准模型图按每个像素存储表示包含于哪一部位的信息。具体而言，二维基准模型图是按每个像素和每个部位具有在包含于该部位的情况下取1，在不包含于该部位的情况下取0的标识的映射图信息。

另外，在作为估计结果仅求二维姿势的情况下，姿势估计装置100也可以不必保持三维基准模型信息。另外，也可以预先生成二维基准模型图并存储于基准模型存储单元140。另外，也可以每次都通过基准模型存储单元140、加权计算单元150、及姿势估计单元160等根据基准模型二维信息生成二维基准模型图。

以上结束有关基准模型的例子的说明。

接着，说明姿势估计装置100的动作。

图7是表示姿势估计装置100的动作之一例的流程图。

首先，在步骤S1000中，姿势估计装置100执行部位间最小权重距离计算处理。部位间最小权重距离计算处理是基于身体限制信息对各部位计算并决定部位间最小权重距离的处理。

图8是表示一例部位间最小权重距离计算处理的流程图。

首先，在步骤S1100中，部位间最小权重距离计算单元151从成为评价对象的部位中选择一个关注部位p。

然后，在步骤S1200中，部位间最小权重距离计算单元151获取所选择的关注部位p的身体限制信息中的计算部位间最小权重距离所需的信息。

然后，在步骤S1300中，部位间最小权重距离计算单元151从成为评价对象的部位中的所选择的关注部位p以外的部位（以下称作“其它部位”）中选择比较部位q。

然后，在步骤S1400中，部位间最小权重距离计算单元151获取所选择的比较部位q的身体限制信息中的计算部位间最小权重距离所需的信息。

然后，在步骤S1500中，部位间最小权重距离计算单元151基于所选择的关注部位p的身体限制信息及所选择的比较部位q的身体限制信息计算部位间最小权重距离Rpq。然后，部位间最小权重距离计算单元151将计算出的部位间最小权重距离Rpq与所选择的关注部位p和所选择的比较部位q的组合建立对应关系进行保存。

在此，说明部位间最小权重距离的计算方法的例子。

图9是示意性表示基准模型的例子和估计似然图所表示的人的例子的图。

人的姿势的自由度大，每个部位存在位置偏差，但是，难以准备包含所有各部位的位置偏差的基准模型。在此，为便于说明，假设仅存在图9（A）所示的第一姿势的基准模型413－1和图9（B）所示的第二姿势的基准模型413－2的情况。而且，得到图9（C）所示的人414的估计似然图。

另外，除向上方弯曲的前臂以外，如图9（D）所示，与第一姿势的基准模型413－1之间的一致度高，如图9（E）所示，与第二姿势的基准模型413－2之间的一致度低。

在本实施方式中，姿势估计单元160如上所述基于每个部位的一致像素数的计数值进行姿势估计。因此，在图9（E）的情况下，若均等地处理各部位，则在与第二姿势的基准模型413－2之间的比较中累积误差。其结果是，作为整体，与第二姿势的基准模型413－2之间的一致度会比与第一姿势的基准模型413－1之间的一致度低。

但是，人414的姿势的特征主要在于向上方弯曲的前臂，同样前臂向上方弯曲的第二姿势的基准模型413－2是应得到的估计结果。

因此，本实施方式的姿势估计装置100如上所述，对分散部分设定比密集部分大的权重。由此，在图9的例中，将重点放在向上方弯曲的前臂的一致度，作为估计结果，得到第二姿势的基准模型413－2。即，姿势估计的精度提高。

密集部分是在基准模型中与其它部位之间的距离近的部位。而分散部分是在基准模型中与其它部位之间的距离远的部位。因此，部位间最小权重距离计算单元151例如通过下述的方法计算部位间最小权重距离，作为区分密集部分和分散部分的基准。

图10及图11是用于说明部位间最小权重距离的计算方法的例子的图。

如图10及图11所示，在基准模型中，存在部位粗度为Dp的关注部位p和部位粗度为Dq的比较部位q。图10表示部位粗度Dp和部位粗度Dq相同的情况，图11表示部位粗度Dp和部位粗度Dq不同的情况。部位粗度Dp、Dq例如包含于身体限制信息存储单元110所存储的身体限制信息中。

根据姿势不同，有时关注部位p和比较部位q之间的距离r与部位粗度Dp及部位粗度Dq中的至少一者近似。这种情况下，特别是在基于两条平行线的组的检测的部位候补提取中，关注部位p的内侧的边缘和比较部位q的内侧的边缘的组成为满足部位粗度Dp、Dq的条件的平行线的组。因此，被关注部位p的内侧的边缘和比较部位q的内侧的边缘夹着的空间415有可能被错误地估计为关注部位p或比较部位q的部位区域。

相反，如果距离r比部位粗度Dp、Dq这两者充分大，则空间415被错误地估计为关注部位p或比较部位q的部位区域的可能性低。

因此，部位间最小权重距离计算单元151对基准模型的各部位，基于与其它部位组合时的各自的部位粗度及距离计算部位间最小权重距离。具体而言，部位间最小权重距离计算单元151例如使用以下的式（1）来计算部位粗度Dp的关注部位p和部位粗度Dq的比较部位q之间的部位间最小权重距离Rpq。

Rpq＝a×Dp＋b×Dq···（1）

在此，参数a、b是可以根据对姿势估计要求的精度或使用姿势估计装置100的环境条件任意设定的常数，例如在Dp≦Dq的情况下，是a＝0、b＝1。例如，相比只是穿着薄的相似的体型的人为被摄体的环境，对于穿着厚的人或各种体型的人可成为被摄体的环境，应较大地设定参数a、b。由此，可以提高姿势估计的鲁棒性。

但是，人的姿势的自由度大，每个部位存在角度偏差，但是，难以准备包含所有各部位的角度偏差的基准模型。因此，姿势估计装置100忽略一定范围的角度误差，估计最近似的姿势。优选部位间最小权重距离计算单元151考虑该角度误差计算部位间最小权重距离Rpq。

图12是用于说明考虑了角度误差的部位间最小权重距离的计算方法的例子的图。

如图12所示，对于关注部位p，部位长度为Lp，且设角度误差的最大值（应忽略的角度误差）为e时，部位的位置的错位M最大为Lp×tan（e）。同样，虽然图中未图示，但对于比较部位q，在部位长度为Lq的情况下，该位置可能会错位Lq×tan（e）。

因此，部位间最小权重距离计算单元151例如使用以下的式（2）计算部位粗度Dp的关注部位p和部位粗度Dq的比较部位q之间的部位间最小权重距离Rpq。部位粗度Dp、Dq、部位长度Lq及角度误差的最大值e例如包含于身体限制信息存储单元110所存储的身体限制信息中。

Rpq＝a×Dp＋b×Dq＋c×Lp×tan（e）＋d×Lq×tan（e）···（2）

在此，参数a～d是可根据对姿势估计要求的精度或使用姿势估计装置100的环境条件任意设定的常数。

即，在使用式（2）的情况下，部位间最小权重距离计算单元151可基于部位间的各部位的部位粗度、长度、及应忽略的角度误差计算部位间最小权重距离。

通过以上的方法，部位间最小权重距离计算单元151可以计算部位间最小权重距离，作为高精度地表示在存在其它部位时该其它部位的存在成为姿势估计的噪声的可能性高的范围的值。

以上，结束有关部位间最小权重距离的计算方法的例子的说明。

而且，在图8的步骤S1600中，部位间最小权重距离计算单元151判断是否将所有的其它部位作为比较部位q进行了处理。在残留未作为比较部位q进行处理的其它部位的情况下（S1600：“否”），部位间最小权重距离计算单元151返回到步骤S1300，选择下一其它部位，重复处理。另外，在将所有的其它部位作为比较部位q进行了处理的情况下（S1600：“是”），部位间最小权重距离计算单元151进入步骤S1700。

在步骤S1700中，部位间最小权重距离计算单元151判断是否将成为评价对象的所有部位作为关注部位p进行了处理。在残留未作为关注部位p进行处理的部位的情况下（S1700：“否”），部位间最小权重距离计算单元151返回到步骤S1100，选择下一部位，重复处理。另外，在将所有的部位作为关注部位p进行了处理的情况下（S1700：“是”），部位间最小权重距离计算单元151返回到图7的处理。

然后，在图7的步骤S2000中，姿势估计装置100在最大最小权重计算单元152中计算权重范围。

在此，说明权重范围的计算方法的例子。

部位数越多，人的姿势的自由度越高，识别为同一姿势的范围中的各部位的位置误差的累积越大。因此，最大最小权重计算单元152例如计算满足以下式（3）的最小权重Wmin及最大权重Wmax，将从最小权重Wmin到最大权重Wmax的范围设为权重的范围。

e’×（n－1）×Wmin＜c×Wmax···（3）

在此，n是部位数，u是目标分辨率（频度），e’是位置的误差范围（一致像素的频度）。部位数n如上所述是评价对象的部位的总数，例如为10。目标分辨率u及参数c是可根据对姿势估计要求的精度或使用姿势估计装置100的环境条件任意设定的常数。误差范围e’例如包含于身体限制信息存储单元110所存储的身体限制信息中。

通过以上那样的方法，最大最小权重计算单元152能够以部位数越多则越宽的方式决定权重范围。即，最大最小权重计算单元152能够对除一部分部位以外误差在误差范围内的姿势，进行不减小剩余部位的目标分辨率的加权。具体而言，最大最小权重计算单元152可以将最小权重Wmin固定为1等来决定最大权重Wmax，也可以将最大权重Wmax固定为1等来决定最小权重Wmin。或者，最大最小权重计算单元152也可以以最小权重Wmin和最大权重Wmax之和为1的方式决定各自的值。

以上，结束有关权重范围的计算方法的例子的说明。

然后，在步骤S3000中，姿势估计装置100执行加权计算处理。加权计算处理是基于各部位的部位间最小权重距离按每个基准模型对各部位计算并决定加权的处理。

图13是表示加权计算处理之一例的流程图。

首先，在步骤S3100中，按姿势加权处理单元153从成为评价对象的姿势中选择一个。

然后，在步骤S3200中，按姿势加权处理单元153从成为评价对象的部位中选择一个关注部位p。

然后，在步骤S3300中，按姿势加权处理单元153从其它部位中选择比较部位q。

然后，在步骤S3400中，按姿势加权处理单元153对与所选择的关注部位p和所选择的比较部位q的组合相对应的部位间最小权重距离Rpq所表示的范围内的比较部位q的像素数进行计数。然后，判断计数得到的像素数是否为规定的阈值以上。该规定的阈值为与姿势估计单元160中的部位的一致性的判断基准相对应的值。即，按姿势加权处理单元153根据像素数的计数值是否为规定的阈值以上来判断所选择的比较部位q是否位于部位间最小权重距离Rpq所表示的范围内。

例如利用相对于二维基准模型图的各部位所包含的像素数的比例来定义上述规定的阈值。在以50％定义阈值，二维基准模型图的某部位中包含的像素数为100的情况下，按姿势加权处理单元153判断计数得到的像素数是否为50以上。越增大阈值的值，部位包含于部位间最小权重距离Rpq内的概率越高，越减小阈值的值，部位间最小权重距离Rpq内所包含的部位的比例越低。

在上述的像素数为规定的阈值以上的情况下（S3400：“是”），按姿势加权处理单元153进入步骤S3500。这也就是表示，对于所选择的姿势，所选择的比较部位q位于关于所选择的关注部位p的部位间最小权重距离Rpq所表示的范围内。

另外，在上述的像素数小于规定的阈值的情况下（S3400：“否”），按姿势加权处理单元153进入步骤S3600。这也就是表示，对于所选择的姿势，所选择的比较部位q不位于关于所选择的关注部位p的部位间最小权重距离Rpq所表示的范围内。

在步骤S3500中，按姿势加权处理单元153对所选择的关注部位p将权重范围中的最小权重Wmin决定为其权重。即，按姿势加权处理单元153对即使是就存在一个位于其部位间最小权重距离所表示的范围内的其它部位的部位设定最小权重Wmin。

另一方面，在步骤S3600中，按姿势加权处理单元153判定是否将所有的其它部位作为比较部位q进行了处理。在残留未作为比较部位q进行处理的其它部位的情况下（S3600：“否”），按姿势加权处理单元153返回步骤S3300，选择下一其它部位并重复处理。另外，在将所有的其它部位作为比较部位q进行了处理的情况下（S3600：“是”），按姿势加权处理单元153进入步骤S3700。

在步骤S3700中，按姿势加权处理单元153对所选择的关注部位p将权重范围中的最大权重Wmax决定为其权重。即，按姿势加权处理单元153对位于其部位间最小权重距离所表示的范围内的其它部位一个都不存在的部位设定最大权重Wmin。

然后，在步骤S3800中，按姿势加权处理单元153判断是否将成为评价对象的所有部位作为关注部位p进行了处理。在残留未作为关注部位p进行处理的部位的情况下（S3800：“否”），按姿势加权处理单元153返回到步骤S3200，选择下一部位并重复处理。另外，在将所有的部位作为关注部位p进行了处理的情况下（S3800：“是”），按姿势加权处理单元153进入步骤S3900。

在步骤S3900中，按姿势加权处理单元153判断是否对成为评价对象的所有姿势进行了处理。在成为评价对象的姿势中残留未进行处理的姿势的情况下（S3900：“否”），按姿势加权处理单元153返回到步骤S3100，选择下一姿势并重复处理。另外，在对成为评价对象的所有姿势进行了处理的情况下（S3900：“是”），按姿势加权处理单元153作为加权信息输出将各部位的标识符和对该部位设定的权重值作成表后的信息，并返回到图7的处理。

然后，在图7的步骤S4000中，姿势估计装置100执行姿势估计处理。姿势估计处理是应用所决定的加权来估计包含于图像数据的人的姿势的处理。

图14是表示一例姿势估计处理的流程图。

首先，在步骤S4100中，身体候补估计单元130的部位区域估计单元131通过图像数据获取单元120从单眼相机200获取1张静态图像量的图像数据。

然后，在步骤S4200中，部位区域估计单元131进行估计基准部位的位置及朝向的处理（以下称作“基准部位估计处理”）。

在此，说明基准部位估计处理的详细例。基准部位估计处理大体上由估计人的肩关节位置的第一处理和估计人的躯体的朝向的第二处理构成。

首先，说明估计人的肩关节位置的第一处理。

部位区域估计单元131从图像数据检测欧米茄形状，基于欧米茄形状估计肩关节位置。

图15是用于说明欧米茄形状的图。

欧米茄（Ω）形状是包含人的头部及肩部的区域的特征性边缘形状，是人的身体中在使用监视相机等的情况下稳定地拍摄到的概率最高的形状。另外，头部及肩部与人的躯体之间的相对位置的变化少。因此，部位区域估计单元130首先检测欧米茄形状并检测出人的头部及肩部的位置，以这些为基准估计其它部位的部位区域，由此高精度地估计部位区域。

例如可使用足够数量的采样图像且使用利用Real Ada Boost(实时自适应增强)等制作的检测器检测欧米茄形状。作为用于检测器的特征量，可使用例如HoG（histogram of gradient，梯度直方图）特征量、Sparse(稀疏)特征量、Haar(哈尔)特征量等。另外，作为学习方法，例如除Boosting(增强型)方法外，还可以利用SVM（支持向量机）、神经网络等。

部位区域估计单元131首先从图像数据的图像420检测欧米茄形状421。在此，设为，欧米茄区域422的像素中构成欧米茄形状421的像素（边缘部分的像素）为数字信号“1”，其它像素为数字信号“0”。而且，将包含欧米茄形状421的较小的矩形区域决定为欧米茄区域422。在此，将欧米茄区域422的下面的边称为基准线423。

部位区域估计单元131去除包含于欧米茄区域422的噪声。具体而言，部位区域估计单元131将欧米茄区域422的像素中存在于被欧米茄形状421包围的区域的数字信号“1”设为噪声，将其修正为数字信号“0”。例如可通过进行所谓的闭运算(closing)处理来进行该修正。闭运算处理是指以规定像素量或规定的比例将图像区域进行放大或缩小的处理。通过该修正，可以提高后述的距离直方图的精度。

而且，部位区域估计单元131对基准线423的各位置获取从基准线423到欧米茄形状421的垂直距离。

图16是用于说明从基准线423到欧米茄形状421的垂直距离的图。

如图16所示，部位区域估计单元131以基准线423的方向为X轴，以基准线423的垂直方向为Y轴进行处理。部位区域估计单元131例如将从基准线423的左端起的像素数作为X坐标值。而且，部位区域估计单元131获取从基准线423到构成欧米茄形状421的像素为止的Y轴方向的像素数、即到欧米茄形状421的垂直距离，作为垂直距离d（X）。构成欧米茄形状421的像素例如是数字信号“1”的像素中距基准线423最近的像素。

而且，部位区域估计单元131生成使n个（n为正的整数）垂直距离d（X）的数据与X坐标建立了对应关系的距离直方图。

图17是表示一例部位区域估计单元131基于图15所示的欧米茄区域422生成的距离直方图的图。

如图17所示，部位区域估计单元131在XY坐标系中以垂直距离d（X）为Y轴的值，生成表示垂直距离d（X）的分布的距离直方图430。距离直方图430成为如下的形状:以与肩部相对应的形状隆起，其中，在与头部的中心部相对应的范围突出。

而且，部位区域估计单元131应用规定的阈值Th对所生成的距离直方图430进行二值化处理。具体而言，部位区域估计单元130将垂直距离d（X）为阈值Th以上的X坐标处的Y坐标值置换为“1”，将垂直距离d（X）小于阈值Th的X坐标处的Y坐标值置换为“0”。将阈值Th设定为如下的值，即，在欧米茄区域422中以高的概率比肩部上端的垂直距离d（X）大且比头部上端的垂直距离d（X）小的值。此外，二值化处理不限于此，例如也可以为所谓的大津二值化（大津法）等其它方法。

图18是一例将图17所示的距离直方图430进行了二值化处理后的结果。

如图18所示，成为“1”的范围441表示头部的中央部分的图像区域（以下称作“头区域”）的X坐标的范围。另外，包含成为“1”的范围441的整体的范围442表示肩部的图像区域（以下称作“肩区域”）的X坐标的范围。因此，部位区域估计单元131提取图像数据的图像420中的欧米茄区域422的X轴方向范围作为肩区域的X轴方向范围，提取成为“1”的范围441的X轴方向范围作为头区域的X轴方向范围。

而且，部位区域估计单元131基于提取到的肩区域及头区域计算表示基准部位的位置及朝向的各种参数。

图19是用于说明表示基准部位的各种参数的图。

在此，如图19所示，部位区域估计单元131使用H（xh，yh）、RSE（x_rse）、RD（x_rd）、RS（x_rs，y_rs）、RSU（y_rsu）、及LS作为表示基准部位的位置的记号。此外，附于各记号的括弧的内容表示XY坐标系中的参数。H是头部的重心位置。RSE是右肩的端部的位置。RD是从头部的重心到右肩的端部为止的X轴方向的距离。RS是右肩的关节的位置（以下称作“右肩位置”）。RSU是右肩的顶部的位置。LS是左肩的关节的位置（以下称作“左肩位置”）。

部位区域估计单元131例如如下计算各参数的值。

首先，部位区域估计单元131从基于二值化处理的结果提取出的肩区域，基于人（的躯体）是否朝向单眼相机200侧来决定右肩区域。部位区域估计单元130基于头区域的颜色信息的肤色成分是否为规定的阈值以上来判断人是否朝向单眼相机200侧。在此，设为人朝向单眼相机200侧，面对图像看，左侧的肩区域被决定为右肩区域。

其次，部位区域估计单元131计算右肩区域的重心位置作为右肩位置RS（x_rs，y_rs）。另外，部位区域估计单元130也可以计算头部的重心位置H（xh，yh），使用重心位置H（xh，yh）和基础的欧米茄形状421之间的Y轴方向的距离（以下称作“头部高度Δh”）计算右肩位置RS（x＿rs，y_rs）。具体而言，部位区域估计单元131例如将相对于头部高度Δh成为预先决定的比的值设为从头部的重心位置H到右肩位置RS为止的X轴方向的距离（xh－x_rs）。另外，部位区域估计单元131例如也可以将从肩的高度降低头部高度Δh的一半的值Δh／2的位置设为右肩位置RS的Y坐标y_rs。

另外，部位区域估计单元131计算欧米茄形状421的边缘的倾斜（即距离直方图的变化率）越过阈值的点，作为右肩的端部的位置RSE（x_rse）。而且，部位区域估计单元130计算头部的重心位置H和右肩的端部的位置RSE之间的X轴方向的距离RD（x_rd）。

最后，部位区域估计单元131估计为右肩位置RS位于在X轴方向上距头部的重心位置H的距离为RD的80％的位置。即，部位区域估计单元131利用x_rs＝x_rse＋0.2×RD计算右肩位置RS的X坐标x_rs。另外，部位区域估计单元131计算通过右肩位置RS且垂直的直线（与Y轴平行的直线）和欧米茄形状421的边缘的交点，作为右肩的顶部的位置RSU（y_rsu）。而且，部位区域估计单元131利用y_rs＝y_rsu－0.2×RD计算右肩位置RS的Y坐标y_rs。

另外，部位区域估计单元131也同样计算左肩位置LS。

此外，各参数的计算方法不限于上述例。例如可以将肩宽（例如右肩位置RS和左肩位置LS之间的距离）等部位长度作为身体限制信息之一存储于身体限制信息存储单元110。在这种情况下，部位区域估计单元131也可以使用该身体限制信息计算各参数。

以上，结束有关估计人的肩关节位置的第一处理的说明。

下面，说明估计人的躯体的朝向的第二处理。

在本实施方式中，部位区域估计单元131参照作为身体限制信息之一而预先保持于身体限制信息存储单元110的基准部位对应表进行第二处理。

基准部位对应表是将头部的重心位置H、右肩位置RS和左肩位置LS的组合，与根据该组合所表示的位置估计的身体朝向建立对应关系而记述的表。即，基准部位表是记述各部位的相对位置关系的表。此外，以下将头部的重心位置H、右肩位置RS和左肩位置LS的组合称作“基准部位的位置”。另外，将根据基准部位的位置估计的身体朝向称作“基准部位的朝向”。如上所述，基准部位是表示人的头部及肩部的欧米茄形状的部分。因此，基准部位的朝向是指人的身体（躯体）的朝向。

部位区域估计单元131从基准部位对应表导出与根据图像数据计算出的基准部位的位置相对应的基准部位的朝向。

此外，优选，所保持的基准部位对应表中记述的基准部位的位置、以及部位区域估计单元131根据图像数据计算的基准部位的位置是不依赖于人的画面上的大小的归一化后的值。具体而言，部位区域估计单元131例如以头部的重心位置H为原点，使用以头部的重心位置H和右肩位置RS或左肩位置LS之间的长度成为1的方式归一化后的值导出基准部位的朝向。

另外，在基准部位对应表中也可以记述右肩位置RS及左肩位置LS。另外，在基准部位对应表中也可以记述由通过头部的重心位置H和右肩位置RS或左肩位置LS的线、和通过头部的重心位置H的垂直的直线（以下称作“头部垂直线”）所成的角。另外，在基准部位对应表中也可以记述将头部的重心位置H和右肩位置RS之间的距离设为1时的头部的重心位置H和左肩位置LS之间的距离。部位区域估计单元131通过计算与记述于基准部位对应表中的参数相对应的参数，导出基准部位的朝向。

图20是表示一例基准部位对应表的内容的图。

如图20所示，基准部位对应表450中，与标识符451相对应记述投影角度452、左肩位置LS的坐标453、头部的重心位置H的坐标454、及基准部位的朝向455。例如以右肩位置RS为原点，使用与画面的二维坐标系平行的规定的二维坐标系来表示各坐标。投影角度452例如是该规定的二维坐标系相对于图4中说明过的三维坐标系410的XZ平面的角度（即图4所示的设置角度θ）。另外，例如利用相对于图4中说明过的三维坐标系410的XYZ轴的每个轴的旋转角度表示基准部位的朝向455。此外，也可以使用将臂的部位长度或身长等其它长度设为1的坐标系来表示各坐标。

这样，部位区域估计单元131使用身体限制信息估计基准部位的位置及朝向。

以上结束有关估计人的躯体的朝向的第二处理的说明。即，结束基准部位估计处理的说明。

接着，在图14的步骤S4300中，部位区域估计单元131进行基于估计出的基准部位的位置及朝向对每个部位估计部位区域的处理（以下称作“部位区域估计处理”）。

在此，说明部位区域估计处理的详细例。

在本实施方式中，部位区域估计单元131参照作为身体限制信息之一预先保持于身体限制信息存储单元110的部位区域对应表进行部位区域估计处理。

部位区域对应表是将基准部位的位置及朝向与其它部位的部位区域建立对应关系而记述的表。

部位区域估计单元131根据部位区域对应表导出与根据图像数据估计出的基准部位的位置及朝向相对应的部位区域。

例如利用图像数据的图像的像素位置定义部位区域。因此，部位区域估计单元131对图像数据的图像整体的所有像素，判断各像素是否是属于任一部位的部位区域的像素。

图21是表示一例部位区域对应表的内容的图。

如图21所示，部位区域对应表460中，与标识符461建立对应关系地记述投影角度462、头肩区域（基准部位）的位置463、头肩区域（基准部位）的朝向464、及各部位的区域465。

例如利用图像的二维坐标系的值表示各位置及区域。投影角度462例如是该规定的二维坐标系相对于图4中说明过的三维坐标系410的XZ平面的角度（即图4所示的设置角度θ）。头肩区域的位置463例如是右肩位置RS。例如利用相对于图4中说明过的三维坐标系410的XYZ轴的每个轴的旋转角度表示头肩区域的朝向464。例如利用将区域以圆近似的情况下的该圆的中心坐标和半径表示各部位的区域465。半径即是部位长度。

此外，在标识符461与基准部位对应表450的标识符451相同的情况下，也可以不必将头肩区域的朝向464记述于部位区域对应表460。

此外，在估计部位区域时，也可以使用其它种类的身体限制信息。另外，身体限制信息也可以取上述的结构以外的结构。

部位区域估计单元131在结束部位区域的估计时，将针对图像数据的图像整体的所有像素，按每个像素表示是否是部位的部位区域的信息作为部位区域数据输出到部位候补提取单元132。

部位区域数据例如可具有针对图像数据的所有像素位置（i、j），将表示是否与任一部位的部位区域相符的像素信息Kij排列所得的构造。像素信息Kij的各要素例如在属于对应的部位的部位区域的情况下取“1”，在不属于的情况下取“0”。像素信息Kij例如象Kij＝［k1，k2］那样具有与部位数相同数量的维。在此，k1与右上臂的部位区域对应，k2与右前臂的部位区域对应。

例如，部位区域估计单元131在判定为某像素位置Kab包含于右上臂的部位区域但不包含于右前臂的部位区域的情况下，生成Kab＝［1，0］这样的像素信息。部位区域估计单元131生成这样生成的各像素的像素信息的集合，作为部位区域数据。

此外，基于部位区域数据的部位区域的表示方法不限于上述例。例如，部位区域数据可以按图像中预先设定的每个部分区域表示是与哪一部位的部位区域相符，也可以按每个部位表示部位区域的外缘的坐标。

此外，在将基准部位的位置归一化后的位置用于基准部位估计处理的情况下，优选在部位区域对应表中记述与归一化后的基准部位相对应的部位区域。另外，在部位区域数据中，与上述的基准部位对应表的情况相同，也可以记述右肩位置RS及左肩位置LS等其它信息。部位区域估计单元131通过计算与部位区域对应表中记述的参数相对应的参数，导出各部位的部位区域。

图22是表示一例部位区域数据的内容的图。在此，为便于说明，将处于直立状态的情况下的各部位的位置一并图示。

如图22所示，部位区域数据在图像数据的图像420中表示右上臂的部位区域471和右前臂的部位区域472。这些部位区域471、472如上所述是以先估计出的基准部位473的位置及朝向为基准估计出的。

这样，部位区域估计单元131使用身体限制信息估计各部位的部位区域。

以上结束部位区域估计处理的说明。

接着，在图14的步骤S4400中，部位候补提取单元132按每个部位针对部位区域进行部位候补的提取，生成表示提取出的部位候补的部位候补信息。

在此，说明作为部位候补信息生成估计似然图的处理（以下称作“估计似然图生成处理”）的细节的第一例。

首先，部位候补提取单元132根据图像数据对各部位的部位区域内的每个像素判别适于表示该部位的位置及朝向的状态的图像特征量，计算对部位存在的似然度进行表示的似然值。而且，部位候补提取单元132使用根据图像数据计算出的似然值生成表示各像素的似然值的分布的估计似然图。似然值可以是如0～1的范围那样归一化后的值，也可以是包含正的整数和负数的实数。

作为从图像识别关注对象的方法，例如可采用如下的技术，即使用整合多个弱识别器而成的强识别器识别出脸部作为图像中的关注对象的技术。该技术中，将以矩形信息为基础的多个弱识别器的总和通过AdaBoost(自适应增强)进行整合，来制作强识别器，且将强识别器串联连接，识别图像中的关注对象。另外，作为图像特征量，例如可采用SIFT（scale-invariant featuretransform，尺度不变特征变换）特征量（例如参照非专利文献2及非专利文献3）。SIFT特征量由128维的向量构成，是按每个像素计算的值。由于SIFT特征量不受成为检测对象的人的尺度变化、旋转、及平行移动的影响，所以特别对如臂那样可在各个方向旋转的部位的检测有效。即，SIFT特征量适合由两个以上的部位的相对的关节位置及角度定义姿势的本实施方式。

在将使用SIFT特征量的方法适用于本实施方式的情况下，按右上臂（k＝1）、右前臂（k＝2）等每个部位区域预先通过机器学习而生成强识别器Hk（k＝1，2），并保持于部位候补提取单元132。通过AdaBoost算法生成识别器Hk。即，在生成强识别器Hk时，对于预先按每个部位准备的多个学习图像反复进行学习，直至能够以所希望的精度判定是否是右上臂、及是否是右前臂为止。而且，通过将多个弱识别器串联连接而生成强识别器Hk。

部位候补提取单元132在按每个部位及每个像素计算出图像特征量时，将该图像特征量输入到强识别器Hk。然后，部位候补提取单元132计算对构成该强识别器Hk的各弱识别器的输出，乘以按每个弱识别器预先得到的可靠度α所得的值的总和。然后，部位候补提取单元132从计算出的总和减去规定的阈值Th，计算每个部位及每个像素的似然值ck。在此，c1表示右上臂的似然值，c2表示右前臂的似然值。

部位候补提取单元132将整合各部位的似然值而成的每个像素的似然值Cij设为Cij＝［c1，c2］。而且，部位候补提取单元132将图像整体的所有像素的似然值Cij作为估计似然图输出到姿势估计单元160。

部位候补提取单元132也可以针对各像素判断该像素是否包含于任一部位区域。而且，也可以是，如果像素包含于任一部位区域，则部位候补提取单元132使用该部位的识别器计算似然值，如果不包含，则将该部位的似然值设为0。换言之，部位候补提取单元132也可以将由部位区域估计单元131输出的像素信息的行列式（Kij）和与部位区域无关地计算出的各像素的似然值的行列式（Cij）相乘所得的结果设为最终的估计似然图。

图23是表示一例估计似然图的图。在此，仅表示估计似然图中一个部位（例如为右上臂）的似然值，越是似然值高的像素，越是标注浓的网格。如图23所示，估计似然图478表示部位存在的似然度的分布。

例如在将部位k的似然值表示为ck，并存在n个部位的情况下，似然图的每个像素的信息为似然向量Cij＝［c1，c2，…，ck，…，cn］这样的数据构造。

这样，部位候补提取单元132生成估计似然图。

以上结束有关估计似然图生成处理的细节的第一例的说明。

接着，说明估计似然图生成处理的细节的第二例。

部位候补提取单元132例如如专利文献1所记载的技术那样，通过从包含于图像数据的边缘提取平行线，生成估计似然图。

在这种情况下，部位候补提取单元132例如参照作为身体限制信息之一预先保持于身体限制信息存储单元110的、将肩关节的长度和各部位的标准粗度的值建立对应关系而得到的对应表，进行平行线的提取。部位候补提取单元132一边使进行判定的方向旋转360度，一边在部位区域内检索以相当于该部位的标准粗度的距离隔开的平行线的组。而且，部位候补提取单元132在符合的平行线的组存在的情况下，重复进行对由这些平行线包围的区域的各像素进行投票的处理，基于最终的各像素的投票数生成估计似然图。

在是这种方法的情况下，估计似然图及二维基准模型图按每个像素及每个部位包含平行线的方向和投票数（以下称作“方向的似然值”）。例如，在将平行线的角度分类为8个的情况下，每个像素及每个部位的似然值成为与8方向相对应的8维的值。进而，例如在将平行线的宽度分类为2种的情况下，每个像素及每个部位的似然值成为2×8＝16维的值。此外，成为投票对象的平行线的距离和角度也可以按每个部位而不同。通过多次求平行线的宽度，并使用其中的似然值最高的宽度的似然值，能够减少体型或服装的不同带来的影响来求似然。

而且，部位候补提取单元132例如按每个部位将方向的似然值最高的方向判定为该部位的主要的边缘方向。此时，姿势估计单元160也可以按每个方向取所有像素的似然值的合计值，将其合计值最高的方向判定为方向的似然值最高的方向。

这样，部位候补提取单元132使用身体限制信息生成估计似然图。

以上结束有关估计似然图生成处理的细节的第二例的说明。

接着，在步骤S4500中，姿势估计单元160基于适宜地进行了补充的部位候补信息判断被摄体的姿势是否与预先设定的姿势的任一个相符。该预先设定的姿势是指加权后的二维基准模型中被设定为判定对象的姿势。

姿势估计单元160基于估计似然图是否与任一加权后的二维基准模型图一致来进行该判断。在这种情况下，姿势估计单元160例如进行如下的一致度判定处理，该一致度判定处理是基于其一致度是否为规定的水平以上来判断加权后的二维基准模型图和估计似然图是否一致的处理。

在此，说明一致度判定处理的详细例。首先，说明与采用上述的估计似然图生成处理的第一例的情况相对应的一致度判定处理的细节的第一例。

姿势估计单元160首先使用规定的阈值将估计似然图二值化。具体而言，姿势估计单元160在每个像素及每个部位的似然值为规定的阈值以上的情况下将其似然值变换为数字信号“0”，在小于规定的阈值的情况下变换为数字信号“1”。

图24是表示将图23所示的估计似然图二值化后的状态的一例的图。在此，数字信号“1”的像素由灰色表示，数字信号“0”的像素由白色表示。如图24所示，二值化后的估计似然图479表示部位存在的似然度高的部分的分布。

而且，姿势估计单元160按每个二维基准模型图，在估计似然图和加权模型图之间取与对每个像素二值化后的似然值的积。进而，姿势估计单元160取权重值的积，将关于所有像素及所有部位的值的和设为评价值。具体而言，姿势估计单元160将估计似然图和加权模型图以规定的位置关系重叠，按每个像素将二值化后的似然值信息和权重信息相乘，求关于所有像素及部位的相乘所得的值的和。

姿势估计单元160基于肩位置信息决定估计似然图和二维基准模型图的重合的位置关系。在两肩间的距离不同的情况下，也可以将二维基准模型图放大缩小后进行重合。进而，姿势估计单元160也可以通过以肩位置为中心进行移动及旋转而逐渐错位，对各位置关系进行上述的运算处理。而且，姿势估计单元160也可以获取所求出的评价值中的最大值作为表示与二维基准模型图之间的一致度的最终的评价值。由此，即使在估计似然图的肩位置信息存在误差的情况下，通过探索最佳的重叠位置，能够提高估计精度。而且，姿势估计单元160在该评价值为规定的阈值以上的二维基准模型图存在时，判断为该二维基准模型图和估计似然图一致。预先通过学习等将阈值设定为适宜的值。

此外，姿势估计单元160也可以不必将估计似然图二值化。在这种情况下，姿势估计单元160可以更高精度地判定二维基准模型图和估计似然图之间的一致度。另外，在进行了二值化的情况下，姿势估计单元160能够快速地进行一致度的判定。

这样，姿势估计单元160判定估计似然图和二维基准模型图的一致度。

以上结束有关一致度判定处理的第一例的说明。

接下来，说明与采用上述的估计似然图生成处理的第二例的情况相对应的一致度判定处理的细节的第二例。

姿势估计单元160以按每个部位使得各自的主要的边缘方向一致的方式使估计似然图和二维基准模型图重合，来计算一致度。以后的处理与上述的第一例相同。

这样，考虑边缘的方向的方法由于能够对估计似然图和二维基准模型图之间的重合位置关系施加限制，所以能够减轻处理负荷。

以上，结束有关一致度判定处理的第二例的说明。

此外，作为估计似然图生成处理的第三例，姿势估计单元160在计算估计似然图和二维基准模型图之间的一致度时，也可以仅使用边缘方向的信息。

在此，说明估计似然图生成处理的第三例。

例如，姿势估计单元160将在多个指定部位间各指定部位的主要的边缘方向所成的角的一致度设为表示估计似然图和二维基准模型图之间的一致度的评价值。具体而言，对估计似然图和加权模型图的各指定部位，求主要的边缘方向所成的角的差，取与该差的值对应的部位的权重的积，将所有部位的和作为评价值。值越小，则成为一致度越高的评价值。而且，姿势估计单元160在评价值为规定的范围内时，判定为被摄体的姿势处于与相应的二维基准模型图对应的姿势。

边缘方向与部位轴的方向对应。因此，这样的姿势估计相当于，根据图像数据估计各部位轴的方向及各关节的角度，评价估计出的部位轴方向及关节角度在各姿势中与基准模型之间的一致度。

这样，仅使用边缘方向判定一致度的方法由于可以不需要按每个像素进行重复计算来求评价值的处理，所以能够进一步降低处理负荷。另外，与各二维基准模型图对应的权重值，只要具有只是部位的标识符和权重的值的信息，则可以求评价值，因此，能够减轻加权的处理，能够消减权重值的数据量。

此外，在采用估计似然图生成处理的第三例的情况下，对于一致度判定处理的细节，可以与一致度判定处理的第一例相同地进行处理。

以上，结束有关估计似然图生成处理的第三例的说明。

在估计似然图与任一加权模型图一致的情况下（S4500：“是”），姿势估计单元160进入步骤S4600。另外，在加权模型图和估计似然图不一致的情况下（S4500：“否”），姿势估计单元160进入步骤S4700。

在步骤S4600中，姿势估计单元160将对应于与估计似然图一致的加权模型图的姿势通过信息输出装置300通知给用户，并进入步骤S4700。

在步骤S4700中，部位区域估计单元131判断是否存在通过用户操作等产生的处理结束的指示。在不存在处理结束的指示的情况下（S4700：“否”），部位区域估计单元131返回到步骤S4100，移至对于下一静态图像的处理。另外，在存在处理结束的指示的情况下（S4700：“是”），部位区域估计单元131结束一连串的处理。

通过这样的动作，姿势估计装置100可以在减小噪声多的部位（密集部分）的似然的影响且增大噪声少的部位（分散部分）的似然的影响的状态下进行姿势估计。由此，姿势估计装置100能够进行对人的微细的构造上的偏差具有鲁棒性的姿势估计。

此外，也可以以相反的顺序执行图7的步骤S1000的部位间最小权重距离计算处理和步骤S2000的权重范围计算处理。

如上，本实施方式的姿势估计装置100按每个姿势根据部位间最小权重距离所示的范围内是否存在其它部位，对各部位进行加权。由此，姿势估计装置100可以高精度地判别可大量含有噪声的密集部分和对姿势赋予特征的分散部分，可以减小密集部分带来的影响且增大分散部分带来的影响而进行姿势估计。因此，本实施方式的姿势估计装置100可以高精度地估计具有关节的人的姿势。

此外，加权计算单元150也可以不以部位为单位，而以部位内的像素为单位进行加权处理。

在这种情况下，具体而言，作为图13的S3200的处理，按姿势加权处理单元153选择关注像素来取代选择关注部位。进而，作为步骤S3400的处理，按姿势加权处理单元153判断与包含关注像素的部位p和比较部位q的组合对应的部位间最小权重距离Rpq所表示的范围内是否存在关注像素。而且，如果存在相符的关注像素（S3400：“是”），则按姿势加权处理单元153进入步骤S3500，决定针对关注像素的部位p的权重。另外，如果不存在相符的关注像素（S3400：“否”），则按姿势加权处理单元153，进入步骤S3700，决定针对关注像素的部位p的权重。此外，在关注像素包含于多个部位的情况下，按姿势加权处理单元153对多个部位间最小权重距离Rpq进行判断。而且，作为步骤S3800的处理，按姿势加权处理单元153判断是否对所有的像素进行了处理。

按每个像素进行的每个姿势的加权信息，具体而言成为如下的映射图信息，即按每个像素和每个部位记述有在包含于该部位的情况下取“1”，在不包含的情况下取“0”的标记、和包含于该部位的情况下与该部位对应的权重的映射图信息。这样，在对每个像素计算权重并应用于姿势估计的情况下，姿势估计装置100能够更高精度地进行姿势估计。

另外，加权计算单元150也可以将各部位的重心或部位轴的中心点的位置作为各部位的代表位置使用，进行部位间最小权重距离内是否存在其它部位等的判定，进行各部位的权重的计算。由此，姿势估计装置100可以使加权的处理高速化，特别是适合于上述的估计似然图生成处理的第三例。

另外，身体候补估计单元130也可以不是估计部位候补而是估计剪影，作为身体候补。在这种情况下，身体候补估计单元130例如使用非专利文献1记载的方法并通过彩色图像的背景差分提取剪影。而且，身体候补估计单元130将利用取“1”或“0”的值表述表示各像素是否包含于剪影的信息而成的映射图作为估计似然图输出。但是，在这种情况下，估计似然图中不包含部位的识别信息。

此外，在本实施方式中将姿势估计装置100中作为人检测对象的图像数据设为由单眼相机200拍摄到的图像数据，但不限于此。姿势估计装置100也可以将由立体相机或多个相机拍摄到的图像的数据作为人检测对象。在使用立体相机的图像数据的情况下，姿势估计装置100也可以使用由单侧相机拍摄的图像数据和根据立体相机的设置参数得到的被摄体的位置信息。另外，在使用多个相机的图像数据的情况下，姿势估计装置100也可以使用由这些相机中的一台相机拍摄的图像数据和根据各相机的设置参数得到的被摄体的位置信息。

另外，在基准部位的位置及朝向已知的情况或被指定的情况下，部位区域估计单元131也可以不进行上述的基准部位估计处理。另外，例如在人步行的方向确定了，基准部位的朝向大致固定的情况下，部位区域估计单元131也可以预先保持身体的朝向信息。

另外，部位区域估计单元131进行的部位区域的估计的方法不限于上述的例。例如，部位区域估计单元131也可以从图像数据提取图像的边缘部分（以下简称为“边缘”），基于由边缘包围的区域的Y坐标的值的范围估计各部位区域。具体而言，例如部位区域估计单元131以在由边缘包围的区域内将从Y坐标的值最高的位置到20％的区域称为头部的部位区域的方式进行估计。同样，例如部位区域估计单元131以将15％～65％的区域称为躯体的部位区域、将55％～85％的区域称为膝上的部位区域、将75％～100％的区域称为膝下的部位区域的方式进行估计。在这种情况下，与各区域的百分比对应的值成为身体限制信息。

另外，部位区域估计单元131也可以通过在基础的动态图像数据中的图像间取背景差分来提取动体，且将包含提取到的区域的区域整体作为各部位的部位区域的候补。由此，能够实现估计部位区域时的处理的高速化。

另外，姿势估计装置100也可以按距基准部位从近到远的顺序一个一个地估计部位的位置，通过重复基于估计出的位置估计下一部位的部位区域的处理，估计各关注部位的部位区域。

另外，姿势估计装置100也可以不必进行部位区域估计。在这种情况下，部位候补提取单元132对图像的所有区域均一地进行似然值的计算。

另外，在本实施方式中，加权计算单元150决定2阶段的加权，但也可以决定3阶段以上（以下称作“多阶段”）的加权。

在此，说明决定多阶段的加权的方法的例子。

首先，说明决定多阶段的加权的第一方法。第一方法是以按每个姿势而不同的部位间的最大距离（身体扩展程度）为基准使权重的分布变化的例子。

按姿势加权处理单元153按每个部位求满足身体限制信息的动作的与其它部位之间的距离（关注部位p和比较部位q的距离）的最大值R'p。

而且，按姿势加权处理单元153对每个姿势，及关注部位p和比较部位q的每个组合，例如使用下式（4）计算权重Wpq。在此，R″pq是该姿势下与其它部位之间的距离（关注部位p和比较部位q的距离）。

Wpq＝（Wmax－Wmin）

×（R″pq－Rpq）／（R'p－Rpq）＋Wmin

···（4）

式（4）中，在R″pq＝R'p时，Wpq＝Wmax。而且，按姿势加权处理单元153按每个姿势及每个关注部位p将计算出的权重Wpq的最小值决定为最终的权重。

接着，说明决定多阶段的加权的第二方法。第二方法是不求与其它部位之间的距离的最大值R'p而是根据预先确定的常数多阶段地设定权重的例子。在此，说明设定多阶段的权重的例子。

首先，按姿势加权处理单元153按每个姿势及每个关注部位p判断距离R″pq为该部位间最小权重距离Rpq以下的比较部位q是否存在。在该比较部位q存在的情况下，按姿势加权处理单元153决定最小权重Wmin作为该姿势的关注部位p的权重。

接着，按姿势加权处理单元153按每个姿势对未决定权重的关注部位p判断距离R″pq为该关注部位p和比较部位q之间的部位间最小权重距离Rpq的常数倍的规定的值以下的比较部位q是否存在。该规定的值在常数为0.5的情况下为Rpq×2。而且，在这种情况下，判断是否为R″pq×0.5≦Rpq。在该比较部位q存在的情况下，按姿势加权处理单元153决定最小权重Wmin和最大权重Wmax之差的常数倍的值作为该姿势下的关注部位p的权重。该值在常数为0.5的情况下，为（Wmax－Wmin）×0.5＋Wmin。

最后，按姿势加权处理单元153按每个姿势对未决定权重的关注部位p决定最大权重Wmax作为其权重。该关注部位p是距离R″pq为该关注部位p和比较部位q之间的部位间最小权重距离Rpq的常数倍的规定的值以下的比较部位q不存在的部位。

姿势估计装置100通过进行这样的多阶段的加权，能够极细微地对应密集的程度来设定各部位对估计精度的影响度，能够实现姿势估计的高精度化。

另外，在本实施方式中，姿势估计单元160直接从基准模型存储单元140获取基准模型（二维基准模型图），但不限于此。例如在图25所示的构成中，姿势估计单元160也可以经由加权计算单元150获取基准模型。在这种情况下，加权计算单元150例如接收来自姿势估计单元160的请求，每次都计算加权，只要将加权信息与此时获取的基准模型一同输出即可。另外，加权计算单元150也可以将二维基准模型图的各值变更为反映了加权的值，输出变更后的二维基准模型图。

另外，在本实施方式中，加权计算单元150被配置于与姿势估计单元160相同的装置，但不限于此。加权计算单元150例如也可以配置于与姿势估计单元160不同的装置。

图26是表示将加权计算单元150和姿势估计单元160配置于不同的装置的姿势估计系统的结构的框图。

如图26所示，姿势估计系统500具有进行直到加权决定为止的处理的加权决定装置100－1、和应用加权进行姿势估计的处理的姿势估计装置100－2。

加权决定装置100－1具有第一身体限制信息存储单元110－1、第一基准模型存储单元140－1、加权计算单元150、第一加权存储单元170－1及第一通信处理单元180－1。另外，姿势估计装置100－2具有第二身体限制信息存储单元110－2、第二基准模型存储单元140－2、第二加权存储单元170－2、图像数据获取单元120、身体候补估计单元130、姿势估计单元160及第二通信处理单元180－2。

第一通信处理单元180－1及第二通信处理单元180－2以可通信的方式通过互联网等通信网络600连接。

第一身体限制信息存储单元110－1及第一基准模型存储单元140－1相当于图3的身体限制信息存储单元110及基准模型存储单元140。第一加权存储单元（加权信息存储单元）170－1存储表示加权计算单元150所决定的加权的加权信息。另外，第一身体限制信息存储单元110－1、第一基准模型存储单元140－1、及第一加权存储单元170－1分别与第一通信处理单元180－1连接。

第二通信处理单元180－2（加权信息获取单元）通过与第一通信处理单元180-1进行通信，获取存储于第一身体限制信息存储单元110-1、第一基准模型存储单元140-1及第一加权存储单元170-1的各信息。而且，第二通信处理单元180-2将所获取的身体限制信息、基准模型及加权信息分别存储于第二身体限制信息存储单元110－2、第二基准模型存储单元140－2及第二加权存储单元170－2。即，在加权决定装置100－1和姿势估计装置100－2中存储共同的身体限制信息、基准模型及加权信息。

另外，身体候补估计单元130参照第二身体限制信息存储单元110－2进行处理，姿势估计单元160参照第二基准模型存储单元140－2及第二加权存储单元170－2进行处理。

利用这种姿势估计系统500，也能够降低噪声容易产生的密集部分的影响来进行姿势估计，能够高精度地估计具有关节的人的姿势。

另外，通过这样将装置分离，能够简化进行姿势估计的装置的结构，并且能够实现高精度的姿势估计。另外，可以在多个装置共享计算出的加权信息及其它信息来进行姿势估计，因此，当在多个场所进行姿势估计处理的情况下，能够提高利便性，进而能够降低系统整体的成本。

此外，从加权决定装置100－1向姿势估计装置100－2传送信息也可以不通过通信而是利用存储有信息的记录介质进行。在这种情况下，加权决定装置100－1及姿势估计装置100－2需要具备用于进行向记录介质进行的信息记录及从记录介质进行的信息读取的接口。另外，在这种情况下，加权决定装置100－1及姿势估计装置100－2也可以不必具备第一通信处理单元180－1及第二通信处理单元180－2。

另外，本发明在以上说明的各实施方式中说明了对人的姿势估计的应用，但不限于此，也可以适用于机器人等具有通过关节连接的多个部位的人以外的各种物体的姿势估计。

2011年3月2日提出的日本专利申请特愿2011－45012中包含的说明书、附图及摘要的公开内容全部引用于本申请。

工业实用性

本发明作为能够高精度地估计人等具有关节的物体的姿势的姿势估计装置、姿势估计系统、及姿势估计方法是有用的。

Claims (10)

1.姿势估计装置，基于拍摄具有由关节连接的多个部位的物体所得到的图像数据进行所述物体的姿势估计，具有：

基准模型存储单元，其按每个所述姿势存储规定所述部位的位置的基准模型；

加权计算单元，其按每个所述姿势以密集部分的权重小的方式对所述部位进行加权；以及

姿势估计单元，其应用所述加权对所述基准模型和所述物体进行比较，由此来估计所述物体的姿势。

2.如权利要求1所述的姿势估计装置，

所述加权计算单元具有：

部位间最小权重距离计算单元，其按每个所述部位计算部位间最小权重距离，该部位间最小权重距离表示在存在其它部位时该其它部位的存在成为所述估计的噪声的可能性高的范围；

最大最小权重计算单元，其保持权重的范围；以及

按姿势加权处理单元，其按每个所述姿势，在所述权重的范围内，对所述基准模型的所述部位中的、在其所述部位间最小权重距离所表示的范围内存在与该部位间最小权重距离对应的所述其它部位的所述部位，决定小的权重，对在其所述部位间最小权重距离所表示的范围内不存在与该部位间最小权重距离对应的所述其它部位的所述部位，决定大的权重。

3.如权利要求1所述的姿势估计装置，

所述最大最小权重计算单元基于所述姿势估计单元中作为所述比较的对象的部位的数量，以所述部位的数量越多则越宽的方式决定所述权重范围。

4.如权利要求3所述的姿势估计装置，

所述部位间最小权重距离计算单元对每个所述部位基于该部位的部位粗度计算所述部位间最小权重距离。

5.如权利要求4所述的姿势估计装置，

所述部位间最小权重距离计算单元对每个所述部位基于该部位的在所述姿势估计中应忽略的角度误差计算所述部位间最小权重距离。

6.如权利要求5所述的姿势估计装置，

所述按姿势加权处理单元对每个所述姿势及每个所述部位，与其它部位之间的距离的最小值越小则决定越小的权重。

7.如权利要求6所述的姿势估计装置，

还具有存储身体限制信息的身体限制信息存储单元，该身体限制信息作为与所述物体的体格或姿势有关的限制条件包含所述部位粗度及所述角度误差，

所述部位间最小权重距离计算单元从所述身体限制信息存储单元获取所述部位粗度及角度误差。

8.如权利要求7所述的姿势估计装置，

所述物体是人。

9.姿势估计系统，其包含姿势估计装置，该姿势估计装置基于拍摄具有由关节连接的多个部位的物体所得到的图像数据进行所述物体的姿势估计，

该姿势估计系统具有加权决定装置，该加权决定装置具有：

第一基准模型存储单元，其按每个所述姿势存储规定所述部位的位置的基准模型；加权计算单元，其按每个所述姿势以密集部分的权重小的方式对所述部位进行加权；以及加权信息存储单元，其存储表示所述加权的加权信息，

所述姿势估计装置具有：

第二基准模型存储单元，其存储所述基准模型；加权信息获取单元，其从所述加权决定装置获取所述加权信息；以及姿势估计单元，其应用所获取的所述加权信息对所述基准模型和所述物体进行比较，由此估计所述物体的姿势。

10.姿势估计方法，基于拍摄具有由关节连接的多个部位的物体所得到的图像数据，使用按每个所述姿势规定所述部位的位置的基准模型进行所述物体的姿势估计，包括：

按每个所述姿势以密集部分的权重小的方式对所述部位进行加权的步骤；以及

应用所述加权对所述基准模型和所述物体进行比较，由此估计所述物体的姿势的步骤。

Images