CN103988233A

CN103988233A - 姿势估计装置以及姿势估计方法

Info

Publication number: CN103988233A
Application number: CN201280061030.2A
Authority: CN
Inventors: 川口京子
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2011-12-14
Filing date: 2012-11-14
Publication date: 2014-08-13
Anticipated expiration: 2032-11-14
Also published as: US9275276B2; JP2013125402A; US20140301605A1; JP5877053B2; CN103988233B; WO2013088639A1

Abstract

公开了能够高精度地估计由多个部位构成的物体的姿势的姿势估计装置。该装置(100)具有：图像输入单元(140)，获取拍摄物体所得到的图像；姿势信息数据库(110)，保持对每个姿势规定多个部位的配置的姿势信息；拟合单元(160)，在图像中的多个部位的配置和姿势信息之间，计算每个部位的相关度；难度信息表(130)，保持基于姿势信息中包含的部位各自的平行线成分计算出的、对每个姿势估计部位各自的位置的估计难度的程度即估计难度；以及姿势估计单元(170)，对于相关度适用基于估计难度的加权，基于加权后的相关度进行物体姿势的估计。

Description

姿势估计装置以及姿势估计方法

技术领域

本发明涉及对由多个部位构成的物体的姿势进行估计的姿势估计装置以及姿势估计方法。

背景技术

近年来，盛行与基于拍摄到的运动图像的图像数据估计人的姿势有关的研究。姿势估计装置通过使用估计出的姿势的时间序列信息来对行动进行估计，从而能够根据运动图像通过计算机分析来判定该人的行动，能够不依赖于人力进行行动分析。作为行动分析，例如，可例举街头的异常行动探测、商店中的购买行动分析、辅助工厂中的作业高效化、以及运动中的姿势指导。

希望不用对人安装方位传感器等装置来进行这种姿势估计。这是因为，在对人安装装置的情况下，难以将不确定的人设为估计对象，在有许多估计对象的情况下，需要花费成本。

因此，作为将不确定的人设为对象的姿势估计，例如专利文献1中记载了基于拍摄人所得到的影像，对该人的身体朝向进行估计的技术。

专利文献1中记载的技术(以下称为“现有技术”)基于上次估计出的姿势(以下称为“上次估计姿势”)，对接下来能够获取的姿势的候选(以下称为“下一候选姿势”)进行估计。而且，现有技术中，将下一候选姿势的各部位的位置和拍摄图像的各部位的图像进行比较，搜索相关性最高的候选姿势。

但是，人的某个部位因姿势而被其他部位遮挡，成为在图像上不能识别其一部分或全部的状态(以下称为“遮蔽”)。这样，现有技术中，若存在被遮蔽的部位(以下称为“遮蔽部位”)，则有时在不同的姿势之间其外形相似，存在不能正确地进行姿势估计的情况。

因此，在现有技术中，在上次估计姿势中，对每个部位求在图像中占据的区域的面积(像素数)，提取面积为阈值以下的部位作为遮蔽部位。而且，现有技术中，在上次估计姿势中存在遮蔽部位的情况下，将遮蔽部位的姿势的自由度设定得比没有遮蔽的部位高，扩展下一候选姿势的自由度，增加候选姿势数。由此，现有技术即使在由于遮蔽部位的位置的估计难度(估计精度降低的程度)而使上次估计姿势错误的情况下，也能够考虑使下一候选姿势包括正确的姿势而进行姿势估计。

现有技术文献

专利文献

专利文献1：日本特开2007-310707号公报

非专利文献

非专利文献1：Paul Viola and Michael J.Jones，″Rapid Object Detectionusing a Boosted Cascade of Simple Features″，Computer Vision and PatternRecognition，2001.

非专利文献2：Robi Polikar，″Ensemble Based Systems in DecisionMaking″，IEEE Circuits and Systems Magazine，vol.6，no.3，pp.21-45，2006.

发明内容

发明要解决的问题

但是，现有技术存在难以高精度地对姿势进行估计的问题。这是因为，现有技术中，不能说在由部位在图像中占据的区域的面积大小和位置估计的难度之间必然存在强相关性。即，现有技术中，若对于面积小而位置估计容易的部位，不必要地将下一候选姿势的自由度设定得高而增加了候选数，则有时导致提高误估计的可能性。

另外，可以考虑将现有技术也适用于机器人等人以外的物体，但是，即使在这种情况下，也会产生同样的问题。

本发明的目的在于，提供能够高精度地对由多个部位构成的物体的姿势进行估计的姿势估计装置以及姿势估计方法。

解决问题的方案

本发明的姿势估计装置对由多个部位构成的物体的姿势进行估计，该装置具有：图像输入单元，获取拍摄所述物体所得到的图像；姿势信息数据库，对每个所述姿势保持规定所述多个部位的配置的姿势信息；拟合单元，在所述图像中的所述多个部位的配置与所述姿势信息之间，计算每个所述部位的相关度；难度信息表，保持基于所述姿势信息中包含的所述部位各自的平行线成分算出的、对每个所述姿势估计所述部位各自的位置的难度的程度即估计难度；以及姿势估计单元，对于所述相关度适用基于所述估计难度的加权，基于加权后的相关度，进行所述物体姿势的估计。

本发明的姿势估计方法对由多个部位构成的物体的姿势进行估计，包括：获取拍摄所述物体所得到的图像的步骤；在所述图像中的所述多个部位的配置和对每个所述姿势规定所述多个部位的配置的姿势信息之间，计算每个所述部位的相关度的步骤；使用基于所述姿势信息中包含的所述部位各自的平行线成分计算出的、对每个所述姿势估计所述部位各自的位置的难度的程度即估计难度，对于所述相关度适用基于该估计难度的加权的步骤；以及基于加权后的相关度，进行所述物体的姿势估计的步骤。

发明效果

根据本发明，能够高精度地对由多个部位构成的物体的姿势进行估计。

附图说明

图1是表示一例本发明实施方式1的姿势估计装置的结构的方框图。

图2是表示一例本发明实施方式2的姿势估计装置的结构的方框图。

图3是表示一例本实施方式2中的骨骼图像的图。

图4是表示一例将本实施方式2中的骨骼图像和边缘图像重叠后的重叠图像的图。

图5是表示一例本实施方式2中的人体模型的图。

图6是表示一例本实施方式2中的关节位置信息的图。

图7是表示一例本实施方式2中的部位角度信息的图。

图8是表示一例本实施方式2中的部位平均粗度信息的图。

图9是表示一例本实施方式2中的姿势信息表的内容的图。

图10是表示一例本实施方式2中的姿势估计装置的动作的流程图。

图11是表示一例本实施方式2中的估计难度判定处理的流程图。

图12是表示一例本实施方式2中的平行线提取处理的流程图。

图13是用于说明本实施方式2中的部位矩形的图。

图14是用于说明本实施方式2中的边缘的长度的图。

图15是表示一例本实施方式2中的姿势估计处理的流程图。

图16是表示本实施方式2的姿势估计装置的其他结构例的方框图。

图17是表示本实施方式2中的难度信息生成单元的第一其他结构例的方框图。

图18是表示本实施方式2中的难度信息生成单元的第二其他结构例的方框图。

图19是表示一例本发明实施方式3的姿势估计装置的结构的方框图。

图20是表示一例本实施方式3中的三维姿势信息表的内容的图。

图21是表示一例本实施方式3的姿势估计装置的动作的流程图。

图22是表示一例本实施方式3中的后续姿势估计处理的流程图。

图23是表示一例本实施方式3中的右臂的活动范围的图。

图24是表示本实施方式3中的右前臂的前端部能够获取的位置的图。

图25是表示本实施方式3中的剪影相同的多个姿势的例的图。

图26是表示没有进行本实施方式3中的利用运动模型进行的下一候选姿势的缩选的情况下的右前臂的前端部能够获取的位置的图。

图27是表示进行了本实施方式3中的利用运动模型进行的下一候选姿势的缩选的情况下的右前臂的前端部能够获取的位置的图。

标号说明

100、100a、100d 姿势估计装置

110 姿势信息数据库

120、120b、120c 难度信息生成单元

120a 难度信息生成装置

121 姿势信息获得单元

122 平行线提取单元

123 估计难度判定单元

124 难度信息输出单元

125b 阈值调节单元

126c 邻接部位角度提取单元

130 难度信息表

140 图像输入单元

150 部位估计单元

160 拟合单元

170 姿势估计单元

180 估计结果输出单元

190d 三维姿势信息数据库

200d 下一候选姿势提取单元

500a 姿势估计系统

具体实施方式

以下，参照附图详细地说明本发明的各实施方式。

(实施方式1)

本发明实施方式1是一例本发明的基本形态。

图1是表示一例本发明实施方式1涉及的姿势估计装置的结构的方框图。

图1所示的姿势估计装置100是对由多个部位构成的物体的姿势进行估计的装置。图1中，姿势估计装置100具有图像输入单元140、姿势信息数据库110、拟合单元160、难度信息表130、以及姿势估计单元170。

图像输入单元140获取对物体进行拍摄所得到的图像。

姿势信息数据库110对每个姿势保持规定多个部位的配置的姿势信息。

拟合单元160在图像中的多个部位的配置和姿势信息之间计算每个部位的相关度。

难度信息表130保持基于姿势信息中包含的部位各自的平行线成分算出的、对每个姿势估计各部位的位置的难度的程度即估计难度。

姿势估计单元170对于每个部位的相关度适用基于估计难度的加权，基于加权后的相关度进行物体姿势的估计。

姿势估计装置100例如具有CPU(Central Processing Unit，中央处理单元)、存储控制程序的ROM(Read Only Memory，只读存储器)等存储介质、以及RAM(Random Access Memory，随机存取存储器)等工作存储器。在这种情况下，通过CPU执行控制程序来实现上述各构成单元的功能。

这种姿势估计装置100能够对于每个部位的相关度，基于平行线成分判定各部位的估计难度，进行考虑了各部位的估计难度的姿势估计。

平行线成分的量以及长度与上述的现有技术中使用的面积大小相比，与估计难度之间具有更高的相关性。因此，与现有技术相比，姿势估计装置100能够更高精度地对由多个部位构成的物体的姿势进行估计。

平行线成分与估计难度之间具有较高的相关性的理由如下。

对于部位似然度能够用平行线表示的部位，能够提取平行线的可能性越高则估计精度越高，但是，能够提取的面积和能够提取的平行线的量不成比例。例如，可以考虑部位的整个面积的二分之一被遮蔽的部位。对于这种部位，在是与部位的平行线垂直地被遮蔽的情况下，能够提取平行线的可能性为与面积相同的二分之一，但是，在部位斜着被遮蔽的情况下，能够提取平行线的比例为0。即，对于部位似然度，由于能够用提取出的平行线表示的部位的比例，其估计精度变差。因此，平行线成分与估计难度之间具有较高的相关性。

(实施方式2)

本发明实施方式2是将本发明适用于利用表示各部位存在情况的概率分布的似然图的拟合(匹配)进行人的姿势估计的装置的例。

此外，在以下的说明中，“人的姿势”指的是人体能取的所有形状中的一个。

<姿势估计装置的结构>

首先，对本实施方式涉及的姿势估计装置的结构进行说明。

图2是表示一例本实施方式涉及的姿势估计装置的结构的方框图。

图2中，姿势估计装置100具有姿势信息数据库110、难度信息生成单元120、难度信息表130、图像输入单元140、部位估计单元150、拟合单元160、姿势估计单元170、以及估计结果输出单元180。

姿势信息数据库110对每个姿势保持规定多个部位的配置的姿势信息。姿势信息中包含部位基准图。所谓部位基准图，是在将三维的物体姿势投影到二维平面时，在该二维平面中表示各部位存在情况的概率分布的似然图。该二维平面与对人进行拍摄的照相机(未图示)的拍摄面对应。

另外，姿势信息数据库110对每个姿势保持关节位置信息、部位角度信息、以及部位平均粗度信息、或对这些进行确定的信息，作为在二维平面上表示处于该姿势的人的三维姿势的信息。

关节位置信息是表示将三维的骨骼姿势投影到上述的二维平面时的像(以下称为“骨骼图像”)的、在该二维平面中的各关节的位置的信息。

部位角度信息是表示骨骼图像的在该二维平面中的各部位的角度(以下称为“部位角度”)的信息。

部位角度信息是二维平面的水平方向与各部位所成的角。

部位平均粗度信息是表示在将三维的物体姿势投影到二维平面时的外形的像(以下称为“边缘图像”)的在该二维平面中的各部位的粗度平均值的信息。

此外，所谓部位是人体的各部分中的、能够认为即使姿势怎样变化其三维形状也不变化的单位，例如是右上臂或右前臂。而且，所谓关节是将部位连接的部分，例如是右肘。

另外，所谓骨骼姿势，是将人的姿势用按实际的连接关系将人体的各关节连接而得到的直线的集合进行表示的姿势。另外，所谓物体姿势，是将人的姿势进一步包含包括肉、皮肤、头发以及衣服等的外观信息进行表示的姿势。

图3是表示一例骨骼图像的图。

如图3所示，骨骼图像310由多条直线构成。各直线分别表示部位的轴。各直线的两端表示与相邻的部位之间的关节的位置、或人体的前端的位置。

图4是表示一例在图3所示的骨骼图像310中重叠了相同的姿势的边缘图像后的状态(重叠图像)的图。

如图4所示，边缘图像320为覆盖相同姿势的骨骼图像310的形状，表示包含了衣服等的人体的外形。

设为姿势信息数据库110也对每个姿势保持该骨骼图像310以及边缘图像320。

骨骼图像310以及边缘图像320的各部分与人体模型的各部位(以及各关节)相对应。

图5是表示一例人体模型的图。

如图5所示，人体模型330例如由23个关节构成。对各关节分配了标识符。另外，在本实施方式中，将该标识符设为表示在对应关节的靠近躯干侧连接的部位(位于与人体的一个内侧关节之间的部位)的部位标识符。对于上述的关节位置信息、部位角度信息、以及部位平均粗度信息，使用该部位标识符进行记述。

图6是表示一例关节位置信息的图。

如图6所示，关节位置信息410中与部位标识符411相对应地记述了x坐标412以及y坐标413。x坐标412是设定于上述的二维平面的xy坐标系(以下简称为“xy坐标系”)中的、部位标识符411表示的关节的位置的x坐标。y坐标413是xy坐标系中的、部位标识符411表示的关节的位置的y坐标。

图7是表示一例部位角度信息的图。

如图7所示，部位角度信息420中与部位标识符421相对应地记述了角度422。角度422是部位标识符421表示的部位的轴的方向。更具体而言，角度422是部位的轴向中的从部位的连接根部朝向连接前端的朝向相对于xy坐标系的x轴方向(水平方向)的角度。

图8是表示一例部位平均粗度信息的图。

如图8所示，部位平均粗度信息430中与部位标识符431相对应地记述了平均的粗度432。平均的粗度432是部位标识符431表示的部位的粗度的平均值。此外，在图8中，作为平均的粗度432而记述的“n”表示对应部位的粗度的平均值作为信息而不存在或不使用的情况。

图6～图8所示的关节位置信息410、部位角度信息420、部位平均粗度信息430、以及上述的骨骼图像及边缘图像能对每个姿势而不同。

在此，设为姿势信息数据库110与多个姿势对应地存储了多个关节位置信息410、多个部位角度信息420、以及多个部位平均粗度信息430。

另外，设为姿势信息数据库110与多个姿势对应地存储了多个图像信息。图像信息是使用于后述的图像拟合的信息，例如是剪影图像的数据、边缘图像的数据、彩色图像的数据、上述的骨骼图像的数据、或者背景图像的数据。所谓剪影图像是表示人的图像所占的区域(剪影)的图像。所谓边缘图像是表示人的图像所占的区域的外形(边缘)的图像。所谓彩色图像是表示各部分的颜色的图像。背景图像是表示人的背景状态的图像。

对关节位置信息410、部位角度信息420、以及部位平均粗度信息430分别分配了关节位置信息标识符、部位角度信息标识符、以及部位平均粗度信息标识符。另外，对每个图像信息分配了图像标识符。

姿势信息数据库110保持估计难度。估计难度是基于姿势信息所包含的部位的各自的平行线成分算出的、对每个姿势估计部位各自的位置的难度的程度。更具体而言，姿势信息数据库110通过对各姿势使用与各姿势的标识符相对应的姿势信息表，使姿势与姿势信息及图像信息相对应。

图9是表示一例姿势信息表的内容的图。

如图9所示，姿势信息表440中例如与二维姿势标识符441相对应地记述了图像信息标识符442、关节位置信息标识符443、部位角度信息标识符444、以及部位平均粗度信息标识符445。

此外，姿势信息表440也可以不使用上述标识符，而直接将信息与各姿势相对应地记述。

图2的难度信息生成单元120从姿势信息数据库110存储的姿势信息(参照图6～图9)中提取各部位的平行线成分，根据提取出的平行线成分判定各部位的估计难度。难度信息生成单元120具有姿势信息获得单元121、平行线提取单元122、估计难度判定单元123、以及难度信息输出单元124。

这里，所谓平行线成分是组成各部位的线段中的相互平行的多个线段的集合。在本实施方式中，所谓平行线成分是指部位的外形(边缘)中的、与部位的轴大致平行的部分。另外，所谓估计难度，如上述所述，是表示估计部位各自的在图像中的位置的难度的程度。

姿势信息获得单元121从姿势信息数据库110获得各姿势的姿势信息。而且，姿势信息获得单元121将所获得的姿势信息输出到平行线提取单元122。

平行线提取单元122根据输入的姿势信息，对每个姿势提取部位各自的平行线成分。而且，平行线提取单元122将提取出的平行线成分输出到估计难度判定单元123。

估计难度判定单元123基于提取出的平行线成分，对每个姿势判定估计难度，并将判定结果保持在难度信息表中。更具体而言，估计难度判定单元123基于输入的平行线成分，对每个姿势判定各部位的估计难度。而且，估计难度判定单元123将判定出的估计难度输出到难度信息输出单元124。

难度信息输出单元124将输入的估计难度设为与对应姿势的二维姿势标识符以及对应部位的部位标识符相对应后的难度信息进行输出，并存储在难度信息表130中。

图像输入单元140获取拍摄物体所得到的图像。更具体而言，图像输入单元140通过有线通信或无线通信获取设置于规定的三维坐标空间的单眼照相机(未图示)所拍摄到的图像的图像数据。另外，图像输入单元140也可以通过有线通信或无线通信获取预先存储在存储设备(未图示)中的图像数据。而且，图像输入单元140将获取的图像数据输出到部位估计单元150。存储图像数据的存储设备也可以与姿势估计装置100在物理上为一体。

在以下的说明中，将图像数据设为包含仅一人的图像的图像数据进行说明，但是不限于此，也可以包含多个人的图像，或者也可以不包含人的图像。

部位估计单元150根据输入的图像数据，对图像中包含的人的各部位在图像上的位置进行估计，并生成部位估计图。部位估计图是表示在图像中各部位存在情况的概率分布的似然图，是与上述的部位基准图对应的图。而且，部位估计单元150将所生成的部位估计图输出到拟合单元160。

拟合单元160在图像输入单元140获取的图像中的多个部位的配置与姿势信息数据库110保持的姿势信息之间，计算每个部位的相关度。更具体而言，拟合单元160从姿势信息数据库110获取部位基准图。拟合单元160将获取的部位基准图和输入的部位估计图进行比较，对每个姿势以及每个部位，计算部位基准图和部位估计图之间的相关度。而且，拟合单元160将计算出的相关度输出到姿势估计单元170。

姿势估计单元170对于来自拟合单元160的相关度，适用基于难度信息表130保持的估计难度的加权，基于加权后的相关度，进行物体的姿势估计。更具体而言，姿势估计单元170对输入的每个姿势以及每个部位的相关度，适用与估计难度相应的加权来进行物体的姿势估计。而且，姿势估计单元170将估计图像中包含的人所取的姿势的二维姿势标识符输出到估计结果输出单元180。

估计结果输出单元180将输入的二维姿势标识符表示的姿势作为人的姿势的估计结果输出。估计结果输出单元180例如具有图像显示装置，将估计结果用图像以及字符等输出。

姿势估计装置100例如具有CPU、存储控制程序的ROM等存储介质、以及RAM等工作用存储器。在这种情况下，通过CPU执行控制程序来实现上述各构成单元的功能。

这种姿势估计装置100能够对于每个部位的相关度，根据平行线成分判定各部位的估计难度，进行考虑了各部位的估计难度的姿势估计。

另外，部位的平行线成分表示部位似然度特征的强弱，因此，其长度越长则表示该部位的特征越容易提取。即，平行线成分的长度与上述的现有技术中使用的面积的大小相比，与估计难度之间具有更高的相关性。因此，姿势估计装置100中使用了部位的平行线成分则能够更精度良好地求估计难度。

因此，与现有技术相比，姿势估计装置100能够更高精度地估计由多个部位构成的物体的姿势。

以上，结束有关姿势估计装置100的结构的说明。

<姿势估计装置的动作>

下面说明姿势估计装置100的动作。

图10是表示一例姿势估计装置100的动作的流程图。

首先，在步骤S1000中，姿势估计装置100进行估计难度判定处理。估计难度判定处理是对每个姿势判定各部位的估计难度的处理。

然后，在步骤S2000中，姿势估计装置100进行姿势估计处理。姿势估计处理是使用判定出的姿势难度，对拍摄到的图像中包含的人的姿势进行估计的处理。

<估计难度判定处理的详细说明>

首先，说明估计难度判定处理的详细内容。

图11是表示一例估计难度判定处理(图10的S1000)的流程图。

首先，在步骤S1100中，姿势信息获得单元121从在姿势信息数据库110中姿势信息所保持的姿势中选择一个姿势。

然后，在步骤S1200中，姿势信息获得单元121从姿势信息数据库110获得选中的姿势的姿势信息。这里，在姿势信息获得单元121获得的姿势信息中包含骨骼图像、边缘图像、关节位置信息、以及部位平均粗度信息。

然后，在步骤S1300中，平行线提取单元122进行平行线提取处理。平行线提取处理是从姿势信息中提取选中部位的边缘平行呈现的部分的长度(平行线成分的长度)的处理。

<平行线提取处理>

图12是表示一例平行线提取处理(图11的S1300)的流程图。

首先，在步骤S1310中，平行线提取单元122从姿势信息数据库110获取的骨骼图像以及边缘图像，生成将骨骼图像和边缘图像重叠后的图像(参照图4，以下称为“重叠图像”)。

然后，在步骤S1320中，平行线提取单元122从姿势信息中包含的部位之中选择一个部位。

然后，在步骤S1330中，平行线提取单元122对于重叠图像中的、选中的部位，配置部位矩形对。部位矩形是部位的外形中的包含沿长度方向延伸的部分的可能性高的矩形区域，是部位的外形搜索对象的范围。平行线提取单元122基于选中部位的轴的位置、轴的长度、以及平均粗度，在轴的两侧配置由规定的宽度构成的部位矩形对。

图13是用于说明部位矩形的图。

如图13所示，平行线提取单元122对于包含选中部位的骨骼(轴)451和边缘(外形)452的重叠图像，配置部位矩形453的对。各部位矩形453的位置是距骨骼451的距离为部位的平均粗度T的二分之一(T/2)的位置。各部位矩形453的长度是部位的骨骼451的长度L。另外，各部位矩形453的宽度是预先决定的规定的宽度W。

优选将各部位矩形453的宽度设为考虑了部位的平均粗度的误差、或部位内的粗度的不均匀性后的宽度。另外，各部位矩形453的宽度也可以是与部位的骨骼451的长度L或平均粗度T成比例的、对每个部位不同的宽度。另外，也可以将各部位矩形453的长度设为考虑了部位的轴的长度L的误差后的长度。

然后，在图12的步骤S1340中，平行线提取单元122计算部位的边缘452中的、在部位矩形453的对中包含的部分的骨骼451方向的长度，作为边缘的长度(参照图13)。

图14是用于说明边缘的长度的图，是与图13对应的图。对于与图13对应的部分标以相同的标号。但是，相比图13，图14所示的骨骼和边缘被简化。

如图14所示，设为在某个部位矩形453的一部分包含边缘452的像素。平行线提取单元122在部位矩形453内，搜索边缘452的像素在沿着部位矩形453的中心线454的方向上连续的部分。而且，将边缘的长度设为边缘452的像素在沿着部位矩形453的中心线454的方向上连续的部分的长度。

这里，如图14所示，设为部位矩形453沿横向延伸。而且，设为在部位矩形453的从左起第1列～第3列的像素组中不包含边缘452的像素，在部位矩形453的从左起第4列～第9列连续地存在边缘452的像素。这种情况下，平行线提取单元122将部位矩形453的从左起第4列～第9列的横向的长度(即，6列像素的量的长度)l设为边缘的长度。

然后，在图12的步骤S1350中，平行线提取单元122从根据部位矩形对计算出的一个或多个边缘的长度，计算平行线成分的长度。

具体而言，平行线提取单元122例如在一个部位矩形中计算出多个边缘的长度的情况下，将这些长度的合计值作为该部位矩形的边缘的长度。而且，平行线提取单元122将从关于一个部位的两个部位矩形的每个部位矩形提取出的边缘的长度中较短的一方，作为该部位的平行线成分的长度。

例如，在图13所示的例的情况下，从上侧的部位矩形453得到的边缘的长度l₁的一方比从下侧的部位矩形453得到的边缘的长度l₂短。这种情况下，平行线提取单元122将从上侧的部位矩形453得到的边缘的长度l₁设为部位的平行线成分的长度。

此外，平行线提取单元122也可以将从两个部位矩形的每个部位矩形提取出的边缘的长度的平均值设为部位的平行线成分的长度等，使用其他方法计算平行线成分的长度。

而且，在图12的步骤S1360中，平行线提取单元122对姿势信息所包含的部位判断是否还有未处理的部位。

平行线提取单元122在存在未处理的部位的情况下(S1360：“是”)，返回到步骤S1320。另外，平行线提取单元122在不存在未处理的部位的情况下(S1360：“否”)，返回到图11的处理。

在图11的步骤S1400中，估计难度判定单元123对每个部位，基于平行线成分的长度和预先设定的规定的阈值，判定估计难度。

具体而言，除了两个以上的估计难度中的估计难度最低的估计难度以外，估计难度判定单元123对每个估计难度预先保持平行线成分的长度的下限值。而且，估计难度判定单元123将平行线成分长度为该下限值以上那样的估计难度中的最低的估计难度，设为选中的部位的估计难度。

这样，通过使用阈值，能够与部位没有被遮蔽情况下的部位原来的长度无关，利用能够从图像提取的平行线的像素的长度判定估计难度。

此外，阈值也可以对每个姿势或者对每个部位而不同。估计难度判定单元123通过对阈值的设定进行细化，能够进行更细化的估计难度判定。

然后，在步骤S1500中，估计难度判定单元123将判定结果作为难度信息输出到难度信息表130。

然后，在步骤S1600中，姿势信息获得单元121判断在姿势信息数据库110中姿势信息所保持的姿势中是否还存在未处理的姿势。

姿势信息获得单元121在存在未处理的姿势的情况下(S1600：“是”)，返回到步骤S1100。另外，姿势信息获得单元121在不存在未处理的姿势的情况下(S1600：“否”)，结束估计难度判定处理，返回到图10的处理。

作为以上那样的估计难度判定处理的结果，姿势估计装置100成为对每个姿势准备了表示各部位的估计难度的难度信息的状态。

<姿势估计处理的详细说明>

下面，详细地说明姿势估计处理。

图15是表示一例姿势估计处理(图10的S2000)的流程图。

首先，在步骤S2100中，图像输入单元140输入作为姿势估计对象的图像的相应量的图像数据。

然后，在步骤S2200中，部位估计单元150对每个姿势，由姿势信息数据库110中的二维姿势的图像信息生成部位估计图。

这里，详细地说明一例部位估计图的生成处理。例如，将图像上的像素位置设为(i，j)，将部位k的似然值表示为ck，并设为存在n个部位。这种情况下，部位估计单元150输出的部位估计图为似然矢量Cij＝[c1，c2，...，ck，...，cn]这样的数据结构。

生成部位估计图的方法的第一例是使用每个部位的识别器的方法。

作为生成识别器的方法，使用Haar-like特征量作为图像特征量，是使用称为Adaboost的算法，从基准模型的图像进行学习的方法。

Haar-like特征量是基于预先定义的矩形区域的图案计算出的特征量，属于公知技术(参照非专利文献1)。另外，Adaboost是组合多个判别能力不太高的识别器来生成强识别器的方法，属于公知技术(参照非专利文献2)。

部位估计单元150使用通过学习预先对每个部位准备的识别器，估计图像上的各部位的位置，生成部位估计图。

具体而言，部位估计单元150例如将关注某个像素而得到的图像特征量输入到部位k的强识别器Hk，计算对于构成该强识别器Hk的各弱识别器的输出乘以对每个弱识别器预先得到的可靠度α所得到的值的总和。而且，部位估计单元150从计算出的总和减去规定的阈值Th，计算关注像素的部位k的似然值ck。部位估计单元150对各部位以及各像素进行这样的处理，输出部位估计图。

生成部位估计图的方法的第二例是，在利用第一方法估计出将头部等作为基准的部位的位置后，对于剩余的部位，从图像的边缘提取平行线的方法。

具体而言，部位估计单元150例如参照预先保持的、将头区域的长度和各部位的标准粗度的值r、以及各部位的距头区域的距离d相对应后的对应表，进行平行线的提取。而且，部位估计单元150从估计出的头部开始，在关注的部位的距头区域的距离d的区域内，一边使进行判定的方向旋转360度，一边检索以与该部位的标准粗度r相当的距离拉开的平行线的组。而且，在存在符合的平行线的组的情况下，部位估计单元150反复对于由这些平行线包围的区域的各像素进行投票的处理，基于最终的各像素的投票数生成部位估计图。

在这种方法的情况下，部位估计图对每个像素以及每个部位，包含平行线的方向和投票数。

例如，在将平行线的角度分类为8个的情况下，每个像素以及每个部位的似然值为与8方向对应的8维的值。进而，例如，在将平行线的宽度分类为两个的情况下，每个像素以及每个部位的似然值为2×8＝16维的值。

此外，成为投票对象的平行线的距离或者角度也可以对每个部位不同。部位估计单元150求多个平行线的宽度，并使用其中似然值最高的宽度的似然值，从而能够吸收体型或服装的差异而求似然。

然后，在步骤S2300中，拟合单元160选择一个在姿势信息数据库110中姿势信息保持(部位基准图)的姿势。

然后，在步骤S2400中，拟合单元160在选中的姿势的部位基准图和根据图像生成的部位估计图之间，对每个部位计算相关系数。

相关系数只要是表示似然度的相关程度的值即可，能够对该计算适用各种公知技术。在此，说明一例相关系数的计算方法。

对于似然，例如在部位估计图中，将图像上的像素位置设为(i，j)，将部位k的似然值表示为ck，设为存在p个部位。在这种情况下，设为将部位估计单元150输出的部位估计图利用似然矢量Cij＝[c1，c2，...，ck，...，cp]这样的数据结构表示。

这里，关于部位k，将输入图像的部位似然图的数据串设为XKij＝[ck]，将姿势信息数据库110中的某个部位估计图的数据串设为YKij＝[ck]。而且，设为给出由两组数值构成的数据串(x，y)＝{(XKjj，YKjj)(1＜＝i＜＝n，1＜＝j＜＝m)}。

在这种情况下，拟合单元160例如使用以下的式(1)，求部位k的相关系数Sk。此外，式(1)中，带平均记号(杠)的x表示x的相加平均值，带平均记号(杠)的y表示y的相加平均值。

Sk = \frac{Σ_{i = 1, j = 1}^{n, m} (x_{ij} - \overset{&OverBar;}{x}) (y_{ij} - \overset{&OverBar;}{y})}{\sqrt{Σ_{i = 1, j = 1}^{n, m} {(x_{ij} - \overset{&OverBar;}{x})}^{2} \sqrt{Σ_{i = 1, j = 1}^{n, m} {(y_{ij} - \overset{&OverBar;}{y})}^{2}}}} . . . (1)

此外，拟合单元160使附加了部位标识符的每个部位的相关系数、和用于计算中的姿势信息数据库110的二维姿势的二维姿势标识符成组，输出到姿势估计单元170。

然后，在步骤S2500中，姿势估计单元170计算选中的姿势的部位基准图与根据图像生成的部位估计图之间的重合度。这时，姿势估计单元170从难度信息表130获取选中的姿势的难度信息，对相关系数适用与估计难度相应的加权，计算上述重合度。

这里，说明一例适用与估计难度相应的加权的重合度的计算方法。

姿势估计单元170基于从拟合单元160获取的每个部位的相关系数，估计姿势信息数据库110的二维姿势中的与图像所包含的人的姿势最相似的姿势。

例如，姿势估计单元170首先从候选中除去包含相关系数为预先设定的规定阈值的阈值以下的部位的二维姿势。即，在步骤S2500中，姿势估计单元170不对这样的姿势进行重合度的计算处理。

接着，姿势估计单元170对候选中剩余的二维姿势，使用各部位k的相关系数Sk和从难度信息表130获取的各部位的估计难度计算重合度V。具体而言，姿势估计单元170例如使用以下的式(2)，计算有关二维姿势标识符p的重合度Vp。这里，Dk是对于选中的二维姿势的部位k适用的权重，估计难度越高，取越小的值，例如是估计难度的倒数。

Vp = Σ_{k = 1}^{p} DkSk . . . (2)

这种重合度Vp为降低相关系数的精度较低那样的部位的影响而得到的值。

然后，在步骤S2600中，拟合单元160判断在姿势信息数据库110中姿势信息保持(部位基准图)的姿势中是否存在未处理的姿势。

拟合单元160在存在未处理的姿势的情况下(S2600：“是”)，返回到步骤S2300。另外，姿势信息获得单元121在不存在未处理的姿势的情况下(S2600：“否”)，进入步骤2700。

然后，在步骤S2700中，姿势估计单元170将在姿势信息数据库110中姿势信息保持(部位基准图)的姿势中的、重合度V最高的姿势估计为图像中包含的人的姿势。而且，姿势估计装置100从估计结果输出单元180输出估计结果，结束姿势估计处理，并返回到图10的处理。

作为以上那样的姿势估计处理的结果，姿势估计装置100能够考虑每个姿势的各部位的估计难度，进行精度较高的姿势估计。

此外，也可以构成为，姿势估计装置100对于各姿势的物体图像进行与上述的部位估计图同样的程序，由此生成部位基准图。

以上，结束有关姿势估计装置100的动作的说明。

<姿势估计装置的效果>

如以上所述，本实施方式涉及的姿势估计装置100能够根据平行线成分判定各部位的估计难度，进行考虑了各部位的估计难度的姿势估计。因此，姿势估计装置100能够高精度地估计由多个部位构成的物体的姿势。

<姿势估计装置的其他结构>

此外，在本实施方式中，也可以利用物理上分开的装置进行估计难度判定处理和姿势估计处理。

图16是表示姿势估计装置100的其他结构例的方框图。

如图16所示，姿势估计装置100a例如与难度信息生成装置120a一起构成姿势估计系统500a。

姿势估计装置100a是从图2所示的姿势估计装置100中抽去图2所示的难度信息生成单元120后的结构。

难度信息生成装置120a具有图2所示的难度信息生成单元120的各部分。但是，姿势估计装置100a以及难度信息生成装置120a分别具有通信电路等，通过有线通信或无线通信收发姿势信息以及难度信息。

通过这样构成，姿势估计装置100a能够实现轻量小型化。

另外，难度信息生成单元120(或难度信息生成装置120a)也可以构成为，根据姿势信息，对每个姿势判断各部位与其他部位之间容易产生混淆的容易度，越容易产生混淆的部位，将估计难度判定为越高的值。

图17是表示难度信息生成单元的第一其他结构例的方框图。

如图17所示，难度信息生成单元120b除了图2的结构以外，还具有阈值调节单元125b。

部位的平均粗度越大，则阈值调节单元125b设为越容易与其他部位产生混淆的部位。即，阈值调节单元125b将估计难度判定单元123适用于该部位的、平行线成分的长度的阈值设定为更高的值。由此，阈值调节单元125b使得估计难度容易被判定为更高的值。

这是因为，部位的平均粗度越大，在该部位的区域内混杂其他部位的边缘的可能性越高。

图18是表示难度信息生成单元的第二其他结构例的方框图。

如图18所示，难度信息生成单元120c除了图2的结构以外还具有邻接部位角度提取单元126c。另外，在此设为姿势信息获得单元121获得的姿势信息中也包含部位角度信息。

邻接部位角度提取单元126c从部位角度信息以及骨骼图像，对每个部位，将从该部位的骨骼起规定的距离的区域设定为部位区域。邻接部位角度提取单元126c对每个部位从部位角度信息中提取该部位区域中包含的其他部位的角度。而且，部位的角度与在该部位区域内包含的其他部位的骨骼的角度越接近，邻接部位角度提取单元126c设为越容易与其他部位产生混淆的部位。即，邻接部位角度提取单元126c将估计难度判定单元123适用于该部位的、平行线成分的长度的阈值设定为越高的值。由此，邻接部位角度提取单元126c使得估计难度容易被判定为更高的值。

这是因为，若角度近似的多个部位位于附近，则难以区别各部位的边缘。

这样，各部位与其他部位之间容易产生混淆的容易度越高，难度信息生成单元120b、120c使得估计难度容易被判定为越高的值，所以能够以更高的精度对估计难度进行判定。

此外，用于使得估计难度容易被判定为更高值的方法不限于阈值的调节。例如，难度信息生成单元120b、120c也可以构成为，基于产生混淆的容易度，直接对估计难度进行判定。

另外，在本实施方式中，设为姿势估计装置100保持着骨骼图像以及边缘图像作为姿势信息数据库110的图像信息，但是不限于此。姿势估计装置100也可以不在姿势信息数据库110中保持骨骼图像，而是在难度信息生成单元120中根据关节位置信息依次生成。另外，姿势估计装置100也可以在姿势信息数据库110中预先保持与骨骼图像和边缘图像重叠的上述的重叠图像。

(实施方式3)

本发明实施方式3是构成为在输入影像等时间序列的图像的情况下，使用上次的估计结果进行姿势估计的例子。

<姿势估计装置的结构>

图19是表示一例本实施方式涉及的姿势估计装置的结构的方框图，是与实施方式2的图2对应的图。对于与图2相同的部分，附加相同的标号，并省略有关该部分的说明。

在图19中，姿势估计装置100d除了图2的结构以外，还具有三维姿势信息数据库190d以及下一候选姿势提取单元200d。

三维姿势信息数据库190d对每个三维姿势，保持对应的二维姿势的二维姿势标识符(参照图9)。另外，三维姿势信息数据库190d对每个姿势，保持三维关节位置信息以及可转变三维姿势信息，或者保持表示这些信息的信息。

三维关节位置信息是表示三维的骨骼姿势(以下称为“三维姿势”)中的、三维空间中各关节的位置的信息。可转变三维姿势信息是表示能在经过单位时间后转变的三维姿势的信息。即，与三维姿势相对应的可转变三维姿势信息表示人的运动模型。三维空间是以对人进行拍摄的照相机(未图示)的拍摄面的位置以及朝向为基准的空间，例如，利用xyz坐标系进行定义。

对三维关节位置信息以及可转变三维姿势信息分别分配了三维关节位置信息标识符以及可转变三维姿势标识符。

三维姿势信息数据库190d对各三维姿势使用与这些标识符相对应的三维姿势信息表，由此，使三维姿势与三维关节位置信息以及可转变三维姿势信息之间相对应。

图20是表示一例三维姿势信息表的图。

如图20所示，三维姿势信息表610中，例如与三维姿势标识符611相对应地记述了二维姿势标识符612、三维关节位置信息标识符613、以及可转变三维姿势标识符614。

此外，三维姿势信息表610也可以不使用上述的标识符，而是直接将信息与各三维姿势相对应地进行记述。

另外，三维姿势信息数据库190d也可以对相似度等级不同的多个姿势记述可转变三维姿势信息。

在与一个三维姿势对应的下一候选姿势(可转变三维姿势信息表示的姿势)的数量较少的情况下，后级的拟合单元160的处理量变少，姿势估计处理变得快速。

另一方面，在与一个三维姿势对应的下一候选姿势(可转变三维姿势信息表示的姿势)的数较多的情况下，正确的姿势从下一候选姿势中漏掉的可能性变小，姿势估计处理成为具有鲁棒性的处理。

在人的模型的各关节中，每个关节的可动区域和运动速度不同。因此，姿势估计装置100d通过这样预先保持可转变三维姿势，能够快速对下一候选姿势进行估计。

此外，三维姿势信息表610也可以将可转变三维姿势标识符与多个不同单位时间的每个单位时间相对应。在这种情况下，能够根据图像输入的时刻(姿势估计的间隔)，快速且精度良好地估计适当的下一候选姿势。

图19的下一候选姿势提取单元200d基于上次估计出的姿势(以下称为“上次估计姿势”)和三维姿势信息数据库190d的可转变三维姿势信息(即，运动模型)，估计下一候选姿势。而且，下一候选姿势提取单元200d将表示估计出的下一候选姿势的信息(例如，二维姿势标识符)输出到拟合单元160。

在本实施方式中，拟合单元160缩选为从下一候选姿势提取单元200d输入的下一候选姿势的部位基准图，进行与部位估计图之间的拟合。

但是，在上次估计姿势原本就错误的情况下，下一候选姿势提取单元200d将错误的姿势估计为下一候选姿势的可能性变高。

因此，下一候选姿势提取单元200d在上次估计姿势的可靠性低的情况下，不是使用从运动模型得到的信息，而是使用从作为估计对象的图像得到的信息估计下一候选姿势。而且，下一候选姿势提取单元200d基于是否存在估计难度比规定的阈值高的部位判断上次估计姿势的可靠性是否低。

作为其结果，拟合单元160以不存在估计难度比规定的阈值高的部位为条件，缩选为基于三维姿势信息估计出的下一候选姿势，进行似然图的拟合。而且，姿势估计单元170以不存在估计难度比规定的阈值高的部位为条件，缩选为基于三维姿势信息估计出的下一候选姿势，进行人的姿势的判定。

另外，为了对下一个图像的处理，姿势估计单元170将估计出的姿势的二维姿势标识符输出到下一候选姿势提取单元200d。

<姿势估计装置的动作>

图21是表示一例姿势估计装置100d的动作的流程图，是与实施方式2的图10对应的图。对于与图10相同的部分，标以相同的标号并省略对与其有关的说明。

在本实施方式中，姿势估计装置100d在进行了姿势估计处理后(S2000)，进入步骤S3000d。

在步骤S3000d中，姿势估计装置100d判断是否存在后续图像。在此，所谓后续图像是构成影像的时间序列的多个静止图像中的、最后进行处理的静止图像的接下来的静止图像。

姿势估计装置100d在没有后续图像的情况下(S3000d：“否”)，结束一连串的处理。另一方面，在存在后续图像的情况下(S3000d：“是”)，姿势估计装置100d进入步骤S4000d。

在步骤S4000d中，姿势估计装置100d进行后续姿势估计处理。后续姿势估计处理是有效利用上次估计姿势进行姿势估计的处理。

<后续姿势估计处理>

图22是表示一例本实施方式中的后续姿势估计处理(图21的S4000d)的流程图。

后续姿势估计处理的一部分与利用实施方式2的图15说明过的姿势估计处理是同样的。对于与图15相同的部分标以相同的标号，并省略与其有关的说明。

若在部位估计单元150生成了部位估计图(S2200)，则在步骤S4100d中，下一候选姿势提取单元200d从姿势估计单元170获取上次估计姿势的二维姿势标识符。

然后，在步骤S4200d中，下一候选姿势提取单元200d从难度信息表130获取已获取的二维姿势标识符表示的姿势中的各部位的部位难度。

然后，在步骤S4300d中，下一候选姿势提取单元200d判断在上次估计姿势的部位中是否存在部位难度超过规定的阈值的部位。

下一候选姿势提取单元200d在存在部位难度超过规定的阈值的部位的情况下(S4300d：“是”)，进入步骤S4400d。另外，下一候选姿势提取单元200d在不存在部位难度超过规定的阈值的部位的情况下(S4300d：“否”)，跳过步骤S4400d进入后述的步骤S4500d。

在步骤S4400d中，下一候选姿势提取单元200d根据上次估计姿势的图像信息估计上次估计姿势的相似姿势，并与上次估计姿势一起将上次估计姿势的相似姿势输出到步骤S4500d。

这样，姿势估计单元170在输出的二维姿势中包含由于估计困难而导致姿势不准确的可能性高的部位，下次输入的图像的姿势从通常的运动模型偏离的情况下，使用图像信息的相似度对候选进行扩展。由此，姿势估计单元170能够防止正确的姿势在候选之外的情况。

作为根据图像信息缩选上次估计姿势的相似姿势的方法，可以使用各种方法。

例如，下一候选姿势提取单元200d从姿势信息数据库110获取各姿势的剪影图像的数据，将从图像提取的剪影图像与所获取的各姿势的剪影图像重叠。而且，下一候选姿势提取单元200d求剪影重叠区域的像素数，提取其值大于预先确定的规定阈值的姿势作为上次估计姿势的相似姿势。这时，也可以构成为，下一候选姿势提取单元200d仅对部位难度高的部位的可动区域，求剪影重叠的区域的像素数。

此外，可以在生成可转变三维姿势信息(运动模型)时也使用这样的上次估计姿势的相似姿势的缩选方法。

在步骤S4500d中，下一候选姿势提取单元200d将下一候选姿势以上次估计姿势和上次估计姿势的相似姿势为基础，缩选为与运动模型适合的姿势。即，下一候选姿势提取单元200d基于三维姿势信息数据库190d的可转变三维姿势信息缩选下一候选姿势。

然后，在步骤S4600d中，姿势估计单元170从在步骤S4500d中缩选出的下一候选姿势之中，估计人的姿势。而且，估计结果输出单元180将估计结果输出。步骤S4600d的处理例如也可以与图15的步骤S2300～S2700的处理是同样的。

根据这样的处理，在部位估计难度低、估计出的二维姿势中存在错误的可能性低的情况下，能够只使用运动模型提取下一次的姿势候选。而且，在部位估计难度高、估计出的二维姿势中包含错误可能性高的部位的情况下，能够使用图像信息对候选进行扩展，之后，使用运动模型提取下一次的姿势候选。即，姿势估计装置100d能够进行具有鲁棒性的姿势估计。

<姿势缩选的情况>

以下，说明在姿势估计装置100d中缩选作为拟合对象的姿势的情况。这里，只是关注人从架子将物品取到手里的一连串的动作中的右臂动作。

图23是表示一例右臂的活动范围的图。图23A表示相对于躯干的、右臂在水平面中的活动范围。图23B表示相对于躯干的、右上臂在垂直平面中的活动范围。图23C表示相对于右上臂的、右前臂在垂直平面中的活动范围。

如图23A所示，将相对躯干621的、右臂622(右上臂623以及右前臂624)在水平面中的活动范围设为相对于躯干621的正面方向在-45度～+45度的范围。

另外，如图23B所示，将相对躯干621的、右上臂623在垂直平面中的活动范围设为相对于铅直方向在0度～180度的范围。

另外，如图23C所示，将相对右上臂623的、右前臂624在垂直平面中的活动范围设为相对于右上臂623的轴向在0度～180度的范围。

另外，设为对这样的活动范围中的右臂622(右上臂623以及右前臂624)的角度能够以22.5度的间隔进行估计。

图24是表示使右臂朝向躯干正面方向的姿势下的、右前臂的前端部能取的位置(轨迹)的图。图中，X轴表示以右肩为原点的在躯干正面方向上的距离，Y轴表示以右肩为原点的在垂直方向上的距离。另外，在以下的各图中，三角标记(▲)表示右前臂的前端部能取的位置。

如图24所示，右前臂的前端部能取9×9＝81种位置。

此外，右臂622在水平面中的活动范围存在5种，在各方向上右前臂的前端部能取9×9＝81种位置。因此，人能取的姿势为5×81＝405种。

此外，在照相机以仰角为0度从正侧面对人进行拍摄的情况下是特殊的。即，当右臂622在水平面中的朝向为-45度和+45度、以及当右臂622在水平面中的朝向为-22.5度和+22.5度的情况下，在图像上右前臂的前端部能取的位置的模式相同。另外，将臂向正下方放下的姿势和向正上方抬起的位置的模式相同。因此，在照相机以仰角0度从正侧面对人进行拍摄的情况下，在图像上能够确认的姿势为3×81-4＝243-4＝239种。

这样，姿势估计装置100d如果使用运动模型，则能够容易地从这样多的姿势中缩选下一候选姿势。例如，设为每隔0.1秒进行拍摄以及姿势估计，人的各关节在水平方向以及垂直方向的每个方向上，只能以每0.1秒最大22.5度改变其角度。这种情况下，下一候选姿势减少为3×3＝9个以下。

然而，在剪影与正确的姿势的剪影相同的错误姿势为上次估计姿势的情况下，基于运动模型进行的下一候选姿势的缩选不是有效的。

图25是表示剪影相同的多个姿势的例的图。

如图25A所示，设为上次估计姿势是将臂向正下方伸展的姿势。但是，在图25B以及图25C所示的情况下，也存在剪影相同的另外的姿势，有可能误认为是这些而进行姿势估计。

图26是表示在右上臂以及右前臂的估计难度高的情况、即不利用运动模型进行下一候选姿势的缩选的情况下的、右前臂的前端部能取的位置(轨迹)的图。在以下的各图中，菱形标记(◇)表示下一候选姿势中的右前臂的前端部能取的位置。

剪影与图25A所示的姿势的剪影相同的姿势(右臂与躯干以及头部重叠的姿势)的数例如为41。而且，在以仰角0度从正侧面对人进行拍摄的情况下，剪影与图25A所示的姿势的剪影相同的姿势的数例如为18。

图27是表示在右上臂以及右前臂的估计难度低的情况、即利用运动模型进行下一候选姿势的缩选的情况下、右前臂的前端部能取的位置(轨迹)的图。

相对图25A所示的姿势，可转变三维姿势的数例如为91。而且，在以仰角0度从正侧面对人进行拍摄的情况下，相对图25A所示的姿势，可转变三维姿势的二维姿势的数例如为63。

如上所述，如果不存在估计难度高的部位，则在以仰角0度从正侧面对人进行拍摄的情况下，姿势估计装置100d能够将下一候选姿势的数从243减少到63，在其他情况下，能够从405减少到91。另外，即使在存在估计难度高的部位的情况下，姿势估计装置100d也能够在以仰角0度从正侧面拍摄人的情况下，根据剪影图像的相似度将下一候选姿势的数从243减少到18。

<姿势估计装置的效果>

如以上所述，本实施方式涉及的姿势估计装置100d根据估计难度判定上次估计姿势的可靠性，在上次估计姿势的可靠性高的情况下，使用运动模型提取下次姿势候选。由此，姿势估计装置100d能够实现处理的高速化和低负荷化。

另外，本实施方式涉及的姿势估计装置100d在上次估计姿势的可靠度低的情况下，基于图像信息进行姿势判定。或者，本实施方式涉及的姿势估计装置100d在上次估计姿势的可靠度低的情况下，使用图像信息的相似度对上次估计姿势的候选进行扩展后，使用运动模型提取下次姿势候选。由此，姿势估计装置100d能够进行具有鲁棒性的姿势估计。

此外，在以上说明的实施方式2以及实施方式3中，说明了姿势估计的对象是人的情况，但是，可以适用于机器人等由多个部位构成的各种物体的姿势估计。

本发明的姿势估计装置对由多个部位构成的物体的姿势进行估计，该装置具有：图像输入单元，获取拍摄所述物体所得到的图像；姿势信息数据库，对每个所述姿势保持规定所述多个部位的配置的姿势信息；拟合单元，在所述图像中的所述多个部位的配置和所述姿势信息之间，计算每个所述部位的相关度；难度信息表，保持基于所述姿势信息中包含的所述部位各自的平行线成分算出的、对每个所述姿势估计所述部位各自的位置的难度的程度即估计难度，；以及姿势估计单元，对于所述相关度适用基于所述估计难度的加权，基于加权后的相关度，进行所述物体姿势的估计。

另外，上述姿势估计装置也可以具有平行线提取单元，根据所述姿势信息，对每个所述姿势提取所述部位各自的平行线成分；以及估计难度判定单元，基于提取的所述平行线成分，对每个所述姿势判定所述估计难度，并将判定结果保持在所述难度信息表中。

另外，也可以是，在上述姿势估计装置中，所述估计难度判定单元对提取的所述平行线成分越多的所述部位，将所述估计难度判定为越低的值。

另外，也可以是，在上述姿势估计装置中，所述估计难度判定单元对提取的所述平行线成分的长度越长的所述部位，将所述估计难度判定为越低的值。

另外，也可以是，在上述姿势估计装置中，所述姿势信息包含将所述物体的三维模型投影到二维平面时的所述部位各自的外形，所述平行线提取单元从所述外形提取所述平行线成分。

另外，也可以是，在上述姿势估计装置中，所述姿势信息包含将所述物体的三维模型投影到二维平面时的所述部位各自的轴的位置、轴的长度以及平均粗度，所述平行线提取单元基于所述轴的位置、所述轴的长度以及所述平均粗度，在所述轴的两侧配置所述外形的搜索范围即部位矩形对，提取所述外形中的、所述部位矩形对所包含的部分的所述轴的方向的成分，作为所述平行线成分。

另外，也可以是，在上述姿势估计装置中，所述估计难度判定单元根据所述姿势信息，按每个所述姿势判断所述部位各自的容易与其他所述部位产生混淆的容易度，越是容易产生所述混淆的所述部位，则将所述估计难度判定为越高的值。

另外，也可以是，上述姿势估计装置具有部位估计单元，该部位估计单元根据输入的所述图像，生成表示所述图像中的所述多个部位各自存在情况的概率分布的部位估计图，所述拟合单元对表示所述二维平面中的所述多个部位各自存在情况的概率分布的部位基准图和所述部位估计图进行比较，对每个所述姿势以及每个所述部位，计算拍摄所述物体而得到的图像中的所述多个部位的配置和所述姿势信息之间的、每个部位的相关度，所述姿势估计单元对拍摄所述物体而得到的图像中的所述多个部位的配置和所述姿势信息之间的、每个部位的相关度，对每个所述姿势适用所述估计难度越高则权重越小那样的所述加权，计算所述部位基准图和所述部位估计图之间的重合度，将与算出的所述重合度最高的所述部位估计图对应的所述姿势，判定为所述物体的姿势。

另外，也可以是，上述姿势估计装置还具有下一候选姿势提取单元，该下一候选姿势提取单元对每个所述姿势，基于对能在经过单位时间后转变的所述姿势进行规定的三维姿势信息、和上次被估计为是所述物体的姿势的姿势即上次估计姿势，估计下次所述物体能取的所述姿势即下一候选姿势，所述姿势估计单元以不存在所述估计难度高于规定的阈值的所述部位为条件，缩选为基于所述三维姿势信息估计出的所述下一候选姿势，进行所述物体的姿势判定。

本发明的姿势估计方法也可以是，对由多个部位构成的物体的姿势进行估计，包括如下步骤：获取拍摄所述物体所得到的图像的步骤；在所述图像中的所述多个部位的配置和对每个所述姿势规定所述多个部位的配置的姿势信息之间，计算每个所述部位的相关度的步骤；使用基于所述姿势信息中包含的所述部位各自的平行线成分计算出的、对每个所述姿势估计各所述部位的位置的难度的程度即估计难度，对于所述相关度适用基于该估计难度的加权的步骤；以及基于加权后的相关度，进行所述物体的姿势估计的步骤。

2011年12月14日提出的日本专利申请特愿2011-273575号中包含的说明书、附图以及摘要的公开内容全部被引用于本申请中。

工业实用性

本发明作为能够高精度地估计由多个部位构成的物体的姿势的姿势估计装置以及姿势估计方法是有用的。

Claims

1.姿势估计装置，对由多个部位构成的物体的姿势进行估计，该装置具有：

图像输入单元，获取拍摄所述物体所得到的图像；

姿势信息数据库，对每个所述姿势保持规定所述多个部位的配置的姿势信息；

拟合单元，在所述图像中的所述多个部位的配置和所述姿势信息之间，计算每个所述部位的相关度；

难度信息表，保持基于所述姿势信息中包含的所述部位各自的平行线成分算出的、对每个所述姿势估计所述部位各自的位置的难度的程度即估计难度；以及

姿势估计单元，对于所述相关度适用基于所述估计难度的加权，基于加权后的相关度，进行所述物体姿势的估计。

2.如权利要求1所述的姿势估计装置，还具有：

平行线提取单元，根据所述姿势信息，对每个所述姿势提取所述部位各自的平行线成分；以及

估计难度判定单元，基于提取的所述平行线成分，对每个所述姿势判定所述估计难度，并将判定结果保持在所述难度信息表中。

3.如权利要求2所述的姿势估计装置，

所述估计难度判定单元对提取的所述平行线成分越多的所述部位，将所述估计难度判定为越低的值。

4.如权利要求2所述的姿势估计装置，

所述估计难度判定单元对提取的所述平行线成分的长度越长的所述部位，将所述估计难度判定为越低的值。

5.如权利要求2所述的姿势估计装置，

所述姿势信息包含将所述物体的三维模型投影到二维平面时的所述部位各自的外形，

所述平行线提取单元从所述外形提取所述平行线成分。

6.如权利要求5所述的姿势估计装置，

所述姿势信息包含将所述物体的三维模型投影到二维平面时的所述部位各自的轴的位置、轴的长度以及平均粗度，

所述平行线提取单元基于所述轴的位置、所述轴的长度以及所述平均粗度，在所述轴的两侧配置所述外形的搜索范围即部位矩形对，提取所述外形中的、所述部位矩形对中包含的部分的所述轴的方向的成分，作为所述平行线成分。

7.如权利要求2所述的姿势估计装置，

所述估计难度判定单元根据所述姿势信息，对每个所述姿势判断所述部位各自的与其他所述部位产生混淆的容易度，对越容易产生所述混淆的所述部位，将所述估计难度判定为越高的值。

8.如权利要求1所述的姿势估计装置，还具有：

部位估计单元，该部位估计单元根据输入的所述图像，生成表示所述图像中的所述多个部位各自存在情况的概率分布的部位估计图，

所述拟合单元将表示所述二维平面中的所述多个部位各自存在情况的概率分布的部位基准图和所述部位估计图进行比较，对每个所述姿势以及每个所述部位，计算拍摄所述物体所得到的图像中的所述多个部位的配置和所述姿势信息之间的、每个部位的相关度，

所述姿势估计单元对拍摄所述物体而得到的图像中的所述多个部位的配置和所述姿势信息之间的、每个部位的相关度，对每个所述姿势适用所述估计难度越高则权重越小那样的所述加权，计算所述部位基准图和所述部位估计图之间的重合度，将与算出的所述重合度最高的所述部位估计图对应的所述姿势，判定为所述物体的姿势。

9.如权利要求1所述的姿势估计装置，还具有：

下一候选姿势提取单元，对每个所述姿势，基于对能在经过单位时间后转变的所述姿势进行规定的三维姿势信息、和上次被估计为是所述物体的姿势的姿势即上次估计姿势，估计下次所述物体能取的所述姿势即下一候选姿势，

所述姿势估计单元以不存在所述估计难度高于规定的阈值的所述部位为条件，缩选为基于所述三维姿势信息估计出的所述下一候选姿势，进行所述物体的姿势判定。

10.姿势估计方法，对由多个部位构成的物体的姿势进行估计，包括如下步骤：

获取拍摄所述物体所得到的图像的步骤；

在所述图像中的所述多个部位的配置和对每个所述姿势规定所述多个部位的配置的姿势信息之间，计算每个所述部位的相关度的步骤；

使用基于所述姿势信息中包含的所述部位各自的平行线成分计算出的、对每个所述姿势估计所述部位各自的位置的难度的程度即估计难度，对于所述相关度适用基于该估计难度的加权的步骤；以及

基于加权后的相关度，进行所述物体的姿势估计的步骤。