CN103210421B

CN103210421B - 物体检测装置及物体检测方法

Info

Publication number: CN103210421B
Application number: CN201180054686.7A
Authority: CN
Inventors: 川口京子; 田靡雅基; 丸谷健介; 里雄二; 藤田光子
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2010-12-09
Filing date: 2011-11-22
Publication date: 2016-03-02
Anticipated expiration: 2031-11-22
Also published as: WO2012077286A1; CN103210421A; US20130243259A1; JP5873442B2; JPWO2012077286A1; US9031286B2

Abstract

本发明提供能够根据图像数据高精度地检测与具有关节的物体有关的信息的物体检测装置。物体检测装置(160)是根据拍摄具有通过关节连接的多个部位的物体而得到的图像数据，检测与物体有关的信息的装置，包括：关节角度提取单元(161)，根据从所述图像数据获取的相邻的两个部位的位置候选，提取连接两个部位的关节的角度；以及部位长度比估计单元(165)，使用关节的角度进行所述检测。

Description

物体检测装置及物体检测方法

技术领域

本发明涉及根据拍摄具有通过关节连接的多个部位的物体而得到的图像数据，检测与该物体有关的信息的物体检测装置及物体检测方法。

背景技术

近年来，盛行有关基于拍摄到的动态图像的图像数据进行的人的姿势估计的研究。这是因为，如果能够通过计算机分析根据动态图像判定人的行动，则可以不依赖于人力来进行在各种领域所进行的行动分析。作为行动分析，可例举例如街头的异常行动探测、商店中的购买行动分析、工厂中的作业高效化辅助、及体育运动中的姿势指导。

因此，例如专利文献1中记载了基于由单眼相机拍摄到的图像数据来估计人的姿势状态的技术。专利文献1中记载的技术(以下称为“现有技术”)中，首先基于包含于拍摄图像的椭圆形状或平行线提取部位候选。其次，现有技术中，使用从多个采样图像统计求出的似然函数，计算部位似然及部位关系似然。而且，现有技术中，基于这些似然计算最优的部位候选的组合。通过使用这种现有技术，能够确定哪个部位位于哪个区域，能够不依赖于人的位置及朝向估计人的姿势状态。

现有技术文献

专利文献

专利文献1：日本特开2005－165923号公报

非专利文献

非专利文献1：下坂正伦、佐藤真、森武俊、佐藤知正、“単眼画像からの形状特徴を用いた動作認識法”、全国大会演讲论文集第70次平成20年(5)、社团法人信息处理学会、2008年3月13日、p.5－93、p.5－94。

非专利文献2：P.ViolaandM.Jones,“RapidObjectDetectionUsingaBoostedCascadeofSimpleFeatures,”inProc.ofCVPR,vol.1,December2001,ppp.511-518

发明内容

发明要解决的问题

但是，现有技术中，使用根据多个人的图像统计求出的似然函数，所以对于与这些多个人的平均体格不同的被摄体，各似然的精度降低，人的检测和姿势状态的估计精度降低。另一方面，根据其用途不同，总是使上述平均体格与图像数据中所含的人的体格一致是困难的。因此，在现有技术中存在如下问题：高精度地进行人的姿势状态的估计和作为其基础的信息检测是困难的。

另外，虽然考虑到将现有技术适用于机器人等具有通过关节连接的多个部位的人以外的各种物体，但在这种情况下也会产生同样的问题。

本发明的目的在于提供能够根据图像数据高精度地检测与具有关节的物体有关的信息的物体检测装置及物体检测方法。

解决问题的方案

本发明的物体检测装置根据拍摄具有通过关节连接的多个部位的物体而得到的图像数据，检测与所述物体有关的信息，该物体检测装置包括：部位候选提取单元，使用所述物体的基准模型的限制信息，从所述图像数据提取相邻的两个所述部位的位置候选，基于提取出的所述位置候选，生成表示所述物体的各部位存在的似然度的分布的估计似然图；关节角度提取单元，由所述部位候选提取单元根据所述限制信息而提取出的所述位置候选，提取连接所述两个部位的关节的角度，并输出构成提取出的所述关节的角度的、所述两个部位的部位轴的位置及方向；关节位置提取单元，根据由所述关节角度提取单元获取的所述部位轴的位置及方向，提取所述物体的关节的位置；基准比关节位置获取单元，获取所述基准模型的关节中的与连接所述两个部位的关节对应的、所述基准模型的关节的位置；部位长度比估计单元，基于所述物体的关节的位置与所述基准模型的关节的位置，检测所述物体的部位的长度和与所述部位对应的所述基准模型的部位的长度之比，基于检测出的所述比来校正所述限制信息；以及姿势状态估计单元，对于每个姿势状态，存储表示处于该姿势状态的所述基准模型的各部位存在的似然度的分布的学习似然图，将与所述部位候选提取单元基于校正后的所述限制信息所生成的所述估计似然图的一致度高的所述学习似然图所对应的所述姿势状态，估计为所述物体的姿势状态。

本发明的物体检测方法是，根据拍摄具有通过关节连接的多个部位的物体而得到的图像数据，检测与所述物体有关的信息的方法，该物体检测方法包括以下步骤：部位候选提取单元使用所述物体的基准模型的限制信息，从所述图像数据提取相邻的两个所述部位的位置候选，基于提取出的所述位置候选，生成表示所述物体的各部位所位于的似然度的分布的估计似然图的步骤；关节角度提取单元由所述部位候选提取单元根据所述限制信息而提取出的所述位置候选，提取连接所述两个部位的关节的角度，并输出构成提取出的所述关节的角度的所述两个部位的部位轴的位置及方向的步骤；关节位置提取单元根据由所述关节角度提取单元获取的所述部位轴的位置及方向，提取所述物体的关节的位置的步骤；基准比关节位置获取单元获取所述基准模型的关节中的与连接所述两个部位的关节对应的、所述基准模型的关节的位置的步骤；部位长度比估计单元基于所述物体的关节的位置与所述基准模型的关节的位置，检测所述物体的部位的长度和与所述部位对应的所述基准模型的部位的长度之比，基于检测出的所述比来校正所述限制信息，并基于有关估计出的所述比的信息，校正所述限制信息的步骤；以及姿势状态估计单元对于每个姿势状态，存储表示处于该姿势状态的所述基准模型的各部位存在的似然度的分布的学习似然图，将与所述部位候选提取单元基于校正后的所述限制信息所生成的所述估计似然图的一致度高的所述学习似然图所对应的所述姿势状态，估计为所述物体的姿势状态的步骤。

发明效果

根据本发明，能够根据图像数据高精度地检测与具有关节的物体有关的信息。

附图说明

图1是表示一例本发明实施方式1的物体检测装置的结构的框图。

图2是用于说明本实施方式1的图像数据的图。

图3是表示一例本实施方式1的物体检测单元的结构的框图。

图4是表示一例本实施方式1的物体检测装置的动作的流程图。

图5是用于说明本实施方式1的欧米茄形状(Ω形状)的图。

图6是用于说明本实施方式1的从基准线到欧米茄形状的垂直距离的图。

图7是表示一例本实施方式1的距离直方图的图。

图8是表示一例本实施方式1的二值化后的距离直方图的图。

图9是用于说明表示本实施方式1的基准部位的各种参数的图。

图10是表示一例本实施方式1的基准部位对应表的内容的图。

图11是表示一例本实施方式1的部位区域对应表的内容的图。

图12是表示一例本实施方式1的部位区域数据的内容的图。

图13是表示一例本实施方式1的估计似然图的图。

图14是表示一例本实施方式1的二值化后的估计似然图的图。

图15是表示一例本实施方式1的基准模型和被摄体之间的关系的图。

图16是表示一例本发明实施方式2的物体检测装置的主要部分结构的框图。

图17是表示一例本实施方式2的物体检测单元的结构的框图。

图18是用于说明本实施方式2的人的姿势和各部位的明亮度之间的关系的图。

图19是表示一例本实施方式2的物体检测装置的处理流程的图。

图20是表示一例本实施方式2的凹凸映射图生成处理的处理流程的图。

图21是用于说明本实施方式2的区域分类方法的图。

标号说明

100、100a物体检测装置

110身体限制信息存储单元

120图像数据获取单元

130部位区域估计单元

140部位候选提取单元

145a凹凸映射图估计单元

150、150a姿势状态估计单元

160、160a物体检测单元

161关节角度提取单元

162关节位置提取单元

163基准比姿势数据库

164基准比关节位置获取单元

165部位长度比估计单元

166a关节位置估计单元

200单眼相机

300信息输出装置

具体实施方式

下面参照附图详细地说明本发明的各实施方式。

(实施方式1)

本发明实施方式1是将本发明适用于对所拍摄的运动图像中的人的姿势状态进行估计的装置的例。

在以下的说明中，“部位”是指人的身体中由关节划分出的部分的集合。即，部位例如是头、肩、右上臂、右前臂、左上臂、左前臂、右大腿、右小腿、左大腿及左小腿。另外，“部位区域”是指图像中某部位可占的区域、即部位的可动范围。

另外，“部位轴”是指部位的长度方向的虚拟的中心轴，具体而言，是指连结将部位与另外的第一部位连接的关节和将部位与另外的第二部位连接的关节或部位的端部的线段。例如，右上臂の部位轴的位置、朝向及长度与右上臂的骨头的中心轴的位置、朝向及长度大致一致。

另外，“部位长度”是指部位轴的长度(部位的长度方向的长度)，具体而言是指将部位与另外的第一部位连接的关节和将部位与另外的第二部位连接的关节或部位的端部(例如，手指尖或头顶部)之间的距离。例如，右上臂的部位长度与右上臂的骨头的长度、即从右上臂的右肩关节到右肘关节为止的长度大致一致。

另外，“部位长度比”是部位长度相对于规定长度的比。在本实施方式中，该规定长度是人的基准模型中所对应的部位的部位长度。人的基准模型是用于生成本实施方式的物体检测装置中使用的后述的身体限制信息的身体模型，只要可以唯一地确定，可以将其体型设为任意的体型。

另外，“关节角度”是指两个部位各自的长度方向之间的角度。例如，右肘的关节角度是右上臂的部位轴与右前臂的部位轴所构成的角度。

另外，“部位候选”是指部位的位置的候选，是根据图像数据估计的部位的位置。

另外，“姿势状态”是指应关注的两个以上的部位的姿势(位置及/或角度)的组合的类别，例如是“右臂弯曲”、“直立状态”等。在此，通过连接部位的关节的位置、或相关各部位的长度及部位间的角度等信息所来表现“姿势”。因此，“与物体有关的信息的检测”是包含获取这些信息、以及根据这些信息估计姿势状态的含义的概念。

此外，在本实施方式中以像素为单位进行说明，但物体检测装置100也可以将相当于规定大小的包含多个像素的集合分别看作是一个像素进行同様的处理。由此，物体检测装置可以高速进行处理。在将多个像素看作是一个像素的情况下，可以将成为多个像素的重心的像素的值作为该多个像素的值使用，也可以将多个像素的值的平均值作为该多个像素的值使用。

图1是表示本发明实施方式的物体检测装置的结构的框图。为了便于说明，对物体检测装置的外围设备也一并进行图示。

在图1中，物体检测装置100具有身体限制信息存储单元110、图像数据获取单元120、部位区域估计单元130、部位候选提取单元140、姿势状态估计单元150以及物体检测单元160。

身体限制信息存储单元110预先存储与人的体格或姿势有关的限制条件(以下称为“身体限制信息”)。身体限制信息是用于后述的部位区域的估计或部位候选的提取的信息。身体限制信息的具体内容根据部位区域的估计方法或部位候选的提取方法而不同，因此将后述。

图像数据获取单元120通过有线通信或无线通信获取利用设置在规定的三维坐标空间的单眼相机200拍摄的图像的图像数据，并输出到部位区域估计单元130。此外，在本实施方式中，单眼相机200为视频摄像机。图像数据获取单元120输入单眼相机200中连续地实时拍摄到的动态图像数据，将构成动态图像数据的各静态图像数据依次输出到部位区域估计单元130。在以下的说明中，设为图像数据仅包含一个人的图像进行说明，但不限于此，可以包含多人的图像，也可以未包含人的图像。

图2是用于说明图像数据的图。

如图2所示，例如设定以将单眼相机200的位置投影到地面而得到的位置为原点O的三维坐标系410。在坐标系410中，例如将垂直方向设为Y轴，将与Y轴及单眼相机200的光轴411正交的方向设为X轴，将与X轴及Y轴正交的方向设为Z轴。

例如利用Y轴和光轴411之间的角度θ表示单眼相机200的设置角度。而且，单眼相机200将焦点(focus)对准包含于单眼相机200的视角的范围的某平面412进行拍摄。将这样拍摄到的图像的图像数据发送到物体检测装置100。

图1的部位区域估计单元130基于从图像数据获取单元120输入的图像数据，估计各部位的部位区域。具体而言，部位区域估计单元130根据图像数据估计人的基准部位的位置及朝向。“基准部位”是指在其它部位之前进行其位置及朝向的估计且其估计结果影响对其它部位的位置及朝向的估计的部位。优选的是，采用在图像获取空间中，可稳定地得到影像的部位。而且，部位区域估计单元130以估计出的基准部位的位置及朝向为基准估计各部位的部位区域。

在本实施方式中，基准部位为人的头部及肩部。另外，将基准部位的朝向设为肩部的朝向，将肩部的朝向设为连结右肩部和左肩部的直线的方向。而且，部位区域估计单元130将图像数据和表示每个部位的部位区域的信息(以下称为“部位区域数据”)输出到部位候选提取单元140。

部位候选提取单元140基于所输入的部位区域数据从所输入的图像数据提取各部位候选，并输出到姿势状态估计单元150。此外，在本实施方式中，利用图像上的位置即图像的二维坐标系表示部位候选，将表示部位候选的信息设为似然图，其表示各部位存在的似然度的分布。

部位候选提取单元140生成对于从部位区域估计单元130输入的部位区域数据所表示的部位区域以外的区域，使与该部位区域相对应的指定部位存在的似然度降低的似然图。下面，将基于图像数据生成的似然图称为“估计似然图”。

姿势状态估计单元150基于从部位候选提取单元140输入的估计似然图进行包含于图像数据中的人(以下称为“被摄体”)的姿势状态的估计。更具体而言，姿势状态估计单元150按每个姿势状态预先保持有从处于该姿势状态的基准模型学习的似然图(以下称为“学习似然图”)。而且，姿势状态估计单元150在估计似然图和某一个学习似然图的一致度高时，将与该学习似然图相对应的姿势状态估计为被摄体的姿势状态。而且，姿势状态估计单元150通过有线通信或无线通信对显示装置等信息输出装置300发送信息，对用户通知估计结果。此外，姿势状态估计单元150也可以不仅估计姿势状态，而且一并估计被摄体的朝向(例如朝向右侧坐着还是朝向左侧坐着)。

物体检测单元160根据从图像数据获取的相邻的两个部位的部位候选，提取将这两个部位连接的关节的角度，基于提取到的关节的角度，估计与被摄体的部位长度比有关的信息。

图3是表示物体检测单元160的结构的框图。

在图3中，物体检测单元160具有关节角度提取单元161、关节位置提取单元162、基准比姿势数据库(DB：database)163、基准比关节位置获取单元164以及部位长度比估计单元165。

关节角度提取单元161根据所输入的每个部位的部位候选，提取相邻的两个部位各自的长度方向之间的角度，作为将这些部位连接的关节的关节角度。而且，关节角度提取单元161将构成提取出的关节角度的两个部位的部位轴的位置及方向输出到关节位置提取单元162。另外，关节角度提取单元161将提取出的关节角度输出到基准比关节位置获取单元164。此外，在本实施方式中，将关节角度表示为图像上的角度。

关节位置提取单元162根据所输入的部位轴的位置及方向，提取部位所构成的关节的关节位置。而且，关节位置提取单元162将提取出的关节的关节位置输出到部位长度比估计单元165。以下，将从图像数据提取的关节位置称为“提取关节位置”。此外，在本实施方式中，将关节位置表示为图像上的绝对位置。

基准比姿势数据库163预先保持与人的基准模型有关的信息(以下称为“基准模型信息”)。基准模型信息例如包含对于每个从某视点观察某姿势状态时的每个图像上的状态(以下称为“图像姿势状态”)的、表示各关节的图像上的关节角度及位置的信息(例如各部位的图像上的部位长度及可动范围)。换言之，基准模型信息为有关基准模型的体格及姿势的限制条件。

此外，基准模型信息优选是上述的学习似然图的学习中使用的基准模型的信息。

基准比关节位置获取单元164估计与从关节角度提取单元161输入的关节角度最接近的关节角度的图像姿势状态，获取处于估计出的图像姿势状态时的基准模型的各关节的位置。然后，基准比关节位置获取单元164将提取出的位置输出到部位长度比估计单元165。以下，将从基准模型信息提取出的关节位置称为“基准比关节位置”。

此外，基准比关节位置获取单元164估计出的图像姿势状态并不一定与姿势状态估计单元150估计出的姿势状态对应。这是因为，如上所述，在成为学习似然图的基础的基准模型的体格和被摄体的体格有较大差异的情况下，有可能在姿势状态估计单元150中进行错误的估计，但在基准比关节位置获取单元164中进行正确的估计。这是因为，如果是相同的姿势状态，则不依赖于体格，各关节的关节角度几乎相同。

部位长度比估计单元165基于所输入的提取关节位置及基准比关节位置计算被摄体的部位长度及基准模型的部位长度，进行部位长度比的估计。此外，在本实施方式中，利用图像的二维坐标系中的绝对值表示部位长度比估计单元165进行计算的部位长度。也就是说，部位长度比是从图像数据提取的部位长度相对于基准模型中的部位长度的比。

另外，部位长度比估计单元165基于所输入的提取关节位置及基准比关节位置、以及估计出的部位长度比，对存储于身体限制信息存储单元110的身体限制信息进行校正。具体而言，以使身体限制信息的内容与被摄体的体格或姿势相符合的方式，对身体限制信息进行校正。

物体检测装置100是包含CPU(中央处理器)及RAM(随机存储器)等存储介质等的计算机。即，通过CPU执行所存储的控制程序，物体检测装置100进行动作。

这样的物体检测装置100从图像数据提取被摄体的关节的角度，所以可以通过在与处于相同的姿势状态的基准模型之间比较部位长度来估计部位长度比。另外，物体检测装置100能够获取被摄体的部位长度比，所以能够对用于姿势状态估计的身体限制信息进行校正，以使其与体格或姿势相符合。因此，物体检测装置100根据图像数据，能够高精度地检测被摄体的部位区域、部位候选及姿势状态。

另外，物体检测装置100由于使用表示每个部位的似然分布的似然图，所以例如即使在图像上右臂收敛于躯体的外形中的情况下，也能够判定是否处于“右臂弯曲”这样的姿势状态。

另外，物体检测装置100由于估计指定部位的可动区域即部位区域，且对部位区域以外的区域降低似然值，所以能够提高似然图的精度。

下面，说明物体检测装置100的动作。

图4是表示一例物体检测装置100的动作的流程图。

首先，在步骤S1100中，部位区域估计单元130借助于图像数据获取单元120从单眼相机200获取一张静态图像的图像数据。

然后，在步骤S1200中，部位区域估计单元130进行估计基准部位的位置及朝向的处理(以下称为“基准部位估计处理”)。

在此，说明基准部位估计处理的详细例。基准部位估计处理大体上由估计人的肩关节位置的第一处理和估计人的躯体的朝向的第二处理构成。

首先，说明估计人的肩关节位置的第一处理。

部位区域估计单元130从图像数据检测欧米茄形状，基于欧米茄形状估计肩关节位置。

图5是用于说明欧米茄形状的图。

欧米茄(Ω)形状是包含人的头部及肩部的区域的特征性边缘形状，是人的身体中在使用监视相机等的情况下最稳定地拍摄到的概率高的形状。另外，头部及肩部与人的躯体之间的相对位置的变化少。因此，部位区域估计单元130首先检测欧米茄形状来检测出人的头部及肩部的位置，以这些位置为基准估计其它部位的部位区域，由此高精度地估计部位区域。

例如，通过使用如下的检测器，能够检测欧米茄形状，该检测器是使用足够数量的采样图像通过实时自适应增强(RealAdaBoost)等来制作的检测器。作为用于检测器的特征量，可使用例如HoG(histogramofgradient，梯度直方图)特征量、Sparse(稀疏)特征量、Haar(哈尔)特征量等。另外，作为学习方法，例如除增强型(Boosting)方法外，还可以利用SVM(SupportVectorMachine,支持向量机)、神经网络(NeuralNetwork)等。

部位区域估计单元130首先从图像数据的图像420检测欧米茄形状421。在此，设为，欧米茄区域422的像素中构成欧米茄形状421的像素(边缘部分的像素)为数字信号“1”，其它像素为数字信号“0”。而且，将包含欧米茄形状421的较小的矩形区域确定为欧米茄区域422。在此，将欧米茄区域422的下面的边称为基准线423。

部位区域估计单元130去除包含于欧米茄区域422的噪声。具体而言，部位区域估计单元130将欧米茄区域422的像素中存在于被欧米茄形状421包围的区域的数字信号“1”作为噪声而校正为数字信号“0”。例如可通过进行所谓的闭运算(closing)处理来进行该修正。闭运算处理是指以规定像素量或规定的比例将图像区域进行放大或缩小的处理。通过该修正，可以提高后述的距离直方图的精度。

而且，部位区域估计单元130对基准线423的各位置获取从基准线423到欧米茄形状421的垂直距离。

图6是用于说明从基准线423到欧米茄形状421的垂直距离的图。

如图6所示，部位区域估计单元130以基准线423的方向为X轴，以基准线423的垂直方向为Y轴进行处理。部位区域估计单元130例如将从基准线423的左端起的像素数作为X坐标值。而且，部位区域估计单元130获取从基准线423到构成欧米茄形状421的像素为止的Y轴方向的像素数、即到欧米茄形状421的垂直距离，作为垂直距离d(X)。构成欧米茄形状421的像素例如是数字信号“1”的像素中距基准线423最近的像素。

然后，部位区域估计单元130生成使n个(n为正的整数)垂直距离d(X)的数据与X坐标对应关联的距离直方图。

图7是表示一例部位区域估计单元130基于图5所示的欧米茄区域422生成的距离直方图的图。

如图7所示，部位区域估计单元130在XY坐标系中生成以垂直距离d(X)为Y轴的值来表示垂直距离d(X)的分布的距离直方图430。距离直方图430成为如下的形状:以与肩部相对应的形状隆起，其中，在与头部的中心部相对应的范围突出。

而且，部位区域估计单元130应用规定的阈值Th对所生成的距离直方图430进行二值化处理。具体而言，部位区域估计单元130将垂直距离d(X)为阈值Th以上的X坐标处的Y坐标值置换为“1”，将垂直距离d(X)小于阈值Th的X坐标处的Y坐标值置换为“0”。将阈值Th设定为如下的值，即，在欧米茄区域422中以高的概率比肩部上端的垂直距离d(X)大且比头部上端的垂直距离d(X)小的值。此外，二值化处理不限于此，例如也可以为所谓的大津二值化(大津法)等其它方法。

图8是一例将图7所示的距离直方图430进行了二值化处理后的结果。

如图8所示，成为“1”的范围441表示头部的中央部分的图像区域(以下称为“头区域”)的X坐标的范围。另外，包含成为“1”的范围441的整体的范围442表示肩部的图像区域(以下称为“肩区域”)的X坐标的范围。因此，部位区域估计单元130提取图像数据的图像420中的欧米茄区域422的X轴方向范围作为肩区域的X轴方向范围，提取成为“1”的范围441的X轴方向范围作为头区域的X轴方向范围。

而且，部位区域估计单元130基于提取到的肩区域及头区域计算表示基准部位的位置及朝向的各种参数。

图9是用于说明表示基准部位的各种参数的图。

在此，如图9所示，部位区域估计单元130使用H(xh，yh)、RSE(x_rse)、RD(x_rd)、RS(x_rs，y_rs)、RSU(y_rsu)、以及LS作为表示基准部位的位置的记号(括弧中表示XY坐标系中的参数)。H是头部的重心位置。RSE是右肩的端部的位置。RD是从头部的重心到右肩的端部为止的X轴方向的距离。RS是右肩的关节的位置(以下称为“右肩位置”)。RSU是右肩的顶部的位置。LS是左肩的关节的位置(以下称为作“左肩位置”)。

部位区域估计单元130例如如下计算各参数的值。

首先，部位区域估计单元130在基于二值化处理的结果提取出的肩区域中，基于人(的躯体)是否朝向单眼相机200侧来确定右肩区域。部位区域估计单元130基于头区域的颜色信息的肤色成分是否为规定的阈值以上来判断人是否朝向单眼相机200侧。在此，设为人朝向单眼相机200侧，并在面对图像看时的左侧的肩区域被确定为右肩区域。

其次，部位区域估计单元130计算右肩区域的重心位置作为右肩位置RS(x_rs，y_rs)。另外，部位区域估计单元130也可以计算头部的重心位置H(xh，yh)，使用重心位置H(xh，yh)和基础的欧米茄形状421之间的Y轴方向的距离(以下称为“头部高度Δh”)计算右肩位置RS(x_rs，y_rs)。具体而言，部位区域估计单元130例如只要将相对于头部高度Δh成为预先规定的比的值、设为从头部的重心位置H到右肩位置RS为止的X轴方向的距离(xh－x_rs)即可。另外，部位区域估计单元130例如也可以将从肩的高度降低头部高度Δh的一半的值Δh/2的位置设为右肩位置RS的Y坐标y_rs。

另外，部位区域估计单元130计算欧米茄形状421的边缘的倾斜(即距离直方图的变化率)超过阈值的点，作为右肩的端部的位置RSE(x_rse)。而且，部位区域估计单元130计算头部的重心位置H和右肩的端部的位置RSE之间的X轴方向的距离RD(x_rd)。

最后，部位区域估计单元130估计为右肩位置RS位于在X轴方向上距头部的重心位置H的距离为RD的80％的位置。即，部位区域估计单元130利用x_rs＝x_rse+0.2×RD计算右肩位置RS的X坐标x_rs。另外，部位区域估计单元130计算通过右肩位置RS且垂直的直线(与Y轴平行的直线)和欧米茄形状421的边缘的交点，作为右肩的顶部的位置RSU(y_rsu)。而且，部位区域估计单元130利用y_rs＝y_rsu－0.2×RD计算右肩位置RS的Y坐标y_rs。

另外，部位区域估计单元130也同样计算左肩位置LS。

此外，各参数的计算方法不限于上述例。例如在肩宽(例如右肩位置RS和左肩位置LS之间的距离)等部位长度作为身体限制信息之一被存储于身体限制信息存储单元110的情况下，部位区域估计单元130也可以使用该身体限制信息计算各参数。

下面，说明估计人的躯体朝向的第二处理。

本实施方式中，部位区域估计单元130参照作为身体限制信息之一而预先保持于身体限制信息存储单元110的基准部位对应表进行第二处理。

基准部位对应表是将头部的重心位置H、右肩位置RS和左肩位置LS的组合(以下称为“基准部位的位置”)，与根据该基准部位的位置估计的身体朝向(以下称为“基准部位的朝向”)对应关联而记述的表。即，基准部位表是记述各部位的相对位置关系的表。此外，基准部位是表示人的头部和肩部的欧米茄形状的部分。因此，基准部位的朝向是指人的身体(躯体)的朝向。

部位区域估计单元130从基准部位对应表导出与根据图像数据计算出的基准部位的位置相对应的基准部位的朝向。

此外，优选的是，所保持的基准部位对应表中记述的基准部位的位置、以及部位区域估计单元130根据图像数据计算的基准部位的位置是不依赖于人的画面上的大小的归一化后的值。具体而言，部位区域估计单元130例如以头部的重心位置H为原点，使用以头部的重心位置H和右肩位置RS或左肩位置LS之间的长度成为1的方式归一化后的值导出基准部位的朝向。

另外，在基准部位对应表中也可以记述右肩位置RS及左肩位置LS。另外，在基准部位对应表中也可以记述由通过头部的重心位置H和右肩位置RS或左肩位置LS的线、和通过头部的重心位置H的垂直的直线(以下称为“头部垂直线”)所构成的角度。另外，在基准部位对应表中也可以记述将头部的重心位置H和右肩位置RS之间的距离设为1时的头部的重心位置H和左肩位置LS之间的距离。部位区域估计单元130通过计算与记述于基准部位对应表中的参数相对应的参数，导出基准部位的朝向。

图10是表示一例基准部位对应表的内容的图。

如图10所示，基准部位对应表450中，与标识符451对应关联地记述投影角度452、左肩位置LS的坐标453、头部的重心位置H的坐标454和基准部位的朝向455。例如以右肩位置RS为原点，使用与画面的二维坐标系平行的规定的二维坐标系来表示各坐标。投影角度452例如是该规定的二维坐标系相对于图2中说明过的三维坐标系410的XZ平面的角度(即图2所示的设置角度θ)。另外，例如利用相对于图2中说明过的三维坐标系410的XYZ轴的每个轴的旋转角度来表示基准部位的朝向455。此外，也可以使用将臂的部位长度或身长等其它长度设为1的坐标系来表示各坐标。

这样，部位区域估计单元130使用身体限制信息估计基准部位的位置及朝向。如上结束基准部位估计处理的说明。

接着，在图4的步骤S1300中，部位区域估计单元130进行基于估计出的基准部位的位置及朝向对每个部位估计部位区域的处理(以下称为“部位区域估计处理”)。

在此，说明部位区域估计处理的详细例。

本实施方式中，部位区域估计单元130参照作为身体限制信息之一而预先保持于身体限制信息存储单元110的部位区域对应表、进行部位区域估计处理。

部位区域对应表是使基准部位的位置及朝向与其它部位的部位区域对应关联而记述的表。

部位区域估计单元130根据部位区域对应表导出与根据图像数据估计出的基准部位的位置及朝向相对应的部位区域。

例如由图像数据的图像的像素位置定义部位区域。因此，部位区域估计单元130对图像数据的图像整体的所有像素，判断各像素是否为属于任一部位的部位区域的像素。

图11是表示一例部位区域对应表的内容的图。

如图11所示，部位区域对应表460中，与标识符461对应关联地记述头肩区域(基准部位)的位置463、头肩区域(基准部位)的朝向464以及各部位的区域465。

例如，利用图像的二维坐标系的值表示各位置及区域。投影角度462例如是该规定的二维坐标系相对于图2中说明过的三维坐标系410的XZ平面的角度(即图2所示的设置角度θ)。头肩区域的位置463例如是右肩位置RS。例如利用相对于图2中说明过的三维坐标系410的XYZ轴的每个轴的旋转角度来表示头肩区域的朝向464。例如利用将区域以圆近似的情况下的该圆的中心坐标和半径来表示各部位的区域465。半径即是部位长度。

此外，在标识符461与基准部位对应表450的标识符451相同的情况下，也可以不必将头肩区域的朝向464记述于部位区域对应表460。

此外，在估计部位区域时，也可以使用其他种类的身体限制信息。另外，身体限制信息也可以取上述的结构以外的结构。

在此，说明可用于部位区域的估计的其它身体限制信息。

身体限制信息例如以规定部位的长度及关节的角度中至少一者为基准，限制与规定的部位连接的部位可存在的区域(即部位区域)。在这种情况下，身体限制信息例如包含某部位和其它部位之间的长度之比及关节的可动角度中的至少一者。例如，身体限制信息规定：在将肩宽设为1时，上臂的长度为0.6。

例如，身体限制信息按每个部位包含部位长度比、以及对3个方向(X轴方向、Y轴方向、Z轴方向)记述了以接近躯体之侧的关节为基点时的运动的自由度的信息。

另外，例如在右上臂的部位ID为“3”，右上臂的部位长度相对于肩部的部位长度之比为“0.8”的情况下，身体限制信息可以通过以下那样记述的文件或程序源规定右上臂的部位长。

Begin

部位ID：3

长度之比：0.8

End

另外，例如在右上臂的部位ID为“3”，右上臂的粗度相对于肩部的部位长之比为“0.2”的情况下，身体限制信息可以通过以下那样记述的文件或程序源规定右上臂的部位粗度。

Begin

部位ID：3

粗度之比：0.2

End

另外，例如设为右肩的关节ID为“100”，肩部的部位ID为“1”，右上臂的部位ID为“3”。另外，设为右上臂的可动方向关于X轴为(－60.0，90.0)，关于Y轴为(－90.0，90.0)，关于Z轴为(－90.0，90.0)。这种情况下，身体限制信息例如可以通过以下那样记述的文件或程序源规定右上臂相对于右肩的关节的自由度。

Begin

关节ID：100

部位ID：1

部位ID：3

可动方向：rx，ry，rz

角度：(－60.0，90.0)、(－90.0，90.0)、(－90.0，90.0)

End

此外，这些情况下，也可以将表示由关节ID和部位ID所示的关节和部位之间的连接关系的信息和表示各关节的可动方向及角度的信息记述在另外的文件中。

另外，也可以利用将各位置投影于二维坐标系所得的信息记述身体限制信息。在这种情况下，即使在三维中为唯一的位置信息，其值也可能因投影角度而不同。另外，可动方向和角度为二维的值。因此，身体限制信息存储单元110在将这样的值作为身体限制信息保持的情况下，需要一并预先保持有关投影角度的信息。

以上结束有关用于部位区域的估计的其它身体限制信息的例的说明。

部位区域估计单元130在完成部位区域的估计后，对于图像数据的图像整体的所有像素，将对每个像素表示是否为部位的部位区域的信息输出到部位候选提取单元140作为部位区域数据。

部位区域数据例如可具有对于图像数据的所有像素位置(i、j)，排列像素信息Kij所得的构造，该像素信息Kij表示是否符合任一部位的部位区域。像素信息Kij的各要素例如在属于对应的部位的部位区域的情况下取“1”，在不属于的情况下取“0”。像素信息Kij例如象Kij＝[k1，k2]那样具有与部位数相同数量的维。在此，k1与右上臂的部位区域对应，k2与右前臂的部位区域对应。

例如，在判定为某像素位置Kab包含于右上臂的部位区域但不包含于右前臂的部位区域的情况下，部位区域估计单元130生成Kab＝[1，0]这样的像素信息。部位区域估计单元130生成这样生成的各像素的像素信息的集合，作为部位区域数据。

此外，基于部位区域数据的部位区域的表示方法不限于上述例。例如，部位区域数据可以对图像中预先设定的每个部分区域，表示与哪一部位的部位区域相符合，也可以对每个部位表示部位区域的外缘的坐标。

此外，在将基准部位的位置归一化后的位置用于基准部位估计处理的情况下，优选在部位区域对应表中记述与归一化后的基准部位对应的部位区域。另外，在部位区域数据中，与上述的基准部位对应表的情况同样，也可以记述右肩位置RS及左肩位置LS等其它信息。部位区域估计单元130通过计算与部位区域对应表中记述的参数相对应的参数，导出各部位的部位区域。

图12是表示一例部位区域数据的内容的图。在此，为简化说明，将处于直立状态的情况下的各部位的位置一并图示。

如图12所示，部位区域数据在图像数据的图像420中表示右上臂的部位区域471和右前臂的部位区域472。如上所述，这些部位区域471、472是以先前估计出的基准部位473的位置及朝向为基准估计出的。

这样，部位区域估计单元130使用身体限制信息估计各部位的部位区域。以上结束部位区域估计处理的说明。

接着，在图4的步骤S1400中，部位候选提取单元140进行按每个部位对于部位区域计算似然值来生成估计似然图的处理(以下称为“估计似然图生成处理”)。

在此说明估计似然图生成处理的细节的第一例。

首先，部位候选提取单元140根据图像数据对各部位的部位区域内的每个像素判别适于表示该部位的位置及朝向的状态的图像特征量，计算表示部位存在的似然度的似然值。而且，部位候选提取单元140使用根据图像数据计算出的似然值，生成表示各像素的似然值的分布的估计似然图。似然值可以是归一化为0～1的范围的值，也可以是包含正的整数和负数的实数。

作为在图像中识别出关注对象的方法，例如可采用如下的技术，即，将以矩形信息为基础的多个弱识别器的总和通过自适应增强(AdaBoost)进行整合，来制作强识别器，且将强识别器串联连接，识别出脸部作为图像中的关注对象的技术。另外，作为图像特征量，例如可采用SIFT(scale-invariantfeaturetransform，尺度不变特征变换)特征量(例如参照非专利文献1)。SIFT特征量由128维的向量构成，是按每个像素计算的值。由于SIFT特征量不受作为检测对象的物体的尺度变化、旋转、及平行移动的影响，所以特别对如臂那样可在各个方向旋转的部位的检测有效。即，SIFT特征量适合由两个以上的部位的关节的相对的位置及角度定义姿势状态的本实施方式。

在将使用SIFT特征量的方法适用于本实施方式的情况下，对右上臂(k＝1)、右前臂(k＝2)等每个部位区域，预先通过机器学习而生成强识别器Hk(k＝1，2)，并保持于部位候选提取单元140。通过自适应增强(AdaBoost)算法生成识别器Hk。即，通过如下方式生成强识别器Hk：对于预先对每个部位准备的多个学习图像反复进行学习，直至能够以所希望的精度判定是否为右上臂以及是否为右前臂为止，并将多个弱识别器串联连接而生成强识别器Hk。

部位候选提取单元140在对每个部位及每个像素计算出图像特征量后，将该图像特征量输入到强识别器Hk，且计算对构成该强识别器Hk的各弱识别器的输出，乘以对每个弱识别器预先得到的可靠度α所得的值的总和。然后，部位候选提取单元140从计算出的总和减去规定的阈值Th，计算每个部位及每个像素的似然值ck。在此，c1表示右上臂的似然值，c2表示右前臂的似然值。

部位候选提取单元140将整合各部位的似然值而成的每个像素的似然值Cij设为Cij＝[c1，c2]。而且，部位候选提取单元140将图像整体的所有像素的似然值Cij作为估计似然图输出到姿势状态估计单元150。

部位候选提取单元140也可以对各像素判断该像素是否包含于任一部位区域，如果包含则使用该部位的识别器计算似然值，如果不包含则将该部位的似然值设为0。换言之，部位候选提取单元140也可以将从部位区域估计单元130输出的像素信息的行列式(Kij)和与部位区域无关地计算出的各像素的似然值的行列式(Cij)相乘所得的结果设为最终的估计似然图。

图13是表示一例估计似然图的图。在此，仅表示估计似然图中的一个部位(例如右上臂)的似然值，越是似然值高的像素，带着越浓的底纹。如图13所示，估计似然图478表示部位存在的似然度的分布。

例如在将部位k的似然值表示为ck，并存在n个部位的情况下，似然图的每个像素的信息为似然向量Cij＝[c1，c2，…，ck，…，cn]这样的数据构造。

这样，部位候选提取单元140生成估计似然图。以上结束有关估计似然图生成处理的细节的第一例的说明。

接着，说明估计似然图生成处理的细节的第二例。

部位候选提取单元140例如通过从包含于图像数据的边缘提取平行线，生成估计似然图。

在这种情况下，部位候选提取单元140例如参照作为身体限制信息之一预先保持于身体限制信息存储单元110的、使肩关节的长度和各部位的标准粗度的值对应关联而得到的对应表，进行平行线的提取。部位候选提取单元140一边使进行判定的方向旋转360度，一边在部位区域内检索以相当于该部位的标准粗度的距离隔开的平行线的组。而且，在存在该平行线的组的情况下，部位候选提取单元140重复进行对由这些平行线包围的区域的各像素进行投票的处理，基于最终的各像素的投票数生成估计似然图。

采用这种方法时，估计似然图和学习似然图按每个像素及每个部位包含平行线的方向和投票数(以下称为“方向的似然值”)。例如，在将平行线的角度分类为8种的情况下，每个像素及每个部位的似然值成为与8个方向对应的8维的值。进而，例如在将平行线的宽度分类为2种的情况下，每个像素及每个部位的似然值成为2×8＝16维的值。此外，作为投票对象的平行线的距离和角度也可以按每个部位而不同。通过求平行线的多种宽度，并使用其中的似然值最高的宽度的似然值，能够减少体型或服装的不同带来的影响来求似然。

而且，部位候选提取单元140例如按每个部位，将方向的似然值最高的方向判定为该部位的主要的边缘方向。此时，姿势状态估计单元150也可以按每个方向取所有像素的似然值的合计值，并将其合计值最高的方向判定为方向的似然值最高的方向。

这样，部位候选提取单元140使用身体限制信息生成估计似然图。以上结束有关估计似然图生成处理的细节的第二例的说明。

接着，在步骤S1500中，姿势状态估计单元150进行一致度判定处理，基于某一学习似然图和估计似然图的一致度是否为规定的等级以上，来判断该学习似然图和估计似然图是否一致。

在此，说明一致度判定处理的详细例。首先，说明与采用上述的估计似然图生成处理的第一例的情况相对应的一致度判定处理的细节的第一例。

姿势状态估计单元150首先使用规定的阈值分别将估计似然图及各学习似然图二值化。具体而言，姿势状态估计单元150在每个像素及每个部位的似然值为规定的阈值以上的情况下将其似然值变换为数字信号“0”，在小于规定的阈值的情况下变换为数字信号“1”。

图14是表示一例将图13所示的估计似然图二值化后的状态的图。其中，用灰色表示数字信号“1”的像素，用白色表示数字信号“0”的像素。如图14所示，二值化后的估计似然图479表示部位存在的似然度高的部分的分布。

而且，姿势状态估计单元150对每个学习似然图，在估计似然图和学习似然图之间，取对每个像素及每个部位二值化后的似然值的乘积，并将关于所有像素及所有部位的值之总和设为评价值。具体而言，姿势状态估计单元150将估计似然图和学习似然图以规定的位置关系重叠，按每个像素将二值化后的似然值信息相乘，求关于所有的像素及部位的相乘所得的值之总和。

姿势状态估计单元150通过移动及旋转使估计似然图和学习似然图之间重合的位置关系逐渐错位，对各位置关系进行上述的运算处理。而且，姿势状态估计单元150获取所求出的评价值中的最大值，作为表示与学习似然图之间的一致度的最终评价值。而且，在该评价值为规定的阈值以上的学习似然图存在时，姿势状态估计单元150判断为该学习似然图和估计似然图一致。作为阈值，预先通过学习等而设定适当的值。

此外，姿势状态估计单元150也可以不必将估计似然图及学习似然图二值化。在这种情况下，姿势状态估计单元150可以更高精度地判定学习似然图和估计似然图的一致度。另外，在进行了二值化的情况下，姿势状态估计单元150能够高速进行一致度的判定。

这样，姿势状态估计单元150判定估计似然图和学习似然图的一致度。以上结束有关一致度判定处理的第一例的说明。

接着，说明与采用上述的估计似然图生成处理的第二例的情况相对应的一致度判定处理的细节的第二例。

姿势状态估计单元150对每个部位，以使各自的主要的边缘方向一致的方式将估计似然图与学习似然图重合，从而计算一致度。以后的处理与上述的第一例相同。

这样，考虑边缘的方向的方法由于能够对估计似然图和学习似然图之间的重合位置关系施加限制，所以能够减轻处理负荷。

此外，姿势状态估计单元150在计算估计似然图和学习似然图的一致度时，也可以仅使用边缘方向的信息。此时，例如姿势状态估计单元150将在多个指定部位间各指定部位的边缘方向所构成的角度的一致度设为表示估计似然图和学习似然图之间的一致度的评价值。而且，在评价值在规定的范围内时，姿势状态估计单元150判定为被摄体的姿势处于与相应的学习似然图对应的姿势状态。

这样，仅使用边缘方向判定一致度的方法由于可以省去一边使图像旋转一边反复计算多个评价值的处理，所以能够进一步降低处理负荷。以上结束有关一致度判定处理的第二例的说明。

在学习似然图与估计似然图一致时(S1500：“是”)，姿势状态估计单元150进至步骤S1600。而在学习似然图与估计似然图不一致时(S1500：“否”)，姿势状态估计单元150进至步骤S1700。

在步骤S1600中，姿势状态估计单元150将对应于与估计似然图一致的学习似然图的姿势状态，经由信息输出装置300通知给用户，并进至步骤S1700。

在步骤S1700中，关节角度提取单元161基于从部位候选提取单元140输出的部位候选，提取被摄体的各关节的关节角度。

具体而言，首先，关节角度提取单元161从部位候选提取各部位的部位轴的方向(角度，以下称为“轴方向”)。例如在部位候选所表示的部位的外形可近似为椭圆的情况下，将该椭圆的长轴设为部位轴。另外，关节角度提取单元161也可以将该区域的各像素的似然值的平均值超过规定的阈值的区域近似为椭圆，将该椭圆的长轴设为部位轴。另外，关节角度提取单元161也可以在部位候选包含方向成分的情况下，采用在部位候选内最多的平行成分作为部位的轴方向，将轴方向的通过包含似然值为规定的阈值以上的像素的区域的重心的直线设为部位轴。

然后，关节角度提取单元161对于各关节，根据夹着该关节的两个部位的轴方向计算该关节的关节角度。然后，关节角度提取单元161将部位轴的位置及轴方向与该部位轴所对应的部位的标识符(ID)一起输出到关节位置提取单元162。而且，关节角度提取单元161将关节角度与该关节角度所对应的关节的标识符一起输出到基准比关节位置获取单元164。

然后，在步骤S1800中，关节位置提取单元162根据所输入的部位轴的位置及轴方向，估计各关节的关节位置。具体而言，关节位置提取单元162对每个部位求成为部位轴的交点的位置，将求出的位置设为所对应的关节的关节位置。而且，关节位置提取单元162将求出的关节位置(即提取关节位置)与其标识符一起输出到部位长度比估计单元165。

另外，在步骤S1900中，基准比关节位置获取单元164参照基准比姿势数据库163的基准模型信息，对每个与所输入的关节的标识符对应的关节提取关节位置。然后，基准比关节位置获取单元164将求出的关节位置(即基准比关节位置)与其标识符一起输出到部位长度比估计单元165。

更具体而言，首先，基准比关节位置获取单元164基于从关节角度提取单元161输入的关节角度和关节的标识符的组，检索图像姿势状态与被摄体的图像上的姿势状态一致的基准模型信息。即，基准比关节位置获取单元164检索各关节的图像上的角度近似的图像姿势状态，提取该图像姿势状态的基准模型的各关节的位置作为基准比关节位置。然后，基准比关节位置获取单元164将提取出的个基准比关节位置与对应的关节的标识符(ID)一起输出到部位长度比估计单元165。

在此说明基准模型信息的详细例。

基准模型信息例如由对每个姿势状态使用三维坐标系表现关节位置等的第一阶段信息(以下称为“基准模型三维信息”)和使用二维坐标系表现从某个视点观看该姿势状态时的关节位置等的第二阶段信息(以下称为“基准模型二维信息”)构成。以下，将上述第一阶段信息称为“基准模型三维信息”，将上述第二阶段信息称为“基准模型二维信息”。此时，通过将基准模型三维信息向二维坐标系投影而得到基准模型二维信息。另外，在对处于一个姿势状态的基准模型假定多个视点的情况下，根据一个基准模型三维信息，可生成多个基准模型二维信息。也就是说，多个视点对应于如下的情况：对于相机视点，存在基准模型的位置和朝向的多个组合。

首先说明三维信息。

使用将右肩关节的关节位置设为原点，并将右肩位置与左肩位置之间的距离设为1的规定的三维坐标系来表现基准模型三维信息。此外，也可以使用将其他位置设为原点的坐标系，或者使用将臂的部位长度或身长等其他长度设为1的坐标系来表现基准模型三维信息。

在此，例如假定姿势状态的姿势ID为“200”，右肩的关节ID为“100”，肩部的部位ID为“1”，右上臂的部位ID为“3”。另外，将右上臂的可动方向假定为，关于X轴为(20.0)，关于Y轴为(90.0)，关于Z轴为(0.0)。此时，基准模型三维信息例如通过如下记述的文件或程序源，能够规定基准模型的右上臂相对于右肩的关节的自由度。此外，基准模型三维信息中的可动方向与身体限制信息不同，不是范围而是一方向，这是因为基准模型三维信息是每个姿势状态的信息。但是，也可以考虑关节角度的误差或个体差，由范围定义基准模型三维信息中的可动方向。

三维姿势Begin

姿势ID：200

关节Begin

关节ID：100

部位ID：1

部位ID：3

可动方向：rx，ry，rz

角度：20.0，90.0，0.0

位置：(0，0，0)

关节End

三维姿势End

此外，作为基准模型三维信息，也可以将与关节有关的信息和与部位有关的信息记述在不同的文件中。由此，可以在多个姿势状态之间共享文件，能够减小基准比姿势数据库163的大小。

另外，对于基准模型三维信息，也可以将关节位置与姿势状态之间的对应关系、和关节角度与姿势状态之间的对应关系记述在不同的文件。由此，在准备对于体格不同的多个基准模型的基准模型三维信息的情况下，可以使记述关节角度与姿势状态之间的对应关系的文件为通用的文件，能够减小基准比姿势数据库163的大小。

另外，作为基准模型三维信息，也可以记述各关节的关节角度与部位长度以及部位的粗度等而不记述关节位置。此时，可以根据关节角度和身体限制计算关节位置。由此，能够减小基准比姿势数据库163的大小。

例如，可以如下述那样分开记述上述的有关右上臂的基准模型三维信息。

三维姿势定义Begin

姿势ID：200

关节Begin

关节ID：100

部位ID：1

部位ID：3

可动方向：rx，ry，rz

关节End

三维姿势定义End

三维姿势角度Begin

姿势ID：200

关节Begin

关节ID：100

角度：20.0，90.0，0.0

关节End

三维姿势角度End

三维姿势位置Begin

姿势ID：200

关节Begin

关节ID：100

位置：(0，0，0)

关节End

三维姿势位置End

另外，如以下那样，基准模型三维信息也可以将与多个关节有关的信息包含于一个文件。此外，在这种情况下，也可以利用将右肩关节位置等的一个基准点设为原点的规定的三维坐标系来表现角度及位置。或者，也可以利用将与躯体近的一侧的关节位置以及与躯体近的一侧的其他部位的轴方向作为基准的相对的三维坐标系来表现角度及位置。

三维姿势Begin

姿势ID：200

关节Begin

关节ID：100

部位ID：1

部位ID：3

可动方向：rx，ry，rz

角度：20.0，90.0，0.0

位置：(0，0，0)

关节End

关节Begin

···

关节End

三维姿势End

···

三维姿势Begin

姿势ID：300

关节Begin

···

关节End

关节Begin

···

关节End

三维姿势End

此外，即使在这样将与多个关节有关的信息包含于一个文件的情况下，也可以如上述那样，对每个信息类别，将基准模型三维信息记述在不同的文件中。

另外，作为基准模型三维信息，也可以同样地将与多个姿势状态有关的信息包含于一个文件。

下面，说明基准模型二维信息。

基于基准模型三维信息生成基准模型二维信息。可以预先生成基准模型二维信息并保存于基准比姿势数据库163，也可以随时根据基准模型三维信息生成基准模型二维信息。在假设多个视点的情况下，通过随时生成基准模型二维信息，能够减小基准比姿势数据库163的大小。例如由基准比姿势数据库163或基准比关节位置获取单元164生成基准模型二维信息。此外，对基准模型二维信息附加如下的信息，该信息表示作为基准的部位的长度在图像上相当于几个像素。

例如加设为，投射到二维坐标的水平的角度为“90度”，垂直方向的角度为“45度”，作为基准的部位是肩部，肩的长度(从右肩关节位置到左肩关节位置的距离)为“20像素”。此时，可以如下述那样记述上述的有关右上臂的基准模型二维信息。这里，在二维坐标系中，将图像中的水平方向设为x轴，将垂直方向设为y轴，将右肩关节位置设为原点。另外，将角度设为相对于x轴的角度。此外，投影角度例如用于基于单眼相机200的设置角度遴选基准模型二维信息。

二维姿势Begin

姿势ID：200

作为基准的部位的长度换算：20

投射Begin

投影角度：(90，45)

关节Begin

关节ID：100

部位ID：1

部位ID：3

角度：10.0

位置：(0，0)

关节End

投影End

二维姿势End

此外，也可以与上述的基准三维模型信息的情况同样地，按每个图像姿势状态或者每个信息的类别，将基准二维模型信息记述在不同的文件。

另外，如以下所示那样，基准二维模型信息也可以对一个投影角度包含与多个关节有关的信息，或对一个姿势包含与多个投影角度有关的信息。

二维姿势Begin

姿势ID：200

作为基准的部位的长度换算：20

投射Begin

投影角度：(90，45)

关节Begin

关节ID：100

部位ID：1

部位ID：3

角度：10.0

位置：(0，0)

关节End

···

关节Begin

···

关节End

投影End

投射Begin

投影角度：(70，45)

关节Begin

···

关节End

投影End

···

二维姿势End

此外，即使在对一个姿势包含与多个投影角度有关的信息的情况下，也可以与上述的基准三维模型信息的情况同样地，按每个图像姿势状态或者每个信息类别，将基准模型二维信息记述在不同的文件。由此，能够减小基准比姿势数据库163的大小。

另外，基准模型三维信息向二维坐标系的投影角度可以是固定值，也可以是根据计算出的肩部的朝向而变化的值。在是后者的情况下，基准比关节位置获取单元164需要获取部位候选提取单元140所提取出的肩部的朝向。另外，基准比关节位置获取单元164也可以具有将投影角度设定为任意的值的投影角度设定处理单元。

以上结束了有关基准模型信息的例的说明。

接着，在图4的步骤S2000中，部位长度比估计单元165计算由所输入的提取关节位置确定的各部位的部位长度、以及由所输入的基准比关节位置确定的各部位的部位长度。而且，部位长度比估计单元165对每个部位，计算基于提取关节位置的部位长度相对于基于基准比关节位置的部位长度之比。即，部位长度比估计单元165对每个部位计算从图像数据提取出的被摄体的部位长度相对于基准模型的部位长度之比。

在此，说明部位长度比的计算方法的具体例。

图15是表示一例处于同一图像姿势状态的基准模型与被摄体之间的关系的图。

如图15所示，例如，有时被摄体481的从头部到腰为止的部分的部位轴的长度l比基准模型482的从头部到腰为止的部分的部位轴的长度lc长。此时，根据图15可知，即使腿的长度和角度相同，在被摄体481与基准模型482之间，腿相对于头部的位置也产生偏差。

这样的部位偏差使部位区域的估计、部位候选的估计、以及姿势状态的估计的各自的精度降低。

另一方面，对于同一关节，由于从图像数据提取出的关节角度与提取出的图像姿势状态的关节角度的一致度应该高，所以如图15所示，与该关节连接的部位轴也几乎平行。

因此，在图4的步骤S2100中，部位长度比估计单元165对身体限制信息进行校正，该校正相当于延长或缩短身体限制信息所规定的基准模型482的部位长度以使其与被摄体481的部位长度一致。

在是图15的例的情况下，例如，部位长度比估计单元165使基准模型482的从头部到腰为止的部分的部位长度向下方延伸，以使在被摄体481与基准模型482之间腿的位置一致。由此能够提高部位区域的估计、部位候选的估计、以及姿势状态的估计的各自的精度。

具体而言，例如，部位长度比估计单元165使用被摄体的第m部位的部位长度l_m和基准模型的第m部位的部位长度lc_m，并利用以下的式(1)计算第m部位的部位长度比r_m。

r_m＝l_m/lc_m……(1)

而且，部位长度比估计单元165基于各部位长度比r_m校正身体限制信息存储单元110的身体限制信息。也就是说，部位长度比估计单元165校正身体限制信息以使身体限制信息所示的各部位长度lc_m与乘以对应于当前的值的部位长度比r_m后的值一致。具体而言，部位长度比估计单元165例如在部位区域对应表460(参照图11)中记述的部位的区域464中，将其圆的半径校正为对基准模型的情况下的半径乘以部位长度比所得的值。

此外，优选的是，部位长度比估计单元165也对基准比姿势数据库163的基准模型信息，进行与对身体限制信息进行的校正相对应的内容的校正。由此，在被摄体相同的期间，能够通过最初的一次校正而完成对身体限制信息的校正处理。

此外，部位长度比估计单元165也可以直接使用计算出的被摄体的部位长度l_m来校正身体限制信息存储单元110的身体限制信息。但是，存在表现与身体限制信息的部位长度相当的参数的二维坐标系与基准模型二维信息的二维坐标系不一致的情况，或与身体限制信息的部位长度相当的参数是三维坐标系的值的情况。在这些情况下，与二维坐标系的长度即部位长度l_m相比，部位长度比r_m更适合于运算。

然后，在步骤S2200中，部位区域估计单元130判断是否通过用户操作等收到处理结束指示。在没有处理结束的指示的情况下(S2200：“否”)，部位区域估计单元130返回到步骤S1100，且移至对下一静态图像的处理。另外，在存在处理结束的指示的情况下(S2200：“是”)，部位区域估计单元130结束一系列的处理。

通过这样的动作，物体检测装置100能够从图像数据提取被摄体的关节的角度，估计被摄体的各部位的部位长度比，从而提高姿势状态估计的精度。

此外，姿势状态估计单元150也可以在经过使身体限制信息的内容与被摄体的体格一致的充分的时间后，进行姿势状态的估计，或进行估计结果的输出。由此，能够提高姿势状态估计的估计结果的可靠性。

另外，部位长度比估计单元165也可以使用根据数帧的量的图像数据得到的部位长度比的平均值，对身体限制信息进行校正。由此，能够提高姿势状态估计相对于从各图像数据提取的信息偏差的鲁棒性。

另外，也可以构成为，部位长度比估计单元165只利用被摄体处于能够高精度地检测部位长度的特定姿势状态时的部位长度比，进行身体限制信息的校正。由此，能够进一步提高姿势状态的估计精度。

如上所述，本实施方式的物体检测装置100从图像数据提取被摄体的关节的角度，并估计被摄体的各部位的部位长度比，所以能够根据图像数据高精度地检测有关该图像数据中包含的人的信息。

另外，物体检测装置100能够基于被摄体的部位长度比，校正用于姿势状态估计的身体限制信息，以使其与体格或姿势符合，所以能够抑制体格的个人差或姿势的差异对姿势状态估计造成的影响。另外，由此，物体检测装置100无需事先准备平均体格的模型或每个受验者的体格的模型等特别的基准模型而能够进行高精度的姿势状态估计。

此外，物体检测装置100也可以只对具体指定的某个姿势状态进行估计，作为估计结果输出是否属于所指定的姿势状态。

另外，用于物体检测的图像数据也可以是由立体相机或多个相机拍摄的图像的数据。在使用立体相机的图像数据的情况下，物体检测装置100也可以使用由单侧相机拍摄的图像数据和根据立体相机的设置参数得到的被摄体的位置信息。另外，在使用多个相机的图像数据的情况下，物体检测装置100也可以使用由这些相机中的一台相机拍摄的图像数据和根据各相机的设置参数得到的被摄体的位置信息。

另外，在基准部位的位置及朝向已知的情况或被指定的情况下，部位区域估计单元130也可以不进行上述的基准部位估计处理。另外，例如在人的步行方向已确定、基准部位的朝向大致固定的情况下，部位区域估计单元130也可以预先保持身体的朝向信息。

另外，部位区域估计单元130进行的部位区域的估计的方法不限于上述的例。例如，部位区域估计单元130也可以从图像数据提取图像的边缘部分(以下简称为“边缘”)，基于由边缘包围的区域的Y坐标的值的范围估计各部位区域。具体而言，例如部位区域估计单元130以如下方式进行估计：在由边缘包围的区域内，将从Y坐标的值最高的位置起20％的区域估计为头部的部位区域。同样，例如部位区域估计单元130将15％～65％的区域估计为躯体的部位区域、将55％～85％的区域估计为大腿的部位区域、将75％～100％的区域估计为小腿的部位区域。在这种情况下，与各区域的百分比对应的值成为身体限制信息。

另外，部位区域估计单元130也可以通过在基础的动态图像数据中的图像间取背景差分来提取动体，且将包含提取到的区域的区域整体作为各部位的部位区域的候选。由此，能够实现估计部位区域时的处理的高速化。

另外，物体检测装置100也可以按距基准部位从近到远的顺序一个一个地估计部位的位置，重复进行基于估计出的位置估计下一部位的部位区域的处理，从而估计各关注部位的部位区域。

另外，物体检测装置100也可以不必进行部位区域估计。在这种情况下，部位候选提取单元140对图像的所有区域均一地进行似然值的计算。

另外，在将与学习似然图的基础的图像的光轴方向有关的信息与该学习似然图对应关联的情况下，姿势状态估计单元150也可以将与单眼相机200的设置角度θ对应的学习似然图作为比较对象。

另外，姿势状态估计单元150进行的姿势状态估计的方法不限于上述例。例如，姿势状态估计单元150也可以不是使用学习似然图，而是使用基准比姿势数据库163的基准模型信息进行姿势状态的估计。

另外，在能够通过无线标签等识别被摄体的情况下，物体检测装置100也可以按每个被摄体保持身体限制信息来进行姿势估计或身体限制信息的校正等处理。由此，物体检测装置100能够对待在一个画面中包含多个被摄体的情况。另外，在对相同被摄体进行两次以上检测时，在第二次以后的检测中，能够提前得到高的检测精度。

另外，物体检测装置100也可以基于关节位置估计被摄体的姿势状态。

以下，说明一例基于关节位置的姿势状态估计。

基准比关节位置获取单元164基于从关节角度提取单元161输入的关节角度，提取关节角度近似的多个图像姿势状态，作为被摄体的图像姿势状态的候选。

然后，基准比关节位置获取单元164使作为各图像姿势状态的基准的一个关节的关节位置与根据被摄体估计的相同的关节的关节位置一致。

具体而言，进行如下处理。在此，将右肩关节设为作为基准的关节，并设被摄体的右肩关节的关节位置为(xa，ya)，第p图像姿势状态的右肩关节的位置为(xb_p，yb_p)。此时，基准比关节位置获取单元164使第p图像姿势状态的各关节位置平行移动(xa－xb_p，ya－yb_p)。

然后，与部位长度比估计单元165同样地，基准比关节位置获取单元164对作为基准的部位(例如肩部)计算与第p图像姿势状态相对的部位长度比r_p。即，部位长度比r_p是表示体格之比的值。

此外，例如，在部位候选提取单元140提取出的部位候选中，可求根据被摄体估计的关节位置。

而且，基准比关节位置获取单元164使用计算出的部位长度比r_p使各图像姿势状态的基准模型的体格与被摄体的体格一致。

具体而言，进行如下处理。在将第p图像姿势状态的第q关节的平行移动前的关节位置设为(x_pq，y_pq)时，基准比关节位置获取单元164例如使用以下的式(2)计算使体格一致后的各关节位置(x_pq'，y_pq')。

(x_pq'，y_pq')＝({x_pq－xa+xb_p}r_p，{y_pq－ya+yb_p}r_p)……(2)

而且，基准比关节位置获取单元164使用使体格一致后的各关节位置(x_pq'，y_pq')，对每个图像姿势状态计算各部位的位置、轴方向以及部位长度。

然后，基准比关节位置获取单元164对每个部位求包含该部位轴的像素的似然值的总和。似然值例如是上述的估计似然图的值。另外，基准比关节位置获取单元164既可以使用关于距部位轴的距离为规定的范围内的区域的似然值的总和，也可以使用关于以部位轴为长轴的椭圆区域的似然值的总和。

而且，基准比关节位置获取单元164将关于全部部位的似然值的总和最高的图像姿势状态确定为被摄体的图像姿势状态。从而，与所确定的图像姿势状态对应的基准模型二维信息表示图像上的被摄体的关节位置。另外，作为该基准模型二维信息的基础的基准模型三维信息表示三维坐标系中的被摄体的关节位置。

以上，结束对基于关节位置的姿势状态估计的说明。

另外，物体检测装置100也可以将作为物体检测结果而输出的姿势状态设为只基于关节角度估计出的姿势状态。此时，物体检测装置100例如将基准比关节位置获取单元164估计出的姿势状态作为被摄体的姿势状态输出。另外，在这种情况下，在能够获取被摄体的关节角度作为三维空间中的角度的情况下，物体检测装置100也可以使用三维空间中的各关节的关节角度来估计图像姿势状态，进行关节位置的比较。由此，可以将基准模型信息设为对每个姿势状态只是记述了关节角度的内容。

另外，本发明的适用不限于人的姿势状态估计。例如也可以将本发明适用于被摄体的体格的检测、基于体格的年龄、性别、人种等属性的检测、机器人等具有通过关节连接的多个部位的各种物体的姿势状态检测等。

以下，作为本发明实施方式2，说明还使用凹凸映射图进行姿势估计的例。这里，凹凸映射图是指利用凹凸对映于图像中的被摄体的面进行划分而得到的映射图。

(实施方式2)

图16是表示本发明实施方式2的物体检测装置的主要部分结构的框图，是与实施方式1的图1的物体检测装置100对应的图。此外，在图16中，对于与图1共同的结构部分赋予与图1相同的标号，并省略说明。

图16的物体检测装置100a中，除了图1的结构以外，还具有凹凸映射图估计单元145a。另外，物体检测装置100a具有姿势状态估计单元150a及物体检测单元160a代替图1的姿势状态估计单元150及物体检测单元160。

凹凸映射图估计单元145a生成各部位的凹凸映射图。更具体而言，凹凸映射图估计单元145a从部位候选提取单元140输入估计似然图及图像数据。而且，凹凸映射图估计单元145a基于所输入的信息生成凹凸映射图，将所生成的凹凸映射图输出到姿势状态估计单元150a。凹凸映射图的生成方法的细节将后述。下面，将根据图像数据生成的凹凸映射图称为“估计凹凸映射图”。

除了学习似然图以外，姿势状态估计单元150a还对每个姿势状态预先保持根据处于该姿势状态的基准模型学习得到的凹凸映射图(以下称为“学习凹凸映射图”)。而且，除了估计似然图与学习似然图之间的一致度以外，姿势状态估计单元150a还基于估计凹凸映射图与学习凹凸映射图之间的一致度，进行被摄体的姿势状态的估计。即，除了实施方式1的动作以外，姿势状态估计单元150a还进行估计凹凸映射图与学习凹凸映射图之间的匹配。

物体检测单元160a对于无法根据部位轴估计其位置的关节，基于估计凹凸映射图进行其位置的估计。

图17是表示一例物体检测单元160a的结构的框图，是与实施方式1的图3对应的图。对于与图3相同的部分赋予相同的标号，并省略其说明。

如图17所示，物体检测单元160a还具有关节位置估计单元166a。

关节位置估计单元166a从凹凸映射图估计单元145a输入估计凹凸映射图，对于无法提取关节位置的关节，根据输入的估计凹凸映射图估计关节位置。更具体而言，关节位置估计单元166a例如从部位轴的始点到终点，按顺序，参照部位轴上的像素位置的估计凹凸映射图的值，提取估计凹凸映射图的值发生变化的位置，作为关节位置。然后，关节位置估计单元166a将求出的关节位置(即估计关节位置)与其标识符一起输出到部位长度比估计单元165。

无法提取关节位置的关节例如是在相邻的部位之间部位轴的角度相同的情况。本实施方式的物体检测单元160a通过使用凹凸映射图，能够在部位轴的角度相同的情况下提取关节位置。

首先，说明凹凸映射图。

凹凸映射图估计单元145a根据图像上的部位的明亮度信息，估计部位的面的朝向。关节位置估计单元166a通过将凹凸映射图所示的面相等的一个区域估计为一个部位的区域，由此进行关节位置的估计。在此，明亮度例如是亮度的等级，明亮度信息是表示亮度或亮度的等级的信息。

图18是用于说明人的姿势和各部位的明亮度之间的关系的图。

图18A所示的第一姿势与图18B所示的第二姿势尽管是不同的姿势，但是如图18C所示，从正面观看时的剪影相同。此时，如果只是根据由正面图像的边缘构成的区域信息，则无法正确估计对象人物的姿势是第一姿势还是第二姿势。

例如，根据图18C所示的剪影，可知右臂的长度比左臂的长度短，所以可以推测右肘弯曲着的可能性高。然而，满足身体限制的弯曲方式中存在变化形式。另外，如图18A和图18B所示，右臂整体的角度也存在变化形式。

另外，例如，根据图18C所示的剪影，可知左脚的长度比左臂的长度短，所以可以推测左膝有可能弯曲着。但是，如图18A和图18B所示，会存在左膝弯曲着的情况和伸着的情况。

只要能够估计上臂与前臂之间的划分点和大腿与小腿之间的划分点的位置(即，关节)，就能够估计对象人物的姿势是上述的变化形式的哪种。然而，在是如图18C所示那样臂和腿看上去是直线的姿势的情况下，如果只是根据由边缘构成的区域信息，即使使用身体限制，也难以估计这样的划分点的位置。

因此，为了对待如果只是根据这样的区域信息则无法确定关节位置的姿势，物体检测装置100a除了使用区域信息以外，还使用明亮度信息来估计部位区域。

图18D是用浓度表示以来自上方的自然光为光源时的、从正面拍摄第一姿势的情况下的各部位的明亮度的图。图18E是用浓度表示以来自上方的自然光为光源时的、从正面拍摄第二姿势的情况下的各部位的明亮度的图。这里表示，浓度越高则明亮度越低(越暗)。另外，作为明亮度，按照从暗到亮的等级的顺序，定义了“－2，－1，0，1，2”这5个阶段的等级。等级“0”例如是与地面垂直方向的面的明亮度的等级。

对于图像的各区域的明亮度等级，越朝向上的面的区域越明亮，相反，越朝向下的面的区域越暗。

例如，如图18D及图18E所示，在第一及第二姿势两者中，头、躯干、左臂的区域的等级为“0”，右腿的区域是稍暗的等级“－1”。

在第一姿势中，右上臂垂直下垂，右前臂向前伸着，所以如图18D所示，右上臂的区域的等级为“0”，右前臂的区域的等级为“2”。相对于此，在第二姿势中，右上臂向后摆，右前臂下垂，因此如图18E所示，右上臂的区域的等级为“－2”，右前臂的区域的等级为“2”。

另外，在第一姿势中，左腿整体向前伸着，所以如图18D所示，左大腿及左下腿的区域的等级为“1”。相对于此，在第二姿势中，左大腿向上抬，左小腿朝后，因此，如图18E所示，左大腿的区域的等级为“2”，左小腿的区域的等级为“－2”。

这样，各部位能够作为相同明亮度的面被捕捉。因此，根据图像上的部位的明亮度信息估计部位的面的朝向，而且，能够将该部位的面的朝向发生变化的位置推测为关节位置。即，通过使用明亮度信息，即使在根据区域信息获得的角度相等的部位(剪影呈直线状延伸的连续的多个部位、部位的直线平行的多个部位)之间也能够估计(提取)关节位置。

接着，使用图19的处理流程，说明如以上那样构成的物体检测装置100a的动作。此外，在图19中，对与实施方式1的图4共同的步骤，赋予与图4相同的步骤编号，并省略其说明。

生成估计似然图(S1400)后，处理进至S1410a。

在S1410a中，凹凸映射图估计单元145a进行估计凹凸映射图生成处理。估计凹凸映射图生成处理是根据在S1100中所获取的图像数据和在S1400中所生成的估计似然图生成估计凹凸映射图的处理。

图20是表示凹凸映射图生成处理(图19的步骤S1410a)的处理流程的图。

对于估计凹凸映射图的每个像素的信息，例如，在将部位k的似然表示为pk，存在n个部位的情况下，成为凹凸矢量Oij＝[p1，p2，…，pk，…，pn]这样的数据结构。pk是二进制信息，pk的值例如采取表示不可能为部位k的“0”和表示有可能为部位k的“1”中的任一个值。

在S3100a中，凹凸映射图估计单元145a选择一个作为处理对象的部位。在本实施方式中，作为估计对象的关节位置为右肘。此时，凹凸映射图估计单元145a将右臂设为凹凸映射图生成处理的对象，首先，选择最远离主干部位的右前臂。

然后，在S3200a中，凹凸映射图估计单元145a从S1400中生成的估计似然图中，获取S3100a中选择的部位的区域(以后，称为部位似然区域)。在此，提取估计似然图上的右前臂的似然超过规定阈值的像素，将其作为右前臂的部位似然区域。

然后，在S3300a中，凹凸映射图估计单元145a从S1100中获取的图像数据中，提取S3200a中提取的部位似然区域的明亮度信息。例如能够通过转换成灰度(黑白灰度等级的)图像来提取明亮度信息，上述灰度图像是从构成图像数据的各像素的RGB值中仅提取亮度(像素的明亮度)所得的图像。

接着，在S3400a中，凹凸映射图估计单元145a使用明亮度的阈值，对S3300a中求出的部位似然区域的明亮度信息进行分组。凹凸映射图估计单元145a可以将明亮度的阈值设为预先设定的固定值，也可以动态地设定明亮度的阈值。在此，说明动态地设定阈值的方法的一例。

图21是用于说明使用了右前臂的身体限制的区域分类的方法的图。为了简化说明，设为躯干仅包含右臂而进行说明。

在图19的步骤S1200中，例如，以估计出的右肩位置500a为基准，估计头肩区域与连接于该头肩区域的躯干区域501a。此时，有可能存在右上臂和右前臂的区域为区域502a，仅可能存在右前臂的区域为区域503a。例如，能够根据图11所示的部位区域对应表计算区域502b、503b。

凹凸映射图估计单元145a首先从右前臂的部位似然区域中的仅可能存在右前臂的区域503a中，提取存在于该区域中的像素的亮度值(明亮度信息)。

而且，若将对象像素的总数m的a％设为n个，则凹凸映射图估计单元145a从已提取的亮度值的数据中，从最小的数据起依序去除n个数据，并从最大的数据起依序去除n个数据。进而，凹凸映射图估计单元145a将去除了上述2n个数据后的数据(数据的数量为m－2n)的最小值和最大值作为右前臂的明亮度信息的阈值(作为右前臂进行处理的亮度值的范围的上限值与下限值)。此处，a为预先设定的值。

而且，凹凸映射图估计单元145a例如对右前臂的部位似然区域中的符合该阈值(即，处于作为右前臂进行处理的亮度值的范围内)的像素的凹凸矢量Oij中的表示右前臂的值，设定表示有可能为右前臂的值(例如1)。

这样，凹凸映射图估计单元145a仅使用根据身体限制而仅存在右前臂的部位似然区域的明亮度信息设定亮度值的阈值。由此，凹凸映射图估计单元145a能够不受其他部位的影响地确定具有右前臂的明亮度信息的像素。

然后，凹凸映射图估计单元145a从已提取的亮度值的数据中，删除与在上一步骤中求出的右前臂的明亮度信息的阈值符合的数据。接着，将剩余的亮度值的数据的总数p的b％设为q个，则凹凸映射图估计单元145a从已提取的亮度值的数据中，从最小的数据起依序去除q个数据，并从最大的数据起依序去除q个数据。进而，凹凸映射图估计单元145a将去除了上述2q个数据后的数据(数据的数量为p－2q)的最小值和最大值作为右上臂的明亮度信息的阈值(作为右前臂进行处理的亮度值的范围的上限值与下限值)。此处，b的值为预先设定的值。

然后，凹凸映射图估计单元145a例如对右前臂的部位似然区域中的符合该阈值(即，处于作为右上臂进行处理的亮度值的范围内)的像素的凹凸矢量Oij的表示右上臂的值，设为表示有可能为右上臂的值(例如1)。

这样，凹凸映射图估计单元145a从根据身体限制而仅存在右上臂与右前臂的部位似然区域的明亮度信息的数据中，去除作为右前臂进行处理的亮度值的范围内的数据，来设定阈值。由此，凹凸映射图估计单元145a能够不受其他部位的影响而确定具有右上臂的明亮度信息的像素，且能够高精度地确定具有右上臂的明亮度信息的像素。

这样，凹凸映射图估计单元145a从远离主干部位的部位起，使用仅存在该部位的区域的明亮度信息依次设定明亮度信息的阈值，对每个部位的明亮度信息进行分组来估计区域。

此外，也会有以下的情况：在仅可能存在右前臂的区域503a中无右前臂的部位似然区域。在这种情况下，凹凸映射图估计单元145a例如也可以进行以下的处理：在右前臂和右上臂的部位似然区域中，提取存在于仅可能存在右上臂和右前臂的区域502a的像素的亮度信息，并分成右前臂和右上臂这两组的处理。而且，凹凸映射图估计单元145a例如使用大津二值化设定上述阈值。由此，凹凸映射图估计单元145a即使在仅可能存在右前臂的区域503a中无右前臂的部位似然区域的情况下，仍能够设定右上臂和右前臂的明亮度信息的阈值。

另外，也会有以下的情况：在仅可能存在右前臂的区域503a中设定右前臂的明亮度信息后，尽管是仅可能存在右上臂和右前臂的区域502a，但是因为没有与右前臂不同的明亮度信息的像素，所以无法设定与右前臂不同的阈值。在这种情况下，凹凸映射图估计单元145a例如也可以对右上臂的明亮度信息设定与右前臂相同的值。由此，即使在右上臂和右前臂的面的朝向相似的情况下(在笔直地伸出的情况下)，凹凸映射图估计单元145a仍能够设定右上臂的明亮度信息。

在图20的S3500a中，凹凸映射图估计单元145a判断是否已对成为凹凸映射图生成处理对象的所有部位进行了处理。例如在还对左臂生成估计凹凸映射图的情况下，凹凸映射图估计单元145a返回到S3100a，对左臂进行与右臂相同的处理。

然后，凹凸映射图估计单元145a将所生成的估计凹凸映射图输出到姿势状态估计单元150a及关节位置估计单元166a。

在图19的S1500a中，姿势状态估计单元150a进行学习似然图和估计似然图之间的匹配，之后，进行学习凹凸映射图和估计凹凸映射图之间的匹配。然后，姿势状态估计单元150a与实施方式1同样地判断估计似然图是否与任一学习似然图一致。

更具体而言，姿势状态估计单元150a在凹凸映射图的似然值是二进制的情况下，在估计凹凸映射图和学习凹凸映射图之间，对每个像素，评价似然的一致度。例如，姿势状态估计单元150a对于全部像素对标识符一致的像素进行计数，并将计数值最大的学习凹凸映射图判断为与估计凹凸映射图之间的一致度高。此外，与似然图同样，在尺寸不同的情况下，姿势状态估计单元150a也可以在进行对图像区域的放大缩小处理后进行匹配。

如图18中说明的那样，可能有虽然学习似然图相同但学习凹凸映射图不同的姿势状态。因此，不只是学习似然图，还进行与学习凹凸映射图之间的匹配，由此，能够进行更准确的姿势状态估计。在此，在学习似然图和学习凹凸映射图都不同的情况下，人物的二维的剪影不同且部位的凹凸也不同，所以能够判断为三维姿势不同。

而且，在提取出关节角度后(S1700)，在步骤S1710a中，关节位置估计单元166a在相邻的部位之间判断轴方向是否不同(即，关节角度是否为180度)。在轴方向不同的情况下(S1710a：“是”)，关节位置估计单元166a进至步骤S1800。而在轴方向相同的情况下(S1710a：“否”)，关节位置估计单元166a进至步骤S1720a。这是因为，在部位轴的方向相同的情况下，无法唯一地确定交点，难以根据部位轴估计关节位置。

在步骤S1720a中，关节位置估计单元166a基于估计凹凸映射图估计关节位置，并进至步骤S1800。

具体而言，关节位置估计单元166a例如从右上臂和右前臂的部位的直线的始点向终点，按顺序参照部位轴上的像素位置的凹凸映射图的值。而且，关节位置估计单元166a提取凹凸映射图的值发生变化的像素的位置，作为关节位置。在存在多个符合的像素的情况下，关节位置估计单元166a也可以输出中央的位置作为关节位置。

然后，关节位置估计单元166a将求出的关节位置(即估计关节位置)和该关节的标识符输出到部位长度比估计单元165。部位长度比估计单元165基于从关节位置提取单元输入的关节位置以及从关节位置估计单元166a输入的关节位置，获取部位的位置。

这样，本实施方式的物体检测装置100a生成凹凸映射图，并基于凹凸映射图来估计各关节的位置，因此即使在部位的直线的角度相同而连接的部位的线平行的情况下，也能够求出部位长度比。而且，由此，能够提高姿势估计的精度。此外，物体检测装置100a还利用凹凸映射图的匹配，所以能够进一步提高姿势估计的精度。此外，在图16中，说明了将凹凸映射图估计单元的结果输出到姿势状态估计单元150a和物体检测单元160a两者的例子，但也可以只适用于其中之一。

2010年12月9日提交的日本专利申请特愿2010－274674号中包含的说明书、附图及说明书摘要的公开内容全部引用于本申请。

工业实用性

本发明作为能够根据图像数据高精度地检测与具有关节的物体有关的信息的物体检测装置及物体检测方法很有用。

Claims

1.物体检测装置，根据拍摄具有通过关节连接的多个部位的物体而得到的图像数据，检测有关所述物体的信息，该物体检测装置包括：

部位候选提取单元，使用所述物体的基准模型的限制信息，从所述图像数据提取相邻的两个所述部位的位置候选，基于提取出的所述位置候选，生成表示所述物体的各部位存在的似然度的分布的估计似然图；

关节角度提取单元，由所述部位候选提取单元根据所述限制信息而提取出的所述位置候选，提取连接所述两个部位的关节的角度，并输出构成提取出的所述关节的角度的、所述两个部位的部位轴的位置及方向；

关节位置提取单元，根据由所述关节角度提取单元获取的所述部位轴的位置及方向，提取所述物体的关节的位置；

基准比关节位置获取单元，获取所述基准模型的关节中的与连接所述两个部位的关节对应的、所述基准模型的关节的位置；

部位长度比估计单元，基于所述物体的关节的位置与所述基准模型的关节的位置，检测所述物体的部位的长度和与所述部位对应的所述基准模型的部位的长度之比，基于检测出的所述比来校正所述限制信息；以及

姿势状态估计单元，对于每个姿势状态，存储表示处于该姿势状态的所述基准模型的各部位存在的似然度的分布的学习似然图，将与所述部位候选提取单元基于校正后的所述限制信息所生成的所述估计似然图的一致度高的所述学习似然图所对应的所述姿势状态，估计为所述物体的姿势状态。

2.如权利要求1所述的物体检测装置，

所述关节角度提取单元根据所述两个部位的位置候选提取所述两个部位各自的长度方向之间的角度，作为连接所述两个部位的所述关节的角度。

3.如权利要求1所述的物体检测装置，

所述基准比关节位置获取单元基于所述关节的角度估计所述物体的从某视点观察某姿势状态时的图像上的状态、即图像姿势状态，获取处于估计出的图像姿势状态的所述基准模型的关节的位置。

4.如权利要求1所述的物体检测装置，

所述物体是人。

5.如权利要求1所述的物体检测装置，还包括：

凹凸映射图估计单元，生成凹凸映射图，该凹凸映射图是利用凹凸划分所述图像数据的图像中的被摄体的面而得到的映射图，

所述关节位置提取单元至少在根据所述关节的所述角度无法提取所述物体的关节的位置时，根据所述凹凸映射图提取该关节的位置。

6.物体检测方法，根据拍摄具有通过关节连接的多个部位的物体而得到的图像数据，检测有关所述物体的信息，该物体检测方法包括如下步骤：

部位候选提取单元使用所述物体的基准模型的限制信息，从所述图像数据提取相邻的两个所述部位的位置候选，基于提取出的所述位置候选，生成表示所述物体的各部位存在的似然度的分布的估计似然图的步骤；

关节角度提取单元由所述部位候选提取单元根据所述限制信息而提取出的所述位置候选，提取连接所述两个部位的关节的角度，并输出构成提取出的所述关节的角度的所述两个部位的部位轴的位置及方向的步骤；

关节位置提取单元根据由所述关节角度提取单元获取的所述部位轴的位置及方向，提取所述物体的关节的位置的步骤；

基准比关节位置获取单元获取所述基准模型的关节中的与连接所述两个部位的关节对应的、所述基准模型的关节的位置的步骤；

部位长度比估计单元基于所述物体的关节的位置与所述基准模型的关节的位置，检测所述物体的部位的长度和与所述部位对应的所述基准模型的部位的长度之比，基于检测出的所述比来校正所述限制信息，并基于有关估计出的所述比的信息，校正所述限制信息的步骤；以及

姿势状态估计单元对于每个姿势状态，存储表示处于该姿势状态的所述基准模型的各部位存在的似然度的分布的学习似然图，将与所述部位候选提取单元基于校正后的所述限制信息所生成的所述估计似然图的一致度高的所述学习似然图所对应的所述姿势状态，估计为所述物体的姿势状态的步骤。