CN103221977B - 姿势状态估计装置及姿势状态估计方法 - Google Patents

Abstract

本发明提供能够高精度地估计具有关节的物体的姿势状态的姿势状态估计装置。姿势状态估计装置(100)基于拍摄具有通过关节连接的多个部位的物体而得到的图像数据，估计物体的姿势状态，该姿势状态估计装置包括：似然图生成单元(150)，根据图像数据生成似然图，该似然图对于至少两个以上的部位，表示对各部位存在的似然度的分布；以及姿势状态估计单元(160)，在预先与姿势状态对应关联的所述似然图即学习似然图与基于图像数据生成的似然图即估计似然图之间的一致度高时，将与该学习似然图对应关联的姿势状态估计为物体的姿势状态。

Description

姿势状态估计装置及姿势状态估计方法

技术领域

本发明涉及基于拍摄具有通过关节连接的多个部位的物体所得到的图像数据，估计物体的姿势状态的姿势状态估计装置及姿势状态估计方法。

背景技术

近年来，盛行有关基于拍摄到的动态图像的图像数据进行的人的姿势估计的研究。这是因为，如果能够通过计算机分析根据动态图像判定人的行动，则可以不依赖于人力来进行在各种领域所进行的行动分析。作为行动分析，可例举例如街头的异常行动探测、商店中的购买行动分析、工厂中的作业高效化辅助、及体育运动中的姿势指导。

因此，例如非专利文献1中记载了基于由单眼相机拍摄到的图像数据来估计人的姿势状态的技术。非专利文献1中记载的技术(以下称为“现有技术”)中，基于图像数据检测人的剪影(外形)，从该剪影中提取形状特征量之一即形状上下文(Shape Context)直方图。而且，现有技术中，以提取出的直方图的“方差协方差矩阵”为输入，按应识别的动作的每个姿势构成识别器。由此，现有技术能够不依赖于人的位置和朝向地估计人的姿势状态。

现有技术文献

非专利文献

非专利文献1：下坂正伦、佐藤真、森武俊、佐藤知正、“単眼画像からの形状特徴を用いた動作認識法”、全国大会演讲论文集第70次平成20年(5)、社团法人信息处理学会、2008年3月13日、p.5－93、p.5－94。

非专利文献2：P.Viola and M.Jones,"Rapid Object Detection Using aBoosted Cascade of Simple Features,"in Proc.of CVPR,vol.1,December 2001,ppp.511-518

发明内容

发明要解决的问题

但是，现有技术中存在以下的问题：由于无法区别剪影相似的多个姿势状态，因而无法高精度地估计人的姿势状态。例如，假定从相机看，两臂收拢于人的躯体的外形内的情况。在这种情况下，根据现有技术，不论臂收着还是伸着，或者，不论臂是位于前面还是位于后面，只要包含头部和腿的外形的整体外形相同，其估计结果就成为同一姿势状态。

另外，可以考虑到利用现有技术对机器人等具有通过关节连接的多个部位的人以外的各种物体，估计其姿势状态的情况，但此时也会产生同样的问题。

本发明的目的在于，提供能够高精度地估计具有关节的物体的姿势状态的姿势状态估计装置及姿势状态估计方法。

解决问题的方案

本发明的姿势状态估计装置基于拍摄具有通过关节连接的多个部位的物体而得到的图像数据，估计所述物体的姿势状态，该姿势状态估计装置包括：部位区域估计单元，根据所述图像数据，检测所述人的头部及肩部的位置，并基于检测出的所述位置，将所述多个部位中的至少两个部位的所述图像数据中的可动范围估计为该部位的部位区域；似然图生成单元，对于所述至少两个部位的每一个，根据所述图像数据，对与所述部位对应的所述部位区域内的每个像素或者多个像素的每一个集合判断图像特征量，计算表示所述部位存在的似然度的似然值，生成表示计算出的所述似然值的分布的似然图；以及姿势状态估计单元，在预先与所述姿势状态对应关联的所述似然图即学习似然图和基于所述图像数据生成的所述似然图即估计似然图之间的一致度高时，将与该学习似然图对应关联的所述姿势状态估计为所述人的姿势状态。

本发明的姿势状态估计方法是，基于拍摄具有通过关节连接的多个部位的物体即人而得到的图像数据，估计所述人的姿势状态，该姿势状态估计方法包括以下步骤：部位区域估计单元根据所述图像数据，检测所述人的头部及肩部的位置，并基于检测出的所述位置，将所述多个部位中的至少两个部位的所述图像数据中的可动范围估计为该部位的部位区域的步骤；似然图生成单元对于所述至少两个部位的每一个，根据所述图像数据，对与所述部位对应的所述部位区域内的每个像素或者多个像素的每一个集合判断图像特征量，计算表示所述部位存在的似然度的似然值，生成表示计算出的所述似然值的分布的似然图的步骤；以及姿势状态估计单元在预先与所述姿势状态对应关联的所述似然图即学习似然图和基于所述图像数据生成的所述似然图即估计似然图之间的一致度高时，将与该学习似然图对应关联的所述姿势状态估计为所述人的姿势状态的步骤。

发明效果

根据本发明，能够高精度地估计具有关节的物体的姿势状态。

附图说明

图1是表示一例本发明实施方式1的姿势状态估计装置的结构的框图。

图2是用于说明本实施方式1的图像数据的图。

图3是表示一例本实施方式1的姿势状态估计装置的动作的流程图。

图4是表示一例本实施方式1的估计阶段处理的流程图。

图5是用于说明本实施方式1的欧米茄形状(Ω形状)的图。

图6是用于说明本实施方式1的从基准线到欧米茄形状的垂直距离的图。

图7是表示一例本实施方式1的距离直方图的图。

图8是表示一例本实施方式1的二值化后的距离直方图的图。

图9是用于说明表示本实施方式1的基准部位的各种参数的图。

图10是表示一例本实施方式1的基准部位对应表的内容的图。

图11是表示一例本实施方式1的部位区域对应表的内容的图。

图12是表示一例本实施方式1的部位区域数据的内容的图。

图13是表示一例本实施方式1的估计似然图的图。

图14是表示一例本实施方式1的二值化后的估计似然图的图。

图15是表示一例在本实施方式1中判定为是指定姿势的情况的图。

图16是表示另一例在本实施方式1中判定为是指定姿势的情况的图。

图17是表示一例本发明实施方式2的姿势状态估计装置的结构的框图。

图18是表示一例本实施方式2的姿势状态估计装置的动作的流程图。

图19是表示一例本实施方式2的学习阶段处理的流程图。

图20是表示一例本发明实施方式3的姿势状态估计装置的主要结构的框图。

图21是用于说明本实施方式3的人的姿势和各部位的明亮度之间的关系的图。

图22是表示一例本实施方式3的姿势状态估计装置的处理流程的图。

图23是表示一例本实施方式3的凹凸映射图生成处理的处理流程的图。

图24是用于说明本实施方式3的区域分类方法的图。

标号说明

100、100a、100b 姿势状态估计装置

110 姿势状态管理单元

120 姿势状态指定单元

130 图像数据获取单元

140 部位区域估计单元

145b 凹凸映射图估计单元

150、150a 似然图生成单元

160、160a 姿势状态估计单元

200 单眼相机

300 信息输出装置

具体实施方式

下面参照附图详细说明本发明的各实施方式。

(实施方式1)

本发明实施方式1是将本发明适用于估计拍摄到的人的姿势状态是否与用户指定的姿势状态一致的装置的例。

在以下的说明中，“部位”是指人的身体中由关节划分出的部分的集合。即，部位例如是头、肩、右上臂、右前臂、左上臂、左前臂、右大腿、右小腿、左大腿及左小腿。另外，“部位区域”是指图像中某部位可占的区域、即部位的可动范围。

另外，作为估计对象的“姿势状态”是指应关注的两个以上的部位(以下称为“关注部位”)的姿势。另外，“姿势”是指由二维坐标系或三维坐标系中的、连接关注部位的关节的位置、或相关各部位的长度及部位间的角度等信息所表示的姿势。因此，“姿势状态估计”是指通过估计这些信息来估计姿势状态。此外，可以利用以人的规定的身体部位为基准的相对值来表示上述的位置、长度及角度，也可以利用二维坐标系或三维坐标系中的绝对值表示上述的位置、长度及角度。

此外，在本实施方式中以像素为单位进行说明，但可以将相当于规定大小的包含多个像素的集合分别看作是一个像素进行同様的处理。由此，能够高速进行处理。在将多个像素看作是一个像素的情况下，可以将成为多个像素的重心的像素的值作为该多个像素的值使用，也可以将多个像素的值的平均值作为该多个像素的值使用。

图1是表示一例本发明实施方式1的姿势状态估计装置的结构的框图。为便于说明，对姿势状态估计装置的外围设备也一并进行图示。

在图1中，姿势状态估计装置100具有姿势状态管理单元110、姿势状态指定单元120、图像数据获取单元130、部位区域估计单元140、似然图生成单元150、以及姿势状态估计单元160。

姿势状态管理单元110预先按每个姿势状态，使姿势状态的识别信息、对姿势状态指定的两个以上的关注部位的识别信息和似然图对应关联并进行存储。似然图是图像上各关注部位存在的似然度(似然)的分布，其细节将后述。以下，只将在姿势状态管理单元110中存储有信息的姿势状态称为“姿势状态”。以下，将与姿势状态对应关联并预先存储于姿势状态管理单元110的似然图称为“学习似然图”。

姿势状态指定单元120通过键盘等输入装置(未图示)，从用户接受成为估计的对象的姿势状态的指定。具体而言，姿势状态指定单元120例如参照姿势状态管理单元110生成姿势状态的一览表，并显示该一览表作为选项，由此接受姿势状态的指定。例如，姿势状态指定单元120接受“右臂弯曲着”这样的姿势状态的指定。而且，姿势状态指定单元120将被指定的姿势状态的识别信息输出到部位区域估计单元140及姿势状态管理单元110。以下，将被指定的姿势状态及指定姿势的识别信息统称为“指定姿势”。

另外，姿势状态指定单元120将与指定姿势对应关联的两个以上的关注部位输出到部位区域估计单元140。例如，对于“右臂弯曲着”这样的姿势状态，姿势状态指定单元120输出“右上臂”及“右前臂”。以下，将与指定姿势对应关联的关注部位称为“指定部位”。

图像数据获取单元130通过有线通信或无线通信获取利用设置在规定的三维坐标空间的单眼相机200拍摄的图像的图像数据，并输出到部位区域估计单元140。在以下的说明中，设为图像数据仅包含一个人的图像进行说明，但不限于此，可以包含多人的图像，也可以未包含人的图像。

图2是用于说明图像数据的图。

如图2所示，例如设定以将单眼相机200的位置投影到地面而得到的位置为原点O的三维坐标系410。在坐标系410中，例如将垂直方向设为Y轴，将与Y轴及单眼相机200的光轴411正交的方向设为X轴，将与X轴及Y轴正交的方向设为Z轴。

例如利用Y轴和光轴411之间的角度θ表示单眼相机200的设置角度。而且，单眼相机200将焦点(focus)对准包含于单眼相机200的视角φ的范围的某平面412进行拍摄。将这样拍摄的图像的图像数据发送到姿势状态估计装置100。以下，将成为姿势状态估计对象的图像数据称为“估计图像数据”。

图1的部位区域估计单元140基于从图像数据获取单元130输入的估计图像数据，估计从姿势状态指定单元120输入的指定部位的部位区域。具体而言，部位区域估计单元140根据估计图像数据，估计人的基准部位的位置及朝向。而且，部位区域估计单元140以估计出的基准部位的位置及朝向为基准估计各指定部位的部位区域。

在本实施方式中，基准部位为人的头部及肩部。另外，将基准部位的朝向设为肩部的朝向，将肩部的朝向设为连结右肩部和左肩部的直线的方向。部位区域估计单元140将估计图像数据、指定姿势和表示每个指定部位的部位区域的信息(以下称为“部位区域数据”)输出到似然图生成单元150。

似然图生成单元150根据从部位区域估计单元140输入的估计图像数据，生成似然图。此时，似然图生成单元150生成对于从部位区域估计单元140输入的部位区域数据所表示的部位区域以外的区域，降低了与该部位区域相对应的指定部位存在的似然度的似然图。这样的似然图是只是指定姿势的关注部位(例如，在“右臂弯曲着”的姿势状态的情况下，是“右上臂”和“右前臂”)的可动范围的似然高那样的信息。而且，似然图生成单元150将所生成的似然图与从部位区域估计单元140输入的指定姿势一起输出到姿势状态估计单元160。下面，将基于估计图像数据生成的似然图称为“估计似然图”。

姿势状态估计单元160从姿势状态管理单元110获取与从似然图生成单元150输入的指定姿势对应关联的学习似然图。此外，也可以构成为，接收到来自姿势状态估计单元160的指示的姿势状态管理单元110将学习似然图输出到姿势状态估计单元160。而且，在所获取的学习似然图与从似然图生成单元150输入的估计似然图之间的一致度高时，姿势状态估计单元160将指定姿势估计为包含于估计图像数据的人的姿势状态。即，姿势状态估计单元160估计为单眼相机200所拍摄到的人处于用户指定的姿势状态。而且，姿势状态估计单元160通过有线通信或无线通信对显示装置等信息输出装置300发送信息，对用户通知估计结果。

姿势状态估计装置100是包含CPU(中央处理单元)及RAM(随机存储器)等存储介质等的计算机。即，姿势状态估计装置100通过CPU执行所存储的控制程序而进行动作。

另外，这样的姿势状态估计装置100由于使用表示每个部位的似然分布的似然图，所以例如即使在图像上右臂收拢于躯体的外形中的情况下，也能够判定是否处于“右臂弯曲”这样的姿势状态。即，姿势状态估计装置100与现有技术相比能够高精度地估计人的姿势状态。

另外，姿势状态估计装置100由于估计指定部位的可动区域即部位区域，且对部位区域以外的区域降低似然值，所以能够提高似然图的精度。

下面，说明姿势状态估计装置100的动作。

图3是表示一例姿势状态估计装置100的动作的流程图。

首先，在步骤S3000中，部位区域估计单元140判断是否有姿势状态估计的指示。例如在姿势状态指定单元120中进行了新的姿势状态的指定时，或图像数据获取单元130中输入了新的估计图像数据时，部位区域估计单元140判断为存在姿势状态估计的指示。在有姿势状态估计的指示的情况下(S3000：“是”)，部位区域估计单元140进至步骤S4000。另外，在没有姿势状态估计的指示的情况下(S3000：“否”)，部位区域估计单元140进至步骤S5000。

在步骤S4000中，姿势状态估计装置100执行进行姿势状态估计的估计阶段处理后，进至步骤S5000。关于估计阶段处理的细节将后述。

在步骤S5000中，部位区域估计单元140判断是否通过用户操作等而有处理结束的指示。在没有处理结束的指示的情况下(S5000：“否”)，部位区域估计单元140返回到步骤S3000，继续进行对姿势状态估计指示的待机。另外，在有处理结束的指示的情况下(S2200：“是”)，部位区域估计单元140结束一系列的处理。

图4是表示一例估计阶段处理(图3的步骤S4000)的流程图。

在步骤S4100中，姿势状态指定单元120从用户接受姿势状态的指定而获取指定姿势，并获取与指定姿势对应的指定部位。

然后，在步骤S42000中，部位区域估计单元140通过图像数据获取单元130从单眼相机200获取估计图像数据。估计图像数据可以是在单眼相机200中连续且实时地拍摄到的构成动态图像数据的静止图像数据，也可以是预先拍摄并保存的图像数据。

然后，在步骤S4300中，部位区域估计单元140进行估计基准部位的位置及朝向的处理(以下称为“基准部位估计处理”)。

在此说明一例基准部位估计处理的详细。基准部位估计处理大体上由估计人的肩关节位置的第一处理和估计人的躯体的朝向的第二处理构成。

首先，说明估计人的肩关节位置的第一处理。

部位区域估计单元140从估计图像数据检测欧米茄形状，基于欧米茄形状估计肩关节位置。

图5是用于说明欧米茄形状的图。

欧米茄(Ω)形状是包含人的头部及肩部的区域的特征性边缘形状，是人的身体中在使用监视相机等的情况下最稳定地拍摄到的概率高的形状。另外，头部及肩部与人的躯体之间的相对位置的变化少。因此，部位区域估计单元140首先检测欧米茄形状来检测出人的头部及肩部的位置，以这些位置为基准估计其它部位的部位区域，由此高精度地估计部位区域。

例如，通过使用如下的检测器，能够检测欧米茄形状，该检测器是使用足够数量的采样图像通过实时自适应增强(Real Ada Boost)等来制作的检测器。作为用于检测器的特征量，可使用例如HoG(histogram of gradient，梯度直方图)特征量、Sparse(稀疏)特征量、Haar(哈尔)特征量等。另外，作为学习方法，例如除增强型(Boosting)方法外，还可以利用SVM(Support VectorMachine,支持向量机)、神经网络(Neural Network)等。

部位区域估计单元140首先从估计图像数据的图像420检测欧米茄形状421。在此，设为，欧米茄区域422的像素中构成欧米茄形状421的像素(边缘部分的像素)为数字信号“1”，其它像素为数字信号“0”。而且，将包含欧米茄形状421的较小的矩形区域确定为欧米茄区域422。在此，将欧米茄区域422的下面的边称为基准线423。

部位区域估计单元140去除包含于欧米茄区域422的噪声。具体而言，部位区域估计单元140将欧米茄区域422的像素中存在于被欧米茄形状421包围的区域的数字信号“1”作为噪声而校正为数字信号“0”。例如可通过进行所谓的闭运算(closing)处理来进行该修正。闭运算处理是指以规定像素量或规定的比例将图像区域进行放大或缩小的处理。通过该修正，可以提高后述的距离直方图的精度。

而且，部位区域估计单元140对基准线423的各位置获取从基准线423到欧米茄形状421的垂直距离。

图6是用于说明从基准线423到欧米茄形状421的垂直距离的图。

如图6所示，部位区域估计单元140以基准线423的方向为X轴，以基准线423的垂直方向为Y轴进行处理。部位区域估计单元140例如将从基准线423的左端起的像素数作为X坐标值。而且，部位区域估计单元140获取从基准线423到构成欧米茄形状421的像素为止的Y轴方向的像素数、即到欧米茄形状421的垂直距离，作为垂直距离d(X)。构成欧米茄形状421的像素例如是数字信号“1”的像素中距基准线423最近的像素。

然后，部位区域估计单元140生成使n个(n为正的整数)垂直距离d(X)的数据与X坐标对应关联的距离直方图。

图7是表示一例部位区域估计单元140基于图5所示的欧米茄区域422生成的距离直方图的图。

如图7所示，部位区域估计单元140在XY坐标系中生成以垂直距离d(X)为Y轴的值来表示垂直距离d(X)的分布的距离直方图430。距离直方图430成为如下的形状:以与肩部相对应的形状隆起，其中，在与头部的中心部相对应的范围突出。

而且，部位区域估计单元140应用规定的阈值Th对所生成的距离直方图430进行二值化处理。具体而言，部位区域估计单元140将垂直距离d(X)为阈值Th以上的X坐标处的Y坐标值置换为“1”，将垂直距离d(X)小于阈值Th的X坐标处的Y坐标值置换为“0”。将阈值Th设定为如下的值，即，在欧米茄区域422中以高的概率比肩部上端的垂直距离d(X)大且比头部上端的垂直距离d(X)小的值。此外，二值化处理不限于此，例如也可以为所谓的大津二值化(大津法)等其它方法。

图8是一例将图7所示的距离直方图430进行了二值化处理后的结果。

如图8所示，成为“1”的范围441表示头部的中央部分的图像区域(以下称为“头区域”)的X坐标的范围。另外，包含成为“1”的范围441的整体的范围442表示肩部的图像区域(以下称为“肩区域”)的X坐标的范围。因此，部位区域估计单元140提取估计图像数据的图像420中的欧米茄区域422的X轴方向范围作为肩区域的X轴方向范围，提取成为“1”的范围441的X轴方向范围作为头区域的X轴方向范围。

而且，部位区域估计单元140基于提取到的肩区域及头区域计算表示基准部位的位置及朝向的各种参数。

图9是用于说明表示基准部位的各种参数的图。

在此，如图9所示，部位区域估计单元140使用H(xh，yh)、RSE(x_rse)、RD(x_rd)、RS(x_rs，y_rs)、RSU(y_rsu)、以及LS作为表示基准部位的位置的记号(括弧中表示XY坐标系中的参数)。H是头部的重心位置。RSE是右肩的端部的位置。RD是从头部的重心到右肩的端部为止的X轴方向的距离。RS是右肩的关节的位置(以下称为“右肩位置”)。RSU是右肩的顶部的位置。LS是左肩的关节的位置(以下称为作“左肩位置”)。

部位区域估计单元140例如如下计算各参数的值。

首先，部位区域估计单元140在基于二值化处理的结果提取出的肩区域中，基于人(的躯体)是否朝向单眼相机200侧来确定右肩区域。部位区域估计单元140基于头区域的颜色信息的肤色成分是否为规定的阈值以上来判断人是否朝向单眼相机200侧。在此，设为人朝向单眼相机200侧，并在面对图像看时的左侧的肩区域被确定为右肩区域。

其次，部位区域估计单元140计算右肩区域的重心位置作为右肩位置RS(x_rs，y_rs)。另外，部位区域估计单元140也可以计算头部的重心位置H(xh，yh)，使用重心位置H(xh，yh)和基础的欧米茄形状421之间的Y轴方向的距离(以下称为“头部高度Δh”)计算右肩位置RS(x_rs，y_rs)。具体而言，部位区域估计单元140例如只要将相对于头部高度Δh成为预先规定的比的值、设为从头部的重心位置H到右肩位置RS为止的X轴方向的距离(xh－x_rs)即可。另外，部位区域估计单元140例如也可以将从肩的高度降低头部高度Δh的一半的值Δh/2的位置设为右肩位置RS的Y坐标y_rs。

另外，部位区域估计单元140计算欧米茄形状421的边缘的倾斜(即距离直方图的变化率)超过阈值的点，作为右肩的端部的位置RSE(x_rse)。而且，部位区域估计单元140计算头部的重心位置H和右肩的端部的位置RSE之间的X轴方向的距离RD(x_rd)。

最后，部位区域估计单元140估计为右肩位置RS位于在X轴方向上距头部的重心位置H的距离为RD的80％的位置。即，部位区域估计单元140利用x_rs＝x_rse+0.2×RD计算右肩位置RS的X坐标x_rs。另外，部位区域估计单元140计算通过右肩位置RS且垂直的直线(与Y轴平行的直线)和欧米茄形状421的边缘的交点，作为右肩的顶部的位置RSU(y_rsu)。而且，部位区域估计单元140利用y_rs＝y_rsu－0.2×RD计算右肩位置RS的Y坐标y_rs。

另外，部位区域估计单元140也同样计算左肩位置LS。此外，各参数的计算方法不限于上述例。

接着，说明估计人的躯体朝向的第二处理。

部位区域估计单元140预先保持有基准部位对应表。基准部位对应表是将头部的重心位置H、右肩位置RS和左肩位置LS的组合(以下称为“基准部位的位置”)，与根据该基准部位的位置估计的身体朝向(以下称为“基准部位的朝向”)对应关联而记述的表。即，基准部位表是记述各部位的相对位置关系的表。此外，基准部位是表示人的头部和肩部的欧米茄形状的部分。因此，基准部位的朝向是指人的身体(躯体)的朝向。

部位区域估计单元140从基准部位对应表导出与根据估计图像数据计算出的基准部位的位置相对应的基准部位的朝向。

此外，优选的是，所保持的基准部位对应表中记述的基准部位的位置、以及部位区域估计单元140根据估计图像数据计算的基准部位的位置是不依赖于人的画面上的大小的归一化后的值。具体而言，部位区域估计单元140例如以头部的重心位置H为原点，使用以头部的重心位置H和右肩位置RS或左肩位置LS之间的长度成为1的方式归一化后的值导出基准部位的朝向。

另外，在基准部位对应表中也可以记述右肩位置RS及左肩位置LS。另外，在基准部位对应表中也可以记述由通过头部的重心位置H和右肩位置RS或左肩位置LS的线、和通过头部的重心位置H的垂直的直线(以下称为“头部垂直线”)所构成的角度。另外，在基准部位对应表中也可以记述将头部的重心位置H和右肩位置RS之间的距离设为1时的头部的重心位置H和左肩位置LS之间的距离。部位区域估计单元140通过计算与记述于基准部位对应表中的参数相对应的参数，导出基准部位的朝向。

图10是表示一例基准部位对应表的内容的图。

如图10所示，基准部位对应表450中，与标识符451对应关联地记述投影角度452、左肩位置LS的坐标453、头部的重心位置H的坐标454和基准部位的朝向455。例如以右肩位置RS为原点，使用与画面的二维坐标系平行的规定的二维坐标系来表示各坐标。投影角度452例如是该规定的二维坐标系相对于图2中说明过的三维坐标系410的XZ平面的角度(即图2所示的设置角度θ)。另外，例如利用相对于图2中说明过的三维坐标系410的XYZ轴的每个轴的旋转角度来表示基准部位的朝向455。

这样，部位区域估计单元140估计基准部位的位置及朝向。如上结束基准部位估计处理的说明。

接着，在图4的步骤S4400中，部位区域估计单元140进行基于估计出的基准部位的位置及朝向对每个指定部位估计部位区域的处理(以下称为“部位区域估计处理”)。

在此说明一例部位区域估计处理的细节。

部位区域估计单元140预先保持有部位区域对应表。部位区域对应表是使基准部位的位置及朝向与其它部位的部位区域对应关联而记述的表。

部位区域估计单元140根据部位区域对应表，导出与根据估计图像数据估计出的基准部位的位置及朝向相对应的指定部位的部位区域。

例如由估计图像数据的图像的像素位置定义部位区域。因此，部位区域估计单元140对估计图像数据的图像整体的所有像素，判断各像素是否为属于任一指定部位的部位区域的像素。

图11是表示一例部位区域对应表的内容的图。

如图11所示，部位区域对应表460中，与标识符461对应关联地记述头肩区域(基准部位)的位置463、头肩区域(基准部位)的朝向464以及各部位的区域465。例如，利用图像的二维坐标系的值表示各位置及区域。投影角度462例如是该规定的二维坐标系相对于图2中说明过的三维坐标系410的XZ平面的角度(即图2所示的设置角度θ)。头肩区域的位置463例如是右肩位置RS。例如利用相对于图2中说明过的三维坐标系410的XYZ轴的每个轴的旋转角度来表示头肩区域的朝向464。此外，在标识符461与基准部位对应表450的标识符451相同的情况下，也可以不必将头肩区域的朝向464记述于部位区域对应表460。例如利用将区域以圆近似的情况下的该圆的中心坐标和半径来表示各部位的区域465。

此外，部位区域估计单元140在求部位区域时，也可以不必使用部位区域对应表460。例如，部位区域估计单元140也可以根据从基准部位对应表450(参照图10)导出的基准部位的朝向，使用其他各种身体限制信息，例如按从基准部位起的连接顺序动态地计算各部位区域。身体限制信息是包含与各部位的位置有关的限制条件的信息。

然后，部位区域估计单元140对于估计图像数据的图像整体的所有像素，将对每个像素表示是否为指定部位的部位区域的信息输出到似然图生成单元150作为部位区域数据。

部位区域数据例如可具有对于图集图像数据的所有像素位置(i、j)，排列像素信息Kij所得的构造，该像素信息Kij表示是否符合任一指定部位的部位区域。像素信息Kij的各要素例如在属于对应的指定部位的部位区域的情况下取“1”，在不属于的情况下取“0”。像素信息Kij例如象Kij＝[k1，k2]那样具有与指定部位数相同数量的维。在此，k1与右上臂的部位区域对应，k2与右前臂的部位区域对应。

例如，在判定为某像素位置Kab包含于右上臂的部位区域但不包含于右前臂的部位区域的情况下，部位区域估计单元140生成Kab＝[1，0]这样的像素信息。部位区域估计单元140生成这样生成的各像素的像素信息的集合，作为部位区域数据。

此外，基于部位区域数据的部位区域的表示方法不限于上述例。例如，部位区域数据可以对图像中预先设定的每个部分区域，表示与哪一指定部位的部位区域相符合，也可以对每个指定部位表示部位区域的外缘的坐标。

此外，在将基准部位的位置归一化后的位置用于基准部位估计处理的情况下，优选在部位区域对应表中记述与归一化后的基准部位对应的部位区域。另外，在部位区域数据中，与上述的基准部位对应表的情况同样，也可以记述右肩位置RS及左肩位置LS等其它信息。部位区域估计单元140通过计算与部位区域对应表中记述的参数相对应的参数，导出各指定部位的部位区域。

图12是表示一例部位区域数据的内容的图。在此，为简化说明，将处于直立状态的情况下的各部位的位置一并图示。

如图12所示，作为部位区域数据，在估计图像数据的图像420中表示作为指定部位的右上臂的部位区域471、和作为指定部位的右前臂的部位区域472。如上所述，这些部位区域471、472是以先前估计出的基准部位473的位置及朝向为基准估计出的。

这样，部位区域估计单元140估计各指定部位的部位区域。以上结束部位区域估计处理的说明。

接着，在图4的步骤S4500中，似然图生成单元150进行按每个指定部位对于部位区域计算似然值来生成估计似然图的处理(以下称为“估计似然图生成处理”)。

在此说明一例估计似然图生成处理的细节。

首先，似然图生成单元150根据估计图像数据，对指定部位的部位区域内的每个像素，判别适于表示指定部位的位置及朝向的状态的图像特征量，计算表示指定部位存在的似然度的似然值。而且，似然图生成单元150使用根据估计图像数据计算出的似然值，生成表示各像素的似然值的分布的估计似然图。似然值可以是归一化为0～1的范围的值，也可以是包含正的整数和负数的实数。

作为在图像中识别出关注对象的方法，例如可采用如下的技术，即，将以矩形信息为基础的多个弱识别器的总和通过自适应增强(AdaBoost)进行整合，来制作强识别器，且将强识别器串联连接，识别出脸部作为图像中的关注对象的技术。另外，作为图像特征量，例如可采用SIFT(scale-invariant featuretransform，尺度不变特征变换)特征量(例如参照非专利文献2)。SIFT特征量由128维的向量构成，是按每个像素计算的值。由于SIFT特征量不受作为检测对象的物体的尺度变化、旋转及平行移动的影响，所以特别对如臂那样可在各个方向旋转的部位的检测有效。即，SIFT特征量适合由两个以上的关注部位的关节的相对的位置及角度定义姿势状态的本实施方式。

在将使用SIFT特征量的方法适用于本实施方式的情况下，对右上臂(k＝1)、右前臂(k＝2)等每个部位区域，预先通过机器学习而生成强识别器Hk(k＝1，2)，并保持于似然图生成单元150。通过自适应增强(AdaBoost)算法生成识别器Hk。即，通过如下方式生成强识别器Hk：对于预先对每个部位准备的多个学习图像反复进行学习，直至能够以所希望的精度判定是否为右上臂以及是否为右前臂为止，并将多个弱识别器串联连接而生成强识别器Hk。

似然图生成单元150在对每个指定部位及每个像素计算出图像特征量后，将该图像特征量输入到强识别器Hk，且计算对构成该强识别器Hk的各弱识别器的输出，乘以对每个弱识别器预先得到的可靠度α所得的值的总和。然后，似然图生成单元150从计算出的总和减去规定的阈值Th，计算每个指定部位及每个像素的似然值ck。在此，c1表示右上臂的似然值，c2表示右前臂的似然值。

似然图生成单元150将整合各指定部位的似然值而成的每个像素的似然值Cij设为Cij＝[c1，c2]。而且，似然图生成单元150将图像整体的所有像素的似然值Cij作为估计似然图输出到姿势状态估计单元160。

似然图生成单元150也可以对各像素判断该像素是否包含于任一部位区域，如果包含则使用该部位的识别器计算似然值，如果不包含则将该部位的似然值设为0。换言之，似然图生成单元150也可以将从部位区域估计单元140输出的像素信息的行列式(Kij)和与部位区域无关地计算出的各像素的似然值的行列式(Cij)相乘所得的结果设为最终的估计似然图。

图13是表示一例估计似然图的图。在此，仅表示估计似然图中的一个指定部位(例如右上臂)的似然值，越是似然值高的像素，带着越浓的底纹。如图13所示，估计似然图478表示指定部位存在的似然度的分布。

例如在将部位k的似然值表示为ck，并存在n个指定部位的情况下，似然图的每个像素的信息为似然向量Cij＝[c1，c2，…，ck，…，cn]这样的数据构造。

这样，似然图生成单元150生成估计似然图。以上结束估计似然图生成处理的说明。

接着，在步骤S4600中，姿势状态估计单元160从姿势状态管理单元110获取与指定姿势对应的学习似然图。然后，姿势状态估计单元160进行一致度判定处理，该一致度判定处理是基于学习似然图和估计似然图的一致度是否为规定的等级以上来判断学习似然图和估计似然图是否一致的处理。

在此说明一例一致度判定处理的细节。

姿势状态估计单元160首先使用规定的阈值，分别将估计似然图和学习似然图二值化。具体而言，姿势状态估计单元160将每个像素及每个指定部位的似然值，在为规定的阈值以上的情况下变换为数字信号“0”，在小于规定的阈值的情况下变换为数字信号“1”。

图14是表示一例将图13所示的估计似然图二值化后的状态的图。其中，用灰色表示数字信号“1”的像素，用白色表示数字信号“0”的像素。如图14所示，二值化后的估计似然图479表示指定部位存在的似然度高的部分的分布。

而且，姿势状态估计单元160在估计似然图和学习似然图之间，取对每个像素及每个指定部位二值化后的似然值的乘积，并将关于所有像素及所有指定部位的值之总和设为评价值。具体而言，姿势状态估计单元160将估计似然图和学习似然图以规定的位置关系重叠，按每个像素将二值化后的似然值信息相乘，求关于所有的像素及指定部位的、相乘所得的值之总和。

姿势状态估计单元160通过移动及旋转使估计似然图和学习似然图之间重合的位置关系逐渐错位，对各位置关系进行上述的运算处理。而且，姿势状态估计单元160获取所求出的评价值中的最大值，作为表示一致度的最终的评价值，在该评价值为规定的阈值以上时，判断为学习似然图和估计似然图一致。作为阈值，预先通过学习等而设定适当的值。

此外，姿势状态估计单元160也可以不必将估计似然图及学习似然图二值化。在这种情况下，姿势状态估计单元160可以更高精度地判定学习似然图和估计似然图的一致度。另外，在进行了二值化的情况下，姿势状态估计单元160能够高速进行一致度的判定。

这样，姿势状态估计单元160判定估计似然图和学习似然图的一致度。以上结束一致度判定处理的说明。

在学习似然图与估计似然图一致时(S4600：“是”)，姿势状态估计单元160进至步骤S4700。而在学习似然图与估计似然图不一致时(S14600：“否”)，姿势状态估计单元160进至步骤S4800。

在步骤S4700中，姿势状态估计单元160通过信息输出装置300对用户通知对象图像数据中包含的人的姿势是指定姿势，并返回到图3的处理。

在步骤S4800中，姿势状态估计单元160通过信息输出装置300对用户通知对象图像数据中包含的人的姿势不是指定姿势，并返回到图3的处理。此外，也可以构成为，姿势状态估计单元160在未从对象图像数据检测出人等无法进行姿势状态的判定的情况下，通知该情况。

此外，可以通过文字显示、图像显示、语音输出及振动输出等、输出的有无或者输出内容的不同而进行步骤S4700、S4800的通知。

通过这样的动作，姿势状态估计装置100能够估计部位区域并生成表示每个指定部位的似然分布的估计似然图。而且，姿势状态估计装置100通过对所生成的估计似然图和与指定姿势对应关联的学习似然图进行比较，从而进行姿势状态的估计。

图15是表示一例判定为是指定姿势的情况的图。

如图15(A)所示，假设定在学习图像480中，与“直立姿势”这样的将手脚及背部伸直的姿势状态对应关联而指定了人481的全身部位。在这种情况下，成为比较对象的部位区域482，是包含全身的范围。

而且，如图15(B)所示，假设在估计阶段，对估计图像490指定了“直立姿势”的情况。此时，指定部位为人491的全身部位，成为比较对象的部位区域492为包含全身的范围。基于图15(A)所示的学习图像480的部位区域482的学习似然图、和基于估计图像490的部位区域492的估计似然图在相对移动及旋转后，是一致的。因此，姿势状态估计装置100可以判定为学习图像480中包含的人处于“直立姿势”的姿势状态。

图16是表示判定为是指定姿势的情况的其他例的图。

如图16(A)所示，假设在学习图像480中，与“右臂弯曲着”的姿势状态对应关联而指定了人481的右上臂和右前臂。在这种情况下，成为比较对象的部位区域482，是包含全身的范围。

而且，如图16(B)～图16(E)所示，假设在估计阶段，对估计图像490指定“右臂弯曲着”的情况。此时，指定部位为人491的右上臂和右前臂，成为比较的对象的部位区域492为包含右上臂和右前臂的范围。基于图16(A)所示的学习图像480的部位区域482的学习似然图、和基于估计图像490的部位区域492的估计似然图在相对移动及旋转后，是一致的。因此，姿势状态估计装置100可以判定为学习图像480中包含的人处于“右臂弯曲着”的姿势状态。

图16(B)～图16(E)的各估计图像490的人491的外形各自与图16(A)的学习图像480的人481的外形有很大不同。因此，如果是上述的现有技术，则将图16(B)～图16(E)的估计图像490判定为不处于“右臂弯曲着”的姿势状态。相对于此，如上所述，本实施方式的姿势状态估计装置100能够准确地进行姿势状态估计。

另外，本实施方式的姿势状态估计装置100即使如图16(B)～图16(E)那样右臂以外的部位的姿势不同，也能够判定为是“右臂弯曲着”的姿势状态。即，姿势状态估计装置100能够与其他部位的姿势无关地提取只关注指定部位的情况下的姿势。

如上所述，本实施方式的姿势状态估计装置100使用表示每个部位的似然分布的似然图，所以能够高精度地估计人的姿势状态。另外，姿势状态估计装置100估计部位区域，并生成对于部位区域以外的区域降低了似然值的估计似然图，所以能够提高似然图的精度，从而进一步高精度地进行姿势状态估计。

此外，在以上说明的实施方式1中，姿势状态估计装置100只对具体指定的某个姿势状态进行估计，但也可以对是否与多个姿势状态中的哪个姿势状态一致进行估计。在这种情况下，例如，姿势状态估计装置100将在姿势状态管理单元110中存储有对应的学习似然图的所有姿势状态作为指定姿势进行处理即可。另外，姿势状态估计装置100也可以在未指定任一姿势状态而被指示了执行姿势状态估计的情况下，将所有姿势状态作为指定姿势进行处理。

另外，用于姿势状态估计的图像数据也可以是由立体相机或多个相机拍摄的图像的数据。在使用立体相机的图像数据的情况下，姿势状态估计装置100也可以使用由单侧相机拍摄的图像数据和根据立体相机的设置参数得到的被摄体的位置信息。另外，在使用多个相机的图像数据的情况下，姿势状态估计装置100也可以使用由这些相机中的一台相机拍摄的图像数据和根据各相机的设置参数得到的被摄体的位置信息。

另外，在基准部位的位置及朝向已知的情况或被指定的情况下，部位区域估计单元140也可以不进行上述的基准部位估计处理。另外，例如在人的步行方向已确定、基准部位的朝向大致固定的情况下，部位区域估计单元140也可以预先保持身体的朝向信息。

另外，部位区域估计单元140进行的部位区域的估计的方法不限于上述的例。例如，部位区域估计单元140也可以从估计图像数据提取图像的边缘部分(以下简称为“边缘”)，基于由边缘包围的区域的Y坐标的值的范围估计各部位区域。具体而言，例如部位区域估计单元140以如下方式进行估计：在由边缘包围的区域内，将从Y坐标的值最高的位置起20％的区域估计为头部的部位区域。同样，例如部位区域估计单元140将15％～65％的区域估计为躯体的部位区域、将55％～85％的区域估计为大腿的部位区域、将75％～100％的区域估计为小腿的部位区域。

另外，在估计图像数据是构成动态图像数据的静止图像数据的情况下，部位区域估计单元140也可以在图像间取背景差分来提取运动物体，且将包含提取到的区域的区域整体作为各部位的部位区域候选。由此，能够实现估计部位区域时的处理的高速化。

另外，姿势状态估计装置100也可以按距基准部位从近到远的顺序一个一个地估计部位的位置，通过重复基于估计出的位置估计下一部位的部位区域的处理，估计各关注部位的部位区域。

另外，在将与学习似然图的基础的图像的光轴方向有关的信息与该学习似然图对应关联的情况下，姿势状态估计单元160也可以将与单眼相机200的设置角度θ对应的学习似然图作为比较对象。

另外，姿势状态估计装置100也可以不必进行部位区域估计。在这种情况下，似然图生成单元150对图像的所有区域均一地进行似然值的计算。

另外，姿势状态估计装置100处理的似然图的种类，不限于由上述的例生成的似然图。例如，估计似然图及学习似然图也可以是通过从边缘提取平行线而生成的。

在这种情况下，似然图生成单元150例如预先准备将肩关节的长度和各部位的标准粗度的值对应关联而得到的对应表。似然图生成单元150一边使进行判定的方向旋转360度，一边在部位区域内检索以相当于该部位的标准粗度的距离隔开的平行线的组。而且，在存在该平行线的组的情况下，似然图生成单元150反复进行对由这些平行线包围的区域的各像素进行投票的处理，基于最终的各像素的投票数生成估计似然图。

采用这种方法时，估计似然图和学习似然图按每个像素和每个指定部位包含平行线的方向和投票数(以下称为“方向的似然值”)。例如，在将平行线的角度分类为8种的情况下，每个像素和每个指定部位的似然值成为与8个方向对应的8维的值。进而，例如在将平行线的宽度分类为2种的情况下，每个像素和每个指定部位的似然值成为2×8＝16维的值。此外，作为投票对象的平行线的距离和角度也可以按每个部位而不同。通过求平行线的多种宽度，并使用其中的似然值最高的宽度的似然值，能够减少体型或服装的不同带来的影响来求似然。

而且，似然图生成单元150例如按每个指定部位，将方向的似然值最高的方向判定为该指定部位的主要的边缘方向。此时，姿势状态估计单元160也可以按每个方向取所有像素的似然值的合计值，并将其合计值最高的方向判定为方向的似然值最高的方向。

姿势状态估计单元160对每个指定部位，以使各自的主要的边缘方向一致的方式将估计似然图与学习似然图重合，从而计算一致度。以后的处理与在本实施方式中已经说明过的方法相同。

这样，考虑边缘的方向的方法由于能够对估计似然图和学习似然图之间的重合位置关系施加限制，所以能够减轻处理负荷。

此外，在计算估计似然图和学习似然图的一致度时，也可以仅使用边缘方向的信息。此时，例如姿势状态估计单元160将在多个指定部位间各指定部位的边缘方向所构成的角度的一致度设为表示估计似然图和学习似然图之间的一致度的评价值。而且，在评价值为规定的范围内时，姿势状态估计单元160判定为对象图像数据中包含的人的姿势是指定姿势。

这样，仅使用边缘方向判定一致度的方法由于可以省去一边使图像旋转一边反复计算多个评价值的处理，所以能够进一步降低处理负荷。

(实施方式2)

本发明实施方式2是在姿势状态估计装置中同时进行学习似然图的生成的例。本实施方式的姿势状态估计装置除了进行姿势状态的估计的估计阶段处理以外，还进行生成学习似然图的学习阶段处理。

图17是表示一例本发明实施方式2的姿势状态估计装置的结构的框图，是与实施方式1的图1对应的图。对与图1相同的部分赋予相同的标号，并省略其说明。

如图17所示，本实施方式的姿势状态估计装置100a具有与实施方式1不同的似然图生成单元150a。

本实施方式中的图像数据获取单元130及部位区域估计单元140也对学习阶段中输入的图像数据(以下称为“学习图像数据”)进行与对估计图像数据的处理相同的处理，进行部位区域的估计。

另外，本实施方式中的姿势状态指定单元120即使在学习阶段，也接受姿势状态及部位的指定，并输出指定姿势及指定部位。

似然图生成单元150a即使在学习阶段，也对学习图像数据进行与对估计图像数据的处理相同的处理，生成降低与部位区域对应的指定部位存在的似然度后的似然图。但是，似然图生成单元150a将根据学习图像数据生成的似然图作为学习似然图，使其与该指定姿势及指定部位对应关联并存储到姿势状态管理单元110。另外，似然图生成单元150a不将根据学习图像数据生成的似然图输出到姿势状态估计单元160。

这样的姿势状态估计装置100a能够接受学习图像数据的输入和姿势状态及部位的指定，生成学习似然图，并使用所生成的学习似然图进行对对象图像数据的姿势状态估计。

下面，说明姿势状态估计装置100a的动作。

图18是表示一例姿势状态估计装置100a的动作的流程图，是与实施方式1的图3对应的图。对与图3相同的部分赋予相同的步骤编号，并省略其说明。

首先，在步骤S1000a中，部位区域估计单元140判断是否有姿势状态学习的指示。姿势状态学习即是学习似然图的生成。例如在处于学习阶段时，姿势状态指定单元120中进行了新的姿势状态的指定时，或图像数据获取单元130中输入了新的估计图像数据时，部位区域估计单元140判断为有姿势状态估计的指示。例如通过键盘等输入装置(未图示)从用户接受规定的操作从而进行学习阶段和估计阶段之间的切换。在有姿势状态学习的指示的情况下(S1000a：“是”)，部位区域估计单元140进至步骤S2000a。另外，在没有姿势状态学习的指示的情况下(S1000a：“否”)，部位区域估计单元140进至实施方式1中说明过的步骤S3000～S5000的处理。

在步骤S2000a中，姿势状态估计装置100执行学习阶段处理即进行姿势状态的学习后，进至实施方式1中说明过的步骤S3000～S5000的处理。

图19是表示一例学习阶段处理(图18的步骤S2000a)的流程图。

在步骤S2100a中，姿势状态指定单元120从用户接受姿势状态的指定而获取指定姿势，并获取与指定姿势对应的指定部位。此外，需要与指定姿势对应，至少进行一次指定部位的来自外部的指定。姿势状态指定单元120也可以预先存储指定姿势和指定部位的组，在第二次以后根据指定姿势自动确定指定部位，省略部位指定的接受。

然后，在步骤S2200a中，部位区域估计单元140通过图像数据获取单元130从单眼相机200获取学习图像数据。学习图像数据可以是在单眼相机200中连续且实时地拍摄到的构成动态图像数据的静止图像数据，也可以是预先拍摄并保存的图像数据。另外，学习图像数据也可以不是拍摄实际的人而得到的图像的数据，而是通过计算机上的CG(computer graphics，计算机图形)软件等制作的图像的数据。特别地，运动捕捉软件的图像数据能够同时获取人的三维姿势信息，所以能够提高生成学习似然图时的便利性。

而且，在步骤S2300a中，部位区域估计单元140对学习图像数据进行与在实施方式1中说明过的基准部位估计处理相同的处理，从而估计基准部位。

然后，在步骤S2400a中，部位区域估计单元140对学习图像数据进行与在实施方式1中说明过的部位区域估计处理相同的处理，对每个指定部位估计部位区域。

然后，在步骤S2500a中，似然图生成单元150a对学习图像数据进行与在实施方式1中说明过的估计似然图生成处理相同的处理，按每个指定部位对部位区域计算似然值，从而生成学习似然图。

然后，在步骤S2600a中，似然图生成单元150a将所生成的学习似然图与指定部位及指定姿势对应关联并存储到姿势状态管理单元110，然后返回到图18的处理。

此外，在对多个学习图像数据指定了相同的姿势状态的情况下，即，指定姿势相同的学习似然图存在多个的情况下，似然图生成单元150a也可以将由似然值的平均值构成的学习似然图存储在姿势状态管理单元110。

通过这样的动作，姿势状态估计装置100a能够接受学习图像数据的输入和姿势状态及部位的指定，生成学习似然图，并进行存储。其结果，例如，基于实施方式1的图16(A)所示的部位区域482生成学习似然图，并使其与“右臂弯曲着”的姿势状态、和“右上臂”及“右前臂”的部位对应关联，来进行存储。

如上所述，本实施方式的姿势状态估计装置100a对每个姿势状态，生成表示每个部位的似然分布的学习似然图，并使用所生成的学习似然图，所以能够高精度地估计人的姿势状态。

例如，如实施方式1中说明的那样，如果是上述的现有技术，则将图16(B)～图16(E)的估计图像490判定为不处于“右臂弯曲着”的姿势状态。如果要在现有技术中防止这种情况，则必须对图16(B)～图16(E)所示的所有外形准备学习图像，并生成学习似然图。这种网罗性的学习花费工夫和时间。另外，若所存储的学习似然图的数量增多，则在一致度判定中也花费时间。相对于此，如上所述，在使用本实施方式的姿势状态估计装置100a的情况下，只要对图16(A)所示的学习图像480进行学习就可以，也可抑制学习似然图的数量。

此外，姿势状态估计装置100a在使用实施方式1中说明过的基于边缘方向的估计似然图等通过其他方法生成的估计似然图的情况下，通过对应的方法生成学习似然图。

另外，本发明不限于适用到实施方式1和实施方式2中说明过的人的姿势状态估计。本发明还可以适用到机器人等具有通过关节连接的多个部位的各种物体的姿势状态估计。

以下，作为本发明实施方式3，说明还使用凹凸映射图进行姿势估计的例。这里，凹凸映射图是指利用凹凸对映于图像中的被摄体的面进行划分而得到的映射图。

(实施方式3)

图20是表示本发明实施方式3的姿势状态估计装置的主要结构的框图，是与实施方式1的图1的姿势状态估计装置100对应的图。此外，在图20中，对于与图1共同的结构部分赋予与图1相同的标号，并省略说明。

图20的姿势状态估计装置100b中，除了图1的结构以外，还具有凹凸映射图估计单元145b。

凹凸映射图估计单元145b生成各部位的凹凸映射图。更具体而言，凹凸映射图估计单元145b从似然图生成单元150输入估计似然图和估计图像数据。而且，凹凸映射图估计单元145b基于所输入的信息生成凹凸映射图，将所生成的凹凸映射图输出到姿势状态估计单元160b。凹凸映射图的生成方法的细节将后述。下面，将根据估计图像数据生成的凹凸映射图称为“估计凹凸映射图”。

除了学习似然图以外，姿势状态估计单元160b还对每个姿势状态预先保持根据处于该姿势状态的基准模型学习得到的凹凸映射图(以下称为“学习凹凸映射图”)。而且，除了估计似然图与学习似然图之间的一致度以外，姿势状态估计单元160b还基于估计凹凸映射图与学习凹凸映射图之间的一致度，进行被摄体的姿势状态的估计。即，除了实施方式1的动作以外，姿势状态估计单元160b还进行估计凹凸映射图与学习凹凸映射图之间的匹配。

首先，说明凹凸映射图。

凹凸映射图估计单元145b根据图像上的部位的明亮度信息，估计部位的面的朝向。在此，明亮度例如是亮度的等级，明亮度信息是表示亮度或亮度的等级的信息。

图21是用于说明人的姿势和各部位的明亮度之间的关系的图。

图18A所示的第一姿势与图21B所示的第二姿势尽管是不同的姿势，但是如图21C所示，从正面观看时的剪影相同。此时，如果只是根据由正面图像的边缘构成的区域信息，则无法正确估计对象人物的姿势是第一姿势还是第二姿势。

例如，根据图21C所示的剪影，可知右臂的长度比左臂的长度短，所以可以推测右肘弯曲着的可能性高。然而，满足身体限制的弯曲方式中存在变化形式。另外，如图18A和图21B所示，右臂整体的角度也存在变化形式。

另外，例如，根据图21C所示的剪影，可知左脚的长度比左臂的长度短，所以可以推测左膝有可能弯曲着。但是，如图21A和图21B所示，会存在左膝弯曲着的情况和伸着的情况。

只要能够估计上臂与前臂之间的划分点和大腿与小腿之间的划分点的位置(即，关节)，就能够估计对象人物的姿势是上述的变化形式的哪种。然而，在是如图21C所示那样臂和腿看上去是直线的姿势的情况下，如果只是根据由边缘构成的区域信息，即使使用身体限制，也难以估计这样的划分点的位置。

因此，为了对待如果只是根据这样的区域信息则无法确定关节位置(各部位的划分点)的姿势，姿势状态估计装置100b除了使用区域信息以外还使用明亮度信息来估计部位区域。

图21D是用浓度表示以来自上方的自然光为光源时的、从正面拍摄第一姿势的情况下的各部位的明亮度的图。图21E是用浓度表示以来自上方的自然光为光源时的、从正面拍摄第二姿势的情况下的各部位的明亮度的图。这里表示，浓度越高则明亮度越低(越暗)。另外，作为明亮度，按照从暗到亮的等级的顺序，定义了“－2，－1，0，1，2”这5个阶段的等级。等级“0”例如是与地面垂直方向的面的明亮度的等级。

对于图像的各区域的明亮度等级，越朝向上的面的区域越明亮，相反，越朝向下的面的区域越暗。

例如，如图21D及图21E所示，在第一及第二姿势两者中，头、躯干、左臂的区域的等级为“0”，右腿的区域是稍暗的等级“－1”。

在第一姿势中，右上臂垂直下垂，右前臂向前伸着，所以如图21D所示，右上臂的区域的等级为“0”，右前臂的区域的等级为“2”。相对于此，在第二姿势中，右上臂向后摆，右前臂下垂，因此如图21E所示，右上臂的区域的等级为“－2”，右前臂的区域的等级为“2”。

另外，在第一姿势中，左腿整体向前伸着，所以如图21D所示，左大腿及左下腿的区域的等级为“1”。相对于此，在第二姿势中，左大腿向上抬，左小腿朝后，因此，如图21E所示，左大腿的区域的等级为“2”，左小腿的区域的等级为“－2”。

这样，各部位能够作为相同明亮度的面被捕捉。因此，能够根据图像上的部位的明亮度信息估计部位的位置。

接着，使用图22的处理流程，说明如以上那样构成的姿势状态估计装置100b的动作。此外，在图22中，对与实施方式1的图4共同的步骤，赋予与图4相同的步骤编号，并省略其说明。

生成估计似然图后(S4500)，处理进至S4510b。

在S4510b中，凹凸映射图估计单元145b进行估计凹凸映射图生成处理。估计凹凸映射图生成处理是根据在S4200中所获取的图像数据和在S4500中所生成的估计似然图生成估计凹凸映射图的处理。

图23是表示凹凸映射图生成处理(图22的步骤S4510b)的处理流程的图。

对于估计凹凸映射图的每个像素的信息，例如，在将部位k的似然表示为pk，存在n个部位的情况下，成为凹凸矢量Oij＝[p1，p2，…，pk，…，pn]这样的数据结构。pk是二进制信息，pk的值例如采取表示不可能为部位k的“0”和表示有可能为部位k的“1”中的任一个值。

在S6100b中，凹凸映射图估计单元145b选择一个作为处理对象的部位。例如，在将右臂设为凹凸映射图生成处理的对象的情况下，凹凸映射图估计单元145b首先选择最远离主干部位的右前臂。

然后，在S6200b中，凹凸映射图估计单元145b从S4500中生成的估计似然图中，获取S6100b中选择的部位的区域(以下称为部位似然区域)。在此，提取估计似然图上的右前臂的似然超过规定阈值的像素，将其作为右前臂的部位似然区域。

然后，在S6300b中，凹凸映射图估计单元145b从S4200中获取的估计图像数据中，提取S6200b中提取的部位似然区域的明亮度信息。例如能够通过转换成灰度(黑白灰度等级的)图像来提取明亮度信息，上述灰度图像是从构成估计图像数据的各像素的RGB值中仅提取亮度(像素的明亮度)所得的图像。

接着，在S6400b中，凹凸映射图估计单元145b使用明亮度的阈值，对S6300b中求出的部位似然区域的明亮度信息进行分组。凹凸映射图估计单元145b可以将明亮度的阈值设为预先设定的固定值，也可以动态地设定明亮度的阈值。在此，说明动态地设定阈值的方法的一例。

图24是用于说明使用了右前臂的身体限制的区域分类的方法的图。为了简化说明，设为躯干仅包含右臂而进行说明。

在图22的步骤S4300中，例如，以估计出的右肩位置500b为基准，估计头肩区域与连接于该头肩区域的躯干区域501b。此时，有可能存在右上臂和右前臂的区域为区域502b，仅可能存在右前臂的区域为区域503b。例如，能够根据图11所示的部位区域对应表计算区域502b、503b。

凹凸映射图估计单元145b首先从右前臂的部位似然区域中的仅可能存在右前臂的区域503b中，提取存在于该区域中的像素的亮度值(明亮度信息)。

而且，若将对象像素的总数m的a％设为n个，则凹凸映射图估计单元145b从已提取的亮度值的数据中，从最小的数据起依序去除n个数据，并从最大的数据起依序去除n个数据。进而，凹凸映射图估计单元145b将去除了上述2n个数据后的数据(数据的数量为m－2n)的最小值和最大值作为右前臂的明亮度信息的阈值(作为右前臂进行处理的亮度值的范围的上限值与下限值)。此处，a为预先设定的值。

而且，凹凸映射图估计单元145b例如对右前臂的部位似然区域中的符合该阈值(即，处于作为右前臂进行处理的亮度值的范围内)的像素的凹凸矢量Oij中的表示右前臂的值，设定表示有可能为右前臂的值(例如1)。

这样，凹凸映射图估计单元145b仅使用根据身体限制而仅存在右前臂的部位似然区域的明亮度信息设定亮度值的阈值。由此，凹凸映射图估计单元145b能够不受其他部位的影响地确定具有右前臂的明亮度信息的像素。

接着，凹凸映射图估计单元145b从右前臂的部位似然区域中的仅可能存在右上臂和右前臂的区域502b中，提取像素的亮度值(明亮度信息)。

然后，凹凸映射图估计单元145b从已提取的亮度值的数据中，删除与在上一步骤中求出的右前臂的明亮度信息的阈值符合的数据。接着，将剩余的亮度值的数据的总数p的b％设为q个，则凹凸映射图估计单元145b从已提取的亮度值的数据中，从最小的数据起依序去除q个数据，并从最大的数据起依序去除q个数据。进而，凹凸映射图估计单元145b将去除了上述2q个数据后的数据(数据的数量为p－2q)的最小值和最大值作为右上臂的明亮度信息的阈值(作为右前臂进行处理的亮度值的范围的上限值与下限值)。此处，b的值为预先设定的值。

然后，凹凸映射图估计单元145b例如对右前臂的部位似然区域中的符合该阈值(即，处于作为右上臂进行处理的亮度值的范围内)的像素的凹凸矢量Oij的表示右上臂的值，设为表示有可能为右上臂的值(例如1)。

这样，凹凸映射图估计单元145b从根据身体限制而仅存在右上臂与右前臂的部位似然区域的明亮度信息的数据中，去除作为右前臂进行处理的亮度值的范围内的数据，来设定阈值。由此，凹凸映射图估计单元145b能够不受其他部位的影响而确定具有右上臂的明亮度信息的像素，且能够高精度地确定具有右上臂的明亮度信息的像素。

这样，凹凸映射图估计单元145b从远离主干部位的部位起，使用仅存在该部位的区域的明亮度信息依次设定明亮度信息的阈值，对每个部位的明亮度信息进行分组来估计区域。

此外，也会有以下的情况：在仅可能存在右前臂的区域503b中无右前臂的部位似然区域。在这种情况下，凹凸映射图估计单元145b例如也可以进行以下的处理：在右前臂和右上臂的部位似然区域中，提取存在于仅可能存在右上臂和右前臂的区域502b的像素的亮度信息，并分成右前臂和右上臂这两组的处理。而且，凹凸映射图估计单元145b例如使用大津二值化设定上述阈值。由此，凹凸映射图估计单元145b即使在仅可能存在右前臂的区域503b中无右前臂的部位似然区域的情况下，仍能够设定右上臂和右前臂的明亮度信息的阈值。

另外，也会有以下的情况：在仅可能存在右前臂的区域503b中设定右前臂的明亮度信息后，尽管是仅可能存在右上臂和右前臂的区域502b，但是因为没有与右前臂不同的明亮度信息的像素，所以无法设定与右前臂不同的阈值。在这种情况下，凹凸映射图估计单元145b例如也可以对右上臂的明亮度信息设定与右前臂相同的值。由此，即使在右上臂和右前臂的面的朝向相似的情况下(在笔直地伸出的情况下)，凹凸映射图估计单元145b仍能够设定右上臂的明亮度信息。

在图23的S6500b中，凹凸映射图估计单元145b判断是否已对成为凹凸映射图生成处理对象的所有部位进行了处理。例如在还对左臂生成估计凹凸映射图的情况下，凹凸映射图估计单元145b返回到S6100b，对左臂进行与右臂相同的处理。

然后，凹凸映射图估计单元145b将所生成的估计凹凸映射图输出到姿势状态估计单元160b。

在图22的S4600b中，姿势状态估计单元160b进行学习似然图和估计似然图之间的匹配，之后，进行学习凹凸映射图和估计凹凸映射图之间的匹配。然后，姿势状态估计单元160b与实施方式1同样地判断估计似然图是否与任一一学习似然图一致。

更具体而言，姿势状态估计单元160b在凹凸映射图的似然值是二进制的情况下，在估计凹凸映射图和学习凹凸映射图之间，对每个像素，评价似然的一致度。例如，姿势状态估计单元160b对于全部像素对标识符一致的像素进行计数，并将计数值最大的学习凹凸映射图判断为与估计凹凸映射图之间的一致度高。此外，与似然图同样，在尺寸不同的情况下，姿势状态估计单元160b也可以在进行对图像区域的放大缩小处理后进行匹配。

如图21中说明的那样，可能有虽然学习似然图相同但学习凹凸映射图不同的姿势状态。因此，不只是学习似然图，还进行与学习凹凸映射图之间的匹配，由此，能够进行更准确的姿势状态估计。

这样，本实施方式的姿势状态估计装置100b生成凹凸映射图，且并用凹凸映射图的匹配，因此，能够进一步提高姿势估计的精度。

此外，本实施方式也可以适用于实施方式2的姿势状态估计装置100a。即，也可以与学习似然图的生成同样地生成学习凹凸映射图。

2010年12月9日提交的日本专利申请特愿2010-274673号中包含的说明书、附图及说明书摘要的公开内容全部引用于本申请。

工业实用性

本发明的姿势状态估计装置及姿势状态估计方法作为能够高精度地估计具有关节的物体的姿势状态的姿势状态估计装置及姿势状态估计方法是有用的。

Claims (7)

1.姿势状态估计装置，基于拍摄具有通过关节连接的多个部位的物体即人而得到的图像数据，估计所述人的姿势状态，该姿势状态估计装置包括：

部位区域估计单元，根据所述图像数据，检测所述人的头部及肩部的位置，并基于检测出的所述位置，将所述多个部位中的至少两个部位的所述图像数据中的可动范围估计为该部位的部位区域；

似然图生成单元，对于所述至少两个部位的每一个，根据所述图像数据，对与所述部位对应的所述部位区域内的每个像素或者多个像素的每一个集合判断图像特征量，计算表示所述部位存在的似然度的似然值，生成表示计算出的所述似然值的分布的似然图；以及

姿势状态估计单元，在预先与所述姿势状态对应关联的所述似然图即学习似然图和基于所述图像数据生成的所述似然图即估计似然图之间的一致度高时，将与该学习似然图对应关联的所述姿势状态估计为所述人的姿势状态。

2.如权利要求1所述的姿势状态估计装置，

所述似然图生成单元生成对于所述部位区域以外的区域降低了与所述部位区域对应的各部位存在的似然度的所述估计似然图。

3.如权利要求1所述的姿势状态估计装置，还包括：

姿势状态指定单元，接受成为所述估计的对象的所述姿势状态的指定，

所述姿势状态估计单元在与作为所述估计的对象而指定的所述姿势状态对应关联的所述学习似然图与所述估计似然图之间的一致度高时，进行所述人的姿势状态是被指定的所述姿势状态的通知。

4.如权利要求3所述的姿势状态估计装置，

所述姿势状态指定单元接受所述学习似然图的生成指示和成为所述生成的对象的所述姿势状态的指定，

所述似然图生成单元在被指示了生成所述学习似然图时，基于规定的图像生成所述学习似然图，

所述姿势状态估计装置还包括姿势状态管理单元，该姿势状态管理单元将所生成的所述学习似然图与被指定的所述姿势状态对应关联并存储。

5.如权利要求1所述的姿势状态估计装置，

所述似然图生成单元基于所述图像数据所包含的平行线，生成所述似然图，

所述姿势状态估计单元使用根据所述平行线获取的所述估计似然图的主要的边缘方向和所述学习似然图的主要的边缘方向，计算一致度。

6.如权利要求1所述的姿势状态估计装置，还包括：

凹凸映射图估计单元，生成凹凸映射图，该凹凸映射图是利用凹凸划分所述图像数据的图像中的被摄体的面而得到的映射图，

所述姿势状态估计单元还根据预先与所述姿势状态对应关联的所述凹凸映射图即学习凹凸映射图和基于所述图像数据生成的所述凹凸映射图即估计凹凸图之间的一致度，估计所述人的姿势状态。

7.姿势状态估计方法，基于拍摄具有通过关节连接的多个部位的物体即人而得到的图像数据，估计所述人的姿势状态，该姿势状态估计方法包括以下步骤：

部位区域估计单元根据所述图像数据，检测所述人的头部及肩部的位置，并基于检测出的所述位置，将所述多个部位中的至少两个部位的所述图像数据中的可动范围估计为该部位的部位区域的步骤；

似然图生成单元对于所述至少两个部位的每一个，根据所述图像数据，对与所述部位对应的所述部位区域内的每个像素或者多个像素的每一个集合判断图像特征量，计算表示所述部位存在的似然度的似然值，生成表示计算出的所述似然值的分布的似然图的步骤；以及

姿势状态估计单元在预先与所述姿势状态对应关联的所述似然图即学习似然图和基于所述图像数据生成的所述似然图即估计似然图之间的一致度高时，将与该学习似然图对应关联的所述姿势状态估计为所述人的姿势状态的步骤。