CN104487999B - 姿势估计装置和姿势估计方法 - Google Patents

姿势估计装置和姿势估计方法 Download PDF

Info

Publication number
CN104487999B
CN104487999B CN201380039239.3A CN201380039239A CN104487999B CN 104487999 B CN104487999 B CN 104487999B CN 201380039239 A CN201380039239 A CN 201380039239A CN 104487999 B CN104487999 B CN 104487999B
Authority
CN
China
Prior art keywords
candidate region
feature amount
region
area
inherent feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380039239.3A
Other languages
English (en)
Other versions
CN104487999A (zh
Inventor
川口京子
岩井和彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN104487999A publication Critical patent/CN104487999A/zh
Application granted granted Critical
Publication of CN104487999B publication Critical patent/CN104487999B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163—Determination of attitude
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

能够对具有成对的部位的多关节物体的姿势高精度地进行估计的姿势估计装置。在该装置中，候选区域提取单元(110)使用共同特征量，从图像中提取多个候选区域。部位区域提取单元(120)划分部位的似然较高的部位区域和除此以外的第二部位的候选区域。特征量计算单元(130)对部位区域以及第二部位的候选区域的每一个计算固有特征量。特征量校正单元(140)将部位区域以及第二部位的候选区域中的、任意一方的候选区域的固有特征量，基于另一方的候选区域的长度、宽度、以及角度中的至少一个进行校正。判定单元(150)基于校正后的固有特征量和另一方的候选区域的固有特征量之间的相似度，判定部位区域和第二部位的候选区域是否为成对的部位。

Description

姿势估计装置和姿势估计方法
技术领域
本发明涉及对具有成对的部位的多关节物体的姿势进行估计的姿势估计装置和姿势估计方法。
背景技术
近年来，一直在积极地开展与基于拍摄到的运动图像的图像数据的人的姿势估计相关的研究。姿势估计装置能够利用计算机分析从运动图像来判定人的行为，能够不依赖于人工进行行为分析。作为行为分析的适用应用，例如，有街头中的异常行为检测、商店中的购买行为分析、工厂中的作业效率辅助、以及运动中的姿势(form)指导。
在估计人的姿势的情况下，例如，期望可进行部位的姿势的估计。这里，部位表示多关节物体的结构要素(例如，头部、躯干、胳膊、腿等)。此外，部位的姿势表示人的姿势中的部位的位置或角度。人因动作而改变部位的姿势，所以如果能够估计部位的位置，则可进行该人在干什么、今后要干什么这样的动作的估计等。
这样的人的姿势估计，最好在人上不安装方位传感器等装置。因为在人上安装装置的估计方法，难以将未指定的人作为估计对象，在估计对象为多个的情况下，花费成本。
因此，例如在专利文献1中记载了基于拍摄到的人的视频，估计该人的姿势的技术。
专利文献1中记载的技术(以下，称为“现有技术1”)，从拍摄视频求人物轮廓(silhouette)的重心，计算从重心到人物轮廓的轮廓线上的各点为止的距离，并检测从重心延伸到上方的垂直轴，将与人物轮廓的轮廓线的交点作为头顶点。而且，现有技术1中，搜索以头顶点为始点并逆时针转动地算出的距离为极大的点，将第一极大的点判定为右手的前端，将第二极大点判定为右腿、左腿、左手的前端。根据这种现有技术1，能够在人上不安装方位传感器等装置而估计人的姿势。
此外，例如在专利文献2中记载了基于拍摄到人的图像，估计该人的姿势的技术。
专利文献2中记载的技术(以下，称为‘现有技术2’)，在蓝色的背景中，拍摄穿着蓝色以外的颜色、并且每个部位颜色不同的衣服的人。由此，现有技术2从背景图像和人物图像之间的颜色信息的差异获取人物轮廓，从衣服的颜色信息检测人的部位。如果采用这种现有技术2，能够在人上不安装方位传感器等装置而估计人的姿势。
现有技术文献
专利文献
专利文献1：(日本)专利第3400961号公报
专利文献2：(日本)特开2005-339100号公报
发明内容
发明要解决的问题
但是，现有技术1以及现有技术2，因拍摄条件而存在无法高精度地估计人的姿势的课题。因为现有技术1在双臂、双脚彼此交差，并且胳膊或腿与躯干体重合的情况下，在人物轮廓内胳膊或腿重合，所以无法估计胳膊或腿的姿势。此外，现有技术2如果不以特定的背景以及特定的衣服来拍摄人，就无法检测人的部位。
本发明的目的在于，高精度地估计具有成对的部位的多关节物体的姿势。
解决问题的方式
本发明的一方式的姿势估计装置，基于包含具有在左半身与右半身之间成对的部位的多关节物体的全部或一部分的图像，估计所述成对的部位，包括：候选区域提取单元，从所述图像中，使用对于所述成对的部位表示未指定多个多关节物体共同的形状特征的共同特征量，提取多个所述成对的部位的候选区域；部位区域提取单元，从所述多个候选区域中，提取作为所述成对的部位的似然为最大的第一候选区域，并将所述第一候选区域以外的区域作为第二候选区域；特征量计算单元，分别对于所述第一候选区域以及所述第二候选区域，计算对于所述成对的部位表示估计对象的多关节物体上固有的特征的固有特征量；特征量校正单元，将所述第一候选区域以及所述第二候选区域中的、一方的候选区域的固有特征量，基于另一方的候选区域的长度、宽度、以及角度中的至少一个进行校正；以及判定单元，基于所述校正后的固有特征量和所述另一方的候选区域的固有特征量之间的相似度，判定所述第一候选区域和所述第二候选区域是否为所述成对的部位。
本发明的一方式的姿势估计方法，基于包含具有在左半身与右半身之间成对的部位的多关节物体的全部或一部分的图像，估计所述成对的部位，该方法包括以下步骤：从所述图像中，使用对于所述成对的部位表示未指定多个多关节物体共同的形状特征的共同特征量，提取多个所述成对的部位的候选区域的步骤；从所述多个候选区域中，提取作为所述成对的部位的似然为最大的第一候选区域，并将所述第一候选区域以外的区域作为第二候选区域的步骤；分别对于所述第一候选区域以及所述第二候选区域，计算对于所述成对的部位表示估计对象的多关节物体上固有的特征的固有特征量的步骤；将所述第一候选区域以及所述第二候选区域中的、一方的候选区域的固有特征量，基于另一方的候选区域的长度、宽度、以及角度中的至少一个进行校正的步骤；以及基于所述校正后的固有特征量和所述另一方的候选区域的固有特征量之间的相似度，判定所述第一候选区域和所述第二候选区域是否为所述成对的部位的步骤。
发明的效果
根据本发明，能够高精度地估计具有成对的部位的多关节物体的姿势。
附图说明
图1是表示本发明的实施方式1的一例姿势估计装置的结构的框图。
图2是表示本发明的实施方式2的一例姿势估计系统的结构的系统结构图。
图3是表示本发明的实施方式2中的一例身体模型的图。
图4是表示本发明的实施方式2的姿势估计装置的一例动作的流程图。
图5是表示本发明的实施方式2中的一例候选区域提取处理的流程图。
图6是表示本发明的实施方式2中的一例边缘对似然映射图生成处理的流程图。
图7是用于说明本发明的实施方式2中的边缘对似然映射图生成处理的图。
图8是用于说明本发明的实施方式2中的极大值的图。
图9表示本发明的实施方式2中的一例特征量校正处理的流程图。
图10表示本发明的实施方式2中的一例人的姿势的图。
图11表示本发明的实施方式2中的一例特征量算出区域提取处理的流程图。
图12表示本发明的实施方式2中的一例人的姿势的图。
图13表示本发明的实施方式2中的一例无法正确计算固有特征量的情况下的图像和其直方图的图。
图14表示本发明的实施方式2中的一例无法正确计算固有特征量的情况下的直方图的图。
图15表示本发明的实施方式2中的一例无法正确计算固有特征量的情况下的直方图的图。
具体实施方式
以下，关于本发明的各实施方式，参照附图详细地说明。
(实施方式1)
本发明的实施方式1是一例本发明的基本方式。
图1是表示一例本实施方式的姿势估计装置的结构的框图。
在图1中，姿势估计装置100包括候选区域提取单元110、部位区域提取单元120、特征量计算单元130、特征量校正单元140、以及判定单元150。
再有，本实施方式的姿势估计装置100对构成多关节物体的“成对的部位”的姿势进行估计。这里，“部位”是多关节物体的结构要素。此外，“部位的姿势”意味着部位的位置或角度。
候选区域提取单元110从包含作为估计对象的多关节物体的一部分或全部的图像中，使用共同特征量，提取多个估计对象部位的候选区域。“共同特征量”表示对于成对的部位在未指定多个多关节物体中共同的形状的特征(例如，仅边缘、或者边缘以及轮廓)。此外，这里提取出的候选区域有包含存在噪声的候选区域的情况。再有，“估计对象部位”是部位的姿势的估计对象，是成对的部位。此外，将成对的部位中的、一方的部位称为“第一部位”，将另一方的部位称为“第二部位”。例如，成对的部位是小臂的情况下，将右小臂称为第一部位，将左小臂称为第二部位。
再有，上述“对于成对的部位在未指定多个多关节物体中共同的形状”，例如由多关节物体中的部位的可能存在范围、或者部位的大小、长度、粗细、或截面的形状、拍摄多关节物体的角度确定。有关这样的部位的、可能存在范围、大小、长度、粗细、截面的形状、或拍摄多关节物体的角度，作为多关节物体的限制信息而被预先确定。因而，候选区域提取单元110也可以基于上述限制信息提取候选区域。由此，候选区域提取单元110能够将估计对象部位即可能性(似然)为最高的区域作为候选区域提取。
部位区域提取单元120将在候选区域提取单元110提取出的多个候选区域之中的、估计对象部位即似然为最高的区域，作为第一部位的候选区域(第一候选区域的一例子)提取。这里，将第一部位的候选区域称为“部位区域”。另一方面，将部位区域以外的候选区域称为“第二部位的候选区域”(第二候选区域的一例子)。第二部位的候选区域也有存在多个的情况。
特征量计算单元130对于部位区域提取单元120中提取出的、部位区域以及第二部位的候选区域的各个区域，计算固有特征量。这里算出的“固有特征量”表示对于成对的部位在估计对象的多关节物体的个体中固有的特征(例如，颜色以及纹理中的至少一个)。
特征量校正单元140对于特征量计算单元130中算出的、部位区域以及第二部位的候选区域之中的任意一方的候选区域的固有特征量，基于另一方的候选区域的长度、宽度、以及角度中的至少一个进行校正(再计算)。即，特征量校正单元140对部位区域的固有特征量，基于第二部位的候选区域的长度、宽度、以及角度中的至少一个进行校正。或者，特征量校正单元140对第二部位的候选区域的固有特征量，基于部位区域的长度、宽度、以及角度中的至少一个进行校正。前者的校正方法对似然较高的候选区域进行校正，以使其与似然较低的候选区域相匹配，所以与从似然较低的候选区域对似然较高的候选区域的特征量进行估计的后者的校正方法相比，估计的精度提高。
再有，在第二部位的候选区域有多个的情况下，特征量校正单元140对部位区域和第二部位的候选区域的每个对进行固有特征量校正。
此外，特征量校正单元140在进行上述固有特征量的校正前，也可以进行以下的处理。首先，特征量校正单元140计算在特征量计算单元130中算出的、部位区域的固有特征量和第二部位的候选区域的固有特征量之间的相似度。接着，特征量校正单元140基于算出的相似度，判断是否存在能够估计为与部位区域成对的第二部位的候选区域。该判断的结果，在不存在能够估计为与部位区域成对的第二部位的候选区域的情况下，特征量校正单元140进行上述固有特征量的校正。
判定单元150基于特征量校正单元140中校正后的固有特征量和另一方的候选区域的固有特征量之间的相似度(例如，余弦相似度)，判定部位区域和第二部位的候选区域是否为成对的部位。根据该判定，估计部位的姿势。
姿势估计装置100例如具有CPU(Central Processing Unit；中央处理器)、存储了控制程序的ROM(Read Only Memory；只读存储器)等的存储介质、以及RAM(Random AccessMemory；随机存取存储器)等的工作用存储器。这种情况下，上述各构成单元的功能通过CPU执行控制程序来实现。
具备这样的结构的姿势估计装置100具有以下的效果。
在估计未指定多个多关节物体的姿势的情况下，由于事先难以掌握各多关节物体为什么样的衣服或颜色，所以一般是使用共同特征量(例如，边缘、轮廓、轮廓等)进行部位的估计。在这样的部位的估计中，在某个部位的周围没有其他部位的情况下，由于仅该部位的边缘信息被提取，所以部位的估计比较容易。但是，在进行部位的估计时，假定在某个部位的周围有其他部位的情况。即，例如，在某个部位的背后有其他部位的情况下，由于不仅某个部位，而且位于其背后的其他部位的边缘信息也一并获取，所以难以进行部位的估计。而且，在某个部位被其他部位遮挡的情况下，图像上可看见的面积变少，仅用上述共同特征量，难以进行部位的估计。
在另一方面，一般地，在具有成对的部位的多关节物体中，大多被认为成对的部位的衣服、颜色、质感是相同的。例如，在人的情况下，右腿和左腿穿着单一的衣服，所以能够假定为成为相同的颜色，右臂和左臂也大多被认为是相同花纹的衣服。
因此，姿势估计装置100首先使用共同特征量，从图像中提取多个候选区域，并分成部位区域和第二部位的候选区域。接着，姿势估计装置100分别对于部位区域以及第二部位的候选区域计算固有特征量。接着，姿势估计装置100对部位区域以及第二部位的候选区域之中的、任意一方的候选区域的固有特征量，基于另一方的候选区域的长度、宽度、以及角度中的至少一个进行校正。接着，姿势估计装置100基于校正后的固有特征量和另一方的候选区域的固有特征量之间的相似度，判定部位区域和第二部位的候选区域是否为成对的部位。通过这样的动作，即使在第二部位的候选区域的周围有其他部位的候选区域的情况下，姿势估计装置100也可缩窄第二部位的候选区域。因此，即使在难以估计成对的部位的一方的姿势的情况下，甚至即使在事前该部位的颜色以及纹理的至少一方不明的情况下，姿势估计装置100也可高精度地估计具有成对的部位的多关节物体的姿势。
(实施方式2)
本发明的实施方式2是将本发明适用于输入拍摄图像、估计在该拍摄图像中包含的人的姿势的装置的情况下的本发明的具体方式的一例子。
首先，说明包含本实施方式的姿势估计装置的姿势估计系统的概要。
图2是表示一例本实施方式中的姿势估计系统的结构的系统结构图。在图2中，姿势估计系统200具有对拍摄区域310进行拍摄的摄像机320、以及与摄像机320可通信地连接的姿势估计装置100。摄像机320例如是数码摄像机，对拍摄区域310从斜上方拍摄。即，摄像机320拍摄的图像是拍摄包含人340以及水平的地面330的实际空间所得的图像。而且，摄像机320将拍摄视频的视频数据发送到姿势估计装置100。这里，将拍摄区域310的地面330假设为作为姿势估计的对象的人340在步行的地面。
姿势估计装置100例如是个人计算机，基于从摄像机320接收到的视频数据，估计人340的姿势。
通过以上，结束有关姿势估计系统200的概要的说明。
接着，说明有关在本实施方式中作为估计的对象的人340的姿势。
图3是表示一例人340的身体的结构模型(以下称为‘身体模型’)410的图。身体模型410是示意地表示用于姿势估计的身体的各部位的位置关系的模型。身体模型410至少包含躯干411、左大腿412、左小腿413、左脚414、右大腿415、右小腿416、右脚417、以及头418、右大臂419、右小臂420、左大臂422、左小臂423。
这些各部位通过关节连接着。因此，各部位的可动区域受到其他部位的限制。例如，左小臂423只能够在以与左大臂422之间的连接点为中心的规定的角度范围内移动。此外，例如在将头418和躯干411之间的连接点作为基准点时，以基准点为中心的左小臂423的可存在区域(也称为‘可能存在范围’)受到左小臂423的连接源的部位即左大臂422和躯干411的部位的物理的长度和可动区域的限制。将这样的多关节物体的构造上的连接关系、连接点的可动区域、部位的长度、粗细、形状造成的限制称为限制信息。
在本实施方式中，除了使用各部位的限制信息表示对人共同的特征的信息以外，假设姿势估计装置100还使用表示个人的部位的特征的信息，从图像信息中提取身体模型410中的各部位的区域的信息。再有，姿势估计装置100使用的身体模型不限定于图3所示的例子。
在身体模型410中，成对的部位是左大腿412和右大腿415、左小腿413和右小腿416、左脚414和右脚417、左大臂422和右大臂419、左小臂423和右小臂420。再有，在本实施方式中，将成对的部位设为上述组合中的左小臂423和右小臂420的小臂来说明，但不限定于此。
通过以上，结束有关作为估计的对象的人340的姿势的说明。
接着，说明有关姿势估计装置100的结构。
图1是表示一例姿势估计装置100的结构的框图。本实施方式的姿势估计装置100的结构与实施方式1相同。但是，在本实施方式中，将估计对象的多关节物体设为人340来说明，将成对的部位设为小臂(左小臂423和右小臂420)来说明。
候选区域提取单元110从包含作为估计对象的人的一部分或全部的图像中，使用共同特征量，提取被估计为小臂的多个候选区域。这里所谓的共同特征量表示有关小臂在未指定人数的人中共同的形状的特征(例如，仅边缘、或者边缘以及轮廓)。再有，这里所提取的候选区域包含有干扰的候选区域的情况，即，有包含衣服的图案等被误估计是小臂的候选区域的情况。
再有，上述“有关小臂在未指定人数的人中共同的形状”，例如根据人340中的小臂的可能存在范围、或者小臂的大小、长度或粗细来确定。有关这样的小臂的可能存在范围、大小、长度以及粗细，作为人的限制信息被预先确定。再有，人340中的小臂的可能存在范围，例如也可以用距人340上的某个基准点(例如，头418和躯干411的连接点)的距离来确定。而且，候选区域提取单元110也可以基于上述限制信息，提取候选区域。由此，候选区域提取单元110能够将是小臂的可能性(似然)为最高的区域作为候选区域提取。
部位区域提取单元120将在候选区域提取单元110中提取出的多个候选区域之中的、是小臂的似然为最高的区域，作为小臂之中的第一部位的候选区域(第一候选区域的一例子)提取。这里，将第一部位的候选区域称为‘部位区域’。另一方面，部位区域以外的候选区域称为‘第二部位的候选区域’(第二候选区域的一例子)。还有存在多个第二部位的候选区域的情况。
特征量计算单元130对于由部位区域提取单元120提取出的、各个部位区域和第二部位的候选区域，计算固有特征量。这里所谓的固有特征量表示对于小臂在估计对象的人340中固有的特征(例如，颜色以及纹理中的至少一个)。
特征量校正单元140将特征量计算单元130算出的、部位区域以及第二部位的候选区域之中任一方的候选区域的固有特征量，基于另一方的候选区域的长度、宽度、以及角度中的至少一个进行校正(再计算)。即，特征量校正单元140将部位区域的固有特征量，基于第二部位的候选区域的长度、宽度、以及角度中的至少一个进行校正。再有，特征量校正单元140也可以将第二部位的候选区域的固有特征量，基于部位区域的长度、宽度、以及角度中的至少一个进行校正。前者的校正方法将似然较高的候选区域进行校正，以与似然较低的候选区域相匹配，与后者的校正方法相比，估计的精度提高，因而被优选。
再有，在第二部位的候选区域有多个的情况下，特征量校正单元140对每个部位区域和第二部位的候选区域的对，校正部位区域或第二部位的候选区域的固有特征量。
此外，特征量校正单元140在进行上述固有特征量的校正前，也可以进行以下的处理。首先，特征量校正单元140计算由特征量计算单元130算出的、部位区域的固有特征量和第二部位的候选区域的固有特征量之间的相似度。接着，特征量校正单元140基于算出的相似度，判断是否存在能够估计为与部位区域成对的小臂的第二部位的候选区域。该判断的结果，在不存在能够估计为与部位区域成对的小臂的第二部位的候选区域的情况下，特征量校正单元140进行上述固有特征量的校正。
判定单元150基于由特征量校正单元140校正后的固有特征量和另一方的候选区域的固有特征量之间的相似度(例如，余弦相似度)，判定部位区域和第二部位的候选区域是否为成对的小臂。根据该判定，估计小臂的姿势。
姿势估计装置100例如具有CPU(Central Processing Unit)、存储了控制程序的ROM(Read Only Memory；只读存储器)等存储介质、以及RAM(Random Access Memory；随机存取存储器)等作业用的存储器。这种情况下，上述各结构单元的功能，通过CPU执行控制程序来实现。
具备这样的结构的姿势估计装置100具有以下的效果。
在估计未指定许多人的姿势的情况下，由于难以事先掌握各个人为什么样的衣服或皮肤的颜色，所以一般采用共同特征量(例如，边缘、轮廓、轮廓等)，进行部位的估计。在这样的部位的估计中，在某个部位的周围没有其他部位的情况下，仅提取该部位的边缘信息，所以部位的估计比较容易。但是，在进行部位的估计时，假定在某个部位的周围有其他部位的情况。即，例如，在左小臂423的背后有躯干411的情况下，不仅左小臂423，而且躯干411的边缘信息也被一并获取，所以难以进行左小臂423的估计。而且，还假定某个部位被其他部位遮挡的情况。即，例如，在左小臂423的一部分隐藏在躯干411中的情况下，左小臂423在图像上可看见的面积较少，仅用表示小臂的形状的特征的图像特征量，难以进行左小臂423的估计。
在另一方面，一般地，人的衣服是左右对称的，在成对的部位的图像上的颜色、纹理大多相同。例如，在人的情况下，右腿和左腿穿着单一的裤子，所以能够假定为相同的长度、相同颜色，并认为右臂和左臂也为相同的花纹、相同的袖子长度的衣服居多。
因此，姿势估计装置100首先使用共同特征量从图像中提取多个候选区域，并分为部位区域和第二部位的候选区域。接着，姿势估计装置100对于部位区域以及第二部位的候选区域的各个区域，计算固有特征量。接着，姿势估计装置100将部位区域以及第二部位的候选区域中的、任意一方的候选区域的固有特征量，基于另一方的候选区域的长度、宽度、以及角度中的至少一个进行校正。接着，姿势估计装置100基于校正后的固有特征量和另一方的候选区域的固有特征量之间的相似度，判定部位区域和第二部位的候选区域是否为成对的部位。通过这样的动作，即使在第二部位的候选区域的周围有其他部位(例如躯干411)的候选区域的情况下，姿势估计装置100也可缩窄第二部位的候选区域。因此，即使是难以估计小臂一方的姿势的情况下，并且，即使是在事先该部位的颜色以及纹理的至少一方不明的情况下，姿势估计装置100也可高精度地估计具有成对的部位的多关节物体的姿势。
接着，说明有关姿势估计装置100的动作。图4是表示一例姿势估计装置的动作的流程图。
首先，在步骤S1100中，候选区域提取单元110进行候选区域提取处理。候选区域提取处理是提取多个估计对象部位即小臂的候选区域的处理。
这里，说明有关步骤S1100的候选区域提取处理的细节。图5是表示一例候选区域提取处理的动作的流程图。
首先，在步骤S1101的‘图像输入’中，候选区域提取单元110从摄像机320输入图像。该图像是拍摄了人340的一部分或全部的图像。
接着，在步骤S1102的‘近景提取’中，候选区域提取单元110从输入的图像中，提取近景区域。具体地说，候选区域提取单元110生成背景差分图像，提取近景作为被估计为人340的区域(以下称为‘人的候选区域’)。这里，例如，背景差分图像是表示在不存在人340的状态下拍摄到的背景图像和输入的图像之间的差分的图像。
例如，背景差分图像将输入的图像和背景图像的像素值不同的像素以白色表现，将输入图像和背景图像的像素值相同的像素以黑色表现。即，背景差分图像将人340存在的区域以白色的区域表现，将人340不存在的区域以黑色的区域表现。
接着，步骤S1103的‘头提取’中，候选区域提取单元110提取被估计为头418的区域(以下称为‘头的候选区域’)，并计算人340的基准点。在本实施方式中，基准点设为头418和躯干411之间的连接点，但不限于此。
候选区域提取单元110提取白色的区域作为人的候选区域，其中，提取上部的区域作为头的候选区域。例如，上部的区域作为人的候选区域(白色的区域)中从上端向下方包含规定的比率(例如，30％)的部分的区域被预先确定。
然后，候选区域提取单元110从提取出的头的候选区域中，使用霍夫变换等提取头区域。霍夫变换是公知的技术，能够从边缘信息求表示椭圆的中心(X坐标、Y坐标)、长轴、短轴、斜度的五个参数。候选区域提取单元110将该椭圆的长轴和椭圆的交点中的、位于下面的点，作为头418和躯干411的连接点即基准点来计算。
接着，在步骤S1104的‘候选区域提取’中，提取小臂的候选区域。这里，说明两个提取小臂的候选区域的例子。
首先，说明第一例子。第一例子与头的候选区域的提取同样地进行。
候选区域提取单元110提取白色的区域作为人的候选区域，其中，提取距基准点规定的距离的区域作为小臂可能存在区域。这里，基于人340的限制信息，通过预先学习，规定的距离作为头区域的大小的规定的倍率(例如，短轴的7.5倍等)被预先确定。
然后，候选区域提取单元110从提取出的小臂可能存在区域中，采用霍夫变换等提取小臂的候选区域。霍夫变换是公知的技术，能够从边缘信息求表示椭圆的中心(X坐标、Y坐标)、长轴、短轴、斜度的五个参数。候选区域提取单元110提取这样求得的椭圆之中的、长轴、短轴的长度满足规定的条件的区域作为小臂的候选区域。这里，基于人340的限制信息，预先通过学习，预先确定，作为头区域的大小的规定的比率的范围(例如，长轴小于头区域的长轴的长度的1.2倍，短轴小于头区域的短轴的长度的1.2倍等)被规定的条件。
这样一来，候选区域提取单元110提取的小臂的候选区域分别由椭圆的中心(X坐标、Y坐标)、长轴、短轴、斜度定义并被输出。
接着，说明第二例子。第二例子从基于小臂可能存在区域生成的边缘对似然映射图中提取小臂的候选区域。
边缘对似然映射图是将基于在各像素附近存在的、与规定的梯度方向平行的边缘对算出的边缘对似然作为各像素的值的映射图。在本实施方式中，基于小臂的粗细的限制信息确定平行线的宽度，所以每个像素的边缘对似然表示在该像素附近存在的像素是小臂的边缘的似然性(似然)。
图6是表示一例边缘对似然映射图生成处理的动作的流程图。图7是用于说明梯度方向为水平方向的边缘对似然映射图的生成处理的图。这里，使水平方向为0度，说明生成水平方向的边缘对似然映射图的例子。
在步骤S2001中，候选区域提取单元110选择要生成的边缘对似然映射图的梯度方向的步长宽度。这里，作为例子，假设增量宽度预先设定为30度。这样，在将梯度方向设为30度增量的情况下，生成0度、30度、60度、90度、120度、150度的六个边缘对似然映射图。因此，在该情况下，候选区域提取单元110反复六次步骤S2002到S2006的处理。
在步骤S2002中，候选区域提取单元110从小臂可能存在区域中选择关注像素。例如，在图7中，候选区域提取单元110通过反复以下的处理，将胳膊第二部位的候选区域的全部像素作为关注像素选择。这里所谓的处理是，从左上角的像素(用※表示的像素)起，将X坐标在X轴方向每次增加1而移动至X轴方向的端部后，将X坐标返回到初始位置(用※表示的像素的X坐标的位置)，并将Y坐标在Y坐标方向上增加1，然后将X坐标在X轴方向上每次增加1的处理。但是，关注像素的选择方法不限于此。在图7中，以从小臂可能存在区域710中选择出关注像素702的情况为例进行说明。
在步骤S2003中，候选区域提取单元110选择梯度方向对像素。在图7中，选择704和705作为梯度方向对像素。
如上述那样，这里，作为生成水平方向的边缘对似然映射图的例子。因此，作为满足两个条件的像素，候选区域提取单元110选择704以及705两个作为梯度方向对像素。两个条件是，位于通过关注像素702、与水平直线垂直的直线上，以及距关注像素702的距离为对象部位的粗细701的一半长度703。即，在生成角度θ的边缘对似然映射图的情况下，候选区域提取单元110假设在通过关注像素、与角度θ垂直(θ+90度)的直线上，选择两个距离为对象部位的粗细701的一半长度703的像素作为梯度方向对像素。再有，在本实施方式中，预先通过学习，对象部位的粗细701作为头区域的大小的规定的比率(例如，头区域的短轴的长度的1.2倍等)被预先确定。
在步骤S2004中，候选区域提取单元110从梯度方向对像素的各个梯度方向对像素中分别选择位于预先设定的距离以内的像素群作为梯度方向对附近区域。在图7中，从梯度方向对像素704以及705各个梯度方向对像素中，分别选择位于附近的长度708的距离以内的像素群作为梯度方向对附近区域706以及707。附近的长度708表示部位的粗细误差的长度，是预先确定的值。例如，附近的长度708作为头区域的大小的规定的比率(例如，头区域的短轴的长度的20％等)被预先确定。
在步骤S2005中，候选区域提取单元110计算关注像素702的边缘对似然。具体地说，候选区域提取单元110计算梯度方向对附近区域706内的像素的亮度的总和与梯度方向对附近区域707内的像素的亮度的总和之积，作为边缘对似然。
再有，候选区域提取单元110也可以计算在梯度方向对附近区域706内具有规定值以上的亮度Y的像素的数与在梯度方向对附近区域707内具有规定值以上的亮度Y的像素的数之积，作为边缘对似然。由此，候选区域提取单元110能够将边缘对似然以各梯度方向对附近区域706、707的大小进行归一化。
在步骤S2006中，候选区域提取单元110判断对于小臂可能存在区域的全部像素是否结束了边缘对似然的计算。如果对于全部像素结束了计算(S2006：“是”)，则候选区域提取单元110判断为结束了在步骤S2001中选择出的增量宽度的边缘对似然映射图的生成，进至步骤S2007。另一方面，如果没有结束有关全部像素的计算(S2006：“否”)，则候选区域提取单元110判断为没有结束在步骤S2001中选择出的增量宽度的边缘对似然映射图的生成，进至步骤S2002。
在步骤S2007中，候选区域提取单元110判断对于所有的梯度方向是否结束了边缘对似然的计算。如果对于所有的梯度方向结束了计算(S2006：“是”)，则候选区域提取单元110判断为结束了预先确定的所有的梯度方向的边缘对似然映射图的生成，并结束一系列的处理。另一方面，如果对于所有的梯度方向没有结束(S2006：“否”)，则候选区域提取单元110判断为没有结束预先确定的所有的梯度方向的边缘对似然映射图的生成。因此，候选区域提取单元110为了生成处于未生成的梯度方向的边缘对似然映射图，进至步骤S2001。
候选区域提取单元110提取这样生成的边缘对似然映射图的似然为规定的阈值以上的像素，作为根据边缘对似然映射图算出的小臂可能存在区域。这里，规定的阈值作为相对边缘对似然映射图内的最大边缘对似然的比率(例如，10％等)被预先确定。
候选区域提取单元110，与从小臂可能存在区域中提取小臂的候选区域时相同地，从根据边缘对似然映射图算出的小臂可能存在区域中，采用霍夫变换提取小臂的候选区域。
这样，在本实施方式中，通过采用对象部位即小臂的限制信息，缩窄小臂可能存在区域，能够更高精度地提取对象部位即小臂的候选区域。
通过以上，结束步骤S1100的候选区域提取处理的具体例子的说明。
接着，在步骤S1200中，部位区域提取单元120进行部位区域提取处理。部位区域提取处理中，提取候选区域提取单元110提取出的多个候选区域中的、为小臂的似然较高的区域，作为小臂之中的第一部位的候选区域即‘部位区域’。
这里，说明三个提取小臂的部位区域的例子。
首先，说明第一例子。第一例子中，部位区域提取单元120采用人340的轮廓上的距基准点的极大值，提取部位区域。
图8是表示一例采用轮廓上的距基准点的极大值，提取部位区域的图。
图8A表示人340的背景差分图像的一部分的例子。在图8A中，白色的区域表示输入图像和背景图像的像素值为不同的像素(人340存在的区域)。此外，在图8A中，801表示人340的基准点的例子。
部位区域提取单元120选择位于距基准点正上方的白色的区域和黑色的区域(阴影线区域)的边界的像素802，沿边界向左转地记录像素位置。图8A的像素上的数字表述所记录的序号。像素802被第一个记录，所以表述为“1”。所记录的序号，例如，假设为左上、水平、左下、下、右下的像素的顺序。
图8B是表示所记录的序号和以该序号记录像素与基准点之间的距离的曲线图。从该曲线图可知，所记录的序号为20的像素取极大值。
部位区域提取单元120将候选区域提取单元110提取出的候选区域中的、与极大值之间距离最小的区域，作为部位区域提取。具体地说，部位区域提取单元120可以将候选区域的长轴和椭圆周的交点之中的、距基准点的距离较大一方的交点与极大点的距离较小的候选区域作为部位区域，也可以将第二部位的候选区域的重心和距基准点的距离较小的候选区域作为部位区域。
这样，由于小臂从其他部位(例如躯干)分离，所以部位区域提取单元120可提取包含其他部位的信息的可能性最低的候选区域作为部位区域。
接着，说明第二例子。
部位区域提取单元120采用边缘对似然，提取部位区域。具体地说，部位区域提取单元120在边缘对似然映射图上的各候选区域中，计算边缘对似然的总和，提取该总和最高的候选区域作为部位区域。
于是，部位区域提取单元120可最多地保持对象部位的边缘对似然，提取为对象部位的可能性最高的候选区域作为部位区域。
接着，说明第三例子。
部位区域提取单元120组合第一例子和第二例子的手法来提取部位区域。具体地说，部位区域提取单元120提取第二部位的候选区域的长轴和椭圆周的交点中距基准点的距离较大一方的交点和极大点之间的距离较小的、并且候选区域的边缘对似然的总和较高的候选区域，作为部位区域。具体地说，部位区域提取单元120也可以提取采用以下的式(1)算出的值为最高的候选区域，作为部位区域。
再有，在式(1)中，各值如以下那样。Si是第i候选区域的得分。Max[L]是候选区域和基准点之间的距离的最大值。Li是第i候选区域和极大点之间的距离的最大值。Pi是第i候选区域的边缘对似然的总和。Max[P]是候选区域的边缘对似然的总和的最大值。m和n是预定的权重常数，被设定为n+m＝1。在候选区域和基准点之间的距离与边缘对似然能够为相同可靠程度的环境中，权重常数被设定为相同的比率。另一方面，在边缘对似然能够比候选区域和基准点之间的距离可靠的环境中，事先通过学习来设定权重常数，以使m比n大。
于是，通过使用两种值，部位区域提取单元120可从多个候选区域中，更高精度地提取最能满足距基准点的距离和像部位的边缘对似然双方的条件的候选区域，即，高精度地提取最象估计对象部位的候选区域。
通过以上，结束步骤S1200的部位区域提取处理的具体例子的说明。
接着，在步骤S1300中，特征量计算单元130对部位区域提取单元120中提取出的、部位区域以及第二部位的候选区域的每一个，计算固有特征量。
这里，说明两个固有特征量的例子。
第一例子是颜色信息的公知技术即亮度的直方图。具体地说，固有特征量的一例子即亮度直方图是将各第二部位的候选区域中所包含的像素的亮度的值，作为取从0到255的值的二进制(bin)256的信息。
第二例子是纹理信息的边缘对似然的直方图。具体地说，固有特征量的一例即边缘对似然的直方图是，将各第二部位的候选区域中所包含的边缘对似然的值进行归一化，设为从0到1的值的、与平行线方向的增量数对应的二进制数的信息(例如，8方向的边缘对似然的情况为二进制8)。
通过以上，结束步骤S1300的特征量算出处理的具体例子的说明。
接着，在S1400中，特征量校正单元140将由特征量计算单元130算出的、部位区域以及第二部位的候选区域中的任意一方的候选区域的固有特征量，基于另一方的候选区域的长度、宽度、以及角度中的至少一个进行校正。例如，特征量校正单元140将部位区域的固有特征量，基于第二部位的候选区域的长度、宽度、以及角度中的至少一个进行校正。再有，在本实施方式中，说明有关重新计算部位区域和第二部位的候选区域中的、部位区域的固有特征量的例子，但不限于该例子。此外，在第二部位的候选区域有多个的情况下，特征量校正单元140对每个部位区域和第二部位的候选区域的对，进行上述固有特征量的校正。
特征量校正单元140进行特征量校正处理的理由是因为有以下情况：因部位区域以及第二部位的候选区域的位置或形状，特征量计算单元130无法正确地获取(计算)固有特征量。这里，说明三个有关无法正确地获取固有特征量的情况的例子。
首先，说明第一例子。图10表示一例作为估计对象的人340的姿势。
图10A是以从右侧观察到的身体模型来表示人将右臂向前伸出、将左臂轻微弯曲的姿势的例子。例如，在人从货架获取商品的购买行为中，左手拿着篮子或包，右手获取商品时，可看见图10A所示的姿势。在图10A中，可全部看见右小臂420。在另一方面，在图10A中，左小臂423的其一半左右被其他部位即躯干411遮挡，仅可看见前端部分。
图10B是表示从拍摄到图10A的人340的图像中所提取的、小臂的部位区域901以及第二部位的候选区域902的例子。在图10B中，右小臂420从其他部位分离后，与摄像机320的方向垂直地延伸，长轴的长度也长。因此，右小臂420中所提取的候选区域，通过部位区域提取单元120作为部位区域901被提取。
图13表示一例第一例子中的图像和其直方图。
在图13的例子中，直至小臂的前端都没有被衣服覆盖，所以在从小臂的部位区域901所提取的特征量中，包含衣服和胳膊的皮肤的颜色或纹理的特征。但是，在从第二部位的候选区域902所提取的特征量中仅包含胳膊的皮肤的特征量。
图13A表示一例图10B所示的右臂的图像，表示部位区域901。图13B表示图13A的RGB直方图的例子。图13C表示图13A的亮度直方图的例子。此外，图13D表示一例图10B所示的左臂的图像，表示第二部位的候选区域902。图13E表示图13D的RGB直方图的例子。图13F表示图13D的亮度直方图的例子。直方图表示某个区域中的每个像素的值的分布。在图13的例子中，省略了图示，但在曲线的左侧显示图像的较暗的值(最暗的值为等级0(level))，在右侧显示较亮的值(最亮的值为等级255)。曲线的纵轴表示各等级的像素的总数。
RGB直方图是单独地输出了红、绿以及蓝的各颜色通道(color channel)的直方图后，对每个等级取和显示的直方图。在本实施方式中，RGB直方图对每个等级取和，但也可以不重合，而从0到255等级排列三个(红、绿以及蓝)作为768等级的直方图。
亮度的直方图是将像素的亮度的值作成直方图。
在图13中，相对包含衣服和皮肤的信息的部位区域901，第二部位的候选区域902主要仅包含皮肤的信息，所以无论看到RGB直方图和亮度直方图的哪一个都有所不同。
因此，余弦相似度的值不高，未提取第二部位的候选区域902作为部位区域901的成对的部位。为了成为能够正确提取的特征量，特征量校正单元140需要从部位区域901和第二部位的候选区域902的前端的一半区域获取特征量。
接着，说明第二例子。图10C表示一例部位区域901和第二部位的候选区域902的纹理。具体地说，假设人340穿着条纹的衬衫。
图10D表述图10B中的、基准点900、部位区域901、以及第二部位的候选区域902。在图10D中，角度θ904是表示部位区域901和第二部位的候选区域902的斜度之差的角度。
图14表示一例第二例子中的直方图。
图14表示图10B所示的人穿着图10C所示的条纹图案的衣服的情况下的纹理的直方图。图14A表示部位区域901的纹理的直方图。图14B表示候选区域902的纹理的直方图。
图14的纹理的直方图将边缘对角度的分布归一化并以8个等级(level)表示。从图的最左边起表示水平方向(等级1)的边缘对的分布，在顺时针转动的方向上以22.5度增量的顺序，在图的右侧表示157.5度方向(等级8)的边缘对的分布。图14A的部位区域901的纹理的直方图中，如图10C所示那样，垂直方向的边缘对增多，所以表示垂直方向的边缘对的分布的等级4的值增高。图14B的纹理的直方图中，从等级1(水平方向)起顺时针转动135度的方向(等级7)增多最大。
因此，部位区域901和第二部位的候选区域的特征量的余弦相似度的值不高，不提取第二部位的候选区域902作为部位区域901的成对的部位。为了成为能够正确提取的特征量，特征量校正单元140需要使部位区域901和第二部位的候选区域902之中任意一方的区域转动角度θ904后获取特征量。
接着，示出第三例子。图12表示一例人340的姿势。
图12A表示从正面观察右大臂419向下方垂下，肘部弯曲而右小臂420的前端处于肩的位置的姿势的身体模型。图12B表示从右侧观察图12A所示的姿势的身体模型。这种情况下，在来自正面的图像中，看不见右大臂419，仅可看见右小臂420。
图15表示一例第三例子中的直方图。
图15的纹理的直方图表示不将边缘对角度和间隔的分布归一化并用24等级表示。图15的各直方图中，图的最左边表示水平方向的边缘对的分布，顺时针转动的方向上以22.5度增量的顺序，在图的右侧表示157.5度方向的边缘对的分布。这与图14的直方图是同样的。除此以外，图15的各直方图，表示对每个方向、边缘对的间隔为三等级(表示胳膊的粗细的长度、表示胳膊的粗细的长度的二分之一、表示胳膊的粗细的长度的四分之一)的分布。于是，合并成为具有8(方向)×3(粗细)的等级的直方图。例如，在图15的各直方图中，图的最左边的等级表示边缘对的方向为水平、间隔具有胳膊的粗细的边缘对的分布。此外，第二等级表示边缘对的方向为水平，间隔具有胳膊的粗细的二分之一的粗细的边缘对的分布。此外，第三等级表示边缘对的方向为水平，间隔具有胳膊的粗细的四分之一的粗细的边缘对的分布。
图12C表示图12A所示的人340在小臂穿着有条纹的衬衫的情况下的示意图。
这种情况下，部位区域提取单元120将左小臂423作为部位区域提取，将右小臂420作为第二部位的候选区域提取。
然后，特征量计算单元130所算出的、部位区域(图12C所示的左小臂423)和第二部位的候选区域(图12C所示的右小臂420)的固有特征量都用图15A所示的直方图表现，相似度较高。
图12D表示从正面观察人将右臂笔直向前下方伸出，将左臂向下方垂下的姿势的身体模型。图12E表示从右侧观察图12D所示的姿势的身体模型。这种情况下，与图12A同样，提取左小臂423作为部位区域，另外提取两个第二部位的候选区域。具体地说，候选区域提取单元110被预测要提取将右大臂419和右小臂420合在一起的区域(以下称为‘合并区域’)和右小臂420的两个区域，作为第二部位的候选区域。这里，将提取出的合并区域称为‘第二部位的候选区域A’，将提取出的右小臂420称为‘第二部位的候选区域B’。
图12F表示图12D所示的人340穿着与图12C相同条纹的衬衫的情况下的示意图。
这种情况下，特征量计算单元130所算出的部位区域(图12F所示的左小臂423)的固有特征量为粗条纹的边缘对的分布较多的图15A所示的直方图。此外，第二部位的候选区域A(图12F所示的右大臂419以及右小臂420)以及第二部位的候选区域B(图12F所示的右小臂420)的固有特征量还被提取细条纹的边缘对。因此，第二部位的候选区域A的固有特征量为图15B所示的直方图，第二部位的候选区域B的固有特征量为图15C所示的直方图。因此，特征量计算单元130所算出的、部位区域的纹理的特征量和第二部位的候选区域A的纹理的特征量不同。此外，由特征量计算单元130所算出的、部位区域的纹理的特征量和第二部位的候选区域B的纹理的特征量不同。
但是，按照部位区域和第二部位的候选区域的长轴的比率，通过使区域变形后提取再计算区域，有特征量的相似度升高，能够正确地估计第二部位的候选区域的情况。
例如，在部位区域是图12F所示的左小臂423，第二部位的候选区域是图12F所示的右小臂420(第二部位的候选区域B)的情况下，如以下那样。即，将部位区域与第二部位的候选区域B的长轴的长度相匹配地缩小时，与第二部位的候选区域B相同，图15C所示的细条纹的特征量被提取。另一方面，在部位区域是图12F所示的左小臂423，第二部位的候选区域是图12F所示的右大臂419以及右小臂420(第二部位的候选区域A)的情况下，如以下那样。即，由于部位区域和第二部位的候选区域A的长轴的长度相等，所以再计算区域不变化，而特征量也不同。因此，与部位区域成对的第二部位的候选区域被正确地估计为第二部位的候选区域B，而不是第二部位的候选区域A。
从上述三个例子产生的理由，特征量校正单元140进行步骤S1400的特征量校正处理。
图9表示一例步骤S1400的特征量校正处理的流程。
在步骤S1401中，特征量校正单元140对于余弦相似度不满足规定的条件的部位区域和第二部位的候选区域的对，进行特征量算出区域提取处理。这里，规定的条件也可以是按多个算出的余弦相似度的相对的值设定(例如，余弦相似度最高等)的条件。或者，规定的条件也可以是按绝对值设定余弦相似度的阈值(例如，余弦相似度大于0.8)的条件。或者，规定的条件也可以是按上述相对的值和绝对值两者设定的条件。然后，步骤S1401的特征量算出区域提取处理的结果，提取要后述的再计算区域。再有，该步骤S1401的细节将后述。
在步骤S1402中，特征量校正单元140进行根据再计算区域再计算(校正)固有特征量的处理。这里的固有特征量的再计算，与特征量计算单元130的固有特征量的计算同样地进行。
再有，特征量校正单元140可以采用与用于特征量计算单元130中的固有特征量的计算相同的固有特征量，也可以计算颜色和纹理两方的固有特征量。通过计算多个固有特征量，可进行更鲁棒性的判定。
接着，说明特征量算出区域提取处理的细节。图11表示一例步骤S1401的特征量算出区域提取处理流程。
在步骤S14011中，特征量校正单元140提取距基准点900的距离较短的交点A(第一交点的一例子)和距基准点900的距离较长的交点B(第二交点的一例子)，作为第二部位的候选区域902的长轴和椭圆周之间的交点。
在步骤S14012中，特征量校正单元140判断第二部位的候选区域902是否有因其他部位(例如躯干411)而被遮挡的可能性(以下称为“遮挡可能性”)。基于从基准点900到交点A的距离以及角度、以及从基准点900到交点B的距离以及角度进行该判断。具体地说，特征量校正单元140判断在有其他部位存在的可能性的某个区域(以下称为“其他部位区域”)中是否包含交点A和交点B。其他部位区域是基于基准点900以及人340的限制信息，计算、设定的区域。例如，其他部位区域可列举将基准点900作为基准，宽度为头的短轴的4倍、长度为头的短轴的8倍即矩形区域。
步骤S14012中的判断的结果，在其他部位区域中包含交点A、并且不包含交点B的情况下，特征量校正单元140判断为有遮挡可能性(S14013：“是”)，进至步骤14024的处理。
另一方面，步骤S14012中的判断的结果，在其他部位区域中不包含交点A、或者包含有交点B的情况下，特征量校正单元140判断为无遮挡可能性(S14013：“否”)，进至步骤S14015的处理。
在步骤S14014中，特征量校正单元140从部位区域901中，提取再计算固有特征量的区域、即再计算区域。首先，特征量校正单元140基于限制信息即对象部位的长度(例如，头区域的短轴的4倍)和第二部位的候选区域902的长轴的长度之比，求未被遮挡的面积之比R(例如，20％等)。接着，特征量校正单元140提取部位区域901之中的、从其前端起相当于面积之比R的区域，作为再计算区域。
再有，在特征量的再计算中仅采用颜色信息的情况下，也可以在该步骤S14014中结束处理。
在图10中，说明了在第二部位的候选区域902中仅包含胳膊的皮肤的例子，但也有在第二部位的候选区域902中包含衣服的情况。这种情况下，仅通过步骤S14014的处理，无法高精度地判断相似度。因为衣服的纹理是因胳膊的角度而为不同的特征量。
因此，为了高精度地判断相似度，优选特征量校正单元140进行步骤S14015以后的处理。
在步骤S14015中，在计算纹理的特征量的情况下，特征量校正单元140判断部位区域901和第二部位的候选区域902形成的角度是否小于规定的值(图10D所示的角度θ904是否小于规定的值的角度)。这里，规定的值表示候选区域的角度的估计误差，是预先学习所获取的值(例如15度)。
步骤S14015中的判断的结果，在角度小于规定的值的情况下(S14015：“是”)，特征量校正单元140进至步骤S14017的处理。
另一方面，步骤S14015中的判断的结果，在角度不小于规定的值的情况下(S14015：“否”)，特征量校正单元140进至步骤S14016的处理。
在步骤S14016中，特征量校正单元140采用部位区域901和第二部位的候选区域902的角度的差异即θ904，使步骤S14014中提取出的再计算区域转动。再有，在不进行步骤S14014的情况下(S14013：“否”)，特征量校正单元140采用θ904，使部位区域901转动。
在步骤S14017中，特征量校正单元140比较部位区域901的长轴的长度和第二部位的候选区域902的长轴的长度，判断长轴的长度之差是否小于规定的值。这里，规定的值表示长轴的估计误差，是以头区域的长轴的比率(头区域的10％)设定的值。
步骤S14017中的判断的结果，在长轴的长度之差小于规定的值的情况下(S14017：“是”)，特征量校正单元140进至步骤S14018的处理。
另一方面，步骤S14017中的判断的结果，在长轴的长度之差不小于规定的值的情况下(S14017：“否”)，特征量校正单元140将步骤S14016中提取出的再计算区域输出，结束一系列的处理。再有，在长轴的长度之差不小于规定的值的情况中，在事先不进行步骤S14016的处理的情况下，特征量校正单元140将步骤S14014中提取出的再计算区域输出，结束一系列的处理。此外，在长轴的长度之差不小于规定的值的情况中，在事先不进行步骤S14014的处理以及步骤S14016的处理的情况下，特征量校正单元140将部位区域901作为再计算区域输出，结束一系列的处理。
在步骤S14018中，特征量校正单元140将部位区域901缩小后作为再计算区域。具体地说，特征量校正单元140与第二部位的候选区域902的长轴的长度对部位区域901的长轴的长度的比率相匹配，将部位区域901缩小，并将其作为再计算区域，结束一系列的处理。例如，在部位区域901的长轴的长度为6像素，第二部位的候选区域902的长轴的长度为3像素的情况下，特征量校正单元140使比率为50％等。然后，特征量校正单元140与50％比率相匹配，将部位区域901的面积缩小到50％。然后，特征量校正单元140将缩小后的部位区域901作为再计算区域。
根据以上说明的图11的流程，由于部位区域901和第二部位的候选区域902的部位的角度不同，所以在可看见的长度不同的情况下，也能够正确地估计与部位区域901成对的第二部位的候选区域902。
再有，在图11的流程中，也可以先进行步骤S14017，然后进行步骤S14015。
此外，在步骤S14018中，说明了特征量校正单元140缩小再计算区域的例子，但也可以扩大再计算区域。
通过以上，结束步骤S1400的特征量校正处理的具体例子的说明。
接着，在步骤S1500中，判定单元150判断部位区域901和第二部位的候选区域902是否为成对的部位。具体地说，与特征量校正单元140的手法同样，判定单元150使用由特征量校正单元140算出的特征量的相似度进行判断。
再有，在特征量校正单元140中，在计算多个特征量的情况下，使用以下的式(2)，也可以计算相似度。
再有，在式(2)中，各值如以下那样。CSi’表示第i第二部位的候选区域902的相似度得分。Max[C]表示部位区域901和第二部位的候选区域902的颜色的特征量产生的相似度的最大值。Ci表示第i第二部位的候选区域902和部位区域901的颜色的特征量产生的相似度。Ti表示第i第二部位的候选区域902和部位区域901的纹理的特征量产生的相似度。Max[T]表示部位区域901和第二部位的候选区域902的纹理的特征量产生的相似度的最大值。m和n被设定为预先确定的权重常数，以使n+m＝1。权重常数在颜色的特征量和纹理的特征量在能够为相同程度可靠的环境中成为相同的比率。在另一方面，在颜色的特征量相比纹理的特征量能够信用的环境中，通过事先的学习来设定权重常数，以使m大于n。
判定单元150提取CSi’的值为最大的第二部位的候选区域902作为与部位区域901成对的部位。此外，在第二部位的候选区域902为一个的情况下，如果CSi’为规定的值以上，则判定单元150提取该候选区域作为与部位区域成对的部位。规定的值，通过学习而被预先设定。
于是，判定单元150通过将两个特征量根据环境加权后使用，可更高精度地提取与部位区域成对的部位。
通过以上，结束步骤S1500的判定处理的具体例子的说明。
(实施方式1、2的变形例)
以上，分别说明了本实施方式1、2，但上述说明是一例，可进行各种变形。以下，说明有关本实施方式1、2的变形例。
例如，在实施方式1以及2中说明的姿势估计装置100的动作，在与硬件的联系中，即使用软件也能够实现。
此外，例如，在实施方式2中，将多关节物体作为人进行了说明，但本发明不限于人。
此外，例如，在实施方式2中，特征量校正单元140在进行固有特征量的校正前，也可以进行以下的特征量判定处理。
特征量判定处理的概要如下那样。首先，特征量校正单元140计算由特征量计算单元130算出的、部位区域的固有特征量和第二部位的候选区域的固有特征量之间的相似度。接着，特征量校正单元140基于算出的相似度，判断是否存在能够估计为与部位区域成对的小臂即第二部位的候选区域。该判断的结果，在不存在能够估计为与部位区域成对的小臂即第二部位的候选区域的情况下，特征量校正单元140进行上述固有特征量的校正。
以下，说明有关特征量判定处理的具体例子。
特征量校正单元140在进行相似度的计算时，例如，作为采用公知的技术即余弦相似度来说明，但不限于余弦相似度。余弦相似度将多维变量看作矢量，在矢量的方向一致时取最大值的“1”，如果正交则取“0”，如果方向相反则取最小值的“-1”。特征量校正单元140使用的余弦相似度的式(3)如以下所示。
再有，在式(3)中，各值如以下那样。k表示特征量的二进制数。xi表示部位区域的特征量的第i二进制的值。yi表示第二部位的候选区域的特征量的第i二进制的值。
特征量校正单元140对部位区域901和第二部位的候选区域902的每一对，计算余弦相似度。然后，特征量校正单元140对每一对，基于算出的余弦相似度，判定第二部位的候选区域902是否具有与部位区域901相似的特征量。这里，特征量校正单元140也可以提取余弦相似度的值为最大的第二部位的候选区域902，作为与部位区域901成对的候选区域。
于是，姿势估计装置100确定在基于表示人340中共同的形状的信息所提取出第二部位的候选区域902中的、部位的可能性较高的第二部位的候选区域902。然后，姿势估计装置100采用表示在个别的人体部位中特有的信息的特征量，比较部位区域901和确定出的第二部位的候选区域902之间的相似度、部位区域901和其他的第二部位的候选区域902之间的相似度。由此，在第二部位的候选区域902有多个的情况下，姿势估计装置100也可以高精度地估计成对的部位。
以上，本发明的姿势估计装置，基于包含具有成对的部位的多关节物体的全部或一部分的图像，估计所述成对的部位，包括：候选区域提取单元，从所述图像中，使用对于所述成对的部位表示未指定多个多关节物体共同的形状特征的共同特征量，提取多个所述成对的部位的候选区域；部位区域提取单元，从所述多个候选区域中，提取作为所述成对的部位的似然为最大的第一候选区域，并将所述第一候选区域以外的区域作为第二候选区域；特征量计算单元，分别对于所述第一候选区域以及所述第二候选区域，计算对于所述成对的部位表示估计对象的多关节物体上固有的特征的固有特征量；特征量校正单元，将所述第一候选区域以及所述第二候选区域中的、一方的候选区域的固有特征量，基于另一方的候选区域的长度、宽度、以及角度中的至少一个进行校正；以及判定单元，基于所述校正后的固有特征量和所述另一方的候选区域的固有特征量之间的相似度，判定所述第一候选区域和所述第二候选区域是否为所述成对的部位。
此外，在本发明的姿势估计装置中，所述特征量校正单元计算所述第一候选区域的固有特征量和所述第二候选区域的固有特征量之间的相似度，基于所述算出的相似度，判断是否存在能够估计为与所述第一候选区域成对的所述第二候选区域，在所述判断的结果不存在能够估计为与所述第一候选区域成对的所述第二候选区域的情况下，进行所述一方的候选区域的固有特征量的校正。
此外，在本发明的姿势估计装置中，所述特征量校正单元将所述第一候选区域的固有特征量，基于所述第二候选区域的长度、宽度、以及角度中的至少一个进行校正。
此外，在本发明的姿势估计装置中，所述特征量校正单元提取距基准点的距离短的第一交点和距所述基准点的距离长的第二交点，作为所述第二候选区域的长轴和椭圆周之间的交点，基于在有可能存在其他部位的某个区域中是否包含所述第一交点以及所述第二交点，判断所述第二候选区域被所述其他部位遮挡的可能性，在有被遮挡的可能性的情况下，提取所述第一候选区域的一部分，对于提取出的所述第一候选区域的一部分，进行固有特征量的计算。
此外，在本发明的姿势估计装置中，所述特征量校正单元判断所述第一候选区域和所述第二候选区域形成的角度是否为0度，在所述角度不是0度的情况下，使用所述角度，使所述第一候选区域的一部分或全部转动。
此外，在本发明的姿势估计装置中，所述特征量校正单元比较所述第一候选区域的长轴的长度和所述第二候选区域的长轴的长度，在所述长轴的长度之差小于规定的值的情况下，或者，在所述长轴的长度相等的情况下，与所述第二候选区域的长轴的长度对所述第一候选区域的长轴的长度的比率相匹配来缩小所述第一候选区域，对于缩小后的所述第一候选区域，进行固有特征量的计算。
此外，在本发明的姿势估计装置中，所述候选区域提取单元基于对所述成对的部位的特性预先确定的限制信息，提取所述多个候选区域。
此外，在本发明的姿势估计装置中，所述共同特征量只是边缘，或者是边缘以及轮廓。
此外，在本发明的姿势估计装置中，所述固有特征量是颜色以及纹理中的至少一个。
本发明的姿势估计方法，基于包含具有成对的部位的多关节物体的全部或一部分的图像，估计所述成对的部位，该方法包括以下步骤：从所述图像中，使用对于所述成对的部位表示未指定多个多关节物体共同的形状特征的共同特征量，提取多个所述成对的部位的候选区域的步骤；从所述多个候选区域中，提取作为所述成对的部位的似然为最大的第一候选区域，并将所述第一候选区域以外的区域作为第二候选区域的步骤；分别对于所述第一候选区域以及所述第二候选区域，计算对于所述成对的部位表示估计对象的多关节物体上固有的特征的固有特征量的步骤；将所述第一候选区域以及所述第二候选区域中的、一方的候选区域的固有特征量，基于另一方的候选区域的长度、宽度、以及角度中的至少一个进行校正的步骤；以及基于所述校正后的固有特征量和所述另一方的候选区域的固有特征量之间的相似度，判定所述第一候选区域和所述第二候选区域是否为所述成对的部位的步骤。
2012年7月26日提交的日本特愿2012-165671的申请中所包含的说明书、附图以及摘要的公开内容都引用在本申请中。
工业实用性
本发明的姿势估计装置和姿势估计方法，对能够高精度地估计具有成对的部位的多关节物体的姿势的装置和方法是有用的。
标号说明
100 姿势估计装置
110 候选区域提取单元
120 部位区域提取单元
130 特征量计算单元
140 特征量校正单元
150 判定单元
200 姿势估计系统
310 拍摄区域
320 摄像机
330 地面
340 人

Claims (10)

1.姿势估计装置，基于包含具有在左半身与右半身之间成对的部位的多关节物体的全部或一部分的图像，估计所述成对的部位，包括：
候选区域提取单元，从所述图像中，使用对于所述成对的部位表示未指定多个多关节物体共同的形状特征的共同特征量，提取多个所述成对的部位的候选区域；
部位区域提取单元，从所述多个候选区域中，提取作为所述成对的部位的似然为最大的第一候选区域，并将所述第一候选区域以外的区域作为第二候选区域；
特征量计算单元，分别对于所述第一候选区域以及所述第二候选区域，计算对于所述成对的部位表示估计对象的多关节物体上固有的特征的固有特征量；
特征量校正单元，将所述第一候选区域以及所述第二候选区域中的、一方的候选区域的固有特征量，基于另一方的候选区域的长度、宽度、以及角度中的至少一个进行校正；以及
判定单元，基于所述校正后的固有特征量和所述另一方的候选区域的固有特征量之间的相似度，判定所述第一候选区域和所述第二候选区域是否为所述成对的部位。
2.如权利要求1所述的姿势估计装置，
所述特征量校正单元
计算所述第一候选区域的固有特征量和所述第二候选区域的固有特征量之间的相似度，
基于所述算出的相似度，判断是否存在能够估计为与所述第一候选区域成对的所述第二候选区域，
在所述判断的结果不存在能够估计为与所述第一候选区域成对的所述第二候选区域的情况下，进行所述一方的候选区域的固有特征量的校正。
3.如权利要求1所述的姿势估计装置，
所述特征量校正单元将所述第一候选区域的固有特征量，基于所述第二候选区域的长度、宽度、以及角度中的至少一个进行校正。
4.如权利要求1所述的姿势估计装置，
所述特征量校正单元
提取距基准点的距离短的第一交点和距所述基准点的距离长的第二交点，作为所述第二候选区域的长轴和椭圆周之间的交点，
基于在有可能存在其他部位的区域中是否包含所述第一交点以及所述第二交点，判断所述第二候选区域被所述其他部位遮挡的可能性，
在有被遮挡的可能性的情况下，提取所述第一候选区域的一部分，
对于提取出的所述第一候选区域的一部分，进行固有特征量的计算。
5.如权利要求1所述的姿势估计装置，
所述特征量校正单元
判断所述第一候选区域和所述第二候选区域形成的角度是否为0度，
在所述角度不是0度的情况下，使用所述角度，使所述第一候选区域的一部分或全部转动。
6.如权利要求1所述的姿势估计装置，
所述特征量校正单元
比较所述第一候选区域的长轴的长度和所述第二候选区域的长轴的长度，
在所述长轴的长度之差小于规定的值的情况下，或者，在所述长轴的长度相等的情况下，与所述第二候选区域的长轴的长度相对所述第一候选区域的长轴的长度的比率相匹配来缩小所述第一候选区域，
对于缩小后的所述第一候选区域，进行固有特征量的计算。
7.如权利要求1所述的姿势估计装置，
所述候选区域提取单元基于对所述成对的部位的特性预先确定的限制信息，提取所述多个候选区域。
8.如权利要求1所述的姿势估计装置，
所述共同特征量只是边缘，或者是边缘以及轮廓。
9.如权利要求1所述的姿势估计装置，
所述固有特征量是颜色以及纹理中的至少一个。
10.姿势估计方法，基于包含具有在左半身和右半身之间成对的部位的多关节物体的全部或一部分的图像，估计所述成对的部位，该方法包括以下步骤：
从所述图像中，使用对于所述成对的部位表示未指定多个多关节物体共同的形状特征的共同特征量，提取多个所述成对的部位的候选区域的步骤；
从所述多个候选区域中，提取作为所述成对的部位的似然为最大的第一候选区域，并将所述第一候选区域以外的区域作为第二候选区域的步骤；
分别对于所述第一候选区域以及所述第二候选区域，计算对于所述成对的部位表示估计对象的多关节物体上固有的特征的固有特征量的步骤；
将所述第一候选区域以及所述第二候选区域中的、一方的候选区域的固有特征量，基于另一方的候选区域的长度、宽度、以及角度中的至少一个进行校正的步骤；以及
基于所述校正后的固有特征量和所述另一方的候选区域的固有特征量之间的相似度，判定所述第一候选区域和所述第二候选区域是否为所述成对的部位的步骤。
CN201380039239.3A 2012-07-26 2013-06-04 姿势估计装置和姿势估计方法 Active CN104487999B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-165671 2012-07-26
JP2012165671A JP5898014B2 (ja) 2012-07-26 2012-07-26 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム
PCT/JP2013/003509 WO2014017006A1 (ja) 2012-07-26 2013-06-04 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム

Publications (2)

Publication Number Publication Date
CN104487999A CN104487999A (zh) 2015-04-01
CN104487999B true CN104487999B (zh) 2017-11-10

Family

ID=49996834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380039239.3A Active CN104487999B (zh) 2012-07-26 2013-06-04 姿势估计装置和姿势估计方法

Country Status (4)

Country Link
US (1) US9576191B2 (zh)
JP (1) JP5898014B2 (zh)
CN (1) CN104487999B (zh)
WO (1) WO2014017006A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9412010B2 (en) * 2011-07-15 2016-08-09 Panasonic Corporation Posture estimation device, posture estimation method, and posture estimation program
JP6728865B2 (ja) * 2016-03-25 2020-07-22 富士ゼロックス株式会社 手上げ検出装置及び手上げ検出プログラム
JP6563873B2 (ja) * 2016-08-02 2019-08-21 トヨタ自動車株式会社 向き判別装置、向き判別方法
WO2018185858A1 (ja) 2017-04-04 2018-10-11 株式会社Ｍｕｊｉｎ 制御装置、ピッキングシステム、物流システム、プログラム、制御方法、及び、生産方法
CN115385039A (zh) 2017-04-04 2022-11-25 牧今科技 控制装置、信息处理装置、控制方法以及信息处理方法
CN110494259B (zh) 2017-04-04 2020-11-10 牧今科技 控制装置、拾取系统、物流系统、程序、控制方法以及生产方法
DE112017007394B4 (de) 2017-04-04 2020-12-03 Mujin, Inc. Informationsverarbeitungsvorrichtung, Greifsystem, Verteilersystem, Programm und Informationsverarbeitungsverfahren
JP6444499B1 (ja) 2017-04-04 2018-12-26 株式会社Ｍｕｊｉｎ 制御装置、ピッキングシステム、物流システム、プログラム、及び、制御方法
DE102017216953A1 (de) * 2017-09-25 2019-03-28 Siemens Healthcare Gmbh Anzeige eines mit einem realen Objekt verknüpften virtuellen Objekts in einer Augmented-Reality-Anzeigevorrichtung
JP7210890B2 (ja) * 2018-03-29 2023-01-24 株式会社リコー 行動認識装置、行動認識方法、そのプログラム及びそのプログラムを記録したコンピュータ読取り可能な記録媒体
JP7196645B2 (ja) * 2019-01-31 2022-12-27 コニカミノルタ株式会社 姿勢推定装置、行動推定装置、姿勢推定プログラム、および姿勢推定方法
CN110427890B (zh) * 2019-08-05 2021-05-11 华侨大学 基于深度级联网络和质心分化编码的多人姿态估计方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3400961B2 (ja) 1999-09-27 2003-04-28 株式会社国際電気通信基礎技術研究所 人物像の姿勢推定装置および人物像の姿勢推定プログラムを記録した記録媒体
JP4492036B2 (ja) * 2003-04-28 2010-06-30 ソニー株式会社 画像認識装置及び方法、並びにロボット装置
JP2005339100A (ja) 2004-05-26 2005-12-08 Advanced Telecommunication Research Institute International 身体動作解析装置
US7317836B2 (en) * 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
JP2007199864A (ja) * 2006-01-24 2007-08-09 Matsushita Electric Ind Co Ltd 画像列生成方法および画像列生成装置
US8023726B2 (en) * 2006-11-10 2011-09-20 University Of Maryland Method and system for markerless motion capture using multiple cameras
JP2009075868A (ja) * 2007-09-20 2009-04-09 Toshiba Corp 画像から対象を検出する装置、方法およびプログラム
CN102279979A (zh) * 2010-06-12 2011-12-14 陈姝 利用骨骼约束计算透视投影成像模型中比例因子的方法
US9355305B2 (en) * 2010-10-08 2016-05-31 Panasonic Corporation Posture estimation device and posture estimation method
US9031286B2 (en) * 2010-12-09 2015-05-12 Panasonic Corporation Object detection device and object detection method
WO2012077287A1 (ja) * 2010-12-09 2012-06-14 パナソニック株式会社 姿勢状態推定装置および姿勢状態推定方法

Also Published As

Publication number Publication date
CN104487999A (zh) 2015-04-01
US9576191B2 (en) 2017-02-21
JP2014026429A (ja) 2014-02-06
WO2014017006A1 (ja) 2014-01-30
JP5898014B2 (ja) 2016-04-06
US20150169947A1 (en) 2015-06-18

Similar Documents

Publication Publication Date Title
CN104487999B (zh) 姿势估计装置和姿势估计方法
CN104869387B (zh) 基于光流法的双目图像最大视差获取方法
JP5671281B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム
EP2751777B1 (en) Method for estimating a camera motion and for determining a three-dimensional model of a real environment
US20170024898A1 (en) Determining dimension of target object in an image using reference object
CN109166149A (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN109558879A (zh) 一种基于点线特征的视觉slam方法和装置
CN104835175B (zh) 一种基于视觉注意机制的核环境中目标检测方法
CN113177977A (zh) 一种非接触式三维人体尺寸的测量方法
CN107240117B (zh) 视频中运动目标的跟踪方法和装置
CA2801593A1 (en) Parameterized model of 2d articulated human shape
CN109544599A (zh) 一种基于相机位姿估计的三维点云配准方法
US20220358573A1 (en) Methods and systems for evaluating a size of a garment
CN104169968A (zh) 部位估计装置、部位估计方法以及部位估计程序
CN107038758B (zh) 一种基于orb算子的增强现实三维注册方法
CN106204422B (zh) 基于区块子图搜索的超大幅影像快速匹配拼接方法
CN108369739A (zh) 物体检测装置和物体检测方法
CN107357426A (zh) 一种用于虚拟现实设备的体感控制方法
CN115862124A (zh) 视线估计方法、装置、可读存储介质及电子设备
CN113642397B (zh) 一种基于手机视频的物体长度测量方法
JP6810442B2 (ja) カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体
CN109801326A (zh) 一种用于获取人体体型数据的图像测量方法
Shao A Monocular SLAM System Based on the ORB Features
CN117870659A (zh) 基于点线特征的视觉惯性组合导航算法
CN114511631A (zh) 摄像机视觉物体高度测量方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant