CN111033560A - 信息处理装置、模型数据创建程序、模型数据创建方法 - Google Patents

信息处理装置、模型数据创建程序、模型数据创建方法 Download PDF

Info

Publication number
CN111033560A
CN111033560A CN201780093678.0A CN201780093678A CN111033560A CN 111033560 A CN111033560 A CN 111033560A CN 201780093678 A CN201780093678 A CN 201780093678A CN 111033560 A CN111033560 A CN 111033560A
Authority
CN
China
Prior art keywords
object model
model
geometric
information processing
optimal solution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780093678.0A
Other languages
English (en)
Inventor
村上亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN111033560A publication Critical patent/CN111033560A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种信息处理装置，包括：获取部，从获得三维的位置信息的传感器，获取具有经由关节连接的多个部位的对象物的表面所涉及的点群数据；以及优化处理部，基于对象物模型以及上述点群数据，来一边改变上述对象物模型，一边搜索与上述点群数据匹配的上述对象物模型所涉及的最合适解，上述对象物模型使用具有轴的多个几何模型来表达多个上述部位。

Description

信息处理装置、模型数据创建程序、模型数据创建方法
技术领域
本公开涉及信息处理装置、模型数据创建程序以及模型数据创建方法。
背景技术
已知有基于散布于人等对象物的表面的点群数据，来追踪对象物的骨骼的技术(例如，参照非专利文献1)。在该技术中，通过以对对象物的表面进行多次分割而成的网格进行模型化，并基于点与点的距离(即2点间距离)组合网格顶点和点群数据，来推断对象物的姿势。
非专利文献1:由M.Ye and R.Yang编写的"Real-time Simultaneous Pose andShape Estimation for Articulated Objects Using a Single Depth Camera"in CVPR(2014)
专利文献1:日本特开平10-149445号公报
专利文献2:日本特开2011-179907号公报
然而，在如上述那样的现有技术中，在基于点群数据来识别对象物的状态(姿势等)时，很难以相对较低的计算负荷对噪声稳健地获得精度较高的结果。例如，在以网格进行模型化的上述的现有技术中，通过增加网格顶点的个数能够详细地表达对象物的形状，但在噪声相对较多的点群数据中模型的表达力不充分，且容易增加误差。即，另加上由网格间隔引起的误差。另外，若点群数例如为1,000，网格顶点数例如为1,000，则需要1,000,000个组合计算，计算量会非常庞大。
发明内容
因此，在一个侧面中，本发明的目的在于能够以相对较低的计算负荷并且以对于噪声稳健的方式，基于点群数据来识别对象物的状态。
根据本公开的一个方面，提供一种信息处理装置，包括：获取部，从获得三维的位置信息的传感器，获取具有经由关节连接的多个部位的对象物的表面所涉及的点群数据；
优化处理部，基于对象物模型以及上述点群数据，来一边改变上述对象物模型，一边搜索与上述点群数据匹配的上述对象物模型所涉及的最合适解，上述对象物模型使用具有轴的多个几何模型来表达多个上述部位；以及
输出部，输出上述最合适解或者基于该最合适解的对象物信息。
根据本公开，能够以相对较低的计算负荷并且以对于噪声稳健的方式，基于点群数据来识别对象物的状态。
附图说明
图1是示意性地表示一个实施例的对象物识别系统的概略结构的图。
图2是表示对象物识别装置的硬件结构的一个例子的图。
图3是表示对象物识别装置的功能的一个例子的框图。
图4是关节模型的一个例子的说明图。
图5A是对象物模型的一个例子的说明图。
图5B是对象物模型的另一个例子的说明图。
图6A是初始状态的设定方法的一个例子的说明图。
图6B是几何模型的参数的说明图。
图7是点群数据xn的一个例子的说明图。
图8A是χkl的说明图。
图8B是表示为了χkl的说明而对部位分配编号的例子的图。
图9是表示输出例的图。
图10A是表示由对象物识别装置执行的处理的一个例子的流程图。
图10B是表示更新处理的一个例子的流程图。
图11是表示由对象物识别装置执行的处理的另一个例子的流程图。
图12是后验分布pnm的计算结果的说明图。
图13是拟合结果的说明图。
图14A是拟合结果的说明图。
图14B是拟合结果的说明图。
具体实施方式
在本说明书中，只要未特别提及，“导出某个参数(例如后述的参数θ)”是指“导出该参数的值”。
图1是示意性地表示一个实施例的对象物识别系统1的概略结构的图。在图1中，为了说明，示有对象者S(对象物的一个例子)。另外，在图1中，一并示有显示装置7。
对象物识别系统1包括距离图像传感器21以及对象物识别装置100(信息处理装置的一个例子)。
距离图像传感器21获取对象者S的距离图像。例如，距离图像传感器21是三维图像传感器，进行空间整体的传感检测并测量距离，并获取如数字图像那样按每个像素具有距离信息的距离图像(点群数据的一个例子)。距离信息的获取方式是任意的。例如，距离信息的获取方式也可以是对对象投影特定的图案并通过图像传感器对其进行读取，并根据投影图案的几何学的变形通过三角测量的方式获取距离的主动立体方式。另外，也可以是照射激光并通过图像传感器读取反射光，并根据其相位的偏离来测量距离的TOF(Time-of-Flight：飞行时间)方式。
此外，距离图像传感器21可以以位置被固定的方式来设置，也可以以位置可动的方式来设置。
对象物识别装置100基于从距离图像传感器21获得的距离图像，来识别对象者S的关节、骨骼。对于该识别方法，在后面详细叙述。对象者S是人、人型的机器人，具有多个关节。以下，作为一个例子，对象者S为人。对象者S根据用途，也可以是特定的个人，也可以是不特定的人。例如，在用途为体操等的比赛时的动作的解析的情况下，对象者S可以是比赛选手。此外，在用途为解析体操、花样滑冰等的比赛时那样的激烈的动作(高速并且复杂的动作)的情况下，优选如图1中示意性所示，设置多个距离图像传感器21，以获得接近对象者S的三维形状的点群数据。
对象物识别装置100也可以以与距离图像传感器21连接的计算机的方式来实现。对象物识别装置100与距离图像传感器21的连接可以通过利用有线的通信路径、利用无线的通信路径、或者它们的组合来实现。例如，在对象物识别装置100相对于距离图像传感器21配置于相对较远的服务器的方式的情况下，对象物识别装置100也可以经由网络与距离图像传感器21连接。在该情况下，网络例如可以包括移动电话的无线通信网、互联网、WorldWide Web(万维网)、VPN(virtual private network：虚拟专用网)、WAN(WideArea Network：广域网)、有线网络、或者它们的任意的组合等。另一方面，在对象物识别装置100相对于距离图像传感器21配置于相对较近的情况下，利用无线的通信路径可以通过近距离无线通信、蓝牙(注册商标)、Wi－Fi(Wireless Fidelity)等来实现。另外，对象物识别装置100也可以通过不同的2个以上的装置(例如计算机、服务器等)协作来实现。
图2是表示对象物识别装置100的硬件结构的一个例子的图。
在图2所示的例子中，对象物识别装置100包括控制部101、主存储部102、辅助存储部103、驱动器装置104、网络I/F部106、输入部107。
控制部101是执行主存储部102、辅助存储部103中存储的程序的运算装置，从输入部107、存储装置中接受数据，并进行运算、加工之后，输出至存储装置等。控制部101例如也可以包括CPU(Central Processing Unit：中央处理器)、GPU。
主存储部102是ROM(Read OnlyMemory：只读存储器)、RAM(Random AccessMemory：随机存储器)等，存储或者临时保存作为控制部101所执行的基本软件的OS、应用软件等的程序、数据的存储装置。
辅助存储部103是HDD(Hard Disk Drive：硬盘驱动器)等，存储与应用软件等相关的数据的存储装置。
驱动器装置104从记录介质105，例如软盘中读出程序，并安装于存储装置。
记录介质105储存规定的程序。该记录介质105中储存的程序经由驱动器装置104安装于对象物识别装置100。所安装的规定的程序能够由对象物识别装置100来执行。
网络I/F部106是具有经由由有线和/或无线线路等数据传输路径构建的网络连接的通信功能的周边设备(例如图1所示的显示装置7)与对象物识别装置100的接口。
输入部107具有光标键、具备数字输入以及各种功能键等的键盘、鼠标、切片垫等。输入部107也可以支持声音输入、手势等其它输入方法。
此外，在图2所示的例子中，以下说明的各种处理等能够通过使对象物识别装置100执行程序来实现。另外，也能够将程序记录于记录介质105，并使对象物识别装置100读取记录有该程序的记录介质105，来实现以下说明的各种处理等。此外，记录介质105能够使用各种类型的记录介质。例如，也可以是像CD－ROM、软盘、光磁盘等那样的光学地、电或者磁地记录信息的记录介质、像ROM、闪存等那样的电学地记录信息的半导体存储器等。此外，记录介质105中不包括载波。
图3是表示对象物识别装置100的功能的一个例子的框图。
对象物识别装置100包括数据输入部120(获取部的一个例子)、初始状态设定部122、优化部124(优化处理部的一个例子)、以及输出部126。各部120～126能够通过图2所示的控制部101执行主存储部102中存储的一个以上的程序来实现。此外，对象物识别装置100的功能的一部分可以由可内置于距离图像传感器21的计算机来实现。另外，对象物识别装置100包括几何模型数据库140(在图3中，记作“几何模型DB”)。几何模型数据库140可以由图2所示的辅助存储部103来实现。
从距离图像传感器21向数据输入部120输入距离图像(以下，称为“点群数据”)，并且输入所使用的关节模型。点群数据如上所述，例如在每个帧周期输入。另外，在使用多个距离图像传感器21的情况下，点群数据也可以包括距离多个距离图像传感器21的距离图像的集合。
所使用的关节模型是对象者S的关节所涉及的任意的模型，例如，是用多个关节和关节间的骨骼(连杆)表示的模型。在本实施例中，作为一个例子，使用如图4所示的关节模型。图4所示的关节模型是一个头部、躯体部(躯干部)、两臂部、以及两腿部分别具有3个关节的16关节模型，头部将两端规定为关节，其他部位将两端以及中点这3个位置规定为关节。具体而言，关节模型由16个关节a0～a15、连接关节间的15个骨骼b1～b15(或者也称为“部位b1～b15”)构成。此外，为了能够理解，例如关节a4、a7是左右的肩的关节，关节a2是颈椎所涉及的关节。另外，关节a14、a15是左右的髋关节，关节a0是腰椎所涉及的关节。在这样的关节模型中，髋关节所涉及的骨骼b14、b15、肩的关节所涉及的骨骼b4、b7为仅通过使用后述的几何模型的拟合无法高精度地识别的骨骼(以下，也称为“隐藏的骨骼”)。此外，在以下的说明中，对于与关节、部位有关的位置关系，所谓的“祖先”是指接近身体的中心的一侧，所谓的“后代”是指远离身体的中心的一侧。
初始状态设定部122基于被输入至数据输入部120的点群数据和几何模型数据库140内的几何模型，来生成在优化部124中使用的对象物模型的初始状态。对象物模型是对象者S的体表所涉及的模型，基于所使用的关节模型和几何模型数据库140内的几何模型来生成。更具体而言，如图5A所示，对象物模型是经由多个关节连接多个几何模型的模型。即，对象物模型对用关节模型表达的对象者S的每个部位(除了隐藏的部位以外的部位)，都具有几何模型。在图5A所示的例子中，对象物模型是经由多个关节(用黑●表达)连接11个几何模型Md1～Md11的模型。在本实施例中，作为一个例子，使用如图5A所示的对象物模型。几何模型数据库140内的几何模型例如涉及圆柱，以下，主要对使用圆柱的几何模型的情况进行说明。关于其它的几何模型的可能性后述。
此外，在变形例中，如图5B所示，也可以使用更多的几何模型。在图5B所示的例子中，对图5A所示的对象物模型，追加与脖子对应的几何模型Md12、以及与从脚踝到脚尖的末端部对应的几何模型Md13、Md14。此外，在该情况下，虽然省略图示，但关于所使用的关节模型，也对图4所示的关节模型，追加关节。
对象物模型的自由度为相邻的几何模型间(即关节)的旋转(以下，也称为“关节旋转”)和几何模型本身的位移。对象物模型由于在相邻的几何模型间具有旋转的自由度，所以也可以称为“带有几何形状的连杆机理模型”。有关对象物模型的自由度的详细内容后述。
初始状态设定部122优选如图6A中示意性所示，将对象物模型600的重心与点群数据的重心一致，且多个几何模型中的与对象物的左右的臂部建立对应关系的几何模型向左右张开的状态设定为初始状态。在图6A中，对象物模型600的重心Gm与点群数据xn的重心Gs一致，左右的臂部向正侧面打开。初始状态的设定所使用的对象物模型的重心可以是基于对象物模型所包括的全部的几何模型的重心，但也可以是特定部位的几何模型的重心。特定的部位的几何模型例如为腰部的几何模型(参照图5A的几何模型Md1)。另外，在变形例中，初始状态也可以包括与左右的腿部建立对应关系的几何模型向左右打开的状态。
对象物模型的初始状态例如可以用对象物模型所包括的各几何模型的位置、方向、厚度以及长度的各初始值来表达。在本实施例中，作为一个例子，如图6B所示，一个几何模型由位置c、方向e、厚度r、以及长度l来表达。位置c以及方向e是向量，方向e为表示圆柱的轴I的方向的单位向量表达。位置c是圆柱的轴I上的长度方向的中点位置G所涉及的位置向量。此外，也可以代替长度l，等效地利用圆柱的轴I上的上下的端点的位置(即关节的位置)。
优化部124基于被输入至数据输入部120的点群数据、和由初始状态设定部122生成的对象物模型的初始状态，通过EM算法进行拟合。使用由初始状态设定部122获得的对象物模型的初始状态是因为在EM算法中给予在某一程度上接近解的初始值很有用。
以下，将对象者S的部位m(m＝1、2、…、M－h)的几何模型(在这里为圆柱)的位置c、方向e、厚度r、以及长度l记作cm、em、rm、以及lm。因此，对象者S的部位m所涉及的几何模型用位置cm、方向em、厚度rm、以及长度lm这4个模型参数来表达。对象者S的部位m对应于对象物模型中的骨骼b1～b15(或者也称为“部位b1～b15”)。M是关节模型的全部位数(包括隐藏的部位的所有部位的总数)，在图4所示的关节模型中，为“15”。使用“M－h”是为了除去对拟合没有帮助的部位。因此，部位m是对象者S的所有部位中的成为几何模型的拟合的对象的部位。以下，在区分时，将对象者S的所有部位中的任意的一个部位也记作“部位k”。
另外，点群数据xn为用三维的空间坐标(x，y，z)表达的N个各点(例如位置向量)的集合(x1、x2、…、xN)。在该情况下，例如空间坐标的x成分以及y成分是图像平面内的二维坐标的值，x成分是水平方向的成分，y成分是垂直方向的成分。另外，z成分表示距离。在图7中，示有点群数据xn的一个例子。另外，将表示对象物模型的关节旋转、对象物模型的重心的旋转、及对象物模型的规定关节(以下，称为“根关节”)的并进、以及厚度r以及长度l的参数称为“变形参数θar”。所谓的根关节是部位m(m＝1、2、…、M－h)中的一个规定部位的祖先侧(根侧)的关节，规定部位是在其它部位的关节旋转中不动的部位。根关节是对象物模型中的例如骨盆部与躯体部之间的关节(图4的关节a0)。此外，所谓的对象物模型的重心的旋转与对象物模型整体的旋转意思相同。同样地，所谓的根关节的并进与对象物模型整体的并进意思相同。
在本实施例中，假设点群数据xn与部位m所涉及的几何模型的表面残差εm(xn,θar)(围绕轴的垂直于表面的方向的差)为高斯分布。具体而言，如下。
[式1]
Figure BDA0002380136660000081
在这里，p(xn)为点群数据xn的混合概率分布模型，σ2为方差。此时，对应的对数似然函数如下。
[式2]
Figure BDA0002380136660000082
在部位m所涉及的几何模型为圆柱时，表面残差εm(xn,θ)能够如下表达。此外，向量间的符号“×”表示外积。
εm(xn,θ)＝|(xn－em)×em|－rm
众所周知，EM算法是计算期待值的E步骤和使期待值最大化的M步骤的重复。
在E步骤中，优化部124计算以下的后验分布pnm(指标值的一个例子)。
[式3]
Figure BDA0002380136660000083
在M步骤中，优化部124导出使以下的期待值Q(θar,σ2)最大化的参数θar以及方差σ2。此外，在M步骤中，后验分布pnm作为常量来处理。
[式4]
Figure BDA0002380136660000084
在这里，P为后验分布pnm的数据和的所有部位的和(以下，也称为“后验分布pnm的数据和的所有部位和”)，如下。
[式5]
Figure BDA0002380136660000091
根据期待值Q(θar,σ2)的方差σ2的偏微分，使期待值Q(θar,σ2)最大化的方差σ2的推断值σ2 ＊如下。
[式6]
Figure BDA0002380136660000092
若将该推断值σ2 ＊代入式4的式子，则如下。
[式7]
Figure BDA0002380136660000093
另外，对于参数θar的各要素中的厚度rm，由于本来就是线性的，所以厚度rm的推断值r＊m如下，能够直接进行最小化。
[式8]
Figure BDA0002380136660000094
期待值Q(θar,σ2)除了参数θar的各要素中的厚度rm以外为非线性函数，但在本实施例中，由于假定微小变形，所以通过线性近似来计算更新式。似然函数的最大化问题与方差σ2相同，能够通过线性近似导出解。具体而言，若使用变形参数θar的微小变化Δθ，则如下。
[式9]
Figure BDA0002380136660000101
因此，变形参数θar的微小变化Δθ使用表面残差εnm以及表面残差的微分ε'nm，如下。此外，在式10中(以下也相同)，T表示转置。
[式10]
Figure BDA0002380136660000102
表面残差εnm、以及表面残差的微分ε'nm被如下定义。此外，θar为变形参数。
[式11]
Figure BDA0002380136660000103
表达式〈〉p是使用后验分布pnm的平均操作，对于任意的张量或矩阵anm如下。
[式12]
Figure BDA0002380136660000104
表面残差εnm、以及基于表面残差的微分ε'nm的微小变化Δθ的计算方法如下，能够基于使用机理模型的正向运动学来实现。
以下，位置cm Θ以及方向em Θ表示某一姿势Θ下的部位m所涉及的几何模型的位置以及方向。此外，位置cm Θ是部位m的祖先侧的关节的位置。在将由微小变化Δθ引起的位置ck Θ以及方向ek Θ的每一个的变化设为Δck Θ以及Δek Θ时，变化Δck Θ以及Δek Θ的后的位置ck Θ+ΔΘ以及方向ek Θ+ΔΘ分别能够如下表示。此外，如上述那样，部位k包括隐藏的部位，因此，在图4所示的关节模型中，k＝1、2、…、15。此外，对于方向ek Θ+ΔΘ，以保存范数的方式更新。
[式13]
Figure BDA0002380136660000111
[式14]
Figure BDA0002380136660000112
在这里，Δck Θ以及Δek Θ基于机理模型的正向运动学，具有以下的关系。
[式15]
Figure BDA0002380136660000113
[式16]
Figure BDA0002380136660000114
在这里，c0是根关节的位置。下标l指可动部位，总数为M－f(例如13)。另外，f是不可动的关节数。所谓的不可动的关节例如是骨盆部(参照图4的部位b14、b15)所涉及的关节(参照图4的关节a0)。另外，Δlk、Δθli、ΔθM－f+1,i、以及ΔθM－f+2,i是微小变化Δθ的各要素。Δlk表示部位k(k＝1、2、…、M)的长度的变化。另外，Δθli表示可动部位l(l＝1、2、…、M－f)的祖先侧(根侧)的关节旋转，ΔθM－f+1,i表示对象物模型的重心的旋转，ΔθM－f+2,i表示根关节的并进(三维)。另外，下标i对于ΔθM－f+2,i表示空间维度(在本实施例中，为三维，i＝1、2、3)，对于Δθli、ΔθM－f+1,i这样的其他符号，表示旋转的自由度(在本实施例中，为3个自由度，i＝0、X、XX)。eli Θ(i＝0、X、XX)是某一姿势Θ下的可动部位l的旋转轴eli Θ，如下。
[式17]
Figure BDA0002380136660000121
此外，n是任意的单位向量(固定向量)，例如可以是距离图像传感器21的方向所涉及的单位向量。另外，在式15以及式16(在以下的式22～式24中也相同)中使用的向量如下。
[式18]
Figure BDA0002380136660000122
另外，在式16中使用的δkl是克罗内克的增量，如下。
[式19]
Figure BDA0002380136660000123
另外，χkl是表示部位k(k＝1、2、…、15)与可动部位l(l＝1、2、…、13)的祖先/后代关系的参数，例如，如图8A所示。图8A中的部位的编号如图8B所示。例如，在部位k＝部位6并且可动部位l＝部位5时，χ56＝1。这是因为部位5处于部位6的祖先侧。此外，在图8A以及图8B所示的例子中，不可动的骨盆部的编号的最后的2个为“14”以及“15”并且从列中除去。此外，行和列的相同的编号指相同的部位。
此外，在这里，若整理下标的表示，则下标k指全部的部位，总数为M。下标m指拟合对象的部位，总数为M－h。下标l指可动部位，总数为M－f。此外，即使这些下标为相同的编号也不一定指相同的部位。
在几何模型为圆柱的情况下，表面残差如上所述，但也可以如下，表示为相对于围绕轴的表面(圆筒状的表面)的径向之差。
[式20]
Figure BDA0002380136660000124
此时，表面残差的微分基于机理模型的正向运动学(式15以及式16的关系式)，如下。
[式21]
Figure BDA0002380136660000131
[式22]
Figure BDA0002380136660000132
[式23]
Figure BDA0002380136660000133
[式24]
Figure BDA0002380136660000134
Δlk表示部位k的长度的变化，将基于Δlk的表面残差的微分也记作“ε'nmΔl”。Δθli如上述那样表示可动部位l的关节旋转，将基于Δθli的表面残差的微分也记作“ε'nmli”。Δθnm,M－f+1,i如上述那样表示对象物模型的重心的旋转，将基于Δθnm,M－f+1,i的表面残差的微分记作“ε'nm,M－f+1,i”。Δθnm,M－f+2,i如上述那样表示根关节的并进(三维)，将基于Δθnm,M－f+2,i的表面残差的微分记作“ε'nm,M－f+2,i”。另外，χmk如下。
[式25]
Figure BDA0002380136660000135
χmk是表示部位m与部位k间的祖先/后代关系的参数。χσ(m)l是表示部位m中的部位σ(m)与可动部位l(l＝1、2、…、13)的祖先/后代关系的参数，部位σ(m)表示可动部位l的后代侧的相邻部位。关于χmk、χσ(m)l，想法与部位k与可动部位l所涉及的χkl实质相同，如参照图8A以及图8B上述的那样。
在几何模型为圆柱的情况下，优化部124能够基于式22、式23、以及式24的式子、以及式10导出Δθli、ΔθM－f+1,i、以及ΔθM－f+2,i。换言之，ε'nmli是用于根据上述的式10的式子，得到关节旋转Δθli的表面残差的微分。同样地，ε'nm,M－f+1,i是用于根据上述的式10的式子得到ΔθM－f+1,i的表面残差的微分。同样地，ε'nm,M－f+2,i是用于根据上述的式10的式子，得到ΔθM－f+2,i的表面残差的微分。此外，对于圆柱以外的几何模型，也能够使用以下的表面残差以相同的方式导出。
在为圆锥的情况下，表面残差εm(xn,θar)也可以如下表达。此外，在为圆锥(椭圆锥的情况也相同)时，位置cm Θ对应于某一姿势Θ下的顶点位置，某一姿势Θ下的方向em Θ为中心轴的单位向量。
[式26]
Figure BDA0002380136660000141
向量nm是圆锥的表面上的某1点上的法线向量。在为梯形柱的情况下，可以与圆锥的情况相同。
另外，在为楕圆柱的情况下，表面残差εm(xn,θar)如下表示。
[式27]
Figure BDA0002380136660000142
dm为焦距，am为剖面的椭圆的长轴的长度，nm'为长轴方向的单位向量。此外，同样地，位置cm对应于轴上的位置，方向em是楕圆柱的轴(轴向)的单位向量。
另外，在为椭圆锥的情况下，表面残差εm(xn,θar)也可以如下表达。
[式28]
Figure BDA0002380136660000151
在这里，ψm1以及ψm2分别为朝向长轴以及短轴方向的倾斜角。另外，同样地，位置cm对应于顶点位置，方向em为中心轴的单位向量。在为梯形楕圆柱的情况下，表面残差εm(xn,θar)也可以与椭圆锥的情况相同。
优化部124若获得Δlk、Δθli、ΔθM－f+1,i、以及ΔθM－f+2,i，则也可以通过将Δlk、Δθli、ΔθM－f+1,i、以及ΔθM－f+2,i代入式15以及式16，而导出Δck Θ以及Δek Θ。而且，优化部124若获得Δck Θ以及Δek Θ，则也可以基于式13～式16的更新式，导出(更新)部位k的位置ck Θ+ΔΘ以及方向ek Θ+ΔΘ。
或者，优化部124若获得Δlk、Δθli、ΔθM－f+1,i、以及ΔθM－f+2,i，则也可以利用旋转矩阵，导出(更新)部位k的位置ck Θ+ΔΘ以及方向ek Θ+ΔΘ等(参照后述的图10B)。
优化部124若通过像这样进行M步骤，获得将期待值最大化的方差σ2以及参数θar(最合适解的一个例子)，则判定收敛条件，在不满足收敛条件的情况下，从E步骤开始反复。例如在从最合适解的前一次值的变化量为规定变化量以下的情况下满足收敛条件。关于收敛条件的进一步的具体例后述。在下面的E步骤中，优化部124基于微小变化Δθ之后的对象物模型(即在之前的M步骤中获得的方差σ2以及参数θar)，来计算新的后验分布pnm。然后，在下面的M步骤中，同样地，基于新的后验分布pnm，导出将期待值最大化的方差σ2以及参数θar。
输出部126输出在优化部124中获得的最合适解、或者基于该最合适解导出的对象者S的信息(对象物信息的一个例子)。例如，输出部126向显示装置7(参照图1)等，输出对象者S的骨骼信息。例如，输出部126也可以按每个帧周期，大致实时地输出对象者S的骨骼信息。或者，在用于对象者S的动作的解说等时，输出部126也可以非实时地按时间序列输出骨骼信息。
骨骼信息也可以包括能够确定关节a0～a15的各位置的信息。另外，骨骼信息也可以包括骨骼b1～b15的位置、方向、能够确定厚度的信息。骨骼信息的用途是任意的，也可以用于下一个帧周期中的该骨骼信息的导出。另外，骨骼信息也可以最终用于体操等的比赛时的对象者S的动作的解析。例如在体操的比赛时的对象者S的动作的解析时，可以实现基于骨骼信息的技能的识别。在图9中，作为一个例子，示出对象者S为体操选手时的显示例。在图9所示的例子中，与“技能(Skill)”一起，将各种角度(右肘角度等)的数值数值化。各种角度是基于对象者S的骨骼信息导出的值。像这样，根据本实施例，例如在体操比赛中，由于能够将各种角度数值化，所以在目视观察判定时具有局限性的记分员对“技能”的判定变得容易。
此外，作为骨骼信息的其它用途，也可以对假定作业者的对象者S的动作进行解析，并利用于机器人程序。或者，骨骼信息也能够利用于利用手势的用户界面、个人的识别、熟练技术的定量化等。
根据本实施例，如上述那样，优化部124通过使对象物模型微小地变形，并且进行将对象物模型拟合为点群数据xn的拟合，来生成对象者S的骨骼信息。由此，与基于点与点的距离(即2点间距离)来合并网格顶点和点群数据的上述的以往技术相比，能够减少计算负荷。即，在本实施例中，由于对象物模型由比网格顶点有意少的个数的几何模型构成，所以能够大幅度地减少计算负荷。由此，也能够应用于体操、花样滑冰等高速并且复杂的动作的解析等。
另外，根据本实施例，与基于点与点的距离来合并网格顶点和点群数据的上述的以往技术相比，能够获得对于噪声稳健地精度较高的识别结果(骨骼信息)。例如，由于在较强的照明下无法拍摄，所以有在点群数据中，混入相对较多的由照明的差别引起的噪声的情况。具体而言，在上述的现有技术中，拟合误差通过对由噪声引起的数据误差除以点群数据数N所得的值，加上网格间隔的量的误差。与此相对，在本实施例中，拟合误差对应于由噪声引起的数据误差除以点群数据数N所得的值，未加上网格间隔的量的误差。
另外，根据本实施例，在EM算法中，基于使用机理模型的正向运动学使对象物模型变形，并且搜索将点群数据xn相对于几何模型的表面的残差(表面残差)最小化的最合适解。由此，与未基于使用这样的机理模型的正向运动学来搜索最合适解的情况相比，能够提高最合适解的精度。此外，在上述，所谓的最合适解是方差σ2、参数θar，但如后述那样，也可能包括对象物模型的种类的最合适解(最佳的种类)。
像这样，根据本实施例，在基于点群数据来识别对象者S的状态(例如姿势)时，能够以相对较低的计算负荷，针对噪声稳健地高精度地识别对象物的关节或者骨骼。
然而，EM算法是重复计算且需要初始状态。在本实施例中，在M步骤中，如上述那样，由于使用线性近似，所以在某一程度上接近正解的初始状态有用。这是因为若使用偏离正解的初始状态，则陷入局部最大值的可能性升高。
对于这一点，根据本实施例，在EM算法中使用的对象物模型的初始状态如上述那样，是对象物模型所涉及的重心与点群数据的重心一致，并且，与对象物的左右的臂部建立对应关系的几何模型向左右打开的状态。由此，在EM算法中，能够以较高的概率避免局部最大值。
在这里，在M步骤中，由于对于期待值Q(θar,σ2)，假定微小变化来计算，所以微小变化Δθ“微小”很有用。因此，在本实施例中，优选，也可以导入如下的惩罚项，以使微小变化Δθ不会增大到超过“微小”。
[式29]
Q(θar，σ2)→Q(θar，σ2)+Wr|Δθ|2
在这里，wr是规定的权重。这样的惩罚项被称为正则项，除了上述的功能(微小变化Δθ不会增大到超过“微小”的功能)以外，还具有避免由于数据缺损等而值变得不确定的情况下的数值不稳定性的效果。
另外，同样地，在本实施例中，优选，也可以导入如下的惩罚项，以使在左右长度、大小相同。即，也可以导入对象物模型的左右的对称性所涉及的惩罚项。
[式30]
Q(θar，σ2)→Q(θar,σ2)+wslΣi(liR-liL)2+wsr∑i(riR-riL)2
在这里，wsl以及wsr分别为规定的权重。另外，i表示存在于左右的部位(臂部、腿部)，liR、riR表示右边的长度、半径，liL、riL表示左边的长度、半径。此外，在楕圆柱所涉及的几何模型等中，在如长轴、短轴那样，厚度由多个厚度参数来表达的情况下，也可以对每一个导入惩罚项。此外，也可以与上述的正则项一起导入左右的对称性所涉及的惩罚项。
另外，同样地，在本实施例中，在使用将长度定式化为无限的圆柱、楕圆柱等几何模型的情况下，优选，在E步骤中，优化部124优选进行有限长度处理。有限长度处理是仅对点群数据xn中的满足规定的条件的数据计算后验分布pnm，对于其它数据将后验分布pnm设为0的处理。有限长度处理是用于防止混入与部位m的无关的数据的处理，规定的条件被设定为能够排除与部位m无关的数据。由此，能够抑制实际不应有关系的点群数据给解析带来影响。满足规定的条件的数据例如可以是满足以下的式子的数据。
[式31]
Figure BDA0002380136660000181
对于点群数据中的距离部位m所涉及的几何模型的中心(或者中心位置，以下相同)的轴向的距离为规定距离(＝l(m)th)以上的数据，将后验分布设为0。规定距离l(m)th能够手动输入，也能够基于通过其它测量获得的对象者S的形状信息来设定。
另外，在上述的实施例中，点群数据xn全部定式化为存在于几何模型表面附近，但点群数据xn中也包括噪声等。若混入远离那样的表面的数据，则有E步骤的后验分布变得数值不稳定而无法正确地计算的情况。因此，也可以向分布p(xn)中，如以下那样，作为噪声项添加均匀分布。
[式32]
Figure BDA0002380136660000182
在这里，u是任意的权重。此时，后验分布如以下的方式进行修正。
[式33]
Figure BDA0002380136660000183
在这里，uc被如下定义。
[式34]
uc≡(2πσ2)1/2uM′/(l-u)N
由此，向分母中导入uc，数值不稳定被消除。此外，仅E步骤变更，M步骤可以保持原样。
另外，在上述的实施例中，对于点群数据xn和部位m所涉及的几何模型的表面残差εm(xn,θar)，没有为每个部位m赋予权重，但也可以进行加权。这考虑到在各几何模型中说明的点群数据的数量上有差异的点。具体而言，点群数据xn的混合概率分布模型也可以如下表达。此外，在式35中，作为噪声项添加均匀分布，但也可以省略。
[式35]
Figure BDA0002380136660000191
在这里，αm是部位m所涉及的权重。αm可以以在对应的几何模型中说明的点群数据的数量越大越增大的方式来设定。例如，αm以下。
αm＝部位m的表面积/全体的表面积
部位m的表面积可以为部位m所涉及的几何模型的表面积，整体的表面积可以为对象物模型的整体的表面积。此时，所谓的表面积是几何模型的表面积中的表面残差所涉及的表面的面积。例如，在为圆柱所涉及的几何模型的情况下，为轴向的端面以外的表面(外周面)的表面积。由此，能够进行反映有对象者S的各部位m的大小的更精密的模型化。此时，后验分布pnm如下。
[式36]
Figure BDA0002380136660000192
接下来，参照图10A及以后的概略流程图，对本实施例的对象物识别装置100的动作例进行说明。
图10A是表示由对象物识别装置100执行的处理的一个例子的流程图。图10A所示的处理可以每当通过数据输入部120获取1个场景(1个时间点)所涉及的点群数据(即每个帧周期)来执行。或者，图10A所示的优化处理可以以离线的方式，针对由数据输入部120获取到的多个场景所涉及的点群数据，按每一个场景所涉及的点群数据来执行。
在步骤S1000中，初始状态设定部122设定对象物模型的初始状态。对象物模型的初始状态的设定方法如上所述。
在步骤S1001中，优化部124设定为j＝1。
在步骤S1002中，优化部124计算后验分布pnm和表面残差εnm。后验分布pnm以及表面残差εnm的计算方法如上所述。此外，在j＝1时，后验分布pnm和表面残差εnm基于对象物模型的初始状态来计算。此外，此时，方差σ2可以使用适当的值。另外，在j≥2时，后验分布pnm和表面残差εnm基于在前一次的M步骤中获得的方差σ2、参数θar、位置ck Θ+ΔΘ以及方向ek Θ+ΔΘ来计算。
在步骤S1004中，优化部124计算表面残差εnm的微分ε'nm。即，优化部124计算上述的ε'nmΔl、ε'nmli、ε'nm,M－f+1,i、以及ε'nm,M－f+2,i。ε'nmΔl、ε'nmli、ε'nm,M－f+1,i、以及ε'nm,M－f+2,i的计算方法如上所述。
在步骤S1006中，优化部124基于在步骤S1004中获得的表面残差εnm的微分ε'nm、在步骤S1002中获得的后验分布pnm以及表面残差εnm，来计算变形参数θar的微小变化Δθ。微小变化Δθ如上述那样，包括Δlk、Δθli、ΔθM－f+1,i、以及ΔθM－f+2,i，计算方法如上所述。
在步骤S1008中，优化部124存储在步骤S1006中获得的第j个周期的微小变化Δθ(以下，记作“Δθ(j)”)。
在步骤S1010中，优化部124进行基于到第j个周期获得的微小变化Δθ，来更新位置ck Θ以及方向ek Θ的更新处理。更新处理可以如上所述基于式13～式16的更新式来执行，但更新处理的优选的一个例子使用图10B来进行说明。
在步骤S1012中，优化部124判定是否满足收敛条件。例如在第j个周期的微小变化Δθ(j)的各要素(最合适解的从前一次值的变化量的一个例子)中的最大值为规定值以下的情况下可以满足收敛条件。在满足收敛条件的情况下，进入步骤S1016，在除此以外的情况下，经由步骤S1014返回到步骤S1002。
在步骤S1014中，优化部124将j自加1。
在步骤S1016中，优化部124判定拟合是否成功。例如，优化部124基于各部位的后验分布pnm的数据和，在后验分布pnm的数据和的所有部位和大于规定值Th1(规定阈值的一个例子)的情况下，判定为拟合成功。规定值Th1可以根据所需的拟合精度来决定。在判定结果为“是”的情况下，进入步骤S1022，在除此以外的情况下，进入步骤S1018。
在步骤S1018中，优化部124判定是否j≥jmax。jmax是避免无限循环用的上限值。在判定结果为“是”的情况下，结束，在除此以外的情况下，经由步骤S1020，返回到步骤S1001。
在步骤S1020中，优化部124重新设定对象物模型的初始状态。对象物模型的初始状态的重新设定包括相对大幅度地(例如2倍、一半等)变更各几何模型的长度l以及厚度r。另外，对象物模型的初始状态的重新设定例如还包括维持重心的位置，并且使对象物模型的上下的方向反转、或旋转90度。由此，即使在重新设定前的初始状态偏离正解的情况下，在重新设定后，也能够提高能够避免局部最大值的可能性。此外，在变形例中，也可以省略步骤S1020。在该情况下，在步骤S1018中的判定结果为“否”的情况下，对象物模型的生成失败。
在步骤S1022中，输出部126输出在步骤S1016中判定为成功的拟合结果(例如位置ck Θ以及方向ek Θ的骨骼信息)。
根据图10A所示的处理，能够按每个场景，从对象物模型的初始状态到满足收敛条件，反复参数θar的微小变化Δθ，并且高效地搜索最佳的参数θar。
此外，在图10A所示的处理中，按每个场景，独立地进行处理，但也可以基于前一次的场景所涉及的位置ck Θ以及方向ek Θ、前一次的场景所涉及的最佳的参数θar，来设定本次的场景所涉及的对象物模型的初始状态。
图10B是表示在图10A的步骤S1010中执行的更新处理的一个例子的流程图。
在步骤S1030中，优化部124基于在步骤S1008中获得的微小变化Δθ(j)中的根关节的并进ΔθM－f+2,i，来更新根关节的位置c0。具体而言，如下。
c0(j)＝c0(j－1)+ΔθM－f+2,i
此外，c0(j)是本次值(第j个周期中的值)，c0(j－1)是前一次值(第j－1个周期中的值)。
在步骤S1032中，优化部124基于在步骤S1008中获得的微小变化Δθ(j)中的关节旋转Δθli(j)和重心的旋转ΔθM－f+1,i(j)，来计算部位k的新的方向ek Θ(j)以及旋转轴eli Θ(j)。此时，使重心旋转、以及影响的关节旋转全部作用于每个部位k。即，对于某个部位k，从在朝向祖先侧的方向上相邻的部位的旋转矩阵开始依次乘以到根本的部位的旋转矩阵，最后乘以重心的旋转矩阵。具体而言，若作为旋转矩阵例如使用罗德里格斯公式，并将部位k的旋转矩阵记作Rk，则部位k所涉及的转换矩阵Mk如下所示。
Mk＝RGR0R1…RjRk
在这里，RG是重心的旋转矩阵，R0是根关节的旋转矩阵。R1是与根关节直接连接的部位(以下，也称为“根关节形成部位”)的旋转矩阵，以下同样(用“…”来表示)，最后的Rj是在祖先侧与部位k相邻的部位的旋转矩阵。此外，在部位k是根关节形成部位(例如，图4所示的部位b1、部位b14、以及部位b15)时，由于不存在R1、Rj以及其间的旋转矩阵，所以部位k所涉及的转换矩阵Mk如下。
Mk＝RGR0
部位k的新的方向ek Θ(j)能够基于部位k所涉及的转换矩阵Mk，如下来计算。
ek Θ(j)＝Mkek Θ(1)
在这里，ek(1)是基于部位k所涉及的转换矩阵Mk，对象物模型的初始状态下的部位k的方向。
另外，部位k的新的旋转轴eli Θ(j)能够如下来计算。
eli Θ(j)＝Mkeli Θ(1)
此外，在罗德里格斯公式中，一般而言，部位l的旋转矩阵Rl在围绕旋转轴eli的合成轴旋转γl的情况下，如下。
[式37]
Figure BDA0002380136660000221
Figure BDA0002380136660000222
这里的下标i表示旋转的自由度(i＝0、X、XX)。elix、eliy、以及eliz是旋转轴eli的单位向量的各成分，对于可动部位l，使用对象物模型的初始状态下的旋转轴eli Θ(1)。γli是围绕旋转轴eli的旋转角度。可动部位l所涉及的γli通过累计直到第j个周期获得的微小变化Δθ中的从初始状态的各Δθli来导出。具体而言，如下。
[式38]
Figure BDA0002380136660000231
此外，Δθli(j')表示在第j'个周期获得的Δθli。重心的旋转矩阵RG能够代替Δθli，使用重心的旋转ΔθM－f+1,i而导出。
在步骤S1034中，优化部124基于在步骤S1008中获得的微小变化Δθ(j)中的Δlk，来更新部位k的长度lk Θ。部位k的长度lk Θ的更新能够如下来实现。
lk Θ(j)＝lk Θ(j－1)+Δlk
在步骤S1036中，优化部124基于在步骤S1030中更新的根关节的位置c0、在步骤S1032中更新的部位k的方向ek Θ(j)、以及在步骤S1034中更新的部位k的长度lk Θ(j)，来更新部位k的位置ck Θ。此外，更新位置的部位k是根关节形成部位以外的部位。此外，部位k的位置ck(j)基于根关节的位置、部位k的方向ek Θ(j)以及部位k的长度lk Θ(j)，来几何确定。
根据图10B所示的处理，对于部位k中的根关节形成部位以外的部位的位置ck Θ，基于根关节的位置、关节旋转以及重心的旋转来更新。另外，各部位的方向ek Θ基于重心的旋转矩阵、根关节的旋转矩阵来更新。由此，与基于式13至式16的更新式，来更新部位k的位置ck Θ以及方向ek Θ的情况相比能够高精度地更新位置ck Θ。
图11是表示由对象物识别装置100执行的处理的另一个例子的流程图。图11所示的处理可以代替图10A所示的处理来执行。
图11所示的处理相对于图10A所示的处理，在用步骤S1000－1以及步骤S1000－2置换步骤S1000，并且，追加步骤S1100～步骤S1108的点不同。另外，在图11所示的处理中，在步骤S1018中的判定结果为“是”的情况下，不结束，并进入步骤S1100。
在步骤S1000－1中，初始状态设定部122基于多个种类(在图11中为Ns种类)的对象物模型，来设定各个种类的初始状态。对象物模型的初始状态的设定方法如上所述。所谓的多个种类的对象物模型意味着圆柱、圆锥、梯形柱、楕圆柱、椭圆锥、以及梯形楕圆柱所涉及的各几何模型的组合方式不同的对象物模型。在本实施例中，初始状态设定部122作为一个例子，在仅由圆柱所涉及的几何模型形成的第一种对象物模型、以及仅由圆锥所涉及的几何模型形成的第二种对象物模型的情况下，使用第一种～第六种共计6种对象物模型。
在步骤S1000－2中，优化部124设定为jj＝1，并选择第一个种类(第一种)的对象物模型。对第jj个种类的对象物模型执行步骤S1001～步骤S1020、以及步骤S1100。
在步骤S1100中，优化部124关于第jj个种类所涉及的对象物模型，存储各部位的后验分布的数据和。在图12中，用图表表示与某个种类所涉及的对象物模型有关的后验分布pnm的计算结果的一个例子。在图12中，单元格内的数字是后验分布pnm的值，纵向表示n(点群数据xn的“n”)，横向表示m(部位m的“m”)。像这样，后验分布pnm是针对点群数据xn的各点的各部位m的值。此外，若对横向的数值进行合计则为“1”。优化部124通过对纵向的数值进行合计，能够计算每个部位的后验分布的数据和。
在步骤S1102中，优化部124判定是否为jj≥Ns。Ns是多个种类的对象物模型的数量(种类数)，在本实施例中为“6”。在判定结果为“是”的情况下，进入步骤S1106，在除此以外的情况下，经由步骤S1014，返回到步骤S1001。
在步骤S1104中，优化部124对jj自加1，并选择第jj个种类的对象物模型。在该情况下，同样地，对第jj个种类的对象物模型执行接着的步骤S1001～步骤S1020、以及步骤S1100。
在步骤S1106中，优化部124基于在步骤S1100中存储的各部位的后验分布的数据和(对象物模型的每个种类的数据和)，为每个部位选择数据和最大的对象物模型的种类。例如对于腰部，优化部124选择6种对象物模型中的腰部所涉及的后验分布的数据和最大的对象物模型的种类。而且，优化部124将形成所选择的对象物模型的种类的几何模型(圆柱、圆锥、梯形柱、楕圆柱、椭圆锥、以及梯形楕圆柱所涉及的各几何模型的任意一个)决定为腰部所涉及的最佳的种类的几何模型。像这样，优化部124基于按每个部位数据和最大的对象物模型的种类，对每个部位搜索最佳的种类的几何模型。
在步骤S1108中，输出部126对每个部位输出在步骤S1106中选择出的种类的几何模型，并且输出基于在步骤S1106中选择出的种类的几何模型获得的拟合结果。拟合结果例如是例如位置ck Θ以及方向ek Θ那样的骨骼信息。
根据图11所示的处理，能够基于针对多个种类的对象物模型的拟合结果，对每个部位，确定最佳的种类的几何模型。其结果，能够对每个部位生成具有最佳的种类的几何模型的对象物模型。
此外，在图11所示的处理中，对对象物模型的每个种类，独立地进行处理，但也可以基于某个场景所涉及的最初的种类的对象物模型所涉及的位置ck Θ以及方向ek Θ等，来设定该场景所涉及的下一个种类的对象物模型的初始状态。即，在为jj≥2时，初始状态设定部122也可以基于jj＝1时的位置ck Θ以及方向ek Θ等，来设定对象物模型的初始状态。另外，形成对象物模型的几何模型的种类的优化无需对每个场景每次执行，例如，也可以仅对初次的场景执行，对接下来的场景，继续使用被优化的对象物模型。
另外，在图11所示的处理中，使用图5A所示的对象物模型，但也可以作为候补使用图5B所示的不同数目的几何模型。即，多个种类的对象物模型不仅为图5A所示的对象物模型，也可以包括图5B所示的几何模型。
图13是拟合结果的说明图。在图13中，作为拟合结果，按每个部位，对几何模型的种类(最佳的种类的几何模型)、关节角度、长度l、以及厚度r建立对应关系。如上述那样，关节角度是与位置ck Θ有关的参数，在图13中，对前后以及左右的每一个取值。此外，在图13中，由于部位“右锁骨”是隐藏的部位，因此对于几何模型的种类等未建立对应关系(“斜线”表示无数据)。楕圆柱所涉及的几何模型作为最佳的种类的几何模型与部位“腰”、“躯干”建立有对应关系。在该情况下，关于厚度，对于长轴的长度以及短轴的长度分别取值。此外，在为圆柱所涉及的几何模型的情况下，关于厚度，仅取半径一个值。
图14A以及图14B是拟合结果的说明图。图14A示意性地表示初始状态的对象物模型1400与点群数据xn的关系，图14B示意性地表示由最佳的种类的几何模型的组合构成的对象物模型与点群数据xn的关系。在图14B中，楕圆柱所涉及的几何模型(参照Md1以及Md2)作为最佳的种类的几何模型与部位“腰”、“躯干”建立有对应关系，圆柱所涉及的几何模型作为最佳的种类的几何模型与其他部位建立有对应关系。
以上，对各实施例进行了详细描述，但并不限定于特定的实施例，能够在权利要求书所记载的范围内，进行各种变形以及变更。另外，也能够将上述的实施例的构成要素中的全部或者多个组合。
例如，在上述的实施例中，初始状态设定部122也可以将输入至数据输入部120的点群数据聚类，并对每个类进行拟合并获取初始拟合结果。在该情况下，初始状态设定部122可以基于初始拟合结果，来设定初始状态。作为聚类方法，能够使用Kmeans++法等。此外，向聚类部122给予的类数量可以通过手动输入，但也可以使用与骨骼模型相应的规定量。与骨骼模型相应的规定量例如为从骨骼模型的部位的总数中减去隐藏的骨骼的部位的个数所得的值。即，由于在图4所示的16个关节(15个部位)模型的情况下，为4个部位隐藏的骨骼，所以最初的类数量亦即规定量为“11”。
另外，在上述的实施例中，初始状态设定部122也可以使用机器学习部，来设定初始状态。在该情况下，机器学习部基于输入至数据输入部120的点群数据，对15个部位进行标签划分(部位识别)。也可以作为机器学习方式使用随机森林，作为特征量使用目标像素与周边像素的距离值之差。另外，也可以是将距离图像作为输入并进行各像素的多类型分类(Multi-class Classification)的方式。另外，即使在为随机森林的情况下也可以使用距离值之差以外的特征量，也可以使用也包括相当于特征量的参数来进行学习的深层学习(Deep Learning)。
另外，在上述的实施例中，作为一个例子，所有的关节如球关节那样具有3个自由度。例如，所有的关节假定为如肩、髋关节那样，能够进行绕轴的旋转、垂直摆动、水平摆动。然而，也有实际自由度受限制的关节。例如肘仅有1个自由度。对于这一点，在接近轴对称的部位很难识别可动轴。因此，在本实施例中，作为一个例子，对所有的关节考虑避免可动轴，并使用某个固定向量n而构成的绕轴的旋转。其中，在如圆柱、梯形柱那样的轴对称的几何模型中，由于绕轴的旋转自由度不确定所以也可以除去。具体而言，在轴对称的几何模型中，具有除了绕轴的自由度以外的2个自由度。因此，对于轴对称的几何模型，也可以仅计算Δθl0、ΔθlX、以及ΔθlXX中的除了绕轴的关节旋转Δθl0以外的ΔθlX以及ΔθlXX。由此，能够高效地减少计算负荷。此外，在想要求出实际的可动轴上的旋转角度的情况下，能够通过利用上述的旋转矩阵转换来获取。
另外，在上述的实施例中，作为一个例子，基于对象物模型的所有的几何模型，分别通过拟合来优化位置cm、方向em、厚度rm、以及长度lm这4个模型参数，但并不限于此。例如，也可以对对象物模型的一部分几何模型，通过拟合仅优化位置cm、方向em、厚度rm、以及长度lm这4个模型参数中的3个以下的模型参数。另外，对于例如厚度rm、长度lm，也可以将在初次的1个场景中获得的最合适解保持原样利用在下一次以后的场景中。这是因为对象者S的部位的厚度、长度基本上为恒定。
附图标记说明
1…对象物识别系统；7…显示装置；21…距离图像传感器；100…对象物识别装置；120…数据输入部；122…初始状态设定部；124…优化部；126…输出部；140…几何模型数据库。

Claims (16)

1.一种信息处理装置，包括：
获取部，从获得三维的位置信息的传感器，获取具有经由关节连接的多个部位的对象物的表面所涉及的点群数据；
优化处理部，基于对象物模型和上述点群数据来一边改变上述对象物模型，一边搜索与上述点群数据匹配的上述对象物模型所涉及的最合适解，上述对象物模型使用具有轴的多个几何模型来表达多个上述部位；以及
输出部，输出上述最合适解或者基于该最合适解的对象物信息。
2.根据权利要求1所述的信息处理装置，其中，
改变上述对象物模型包括改变多个上述几何模型的种类，
搜索上述最合适解包括从圆柱、圆锥、梯形柱、楕圆柱、椭圆锥以及梯形楕圆柱中的至少任意2个中搜索多个上述几何模型中的每一个几何模型的最合适的种类。
3.根据权利要求2所述的信息处理装置，其中，
搜索上述最合适解是导出上述几何模型相对于上述点群数据的拟合程度的随机的指标值，并按多个上述部位的每一个部位，将表示上述指标值最佳的上述拟合程度的种类的上述几何模型决定为上述最合适的种类。
4.上述指标值是上述点群数据相对于上述几何模型的表面的残差。
5.根据权利要求4所述的信息处理装置，其中，
上述拟合处理基于EM算法，
上述指标值是后验分布的数据和。
6.根据权利要求1～5中任一项所述的信息处理装置，其中，
改变上述对象物模型包括使上述对象物模型变形，
搜索上述最合适解包括对多个上述几何模型的每一个几何模型，搜索轴向、与该轴向垂直的方向的最合适的长度、以及沿着该轴向的最合适的长度中的至少任意一个。
7.根据权利要求1～5中任一项所述的信息处理装置，其中，
改变上述对象物模型包括基于使用机理模型的正向运动学来使上述对象物模型变形。
8.根据权利要求1～5中任一项所述的信息处理装置，其中，
改变上述对象物模型是指，伴随着多个上述部位间的关节旋转、多个上述部位中的规定关节的并进、以及重心的旋转，
搜索上述最合适解包括对多个上述几何模型中的每一个几何模型，搜索最合适的位置、以及最合适的方向。
9.根据权利要求8所述的信息处理装置，其中，
改变上述对象物模型还包括对多个上述几何模型的至少任意一个几何模型变更沿着轴向的长度，
搜索上述最合适解包括在改变上述对象物模型时，根据与上述关节旋转、上述规定关节的并进以及上述重心的旋转对应的变形，来更新多个上述几何模型的每一个几何模型的方向，接下来，基于更新后的方向和变更后的长度，来更新多个上述几何模型的位置。
10.根据权利要求8或9所述的信息处理装置，其中，
上述规定关节是多个上述部位中的在其它部位的关节旋转时不动的部位的基部侧的关节。
11.根据权利要求6～10中任一项所述的信息处理装置，其中，
上述优化处理部继续搜索上述最合适解直到收敛条件成立，
在上述最合适解的从前一次值的变化量成为规定变化量以下的情况下，满足上述收敛条件。
12.根据权利要求1所述的信息处理装置，其中，
上述对象物是人、或者人型的机器人，
上述优化处理部使上述对象物模型从上述对象物模型的初始状态开始变形，
上述对象物模型的初始状态包括上述对象物模型所涉及的重心与上述点群数据的重心一致，且上述多个几何模型中的与上述对象物的左右的臂部建立对应关系的几何模型向左右打开的状态。
13.根据权利要求12所述的信息处理装置，其中，
搜索上述最合适解包括对多个上述几何模型的每一个几何模型，导出上述几何模型相对于上述点群数据的拟合程度的随机的指标值，
在多个上述几何模型的每一个几何模型的上述指标值的合计值为规定阈值以下的情况下，上述优化处理部在重新设定上述初始状态后，重新搜索上述最合适解。
14.根据权利要求12或13所述的信息处理装置，其中，
上述优化处理部通过使似然函数的期待值最大化来搜索使上述点群数据相对于多个上述几何模型的表面的残差最小化的上述最合适解，
上述似然函数具有正则项、以及上述对象物模型的左右的对称性所涉及的惩罚项的至少任意一方。
15.一种模型数据创建程序，使计算机执行如下处理：
从获得三维的位置信息的传感器中，获取具有经由关节连接的多个部位的对象物的表面所涉及的点群数据；
基于对象物模型和上述点群数据来，一边改变上述对象物模型，一边搜索与上述点群数据匹配的上述对象物模型的最合适解，上述对象物模型使用具有轴的多个几何模型来表达多个上述部位；以及
输出上述最合适解或者基于该最合适解的对象物信息。
16.一种模型数据创建方法，通过计算机执行如下步骤：
从获得三维的位置信息的传感器中，获取具有经由关节连接的多个部位的对象物的表面所涉及的点群数据；
基于对象物模型和上述点群数据来一边改变上述对象物模型，一边搜索与上述点群数据匹配的上述对象物模型的最合适解，上述对象物模型使用具有轴的多个几何模型来表达多个上述部位；以及
输出上述最合适解或者基于该最合适解的对象物信息。
CN201780093678.0A 2017-08-07 2017-08-07 信息处理装置、模型数据创建程序、模型数据创建方法 Pending CN111033560A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/028557 WO2019030794A1 (ja) 2017-08-07 2017-08-07 情報処理装置、モデルデータ作成プログラム、モデルデータ作成方法

Publications (1)

Publication Number Publication Date
CN111033560A true CN111033560A (zh) 2020-04-17

Family

ID=65270976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780093678.0A Pending CN111033560A (zh) 2017-08-07 2017-08-07 信息处理装置、模型数据创建程序、模型数据创建方法

Country Status (5)

Country Link
US (1) US11188742B2 (zh)
EP (1) EP3667611A4 (zh)
JP (1) JP6947215B2 (zh)
CN (1) CN111033560A (zh)
WO (1) WO2019030794A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11104001B2 (en) * 2019-03-13 2021-08-31 Sony Interactive Entertainment Inc. Motion transfer of highly dimensional movements to lower dimensional robot movements
JP7331927B2 (ja) * 2019-07-23 2023-08-23 富士通株式会社 生成方法、生成プログラムおよび情報処理装置
US11113873B1 (en) * 2019-09-27 2021-09-07 Zoox, Inc. Modeling articulated objects
JP7268754B2 (ja) 2019-10-03 2023-05-08 富士通株式会社 評価方法、評価プログラムおよび情報処理装置
JP7375829B2 (ja) * 2019-12-11 2023-11-08 富士通株式会社 生成方法、生成プログラム及び情報処理システム
WO2022018811A1 (ja) * 2020-07-20 2022-01-27 日本電信電話株式会社 被写体の３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム
US11202951B1 (en) * 2020-07-27 2021-12-21 Tempo Interactive Inc. Free-standing a-frame exercise equipment cabinet
WO2022130610A1 (ja) * 2020-12-18 2022-06-23 株式会社日立製作所 身体能力評価サーバ、身体能力評価システム、及び身体能力評価方法
WO2023037401A1 (ja) * 2021-09-07 2023-03-16 富士通株式会社 骨格認識方法、骨格認識プログラム、及び体操競技採点支援装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08214289A (ja) * 1994-12-06 1996-08-20 Olympus Optical Co Ltd 時系列画像解析装置及びその解析方法
CN101542520A (zh) * 2007-03-09 2009-09-23 欧姆龙株式会社 识别处理方法及使用该方法的图像处理装置
JP2015102913A (ja) * 2013-11-21 2015-06-04 キヤノン株式会社 姿勢推定装置及び姿勢推定方法
US20150206003A1 (en) * 2009-05-11 2015-07-23 Universitat Zu Lubeck Method for the Real-Time-Capable, Computer-Assisted Analysis of an Image Sequence Containing a Variable Pose
JP2015135333A (ja) * 2015-02-13 2015-07-27 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
US20170186165A1 (en) * 2015-12-29 2017-06-29 Microsoft Technology Licensing, Llc Tracking rigged smooth-surface models of articulated objects
CN110603570A (zh) * 2017-05-10 2019-12-20 富士通株式会社 对象物识别方法、装置、系统、程序

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10149445A (ja) 1996-11-19 1998-06-02 Image Joho Kagaku Kenkyusho 身体動作解析可視化装置
JP2010015472A (ja) 2008-07-07 2010-01-21 Nippon Telegr & Teleph Corp <Ntt> 歩行者性別判定装置、歩行者性別判定方法、歩行者性別判定プログラムおよびその記録媒体
US8542252B2 (en) 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
JP5297403B2 (ja) 2010-02-26 2013-09-25 キヤノン株式会社 位置姿勢計測装置、位置姿勢計測方法、プログラムおよび記憶媒体
EP2383696A1 (en) * 2010-04-30 2011-11-02 LiberoVision AG Method for estimating a pose of an articulated object model
EP3751517A1 (en) * 2011-05-16 2020-12-16 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Fast articulated motion tracking
US9235928B2 (en) * 2012-01-24 2016-01-12 University Of Southern California 3D body modeling, from a single or multiple 3D cameras, in the presence of motion
EP2674913B1 (en) * 2012-06-14 2014-07-23 Softkinetic Software Three-dimensional object modelling fitting & tracking.
US9928412B2 (en) * 2014-10-17 2018-03-27 Ebay Inc. Method, medium, and system for fast 3D model fitting and anthropometrics
US9911219B2 (en) * 2015-05-13 2018-03-06 Intel Corporation Detection, tracking, and pose estimation of an articulated body
US9898858B2 (en) * 2016-05-18 2018-02-20 Siemens Healthcare Gmbh Human body representation with non-rigid parts in an imaging system
EP3249921A1 (en) * 2016-05-24 2017-11-29 Thomson Licensing Method, apparatus and stream for immersive video format

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08214289A (ja) * 1994-12-06 1996-08-20 Olympus Optical Co Ltd 時系列画像解析装置及びその解析方法
CN101542520A (zh) * 2007-03-09 2009-09-23 欧姆龙株式会社 识别处理方法及使用该方法的图像处理装置
US20150206003A1 (en) * 2009-05-11 2015-07-23 Universitat Zu Lubeck Method for the Real-Time-Capable, Computer-Assisted Analysis of an Image Sequence Containing a Variable Pose
JP2015102913A (ja) * 2013-11-21 2015-06-04 キヤノン株式会社 姿勢推定装置及び姿勢推定方法
JP2015135333A (ja) * 2015-02-13 2015-07-27 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
US20170186165A1 (en) * 2015-12-29 2017-06-29 Microsoft Technology Licensing, Llc Tracking rigged smooth-surface models of articulated objects
CN110603570A (zh) * 2017-05-10 2019-12-20 富士通株式会社 对象物识别方法、装置、系统、程序

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HORIUCHI: "Hemi-form Geometric models for sing-scan 3d point clouds", JOURNAL OF THE ROBOTICS SOCIETY OF JAPAN, pages 57 - 66 *
MIYAMOTO: "human pose estimation from 3d object skeleton using articulated cylindrical human model", IPSJ SIG NOTES, pages 137 - 144 *
MIYAMOTO: "human pose estimation from 3D object skeleton using articulated cylindrical human model", pages 137 - 144 *

Also Published As

Publication number Publication date
EP3667611A4 (en) 2020-08-26
WO2019030794A1 (ja) 2019-02-14
US11188742B2 (en) 2021-11-30
US20200175266A1 (en) 2020-06-04
EP3667611A1 (en) 2020-06-17
JP6947215B2 (ja) 2021-10-13
JPWO2019030794A1 (ja) 2020-08-06

Similar Documents

Publication Publication Date Title
CN111033560A (zh) 信息处理装置、模型数据创建程序、模型数据创建方法
Pishchulin et al. Building statistical shape spaces for 3d human modeling
CN110443885B (zh) 基于随机人脸图像的三维人头脸模型重建方法
US11816850B2 (en) Three-dimensional object reconstruction
Deng et al. A Survey of Non‐Rigid 3D Registration
Petit et al. Tracking elastic deformable objects with an RGB-D sensor for a pizza chef robot
US11126831B2 (en) Object recognition method, device, system, and program
Saini et al. Markerless human motion tracking using hierarchical multi-swarm cooperative particle swarm optimization
JP7378642B2 (ja) 生成的非線形人間形状モデル
CN111260702B (zh) 激光三维点云与ct三维点云配准方法
Wu et al. An unsupervised real-time framework of human pose tracking from range image sequences
US11461914B2 (en) Measuring surface distances on human bodies
JP2005165923A (ja) 検出装置および検出方法
Jatesiktat et al. Personalized markerless upper-body tracking with a depth camera and wrist-worn inertial measurement units
Ly et al. Co-evolutionary predictors for kinematic pose inference from rgbd images
CN116580148A (zh) 一种基于人体点云与测量参数的参数化人体模型拟合方法
CN116248920A (zh) 虚拟角色直播处理方法、装置及系统
Rymut et al. GPU-accelerated human motion tracking using particle filter combined with PSO
WO2018207292A1 (ja) 対象物認識方法、装置、システム、プログラム
CN107316343A (zh) 一种基于数据驱动的模型处理方法及设备
CN106570894B (zh) 基于g-w距离的3d图形匹配方法
CN111311648A (zh) 基于协作差分进化滤波的人手-物体交互过程跟踪方法
Golyanik Robust Methods for Dense Monocular Non-Rigid 3D Reconstruction and Alignment of Point Clouds
JP2007048151A (ja) ３次元曲面への物体メッシュモデルの写像方法
Bhanu et al. Model-based human recognition—2D and 3D gait

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination