CN104952104A - 一种三维人体姿态估计方法和装置 - Google Patents

一种三维人体姿态估计方法和装置 Download PDF

Info

Publication number
CN104952104A
CN104952104A CN201410116395.1A CN201410116395A CN104952104A CN 104952104 A CN104952104 A CN 104952104A CN 201410116395 A CN201410116395 A CN 201410116395A CN 104952104 A CN104952104 A CN 104952104A
Authority
CN
China
Prior art keywords
human body
undetermined
image
dimensional
attitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410116395.1A
Other languages
English (en)
Inventor
王子彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201410116395.1A priority Critical patent/CN104952104A/zh
Publication of CN104952104A publication Critical patent/CN104952104A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种三维人体姿态估计方法和装置,该方法应用于电子设备,该方法包括:获得由图像采集单元采集得到的图像;检测该图像中存在的待定人体部位的第一图像区域,确定该第一图像区域中所包含的待定人体部位的二维姿态;依据预先训练得到的人体各个部位的二维姿态与三维姿态的映射关系,确定待定人体部位所对应的三维姿态,得到待定三维人体部位;从待定三维人体部位中确定出满足人体骨架的链接约束关系的目标三维人体部位;根据人体骨架的链接约束关系,将目标三维人体部位进行链接组合,构建出三维人体姿态。该方法可以基于单个图像采集单元摄像到的图像进行三维人体姿态估计。

Description

一种三维人体姿态估计方法和装置
技术领域
本发明涉及计算机视觉技术领域,更具体的说是涉及一种三维人体姿态估计方法和装置。
背景技术
通过图像分析人体的姿态是计算机视觉研究的重要问题。人体姿态估计被广泛应用于人机交互、电影特效以及智能监控系统等诸多领域。
三维人体姿态估计的应用也日益广泛。但为了完成三维人体姿态估计,则对采集图像的摄像头有特定要求,如需要结构光摄像头,以将结构光投影到人体表面产生不同的模式的光斑来便于进行三维人体姿态估计;又如,采用多目摄像头来进行图像监测,以采用立体匹配技术得到人体表面的深度距离,然后推测人体的3D姿态。因此,为了完成三维人体姿态估计,需要设置满足特定要求的摄像头,如果图像监测设备仅仅具有单目摄像头,也就是说该图像监测设备仅有一个图像采集单元来进行图像采集时,则可能需要重新更换图像监测仪器,否则将不能对摄取到的图像进行3D人体姿态估计。
发明内容
有鉴于此,本发明提供一种三维人体姿态估计方法和装置,以实现基于单个图像采集单元采集的图像来进行三维人体姿态估计。
为实现上述目的,本发明提供如下技术方案:一种三维人体姿态估计方法,应用于电子设备,包括:
获得包含人体的图像,所述图像由图像采集单元采集得到;
检测所述图像中存在的待定人体部位的第一图像区域,确定所述第一图像区域中所包含的待定人体部位的二维姿态;
依据预先训练得到的人体各个部位的二维姿态与三维姿态的映射关系,确定所述第一图像区域中包含的待定人体部位所对应的三维姿态,得到待定三维人体部位;
从所述待定三维人体部位中确定出满足所述人体骨架的链接约束关系的目标三维人体部位;
根据人体骨架的链接约束关系,将所述目标三维人体部位进行链接组合,构建出三维人体姿态。
优选的,所述检测所述图像中存在待定人体部位的第一图像区域,确定所述第一图像区域中所包含的所述待定人体部位的二维姿态,包括:
检测所述待定图像中存在待定人体部位的第一图像区域,确定所述第一图像区域中所包含的待定人体部位的名称、所述待定人体部位在所述图像中的位置以及所述待定人体部位的尺度信息。
优选的,所述依据预先训练得到的人体各个部位的二维姿态与三维姿态的映射关系,确定所述第一图像区域中包含的待定人体部位所对应的三维姿态,得到待定三维人体部位,包括:
依据预先训练得到的人体各个部位在二维空间中的尺度与三维空间中的角度的映射关系,将所述待定人体部位在二维姿态中的尺度映射为三维空间中的角度,确定出所述待定人体部位在三维空间中的角度;
结合所述待定人体部位的二维姿态以及所述待定人体部位在三维空间中的角度,恢复出所述待定人体部位的三维姿态,得到待定三维人体部位。
优选的,当根据人体各部位在二维空间中的尺度与三维空间的角度映射关系,得到所述待定人体部位在三维空间中的角度有多个时,还包括:
确定所述图像中包含的人体的人脸朝向;
基于所述人脸朝向,从得到的多个角度中,确定出与所述人脸朝向对应的所述待定人体部位在三维空间中的尺度。
优选的,所述根据人体骨架的链结约束关系,将所述目标三维人体部位进行链接组合,构建出三维人体姿态,包括:
根据人体骨架的连接约束关系,将所述目标三维人体部位进行链接组合,并结合运动约束对所述目标三维人体部位链接组合得到的待定三维人体进行优化,构建出三维人体姿态。
另一方面,本发明还提供了一种三维人体姿态估计装置,应用于电子设备,该电子设备具有图像采集单元,所述装置包括:
图像获取单元,用于获得包含人体的图像,所述图像由图像采集单元采集得到;
检测单元,用于检测所述图像中存在的待定人体部位的第一图像区域,确定所述第一图像区域中所包含的待定人体部位的二维姿态;
转换单元,用于依据预先训练得到的人体各个部位的二维姿态与三维姿态的映射关系,确定所述第一图像区域中包含的待定人体部位所对应的三维姿态,得到待定三维人体部位;
筛选单元,用于从所述待定三维人体部位中确定出满足所述人体骨架的链接约束关系的目标三维人体部位;
姿态估计单元,用于根据人体骨架的链接约束关系,将所述目标三维人体部位进行链接组合,构建出三维人体姿态。
优选的,所述检测单元,包括:
检测子单元,用于检测所述待定图像中存在待定人体部位的第一图像区域,确定所述第一图像区域中所包含的待定人体部位的名称、所述待定人体部位在所述图像中的位置以及所述待定人体部位的尺度信息。
优选的,所述转换单元,包括:
角度确定子单元,用于依据预先训练得到的人体各个部位在二维空间中的尺度与三维空间中的角度的映射关系,将所述待定人体部位在二维姿态中的尺度映射为三维空间中的角度,确定出所述待定人体部位在三维空间中的角度;
三维部位构建子单元,用于结合所述待定人体部位的二维姿态以及所述待定人体部位在三维空间中的角度,恢复出所述待定人体部位的三维姿态,得到待定三维人体部位。
优选的,当所述角度确定子单元根据人体各个部位在二维空间中的尺度与三维空间的角度映射关系,得到所述待定人体部位在三维空间中的角度有多个时,所述装置还包括:
朝向确定单元,用于确定所述图像中包含的人体的人脸朝向;
角度定位单元,用于基于所述人脸朝向,从得到的多个角度中,确定出与所述人脸朝向对应的所述待定人体部位在三维空间中的尺度。
优选的,所述姿态估计单元,包括:
姿态估计子单元,用于根据人体骨架的连接约束关系,将所述目标三维人体部位进行链接组合,并结合运动约束对所述目标三维人体部位链接组合得到的待定三维人体进行优化,构建出三维人体姿态。
经由上述的技术方案可知,本发明在获取待图像采集单元采集到的图像,并检测出包含人体的图像中所包含的待定人体部位的二维姿态后,根据预先训练得到的各个人体部位的二维姿态与三维姿态的映射关系,能够将各个二维姿态的待定人体部位转换为三维姿态的待定三维人体部位,然后将得到的待定三维人体部位中,满足人体骨架的链接约束关系的目标三维人体部位进行组合,构建出三维人体姿态,从而实现了利用单个图像采集单元采集到的图像,估计出三维人体姿态。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1示出了本发明一种三维人体姿态估计方法一个实施例的流程示意图;
图2示出了本发明一种三维人体姿态估计方法另一个实施例的流程示意图;
图3示出了本发明一种三维人体姿态估计装置一个实施例的结构示意图。
具体实施方式
本发明实施例公开了一种三维人体姿态估计方法和装置,以实现基于单个摄像头来进行三维人体姿态估计。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,其示出了本发明一种三维人体姿态估计方法一个实施例的流程示意图,本实施例的方法应用于一电子设备,该电子设备可以具有图像采集单元。该方法可以包括:
101,获得包含人体的图像。
其中,该图像由图像采集单元采集得到。
在本发明实施例中,该电子设备可以为设置有或连接有图像采集单元的计算机、手机等设备。该图像采集单元采集人体的图像后,由该电子设备对该图像进行处理,以对该图像中包含的人体部位进行识别与分析。
可以理解的是,图像采集单元在同一时刻只能获取到一幅图像。电子设备通过该图像采集单元采集图像实际上可以理解为该电子设备仅能够实现通过单目摄像头采集图像,从而无法在同一时刻获取到多幅图像。
102,检测该图像中存在的待定人体部位的第一图像区域,确定该第一图像区域中所包含的待定人体部位的二维姿态。
检测该图像中可能存在人体部位的至少一个区域,并识别出各个区域包含的人体部位。其中,为了便于区分,将可能包含人体部位的区域称为第一图像区域,将该第一图像区域中存在的可能的人体部位称为待定人体部位。
由于该图像中的人体图像为二维图像,因此,确定出该第一图像区域内的待定人体部位后,只能得到该待定人体部位在该图像中的二维姿态。
103,依据预先训练得到的人体各个部位的二维姿态与三维姿态的映射关系,确定该第一图像区域中包含的待定人体部位所对应的三维姿态,得到待定三维人体部位。
在本申请实施例中预先训练得到了人体各个部位的二维姿态与三维姿态的映射关系,因此,在确定出人体中某个人体部位的二维姿态后,根据该映射关系可以确定出该人体部位的二维姿态所对应的三维姿态,进而确定三维姿态的该人体部位。
其中,确定出二维姿态的待定人体部位所对应的三维姿态后,将三维姿态的待定人体部位称为待定三维人体部位。
104,从得到的待定三维人体部位中确定出满足人体骨架的链接约束关系的目标三维人体部位。
105,根据该人体骨架的链接约束关系,将目标三维人体部位进行链接组合,构建出三维人体姿态。
由于从该图像检测出的待定人体部位有可能不是人体部位,而同一个人体的各个人体部位之间应该符合人体骨架的链接约束,因此,从得到的多个待定三维人体部位中筛除不满足该人体骨架的链接约束关系的待定人体部位,并按照人体骨架的链接约束关系,将满足人体骨架的链接约束关系的待定三维人体不问进行链接组合,从而得到三维人体姿态。
其中,在本发明实施例中,将满足人体骨架的链接约束关系的待定三维人体部位称为目标三维人体部位。由于目标三维人体部位均是来自同一个人体的部位,因此,按照人体骨架的链接约束,能够将各个目标三维人体部位组成称为一个三维的人体,实现了从二维人体图像中估计出三维人体姿态。
在本实施例中,检测出包含人体的图像中所包含的待定人体部位的二维姿态后,根据预先训练得到的各个人体部位的二维姿态与三维姿态的映射关系,能够将各个二维姿态的待定人体部位转换为三维姿态的待定三维人体部位,然后将得到的待定三维人体部位中,满足人体骨架的链接约束关系的目标三维人体部位进行组合,构建出三维人体姿态,从而实现了利用单个图像采集单元采集到的图像,估计出三维人体姿态。
可以理解的是,在本发明中人体骨架的链接约束可以认为是人体各个部位以及不同关节之间的连接关系。基于人体的组合结构可知,各个人体部位之间的连接关系是固定的,如,人体的胳膊只能和人体的躯干两侧的上端指定区域相连,而人体的头部只能和人体的脖颈相连等,因此,人体骨架之间的各个部位或关节具体特定的链接约束关系,根据该链接约束关系,便可以判断检测出的各个人体部位之间是否能够相连以及具有怎样的连接关系。
可选的,在本发明任意一个实施例中,检测出该图像中包含的待定人体部位的二维姿态,可以包含该待定人体部位在该图像中的位置以及该待定人体部位的尺度信息。
当然,在该二维姿态中还可以包含有该待定人体部位的名称,如该待定人体部位为人体的胳膊或躯干等。
在实际应用中,该依据预先训练得到的人体各个部位的二维姿态与三维姿态的映射关系可以是预先获取三维人体的样本数据,对该样本数据进行训练,确定出人体不同部位所对应的三维姿态。这样,根据人体不同部位在二维平面中的二维姿态,便可以确定人体各个部位的二维姿态与三维姿态的映射关系。
其中,在本申请中二维姿态与三维姿态的映射关系中可以直接包含了不同人体部位的二维姿态中的各项参数与三维姿态中各项参数的一一对应关系。
而考虑到人体在平面的二维姿态中只是无法显示出该人体在三维空间的角度信息,而人体在三维姿态在二维平面中投影仅仅是得到一个位置和人体部位的尺度信息,因此,构建出的映射关系中可以仅包含有人体部位的二维姿态中的尺度与该人体部位在三维姿态中的尺度的对应关系即可。
参见图2,其示出了本发明一种三维人体姿态估计方法另一个实施例的流程示意图,本实施例的方法应用于一电子设备,该电子设备可以具有图像采集单元。该方法可以包括:
201,获得包含人体的图像。
其中,该图像由图像采集单元采集得到。
202,检测该图像中存在的待定人体部位的第一图像区域,确定该第一图像区域中所包含的待定人体部位的二维姿态。
203,依据预先训练得到的人体各个部位在二维空间中的尺度与三维空间中的角度的映射关系,将待定人体部位在二维姿态中的尺度映射为三维空间中的角度,确定出待定人体部位在三维空间中的角度。
当人体处于不同姿势时,人体不同的部位在三维空间中所处角度不同,而同一人体部位在三维空间中所处的角度不同时,该人体部位向二维平面进行投影后,该人体部位在二维平面的尺度也会有所不同,从而使得该人体部位在二维空间的尺度与人体部位在三维空间的角度一定的对应关系。
如,当一个人的胳膊垂直与地面的情况下,则正面拍摄出人体的二维图像后,在该二维图像中能够看到该人体的整个胳膊平面,该胳膊在该二维图像中长度较长;如果该人将胳膊举成水平,且胳膊指向该图像采集装置,则拍摄到的二维图像中则只能看到该人的手部,该人的胳膊的长度可以近似为零。根据该二维图像中胳膊的尺度,则可以确定出该人体的胳膊在三维空间的角度。
204,结合待定人体部位的二维姿态以及待定人体部位在三维空间中的角度,恢复出待定人体部位的三维姿态,得到待定三维人体部位。
由于人体部位在二维平面中的位置与在三维空间中的位置相同,因此,得到该人体部位在三维空间中的角度以及位置后,便可以恢复出该人体部位的三维姿态。
205,从得到的待定三维人体部位中确定出满足人体骨架的链接约束关系的目标三维人体部位。
206,根据该人体骨架的链接约束关系,将目标三维人体部位进行链接组合,构建出三维人体姿态。
可以理解的是,当人体在三维空间中所处姿势不同时,由于图像摄取角度的不同,也会使得在三维空间中不同角度的人体部位投影到二维平面后,该人体部位在二维平面中的尺度相同,使得人体部位在二维空间中的尺度可能会对应多个三维空间的角度。当根据人体各部位在二维空间中的尺度与三维空间的角度映射关系,得到待定人体部位在三维空间中的角度有多个时,还可以确定该图像中所包含的人体的人脸朝向,并基于该人脸朝向,从得到的多个角度中,确定出与该人脸朝向对应的该待定人体部位在三维空间中的尺度。
根据该图像中包含的人体的人脸朝向,可以进一步确定该人体的朝向以及角度范围,从而可以从确定该人体的人体部位所对应的多个角度中,选择出与该人体的人脸朝向相匹配的角度。
可选的,在本申请以上任意一个实施例中,为了能够根据人体图像中各人体部位的二维姿态恢复出各个人体部位的三维姿态,可以预先获得包含人体不同部位的图像,以及不同人体部位的三维数据,将这些图像以及三维数据作为训练样本训练不同人体部位的三维检测器。其中,训练人体部位的三维检测器与训练人体的三维检测器的过程相似。
利用该三维检测器可以对该图像中的各个人体部位进行检测,并恢复出人体部位的三维姿态。可以理解的是,在该三维检测器中实际上也包含了不同人体部位的二维姿态的特征信息与三维姿态的特征信息的对应关系。
可以理解的是,在本发明任意一个实施例中,由于从图像中检测待定人体部位时,有可能会将非人体部位误检测为人体部位,因此,根据人体骨架的连接约束关系,将所述目标三维人体部位进行链接组合的过程中,还可以结合运动约束对该目标三维人体部位链接组合得到的待定三维人体进行优化,构建出三维人体姿态。
其中,该运动约束包含了人体各个部位的关节在运动过程中角度的变化范围,以及人体各个部位之间相对位置关系的变化范围等。
另一方面,对应本发明的一种三维人体姿态估计装置,本发明还提供了一种三维人体姿态估计装置。参见图3,其示出了本发明一种三维人体姿态估计装置一个实施例的结构示意图,本实施例的装置可以应用于电子设备,该电子设备具有图像采集单元,本实施例的装置可以包括:
图像获取单元301,用于获得包含人体的图像,所述图像由所述图像采集单元采集得到。
检测单元302,用于检测所述图像中存在的待定人体部位的第一图像区域,确定所述第一图像区域中所包含的待定人体部位的二维姿态。
转换单元303,用于依据预先训练得到的人体各个部位的二维姿态与三维姿态的映射关系,确定所述第一图像区域中包含的待定人体部位所对应的三维姿态,得到待定三维人体部位。
筛选单元304,用于从所述待定三维人体部位中确定出满足所述人体骨架的链接约束关系的目标三维人体部位。
姿态估计单元305,用于根据人体骨架的链接约束关系,将所述目标三维人体部位进行链接组合,构建出三维人体姿态。
在本实施例的装置,由检测单元检测出由图像采集单元采集的图像中所包含的待定人体部位的二维姿态后,由转换单元根据预先训练得到的各个人体部位的二维姿态与三维姿态的映射关系,将各个二维姿态的待定人体部位转换为三维姿态的待定三维人体部位,然后通过姿态估计单元将得到的待定三维人体部位中,满足人体骨架的链接约束关系的目标三维人体部位进行组合,构建出三维人体姿态,从而实现了利用单个图像采集单元采集到的图像,估计出三维人体姿态,降低了三维人体姿态估计的复杂度。
可选的,在本发明的所述装置任意一个实施例中,该检测单元可以包括:
检测子单元,用于检测所述待定图像中存在待定人体部位的第一图像区域,确定所述第一图像区域中所包含的待定人体部位的名称、所述待定人体部位在所述图像中的位置以及所述待定人体部位的尺度信息。
可选的,在以上任意一个实施例中,该转换单元可以包括:
角度确定子单元,用于依据预先训练得到的人体各个部位在二维空间中的尺度与三维空间中的角度的映射关系,将所述待定人体部位在二维姿态中的尺度映射为三维空间中的角度,确定出所述待定人体部位在三维空间中的角度;
三维部位构建子单元,用于结合所述待定人体部位的二维姿态以及所述待定人体部位在三维空间中的角度,恢复出所述待定人体部位的三维姿态,得到待定三维人体部位。
进一步的,当所述角度确定子单元根据人体各个部位在二维空间中的尺度与三维空间的角度映射关系,得到所述待定人体部位在三维空间中的角度有多个时,所述装置还可以包括:
朝向确定单元,用于确定所述图像中包含的人体的人脸朝向;
角度定位单元,用于基于所述人脸朝向,从得到的多个角度中,确定出与所述人脸朝向对应的所述待定人体部位在三维空间中的尺度。
可选的,在以上任意一个实施例中,该姿态估计单元可以包括:
姿态估计子单元,用于根据人体骨架的连接约束关系,将所述目标三维人体部位进行链接组合,并结合运动约束对所述目标三维人体部位链接组合得到的待定三维人体进行优化,构建出三维人体姿态。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种三维人体姿态估计方法,应用于电子设备,其特征在于,包括:
获得包含人体的图像,所述图像由图像采集单元采集得到;
检测所述图像中存在的待定人体部位的第一图像区域,确定所述第一图像区域中所包含的待定人体部位的二维姿态;
依据预先训练得到的人体各个部位的二维姿态与三维姿态的映射关系,确定所述第一图像区域中包含的待定人体部位所对应的三维姿态,得到待定三维人体部位;
从所述待定三维人体部位中确定出满足所述人体骨架的链接约束关系的目标三维人体部位;
根据人体骨架的链接约束关系,将所述目标三维人体部位进行链接组合,构建出三维人体姿态。
2.根据权利要求1所述的方法,其特征在于,所述检测所述图像中存在待定人体部位的第一图像区域,确定所述第一图像区域中所包含的所述待定人体部位的二维姿态,包括:
检测所述待定图像中存在待定人体部位的第一图像区域,确定所述第一图像区域中所包含的待定人体部位的名称、所述待定人体部位在所述图像中的位置以及所述待定人体部位的尺度信息。
3.根据权利要求1或2所述的方法,其特征在于,所述依据预先训练得到的人体各个部位的二维姿态与三维姿态的映射关系,确定所述第一图像区域中包含的待定人体部位所对应的三维姿态,得到待定三维人体部位,包括:
依据预先训练得到的人体各个部位在二维空间中的尺度与三维空间中的角度的映射关系,将所述待定人体部位在二维姿态中的尺度映射为三维空间中的角度,确定出所述待定人体部位在三维空间中的角度;
结合所述待定人体部位的二维姿态以及所述待定人体部位在三维空间中的角度,恢复出所述待定人体部位的三维姿态,得到待定三维人体部位。
4.根据权利要求3所述的方法,其特征在于,当根据人体各部位在二维空间中的尺度与三维空间的角度映射关系,得到所述待定人体部位在三维空间中的角度有多个时,还包括:
确定所述图像中包含的人体的人脸朝向;
基于所述人脸朝向,从得到的多个角度中,确定出与所述人脸朝向对应的所述待定人体部位在三维空间中的尺度。
5.根据权利要求1所述的方法,其特征在于,所述根据人体骨架的链结约束关系,将所述目标三维人体部位进行链接组合,构建出三维人体姿态,包括:
根据人体骨架的连接约束关系,将所述目标三维人体部位进行链接组合,并结合运动约束对所述目标三维人体部位链接组合得到的待定三维人体进行优化,构建出三维人体姿态。
6.一种三维人体姿态估计装置,应用于电子设备,所述电子设备具有图像采集单元,其特征在于,包括:
图像获取单元,用于获得包含人体的图像,所述图像由所述图像采集单元采集得到;
检测单元,用于检测所述图像中存在的待定人体部位的第一图像区域,确定所述第一图像区域中所包含的待定人体部位的二维姿态;
转换单元,用于依据预先训练得到的人体各个部位的二维姿态与三维姿态的映射关系,确定所述第一图像区域中包含的待定人体部位所对应的三维姿态,得到待定三维人体部位;
筛选单元,用于从所述待定三维人体部位中确定出满足所述人体骨架的链接约束关系的目标三维人体部位;
姿态估计单元,用于根据人体骨架的链接约束关系,将所述目标三维人体部位进行链接组合,构建出三维人体姿态。
7.根据权利要求6所述的装置,其特征在于,所述检测单元,包括:
检测子单元,用于检测所述待定图像中存在待定人体部位的第一图像区域,确定所述第一图像区域中所包含的待定人体部位的名称、所述待定人体部位在所述图像中的位置以及所述待定人体部位的尺度信息。
8.根据权利要求6或7所述的装置,其特征在于,所述转换单元,包括:
角度确定子单元,用于依据预先训练得到的人体各个部位在二维空间中的尺度与三维空间中的角度的映射关系,将所述待定人体部位在二维姿态中的尺度映射为三维空间中的角度,确定出所述待定人体部位在三维空间中的角度;
三维部位构建子单元,用于结合所述待定人体部位的二维姿态以及所述待定人体部位在三维空间中的角度,恢复出所述待定人体部位的三维姿态,得到待定三维人体部位。
9.根据权利要求8所述的装置,其特征在于,当所述角度确定子单元根据人体各个部位在二维空间中的尺度与三维空间的角度映射关系,得到所述待定人体部位在三维空间中的角度有多个时,所述装置还包括:
朝向确定单元,用于确定所述图像中包含的人体的人脸朝向;
角度定位单元,用于基于所述人脸朝向,从得到的多个角度中,确定出与所述人脸朝向对应的所述待定人体部位在三维空间中的尺度。
10.根据权利要求6所述的装置,其特征在于,所述姿态估计单元,包括:
姿态估计子单元,用于根据人体骨架的连接约束关系,将所述目标三维人体部位进行链接组合,并结合运动约束对所述目标三维人体部位链接组合得到的待定三维人体进行优化,构建出三维人体姿态。
CN201410116395.1A 2014-03-26 2014-03-26 一种三维人体姿态估计方法和装置 Pending CN104952104A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410116395.1A CN104952104A (zh) 2014-03-26 2014-03-26 一种三维人体姿态估计方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410116395.1A CN104952104A (zh) 2014-03-26 2014-03-26 一种三维人体姿态估计方法和装置

Publications (1)

Publication Number Publication Date
CN104952104A true CN104952104A (zh) 2015-09-30

Family

ID=54166729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410116395.1A Pending CN104952104A (zh) 2014-03-26 2014-03-26 一种三维人体姿态估计方法和装置

Country Status (1)

Country Link
CN (1) CN104952104A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056089A (zh) * 2016-06-06 2016-10-26 中国科学院长春光学精密机械与物理研究所 一种三维姿态识别方法及系统
CN106909213A (zh) * 2015-12-23 2017-06-30 掌赢信息科技(上海)有限公司 一种基于人脸识别的控制指令生成方法及电子设备
CN107845112A (zh) * 2017-10-13 2018-03-27 上海斐讯数据通信技术有限公司 一种引导用户使用电子产品姿势的方法及系统
CN108960211A (zh) * 2018-08-10 2018-12-07 罗普特(厦门)科技集团有限公司 一种多目标人体姿态检测方法以及系统
CN109002163A (zh) * 2018-07-10 2018-12-14 深圳大学 三维交互姿势采样方法、装置、计算机设备及存储介质
CN109621332A (zh) * 2018-12-29 2019-04-16 北京卡路里信息技术有限公司 一种健身动作的属性确定方法、装置、设备和存储介质
CN110276805A (zh) * 2019-06-28 2019-09-24 联想(北京)有限公司 一种数据处理方法及电子设备
CN110349240A (zh) * 2019-06-26 2019-10-18 华中科技大学 一种无监督下基于姿势转换的行人图片合成方法和系统
CN111062326A (zh) * 2019-12-02 2020-04-24 北京理工大学 一种基于几何驱动的自监督人体3d姿态估计网络训练方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008140101A (ja) * 2006-12-01 2008-06-19 Advanced Telecommunication Research Institute International 無制約、リアルタイム、かつマーカ不使用の手トラッキング装置
CN101388114A (zh) * 2008-09-03 2009-03-18 北京中星微电子有限公司 一种人体姿态估计的方法和系统
CN101782968A (zh) * 2010-02-03 2010-07-21 北京航空航天大学 基于测地模型的人体骨骼提取和朝向判定方法
CN102385695A (zh) * 2010-09-01 2012-03-21 索尼公司 人体三维姿势识别方法和装置
WO2012046392A1 (ja) * 2010-10-08 2012-04-12 パナソニック株式会社 姿勢推定装置及び姿勢推定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008140101A (ja) * 2006-12-01 2008-06-19 Advanced Telecommunication Research Institute International 無制約、リアルタイム、かつマーカ不使用の手トラッキング装置
CN101388114A (zh) * 2008-09-03 2009-03-18 北京中星微电子有限公司 一种人体姿态估计的方法和系统
CN101782968A (zh) * 2010-02-03 2010-07-21 北京航空航天大学 基于测地模型的人体骨骼提取和朝向判定方法
CN102385695A (zh) * 2010-09-01 2012-03-21 索尼公司 人体三维姿势识别方法和装置
WO2012046392A1 (ja) * 2010-10-08 2012-04-12 パナソニック株式会社 姿勢推定装置及び姿勢推定方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909213A (zh) * 2015-12-23 2017-06-30 掌赢信息科技(上海)有限公司 一种基于人脸识别的控制指令生成方法及电子设备
CN106056089A (zh) * 2016-06-06 2016-10-26 中国科学院长春光学精密机械与物理研究所 一种三维姿态识别方法及系统
CN106056089B (zh) * 2016-06-06 2019-06-11 中国科学院长春光学精密机械与物理研究所 一种三维姿态识别方法及系统
CN107845112A (zh) * 2017-10-13 2018-03-27 上海斐讯数据通信技术有限公司 一种引导用户使用电子产品姿势的方法及系统
CN109002163A (zh) * 2018-07-10 2018-12-14 深圳大学 三维交互姿势采样方法、装置、计算机设备及存储介质
CN108960211A (zh) * 2018-08-10 2018-12-07 罗普特(厦门)科技集团有限公司 一种多目标人体姿态检测方法以及系统
CN109621332A (zh) * 2018-12-29 2019-04-16 北京卡路里信息技术有限公司 一种健身动作的属性确定方法、装置、设备和存储介质
CN110349240A (zh) * 2019-06-26 2019-10-18 华中科技大学 一种无监督下基于姿势转换的行人图片合成方法和系统
CN110276805A (zh) * 2019-06-28 2019-09-24 联想(北京)有限公司 一种数据处理方法及电子设备
CN111062326A (zh) * 2019-12-02 2020-04-24 北京理工大学 一种基于几何驱动的自监督人体3d姿态估计网络训练方法
CN111062326B (zh) * 2019-12-02 2023-07-25 北京理工大学 一种基于几何驱动的自监督人体3d姿态估计网络训练方法

Similar Documents

Publication Publication Date Title
CN104952104A (zh) 一种三维人体姿态估计方法和装置
CN105701447B (zh) 迎宾机器人
US20180190014A1 (en) Collaborative multi sensor system for site exploitation
CN101794349B (zh) 机器人遥操作增强现实实验系统及方法
US20130293679A1 (en) Upper-Body Skeleton Extraction from Depth Maps
CN104423569A (zh) 指向位置侦测装置、方法及计算机可读取纪录媒体
CN107004275A (zh) 用于确定实物的至少一部分的处于绝对空间比例的3d重构件的空间坐标的方法和系统
CN103514437B (zh) 一种三维手势识别装置及三维手势识别方法
CN104834901A (zh) 一种基于双目立体视觉的人脸检测方法、装置及系统
CN101799717A (zh) 基于手部行为捕捉的人机交互方法
WO2019001237A1 (zh) 一种移动电子设备以及该移动电子设备中的方法
CN102722249A (zh) 操控方法、操控装置及电子装置
Seo et al. A comparative study of in-field motion capture approaches for body kinematics measurement in construction
WO2019019819A1 (zh) 一种用于处理任务区域的任务的移动电子设备以及方法
CN103995595A (zh) 一种基于手势的游戏体感控制方法
Rodríguez et al. Obstacle avoidance system for assisting visually impaired people
CN109359514A (zh) 一种面向deskVR的手势跟踪识别联合策略方法
CN104460951A (zh) 一种人机交互方法
CN103914679A (zh) 一种图像识别方法、装置和电子设备
Momeni-k et al. Height estimation from a single camera view
JP7379065B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN104952105B (zh) 一种三维人体姿态估计方法和装置
CN104700355A (zh) 室内二维平面图的生成方法、装置和系统
CN111399634B (zh) 一种手势引导物体识别的方法及装置
KR102456872B1 (ko) 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150930

RJ01 Rejection of invention patent application after publication