CN104952105B - 一种三维人体姿态估计方法和装置 - Google Patents

一种三维人体姿态估计方法和装置 Download PDF

Info

Publication number
CN104952105B
CN104952105B CN201410119907.XA CN201410119907A CN104952105B CN 104952105 B CN104952105 B CN 104952105B CN 201410119907 A CN201410119907 A CN 201410119907A CN 104952105 B CN104952105 B CN 104952105B
Authority
CN
China
Prior art keywords
human body
dimension
human
guise
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410119907.XA
Other languages
English (en)
Other versions
CN104952105A (zh
Inventor
王子彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201410119907.XA priority Critical patent/CN104952105B/zh
Publication of CN104952105A publication Critical patent/CN104952105A/zh
Application granted granted Critical
Publication of CN104952105B publication Critical patent/CN104952105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种三维人体姿态估计方法和装置,该方法包括:获得人体不同角度的多幅人体图像,该多幅人体图像为通过预置的多个采集不同方位图像的图像采集装置从多个不同角度摄取的人体的多幅图像;对每幅人体图像分别进行二维人体姿态估计,确定每幅人体图像中的该人体的目标二维人体姿态;依据预先构建的二维人体姿态与三维人体姿态的映射库,确定目标二维人体姿态对应的目标三维人体姿态,以恢复出人体在多个不同角度的多个目标三维人体姿态;将多个目标三维人体姿态组合为一个三维人体,构建出该人体的三维姿态。该方法和装置在进行三维人体姿态估计时,对图像采集装置采集人体图像的要求较少,从而降低了三维人体姿态估计的难度。

Description

一种三维人体姿态估计方法和装置
技术领域
本发明涉及计算机视觉研究技术领域,更具体的说是涉及一种三维人体姿态估计方法和装置。
背景技术
通过图像分析人体的姿态是计算机视觉研究的重要问题。人体姿态估计被广泛应用于人机交互、电影特效以及智能监控系统等诸多领域。
目前,基于结构光摄像头采集的图像来进行三维人体姿态估计的应用日益广泛。为了实现基于结构光摄像头采集的图像进行三维人体姿态估计,需要将结构光投影到人体表面产生不同的模式的光斑。虽然该种方式可以完成三维人体姿态估计,但是该种方式需要人体正面面对摄像头的镜头,且人体距离摄像头的距离小于4m,从而对摄取的图像要求较高,增加了三维人体姿态估计的难度。
发明内容
有鉴于此,本发明提供一种三维人体姿态估计方法和装置,以降低三维人体姿态估计中能够对图像采集装置摄取图像的要求,降低三维人体姿态估计的难度。
为实现上述目的,本发明提供如下技术方案:一种三维人体姿态估计方法,包括:
获得人体不同角度的多幅人体图像,所述多幅人体图像为通过预置的多个采集不同方位图像的图像采集装置从多个不同角度摄取的所述人体的多幅图像;
对所述多幅人体图像中每幅人体图像分别进行二维人体姿态估计,确定每幅所述人体图像中的所述人体的目标二维人体姿态;
依据预先构建的二维人体姿态与三维人体姿态的映射库,确定所述目标二维人体姿态对应的目标三维人体姿态,以分别从所述多幅人体图像中恢复出所述人体在所述多个不同角度的多个目标三维人体姿态;
将所述人体在所述多个不同角度的目标三维人体姿态组合为一个三维人体,构建出所述人体的三维姿态。
优选的,所述依据预先构建的二维人体姿态与三维人体姿态的映射库中,确定所述目标二维人体姿态对应的目标三维人体姿态,包括:
从预先构建的二维人体姿态与三维人体姿态的映射库中,匹配出与所述目标二维人体姿态相匹配的参照二维人体姿态;
将所述映射库中与所述参照二维人体姿态对应的参照三维人体姿态确定为所述目标二维人体姿态对应的目标三维人体姿态,得到分别从所述多幅人体图像中恢复出的所述人体在所述多个不同角度的多个目标三维人体姿态。
优选的,构建所述二维人体姿态与三维人体姿态的映射库包括:
获取三维人体运动骨架的数据值,建立三维人体运动数据库;
将所述三维人体运动数据库中的所述三维人体运动骨架上的各点投影到二维平面上,得到所述三维人体运动骨架上各点投影到二维平面上数据值;
根据所述三维人体运动数据库中三维人体运动骨架的数据值以及所述三维人体运动骨架上各点投影到二维平面上的数据值,构建出包含有不同三维人体运动姿态与二维人体姿态的对应关系的映射库。
优选的,所述根据所述三维人体运动数据库中三维人体运动骨架的数据值以及所述三维人体运动骨架上各点投影到二维平面上的数据值,构建出包含有不同三维人体运动姿态与二维人体姿态的对应关系的映射库,包括:
基于流形学习算法对所述三维人体运动骨架的数据值与所述三维人体运动骨架上在二维平面上投影的数据值组成的数据对进行降维处理;
利用降维后的所述数据对,构建出包含有不同三维人体运动姿态与二维人体姿态的对应关系的映射库。
优选的,所述将所述人体在所述多个不同角度的目标三维人体姿态组合为一个三维人体,包括:
根据人体骨架的刚体约束和/或人体运动行为约束,将所述人体在所述多个不同角度的目标三维人体姿态组合为一个三维人体。
另一方面,本发明还提供了一种三维人体姿态估计装置,包括:
图像获取单元,用于获得人体不同角度的多幅人体图像,所述多幅人体图像为通过预置的多个采集不同方位图像的图像采集装置从多个不同角度摄取的所述人体的多幅图像;
二维估计单元,用于对所述多幅人体图像中每幅人体图像分别进行二维人体姿态估计,确定每幅所述人体图像中的所述人体的目标二维人体姿态;
三维估计单元,用于依据预先构建的二维人体姿态与三维人体姿态的映射库,确定所述目标二维人体姿态对应的目标三维人体姿态,以分别从所述多幅人体图像中恢复出所述人体在所述多个不同角度的多个目标三维人体姿态;
姿态构建单元,用于将所述人体在所述多个不同角度的目标三维人体姿态组合为一个三维人体,构建出所述人体的三维姿态。
优选的,所述三维估计单元,包括:
二维匹配子单元,用于从预先构建的二维人体姿态与三维人体姿态的映射库中,匹配出与所述目标二维人体姿态相匹配的参照二维人体姿态;
三维估计子单元,用于将所述映射库中与所述参照二维人体姿态对应的参照三维人体姿态确定为所述目标二维人体姿态对应的目标三维人体姿态,得到分别从所述多幅人体图像中恢复出的所述人体在所述多个不同角度的多个目标三维人体姿态。
优选的,所述装置还包括:
数据获取单元,用于在所述图像获取单元获取所述多幅人体图像之前,获取三维人体运动骨架的数据值,建立三维人体运动数据库;
投影单元,用于将所述三维人体运动数据库中的所述三维人体运动骨架上的各点投影到二维平面上,得到所述三维人体运动骨架上各点投影到二维平面上数据值;
映射构建单元,用于根据所述三维人体运动数据库中三维人体运动骨架的数据值以及所述三维人体运动骨架上各点投影到二维平面上的数据值,构建出包含有不同三维人体运动姿态与二维人体姿态的对应关系的映射库。
优选的,所述映射构建单元,包括:
数据降维单元,用于基于流形学习算法对所述三维人体运动骨架的数据值与所述三维人体运动骨架上在二维平面上投影的数据值组成的数据对进行降维处理;
映射构建子单元,用于利用降维后的所述数据对,构建出包含有不同三维人体运动姿态与二维人体姿态的对应关系的映射库。
优选的,所述姿态构建单元,包括:
姿态构建子单元,用于根据人体骨架的刚体约束和/或人体运动行为约束,将所述人体在所述多个不同角度的目标三维人体姿态组合为一个三维人体。
经由上述的技术方案可知,对通过预置的多个采集不同方位图像的图像采集装置从多个不同角度摄取的该人体的多幅人体图像进行二维人体姿态估计,得到每幅人体图像中包含的该人体的目标二维人体姿态,然后根据预先构建的二维人体姿态与三维人体姿态的映射库,可以分别确定出从每幅人体图像中恢复出的目标二维人体姿态所对应的目标三维人体姿态,将得到多个目标三维人体姿态组合成一个三维人体,从而可以构建出人体的三维姿态。通过该方法可以进行三维人体姿态估计无需摄取人体的正面图像,对三维人体姿态估计所需的人体图像的要求较低,从而降低了三维人体姿态估计的难度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1示出了本发明一种三维人体姿态估计方法一个实施例的流程示意图;
图2示出了本发明一种三维人体姿态估计方法另一个实施例的流程示意图;
图3示出了本发明构建二维人体姿态与三维人体姿态的映射库的一种实现方式的流程示意图;
图4示出了本发明一种三维人体姿态估计装置一个实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种三维人体姿态估计方法和装置,以降低三维人体姿态估计中对图像采集装置摄取图像的要求,从而降低三维人体姿态估计的难度。
参见图1,其示出了本发明一种三维人体姿态估计方法一个实施例的流程示意图,本实施例的方法可以应用于任意具备图像分析能力的电子设备,本实施例的方法可以包括:
101,获得人体不同角度的多幅人体图像。
其中,该多幅人体图像为通过预置的多个采集不同方位图像的图像采集装置从多个不同角度摄取的该人体的多幅图像。
该电子设备可以连接或设置有对不同方位进行图像采集的多个图像采集装置,以获取同一人体的多个不同角度的多幅图像。
当然,也可以是多个不同方位的摄像头对同一人体的不同角度进行图像采集,获取到该人体不同角度的多个图像后,再将获取到的多幅图像传输给该电子设备。
102,对该多幅人体图像中每幅人体图像分别进行二维人体姿态估计,确定每幅人体图像中的该人体的目标二维人体姿态。
对于获取到的该人体在任意一个角度的人体图像而言,分别对该人体图像进行二维人体姿态估计,以检测出该人体图像中所包含的该人体的二维人体姿态。
其中,从该人体图像中确定出该人体的二维人体姿态的过程与现有的二维人体姿态估计的过程相似,在此不再赘述。
在本发明实施例中,为了便于区分,将从该人体图像中检测出的二维人体姿态称为目标二维人体姿态。
103,依据预先构建的二维人体姿态与三维人体姿态的映射库,确定该目标二维人体姿态对应的目标三维人体姿态,以分别从该多幅人体图像中恢复出该人体在该多个不同角度的多个目标三维人体姿态。
根据预先构建出的该映射库,可以确定出该从每幅人体图像中估计出的目标二维人体姿态所对应的目标三维人体姿态,这样得到从不同角度摄取到的多幅人体图像中恢复出的多个目标三维人体姿态,即得到该人体在多个不同角度下的多个目标三维人体姿态。
104,将该人体在多个不同角度的目标三维人体姿态组合为一个三维人体,构建出该人体的三维姿态。
将得到的该人体在多个不同角度下的目标三维人体姿态组合为一个人体,从而可以得到三维空间中的人体姿态,构建出人体的三维姿态。
在本实施例中,对通过预置的多个采集不同方位图像的图像采集装置从多个不同角度摄取的该人体的多幅人体图像进行二维人体姿态估计,得到每幅人体图像中包含的该人体的目标二维人体姿态,并根据预先构建的二维人体姿态与三维人体姿态的映射库,分别确定出从每幅人体图像中恢复出的目标二维人体姿态所对应的目标三维人体姿态,将得到多个目标三维人体姿态组合成一个三维人体,从而构建出人体的三维姿态。在本实施例中无需摄取人体的正面图像,对三维人体姿态估计所需的人体图像的要求较低,从而降低了三维人体姿态估计的难度。
可以理解的是,从人体图像中估计出的二维人体姿态中可以包含该人体的各部位在该人体图像中所处的位置,还可以包含有该人体各部位在图像中的尺度等。
其中,预先构建的人体的二维人体姿态与三维人体姿态的映射库中可以包含有人体在不同的二维姿态下各个人体部位的特征信息所对应的各个人体部位在三维姿态下的特征信息,从而根据二维姿态下特征信息与三维姿态中的特征信息的对应关系,实时构建该人体的二维人体姿态所对应的三维人体姿态。
可选的,该映射库中可以直接包含人体的不同二维姿态所对应的三维姿态,依据该映射库可以确定出该目标二维人体姿态对应的目标三维人体姿态。具体的,可以参见图2,其示出了本申请一种三维人体姿态估计方法另一个实施例的流程示意图,本实施例的方法可以包括:
201,获得人体不同角度的多幅人体图像。
其中,该多幅人体图像为通过预置的多个采集不同方位图像的图像采集装置从多个不同角度摄取的该人体的多幅图像。
202,对该多幅人体图像中每幅人体图像分别进行二维人体姿态估计,确定每幅人体图像中的该人体的目标二维人体姿态。
203,从预先构建的二维人体姿态与三维人体姿态的映射库中,匹配出与该目标二维人体姿态相匹配的参照二维人体姿态。
在本实施例中,该映射库中包含了人体的不同二维人体姿态,以及不同的二维人体姿态所对应的三维人体姿态。
在从每幅人体图像中确定出该人体的目标二维人体姿态后,将该目标二维人体姿态与该映射库中包含的多个二维人体姿态进行匹配,得到与该目标二维人体姿态相匹配的二维人体姿态。
其中,为了便于区分,将匹配出的与该目标二维人体姿态相匹配的二维人体姿态称为参照二维人体姿态。
204,将该映射库中与该参照二维人体姿态对应的参照三维人体姿态确定为目标二维人体姿态对应的目标三维人体姿态,得到分别从该多幅人体图像中恢复出的该人体在该多个不同角度的多个目标三维人体姿态。
其中,将该映射库中与该参照二维人体姿态对应的三维人体姿态称为参照三维人体姿态。
由于该目标二维人体姿态与该参照二维人体姿态相匹配,因此该参照二维人体姿态所对应的参照三维人体姿态同样也可以是该目标二维人体姿态所对应的目标三维人体姿态。
利用步骤203和204可以将每幅人体图像中所包含的人体的目标二维人体姿态均转换为相对应的目标三维人体姿态,从而得到该人体在多个不同角度下的多个目标三维人体姿态。
205,将该人体在多个不同角度的目标三维人体姿态组合为一个三维人体,构建出该人体的三维姿态。
在本申请中构建该二维人体姿态与三维人体姿态的映射库的方式可以利用预先获取三维人体数据以及对应的二维人体图像进行训练,以确定出不同而二维人体姿态与三维人体姿态的对应关系。
下面介绍一种优先的构建该映射库的方式,参见图3,其示出了本发明一种三维人体姿态估计方法中构建二维人体姿态与三维人体姿态的映射库的一种实现方式的流程示意图,该种方式包括:
301,获取三维人体运动骨架的数据值,建立三维人体运动数据库。
通过运动获取设备获取人体的三维运动骨架的真实数据值,得到三维人体运动数据库。
该人体运动数据库中包含了人体各个部位的名称,以及人体在不同运动状态下,该人体各个部位以及各个部位中不同的点在三维空间中的位置等信息。
其中,不同的三维人体运动骨架反映了人体在不同运动状态下的三维人体姿态。
302,将该三维人体运动数据库中的三维人体运动骨架上的各点投影到二维平面上,得到该三维人体运动骨架上各点投影到二维平面上数据值。
将该三维人体运动骨架上各点投影到该二维平面后,得到该三维人体运动骨架上各点在该二维平面上投影点的数值,该投影点组成了该人体运动骨架在该二维平面上的二维人体姿态所对应的二维图像。
303,根据该三维人体运动数据库中三维人体运动骨架的数据值以及该三维人体运动骨架上各点投影到二维平面上的数据值,构建出包含有不同三维人体运动姿态与二维人体姿态的对应关系的映射库。
依据将不同的三维人体运动骨架的各点向二维平面进行投影,可以确定出不同的三维人体运动骨架在二维平面上的二维人体姿态,并根据各个人体运动骨架的数据值所确定出三维人体姿态,可以构建出不同的三维人体运动姿态与二维人体姿态的对应关系。
在该种构建映射库的方式中,由于人体运动骨架的数据值与该人体运动骨架中各点在二维平面上进行投影后得到的数据值组成的数据对的维度较高,从而有可能会影响到后续确定目标二维人体姿态所对应的目标三维人体姿态的速度。可选的,在得到三维人体运动骨架上在二维平面上投影的数据值之后,可以基于流形学习算法对所述三维人体运动骨架的数据值与该三维人体运动骨架上在二维平面上投影的数据值组成的数据对进行降维处理。然后利用降维后的该数据对,构建出包含有不同三维人体运动姿态与二维人体姿态的对应关系的映射库。
可以理解的是,通过不同图像采集装置从不同角度摄取到的图像中所包含的二维人体姿态,均来自同一个三维人体,而人体的骨架在一个固定时刻可以看作是一个三维刚体,因此,将多个目标三维人体姿态进行组合时,可以根据人体骨架的刚体约束和/或人体运动行为约束,将该人体在多个不同角度的目标三维人体姿态组合为一个三维人体。
对应本发明的一种三维人体姿态估计方法,本发明还提供了一种三维人体姿态估计装置。
参见图4,其示出了本发明一种三维人体姿态估计装置一个实施例的结构示意图,本实施例的装置可以应用于具有图像处理能力的电子设备中,本实施例的装置可以包括:
图像获取单元401,用于获得人体不同角度的多幅人体图像,所述多幅人体图像为通过预置的多个采集不同方位图像的图像采集装置从多个不同角度摄取的所述人体的多幅图像;
二维估计单元402,用于对所述多幅人体图像中每幅人体图像分别进行二维人体姿态估计,确定每幅所述人体图像中的所述人体的目标二维人体姿态;
三维估计单元403,用于依据预先构建的二维人体姿态与三维人体姿态的映射库,确定所述目标二维人体姿态对应的目标三维人体姿态,以分别从所述多幅人体图像中恢复出所述人体在所述多个不同角度的多个目标三维人体姿态;
姿态构建单元404,用于将所述人体在所述多个不同角度的目标三维人体姿态组合为一个三维人体,构建出所述人体的三维姿态。
可选的,该三维估计单元可以包括:
二维匹配子单元,用于从预先构建的二维人体姿态与三维人体姿态的映射库中,匹配出与所述目标二维人体姿态相匹配的参照二维人体姿态;
三维估计子单元,用于将所述映射库中与所述参照二维人体姿态对应的参照三维人体姿态确定为所述目标二维人体姿态对应的目标三维人体姿态,得到分别从所述多幅人体图像中恢复出的所述人体在所述多个不同角度的多个目标三维人体姿态。
对应一种构建映射库的方式,可选的,该装置还可以包括:
数据获取单元,用于在所述图像获取单元获取所述多幅人体图像之前,获取三维人体运动骨架的数据值,建立三维人体运动数据库;
投影单元,用于将所述三维人体运动数据库中的所述三维人体运动骨架上的各点投影到二维平面上,得到所述三维人体运动骨架上各点投影到二维平面上数据值;
映射构建单元,用于根据所述三维人体运动数据库中三维人体运动骨架的数据值以及所述三维人体运动骨架上各点投影到二维平面上的数据值,构建出包含有不同三维人体运动姿态与二维人体姿态的对应关系的映射库。
进一步,所述映射构建单元可以包括:
数据降维单元,用于基于流形学习算法对所述三维人体运动骨架的数据值与所述三维人体运动骨架上在二维平面上投影的数据值组成的数据对进行降维处理;
映射构建子单元,用于利用降维后的所述数据对,构建出包含有不同三维人体运动姿态与二维人体姿态的对应关系的映射库。
在以上任意一个实施例中,该姿态构建单元可以包括:姿态构建子单元,用于根据人体骨架的刚体约束和/或人体运动行为约束,将所述人体在所述多个不同角度的目标三维人体姿态组合为一个三维人体。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种三维人体姿态估计方法,其特征在于,包括:
获得人体不同角度的多幅人体图像,所述多幅人体图像为通过预置的多个采集不同方位图像的图像采集装置从多个不同角度摄取的所述人体的多幅图像;
对所述多幅人体图像中每幅人体图像分别进行二维人体姿态估计,确定每幅所述人体图像中的所述人体的目标二维人体姿态;
依据预先构建的二维人体姿态与三维人体姿态的映射库,确定所述目标二维人体姿态对应的目标三维人体姿态,以分别从所述多幅人体图像中恢复出所述人体在所述多个不同角度的多个目标三维人体姿态;
将所述人体在所述多个不同角度的目标三维人体姿态组合为一个三维人体,
构建出所述人体的三维姿态;
构建所述二维人体姿态与三维人体姿态的映射库包括:
获取三维人体运动骨架的数据值,建立三维人体运动数据库;
将所述三维人体运动数据库中的所述三维人体运动骨架上的各点投影到二维平面上,得到所述三维人体运动骨架上各点投影到二维平面上数据值;
根据所述三维人体运动数据库中三维人体运动骨架的数据值以及所述三维人体运动骨架上各点投影到二维平面上的数据值,构建出包含有不同三维人体姿态与二维人体姿态的对应关系的映射库。
2.根据权利要求1所述的方法,其特征在于,所述依据预先构建的二维人体姿态与三维人体姿态的映射库中,确定所述目标二维人体姿态对应的目标三维人体姿态,包括:
从预先构建的二维人体姿态与三维人体姿态的映射库中,匹配出与所述目标二维人体姿态相匹配的参照二维人体姿态;
将所述映射库中与所述参照二维人体姿态对应的参照三维人体姿态确定为所述目标二维人体姿态对应的目标三维人体姿态,得到分别从所述多幅人体图像中恢复出的所述人体在所述多个不同角度的多个目标三维人体姿态。
3.根据权利要求1所述的方法,其特征在于,所述根据所述三维人体运动数据库中三维人体运动骨架的数据值以及所述三维人体运动骨架上各点投影到二维平面上的数据值,构建出包含有不同三维人体运动姿态与二维人体姿态的对应关系的映射库,包括:
基于流形学习算法对所述三维人体运动骨架的数据值与所述三维人体运动骨架上在二维平面上投影的数据值组成的数据对进行降维处理;
利用降维后的所述数据对,构建出包含有不同三维人体运动姿态与二维人体姿态的对应关系的映射库。
4.根据权利要求1所述的方法,其特征在于,所述将所述人体在所述多个不同角度的目标三维人体姿态组合为一个三维人体,包括:
根据人体骨架的刚体约束和/或人体运动行为约束,将所述人体在所述多个不同角度的目标三维人体姿态组合为一个三维人体。
5.一种三维人体姿态估计装置,其特征在于,包括:
图像获取单元,用于获得人体不同角度的多幅人体图像,所述多幅人体图像为通过预置的多个采集不同方位图像的图像采集装置从多个不同角度摄取的所述人体的多幅图像;
二维估计单元,用于对所述多幅人体图像中每幅人体图像分别进行二维人体姿态估计,确定每幅所述人体图像中的所述人体的目标二维人体姿态;
三维估计单元,用于依据预先构建的二维人体姿态与三维人体姿态的映射库,确定所述目标二维人体姿态对应的目标三维人体姿态,以分别从所述多幅人体图像中恢复出所述人体在所述多个不同角度的多个目标三维人体姿态;
姿态构建单元,用于将所述人体在所述多个不同角度的目标三维人体姿态组合为一个三维人体,构建出所述人体的三维姿态;
所述装置还包括:数据获取单元,用于在所述图像获取单元获取所述多幅人体图像之前,获取三维人体运动骨架的数据值,建立三维人体运动数据库;
投影单元,用于将所述三维人体运动数据库中的所述三维人体运动骨架上的各点投影到二维平面上,得到所述三维人体运动骨架上各点投影到二维平面上数据值;
映射构建单元,用于根据所述三维人体运动数据库中三维人体运动骨架的数据值以及所述三维人体运动骨架上各点投影到二维平面上的数据值,构建出包含有不同三维人体姿态与二维人体姿态的对应关系的映射库。
6.根据权利要求5所述的装置,其特征在于,所述三维估计单元,包括:
二维匹配子单元,用于从预先构建的二维人体姿态与三维人体姿态的映射库中,匹配出与所述目标二维人体姿态相匹配的参照二维人体姿态;
三维估计子单元,用于将所述映射库中与所述参照二维人体姿态对应的参照三维人体姿态确定为所述目标二维人体姿态对应的目标三维人体姿态,得到分别从所述多幅人体图像中恢复出的所述人体在所述多个不同角度的多个目标三维人体姿态。
7.根据权利要求5所述的装置,其特征在于,所述映射构建单元,包括:
数据降维单元,用于基于流形学习算法对所述三维人体运动骨架的数据值与所述三维人体运动骨架上在二维平面上投影的数据值组成的数据对进行降维处理;
映射构建子单元,用于利用降维后的所述数据对,构建出包含有不同三维人体运动姿态与二维人体姿态的对应关系的映射库。
8.根据权利要求5所述的装置,其特征在于,所述姿态构建单元,包括:
姿态构建子单元,用于根据人体骨架的刚体约束和/或人体运动行为约束,将所述人体在所述多个不同角度的目标三维人体姿态组合为一个三维人体。
CN201410119907.XA 2014-03-27 2014-03-27 一种三维人体姿态估计方法和装置 Active CN104952105B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410119907.XA CN104952105B (zh) 2014-03-27 2014-03-27 一种三维人体姿态估计方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410119907.XA CN104952105B (zh) 2014-03-27 2014-03-27 一种三维人体姿态估计方法和装置

Publications (2)

Publication Number Publication Date
CN104952105A CN104952105A (zh) 2015-09-30
CN104952105B true CN104952105B (zh) 2018-01-23

Family

ID=54166730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410119907.XA Active CN104952105B (zh) 2014-03-27 2014-03-27 一种三维人体姿态估计方法和装置

Country Status (1)

Country Link
CN (1) CN104952105B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022208A (zh) * 2016-04-29 2016-10-12 北京天宇朗通通信设备股份有限公司 人体动作识别方法及装置
CN106056089B (zh) * 2016-06-06 2019-06-11 中国科学院长春光学精密机械与物理研究所 一种三维姿态识别方法及系统
CN109949368B (zh) * 2019-03-14 2020-11-06 郑州大学 一种基于图像检索的人体三维姿态估计方法
CN110276768B (zh) * 2019-06-28 2022-04-05 京东方科技集团股份有限公司 图像分割方法、图像分割装置、图像分割设备及介质
CN111553935B (zh) * 2020-05-14 2020-12-15 广东第二师范学院 一种基于增量降维投影位置优化的人体运动形态获取方法
CN113146634A (zh) * 2021-04-25 2021-07-23 达闼机器人有限公司 机器人姿态的控制方法、机器人及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745206A (zh) * 2014-01-27 2014-04-23 中国科学院深圳先进技术研究院 一种人脸识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012126500A1 (en) * 2011-03-18 2012-09-27 C3 Technologies Ab 3d streets

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745206A (zh) * 2014-01-27 2014-04-23 中国科学院深圳先进技术研究院 一种人脸识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多目视频中人体姿态恢复及跟踪的研究;陈伟霞;《万方学位论文数据库》;20131129;正文第5,16,21,22,26-32页 *

Also Published As

Publication number Publication date
CN104952105A (zh) 2015-09-30

Similar Documents

Publication Publication Date Title
CN104952105B (zh) 一种三维人体姿态估计方法和装置
CN108489482B (zh) 视觉惯性里程计的实现方法及系统
CN103279186B (zh) 融合光学定位与惯性传感的多目标运动捕捉系统
CN103135754B (zh) 采用交互设备实现交互的方法
Chen et al. Rise of the indoor crowd: Reconstruction of building interior view via mobile crowdsourcing
CN108846867A (zh) 一种基于多目全景惯导的slam系统
CN106843460B (zh) 基于多摄像头的多目标位置捕获定位系统及方法
CN102722249B (zh) 操控方法、操控装置及电子装置
CN106446815A (zh) 一种同时定位与地图构建方法
CN102800126A (zh) 基于多模态融合的实时人体三维姿态恢复的方法
CN104035557B (zh) 一种基于关节活跃度的Kinect动作识别方法
CN103714322A (zh) 一种实时手势识别方法及装置
CN103839277A (zh) 一种户外大范围自然场景的移动增强现实注册方法
CN108668108B (zh) 一种视频监控的方法、装置及电子设备
CN104599284A (zh) 基于多视角手机自拍图像的三维人脸重建方法
WO2015051827A1 (en) Method of determining a similarity transformation between first and second coordinates of 3d features
CN105760809A (zh) 用于头部姿态估计的方法和设备
CN111583386B (zh) 基于标签传播算法的多视角人体姿态重建方法
CN108447042B (zh) 城市景观影像数据的融合方法及系统
CN115272494A (zh) 相机与惯性测量单元的标定方法、装置和计算机设备
WO2023284358A1 (zh) 相机标定方法、装置、电子设备及存储介质
Li et al. A hybrid pose tracking approach for handheld augmented reality
Carozza et al. Image-based localization for an indoor VR/AR construction training system
CN109644263A (zh) 第一智能设备及其连接方法以及具有存储功能的装置
Huber 3-D real-time gesture recognition using proximity spaces

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant