CN111739161A - 一种有遮挡情况下的人体三维重建方法、装置及电子设备 - Google Patents
一种有遮挡情况下的人体三维重建方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111739161A CN111739161A CN202010717560.4A CN202010717560A CN111739161A CN 111739161 A CN111739161 A CN 111739161A CN 202010717560 A CN202010717560 A CN 202010717560A CN 111739161 A CN111739161 A CN 111739161A
- Authority
- CN
- China
- Prior art keywords
- human body
- dimensional
- model
- image
- shielding object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种有遮挡情况下的人体三维重建方法、装置及电子设备,包括:获取目标人体的单帧RGB‑D图像,RGB‑D图像包含彩色图像和深度图像;对彩色图像进行实例分割,得到目标人体部分及遮挡物体部分的分割像素掩码,根据分割像素掩码对深度图像进行分割,得到目标人体深度图像和遮挡物体深度图像;将遮挡物体深度图像转换为表面法向图像,再使用卷积神经网络进行遮挡物体姿态估计;基于遮挡物体的姿态估计,对遮挡物体进行三维重建,获得遮挡物体三维模型;根据彩色图像、目标人体深度图像和遮挡物体三维模型进行三维人体重建,获得三维人体模型。本发明通过对遮挡物体的三维重建,提高了有遮挡情形下的单视角人体三维重建的准确性和可靠性。
Description
技术领域
本发明涉及计算机视觉领域,尤其涉及一种有遮挡情况下的人体三维重建方法、装置及电子设备。
背景技术
在计算机视觉领域里根据单个视角的观察进行三维人体重建的技术有广泛应用。例如服务机器人与人交互的时候需要从自身的视角方向估计交互对象的三维人体模型。再譬如增强现实应用需要从自身的视角方向估计目标人体的三维模型用于叠加其他三维物体。由于单视角图像只观察到正面的人体表面,重建三维模型需要依赖人体几何形状的先验知识。一种比较常用的方法是使用RGB-D相机从单个视角拍摄人体的RGB-D图像,包括彩色图像和深度图像,再将基于统计的参数化人体模型拟合到RGB-D图像中。这类方法利用了统计意义上的信息,对不可见部分进行了一定程度的补全,在无遮挡情形下取得了较好的效果。但在有物体遮挡情况下,不仅人体可见表面较小使得模型拟合时约束不足,而且遮挡物体的图像信息会带来混淆,使得上述方法不能可靠的实现单视角三维人体重建。遮挡问题在室内场景特别突出,因为在室内人体非常容易受到桌子和椅子等家具的遮挡。这给服务机器人和增强现实等室内常见应用带来困难。
发明内容
本发明实施例的目的是提供一种有遮挡情况下的人体三维重建方法、装置及电子设备,以解决现有在有物体遮挡情况下不能可靠的实现单视角三维人体重建的问题。
为了达到上述目的,本发明实施例所采用的技术方案来如下:
第一方面,本发明实施例提供一种有遮挡情况下的人体三维重建方法,包括:
获取目标人体的单帧RGB-D图像,所述RGB-D图像包含彩色图像和深度图像;
对彩色图像进行实例分割,得到目标人体部分及遮挡物体部分的分割像素掩码,根据分割像素掩码对深度图像进行分割,得到目标人体深度图像和遮挡物体深度图像;
将遮挡物体深度图像转换为表面法向图像,再使用预训练的卷积神经网络进行遮挡物体姿态估计;
基于遮挡物体的姿态估计,对遮挡物体进行三维重建,获得遮挡物体三维模型;
根据彩色图像、目标人体深度图像和遮挡物体三维模型进行三维人体重建,获得三维人体模型。
进一步地,所述预训练的训练卷积神经网络的获取包括:
构建常见物体的三维模型库,其中三维模型使用三维扫描仪扫描获取,或使用三维建模软件制作;
使用计算机图形学三维绘制的方法,将三维模型库中每一个三维模型使用多种姿态绘制得到多幅表面法向图像;
使用表面法向图像与三维姿态的对应数据,训练获得预训练的卷积神经网络。
进一步地,基于遮挡物体的姿态估计,对遮挡物体进行三维重建,获得遮挡物体的三维模型,包括:
使用分割像素掩码所包含的遮挡物体类别信息,将三维模型库中与遮挡物体同类的模型加入候选模型集合;
对候选模型集合中每一个模型,以遮挡物体的姿态估计作为模型放置参数的初始值,使用ICP方法计算该模型与遮挡物体的最小差异,该最小差异称为候选模型与遮挡物体的距离;将取得最小差异时的放置参数作为为候选模型的最优放置参数;
选择候选模型集合中与遮挡物体的距离最小者为最匹配模型;
使用最优放置参数对最匹配模型进行几何变换,得到遮挡物体的三维模型。
进一步地,对于候选模型集合中每一个模型,以初步估计的遮挡物体姿态作为模型放置参数的初始值,使用ICP方法计算该模型与遮挡物体的最小差异,包括:
步骤(1),以初步估计的遮挡物体姿态作为候选模型放置参数的初始值;
步骤(2),根据当前的放置参数对候选模型进行几何变换;
步骤(3),绘制经过几何变换后的候选模型,保留可见表面的深度值得到候选模型深度图像;
步骤(4),对于候选模型深度图像每一个点,在遮挡物体深度图像找到距离最小的点作为对应点,构成两幅深度图像间的对应点集合;
步骤(5),以对应点集合中所有对应点的距离之和为候选模型与遮挡物体的差异;
步骤(6),调整候选模型的放置参数使得所述差异最小。
进一步地,还包括以下步骤:
步骤(7),重复步骤(2)-步骤(6)直到迭代结束标准被满足。
进一步地,所述迭代结束标准为在一定的迭代次数内候选模型与遮挡物体的差异变化率小于一个预先设定的阈值。
进一步地,根据彩色图像、目标人体深度图像、和遮挡物体三维模型进行三维人体重建,获得三维人体模型,包括:
在彩色图像中估计二维人体姿态,再从目标人体深度图像获取各关节点的三维坐标,从而得到三维人体姿态估计;
以估计的三维人体姿态为初始值,以遮挡物体三维模型为几何约束,使用优化方法将参数化人体模型拟合到目标人体深度图像,获得三维人体模型。
进一步地,优化方法的目标函数主要包括关节约束项、表面约束项、及人体与遮挡物体相交惩罚项,
其中关节约束项是为了使拟合得到的三维人体模型关节位置与从彩色图像及目标人体深度图像估计的关节位置一致;
表面约束项是为了使拟合得到的三维人体模型可见表面与深度图像一致;
人体与遮挡物体相交惩罚项是为了使拟合得到的三维人体模型与遮挡物在空间上不冲突,其计算方法为:
第二方面,本发明实施例还提供一种有遮挡情况下的人体三维重建装置,包括:
图像获取模块,用于获取目标人体的单帧RGB-D图像,所述RGB-D图像包含彩色图像和深度图像;
图像分割模块,用于对彩色图像进行实例分割,得到目标人体部分及遮挡物体部分的分割像素掩码,根据分割像素掩码对深度图像进行分割,得到目标人体深度图像和遮挡物体深度图像;
姿态估计模块,用于将遮挡物体深度图像转换为表面法向图像,再使用预训练的卷积神经网络进行遮挡物体姿态估计;
遮挡物体三维重建模块,用于基于遮挡物体的姿态估计,对遮挡物体进行三维重建,获得遮挡物体三维模型;人体三维重建模块,用于根据彩色图像、目标人体深度图像和遮挡物体三维模型进行三维人体重建,获得三维人体模型。
第三方面,本发明实施例还提供一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的一种有遮挡情况下的人体三维重建方法。
本发明的有益效果是,本发明根据单视角RGB-D图像重建前景中的遮挡物体三维模型,再使用彩色图像、目标人体深度图像和遮挡物体三维模型为约束进行三维人体模型的重建。一般的基于单视角RGB-D图像的三维人体重建没有考虑遮挡物体三维模型对三维人体模型的约束。在遮挡情形下三维人体模型重建可能因为约束信息不足导致结果不合理。本发明的创新点在于将遮挡物体三维重建后作为三维人体重建的几何约束,提高了有遮挡情形下的单视角人体三维重建的准确性和可靠性。本发明适用于在有较多遮挡情形的室内场景工作的服务机器人或增强现实系统。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例提供的一种有遮挡情况下的人体三维重建方法的流程框图;
图2是本发明实施例提供的一种有遮挡情况下的人体三维重建方法的流程图;
图3是本发明实施例提供的一种有遮挡情况下的人体三维重建装置的框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应该理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
相反,本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步,为了使公众对本发明有更好的了解,在下文对本发明的细节描述中,详尽描述了一些特定的细节部分。
实施例1:
图1是本发明实施例提供的一种有遮挡情况下的人体三维重建方法的流程框图;图2是本发明实施例提供的一种有遮挡情况下的人体三维重建方法的流程图;该方法包括以下步骤:
步骤S101,获取目标人体的单帧RGB-D图像,所述RGB-D图像包含彩色图像和深度图像;
具体地,在本实施例中,使用单个深度相机获取被部分遮挡的目标人体的单帧RGB-D图像,包含彩色图像和深度图像。其中彩色图像为目标人体和遮挡物体的分割步骤及目标人体的姿态估计步骤提供所需的信息,深度图像为遮挡物体的三维重建和目标人体三维重建步骤提供所需的几何信息。常见的深度相机有RealSense、Kinect、ZED等。本实施例中,所述的深度相机使用英特尔的RealSense。
步骤S102,对彩色图像进行实例分割,得到目标人体部分及遮挡物体部分的分割像素掩码,根据分割像素掩码对深度图像进行分割,得到目标人体深度图像和遮挡物体深度图像;
具体地,对彩色图像进行实例分割,得到目标人体部分及遮挡物体部分的分割像素掩码。由于使用了实例分割方法,分割像素掩码包含了像素所属实例的类别信息,在本实施例中遮挡物体部分所属实例的类别为椅子。根据分割像素掩码对深度图像进行分割,得到目标人体深度图像和椅子的深度图像。判断出遮挡物体的类别为椅子,以及分割出椅子的深度图像是后续对椅子进行三维重建的必要基础。其中常见的彩色图像实例分割方法包括MASK R-CNN,SegNet,DeepMask等。本实施例中,所述彩色图像实例分割使用开源的MASK R-CNN 实现。
步骤S103,将遮挡物体深度图像转换为表面法向图像,再使用预训练的卷积神经网络进行遮挡物体姿态估计;
具体地,在本实施例中,对于椅子深度图像中的每个像素,根据周边像素的深度值拟合出一个局部平面,将该局部平面的法向量作为当前像素位置的法向量,并写入到输出图像的相应位置。处理完所有像素后,将输出得到椅子三通道的表面法向图像,三个通道分别保存法向量的三个元素。将椅子的表面法向图像输入预训练的卷积神经网络。由于椅子等家具在水平地面的正常摆放的姿态仅有一个自由度,即方位角,因此预训练的卷积神经网络输出的椅子的姿态仅包含椅子在水平地面正常摆放时绕水平地面的法向旋转的方位角。水平地面的法向量和绕水平地面的法向旋转的方位角即椅子的完整的姿态估计。
进一步地,所述预训练的训练卷积神经网络的获取包括:
A1,构建常见物体的三维模型库,其中三维模型使用三维扫描仪扫描获取,或使用三维建模软件制作;
具体地,本实例构建了一个常见家具三维模型库。家具三维模型库包括10类家具,分别是椅子、沙发、凳子、茶几、大班桌、书桌、床、衣柜、书柜和电视柜。每一类家具包含50种三维模型。本实例的家具三维模型库一部分使用手持三维扫描仪Artec3D扫描得到,也有一部分使用3D Max三维建模软件制作得到。
A2,使用计算机图形学三维绘制的方法,将三维模型库中每一个三维模型使用多种姿态绘制得到多幅表面法向图像;
在本实施例中,由于家具在水平地面正常摆放的姿态仅有一个自由度,因此本步骤里家具三维模型的姿态指家具三维模型在水平地面正常摆放时绕水平地面法向旋转的方位角。 对于家具三维模型库的每一个三维模型,根据随机生成的方位角作几何变换后,使用透视投影绘制的方法将三维模型表面的法向量写入帧缓冲,再将帧缓冲输出得到表面法向图像。对家具三维模型库的每一个三维模型,重复上述步骤100次,生成100幅不同方位角下的模型表面法向图像。
A3,使用表面法向图像与三维姿态的对应数据,训练获得预训练的卷积神经网络。
具体地,在本实施例中,上一步骤生成的成对的表面法向图像和方位角构成一个数据集。基于该数据集使用Caffe框架获得预训练的卷积神经网络。该卷积神经网络的初始参数通过Imagenet的分类任务训练得到。
步骤S104,基于遮挡物体的姿态估计,对遮挡物体进行三维重建,获得遮挡物体三维模型,包括以下子步骤:
B1,使用分割像素掩码所包含的遮挡物体类别信息,将三维模型库中与遮挡物体同类的模型加入候选模型集合;
具体地,在本实施例中遮挡物体部分所属实例的类别为椅子,因此本实施例将三维模型库中椅子类的模型加入候选模型集合。
B2,对候选模型集合中每一个模型,以遮挡物体的姿态估计作为模型放置参数的初始值,使用ICP方法计算该模型与遮挡物体的最小差异,该最小差异称为候选模型与遮挡物体的距离;将取得最小差异时的放置参数作为为候选模型的最优放置参数;
进一步地,对于候选模型集合中每一个模型,以初步估计的遮挡物体姿态作为模型放置参数的初始值,使用ICP方法计算该模型与遮挡物体的最小差异,包括:
步骤(1),以初步估计的遮挡物体姿态作为候选模型放置参数的初始值;具体地,放置参数包括了候选模型的姿态和偏移。在本实施例中,使用步骤S103初步估计的椅子的姿态作为候选模型放置参数中姿态的初始值。候选模型放置参数中的偏移初始值设置为遮挡物体深度图像的中心坐标。
步骤(2),根据当前的放置参数对候选模型进行几何变换;具体地,集使用当前放置参数中的姿态对候选模型进行旋转操作,使用当前放置参数中的偏移对候选模型进行偏移操作。
步骤(3),绘制经过几何变换后的候选模型,保留可见表面的深度值得到候选模型深度图像;具体地,使用三维图形绘制系统绘制几何变换后的候选模型,并输出经过消隐处理的深度图像。由于只需要深度信息,因此绘制过程只在深度缓冲写入深度值,无需计算和输出颜色图像。经过消隐处理的深度图像只保留了可见表面的深度值, 这一步可通过一般三维图形绘制系统都具备的Z-buffer消隐功能实现。
步骤(4),对于候选模型深度图像每一个点,在遮挡物体深度图像找到距离最小的点作为对应点,构成两幅深度图像间的对应点集合;
步骤(5),以对应点集合中所有对应点的距离之和为候选模型与遮挡物体的差异;
步骤(6),调整候选模型的放置参数使得所述差异最小。具体地,候选模型的放置参数包括了姿态和偏移。以步骤(5)的距离最小化为目标,用一般优化方法可求得候选模型放置参数中最优的姿态和偏移。
进一步地,还包括以下步骤:
步骤(7),重复步骤(2)-步骤(6)直到迭代结束标准被满足。进一步地,所述迭代结束标准为在一定的迭代次数内候选模型与遮挡物体的差异变化率小于一个预先设定的阈值。
B3,选择候选模型集合中与遮挡物体的距离最小者为最匹配模型;具体地,在本实施例中,椅子类候选模型集合中一种无扶手靠背椅与遮挡物体的距离最小,选择该无扶手靠背椅为最匹配模型。
B4,使用最优放置参数对最匹配模型进行几何变换,得到遮挡物体的三维模型。具体地,在本实施例中,使用当前放置参数中的姿态对无扶手靠背椅模型进行旋转操作,使用当前放置参数中的偏移对无扶手靠背椅模型进行偏移操作。
步骤S105,根据彩色图像、目标人体深度图像和遮挡物体三维模型进行三维人体重建,获得三维人体模型,包括以下子步骤:
C1,在彩色图像中估计二维人体姿态,再从目标人体深度图像获取各关节点的三维坐标,从而得到三维人体姿态估计;具体地,使用彩色图像二维人体姿态估计方法在彩色图像中估计二维人体姿态,得到每个关节在相机空间中的二维坐标(x, y),再以深度图像中各个关节二维坐标处的深度值为各个关节在相机空间中的z坐标,从而得到所有关节的三维坐标,即三维人体姿态。常见的彩色图像二维人体姿态估计方法包括OpenPose,Hourglass,HRNet等。本实施例中,所述彩色图像二维人体姿态估计使用开源的OpenPose 进行。
C2,以估计的三维人体姿态为初始值,以遮挡物体三维模型为几何约束,使用优化方法将参数化人体模型拟合到目标人体深度图像,获得三维人体模型。具体地,本实例以估计的三维人体姿态为初始值,以无扶手靠背椅的三维模型为几何约束,使用常见的参数化人体模型有SMPL-X,SMPL,SCAPE等。本实施例中,所述参数化人体模型使用SMPL-X进行实例说明。
本实施例中,优化方法的目标函数主要包括关节约束项、表面约束项、及人体与无扶手靠背椅的三维模型相交惩罚项,
其中关节约束项是为了使参数化人体模型SMPL-X关节位置与从RGB-D图像估计的关节位置一致;
表面约束项是为了使参数化人体模型SMPL-X可见表面与深度图像间一致;
人体与遮挡物体椅子相交惩罚项是为了使参数化人体模型SMPL-X与无扶手靠背椅在空间上不冲突,其计算方法为:
根据以上技术方案,根据单视角RGB-D图像重建前景中遮挡物体三维模型,得到无扶手靠背椅的三维模型,再使用无扶手靠背椅三维模型为几何约束进行三维人体模型的重建,提高了有椅子遮挡情形下的单视角人体三维重建的准确性和可靠性。本发明适用于在有较多遮挡情形的室内场景工作的服务机器人或增强现实系统。
实施例2:
参考图3,本实施例还提供一种有遮挡情况下的人体三维重建装置,该装置为实施例1提供的一种有遮挡情况下的人体三维重建方法的虚拟装置,具备执行该方法相应的功能模块和有益效果,该装置包括:
图像获取模块91,用于获取目标人体的单帧RGB-D图像,所述RGB-D图像包含彩色图像和深度图像;
图像分割模块92,用于对彩色图像进行实例分割,得到目标人体部分及遮挡物体部分的分割像素掩码,根据分割像素掩码对深度图像进行分割,得到目标人体深度图像和遮挡物体深度图像;
姿态估计模块93,用于将遮挡物体深度图像转换为表面法向图像,再使用预训练的卷积神经网络进行遮挡物体姿态估计;
遮挡物体三维重建模块94,用于基于遮挡物体的姿态估计,对遮挡物体进行三维重建,获得遮挡物体三维模型;
人体三维重建模块95,用于根据彩色图像、目标人体深度图像和遮挡物体三维模型进行三维人体重建,获得三维人体模型。
实施例3:
本发明实施例还提供一种电子设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如实施例1所述的一种有遮挡情况下的人体三维重建方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种有遮挡情况下的人体三维重建方法,其特征在于,包括:
获取目标人体的单帧RGB-D图像,所述RGB-D图像包含彩色图像和深度图像;
对彩色图像进行实例分割,得到目标人体部分及遮挡物体部分的分割像素掩码,根据分割像素掩码对深度图像进行分割,得到目标人体深度图像和遮挡物体深度图像;
将遮挡物体深度图像转换为表面法向图像,再使用预训练的卷积神经网络进行遮挡物体姿态估计;
基于遮挡物体的姿态估计,对遮挡物体进行三维重建,获得遮挡物体三维模型;
根据彩色图像、目标人体深度图像和遮挡物体三维模型进行三维人体重建,获得三维人体模型。
2.根据权利要求1所述的一种有遮挡情况下的人体三维重建方法,其特征在于,所述预训练的训练卷积神经网络的获取包括:
构建常见物体的三维模型库,其中三维模型使用三维扫描仪扫描获取,或使用三维建模软件制作;
使用计算机图形学三维绘制的方法,将三维模型库中每一个三维模型使用多种姿态绘制得到多幅表面法向图像;
使用表面法向图像与三维姿态的对应数据,训练获得预训练的卷积神经网络。
3.根据权利要求1所述的一种有遮挡情况下的人体三维重建方法,其特征在于,基于遮挡物体的姿态估计,对遮挡物体进行三维重建,获得遮挡物体的三维模型,包括:
使用分割像素掩码中包含的遮挡物体的类别信息,将三维模型库中与遮挡物体同类的模型加入候选模型集合;
对候选模型集合中每一个模型,以遮挡物体的姿态估计作为模型放置参数的初始值,使用ICP方法计算该模型与遮挡物体的最小差异,该最小差异称为候选模型与遮挡物体的距离;将取得最小差异时的放置参数作为为候选模型的最优放置参数;
选择候选模型集合中与遮挡物体的距离最小者为最匹配模型;
使用最优放置参数对最匹配模型进行几何变换,得到遮挡物体的三维模型。
4.根据权利要求3所述的一种有遮挡情况下的人体三维重建方法,其特征在于,对于候选模型集合中每一个模型,以初步估计的遮挡物体姿态作为模型放置参数的初始值,使用ICP方法计算该模型与遮挡物体的最小差异,包括:
步骤(1),以初步估计的遮挡物体姿态作为候选模型放置参数的初始值;
步骤(2),根据当前的放置参数对候选模型进行几何变换;
步骤(3),绘制经过几何变换后的候选模型,保留可见表面的深度值得到候选模型深度图像;
步骤(4),对于候选模型深度图像每一个点,在遮挡物体深度图像找到距离最小的点作为对应点,构成两幅深度图像间的对应点集合;
步骤(5),以对应点集合中所有对应点的距离之和为候选模型与遮挡物体的差异;
步骤(6),调整候选模型的放置参数使得所述差异最小。
5.根据权利要求4所述的一种有遮挡情况下的人体三维重建方法,其特征在于,还包括以下步骤:
步骤(7),重复步骤(2)-步骤(6)直到迭代结束标准被满足。
6.根据权利要求5所述的一种有遮挡情况下的人体三维重建方法,其特征在于,所述迭代结束标准为在一定的迭代次数内候选模型与遮挡物体的差异变化率小于一个预先设定的阈值。
7.根据权利要求1所述的一种有遮挡情况下的人体三维重建方法,其特征在于,根据彩色图像、目标人体深度图像、和遮挡物体三维模型进行三维人体重建,获得三维人体模型,包括:
在彩色图像中估计二维人体姿态,再从目标人体深度图像获取各关节点的三维坐标,从而得到三维人体姿态估计;
以估计的三维人体姿态为初始值,以遮挡物体三维模型为几何约束,使用优化方法将参数化人体模型拟合到目标人体深度图像,获得三维人体模型。
8.根据权利要求7所述的一种有遮挡情况下的人体三维重建方法,其特征在于,优化方法的目标函数主要包括关节约束项、表面约束项、及人体与遮挡物体相交惩罚项,
其中关节约束项是为了使拟合得到的三维人体模型关节位置与从彩色图像及目标人体深度图像估计的关节位置一致;
表面约束项是为了使拟合得到的三维人体模型可见表面与深度图像一致;
人体与遮挡物体相交惩罚项是为了使拟合得到的三维人体模型与遮挡物在空间上不冲突,其计算方法为:
9.一种有遮挡情况下的人体三维重建装置,其特征在于,包括:
图像获取模块,用于获取目标人体的单帧RGB-D图像,所述RGB-D图像包含彩色图像和深度图像;
图像分割模块,用于对彩色图像进行实例分割,得到目标人体部分及遮挡物体部分的分割像素掩码,根据分割像素掩码对深度图像进行分割,得到目标人体深度图像和遮挡物体深度图像;
姿态估计模块,用于将遮挡物体深度图像转换为表面法向图像,再使用预训练的卷积神经网络进行遮挡物体姿态估计;
遮挡物体三维重建模块,用于基于遮挡物体的姿态估计,对遮挡物体进行三维重建,获得遮挡物体三维模型;
人体三维重建模块,用于根据彩色图像、目标人体深度图像和遮挡物体三维模型进行三维人体重建,获得三维人体模型。
10.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8任一项所述的一种有遮挡情况下的人体三维重建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010717560.4A CN111739161B (zh) | 2020-07-23 | 2020-07-23 | 一种有遮挡情况下的人体三维重建方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010717560.4A CN111739161B (zh) | 2020-07-23 | 2020-07-23 | 一种有遮挡情况下的人体三维重建方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111739161A true CN111739161A (zh) | 2020-10-02 |
CN111739161B CN111739161B (zh) | 2020-11-20 |
Family
ID=72657427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010717560.4A Active CN111739161B (zh) | 2020-07-23 | 2020-07-23 | 一种有遮挡情况下的人体三维重建方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111739161B (zh) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112233181A (zh) * | 2020-10-29 | 2021-01-15 | 深圳市广宁股份有限公司 | 6d位姿识别的方法、装置及计算机存储介质 |
CN112365510A (zh) * | 2020-11-12 | 2021-02-12 | Oppo(重庆)智能科技有限公司 | 图像处理方法、装置、设备及存储介质 |
CN112508949A (zh) * | 2021-02-01 | 2021-03-16 | 之江实验室 | 一种spect三维重建图像左心室自动分割的方法 |
CN112580463A (zh) * | 2020-12-08 | 2021-03-30 | 北京华捷艾米科技有限公司 | 三维人体骨架数据识别方法及装置 |
CN112785524A (zh) * | 2021-01-22 | 2021-05-11 | 北京百度网讯科技有限公司 | 一种人物图像的修复方法、装置及电子设备 |
CN112819951A (zh) * | 2021-02-09 | 2021-05-18 | 北京工业大学 | 一种基于深度图修复的带遮挡三维人体重建方法 |
CN112884780A (zh) * | 2021-02-06 | 2021-06-01 | 罗普特科技集团股份有限公司 | 一种用于人体姿态的估计方法和系统 |
CN112907736A (zh) * | 2021-03-11 | 2021-06-04 | 清华大学 | 基于隐式场的十亿像素场景人群三维重建方法和装置 |
CN112950767A (zh) * | 2021-03-24 | 2021-06-11 | 东莞中国科学院云计算产业技术创新与育成中心 | 目标遮挡判断方法、装置、计算机设备和存储介质 |
CN113361378A (zh) * | 2021-06-02 | 2021-09-07 | 合肥工业大学 | 一种运用适应性数据增强的人体姿态估计方法 |
CN113421328A (zh) * | 2021-05-27 | 2021-09-21 | 中国人民解放军军事科学院国防科技创新研究院 | 一种三维人体虚拟化重建方法及装置 |
CN113436350A (zh) * | 2021-07-07 | 2021-09-24 | 武汉湾流科技股份有限公司 | 一种三维模型生成方法及系统 |
CN113436325A (zh) * | 2021-07-30 | 2021-09-24 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN113538667A (zh) * | 2021-09-17 | 2021-10-22 | 清华大学 | 动态场景光场重建方法及装置 |
CN113538663A (zh) * | 2021-07-12 | 2021-10-22 | 华东师范大学 | 一种基于深度特征解耦的可控人体形状补全方法 |
CN113570702A (zh) * | 2021-07-14 | 2021-10-29 | Oppo广东移动通信有限公司 | 3d照片的生成方法与装置、终端及可读存储介质 |
CN113610889A (zh) * | 2021-06-30 | 2021-11-05 | 奥比中光科技集团股份有限公司 | 一种人体三维模型获取方法、装置、智能终端及存储介质 |
CN113658303A (zh) * | 2021-06-29 | 2021-11-16 | 清华大学 | 一种基于单目视觉的虚拟人生成方法、装置 |
CN114049437A (zh) * | 2021-11-10 | 2022-02-15 | 百度在线网络技术(北京)有限公司 | 尺度确定方法、装置、电子设备及介质 |
CN114387392A (zh) * | 2021-12-13 | 2022-04-22 | 清华大学 | 一种根据人影重建三维人体姿态的方法 |
CN114863014A (zh) * | 2022-04-06 | 2022-08-05 | 聚好看科技股份有限公司 | 一种三维模型的融合显示方法及设备 |
CN116612244A (zh) * | 2023-07-21 | 2023-08-18 | 之江实验室 | 一种图像生成方法、装置、存储介质及电子设备 |
CN117788700A (zh) * | 2023-12-22 | 2024-03-29 | 浙江大学 | 一种基于隐式表示的手物交互三维重建方法 |
WO2024103890A1 (zh) * | 2022-11-18 | 2024-05-23 | 苏州元脑智能科技有限公司 | 模型构建方法、重建方法、装置、电子设备及非易失性可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110060351A (zh) * | 2019-04-01 | 2019-07-26 | 叠境数字科技(上海)有限公司 | 一种基于rgbd相机的动态三维人物重建和直播方法 |
CN110335343A (zh) * | 2019-06-13 | 2019-10-15 | 清华大学 | 基于rgbd单视角图像人体三维重建方法及装置 |
CN111339870A (zh) * | 2020-02-18 | 2020-06-26 | 东南大学 | 一种针对物体遮挡场景的人体形状和姿态估计方法 |
-
2020
- 2020-07-23 CN CN202010717560.4A patent/CN111739161B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110060351A (zh) * | 2019-04-01 | 2019-07-26 | 叠境数字科技(上海)有限公司 | 一种基于rgbd相机的动态三维人物重建和直播方法 |
CN110335343A (zh) * | 2019-06-13 | 2019-10-15 | 清华大学 | 基于rgbd单视角图像人体三维重建方法及装置 |
CN111339870A (zh) * | 2020-02-18 | 2020-06-26 | 东南大学 | 一种针对物体遮挡场景的人体形状和姿态估计方法 |
Non-Patent Citations (2)
Title |
---|
TANVI B. PATEL等: "Occlusion detection and recognizing human face using neural network", 《2017 INTERNATIONAL CONFERENCE ON INTELLIGENT COMPUTING AND CONTROL》 * |
赖小波等: "一种复杂背景图像三维重建算法及其医学应用", 《浙江大学学报(工学版)》 * |
Cited By (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112233181A (zh) * | 2020-10-29 | 2021-01-15 | 深圳市广宁股份有限公司 | 6d位姿识别的方法、装置及计算机存储介质 |
CN112365510A (zh) * | 2020-11-12 | 2021-02-12 | Oppo(重庆)智能科技有限公司 | 图像处理方法、装置、设备及存储介质 |
CN112365510B (zh) * | 2020-11-12 | 2022-12-30 | Oppo(重庆)智能科技有限公司 | 图像处理方法、装置、设备及存储介质 |
CN112580463A (zh) * | 2020-12-08 | 2021-03-30 | 北京华捷艾米科技有限公司 | 三维人体骨架数据识别方法及装置 |
CN112785524A (zh) * | 2021-01-22 | 2021-05-11 | 北京百度网讯科技有限公司 | 一种人物图像的修复方法、装置及电子设备 |
CN112785524B (zh) * | 2021-01-22 | 2024-05-24 | 北京百度网讯科技有限公司 | 一种人物图像的修复方法、装置及电子设备 |
CN112508949A (zh) * | 2021-02-01 | 2021-03-16 | 之江实验室 | 一种spect三维重建图像左心室自动分割的方法 |
CN112884780A (zh) * | 2021-02-06 | 2021-06-01 | 罗普特科技集团股份有限公司 | 一种用于人体姿态的估计方法和系统 |
CN112819951A (zh) * | 2021-02-09 | 2021-05-18 | 北京工业大学 | 一种基于深度图修复的带遮挡三维人体重建方法 |
CN112907736B (zh) * | 2021-03-11 | 2022-07-15 | 清华大学 | 基于隐式场的十亿像素场景人群三维重建方法和装置 |
CN112907736A (zh) * | 2021-03-11 | 2021-06-04 | 清华大学 | 基于隐式场的十亿像素场景人群三维重建方法和装置 |
CN112950767A (zh) * | 2021-03-24 | 2021-06-11 | 东莞中国科学院云计算产业技术创新与育成中心 | 目标遮挡判断方法、装置、计算机设备和存储介质 |
CN113421328B (zh) * | 2021-05-27 | 2022-03-11 | 中国人民解放军军事科学院国防科技创新研究院 | 一种三维人体虚拟化重建方法及装置 |
CN113421328A (zh) * | 2021-05-27 | 2021-09-21 | 中国人民解放军军事科学院国防科技创新研究院 | 一种三维人体虚拟化重建方法及装置 |
CN113361378A (zh) * | 2021-06-02 | 2021-09-07 | 合肥工业大学 | 一种运用适应性数据增强的人体姿态估计方法 |
CN113658303A (zh) * | 2021-06-29 | 2021-11-16 | 清华大学 | 一种基于单目视觉的虚拟人生成方法、装置 |
CN113610889B (zh) * | 2021-06-30 | 2024-01-16 | 奥比中光科技集团股份有限公司 | 一种人体三维模型获取方法、装置、智能终端及存储介质 |
WO2023273093A1 (zh) * | 2021-06-30 | 2023-01-05 | 奥比中光科技集团股份有限公司 | 一种人体三维模型获取方法、装置、智能终端及存储介质 |
CN113610889A (zh) * | 2021-06-30 | 2021-11-05 | 奥比中光科技集团股份有限公司 | 一种人体三维模型获取方法、装置、智能终端及存储介质 |
CN113436350A (zh) * | 2021-07-07 | 2021-09-24 | 武汉湾流科技股份有限公司 | 一种三维模型生成方法及系统 |
CN113538663A (zh) * | 2021-07-12 | 2021-10-22 | 华东师范大学 | 一种基于深度特征解耦的可控人体形状补全方法 |
CN113538663B (zh) * | 2021-07-12 | 2022-04-05 | 华东师范大学 | 一种基于深度特征解耦的可控人体形状补全方法 |
CN113570702A (zh) * | 2021-07-14 | 2021-10-29 | Oppo广东移动通信有限公司 | 3d照片的生成方法与装置、终端及可读存储介质 |
CN113436325B (zh) * | 2021-07-30 | 2023-07-28 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN113436325A (zh) * | 2021-07-30 | 2021-09-24 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN113538667A (zh) * | 2021-09-17 | 2021-10-22 | 清华大学 | 动态场景光场重建方法及装置 |
CN114049437A (zh) * | 2021-11-10 | 2022-02-15 | 百度在线网络技术(北京)有限公司 | 尺度确定方法、装置、电子设备及介质 |
CN114387392A (zh) * | 2021-12-13 | 2022-04-22 | 清华大学 | 一种根据人影重建三维人体姿态的方法 |
CN114387392B (zh) * | 2021-12-13 | 2024-06-28 | 清华大学 | 一种根据人影重建三维人体姿态的方法 |
CN114863014A (zh) * | 2022-04-06 | 2022-08-05 | 聚好看科技股份有限公司 | 一种三维模型的融合显示方法及设备 |
CN114863014B (zh) * | 2022-04-06 | 2024-05-24 | 聚好看科技股份有限公司 | 一种三维模型的融合显示方法及设备 |
WO2024103890A1 (zh) * | 2022-11-18 | 2024-05-23 | 苏州元脑智能科技有限公司 | 模型构建方法、重建方法、装置、电子设备及非易失性可读存储介质 |
CN116612244A (zh) * | 2023-07-21 | 2023-08-18 | 之江实验室 | 一种图像生成方法、装置、存储介质及电子设备 |
CN116612244B (zh) * | 2023-07-21 | 2023-09-29 | 之江实验室 | 一种图像生成方法、装置、存储介质及电子设备 |
CN117788700A (zh) * | 2023-12-22 | 2024-03-29 | 浙江大学 | 一种基于隐式表示的手物交互三维重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111739161B (zh) | 2020-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111739161B (zh) | 一种有遮挡情况下的人体三维重建方法、装置及电子设备 | |
CN110889890B (zh) | 图像处理方法及装置、处理器、电子设备及存储介质 | |
Mueller et al. | Real-time hand tracking under occlusion from an egocentric rgb-d sensor | |
CN110807836B (zh) | 三维人脸模型的生成方法、装置、设备及介质 | |
KR100721536B1 (ko) | 2차원 평면상에서 실루엣 정보를 이용한 3차원 구조 복원방법 | |
Carranza et al. | Free-viewpoint video of human actors | |
CN105701857B (zh) | 3d建模的对象的纹理化 | |
US9251623B2 (en) | Glancing angle exclusion | |
Stich et al. | Perception-motivated interpolation of image sequences | |
US20020095276A1 (en) | Intelligent modeling, transformation and manipulation system | |
US20020158873A1 (en) | Real-time virtual viewpoint in simulated reality environment | |
CN107798704B (zh) | 一种用于增强现实的实时图像叠加方法及装置 | |
CN108564619B (zh) | 一种基于两张照片的真实感三维人脸重建方法 | |
CN112785692B (zh) | 一种基于深度uv先验的单视角多人人体重建方法 | |
Liu et al. | A new model-based method for multi-view human body tracking and its application to view transfer in image-based rendering | |
Alexiadis et al. | Fast deformable model-based human performance capture and FVV using consumer-grade RGB-D sensors | |
da Silveira et al. | Omnidirectional visual computing: Foundations, challenges, and applications | |
Stastny et al. | Augmented reality usage for prototyping speed up | |
Rendle et al. | Volumetric avatar reconstruction with spatio-temporally offset rgbd cameras | |
de Aguiar et al. | Reconstructing human shape and motion from multi-view video | |
Dong et al. | Resolving incorrect visual occlusion in outdoor augmented reality using TOF camera and OpenGL frame buffer | |
Villa-Uriol et al. | Automatic creation of three-dimensional avatars | |
Kimura et al. | 3D reconstruction based on epipolar geometry | |
Jang et al. | Depth video based human model reconstruction resolving self-occlusion | |
US20230196702A1 (en) | Object Deformation with Bindings and Deformers Interpolated from Key Poses |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |