CN113989434A - 一种人体三维重建方法及设备 - Google Patents

一种人体三维重建方法及设备 Download PDF

Info

Publication number
CN113989434A
CN113989434A CN202111254941.4A CN202111254941A CN113989434A CN 113989434 A CN113989434 A CN 113989434A CN 202111254941 A CN202111254941 A CN 202111254941A CN 113989434 A CN113989434 A CN 113989434A
Authority
CN
China
Prior art keywords
target
cloud data
point cloud
human body
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111254941.4A
Other languages
English (en)
Inventor
许瀚誉
陈春朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juhaokan Technology Co Ltd
Original Assignee
Juhaokan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juhaokan Technology Co Ltd filed Critical Juhaokan Technology Co Ltd
Priority to CN202111254941.4A priority Critical patent/CN113989434A/zh
Publication of CN113989434A publication Critical patent/CN113989434A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

本申请涉及计算机视觉和计算机图形学技术领域，提供一种人体三维重建方法及设备，采用全局重建和局部重建相结合的方式实现人体三维重建；首先，将连续N帧目标RGBD图对应的点云数据进行融合、分割，得到人体点云数据，基于人体点云数据，生成初始人体模型，由于每一帧目标RGBD图像包含了各个视角下人体的完整数据，保证了初始人体模型的完整性；然后，根据目标点云数据对应的目标RGB图像，提取目标区域的2D特征点集合并转换为3D特征点集合，根据3D特征点集合和目标区域的点云数据，生成局部模型，将局部模型和初始人体模型对齐，通过局部模型丰富初始人体模型中目标区域的细节信息，从而得到高精度的目标人体模型。

Description

一种人体三维重建方法及设备
技术领域
本申请涉及计算机视觉和计算机图形学技术领域，尤其涉及一种人体三维重建方法及设备。
背景技术
随着虚拟现实(Virtual Reality，VR)技术和增强现实(Augmented Reality，AR)技术逐渐从军事和工业领域正逐步扩展到娱乐和生活领域，人们的社交方式发生了改变。形象逼真的虚拟化身在虚拟空间中进行社交，重现了第一代社交方式中面对面的沉浸感，虚拟/增强现实社交方式可能成为继第四代移动互联网时代之后的第五代社交媒体。而人体三维重建作为虚拟社交的关键技术，具有重要的研究意义。
通常的，人体三维重建涉及形态、姿态和纹理数据。重建过程中，首先从各类传感器获得采集信息，然后使用三维重建方法对采集信息进行处理，从而重建出人体三维模型。
近年来，随着成像技术的不断发展，基于RGB相机的视觉三维重建技术逐渐成为研究热点，随着RGBD相机的出现以及稠密SLAM算法的提出和优化，进一步提高了三维重建的质量和效率。
目前，人体三维重建的重建系统主要分为三种，分别是基于多阵列相机的″鸟笼″重建系统、基于单相机重建系统和基于稀疏多视点相机的重建系统。由于基于稀疏多视点相机的重建系统具有易于搭建，使用方便的特点，在现实生活中普遍使用。然而，基于稀疏多视点相机的重建系统，需要每个相机的视野中有完整的单视角人体数据，因此，需要人与每个相机之间有一定的距离，导致人的面部和手部在相机中所占的像素区域有限，重建出的人体模型缺乏面部和手部的细节，精度较低。
发明内容
本申请实施例提供了一种人体三维重建方法及设备，用以提高人体三维模型的重建精度。
第一方面，本申请实施例提供一种人体三维重建方法，包括：
获取目标对象保持设定姿态的连续N帧目标RGBD图像，每一帧目标RGBD图像是由已标定的各个RGBD相机同步采集的1张RGBD图像拼接得到的；
将每一帧目标RGBD图像转换为点云数据，并将连续的N帧点云数据融合为一帧目标点云数据；
对所述目标点云数据进行分割，得到所述目标对象的人体点云数据，并根据所述人体点云数据，生成初始人体模型；
从所述目标点云数据对应的目标RGB图像中，提取目标区域的2D特征点集合，并根据RGB图像与RGBD图像之间的转换关系，将所述2D特征点集合转换为3D特征点集合；
根据所述目标RGB图像中的极值像素点集合，从所述目标点云数据中获取所述目标区域的点云数据；
根据所述3D特征点集合和所述目标区域的点云数据，生成所述目标对象的局部模型；
将所述局部模型与所述初始人体模型对齐，生成目标人体模型。
第二方面，本申请实施例提供一种重建终端，包括显示器、存储器、处理器和至少一个外部通信接口，所述外部通信接口、所述显示器和所述存储器与所述处理器通过总线连接：
所述存储器中存储有计算机程序，所述处理器通过执行所述计算机程序实现以下操作：
通过所述至少一个外部通信接口，获取目标对象保持设定姿态的连续N帧目标RGBD图像，每一帧目标RGBD图像是由已标定的各个RGBD相机同步采集的1张RGBD图像拼接得到的；
将每一帧目标RGBD图像转换为点云数据，并将连续的N帧点云数据融合为一帧目标点云数据；
对所述目标点云数据进行分割，得到所述目标对象的人体点云数据，并根据所述人体点云数据，生成初始人体模型；
从所述目标点云数据对应的目标RGB图像中，提取目标区域的2D特征点集合，并根据RGB图像与RGBD图像之间的转换关系将所述2D特征点集合转换为3D特征点集合；
根据所述目标RGB图像中的极值像素点集合，从所述目标点云数据中获取所述目标区域的点云数据；
根据所述3D特征点集合和所述目标区域的点云数据，生成所述目标对象的局部模型；将所述局部模型与所述初始人体模型对齐，生成目标人体模型，并由显示器进行显示。
第三方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行人体三维重建方法。
本申请的上述实施例中，采用全局重建和局部重建相结合的方式实现人体三维重建，全局重建过程中，获取连续N帧目标对象的目标RGBD图像，将每帧RGBD图像转换为点云数据后进行融合、分割，得到目标对象的人体点云数据，基于人体点云数据，生成初始人体模型，由于每一帧目标RGBD图像是由已标定的各个RGBD相机同步采集的1张RGBD图像拼接得到，因此，每一帧目标RGBD图像包含了各个视角下的人体数据，保证了初始人体模型的完整性；局部重建过程中，根据融合后的目标点云数据对应的目标RGB图像，提取目标区域的2D特征点集合，转换后得到3D特征点集合，根据3D特征点集合和获取的目标区域的点云数据，生成局部模型，将局部模型和初始人体模型对齐，通过局部模型丰富初始人体模型中目标区域的细节信息，从而得到高精度的目标人体模型。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示例性示出了本申请实施例提供的稀疏多视点相机的重建系统的架构图；
图2示例性示出了本申请实施例提供的人体三维重建方法流程图；
图3示例性示出了本申请实施例提供的连续N帧点运数据的融合方法流程图；
图4示例性示出了本申请实施例提供的Function4D网络模型结构图；
图5示例性示出了本申请实施例提供的目标区域的点运数据提取方法流程图；
图6示例性示出了本申请实施例提供的局部模型与初始人体模型的对齐方法流程图；
图7示例性示出了本申请实施例提供的初始人体模型中的几何顶点的更新示意图；
图8示例性示出了本申请实施例提供的重建终端的结构图。
具体实施方式
为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
此外，术语″包括″和″具有″以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语″模块″，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
目前，根据重建系统的配置不同，人体三维重建主要有以下三种：
1)基于多阵列相机的″鸟笼″重建系统进行重建，重建过程中，待重建人员需要在″鸟笼″中保持静止数秒，待相机采集完人体数据后，根据重建系统中相机之间的标定关系和三角测量法，获得待重建人员的点云数据，经去噪、网格化、三角面片化等操作，生成人体三维模型。通过多阵列相机的″鸟笼″重建系统，可以得到高精度的人体三维模型，但是需要采集对象静止不动，并且，根据应用场景的不同，模型重建需要时间也不同。例如电影或动画场景中建模时间会长达几个小时，且需要具有专业知识的人员对采集对象进行扫描操作，由于扫描仪和所用相机的价格较为昂贵，难以在人们的日常生活中普遍使用。
2)基于单相机重建系统进行重建，利用单个相机或者TOF相机搭建的人体三维重建系统采集人体数据，采集过程中，需要待重建人员保持静止状态一段时间，由采集人员手持相机围绕待重建人员一圈，尽量覆盖全部视角下的人体，以得到完整的人体数据；或者，由待重建人员在相机前自转一圈，并做俯身、抬腿、抬手臂等动作，以获得完整的人体数据。基于获得的人体数据，生成点云数据，对点云进行去噪，并进行特征点提取、迭代最近点(Iterated Closest Points，ICP)、截断距离符号函数(Truncated Signed DistanceFunction，TSDF)、网格化、三角面片化等操作，生成人体三维模型。通过单相机重建系统，若使用普通的RGB相机采集的数据直接生成人体三维模型，则模型的保真度较低，且模型的比例大小和形状难以和采集图像对齐，若使用RGBD采集的数据，不管是相机静止人旋转，还是人静止相机旋转，都难以得到全部视角的完整人体数据，重建的模型往往是不完整的。并且，单相机重建系统重建模型的精度不稳定，也需要一定的学习成本，目前，不适用在日常生活中使用。
3)基于稀疏多视点相机的重建系统进行重建，该系统由3-8个结构光相机或TOF相机组成，这些相机通常能围成一圈，使得各个相机能够获得不同视角下的人体数据，采集过程中，不需要待重建人员保持静止不动，获得多视角下的人体数据后，根据相机之间的标定关系和三角测量法，获得待重建人员的点云数据，经过去噪、分割、网格化、三角面片化等操作，生成人体三维模型。相对于前两种方法，基于稀疏多视点相机的重建系统易于搭建，使用方便，可在现实生活中普遍使用。然而，在稀疏多视点相机的重建系统中，因为各相机位置固定，采集人体有效数据的时间较短，难以得到完整人体的全视角数据，导致重建模型的完整性较差。
目前，针对稀疏多视点相机的重建系统，为了获得完整的人体三维模型，大多采用泊松重建的方法，而这种重建方法使得模型过于平滑，失去了人体的外轮廓信息，进而降低了模型的保真度，并且重建过程中，由于人与各相机之间存在一定的距离，导致人的面部和手部在相机中所占的像素区域有限，重建出的人体模型缺乏面部和手部的细节。
为了提高稀疏多视点相机的重建系统中，重建的人体三维模型完整性，以及解决人体三维模型的头部、手部等局部区域细节缺失的问题，保证模型的重建精度，本申请实施例提供了一种人体三维重建方法及设备，基于3到6个民用级的RGBD相机搭建的重建系统，便可重建出具有衣物等外轮廓的高保真人体三维模型，并且模型具有高精度面部细节和手部细节，整个重建过程中，重建人员没有任何学习成本。相比于使用单RGBD相机进行人体三维重建的系统，可以还原出更加高精度、高完整性的人体三维模型，无需重建人员手持相机围绕待重建人员转一圈，或待重建人员站在轮盘等具有旋转功能的设备上，重建过程简单。
下面结合附图详细描述本申请的实施例。
图1示例性示出了本申请实施例提供的稀疏多视点相机的重建系统的架构图；如图1所示，该系统包含4个RGBD相机，这4个RGBD相机摆放于4个视角，组成一个正方形，相邻RGBD相机之间间隔2-3米，所有RGBD相机都朝向正方形的中心。各个RGBD相机之间通过音频线连接以同步采集数据。
需要说明的是，图1仅是一种示例，本申请实施例对RGBD相机的数量和围成的图形不做限制性要求，例如，RGBD相机的数量还可以是3个、6个等，围成的图形还可以是矩形、圆形等规则形状。再者，各个RGBD相机之间除使用音频线连接外，还可以使用网线、蓝牙等方式连接以进行数据同步。
上述重建系统中，对RGBD相机的分辨率要求较低，一般3-6个民用级RGBD相机便可满足重建要求，成本较低。
搭建好重建系统后，对该系统中的各个RGBD相机进行标定，完成相机坐标的统一。在一种可选的实施方式中，从各个RGBD相机中选取一个主相机，将其它相机的坐标系统一到主相机的坐标下。
例如，以图1中的第一个相机为主相机，分别确定第二相机至第四相机相对于主相机的位姿关系，得到标定矩阵，基于标定矩阵，将第二相机至第四相机的坐标系统一到主相机的坐标系下，完成坐标系的统一标定。
本申请实施例对多个相机标定的算法不作限制性要求，例如，可以采用双目标定法，利用棋盘格进行标定，通过识别棋盘格的角点，建立矩阵方程进行求解，得到两个相机之间的标定矩阵(包括旋转矩阵r和平移向量t)；还可以采用RGBD相机得到的点云数据，利用一个立方体的标定对象，提取标定对象平面的法向量，对齐两个RGBD相机得到平面点云的法向量，得到旋转矩阵r，再根据标定对象平面上相交的顶点确定平移向量t，得到标定矩阵。
需要说明的是，本申请实施例对RGBD相机的类型不做限制性要求，例如，可以是TOF相机(如Kinect相机)，还可以是结构光相机、双目相机。
基于图1所示的重建系统，图2示例性示出了本申请实施例提供的人体三维重建方法流程图，该流程由重建终端执行，主要包括以下几步：
S201：获取目标对象保持设定姿态的连续N帧目标RGBD图像，每一帧目标RGBD图像是由已标定的各个RGBD相机同步采集的1张RGBD图像拼接得到的。
在一种可选的实施方式中，目标对象进入图1所示的重建系统的中心，双臂张开一定的角度，呈″T pose″或″Apose″，手掌张开，各个RGBD相机连续采集N帧RGBD图像。由于重建系统中的各个RGBD相机已经完成标定，因此，可以基于标定矩阵，将各个RGBD相机同步采集的1张RGBD图像进行拼接，得到一帧完整的目标RGBD图像。连续采集N帧后，可得到连续N帧目标RGBD图像。
S202：将每一帧目标RGBD图像转换为点云数据，并将连续的N帧点云数据融合为一帧目标点云数据。
在执行S202时，将每一帧目标RGBD图像转换为点云数据，得到连续的N帧点云数据，采用迭代最近点(Iterative Closest Point，ICP)算法，确定连续N帧点云数据之间的非刚性转换关系，基于确定的转换关系，将连续的N帧点云数据融合为一帧目标点云数据。
具体实施时，参见图3：
S2021：从连续的N帧点云数据中选取一个参考帧。
以N等于3为例，选取第2帧点云数据为参考帧。
S2022：针对每一个非参考帧，执行以下操作：对一个非参考帧的点云数据进行采样，得到第一采样点集合，将第一采样点集合作为初始采样位置，对参考帧的点云数据进行采样，得到第二采样点集合，并根据第一采样点集合和第二采样点集合，确定一个非参考帧与参考帧之间的转换关系。
仍以N等于3为例，则第1帧点云数据和第3帧点云数据为非参考帧点云数据。首先，在第1帧点云数据中进行均匀采样，得到第1中点云数据对应的第一采样点集合，将第一采样点集合中的各个采集点作为第2帧点云数据的初始采样位置，对第2帧点云数据进行采样，得到第二采样点集合，然后，根据第一采样点集合和第二采样点集合，采用ICP算法，确定第1帧点云数据与第2帧点云数据之间的转换关系，记为T1-2。同理，可以得到第3帧点云数据和第2帧点云数据之间的转换关系，记为T3-2。
S2023：根据各个非参考帧与参考帧之间的转换关系，将各个非参考帧的点云数据融合到参考帧的点云数据中，得到目标点云数据。
仍以N等于3为例，在执行S3023时，分别确定转换关系T1-2和转换关系T3-2的逆矩阵，基于T1-2的逆矩阵，将第1帧点云数据融合到第2帧点云数据中，基于T3-2的逆矩阵，将第3帧点云数据融合到第2帧点云数据中，得到一帧目标点云数据。
S203：对目标点云数据进行分割，得到目标对象的人体点云数据，并根据人体点云数据，生成初始人体模型。
在执行S203时，利用点云分割技术(如：RanSaC算法、KDTree算法、OCTree算法等)，对目标点云进行分割，得到目标对象的人体点云数据，基于人体点云数据，重建一个完整的初始人体模型。
在一种可选的实施方式中，S201～S203的全局重建过程可采用基于隐函数的Function4D深度网络模型，该模型的结构如图4所示。利用Function4D模型得到体素空间中目标对象的所有体素的截断符号距离函数(Truncated Signed Distance Function，TSDF)值，然后根据行进立方体(Marching Cube)算法，提取出人体模型的顶点和面片，得到完整的初始人体模型。
S204：从目标点云数据对应的目标RGB图像中，提取目标区域的2D特征点集合，并根据RGB图像与RGBD图像之间的转换关系，将2D特征点集合转换为3D特征点集合。
在一些实施例中，执行S202得到目标点云数据后，进行重渲染，得到目标对象正面视角下的RGBD图像和RGB图像，并对得到的RGBD图像和RGB图像进行对齐，使得RGB图像与RGBD图像的分辨率相同，且视角一致，这样，RGB图像中的像素点与RGBD图像中的像素点一一对应，由于RGBD图像中的像素点与目标点云数据中的数据点一一对应，进而，可以得到RGB图像中像素点一一对应的点云数据。
在执行S204时，首先，对目标点云数据对应的目标RGB图像(即对齐后的RGB图像)进行识别，得到目标区域图像，从目标区域图像中提取2D特征点集合，然后，利用RGB图像和RGBD图像之间的转换关系，将2D特征点集合转换为3D特征点集合。
可选的，目标区域为细节缺失的区域，比如人体模型的头部、手部等区域。以目标区域为人脸区域为例，在提取2D特征点集合时，可采用51或68个特征点检测算法。
S205：根据目标RGB图像中的极值像素点集合，从目标点云数据中获取目标区域的点云数据。
在一种可选的实施方式中，执行S205时，将根据目标RGB图像中的极值像素点集合，确定一个目标区域的检测框，基于确定检测框，从目标点云数据中获取目标区域的点云数据。具体过程参见图5：
S2051：根据目标区域的2D特征点集合中各个2D特征点的像素坐标，确定目标RGB图像中的极值像素点集合。
在一种可选的实施方式中，若一个目标2D特征点的像素坐标大于预设邻域内2D特征点的像素坐标，则确定该目标2D特征点为极值像素点。遍历2D特征点集合后，得到极值像素点集合。
S2052：从极值像素点集合中，确定U坐标的最大值和最小值，以及V坐标的最大值和最小值。
在执行S2052时，比较极值像素点集合中各个极值像素点的U坐标和V坐标的大小，分别确定U坐标的最大值(记为max_u)和最小值(记为min_u)，以及V坐标的最大值(记为max_v)和最小值(记为min_v)。
S2053：将U坐标和V坐标的最大值增加第一像素值，将U坐标和V坐标的最大值减少第二像素值，得到目标区域对应的检测框。
在一种可选的实施方式中，在执行S2053时，分别将max_u和max_v增加5-10个像素值，将min_u和min_v减少5-10个像素值，得到目标区域对应的检测框。
需要说明的是，第一像素值和第二像素值的大小可以根据实际需求进行设置，可以不同。
S2054：根据检测框，从目标点云数据中获取目标区域的点云数据。
由于目标点云数据对应的正面视角下的RGBD图像和RGB图像进行了对齐，这样，目标点云数据中存在与RGB图像中像素点一一对应的点云，因此，根据确定的检测框，可以从目标点云数据中获取目标区域的点云数据。
S206：根据3D特征点集合和目标区域的点云数据，生成目标对象的局部模型。
在执行S206时，将3D特征点集合中的各个3D特征点，与目标区域对应的预设参数化模型中的3D特征点进行刚性拟合，得到更新后的参数化模型，提取更新后的参数化模型的点云数据，将提取的点云数据和目标区域的点云数据进行非刚性拟合，得到目标对象的局部模型。
可选的，当目标区域为人脸区域时，预设参数化模型可以为FLAM模型，当目标区域为手部区域时，预设参数化模型可以为MANO模型。
S207：将局部模型与初始人体模型对齐，生成目标人体模型。
在执行S207时，将局部模型中的顶点与初始人体模型中的顶点对齐，提取初始人体模型中目标区域的顶点，然后将这些顶点向局部模型变形，进行目标区域的二次重建，得到高精度的目标人体模型。具体参见图6：
S2071：从初始人体模型中，提取目标区域对应的各个第一几何顶点p。
S2072：选取局部模型中与各个第一几何顶点对应的第二几何顶点q。
在一种可选的实施方式中，第二几何顶点q为局部模型中与第一几何顶点距离最近的点。
S2073：针对每一个第一几何顶点，将第一几何顶点向对应的第二几何顶点q和对应的第二几何顶点的法向量
Figure BDA0003323793880000101
组成的平面R进行投影，得到更新后的第一几何顶点qnew。
第一几何顶点的更新过程参见图7。
S2074：基于各个更新后的第一几何顶点，对初始人体模型进行形变，得到目标人体模型。
在S2074中，初始人体模型变形后，保持面片的组织形式不变，得到人脸、手部细节丰富的高精度目标人体模型。
本申请的上述实施例中，将基于稀疏视点的人体三维重建分为全局重建和局部重建两部分。首先，进行全局重建：目标对象进入不同视角下各个RGBD相机构建的重建系统内，保持固定姿态，待采集连续三帧RGBD图像后，目标对象可以离开重建系统，无需保持静止不动；将连续三帧RGBD图像的点云数据进行融合，得到一帧目标点云数据，然后根据目标点云数据进行重建，获得初始人体模型，由于每一帧RGBD图像都是由各个视角下的RGBD相机同步采集的RGBD图像拼接得到的，这样，每一帧RGBD图像都包含完整的人体数据，对RGBD图像中提取的点云数据融合后，目标点云数据包含人体的完整数据，从而保证了初始人体模型的完整性。然后，进行局部重建：根据融合后的目标点云数据，得到目标对象正面视角下的RGB图像以及RGBD图像，并对RGB图像以及RGBD图像进行了对齐，从对齐后的RGB图像中提取目标区域的2D特征点，得到2D特征点集合，根据RGB图像和RGBD图像之间的转换关系，将2D特征点集合转换为3D特征点集合，进一步地，从目标点云数据中选取目标区域的点云数据，基于3D特征点集合和选取的点云数据，重建局部模型。最后，将初始人体模型和局部模型中的几何顶点对齐，更新初始人体模型中目标区域内的几何顶点，根据更新后的几何顶点对初始人体模型进行变形，生成人脸、手部细节丰富的高精度目标人体模型，进而提高了重建模型的真实性。
本申请上述实施例提供的人体三维重建方法，既可以重建出衣物等外轮廓清晰，局部细节不牺牲真实性的人体模型，还可以在民用级RGBD相机的采集距离的条件下，得到高精度几何细节的头部和手部等局部模型，进而得到一个完整的高精度人体三维模型。
需要说明的是，本申请实施例不仅可以针对单个目标对象进行三维重建，还可以针对采集场景中的多个目标对象进行三维重建，只要求多个目标对象之间的头部和手部不存在遮挡关系，各个RGBD相机可以采集各个目标对象的完整数据即可。
基于相同的技术构思，本申请实施例提供一种重建终端，该重建终端可执本申请实施例提供的人体三维重建的方法流程，并能达到同样的技术效果，在此不再重复。
参见图8，该重建终端包括处理器801、存储器802、显示器803和至少一个外部通信接口804，至少一个外部通信接口804、显示器803和存储器802与处理器801通过总线805连接；至少一个外部通信接口804被配置为获取目标对象保持设定姿态的连续N帧目标RGBD图像，显示器803被配置为显示目标人体模型，存储器802中存储有计算机程序，处理器801通过执行计算机程序实现前述实施例中人体三维重建方法。
本申请实施例还提供一种计算机可读存储介质，用于存储一些指令，这些指令被执行时，可以完成前述实施例的方法。
本申请实施例还提供一种计算机程序产品，用于存储计算机程序，该计算机程序用于执行前述实施例的方法。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种人体三维重建方法，其特征在于，包括：
获取目标对象保持设定姿态的连续N帧目标RGBD图像，每一帧目标RGBD图像是由已标定的各个RGBD相机同步采集的1张RGBD图像拼接得到的；
将每一帧目标RGBD图像转换为点云数据，并将连续的N帧点云数据融合为一帧目标点云数据；
对所述目标点云数据进行分割，得到所述目标对象的人体点云数据，并根据所述人体点云数据，生成初始人体模型；
从所述目标点云数据对应的目标RGB图像中，提取目标区域的2D特征点集合，并根据RGB图像与RGBD图像之间的转换关系将所述2D特征点集合转换为3D特征点集合；
根据所述目标RGB图像中的极值像素点集合，从所述目标点云数据中获取所述目标区域的点云数据；
根据所述3D特征点集合和所述目标区域的点云数据，生成所述目标对象的局部模型；
将所述局部模型与所述初始人体模型对齐，生成目标人体模型。
2.如权利要求1所述的方法，其特征在于，所述将连续的N帧点云数据融合为一帧目标点云数据，包括：
从连续的N帧点云数据中选取一个参考帧；
针对每一个非参考帧，执行以下操作：对所述一个非参考帧的点云数据进行采样，得到第一采样点集合，将所述第一采样点集合作为初始采样位置，对所述参考帧的点云数据进行采样，得到第二采样点集合，并根据所述第一采样点集合和所述第二采样点集合，确定所述一个非参考帧与所述参考帧之间的转换关系；
根据各个非参考帧与所述参考帧之间的转换关系，将所述各个非参考帧的点云数据融合到所述参考帧的点云数据中，得到所述目标点云数据。
3.如权利要求1所述的方法，其特征在于，所述根据所述目标RGB图像中的极值像素点，从所述目标点云数据中获取所述目标区域的点云数据，包括：
根据所述目标区域的2D特征点集合中各个2D特征点的像素坐标，确定所述目标RGB图像中的极值像素点集合；
从所述极值像素点集合中，确定U坐标的最大值和最小值，以及V坐标的最大值和最小值；
将所述U坐标和所述V坐标的最大值增加第一像素值，将所述U坐标和所述V坐标的最大值减少第二像素值，得到所述目标区域对应的检测框；
根据所述检测框，从所述目标点云数据中获取所述目标区域的点云数据。
4.如权利要求1所述的方法，其特征在于，所述根据所述3D特征点集合和所述目标区域的点云数据，生成所述目标对象的局部模型，包括：
将所述3D特征点集合中的各个3D特征点，与所述目标区域对应的预设参数化模型中的3D特征点进行刚性拟合，得到更新后的参数化模型；
提取更新后的参数化模型的点云数据，将提取的点云数据和所述目标区域的点云数据进行非刚性拟合，得到所述目标对象的局部模型。
5.如权利要求1所述的方法，其特征在于，所述将所述局部模型与所述初始人体模型对齐，生成目标人体模型，包括：
从所述初始人体模型中，提取所述目标区域对应的各个第一几何顶点；
选取所述局部模型中与所述各个第一几何顶点对应的第二几何顶点；
针对每一个第一几何顶点，将所述第一几何顶点向对应的第二几何顶点和对应的第二几何顶点的法向量组成的平面进行投影，得到更新后的第一几何顶点；
基于各个更新后的第一几何顶点，对所述初始人体模型进行形变，得到目标人体模型。
6.如权利要求1-5中任一项所述的方法，其特征在于，所述各个RGBD相机之间间隔预设距离，所述各个RGBD相机围成规则的图形，且朝向所述图形的中心。
7.一种重建终端，其特征在于，包括显示器、存储器、处理器和至少一个外部通信接口，所述外部通信接口、所述显示器和所述存储器与所述处理器通过总线连接：
所述存储器中存储有计算机程序，所述处理器通过执行所述计算机程序实现以下操作：
通过所述至少一个外部通信接口，获取目标对象保持设定姿态的连续N帧目标RGBD图像，每一帧目标RGBD图像是由已标定的各个RGBD相机同步采集的1张RGBD图像拼接得到的；
将每一帧目标RGBD图像转换为点云数据，并将连续的N帧点云数据融合为一帧目标点云数据；
对所述目标点云数据进行分割，得到所述目标对象的人体点云数据，并根据所述人体点云数据，生成初始人体模型；
从所述目标点云数据对应的目标RGB图像中，提取目标区域的2D特征点集合，并根据RGB图像与RGBD图像之间的转换关系将所述2D特征点集合转换为3D特征点集合；
根据所述目标RGB图像中的极值像素点集合，从所述目标点云数据中获取所述目标区域的点云数据；
根据所述3D特征点集合和所述目标区域的点云数据，生成所述目标对象的局部模型；将所述局部模型与所述初始人体模型对齐，生成目标人体模型，并由显示器进行显示。
8.如权利要求7所述的重建终端，其特征在于，所述处理器将连续的N帧点云数据融合为一帧目标点云数据，具体被配置为：
从连续的N帧点云数据中选取一个参考帧；
针对每一个非参考帧，执行以下操作：对所述一个非参考帧的点云数据进行采样，得到第一采样点集合，将所述第一采样点集合作为初始采样位置，对所述参考帧的点云数据进行采样，得到第二采样点集合，并根据所述第一采样点集合和所述第二采样点集合，确定所述一个非参考帧与所述参考帧之间的转换关系；
根据各个非参考帧与所述参考帧之间的转换关系，将所述各个非参考帧的点云数据融合到所述参考帧的点云数据中，得到所述目标点云数据。
9.如权利要求7所述的重建终端，其特征在于，所述处理器根据所述目标RGB图像中的极值像素点，从所述目标点云数据中获取所述目标区域的点云数据，具体被配置为：
根据所述目标区域的2D特征点集合中各个2D特征点的像素坐标，确定所述目标RGB图像中的极值像素点集合；
从所述极值像素点集合中，确定U坐标的最大值和最小值，以及V坐标的最大值和最小值；
将所述U坐标和所述V坐标的最大值增加第一像素值，将所述U坐标和所述V坐标的最大值减少第二像素值，得到所述目标区域对应的检测框；
根据所述检测框，从所述目标点云数据中获取所述目标区域的点云数据。
10.如权利要求7所述的重建终端，其特征在于，所述处理器将所述局部模型与所述初始人体模型对齐，生成目标人体模型，具体被配置为：
从所述初始人体模型中，提取所述目标区域对应的各个第一几何顶点；
选取所述局部模型中与所述各个第一几何顶点对应的第二几何顶点；
针对每一个第一几何顶点，将所述第一几何顶点向对应的第二几何顶点和对应的第二几何顶点的法向量组成的平面进行投影，得到更新后的第一几何顶点；
基于各个更新后的第一几何顶点，对所述初始人体模型进行形变，得到目标人体模型。
CN202111254941.4A 2021-10-27 2021-10-27 一种人体三维重建方法及设备 Pending CN113989434A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111254941.4A CN113989434A (zh) 2021-10-27 2021-10-27 一种人体三维重建方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111254941.4A CN113989434A (zh) 2021-10-27 2021-10-27 一种人体三维重建方法及设备

Publications (1)

Publication Number Publication Date
CN113989434A true CN113989434A (zh) 2022-01-28

Family

ID=79742449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111254941.4A Pending CN113989434A (zh) 2021-10-27 2021-10-27 一种人体三维重建方法及设备

Country Status (1)

Country Link
CN (1) CN113989434A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820575A (zh) * 2022-05-24 2022-07-29 四川中绳矩阵技术发展有限公司 图像验证方法、装置、计算机设备及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150178988A1 (en) * 2012-05-22 2015-06-25 Telefonica, S.A. Method and a system for generating a realistic 3d reconstruction model for an object or being
CN104992441A (zh) * 2015-07-08 2015-10-21 华中科技大学 一种面向个性化虚拟试衣的真实人体三维建模方法
WO2015188684A1 (zh) * 2014-06-12 2015-12-17 深圳奥比中光科技有限公司 三维模型重建方法与系统
CN106709947A (zh) * 2016-12-20 2017-05-24 西安交通大学 一种基于rgbd相机的三维人体快速建模系统
CN107833270A (zh) * 2017-09-28 2018-03-23 浙江大学 基于深度相机的实时物体三维重建方法
CN110060329A (zh) * 2019-01-15 2019-07-26 叠境数字科技（上海）有限公司 一种基于彩色深度视频流数据的移动端人体模型重建方法
CN110827342A (zh) * 2019-10-21 2020-02-21 中国科学院自动化研究所 三维人体模型重建方法及存储设备、控制设备
CN111369666A (zh) * 2020-03-02 2020-07-03 中国电子科技集团公司第五十二研究所 一种基于多台rgbd相机的动态目标重建方法和装置
CN111932670A (zh) * 2020-08-13 2020-11-13 北京未澜科技有限公司 基于单个rgbd相机的三维人体自画像重建方法及系统
CN111968169A (zh) * 2020-08-19 2020-11-20 北京拙河科技有限公司 动态人体三维重建方法、装置、设备和介质
CN112509117A (zh) * 2020-11-30 2021-03-16 清华大学 手部三维模型的重建方法、装置、电子设备及存储介质
WO2021077720A1 (zh) * 2019-10-25 2021-04-29 深圳奥比中光科技有限公司 获取对象三维模型的方法、装置、电子设备及系统
CN112950769A (zh) * 2021-03-31 2021-06-11 深圳市慧鲤科技有限公司 三维人体重建方法、装置、设备及存储介质
CN113012282A (zh) * 2021-03-31 2021-06-22 深圳市慧鲤科技有限公司 三维人体重建方法、装置、设备及存储介质
CN113313818A (zh) * 2021-06-07 2021-08-27 聚好看科技股份有限公司 一种三维重建方法、装置及系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150178988A1 (en) * 2012-05-22 2015-06-25 Telefonica, S.A. Method and a system for generating a realistic 3d reconstruction model for an object or being
WO2015188684A1 (zh) * 2014-06-12 2015-12-17 深圳奥比中光科技有限公司 三维模型重建方法与系统
CN104992441A (zh) * 2015-07-08 2015-10-21 华中科技大学 一种面向个性化虚拟试衣的真实人体三维建模方法
CN106709947A (zh) * 2016-12-20 2017-05-24 西安交通大学 一种基于rgbd相机的三维人体快速建模系统
CN107833270A (zh) * 2017-09-28 2018-03-23 浙江大学 基于深度相机的实时物体三维重建方法
CN110060329A (zh) * 2019-01-15 2019-07-26 叠境数字科技（上海）有限公司 一种基于彩色深度视频流数据的移动端人体模型重建方法
CN110827342A (zh) * 2019-10-21 2020-02-21 中国科学院自动化研究所 三维人体模型重建方法及存储设备、控制设备
WO2021077720A1 (zh) * 2019-10-25 2021-04-29 深圳奥比中光科技有限公司 获取对象三维模型的方法、装置、电子设备及系统
CN111369666A (zh) * 2020-03-02 2020-07-03 中国电子科技集团公司第五十二研究所 一种基于多台rgbd相机的动态目标重建方法和装置
CN111932670A (zh) * 2020-08-13 2020-11-13 北京未澜科技有限公司 基于单个rgbd相机的三维人体自画像重建方法及系统
CN111968169A (zh) * 2020-08-19 2020-11-20 北京拙河科技有限公司 动态人体三维重建方法、装置、设备和介质
CN112509117A (zh) * 2020-11-30 2021-03-16 清华大学 手部三维模型的重建方法、装置、电子设备及存储介质
CN112950769A (zh) * 2021-03-31 2021-06-11 深圳市慧鲤科技有限公司 三维人体重建方法、装置、设备及存储介质
CN113012282A (zh) * 2021-03-31 2021-06-22 深圳市慧鲤科技有限公司 三维人体重建方法、装置、设备及存储介质
CN113313818A (zh) * 2021-06-07 2021-08-27 聚好看科技股份有限公司 一种三维重建方法、装置及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
周泽浩;张之江;: "基于RGB-D相机数据的人体三维重建系统", 工业控制计算机, no. 09, 25 September 2020 (2020-09-25) *
庞浩;李吉平;彭健钧;钟鑫;: "ICP算法的改进及两台Kinect对人体的重建", 大连工业大学学报, no. 06, 15 November 2017 (2017-11-15) *
林瑞;王俊英;孙水发;董方敏;: "基于Kinect的骨骼配准的人体三维重建", 信息通信, no. 12, 15 December 2016 (2016-12-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820575A (zh) * 2022-05-24 2022-07-29 四川中绳矩阵技术发展有限公司 图像验证方法、装置、计算机设备及存储介质
CN114820575B (zh) * 2022-05-24 2023-01-20 四川中绳矩阵技术发展有限公司 图像验证方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
US11410320B2 (en) Image processing method, apparatus, and storage medium
CN106803267B (zh) 基于Kinect的室内场景三维重建方法
JP7403528B2 (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
CN105164728B (zh) 用于混合实境的设备和方法
El-Hakim et al. A multi-sensor approach to creating accurate virtual environments
US9317970B2 (en) Coupled reconstruction of hair and skin
CN110874864A (zh) 获取对象三维模型的方法、装置、电子设备及系统
CN111243071A (zh) 实时三维人体重建的纹理渲染方法、系统、芯片、设备和介质
Fyffe et al. Multi‐view stereo on consistent face topology
CN112837406B (zh) 一种三维重建方法、装置及系统
KR100681320B1 (ko) 헬름홀츠 교환조건으로부터 유도되는 편미분 방정식의레벨셋 풀이 방법을 이용한 물체의 3차원 형상 모델링 방법
JP2023514289A (ja) ３次元顔モデルの構築方法、３次元顔モデルの構築装置、コンピュータ機器、及びコンピュータプログラム
EP3533218B1 (en) Simulating depth of field
EP3756163B1 (en) Methods, devices, and computer program products for gradient based depth reconstructions with robust statistics
US8633926B2 (en) Mesoscopic geometry modulation
US11928778B2 (en) Method for human body model reconstruction and reconstruction system
CN113657357B (zh) 图像处理方法、装置、电子设备及存储介质
JP2021056679A (ja) 画像処理装置、方法及びプログラム
CN113989434A (zh) 一种人体三维重建方法及设备
CN116863044A (zh) 人脸模型的生成方法、装置、电子设备及可读存储介质
US20240096041A1 (en) Avatar generation based on driving views
CN116071485A (zh) 一种人体三维重建方法及设备
Kim et al. Projection-based registration using color and texture information for virtual environment generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination