CN112837406A - 一种三维重建方法、装置及系统 - Google Patents

Abstract

本申请涉及人机交互技术领域，提供一种三维重建方法、装置及系统，通过接收用于三维重建的运动位姿数据；根据所述运动位姿数据中人体关节点与预先构建的参数化人体模型中人体关节点的关系，以及所述参数化人体模型中人体关节点与几何顶点的关系，用所述运动位姿数据驱动所述参数化人体模型中的几何数据运动；根据所述运动位姿数据和运动后的几何数据，重建参数化人体模型，从而实现动态的三维重建，且重建过程无需接收三维重建的几何数据，减少重建过程中数据占用的带宽，提高了数据的接收效率，进而减小了三维重建的时延。

Description

一种三维重建方法、装置及系统

技术领域

本申请涉及人机交互技术领域，尤其涉及一种三维重建方法、装置及系统。

背景技术

远程三维通信交互系统的核心技术是对人体的三维重建。三维重建信息涉及形态、姿态和纹理数据，首先从各类传感器获得的采集信息作为输入，然后使用三维重建方法进行处理，从而重建出人体三维信息。目前，虚拟现实(Virtual Reality，VR)技术和增强现实(Augmented Reality，AR)技术从军事和工业领域正逐步扩展到娱乐和生活领域，改变了人们的社交方式。形象逼真的虚拟化身在虚拟空间中与其它虚拟化身进行社交，重现了第一代社交方式中面对面的沉浸感，虚拟/增强现实社交方式可能成为继第四代移动互联网时代之后的第五代社交媒体。

目前，精度较高的静态三维重建方法仍需使用光学扫描仪(可见结构光或激光扫描仪)，这类方法要求采集对象在整个扫描过程中保持静止不动数秒甚至数分钟的时间，通过将多个角度的高精度三维扫描信息进行拼接最终重建出高精度的人体静态三维模型。因此，基于光学扫描仪的三维方法存在一些固有缺陷，比如扫描时间长且需要采集对象静止不动、需要具有专业知识的人员进行扫描操作以及扫描仪价格较为昂贵等。而动态三维重建方法中图像的分辨率越高，用于三维重建的数据量越大，占用的带宽越多，使得远程三维通信过程中云端传输的压力越大。因此，本申请提出一种基于RGBD相机的三维重建方法。

发明内容

本申请提供了一种三维重建方法、装置及系统，用以实现动态三维重建以及减小重建数据占用的带宽。

第一方面，本申请提供一种三维重建方法，包括：

接收用于三维重建的运动位姿数据；

根据所述运动位姿数据中人体关节点与参数化人体模型中人体关节点的关系，以及所述参数化人体模型中人体关节点与几何顶点的关系，用所述运动位姿数据驱动所述参数化人体模型中的几何数据运动，所述参数化人体模型是通过人体的不同形体参数和不同姿态参数预先构建的；

根据所述运动位姿数据和运动后的几何数据，重建参数化人体模型。

第二方面，本申请提供一种显示设备，包括显示器、存储器、处理器：

所述显示器，与所述处理器连接，用于显示人体模型；

所述存储器，与所述处理器连接，用于存储计算机程序指令；

所述处理器，用于根据所述存储器存储的计算机程序指令，执行以下操作：

接收用于三维重建的运动位姿数据；

根据所述运动位姿数据中人体关节点与参数化人体模型中人体关节点的关系，以及所述参数化人体模型中人体关节点与几何顶点的关系，用所述运动位姿数据驱动所述参数化人体模型中的几何数据运动，所述参数化人体模型是通过人体的不同形体参数和不同姿态参数预先构建的；

根据所述运动位姿数据和运动后的几何数据，重建参数化人体模型。

本申请的上述实施例中，通过人体的不同形体参数和不同姿态参数预先构建了参数化人体模型，其中预先构建的参数化人体模型中人体关节点与几何顶点存在关联关系，在三维重建过程中，接收用于三维重建的运动位姿数据，根据运动位姿数据中人体关节点与预先构建的参数化人体模型中人体关节点的关系以及参数化人体模型中人体关节点与几何顶点的关系，用运动位姿数据驱动参数化人体模型中的几何数据运动，根据运动位姿数据和运动后的几何数据，重建参数化人体模型，从而实现动态的三维重建，且重建过程中接收了运动位姿数据，无需接收三维重建的几何数据，减少重建过程中数据占用的带宽，提高了数据的接收效率，进而减小了三维重建的时延。

第三方面，本申请提供一种三维重建方法，包括：

响应于用户运动操作，采集用户的深度图像；

将所述深度图像输入到训练好的参数化人体模型中，确定用于三维重建的运动位姿数据，并发送给接收方，使得接收方根据所述运动位姿数据及预先构建的参数化人体模型中的几何数据，重建参数化人体模型。

第四方面，本申请提供一种采集端设备，包括深度相机、工作站：

所述深度相机，用于响应于用户运动操作，采集用户的深度图像；

所述工作站，用于将所述深度图像输入到训练好的参数化人体模型中，确定用于三维重建的运动位姿数据，并发送给接收方，使得接收方根据所述运动位姿数据及预先构建的参数化人体模型中的几何数据，重建参数化人体模型。

本申请的上述实施例中，采集交互过程中用户运动的深度图像，并基于训练好的参数化人体模型得到用于三维重建的运动位姿数据，减少了数据获取过程中的大量计算，实现方式简单。

第五方面，本申请一种三维重建系统，包括采集端设备、传输端设备、渲染显示端设备：

所述采集端设备，用于响应于用户运动操作，采集用户的深度图像；将所述深度图像输入到训练好的参数化人体模型中，确定用于三维重建的运动位姿数据；

所述传输端设备，用于将所述采集端设备确定的用于三维重建的运动位姿数据传输给所述渲染显示端设备；

所述渲染显示端设备，用于接收用于三维重建的运动位姿数据；根据所述运动位姿数据中人体关节点与参数化人体模型中人体关节点的关系，以及所述参数化人体模型中人体关节点与几何顶点的关系，用所述运动位姿数据驱动所述参数化人体模型中的几何数据运动，所述参数化人体模型是通过人体的不同形体参数和不同姿态参数预先构建的；根据所述运动位姿数据和运动后的几何数据，重建参数化人体模型。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示例性示出了本申请实施例提供的一种三维重建系统架构图；

图2示例性示出了本申请实施例提供的应用场景示意图；

图3示例性示出了本申请实施例提供的一种三维通信方法的流程图；

图4示例性示出了本申请实施例提供的一种三维通信方法的流程图；

图5示例性示出了本申请实施例提供的完整的三维重建过程示意图；

图6示例性示出了本申请实施例提供的完整的三维重建方法流程图；

图7示例性示出了本申请实施例提供的完整的远程三维交互方法流程图；

图8示例性示出了本申请实施例提供的一种显示设备的功能结构图；

图9示例性示出了本申请实施例提供的一种采集端设备的功能结构图；

图10示例性示出了本申请实施例提供的一种显示设备的硬件结构图；

图11示例性示出了本申请实施例提供的一种采集端设备的硬件结构图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

此外，术语″包括″和″具有″以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语″模块″，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

近年来，随着三维成像技术的不断发展，基于RGB相机的视觉三维重建技术逐渐成为研究热点，随后RGBD相机的出现及双目立体匹配算法的提出和优化进一步提高了三维重建的质量和效率，使便携高效的三维重建成为可能。单个相机只能获取当前场景中某一视角下对象的彩色或深度信息，多视点采集系统能够对物体各个视角的二维彩色信息或深度信息进行采集，并且使用多视点立体匹配(Multi-View Stereo，MVS)或深度信息融合等方法重建出高精度三维表面几何模型，但同时多视点构建较为复杂，需要进行多相机标定及数据融合。

基于RGB相机或RGBD相机的研究中，部分企业在三维重建领域的研究成果较为突出。目前已面市的产品中，有些公司都是通过2D人像进行三维重建，生成拟真或卡通的三维数字形象，模型数据量小但拟真效果不佳；有些公司主要采用数量较大的摄像头阵列进行3D人物采集，运算量较大，以较高的数据带宽进行传输，系统成本较高。并且，目前Oculus设备中的远程三维通信仅能通过手柄触发固定的几个动作。

异地的远程三维通信系统核心技术涉及实时三维重建技术、三维数据的编解码及传输技术、沉浸式VR/AR显示技术等。其中云端传输对动态三维重建的质量及最终显示端成像有重要影响，而动态三维重建的分辨率越高，数据量会相应剧烈增长，例如192＊192＊128分辨率需要的传输码率为256Mbps，384＊384＊384分辨率需要的传输码率为1120Mbps(以30FPS为例)。因此，如何保证较好的三维重建质量，又能够降低传输压力成为亟待解决的问题。

基于上述分析，本申请实施例提供一种三维重建方法、装置及系统。该方法通过人体的不同形体参数和不同姿态参数预先构建参数化人体模型并保存在本地，参数化人体模型中人体关节点与几何顶点存在关联关系，在三维重建过程中，接收从深度图像中提取的用于三维重建的运动位姿数据，根据运动位姿数据中人体关节点与预先构建的参数化人体模型中人体关节点的关系以及参数化人体模型中人体关节点与几何顶点的关系，用运动位姿数据驱动参数化人体模型中的几何数据运动，从而在三维重建过程中，无需接收三维重建的几何数据，减少重建过程中数据占用的带宽，降低了云端传输压力并提高了数据的接收效率；渲染过程中，根据所述运动位姿数据和运动后的几何数据，重建参数化人体模型，实现远程三维通信系统的实时交互，减小了三维重建的时延，进而提升了用户体验。

下面结合附图详细描述本申请的实施例。

图1示例性示出了本申请实施例提供的一种三维重建系统架构图。如图1所示，该系统包括采集端设备101、传输端设备102、渲染显示端设备103。采集端设备101用于响应于用户运动操作，通过RGBD相机101_1(如Azure Kinect DK或者Realsense相机等)采集用户的深度图像和RGB图像，并通过配套的主机/工作站101_2进行相关运算，将深度图像输入到训练好的参数化人体模型中，确定用于三维重建的运动位姿数据；传输端设备102，用于将采集端设备确定的用于三维重建的运动位姿数据传输给渲染显示端设备103，其中传输端设备可以是云服务器；渲染显示端设备103，用于接收用于三维重建的运动位姿数据，根据运动位姿数据中人体关节点与参数化人体模型中人体关节点的关系，以及参数化人体模型中人体关节点与几何顶点的关系，用运动位姿数据驱动参数化人体模型中的几何数据运动，根据运动位姿数据和运动后的几何数据，重建参数化人体模型，其中预先构建的参数化人体模型是通过人体的不同形体参数和不同姿态参数构建的，且预先构建过程中使用了运动位姿数据和几何数据，渲染显示端设备包括电视、手机、VR/AR头戴式显示设备。

本申请上述实施例中的系统，基于RGBD相机，采集端设备预先构建参数化人体模型并保存在渲染显示端设备，在远程三维通信过程中，提取深度图像中的运动位姿数据并实时传输，渲染显示端设备利用运动位姿数据中人体关节点驱动本地的参数化人体模型中几何数据运动，来完成真人仿真模型的实时驱动交互，从而进行实时远程三维通信。

下面对本申请实施例中的名词进行解释说明。

几何数据：图形学中几何数据是指描述三维物体的数据，几何数据一般是由几何顶点的三维位置数据、颜色数据、法向数据、三角面片索引数据组成。几何数据的来源是RGB图像和深度图像(深度图像包含RGB图像中每个像素的深度信息)，一般通过点云泊松重建即可得到，图形与图像差别很大，属于两个不同的研究领域。

运动位姿数据：包括三维位置数据和人体(骨骼)关节点的姿态数据，其中位置数据是三维空间坐标数据(x，y，z)，姿态数据的几种表达方式包括：欧拉角、轴角、旋转矩阵、四元数，一般欧拉角、轴角是三个数据组成一个向量，旋转矩阵是九个数据组成一个向量，四元数是四个数据组成一个向量。在不同应用场景下可采用不同的表达方式，由于欧拉角表示的姿态数据的数据量较小，本申请的一些实施例中姿态数据选择用欧拉角表示；其中人体关节点为24个，包括23个关节点和1个根节点，23个关节点有姿态数据，根节点有三维位置数据及姿态数据，根节点会驱动关节点进行运动。

网格数据：又称为格网数据，是指计算机中以栅格结构存贮的内部数据，适用于屏幕显示和行式打印输出。

贴图：纹理是最基本的数据输入单位，贴图是把纹理通过UV坐标映射到3D物体表面。贴图信息除了包含纹理信息外，还包含UV坐标、透明度等信息。

人体组件：也称为身体部件，人体模型通常包括多个组件，比如头部、手臂、腰部等。

参考体：可理解为一个立方网格体，例如有4＊4＊4个网格，则有64个小体素，每个体素中都有一个体素值(也称TSDF值)。

需要说明的是，图1示出的系统架构可根据不同的使用场景进行部署，比如在直播场景中，主播端设置本系统的采集端设备，用户可以通过VR/AR眼镜、手机、电视等进行重建模型的浏览；再比如在会议场景中，远程会议的两个会议室需要同时布置采集端设备与渲染显示端设备，进行两个会议室内的实时三维通信。

基于图1示出的系统架构，图2示例性示出了本申请实施例提供的应用场景示意图。如图2所示，用户端1至用户端4进行实时远程三维通信，用户端1至用户端4分别布置了采集端设备(包括RGBD相机和主站/工作站)和渲染显示端设备(包括电视、手机、VR/AR头显的全部或部分)，远程三维通信过程中用户端1的三维重建模型可上传到云端服务器，用户端2至用户端4从云端服务器下载用户端1的三维重建模型并同步显示，同理，用户端1、用户端3和用户端4也可同步显示用户端2的三维重建模型，依此类推。

需要说明的是，图2仅是多人远程三维通信的一种示例，本申请实施例对远程三维通信的用户端数不做限制性要求。

基于图1和图2示出的结构图，图3示例性示出了本申请实施例提供的一种三维通信方法的流程图，该流程主要由三维重建系统中的采集端设备执行，主要包括以下几步：

S301：响应于用户运动操作，采集用户的深度图像。

该步骤中，用户运动过程中，三维位置数据和人体(骨骼)关节点的姿态数据发生变化，可通过RGBD相机采集用户运动过程中的人体深度图像，作为提取几何数据和运动位姿数据的来源。

S302：将深度图像输入到训练好的参数化人体模型中，确定用于三维重建的运动位姿数据，并发送给接收方，使得接收方根据运动位姿数据及预先构建的参数化人体模型中的几何数据，重建参数化人体模型。

该步骤中，参数化人体模型是通过人体的不同形体参数和不同姿态参数预先构建的。参数化人体模型包括但不限于：SMPL模型(A Skinned Multi-Person Linear Model)、SMPL-X模型(SMPL模型的基础上加上手-脸重建)以及STAR(Situation Task ActionResult)模型。

具体实施时，参数化人体模型的训练方式包括采集多张深度图像训练样本，根据多张深度图像训练样本得到三维点云数据，从三维点云数据中获取人体的不同形体参数和不同姿态参数，将获取的形体参数和姿态参数，输入初始的参数化人体模型，确定几何顶点的偏移值，根据偏移值调整参数化人体模型参数，直到确定出的偏移值在预设范围内，得到训练好的参数化人体模型。

下面以SMPL模型为例描述参数化人体模型的训练过程。其中SMPL模型根据采集的不同形体参数和不同姿态参数的真实人体数据，训练形体参数(shape)、姿态参数(pose)和人体网格(mesh)的对应关系，根据训练出的对应关系，可以创建参数化人体模型。参数化人体模型表示不同身形、随着不同姿势自然变形、展现软组织运动、快速渲染且部署简单，适配现有的大多数渲染引擎。

SMPL模型的训练公式如下：

M(β，θ)＝W(T_p(β，θ)，J(β)，θ，ω) 公式1

T_p(β，θ)＝T+B_s(β)+B_p(θ) 公式2

其中，M(β，θ)为SMPL模型构建函数，T_p(β，θ)为人体姿态矫正混合变形函数，β为形体参数，θ为姿态参数，W为蒙皮函数，B_s(β)为不同体型的人通过形体参数构建的线性函数，B_p(θ)为不同体态的人的姿态参数对人体体型的影响函数，T为不同形体参数的平均形体参数，J(β)为预测不同人体关节点位置的函数，ω为混合权重。

在一些实施例中，形体参数和姿态参数可通过采集的RGB图像训练样本得到，也可以通过三维点云数据得到。其中RGB图像训练样本可从SMPLify库中获取，三维点云数据可通过构建人体体态估计的优化能量函数从多张深度图像(RGBD图像)训练样本中获取，能量函数的公式如下：

E_SMPL＝E_Sdata(β，θ)+E_pri 公式3

E_Sdata(β，θ)＝∑η·ψ(D(W(Tp(β，θ)，J(β)，θ，ω))) 公式4

E_pri＝-log(∑_jw_jN(θ；μ_j，δ_j)) 公式5

其中，E_SMPL为能量函数，E_sdata为数据项，用于衡量参数化人体模型与稠密表面模型(在参数化人体模型的基础上进行真人体型细节变化后的模型)的匹配程度，D为符号距离函数，D函数可以根据参考体任一三维点坐标输出该三维点的TSDF值，η为深度图像训练样本采集环境下的非对称权重，ψ为Geman-McClure鲁棒惩罚函数；E_pri为人体姿态先验项，w_j，μ_j，δ_j分别为高斯模型混合权重及第j个高斯模型的均值和方差，N为高斯函数。

对公式2至公式5进行求解，即可得到构建参数化人体模型的形体参数和姿态参数，根据求得到的不同形体参数和不同姿态参数，训练参数化人体模型并保存至渲染显示端设备本地。可选的，参数化人体模型中的形体参数预计为10个、姿态参数预计为75(75＝24＊3+3，24表示23个关节点和一个根关节点，第一个3表示描述每个关节点的旋转姿态的轴角(共有3个参数)，第二个3描述的是平移位置(x，y，z)参数)个。

参数化人体模型训练过程中，可通过OpenPose库或者KinectBodyTtracking库求解模型中的姿态参数。具体的，对采集端设备采集的RGB图像训练样本或者深度图像训练样本进行人体关节点的检测与识别，并进行人体的姿态估计，确定运动位姿数据，确定运动位姿数据主要是获取人体(骨骼)关节点的轴角参数。

在S302中，对采集的深度图像进行去噪处理，基于训练好的参数化人体模型，采用随机森林算法对去噪后的深度图像进行人体组件分割，并提取各人体组件中的特征向量，对特征向量进行聚类，得到人体关节点并确定运动位姿数据。可选的，聚类算法可采用Mean-Shift算法。

在本申请的一些实施例中，将训练好的参数化人体模型保存至渲染显示端设备的本地，渲染显示端设备基于本地的参数化人体模型进行三维重建。

图4示例性示出了本申请实施例提供的一种三维通信方法的流程图，该流程主要由三维重建系统中的渲染显示端设备执行，主要包括以下几步：

S401：接收用于三维重建的运动位姿数据。

该步骤中，三维重建过程中，采集端设备采集用户的深度图像，并提取深度图像中用于三维重建的运动位姿数据，发送给渲染显示端设备，渲染显示端设备根据接收的运动位姿数据和本地存储的参数化人体模型重建参数化人体模型。可选的，可采用TCP协议和私有协议传输运动位姿数据。

在另一些实施例中，采集端设备可直接将采集的深度图像发送给渲染显示端设备，由渲染显示端设备根据深度图像提取用于三维重建的运动位姿数据。

S402：根据运动位姿数据中人体关节点与参数化人体模型中人体关节点的关系，以及参数化人体模型中人体关节点与几何顶点的关系，用运动位姿数据驱动参数化人体模型中的几何数据运动。

该步骤中，参数化人体模型是通过人体的不同形体参数和不同姿态参数预先构建并保存在渲染显示端设备本地的，预先构建的参数化人体模型中人体关节点与几何顶点存在关联关系，比如一个关节点控制与其距离小于设定阈值的八个几何顶点。根据运动位姿数据中人体关节点与参数化人体模型中人体关节点的关系，结合参数化人体模型中人体关节点与几何顶点的关系，用运动位姿数据驱动参数化人体模型中的几何数据运动，得到与该用户的深度图像相匹配的几何运动数据。运动位姿数据中人体关节点与参数化人体模型中人体关节点的关系包括运动位姿数据中人体关节点与参数化人体模型中人体关节点一一对应，或者对运动位姿数据中人体关节点进行插值，将插值前后的人体关节点与参数化人体模型中人体关节点相对应。

需要说明的是，不影响本申请实施例实质内容的基础上，本申请实施例对驱动几何数据运动的算法不做限制性要求，比如可采用线性混合蒙皮(Linear BlendingSkinning，LBS)算法。

S403：根据运动位姿数据和运动后的几何数据，重建参数化人体模型。

该步骤中，可在渲染显示端设备的本地渲染显示，或者使用Unity和Unreal渲染引擎在远程设备中进行渲染显示。比如戴上头戴式显示设备后，用户双方的握手、打招呼、跳舞动作等，可实时显示在显示设备的屏幕中，实现远程三维交互。

本申请的上述实施例中，在三维重建过程中，渲染显示端设备接收云端传输的运动位姿数据，用运动位姿数据驱动本地存储的参数化人体模型中的几何数据运动，减少传输数据占用的带宽，降低了云端传输压力并提高了数据的接收效率，从而产生实时交互效果；且渲染显示端设备利用线性混合蒙皮技术驱动几何数据运动，无需传输几何数据，使得采集端设备的图形处理器(Graphics Processing Unit，GPU)减少了嵌入式变形场及能量函数计算，减小了三维重建的时延，进而提升了用户体验。

在一些实施例中，用户的衣物信息(包括颜色、形状)等更能丰富用户的特征以及所在的环境，因此在渲染显示时，可对重建的参数化人体模型进行贴图，得到生动形象的三维稠密表面模型并显示，其中，用于贴图的纹理数据可通过采集的RGB图像获取。可选的，纹理数据可由采集端设备从与用户的深度图像(运动位姿数据)相匹配的RGB图像中获取后发送给渲染显示端设备，也可以由采集端设备直接将与用户的深度图像(运动位姿数据)相匹配的RGB图像发送给渲染显示端设备，有渲染显示端设备根据RGB图像提取用于贴图的纹理数据。具体的，渲染显示端设备接收用于渲染重建的参数化人体模型的贴图信息，根据贴图信息渲染重建的参数化人体模型，得到三维稠密表面模型并显示。其中，贴图信息包括与运动位姿数据相匹配的RGB图像或者与运动位姿数据相匹配的纹理数据，RGB图像用于提取纹理数据。

具体实施时，渲染显示过程包括：从纹理数据中获取重建的参数化人体模型中几何顶点的纹理坐标，根据屏幕坐标系和纹理坐标系的映射关系，通过光栅化操作，几何顶点的纹理坐标被转换为待渲染屏幕中像素的纹理坐标，根据像素的纹理坐标获取对应的颜色值，渲染重建的参数化人体模型，得到三维稠密表面模型并显示。

本申请的上述实施例中，渲染显示端设备根据接收的纹理数据对重建的参数化人体模型进行贴图，从而获得较为真实的人体形象，提高了三维重建模型的生动性和鲁棒性。

在本申请的另一些实施例中，采集端可增加人体的衣物信息预先构建稠密表面模型并保存至渲染显示端本地，后续数据传输过程中对应增加驱动衣物运动的数据及人体的变形场数据，从而得到实时交互的三维稠密表面模型。

图5示例性示出了本申请实施例提供的完整的三维重建过程示意图。如图5所示，采集端设备采用RGBD相机采集用户的深度图像和RGB图像，深度图像用于提取运动位姿数据和几何数据，RGB图像用于提取纹理数据；主站/工作站中的图像处理器提取深度图像中的点云数据，采用SMPL模型确定蒙皮函数，识别人体关节点并进行人体的运动姿态估计；根据提取的点云数据求解形体参数和姿态参数，构建参数化人体模型，并结合RGB图像构建稠密表面模型，并将构建的模型保存在渲染显示设备的本地；远程交互过程中，用户进行运动，比如抬腿、旋转等运动，RGBD相机采集用户的深度图像，并根据深度图像提取用于三维重建的运动位姿数据，并通过云服务器传输给渲染显示设备，云服务器对运动位姿数据进行编解码，采用TCP协议进行传输，传输过程可使用5G高速网络以提高传输速度，并且传输过程中还进行了拥塞控制，保证传输数据的可靠性；交互用户头戴VR/AR眼镜，对接收的运动位姿数据进行解析，使用OpenGL库和Android Native插件进行渲染显示。

基于图5示出的三维重建过程示意图，图6示例性示出了本申请实施例提供的完整的三维重建方法流程图。如图6所示，该流程主要包括以下几步：

S601：响应于用户运动操作，采集端设备采集用户的深度图像并去噪。

该步骤中，远程三维通信过程中用户进行握手、抬腿、摇头等运动，采集端设备采集交互过程中用户运动的深度图像，并对采集的深度图像进行去噪处理，其中深度图像可以由采集端设备中的RGBD相机采集。

S602：采集端设备从采集的深度图像中提取三维点云数据并进行预处理。

该步骤中，提取三维点云数据中存在噪声且数据冗余量较大，为后续模型重建带来不便，因此需进行预处理操作，预处理包括点云滤波和过滤冗余数据等，得到干净、简化的三维点云数据。该步骤可由采集端设备中的主站/工作站执行。

S603：采集端设备根据预处理后的三维点云数据提取人体特征向量，并根据人体特征向量进行组件分割，并确定分割后人体组件的运动位姿数据。

该步骤中，可采用点云分割算法进行人体组件的分割，识别得到人体(骨骼)关节点，并确定运动位姿数据(本申请实施例中运动位姿数据中的姿态参数为定人体关节点的轴角参数)。其中，点云分割算法主要根据几何约束和统计规则制定严格的人工设计的特征，采用点云分割的主要过程是将3D点分为多个非重叠区域，每个非重叠区域对应于一个场景中的特定结构(本申请实施例中为人体的各部件)或对象。点云分割算法包括但不限于Mean-Shift算法、K-means算法。该步骤可由采集端设备中的主站/工作站执行。

S604：采集端设备将运动位姿数据上传到云端服务器。

该步骤中，可采用TCP协议将上传运动位姿数据，也可以采用TCP协议和私有协议上传运动位姿数据，上传数据的网络可选用高速5G网络。

S605：渲染显示端设备从云服务器接收采集端设备上传的运动位姿数据。

S606：渲染显示端设备建立运动位姿数据中人体关节点和本地的参数化人体模型中人体关节点的映射关系。

该步骤具体参见S402的相关描述。

S607：渲染显示端设备用运动位姿数据驱动本地的参数化人体模型中的几何数据运动。

该步骤中，渲染显示端设备根据运动位姿数据中人体关节点与参数化人体模型中人体关节点的映射关系，以及参数化人体模型中人体关节点与几何顶点的关系，由运动位姿数据驱动本地的参数化人体模型中的几何数据运动，具体参见S402的相关描述。

S608：渲染显示端设备根据运动位姿数据和运动后的几何数据，重建参数化人体模型并显示。

在另一些实施例中，由于RGBD相机中不同传感器之间的相对方位元素被标定并已知，可以获得同步配准的RGB图像和深度图像，因此在S601中，采集端设备还可采集用户的RGB图像，并提取RGB图像中的纹理数据；在S604中将纹理数据上传至云服务器；在S605中渲染显示端设备从云服务器中接收纹理数据；基于接收的纹理数据对重建的参数化人体模型进行贴图，具体的，在S609中，渲染显示端设备根据接收的纹理数据对重建的参数化人体模型进行贴图，得到三维稠密表面模型；在S610中，渲染显示端设备沉浸式显示三维稠密表面模型，其中显示时，可在VR/AR头戴式显示设备中进行显示，也可在电视、手机等终端进行显示，具体显示方式根据实际场景确定。

在一些实施例中，在进行远程三维通信前，需初始化(预先构建)参数化人体模型。图7示例性示出了本申请实施例提供的完整的远程三维交互方法流程图。如图7所示，该流程主要包括以下几步：

S701：响应于用户运动操作，采集端设备初始采集用户深度图像。

S702：采集端设备根据深度图像提取三维点云数据，并进行数据分割及过滤。

S703：采集端设备根据三维点云数据确定人体的几何数据和运动位姿数据，并进行数据编码。

该步骤中，几何数据和运动位姿数据用于构建参数化人体模型。

S704：采集端设备将编码后的几何数据和运动位姿数据上传到云服务器。

可选的，在S704中还可向用户返回参数化人体模型参数初始化成功信息。

S705：云服务器对上传数据进行流量控制。

S706：渲染显示端设备从云服务器接收构建参数化人体模型的几何数据和运动位姿数据。

S707：渲染显示端设备对接收的几何数据和运动位姿数据进行解码并存储。

S708：渲染显示端设备返回初始化参数化人体模型参数保存成功信息。

S709：响应于用户交互过程中的自由运动操作，采集端设备采集用户的深度图像。

S710：采集端设备从深度图像中提取三维点云数据，根据三维点云数据确定用于三维重建的运动位姿数据。

S711：采集端设备对运动位姿数据进行数据编码。

S712：采集端设备将编码后的运动位姿数据上传到云服务器。

S713：云服务器对上传数据进行流量控制。

S714：渲染显示端设备接收运动位姿数据。

S715：渲染显示端设备对运动位姿数据进行解码，并驱动参数化人体模型中的几何数据运动。

S716：渲染显示设备根据运动位姿数据和运动后的几何数据，重建参数化人体模型。

S717：渲染显示设备向用户显示重建的参数化人体模型。

图7中的步骤的具体描述可参见前述实施例，在此不再重复。

本申请的上述实施例中，预先构建参数化人体模型(也就是初始化参数化人体模型参数的过程)并保存，可以保证三维通信系统的稳定性及可行性，基于该模型，可以减少交互过程中数据的传输，减少云端传输压力。

基于相同的发明构思，本发明实施例中还提供了一种显示设备，该显示设备可实现本申请实施例中的方法步骤，并且该显示设备解决问题的原理与本申请实施例中的方法相似，且能达到上述实施例中的技术效果，重复之处不再赘述。

参见图8，该显示设备包括接收模块801、处理模块802、渲染显示模块803。

接收模块801，用于接收用于三维重建的运动位姿数据；

处理模块802，用于根据运动位姿数据中人体关节点与参数化人体模型中人体关节点的关系，以及参数化人体模型中人体关节点与几何顶点的关系，用运动位姿数据驱动参数化人体模型中的几何数据运动，参数化人体模型是通过人体的不同形体参数和不同姿态参数预先构建的；

渲染显示模块803，用于根据运动位姿数据和运动后的几何数据，重建参数化人体模型。

在一些实施例中，接收模块801还用于接收用于渲染重建的参数化人体模型的贴图信息，贴图信息包括与运动位姿数据相匹配的RGB图像或者与运动位姿数据相匹配的纹理数据，RGB图像用于提取纹理数据；

渲染显示模块803，还用于根据贴图信息渲染重建的参数化人体模型，得到三维稠密表面模型并显示。

在一些实施例中，渲染显示模块803具体用于：

从纹理数据中获取重建的参数化人体模型中几何顶点的纹理坐标；

根据屏幕坐标系和纹理坐标系的映射关系，将几何顶点的纹理坐标转换为待渲染屏幕中像素的纹理坐标；

根据像素的纹理坐标获取对应的颜色值，渲染重建的参数化人体模型，得到三维稠密表面模型并显示。

基于相同的发明构思，本发明实施例中还提供了一种采集端设备，该采集端设备可实现本申请实施例中的方法步骤，并且该采集端设备解决问题的原理与本申请实施例中的方法相似，且能达到上述实施例中的技术效果，重复之处不再赘述。

参见图9，该采集端设备包括采集模块901、处理模块902、发送模块903。

采集模块901，用于响应于用户运动操作，采集用户的深度图像；

处理模块902，用于将深度图像输入到训练好的参数化人体模型中，确定用于三维重建的运动位姿数据；

发送模块903，用于将运动位姿数据发送给接收方，使得接收方根据运动位姿数据及预先构建的参数化人体模型中的几何数据，重建参数化人体模型。

在一些实施例中，处理模块902具体用于：

对采集的深度图像进行去噪处理；

基于训练好的参数化人体模型，对去噪后的深度图像进行人体组件分割，并提取各人体组件中的特征向量；

对特征向量进行聚类，得到人体关节点并确定运动位姿数据。

在一些实施例中，采集模块901还用于采集多张深度图像训练样本；

处理模块902具体用于：根据多张深度图像训练样本得到三维点云数据，从三维点云数据中获取人体的不同形体参数和不同姿态参数；将获取的形体参数和姿态参数，输入初始的参数化人体模型，确定几何顶点的偏移值，根据偏移值调整参数化人体模型参数，直到确定出的偏移值在预设范围内，得到训练好的参数化人体模型。

基于相同的发明构思，本发明实施例中还提供了一种显示设备，该显示设备可实现本申请实施例中的方法步骤，并且该显示设备解决问题的原理与本申请实施例中的方法相似，且能达到上述实施例中的技术效果，重复之处不再赘述。

参见图10，该显示设备包括显示器1001、存储器1002、处理器1003：

显示器，与处理器连接，用于显示人体模型；

存储器，与处理器连接，用于存储计算机程序指令；

处理器，用于根据存储器存储的计算机程序指令，执行本申请实施中渲染显示端设备执行的方法。

基于相同的发明构思，本发明实施例中还提供了一种采集端设备，该采集端设备可实现本申请实施例中的方法步骤，并且该采集端设备解决问题的原理与本申请实施例中的方法相似，且能达到上述实施例中的技术效果，重复之处不再赘述。

参见图11，该采集端设备包括深度相机1101、工作站1102：

深度相机1101，用于响应于用户运动操作，采集用户的深度图像；

工作站1102，用于将深度图像输入到训练好的参数化人体模型中，确定用于三维重建的运动位姿数据，并发送给接收方，使得接收方根据运动位姿数据及预先构建的参数化人体模型中的几何数据，重建参数化人体模型。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行上述实施例中的方法。

以上参照示出根据本申请实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本申请。应理解，可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置，以产生机器，使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。

相应地，还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本申请。更进一步地，本申请可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式，其具有在介质中实现的计算机可使用或计算机可读程序代码，以由指令执行系统来使用或结合指令执行系统而使用。在本申请上下文中，计算机可使用或计算机可读介质可以是任意介质，其可以包含、存储、通信、传输、或传送程序，以由指令执行系统、装置或设备使用，或结合指令执行系统、装置或设备使用。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种三维重建方法，其特征在于，包括：

接收用于三维重建的运动位姿数据；

根据所述运动位姿数据中人体关节点与参数化人体模型中人体关节点的关系，以及所述参数化人体模型中人体关节点与几何顶点的关系，用所述运动位姿数据驱动所述参数化人体模型中的几何数据运动，所述参数化人体模型是通过人体的不同形体参数和不同姿态参数预先构建的；

根据所述运动位姿数据和运动后的几何数据，重建参数化人体模型。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

接收用于渲染重建的参数化人体模型的贴图信息，所述贴图信息包括与所述运动位姿数据相匹配的RGB图像或者与所述运动位姿数据相匹配的纹理数据，所述RGB图像用于提取纹理数据；

根据所述贴图信息渲染重建的参数化人体模型，得到三维稠密表面模型并显示。

3.如权利要求2所述的方法，其特征在于，所述根据所述贴图信息渲染重建的参数化人体模型，得到三维稠密表面模型并显示，包括：

从所述纹理数据中获取重建的参数化人体模型中几何顶点的纹理坐标；

根据屏幕坐标系和纹理坐标系的映射关系，将所述几何顶点的纹理坐标转换为待渲染屏幕中像素的纹理坐标；

根据所述像素的纹理坐标获取对应的颜色值，渲染重建的参数化人体模型，得到三维稠密表面模型并显示。

4.一种三维重建方法，其特征在于，包括：

响应于用户运动操作，采集用户的深度图像；

将所述深度图像输入到训练好的参数化人体模型中，确定用于三维重建的运动位姿数据，并发送给接收方，使得接收方根据所述运动位姿数据及预先构建的参数化人体模型中的几何数据，重建参数化人体模型。

5.如权利要求4所述的方法，其特征在于，所述确定三维重建的运动位姿数据，包括：

对采集的深度图像进行去噪处理；

基于训练好的参数化人体模型，对去噪后的深度图像进行人体组件分割，并提取各人体组件中的特征向量；

对所述特征向量进行聚类，得到人体关节点并确定运动位姿数据。

6.如权利要求4或5中所述的方法，其特征在于，所述参数化人体模型通过以下方式训练得到：

采集多张深度图像训练样本；

根据所述多张深度图像训练样本得到三维点云数据，从所述三维点云数据中获取人体的不同形体参数和不同姿态参数；

将获取的形体参数和姿态参数，输入初始的参数化人体模型，确定几何顶点的偏移值，根据所述偏移值调整参数化人体模型参数，直到确定出的偏移值在预设范围内，得到训练好的参数化人体模型。

7.一种显示设备，其特征在于，包括显示器、存储器、处理器：

所述显示器，与所述处理器连接，用于显示人体模型；

所述存储器，与所述处理器连接，用于存储计算机程序指令；

所述处理器，用于根据所述存储器存储的计算机程序指令，执行以下操作：

接收用于三维重建的运动位姿数据；

根据所述运动位姿数据中人体关节点与参数化人体模型中人体关节点的关系，以及所述参数化人体模型中人体关节点与几何顶点的关系，用所述运动位姿数据驱动所述参数化人体模型中的几何数据运动，所述参数化人体模型是通过人体的不同形体参数和不同姿态参数预先构建的；

根据所述运动位姿数据和运动后的几何数据，重建参数化人体模型。

8.如权利要求7所述的显示设备，其特征在于，所述处理器还用于：

接收用于渲染重建的参数化人体模型的贴图信息，所述贴图信息包括与所述运动位姿数据相匹配的RGB图像或者与所述运动位姿数据相匹配的纹理数据，所述RGB图像用于提取纹理数据；

根据所述贴图信息渲染重建的参数化人体模型，得到三维稠密表面模型并显示。

9.一种采集端设备，其特征在于，包括深度相机、工作站：

所述深度相机，用于响应于用户运动操作，采集用户的深度图像；

所述工作站，用于将所述深度图像输入到训练好的参数化人体模型中，确定用于三维重建的运动位姿数据，并发送给接收方，使得接收方根据所述运动位姿数据及预先构建的参数化人体模型中的几何数据，重建参数化人体模型。

10.一种三维重建系统，其特征在于，包括采集端设备、传输端设备、渲染显示端设备：

所述采集端设备，用于响应于用户运动操作，采集用户的深度图像；将所述深度图像输入到训练好的参数化人体模型中，确定用于三维重建的运动位姿数据；

所述传输端设备，用于将所述采集端设备确定的用于三维重建的运动位姿数据传输给所述渲染显示端设备；

所述渲染显示端设备，用于接收用于三维重建的运动位姿数据；根据所述运动位姿数据中人体关节点与参数化人体模型中人体关节点的关系，以及所述参数化人体模型中人体关节点与几何顶点的关系，用所述运动位姿数据驱动所述参数化人体模型中的几何数据运动，所述参数化人体模型是通过人体的不同形体参数和不同姿态参数预先构建的；根据所述运动位姿数据和运动后的几何数据，重建参数化人体模型。

Images