CN113313818A

CN113313818A - 一种三维重建方法、装置及系统

Info

Publication number: CN113313818A
Application number: CN202110633810.0A
Authority: CN
Inventors: 许瀚誉; 刘帅; 陈春朋; 吴连朋
Original assignee: Qingdao Hisense Media Network Technology Co Ltd
Current assignee: Qingdao Hisense Media Network Technology Co Ltd
Priority date: 2021-06-07
Filing date: 2021-06-07
Publication date: 2021-08-27
Anticipated expiration: 2041-06-07
Also published as: CN113313818B

Abstract

本申请提供一种三维重建方法、装置及系统，采集终端确定目标对象的装饰相对于预先构建的初始三维人体模型是否发生变化，若发生变化，则采集目标对象以预设姿态旋转的多帧RGBD图像和相应的RGB图像，根据采集的图像提取用于重建初始三维人体模型的三维重建数据并发送给渲染终端；若未发生变化，则采集目标对象的RGBD交互图像，从RGBD交互图像中提取人体模型网格的各个顶点坐标并发送给渲染终端，由于人体模型网格的拓扑结构与渲染终端存储的初始三维人体模型网格的拓扑结构相同，因此，渲染终端根据接收的各个顶点坐标更新初始三维人体模型，得到目标三维人体模型，从而减少了数据传输量，节省了网络带宽，提高了三维重建的实时性。

Description

一种三维重建方法、装置及系统

技术领域

本申请涉及计算机视觉和计算机图形学技术领域，尤其涉及一种三维重建方法、装置及系统。

背景技术

实时高精度非刚性三维重建是计算机视觉、计算机图形学等领域的重点研究技术，广泛应用于增强现实、远程沉浸式通讯、三维视频直播等场景。基于人体的实时远程三维重建社交系统，相对于基于视频的二维重建社交系统，更能提高交互过程中的沉浸感和情感表达，以形象逼真的虚拟化身在虚拟空间中与其它虚拟化身进行交互，重现了第一代社交方式中面对面的沉浸感。虚拟现实(Virtual Reality，VR)、增强现实(AugmentedReality，AR)的社交方式可能成为继第四代移动互联网时代之后的第五代社交媒体。

精度较高的静态三维重建方法需要使用光学扫描仪(可见结构光或激光扫描仪)采集人体数据，这类方法要求人体在整个扫描过程中保持静止不动数秒甚至数分钟，通过将多个角度的高精度三维扫描信息进行拼接，最终重建出高精度的人体静态三维模型。但由于扫描时间长且需要采集对象静止不动，难以实时重建人体的动态三维模型，无法满足实时交互的需求，并且扫描仪价格较高，需要具有专业知识的人员进行扫描操作，而且根据采集场景的不同，三维重建所需的时间也不同，例如重建电影或动画中的模型时间会长达几个小时。

为了满足远程三维重建社交系统实时性的要求，需提供一种动态的三维重建方法。

发明内容

本申请提供了一种三维重建的方法、装置及系统，用以提高三维重建模型的真实性，减少数据传输的带宽，进而提高三维重建的实时性。

第一方面，本申请实施例提供一种三维重建方法，应用于采集终端，包括：

确定目标对象的装饰相对于预先构建的初始三维人体模型是否发生变化；

若发生变化，则采集所述目标对象以预设人体姿态旋转的多帧RGBD图像和相应的RGB图像，从所述多帧RGBD图像和相应的RGB图像中提取三维重建数据并发送给渲染终端，所述三维重建数据用于重建初始三维人体模型，以使所述渲染终端根据所述三维重建数据保存初始三维人体模型；

若未发生，则采集所述目标对象的RGBD交互图像，从所述RGBD交互图像中提取人体模型网格的各个顶点坐标，所述人体模型网格的拓扑结构与初始三维人体模型网格的拓扑结构相同；将所述各个顶点坐标发送给渲染终端，使得所述渲染终端根据所述各个顶点坐标更新预先存储的初始三维人体模型，得到目标三维人体模型并显示。

第二方面，本申请实施例提供一种三维重建方法，应用于渲染终端，包括：

若目标对象的装饰相对于预先构建的初始三维人体模型发生变化，则接收采集终端发送的三维重建数据并保存；其中，所述三维重建数据用于重建初始三维人体模型，所述三维重建数据是所述采集终端从多帧RGBD图像和相应的RGB图像中提取的，所述多帧RGBD图像和相应的RGB图像是所述采集终端在所述目标对象以预设人体姿态旋转时采集的；

若目标对象的装饰相对于预先构建的初始三维人体模型未发生变化，则接收采集终端发送的各个顶点坐标，根据所述各个顶点坐标更新预先存储的初始三维人体模型，得到目标三维人体模型并显示；其中，所述各个顶点坐标是所述采集终端根据人体模型网格从所述目标对象的RGBD交互图像中提取的，所述人体模型网格的拓扑结构与初始三维人体模型网格的拓扑结构相同。

第三方面，本申请实施例提供一种采集终端，包括RGBD相机、存储器、主机或工作站：

所述RGBD相机，与所述处理器连接，被配置为采集目标对象以预设人体姿态旋转的多帧RGBD图像和相应的RGB图像，以及所述目标对象的RGBD交互图像；

所述存储器，与所述处理器连接，被配置为存储计算机程序指令；

所述主机或工作站，被配置为根据所述计算机程序指令，执行以下操作：

第四方面，本申请实施例提供一种渲染终端，包括显示器、存储器、处理器：

所述显示器，与所述处理器连接，用于显示目标三维人体模型；

所述存储器，与所述处理器连接，用于存储计算机程序指令；

所述处理器，用于根据所述存储器存储的计算机程序指令，执行以下操作：

第五方面，本申请实施例提供一种三维重建系统，包括采集终端、传输终端、渲染终端：

所述采集终端，用于确定目标对象的装饰相对于预先构建的初始三维人体模型是否发生变化；若发生变化，则采集所述目标对象以预设人体姿态旋转的多帧RGBD图像和相应的RGB图像，从所述多帧RGBD图像和相应的RGB图像中提取三维重建数据并发送给渲染终端，所述三维重建数据用于重建初始三维人体模型；若未发生，则采集所述目标对象的RGBD交互图像，从所述RGBD交互图像中提取人体模型网格的各个顶点坐标，并将所述各个顶点坐标通过所述传输终端发送给所述渲染终端，所述人体模型网格的拓扑结构与初始三维人体模型网格的拓扑结构相同；

所述渲染终端，用于若目标对象的装饰相对于预先构建的初始三维人体模型发生变化，则通过所述传输终端接收所述采集终端发送的三维重建数据并保存；若目标对象的装饰相对于预先构建的初始三维人体模型未发生变化，则通过所述传输终端接收所述采集终端发送的各个顶点坐标，根据所述各个顶点坐标更新预先存储的初始三维人体模型，得到目标三维人体模型并显示。

第六方面，本申请提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行本申请实施例提供的三维重建方法。

本申请的上述实施例中，考虑到目标对象的装饰变化会影响三维重建模型的精度，因此，在确定目标对象的装饰相对于预先构建的初始三维人体模型发生变化时，采集目标对象以预设人体姿态旋转的多帧RGBD图像和相应的RGB图像，根据采集的图像提取用于重建初始三维人体模型的三维重建数据，并发送给渲染终端，由渲染终端进行保存，完成初始三维人体模型的重建，进一步地，基于初始三维人体模型进行交互；在确定目标对象的装饰相对于预先构建的初始三维人体模型未发生变化时，则无需进行初始三维人体模型的重建，直接基于渲染终端已存储的初始三维人体模型进行交互。交互过程中，采集终端根据目标对象的RGBD交互图像，提取人体模型网格的各个顶点坐标，编码后发送给渲染终端，由于人体模型网格的拓扑结构与渲染终端存储的初始三维人体模型网格的拓扑结构相同，因此，渲染终端可根据接收的各个顶点坐标更新初始三维人体模型，得到目标三维人体模型。采集终端通过目标对象的装饰变化重建初始三维人体模型并发送给渲染终端，由渲染终端更新保存的初始三维人体模型，使得目标对象的装饰与初始三维人体模型相匹配，保证了重建模型的精度以及模型的稳定性；并且交互过程中，采集终端仅传输了三维重建数据中的顶点坐标，由渲染终端根据各个顶点坐标对初始三维人体模型进行更新，得到目标三维人体模型，在现有网络带宽的条件下，减少了数据传输量，节省了网络带宽，提高了三维重建的实时性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示例性示出了本申请的实施例提供三维重建系统的结构图；

图2示例性示出了本申请的实施例提供应用场景示意图；

图3a示例性示出了本申请实施例提供的采集终端侧的三维重建方法流程图；

图3b示例性示出了本申请实施例提供的一种自建模的方法流程图；

图4示例性示出了本申请实施例提供的人体内层模型和人体外层模型示意图；

图5示例性示出了本申请实施例提供的渲染终端侧的三维重建方法流程图；

图6示例性示出了本申请实施例提供的完整交互流程图；

图7示例性示出了本申请实施例提供的采集终端的硬件结构图；

图8示例性示出了本申请实施例提供的渲染终端的硬件结构图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

目前，基于人体的实时远程三维重建社交系统，对重建模型的几何精度和实时性具有很高的要求。高精度的三维模型会引起数据量的递增，这样会增加云端传输压力，造成渲染终端的视觉延迟，影响用户体验。利用姿态数据驱动骨骼动画运动以减少云端传输压力方案，会造成重建模型缺乏真实感，灵活性和稳定性较差，降低了用户体验，且这种驱动方式只限于人体重建。

目前市面上基于动态的实时远程三维重建的产品中，部分产品通过2D人像进行建模，生成拟真或卡通的三维数字形象，模型数据量小，拟真效果不佳；部分产品采用数量较大的摄像头阵列进行3D人物采集，生成拟真效果较好的三维数字形象，但计算量较大，数据传输占用的带宽较高，系统成本较高。

实时远程三维重建社交系统的核心技术涉及针对人体、人脸的实时三维重建、二维或三维数据的编解码及传输技术、沉浸式渲染显示技术。三维重建数据涉及三维几何的顶点数据、面片数据、纹理数据，其中顶点数据包括顶点坐标(位置)、顶点法向、顶点颜色。人体动态三维重建过程包括：先从各种传感器设备获取人体的姿态数据、几何数据、(衣服)材质数据等输入参数，采用非刚性实时三维重建方法对输入参数进行处理，从而重建出人体三维模型。其中，动态三维重建时，体素的分辨率越高，数据量的增长越剧烈，这样，在没有成熟高效高保真的三维数据压缩技术的前提下，基于动态的实时三维重建方案中，云端数据传输对模型重建的质量及渲染终端的成像有重要影响。

例如，在网络带宽为30fps的条件下，分辨率为192*192*128(像素)的体素需要的传输码率为256Mbps，这种大小的分辨率在渲染显示端的成像效果较差，而分辨率为384*384*384的体素需要的传输码率为1120Mbps(以30FPS为例)，相对于分辨率为192*192*128(像素)的体素，传输的数据量增长较剧烈，在目前理想的网络带宽下也难以进行实时传输。

为保证模型重建的稳定性和真实性，减少数据传输占用的网络带宽，以满足社交系统实时性的要求，提升渲染终端的渲染显示效率。本申请实施例提供一种基于自建模和实时传输顶点数据的三维重建方法，主要包括两个阶段，第一个阶段：首先采集终端采集目标对象以预设人体姿态旋转一圈过程中的多帧RGBD图像和相应的RGB图像，根据RGBD图像提取三维重建数据中的几何数据(包括顶点索引、顶点法向、面片数据等)，以及根据RGB图像提取三维重建数据中的纹理数据(顶点颜色)，通过提取的三维重建数据，构建一个具有高保真的高精度初始三维人体模型。然后将这个模型对应的三维重建数据通过网络传输到渲染终端，由渲染终端保存。传输完成后，采集终端和渲染终端都有一个一样的初始三维人体模型，并且具有相同的拓扑结构。在第二个阶段，采集终端采集目标对象的RGBD交互图像，从RGBD交互图像中提取人体模型网格的顶点坐标并通过网络传输给渲染终端，此时不再传输顶点法向、面片数据、纹理数据等，减少了实时传输的数据量，渲染终端根据接收的各个顶点坐标，更新保存的初始三维人体模型，得到目标三维人体模型。在目标对象更换装饰(包括服装和饰品)后，三维模型的几何结构和颜色信息发生改变，需要再进行执行第一阶段的建模操作，以提高重建模型的准确性和稳定性。

由于使用了″自建模+实时传输模型顶点数据″的方式，相比于人体姿态数据驱动骨骼动画的方式，在现有网络带宽能力下，可以获得更加真实的人体模型以及更加稳定的三维模型；相比于基于RGBD相机实时传输每一帧三维模型的几何数据和纹理数据的动态重建方式，可以减少数据的传输量，减少网络带宽的压力，在现有网络带宽能力下，获得高帧率的重建模型，使用户获得更加流畅的社交体验。

需要说明的是，本申请实施例提供的方法不仅适用于人体、人脸的三维重建和数据传输，还适用于任何具有刚性、非刚性运动物体的三维重建和实时数据传输。

需要说明的是，本申请实施例提供三维重建的方法可应用于智能手机、平板电脑、计算机、笔记本电脑、智能电视以及VR/AR头戴式显示设备等具有交互功能的终端。

下面结合附图详细描述本申请的实施例。

图1示例性示出了本申请实施例提供的一种三维重建系统架构图。如图1所示，该系统包括采集终端101、传输终端102、渲染终端103。

采集终端101，确定目标对象的装饰相对于预先构建的初始三维人体模型是否发生变化；若发生变化，则采集目标对象以预设人体姿态旋转的多帧RGBD图像和相应的RGB图像，并从多帧RGBD图像和相应的RGB图像中提取三维重建数据，将提取的三维重建数据通过传输终端102发送给渲染终端103，三维重建数据用于重建初始三维人体模型；若未发生，则采集目标对象的RGBD交互图像，从RGBD交互图像中提取人体模型网格的各个顶点坐标，并将各个顶点坐标通过传输终端102发送给渲染终端103，人体模型网格的拓扑结构与初始三维人体模型网格的拓扑结构相同。

传输终端102，用于将采集终端101提取的三维重建数据发送给渲染终端103，以及，将采集终端101提取的各个顶点坐标发送给渲染终端103，其中传输终端102可以是云服务器。

渲染终端103，用于通过传输终端102接收采集终端101发送的三维重建数据并保存；或者，通过传输终端102接收采集终端101发送的各个顶点坐标，根据各个顶点坐标更新预先存储的初始三维人体模型，得到目标三维人体模型并显示。其中，渲染终端103可以是智能电视、智能手机、笔记本电脑、VR/AR头戴式显示设备等。

需要说明的是，图1示出的系统架构可根据不同的使用场景进行部署，比如在直播场景中，主播端设置本系统的采集终端，客户端设置本系统的渲染终端，用户可以通过渲染终端进行重建模型的浏览；再比如，在会议场景中，远程会议的两个会议室需要同时布置采集终端与渲染终端，以进行两个会议室内的实时三维通信。

基于图1示出的系统架构，图2示例性示出了本申请实施例提供的应用场景示意图。如图2所示，用户端1至用户端4进行实时远程三维通信，用户端1至用户端4分别布置了采集终端和渲染终端，其中，采集终端包括RGBD相机、主站或工作站，渲染终端包括智能电视、智能手机、VR/AR头显的全部或部分，远程三维通信过程中，用户端1的三维重建数据和顶点数据可上传到云端服务器，用户端2至用户端4中的渲染终端从云端服务器下载用户端1的三维重建数据和顶点数据，并同步显示重建的三维人体模型，同理，用户端1、用户端3和用户端4也可同步显示用户端2的三维人体模型，依此类推。

需要说明的是，图2仅是多人远程三维通信的一种示例，本申请实施例对远程三维通信的用户端数目不做限制性要求。

图3a示例性示出了本申请实施例提供的一种三维重建方法的流程图，该流程主要由三维重建系统中的采集终端执行，主要包括以下几步：

S301：采集终端确定目标对象的装饰相对于预先构建的初始三维人体模型是否发生变化，若发生变化，执行S302，若未发生变化，执行S303。

该步骤中，目标对象更换装饰时，装饰的材质以及覆盖的人体区域，会影响模型的几何结构和颜色，这样，目标对象的装饰与预先构建的初始三维人体模型就会不匹配，若仍使用预先构建的初始三维人体模型进行交互，则会影响三维模型的真实性，降低用户体验。因此，当目标对象更换装饰时，需要重新构建初始三维人体模型，基于新的初始三维人体模型进行交互，当未更换装饰时，预先构建的初始三维人体模型的几何结构和颜色未变化，则无需重新构建初始三维人体模型，直接利用已有的初始三维人体模型进行交互。

具体实施时，在一种可选的实施方式中，目标对象可以通过人机交互方式，向采集终端发送装饰更换指示信息，若采集终端接收到装饰更换指示信息，则确定目标对象的装饰相对于预先构建的初始三维人体模型发生变化，需重建初始三维人体模型，执行S302，若未接收导装置更换指示信息，则确定目标对象的装饰相对于预先构建的初始三维人体模型未发生变化，可直接进行交互，执行S303。

例如，假设预先构建的初始三维人体模型对应的装饰为“披肩发+衬衫+牛仔裤″，目标对象更换了装饰，更换后为″马尾+连衣裙″，与预先构建的初始三维人体模型不匹配，通过功能键或触控屏向采集终端发送装饰更换指示信息，采集终端接收到装饰更换指示信息时，执行S302重建初始三维人体模型。

在另一种实施方式中，采集终端开机启动时，采集目标对象的图像，根据采集的图像确定目标对象的装饰相对于预先构建的初始三维人体模型是否发生变化，若发生变化，则执行S302，否则执行S303。

S302：采集终端采集目标对象以预设人体姿态旋转的多帧RGBD图像和相应的RGB图像，从多帧RGBD图像和相应的RGB图像中提取三维重建数据并发送给渲染终端。

该步骤中，三维重建数据用于重建初始三维人体模型，以使渲染终端根据三维重建数据保存初始三维人体模型。

在S302中，目标对象走到采集终端的RGBD相机前，以预设人体姿态按设定的时间间隔旋转一圈，采集多帧RGBD图像每一帧RGBD图像包含了人体头部到脚部的所有数据。

例如，人体以预设人体姿态进行旋转，每个姿态静止2-3秒，得到多帧RGBD图像。本申请实施例对预设人体姿态不做限制性要求，可以是T-pose姿态，也可以是双臂张开45度的姿态。

可选的，为了精确控制人体的旋转速度和静止时间，用户可站在机械转盘上，通过机器转盘控制人体的旋转状态。

在S302中，三维重建数据包括几何数据，其中，几何数据可从RGBD图像中提取。采集终端根据多帧RGBD图像，重建目标人体外层模型，并从目标人体外层模型的三维点云数据中，提取三维重建的几何数据。具体参见图3b：

S3021：采集终端根据多帧RGBD图像中的初始RGBD图像，确定初始人体外层模型。

该步骤中，固定RGBD相机，先采集多帧无人的RGBD图像，用于模型重建时进行前景和后景的分割。采集完成后，目标对象走到RGBD相机视野内，以预设人体姿态旋转一圈，旋转过程中，每次旋转后静止设定时长，以便采RGBD相机进行数据采集。针对采集得到的初始RGBD图像(多帧RGBD图像中的第一帧RGBD图像)，结合采集的无人RGBD图像，对初始RGBD图像进行前景后景的分割，并对初始RGBD图像进行膨胀腐蚀等去噪操作，得到干净的人体RGBD图像，进一步地，基于干净的人体RGBD图像，提取三维点云数据，并与预设的人体参数化模型的三维点云数据进行匹配，得到初始人体外层模型。

其中，人体参数化模型可采用成熟的带皮肤的多人线性模型(A Skinned Multi-Person Linear Model，SMPL模型)或者背景任务行动结果(situation task actionresult，STAR)模型。

以使用SMPL模型进行匹配为例，SMPL模型公式如下：

M(β，θ)＝W(T_p(β，θ)，J(θ)，θ，ω) 公式1

T_p(β，θ)＝T+B_s(β)+B_p(θ) 公式2

其中，β为体型参数，θ为姿态参数，B_s(β)为不同体型的人通过体型参数构建的线性函数，B_p(θ)为不同姿态体态的人通过运动姿态参数对人体体型构成影响的函数，T为平均人体体型参数，T_p(β，θ)为形变后的人体关节点，J(θ)为预测不同关节点位置的函数，ω为混合权重，W(·)为蒙皮函数，M(β，θ)为根据体型参数和姿态参数映射后的几何顶点。

在执行S3021时，可通过预设的人体参数化模型的三维点云数据和初始RGBD图像中提取的三维点云数据之间的能量损失值，采用非线性迭代方法对人体参数化模型进行优化，将优化后的人体参数化模型作为初始人体外层模型。其中，能量损失值E_loss的计算公式如下：

E_loss＝E_sdata+E_pri 公式3

其中，E_sdata为数据项，用于衡量人体参数化模型的三维点云数据与提取的三维点云数据中对应点(即几何顶点)对之间的匹配对齐程度，E_pri为人体参数化模型中的人体姿态先验项。

具体实施时，首先采集终端确定初始RGBD图像中提取的三维点云数据和人体参数化模型的三维点云数据之间对应点的匹配程度E_sdata，然后根据匹配程度和人体参数化模型对应的人体姿态先验参数E_pri，确定对应点的能量损失值E_loss，进一步地，根据能量损失值E_loss调整人体参数化模型，直到确定出的能量损失值在预设范围内，得到初始人体外层模型。

S3022：采集终端根据多帧RGBD图像中除初始RGBD图像外的当前RGBD图像，与初始RGBD图像的运动关系，将从当前RGBD图像中提取的三维点云数据融合到初始人体外层模型中，得到目标人体外层模型。

该步骤中，目标对象以预设人体姿态按设定时间间隔在RGBD相机视野内旋转，旋转一圈的过程中，针对采集终端采集的除初始RGBD图像外的当前RGBD图像，基于采集的无人RGBD图像，采用已有的算法进行前景和后景的分割，并对当前RGBD图像进行膨胀腐蚀等去噪操作，得到干净的人体RGBD图像，进一步地，基于干净的人体RGBD图像，提取三维点云数据。

由于初始人体外层模型是基于初始RGBD图像得到的，初始RGBD图像仅为单视角下采集的一帧RGBD图像，因此，初始人体外层模型是不完整的，需确定初始RGBD图像与当前RGBD图像之间的运动关系，基于确定的运动关系，补全初始人体外层模型。

其中，根据当前RGBD图像的前一帧RGBD图像与初始RGBD图像之间的运动关系，以及当前RGBD图像和前一帧RGBD图像之间的运动关系，得到当前RGBD图像与初始RGBD图像的运动关系。具体的，根据当前RGBD图像的前一帧RGBD图像与初始RGBD图像之间的运动关系，将初始人体外层模型运动为与前一帧RGBD图像中的人体姿态相对应的人体外层模型，基于当前RGBD图像中提取的三维点云数据与人体外层模型对应的三维点云数据的匹配结果，确定当前RGBD图像和前一帧RGBD图像之间的运动关系，得到当前RGBD图像与初始RGBD图像的运动关系，匹配过程可使用能量损失值作为匹配结果的收敛条件，具体描述参见S3021。

例如，以当前RGBD图像为第三帧RGBD图像为例，首先，基于第二帧RGBD图像提取的三维点云数据与初始人体外层模型对应的三维点云数据的匹配结果，确定初始RGBD图像中的人体姿态运动为第二帧RGBD图像中的人体姿态时的运动矩阵，得到初始RGBD图像到第二帧RGBD图像的第一运动关系，基于第一运动关系，将初始人体外层模型更新为与第二帧RGBD图像中人体姿态相对应的人体外层模型，并提取人体外层模型中的几何顶点，进一步地，提取第三帧RGBD图像中的几何顶点，并与人体外层模型中提取的几何顶点进行匹配，得到第二帧RGBD图像到第三帧RGBD图像的运动关系，结合初始RGBD图像到第二帧RGBD图像的运动关系，得到初始RGBD图像到第三帧RGBD图像的运动关系。

得到初始RGBD图像与当前RGBD图像的运动关系后，基于运动关系的可逆原理，可将当前RGBD图像中提取的三维点云数据对应的运动姿态退回至初始RGBD图像中人体的运动姿态，并将当前RGBD图像中提取的三维点云数据融合到初始人体外层模型中，得到目标人体外层模型，更新融合后的体素空间的截断符号函数(Truncated Signed DistanceFunction，TSDF)值。通过人体在RGBD相机前旋转一圈，采集终端采集了多个视角下的RGBD图像，得到了人体的完整数据，将旋转一圈采集的多帧RGBD图像中的三维点云数据融合到初始的人体外层模型中，得到目标人体外层模型，如图4中的(a)所示。

S3023：采集终端根据目标人体外层模型对应的TSDF值，从目标人体外层模型对应的三维点云数据中，提取三维重建的几何数据。

该步骤中，几何数据包括目标人体外层模型的顶点(三维)坐标、顶点法向、面片数据等。

具体的，利用移动立方体(Marching cubes，MC)算法，根据更新后的TSDF值，从目标人体外层模型对应的三维点云数据中，提取三维重建的几何数据。

在S302中，三维重建数据还包括纹理数据，其中，纹理数据可从RGBD图像对应的RGB图像中提取。因此，图3b还包括：

S3024：采集终端根据RGBD图像与RGB图像自有的标定关系，从每一帧RGBD图像对应的RGB图像中，提取三维重建的纹理数据。

该步骤中，纹理数据用于渲染目标人体外层模型，得到初始三维人体模型，如图4中的(b)所示。

在S3024中，得到目标人体外层模型后，此时已包含了人体模型的完整几何数据，人体在RGBD相机前按照构建目标人体外层模型时的旋转方式自转一圈，采集得到多帧RGB图像。采集终端根据RGBD图像与RGB图像自有的标定关系，从每一帧RGBD图像对应的采集视角下采集的RGB图像中，提取目标人体外层模型包含的各个几何顶点的颜色值，得到三维重建的纹理数据，进一步地，使用纹理数据渲染目标人体外层模型，得到重建的初始三维人体模型。

S3025：采集终端将几何数据和纹理数据发送给渲染终端。

该步骤中，采集终端得到三维重建数据中的几何数据和纹理数据后，将数据发送给渲染终端，由渲染终端进行保存，由于三维重建数据用于重建初始三维人体模型，使得渲染终端根据接收的三维重建数据保存了与采集终端一致的初始三维人体模型。

需要说明的是，图3b仅在目标对象更换装饰时执行，属于″自建模″的预处理过程，此时，并未进行实时交互，对数据传输的实时性要求较低，因此，三维重建数据无需进行实时传输。

S303：采集终端采集目标对象的RGBD交互图像，从RGBD交互图像中，提取人体模型网格的各个顶点坐标，人体模型网格的拓扑结构与初始三维人体模型网格的拓扑结构相同。

该步骤中，在执行S3021～S3025之后，采集终端和渲染终端包含一样的用于重建初始三维人体模型的三维重建数据。基于初始三维人体模型，进行实时交互。交互过程中，目标对象可以在RGBD相机的视野内以任意姿态进行运动，采集终端实时采集交互过程中的RGBD交互图像。

针对交互过程中的每一帧RGBD交互图像进行实时三维重建。具体的，针对交互过程中的每一帧RGBD交互图像，基于采集的无人RGBD图像进程前景后景的分割，并进行去噪处理后，提取人体模型网格的各个顶点坐标，其中，人体模型网格与初始三维人体模型网格的拓扑结构相同，也就是说，人体模型网格和初始三维人体模型网格的顶点数量一致、顶点索引一致、面片数量一致、纹理数据一致。

S304：采集终端将各个顶点坐标发送给渲染终端。

该步骤中，采集终端对提取的各个顶点坐标进行无损编码后，通过云端传输给渲染终端，渲染终端根据接收的各个顶点坐标，更新预先存储的初始三维人体模型，得到交互过程中的目标三维人体模型。

需要说明的是，由于交互过程对实时性要求较高，在S304中，采集终端将各个顶点坐标实时传输给渲染终端，其中，各个顶点的数量与渲染终端保存的初始三维人体模型的顶点数量一致，顶点索引一致。

本申请的实施例中，渲染终端接收到各个顶点坐标后，在渲染管线中实时显示更新后的目标三维人体模型。具体过程参见图5：

S501：若目标对象的装饰相对于预先构建的初始三维人体模型发生变化，则渲染终端接收采集终端发送的三维重建数据并保存。

该步骤中，采集终端通过人机交互或采集的图像确定目标对象的装饰相对于预先构建的初始三维人体模型是否发生变化，若发生变化，则由采集终端进行三维重建以更新预先构建的初始三维人体模型，并将更新后的初始三维人体模型的三维重建数据发送给渲染终端，渲染终端接收三维重建数据并更新预先存储的初始三维人体模型。具体过程参见S301-S302，在此不再重复。

S502：若目标对象的装饰相对于预先构建的初始三维人体模型未发生变化，则渲染终端接收采集终端发送的各个顶点坐标。

该步骤中，采集终端通过人机交互或采集的图像确定目标对象的装饰相对于预先构建的初始三维人体模型未发生变化，表明无需更新初始三维人体模型，可基于初始三维人体模型直接进行交互过程中三维模型的动态重建。此时，采集终端通过RGBD相机直接采集视野内目标对象的RGBD交互图像，并从RGBD交互图像中提取人体模型网格的各个顶点坐标，对各个顶点坐标进行无损编码后，实时发送给渲染终端，渲染终端通过云端实时接收采集终端发送的各个顶点坐标。具体过程参见S303，在此不再重复。

由于人体模型网格与初始三维人体模型网格的拓扑结构相同，因此，为减少传输数据量，可仅传输各个顶点坐标，从而减少网络传输时延，提高渲染显示效率，进而提升用户体验。

S503：渲染终端根据各个顶点坐标更新预先存储的初始三维人体模型，得到目标三维人体模型。

该步骤中，由于渲染终端接收的顶点数量、顶点索引和初始三维人体模型中的顶点数量和顶点索引一致，渲染终端对接收的各个顶点坐标解码后，根据解码后的各个顶点坐标，计算各个顶点的法向，进一步地，根据顶点数据更新预先存储的初始三维人体模型，得到交互过程中实时重建的目标三维人体模型。

需要说明的是，由于渲染终端保存的初始三维人体模型的拓扑结构、顶点索引和纹理数据等已经确定，只需关注具有同样拓扑结构的人体模型在交互过程中的顶点位置，因此，可仅传输顶点坐标，利用顶点坐标更新初始三维模型中的顶点坐标，得到更新后的目标三维人体模型，实现交互过程中人体模型的实时重建。

本申请的上述实施例中，考虑到目标对象的装饰对重建模型的影响，采集终端在确定目标对象的装饰相对于预先构建的初始三维人体模型发生变化时，采集终端根据目标对象以预设姿态旋转的多帧RGBD图像和相应的RGB图像重建初始三维人体模型，并将重建的初始三维人体模型对应的三维重建数据通过传输终端发送给渲染终端，渲染终端接收三维重建数据并保存，三维重建数据无需实时传输，对网络带宽的要求较低，并且相对于精简的骨骼动画，初始三维人体模型更加真实、稳定，可以提高交互过程中的沉浸感；采集终端在确定目标对象的装饰相对于预先构建的初始三维人体模型未发生变化时，无需重建初始三维人体模型，直接采集交互过程中目标对象的RGBD交互图像，从RGBD交互图像中提取人体模型网格的各个顶点坐标，并利用各个顶点坐标更新初始三维人体模型，实现目标人体三维模型的实时重建，由于渲染终端预先存储的初始三维模型的拓扑结构、顶点索引、纹理数据等已经确定，只需要传输顶点坐标即可(数据量约为三维重建数据的1/4)，在现有网络带宽的条件下，减少了数据传输量，节省了网络带宽，提高了三维重建的实时性。

下面从采集终端和渲染终端的交互过程角度，详细描述本申请实施例的三维重建方法。

图6示例性示出了本申请实施例提供的完整的三维重建方法流程图，如图6所示，主要包括以下几步：

S601：采集终端确定目标对象的装饰相对于预先构建的初始三维人体模型是否发生变化，若发生变化，执行S602，否则执行S610。

该步骤的详细描述参见S301，在此不再重复。

S602：采集终端采集目标对象以预设人体姿态旋转的初始RGBD图像，并进行去噪处理。

该步骤中，基于采集终端采集无人的RGBD图像对初始RGBD图像进行前景和后景的分割，并进行去噪处理，得到干净的人体RGBD图像。该步骤的详细描述参见S3021，在此不再重复。

S603：采集终端从初始RGBD图像中提取三维点云数据，并与预设的人体参数化模型对应的三维点云数据进行匹配，得到初始人体外层模型，并根据提取的点云数据确定初始TSDF值。

该步骤的详细描述参见S3021，在此不再重复。

S604：采集终端根据设定的时间间隔，采集当前RGBD图像，并进行去噪处理。

该步骤中，由于初始人体外层模型仅是单视角下采集的一帧RGBD图像，不包含完整的人体几何数据，因此，采集终端需按设定的时间间隔继续采集目标对象旋转一圈过程中的多帧RGBD图像针对采集的每一帧当前RGBD图像进行去噪处理。去噪过程参见S3021，在此不再重复。

S605：采集终端确定当前RGBD图像与初始RGBD图像之间的运动关系，将从当前RGBD图像中提取的三维点云数据融合到初始人体外层模型中，更新初始TSDF值，得到目标人体外层模型。

该步骤中，从第二帧RGBD图像开始，采用最近邻迭代(Iterative Closest Point，ICP)算法，对当前RGBD图像中提取的三维点云数据与上一帧RGBD图像对应的人体外层模型数据进行跟踪计算，得到两帧RGBD图像之间的运动关系，然后将当前RGBD图像中提取的三维点云数据融合到初始人体外层模型中，得到目标人体外层模型并更新体素空间的初始TSDF值。具体过程参见S3022，在此不再重复。

S606：采集终端根据更新后的TSDF值，从目标人体外层模型对应的三维点云数据中，提取三维重建的几何数据。

该步骤的详细描述参见S3023，在此不再重复。

S607：采集终端采集RGB图像，根据RGBD图像与RGB图像自有的标定关系，从每一帧RGBD图像对应的RGB图像中，提取三维重建的纹理数据。

该步骤中，得到目标人体外层模型后，人体在RGBD相机视野内重新旋转一圈，采集得到用于渲染目标人体外层模型的多帧RGB图像，并从每一帧RGB图像中提取三维重建的纹理数据，对纹理数据进行拼接，得到与目标人体外层模型的对应的纹理数据。该步骤的详细描述参见S3024，在此不再重复。

S608：采集终端将几何数据和纹理数据通过云服务器发送给渲染终端。

S609：渲染终端接收用于重建初始三维人体模型的几何数据和纹理数据，并保存在本地。

该步骤中，采集终端和渲染终端都存有拓扑结构相同的初始三维人体模型，该模型已存在确定的顶点数量、顶点索引、面片数据、纹理数据等。因此，交互过程中，为减少云端传输压力，可仅传输顶点坐标，利用顶点坐标更新初始三维人体模型。

S610：采集终端采集交互过程中的RGBD交互图像。

该步骤中，目标对象在RGBD相机的视野内随意运动，由RGBD相机实时采集三维重建的RGBD交互图像。

S611：采集终端根据采集的RGBD交互图像，提取人体模型网格的各个顶点坐标。

该步骤中，对采集的RGBD交互图像进行前景和后景的分割，并通过膨胀腐蚀操作进行去噪处理后，提取人体模型网格的各个顶点坐标，人体模型网格的拓扑结构与初始三维人体模型网格的拓扑结构相同。

S612：采集终端对各个顶点坐标进行无损编码后，通过云服务器传输给渲染终端。

该步骤中，各个顶点坐标的数据量约占初始三维人体模型对应的三维重建数据量的1/4，在现有网络带宽的能力下，可以实时传输。

S613：渲染终端接收各个顶点坐标并解码，根据解码后的各个顶点坐标更新预先保存的初始三维人体模型，得到目标三维人体模型。

该步骤中，由于人体模型网格的拓扑结构与初始三维人体模型的拓扑结构相同，因此，渲染终端可用接收的各个顶点坐标，更新初始三维人体模型中几何顶点的位置，得到更新后的目标三维人体模型。

S614：渲染终端实时显示目标三维人体模型。

该步骤中，在渲染终端的渲染管线中，实时显示目标三维人体模型，减少了交互过程中人体模型的渲染时延，使得交互过程更加顺畅，提升了用户体验。

本申请的上述实施例中，动态实时重建三维人体模型的方法中，既可以得到高精度的三维人体模型，提高模型的真实性，又减少了传输的数据量，保证重建的实时性和系统的流畅性，达到在广域网传输的功能。

需要说明的是，本申请实施例提供的三维重建方法，可以针对具有刚性、非刚性运动特征的任何物体进行实时重建，只需将人体参数化模型进行替换即可。例如，将人体参数化模型更换为人脸参数化模型(如Flame)、人手参数化模型(如Nano)等，便可实时重建人脸、人手的三维模型。

需要说明的是，当传输初始人体三维模型的三维重建数据时，不限制待建人或物进行运动，也就是数据传输期间不需要保持静止状态。而且针对交互过程的实时三维重建，如果需要再次进行人物或物体的″自建模″，与参数化模型的三维点云数据进行匹配以优化参数化模型时，可以使用前一次参数化模型与外层模型的结果求解初值，从而减少″自建模″的建模时间。

基于相同的技术构思，本申请实施例提供一种采集终端，可执本申请实施例采集终端侧的三维重建的方法流程，并能达到同样的技术效果，在此不再重复。

参见图7，该装置包括RGBD相机701、存储器702、主机或工作站703，RGBD相机701、存储器702与主机或工作站703通过总线(在图7中用粗实线表示)连接。RGBD相机701被配置为采集目标对象以预设人体姿态旋转的多帧RGBD图像和相应的RGB图像，以及目标对象的RGBD交互图像；存储器702被配置为存储计算机程序指令；主机或工作站703被配置为根据计算机程序指令执行本申请实施例图3a和图3b所示的方法流程。

基于相同的技术构思，本申请实施例提供一种渲染终端，该装置可执本申请实施例渲染终端侧的三维重建的方法流程，并能达到同样的技术效果，在此不再重复。

参见图8，该装置包括显示器801、存储器802、处理器803，显示器801、存储器802与处理器803通过总线(在图8中用粗实线表示)连接。显示器801被配置为显示目标三维人体模型；存储器802被配置为存储计算机程序指令；处理器803被配置为根据计算机程序指令执行本申请实施例图5所示的方法流程。

本申请实施例还提供一种计算机可读存储介质，用于存储一些指令，这些指令被执行时，可以完成前述实施例的方法。

本申请实施例还提供一种计算机程序产品，用于存储计算机程序，该计算机程序用于执行前述实施例的方法。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims

1.一种三维重建方法，其特征在于，应用于采集终端，包括：

2.如权利要求1所述的方法，其特征在于，所述从所述多帧RGBD图像和相应的RGB图像中提取三维重建数据，包括：

根据所述多帧RGBD图像，重建目标人体外层模型，并从所述目标人体外层模型的三维点云数据中，提取三维重建的几何数据；

根据RGBD图像与RGB图像自有的标定关系，从每一帧RGBD图像对应的RGB图像中，提取三维重建的纹理数据，所述纹理数据用于渲染所述目标人体外层模型，得到重建的初始三维人体模型。

3.如权利要求2所述的方法，其特征在于，所述根据所述多帧RGBD图像，重建目标人体外层模型，并从所述目标人体外层模型的三维点云数据中，提取三维重建的几何数据，包括：

根据所述多帧RGBD图像中的初始RGBD图像，确定初始人体外层模型；

根据所述多帧RGBD图像中除所述初始RGBD图像外的当前RGBD图像，与所述初始RGBD图像之间的运动关系，将从所述当前RGBD图像中提取的三维点云数据融合到所述初始人体外层模型中，得到目标人体外层模型；

根据所述目标人体外层模型对应的截断符号函数TSDF值，从所述目标人体外层模型对应的三维点云数据中，提取三维重建的几何数据。

4.如权利要求3所述的方法，其特征在于，所述根据所述多帧RGBD图像中的初始RGBD图像，确定初始人体外层模型，包括：

从所述初始RGBD图像中提取三维点云数据，并确定提取的三维点云数据与预设的人体参数化模型的三维点云数据之间对应点的匹配程度；

根据所述匹配程度和所述人体参数化模型对应的人体姿态先验参数，确定对应点的能量损失值；

根据所述能量损失值调整所述人体参数化模型，直到确定出的能量损失值在预设范围内，得到初始人体外层模型。

5.如权利要求2所述的方法，其特征在于，所述根据RGBD图像与RGB图像自有的标定关系，从每一帧RGBD图像对应的RGB图像中，提取三维重建的纹理数据，包括：

根据RGBD图像与RGB图像自有的标定关系，从每一帧RGBD图像对应的采集视角下采集的RGB图像中，提取所述目标人体内层模型包含的各个几何顶点的颜色值，得到三维重建的纹理数据。

6.一种三维重建方法，其特征在于，应用于渲染终端，包括：

7.一种采集终端，其特征在于，包括RGBD相机、存储器、主机或工作站：

8.如权利要求7所述的采集终端，其特征在于，所述处理器从所述多帧RGBD图像和相应的RGB图像中提取三维重建数据，具体被配置为：

9.一种渲染终端，其特征在于，包括显示器、存储器、处理器：

所述显示器，与所述处理器连接，被配置为显示目标三维人体模型；

所述处理器，被配置为根据所述存储器存储的计算机程序指令，执行以下操作：

10.一种三维重建系统，其特征在于，包括采集终端、传输终端、渲染终端：