CN114373040A - 一种三维模型重建方法和采集终端 - Google Patents

Abstract

本申请提供一种三维模型重建方法和采集终端，涉及人工智能技术领域。采集终端可以获取目标对象的待分割三维模型和局部三维模型，将预先建立的参数化三维模型与待分割三维模型进行拟合，拟合完成后，可以根据参数化三维模型中包含的索引点，对待分割三维模型进行分割，得到分割后的三维模型，并基于局部三维模型，对分割后的三维模型进行重建，得到重建后的三维模型，并将重建后的三维模型发送至渲染终端。其中，参照预先建立的参数化三维模型，可以实现对三维模型的自动分割，不仅可以节省人力资源，还可以提高模型分割的效率。

Description

一种三维模型重建方法和采集终端

技术领域

本申请涉及人工智能技术领域，特别涉及一种三维模型重建方法和采集终端。

背景技术

随着虚拟现实技术和增强现实技术的普及，实现对人体等各种实物的三维重建也愈加重要，而在实现三维重建的过程中，需要对目标实物的各个部分进行划分，并针对各个部分进行调节，使重建后的目标实物的三维模型与目标实物更加贴合。

目前，在实现三维模型重建过程中，需要专业人员手动划分出模型的各个部位，再分别针对划分出的各个部位进行调节；不仅会造成人力资源的浪费，而且模型分割的效率也很低。

发明内容

本申请实施例提供一种三维模型重建方法和采集终端，可以实现对三维模型的自动分割。

第一方面，本申请实施例提供一种三维模型重建方法，所述方法包括：

获取目标对象的待分割三维模型和局部三维模型；所述局部三维模型包括目标对象的各个部位的三维模型；

将预先建立的参数化三维模型与待分割三维模型进行拟合；

根据所述参数化三维模型中的索引点，对所述待分割三维模型进行分割，得到分割后的三维模型；所述索引点包括位于所述参数化三维模型中两个相邻部位之间的分割点，和/或所述参数化三维模型中目标部位的轮廓点；所述目标部位为所述参数化三维模型中的任一部位；

基于所述局部三维模型，对所述分割后的三维模型进行重建，得到重建后的三维模型；

将所述重建后的三维模型发送至渲染终端。

第二方面，本申请实施例提供一种三维模型分割装置，所述装置包括：

获取单元，获取目标对象的待分割三维模型和局部三维模型；所述局部三维模型包括目标对象的各个部位的三维模型；

拟合单元，将预先建立的参数化三维模型与待分割三维模型进行拟合；

分割单元，根据所述参数化三维模型中的索引点，对所述待分割三维模型进行分割，得到分割后的三维模型；所述索引点包括位于所述参数化三维模型中两个相邻部位之间的分割点，和/或所述参数化三维模型中目标部位的轮廓点；所述目标部位为所述参数化三维模型中的任一部位；

重建单元，基于所述局部三维模型，对所述分割后的三维模型进行重建，得到重建后的三维模型；

发送单元，将所述重建后的三维模型发送至渲染终端。

第三方面，本申请实施例提供一种采集终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现第一方面中任一项所述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现第一方面中任一项所述的方法。

本申请实施例提供的三维模型重建方法和采集终端，采集终端可以获取目标对象的待分割三维模型和局部三维模型，将预先建立的参数化三维模型与待分割三维模型进行拟合，拟合完成后，可以根据参数化三维模型中包含的索引点，对待分割三维模型进行分割，得到分割后的三维模型，并基于局部三维模型，对分割后的三维模型进行重建，得到重建后的三维模型，并将重建后的三维模型发送至渲染终端。通过该三维模型重建方法可以实现对三维模型的自动分割，不仅可以节省人力资源，还可以提高模型分割的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种三维重建系统的结构图；

图2为本申请实施例提供的一种应用场景示意图；

图3为本申请实施例提供的一种三维模型重建方法的流程图；

图4为本申请实施例提供的一种将参数化人体三维模型与待分割人体三维模型进行拟合的流程图；

图5为本申请实施例提供的一种对待分割人体三维模型进行分割的流程图；

图6为本申请实施例提供的一种三维模型分割装置的结构示意图；

图7为本申请实施例提供的一种采集终端的示意图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

随着虚拟现实技术和增强现实技术的普及，实现对人体等各种实物的三维重建也愈加重要，而在实现三维重建的过程中，需要对目标实物的各个部分进行划分，并针对各个部分进行调节，使重建后的目标实物的三维模型与目标实物更加贴合。目前，在实现三维模型重建过程中，需要专业人员手动划分出模型的各个部位，再分别针对划分出的各个部位进行调节；不仅会造成人力资源的浪费，而且模型分割的效率也很低。

基于此，本申请实施例提供了一种三维模型重建方法和采集终端，可以先将预先建立的参数化三维模型与待分割三维模型进行拟合，拟合完成后，可以根据参数化三维模型中包含的索引点，对待分割三维模型进行分割，通过该三维模型重建方法可以实现对三维模型的自动分割，不仅可以节省人力资源，还可以提高模型分割的效率。

需要说明的是，本申请实施例提供的方法不仅适用于对人体三维模型进行分割，还适用于任何具有刚性、非刚性运动物体的三维模型的分割。

需要说明的是，本申请实施例提供三维模型重建方法可以应用于智能手机、平板电脑、计算机、笔记本电脑、智能电视以及VR/AR头戴式显示设备等具有交互功能的终端。

下面结合附图详细描述本申请的实施例。

图1示例性示出了本申请实施例提供的一种三维模型重建系统架构图。如图1所示，该系统包括采集终端101、传输终端102、渲染终端103。

采集终端101，采集终端101可以是手机，手机上安装有图像采集装置，例如，深度(Red Green Blue Depth，RGBD)相机；通过RGBD相机采集的视频数据，可以获取到目标对象的多帧RGBD图像和相应的RGB图像，并从多帧RGBD图像和相应的RGB图像中提取三维模型的数据，包括待分割人体三维模型的数据和局部人体三维模型的数据，根据提取的三维模型的数据构建待分割人体三维模型和局部人体三维模型。

将预先建立的参数化人体三维模型与待分割人体三维模型进行拟合；并根据参数化三维模型中的索引点，对待分割人体三维模型进行分割，得到分割后的人体三维模型；分割后的人体三维模型不包含局部人体三维模型中包含的各个部位；将局部人体三维模型与分割后的人体三维模型进行重建，得到重建后的三维模型，并将重建后的人体三维模型的数据通过传输终端102发送至渲染终端103。

传输终端102，用于将采集终端101获取的重建后的人体三维模型的数据发送给渲染终端103，其中传输终端102可以是云服务器。

渲染终端103，用于通过传输终端102接收采集终端101发送的重建后的人体三维模型的数据。对重建后的人体三维模型进行重建并显示。其中，渲染终端103可以是智能电视、智能手机、笔记本电脑、VR/AR头戴式显示设备等。

需要说明的是，图1示出的系统架构可根据不同的使用场景进行部署，比如在生物医疗中，可以通过该三维模型重建方法，分割出病体模型的各个部分，再提取出目标部位进行医学研究等；再比如，在动画制作过程中，可以通过该三维模型重建方法，分割出目标人物的各个部分，再跟对分割出的各个部分，进行相应的动画驱动等。

基于图1示出的系统架构，图2示例性示出了本申请实施例提供的应用场景示意图。如图2所示，用户端1至用户端4进行实时远程三维通信，用户端1至用户端4分别布置了采集终端和渲染终端，其中，采集终端包括RGBD相机和主机，其中，RGBD相机用于采集目标对象的视频数据，主机用于执行本申请实施例中的三维模型重建方法；渲染终端包括智能电视、智能手机、VR/AR头显的全部或部分，远程三维通信过程中，用户端1的三维重建数据和顶点数据可上传到云端服务器，用户端2至用户端4中的渲染终端从云端服务器下载用户端1的三维重建数据和顶点数据，并同步显示精细拟合后的人体三维模型，同理，用户端1、用户端3和用户端4也可同步显示用户端2的三维人体模型，依此类推。

需要说明的是，图2仅是多人远程三维通信的一种示例，本申请实施例对远程三维通信的用户端数目不做限制性要求。

为进一步说明本申请实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在实际的处理过程中或者装置执行时，可按照实施例或者附图所示的方法顺序执行或者并执行。

为了便于理解，下文以手机为例，通过具体实施例对本申请提供的一种三维模型重建方法进行详细说明，图3示出了一种三维模型重建方法的流程图。如图3所示，该方法可以包括如下步骤：

步骤S301，获取目标对象的待分割三维模型和局部三维模型；

具体地，在一种实施例中，在手机中安装有图像采集装置，例如，RGBD相机；手机可以通过RGBD相机采集的视频数据，获取到目标对象全身的多帧RGBD图像和相应的RGB图像，并从多帧RGBD图像和相应的RGB图像中提取包含用户全身的三维模型的数据，并根据提取的用户全身的三维模型的数据建出用户全身的三维模型，即为待分割人体三维模型。

然后，手机可以通过RGBD相机采集的视频数据，获取到目标对象的各个部位的影像数据，并基于目标对象的各个部位的影像数据，获取到目标对象各个部位的多帧RGBD图像和相应的RGB图像，例如，头部、手部和脚部等部位，针对任一部位，从多帧RGBD图像和相应的RGB图像中提取用户该部位的三维模型的数据，并根据提取的该部位的三维模型的数据建出用户该部位的三维模型，即局部三维模型。

步骤S302，将预先建立的参数化三维模型与待分割三维模型进行拟合。

在一种可选的实施方式中，预先建立的参数化三维模型是一种标准化的三维模型，该三维模型是由各个轮廓点组成的，轮廓点中包含有距离关系固定的特征点，且各个轮廓点的索引顺序不变。

示例性地，在一种可选的实施方式中，在预先建立的参数化三维模型中包含有用户预先定义的索引点，索引点可以包括位于参数化三维模型中两个相邻部位之间的分割点，例如，在参数化人体三维模型中，用户可以标记出手臂与手之间的分割点，手臂和手之间的分割点即为一种可选的索引点。

在另一种可选的实施方式中，索引点除了可以包括上述位于参数化三维模型中两个相邻部位之间的分割点外，也可以包括位于参数化三维模型中任一部位的轮廓点，例如，在建立参数化人体三维模型之后，用户可以将参数化人体三维模型中鼻子部位包含的所有轮廓点均添加部位标记“鼻子”，具有部位标记的轮廓点也可以作为一种索引点。在对待分割三维模型进行分割时，终端可以根据用户预先定义的索引点，对待分割三维模型进行分割。

在一种可选的实施方式中，在将预先建立的参数化三维模型与待分割三维模型进行拟合的过程中，可以先根据参数化三维模型包含的各个轮廓点的三维坐标，确定参数化三维模型的第一中心点的三维坐标，并根据待分割三维模型包含的各个轮廓点的三维坐标，确定待分割三维模型的第二中心点的三维坐标；基于第一中心点的三维坐标和第二中心点的三维坐标，对参数化三维模型与待分割三维模型进行中心对齐。

具体地，在一种实施例中，可以先根据参数化三维模型包含的各个轮廓点的三维坐标，求出参数化三维模型中的各个轮廓点对应的各个坐标的平均值，将该平均值作为第一中心点的三维坐标的坐标值；并根据待分割三维模型包含的各个轮廓点的三维坐标，求出待分割三维模型中的各个轮廓点对应的各个坐标的平均值，将该平均值作为第二中心点的三维坐标的坐标值，然后根据第一中心点的三维坐标和第二中心点的三维坐标，对参数化三维模型进行平移操作，使参数化三维模型和待分割三维模型的中心点对齐。

在一种可选的实施方式中，在将预先建立的参数化三维模型与待分割三维模型进行拟合的过程中，在完成对参数化三维模型和待分割三维模型的中心对齐的操作后，可以针对待分割三维模型，提取出待分割三维模型各个部位的特征点，并根据待分割三维模型与参数化三维模型之间对应特征点的相对位置关系，将预先建立的参数化三维模型与待分割三维模型进行拟合，该拟合过程可以称为刚性拟合。

具体地，在提取出待分割三维模型各个部位的特征点后，可以在待分割三维模型中选取任意两个特征点，例如，第一特征点和第二特征点，然后在参数化三维模型中选取第一特征点的对应特征点第三特征点，和第二特征点的对应特征点第四特征点，并确定第一特征点和第二特征点之间的第一距离与第三特征点和第四特征点之间的第二距离之间的关系，该关系即为内部位置关系；重复执行上述步骤，确定多组待分割三维模型和参数化三维模型中的对应特征点的内部位置关系，根据获取的内部位置关系确定参数化三维模型与待分割三维模型之间的比例系数，并根据该比例系数，对参数化三维模型进行缩放，使参数化三维模型的尺寸和待分割三维模型的尺寸一致。

完成对参数化三维模型的缩放操作后，可以根据待分割三维模型中的各个特征点与在参数化三维模型中的对应特征点之间的距离，确定出待分割三维模型与参数化三维模型之间对应特征点的外部位置关系。例如，在待分割三维模型中取特征点A、B、……和I，该特征点A在参数化三维模型中的对应特征点为A’，该特征点B在参数化三维模型中的对应特征点为B’，……特征点I在参数化三维模型中的对应特征点为I’；可以根据特征点A和特征点A’之间的距离，特征点B和特征点B’之间的距离，……特征点I和特征点I’之间的距离，确定出待分割三维模型与参数化三维模型的外部位置关系，并根据确定的外部位置关系确定出参数化三维模型与待分割三维模型之间的平移系数和旋转系数，并根据该平移系数和旋转系数，对参数化三维模型进行平移和旋转调节，使参数化三维模型的尺寸和待分割三维模型进行刚性拟合。

在一种可选的实施方式中，在将预先建立的参数化三维模型与待分割三维模型进行拟合的过程中，还可以根据待分割三维模型的形状和姿态，调整所述参数化三维模型的形状和姿态，该过程可以称为非刚性拟合。

具体地，在一种实施例中，可以根据参数化三维模型的各个轮廓点和待分割三维模型的各个轮廓点之间的误差，来判断参数化三维模型和待分割三维模型的形状和姿态是否一致；当误差达到最小值时，表示参数化三维模型和待分割三维模型的形状和姿态一致；当误差没有达到最小值时，则可以不断地调整参数化三维模型的形状和姿态，以使参数化三维模型的形状和姿态不断的贴合待分割三维模型的形状和姿态。

步骤S303，根据参数化三维模型中的索引点，对待分割三维模型进行分割，得到分割后的三维模型。

在一种可选的实施方式中，在完成上述对参数化三维模型和待分割三维模型的拟合后，可以根据用户预先定义的索引点和在将预先建立的参数化三维模型与待分割三维模型进行拟合之前，用户根据实际的需求定义的索引点，对待分割三维模型进行分割。

在一种实施例中，当索引点仅包括用户预先定义的索引点，且用户预先定义的索引点仅包括位于参数化三维模型中两个相邻部位之间的分割点时，终端在根据参数化三维模型中的索引点，对待分割三维模型进行分割的过程中，可以针对参数化三维模型中每两个相邻部位之间的分割线，获取各个分割线包含的分割点，分割点即为各个分割线上的轮廓点；并根据各个分割线包含的分割点的三维坐标，分别构建各个分割线对应的分割曲面；然后采用各个分割曲面对待分割三维模型进行分割，分割完成后，即可得到待分割三维模型的各个部位。

在另一种实施例中，当索引点仅包括用户预先定义的索引点，用户预先定义的索引点除了位于参数化三维模型中两个相邻部位之间的分割点外，还包括位于参数化三维模型中任一部位的轮廓点，终端在根据参数化三维模型中的索引点，对待分割三维模型进行分割的过程中，采用上述根据各个分割曲面对待分割三维模型进行分割，得到待分割三维模型的各个部位，还可以针对各个部位中包含的任一目标部位，将参数化三维模型中包含的该目标部位的轮廓点与待分割三维模型中的各个轮廓点进行比对，进而得到待分割三维模型中的与目标部位对应的轮廓点；并基于得到的待分割三维模型中目标部位的轮廓点，对待分割三维模型进行分割。

在另一种实施例中，当索引点中除了包含用户预先定义的索引点之外，还包括在将预先建立的参数化三维模型与待分割三维模型进行拟合之前，用户根据实际的需求定义的索引点时，终端在根据参数化三维模型中的索引点，对待分割三维模型进行分割的过程中，采用上述用户预先定义的索引点对待分割三维模型进行分割后，还可以根据用户根据实际的需求定义的指定部位的索引点，从分割出的各个部位中，提取出用户需要的指定部位。

步骤S304，基于局部三维模型，对分割后的三维模型进行重建，得到重建后的三维模型；

通过上述步骤，对待分割三维模型进行分割，得到分割后的三维模型之后，可以针对分割后的三维模型的各个部位，找到对应的局部三维模型，并利用各个局部三维模型对分割后的三维模型进行重建，以得到重建后的三维模型。

示例性地，假设待分割三维模型为人体三维模型，局部三维模型为人体各个部位的三维模型，例如，头部、手部和脚部等；通过步骤S303完成对待分割三维模型的分割后，手机就可以对应提取出待分割三维模型的各个部位的轮廓点，以头部为例，手机提取出待分割三维模型头部的轮廓点后，就可以将待分割三维模型的头部分割出来，并在获取的局部三维模型中，对应找到头部的三维模型，并将该头部的三维模型拼接至待分割三维模型的头部部位，以此类推，利用各个局部三维模型对分割后的三维模型进行重建，以得到重建后的三维模型。

步骤S305，将重建后的三维模型发送至渲染终端。

在一种可选的实施方式中，手机通过步骤S304，得到重建后的三维模型后，可以通过云服务器将重建后的三维模型的数据发送至渲染终端，以使渲染终端根据该重建后的三维模型的数据进行构建并显示。

在一种可选的实施方式中，采集终端在将重建后的三维模型发送至渲染终端后，还可以通过运动捕捉等方式获取到用户的运动数据，并将该运动数据通过云服务器发送至渲染终端，以使渲染终端完成对重建后的三维模型的实时驱动。

在另一种具体实施方式中，本申请实施例提供的三维模型重建方法可以应用于人体三维模型重建方法中。在人体三维模型重建方法中，将预先建立的参数化人体三维模型与待分割人体三维模型进行拟合的过程，如图4所示，具体可以包括如下步骤：

步骤S401，将预先建立的参数化人体三维模型与待分割人体三维模型进行中心对齐。

预先建立的参数化人体三维模型是一种标准化的人体三维模型，该参数化人体三维模型是由各个轮廓点组成的，且在轮廓点中包含有距离关系固定的23个骨骼关键点，其中，骨骼关键点为一种可选的特征点。

在一种可选的实施例中，在建立好参数化人体三维模型之后，用户可以在参数化人体三维模型中标记索引点，索引点可以包含两种类型，分别是第一类型索引点和第二类型索引点，其中，第一类型索引点包括参数化人体三维模型A中两个相邻部位之间的分割点，即第一类型索引点可以将参数化人体三维模型A大致分为几个部分。例如，头、手、手臂、腿、脚和躯干等部分，终端可以响应于用户定义的第一类型索引点，将第一类型索引点保存至数据库中。第二类型索引点包括参数化人体三维模型A中的各个目标部位的轮廓点，即第二类型索引点可以在第一类型索引点的基础上，将参数化人体三维模型A分割为更精细的部分，例如，鼻子、嘴巴、手指、脚趾、大臂、小臂等各个部位，终端可以响应于用户定义的第二类型索引点，将第二类型索引点保存至数据库中。

在一种可选的实施例中，在需要对待分割三维模型C进行分割时，在将预先建立的参数化人体三维模型A与待分割人体三维模型C进行拟合之前，用户还可以根据实际的需求，在参数化人体三维模型A包括的第一类型索引点或第二类型索引点中，标记出需分割得到的指定部位的索引点，这类索引点可以称为第三类型索引点。示例性地，假设在某次对待分割三维模型C进行分割时，需要从待分割三维模型C中提取出鼻子部位的模型，这种情况下，在正式进行分割之前，在终端显示的包含参数化人体三维模型A的界面中，用户可以通过点选、拖动鼠标或其他形式选择参数化人体三维模型A中的鼻子部位，终端响应于用户针对参数化人体三维模型A中的鼻子部位的操作，将参数化人体三维模型A中的鼻子部位的轮廓点标记为此次分割对应的第三类型索引点。

完成上述过程后，在将预先建立的参数化人体三维模型与待分割人体三维模型进行中心对齐的过程中，终端可以先根据参数化人体三维模型包含的各个轮廓点的三维坐标，确定参数化人体三维模型的第一中心点的三维坐标，并根据待分割人体三维模型包含的各个轮廓点的三维坐标，确定待分割人体三维模型的第二中心点的三维坐标；基于第一中心点的三维坐标和第二中心点的三维坐标，对参数化人体三维模型与待分割人体三维模型进行中心对齐。

示例性地，可以根据公式1求出参数化人体三维模型A的中心点A1的三维坐标的坐标值，并根据公式2求出待分割人体三维模型C的中心点C1的三维坐标的坐标值。

其中，i表示在参数化人体三维模型A中有i个轮廓点,Xi表示参数化人体三维模型A中第i个轮廓点的X轴坐标，Yi表示参数化人体三维模型A中第i个轮廓点的Y轴坐标，Zi表示参数化人体三维模型A中第i个轮廓点的Z轴坐标；j表示在待分割人体三维模型C中有j个轮廓点,Xj表示待分割人体三维模型C中第j个轮廓点的X轴坐标，Yj表示待分割人体三维模型C中第j个轮廓点的Y轴坐标，Zj表示待分割人体三维模型C中第j个轮廓点的Z轴坐标。

根据中心点A1和中心点C1三维坐标的坐标值，可以确定出中心点A1和中心点C1的位置，根据中心点A1和中心点C1的位置对参数化人体三维模型A进行平移操作，使参数化人体三维模型A和待分割人体三维模型C的中心点对齐。

步骤S402，提取待分割人体三维模型的骨骼关键点。

步骤S403，根据参数化人体三维模型中包含的骨骼关键点和待分割人体三维模型中包含的骨骼关键点各自的内部位置关系，求解出参数化人体三维模型的缩放系数，进行第一次刚性对齐。

在一种可选的实施例中，可以通过3D人体姿态检测方法，提取出待分割人体三维模型C的23个骨骼关键点。并根据参数化人体三维模型A中23个骨骼关键点的内部距离和待分割人体三维模型C中23个骨骼关键点的内部距离的关系确定出参数化人体三维模型A和待分割人体三维模型C的内部位置关系，并根据该内部位置关系求解出参数化人体模型的缩放系数c。

具体地，可以先计算出参数化人体三维模型A中的23个骨骼关键点的距离，可以用公式3表示；再计算出待分割人体三维模型C中的23个骨骼关键点的距离，可以用公式4表示；再根据参数化人体三维模型A中的23个骨骼关键点的距离和待分割人体三维模型C中的23个骨骼关键点的距离，求出参数化人体三维模型A和待分割人体三维模型C的内部位置关系，可以用公式5表示。

E＝(E₁-E₂)² (公式5)

其中，i表示参数化人体三维模型A中23个骨骼关键点中的第i个关键点，j表示参数化人体三维模型A中除了第i个关键点之外的第j个关键点；pi-pj表示第i个关键点和第j个关键点之间的距离，E1表示参数化人体三维模型A中每两个骨骼关键点之间的距离之和；m表示待分割人体三维模型C中23个骨骼关键点中的第m个关键点，j表示待分割人体三维模型C中除了第m个关键点之外的第n个关键点；pm-pn表示第m个关键点和第n个关键点之间的距离，E2表示待分割人体三维模型C中每两个骨骼关键点之间的距离之和；E表示参数化人体三维模型A和待分割人体三维模型C之间内部距离关系的误差值。

在一种实施例中，可以通过梯度下降方法不断地优化参数化人体三维模型A的缩放系数c，使误差值E达到最小。当误差值E达到最小值时，即完成第一次刚性对齐。

步骤S404，根据参数化人体三维模型中包含的骨骼关键点和待分割人体三维模型中包含的骨骼关键点之间的外部距离关系，求解参数化人体三维模型的位移系数和旋转系数，进行第二次刚性对齐。

在一种可选的实施例中，在求解出参数化人体三维模型的缩放系数c后，可以根据待分割人体三维模型C中的23个骨骼关键点与在参数化人体三维模型A中的对应的23个骨骼关键点之间的距离，确定出待分割人体三维模型C与参数化人体三维模型A之间对应特征点的外部位置关系。并通过最小二乘法求解出参数化人体三维模型A和待分割人体三维模型C之间的平移系数和旋转系数，并基于该平移系数和旋转系数，对参数化人体三维模型A进行平移和旋转操作，即完成参数化人体三维模型A和待分割人体三维模型C之间的第二次刚性对齐。

步骤S405，对参数化人体三维模型与待分割人体三维模型进行非刚性对齐；

在一种可选的实施例中，可以根据待分割人体三维模型C的形状和姿态，对参数化人体三维模型A进行非刚性拟合。具体地，假设参数化人体三维模型A的形状参数为p1，姿态参数为s1，其中，p1＝β，s1＝θ；可以根据公式6构建参数化人体三维模型A和待分割人体三维模型C的能量函数Eloss。

E_loss＝E_Sdata+E_pri (公式6)

其中，Esdata可以用于表示参数化人体模型A和待分割人体三维模型C之间的对齐匹配程度，Esdata可以通过如下方式确定：在参数化人体三维模型A中对应找到距离待分割人体三维模型C中包含的各个轮廓点最近的轮廓点，将所有对应轮廓点的距离值的平方进行累加后得到的。Epri为预设的人体姿态先验项。

通过Esdata和Epri计算出Eloss后，判断Eloss是否等于0；若Eloss不等于0，则通过高斯牛顿法分别计算出参数化人体三维模型A的形状参数p1和姿态参数s1的变化值，根据形状参数p1和姿态参数s1的变化值得出新的形状参数p1’和姿态参数s1’，并将形状参数p1’、姿态参数s1’和参数化人体三维模型A输入至SMPL模型中，使参数化人体三维模型A根据形状参数p1’和姿态参数s1’进行变化，进而得到变化后的参数化人体三维模型A’。其中，SMPL模型可以用公式7和公式8进行表示：

M(β,θ)＝W(Tp(β,θ),J(β),θ,ω) (公式7)

Tp(β,θ)＝T+Bs(β)+Bp(θ) (公式8)

其中，其中β为体型参数，θ为姿态参数，W为蒙皮函数，Bs(β)为不同体型的人通过体型参数构建的线性函数，Bp(θ)为不同姿态体态的人通过运动姿态参数对人体体型构成影响的函数，T为平均人体体型参数，J(β)为预测不同关节点位置的的函数，ω为混合权重。

针对变化后的参数化人体三维模型A’，构建出参数化人体三维模型A’和待分割人体三维模型C的能量函数Eloss，进行迭代计算，当迭代次数达到设定值或Eloss值为0时，停止迭代，使参数化人体三维模型A和待分割人体三维模型C之间的误差达到最小值，即使参数化人体三维模型A的形状和姿态最接近待分割人体三维模型C的形状和姿态。

步骤S406，根据参数化人体三维模型中的索引点，分割出待分割人体三维模型的头部、手部和脚部的轮廓点；

在一种可选的实施例中，通过步骤S405完成对参数化人体三维模型的非刚性对齐后，可以针对参数化人体三维模型中与头部、手部和脚部对应的分割线，获取各个分割线包含的分割点；根据各个分割线包含的分割点的三维坐标，分别构建各个分割线对应的分割曲面；并采用各个分割曲面对待分割三维模型进行分割。

具体的，以头部为例，可以针对参数化人体三维模型中与头部对应的分割线L，获取该分割线L上包含的分割点，通过二次曲面拟合方法，对获取的分割线L上的分割点进行拟合，得到对应的曲面方程，然后将待分割人体三维模型C中包含的轮廓点输入至该曲面方程中，若输出值为0，表示该轮廓点为对应的分割线上的点；若输出值大于0，表示该轮廓点为头部的轮廓点；若输出值小于0，表示该轮廓点为分割线以下的轮廓点。

针对提取待分割人体三维模型C的手部和脚部的轮廓点的具体实施方式，与上述提取待分割人体三维模型C的头部的轮廓点的步骤相似，此处不再赘述。

步骤S407，对参数化人体三维模型和待分割人体三维模型的头部，手部和脚部做非刚性对齐。

在一种可选的实施方式中，通过步骤S406提取出待分割人体三维模型的头部、手部和脚部的轮廓点后，可以根据待分割人体三维模型的头部、手部和脚部的形状和姿态，对参数化人体三维模型的头部、手部和脚部的形状和姿态进行调节。

具体地，以对参数化人体三维模型A的头部的形状、姿态和表情进行调节为例进行说明。假设进行参数化人体三维模型A的头部的形状参数为p2，姿态参数为s2和表情参数e2；构建参数化人体三维模型A的头部和待分割人体三维模型C的头部的能量函数Eloss。

得到Eloss值后，若Eloss的值不等于0，则通过高斯牛顿法分别计算出参数化人体三维模型A的形状参数p2，姿态参数s2和表情参数e2的变化值，根据形状参数p2，姿态参数s2和表情参数e2的变化值得出新的形状参数p2’、姿态参数s2’和表情参数e2’；并将形状参数p2’、姿态参数s2’和表情参数e2’输入至SMPL-X模型中，使参数化人体三维模型A根据形状参数p2’和姿态参数s2’进行变化，进而得到变化后的参数化人体三维模型A的头部。

针对新的参数化人体模型A的头部，构建出新的参数化人体模型A的头部和待分割人体三维模型C的头部的能量函数Eloss，进行迭代计算，当迭代次数达到设定值或Eloss值为0时，停止迭代，使参数化人体三维模型A的头部和待分割人体三维模型C的头部之间的误差达到最小值，即使参数化人体三维模型A的头部的形状和姿态最接近待分割人体三维模型C的头部的形状和姿态。

针对参数化人体模型A的手部和脚部的调节，具体实施方式与上述针对参数化人体模型A的头部的调节步骤相似，此处不再赘述。

在另一种具体实施方式中，在人体三维模型重建方法中，根据参数化人体三维模型中的索引点，对待分割人体三维模型进行分割的过程，如图5所示，具体可以包括如下步骤：

步骤S501，利用第一类型索引点对待分割人体三维模型进行分割。

在一种可选的实施例中，通过图4中的步骤，完成对参数化人体三维模型A和待分割人体三维模型C的拟合后，终端可以按照用户定义好的第一类型索引点对待分割人体三维模型进行分割。

具体地，在完成对参数化人体三维模型A和待分割人体三维模型C的拟合后，可以在参数化人体三维模型A中，针对除头部、手部和脚部之外的每两个相邻部位之间的分割线，分别获取各个分割线包含的分割点；根据各个分割线包含的分割点的三维坐标，分别构建各个分割线对应的分割曲面；并采用各个分割曲面对待分割人体三维模型C进行分割，最终将待分割人体三维模型C分为头、手、手臂、腿、脚和躯干等各个部分。

具体的实施方式，与步骤S406，分割出待分割人体三维模型C的头部的轮廓点的步骤相似，此处不再赘述。

步骤S502，利用第二类型索引点在待分割人体三维模型中提取出各个目标部位的轮廓点。

在一种可选的实施例中，通过步骤S501完成对待分割人体三维模型的分割后，可以在参数化人体三维模型中，获取各个细分部位的轮廓点，例如，鼻子、嘴巴、眼睛等细分部位；针对各个细分部分，分别执行如下操作，将该细分部位作为目标部位，将目标部位的轮廓点与待分割人体三维模型中的各个轮廓点进行比对，进而在待分割人体三维模型中，找到目标部位的轮廓点；并基于比对结果，提取出待分割人体三维模型中各个目标部位的轮廓点。

示例性地，以目标部位为鼻子为例进行说明，可以先将参数化人体三维模型A中鼻子上的轮廓点提取出来，再将通过步骤S501获取的待分割人体三维模型C的头部的轮廓点，与提取出来的参数化人体三维模型A中鼻子上的轮廓点进行一一比对，进而提取出待分割人体三维模型C中鼻子上的轮廓点，然后依次重复上述步骤，在待分割人体三维模型C中提取出第二索引类型中包含的其他部位的轮廓点，例如，嘴巴、眼睛、手指、脚趾、大臂、小臂等各个部位。

步骤S503，分割出用户指定的部位。

在一种可选的实施方式中，通过步骤S501和步骤S502完成对待分割人体三维模型C的分割后，可以根据用户定义的第三类型索引点，在分割出的各个部位中，查找出用户指定部位的轮廓点。

示例性地，假设用户定义的第三类型索引点为鼻子上的轮廓点，则通过步骤S501和步骤S502完成对待分割人体三维模型C的分割，得到待分割人体三维模型C的各个部位的轮廓点后，可以根据用户定义的第三类型索引点，从分割出的待分割人体三维模型C的各个部位的轮廓点中，找出鼻子上的轮廓点，并根据鼻子上的轮廓点对待分割人体三维模型C的鼻子部位进行分割，并展示在终端界面上。

基于同一发明构思，本申请实施例中还提供了一种三维模型重建装置，如图6所示，该三维模型分割装置包括获取单元601、拟合单元602、分割单元603、重建单元604和发送单元605。

获取单元601，获取目标对象的待分割三维模型和局部三维模型；所述局部三维模型包括目标对象的各个部位的三维模型；

拟合单元602，将预先建立的参数化三维模型与待分割三维模型进行拟合；

分割单元603，根据所述参数化三维模型中的索引点，对所述待分割三维模型进行分割，得到分割后的三维模型；所述索引点包括位于所述参数化三维模型中两个相邻部位之间的分割点，和/或所述参数化三维模型中目标部位的轮廓点；所述目标部位为所述参数化三维模型中的任一部位；

重建单元604，基于所述局部三维模型，对所述分割后的三维模型进行重建，得到重建后的三维模型；

发送单元605，将所述重建后的三维模型发送至渲染终端。

在一种可能的实施方式中，所述拟合单元602，具体用于：

提取所述待分割三维模型中各个部位的特征点；

分别确定所述待分割三维模型的各个特征点在所述参数化三维模型中对应的特征点；

根据所述待分割三维模型与所述参数化三维模型之间对应特征点的相对位置关系，将所述预先建立的参数化三维模型与所述待分割三维模型进行拟合。

在一种可能的实施方式中，所述拟合单元602，具体用于：

根据所述参数化三维模型包含的各个轮廓点的三维坐标，确定所述参数化三维模型的第一中心点的三维坐标，以及根据所述待分割三维模型包含的各个轮廓点的三维坐标，确定所述待分割三维模型的第二中心点的三维坐标；

基于所述第一中心点的三维坐标和所述第二中心点的三维坐标，对所述参数化三维模型与所述待分割三维模型进行中心对齐。

在一种可能的实施方式中，所述拟合单元602，具体用于：

通过所述待分割三维模型与所述参数化三维模型之间对应特征点的内部位置关系，确定所述参数化三维模型与所述待分割三维模型之间的比例系数；所述内部位置关系是根据多组第一特征点和第二特征点之间的第一距离与第三特征点和第四特征点之间的第二距离确定的；所述第一特征点和所述第二特征点是所述待分割三维模型中的特征点；所述第三特征点和所述第四特征点是所述参数化三维模型中的特征点；所述第三特征点是所述第一特征点的对应特征点，所述第四特征点是所述第二特征点的对应特征点；

根据所述比例系数，对所述参数化三维模型的尺寸进行缩放；

通过所述待分割三维模型与所述参数化三维模型之间对应特征点的外部位置关系，确定所述参数化三维模型与所述待分割三维模型之间的平移系数和旋转系数；所述外部位置关系是根据所述待分割三维模型中的各个特征点与在所述参数化三维模型中的对应特征点之间的距离确定的；

根据所述平移系数和所述旋转系数，对所述参数化三维模型的位置和角度进行调节。

在一种可能的实施方式中，所述拟合单元602，具体用于：

根据所述待分割三维模型的形状和姿态，调整所述参数化三维模型的形状和姿态。

在一种可能的实施方式中，所述分割单元603，具体用于：

针对所述参数化三维模型中每两个相邻部位之间的分割线，分别获取各个分割线包含的分割点；

根据所述各个分割线包含的分割点的三维坐标，分别构建所述各个分割线对应的分割曲面；

采用所述各个分割曲面对所述待分割三维模型进行分割。

在一种可能的实施方式中，所述分割单元603，具体用于：

获取所述参数化三维模型中目标部位的轮廓点；

将所述目标部位的轮廓点与所述待分割三维模型中的各个轮廓点进行比对，得到所述待分割三维模型中目标部位的轮廓点；

基于所述待分割三维模型中目标部位的轮廓点，对所述待分割三维模型进行分割。

在一种可能的实施方式中，所述获取单元601，具体用于：

获取相机采集的视频数据；

针对所述视频数据中的目标对象，构建所述待分割三维模型。

在一种可能的实施方式中，所述获取单元601，具体用于：

获取相机采集的视频数据；

基于所述视频数据中所述目标对象的各个部位的影像数据，分别构建所述目标对象的各个部位的局部三维模型。

基于同一发明构思，本申请实施例还提供了一种采集终端，该采集终端具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal DigitalAssistant，PDA)等。该采集终端可以包括中央处理器(Center Processing Unit，CPU)、存储器、输入/输出设备等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。

存储器，可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器提供存储器中存储的程序指令和数据。在本申请实施例中，存储器可以用于存储基于几何的三维模型拼接方法的程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行三维模型重建方法。

如图7所示，为本申请实施例提供的一种采集终端的示意图，该采集终端包括：

处理器701、存储器702、收发器703、总线接口704；其中，处理器701、存储器702与收发器703之间通过总线705连接；

所述处理器701，用于读取所述存储器702中的程序，执行上述三维模型重建方法；

处理器701可以是中央处理器(central processing unit，简称CPU)，网络处理器(network processor，简称NP)或者CPU和NP的组合。还可以是硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，简称ASIC)，可编程逻辑器件(programmable logic device，简称PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，简称CPLD)，现场可编程逻辑门阵列(field-programmable gate array，简称FPGA)，通用阵列逻辑(generic array logic,简称GAL)或其任意组合。

所述存储器702，用于存储一个或多个可执行程序，可以存储所述处理器701在执行操作时所使用的数据。

具体地，程序可以包括程序代码，程序代码包括计算机操作指令。存储器702可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，简称RAM)；存储器702也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，硬盘(hard disk drive，简称HDD)或固态硬盘(solid-state drive，简称SSD)；存储器702还可以包括上述种类的存储器的组合。

存储器702存储了如下的元素，可执行模块或者数据结构，或者它们的子集，或者它们的扩展集：

操作指令：包括各种操作指令，用于实现各种操作。

操作系统：包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。

总线705可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

总线接口704可以为有线通信接入口，无线总线接口或其组合，其中，有线总线接口例如可以为以太网接口。以太网接口可以是光接口，电接口或其组合。无线总线接口可以为WLAN接口。

基于同一发明构思，本申请实施例中还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上述任一项三维模型重建方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种三维模型重建方法，其特征在于，应用于采集终端；所述方法包括：

获取目标对象的待分割三维模型和局部三维模型；所述局部三维模型包括目标对象的各个部位的三维模型；

将预先建立的参数化三维模型与所述待分割三维模型进行拟合；

根据所述参数化三维模型中的索引点，对所述待分割三维模型进行分割，得到分割后的三维模型；所述索引点包括位于所述参数化三维模型中两个相邻部位之间的分割点，和/或所述参数化三维模型中目标部位的轮廓点；所述目标部位为所述参数化三维模型中的任一部位；

基于所述局部三维模型，对所述分割后的三维模型进行重建，得到重建后的三维模型，并将所述重建后的三维模型发送至渲染终端。

2.根据权利要求1所述的方法，其特征在于，所述将预先建立的参数化三维模型与待分割三维模型进行拟合，包括：

提取所述待分割三维模型中各个部位的特征点；

分别确定所述待分割三维模型的各个特征点在所述参数化三维模型中对应的特征点；

根据所述待分割三维模型与所述参数化三维模型之间对应特征点的相对位置关系，将所述预先建立的参数化三维模型与所述待分割三维模型进行拟合。

3.根据权利要求2所述的方法，其特征在于，所述提取所述待分割三维模型中各个部位的特征点之前，所述将预先建立的参数化三维模型与待分割三维模型进行拟合，还包括：

根据所述参数化三维模型包含的各个轮廓点的三维坐标，确定所述参数化三维模型的第一中心点的三维坐标，以及根据所述待分割三维模型包含的各个轮廓点的三维坐标，确定所述待分割三维模型的第二中心点的三维坐标；

基于所述第一中心点的三维坐标和所述第二中心点的三维坐标，对所述参数化三维模型与所述待分割三维模型进行中心对齐。

4.根据权利要求2所述的方法，其特征在于，所述位置关系包括内部位置关系和外部位置关系；所述根据所述待分割三维模型与所述参数化三维模型之间的对应特征点的相对位置关系，将所述参数化三维模型与所述待分割三维模型进行拟合，包括：

通过所述待分割三维模型与所述参数化三维模型之间对应特征点的内部位置关系，确定所述参数化三维模型与所述待分割三维模型之间的比例系数；所述内部位置关系是根据多组第一特征点和第二特征点之间的第一距离与第三特征点和第四特征点之间的第二距离确定的；所述第一特征点和所述第二特征点是所述待分割三维模型中的特征点；所述第三特征点和所述第四特征点是所述参数化三维模型中的特征点；所述第三特征点是所述第一特征点的对应特征点，所述第四特征点是所述第二特征点的对应特征点；

根据所述比例系数，对所述参数化三维模型的尺寸进行缩放；

通过所述待分割三维模型与所述参数化三维模型之间对应特征点的外部位置关系，确定所述参数化三维模型与所述待分割三维模型之间的平移系数和旋转系数；所述外部位置关系是根据所述待分割三维模型中的各个特征点与在所述参数化三维模型中的对应特征点之间的距离确定的；

根据所述平移系数和所述旋转系数，对所述参数化三维模型的位置和角度进行调节。

5.根据权利要求2所述的方法，其特征在于，所述将预先建立的参数化三维模型与待分割三维模型进行拟合，包括：

根据所述待分割三维模型的形状和姿态，调整所述参数化三维模型的形状和姿态。

6.根据权利要求1所述的方法，其特征在于，所述索引点包括位于所述参数化三维模型中两个相邻部位之间的分割点，所述根据所述参数化三维模型中的索引点，对所述待分割三维模型进行分割，包括：

针对所述参数化三维模型中每两个相邻部位之间的分割线，分别获取各个分割线包含的分割点；

根据所述各个分割线包含的分割点的三维坐标，分别构建所述各个分割线对应的分割曲面；

采用所述各个分割曲面对所述待分割三维模型进行分割。

7.根据权利要求6所述的方法，其特征在于，所述索引点包括所述参数化三维模型中目标部位的轮廓点，所述根据所述参数化三维模型中的索引点，对所述待分割三维模型进行分割，包括：

获取所述参数化三维模型中目标部位的轮廓点；

将所述目标部位的轮廓点与所述待分割三维模型中的各个轮廓点进行比对，得到所述待分割三维模型中目标部位的轮廓点；

基于所述待分割三维模型中目标部位的轮廓点，对所述待分割三维模型进行分割。

8.根据权利要求1所述的方法，其特征在于，所述获取目标对象的待分割三维模型，包括：

获取相机采集的视频数据；

针对所述视频数据中的目标对象，构建所述待分割三维模型。

9.根据权利要求1所述的方法，其特征在于，所述获取目标对象的局部三维模型，包括：

获取相机采集的视频数据；

基于所述视频数据中所述目标对象的各个部位的影像数据，分别构建所述目标对象的各个部位的局部三维模型。

10.一种采集终端，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现权利要求1～9中任一项所述的方法。

Images