CN110766739A - 一种构建人体点云的方法及装置 - Google Patents

Abstract

本发明适用于计算机视觉和计算机图形学领域，提供了一种构建人体点云的方法及装置，所述方法包括：根据采集到的图像帧，计算得出图像帧的深度图；对深度图进行处理，得到高质量的稠密人体点云。本发明提供一种高适用性，低成本，低环境要求的人体点云重建方案，实现采集人体数据信息更方便，重建的人体点云数据精度更高的效果。

Description

一种构建人体点云的方法及装置

技术领域

本发明涉及计算机视觉和计算机图形学领域，尤其涉及一种构建人体点云的方法及装置。

背景技术

3D建模通俗来讲就是通过三维制作软件，通过虚拟三维空间构建出具有三维数据的模型，被广泛的应用到工业设计，服装行业，医疗等领域。在对人体进行3D建模过程中，人体参数的采集方式及便利性，将直接决定各类应用的普遍适用性，进而影响到相应产业或产品的大规模推广应用。

现有的利用相机重建人体模型的方法大体可以分为三大类：1、利用多个相机同时采集数据，利用多视图重建的方法可以重建出人体点云模型。2、利用机器学习的方法，学习出人体轮廓跟人体骨骼、人体体型的一种映射关系。3、利用深度相机获取深度信息，然后利用深度信息获取人体的姿态，形体信息。第一类需要搭设多相机的信息采集系统，而且需要对这些相机进行标定，环境搭建比较复杂。第二种方法需要大量的数据集进行训练。由于目前深度相机的成本还是比较高，因此第三种方法获取信息的成本较高。

发明内容

本发明实施例的目的在于提供一种构建人体点云的方法及装置，旨在提供一种高适用性，低成本，低环境要求的人体点云重建方案，实现采集人体数据信息更方便，重建的人体点云数据精度更高的效果。

第一方面，本发明实施例是这样实现的，一种构建人体点云的方法，所述方法包括：

根据采集到的图像帧，计算得出图像帧的深度图；

对深度图进行处理，得到高质量的稠密人体点云。

在一个可能的设计中，在根据采集到的图像帧，计算得出图像帧的深度图之前，还包括：

对环拍视频进行图像帧的数据采集。

在一个可能的设计中，所述根据采集到的图像帧，计算得出图像帧的深度图，包括：

根据采集到的图像帧，计算得出各图像的摄像姿态；

根据摄像姿态计算得出图像帧的深度图。

在一个可能的设计中，所述对深度图进行处理，得到高质量的稠密人体点云，包括：

通过深度图融合算法对深度图进行融合，得到第一点云数据；

将深度图反投影在立体坐标系中，得到第二点云数据；

将第一点云数据和第二点云数据进行聚合，得到高质量的稠密的人体表面点云数据。

在一个可能的设计中，在通过深度图融合算法对深度图进行融合，得到第一点云数据之后，还包括：

对第一点云数据中的背景点进行去噪，之后计算带方向的人体点云的包围盒。

在一个可能的设计中，将第一点云数据和第二点云数据进行聚合，得到高质量的稠密的人体表面点云数据，包括：

通过带方向的人体点云的包围盒对第二点云数据进行去噪，得到去噪后的第二人体表面点云数据；

将第一点云数据和去噪后的第二人体表面点云数据进行合并，采用基于密度统计的方式得到高质量的稠密的人体表面点云数据。

第二方面，本发明实施例的另一目的在于提供一种构建人体点云的装置，所述装置包括：

深度图获取单元，用于根据采集到的图像帧，计算得出图像帧的深度图；

点云获取单元，用于对深度图进行处理，得到高质量的稠密人体点云。

在一个可能的设计中，所述装置还包括：

图像帧采集单元，用于对环拍视频进行图像帧的数据采集。

在一个可能的设计中，所述深度图获取单元还包括：

姿态计算单元，用于根据采集到的图像帧，计算得出各图像的摄像姿态；

深度计算单元，用于根据摄像姿态计算得出图像帧的深度图。

在一个可能的设计中，所述点云获取单元还包括：

第一点云获取单元，用于通过深度图融合算法对深度图进行融合，得到第一点云数据；

第二点云获取单元，用于将深度图反投影在立体坐标系中，得到第二点云数据；

聚合计算单元，用于将第一点云数据和第二点云数据进行聚合，得到高质量的稠密的人体表面点云数据。

在一个可能的设计中，所述装置还包括：

包围盒计算单元，用于对第一点云数据中的背景点进行去噪，之后计算带方向的人体点云的包围盒。

在一个可能的设计中，所述装置还包括：

去噪单元，用于通过带方向的人体点云的包围盒对第二点云数据进行去噪，得到去噪后的第二人体表面点云数据；

合并单元，用于将第一点云数据和去噪后的第二人体表面点云数据进行合并，采用基于密度统计的方式得到高质量的稠密的人体表面点云数据。

第三方面，本发明实施例是这样实现的，提供一种计算机可读存储介质，所述介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行上述第一方面所述的构建人体点云的方法。

第四方面，本发明实施例是这样实现的，提供一种包含指令的计算机程序产品，其特征在于，当所述指令在计算机上运行时，使得计算机执行上述第一方面所述的构建人体点云的方法。

本发明实施例通过环拍的人体视频数据采集得到图片帧，因该获取方式对拍摄设备没有太高的要求，当下普通的手机或摄像机都可以完成，同时环拍时可以仅环拍身体上部或下部的部分视频，采集时对场地要求也会大大降低，这样便于进行数据的初始采集，之后根据图像帧得到图像的深度信息，进而通过投影和拼接得到稠密的人体点云，因点云数据呈高斯分布，通过在该点云数据中进行优选既可以完成对噪声点的去除，最终得到一个高质量的人体点云数据，再之后可以对数据进行参数化模型拟合以及非刚性配准，即得到一个高质量的拓扑稳定的人体模型数据。

附图说明

图1是本发明第一实施例提供的一种构建人体点云的方法的实现流程图；

图2是本发明第一实施例提供的第一点云数据的效果图；

图3是本发明第一实施例提供的第二点云数据的效果图；

图4是本发明第一实施例提供的稠密的人体点云数据的效果图；以及

图5是本发明第二实施例提供的一种构建人体点云的装置的结构图。

具体实施方式

为了使本领域的技术人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图1示出了本发明第一实施例提供的一种构建人体点云的方法的实现流程，详述如下：

在步骤S101中，根据采集到的图像帧，计算得出图像帧的深度图。

在具体实施过程中，首先需要采集图像帧，之后根据采集到的图像帧通过多视图重建的方式得到图像帧的深度图。

具体图像帧的数据来源可以通过视频进行采集，当然也可以通过照片来进行筛选提取。在一种可选的图像帧的获取模式下可以是：用户通过拍摄一段环绕身体的视频数据，之后通过该视频数据进行数据帧的提取，其中拍摄的环绕身体的视频数据可以是上半身或下半身局部身体部分的视频数据，当然也可以是全身的环绕视频数据，为了获取得到高质量的图像帧数据，视频拍摄地点最优的环境为被拍摄对象周围没有杂物的环境，因拍摄全身环绕数据需要较为宽敞的场地才可以进行拍摄，因此为了便于用户拍摄，可以仅拍摄部分身体数据即单独上半身或单独下半身的环绕视频数据。

在接收到该视频数据以后，对该环拍视频数据按照一定的规则进行图像帧的筛选采集，例如按照时间进行均匀采样，或者按照拍摄角度进行均匀采样。通过一定的采样方式使得采样的图像帧数据呈现出一定的次序，便于进行后续的多视图重建，根据多视图重建方式计算得到各帧图像在拍摄的时候的拍摄设备的姿态，之后根据拍摄该图形帧时的摄像姿态计算得到各帧图像帧的深度图，其中在具体的实施过程中，为了提高计算速度可以对图像帧数据进行降采，以节省图形计算的计算量达到高效计算的效果。

在步骤S102中，对深度图进行处理，得到高质量的稠密人体点云。

在具体实施过程中，在得到带有深度图的图像帧以后，对深度图进行处理，在立体三维坐标中得到一个高质量的稠密的人体点云数据。

具体的实现方式可以是：首先通过深度图融合算法对深度图进行融合得到第一点云数据，深度图融合是一种点云融合的方法，该方法在得到每张图的投影矩阵后再进行。通过投影矩阵与深度图的点可以得到每张图对应的三维点云，重叠的点一般通过求中位数的方法得出唯一的点。第一点云数据的效果图如图2所示。因深度融合算法本身的特性，在进行深度融合的过程中可以将大部分深度计算错误的数据得到有效的纠正和剔除，进而在深度融合后得到的第一点云数据中，其中为了提高点云数据的质量，可以采用有色深度信息进行融合时得到点云，有色深度图进行融合得到的点云的质量相对比较高，但是该点云数据同时存在完整性比较低的问题。在得到第一点云数据以后为了进一步提高该点云数据的质量，还可以对第一点云数据进行背景点的去噪处理，因通过深度融合得到的第一点云数据会包含地面数据点和背景数据点，通过计算可以得到地面的方程，之后将地面数据点中的噪声数据去除，再通过聚类的方式将背景数据点进行去噪处理。在去噪完成以后可以对得到的点云数据进行处理，计算出仅含有人体部分点云数据的带方向的人体点云的包围盒。

在得到第一点云数据的同时，还可以同时将深度图反投影在立体坐标系中，得到第二点云数据，第二点云数据的效果图如图3所示。在将深度图直接反投影到立体三维坐标系中，可以得到一个稠密的点云数据，此时的点云数据由于受制于多视图构建技术本身的技术缺陷，会存在较多的深度估计错误的点数据，此时通过第一点云数据得到的带方向的人体点云的包围盒对该点云数据进行处理，去除包围盒外侧的点云数据，具体的处理过程可以是将两个点云数据进行数据对齐，然后将包围盒外侧的点云数据进行去除处理，之后得到处理后的第二点云数据，此时第二点云数据呈高斯分布状态，该点云数据中密度最高的位置即为人体的表面。通过基于密度统计的方法可以去除掉人体表面内外部的噪声，通过该特性就可以对该数据进行进一步的去噪处理，此时就可以得到人体表面的点云数据，再将第一点云数据和此时的第二点云数据进行合并这样就得到了一个稠密的人体点云数据，稠密的人体点云数据的效果图如图4所示，此时还可以通过采用基于密度统计的方式得到高质量的稠密的人体表面点云数据。

本发明实施例通过上述方式，一种构建人体点云的方法，通过环拍的人体视频数据采集得到图片帧，因该获取方式对拍摄设备没有太高的要求，当下普通的手机或摄像机都可以完成，同时环拍时可以仅环拍身体上部或下部的部分视频，采集时对场地要求也会大大降低，这样便于进行数据的初始采集，之后根据图像帧得到图像的深度信息，进而通过投影和拼接得到稠密的人体点云，因点云数据呈高斯分布，通过在该点云数据中进行优选既可以完成对噪声点的去除，最终得到一个高质量的人体点云数据，再之后可以对数据进行参数化模型拟合以及非刚性配准，即得到一个高质量的拓扑稳定的人体模型数据。本方案通过对点云数据中的点云进行优选从而达到了对点云数据的去噪，即完成了去噪，同时也获取得到了一个高质量的稠密的人体点云数据，在后续过程中即可基于该高质量的稠密的人体点云数据进行参数化处理以及非刚性配准，最终得到一个高精度的三维人体模型。该三维人体初始数据采集时对设备要求低，场地要求低，但采集得到的人体点云数据精度却可以达到足够高的精度，适用于多种行业产业对构建三维人体的数据采集处理的要求。其中在构建人体点云数据的过程中能够并行构建，在一定程度上既可以节省数据处理的时间，而且并行处理后的数据再次进行聚合处理也极大的提高了数据的精准性。

实施例二：

图4示出了本发明第二实施例提供的一种构建人体点云的装置的结构图，为了便于说明，仅示出了与本发明实施例相关的部分。

深度图获取单元401，用于根据采集到的图像帧，计算得出图像帧的深度图。

在具体实施过程中，首先需要采集图像帧，之后根据采集到的图像帧通过多视图重建的方式得到图像帧的深度图。

具体图像帧的数据来源可以通过视频进行采集，图像帧采集单元，用于对环拍视频进行图像帧的数据采集，当然也可以通过照片来进行筛选提取。在一种可选的图像帧的获取模式下可以是：用户通过拍摄一段环绕身体的视频数据，之后通过该视频数据进行数据帧的提取，其中拍摄的环绕身体的视频数据可以是上半身或下半身局部身体部分的视频数据，当然也可以是全身的环绕视频数据，为了获取得到高质量的图像帧数据，视频拍摄地点最优的环境为被拍摄对象周围没有杂物的环境，因拍摄全身环绕数据需要较为宽敞的场地才可以进行拍摄，因此为了便于用户拍摄，可以仅拍摄部分身体数据即单独上半身或单独下半身的环绕视频数据。

在接收到该视频数据以后，姿态计算单元，用于根据采集到的图像帧，计算得出各图像的摄像姿态；深度计算单元，用于根据摄像姿态计算得出图像帧的深度图，对该环拍视频数据按照一定的规则进行图像帧的筛选采集，例如按照时间进行均匀采样，或者按照拍摄角度进行均匀采样。通过一定的采样方式使得采样的图像帧数据呈现出一定的次序，便于进行后续的多视图重建，根据多视图重建方式计算得到各帧图像在拍摄的时候的拍摄设备的姿态，之后根据拍摄该图形帧时的摄像姿态计算得到各帧图像帧的深度图，其中在具体的实施过程中，为了提高计算速度可以对图像帧数据进行降采，以节省图形计算的计算量达到高效计算的效果。

点云获取单元402，用于对深度图进行处理，得到高质量的稠密人体点云。

在具体实施过程中，在得到带有深度图的图像帧以后，对深度图进行处理，在立体三维坐标中得到一个高质量的稠密的人体点云数据。

具体的实现方式可以是：第一点云获取单元，用于通过深度图融合算法对深度图进行融合，得到第一点云数据，深度图融合是一种点云融合的方法，该方法在得到每张图的投影矩阵后再进行。通过投影矩阵与深度图的点可以得到每张图对应的三维点云，重叠的点一般通过求中位数的方法得出唯一的点。第二点云获取单元，用于将深度图反投影在立体坐标系中，得到第二点云数据；聚合计算单元，用于将第一点云数据和第二点云数据进行聚合，得到高质量的稠密的人体表面点云数据。首先通过深度图融合算法对深度图进行融合，得到第一点云数据，第一点云数据的效果图如图2所示。因深度融合算法本身的特性，在进行深度融合的过程中可以将大部分深度计算错误的数据得到有效的纠正和剔除，进而在深度融合后得到的第一点云数据中，其中为了提高点云数据的质量，可以采用有色深度信息进行融合时得到点云，有色深度图进行融合得到的点云的质量相对比较高，但是该点云数据同时存在完整性比较低的问题。在得到第一点云数据以后为了进一步提高该点云数据的质量，还可以对第一点云数据进行背景点的去噪处理，因通过深度融合得到的第一点云数据会包含地面数据点和背景数据点，通过计算可以得到地面的方程，之后将地面数据点中的噪声数据去除，再通过聚类的方式将背景数据点进行去噪处理。包围盒计算单元，用于对第一点云数据中的背景点进行去噪，之后计算带方向的人体点云的包围盒。在去噪完成以后可以对得到的点云数据进行处理，计算出仅含有人体部分点云数据的带方向的人体点云的包围盒。

在得到第一点云数据的同时，还可以同时将深度图反投影在立体坐标系中，得到第二点云数据，第二点云数据的效果图如图3所示。在将深度图直接反投影到立体三维坐标系中，可以得到一个稠密的点云数据，此时的点云数据由于受制于多视图构建技术本身的技术缺陷，会存在较多的深度估计错误的点数据。去噪单元，用于通过带方向的人体点云的包围盒对第二点云数据进行去噪，得到去噪后的第二人体表面点云数据；合并单元，用于将第一点云数据和去噪后的第二人体表面点云数据进行合并，采用基于密度统计的方式得到高质量的稠密的人体表面点云数据。此时通过第一点云数据得到的带方向的人体点云的包围盒对该点云数据进行处理，去除包围盒外侧的点云数据，具体的处理过程可以是将两个点云数据进行数据对齐，然后将包围盒外侧的点云数据进行去除处理，之后得到处理后的第二点云数据，此时第二点云数据呈高斯分布状态，该点云数据中密度最高的位置即为人体的表面。通过基于密度统计的方法可以去除掉人体表面内外部的噪声，通过该特性就可以对该数据进行进一步的去噪处理，此时就可以得到人体表面的点云数据，再将第一点云数据和此时的第二点云数据进行合并这样就得到了一个稠密的人体点云数据，稠密的人体点云数据的效果图如图4所示，此时还可以通过采用基于密度统计的方式得到高质量的稠密的人体表面点云数据。

本发明实施例通过环拍的人体视频数据采集得到图片帧，因该获取方式对拍摄设备没有太高的要求，当下普通的手机或摄像机都可以完成，同时环拍时可以仅环拍身体上部或下部的部分视频，采集时对场地要求也会大大降低，这样便于进行数据的初始采集，之后根据图像帧得到图像的深度信息，进而通过投影和拼接得到稠密的人体点云，因点云数据呈高斯分布，通过在该点云数据中进行优选既可以完成对噪声点的去除，最终得到一个高质量的人体点云数据，再之后可以对数据进行参数化模型拟合以及非刚性配准，即得到一个高质量的拓扑稳定的人体模型数据。本方案通过对点云数据中的点云进行优选从而达到了对点云数据的去噪，即完成了去噪，同时也获取得到了一个高质量的稠密的人体点云数据，在后续过程中即可基于该高质量的稠密的人体点云数据进行参数化处理以及非刚性配准，最终得到一个高精度的三维人体模型。该三维人体初始数据采集时对设备要求低，场地要求低，但采集得到的人体点云数据精度却可以达到足够高的精度，适用于多种行业产业对构建三维人体的数据采集处理的要求。其中在构建人体点云数据的过程中能够并行构建，在一定程度上既可以节省数据处理的时间，而且并行处理后的数据再次进行聚合处理也极大的提高了数据的精准性。

在上述发明实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如，固态硬盘Solid StateDisk(SSD))等。

以上实施例仅用以对本发明实施例的技术方案进行详细介绍，但以上实施例的说明只是用于帮助理解本发明实施例的方法及其核心思想，不应该理解为对本申请的限制。本领域技术人员在本发明实施例揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明实施例的保护范围之内。

Claims (14)

1.一种构建人体点云的方法，其特征在于，所述方法包括：

根据采集到的图像帧，计算得出图像帧的深度图；

对深度图进行处理，得到高质量的稠密人体点云。

2.如权利要求1所述的方法，其特征在于，在根据采集到的图像帧，计算得出图像帧的深度图之前，还包括：

对环拍视频进行图像帧的数据采集。

3.如利要求1所述的方法，其特征在于，所述根据采集到的图像帧，计算得出图像帧的深度图，包括：

根据采集到的图像帧，计算得出各图像的摄像姿态；

根据摄像姿态计算得出图像帧的深度图。

4.如权利要求1所述的方法，其特征在于，所述对深度图进行处理，得到高质量的稠密人体点云，包括：

通过深度图融合算法对深度图进行融合，得到第一点云数据；

将深度图反投影在立体坐标系中，得到第二点云数据；

将第一点云数据和第二点云数据进行聚合，得到高质量的稠密的人体表面点云数据。

5.如权利要求4所述的方法，其特征在于，在通过深度图融合算法对深度图进行融合，得到第一点云数据之后，还包括：

对第一点云数据中的背景点进行去噪，之后计算带方向的人体点云的包围盒。

6.如权利要求4所述的方法，其特征在于，将第一点云数据和第二点云数据进行聚合，得到高质量的稠密的人体表面点云数据，包括：

通过带方向的人体点云的包围盒对第二点云数据进行去噪，得到去噪后的第二人体表面点云数据；

将第一点云数据和去噪后的第二人体表面点云数据进行合并，采用基于密度统计的方式得到高质量的稠密的人体表面点云数据。

7.一种构建人体点云的装置，其特征在于，所述装置包括：

深度图获取单元，用于根据采集到的图像帧，计算得出图像帧的深度图；

点云获取单元，用于对深度图进行处理，得到高质量的稠密人体点云。

8.如权利要求7所述的装置，其特征在于，所述装置还包括：

图像帧采集单元，用于对环拍视频进行图像帧的数据采集。

9.如权利要求7所述的装置，其特征在于，所述深度图获取单元还包括：

姿态计算单元，用于根据采集到的图像帧，计算得出各图像的摄像姿态；

深度计算单元，用于根据摄像姿态计算得出图像帧的深度图。

10.如权利要求7所述的装置，其特征在于，所述点云获取单元还包括：

第一点云获取单元，用于通过深度图融合算法对深度图进行融合，得到第一点云数据；

第二点云获取单元，用于将深度图反投影在立体坐标系中，得到第二点云数据；

聚合计算单元，用于将第一点云数据和第二点云数据进行聚合，得到高质量的稠密的人体表面点云数据。

11.如权利要求10所述的装置，其特征在于，所述装置还包括：

包围盒计算单元，用于对第一点云数据中的背景点进行去噪，之后计算带方向的人体点云的包围盒。

12.如权利要求10所述的装置，其特征在于，所述装置还包括：

去噪单元，用于通过带方向的人体点云的包围盒对第二点云数据进行去噪，得到去噪后的第二人体表面点云数据；

合并单元，用于将第一点云数据和去噪后的第二人体表面点云数据进行合并，采用基于密度统计的方式得到高质量的稠密的人体表面点云数据。

13.一种计算机可读存储介质，其特征在于，所述介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1-6任意一项所述的方法。

14.一种包含指令的计算机程序产品，其特征在于，当所述指令在计算机上运行时，使得计算机执行如权利要求1-6任意一项所述的方法。

Images