CN115690188A

CN115690188A - 基于点云模型优化的人体三维测量方法

Info

Publication number: CN115690188A
Application number: CN202211295992.6A
Authority: CN
Inventors: 姜明华; 陈钊翔; 肖卓函; 刘姝晴; 余锋
Original assignee: Wuhan Textile University
Current assignee: Wuhan Textile University
Priority date: 2022-10-21
Filing date: 2022-10-21
Publication date: 2023-02-03

Abstract

本发明涉及基于点云模型优化的人体三维测量方法，包括：利用多个深度相机分别从不同角度采集人体的三维点云数据；对其中的点云聚类，提取出人体点云图；对人体点云图进行配准，将多幅点云图中的人体点云信息整合到同一幅人体点云图中；对变换矩阵拼接得到的人体点云图进行主成分分析，确定三维坐标轴后进行三维重建；对重建的人体点云图中的人体部位进行估计，根据关键点定位人体重要部位；计算得到人体各部位的参数。本发明相比现有技术的根据人体图像测量人体尺寸数据的方法，得到的人体点云图更充实、逼真，且有效消除了深度相机图像采集过程中引入的噪声，大大提高了人体三维测量的精度，实现了人体三维的全自动测量，省时省力。

Description

基于点云模型优化的人体三维测量方法

技术领域

本发明属于服饰定制领域，具体涉及一种基于点云模型优化的人体三维测量方法。

背景技术

近几十年来，人工智能技术取得了飞速的发展，在人类生产生活中取得了许多重要的应用，人工智能通过机器学习代替人类劳动，将人类重繁复重复的劳动工作中解放出来，并在某些领域取得比人类更好的工作效果。随着深度相机的快速发展和人工智能技术的不断升级，为点云获取、提纯、点云配准技术的发展提供了重要的动力和支撑，随机技术的不断迭代，它已经在我们的生活中发挥着巨大的作用，例如在人脸三维重建、人体三维重建等方面都取得了不错的成果。

在衣物定制领域，传统获取人体尺寸数据需量体师或顾客登门造访进行人工实体逐项测量，耗时长，效率低且误差较大。当然，一个优秀的量体师可以尽可能地规避以上问题，提高效率，但一个合格的量体师毕竟凤毛麟角，且单次量体的价格不便宜，这导致了在服装定制行业无法实现规模化生产。另外在游戏领域对于人机交互也有了更高的要求，对人体的重建，尺寸测量，定制游戏人物生成等方面都要求更高效的人体三维重建与测量技术。

公开号为CN113989434A的中国专利公开了“一种人体三维重建方法及设备”，根据已标定的各个RGBD相机同步采集的1张RGBD图像拼接得到的一帧目标RGBD图像重建出人体模型，解决了人体模型由现实世界向数据世界迁移的问题。但是其需要预先标定相机参数，而且缺乏对人体尺寸的测量。

发明内容

本发明的目的是针对上述问题，提供一种基于点云模型优化的人体三维测量方法，通过采集多幅人体点云图，并利用特征提取网络提取点云图之间的匹配点后，融合得到充实、逼真的人体点云图以利于高精度的人体尺寸测量，并提高现实世界向计算机迁移人体模型的效率，降低人体尺寸测量的成本。

本发明的技术方案是基于点云模型优化的人体三维测量方法，包括以下步骤：

S1：在人体周围布置多个深度相机，分别从不同角度采集人体的三维点云数据；

S2：对步骤S1得到的点云数据进行去噪，对其中的点云聚类，提取出人体点云图；

S3：对人体点云图进行配准，将多幅点云图中的人体点云信息整合到同一幅人体点云图中；

S3.1：利用特征提取网络提取人体点云图的像素级特征；

S3.2：根据步骤3.1得到的人体点云图特征，预测得到两幅人体点云图之间的伪匹配点；

S3.3：根据伪匹配点，通过奇异值分解求解变换矩阵，该矩阵描述两幅人体点云图之间的位姿变换关系；

S3.4：根据位姿变换关系，将多幅点云图中的人体点云信息整合到一幅人体点云图；

S4：对变换矩阵拼接得到的人体点云图进行主成分分析，确定三维坐标轴后，对拼接得到的人体点云图进行三维重建；

S5：对重建的人体点云图中的人体部位进行估计，根据关键点定位人体重要部位；

S6：采用凸包和人体结构范式，计算得到人体各部位的参数。

优选地，步骤S1中在人体周围等角度布置6个深度相机，从不同角度采集人体的三维点云数据。

步骤S2中，所述对点云数据进行去噪，对三维点云中每个点计算该点为中心的半径10cm的圆内点的数量的中位数以及平均数，如果两者相差30％以内，则取两者平均数的40％作为阈值，将半径为10cm的圆内点数目低于阈值的点云视为噪声；如果两者相差30％以上，则取两者中较小值的50％作为阈值，将半径为10cm的圆内点数目低于阈值的点云视为噪声。

优选地，所述特征提取网络采用多层感知机，多层感知机包含3组BN层和ReLU层以及最大池化层，每组BN层和ReLU层的输出端都经跳跃连接与最大池化层的输入端连接。

步骤S3中，通过奇异值分解求解变换矩阵得到两幅人体点云图之间的位姿变换关系。

步骤S4中，采用主成分分析确定三维坐标轴的过程如下：

1)将点云数据按行堆叠得到N×3矩阵Pseudo；

2)对点云矩阵Pseudo各坐标轴均值化；

3)求出Pseudo的协方差矩阵并计算矩阵的特征值和特征向量；根据特征值的大小，将对应的特征向量从大到小排列得到点云的新坐标轴。

步骤S4中，采用移动最小二乘法对点云进行重采样得到最终重建出的人体三维模型。

步骤S6中，通过选出身高的35％-55％的区域先大概划定臀部所在位置，然后找出z值最小的点，即臀部最凸点，通过该点的x值划分出臀围曲线，然后使用凸包算法用直线拟合曲线计算臀围长度。

相比现有技术，本发明的有益效果包括：

1)本发明通过多个深度相机从不同角度采集人体的三维点云数据后，求解不同的人体点云图之间的位姿变换关系后，将多幅人体点云图融合成同一幅人体点云图，相比现有技术的根据人体图像测量人体尺寸数据的方法，得到的人体点云图更充实、逼真，且有效消除了深度相机图像采集过程中引入的噪声，大大提高了人体三维测量的精度，实现了人体三维的全自动测量，省时省力。

2)本发明在数据采集模量使用六个均匀分布的深度相机，相对于现有技术的凭借两三个相机的点云图像采集方式，可更好地采集各种姿势的人体点云模型，不必过分要求人严格按照指定姿势进行点云采集，对于非专业用户可以有更好的体验。

3)本发明通过数据清洗，一方面能够提升配准的效率和精度，另一方面可以减少重建时的流程，避免多次去噪带来的信息流失。

4)本发明定位点云关键点位置后，使用凸包算法拟合曲线长度，这些方法和传统网络的关键点搜索算法相比不仅不需要大量的数据集以及大量的训练时间，而且能够直接得到解析解，避免了繁杂的迭代过程。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1为本发明实施例的人体三维测量方法的流程示意图。

图2为本发明实施例的特征提取网络的结构示意图。

图3为本发明实施例的人体三维重建的效果图。

图4为本发明实施例的人体三维测量系统的框架结构图。

具体实施方式

实施例一

如图1所示，基于点云模型优化的人体三维测量方法，包括以下步骤：

步骤1：在人体点云采样点附近进行点云数据的采集，使用6个等角度布置的深度相机同时对人体进行拍摄，获取同一时刻人体的不同方位的人体点云数据；

人体点云数据采集，具体包括：

首先在人体周围放置6个深度相机，相机的布置高度为1m，这6个深度相机的角度需要尽可能的均匀，最后按照正六边形的方式进行摆放。这样可以在配准的时候通过对点云图的设置60°的旋转角，让采集到的点云之间重叠区域尽可能地多。在放置深度相机的时候，各个相机不与地面平行，相邻相机之间一个视角往上，一个往下。相机角度错开使得相机可以更靠近人体，即便单相机没有采集到上下身，组合起来也能得到完整的人体模型。距离的接近保证了人体点云的密度最高，便于通过点云密度判断欧式聚类后获取的多幅点云哪些是人体点云。

然后通过计算机程序对6个相机同时下达拍摄的指令，尽量保证拍到的点云是同一时刻的不同角度的人体点云。实施例中，深度相机使用Kinect Azure深度相机，具有深度相机和彩色相机双摄像头，可得到深度图和彩色图，通过组合可以得到彩色的点云图。由于距离跳变处会产生深度信息噪声，即深度图相邻像素点之间深度值差距过大会导致填充虚假的噪声点，此时可对深度图进行初步筛查，对于十个像素点内深度值相差超过10cm的点进行删除。在相机采集过程对摄像噪声的筛除有利于提高后期噪声删除的效率。

步骤2：获取到采集的点云信息之后对数据进行清洗、去噪，一方面去除点云的噪声避免后期重建过程出现畸形部分，另一方面去除无用的背景点云，减少后期配准过程中的计算量；

首先使用随机采样一致性RANSAC寻找平面用于移除地面点云，移除地面点云之后，地上的各个物体之间没有点云连接。此时使用聚类方法将采集到的点云切割，得到多幅点云。建立一个空点云集，设置阈值为3cm。随机选出原始点云的一个点移到到新建点集，并将距离点集新增加的点低于阈值的也添加到点集中，循环此过程直到原始点云中所有点都距离该点集超过阈值。此过程执行一次可得一幅点云，重复执行直到原始点云无剩余点，可得到互不相接的各幅点云。此时各幅点云中有一副是人体点云，其他的是对面的相机以及地上存在的杂物。由于采集时保证了人体与相机的距离最近，因此人体点云密度最高。通过密度寻找出人体点云，移除其他无用点云。

然后利用均匀下采样的方式对点云进行下采样，这一步不但可以缓解由于相机拍摄到的点云密度不一致导致对配准效果的负面影响，还可以减少后期配准过程中的对计算机的内存占用以及算力消耗。

其中均匀采样的具体操作是对点云安装指定长度划分成一个个正方体块区域，然后让每个正方体块区域中的点云取平均值，使得一个正方体区域内只有一个点。

最后对点云进行外点移除，外点移除的思路是计算一个点周围点的数目，如果数目低于阈值则视为噪声点。阈值计算方法如下：对点云估计点云中每个点在半径10cm内点数量的中位数以及平均数，如果二者相差30％以内，则取两者平均数的40％作为阈值，半径10cm内点数目不足次数的视为噪声；如果二者相差30％以上，则取二者中最小值的50％作为阈值。

步骤3：根据清洗后的人体点云数据，用特征提取网络计算点云的特征，根据特征寻找两幅点云之间的伪匹配点，然后通过伪匹配点计算相邻相机点云之间的变换矩阵，变换矩阵包括角度和位移的两种变换方式，通过变换矩阵可以将不同角度拍到的点云图像拼接到一起；

如图2所示，特征提取网络包含两个阶段：第一个阶段将点云每个点的100个最近邻找出来构成n幅100个点的点云，n为原始点云大小；第二个阶段利用共享权重的多层感知机提取点云特征，其中通道数分别为3,64,128,256，并且中间利用批归一化和ReLU激活函数调整数据，其中每层都与下面的所有层通过跳跃连接相连。通过对n幅点云的特征进行堆叠，得到点云的像素级特征。

利用计算出的两个像素级特征计算出一个距离矩阵，矩阵的具体元素A_ij的值代表源点云的第i个点与目标点云的第j个点的特征距离，通过交替对行列进行softmax操作使得距离矩阵变成一个双随机矩阵，最终用该双随机矩阵与点云相乘得到预测的伪匹配点。

其中伪匹配点是预测出的与源点云一一对应的目标点云，根据伪匹配点计算变换矩阵，通过奇异值分解方法进行求解，具体过程包括：

分别求两幅人体点云图的质心

式中p表示两幅人体点云图中第一幅人体点云图的质心，p′表示第二幅人体点云图的质心，p_i、p′_i分别表示第一、第二幅人体点云图中第i个点，i＝1,2,…n；n表示点云中点的数目；

求各点相对于质心的位移向量

c_i＝p_i-p,c′_i＝p′_i-p′

式中c_i、c′_i分别表示第一、第二幅人体点云图中第i个点相对于其质心的位移向量；

利用质心位移向量，计算H矩阵

对H矩阵进行奇异值分解

H＝U∧V^T

式中U、V为酉矩阵，∧为对角矩阵；

基于矩阵U和V，计算旋转矩阵R，

R＝VU

验证结果，若det(R)＝1，则R有效，若R＝-1，则该算法失效；

最后计算两幅人体点云图之间的位移

translate＝p′-Rp

式中translate表示位移向量；

通过对旋转矩阵R和平移向量translate的融合得到最终的变换矩阵。

根据配准得到的变换矩阵将所有不同角度的点云拼接在一块，然后使用重采样方法去除多余的重叠点并让点云更加平滑；

其中拼接方法是对点云扩展一个第四维度并置为1，然后让有四个维度的点云之间乘以变换矩阵得到新的四维点云，移除最后的第四维，得到新的三维点云坐标即是旋转平移之后的点云数据。通过对不同角度的点云进行旋转平移，将它们移动到同一个坐标系当中即可获得完整的人体点云模型。

步骤4：取得完整的人体点云模型之后，用移动最小二乘法对点云进行重采样得到最终重建出的人体三维模型，如图3所示。

采用移动最小二乘法对点云进行重采样，得到重建的人体三维模型，具体包括：

对于点云中的点node与其近邻点x创建拟合函数u_node(x)，

其中x_node表示点node的空间坐标，x表示点node的近邻点，a_j(x_node)表示点node的拟合曲线系数，p_j(x)表示基函数；m表示基函数数目；

通过调整拟合曲线系数，使得点node的近邻点坐标值和拟合曲线预测的近邻点坐标值加权平方和最小，得到最优的结果：

式中A表示优化模型的目标函数；p为近邻点，x_p是近邻点p的空间位置，u_p是p的拟合曲线得到的值；w( )代表权重函数。

通过主成分分析找出三个正交单位特征向量重新构建人体点云坐标系，具体做法为:

1)将点云数据按行堆叠得到N×3矩阵P，

2)对点云矩阵P各坐标轴均值化，使得各坐标轴和为0，

3)求出P的协方差矩阵并计算矩阵的特征值和特征向量，

4)根据特征值的大小，将对应的特征向量从大到小排列得到点云的新坐标轴，

根据特征值的大小，将对应的特征向量从大到小排列得到点云的新坐标轴凸包。

利用这三个特征向量重新构建人体点云坐标系，其中x坐标轴与身高同向，y坐标轴与人体肩膀同向，坐标轴与前后胸同向。身高是最大的x和最小的x之差。

步骤5：对重建的人体点云图中的人体部位进行估计，根据关键点定位人体重要部位；

步骤6：根据重建出的人体三维模型计算人体各部位的具体参数；

通过先选出身高的35％-55％的区域先大概划定臀部所在位置，然后找出z值最小的点，即臀部最凸点，通过该点的x值划分出臀围曲线，然后使用凸包算法用直线拟合曲线计算臀围长度。

凸包算法的具体过程包括：

1)寻找点云中y值最小的点p；

2)将点云中另外的n-1个点，按照与点p的极角值进行排序；

3)遍历排序后的点云，保留逆时针旋转的点；

4)根据保留的点拟合出曲线；

肩宽通过x和y之和的最大值定位到肩膀右上角的点，然后根据该点x值±1cm之间，得到肩膀对应点云，然后计算肩膀点云对应的y值最大最小值之差得到肩宽。

实施结果表明，本发明的测量方法中利用主成分分析法对身高求解，根据公式Max(x+y)定位点云关键点位置，使用凸包算法拟合曲线长度，这些方法和传统网络的关键点搜索算法相比不仅不需要大量的数据集以及大量的训练时间，而且直接得到解析解，避免了繁杂的迭代过程。

实施例二

如图4所示，人体三维测量系统，包括：

数据采集模块：利用深度相机在六个不同的视角获取到人体周围的点云图。

数据清洗模块：把采集到的数据中的噪声点去除，并移去无用的背景得到人体点云数据。

点云配准模块：输入人体点云数据，通过配准得到变换矩阵。

点云重建模块：根据变换矩阵拼接出完整的人形进行渲染得出最终结果。

三维测量模块：通过重建出的人形计算人体的关键尺寸数据。

实施例二的人体三维测量系统采用实施例一的人体三维测量方法。

Claims

1.基于点云模型优化的人体三维测量方法，其特征在于，包括以下步骤：

S3.1：利用特征提取网络提取人体点云图的像素级特征；

S3.2：根据步骤S3.1得到的人体点云图特征，预测得到两幅人体点云图之间的伪匹配点；

2.根据权利要求1所述的基于点云模型优化的人体三维测量方法，其特征在于，步骤S2中，所述对点云数据进行去噪，对三维点云中每个点计算该点为中心的半径10cm的圆内点的数量的中位数以及平均数，如果两者相差30％以内，则取两者平均数的40％作为阈值，将半径为10cm的圆内点数目低于阈值的点云视为噪声；如果两者相差30％以上，则取两者中较小值的50％作为阈值，将半径为10cm的圆内点数目低于阈值的点云视为噪声。

3.根据权利要求1所述的基于点云模型优化的人体三维测量方法，其特征在于，所述特征提取网络采用多层感知机，多层感知机包含3组BN层和ReLU层以及最大池化层，每组BN层和ReLU层的输出端都经跳跃连接与最大池化层的输入端连接。

4.根据权利要求3所述的基于点云模型优化的人体三维测量方法，其特征在于，步骤S3中，通过奇异值分解求解变换矩阵得到两幅人体点云图之间的位姿变换关系的过程如下：