CN113240603A - 基于点云数据的三维人体测量系统和测量方法 - Google Patents

Abstract

本发明公开了基于点云数据的三维人体测量系统，包括圆形的测量台和设置在机械臂上的深度相机，深度相机的外侧设有高度传感器；机械臂的末端设有环形座，环形座与测量台滑动配合；环形座在电机的驱动下旋转，测量台的控制器控制环形座的旋转角度；机械臂关节的驱动单元与测量台的控制器电性连接。所述三维人体测量系统还包括计算机和计算机上运行的数据采集模块、数据处理模块、配准模块、曲面重建模块、计算及显示模块。本发明还公开了相应的测量方法。本发明可测量得到精确的三维人体模型和身体各部位尺寸数据，测量准确性好，成本低；本发明的测量方法抗噪效果好，便于计算机执行，易于实施。

Description

基于点云数据的三维人体测量系统和测量方法

技术领域

本发明属于智能测量领域，具体涉及一种三维人体测量系统和测量方法。

背景技术

人体三维测量系统广泛应用于服装、动画、人机工程以及医学等领域。随着计算机三维重建技术的日益成熟，很多传统行业如健身行业、服装行业都期望可以更加智能、快速的获得人体的三维模型数据。现如今，机械臂技术已相当成熟，因其独特的操作灵活性,已在工业装配,安全防爆等领域得到广泛应用。目前获取三维模型的系统体积较大，价格昂贵，传统人体建模过程通常还需要粘贴标志点，过程繁琐、复杂。公开号为CN 209297361U的中国专利“基于三维重建技术的人体快速建模设备”虽利用相机旋转获取多视角，但获取视角范围有限，致使人体模型不够精确，且结构复杂、笨重，占地面积较大，不易移动。公开号为CN 110047131 A的中国专利“一种人体三维重建的点云融合方法”，人体旋转具有危险性，且仅采集了人体上半部分和下半部分，会出现无法完美融合的情况，影响最终三维重建效果。

发明内容

本发明的目的是针对上述问题，提供一种基于点云数据的三维人体测量系统和测量方法，利用可围绕人体旋转的机械臂上的深度相机，从不同视角拍摄人体的图像，获得人体的点云数据，并进行去噪和配准后，得到初始三维人体模型，并对初始三维人体模型的表面进行曲面重建，得到高精度的三维人体模型，并根据人体骨架和人体曲线，得到准确的人体尺寸数据。

本发明的技术方案是基于点云数据的三维人体测量系统，包括圆形的测量台和设置在机械臂上的深度相机，深度相机的外侧设有高度传感器，高度传感器与测量台的控制器电性连接；机械臂的末端设有环形座，环形座与测量台滑动配合；环形座在电机的驱动下旋转，测量台的控制器控制环形座的旋转角度；机械臂关节的驱动单元与测量台的控制器电性连接；在机械臂配合下，深度相机从多个视角对测量台上的人体进行拍摄，采集人体多个视角的图像，获得人体点云数据。深度相机的外侧设有高度传感器，高度传感器与测量台的控制器电性连接。

所述三维人体测量系统还包括计算机和计算机上运行的数据采集模块、数据处理模块、配准模块、曲面重建模块、计算及显示模块。数据采集模块，获取深度相机从多个视角拍摄的人体的图像数据，将其转换为人体点云数据；数据处理模块，对人体点云数据进行预处理，预处理包括降采样、去噪；配准模块，对人体点云数据进行配准，获得初始三维人体模型；曲面重建模块，利用人体点云数据进行曲面重建，得到三维人体模型；计算及显示模块，利用三维人体模型中的骨架数据，计算得到人体尺寸数据，并向用户展示。

优选地，深度相机的镜头侧设有红外距离传感器，红外距离传感器与测量台的控制器电性连接。

上述的三维人体测量系统的测量方法，包括以下步骤：

步骤1：控制机械臂，利用深度相机从多个视角拍摄测量台上的人体的图像，将其转换得到人体点云数据；

步骤2：对人体点云数据进行预处理，预处理包括降采样、去噪；

步骤3：对人体点云数据进行初始配准后再对其进行精配准，获得初始三维人体模型；

步骤4：根据人体点云数据对初始三维人体模型进行曲面重建，得到三维人体模型；

步骤5：利用三维人体模型中的骨架数据，计算得到人体尺寸数据，并向用户展示。

步骤2还包括对人体点云数据进行滤波，具体包括：

1)指定维度和该维度的值域，去除该值域以外的所有点，即使用直通滤波器消除点云背景；

2)移除离群点；

3)指定体素体积大小，使用该体素的重心点代替该体素内的所有点，即进行降采样，减少点云数据集大小。

步骤3中，所述对人体点云数据进行初始配准，对同一旋转角度的点云集提取法向量，从查询点的近邻元素中创建协方差矩阵，分析协方差矩阵的特征矢量和特征值，协方差矩阵的计算式如下

式中C表示协方差矩阵，P_q表示查询点，k表示点P_i的邻近点的数目，

表示查询点的最近邻元素的三维质心，λ_j表示协方差矩阵的第j个特征值，

表示第j个特征向量；j表示协方差矩阵的第j个特征值或特征向量，j∈{0,1,2}；

计算查询点和它的领域点的点特征直方图值，重新确认每个查询点的k邻域，使用近邻的点特征直方图值计算得到查询点的点特征直方图值的修正值，计算式如下：

式中R(P_q)表示查询点P_q的点特征直方图值的修正值，SPFH()表示点的点特征直方图值；w_k表示查询点P_q与给定度量空间中的近邻点P_k之间的距离；

根据点特征直方图的欧式距离确定点对应关系，随机选择若干点对计算刚体变换矩阵并进行迭代，完成初始配准。

步骤3中，所述精配准，具体包括：

1)对人体点云数据进行采样，提取关键点；

2)计算所有关键点的特征描述子；

3)采用移动最小二乘法迭代计算最优的坐标变换，进行平滑处理，初步估计对应点对；

4)采用随机采样一致性算法去除错误对应点对；

5)利用剩余的点对计算刚体变换矩阵，完成精配准。

步骤4)中，所述去除错误对应点对，设初始配准后的点云集为样本，并从样本中随机抽选若干点，形成点云子集，使用最小方差估计计算子集模型参数，计算所有样本与该模型的偏差并与阈值比较，计算迭代结束评判因子；设定阈值ε＝d_k-d_k-1和最大迭代次数Nmax,将刚体变换作用于源点云P′，得到新点云P″，计算P″和目标点云Q的距离误差，如果两次迭代的误差小于阈值ε或者当前迭代次数大于Nmax，则迭代结束，否则将初始配准的点集更新为P″和Q，继续重复上述步骤，直至满足收敛条件。

步骤5包括以下子步骤：

步骤5.1：计算得到三维人体模型中的骨架位置，并确定骨架的关键点；

步骤5.2：根据需要测量的身体部位，确定骨架相对应的关键点，以相应的骨架方向为法线方向作该关键点的切面，确定该平面与人体三维模型的相交线，以相交线的长度作为该身体部位的围度；

步骤5.3：重复步骤5.2，得到人体尺寸数据。

本发明的有益效果是提供了基于点云数据的三维人体测量系统，可测量得到精确的三维人体模型和身体各部位尺寸数据，测量准确性好，易操作，可靠性好，成本低，相比现有的三维点云扫描装置，体积更小，对人体影响小；本发明的测量方法抗噪效果好，便于计算机执行，易于实施，测量过程中始终保持人体不动，以免给人体造成不适。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1为本发明实施例的三维人体测量系统的结构示意图。

图2为本发明实施例的电路结构框图。

图3为本发明实施例的计算机模块的示意图。

图4为本发明实施例的深度相机的拍摄视点的俯视图。

图5为本发明实施例的深度相机的深度相机高度的示意图。

图6为本发明实施例的三维人体模型的示意图。

具体实施方式

如图1-3所示，基于点云数据的三维人体测量系统，包括圆形的测量台1和设置在机械臂3上的深度相机2，深度相机2的外侧设有高度传感器，高度传感器与测量台1的控制器电性连接；机械臂3的末端设有环形座301，环形座301与测量台1滑动配合；环形座301在电机的驱动下旋转，测量台1的控制器控制环形座的旋转角度；机械臂3关节的驱动单元与测量台1的控制器电性连接；在机械臂3配合下，深度相机2从多个视角对测量台1上的人体进行拍摄，采集人体多个视角的图像，获得人体点云数据。深度相机2的镜头侧设有红外距离传感器，红外距离传感器与测量台1的控制器电性连接。

如图3所示，三维人体测量系统还包括计算机4和计算机上运行的数据采集模块、数据处理模块、配准模块、曲面重建模块、计算及显示模块，数据采集模块，获取深度相机从多个视角拍摄的人体的图像数据，将其转换为人体点云数据；数据处理模块，对人体点云数据进行预处理，预处理包括降采样、去噪；配准模块，对人体点云数据进行配准，获得初始三维人体模型；曲面重建模块，利用人体点云数据进行曲面重建，得到三维人体模型；计算及显示模块，利用三维人体模型中的骨架数据，计算得到人体尺寸数据，并向用户展示。

实施例中，控制机械臂将深度相机置于人体头顶正上方，获取高度传感器的输出值h₁为220cm，红外距离传感器的输出值h₂为35cm，测量台高度h₃为5cm，则人体高度h的计算式如下：

h＝h₁-h₂-h₃＝(220-35-5)cm＝180cm

深度相机的水平拍摄距离x：

如图5所示，实施例中，分别于人体身高

处对人体进行拍摄，对应的深度相机的高度值的计算式如下：

式中H₁、H₂、H₃表示深度相机分别位于人体身高

处时深度相机的高度值。

上述三维人体测量系统的测量方法，包括以下步骤：

步骤1：控制机械臂，利用深度相机从多个视角拍摄测量台上的人体的图像，将其转换得到人体点云数据；

步骤1.1：控制机械臂使高度传感器的高度为H₁，使用深度相机分别在0度、120度和240度3个位置拍摄；

步骤1.2：控制机械臂使高度传感器的值为H₂，使用深度相机分别在0度、60度、120度、180度、240度和300度6个位置拍摄，如图4所示；

步骤1.3：控制机械臂使高度传感器的值为H₃，使用深度相机分别在60度、180度和300度3个位置拍摄；

步骤1.4：利用深度相机内参将步骤1.1～1.3拍摄的图像数据转换为点云数据，得到多个角度的点云数据；

步骤2：对人体点云数据进行预处理，预处理包括降采样、去噪，

对人体点云数据进行滤波，具体包括：

1)指定维度和该维度的值域，去除该值域以外的所有点，即使用直通滤波器消除点云背景；

2)指定每个的点一定范围内周围至少要有足够多的近邻，半径范围内其他点个数少于设定的阈值的点将被滤除，即使用半径滤波的方法，移除离群点；

3)指定体素体积大小，实施例的体素体积为1立方厘米，使用该体素的重心点代替该体素内的所有点，采用体素栅格滤波器进行降采样，减少点云数据集大小。

步骤3：对人体点云数据进行初始配准后再对其进行精配准，获得初始三维人体模型；

对同一旋转角度的点云集提取法向量，从查询点的近邻元素中创建协方差矩阵，分析协方差矩阵的特征矢量和特征值，协方差矩阵的计算式如下

式中C表示协方差矩阵，P_q表示查询点，k表示点P_i的邻近点的数目，

表示查询点的最近邻元素的三维质心，λ_j表示协方差矩阵的第j个特征值，

表示第j个特征向量；j表示协方差矩阵的第j个特征值或特征向量，j∈{0,1,2}；

对查询点与邻域点之间的空间差异进行参数化，形成多维直方图对点的k邻域的几何属性进行描述。计算查询点(设此点为P_q)的直方图影响区域，将P_q的所有k邻元素连接在一个网络中，计算其中两点P_i、P_j及P_i的法线n_i、P_j的法线n_j之间的相对偏差，在其中的一个点(设该点为点P_i)上定义uvw局部坐标系，则：

u＝n_i

w＝u×v

式中n_i表示点P_i的法向量，(P_j-P_i)表示从点P_i指向点P_j的向量，||P_j-P_i||₂表示向量(P_j-P_i)的欧几里得范数，代表点P_i与点P_j的距离，u表示uvw局部坐标系的u轴，v表示uvw局部坐标系的v轴，w表示uvw局部坐标系的w轴；

法线n_i和n_j之间的偏差采用元组(α,φ,θ)表示，计算式如下：

α＝v·n_t

θ＝arctan(w·n_t,u·n_t)

式中d是两点P_i、P_j之间的欧式距离，d＝||P_t-P_s||₂；

计算查询点和它的领域点的点特征直方图值，重新确认每个查询点的k邻域，使用近邻的点特征直方图值计算得到查询点的点特征直方图值的修正值，计算式如下：

式中R(P_q)表示查询点P_q的点特征直方图值的修正值，SPFH()表示点的点特征直方图值；w_k表示查询点P_q与给定度量空间中的近邻点P_k之间的距离；

根据点特征直方图的欧式距离确定点对应关系，随机选择若干点对计算刚体变换矩阵并进行迭代，完成初始配准，得到6个初始配准后点云集，两两一组，分为3组。

精配准，具体包括：

1)对人体点云数据进行采样，提取关键点；

2)计算所有关键点的特征描述子；

3)采用移动最小二乘法迭代计算最优的坐标变换，进行平滑处理，初步估计对应点对；

4)采用随机采样一致性算法去除错误对应点对；

步骤3)中采用的移动最小二乘法参照2004年第1期《工程图学学报》刊登的曾清红等的论文“基于移动最小二乘法的曲线曲面拟合”公开的移动最小二乘法。

初始配准后的点云为样本，随机抽选样本的子集，使用最小方差估计计算子集模型参数，计算所有样本与该模型的偏差并与阈值比较，计算迭代结束评判因子；

设定阈值ε＝d_k-d_k-1和最大迭代次数Nmax，实施例中ε取值为20，Nmax取值为1800，将刚体变换作用于源点云P′，得到新点云P″，计算P″和目标点云Q的距离误差，如果两次迭代的误差小于阈值ε或者当前迭代次数大于Nmax，则迭代结束，否则将初始配准的点集更新为P″和Q，继续重复上述步骤，直至满足收敛条件。

5)利用剩余的点对计算刚体变换矩阵，完成精配准。

步骤4：根据人体点云数据对初始三维人体模型进行曲面重建，得到三维人体模型；

步骤5：利用三维人体模型中的骨架数据，计算得到人体尺寸数据，并向用户展示。

步骤5.1：计算得到三维人体模型中的骨架位置，并确定骨架的关键点；

步骤5.2：根据需要测量的身体部位，确定骨架相对应的关键点，以相应的骨架方向为法线方向作该关键点的切面，确定该平面与人体三维模型的相交线，以相交线的长度作为该身体部位的围度；

步骤5.3：重复步骤5.2，得到人体尺寸数据。

根据最终的三维人体模型，计算胸围、臂围、腰围、臀围、腿围等人体维度信息，并输出显示在液晶显示竖屏上。

实施例中，根据三维人体模型计算人体维度信息的过程如下：

1)调用深度相机的库函数功能，计算最终的三维人体模型中骨架位置信息；

2)根据所要测量的身体部位，在骨架上定位相应的关键点，如图6所示，以相应的骨架方向为法线法向生成过该关键点的平面，计算该平面与人体三维模型的相交线，以相交线的长度作为该部位的围度。关键点的选取根据本本领域通用技术选取，比如腰围的关键点是脊柱骨架上位于腰部的点，臀围的关键点是脊柱骨架上位于臀部中心的点。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于点云数据的三维人体测量系统，其特征在于，包括圆形的测量台(1)和设置在机械臂(3)上的深度相机(2)，深度相机的外侧设有高度传感器，高度传感器与测量台的控制器电性连接；

机械臂(3)的末端设有环形座(301)，环形座(301)与测量台(1)滑动配合；

环形座(301)在电机的驱动下旋转，测量台的控制器控制环形座的旋转角度；机械臂关节的驱动单元与测量台的控制器电性连接；

在机械臂(3)配合下，深度相机(2)从多个视角对测量台上的人体进行拍摄，采集人体多个视角的图像，获得人体点云数据。

2.根据权利要求1所述的三维人体测量系统，其特征在于，深度相机的镜头侧设有红外距离传感器，红外距离传感器与测量台的控制器电性连接。

3.根据权利要求1所述的三维人体测量系统，其特征在于，还包括分别与测量台的控制器、深度相机连接的计算机(4)和计算机上运行的数据采集模块、数据处理模块、配准模块、曲面重建模块、计算及显示模块；

数据采集模块，获取深度相机从多个视角拍摄的人体的图像数据，将其转换为人体点云数据；数据处理模块，对人体点云数据进行预处理，预处理包括降采样、去噪；

配准模块，对人体点云数据进行配准，获得初始三维人体模型；

曲面重建模块，利用人体点云数据进行曲面重建，得到三维人体模型；

计算及显示模块，利用三维人体模型中的骨架数据，计算得到人体尺寸数据，并向用户展示。

4.如权利要求3所述的三维人体测量系统的测量方法，其特征在于，包括以下步骤：

步骤1：控制机械臂，利用深度相机从多个视角拍摄测量台上的人体的图像，将其转换得到人体点云数据；

步骤2：对人体点云数据进行预处理，预处理包括降采样、去噪；

步骤3：对人体点云数据进行初始配准后再对其进行精配准，获得初始三维人体模型；

步骤4：根据人体点云数据对初始三维人体模型进行曲面重建，得到三维人体模型；

步骤5：利用三维人体模型中的骨架数据，计算得到人体尺寸数据，并向用户展示。

5.根据权利要求4所述的测量方法，其特征在于，步骤2还包括对人体点云数据进行滤波，具体包括：

1)指定维度和该维度的值域，去除该值域以外的所有点，即使用直通滤波器消除点云背景；

2)移除离群点；

3)指定体素体积大小，使用该体素的重心点代替该体素内的所有点，即进行降采样，减少点云数据集大小。

6.根据权利要求4所述的测量方法，其特征在于，步骤3中，所述对人体点云数据进行初始配准，对同一旋转角度的点云集提取法向量，从查询点的近邻元素中创建协方差矩阵，分析协方差矩阵的特征矢量和特征值，协方差矩阵的计算式如下

式中C表示协方差矩阵，P_q表示查询点，k表示点P_i的邻近点的数目，

表示查询点的最近邻元素的三维质心，λ_j表示协方差矩阵的第j个特征值，

表示第j个特征向量；j表示协方差矩阵的第j个特征值或特征向量，j∈{0,1,2}；

计算查询点和它的领域点的点特征直方图值，重新确认每个查询点的k邻域，使用近邻的点特征直方图值计算得到查询点的点特征直方图值的修正值，计算式如下：

式中R(P_q)表示查询点P_q的点特征直方图值的修正值，SPFH()表示点的点特征直方图值；权重w_k表示查询点P_q与给定度量空间中的近邻点P_k之间的距离；

根据点特征直方图的欧式距离确定点对应关系，随机选择若干点对计算刚体变换矩阵并进行迭代，完成初始配准。

7.根据权利要求4所述的测量方法，其特征在于，步骤3中，所述精配准，具体包括：

1)对人体点云数据进行采样，提取关键点；

2)计算所有关键点的特征描述子；

3)采用移动最小二乘法迭代计算最优的坐标变换，进行平滑处理，初步估计对应点对；

4)采用随机采样一致性算法去除错误对应点对；

5)利用剩余的点对计算刚体变换矩阵，完成精配准。

8.根据权利要求4所述的测量方法，其特征在于，步骤5包括以下子步骤：

步骤5.1：计算得到三维人体模型中的骨架位置，并确定骨架的关键点；

步骤5.2：根据需要测量的身体部位，确定骨架相对应的关键点，以相应的骨架方向为法线方向作该关键点的切面，确定该平面与人体三维模型的相交线，以相交线的长度作为该身体部位的围度；

步骤5.3：重复步骤5.2，得到人体尺寸数据。

Images