CN104123751A - Kinect与关节臂结合的复合式测量和三维重建方法 - Google Patents

Abstract

本发明提出了一种将Kinect设备与关节臂测量仪相结合的复合式测量和三维重建方法。首先利用Kinect快速获得物体点云数据，然后利用关节臂对精度要求较高的特征以及Kinect无法获取的特征信息进行二次测量，通过点云拼接技术完成不同数据源信息的融合，重建物体的三维模型。该方法将非接触式测量和接触式测量结合在一起，不仅可以弥补非接触式测量精度不高的问题，而且还能有效修补边界、凹孔等丢失的点云数据，同时提高了测量效率，为数据采集提供一种新的技术和手段。

Description

Kinect与关节臂结合的复合式测量和三维重建方法

技术领域

本发明涉及Kinect与关节臂结合的复合式测量和三维重建方法。

背景技术

 三维重建技术作为计算机视觉技术的一个重要分支，一直是计算机视觉领域最热门的研究方向之一。它属于一个多学科交叉的研究领域，是计算机图形学和图像处理在工程中的重要应用。

测量设备通过特定的方法将物体表面形状转换成几何空间坐标点，从而得到逆向建模所需数据。基于接触式测量的数据采集方法有较高的准确性和可靠性，可准确地测量出物体的基本几何形状，如面、圆、圆柱、圆锥、圆球等，但数据采集效率较低。基于非接触式测量的数据采集方法测量速度快，测量面积大，数据较为完整，但测量精度相对于接触式而言精度较低，而且在一些细节位置如边界、缝隙、曲率变化较大的部位容易丢失数据。

近几年微软公司推出了一款体感设备Kinect，华硕公司也紧随其后，相继推出了Xtion体感设备，相比其它专业深度摄像机，具有成本低、容易配置等优点，在三维重建领域有较好的应用价值。

由于实物样零件往往具有其特殊性和复杂性，单独釆用单一测量方法，常常很难达到工程实际对测量的要求。而复合式测量系统的出现把多种测量方式集成到一起，不仅扩大了应用范围，而且在指定数据精度、密度、处理时间上更具有灵活性和高效性，这为逆向工程中三维模型重建方法提出了新的要求和思路。

发明内容

有鉴于此，本发明提出基于深度体感设备 Kinect与关节臂测量仪相结合的复合式测量和三维重建方法，为实现物体三维测量和重建提供一种更为廉价的方案。

本发明采用以下方案实现：一种Kinect与关节臂结合的复合式测量和三维重建方法，其特征在于包括以下步骤：

步骤S01：利用微软Kinect对待测物体及多个定标球进行测量和重建；

步骤S02：通过关节臂测量仪测量待测物体上Kinect无法测量的特征； 

步骤S03：通过Kinect和关节臂测量仪分别测量分布在待测物体四周的多个定标球，获得设备的多个测量基准点；采用定标球法实现不同坐标和点云数据的对齐变换；

步骤S04：利用计算机根据上述步骤获取的三维数据进行模型重建与实体化。

在本发明一实施例中，所述步骤SO1包括以下步骤：

步骤S011：通过Kinect在OpenNI的框架接口下完成空间点三维坐标的获取；

步骤S012：根据物体形状及其距离镜头的大致深度值，设定深度的最大和最小阈值，然后利用阈值分割方法分割出有效区域，把物体从背景中分离出来；

步骤S013：点云数据处理：利用Kinect获取的深度数据并转化为三维的点云数据格式进行存储，再将其可视化；然后，对点云进行噪声剔除、滤波及精简处理，改善点云质量，去除光学噪声和闪烁部分，并提高边缘部分的匹配程度；

步骤S014：点云拼接，转换为三维面片模型：在Kinect获取点云空间点信息时，通过Kinect摄像机在不同角度下扫描物体，每次扫描获得物体一个侧面的深度数据，并保证深度数据之间包含有一定的公共部分；点云拼接时，首先，通过初始拼接将不同坐标系下的点云数据进行旋转、平移等变换，使其大致处于同一坐标系下，为下一步的精确拼接提供较好的初始值；然后，在精确拼接的过程中，利用迭代就近点法优化刚体变换矩阵，使拼接后的两片点云间的距离均方差最小；点云拼接完成后，将点云模型转换为三角面片模型。

在本发明一实施例中，所述步骤S011中，空间点三维坐标获取方法采用如下方式：

假设 Kinect 测量空间中任意点p离摄像头的距离为d，根据公式计算点p在空间中的实际位置，及实际深度值D

上式中D、d的单位均为厘米（cm），四个参数H、K、O、L的值分别为

，，，

利用上式计算出深度值D后，从 Kinect中提取任意点p完整的三维坐标；假设任意点p在帧图像的投影位置为 ，则点p三维坐标为

 、、、为Kinect相机参数，参数值分别为

, ，， 。

在本发明一实施例中，所述步骤SO12中所述阈值分割方法采用的如下方式：

设图像对于输入图像的各个深度值为，确定两个深度(即阈值) 和，其中 ， 当像素深度值D大于或者小于，则，否则；

。

在本发明一实施例中，所述步骤S03采用如下方式实现：

由Kinect设备扫描获取三个定标球，并通过最小二乘法拟合出三个定标球的球心坐标，设为，和；由关节臂测量仪测量三个定标球，每个定标球至少测量8个点，并通过算法拟合出定标球心坐标，设为，和；通过以下三个步骤实现坐标对齐变换：

（1）变换到；

（2）变换矢量到，仅考虑方向信息；

（3）变换包含三点，和的平面到包含，和的平面；

   采用的算法步骤如下：

   （1）做矢量、、和；

   （2）令，；

（3）求矢量和

；

   （4）求矢量和

；

   （5）求出单位矢量

；

   （6）把系统[v]的任意一点变换到系统[w]，用到变换关系

（7）和是单位矢量矩阵，因此，关于[w]坐标系统的的旋转矩阵为：

令和 ，带入，可得平移矩阵T

求出变换矩阵

。

本发明采用基于非接触式测量和接触式测量相结合的复合式测量原理。首先采用Kinect（非接触式测量）快速获得物体点云数据，接着采用关节臂测量仪（接触式测量）对精度要求较高的特征精确测量，实现优势互补，同时发挥非接触式测量测量效率高和接触式测量精度高的优点，能有效弥补上述传统单一测量方法的局限性，提高逆向工程中数据采集的效率和精度，进而提高后续三维重建的效率和精度。

附图说明

图1是本发明方法原理流程示意图。

图2是本发明定标球法坐标对齐变换流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施方式的限制。

本申请应用的设备包括：一微软Kinect设备、一关节臂测量仪、多个定标球（测量时固定放置在待测物体周围）以及一配置有GPU的计算机（Kinect、关节臂测量仪分别通过不同端口与计算机连接）。

测量和重建方法如图1所示，包括如下步骤：

步骤一：利用微软Kinect对待测物体及多个定标球（定标球随机分布固定在待测物体四周）进行测量和重建。

其步骤包括：

1、通过Kinect在OpenNI的框架接口下完成空间点信息的获取。

其中，空间点三维坐标获取方法采用如下算法：

假设 Kinect 测量空间中任意点p离摄像头的距离为d，根据公式计算点p在空间中的实际位置，及实际深度值D

上式中D、d的单位均为厘米（cm），四个参数H、K、O、L的值分别为

，，，

利用上式计算出深度值D后，从 Kinect中提取任意点p完整的三维坐标。假设任意点p在帧图像的投影位置为 ，则点p三维坐标为

 、、、为Kinect相机参数，参数值分别为

, ，， 。

2、分割出有效测量区域。

Kinect 深度信息的精度随着距离的变化有所不同。当深度距离在 30cm -60cm之间，精度可以达到0.1cm；当深度距离在60cm-100cm之间，精度约为0.3cm。而Kinect 获得的是镜头视野范围内整个环境的信息，因此本方法根据物体形状及其距离镜头的大致深度值，设定深度的最大和最小阈值，然后利用阈值分割方法分割出有效区域，把物体从背景中分离出来。

采用的算法如下：

设图像对于输入图像的各个深度值为，确定两个深度(即阈值) 和，其中 ， 当像素深度值D大于或者小于，则，否则。

3、点云数据处理。

利用Kinect获取的深度数据并转化为三维的点云数据格式进行存储，再将其可视化。然后，对点云进行噪声剔除、滤波及精简处理，改善点云质量，去除光学噪声和闪烁部分，并提高边缘部分的匹配程度。

4、点云拼接，转换为三维面片模型。

在Kinect获取点云空间点信息时，通过Kinect摄像机在不同角度下扫描物体，每次扫描获得物体一个侧面的深度数据，并保证深度数据之间包含有一定的公共部分。

点云拼接时，首先，通过初始拼接将不同坐标系下的点云数据进行旋转、平移等变换，使其大致处于同一坐标系下，为下一步的精确拼接提供较好的初始值；

然后，在精确拼接的过程中，利用迭代就近点法（ICP算法）优化刚体变换矩阵，使拼接后的两片点云间的距离均方差最小。点云拼接完成后，将点云模型转换为三角面片模型。

步骤二、通过关节臂测量仪测量待测物体上精度要求较高的特征以及Kinect无法测量的特征。

通过Kinect测量获得的点云数据较密集、完整，但是Kinect测量对零件表面的反光程度、颜色等有一定要求，而且在边界、凹孔、曲率变化大的部位无法获得准确的数据，尽管可以通过逆向软件修补数据，但精度不够。本发明通过关节臂测量仪测量到物体的圆孔、边线等规则的特征以及测量Kinect无法测量到的一些特征，并将测量数据转化为三维点云数据。

步骤三、两设备坐标、点云数据对齐配准。

本发明采用定标球法实现不同坐标和点云数据的对齐变换，本实施例通过Kinect和关节臂测量仪分别测量分布在待测物体四周的多个定标球，获得设备的多个测量基准点。请参见图2，采用的方式步骤如下：

由Kinect设备扫描获取三个定标球，并通过最小二乘法拟合出三个定标球的球心坐标，设为，和。

由关节臂测量仪测量三个定标球，每个定标球至少测量8个点，并通过算法拟合出定标球心坐标，设为，和。通过以下三个步骤实现坐标对齐变换：

（1）变换到；

（2）变换矢量到，仅考虑方向信息；

（3）变换包含三点，和的平面到包含，和的平面。

   采用的算法步骤如下：

   （1）做矢量、、和

   （2）令，

（3）求矢量和

   （4）求矢量和

   （5）求出单位矢量

   （6）把系统[v]的任意一点变换到系统[w]，用到变换关系

（7）和是单位矢量矩阵，因此，关于[w]坐标系统的的旋转矩阵为：

令和 ，带入，可得平移矩阵T

求出变换矩阵

。

步骤四、模型重建与实体化

利用计算机对采集到的三维数据可以进行各种后期处理，如分析、展示、仿真、拼接、重建等。

本发明将优化后的三维点云数据进行三角网格化操作，接着将三维模型实体化处理。将三维模型导入三坐标测量系统，将三维实体模型与目标实物进行比对，比较其精度或其他实验性能指标是否满足要求，若不满足则对模型进行二次修整，进而对精度要求高的几何特征进行修正，最终得到精确的三维实体模型。

值得一提的是，本发明仅以Kinect和关节臂测量仪为例，介绍了一种复合式测量和三维重建方法。若采用其他RGB-D数据的相机或设备，比如微软的Kinect，华硕的Xtion PRO或Leap公司的Leap Motion，其他三坐标测量仪器如关节臂测量仪，三坐标测量机，采用以上的组合也能实现该功能。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。 

Claims (5)

1.一种Kinect与关节臂结合的复合式测量和三维重建方法，其特征在于包括以下步骤：

步骤S01：利用微软Kinect对待测物体及多个定标球进行测量和重建；

步骤S02：通过关节臂测量仪测量待测物体上Kinect无法测量的特征； 

步骤S03：通过Kinect和关节臂测量仪分别测量分布在待测物体四周的多个定标球，获得设备的多个测量基准点；采用定标球法实现不同坐标和点云数据的对齐变换；

步骤S04：利用计算机根据上述步骤获取的三维数据进行模型重建与实体化。

2.根据权利要求1所述的Kinect与关节臂结合的复合式测量和三维重建方法，其特征在于：

所述步骤一包括以下步骤：

步骤S011：通过Kinect在OpenNI的框架接口下完成空间点三维坐标的获取；

步骤S012：根据物体形状及其距离镜头的大致深度值，设定深度的最大和最小阈值，然后利用阈值分割方法分割出有效区域，把物体从背景中分离出来；

步骤S013：点云数据处理：利用Kinect获取的深度数据并转化为三维的点云数据格式进行存储，再将其可视化；然后，对点云进行噪声剔除、滤波及精简处理，改善点云质量，去除光学噪声和闪烁部分，并提高边缘部分的匹配程度；

步骤S014：点云拼接，转换为三维面片模型：在Kinect获取点云空间点信息时，通过Kinect摄像机在不同角度下扫描物体，每次扫描获得物体一个侧面的深度数据，并保证深度数据之间包含有一定的公共部分；点云拼接时，首先，通过初始拼接将不同坐标系下的点云数据进行旋转、平移等变换，使其大致处于同一坐标系下，为下一步的精确拼接提供较好的初始值；然后，在精确拼接的过程中，利用迭代就近点法优化刚体变换矩阵，使拼接后的两片点云间的距离均方差最小；点云拼接完成后，将点云模型转换为三角面片模型。

3.根据权利要求2所述的Kinect与关节臂结合的复合式测量和三维重建方法，其特征在于：所述步骤S011中，空间点三维坐标获取方法采用如下方式：

假设 Kinect 测量空间中任意点p离摄像头的距离为d，根据公式计算点p在空间中的实际位置，及实际深度值D

上式中D、d的单位均为厘米（cm），四个参数H、K、O、L的值分别为

，，，

利用上式计算出深度值D后，从 Kinect中提取任意点p完整的三维坐标；假设任意点p在帧图像的投影位置为 ，则点p三维坐标为

 、、、为Kinect相机参数，参数值分别为

, ，， 。

4.根据权利要求2所述的Kinect与关节臂结合的复合式测量和三维重建方法，其特征在于：所述步骤SO12中所述阈值分割方法采用的如下方式：

设图像对于输入图像的各个深度值为，确定两个深度(即阈值) 和，其中 ， 当像素深度值D大于或者小于，则，否则；

。

5.根据权利要求2所述的Kinect与关节臂结合的复合式测量和三维重建方法，其特征在于：所述步骤S03采用如下方式实现：

由Kinect设备扫描获取三个定标球，并通过最小二乘法拟合出三个定标球的球心坐标，设为，和；由关节臂测量仪测量三个定标球，每个定标球至少测量8个点，并通过算法拟合出定标球心坐标，设为，和；通过以下三个步骤实现坐标对齐变换：

（1）变换到；

（2）变换矢量到，仅考虑方向信息；

（3）变换包含三点，和的平面到包含，和的平面；

    采用的算法步骤如下：

    （1）做矢量、、和；

    （2）令，；

（3）求矢量和

；

    （4）求矢量和

；

    （5）求出单位矢量

；

    （6）把系统[v]的任意一点变换到系统[w]，用到变换关系

（7）和是单位矢量矩阵，因此，关于[w]坐标系统的的旋转矩阵为：

令和 ，带入，可得平移矩阵T

求出变换矩阵

。