CN107633518A - 一种基于Kinect的产品外形检测方法 - Google Patents

Abstract

本发明公开了一种基于Kinect的产品外形检测方法，该方法主要是借助Kinect深度传感设备来对流水线上的产品进行三维重建，再与预先设定的产品模型进行对比，得出是否合格的方法。本发明的优点是：本发明对多相机标定提出了一种新的改进方法，即采用圆柱体的方式进行标定，该方法能更快、精确的获得相机的旋转平移矩阵。本发明相对直接对深度图像进行整体滤波处理消除空洞的方法而言，利用矩形框初步选出目标区域，再使用改进的K‑means聚类方法，充分消除了产品背景噪声，有效的提取出产品形貌。与传统产品检测方法相比，本方法易于布置，简单实用，速度快，大大降低了企业生产成本，同时，在一定程度上，降低产品的误检率。

Description

一种基于Kinect的产品外形检测方法

技术领域

本发明涉及一种Kinect的产品外形检测方法，尤其涉及基于Kinect的产品深度数据定位及改进型的迭代三维重建。

背景技术

随着工业4.0的提出和实施，制造业智能化、自动化已成为工业发展的大势所趋，对产品表面形貌高速、高精度的三维数据的获取已迫在眉睫。三维测量方法是支撑智能生产，实现人机互动，3D技术的关键技术之一，是集光、机、电和计算机技术于一体的高新技术，它为智能化生产提供必需的三维数据。

国内外针对物体表面形貌的高速三维测量在理论和应用上做了一系列研究，通常分为接触式测量与非接触式测量。

接触式测量采用三坐标测量机等设备通过与物体表面接触获取表面的三维坐标，而非接触式测量主要通过激光、结构光等方式对物体表面轮廓进行扫描，获得表面的三维坐标信息，并且速度快、精度高。但是，通过三坐标测量机只能测量某一个物体，难以恢复一个范围不大的场景。因此，场景的测量及重建主要采用后一种方法，即非接触测量方法。

非接触式测量主要包括以下几种：

基于时间差的扫描方法。该方法原理就是通过发射一束激光照射物体表面，利用接受反射光线时间差来计算光源与物体之间的距离。这种方法测量距离远、精度高、速度快，但是，缺点也很明显，在测量较近距离时精度较低。

基于三角法的扫描方法。该方法与飞行时间测距法原理相似，该方法是利用激光源发射一束激光照射到被测物体表面时，形成一小光斑，通过漫反射后在光学检测器件上成像，当物体位置发生改变时，其所成的像在光学检测器件上也随之发生改变，根据其像点位置的变化和测量系统的结构参数可求出被测点的位移信息。由于入射光线和反射光线构成一个三角形，所以该方法被称为三角法。

基于相位测量的扫描方法。该方法的原理是利用光栅条纹投影到被测物体表面时条纹会发生形变的现象来测量物体的表面轮廓。相位测量法可分为三个阶段：第一阶段生成参考光栅，取一个参考平面，并向其投射光栅条纹，记录参考平面上的条纹形状，即拍摄参考光栅的图像；第二阶段生成形变光栅，将相同的光栅条纹投射到物体表面，记录物体表面发生形变的光栅条纹，即拍摄形变光栅的图像；第三阶段分析和重建，对比已记录的参考光栅和形变光栅的图像，分析两者之间的差异，该差异携带了物体的三维轮廓信息，据此可以计算物体表面的高度信息，进而重建物体的三维轮廓。相位测量法测量结果精度高、速度快，目前研究较多。

2009年微软公司率先推出了Kinect，首次提出了人机互动的理念。华硕公司也紧随其后，推出了Xtion 系列体感设备。相较于其它专业深度摄像机，Kinect具有成本低、容易配置等优点，在三维重建领域展现出可观的应用前景。

随着Kinect投放市场，微软研究院推出了Kinect Fusion项目，目的在于利用一台围绕物体移动的Kinect实时地三维重建。相比于简单的三维点云拼接，该项目支持GPU加速，快速便捷。另外，如果持续的对物体进行扫描，可以不断的提高重建的精度，导出更为准确的三维数据格式文件。Kinect Fusion可以用于工业设计、3D打印机、室内设计、游戏制作、城市规划等领域。

本文采用4个Kinect设备，获取流水线上待测产品的形貌信息，并进行相关处理，最后生成三维模型。这充分利用待测产品360度形貌信息，快速重建出三维模型，完成对产品合格与否的检测，节省了企业生产成本，提高了生产效率，为工业生产检测提供了新思路。

发明内容

本发明目的在于提出一种Kinect的产品外形检测方法，该方法主要是借助Kinect深度传感设备来对流水线上的产品进行三维重建，再与预先设定的产品模型进行对比，得出是否合格的方法，该方法相较于传统的手工检测，极大地降低了生产成本，同时，又避免了人为原因的误捡。

本发明是这样来实现的，一种基于Kinect的产品外形检测方法，其测量系统包括：Kinect传感器、计算机、标定圆柱体；其特征测量方法为：标定圆柱与Kinect固定于实验台；Kinect传感器通过数据线连接计算机；Kinect与圆柱体同一水平高度；Kinect呈圆形环绕圆柱体。计算机ＶＳ开发平台、OpenNI采集系统、点云库处理系统。

本发明要做好如下工作：（1）基于圆柱体的Kinect标定方法；（2）Kinect点云数据采集与优化方法；（3）点云数据的匹配重构模型。

基于Kinect的产品外形检测方法，其特征是：相机标定、深度数据获取优化、三维重建。

其中，相机标定采用改进的多相机标定法。该方法不同于传统的双目视觉标定方法，该方法采用圆柱体标定方法，这样能够使每个Kinect设备能够获得具有重合区域的数据点云，进而利用几组数据点云列出多项式方程组，解出相关参数，求得旋转平移矩阵，得到相机间位姿。

深度数据获取优化。首先，Kinect设备对物体进行深度数据获取，在OpenNI架构下借助opencv库函数选取深度图像中物体所在区域，这里选择使用矩形框的形式将物体圈出来。由于各种外在的因素，我们圈出物体（矩形框区域），不止有物体，还存在各种噪声。接着再对该区域改进的K-means聚类方法，这里用二分K-means聚类法，有效去出了物体背景噪声，再利用插值法补齐物体表面孔洞，为最后的重建打下基础。

三维重建。这一部分主要是遵循了KinectFusion的算法框架，主要是利用4相机获得深度数据，根据相机位姿，利用ICP迭代最近点法，充分利用每幅点云的法线向量信息，进行配准，直到达到迭代次数（或满足迭代终止阈值）。

本发明的优点是：

（1）本发明对多相机标定提出了一种新的改进方法，即采用圆柱体的方式进行标定，该方法能更快、精确的获得相机的旋转平移矩阵。

（2）本发明相对直接对深度图像进行整体滤波处理消除空洞的方法而言，利用矩形框初步选出目标区域，再使用改进的K-means聚类方法，充分消除了产品背景噪声，有效的提取出产品形貌。

（3）与传统产品检测方法相比，本方法易于布置，简单实用，速度快，大大降低了企业生产成本，同时，在一定程度上，降低产品的误检率。

附图说明

图1为本发明的传统利用二分K-means聚类方法有效去除深度图的离散及突兀的噪点效果图。

图2为本发明的利用二分K-means聚类方法有效去除深度图的离散及突兀的噪点效果图。

图3为本发明的实验标定图。

图4位本发明实验装置图。

具体实施方式

本发明是这样来实现的，基于Kinect的流水线产品外形检测方法，其特征是：由基于Kinect的4相机标定、深度数据优化及三维重建三大关键部分组成。

一 基于kinect相机标定

相机标定对于测量结果的精度有着直接关系。标定结果越精确，最终测量结果一般而言就更为准确。由于每个镜头在出厂时，畸变程度各不相同，通过标定可以获得校正后的图像，另一个重要原因则是为了三维场景重建。本发明主要是对4个Kinect深度相机进行标定。

对于单个Kinect相机可以直接使用张正友的棋盘格标定法，而本文采用多个Kinect，由于棋盘格摆放受限制，难以让每个Kinect相机获得足够的信息进行匹配，故难以实施。本发明提出一种新的标定多个Kinect的方法，即采用圆柱体的方式标定多个Kinect相机。本方法一旦相机位置确定，只需标定一次即可。

根据采集的柱面信息的纹理特征来标定相机的位姿。考虑到相机摆放位置固定，以及圆柱体轴线的特殊性，每个Kinect都能得到轴线的x,y坐标，所以，提出了基于圆柱轴线的多相机标定，我们可以采集不同角度的圆柱信息，然后把轴线作为坐标转换的依据。

由于多个Kinect是在同一平面上，因此暂时不考虑z坐标，标定过程仅采用x,y坐标来得到旋转平移矩阵。现在我们来考虑使用几个轴线坐标来确定位姿关系，假设有两个坐标系，那么坐标系关系可以用一个2x2旋转矩阵和一个2x1的平移矩阵来表示，如下：

根据上式发现只要会有6个未知数，根据获得信息只需要3组点来列方程组。即可求出不同Kinect相机间的坐标轴关系，达到4个相机的外参数。

二、深度数据获取与优化

本发明主要是利用Kinect深度相机通过拍摄物体直接获得深度数据点云，其原理为：Light Coding技术。这里是利用激光散斑进行拍摄物体，后接收空间编码，最后解码获得深度数据。我们借助OpenNI库函数将深度数据保存为点云，便于后期点云数据优化。

点云优化主要是滤除深度数据的突兀点、空洞点等。相较于传统的滤除方法，本发明提出的方法优化效果更好。首先利用框函数选取出ROI区域（Region of Interest），然后再利用二分K-means聚类方法有效去除深度图的离散及突兀的噪点，效果比传统的K-means更好。效果图如下图1和图2。

三、三维重建

在重建部分主要是利用第一部分估计出来的相机位姿进行产品外形重构。在这里主要应用了粗配准与精配准算法，包括RACSAC估计法及ICP算法。

首先，对处理过的点云数据随机抽取一定数量的样本，在满足一定条件约束下构成一个子集，使用最小方差法估算法对这个子集计算这个自己的模型参数，然后再计算所有点云数据与子集模型的偏差，并将该偏差与我们自己设定的阈值比较，找出局外点与局内点，然后重复这一过程，直至迭代条件结束，得出最佳模型的参数，这样就能得到一个较好的初始位置，为精配准做了准备。

接着，利用RANSAC估计法得到的初始位置，根据第一步得到的旋转平移矩阵,将第一副点云按照得到的初始位置与第二幅点云进行匹配，按照迭代次数和阈值的方式判断是否匹配完成。最后，依次匹配得到的4幅点云，得到完整的产品模型。最后通过与库中模型进行对比，得出产品检测结果。

Claims (5)

1.一种基于Kinect的产品外形检测方法，其测量系统包括：Kinect传感器、计算机、标定圆柱体；其特征：测量方法为：标定圆柱与Kinect固定于实验台；Kinect传感器通过数据线连接计算机；Kinect与圆柱体同一水平高度；Kinect呈圆形环绕圆柱体。

2.根据权利1要求所述的一种基于Kinect产品外形检测方法，其特征在于：具体三种方式为：

（1）基于圆柱体的Kinect标定方法；

（2）Kinect点云数据采集与优化方法；

（3）点云数据的匹配重构模型。

3.根据权利2要求所述的一种基于Kinect产品外形检测方法，其特征在于：基于圆柱体的Kinect标定方法具体为：相机标定，采用圆柱体标定方法，使每个Kinect设备能够获得具有重合区域的数据点云，进而利用几组数据点云列出多项式方程组，解出相关参数，求得旋转平移矩阵，得到相机间位姿。

4.根据权利2要求所述的一种基于Kinect产品外形检测方法，其特征在于：Kinect点云数据采集与优化方法具体为：深度数据获取优化；

首先，Kinect设备对物体进行深度数据获取，在OpenNI架构下借助opencv库函数选取深度图像中物体所在区域，选择使用矩形框的形式将物体圈出来；

然后，再对该区域改进的K-means聚类方法，用二分K-means聚类法，有效去出了物体背景噪声，再利用插值法补齐物体表面孔洞，为最后的重建打下基础。

5.根据权利2要求所述的一种基于Kinect产品外形检测方法，其特征在于：点云数据的匹配重构模型具体为：三维重建，主要遵循了KinectFusion的算法框架，利用4相机获得深度数据，根据相机位姿，利用ICP迭代最近点法，充分利用每幅点云的法线向量信息，进行配准，直到达到迭代次数。