CN112082491A - 基于点云的高度检测方法 - Google Patents

Abstract

本发明公开了自动化程度高的、可测量区域高度的、鲁棒性强的测量3D高度方法。为了解决上述技术问题，本发明提供的基于点云的高度检测方法包括以下步骤：读入步骤，读入点云数据；校正步骤，使读入的点云数据原点校正；坐标系原点位置；拟合步骤，从所述点云数据拟合一平面，并调整为检测的基准面；获取步骤，获取指定的测量区域；检测步骤，获取所述测量区域内至少一部分点到所述基准面的距离。本发明提供的基于点云的高度检测方法还包括获取所述检测步骤中的至少一部分距离值，并计算其平均值作为所要检测的高度。

Description

基于点云的高度检测方法

技术领域

本发明属于计算机点云处理技术，具体涉及一种处理点云数据以得到工件高度信息的技术。

背景技术

本发明涉及应用于3D机器视觉检测的高度测量方法，主要运用于智能制造领域的印制电路板(PCB)、半导体、3C(计算机类、通信类、消费类电子)产品等的三维高度测量。如PCB板上的锡焊高度测量、半导体芯片引脚高度测量、 3C工件胶高测量和集成电路板上元件(电阻、电容、电感等)的高度测量等。

三维高度信息在精密测量领域是一种辅助质检的关键参数，利用测量出来的高度信息与设计要求的值做对比，可以评判产品的优劣。例如，利用锡焊高度来判断锡焊量是否正常、利用芯片引脚高度来判断引脚有无形变、利用胶高来判断涂胶量是否正常、利用元件高度信息判断组装的衔接是否紧密等等。

康耐视、基恩士等传感器制造商所开发的如Vision Pro等软件实现的3D 高度测量方法是如图1所示，其处理流程如下：

1.读入点云数据；

2.用户指定基准面(一般为与z轴垂直的平面)；

3.用户指定两点生成与基准面垂直的横截面；

4.用户指定横截面大小；

5.用户指定点到横截面的距离生成横截面上点信息；

6.用户在横截面上指定两点求高度差。

这种方法可以精确的测量到客户指定的固定横截面上所有点的高度信息，还可以对指定两点间的高度差进行精密的测量。但这种方法有以下三种缺陷无法满足现在智能制造的需求：

1.自动化程度低：整个测量过程需要用户指定大量的参数来确定需要测量的区域和位置，这样会导致在流水线上无法实现快速的3D高度测量；

2.局限性较大：实际工作中，经常需要测量某一区域的3D高度信息，针对这种需求，由于现有方法局限在一个固定的横截面上进行测量，因此无法对区域高度进行统计测量；

3.低鲁棒性：当三维点云数据噪点较多时，该方法鲁棒性不强，很可能把噪点作为高度输出，因而使测量结果毫无参考性可言。

发明内容

本发明致力于解决上述行业痛点，提出一种自动化程度高的、可测量区域高度的、鲁棒性强的测量3D高度方法。

为了解决上述技术问题，本发明提供的基于点云的高度检测方法包括以下步骤：

读入步骤，读入点云数据；

校正步骤，使读入的点云数据原点校正到坐标系原点位置；

拟合步骤，从所述点云数据拟合一平面，并调整为检测的基准面；

获取步骤，获取指定的测量区域；

检测步骤，获取所述测量区域内至少一部分点到所述基准面的距离。

本发明提供的基于点云的高度检测方法还包括获取所述检测步骤中的至少一部分距离值，并计算其平均值作为所要检测的高度。

本发明提供的基于点云的高度检测方法还包括，所述选取的至少一部分距离值是所述距离值中的最大值。

本发明提供的基于点云的高度检测方法还包括，所述拟合步骤中采用随机采样一致性算法进行平面拟合。

本发明提供的基于点云的高度检测方法还包括，，所述拟合过程的迭代次数由迭代过程中从数据集内随机选取出的点均为局内点的概率p和每次从点云数据集中选取一个局内点的概率w决定，且

综上所述，本发明提出的自动测量产品区域高度信息的方法，保证了测量误差在微米级，实现了实时测量三维高度信息的需求。整个处理过程无需用户设定参数，能够自动的输出指定区域的高度信息，极大的提高了智能制造领域产品质检的时间和人力。用户只需要在测量前规定好客户指定的测量范围就可以实现自动输出该区域高度值并保证该高度值不受噪点影响。

附图说明

图1为一代表性现有软件的测量高度示意图；

图2为本发明实施例中点云数据的存储结构示意图；

图3为利用本发明实施例进行测量时的示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

本发明涉及应用于3D机器视觉检测的高度测量方法。因为经常需要从产品的边缘往里缩进几个毫米形成一个区域来测量该区域3D高度，我们提出以下的处理流程：

1.读入点云数据，

2.把点云数据移至原点(offset处理)，

3.点云数据拟合一个平面，调整该平面作为基准面，

4.从边缘直线向产品内部缩进客户指定距离形成测量区域，

5.统计测量区域内所有点到基准面的距离，

6.取距离最大的n个点求平均值。

下面对各处理步骤做详细说明：

步骤1：通用的点云存储数据结构

精密测量领域的点云数据多以.csv,.xyz或.txt形式存储，x,y,z(三维坐标信息)、r,g,b(颜色信息)、intensity(反射强度信息)等点信息按行存储。由于各品牌或类型传感器取得的点信息有的包含r,g,b,intensity等信息，有的并不包含这类信息，所以我们设计了一种通用的存储点云数据的数据结构。如图2所示，JRSCloud类用以存储整个点云，在C#语言中以List<JRSPointClass> 或JRSPointClass[]的方式存储，在c++语言中以vector<JRSPointClass>或类 JRSPointClass[]的方式存储。点云被包装成一个JRSCloud类的实例，保证了程序在任何场景、任意传感器采集的点云数据下通用的性质。

另外，针对3D传感器在采集数据时的采集信息，如采集日期、点云大小、传感器型号等重要header信息，本实施例设计了PCDHeader、LasHeader类来保存这些采集信息。JRSPointClass的基本类中包含每个点的浮点型(float)的 x,y,z坐标信息，当传感器采集的数据包含附加的信息如整数型(int)的r,g,b 颜色信息和浮点型(float)的反射强度信息(intensity)时，本实施例JRSPointClass也支持各种附加信息的存储。

步骤2：点云数据校准

点云数据P(p1,p2,p3,…,pn)中，n代表点云数据中点的数量。对x,y,z 的最小值求解，并记录该最小值。

minx＝min(x1,x2,…,xn)

miny＝min(y1,y2,…,yn)

minz＝min(z1,z2,…,zn)

之后按照以下公式对每个点pi减去最小值点，使点云数据的原点坐标平移到(0,0,0)，

xi＝xi-minx

yi＝yi–miny

zi＝zi–minz

步骤3：自动生成基准面

因为测量对象多为PCB板、笔记本外壳、手机外壳等大平面构成的工件，所以利用随机采样一致性算法(RANSAC)拟合一个大平面，再旋转该平面至与 XoY平面平行，用来当作基准面。

其中，利用RANSAC拟合平面可以保证即使数据存在局外点也能够鲁棒的提取出大平面。RANSAC拟合平面算法的输入是一组点云数据，它通过反复选择数据中的一组随机子集来达成目标。被选取的子集被假设为局内点(inlier)，并用下述方法进行验证，

1.假设：随机取三点假设为局内点为初始值。然后用这三点拟合一个平面模型，此平面模型适用于假设的局内点，所有的未知参数都能从假设的局内点计算得出。用得到的平面模型去测试所有的其它点云数据，如果某个点适用于假设的平面模型，就将该点加入局内点，计算该平面上局内点数量。

2.迭代：处理1迭代k次。

3.估计：如果在k次迭代过程中发现了更好的(局内点更多的)平面模型，则更新保存该平面模型直到更好的平面模型出现。

RANSAC拟合平面算法的核心就是随机性和假设性。随机性用于减少计算量。假设性用于假设随机抽取的数据皆为真值，再以此去测试其它点，获得其它满足平面模型的点，然后利用投票机制，选出获票最多的平面模型。该算法的核心参数为迭代次数k。当我们估计平面模型参数时，用p表示迭代过程中从数据集内随机选取出的点均为局内点的概率。此时该模型很可能有用，所有该参数也表征了算法产生有用结果的概率，通常设置为99％-99.9％以保证真值最大概率被拟合出来。用w表示每次从点云数据集中选取一个局内点的概率，其计算公式如下，

迭代次数k(生成待选平面的次数)通过以下公式来求解，其中n为点云的维度信息，在本实施例中n＝3:

本发明不是按照传统的设定固定值来迭代待选平面生成的次数，而是转换了概念用平均真值评估概率和局内点比例(inlier ratio)来计算迭代次数，这样可以保证真值最大概率被提取出来，同时也实现了迭代次数的自动设置。

在RANSAC中指定的容许误差(点到平面的距离)参数则是按照传感器的精度来设定，比如采集数据的传感器精度为0.4μm时，因为激光雷达点云数据符合正态分布，考虑到尽最大可能保持点云精度，我们取±3σ范围内的数据保证 99％的数据都能包含在该平面模型中。所以，在该传感器采集的点云数据拟合平面时，容许误差应设定为0.4μm×6＝2.4μm。

因为产品在摆放时有很大可能因为人工操作导致倾斜，采集的数据不能保证与坐标系保持平行关系，所以在产品点云数据上拟合出来的平面不能直接用作基准面来测量高度信息。

针对这个问题，本发明提出了一种将点云数据与坐标系校准的方法。该方法分别计算拟合出来的平面与XoY,YoZ,XoZ坐标系平面的夹角α，β，κ并按照下列公式求得旋转矩阵，

将所求旋转参数代入点云数据中，其中P和P′分别为旋转前后的点云。

步骤4：由于步骤2将点云左下角移到了原点(0,0,0)的位置，步骤3又将点云数据按坐标系进行了校准。这样客户指定的测量区域的顶点坐标则可以以原点为基准迅速找出来。比如，如图3所示客户指定测量区域的顶点可以按原点平移至多边形的顶点，平移的坐标按以下公式求解,其中Δ表示平移量Δ_x,Δ_y,Δ_z,P和P′分别表示平移前后的点坐标值。这样可以精确的获取客户指定的测量区域而无人工误差。

P′＝P+Δ

步骤5：按以下公式求测量范围内所有点到基准面的距离。其中，d_i表示第 i个点到平面的距离，A,B,C,D为基准平面方程参数，

步骤6：取n个最大距离求平均值。这样做可以最大程度的消减噪点带来的影响，保证算法的鲁棒性。此处n的值可以根据具体的测量场景加以选择，例如在对笔记本电脑的键盘感应区进行测量时，可以选择n为20。

本发明的有益效果包括：

1.基准面的设定；本发明以产品为本，可自动拟合出产品底面所在的平面，以该平面作为基准面求得的高度为实际产品的高度，数据真实准确。

2.测量区域划分；本发明以客户需求为第一要素，完全按照客户指定的位置信息获取测量范围。整个过程实现了自动化处理，相比于手动指定区域更加精确。

3.均值化处理；不同于横截面上取点测量只能获取个别高度差信息，本发明获取测量范围内所有点的高度信息并取多个最大距离作均值化处理，从而保证数据不受噪点影响，能够反映真正的高度信息。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (6)

1.一种基于点云的高度检测方法，其特征在于，包括以下步骤：

读入步骤，读入点云数据；

校正步骤，使读入的点云数据原点校正到坐标系原点位置；

拟合步骤，从所述点云数据拟合一平面，并调整为检测的基准面；

获取步骤，获取指定的测量区域；

检测步骤，获取所述测量区域内至少一部分点到所述基准面的距离。

2.如权利要求1所述的基于点云的高度检测方法，其特征在于，还包括获取所述检测步骤中的至少一部分距离值，并计算其平均值作为所要检测的高度。

3.如权利要求2所述的基于点云的高度检测方法，其特征在于，所述选取的至少一部分距离值是所述距离值中的最大值。

4.如权利要求1所述的基于点云的高度检测方法，其特征在于，所述拟合步骤中采用随机采样一致性算法进行平面拟合。

5.如权利要求4所述的基于点云的高度检测方法，其特征在于，所述拟合过程的迭代次数由迭代过程中从数据集内随机选取出的点均为局内点的概率p和每次从点云数据集中选取一个局内点的概率w决定。

6.如权利要求5所述的基于点云的高度检测方法，其特征在于，所述迭代次数k由以下公式得到：

Images