CN108917640A - 一种激光盲孔深度检测方法及其系统 - Google Patents

Abstract

本发明公开了一种激光盲孔深度检测方法及其系统，包括：固定架台，激光器，摄像头，计算机，水平位移台，所述摄像头和激光器安装在固定架台上，所述水平位移台位于所述摄像头和激光器的下方，摄像头的光轴与水平位移台夹角为30°‑60°，所述计算机分别与摄像头和水平位移台可通讯连接。本发明创造可得到精确的盲孔深度检测结果。

Description

一种激光盲孔深度检测方法及其系统

技术领域

本发明涉及激光检测技术领域，特别涉及一种激光盲孔深度检测 方法及其系统。

背景技术

现有的盲孔深度检测一般通过事先对盲孔的标准图样进行学习， 然后用摄像拍摄被测物图像，并从拍摄得到的被测物图像中提取盲孔 的特征图像，然后跟标准图样进行对比关联，通过相似度比对，找到 与被测物盲孔最相似的标准图样，并通过标准图样上的盲孔信息得到 被测物的盲孔信息，从而得到盲孔深度信息。

基于上述原理的方法或者系统，对于盲孔深度的检测均依赖于概 率值，精确度不高。

发明内容

本发明的目的是：提供一种精确度高的盲孔深度检测方法及其系 统。

本发明解决其技术问题的解决方案是，一种激光盲孔深度检测方 法，包括：

步骤1、搭建并调试激光盲孔深度检测系统，获取摄像头内外参 数，光平面位姿参数，移动位姿参数；

步骤2、将具有盲孔的被测物放入激光盲孔深度检测系统中，开 启激光盲孔深度检测系统；

步骤3、所述激光盲孔深度检测系统采集具有激光条纹的被测物 表面图像，并从所述被测物表面图像中提取光条中心轮廓图；

步骤4、根据所述摄像头内外参数，光平面位姿参数，移动位姿 参数，光条中心轮廓图在Halcon中建立三维结构模型；

步骤5、从所述三维结构模型中得到被测物盲孔的深度值。

进一步，所述光条中心轮廓图的提取方法包括：

步骤3.1、对所述被测物表面图像进行平滑滤波去燥处理；

步骤3.2、对去燥后的图像进行填充漏洞处理；

步骤3.3、对填充漏洞处理后的图像进行阈值化处理，得到中心 区域；

步骤3.4、从上至下扫描所述中心区域，找到中心区域中灰度值 最大的点，并取最大点及其左右各四个像素点采用灰度重心法得到激 光条纹的中心。

进一步，所述中心区域的任一像素点的灰度值均大于60。

进一步，在步骤5后还包括：

步骤6、将标准块放入所述激光盲孔深度检测系统中，多次检测， 求出标准块盲孔深度的测量值；

步骤7、将步骤6获取的标准块盲孔深度的测量值与其真实值相 减得到误差值；

步骤8、重复步骤6和步骤7，并将得到的误差值求平均得到补 偿误差值；

步骤9、用步骤8得到补偿误差值来修正步骤5得到的被测物盲 孔的深度值。

一种激光盲孔深度检测系统，包括：固定架台，激光器，摄像头， 计算机，水平位移台，所述摄像头和激光器安装在固定架台上，所述 水平位移台位于所述摄像头和激光器的下方，摄像头的光轴与水平位 移台夹角为30°-60°，所述计算机分别与摄像头和水平位移台可通 讯连接。

进一步，所述水平位移台包括：传送带，步进电机驱动器，步进 电机，三菱PLC，所述步进电机驱动器与步进电机的控制端连接，所 述步进电机与传送带的传动机构连接，所述三菱PLC的控制端与步进 电机驱动器连接，所述三菱PLC与计算机可通讯连接。

进一步，所述激光器为半导体激光器。

进一步，所述激光器的型号为YD-L650P50-18-100一字线红光激 光器。

本发明的有益效果是：本发明创造可得到精确的盲孔深度检测结 果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例 描述中所需要使用的附图作简单说明。显然，所描述的附图只是本发 明的一部分实施例，而不是全部实施例，本领域的技术人员在不付出 创造性劳动的前提下，还可以根据这些附图获得其他设计方案和附图。

图1是本发明创造方法的步骤流程图；

图2是激光盲孔深度检测系统的结构示意图；

图3是摄像头内外参数的获取方法的步骤流程图；

图4是在摄像头内外参数的获取方法得到的20张标定图像；

图5是标定光平面位姿的原理示意图；

图6是在标定光平面位姿过程中激光线的图示；

图7是在标定光平面位姿过程中标定板的图示；

图8是用于标定移动位姿的标定图像；

图9是阈值法中理想高斯分布的灰度曲线图；

图10是灰度中心法下的光条灰度曲线图；

图11是优化后的光条中心轮廓图的提取方法；

图12是提取的光条中心轮廓图；

图13是三维结构模型的模型数据图；

图14是优化后的激光盲孔深度检测方法。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技 术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和 效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全 部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性 劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外， 文中所提到的所有联接/连接关系，并非单指构件直接相接，而是指 可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接 结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可 以交互组合。

实施例1，参考图1，一种激光盲孔深度检测方法，包括步骤：

S1、搭建并调试激光盲孔深度检测系统，获取摄像头内外参数， 光平面位姿参数，移动位姿参数；

S2、将具有盲孔的被测物放入激光盲孔深度检测系统中，开启激 光盲孔深度检测系统；

S3、所述激光盲孔深度检测系统采集具有激光条纹的被测物表面 图像，并从所述被测物表面图像中提取光条中心轮廓图；

S4、根据所述摄像头内外参数，光平面位姿参数，移动位姿参数， 光条中心轮廓图在Halcon中建立三维结构模型；

S5、从所述三维结构模型中得到被测物盲孔的深度值。

参考图2，其中，激光盲孔深度检测系统包括：固定架台1，激 光器2，摄像头3，计算机4，水平位移台，所述摄像头3和激光器2 安装在固定架台1上，所述水平位移台位于所述摄像头3和激光器2 的下方，摄像头3的光轴与水平位移台夹角为30°-60°，本实施例 为60°。所述计算机4分别与摄像头3和水平位移台可通讯连接。 所述水平位移台包括：传送带41，步进电机驱动器43，步进电机42， 三菱PLC44，所述步进电机驱动器43与步进电机42的控制端连接， 所述步进电机42与传送带41的传动机构连接，所述三菱PLC44的控 制端与步进电机驱动器43连接，所述三菱PLC44与计算机4可通讯 连接。

当所述激光盲孔深度检测系统运行时，可将被测物放入到传送带 41上，开启激光器2，计算机4向所述三菱PLC44发出运动开始命令， 三菱PLC44接收到命令后控制步进电机驱动器43驱动步进电机42， 步进电机42带动传送带41移动，传送带41带动被测物匀速移动， 通过激光器2，激光器2发出的线条光打在被测物表面上，此时，摄 像头3连续稳定的采集具有激光条纹的被测物表面图像，直至被测物 离开激光器2的照射范围后，摄像头3停止采集。得到的被测物表面 图像并传递到计算机4中。

在搭建好了激光盲孔深度检测系统后，需要对所述系统进行调试， 从而获取摄像头内外参数，光平面位姿参数，移动位姿参数。

参考图3，其中，所述摄像头内外参数的获取方法包括步骤：

A1、在Halcon软件上创建标定数据模型；

A2、设置摄像头的初始参数及其类型；

A3、摄像头获取标定板的标定图像；

A4、对所述标定图像滤波平滑处理，并用阈值分割标定图像，提 取标定板的轮廓得到各标志点中心坐标；

A5、将所述各标志点中心坐标数据带入标定数据模块获得摄像头 内外参数。

具体为：把标定板放入到水平位移台上，在Halcon软件上创建 标定数据模型，设置摄像头3初始参数和摄像头3类型，初始参数包 括摄像头3的焦距，畸变系数，单个象元的宽，单个象元的高，中心 点坐标，图像宽高；然后在标定模型中定义标定对象即设置标定板描 述，获取摄像头3拍摄的标定板的标定图像，为了提高标定效果，摄 像头3拍摄的标定图像应该在12张以上，本实施例共拍摄了20张标 定图像。其中，20张标定图像如图4所示。

对所述标定图像滤波平滑处理，用阈值分割标定图像，把内部区 域背景隔离，从而找到图像中标定板区域，再提取标定板各标志点中 心及轮廓，提取过程包括：提取圆形标志点的边缘，对其拟合椭圆， 再提取椭圆的最小外接四边形，取得亚像素各标志点坐标和边缘轮廓 提取获取亚像素的轮廓，此处就所需数据就全部提取出来了，然后把 坐标数据放入标定数据模型中计算获得摄像头内外参数，其中，标定 数据模型的创建可使用Halcon软件自带的标定助手创建。本实施例 得到的摄像头内外参数如表5-1所示：

表5-1

摄像头外参数	参数值	摄像头内参数	参数值
				Tx(mm)	2.02588	F/mm	26.355
Ty(mm)	5.92705	K/(I/m2)	-298.482
				Tz(mm)	366.583	Sx(um)	7.39037
α(°)	333.652	Sy(um)	7.40103
				β(°)	359.219	Cx(pixel)	319.799
γ(°)	358.43	Cy(pixel)	185.607

其中，T_x,T_y,T_z分别为摄像头x，y，z方向的平移向量，α，β， γ分别为x，y，z方向对应的角度；F为摄像头的焦距，K为摄像头 的畸变系数，S_x，S_y分别为摄像头的像元尺寸，C_x，C_y分别为摄像头 的图像中心点参数。

所述光平面位姿参数的获取方法包括：标定光平面位姿，从所述 光平面位姿中得到光平面位姿参数。

具体的，确定光平面及其姿态，至少需要三个相关的坐标点，如 图5所示，图中，Camera指的是摄像头，Laser line project指的 是激光器，其中P1，P2是放置于世界坐标系中(Z＝0)平面上的两个 点，还需一个在Z方向明显不同的P3点。因此为了获取P1，P2点，标定板可以放置在基准平面上一次或者两次，而P3点由平放或斜放 在被测物上的标定板获得，需要注意的是要使得由P1，P2，P3组成 的平面要尽可能的大，其中P3与P1，P2的高度差应该至少与要测量 的物体的高度一样大。在本次标定中，基准平面放置一次标定板，被测物顶部表面也平放一次标定板，两次标定板的放置保证了两者标志 点在能同一条直线上。而对于每次标定板的位置，都需要拍摄两张图 像，一张仅仅显示激光线，如图6所示；另一张仅仅显示标定板，如 图7所示；其中，在图6和图7中，LowLaser与Low是低位置即基 准平面时的采图，HightLaser与Hight是高位置即标定板放置于被 测物顶部时的采图。

最后通过将平面拟合将获得的点云来近似拟合光平面，并求取其 位姿。具体过程为：低位置处即基准平面所参考的世界坐标系是通过 特定的标定图像来定义的，高位置处是以临时坐标系作为参考。临时 坐标系是通过另一个标定图像来定义的，考虑到标定板的厚度，需要 分别改变世界坐标系及临时坐标系中标定图像位姿的原点，用到Halcon上的函数get_calib_data是获取标定模型中标定图像的位姿 CalTabPose，而函数set_origin_pose是转换所得位姿CalTabPose 的原点为新原点。使用函数compute_3d_coordinates_of_light_line 计算世界坐标系及临时坐标系下Z＝0时的激光光条三维坐标点，然后 放入x，y，z中。用函数fit_3d_plane_xyz拟合光平面，并且输出 光平面的中心点和光平面的法向量，得到判断光平面标定是否足够精 确的参数即残差，残差越小越好，最好要小于0.5mm。用函数 get_light_plane_pose求得光平面的位姿，即是输入光平面的中心 点和光平面的法向量，计算获得光平面位姿参数。

所述函数compute_3d_coordinates_of_light_line的计算流程 具体为：首先初始化输出变量x,y,z为空值，计算位姿的齐次转换矩 阵，再计算可以将点从当前坐标系转换至基准坐标系的3D转换矩阵 矩阵，然后再确定轮廓区域并测试轮廓是否大致水平，如果光条不是 接近水平的，则返回空的X,Y,Z，这一步必须保证输入的光条图像正 确，保证光条基本上是水平的及光条亮度大于定义的最小灰度值的数 值，然后获取光条线的2D坐标点，根据这些点计算光条点在基准坐 标系下的三维坐标，再将这些点投影至Z＝0平面的世界坐标系，最后 如果需要，可以将三维坐标点从当前坐标系转换至基准坐标系。

所述函数fit_3d_plane_xyz拟合平面实质即是拟合出一组平面 的3D点，首先初始化光平面的中心点参数Ox,Oy,Oz,光平面的法向 量参数Nx,Ny,Nz,及残差值MeanResidual，测试X，Y和Z的大小是 否符合要求，分别均值计算中心点的坐标。再将所得中心点与原X,Y,Z 坐标点变为矩阵形式计算其奇异值，通过判断奇异值大小来确定所提供的3D点是否适合用于拟合平面，比如这些3D点如果是共线或者重 叠就无法拟合平面，再获取拟合平面上法向量的坐标，最后计算3D 点与拟合平面之间的平均剩余距离，得到残差值，对比原定残差值的 大小，得到两者误差来检测拟合平面的质量。

所述函数get_light_plane_pose首先检测输入的法向量是否为 空值，然后将z轴的单位矢量与光平面的法向量对齐，此时围绕z轴 的旋转为零，再以此围绕x轴的旋转得到角度α，确定角度α的值 后将法向矢量旋转到平面y＝0，此时得到N1向量，再使用N1的坐 标且围绕y轴的旋转得到角度β值，最后通过矩阵变换得到光平面 位姿。

通过上述获取方法获取的光平面位姿参数为：

LightplanePose:＝[0.000927932,0.00204648,0.0137872, 274.983,0.0142936,0.163925,0]。

所述移动位姿参数的获取方法包括：标定移动位姿，从所述移动 位姿中得到移动位姿参数。

移动位姿是为了确定图像在变换过程中做的移动和旋转。在标定 移动位姿中需要采集不同位置的两幅标定图像，将标定板放入传送带 41上，三菱PLC44控制步进电机驱动器43驱动步进电机42单向移 动，步进电机42每转动十个脉冲摄像头3拍摄一次，为了提高准确 性，我们不使用两个连续移动步数的图像，而是使用具有已知移动步 数的标定图像，在本次标定中两个图像之间移动步数是19步，图8 是用于标定移动位姿的标定图像，其中，图右movementstart是第1 张标定图，图左movementend是第20张图，移动位姿标定方法，具 体包括：首先是读取图8中的两个标定图像，各求出两个标定图像的 摄像头位姿，分别将移动起始位姿，移动结束位姿，摄像头内外参数 转换为齐次变换矩阵，得到矩阵分别为M1，M2，M3，对M3矩阵求其 逆矩阵得M3′，将M3′与M1,M2分别相乘得到新的3D变换矩阵N1，N2。对N1，N2矩阵围绕点(0,0,0)仿射变换后得到结果值，用结果 值求取每步的平均平移距离即为其移动位姿参数。

通过上述获取方法获取的移动位姿参数为：

MovementPose:＝[-3.71212e-005,9.47948e-007, 1.81937e-007,0,0,0,0]。

调试完所述激光盲孔深度检测系统，并获取所述摄像头内外参数， 光平面位姿参数，移动位姿参数后，即可，将被测物放入到传送带 41中，启动激光盲孔深度检测系统，所述激光盲孔深度检测系统采 集具有激光条纹的被测物表面图像，并从所述被测物表面图像中提取 光条中心轮廓图。

激光条纹在空间中显示为一个有“厚度”的平面，并且其厚薄是 不均匀分布的，景深处最薄的，两侧越来越厚，且不同位置亮度不一， 如在光条中心处最亮，两边逐渐暗淡，且被测物与激光源的距离也会 影响亮度，被测物离激光器2越近则光条越亮。理想的情况是CCD像 平面和激光光平面的“厚度”中间位置构成透视对应关系，而在实际 测量过程中，一般采集到的是整个“厚度”，我们要做的是求取其激 光光条的中心平面。

其中，光条中心轮廓图的提取方法包括：极值法，阈值法，几何 中心法，灰度重心法任性一种或者多种结合。

如图9所示，阈值法适用于灰度呈高斯分布的理想激光光条图像， X轴代表像素，Y轴代表灰度值，设置一条阈值线L，截取A,B两点 且作为其光条截面，再由线性插值法求得A,B两点的像素坐标，则 A,B的中点C即是光强的中心位置。其公式可为：

参考图10，灰度重心法的实质是把光条横截面中灰度近似高斯 分布的质心作为其激光光条中心点，其步骤是先设置阈值提取出要处 理光条，再一列一列的计算每列的灰度值质心，以灰度重心点所在的 坐标作为本列光条中心的坐标，其表达式为

其中：N_k是第K个激光条纹的中心像素点坐标，p_i为像素点在i 处的灰度值，x_i为像素坐标即是图像中第i个像素点的X坐标值，且 光条中包含n个像素，灰度重心法的优点是精度较高且可达到亚像素 级别，方便应用于快速测量场合，

参考图11，作为优化，本实施例采用阈值法和灰度重心法相结 合的方法来对所述光条中心轮廓图进行提取，该方法包括步骤：

S3.1、对所述被测物表面图像进行平滑滤波去燥处理；

S3.2、对去燥后的图像进行填充漏洞处理；

S3.3、对填充漏洞处理后的图像进行阈值化处理，得到中心区域； 其中，所述中心区域的任一像素点的灰度值均大于60。

S3.4、从上至下扫描所述中心区域，找到中心区域中灰度值最大 的点，并取最大点及其左右各四个像素点采用灰度重心法得到激光条 纹的中心。

其中，激光条纹的中心的数学描述模型为：

式(4.14)中S为阈值处理后的光条中心区域，N_i表示图像第i 列中激光光条的列坐标，P_(,)是图像中像素点P(x，i)的灰度值， 根据上式获得的像素点中心列坐标值求取其相应的行坐标值，其全部 的行列坐标值即为激光条纹的完整中心坐标值。提取的光条中心轮廓 图如图12所示。

根据所述摄像头内外参数，光平面位姿参数，移动位姿参数，光 条中心轮廓图在Halcon中建立三维结构模型，Halcon中的三维结构 模型重建是对采集到的一系列光条中心轮廓图进行拼接成型处理。具 体步骤包括：首先根据所述摄像头3的内外参数，光平面位姿参数， 移动位姿参数，建立sheet_of_light三维结构胚胎模型,获取光条中 心轮廓图，然后对所述光条中心轮廓图进行拼接得到视差图像，将视 差图像与所述sheet_of_light三维结构胚胎模型进行融合得到三维 结构模型，其中三维结构模型的模型数据包括：视差图像，X坐标图 像，Y坐标图像，Z坐标图像，如图13所示，自左往右依次为：视差 图像，X坐标图像，Y坐标图像，Z坐标图像。所述三维结构模型各 项值都可真实反映在世界坐标系中。因此，可通过Z坐标图像得到被 测物盲孔的深度值。

为了使得更加精确的得到被测物盲孔的深度值，需要通过标准块 补偿的方法对步骤S5得到的深度值进行补偿修正，具体方法包括步 骤：

S6、将标准块放入所述激光盲孔深度检测系统中，多次检测，求 出标准块盲孔深度的测量值；

S7、将步骤S6获取的标准块盲孔深度的测量值与其真实值相减 得到误差值；

S8、重复步骤S6和步骤S7，并将得到的误差值求平均得到补偿 误差值；

S9、用步骤S8得到补偿误差值来修正步骤S5得到的被测物盲孔 的深度值。

本实施例采用的是6.5mm的金属标准块，并进行8组检测，得到 如表6-1测量结果。

表6-1

八组测量值与实际值的平均绝对误差值为0.069mm，则需要补偿 0.069mm给步骤S5得到的测量值。

作为优化，所述激光器2为半导体激光器，其型号为 YD-L650P50-18-100一字线红光激光器。激光器2发出的激光在传播 过程中会受到空气对光源的散射影响，而且随着测量目标越远越难以 保持优质的光斑面积，结合用途的差异，激光器2选型时要考虑多种 参数，比如波长，光斑，输出功率，光斑模式等。本实施例选择了半 导体激光器作为光源，具体型号为远大激光科技公司的YD-L650P50-18-100一字线红光激光器，其采用优质的全金属封装， 大面积散热槽，其所用的光学镀膜玻璃片能打出均匀的光斑，光点小， 光透性好，并且其较强的抗干扰性和稳定性。

以上对本发明的较佳实施方式进行了具体说明，但本发明创造并 不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前 提下还可做出种种的等同变型或替换，这些等同的变型或替换均包含 在本申请权利要求所限定的范围内。

Claims (8)

1.一种激光盲孔深度检测方法，其特征在于，包括：

步骤1、搭建并调试激光盲孔深度检测系统，获取摄像头内外参数，光平面位姿参数，移动位姿参数；

步骤2、将具有盲孔的被测物放入激光盲孔深度检测系统中，开启激光盲孔深度检测系统；

步骤3、所述激光盲孔深度检测系统采集具有激光条纹的被测物表面图像，并从所述被测物表面图像中提取光条中心轮廓图；

步骤4、根据所述摄像头内外参数，光平面位姿参数，移动位姿参数，光条中心轮廓图在Halcon中建立三维结构模型；

步骤5、从所述三维结构模型中得到被测物盲孔的深度值。

2.根据权利要求1所述的一种激光盲孔深度检测方法，其特征在于，所述光条中心轮廓图的提取方法包括：

步骤3.1、对所述被测物表面图像进行平滑滤波去燥处理；

步骤3.2、对去燥后的图像进行填充漏洞处理；

步骤3.3、对填充漏洞处理后的图像进行阈值化处理，得到中心区域；

步骤3.4、从上至下扫描所述中心区域，找到中心区域中灰度值最大的点，并取最大点及其左右各四个像素点采用灰度重心法得到激光条纹的中心。

3.根据权利要求2所述的一种激光盲孔深度检测方法，其特征在于，所述中心区域的任一像素点的灰度值均大于60。

4.根据权利要求3所述的一种激光盲孔深度检测方法，其特征在于，在步骤5后还包括：

步骤6、将标准块放入所述激光盲孔深度检测系统中，多次检测，求出标准块盲孔深度的测量值；

步骤7、将步骤6获取的标准块盲孔深度的测量值与其真实值相减得到误差值；

步骤8、重复步骤6和步骤7，并将得到的误差值求平均得到补偿误差值；

步骤9、用步骤8得到补偿误差值来修正步骤5得到的被测物盲孔的深度值。

5.一种激光盲孔深度检测系统，其特征在于，包括：固定架台，激光器，摄像头，计算机，水平位移台，所述摄像头和激光器安装在固定架台上，所述水平位移台位于所述摄像头和激光器的下方，摄像头的光轴与水平位移台夹角为30°-60°，所述计算机分别与摄像头和水平位移台可通讯连接。

6.根据权利要求5所述的一种激光盲孔深度检测系统，其特征在于，所述水平位移台包括：传送带，步进电机驱动器，步进电机，三菱PLC，所述步进电机驱动器与步进电机的控制端连接，所述步进电机与传送带的传动机构连接，所述三菱PLC的控制端与步进电机驱动器连接，所述三菱PLC与计算机可通讯连接。

7.根据权利要求6所述的一种激光盲孔深度检测系统，其特征在于，所述激光器为半导体激光器。

8.根据权利要求7所述的一种激光盲孔深度检测系统，其特征在于，所述激光器的型号为YD-L650P50-18-100一字线红光激光器。