CN112697058A - 一种基于机器视觉的大尺寸板材装配间隙在线测量系统与方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的大尺寸板材装配间隙在线测量系统与方法，属于非接触式的测量技术领域。所述大尺寸板材装配间隙在线测量系统，包括侧支座、直线导轨、横梁、传感器支架、三维位移传感器、运动控制系统和工控机；所述大尺寸板材装配间隙在线测量方法，包括基于激光干涉仪的三维位移传感器标定算法、三维点云数据分割算法、三维点云数据预处理算法、三维点云数据配准算法、间隙测量算法。本发明采用五轴运动系统扫描板材，基于三维点云数据实现大尺寸板材装配间隙的在线测量，提高了装配间隙测量的精度，提升了装配间隙测量自动化水平。

Description

一种基于机器视觉的大尺寸板材装配间隙在线测量系统与 方法

技术领域

本发明设计一种基于机器视觉的大尺寸板材装配间隙在线测量系统与方法，属于非接触式的测量技术领域。

背景技术

随着制造业工艺水平的逐渐提高，大尺寸板材作为生产建设中不可或缺的工业原材料之一，广泛应用于飞机、船舶、大型机械设备等重大装备的制造和装配中，板材形状和尺寸的精确测量是保证装备制造质量的关键基础。对于大尺寸板材装配间隙检测，传统测量方式采用人工塞尺或目测等方法，这种方法更多的依赖于人的经验，主观性强，其测量误差大、测量效率低、测量数据有限，并且仅能对对接面开口处进行测量，无法获取装配间隙全貌，测量数据无法实现二次处理，难以满足数字化装配高质高效的要求。

机器视觉是一门包括众多其它前沿学科的综合性学科，融合了人工智能、计算机科学、数字图像处理、模式识别等多个学科。随着机器视觉技术的飞速发展，基于视觉的测量系统以其非接触、高精度、速度快等优点，可以解决传统装配间隙检测方法的弊端，实现精确高效的装配间隙测量。在装备制造和加工领域，基于机器视觉的测量技术将是未来重要的发展趋势和研究方向。

现有的机器视觉检测方法对大尺寸板材装配间隙进行检测时，由于受光照条件和检测参数的影响，对检测工件的类别、大小和形状影响较大，在测量不规则表面时无法获得正确的间隙边缘，无法实现快速无损的间隙测量。如何在保证高精度的同时提高大尺寸板材装配间隙测量的效率，是当前大尺寸板材装配间隙测量领域急需解决的问题。

发明内容

本发明的目的在于克服装传统配间隙检测方法的不足，提供一种准确、高效、稳定的大尺寸板材装配间隙在线测量系统与方法。首先，采用基于激光干涉仪的三维位移传感器标定算法对传感器进行标定，测量系统基于标定完成后的传感器对大尺寸装配板材进行扫描；接着，利用三维点云数据配准算法、三维点云数据分割算法获取实际装配板材点云数据；然后，将实际模型与设计模型在工控机中进行拟合分析实现对装配间隙的定位；最后，利用三维点云数据预处理算法和间隙测量算法对装配间隙区域数据进行处理，计算得出间隙值。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于机器视觉的大尺寸板材装配间隙在线测量系统与方法，包括大尺寸板材装配间隙在线测量系统和大尺寸板材装配间隙在线测量方法。

所述的大尺寸板材装配间隙在线测量系统，包括侧支座、直线导轨、横梁、传感器支架、三维位移传感器、运动控制系统和工控机。运动控制系统控制直线导轨、横梁、传感器支架运动，实现三维位移传感器扫描过程，三维位移传感器将扫描结果发送至工控机，工控机对扫描结果进行处理和分析，实现装配间隙的测量。

所述的大尺寸板材装配间隙在线测量系统，当横梁在直线导轨上运动时，Y轴方向的运动控制系统将编码器信号发送至三维位移传感器，触发传感器进行拍照测量；激光发射器将可见的红色激光射向被测物体表面，激光经物体反射被三维位移传感器内部的CCD线性相机接收，完成拍照过程；根据图像信息和传感器内部测距模块分别构造X轴与Z轴的坐标信息。根据激光反馈的高度、宽度信息和编码器提供的长度信息，测量系统可实现被测装配板材的三维模型重构，获得装配板材的三维点云数据。

所述的大尺寸板材装配间隙在线测量系统，通过传感器支架在横梁上X方向移动可实现长度范围为0-11500mm的间隙测量，通过横梁在直线导轨上Y方向移动可实现长度范围为0-11500mm的间隙测量，A轴的工作范围为±90°，C轴的工作范围为±360°，通过机械结构改进和相机数量的增加，可进一步扩大测量间隙范围。

所述的大尺寸板材装配间隙在线测量系统中，获取装配间隙测量值的过程分为两个步骤，包括装配间隙的定位和装配间隙的测量。

所述的装配间隙的定位，具体为：测量系统扫描获取装配板材三维模型，将点云数据传至工控机，与设计模型进行拟合，识别装配间隙位置，并将设计模型中间隙位置数据信息由工件坐标系转换到运动控制系统坐标系中，实现装配间隙的定位。

所述的装配间隙的测量，具体为：根据运动控制系统坐标系中的间隙数据，工控机对传感器的间隙扫描路径进行规划，传感器沿规划路径进行扫描，将扫描获得的间隙区域处的三维点云数据传至工控机，经点云数据预处理算法和间隙测量算法处理，实现装配间隙的在线测量。

所述的基于激光干涉仪的三维位移传感器标定算法，具体为：工控机通过步进电机控制传动机构的挡板移动；激光干涉仪和三维位移传感器同时采集挡板移动的距离，激光干涉仪测得的数据作为标定系统的标准输入量，三维位移传感器测得的数据作为标定系统的输出量；将两者采集的数据传入工控机，采用最小二乘法拟合曲线对数据进行分析处理，实现对三维位移传感器的标定。

基于标定后的三维位移传感器扫描得到的三维点云数据，采用基于拟牛顿法改进的3D正态分布变换(3D-NDT)点云配准算法对不同位置的点云数据进行拼接，以达到还原原始模型的效果。算法采用拟牛顿法中的DFP算法对3D正态分布变换算法进行优化，实质是把求取两片点云最优变换矩阵的过程转化为求取正态分布函数极值的过程。整个过程分为两个主要步骤：首先将当前点云转化为参考点云中的点，计算落入目标点云方格中概率的正态分布函数；然后求取正态分布函数的极值。通过拟牛顿算法代替牛顿法求解Hessian矩阵，改善了3D-NDT算法针对大尺寸点云数据配准需要大量时间去计算Hessian矩阵的问题，在保持传统配准精度的同时还能提高配准效率。

改进3D-NDT点云配准算法的具体步骤为：

I.将一个三维点云数据集划分为均匀规则的固定大小的三维单元格，每个体素单元包含一定数量的点x＝{x₁,x₂,...,x_n}，对每个体素单元内点云数据计算均值μ和协方差矩阵C：

II.通过连续可微的正态分布函数描述出三维点三维信息的概率分布，某一单元格描述为：

其中，c为一常量。

III.为点云中的每一个单元格都用上式进行正态分布描述，然后对其进行累和，完成整个点云的正态分布描述，得到评估函数：

其中，T(p,x_i)表示源点云中的点x_i经过变换矩阵变换到目标点云所在的坐标x’_i，q_i和V分别表示x’_i对应的均值和协方差矩阵。

IV.令f＝s(p)为目标函数，求解目标函数最小需求解以下方程：

HΔp＝-g (5)

其中，g为f的梯度，用f的一阶导数表示，H为Hessian矩阵，用f的二阶导数表示。

V.通过近似Hessian矩阵的方式代替通过二阶导数求解Hessian的过程，解决牛顿迭代法需要计算复杂二阶导数的问题。首先，假设Hessian矩阵为单位矩阵I，计算搜索方向Δp＝-H_kg_k，其中H_k为Hessian矩阵，g_k为梯度；然后，通过校正方程更新Hessian的值，不断逼近Hessian的真实值，直到算法收敛。校正方程如下：

其中，s_k＝λ_kΔp，λ_k＝argminf(x_k+λΔp)，y_k＝g_k+1-g_kg_k+1，g_k表示参数为x_k+1，x_k时，函数f对应梯度值。

基于三维点云数据配准后获得的装配板材扫描三维点云数据模型，采用一种改进的区域生长三维点云分割算法将装配板材点云模型从背景中分离出来。通过估计点云数据曲率大小，将曲率最小点设置为种子节点，再根据点云数据的局部特征设置空间和曲率阈值确定生长准则，完成点云数据的稳定分割。

测量系统将分割后的点云数据模型与装配板材的设计模型进行拟合，基于设计模型中装配间隙信息，将装配间隙点云信息从工件坐标系转换到运动控制系统坐标系；运动控制系统控制三维位移传感器按照设计模型中规划的扫描路径对装配间隙进行扫描，最后利用三维点云数据预处理算法和间隙测量算法对其进行处理分析，获得装配间隙测量结果。

所述的三维点云数据预处理算法包括：三维点云数据去噪算法、三维点云数据精简算法、三维点云数据空洞修复算法。

基于装配间隙区域处的三维点云数据，采用一种基于双边滤波的噪声分类去噪算法对其进行去噪光顺处理。首先利用统计滤波结合法向量滤波算法，通过计算点云及其邻域点之间的距离信息和法向量信息，去除离群噪声点和一部分混杂在本体点云中的噪声点，然后利用双边滤波对剩余点云进行二次去噪和光顺平滑。

基于去噪后的三维点云数据，采用自适应栅格法精简点云数据。自适应栅格法策略为在曲率较大的区域内精简较少的点云，而在曲率相对较小的区域精简较多的点云；在保留足够多的点云数据表达模型几何特征基础上，降低了点云的冗余度。

基于精简后的三维点云数据，采用点云数据空洞修复算法实现空洞修复。主要采用两种方法：当空洞出现在平面区域内，采用线性插值的方法填补空洞数据；当空洞出现在非平面区域内，采取二次曲面插值方法填补空洞数据。

基于预处理后的三维点云数据，采用一种基于法向量和曲率的三维边缘检测算法计算间隙测量值，具体过程为：首先利用法向量进行统计分析筛选出候选边缘点；然后利用区域生长算法对候选边缘点进形分割，判断各点是否为边缘点，获取间隙边缘信息，记录间隙边缘的位置坐标进一步得到间隙的测量值；最后记录和分析测量结果，结合装配标准给出装配质量的判定结果。

本发明的有益效果是：

本发明基于机器视觉的大尺寸板材装配间隙在线测量系统，采用传感器视场拼接的方法，通过传感器在X轴、Y轴、Z轴的运动和A轴、C轴的摆动与转动，实现大尺寸板材装配三维点云扫描和间隙在线测量；在保证测量精度前提下，扩大装配板材尺寸和间隙的测量范围；采用基于激光干涉仪的三维位移传感器标定方法，简单快捷，稳定可靠，提高了标定效率和精度；采用的三维点云数据配准算法，处理效率快，精度高，稳定性好；采用改进的区域生长三维点云分割算法，解决传统区域生长分割不稳定问题，提高点云分割的精确性和可靠性；采用基于双边滤波的噪声分类去噪算法、栅格法、空洞修复算法，去除点云数据里的噪声点并光顺处理，对数据进行精简和空洞修复，显著提高了模型精度；采用基于法向量和曲率的三维边缘检测算法，在保证测量精度的前提下，缩短了间隙边缘的检测时间。

附图说明

图1为系统机械结构图；

图2为待测装配板材工件示意图；

图3为DS1300测量示意图；

图4为三维位移传感器标定流程示意图；

图5为系统算法流程图。

附图标记：1为侧支座；2为直线导轨；3为横梁；4为传感器支架；5为三维位移传感器；6为工控机。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

本发明一种基于机器视觉的大尺寸板材装配间隙在线测量系统与方法，包括大尺寸板材装配间隙在线测量系统和大尺寸板材装配间隙在线测量方法。

所述的大尺寸板材装配间隙在线测量系统，如图1所示，包括侧支座、直线导轨、横梁、传感器支架、三维位移传感器、运动控制系统、工控机。装配间隙在线检测系统采用龙门式结构布局，两侧的侧支座起支撑作用，传感器支架在横梁上运动实现传感器在X轴方向的扫描，横梁在直线导轨上运动实现传感器Y轴方向的扫描，传感器支架的上下滑动可实现传感器扫描范围调整，A旋转轴和C旋转轴和X、Y、Z直线三轴做五轴联动，实现大尺寸装配板材的间隙测量。

图2为待测装配板材工件示意图。

本实施例中采用康耐视的DS1300三维位移传感器。此传感器提供微米级精度的实际单位量测；工作温度范围为0℃至50℃，最大工作湿度为85％；精密I/O实时通信，扫描速度最快10kHz；X向分辨率为0.101mm-0.457mm，Z向分辨率为0.016mm-0.265mm。

DS1300三维位移传感器的测量示意图如图3所示。

当横梁在直线导轨上运动时，Y轴方向的运动控制系统将编码器信号发送至三维位移传感器，触发传感器进行拍照测量；激光发射器将可见的红色激光射向被测物体表面，激光经物体反射被测量装置内部的CCD线性相机接收，完成拍照过程；根据图像信息和传感器内部测距模块分别构造X轴与Z轴的坐标信息。根据激光反馈的高度、宽度信息和编码器提供的长度信息，测量系统可实现被测装配板材的三维模型重构。

所述的大尺寸板材装配间隙在线测量系统中，获取装配间隙测量值的过程分为装配间隙的定位和装配间隙的测量两个步骤。

所述的装配间隙的定位具体为：当测量系统扫描获取装配板材三维模型，将点云数据传至工控机，与设计模型进行拟合，识别装配间隙位置，并将设计模型中间隙位置数据信息由工件坐标系转换到运动控制系统坐标系中，实现装配间隙的定位。

所述的装配间隙的测量具体为：根据运动控制系统坐标系中的间隙数据，工控机对传感器的间隙扫描路径进行规划，传感器沿规划路径进行扫描，将扫描获得的间隙区域处的三维点云数据传至工控机，经点云数据预处理算法和间隙测量算法处理，实现装配间隙的在线测量。

所述的大尺寸板材装配间隙在线测量方法，包括基于激光干涉仪的三维位移传感器标定算法、三维点云数据配准算法、三维点云数据分割算法、三维点云数据预处理算法、间隙测量算法。首先，利用三维位移传感器标定算法对三维位移传感器进行标定；接着，利用三维点云数据配准算法获得传感器扫描得到的装配板材点云模型；然后，利用三维点云数据分割算法将装配板材点云模型从背景中分离，通过与设计模型拟合确定装配间隙的位置，按照预先规划的路径对间隙区域进行扫描；再对扫描得到的间隙区域处的三维点云数据进行预处理，包括去噪、精简、空洞修复；最后，利用间隙测量算法获取边缘间隙信息，进一步获得间隙的测量值，实现大尺寸板材装配间隙的在线测量。

所述的基于激光干涉仪标定三维位移传感器的算法具体为：工控机通过运动控制卡驱动步进电机运动，步进电机通过相应的传动机构控制挡板移动，激光干涉仪和三维位移传感器同时采集挡板移动的距离，激光干涉仪测得的数据作为标定系统的标准输入量，三维位移传感器测得的数据作为标定系统的输出量，将两者采集的数据传入工控机，对数据进行分析处理，采用最小二乘法求取拟合曲线，实现对三维位移传感器的标定。标定流程示意图如图4所示。

基于标定后的三维位移传感器，系统扫描获得三维点云数据；采用基于拟牛顿法改进的3D正态分布变换(3D-NDT)点云配准算法对不同视场下的点云数据进行拼接，还原装配板材的原始完整点云模型。算法采用拟牛顿法中的DFP算法对3D正态分布变换算法进行优化，实质是将求取两片点云最优变换矩阵的过程转化为求取正态分布函数极值的过程。整个过程分为两个主要步骤：首先将当前点云转化为参考点云中点，计算落入目标点云方格中概率的正态分布函数；然后求取正态分布函数的极值。通过拟牛顿算法代替牛顿法求解Hessian矩阵，解决了3D-NDT算法中Hessian矩阵计算速度慢的问题，在保持传统配准精度基础上提高了配准效率。

改进3D-NDT点云配准算法的具体步骤为：

I.将一个三维点云数据集划分为均匀规则的固定大小的三维单元格，每个体素单元包含一定数量的点x＝{x₁,x₂,...,x_n}，对每个体素单元内点云数据计算均值μ和协方差矩阵C：

II.通过连续可微的正态分布函数描述出三维点三维信息的概率分布，某一单元格描述为：

其中，c为一常量。

III.为点云中的每一个单元格都用上式进行正态分布描述，然后对其进行累和，完成整个点云的正态分布描述，得到评估函数：

其中，T(p,x_i)表示源点云中的点x_i经过变换矩阵边关到目标点云所在的坐标x’_i，q_i和V分别表示x’_i对应的均值和协方差矩阵。

IV.令f＝s(p)为目标函数，求解目标函数最小需求解以下方程：

HΔp＝-g (5)

其中，g为f的梯度，用f的一阶导数表示，H为Hessian矩阵，用f的二阶导数表示。

V.通过近似Hessian矩阵的方式代替通过二阶导数求解Hessian的过程，解决牛顿迭代法需要计算复杂二阶导数的问题。首先，假设Hessian矩阵为单位矩阵I，计算搜索方向Δp＝-H_kg_k，其中H_k为Hessian矩阵，g_k为梯度；然后，通过校正方程更新Hessian的值，不断逼近Hessian的真实值，直到算法收敛。校正方程如下：

其中，s_k＝λ_kΔp，λ_k＝argminf(x_k+λΔp)，y_k＝g_k+1-g_kg_k+1，g_k表示参数为x_k+1，x_k时，函数f对应梯度值。

基于三维点云数据配准后获得的装配板材扫描三维点云数据模型，采用一种改进的区域生长三维点云分割算法将装配板材点云模型从背景中分离出来。通过估计点云数据曲率大小，将曲率最小点设置为种子节点，再根据点云数据的局部特征设置空间和曲率阈值确定生长准则，完后点云数据的稳定分割。

测量系统将分割后的点云数据模型与装配板材的设计模型进行拟合，基于设计模型中装配间隙信息，将装配间隙点云信息从工件坐标系转换到运动控制系统坐标系；运动控制系统控制三维位移传感器按照设计模型中规划的扫描路径对装配间隙进行扫描，最后利用三维点云数据预处理算法和间隙测量算法对其进行处理分析，获得装配间隙测量结果。

所述的三维点云数据预处理算法包括：三维点云数据去噪算法、三维点云数据精简算法、三维点云数据空洞修复算法。

基于装配间隙区域处的三维点云数据，采用一种基于双边滤波的噪声分类去噪算法对其进行去噪光顺处理。首先利用统计滤波结合法向量滤波算法，通过计算点云及其邻域点之间的距离信息和法向量信息，去除离群噪声点和一部分混杂在本体点云中的噪声点，然后利用双边滤波对剩余点云进行二次去噪和光顺平滑。

基于去噪后的三维点云数据，采用自适应栅格法精简点云数据。自适应栅格法策略为在曲率较大的区域内精简较少的点云，而在曲率相对较小的区域精简较多的点云；在保留足够多的点云数据表达模型几何特征基础上，降低了点云的冗余度。

基于精简后的三维点云数据，采用点云数据空洞修复算法实现空洞修复。主要采用两种方法：当空洞出现在平面区域内，采用线性插值的方法填补空洞数据；当空洞出现在非平面区域内，采取二次曲面插值方法填补空洞数据。

基于预处理后的三维点云数据，采用一种基于法向量和曲率的三维边缘检测算法计算间隙测量值，具体过程为：首先利用方向量进行统计分析筛选出候选边缘点；然后利用区域生长算法对候选边缘点进形分割，判断各点是否为边缘点，获取间隙边缘信息，记录间隙边缘的位置坐标进一步得到间隙的测量值；最后记录和分析测量结果，结合装配标准给出装配质量的判定结果。

如图5所示，为本申请的算法流程图。按照该流程，可对大尺寸板材装配工件进行装配间隙检测。

本实施例相比于传统的人工测量，具有更高的检测精度，避免了人工测量带来的偶然误差，可以极大地提高生产效率和自动化程度。

以上实施例仅用以说明本发明的检测方案而非对其限制，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替代均涵盖在本发明的保护范围内。

Claims (8)

1.一种基于机器视觉的大尺寸板材装配间隙在线测量系统，其特征在于，该系统包括侧支座(1)、直线导轨(2)、横梁(3)、传感器支架(4)、三维位移传感器(5)、运动控制系统和工控机(6)；

运动控制系统，控制横梁(3)、传感器支架(4)运动，实现三维位移传感器(5)扫描过程；

三维位移传感器(5)将扫描结果发送至工控机(6)，工控机(6)对扫描结果进行处理和分析，实现装配间隙的测量。

2.根据权利要求1所述的一种基于机器视觉的大尺寸板材装配间隙在线测量系统，其特征在于，传感器支架(4)在横梁(3)上运动，实现传感器在X轴方向的移动；横梁(3)在直线导轨(2)上运动，实现传感器Y轴方向的移动；传感器支架(4)的上下滑动，实现传感器扫描范围调整；A旋转轴和C旋转轴和X、Y、Z直线三轴做五轴联动，实现大尺寸装配板材的间隙测量。

3.一种基于机器视觉的大尺寸板材装配间隙在线测量方法，其特征在于，包括基于激光干涉仪的三维位移传感器标定算法、三维点云数据配准算法、三维点云数据分割算法、三维点云数据预处理算法、间隙测量算法；

首先，利用三维位移传感器标定算法对三维位移传感器进行标定；接着，利用三维点云数据配准算法获得传感器扫描得到的装配板材点云模型；然后，利用三维点云数据分割算法将装配板材点云模型从背景中分离，在工控机中通过与设计模型拟合确定装配间隙的位置，按照规划好的路径对间隙区域进行扫描；再对扫描得到的间隙区域处的三维点云数据进行预处理，包括去噪、精简、空洞修复；最后，利用间隙测量算法获取边缘间隙信息，进一步获得间隙的测量值，实现大尺寸板材装配间隙的在线测量。

4.根据权利要求3所述的一种基于机器视觉的大尺寸板材装配间隙在线测量方法，其特征在于，所述的基于激光干涉仪标定三维位移传感器的算法具体为：工控机通过步进电机控制传动机构控制挡板移动；激光干涉仪和三维位移传感器同时采集挡板移动的距离，激光干涉仪测得的数据作为标定系统的标准输入量，三维位移传感器测得的数据作为标定系统的输出量；将两者采集的数据传入工控机，采用最小二乘法拟合曲线对数据进行分析处理，实现对三维位移传感器的标定。

5.根据权利要求3所述的一种基于机器视觉的大尺寸板材装配间隙在线测量方法，其特征在于，所述的三维点云数据配准算法具体为：基于拟牛顿法改进的3D正态分布变换(3D-NDT)点云配准算法，把求取两片点云最优变换矩阵的过程转化为求取正态分布函数极值的过程，通过近似Hession矩阵的方式代替牛顿法利用二阶导数求解Hession的过程，在保持精度的同时提高配准效率。

6.根据权利要求3所述的一种基于机器视觉的大尺寸板材装配间隙在线测量方法，其特征在于，所述的三维点云数据分割算法具体为：一种改进的区域生长三维点云分割算法，通过估计点云数据曲率大小，将曲率最小点设置为种子节点，再根据点云数据的局部特征设置空间和曲率阈值确定生长准则，完成点云数据的稳定分割。

7.根据权利要求3所述的一种基于机器视觉的大尺寸板材装配间隙在线测量方法，其特征在于，所述的三维点云数据预处理算法包括：三维点云数据去噪算法、三维点云数据精简算法、三维点云数据空洞修复算法；

首先，利用三维点云去噪算法去除点云数据中的噪声点和光顺平滑；然后，利用三维点云数据精简算法在不影响测量精度的前提下减少测量点的数据；最后，利用三维点云数据空洞修复算法对精简后点云数据中的孔洞进行修补。

8.根据权利要求3所述的一种基于机器视觉的大尺寸板材装配间隙在线测量方法，其特征在于，所述的间隙测量算法具体为：一种基于法向量和曲率的三维边缘检测算法；

首先，利用法向量进行统计分析筛选出候选边缘点；然后，利用区域生长算法对候选边缘点进行分割，判断各点是否为边缘点，获取间隙边缘信息，记录间隙边缘的位置坐标进一步得到间隙的测量值；最后，将测量结果进行记录和分析，给出判定结果。

Images