CN115164752B - 一种大型部件对缝间隙与阶差的自适应测量装备与方法 - Google Patents

一种大型部件对缝间隙与阶差的自适应测量装备与方法 Download PDF

Info

Publication number
CN115164752B
CN115164752B CN202211086889.0A CN202211086889A CN115164752B CN 115164752 B CN115164752 B CN 115164752B CN 202211086889 A CN202211086889 A CN 202211086889A CN 115164752 B CN115164752 B CN 115164752B
Authority
CN
China
Prior art keywords
point
points
tail end
point cloud
butt joint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211086889.0A
Other languages
English (en)
Other versions
CN115164752A (zh
Inventor
汪俊
单忠德
吴翔
张沅
易程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202211086889.0A priority Critical patent/CN115164752B/zh
Publication of CN115164752A publication Critical patent/CN115164752A/zh
Application granted granted Critical
Publication of CN115164752B publication Critical patent/CN115164752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种大型部件对缝间隙与阶差的自适应测量装备与方法，该装备包括AGV运动平台、机械臂、三轴末端控制装置和测量末端；三轴末端控制装置包括旋转主轴、水平辅助轴、垂直辅助轴、驱动装置，通过驱动装置控制各轴运动实现对测量末端的调整；测量末端由视觉相机、点激光传感器和线激光传感器组成。AGV运动平台按照离线路径规划到达对缝所处区域；通过机械臂带动末端控制及测量装置；通过视觉相机与三维激光传感器结合，根据图像与三维信息反馈借助三轴末端控制装置对测量末端进行位置与角度的自适应调整，保证测量装置所发射激光线垂直于待测对缝且激光发射面与待测对缝所在平面平行，实现间隙与阶差自适应自动化柔性测量。

Description

一种大型部件对缝间隙与阶差的自适应测量装备与方法
技术领域
本发明属于高精度三维检测领域，具体涉及一种大型部件对缝间隙与阶差的自适应测量装备与方法。
背景技术
随着科技的高速发展，传统制造行业也迎来了变革，机械化、自动化、智能化的新型制造业也在逐步成为主流。在飞机、汽车、船舶等大型器件制造过程中，往往是有许多部分组合而成，而这些由不同部分之间就会存在对缝，而这些对缝的间隙和阶差对于整个设备也起到非常重要的作用。因此在设计之初，这些对缝的间隙和阶差都有严格的工艺要求。
目前，对缝间隙阶差的测量方式通常采用人工塞尺测量或者采用手持式设备进行测量。用人工塞尺测量会存在精度低、误差大、效率低，而且需要大量重复的测量，长时间的人工塞尺测量方式会导致出现职业病，出现腰部和膝盖磨损。采用人工手持设备测量的方式进行测量一定程度上提高了测量精度和测量效率，但是测量过程中还是会存在人工测量误差。主体部分由AGV+机械臂+三维云台+测量终端组成；其中测量终端由视觉相机、点激光、线激光组成，通过分析测量终端中线激光采集到的点云数据进行分析得到结果。
发明内容
本发明提出一种可自适应调整、自动化程度高、易于控制且精度高的大型部件对缝间隙与阶差的自适应柔性测量装备与方法。
本发明的原理为：通过离线路径规划，引导AGV运动平台到达对缝所处区域；通过机械臂带动三轴测量末端与测量末端根据对缝路线进行自动化测量；根据测量末端的图像与三维信息反馈通过三维云台控制装置对测量末端进行位置与角度的自适应调整，保证测量装置所发射线激光垂直于待测对缝，同时保证测量末端激光发射面与待测对缝所在的局部表面保持平行。
本发明所采取的技术方案为：
一种大型部件对缝间隙与阶差的自适应测量装备，其特征在于，包括AGV运动平台、机械臂、三轴末端控制装置、测量末端、测量系统控制与显示终端、系统供电模块和系统控制模块；AGV运动平台由AGV小车和液压升降平台组成，液压升降平台通过紧固件固定在AGV小车上，机械臂固定在液压升降平台上端面；视觉相机、点激光传感器、线激光传感器通过工装外壳组成测量末端整体；测量末端与三轴末端控制装置的水平辅助轴和垂直辅助轴及旋转主轴连接；三轴末端控制装置通过法兰盘与机械臂进行连接；系统供电模块为自适应测量装备整体供电；系统控制模块分别与AGV运动平台、测量末端和三轴末端控制装置进行信号连接。
进一步的，测量末端由工装外壳通过螺纹钉将视觉相机、点激光传感器与线激光传感器进行固定，三者位置呈线性排列。
进一步的，三轴末端控制装置包括旋转主轴、水平辅助轴和垂直辅助轴；旋转主轴通过电机连接齿轮，再通过齿轮间啮合进行驱动，垂直辅助轴通过电机连接齿轮进行驱动，水平辅助轴在电机带动齿轮啮合皮带的带动下转动。
进一步的，三轴末端控制装置的驱动组件包括驱动电机与减速器。
进一步的，系统供电模块采用统一工业蓄电池进行供电，系统配备转压模块，转换成符合三轴末端控制装置与测量末端所适配的电压实现供电。
一种大型部件对缝间隙与阶差的自适应测量方法，包括如下步骤：
步骤S1、通过离线路径规划，按照既定测量点位顺序，AGV小车带动整体测量平台到达待测点位。
步骤S2、驱动液压升降平台，将与机械臂相连的三轴末端控制装置及测量末端整体升高到测量高度。
步骤S3、通过机械臂运动粗调整测量末端位置，使三轴末端控制装置及测量末端整体到达待测对缝区域，且视觉相机位姿呈朝向对缝姿态。
步骤S4、测量末端采集图像分析对缝位置，获取当前待测对缝位置与整体图片的相对位置信息，根据模板对缝在图像所处位置，计算距离位置转换矩阵，并根据转换矩阵反馈机械臂进行运动，调整测量末端位置至符合测量要求的最终位置。
步骤S5、点激光传感器与线激光传感器采集数据进行分析处理，迭代计算求得线激光点云与点激光点到待测平面的距离，反馈给三轴末端控制装置进行垂直辅助轴调整，使测量末端的激光发射面，平行于待测平面。通过获取当前待测区域激光线与对缝的图像，根据图像处理分析结果，转化成矩阵信息反馈给三轴末端控制装置，三轴末端控制装置通过水平辅助轴调整测量末端位姿，使线激光垂直于待测对缝。
步骤S6、通过线激光实时采集对缝点云数据进行整体处理与分析，得到最终测量结果，并将结果显示在测量系统控制与显示终端上。
进一步地，步骤S4具体包括：
步骤S401、视觉相机获取当前视角图像，对图像进行预处理；
步骤S402、首先对预处理后的图像进行二值化、亚像素化处理，获得亚像素点，然 后通过CoMP技术以亚像素精度提取每列激光线的中心位置，各列中峰值强度的位置可由
Figure 435153DEST_PATH_IMAGE001
得到，其中
Figure 360384DEST_PATH_IMAGE003
代表像素的行，
Figure 522375DEST_PATH_IMAGE004
代表列，H与L分别是上 下边界，由
Figure 849451DEST_PATH_IMAGE005
和
Figure 133802DEST_PATH_IMAGE006
共同决定扫描间隔，
Figure 484012DEST_PATH_IMAGE007
，
Figure 246432DEST_PATH_IMAGE008
，
Figure 428014DEST_PATH_IMAGE009
代表蓝色通道下第i行第j列像素的灰度值，
Figure 883266DEST_PATH_IMAGE010
是一个设定的自适应参数，计算每一列的峰值然后通过参数确定亚像素的坐标位置，从 而确定对缝位置对缝左右两边激光线的起始点与终点亚像素点坐标；
步骤S403、根据S402计算亚像素化后对缝左右两边激光线的起始点与终点四个特 征点
Figure 783089DEST_PATH_IMAGE011
，
Figure 286883DEST_PATH_IMAGE012
，
Figure 322972DEST_PATH_IMAGE013
，
Figure 949125DEST_PATH_IMAGE014
的亚像素点坐标，分别与模板上对应四点
Figure 336244DEST_PATH_IMAGE015
，
Figure 870826DEST_PATH_IMAGE016
，
Figure 27000DEST_PATH_IMAGE017
，
Figure 824055DEST_PATH_IMAGE018
的坐 标关系；
步骤S404、根据S403分别获取四点到模板所对应点亚像素点转化对应方程，通过容差处理获取整体对缝部位图像亚像素点到模板对缝亚像素点的转换关系矩阵；
步骤S405、获取的转换关系矩阵，通过升维处理，转换成可被机械臂控制系统接收的机械臂位姿调整数据；
步骤S406、通过迭代步骤S401-步骤S405，直到对缝在图像中的位置处于图像模板设定容差范围之内，视为完成机械臂对测量末端的粗调。
步骤S5具体包括：
步骤S501、通过对点激光传感器与线激光传感器位姿进行标定，确定局部空间坐标系，在同一坐标系下确定相关点云坐标信息；
步骤S502、获取线激光轮廓数据进行拟合直线上的点云，在S501基础上通过迭代计算每次选取拟合直线点云上两点计算到待测对缝面的距离H1、H2，点激光到待测对缝面的距离H3，直到H1、H2与H3差值均满足在预设阈值容差范围之内，视为测量末端激光发射面平行于待测表面；
步骤S503、通过视觉相机获取当前待测平面图像，通过图像分析，获取当前激光线与对缝夹角，通过迭代计算反馈信息，直到激光线与待测对缝呈垂直状态。
步骤S6具体包括：
步骤S601、获取待测对缝区域轮廓点云数据，构建点云格式vector数组，通过数据流形式传入数组构成点云文件；
步骤S602、对轮廓点云数据进行预处理，通过基于半径的离群点滤波方法，通过遍历查询范围内所有点的半径范围内的内点，对点云进行滤波去噪处理，滤除离群点；
步骤S603、将S602处理后点云设为
Figure 432891DEST_PATH_IMAGE019
，设定阈值Y，遍历
Figure 544066DEST_PATH_IMAGE020
中相邻点欧 氏距离，将所有超出阈值点放入
Figure 554748DEST_PATH_IMAGE021
，按照Z轴坐标对
Figure 522704DEST_PATH_IMAGE022
中的点进行排序，计算他 们与相邻点的距离将距离最大的两个选出，结合在
Figure 618836DEST_PATH_IMAGE022
中的顺序，确定两个边界点
Figure 2544DEST_PATH_IMAGE023
，
Figure 133311DEST_PATH_IMAGE024
，将他们之间的点进行滤除，即可实现间隙零点去除；
步骤S604、利用区域生长算法原理，设置空的聚类区域
Figure 272168DEST_PATH_IMAGE025
和空的种子点序列
Figure 793279DEST_PATH_IMAGE026
，聚类数组L；将初始点加入种子点序列
Figure 42995DEST_PATH_IMAGE026
中，搜索其领域点，计算邻域点与种子点法向夹 角，在满足夹角阈值的情况下，将点放入
Figure 28269DEST_PATH_IMAGE025
中，同时小于曲率阈值放在
Figure 338027DEST_PATH_IMAGE026
中；遍历后删除 当前点并重新选择点，重复上一步操作，至
Figure 844970DEST_PATH_IMAGE026
为空时则完成一次生长，将其加入聚类数组L 中；利用曲率值从小到大排序，按序输入S603中所有点，重复以上生长的步骤完成聚类；实 现对滤波后的点云进行聚类分割，将点云分割为左右两类；
步骤S605、通过特征分析量化临近对缝区域点云数量，并根据结果对聚类分割后的对缝左右点云分别进行定量化分割；
步骤S606、根据S605聚类后的点云进行圆拟合对缝左右点云分别选取不共线的三 点
Figure 898376DEST_PATH_IMAGE027
，
Figure 738156DEST_PATH_IMAGE028
，
Figure 218816DEST_PATH_IMAGE029
，可以得到行列式
Figure 511257DEST_PATH_IMAGE030
，转化 为余子式相乘可以得到
Figure 306038DEST_PATH_IMAGE031
，其中
Figure 324DEST_PATH_IMAGE032
、
Figure 651886DEST_PATH_IMAGE033
、
Figure 634885DEST_PATH_IMAGE034
、
Figure 30094DEST_PATH_IMAGE035
分别代表第一行各元素的余子式，由圆的性质可得圆心坐标为
Figure 578887DEST_PATH_IMAGE036
，半径R为
Figure 666929DEST_PATH_IMAGE037
，分别根据边缘点特征 分析确定左右两边点云靠近间隙的关键边缘点
Figure 871646DEST_PATH_IMAGE038
，
Figure 804966DEST_PATH_IMAGE039
；
步骤S607、根据对缝左右点云聚类后点云进行RANSAC拟合直线，获取拟合直线方 程
Figure 473845DEST_PATH_IMAGE040
与
Figure 732788DEST_PATH_IMAGE041
，结合
Figure 657757DEST_PATH_IMAGE038
，
Figure 660348DEST_PATH_IMAGE039
两个边缘关键点构建对缝阶差计算数学模型，计算对缝 间隙值；
步骤S608、根据对缝左右点云所拟合的直线与关键点，构建对缝间隙计算数学模型，通过S605特征分析量化结果，计算对缝左右点云中较低面的点云临近点云到较高面拟合直线之间的距离，取平均值作为阶差值。
本发明的有益效果在于：
本发明是一种大型部件对缝间隙与阶差的自适应测量装备与方法，图像处理与点云处理技术，采用自主研发的AGV移动平台作为自适应柔性测量平台，可实现对缝间隙阶差的快速自动化测量，提高整体测量效率。本发明中，将图像处理技术与点云处理技术有效融合，通过图像识别算法分析实现测量设备的姿态初步调整，随后采用图像处理与点位分析实现测量末端的姿态进一步调整，最后采用点云算法实现快速、准确的对缝间隙阶差分析。自适应柔性测量方法有效帮助减少操作流程，减小误差、提升检测效率。
本发明最大的创新点就是采用自适应测量末端调整技术，对测量末端进行实时调节，保证了测量终端始终处于测量的最佳角度和位置。本发明克服了传统间隙阶差的人工测量方式繁杂的测量过程，最大程度上减小由于人工操作而导致的偶然误差。本发明采用自动化的检测方式最大程度上减少了人工参与极大地增加了检测效率。
附图说明
图1为本发明的对缝间隙和阶差的自适应柔性测量装备的结构示意图。
图2为本发明的设备使用流程框图。
图3为对缝间隙和阶差测量的算法流程框图。
具体实施方式
下面结合附图和具体的实施例对本发明中的对缝间隙和阶差的自适应柔性测量装备与方法作进一步地详细说明。
如图1所示，对缝间隙和阶差的自适应柔性测量装备所述自适应柔性测量装备包括了AGV运动平台5、机械臂1、三轴末端控制装置8、测量末端2；AGV运动平台5由AGV小车51和液压升降平台4组成，液压升降平台4顶部为移动平台，机械臂1固定在升降平台上，机械臂1末端通过法兰盘3与三轴末端控制装置8相连；三轴末端控制装置8包括旋转主轴27、水平辅助轴25和垂直辅助轴26；旋转主轴27通过电机连接齿轮，再通过齿轮间啮合进行驱动，垂直辅助轴26通过电机连接齿轮进行驱动，水平辅助轴25在电机带动齿轮啮合皮带的带动下转动。
三轴末端控制装置8的三条轴分别与测量末端2相连，测量末端2负责数据采集与测量功能，系统供电模块7为自适应测量装备整体供电。系统配备转压模块71，转换成符合三轴末端控制装置8与测量末端2所适配的电压实现供电。
视觉相机24、点激光传感器22、线激光传感器23通过工装外壳21组成测量末端2整体，测量末端2由工装外壳21通过螺纹钉将视觉相机24、点激光传感器22与线激光传感器23进行固定，三者位置呈线性排列。
作为进一步方案，三轴末端控制装置8三条轴分别由步进电机单独进行控制，通过电机带动齿轮啮合从而带动旋转主轴27转动，实现测量末端在三轴末端控制装置8下的测量末端2整体测量方向调整。通过电机带动齿轮啮合皮带从而带动水平辅助轴25转动，实现测量末端在三轴末端控制装置下的竖直角度移动。通过齿轮之间啮合控制垂直辅助轴26转动，实现测量末端在三轴末端控制装置下的水平角度移动。
如图2所示，对缝间隙和阶差的自适应柔性测量方法，包括如下步骤：
步骤S1、通过离线路径规划，按照既定测量点位顺序，AGV小车51带动整体测量平台到达待测点位。
步骤S2、驱动液压升降平台4，将与机械臂1相连的三轴末端控制装置8及测量末端2整体升高到测量高度。
步骤S3、通过机械臂1运动粗调整测量末端2位置，使三轴末端控制装置8及测量末端2整体到达待测对缝区域，且视觉相机24位姿呈朝向对缝姿态。
步骤S4、测量末端2采集图像分析对缝位置，获取当前待测对缝位置与整体图片的相对位置信息，根据模板对缝在图像所处位置，计算距离位置转换矩阵，并根据距离位置转换矩阵反馈机械臂1进行运动，调整测量末端2位置至符合测量要求的最终位置。
步骤S5、点激光传感器22与线激光传感器23采集数据进行分析处理，迭代计算求得线激光点云与点激光点到待测平面的距离，反馈给三轴末端控制装置8进行垂直辅助轴调整，使测量末端2的激光发射面，平行于待测平面。通过获取当前待测区域激光线与对缝的图像，根据图像处理分析结果，转化成矩阵信息反馈给三轴末端控制装置8，三轴末端控制装置8通过水平辅助轴调整测量末端位姿，使线激光垂直于待测对缝。
步骤S6、通过线激光实时采集对缝点云数据进行整体处理与分析，得到最终测量结果，并将结果显示在测量系统控制与显示终端6上。
步骤S4具体包括：
步骤S401、视觉相机24获取当前视角图像，对图像进行预处理；
步骤S402、首先对预处理后的图像进行二值化、亚像素化处理，获得亚像素点，然 后通过CoMP技术以亚像素精度提取每列激光线的中心位置，各列中峰值强度的位置可由
Figure 183733DEST_PATH_IMAGE042
得到，其中
Figure 285681DEST_PATH_IMAGE003
代表像素的行，
Figure 527307DEST_PATH_IMAGE004
代表列，H与L分别是上下 边界，由
Figure 68009DEST_PATH_IMAGE005
和
Figure 445901DEST_PATH_IMAGE006
共同决定扫描间隔，
Figure 984330DEST_PATH_IMAGE007
，
Figure 447672DEST_PATH_IMAGE043
，
Figure 792066DEST_PATH_IMAGE009
代表蓝色通道下第i行第j列像素的灰度 值，
Figure 290043DEST_PATH_IMAGE044
是一个设定的自适应参数，计算每一列的峰值然后通过参数确定亚像素的坐标位置， 从而确定对缝位置对缝左右两边激光线的起始点与终点亚像素点坐标；
步骤S403、根据S402计算亚像素化后对缝左右两边激光线的起始点与终点四个特 征点
Figure 796111DEST_PATH_IMAGE011
，
Figure 950012DEST_PATH_IMAGE045
，
Figure 832517DEST_PATH_IMAGE013
，
Figure 185001DEST_PATH_IMAGE046
的亚像素点坐标，分别与模板上对应四点
Figure 298188DEST_PATH_IMAGE015
，
Figure 736123DEST_PATH_IMAGE016
，
Figure 422319DEST_PATH_IMAGE047
，
Figure 629310DEST_PATH_IMAGE018
的坐 标关系；
步骤S404、根据S403分别获取四点到模板所对应点亚像素点转化对应方程，通过容差处理获取整体对缝部位图像亚像素点到模板对缝亚像素点的转换关系矩阵；
步骤S405、获取的转换关系矩阵，通过升维处理，转换成可被机械臂控制系统接收的机械臂位姿调整数据；
步骤S406、通过迭代步骤S401-步骤S405，直到对缝在图像中的位置处于图像模板设定容差范围之内，视为完成机械臂对测量末端2的粗调。
步骤S5具体包括：
步骤S501、通过对点激光传感器22与线激光传感器23位姿进行标定，确定局部空间坐标系，在同一坐标系下确定相关点云坐标信息；
步骤S502、获取线激光轮廓数据进行拟合直线上的点云，在S501基础上通过迭代计算每次选取拟合直线点云上两点计算到待测对缝面的距离H1、H2，点激光到待测对缝面的距离H3，直到H1、H2与H3差值均满足在预设阈值容差范围之内，视为测量末端2激光发射面平行于待测表面；
步骤S503、通过视觉相机24获取当前待测平面图像，通过图像分析，获取当前激光线与对缝夹角，通过迭代计算反馈信息，直到激光线与待测对缝呈垂直状态。
如图3所示，步骤S6具体包括：
步骤S601、获取待测对缝区域轮廓点云数据，构建点云格式vector数组，通过数据流形式传入数组构成点云文件；
步骤S602、对轮廓点云数据进行预处理，通过基于半径的离群点滤波方法，通过遍历查询范围内所有点的半径范围内的内点，对点云进行滤波去噪处理，滤除离群点；
步骤S603、将S602处理后点云设为
Figure 680442DEST_PATH_IMAGE048
，设定阈值Y，遍历
Figure 605673DEST_PATH_IMAGE049
中相邻点欧 氏距离，将所有超出阈值点放入
Figure 829981DEST_PATH_IMAGE050
，按照Z轴坐标对
Figure 157057DEST_PATH_IMAGE022
中的点进行排序，计算他 们与相邻点的距离将距离最大的两个选出，结合在
Figure 441408DEST_PATH_IMAGE051
中的顺序，确定两个边界点
Figure 526038DEST_PATH_IMAGE052
，
Figure 554037DEST_PATH_IMAGE053
，将他们之间的点进行滤除，即可实现间隙零点去除；
步骤S604、利用区域生长算法原理，设置空的聚类区域
Figure 735620DEST_PATH_IMAGE025
和空的种子点序列
Figure 190872DEST_PATH_IMAGE054
，聚类数组L；将初始点加入种子点序列
Figure 90695DEST_PATH_IMAGE054
中，搜索其领域点，计算邻域点与种子点法向夹 角，在满足夹角阈值的情况下，将点放入
Figure 594489DEST_PATH_IMAGE025
中，同时小于曲率阈值放在
Figure 630578DEST_PATH_IMAGE054
中；遍历后删除 当前点并重新选择点，重复上一步操作，至
Figure 256731DEST_PATH_IMAGE054
为空时则完成一次生长，将其加入聚类数组L 中；利用曲率值从小到大排序，按序输入S603中所有点，重复以上生长的步骤完成聚类；实 现对滤波后的点云进行聚类分割，将点云分割为左右两类；
步骤S605、通过特征分析量化临近对缝区域点云数量，并根据结果对聚类分割后的对缝左右点云分别进行定量化分割；
步骤S606、根据S605聚类后的点云进行圆拟合对缝左右点云分别选取不共线的三 点
Figure 378271DEST_PATH_IMAGE027
，
Figure 190150DEST_PATH_IMAGE028
，
Figure 346325DEST_PATH_IMAGE055
，可以得到行列式
Figure 143380DEST_PATH_IMAGE056
，转化为余 子式相乘可以得到
Figure 752215DEST_PATH_IMAGE031
，其中
Figure 660129DEST_PATH_IMAGE032
、
Figure 608493DEST_PATH_IMAGE033
、
Figure 576449DEST_PATH_IMAGE034
、分别代 表第一行各元素的余子式，由圆的性质可得圆心坐标为
Figure 672581DEST_PATH_IMAGE036
，半径R为
Figure 384185DEST_PATH_IMAGE057
，分别根据边缘点特征分析确定左右两边点云靠近间隙 的关键边缘点
Figure 514952DEST_PATH_IMAGE058
，
Figure 591493DEST_PATH_IMAGE039
；
步骤S607、根据对缝左右点云聚类后点云进行RANSAC拟合直线，获取拟合直线方 程
Figure 909341DEST_PATH_IMAGE059
与
Figure 424636DEST_PATH_IMAGE060
，结
Figure 409910DEST_PATH_IMAGE061
，
Figure 657352DEST_PATH_IMAGE062
两个边缘关键点构建对缝阶差计算数学模型，计算对缝间 隙值；
步骤S608、根据对缝左右点云所拟合的直线与关键点，构建对缝间隙计算数学模型，通过S605特征分析量化结果，计算对缝左右点云中较低面的点云临近点云到较高面拟合直线之间的距离，取平均值作为阶差值。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (8)

1.一种大型部件对缝间隙与阶差的自适应测量方法，其特征在于，采用大型部件对缝间隙与阶差的自适应测量装备，包括AGV运动平台(5)、机械臂(1)、三轴末端控制装置(8)、测量末端(2)、测量系统控制与显示终端(6)、系统供电模块(7)和系统控制模块；AGV运动平台(5)由AGV小车(51)和液压升降平台(4)组成，液压升降平台(4)通过紧固件固定在AGV小车(51)上，机械臂(1)固定在液压升降平台上端面；视觉相机(24)、点激光传感器(22)、线激光传感器(23)通过工装外壳(21)组成测量末端(2)整体；测量末端(2)与三轴末端控制装置(8)的水平辅助轴(25)和垂直辅助轴(26)及旋转主轴(27)连接；三轴末端控制装置(8)通过法兰盘(3)与机械臂(1)进行连接；系统供电模块(7)为自适应测量装备整体供电；系统控制模块分别与AGV运动平台(5)、测量末端(2)和三轴末端控制装置(8)进行信号连接；自适应测量方法包括如下步骤：
步骤S1、通过离线路径规划，按照既定测量点位顺序，AGV小车(51)带动整体测量平台到达待测点位；
步骤S2、驱动液压升降平台(4)，将与机械臂(1)相连的三轴末端控制装置(8)及测量末端(2)整体升高到测量高度；
步骤S3、通过机械臂(1)运动粗调整测量末端(2)位置，使三轴末端控制装置(8)及测量末端(2)整体到达待测对缝区域，且视觉相机(24)位姿呈朝向对缝姿态；
步骤S4、测量末端(2)采集图像分析对缝位置，获取当前待测对缝位置与整体图片的相对位置信息，根据模板对缝在图像所处位置，计算距离位置转换矩阵，并根据距离位置转换矩阵反馈机械臂(1)进行运动，调整测量末端(2)位置至符合测量要求的最终位置；
步骤S5、点激光传感器(22)与线激光传感器(23)采集数据进行分析处理，迭代计算求得线激光点云与点激光点到待测平面的距离，反馈给三轴末端控制装置(8)进行垂直辅助轴调整，使测量末端(2)的激光发射面，平行于待测平面；通过获取当前待测区域激光线与对缝的图像，根据图像处理分析结果，转化成矩阵信息反馈给三轴末端控制装置(8)，三轴末端控制装置(8)通过水平辅助轴(25)调整测量末端(2)位姿，使线激光垂直于待测对缝；
步骤S6、通过线激光实时采集对缝点云数据进行整体处理与分析，得到最终测量结果，并将结果显示在测量系统控制与显示终端(6)上。
2.根据权利要求1所述的大型部件对缝间隙与阶差的自适应测量方法，其特征在于，测量末端(2)由工装外壳(21)通过螺纹钉将视觉相机(24)、点激光传感器(22)与线激光传感器(23)进行固定，三者位置呈线性排列。
3.根据权利要求1所述的大型部件对缝间隙与阶差的自适应测量方法，其特征在于，三轴末端控制装置(8)包括旋转主轴(27)、水平辅助轴(25)和垂直辅助轴(26)；旋转主轴(27)通过电机连接齿轮，再通过齿轮间啮合进行驱动，垂直辅助轴(26)通过电机连接齿轮进行驱动，水平辅助轴(25)在电机带动齿轮啮合皮带的带动下转动。
4.根据权利要求1所述的大型部件对缝间隙与阶差的自适应测量方法，其特征在于，三轴末端控制装置(8)的驱动组件包括驱动电机与减速器。
5.根据权利要求1-4任一项所述的大型部件对缝间隙与阶差的自适应测量方法，其特征在于，系统供电模块(7)采用统一工业蓄电池进行供电，系统配备转压模块(71)，转换成符合三轴末端控制装置(8)与测量末端(2)所适配的电压实现供电。
6.根据权利要求1所述的大型部件对缝间隙与阶差的自适应测量方法，其特征在于，步骤S4具体包括：
步骤S401、视觉相机(24)获取当前视角图像，对图像进行预处理；
步骤S402、首先对预处理后的图像进行二值化、亚像素化处理，获得亚像素点，然后通 过CoMP技术以亚像素精度提取每列激光线的中心位置，各列中峰值强度的位置可由
Figure DEST_PATH_IMAGE001
得到，其中
Figure 203020DEST_PATH_IMAGE002
代表像素的行，
Figure 815267DEST_PATH_IMAGE003
代表列，H与L分别是上下边 界，由
Figure 696636DEST_PATH_IMAGE004
和
Figure DEST_PATH_IMAGE005
共同决定扫描间隔,
Figure 629694DEST_PATH_IMAGE006
，
Figure DEST_PATH_IMAGE007
，
Figure 827588DEST_PATH_IMAGE008
代表蓝色通道下第i行第j列像素的灰度 值，
Figure DEST_PATH_IMAGE009
是一个设定的自适应参数，计算每一列的峰值然后通过参数确定亚像素的坐标位 置，从而确定对缝位置对缝左右两边激光线的起始点与终点亚像素点坐标；
步骤S403、根据S402计算亚像素化后对缝左右两边激光线的起始点与终点四个特征点
Figure 610737DEST_PATH_IMAGE010
，
Figure DEST_PATH_IMAGE011
，
Figure 890320DEST_PATH_IMAGE012
，
Figure DEST_PATH_IMAGE013
的亚像素点坐标，分别与模板上对应四点
Figure 535059DEST_PATH_IMAGE014
，
Figure DEST_PATH_IMAGE015
，
Figure 102307DEST_PATH_IMAGE016
，
Figure DEST_PATH_IMAGE017
的坐标关 系；
步骤S404、根据S403分别获取四点到模板所对应点亚像素点转化对应方程，通过容差处理获取整体对缝部位图像亚像素点到模板对缝亚像素点的转换关系矩阵；
步骤S405、获取的转换关系矩阵，通过升维处理，转换成可被机械臂控制系统接收的机械臂位姿调整数据；
步骤S406、通过迭代步骤S401-步骤S405，直到对缝在图像中的位置处于图像模板设定容差范围之内，视为完成机械臂对测量末端(2)的粗调。
7.根据权利要求1所述的大型部件对缝间隙与阶差的自适应测量方法，其特征在于，步骤S5具体包括：
步骤S501、通过对点激光传感器(22)与线激光传感器(23)位姿进行标定，确定局部空间坐标系，在同一坐标系下确定相关点云坐标信息；
步骤S502、获取线激光轮廓数据进行拟合直线上的点云，在S501基础上通过迭代计算每次选取拟合直线点云上两点计算到待测对缝面的距离H1、H2，点激光到待测对缝面的距离H3，直到H1、H2与H3差值均满足在预设阈值容差范围之内，视为测量末端(2)激光发射面平行于待测表面；
步骤S503、通过视觉相机(24)获取当前待测平面图像，通过图像分析，获取当前激光线与对缝夹角，通过迭代计算反馈信息，直到激光线与待测对缝呈垂直状态。
8.根据权利要求1所述的大型部件对缝间隙与阶差的自适应测量方法，其特征在于，步骤S6具体包括：
步骤S601、获取待测对缝区域轮廓点云数据，构建点云格式vector数组，通过数据流形式传入数组构成点云文件；
步骤S602、对轮廓点云数据进行预处理，通过基于半径的离群点滤波方法，通过遍历查询范围内所有点的半径范围内的内点，对点云进行滤波去噪处理，滤除离群点；
步骤S603、将S602处理后点云设为
Figure 305624DEST_PATH_IMAGE018
，设定阈值Y，遍历
Figure DEST_PATH_IMAGE019
中相邻点欧氏距 离，将所有超出阈值点放入
Figure 568109DEST_PATH_IMAGE020
，按照Z轴坐标对
Figure DEST_PATH_IMAGE021
中的点进行排序，计算他们与 相邻点的距离将距离最大的两个选出，结合在
Figure 228DEST_PATH_IMAGE021
中的顺序，确定两个边界点
Figure 890823DEST_PATH_IMAGE022
，
Figure DEST_PATH_IMAGE023
，将他们之间的点进行滤除，即可实现间隙零点去除；
步骤S604、利用区域生长算法原理，设置空的聚类区域
Figure 327359DEST_PATH_IMAGE024
和空的种子点序列
Figure DEST_PATH_IMAGE025
，聚类 数组L；将初始点加入种子点序列
Figure 14823DEST_PATH_IMAGE025
中，搜索其领域点，计算邻域点与种子点法向夹角，在 满足夹角阈值的情况下，将点放入
Figure 719474DEST_PATH_IMAGE024
中，同时小于曲率阈值放在
Figure 464576DEST_PATH_IMAGE025
中；遍历后删除当前 点并重新选择点，重复上一步操作，至
Figure 275275DEST_PATH_IMAGE025
为空时则完成一次生长，将其加入聚类数组L中； 利用曲率值从小到大排序，按序输入S603中所有点，重复以上生长的步骤完成聚类；实现对 滤波后的点云进行聚类分割，将点云分割为左右两类；
步骤S605、通过特征分析量化临近对缝区域点云数量，并根据结果对聚类分割后的对缝左右点云分别进行定量化分割；
步骤S606、根据S605聚类后的点云进行圆拟合对缝左右点云分别选取不共线的三点
Figure 840248DEST_PATH_IMAGE026
，
Figure DEST_PATH_IMAGE027
，
Figure 692798DEST_PATH_IMAGE028
可以得到行列式
Figure DEST_PATH_IMAGE029
，转化为 余子式相乘可以得到
Figure 620303DEST_PATH_IMAGE030
，其中
Figure DEST_PATH_IMAGE031
、
Figure 533727DEST_PATH_IMAGE032
、
Figure DEST_PATH_IMAGE033
、
Figure 445051DEST_PATH_IMAGE034
分别代表第一行各元素的余子式，由圆的性质可得圆心坐标为
Figure 304554DEST_PATH_IMAGE035
，半径R为
Figure DEST_PATH_IMAGE036
，分别根据边缘点特征分析确定左右两边点云 靠近间隙的关键边缘点
Figure 289827DEST_PATH_IMAGE037
，
Figure 707908DEST_PATH_IMAGE038
；
步骤S607、根据对缝左右点云聚类后点云进行RANSAC拟合直线，获取拟合直线方程
Figure DEST_PATH_IMAGE039
与
Figure 44211DEST_PATH_IMAGE040
，结合
Figure 441826DEST_PATH_IMAGE037
，
Figure 16026DEST_PATH_IMAGE038
两个边缘关键点构建对缝阶差计算数学模型，计算对缝间 隙值；
步骤S608、根据对缝左右点云所拟合的直线与关键点，构建对缝间隙计算数学模型，通过S605特征分析量化结果，计算对缝左右点云中较低面的点云临近点云到较高面拟合直线之间的距离，取平均值作为阶差值。
CN202211086889.0A 2022-09-07 2022-09-07 一种大型部件对缝间隙与阶差的自适应测量装备与方法 Active CN115164752B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211086889.0A CN115164752B (zh) 2022-09-07 2022-09-07 一种大型部件对缝间隙与阶差的自适应测量装备与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211086889.0A CN115164752B (zh) 2022-09-07 2022-09-07 一种大型部件对缝间隙与阶差的自适应测量装备与方法

Publications (2)

Publication Number Publication Date
CN115164752A CN115164752A (zh) 2022-10-11
CN115164752B true CN115164752B (zh) 2022-11-22

Family

ID=83481280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211086889.0A Active CN115164752B (zh) 2022-09-07 2022-09-07 一种大型部件对缝间隙与阶差的自适应测量装备与方法

Country Status (1)

Country Link
CN (1) CN115164752B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115597512B (zh) * 2022-12-14 2023-04-07 南京航空航天大学 一种汽车间隙测量及误差矫正方法
CN117884889B (zh) * 2024-03-18 2024-05-24 南京航空航天大学 一种零件自动定位与装配系统及自动作业方法
CN118328858A (zh) * 2024-04-18 2024-07-12 南京航空航天大学 一种用于飞机表面紧固件的自动化测量系统与方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08122021A (ja) * 1994-10-25 1996-05-17 Tokai Rika Co Ltd 寸法測定器
CN106002022A (zh) * 2016-06-07 2016-10-12 湘潭大学 单目自适应交叉激光视觉的波纹板焊缝跟踪传感器
CN107830832A (zh) * 2017-10-30 2018-03-23 北京颐和海纳科技有限公司 工件轮廓扫描系统及方法
CN108151660A (zh) * 2017-12-29 2018-06-12 西北工业大学 一种飞机部件对接间隙和阶差的测量装备、方法及系统
CN111137468A (zh) * 2019-12-20 2020-05-12 清华大学 多约束条件的飞机蒙皮调姿方法及系统
CN111811400A (zh) * 2020-06-28 2020-10-23 南京航空航天大学 一种基于agv与激光跟踪仪的组合定位装置及方法
CN113335557A (zh) * 2021-04-30 2021-09-03 成都飞机工业（集团）有限责任公司 一种飞机机身表面装配质量数字化检测方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08122021A (ja) * 1994-10-25 1996-05-17 Tokai Rika Co Ltd 寸法測定器
CN106002022A (zh) * 2016-06-07 2016-10-12 湘潭大学 单目自适应交叉激光视觉的波纹板焊缝跟踪传感器
CN107830832A (zh) * 2017-10-30 2018-03-23 北京颐和海纳科技有限公司 工件轮廓扫描系统及方法
CN108151660A (zh) * 2017-12-29 2018-06-12 西北工业大学 一种飞机部件对接间隙和阶差的测量装备、方法及系统
CN111137468A (zh) * 2019-12-20 2020-05-12 清华大学 多约束条件的飞机蒙皮调姿方法及系统
CN111811400A (zh) * 2020-06-28 2020-10-23 南京航空航天大学 一种基于agv与激光跟踪仪的组合定位装置及方法
CN113335557A (zh) * 2021-04-30 2021-09-03 成都飞机工业（集团）有限责任公司 一种飞机机身表面装配质量数字化检测方法及系统

Also Published As

Publication number Publication date
CN115164752A (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN115164752B (zh) 一种大型部件对缝间隙与阶差的自适应测量装备与方法
CN110014426B (zh) 一种利用低精度深度相机高精度抓取形状对称工件的方法
CN110370286B (zh) 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法
CN112122840B (zh) 一种基于机器人焊接的视觉定位焊接系统及焊接方法
CN109612390B (zh) 基于机器视觉的大尺寸工件自动测量系统
JP4021413B2 (ja) 計測装置
CN110919134A (zh) 一种管板定位焊接方法
CN109794938A (zh) 一种适用于曲面结构的机器人制孔误差补偿装置及其方法
CN112325796A (zh) 基于辅助定位多视角点云拼接的大型工件型面测量方法
EP3407088A1 (en) Systems and methods for tracking location of movable target object
CN107214703A (zh) 一种基于视觉辅助定位的机器人自标定方法
CN111618873B (zh) 一种具有仪表识别功能的防爆巡检机器人及其识别方法
CN115026683B (zh) 一种基于多机器人协同的航空叶片磨抛装置及控制方法
CN117047237B (zh) 一种异形件智能柔性焊接系统与方法
CN118386236A (zh) 基于线激光扫描与立体视觉结合的免示教机器人自主焊接打磨方法
CN113172632A (zh) 一种基于图像的简化机器人视觉伺服控制方法
CN112658643A (zh) 接插件装配方法
CN114800542B (zh) 螺旋锥齿轮全角度柔性打磨机器装置、打磨方法及系统
CN113618367B (zh) 基于七自由度并联双模块机器人的多视觉空间装配系统
CN114660579A (zh) 一种全自动激光雷达与相机标定方法
CN110992416A (zh) 基于双目视觉与cad模型的高反光面金属零件位姿测量方法
CN111376272B (zh) 用于壳体结构三维扫描过程的机器人测量路径规划方法
CN117565575A (zh) 一种喷墨打印机喷头自动调节的方法、设备及存储介质
CN116372938A (zh) 一种基于双目立体视觉三维重建的表取采样机械臂精调方法及其装置
CN116160160A (zh) 一种基于机器人遍历空间曲线参数的焊接方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant