CN111008607B - 一种视觉伺服飞机舱门缝隙自动化激光扫描方法和系统 - Google Patents

一种视觉伺服飞机舱门缝隙自动化激光扫描方法和系统 Download PDF

Info

Publication number
CN111008607B
CN111008607B CN201911262588.7A CN201911262588A CN111008607B CN 111008607 B CN111008607 B CN 111008607B CN 201911262588 A CN201911262588 A CN 201911262588A CN 111008607 B CN111008607 B CN 111008607B
Authority
CN
China
Prior art keywords
cabin door
gap
door gap
mechanical arm
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911262588.7A
Other languages
English (en)
Other versions
CN111008607A (zh
Inventor
汪俊
彭建林
杨建平
赵安安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201911262588.7A priority Critical patent/CN111008607B/zh
Publication of CN111008607A publication Critical patent/CN111008607A/zh
Application granted granted Critical
Publication of CN111008607B publication Critical patent/CN111008607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00—Arms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视觉伺服飞机舱门缝隙自动化激光扫描方法，包括：基于全卷积神经网络搭建舱门缝隙特征提取模型，对舱门缝隙特征提取模型进行训练；将舱门缝隙的全局图像导入舱门缝隙特征提取模型，利用舱门缝隙特征提取模型提取舱门缝隙的全局特征图，利用路径生成算法得到全局扫描路径；获取机械臂所在位置的舱门缝隙局部图像，采用舱门缝隙特征提取模型提取舱门缝隙局部特征图，在全局扫描路径、视觉伺服以及垂直距离控制的综合作用下，控制机械臂沿全局扫描路径移动，同时采用机械臂末端挂载的激光扫描仪对舱门缝隙进行扫描。本发明能够成功解决现有技术对飞机舱门缝隙扫描自动化程度低以及传统算法边缘特征提取鲁棒性不够的问题。

Description

一种视觉伺服飞机舱门缝隙自动化激光扫描方法和系统
技术领域
本发明涉及计算机视觉技术领域，具体而言涉及一种基于深度学习的视觉伺服飞机舱门缝隙自动化激光扫描方法和系统。
背景技术
飞机舱门缝隙的检测是飞机舱门生产装配检测的重要环节之一。一方面，通过对缝隙的检测，可以确定飞机舱门与门框的配合精度是否达到要求；另一方面，在获取舱门缝隙扫描数据后，可应用于虚拟装配中，在零件制造前便可通过虚拟装配的方法确定舱门模型是否符合要求。
近年来，数字化测量技术在航空制造中的应用越来月广泛，为飞机的检测提供了高效率、高精度的测量手段，正逐渐替代基于模拟量传递的传统检测方式。针对飞机舱门缝隙数字化测量来说，目前仍存在以下问题：大多数数字化测量设备的开发不够深入，自动化应用程度较低，未能形成统一的测量流程和测量规范，主要依靠人工手持三维扫描仪进行扫描，对人员技术熟练度的依赖程度较高。
在自动化扫描路径规划中，常常需要根据缝隙特征取规划全局及局部扫描路径。传统的边缘特征提取算法主要有Roberts算法、Sobel算法以及Laplacian算法等等。但是Roberts算法对于噪声比较敏感，不适用于环境噪声较多的场景；Sobel算法对边缘定位不够稳定；Laplacian算法同样对噪声比较敏感。总的来说，传统的边缘特征提取算法鲁棒性有待增强。近年来，人工智能飞速发展，深度学习对计算机视觉起到了极大的推动作用，基于深度学习的特征提取具有很好的鲁棒性。例如专利号为CN108875740A的发明专利“一种应用于激光切割机的机器视觉切割方法”中公开了一种应用于激光切割机的机器视觉切割方法，包括图像畸变矫正模块、图像轮廓识别模块、基于监督式机器学习的参数优化模块和切割路径生成模块；图像畸变矫正模块对采集的图像进行处理获得原始图像，图像轮廓识别模块对原始图像进行轮廓识别，切割路径生成模块根据轮廓识别结果生成激光切割机的切割路径，通过基于监督式机器学习的参数优化模块对图像轮廓识别模块进行优化，使得图像轮廓识别模块识别轮廓提取更精确。本发明方法具有操作简单、识别精度高、识别速度快等优点，能够适应复杂的生产环境，提高了激光切割机的泛用性。通过使用机器学习技术，在处理图像判例越来越多的过程中，实现参数的自动优化，极大地提高了识别效果和环境适应能力。但此类现有技术通常是通过深度学习全局图像，生成切割机/机械臂的运动路径，进而驱使机械臂按照运动路径移动并执行对应的工作，对机械臂运动过程中的各种细节不再关注，更没有提及如何结合深度学习和视觉伺服对机械臂进行更高精度的操纵。尤其是对诸如飞机舱门缝隙的应用(包括特征提取、运动路径生成方法、结合图像深度学习和视觉伺服控制的工作原理等)未见有相应研究及报道。
发明内容
本发明目的在于提供一种视觉伺服飞机舱门缝隙自动化激光扫描方法和系统，通过深度学习全局原图实现路径规划，结合深度学习局部原图技术、视觉伺服技术、机械臂的细部控制技术实现机械臂的自动化操作过程，成功解决现有技术对飞机舱门缝隙扫描自动化程度低以及传统算法边缘特征提取鲁棒性不够的问题。
为达成上述目的，结合图1，本发明提出一种视觉伺服飞机舱门缝隙自动化激光扫描方法，所述扫描方法包括：
S1：基于全卷积神经网络搭建舱门缝隙特征提取模型，对舱门缝隙特征提取模型进行训练；
S2：将舱门缝隙的全局图像导入舱门缝隙特征提取模型，利用舱门缝隙特征提取模型提取舱门缝隙的全局特征图，利用路径生成算法得到全局扫描路径；
S3：获取机械臂所在位置的舱门缝隙局部图像，采用舱门缝隙特征提取模型提取舱门缝隙局部特征图，在全局扫描路径、视觉伺服以及垂直距离控制的综合作用下，控制机械臂沿全局扫描路径移动，同时采用机械臂末端挂载的激光扫描仪对舱门缝隙进行扫描。
进一步的实施例中，步骤S1中，所述基于全卷积神经网络搭建舱门缝隙特征提取模型，对舱门缝隙特征提取模型进行训练的过程包括以下步骤：
S11：通过相机获取舱门缝隙样本集(包括全局舱门缝隙图像和局部舱门缝隙图像)；
S12：筛选有效图集，利用labelme工具对图像中的缝隙进行标注，标注类别包括背景和缝隙两种，将数据集划分为训练集和测试集；
S13：搭建全卷积神经网络，网络整体架构采用语义分割网络deeplab v3+，数据集更换为舱门缝隙数据集；
S14：利用训练集对全卷积神经网络进行训练，并利用测试集验证全卷积神经网络提取缝隙特征的效果。
进一步的实施例中，所述方法还包括：
采用设置在机械臂上的相机以获取舱门缝隙的全局图像或机械臂所在位置的舱门缝隙局部图像。
进一步的实施例中，步骤S2中，所述利用路径生成算法得到全局扫描路径的过程包括以下步骤：
S21：将全局特征图转化为全局二值图，属于背景部分像素值设为0，属于缝隙特征部分像素值设为255；
S22：将全局二值图划分为50x50的网格，对于每个含有缝隙特征的网格，利用公式
Figure GDA0002630977670000021
求得该网格缝隙特征的中心；
设Pi(Xi,Yi)为该网格缝隙特征中心坐标，
Figure GDA0002630977670000022
为该网格像素值是255的像素坐标，将该网格的缝隙特征整合为一个点Pi(Xi,Yi)；
对所有带缝隙特征的网格进行此操作，以使缝隙特征最终简化为一系列点集Q(P1,P2,…,Pn)；
S23：设定点间最小距离Dmin，求点P1与其余点的距离d1i,若d1i<Dmin,把Pi移出点集Q；
S24：依次选取点集Q中剩余点重复步骤S23，直至处理完成所有点Pn；
S25：选取点集Q中点Pi(Xi,Yi)，作为第一个元素L1储存在链表L中；
S26：利用距离公式
Figure GDA0002630977670000031
选出点集Q中距离点Pi(Xi,Yi)最近的特征点的PK,将其插入链表L的尾端，作为第二个元素L2；
S27：在点集Q中选出不在链表L中，且与链尾元素点距离最近的点Pd，将其插入链尾；
S28：重复操作S27，直到点集Q中所有点都被插入链表L，并将链尾标记Ln,end；
S29：取出链表Ld+1位置的特征点Pm(Xm,Ym)，向量
Figure GDA0002630977670000032
即为位于链表的Ld的特征点Pj(Xj,Yj)的方向，如果Ld位于链尾，则Ld+1为链头；
S210：根据获取的每个特征点的方向，得到全局扫描路径。
进一步的实施例中，步骤S3中，所述获取机械臂所在位置的舱门缝隙局部图像，采用舱门缝隙特征提取模型提取舱门缝隙局部特征图，在全局扫描路径、视觉伺服以及垂直距离控制的综合作用下，控制机械臂沿全局扫描路径移动，同时采用机械臂末端挂载的激光扫描仪对舱门缝隙进行扫描的过程包括以下步骤：
S31：通过机械臂前端的相机获取舱门缝隙局部图像；
S32：舱门缝隙局部图像利用opencv中的ORB算法与舱门缝隙的全局图像进行Match定位，确定舱门缝隙局部图像位于全局图像中的位置，其中下一次Match定位寻找范围为临近上一次Match定位确定位置处，将位置映射到带全局扫描路径信息的全局特征图，进而获取机械臂下一刻前进方向；
S33：将舱门缝隙局部图像输入舱门缝隙特征提取模型，得到舱门缝隙局部特征图；
S34：利用视觉伺服，调整机械臂往逼近缝隙中心的方向移动；
S35：利用安装在机械臂前端的距离传感器得到扫描仪与舱门缝隙的距离，调整机械臂与舱门缝隙的垂直距离，使扫描仪的扫描距离向最佳扫描距离逼近；
S36：综合步骤S32、S34和S35的作用结果，控制机械臂运动；
S37：使用机械臂末端挂载的扫描仪对舱门缝隙进行扫描；
S38：判断机械臂末端是否到达扫描终点，若未到达，重复上述步骤S31-步骤S37，直到机械臂末端到达扫描终点。
进一步的实施例中，步骤S34中，所述利用视觉伺服，调整机械臂往逼近缝隙中心的方向移动的过程包括以下步骤：
S341：将局部特征图转化为局部二值图，属于背景部分像素值设为0，属于缝隙特征部分像素值设为255；
S342：利用函数
Figure GDA0002630977670000041
求出特征代表点(x,y)，其中(x,y)为特征代表点的坐标，(xi,yi)为局部特征图中像素值为255的像素坐标，将局部二值图中的缝隙特征表示为特征代表点(x,y)；
S343：设局部特征图中心点坐标为(xcentre,ycentre)，机械臂视觉伺服移动方向为
Figure GDA0002630977670000042
本发明还提及一种视觉伺服飞机舱门缝隙自动化激光扫描系统，所述扫描系统包括：
(1)机械臂；
(2)设置在机械臂上的激光扫描仪、相机和距离传感器；
(3)与机械臂、激光扫描仪、相机和距离传感器分别连接的控制装置，所述控制装置内嵌有前述视觉伺服飞机舱门缝隙自动化激光扫描方法的控制软件。
以上本发明的技术方案，与现有相比，其显著的有益效果在于：
通过深度学习全局原图实现路径规划，结合深度学习局部原图技术、视觉伺服技术、机械臂的细部控制技术实现机械臂的自动化操作过程，对于边缘特征提取鲁棒性高，飞机舱门缝隙扫描自动化程度高，对操作人员的依赖度低，减少了人力损耗，提高了扫描过程的精度，便于过程追溯。
应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：
图1为本发明的视觉伺服飞机舱门缝隙自动化激光扫描方法流程示意图。
图2为本发明的视觉伺服飞机舱门缝隙自动化激光扫描系统的结构示意图。
图3为舱门缝隙特征提取模块的深度网络结构图。
图4为舱门缝隙全局相关示意图，其中4a为舱门缝隙全局原图，4b为舱门缝隙全局特征图，4c为舱门缝隙全局二值图，4d为简化为一系列点的舱门缝隙全局二值图。
图5为链表示意图。
图6为舱门缝隙局部相关示意图，其中，6a为舱门缝隙局部原图，6b为舱门缝隙局部特征图，6c为舱门缝隙局部二值图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
如图2所示为本发明设备装置图。机械臂，用于搭载激光扫描仪、相机以及距离传感器完成轨迹运动；扫描仪，用于对舱门缝隙进行扫描，得到缝隙的三维点云数据；相机，用于在扫描过程中拍摄舱门缝隙局部图像；距离传感器，用于获取扫描仪距离舱门缝隙的垂直距离。
结合图1，本发明提供了一种基于深度学习的视觉伺服飞机舱门缝隙自动化激光扫描方法，包括以下步骤：
步骤A1：搭建全卷积神经网络，并完成全卷积神经网络的训练。
(1)通过相机获取舱门缝隙样本集(包括全局舱门缝隙图像和局部舱门缝隙图像)。
(2)筛选有效图集，利用labelme工具对图像中的缝隙进行标注，标注类别有两种(背景和缝隙)，把数据集划分为训练集和测试集。
(3)如图3所示，搭建全卷积神经网络，网络整体架构采用语义分割网络deeplabv3+，数据集更换为舱门缝隙数据集。
(4)利用训练集对全卷积神经网络进行训练，并利用测试集验证全卷积神经网络提取缝隙特征的效果，最终得到应用于本发明全卷积神经网络。
步骤A2：利用全卷积神经网络提取舱门缝隙的全局特征图，并利用路径生成算法得到全局扫描路径。
(1)利用相机获取舱门缝隙全局图像(以下称全局原图)，全局原图如图4a所示。
(2)将全局原图输入全卷积神经网络，得到舱门缝隙全局特征图(以下称全局特征图)，全局特征图如图4b所示。
(3)将全局特征图转化为全局二值图(属于背景部分像素值设为0，属于缝隙特征部分像素值设为255)，全局二值图如图4c所示。
(4)全局二值图划分为50x50的网格，对于每个含有缝隙特征的网格，利用公式
Figure GDA0002630977670000051
求得该网格缝隙特征的中心，其中Pi(Xi,Yi)为该网格缝隙特征中心坐标，
Figure GDA0002630977670000052
为该网格像素值是255的像素坐标。该网格的缝隙特征整合为一个点Pi(Xi,Yi)，所有带缝隙特征的网格进行此操作，缝隙特征最终简化为一系列点集Q(P1,P2,…,Pn)。
(5)设定点间最小距离Dmin，求点P1与其余点的距离d1i,若d1i<Dmin,把Pi移出点集Q。
(6)点集Q中剩余点重复步骤(5)，直至点Pn完成步骤(5)，经过以上操作，得到简化为一系列点的舱门缝隙全局二值图全局，如图4-d所示。
(7)选取点集Q中点Pi(Xi,Yi)，作为第一个元素L1储存在链表L中。
(8)利用距离公式
Figure GDA0002630977670000061
选出点集Q中距离点Pi(Xi,Yi)最近的特征点的PK,将其插入链表L的尾端,作为第二个元素L2。
(9)在点集Q中选出不在链表L中，且与链尾元素点距离最近的点Pd，将其插入链尾。
(10)重复操作(9)，直到点集Q中所有点都被插入链表L，并将链尾标记Ln,end，最终得到的链表L如图5所示。
(11)对于特征点Pj(Xj,Yj)(位于链表的Ld位置)的方向：取出链表Ld+1位置的特征点Pm(Xm,Ym)，向量
Figure GDA0002630977670000062
即为特征点Pj(Xj,Yj)的方向，如果Ld位于链尾，则Ld+1为链头。
(12)经过上述步骤即可得出每个特征点的方向，进而得到全局扫描路径。
步骤A3：通过机械臂前端的相机获取舱门缝隙局部图像，使用全卷积神经网络提取舱门缝隙局部特征图。在全局扫描路径、视觉伺服以及垂直距离控制的综合作用下，控制机械臂移动，同时使用机械臂末端挂载的扫描仪对舱门缝隙进行扫描。
(1)通过机械臂前端的相机获取舱门缝隙局部图像(以下称局部原图)，局部原图如图6a所示。
(2)局部原图利用opencv中的ORB算法与全局原图进行Match定位，确定局部原图位于全局原图中的位置(其中下一次Match定位寻找范围应为上一次Match定位确定位置的附近)，将位置映射到带全局扫描路径信息的全局特征图，进而获取机械臂下一刻前进方向。
(3)将局部原图输入全卷积神经网络，得到舱门缝隙局部特征图(以下称局部特征图)，局部特征图如图6b所示。
(4)把局部特征图转化为局部二值图(属于背景部分像素值设为0，属于缝隙特征部分像素值设为255)，局部二值图如图6c所示。
(5)利用函数
Figure GDA0002630977670000063
求出特征代表点(x,y)，其中(x,y)为特征代表点的坐标，(xi,yi)为局部特征图中像素值为255的像素坐标，将局部二值图中的缝隙特征表示为特征代表点(x,y)。
(6)局部特征图中心点坐标为(xcentre,ycentre)，机械臂视觉伺服移动方向为
Figure GDA0002630977670000064
(7)利用安装在机械臂前端的距离传感器得到扫描仪与舱门缝隙的距离，调整机械臂与舱门缝隙的垂直距离，使扫描仪的扫描距离向最佳扫描距离逼近。
(8)综合步骤(2)、(6)和(7)，控制机械臂运动。
(9)使用机械臂末端挂载的扫描仪对舱门缝隙进行扫描。
(10)判断机械臂末端是否回到初始扫描点，若未到达，重复上述步骤E1-步骤E7，直到机械臂末端回到初始扫描点。
在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定义在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (6)

1.一种视觉伺服飞机舱门缝隙自动化激光扫描方法，其特征在于，所述扫描方法包括：
S1：基于全卷积神经网络搭建舱门缝隙特征提取模型，对舱门缝隙特征提取模型进行训练；
S2：将舱门缝隙的全局图像导入舱门缝隙特征提取模型，利用舱门缝隙特征提取模型提取舱门缝隙的全局特征图，利用路径生成算法得到全局扫描路径；
S3：获取机械臂所在位置的舱门缝隙局部图像，采用舱门缝隙特征提取模型提取舱门缝隙局部特征图，在全局扫描路径、视觉伺服以及垂直距离控制的综合作用下，控制机械臂沿全局扫描路径移动，同时采用机械臂末端挂载的激光扫描仪对舱门缝隙进行扫描；
步骤S3中，所述获取机械臂所在位置的舱门缝隙局部图像，采用舱门缝隙特征提取模型提取舱门缝隙局部特征图，在全局扫描路径、视觉伺服以及垂直距离控制的综合作用下，控制机械臂沿全局扫描路径移动，同时采用机械臂末端挂载的激光扫描仪对舱门缝隙进行扫描的过程包括以下步骤：
S31：通过机械臂前端的相机获取舱门缝隙局部图像；
S32：舱门缝隙局部图像利用opencv中的ORB算法与舱门缝隙的全局图像进行Match定位，确定舱门缝隙局部图像位于全局图像中的位置，其中下一次Match定位寻找范围为临近上一次Match定位确定位置处，将位置映射到带全局扫描路径信息的全局特征图，进而获取机械臂下一刻前进方向；
S33：将舱门缝隙局部图像输入舱门缝隙特征提取模型，得到舱门缝隙局部特征图；
S34：利用视觉伺服，调整机械臂往逼近缝隙中心的方向移动；
S35：利用安装在机械臂前端的距离传感器得到扫描仪与舱门缝隙的距离，调整机械臂与舱门缝隙的垂直距离，使扫描仪的扫描距离向最佳扫描距离逼近；
S36：综合步骤S32、S34和S35的作用结果，控制机械臂运动；
S37：使用机械臂末端挂载的扫描仪对舱门缝隙进行扫描；
S38：判断机械臂末端是否到达扫描终点，若未到达，重复上述步骤S31-步骤S37，直到机械臂末端到达扫描终点。
2.根据权利要求1所述的视觉伺服飞机舱门缝隙自动化激光扫描方法，其特征在于，步骤S1中，所述基于全卷积神经网络搭建舱门缝隙特征提取模型，对舱门缝隙特征提取模型进行训练的过程包括以下步骤：
S11：通过相机获取舱门缝隙样本集，包括全局舱门缝隙图像和局部舱门缝隙图像；
S12：筛选有效图集，利用labelme工具对图像中的缝隙进行标注，标注类别包括背景和缝隙两种，将数据集划分为训练集和测试集；
S13：搭建全卷积神经网络，网络整体架构采用语义分割网络deeplab v3+，数据集更换为舱门缝隙数据集；
S14：利用训练集对全卷积神经网络进行训练，并利用测试集验证全卷积神经网络提取缝隙特征的效果。
3.根据权利要求1所述的视觉伺服飞机舱门缝隙自动化激光扫描方法，其特征在于，所述方法还包括：
采用设置在机械臂上的相机以获取舱门缝隙的全局图像或机械臂所在位置的舱门缝隙局部图像。
4.根据权利要求1所述的视觉伺服飞机舱门缝隙自动化激光扫描方法，其特征在于，步骤S2中，所述利用路径生成算法得到全局扫描路径的过程包括以下步骤：
S21：将全局特征图转化为全局二值图，属于背景部分像素值设为0，属于缝隙特征部分像素值设为255；
S22：将全局二值图划分为50x50的网格，对于每个含有缝隙特征的网格，利用公式
Figure FDA0002630977660000021
求得该网格缝隙特征的中心；
设Pi(Xi,Yi)为该网格缝隙特征中心坐标，
Figure FDA0002630977660000022
为该网格像素值是255的像素坐标，将该网格的缝隙特征整合为一个点Pi(Xi,Yi)；
对所有带缝隙特征的网格进行此操作，以使缝隙特征最终简化为一系列点集Q(P1,P2,…,Pn)；
S23：设定点间最小距离Dmin，求点P1与其余点的距离d1i,若d1i<Dmin,把Pi移出点集Q；
S24：依次选取点集Q中剩余点重复步骤S23，直至处理完成所有点Pn；
S25：选取点集Q中点Pi(Xi,Yi)，作为第一个元素L1储存在链表L中；
S26：利用距离公式
Figure FDA0002630977660000023
选出点集Q中距离点Pi(Xi,Yi)最近的特征点的PK,将其插入链表L的尾端，作为第二个元素L2；
S27：在点集Q中选出不在链表L中，且与链尾元素点距离最近的点Pd，将其插入链尾；
S28：重复操作S27，直到点集Q中所有点都被插入链表L，并将链尾标记Ln,end；
S29：取出链表Ld+1位置的特征点Pm(Xm,Ym)，向量
Figure FDA0002630977660000024
即为位于链表的Ld的特征点Pj(Xj,Yj)的方向，如果Ld位于链尾，则Ld+1为链头；
S210：根据获取的每个特征点的方向，得到全局扫描路径。
5.根据权利要求1所述的视觉伺服飞机舱门缝隙自动化激光扫描方法，其特征在于，步骤S34中，所述利用视觉伺服，调整机械臂往逼近缝隙中心的方向移动的过程包括以下步骤：
S341：将局部特征图转化为局部二值图，属于背景部分像素值设为0，属于缝隙特征部分像素值设为255；
S342：利用函数
Figure FDA0002630977660000025
求出特征代表点(x,y)，其中(x,y)为特征代表点的坐标，(xi,yi)为局部特征图中像素值为255的像素坐标，将局部二值图中的缝隙特征表示为特征代表点(x,y)；
S343：设局部特征图中心点坐标为(xcentre,ycentre)，机械臂视觉伺服移动方向为
Figure FDA0002630977660000031
6.一种视觉伺服飞机舱门缝隙自动化激光扫描系统，所述扫描系统包括：
机械臂；
设置在机械臂上的激光扫描仪、相机和距离传感器；
与机械臂、激光扫描仪、相机和距离传感器分别连接的控制装置，所述控制装置内嵌有如权利要求1-5所述视觉伺服飞机舱门缝隙自动化激光扫描方法的控制软件。
CN201911262588.7A 2019-12-11 2019-12-11 一种视觉伺服飞机舱门缝隙自动化激光扫描方法和系统 Active CN111008607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911262588.7A CN111008607B (zh) 2019-12-11 2019-12-11 一种视觉伺服飞机舱门缝隙自动化激光扫描方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911262588.7A CN111008607B (zh) 2019-12-11 2019-12-11 一种视觉伺服飞机舱门缝隙自动化激光扫描方法和系统

Publications (2)

Publication Number Publication Date
CN111008607A CN111008607A (zh) 2020-04-14
CN111008607B true CN111008607B (zh) 2020-09-29

Family

ID=70114304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911262588.7A Active CN111008607B (zh) 2019-12-11 2019-12-11 一种视觉伺服飞机舱门缝隙自动化激光扫描方法和系统

Country Status (1)

Country Link
CN (1) CN111008607B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113681560B (zh) * 2021-08-26 2023-07-04 浙江大学 基于视力融合的机械臂操作铰接物体的方法
CN117601129A (zh) * 2023-12-25 2024-02-27 深圳职业技术大学 面向飞机舱门装配的位姿调整系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106906866A (zh) * 2011-04-14 2017-06-30 哈尼施费格尔技术公司 绳索挖掘机的回转自动化
CN107798330A (zh) * 2017-11-10 2018-03-13 上海电力学院 一种焊缝图像特征信息提取方法
CN107860311A (zh) * 2016-09-21 2018-03-30 卡尔蔡司工业测量技术有限公司 操作三角测量法激光扫描器以识别工件的表面特性的方法
CN109726509A (zh) * 2019-01-21 2019-05-07 南京航空航天大学 一种面向飞机装配的零件几何特征表达模型及构建方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007024779A1 (en) * 2005-08-23 2007-03-01 The Charles Machine Works, Inc. System for tracking and maintaining an on-grade horizontal borehole
EP2863177A1 (en) * 2013-10-18 2015-04-22 AEVO GmbH Method of calculation a path for use in a vehicle
CN106041927A (zh) * 2016-06-22 2016-10-26 西安交通大学 结合eye‑to‑hand和eye‑in‑hand结构的混合视觉伺服系统及方法
CN109752855A (zh) * 2017-11-08 2019-05-14 九阳股份有限公司 一种光斑发射装置和检测几何光斑的方法
CN108253984A (zh) * 2017-12-19 2018-07-06 昆明理工大学 一种基于改进a星算法的移动机器人路径规划方法
CN108444383B (zh) * 2018-03-08 2019-06-28 大连理工大学 基于视觉激光组合式的加工过程一体化测量方法
CN109176555A (zh) * 2018-10-12 2019-01-11 朱国志 一种组装加工用一体式机械手
CN109767497B (zh) * 2018-12-21 2023-03-21 杭州测质成科技有限公司 一种自动检测航空叶片表面质量的检测方法
CN110473221B (zh) * 2019-08-20 2020-04-24 吕若丹 一种目标物体自动扫描系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106906866A (zh) * 2011-04-14 2017-06-30 哈尼施费格尔技术公司 绳索挖掘机的回转自动化
CN107860311A (zh) * 2016-09-21 2018-03-30 卡尔蔡司工业测量技术有限公司 操作三角测量法激光扫描器以识别工件的表面特性的方法
CN107798330A (zh) * 2017-11-10 2018-03-13 上海电力学院 一种焊缝图像特征信息提取方法
CN109726509A (zh) * 2019-01-21 2019-05-07 南京航空航天大学 一种面向飞机装配的零件几何特征表达模型及构建方法

Also Published As

Publication number Publication date
CN111008607A (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
CN110543878B (zh) 一种基于神经网络的指针仪表读数识别方法
CN109685066B (zh) 一种基于深度卷积神经网络的矿井目标检测与识别方法
CN110223345B (zh) 基于点云的配电线路作业对象位姿估计方法
CN107481292A (zh) 车载摄像头的姿态误差估计方法和装置
CN111008607B (zh) 一种视觉伺服飞机舱门缝隙自动化激光扫描方法和系统
CN110065068B (zh) 一种基于逆向工程的机器人装配作业演示编程方法及装置
Xie et al. RRCNet: Rivet region classification network for rivet flush measurement based on 3-D point cloud
CN107230203A (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN111179233B (zh) 基于激光切割二维零部件的自适应纠偏方法
CN115685876B (zh) 一种基于轨迹补偿的平面激光切割控制方法及系统
CN111784655A (zh) 一种水下机器人回收定位方法
CN113344967B (zh) 一种复杂背景下的动态目标识别追踪方法
CN115810133B (zh) 基于图像处理和点云处理的焊接控制方法及相关设备
CN115965960A (zh) 一种基于深度学习与3d点云的焊缝识别方法
CN114004814A (zh) 一种基于深度学习和灰度三阶矩分析的煤矸石识别方法及系统
CN113989604A (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN113012228B (zh) 一种工件定位系统及基于深度学习的工件定位方法
CN115007474A (zh) 一种基于图像识别的选煤机器人及选煤方法
CN117111545A (zh) 一种基于线激光的蒙皮铣削路径实时规划方法
CN111272764A (zh) 大型智能临时平台非接触图像识别移动管控系统及方法
CN113592947B (zh) 一种半直接法的视觉里程计实现方法
CN113362296B (zh) 一种隧道裂缝提取方法及系统
CN115187556A (zh) 一种基于机器视觉的流水线上零件定位与点云获取方法
JP7323057B2 (ja) 制御装置、制御方法、および、制御プログラム
CN113721866A (zh) 应用于3d打印的数据获取系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant