CN110927172B - 一种飞机整体油箱密封胶漏涂在线检测装置及方法 - Google Patents
一种飞机整体油箱密封胶漏涂在线检测装置及方法 Download PDFInfo
- Publication number
- CN110927172B CN110927172B CN201911260755.4A CN201911260755A CN110927172B CN 110927172 B CN110927172 B CN 110927172B CN 201911260755 A CN201911260755 A CN 201911260755A CN 110927172 B CN110927172 B CN 110927172B
- Authority
- CN
- China
- Prior art keywords
- oil tank
- vertical
- binocular camera
- airplane
- integral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 50
- 239000011248 coating agent Substances 0.000 title claims abstract description 40
- 238000000576 coating method Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 33
- 239000002828 fuel tank Substances 0.000 title claims abstract description 29
- 239000000565 sealant Substances 0.000 title claims abstract description 27
- 238000013135 deep learning Methods 0.000 claims abstract description 32
- 230000000007 visual effect Effects 0.000 claims abstract description 23
- 239000003292 glue Substances 0.000 claims abstract description 20
- 230000007547 defect Effects 0.000 claims abstract description 5
- 230000007246 mechanism Effects 0.000 claims description 83
- 238000002372 labelling Methods 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 230000003028 elevating effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000011068 loading method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000007789 sealing Methods 0.000 abstract description 8
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 238000012423 maintenance Methods 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 abstract description 2
- 238000004026 adhesive bonding Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
- G01N21/9072—Investigating the presence of flaws or contamination in a container or its contents with illumination or detection from inside the container
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
- G01N21/909—Investigating the presence of flaws or contamination in a container or its contents in opaque containers or opaque container parts, e.g. cans, tins, caps, labels
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
- G01N2021/0106—General arrangement of respective parts
- G01N2021/0112—Apparatus in one mechanical, optical or electronic block
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/8861—Determining coordinates of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/8874—Taking dimensions of defect into account
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Application Of Or Painting With Fluid Materials (AREA)
- Examining Or Testing Airtightness (AREA)
Abstract
本发明公开了一种飞机整体油箱密封胶漏涂在线检测装置及方法,其特征在于将深度学习应用到飞机整体油箱内部的密封胶漏涂检测,同时结合视觉里程计来实现漏涂胶区域在整体油箱内部的三维坐标位置。飞机整体油箱密封胶漏涂在线检测系统可提高油箱涂胶质量检测的效率和可靠性,避免密封过程中出现漏涂缺陷,从而在制造阶段就避免大量潜在的密封问题。对于提高飞机油箱密封的效率,降低飞机气密试验的成本,并最终降低飞机运营和维护成本、提升产品竞争力都有重要的意义和作用。
Description
技术领域
本发明涉及一种狭小空间自动探测装置及方法,具体而言,涉及一种飞机整体油箱密封胶漏涂在线检测装置及方法。
背景技术
近年来美国波音公司为了提高生产效率和节约人力成本,引入汽车行业自动化的涂胶的做法,由其主导在部件供应商那里使用了基于机器人的自动涂胶系统,为了控制涂胶质量,相应的在设计机器人系统时,就使用了基于视觉的在线质量检测技术,从而很好的控制了涂胶的质量。
目前,由于国内长期以来的工作思维守旧,工业机器人的发展相对较慢,更重要的是缺乏飞机型号牵引和平台,没有涂胶自动化的需求,更谈不上发展视觉在线质量检测的技术需求。总之,国内的涂胶质量检测,基本还是依靠人工来进行,这种方法的可靠性比较低,这是油箱密封质量提高缓慢的一个重要原因。
因此,开展基于图像识别的飞机油箱密封质量检测技术研究,可以提高油箱涂胶质量的检测效率和可靠性,避免密封过程中漏涂,尺寸不足和表面质量缺陷,从而在制造阶段就避免大量潜在的密封问题。这对提高飞机油箱密封的效率,降低飞机气密试验的成本,并最终降低飞机运营和维护成本、提升产品竞争力都有重要的意义和作用。
发明内容
针对背景技术中提到的问题,本发明提出了一种飞机整体油箱密封胶漏涂在线检测装置及方法,用以替代人工进行飞机整体油箱内部的密封胶漏涂自动在线检测,本发明采用深度学习的方法从采集到的图像数据中自动学习相关涂胶与漏涂胶结构的图像特征,然后在实际检测当中以标注框的形式将漏涂胶结构进行框选标注。使用双目视觉里程计来获取涂胶及漏涂胶结构的稠密点云数据,然后通过数据融合将二维标注框与整体油箱内部空间数据进行联合滤波,得到整体油箱坐标系下以绝对尺度显示的坐标信息,以实现对漏涂胶部分的识别跟踪及定位功能。
为实现上述技术目的,本发明采取的技术方案为:
一种飞机整体油箱密封胶漏涂在线检测装置,其中:包括移动平台、控制机构、竖直升降机构、水平伸缩机构以及图像数据采集机构;移动平台内部设置有驱动装置,移动平台底部设置有滚轮,控制机构固定在移动平台上,控制机构与驱动装置连接,能用于控制移动平台移动,竖直升降机构包括竖直电机、竖直丝杆滑台、竖直滑块和标志点工装,竖直电机固定在移动平台上,竖直电机与竖直丝杆滑台连接,竖直滑块滑动设置在竖直丝杆滑台上,竖直电机能驱动竖直滑块在竖直丝杆滑台上上下滑动,标志点工装固定在竖直丝杆滑台上,用于和飞机整体油箱口盖附近的工装标识点相互对齐,水平伸缩机构包括水平电机和水平丝杆滑台,水平电机与水平丝杆滑台一端连接,竖直滑块可滑动地安装在水平丝杆滑台上,水平电机能通过驱动竖直滑块在水平丝杆滑台上滑动,从而使整个水平伸缩机构相对竖直升降机构横向移动,水平丝杆滑台另一端与图像数据采集机构的转动电机固定连接,图像数据采集机构包括转动电机、线光源以及双目相机,转动电机与线光源以及双目相机连接,转动电机能带动双目相机与线光源转动,使双目相机以转动电机为轴,360°转动扫描,线光源为双目相机的提供光源,控制机构还与竖直电机、水平电机、转动电机、转动电机连接,并控制上述电机运作,双目相机与控制机构连接,并能将采集到的图像数据发送至控制机构。
为优化上述技术方案,采取的具体措施还包括:
上述的移动平台内安装有电源系统,电源系统为移动平台的动力装置、控制机构、竖直升降机构、水平伸缩机构以及图像数据采集机构供电。
上述的竖直丝杆滑台的丝杆和水平丝杆滑台的丝杆两侧均固定有有沿丝杆轴向方向延伸、用于为丝杆滑台提供额外刚性的承力杆,承力杆两端分别固定在相应丝杆滑台的轴向两端。
上述的控制机构位于竖直升降机构背离图像数据采集机构的一侧,以调整移动平台重心,避免图像数据采集机构伸出后造成移动平台倾覆。
一种飞机整体油箱密封胶漏涂在线检测方法,包括以下步骤:
步骤一、在执行实际测量任务前,根据飞机整体油箱及硬件系统模型来预先规划飞机整体油箱图像数据采集路径,覆盖整体油箱内部结构;
步骤二、在执行实际测量任务时,预先在整体油箱口盖位置附近固定一个工装标识点作为整体油箱坐标系下的原点;移动平台驱动飞机整体油箱密封胶漏涂在线检测装置移动到整体油箱口盖附近,通过调整竖直升降机构将图像数据采集机构调整到整体油箱口盖中心点的高度,然后通过调整移动平台位置来将口盖周围的工装标识点与移动平台上的标志点工装对齐,即完成初始定位工作,水平伸缩机构运作,将图像数据采集机构伸入至整体油箱内部;
步骤三、在实时数据获取阶段,控制转动电机匀速旋转360°,使得双目相机获取当前视角下的整体油箱内部数据;控制水平伸缩机构运作,再将图像数据采集机构往整体油箱深处推进一段距离,然后停止运作,转动电机再次匀速旋转360°,使得双目相机再一次获取当前视角下的整体油箱内部数据;如此重复,直至双目相机根据预先规划好的路径遍历整体油箱内部,从而获取整个整体油箱内部的图像数据;
步骤四、数据处理阶段:该阶段分为并列的两个线程:其中,
第一线程的步骤为:
1准备阶段:将之前的实际工程中收集过的飞机整体油箱密封胶漏涂的图片数据,制作数据集;人工选取并标注部分飞机整体油箱密封胶漏涂的数据集,然后深度学习网络通过人工标注部分的图像特征生成相应的图像检测模板,根据此模板自动在剩余的大量原始图片中搜索相似的漏涂胶区域特征,并对其进行批量标注,然后进行深度学习网络训练及优化,深度学习网络包含多个卷积层用来自动提取漏涂胶区域的特征,同时包含数个全连接层用来将自动学习出来的漏涂胶区域特征映射到相应的标签;经过充分训练及调优后,深度学习网络的权重将会保存在工控机本地;
2)检测阶段:首先加载存储在工控机本地的深度学习网络的权重文件,以初始化深度学习网络节点权重;然后,一方面通过将双目相机的实时视频接入到深度学习网络的输入端来进行检测作业;深度学习网络根据算法对双目相机的实时视频中的漏涂胶区域进行标注,输出二维标注框数据,经人工筛查后,将该数据保存到工控机本地,以对原始采集到的数据集进行周期性更新,以此来不断提高深度学习的在线学习能力,提高其缺陷检测的准确性及鲁棒性;
第二线程的步骤为:双目相机的实时视频数据被传入视觉里程计,视觉里程计对双目相机的实时视频数据进行在线初始化,确定初始位置点;双目相机测得的通过测量景深信息可以为视觉里程计提供绝对尺度下的轨迹和位姿信息;通过视觉里程计前端估计的轨迹和位姿信息,可以对当前视场下采集到的图像帧提供一个视场标签,即每一张双目相机采集到的图片都会记录下一个相关的双目相机拍摄轨迹点和拍摄位姿,以便在高度相似及重复特征的环境下实现相关特征物的实时跟踪;通过双目相机轨迹和位姿信息,采用三角测距方法对整体油箱内部的关键特征进行局部稠密重建,之后重建部分相对于整体油箱的绝对坐标便可以确定,从而获得整体油箱内部三维全局坐标;
步骤五、将深度学习识别出的漏涂胶区域的二维标注框数据与视觉里程计得到的三维全局坐标做数据融合,得到标注框及漏涂胶部分在整体油箱坐标系下的全局坐标,完成飞机整体油箱密封胶漏涂的检测。
本发明的一种飞机整体油箱密封胶漏涂在线检测装置及方法,测量平台自动化程度高;硬件系统可维护性好,成本相较于蛇形机械臂机器人较低。在日常检测作业方面,可替代传统人工目视检查,实现飞机整体油箱内部密封胶漏涂检测及定位,极大降低了工人的劳动作业强度,同时提高了检测效率及检测精度。
附图说明
图1是飞机整体油箱密封胶漏涂在线检测装置的结构示意图;
图2是飞机整体油箱密封胶漏涂在线检测方法流程图。
附图标记为:移动平台1、电源系统11、滚轮12、控制机构2、竖直升降机构3、竖直电机31、竖直丝杆滑台32、竖直滑块33、标志点工装34、水平伸缩机构4、水平电机41、水平丝杆滑台42、承力杆43、图像数据采集机构5、转动电机51、线光源52、双目相机53。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
如图1所示,本发明硬件部分主要由以下模块构成:移动平台1、控制机构2、竖直升降机构3、水平伸缩机构4以及图像数据采集机构5;移动平台1内部设置有驱动装置,移动平台1底部设置有滚轮12,滚轮为4个麦克纳姆轮,控制机构2固定在移动平台1上,控制机构2与驱动装置连接,能用于控制移动平台1移动,竖直升降机构3包括竖直电机31、竖直丝杆滑台32、竖直滑块33和标志点工装34,竖直电机31固定在移动平台1上,竖直电机31与竖直丝杆滑台32连接,竖直滑块33滑动设置在竖直丝杆滑台32上,竖直电机31能驱动竖直滑块33在竖直丝杆滑台32上上下滑动,标志点工装34固定在竖直丝杆滑台32上,用于和飞机整体油箱口盖附近的工装标识点相互对齐,水平伸缩机构4包括水平电机41和水平丝杆滑台42,水平电机41与水平丝杆滑台42一端连接,竖直滑块33可滑动地安装在水平丝杆滑台42上,水平电机41能通过驱动竖直滑块33在水平丝杆滑台42上滑动,从而使整个水平伸缩机构4相对竖直升降机构3横向移动,水平丝杆滑台42另一端与图像数据采集机构5的转动电机51固定连接,图像数据采集机构5包括转动电机51、线光源52以及双目相机53,转动电机51与线光源52以及双目相机53连接,转动电机51能带动双目相机53与线光源52转动,使双目相机53以转动电机51为轴,360°转动扫描,线光源52为双目相机53的提供光源,控制机构2还与竖直电机31、水平电机41、转动电机51、转动电机51连接,并控制上述电机运作,双目相机53与控制机构2连接,并能将采集到的图像数据发送至控制机构2。
移动平台1内安装有电源系统11,电源系统11为移动平台1的动力装置、控制机构2、竖直升降机构3、水平伸缩机构4以及图像数据采集机构5供电。
竖直丝杆滑台32的丝杆和水平丝杆滑台42的丝杆两侧均固定有有沿丝杆轴向方向延伸、用于为丝杆滑台提供额外刚性的承力杆43,承力杆43两端分别固定在相应丝杆滑台的轴向两端。
控制机构2位于竖直升降机构3背离图像数据采集机构5的一侧,以调整移动平台1重心,避免图像数据采集机构5伸出后造成移动平台倾覆。
一种飞机整体油箱密封胶漏涂在线检测方法,如图2所示,包括以下步骤:
步骤一、在执行实际测量任务前,根据飞机整体油箱及硬件系统模型来预先规划飞机整体油箱图像数据采集路径,覆盖整体油箱内部结构;
步骤二、在执行实际测量任务时,预先在整体油箱口盖位置附近固定一个工装标识点作为整体油箱坐标系下的原点;移动平台1驱动飞机整体油箱密封胶漏涂在线检测装置移动到整体油箱口盖附近,通过调整竖直升降机构3将图像数据采集机构5调整到整体油箱口盖中心点的高度,然后通过调整移动平台1位置来将口盖周围的工装标识点与移动平台上的标志点工装34对齐,即完成初始定位工作,水平伸缩机构4运作,将图像数据采集机构5伸入至整体油箱内部;
步骤三、在实时数据获取阶段,控制转动电机51匀速旋转360°,使得双目相机53获取当前视角下的整体油箱内部数据;控制水平伸缩机构4运作,再将图像数据采集机构5往整体油箱深处推进一段距离,然后停止运作,转动电机51再次匀速旋转360°,使得双目相机53再一次获取当前视角下的整体油箱内部数据;如此重复,直至双目相机53根据预先规划好的路径遍历整体油箱内部,从而获取整个整体油箱内部的图像数据;
步骤四、数据处理阶段:该阶段分为并列的两个线程:其中,
第一线程的步骤为:
1准备阶段:可通过多种采集设备(如单反相机,工业单目相机,双目相机等)来实现数据采集,亦或者可以将前期实际检测当中产生的图像数据作为数据源来制作数据集,数据集的统一格式为RGB图像数据,文件后缀不限,文件名不限,可经过预处理程序统一处理(裁剪,缩放等)后生成统一的文件名,文件格式及固定尺寸的图像数据;在数据集标注阶段,使用了半人工干预的标注方法,即通过人工选取并标注部分代表性的数据集,然后算法可通过人工标注部分的图像特征生成相应的图像检测模板。图像检测模板将会用于检测剩余未标注图像中的相似特征,如特征匹配,便将相似特征作为标签来进行自动框选标注,即“手动选定一张,自动标注多张”的作业模式,极大节省了数据标注方面的时间投入,然后进行深度学习网络训练及优化,为了兼容各种尺寸的输入图片,深度学习网络在输入端加入了RoI Pooling层用来从各种不同输入尺寸的图片(即同时兼容单反相机,及不同型号工业相机所拍摄的图片数据)中自动提取出具有相同尺寸的特征图;深度学习网络包含多个卷积层用来自动提取漏涂胶区域的特征,同时包含数个全连接层用来将自动学习出来的漏涂胶区域特征映射到相应的标签;经过充分训练及调优后,深度学习网络的权重将会以H5参数文件的形式保存在工控机本地;
2)检测阶段:首先需要加载存储在本地磁盘的H5文件以初始化深度学习网络节点权重;然后,一方面通过将双目相机53的实时视频接入到深度学习网络的输入端来进行检测作业;深度学习网络根据算法对双目相机53的实时视频中的漏涂胶区域进行标注,输出二维标注框数据,经人工筛查后,将该数据保存到工控机本地,以对原始采集到的数据集进行周期性更新,以此来不断提高深度学习的在线学习能力,提高其缺陷检测的准确性及鲁棒性;随着数据集的不断更新完善及深度学习网络检测能力的不断提升,其可逐渐脱离人工筛查及干预阶段,实现完全自主的在线学习模式;
第二线程的步骤为:双目相机53的实时视频数据被传入视觉里程计,视觉里程计对双目相机53的实时视频数据进行在线初始化,确定初始位置点;双目相机53测得的通过测量景深信息可以为视觉里程计提供绝对尺度下的轨迹和位姿信息;通过视觉里程计前端估计的轨迹和位姿信息,可以对当前视场下采集到的图像帧提供一个视场标签,即每一张双目相机53采集到的图片都会记录下一个相关的双目相机拍摄轨迹点和拍摄位姿,以便在高度相似及重复特征的环境下实现相关特征物的实时跟踪;通过双目相机轨迹和位姿信息,采用三角测距方法对整体油箱内部的关键特征进行局部稠密重建,之后重建部分相对于整体油箱的绝对坐标便可以确定,从而获得整体油箱内部三维全局坐标;
步骤五、将深度学习识别出的漏涂胶区域的二维标注框数据与视觉里程计得到的三维全局坐标做数据融合,实现未涂胶铆钉的识别检测与空间定位功能。具体的,深度学习系统输入固定尺度的RGB图像数据,输出一个二维标注框及像素坐标系下标注框的中心点位置(Xc,Yc)及标注框的尺度信息(Lx,Ly)。同时,双目视觉里程计根据双目相机输出的深度信息,生成绝对尺度下的轨迹及位姿信息。根据双目相机的轨迹及位姿信息,结合涂胶及未涂胶部分的特征点信息,运用三角测量方法得到涂胶及未涂胶铆钉的局部稠密三维重建,并将未涂胶铆钉在整体油箱坐标系下的三维坐标数据,单帧图像数据的位置姿态标签及像素坐标系下的二维标注框进行数据融合,得到绝对尺度下的漏涂胶标注框空间坐标,实现漏涂胶铆钉的识别与空间定位工作。最后根据检测结果输出相应的检测报告,包括但不仅限于漏涂胶铆钉统计,漏涂胶部分空间位置等信息,以方便对漏涂胶部分进行修复。
我们也可以对自动化检测的思路进行扩展,使其适用于飞机其它部位的工艺检测,使其能最大限度保障飞机整机的安全及可靠性。
以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。
Claims (4)
1.一种飞机整体油箱密封胶漏涂在线检测方法,其中,飞机整体油箱密封胶漏涂在线检测装置,包括移动平台(1)、控制机构(2)、竖直升降机构(3)、水平伸缩机构(4)以及图像数据采集机构(5);所述的移动平台(1)内部设置有驱动装置,移动平台(1)底部设置有滚轮(12),所述的控制机构(2)固定在移动平台(1)上,控制机构(2)与驱动装置连接,能用于控制移动平台(1)移动,所述的竖直升降机构(3)包括竖直电机(31)、竖直丝杆滑台(32)、竖直滑块(33)和标志点工装(34),所述的竖直电机(31)固定在移动平台(1)上,竖直电机(31)与竖直丝杆滑台(32)连接,竖直滑块(33)滑动设置在竖直丝杆滑台(32)上,竖直电机(31)能驱动竖直滑块(33)在竖直丝杆滑台(32)上上下滑动,所述的标志点工装(34)固定在竖直丝杆滑台(32)上,用于和飞机整体油箱口盖附近的工装标识点相互对齐,所述的水平伸缩机构(4)包括水平电机(41)和水平丝杆滑台(42),所述的水平电机(41)与水平丝杆滑台(42)一端连接,竖直滑块(33)可滑动地安装在水平丝杆滑台(42)上,所述的水平电机(41)能通过驱动竖直滑块(33)在水平丝杆滑台(42)上滑动,从而使整个水平伸缩机构(4)相对竖直升降机构(3)横向移动,所述的水平丝杆滑台(42)另一端与图像数据采集机构(5)的转动电机(51)固定连接,所述的图像数据采集机构(5)包括转动电机(51)、线光源(52)以及双目相机(53),所述的转动电机(51)与线光源(52)以及双目相机(53)连接,转动电机(51)能带动双目相机(53与线光源(52)转动,使双目相机(53)以转动电机(51)为轴,360°转动扫描,所述的线光源(52)为双目相机(53)的提供光源,控制机构(2)还与竖直电机(31)、水平电机(41)、转动电机(51)、转动电机(51)连接,并控制上述电机运作,所述的双目相机(53)与控制机构(2)连接,并能将采集到的图像数据发送至控制机构(2),具体的飞机整体油箱密封胶漏涂在线检测方法包括以下步骤:步骤一、在执行实际测量任务前,根据飞机整体油箱及硬件系统模型来预先规划飞机整体油箱图像数据采集路径,覆盖整体油箱内部结构;
步骤二、在执行实际测量任务时,预先在整体油箱口盖位置附近固定一个工装标识点作为整体油箱坐标系下的原点;移动平台(1)驱动飞机整体油箱密封胶漏涂在线检测装置移动到整体油箱口盖附近,通过调整竖直升降机构(3)将图像数据采集机构(5)调整到整体油箱口盖中心点的高度,然后通过调整移动平台(1)位置来将口盖周围的工装标识点与移动平台上的标志点工装(34)对齐,即完成初始定位工作,水平伸缩机构(4)运作,将图像数据采集机构(5)伸入至整体油箱内部;
步骤三、在实时数据获取阶段,控制转动电机(51)匀速旋转360°,使得双目相机(53)获取当前视角下的整体油箱内部数据;控制水平伸缩机构(4)运作,再将图像数据采集机构(5)往整体油箱深处推进一段距离,然后停止运作,转动电机(51)再次匀速旋转360°,使得双目相机(53)再一次获取当前视角下的整体油箱内部数据;如此重复,直至双目相机(53)根据预先规划好的路径遍历整体油箱内部,从而获取整个整体油箱内部的图像数据;
步骤四、数据处理阶段:该阶段分为并列的两个线程:其中,
第一线程的步骤为:
1)准备阶段:将之前的实际工程中收集过的飞机整体油箱密封胶漏涂的图片数据,制作数据集;人工选取并标注部分飞机整体油箱密封胶漏涂的数据集,然后深度学习网络通过人工标注部分的图像特征生成相应的图像检测模板,根据此模板自动在剩余的大量原始图片中搜索相似的漏涂胶区域特征,并对其进行批量标注,然后进行深度学习网络训练及优化,深度学习网络包含多个卷积层用来自动提取漏涂胶区域的特征,同时包含数个全连接层用来将自动学习出来的漏涂胶区域特征映射到相应的标签;经过充分训练及调优后,深度学习网络的权重将会保存在工控机本地;
2)检测阶段:首先加载存储在工控机本地的深度学习网络的权重文件,以初始化深度学习网络节点权重;然后,一方面通过将双目相机(53)的实时视频接入到深度学习网络的输入端来进行检测作业;深度学习网络根据算法对双目相机(53)的实时视频中的漏涂胶区域进行标注,输出二维标注框数据,经人工筛查后,将该数据保存到工控机本地,以对原始采集到的数据集进行周期性更新,以此来不断提高深度学习的在线学习能力,提高其缺陷检测的准确性及鲁棒性;
第二线程的步骤为:双目相机(53)的实时视频数据被传入视觉里程计,视觉里程计对双目相机(53)的实时视频数据进行在线初始化,确定初始位置点;双目相机(53)测得的通过测量景深信息可以为视觉里程计提供绝对尺度下的轨迹和位姿信息;通过视觉里程计前端估计的轨迹和位姿信息,可以对当前视场下采集到的图像帧提供一个视场标签,即每一张双目相机(53)采集到的图片都会记录下一个相关的双目相机拍摄轨迹点和拍摄位姿,以便在高度相似及重复特征的环境下实现相关特征物的实时跟踪;通过双目相机轨迹和位姿信息,采用三角测距方法对整体油箱内部的关键特征进行局部稠密重建,之后重建部分相对于整体油箱的绝对坐标便可以确定,从而获得整体油箱内部三维全局坐标;
步骤五、将深度学习识别出的漏涂胶区域的二维标注框数据与视觉里程计得到的三维全局坐标做数据融合,得到标注框及漏涂胶部分在整体油箱坐标系下的全局坐标,完成飞机整体油箱密封胶漏涂的检测。
2.根据权利要求1所述的一种飞机整体油箱密封胶漏涂在线检测方法,其特征是:所述的移动平台(1)内安装有电源系统(11),所述的电源系统(11)为移动平台(1)的动力装置、控制机构(2)、竖直升降机构(3)、水平伸缩机构(4)以及图像数据采集机构(5)供电。
3.根据权利要求2所述的一种飞机整体油箱密封胶漏涂在线检测方法,其特征是:所述的竖直丝杆滑台(32)的丝杆和水平丝杆滑台(42)的丝杆两侧均固定有有沿丝杆轴向方向延伸、用于为丝杆滑台提供额外刚性的承力杆(43),所述的承力杆(43)两端分别固定在相应丝杆滑台的轴向两端。
4.根据权利要求3所述的一种飞机整体油箱密封胶漏涂在线检测方法,其特征是:所述的控制机构(2)位于竖直升降机构(3)背离图像数据采集机构(5)的一侧,以调整移动平台(1)重心,避免图像数据采集机构(5)伸出后造成移动平台倾覆。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911260755.4A CN110927172B (zh) | 2019-12-10 | 2019-12-10 | 一种飞机整体油箱密封胶漏涂在线检测装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911260755.4A CN110927172B (zh) | 2019-12-10 | 2019-12-10 | 一种飞机整体油箱密封胶漏涂在线检测装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110927172A CN110927172A (zh) | 2020-03-27 |
CN110927172B true CN110927172B (zh) | 2020-08-25 |
Family
ID=69859639
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911260755.4A Active CN110927172B (zh) | 2019-12-10 | 2019-12-10 | 一种飞机整体油箱密封胶漏涂在线检测装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110927172B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111476786B (zh) * | 2020-04-22 | 2022-02-01 | 南京航空航天大学 | 一种基于实测数据的长桁自动化涂胶及质量检测方法 |
CN112733882A (zh) * | 2020-12-22 | 2021-04-30 | 郑州金惠计算机系统工程有限公司 | 基于深度学习的气缸套表面缺陷检测方法及系统和设备 |
CN114777649A (zh) * | 2022-04-21 | 2022-07-22 | 南京航空航天大学 | 一种飞机整体油箱螺栓封包尺寸检测系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106625713A (zh) * | 2017-01-11 | 2017-05-10 | 长春工业大学 | 提高涂胶工业机器人涂胶精度的方法 |
CN107413590B (zh) * | 2017-07-05 | 2023-06-02 | 佛山缔乐视觉科技有限公司 | 一种基于机器视觉的表带自动涂胶机 |
US10474464B2 (en) * | 2017-07-05 | 2019-11-12 | Deep Vision, Inc. | Deep vision processor |
CN108801387B (zh) * | 2018-05-21 | 2020-04-03 | 郑州大学 | 一种基于学习模型的飞机油箱剩余油量测量系统和方法 |
CN108982546B (zh) * | 2018-08-29 | 2020-06-23 | 燕山大学 | 一种智能机器人涂胶质量检测系统及方法 |
CN112950541B (zh) * | 2019-04-12 | 2023-10-13 | 浙江大学台州研究院 | 一种基于机器视觉的合成革涂胶在线监测方法 |
-
2019
- 2019-12-10 CN CN201911260755.4A patent/CN110927172B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110927172A (zh) | 2020-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110927172B (zh) | 一种飞机整体油箱密封胶漏涂在线检测装置及方法 | |
CN103712555B (zh) | 汽车大梁装配孔视觉在线测量系统及其方法 | |
CN109270534A (zh) | 一种智能车激光传感器与相机在线标定方法 | |
CN203385680U (zh) | 一种内壁表面缺陷图像采集装置 | |
CN105965519A (zh) | 一种视觉引导下的离合器下料定位方法 | |
CN109737981B (zh) | 基于多传感器的无人车目标搜索装置及方法 | |
CN107121093A (zh) | 一种基于主动视觉的齿轮测量装置及测量方法 | |
CN103615980B (zh) | 一种板件上圆孔参数的测量方法及系统 | |
CN104121854B (zh) | 汽车大梁装配孔孔位、孔径精密测量系统及方法 | |
CN110675453B (zh) | 一种已知场景中运动目标的自定位方法 | |
CN208946217U (zh) | 一种基于红外传感器变电站巡检机器末端精确定位装置 | |
CN109405755B (zh) | 一种大尺寸管板孔径和节距测量装置与测量方法 | |
CN103308028A (zh) | 三轴气浮台姿态角双目立体视觉测量装置及其测量方法 | |
CN101804470A (zh) | 翼身对接自动制孔系统及方法 | |
CN108489394A (zh) | 一种大尺寸薄板金属工件几何质量自动检测装置及方法 | |
CN114279324B (zh) | 一种预制构件外观质量全方位智能检测方法 | |
CN110207666A (zh) | 一种气浮平台上模拟卫星的视觉位姿测量方法及装置 | |
CN106404001A (zh) | 星敏感器与动态光星模拟器精密安装对准装置及测试方法 | |
CN115972093A (zh) | 工件表面的测量方法及装置、机翼壁板软模的打磨方法 | |
CN201744691U (zh) | 翼身对接自动制孔系统 | |
CN114434036B (zh) | 用于大型船舶结构件龙门式机器人焊接的三维视觉系统及运行方法 | |
CN113359154A (zh) | 一种室内外通用的高精度实时测量方法 | |
CN206056534U (zh) | 一种油画表面三维点云扫描系统 | |
CN105526914A (zh) | 一种六自由度航空倾斜摄影模拟系统 | |
CN109284407B (zh) | 一种用于智能售货柜训练自动标注数据集的装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220421 Address after: 211106 room 1003-1005, No. 1698, Shuanglong Avenue, Jiangning District, Nanjing, Jiangsu Province (Jiangning Development Zone) Patentee after: Nanjing Yuntong Technology Co.,Ltd. Address before: No. 29, Qinhuai District, Qinhuai District, Nanjing, Jiangsu Patentee before: Nanjing University of Aeronautics and Astronautics |
|
TR01 | Transfer of patent right |