CN110207951B - 一种基于视觉的飞机线缆支架装配状态检测方法 - Google Patents
一种基于视觉的飞机线缆支架装配状态检测方法 Download PDFInfo
- Publication number
- CN110207951B CN110207951B CN201910434969.2A CN201910434969A CN110207951B CN 110207951 B CN110207951 B CN 110207951B CN 201910434969 A CN201910434969 A CN 201910434969A CN 110207951 B CN110207951 B CN 110207951B
- Authority
- CN
- China
- Prior art keywords
- cable support
- airplane
- aircraft
- scene
- aircraft cable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 45
- 238000009434 installation Methods 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims description 36
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000003384 imaging method Methods 0.000 claims description 27
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 230000003993 interaction Effects 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 230000005477 standard model Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000009432 framing Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 10
- 238000005259 measurement Methods 0.000 description 10
- 238000011179 visual inspection Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012372 quality testing Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Abstract
本发明公开了一种基于视觉的飞机线缆支架装配状态检测方法，本发明主要结合深度学习以及双目立体视觉，利用深度卷积神经网络进行特征提取以及特征表示的飞机线缆支架错装判断，最终利用双目立体视觉进行支架特征表示与飞机线缆支架空间定位，实现飞机线缆支架的位姿判断。本发明方法实现了复杂装配场景中存在线缆支架的安装状态检测，完成对线缆支架的漏装、错装和安装位置的检测，与标准数据库文件进行比对，生成结构化的安装报告，反馈给操作人员；通过本发明方法可以大大减少人力劳动以及由于多人协作造成的操作失误和记录错误。
Description
技术领域
本发明涉及飞机线缆支架装配状态检测的研究领域，特别涉及是一种基于深度卷积神经网络进行特征提取以及特征表示的飞机线缆支架漏装判断方法。
背景技术
现阶段，在很多航空航天的装配场景中，在飞机线缆支架装配完成后，需要对安装状态进行检测，检查是否存在飞机线缆支架的漏装、错装、以及方位是否安装正确。目前采用的一般方法大部分为使用目测和进行卡尺测量，这些操作需要进行大量的人力操作并且需要多人协同，大大浪费人力物力，在多人操作的过程中会出现理解错误和操作失误，造成信息记录的错误。在装配过程中，考虑到实际工况，有时会存在可操作空间小，测量人员操作空间受限等因素，更加加大了人力负担，与高效率的要求背道而驰，难以适应当今快速生产的需要。
目前航空航天的装配过程中，对于位置等的测量主要利用激光跟踪仪等精密测量仪器作为辅助测量工具，但是由于装配元器件种类多样，外形和大小存在较大差异。各个元器件之间具有严格的相对位置要求，以及激光跟踪仪设备较为庞大，激光跟踪仪无法获得完整的这些数据信息。且激光跟踪仪只能测量位置而不能识别元器件种类，无法检测出元器件的错装。所以单一使用激光跟踪仪无法满足元器件安装状态检测的功能。中国专利201610496560.X公开了一种视觉检测方法及系统。其涉及的视觉检测方法中，主要包括：获取待检品的灰度图与目标圆的已知条件；其中，已知条件包括第一圆心位置、第一半径、目标圆的极性、第一偏差值与第二偏差值，对灰度图进行边缘检测获取灰度图的图像轮廓；根据已知条件对图像轮廓进行极性筛选，获取第一轮廓；根据第一轮廓上各点到目标圆的圆心位置范围内每个点的距离，确定第二圆心位置与第二半径；其中，第二圆心位置为确定的目标圆的圆心位置，第二半径为确定的目标圆的半径。其还提供了一种视觉检测系统，使得在检测待检品的图像上的圆时可以提高圆心和半径提取的准确度以及速度，进而提高提取效率。
近年来使用多目视觉结合结构光设备进行元器件空间参数测量的研究也很多，但是多目视觉结合结构光设备普遍设备庞大，对于装配场景要求比较好，难以在复杂的工业装配场景下使用。中国专利201810242277.3提出了一种视觉检测机构及视觉检测系统，该视觉检测机构包括平台基座、相机调整装置和产品调节装置；相机调整装置设置于平台基座，用于移动相机；产品调节装置设置于平台基座，用于移动待检测产品；相机调整装置与产品调节装置相配合，以移动相机和/或移动待检测产品使相机对待检测产品进行视觉检测。中国专利201810991696.7公开了一种基于双目立体相机的成像处理方法及成像处理系统，双目立体相机内置一个可见光摄像头和一个红外摄像头，该方法包括：利用可见光摄像头获取当前场景的彩色图像，利用红外摄像头获取当前场景的红外图像；利用预置的标定数据对彩色图像和红外图像分别进行校正，得到彩色校正图像和红外校正图像；对彩色校正图像和红外校正图像进行立体匹配，得到当前场景的深度信息；检测当前场景的光照条件；在当前场景处于低光照条件时，将彩色图像的彩色信息和红外图像的亮度信息进行图像融合得到复原图像，并输出复原图像及深度信息。其能够在低光照条件下获得高质量的成像效果，可以解决场景过暗、过曝等问题，达到宽动态的成像效果。
综上所述，目前普遍使用的测量仪器无法独立完成对于装配场景中元器件的安装状态的检测，自动化程度不高，虽然有很多基于视觉的检测算法应用于工业上的零部件检测，但是工业检测环境复杂且有很多不稳定的因素，一是待检测零部件种类繁多且形状大小不一，二是待检测工业零件表面纹理特征很少很难提取到有效的特征，并且检测的背景和待检测目标较为相似易存在漏检。目前现行设备无法同时实现对工业支架进行漏装、错装以及位置检测的功能，而基于视觉工业支架检测仍然拥有众多问题要解决。
发明内容
本发明主要目的在于克服现有的技术缺陷和不足，提供一种基于视觉的飞机线缆支架装配状态检测方案，结合深度学习的特征提取及特征表示的飞机线缆支架的方法，结合双目立体视觉；涉及到利用深度卷积神经网络进行特征提取以及特征表示的飞机线缆支架错装判断方法，涉及到利用双目立体视觉进行支架特征表示与飞机线缆支架空间定位，涉及到飞机线缆支架的位姿判断方法。
同时解决以下问题：
1.需要在复杂多变的装配场景下能够检测出支架是否存在漏装；
2.需要确定安装好的线缆支架是否为正确支架的种类；
3.需要对元器件进行空间位置求解以确定线缆支架是否安装在正确的位置。
实现复杂装配场景中存在线缆支架的安装状态检测，完成对线缆支架的漏装、错装和安装位置的检测，与标准数据库文件进行比对，生成结构化的安装报告，反馈给操作人员。可以大大减少人力劳动以及由于多人协作造成的操作失误和记录错误。
为了达到上述目的，本发明采用以下技术方案：
一种基于视觉的飞机线缆支架装配状态检测方法，该检测方法包含以下步骤：
S1、利用两个相同型号的相机(焦距，像素等)构建双目立体成像系统，双目立体成像系统还包括相机固定支架，通过相机固定支架使两个相同型号的相机能够满足飞机线缆支架装配场景中的景深和成像要求，完成双目立体成像系统的搭建。
S2、基于双目立体成像系统，对双目立体成像系统进行立体标定，确定内参、外参矩阵，利用相机固定支架上的两个相同型号的相机对飞机线缆支架装配场景进行照片采集。
S3、对采集的照片通过适应于飞机线缆支架安装场景构建目标检测深度网络结构，深度网络结构以飞机线缆支架图像为输入，并进行飞机线缆支架的目标检测，找到在图像坐标系下飞机线缆支架的位置，输出其ROI区域。
S4、将检测出的飞机线缆支架从飞机线缆支架安装场景的照片中进行裁剪，调整照片大小并输入到适应于飞机线缆支架种类识别的分类网络中，求得已经安装的飞机线缆支架的种类，并最后存储在数据库中。
S5、对S3中的检测出的飞机装配场景中飞机线缆支架的ROI进行飞机线缆支架特征识别，利用双目立体成像系统的视差获得飞机线缆支架的中心以及特征参数的三维位置。
S6、对检测出的飞机装配场景中飞机线缆支架进行姿态判定，获得其安装姿态，判断是否存在正反装等现象。
S7、将得到的飞机线缆支架装配场景下的飞机线缆支架的装配信息，装配信息包括：飞机线缆支架安装位置、飞机线缆支架种类、飞机线缆支架安装姿态等信息与标准模型文件作比对，判断在此飞机线缆支架安装场景下，飞机线缆支架是否存在漏装、错装以及方位错误，将结果输出展示在人机交互界面上，供装配质检人员使用。
步骤S1包括：
S1.1、根据需要检测的飞机线缆支架安装场景的视场大小，以及需要检测精度，选择相机分辨率，根据飞机线缆支架安装场景视场景深的变化以及视距，进行坐标误差分析，选定满足要求的最佳基线距离。
步骤S2包括：
S2.1、利用人机交互界面控制相机设备拍摄照片，分别获得飞机线缆支架对应的左图像和右图像，利用已经标定好的双目立体相机的旋转矩阵和平移矢量，将拍摄的飞机线缆支架的左图像和右图像进行立体校正。
步骤S3包括：
S3.1、构建适应于飞机线缆支架装配场景的神经网络结构，进行特征提取与信息表征。
S3.2、构建适应于飞机线缆支架装配场景的损失函数用来分离飞机线缆支架装配背景和飞机线缆支架。
S3.3、利用预训练神经网络中的coco数据集进行预训练，获得预训练权重的模型。
S3.4、制作飞机线缆支架装配场景的训练样本，利用双目立体视觉设备对飞机线缆支架装配场景进行图像样本采集。
S3.5、读取S3.3中的预训练权重作为模型初始化，利用S3.4制作的样本集作为输入，利用反向传播算法进行模型参数训练，待收敛后进行保存模型。
S3.6、利用Web人机交互界面控制相机采集飞机线缆支架装配现场照片，输入到S3.5预训练权重的模型当中，找到其在图像坐标系下的飞机线缆支架，并求得ROI区域。
步骤S4包括：
S4.1、构建适应于飞机线缆支架种类识别的神经网络模型。
S4.2、构建适应于飞机线缆支架种类识别的损失函数，用来引导S4.1中的神经网络模型进行神经网络训练。
S4.3、将S3中制作的飞机线缆支架装配场景样本集中的飞机线缆支架进行裁剪，调整大小到适应于飞机线缆支架种类是被的神经网络的输入大小。
S4.4、利用FaceScrub数据集对S4.1中神经网络进行预训练，保存预训练参数。
S4.5、对S4.3中生成的数据样本输入到S4.1所述的神经网络中，利用S4.4中的预训练参数作为权重初始化，利用反向传播算法进行模型训练，待模型收敛后保存模型参数。
S4.6、将S3.6处理过的飞机线缆支架场景照片对其中的飞机线缆支架进行裁剪，作为输入，输入到S4.5生成的网络当中，得出飞机线缆支架的种类。
步骤S5包括：
S5.1、对S3.6处理完成后的飞机线缆支架的ROI区域进行滤波处理，利用边缘算子提取边缘。
S5.2、将提取的边缘，利用直线检测算子检测飞机线缆支架的外边缘，提取到的的边缘进行偏移，得到图像坐标系下飞机线缆支架的中心。
S5.3、将提取的边缘，利用圆形检测算子检测飞机线缆支架的安装孔边缘，提取其安装孔中心。
S5.4、利用极点极线约束，对左图像中飞机线缆支架中心寻找右图像中的匹配点。利用标定好的内参矩阵，外参矩阵对其求三维点。
S5.5、利用极点极线约束，对左图像中飞机线缆支架安装孔中心寻找右图像中的匹配点。利用标定好的内参矩阵，外参矩阵对其求三维点。
步骤S6包括：
S6.1、计算S5.5中飞机线缆支架安装孔与飞机线缆支架中心的偏移量确定飞机线缆支架的安装姿态。
本发明与现有技术相比，具有如下优点和有益效果：
1.本发明针对现有方法的不足，通过深度学习和双目立体视觉的方法，建立起飞机线缆支架装配场景与飞机线缆支架种类、三维坐标的模态关系，将飞机线缆支架原始图片进行输入，即可以得出飞机线缆支架的空间定位以及种类信息，这种方法大大加快了对于飞机线缆支架装配状态检测的准确率与识别速度。
2.实现复杂装配场景中存在线缆支架的安装状态检测，完成对线缆支架的漏装、错装和安装位置的检测，生成结构化的安装报告，反馈给操作人员。可以大大减少人力劳动以及由于多人协作造成的操作失误和记录错误。
3.本发明采用方法只需要单人即可操作，不需要操作人员具备很强的专业知识，能够节省多人协作、专业培训等人力成本。
附图说明
图1为本发明的整体流程图以及检测方法逻辑示意图。
图2为本发明的实例图。
图3为本发明人机交互界面。
具体实施方法
下面结合实施例及附图对本发明进行进一步的详细的描述，但本发明的实施方式不限于此。
参考图1至图3对本发明实例进行进一步阐述说明。
S1、利用两个相同型号的相机(焦距，像素等)构建双目立体成像系统，包括相机固定支架，使其能够满足飞机线缆支架装配场景中的景深和成像要求。
S1.1、根据需要检测的飞机线缆支架安装场景的视场大小，以及需要检测精度，选择相机分辨率，根据飞机线缆支架安装场景视场景深的变化以及视距，进行坐标误差分析，选定满足要求的最佳基线距离。
本实例中采用的飞机线缆支架装配场景为飞机中机身下隔板1：1仿真装置，测量视场大约为1500*1500mm2，飞机机舱弯曲程度在1500*1500mm2的面积上不超过100mm。双目测量仪器的测量空间范围应该尽量大于1500*1500*100mm3，为了减少狭小区域的影响，相机到待检测平面应当大于1800mm，但是不能超过2000mm。根据要求，选用的相机型号为MU3HS2000M/C(MRYYO)，有效像素为20MP，相元尺寸为2.4μm。
不同的基线距离会影响测量精度和测量视场，空间点中一点表示为：
计算XYZ三向空间点误差
计算基线距离与测量精度的关系，绘制关系图。
综合考虑双目立体成像系统的体积以及大的基线带来的噪声敏感度将相机见得基线距离定为600mm，随后求出光轴与基线之间的夹角α＝81.5°。
S2、对双目立体成像系统进行立体标定，确定其内参、外参矩阵，利用立体成像设备对支架进行飞机线缆支架装配场景进行照片采集。
S2.1、利用人机交互界面控制相机设备拍摄照片，分别获得飞机线缆支架对应的左图像和右图像，利用已经标定好的双目立体相机的旋转矩阵和平移矢量，将拍摄的飞机线缆支架的左图像和右图像进行立体校正。
首先需要对双目立体成像设备进行标定，本方法拟采用张正友基于2D平面靶标的相机标定方法进行双目立体相机的标定。首先制作平面2D棋盘格靶标，将靶标制作成标定板。利用以基于Flask框架的Web人机交互界面控制左右相机拍摄平台上棋盘格靶标，利用相机捕捉矩阵的角点。然后相机位置不变，改变标定板的位置，通过改变标定板的位置、角度以及与相机之间的距离。
靶标平面上的点C与图像坐标系中图像点c之间存在矩阵变换H
如果对靶标平面拍摄n幅图像，将n个这样的方程叠加在一起，求解b；
Vb＝0
b＝[B11,B12,B22,B13,B23,B33]T
利用下面式子求解A矩阵
A矩阵求解后求解内外参数，建立左相机图像坐标系中特征点与右相机图像坐标系中特征点对应映射关系，利用极大似然法优化结果。
利用立体成像设备对飞机线缆支架装配场景进行图像采集。
S3、利用适应于飞机线缆支架安装场景的目标检测深度网络结构，深度网络以飞机线缆支架图像为输入，利用其进行飞机线缆支架的目标检测，找到在图像坐标系下飞机线缆支架的位置，输出其ROI区域。
S3.1、构建适应于飞机线缆支架装配场景的神经网络结构，进行特征提取与信息表征。
综合考虑飞机线缆支架装配场景情况以及平衡运行时间，采用resnet50作为特征提取网络，对飞机线缆支架装配现场做特征提取和信息表述。
S3.2、构建适应于飞机线缆支架装配场景的损失函数用来分离飞机线缆支架装配背景和飞机线缆支架。
使用Sigmoid函数作为损失函数用分类前后背景分类，将所有类型的支架统一看成为前景，装配场景中的其它物体看做为背景。利用Focal loss进行样本不均匀性抑制，通过调节超参数来调整适应于飞机线缆支架装配场景。
S3.3、利用coco数据集进行预训练，获得预训练权重的模型。
使用coco数据集对S3.1构建的网络进行预训练，利用反向传播算法进行参数调整，训练完成后保存预训练模型权重参数。
S3.4、制作飞机线缆支架装配场景的训练样本，利用双目立体视觉设备对飞机线缆支架装配场景进行图像样本采集。
利用Web人机交互界面控制S1构建的双目立体视觉设备对飞机线缆支架的装配场景进行图像采样。
由于考虑到现场环境的复杂性，飞机线缆支架可能会存在不同的安装角度和安装状态，飞机线缆支架也可能会被不同角度拍摄，为了能够保证各种安装状态的线缆支架能够被检测出来，需要对飞机线缆支架场景的照片进行随机旋转和随机仿射变换，以便能够生成各种安装状态和视角的下的飞机线缆支架场景照片，提高样本的多样性。
在工业现场中由于存在遮挡等因素，为了模拟真实环境下的飞机线缆支架的情况对支架进行随机丢失样本图像的一部分，对样本的照片随机添加高斯噪声并进行高斯模糊。
对上述的飞机线缆支架场景照片利用LabelImg工具进行标定，对飞机线缆支架场景中的飞机线缆支架框定，将其生成结构化文件。本案例中采用的文件类型是xml文件，文件包含图像名称，图像尺寸信息，包含支架名称和支架在图像坐标系下的区域。
S3.5、读取预训练权重作为模型初始化，利用S3.4制作的图像样本集作为输入，利用反向传播算法进行模型参数训练，待收敛后进行保存模型。
S3.6、利用Web人机交互界面控制相机采集飞机线缆支架装配现场照片，输入到S3.5训练好的模型当中，找到其在图像坐标系下的飞机线缆支架，并求得ROI区域。
S4、将检测出的飞机线缆支架从飞机线缆支架安装场景的照片中进行裁剪，调整大小输入到适应于飞机线缆支架种类识别的分类网络中，求得已经安装的飞机线缆支架的种类，存储在数据库中。
步骤S4包括：
S4.1、构建适应于飞机线缆支架种类识别的神经网络模型。
综合考虑飞机线缆支架的特征以及平衡时间性能，使用Mobile net作为飞机线缆支架的特征提取和特征表达。在前面三层采用较小的Kernel读取飞机线缆支架的结构细节和纹理细节。
S4.2、构建适应于飞机线缆支架种类识别的损失函数，用来引导S4.1中的神经网络的训练。
参考Fisher准则，作为飞机线缆支架的种类识别的损失函数，用来尽量缩小同类飞机线缆支架的特征向量距离，尽量增大不同类飞机线缆支架的特征向量的距离。通过优化此函数来进行引导S4.1构建的网络的参数学习。
S4.3、将S3中制作的飞机线缆支架装配场景样本集中的飞机线缆支架进行裁剪，调整大小到适应于飞机线缆支架种类是被的神经网络的输入大小。
本案例中利用Opencv对飞机线缆支架装配场景中的飞机线缆支架进行裁剪，为了防止由于多尺度缩放引入的误差，使用飞机线缆装配场景中的使用的RGB:114/187/90作飞机线缆支架的边缘填充，使其满足的S4.1所述的网络的输入要求。
S4.4、利用FaceScrub数据集对S4.1中神经网络进行预训练，保存预训练参数。
本案例中采用FaceScrub数据集对S4.1中的网络进行预训练，为了使得能够学到细粒度样本的特点，待模型收敛后将网络参数进行保存。
S4.5、对S4.3中生成的数据样本输入到S4.1所述的神经网络中，利用S4.4中的预训练参数作为权重初始化，利用反向传播算法进行模型训练，待模型收敛后保存模型参数。
S4.6、将S3.6处理过的飞机线缆支架场景照片对其中的飞机线缆支架进行裁剪，作为输入，输入到S4.5生成的神经网络中，得出飞机线缆支架的种类。
S5、对S3中的检测出的飞机装配场景中飞机线缆支架的ROI进行支架特征识别，利用视差原理获得其飞机线缆支架的中心以及特征参数的三维位置。
步骤S5包括：
S5.1、对S3.6处理完成后的飞机线缆支架的ROI区域进行滤波处理，利用边缘算子提取边缘。
本案例中对S3.6处理完成后的飞机线缆支架的ROI区域先进行高斯滤波操作，用来消除飞机线缆支架的拍摄过程的噪声，使用双阈值canny算子进行边缘计算，提取飞机线缆支架的边缘。
S5.2、将提取的边缘，利用直线检测算子检测飞机线缆支架的外边缘，提取到的的边缘进行偏移，得到图像坐标系下飞机线缆支架的中心。
将S5.1提取的飞机线缆支架的边缘利用Hough line检测飞机线缆支架的外边缘，对提取到的边缘进行偏移拟合，得到的图像坐标系下飞机线缆支架的中心。
S5.3、将提取的边缘，利用圆形检测算子检测飞机线缆支架的安装孔边缘，提取其安装孔中心。
将S5.1提取的飞机线缆支架的边缘利用hough circle检测飞机线缆支架的安装孔，提取安装孔的边缘，得到的图像坐标系下安装孔的中心。
S5.4、利用极点极线约束，对左图像中飞机线缆支架中心寻找右图像中的匹配点。利用标定好的内参矩阵，外参矩阵对其求三维点。
左图像中的安装孔有N个，对于左图像上每个像素点，对应于右图像像素点在一条特征极线上，左图像中安装孔中心Pi，i∈(0,N]在右图像中的特征极线与右图像中的安装孔中心最接近的中心Pri为Pi在右图像中对应的中心孔位置。
摄像机的左右投影矩阵分为M1，M2。Pi(u1,v1)和Pri(u2,v2)为P点在左右图像坐标系上的像素坐标。M1,M2为投影矩阵，下文中的m为投影矩阵里面的元素。
求得其三维坐标为(KTK)-1KTl；
S6、对检测出的飞机装配场景中飞机线缆支架进行姿态判定，获得其安装姿态，判断是否存在正反装等现象。
步骤S6包括：
S6.1、计算S5.5中飞机线缆支架安装孔与飞机线缆支架中心的偏移量确定飞机线缆支架的安装姿态。
本案例中，一般线缆支架安装位姿错误主要存在于正装和反装的形式，因为在两个小的定位孔已经能够将线缆支架约束在一个平面上，其安装错误类型大部分为正反装的问题。
设两个定位孔的位置为X1(x1,y1,z1)、X2(x2,y2,z2)，飞机线缆支架中心的位置为X3(x3,y3,z3)。计算X1、X2、X3三个点的位置偏移量来得到飞机线缆支架是否正反装。
S7、将上述步骤得到的飞机线缆支架装配场景下的飞机线缆支架的装配信息，主要包括：飞机线缆支架安装位置、飞机线缆支架种类、飞机线缆支架安装姿态等信息与标准模型文件作比对，判断在此飞机线缆支架安装场景下，飞机线缆支架是否存在漏装、错装以及方位错误，将结果输出展示在人机交互界面上，供装配质检人员使用。
对Mysql数据库中的存储的飞机线缆支架安装场景中的标准模型文件进行提取，将上述步骤S3、S4、S5、S6得到的待检测飞机线缆支架安装场景中的飞机线缆支架信息与模型文件的信息进行比对。
判断在此飞机线缆支架安装场景下，飞机线缆支架是否存在漏装、错装以及方位错误，将结果输出展示在人机交互Web界面上，供装配质检人员使用。
Claims (9)
1.一种基于视觉的飞机线缆支架装配状态检测方法，其特征在于：该检测方法包含以下步骤：
S1、利用两个相同型号的相机构建双目立体成像系统，双目立体成像系统还包括相机固定支架，通过相机固定支架使两个相同型号的相机能够满足飞机线缆支架装配场景中的景深和成像要求，完成双目立体成像系统的搭建；
S2、基于双目立体成像系统，对双目立体成像系统进行立体标定，确定内参、外参矩阵，利用相机固定支架上的两个相同型号的相机对飞机线缆支架装配场景进行照片采集；
S3、对采集的照片通过适应于飞机线缆支架安装场景构建目标检测深度网络结构，深度网络结构以飞机线缆支架图像为输入，并进行飞机线缆支架的目标检测，找到在图像坐标系下飞机线缆支架的位置，输出其ROI区域；
S4、将检测出的飞机线缆支架从飞机线缆支架安装场景的照片中进行裁剪，调整照片大小并输入到适应于飞机线缆支架种类识别的分类网络中，求得已经安装的飞机线缆支架的种类，并最后存储在数据库中；
S5、对S3中的检测出的飞机装配场景中飞机线缆支架的ROI进行飞机线缆支架特征识别，利用双目立体成像系统的视差获得飞机线缆支架的中心以及特征参数的三维位置；
S6、对检测出的飞机装配场景中飞机线缆支架进行姿态判定，获得其安装姿态，判断是否存在正反装现象；
S7、将得到的飞机线缆支架装配场景下的飞机线缆支架的装配信息，装配信息包括：飞机线缆支架安装位置、飞机线缆支架种类、飞机线缆支架安装姿态信息与标准模型文件作比对，判断在此飞机线缆支架安装场景下，飞机线缆支架是否存在漏装、错装以及方位错误，将结果输出展示在人机交互界面上，供装配质检人员使用。
2.根据权利要求1所述的一种基于视觉的飞机线缆支架装配状态检测方法，其特征在于：步骤S1包括，
根据需要检测的飞机线缆支架安装场景的视场大小，以及需要检测精度，选择相机分辨率，根据飞机线缆支架安装场景视场景深的变化以及视距，进行坐标误差分析，选定满足要求的基线距离。
3.根据权利要求1所述的一种基于视觉的飞机线缆支架装配状态检测方法，其特征在于：步骤S2包括，
S2.1、利用人机交互界面控制相机设备拍摄照片，分别获得飞机线缆支架对应的左图像和右图像，利用已经标定好的双目立体相机的旋转矩阵和平移矢量，将拍摄的飞机线缆支架的左图像和右图像进行立体校正。
4.根据权利要求1所述的一种基于视觉的飞机线缆支架装配状态检测方法，其特征在于：步骤S3包括，
S3.1、构建适应于飞机线缆支架装配场景的神经网络结构，进行特征提取与信息表征；
S3.2、构建适应于飞机线缆支架装配场景的损失函数用来分离飞机线缆支架装配背景和飞机线缆支架；
S3.3、利用预训练神经网络中的coco数据集进行预训练，获得预训练权重的模型；
S3.4、制作飞机线缆支架装配场景的训练样本，利用双目立体视觉设备对飞机线缆支架装配场景进行图像样本采集；
S3.5、读取S3.3中的预训练权重作为模型初始化，利用S3.4制作的样本集作为输入，利用反向传播算法进行模型参数训练，待收敛后进行保存模型；
S3.6、利用Web人机交互界面控制相机采集飞机线缆支架装配现场照片，输入到S3.5预训练权重的模型当中，找到其在图像坐标系下的飞机线缆支架，并求得ROI区域。
5.根据权利要求1所述的一种基于视觉的飞机线缆支架装配状态检测方法，其特征在于：步骤S4包括，
S4.1、构建适应于飞机线缆支架种类识别的神经网络模型；
S4.2、构建适应于飞机线缆支架种类识别的损失函数，用来引导S4.1中的神经网络模型进行神经网络训练；
S4.3、将S3中制作的飞机线缆支架装配场景样本集中的飞机线缆支架进行裁剪，调整大小到适应于飞机线缆支架种类是被的神经网络的输入大小；
S4.4、利用FaceScrub数据集对S4.1中神经网络进行预训练，保存预训练参数；
S4.5、对S4.3中生成的数据样本输入到S4.1所述的神经网络中，利用S4.4中的预训练参数作为权重初始化，利用反向传播算法进行模型训练，待模型收敛后保存模型参数；
S4.6、将处理过的飞机线缆支架场景照片对其中的飞机线缆支架进行裁剪，作为输入，输入到S4.5生成的网络当中，得出飞机线缆支架的种类。
6.根据权利要求1所述的一种基于视觉的飞机线缆支架装配状态检测方法，其特征在于：步骤S5包括：
S5.1、对处理完成后的飞机线缆支架的ROI区域进行滤波处理，利用边缘算子提取边缘；
S5.2、将提取的边缘，利用直线检测算子检测飞机线缆支架的外边缘，提取到的边缘进行偏移，得到图像坐标系下飞机线缆支架的中心；
S5.3、将提取的边缘，利用圆形检测算子检测飞机线缆支架的安装孔边缘，提取其安装孔中心；
S5.4、利用极点极线约束，对左图像中飞机线缆支架中心寻找右图像中的匹配点；利用标定好的内参矩阵，外参矩阵对其求三维点；
S5.5、利用极点极线约束，对左图像中飞机线缆支架安装孔中心寻找右图像中的匹配点；利用标定好的内参矩阵，外参矩阵对其求三维点。
7.根据权利要求1所述的一种基于视觉的飞机线缆支架装配状态检测方法，其特征在于：步骤S6包括，
计算飞机线缆支架安装孔与飞机线缆支架中心的偏移量确定飞机线缆支架的安装姿态。
8.根据权利要求1所述的一种基于视觉的飞机线缆支架装配状态检测方法，其特征在于：对双目立体成像设备进行标定，采用张正友基于2D平面靶标的相机标定方法进行双目立体相机的标定；制作平面2D棋盘格靶标，将靶标制作成标定板；利用以基于Flask框架的Web人机交互界面控制左右相机拍摄平台上棋盘格靶标，利用相机捕捉矩阵的角点；然后相机位置不变，改变标定板的位置，通过改变标定板的位置、角度以及与相机之间的距离。
9.根据权利要求1所述的一种基于视觉的飞机线缆支架装配状态检测方法，其特征在于：利用Web人机交互界面控制S1构建的双目立体视觉设备对飞机线缆支架的装配场景进行图像采样；
为模拟真实环境下的飞机线缆支架的情况对支架进行随机丢失样本图像的一部分，对样本的照片随机添加高斯噪声并进行高斯模糊；
对飞机线缆支架场景照片利用LabelImg工具进行标定，对飞机线缆支架场景中的飞机线缆支架框定，将其生成结构化文件；采用的文件类型是xml文件，文件包含图像名称，图像尺寸信息，包含支架名称和支架在图像坐标系下的区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910434969.2A CN110207951B (zh) | 2019-05-23 | 2019-05-23 | 一种基于视觉的飞机线缆支架装配状态检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910434969.2A CN110207951B (zh) | 2019-05-23 | 2019-05-23 | 一种基于视觉的飞机线缆支架装配状态检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110207951A CN110207951A (zh) | 2019-09-06 |
| CN110207951B true CN110207951B (zh) | 2020-09-08 |
Family
ID=67788339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910434969.2A Active CN110207951B (zh) | 2019-05-23 | 2019-05-23 | 一种基于视觉的飞机线缆支架装配状态检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110207951B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110689527B (zh) * | 2019-09-18 | 2021-08-24 | 北京航空航天大学 | 飞机线缆支架的安装状态检测方法、装置及设备 |
| CN111626995B (zh) * | 2020-05-19 | 2024-03-01 | 上海艾豚科技有限公司 | 一种针对工件的智能嵌件检测方法和装置 |
| CN112526945B (zh) * | 2020-11-09 | 2022-07-05 | 福建福瑞康信息技术有限公司 | 具备反馈与闭环控制功能的全流程监控与预警系统 |
| CN113269235B (zh) * | 2021-05-10 | 2022-12-27 | 青岛理工大学 | 一种基于无监督学习的装配体变化检测方法及设备 |
| CN113627430B (zh) * | 2021-08-12 | 2023-06-20 | 石家庄铁道大学 | 线缆线号的检测方法、装置和电子设备 |
| CN113706501B (zh) * | 2021-08-26 | 2024-03-19 | 成都飞机工业（集团）有限责任公司 | 一种飞机装配的智能监测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106504248A (zh) * | 2016-12-06 | 2017-03-15 | 成都通甲优博科技有限责任公司 | 基于计算机视觉的车辆损伤判别方法 |
| CN106600650A (zh) * | 2016-12-12 | 2017-04-26 | 杭州蓝芯科技有限公司 | 一种基于深度学习的双目视觉深度信息获取方法 |
| CN108764185A (zh) * | 2018-06-01 | 2018-11-06 | 京东方科技集团股份有限公司 | 一种图像处理方法及装置 |
| CN109584297A (zh) * | 2018-10-24 | 2019-04-05 | 北京升哲科技有限公司 | 目标检测方法和装置 |
| CN109615655A (zh) * | 2018-11-16 | 2019-04-12 | 深圳市商汤科技有限公司 | 一种确定物体姿态的方法及装置、电子设备及计算机介质 |
| CN109741388A (zh) * | 2019-01-29 | 2019-05-10 | 北京字节跳动网络技术有限公司 | 用于生成双目深度估计模型的方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9818048B2 (en) * | 2015-01-19 | 2017-11-14 | Ebay Inc. | Fine-grained categorization |
-
2019
- 2019-05-23 CN CN201910434969.2A patent/CN110207951B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106504248A (zh) * | 2016-12-06 | 2017-03-15 | 成都通甲优博科技有限责任公司 | 基于计算机视觉的车辆损伤判别方法 |
| CN106600650A (zh) * | 2016-12-12 | 2017-04-26 | 杭州蓝芯科技有限公司 | 一种基于深度学习的双目视觉深度信息获取方法 |
| CN108764185A (zh) * | 2018-06-01 | 2018-11-06 | 京东方科技集团股份有限公司 | 一种图像处理方法及装置 |
| CN109584297A (zh) * | 2018-10-24 | 2019-04-05 | 北京升哲科技有限公司 | 目标检测方法和装置 |
| CN109615655A (zh) * | 2018-11-16 | 2019-04-12 | 深圳市商汤科技有限公司 | 一种确定物体姿态的方法及装置、电子设备及计算机介质 |
| CN109741388A (zh) * | 2019-01-29 | 2019-05-10 | 北京字节跳动网络技术有限公司 | 用于生成双目深度估计模型的方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 基于双目视觉的管路快速检测技术研究与实现;牛平月 等;《航空精密制造技术》;20140430;第50卷(第2期);第16-19页 * |
| 基于综合工装的盒式连接装配型架快速配置方法;郑联语 等;《计算机集成制造系统》;20141031;第20卷(第10期);第2426-2439页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110207951A (zh) | 2019-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110207951B (zh) | 一种基于视觉的飞机线缆支架装配状态检测方法 | |
| Singh et al. | Bigbird: A large-scale 3d database of object instances | |
| CN106529495B (zh) | 一种飞行器的障碍物检测方法和装置 | |
| US9396542B2 (en) | Method of estimating imaging device parameters | |
| US10237532B2 (en) | Scan colorization with an uncalibrated camera | |
| CN107155341B (zh) | 三维扫描系统和框架 | |
| CN109360240A (zh) | 一种基于双目视觉的小型无人机定位方法 | |
| CN104537707B (zh) | 像方型立体视觉在线移动实时测量系统 | |
| CN111783820A (zh) | 图像标注方法和装置 | |
| US20060088203A1 (en) | Method and apparatus for machine-vision | |
| WO2012053521A1 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
| JP2014529727A (ja) | 自動シーン較正 | |
| CN106529538A (zh) | 一种飞行器的定位方法和装置 | |
| CN106570899B (zh) | 一种目标物体检测方法及装置 | |
| CN110434516A (zh) | 一种智能焊接机器人系统及焊接方法 | |
| CN105469389B (zh) | 一种用于视觉传感器标定的网格球靶标及相应标定方法 | |
| CN112067233B (zh) | 一种用于风洞模型六自由度运动捕获方法 | |
| CN110044374A (zh) | 一种基于图像特征的单目视觉测量里程的方法及里程计 | |
| CN110110131B (zh) | 一种基于深度学习与双目立体视觉的飞机线缆支架识别与参数获取方法 | |
| CN112348890B (zh) | 一种空间定位方法、装置及计算机可读存储介质 | |
| CN113393439A (zh) | 一种基于深度学习的锻件缺陷检测方法 | |
| CN111027415A (zh) | 一种基于偏振图像的车辆检测方法 | |
| CN105139432B (zh) | 基于高斯模型的红外弱小目标图像仿真方法 | |
| CN112712566B (zh) | 基于结构参数在线校正的双目立体视觉传感器测量方法 | |
| CN113052974B (zh) | 物体三维表面的重建方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210429 Address after: 100085 room 1001, 1 / F, No.18 Shangdi Information, Haidian District, Beijing Patentee after: BEIJING BOCHUANG LIANDONG TECHNOLOGY Co.,Ltd. Address before: 100191 Haidian District, Xueyuan Road, No. 37, Patentee before: BEIHANG University |
|
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 100192 Zhongguancun Dongsheng Science and Technology Park, No. 66 Xixiaokou Road, Haidian District, Beijing. A801, 8th Floor, Building A, Building B-6, Northern Territory Patentee after: Bochuang Linkage Technology Co.,Ltd. Country or region after: China Address before: Room 1001, 1st Floor, No. 18 Shangdi Information, Haidian District, Beijing, 100085 Patentee before: BEIJING BOCHUANG LIANDONG TECHNOLOGY Co.,Ltd. Country or region before: China |