CN115082446A - 一种基于图像边界提取的飞机蒙皮铆钉的测量方法 - Google Patents
一种基于图像边界提取的飞机蒙皮铆钉的测量方法 Download PDFInfo
- Publication number
- CN115082446A CN115082446A CN202210874141.0A CN202210874141A CN115082446A CN 115082446 A CN115082446 A CN 115082446A CN 202210874141 A CN202210874141 A CN 202210874141A CN 115082446 A CN115082446 A CN 115082446A
- Authority
- CN
- China
- Prior art keywords
- rivet
- image
- skin
- plane
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于图像边界提取的飞机蒙皮铆钉的测量方法,包括:步骤S1、基于结构光相机获取整机的蒙皮铆钉区域的蒙皮铆钉图像及其对应的点云;步骤S2、训练边界提取网络,获得铆钉边界图像;步骤S3、映射边界图像到点云数据中,拟合铆钉平面和蒙皮平面;步骤S4、根据平面间距计算铆钉平齐度,完成飞机蒙皮铆钉的测量。本发明通过利用边界提取网络,实现了蒙皮铆钉的平齐度测量,保证了整机表面形貌的装配质量。
Description
技术领域
本发明属于三维数据测量技术领域,具体涉及一种基于图像边界提取的飞机蒙皮铆钉的测量方法。
背景技术
大型飞机由于尺寸大、形状结构复杂的特点,蒙皮在装配过程中容易出现变形导致对缝超出设计容限,机表钉头的齐平度影响着飞机的气动性能。飞机表面形貌的装配质量在很大程度决定了飞机的最终质量、制造成本和周期,因此,飞机表面形貌测量的准确性尤为重要。
国内蒙皮的传统测量方法是使用塞尺测量,该方法对人工操作要求高,且误差大、效率较低、重复精度不高,难以满足测量精度的要求。
近些年来,随着激光雷达和三维扫描技术的发展和普及,该技术被广泛应用于测绘,军工设备测量等领域。使用三维扫描技术进行飞机表面形貌测量具有良好的应用前景。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足,提供一种基于图像边界提取的飞机蒙皮铆钉的测量方法,可提高整机测量准确度和效率。
为实现上述技术目的,本发明采取的技术方案为:
一种基于图像边界提取的飞机蒙皮铆钉的测量方法,包括:
步骤S1、基于结构光相机获取整机的蒙皮铆钉区域的蒙皮铆钉图像及其对应的点云;
步骤S2、训练边界提取网络,获得铆钉边界图像;
步骤S3、映射边界图像到点云数据中,拟合铆钉平面和蒙皮平面;
步骤S4、根据平面间距计算铆钉平齐度,完成飞机蒙皮铆钉的测量。
为优化上述技术方案,采取的具体措施还包括:
上述的步骤S1包括:
步骤S101、基于双目结构光相机,即将两台相机的光轴按一定角度进行安装,使两光轴光束同时会聚于被测物,即整机的蒙皮铆钉区域;
步骤S102、根据整机测量的蒙皮铆钉区域深度图像重建出蒙皮点云。
上述的步骤S2包括:
步骤S201、收集飞机蒙皮铆钉区域图片并人工进行铆钉像素区域的标注,利用其训练基于改进VGG16的边界提取网络;
步骤S202、把多视角整机测量数据输入基于改进VGG16的边界提取网络,获得边界强度;
步骤S203、设定阈值对边界强度进行二值化操作,对获得的二值图,使用霍夫变换拟合圆作为铆钉边界,得到铆钉边界图像。
上述的基于改进VGG16的边界提取网络,其使用交叉熵损失函数:
其中每个3x3的卷积层后,使用1x1的卷积来降低通道数,分别降低为16/64通道。
然后ewp层执行element-wise product用来拼接通道;
Deconv层执行反卷积操作对获得的特征图进行上采样;
生成边缘概率,对于每个像素点,边缘强度在[0,1]之间;
输出的结果为每个像素的边缘强度。
上述的步骤S3包括:
步骤S301、根据相机的内参矩阵,将铆钉边界图像信息映射到点云数据中;
步骤S302、使用RANSAC方式选取点云中内点组成平面,分别拟合铆钉区域的平面方程和整个蒙皮的平面。
上述的步骤S301所述相机的内参矩阵为:
根据如下公式计算图像像素点(u,v)对应的点云坐标(x,y,z):
其中,d是物体到相机的深度,s是相机的缩放因子。
上述的步骤S302包括:
在一个迭代内设定阈值,在点云中随机选取内点使用最小二乘法组成平面;
若内点集比阈值小则再次重新选取内点,直到内点集大于阈值终止,在迭代N次后选取迄今为止发现的最大内点集来拟合所需平面。
上述的步骤S302采用以下公式计算N,使得:
上述的步骤S4为:在拟合的铆钉平面内,定义一个中心点,计算剩余点到中心点的距离,保存最大距离,重复以上定义、距离计算和最大距离保存的步骤,得到D 2 , D 3 ,...,D n ,取最小的对应的为中心点;
其中,A,B,C,D是蒙皮平面的平面参数。
本发明具有以下有益效果:
本发明通过利用边界提取网络,实现了蒙皮铆钉的平齐度测量,保证了整机表面形貌的装配质量;使得数据采集更为高效,数据分析更为快捷、科学,解决了人工统计和分析数据带来的问题,可以在检测中实时监控零件品质状态,提高了飞机蒙皮的检测效率。
附图说明
图1为本发明基于图像边界提取的飞机蒙皮铆钉的测量方法流程图;
图2本发明采用的基于改进VGG16的边界提取网络;
图3为根据本发明实施例获得的边界强度图和铆钉区域图。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
如图1所示,一种基于图像边界提取的飞机蒙皮铆钉的测量方法,包括如下步骤:
步骤S1、对整机的蒙皮铆钉区域用双目结构光相机经过摄影和计算得到点云与相应的蒙皮铆钉图像,包括:
步骤S101、基于双目结构光相机,即将两台相机的光轴按一定角度进行安装,使两光轴光束同时会聚于被测物,即整机的蒙皮铆钉区域;
使用双目IR+投影红外点阵,投影图案采用时间编码;使用多频外差算法,首先基于相移法求解每点的包裹相位,得到包裹相位图φw(m,n,t),计算两套条纹的包裹相位图上同一点的相位差。计算该点展开相位值Φμ(s),计算蒙皮深度图像。
步骤S102、根据整机测量的深度图像重建出蒙皮点云。
利用相位对双目进行点对点匹配。先选取整机影像序列中的两幅影像作为基础像对,求解出基础像对外极几何和基础矩阵,再结合摄像头的内参完成基础像对的结构重建,最后在已重建结构基础上逐渐加入新的影像更新其空间位置并完善结构的重建。
步骤S2、训练边界提取网络,获得铆钉边界图像,包括:
步骤S201、收集足够的飞机蒙皮区域图片并人工进行铆钉像素区域的标注,利用这些数据训练一个基于改进VGG16的边界提取网络。
对这些数据分为训练集和测试集,进行人工标注,图像对应的标签为标注好的铆钉像素区域的图片。把标注好的图片输入边界提取网络。
步骤S202、把多视角整机测量数据输入边界提取网络获得边界强度。
如图2所示,基于改进VGG16的边界提取网络,使用交叉熵损失函数:
其中每个3x3的卷积层后,使用1x1的卷积来降低通道数,分别降低为16/64通道。
然后ewp层执行element-wise product用来拼接通道。
Deconv层执行反卷积操作对获得的特征图进行上采样。
生成边缘概率,对于每个像素点,边缘强度在[0,1]之间。
输出的结果为每个像素的边缘强度。
步骤S203、设定阈值对边界强度进行二值化操作,对获得的二值图,使用霍夫变换拟合圆作为铆钉边界。
本发明实施例获得的边界强度图和铆钉区域图如图3所示。
步骤S3、映射边界图像到点云数据中,拟合铆钉平面和蒙皮平面,包括:
步骤S301、根据相机的内参矩阵,将铆钉边界图像信息映射到点云数据中;
根据相机的内参矩阵:
计算图像坐标到点云坐标的平移变换。
根据如下公式计算图像像素点(u,v)对应的点云坐标(x,y,z):
其中,d是物体到相机的深度,s是相机的缩放因子。
步骤S302、在一个铆钉区域的点云内,设所有点集为S,从中随机选择p个点拟合一个平面,获得a,b,c,d值。
如果小于阈值T,则重新随机选择p个点构成子集。
以上步骤S302迭代N次,选取迄今为止发现的最大数据点子集。
其中,从以下公式计算N,使得:
在每个铆钉区域拟合一个平面。
使用相同的方式在蒙皮区域的点云拟合一个平面。
步骤S4、根据平面间距计算铆钉平齐度。包括:
在拟合的铆钉平面内,定义一个中心点G 2 ,计算剩余点到中心点的距离,保存最大距离D 1 ,重复以上定义、距离计算和最大距离保存的步骤,得到D 2 ,D 3 ,...,D n ,取最小的对应的为中心点;
其中,A,B,C,D是蒙皮平面的平面参数。
以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。
Claims (9)
1.一种基于图像边界提取的飞机蒙皮铆钉的测量方法,其特征在于,包括:
步骤S1、基于结构光相机获取整机的蒙皮铆钉区域的蒙皮铆钉图像及其对应的点云;
步骤S2、训练边界提取网络,获得铆钉边界图像;
步骤S3、映射边界图像到点云数据中,拟合铆钉平面和蒙皮平面;
步骤S4、根据平面间距计算铆钉平齐度,完成飞机蒙皮铆钉的测量。
2.根据权利要求1所述的一种基于图像边界提取的飞机蒙皮铆钉的测量方法,其特征在于,所述步骤S1包括:
步骤S101、基于双目结构光相机,即将两台相机的光轴按一定角度进行安装,使两光轴光束同时会聚于被测物,即整机的蒙皮铆钉区域;
步骤S102、根据整机测量的蒙皮铆钉区域深度图像重建出蒙皮点云。
3.根据权利要求1所述的一种基于图像边界提取的飞机蒙皮铆钉的测量方法,其特征在于,所述步骤S2包括:
步骤S201、收集飞机蒙皮铆钉区域图片并人工进行铆钉像素区域的标注,利用其训练基于改进VGG16的边界提取网络;
步骤S202、把多视角整机测量数据输入基于改进VGG16的边界提取网络,获得边界强度;
步骤S203、设定阈值对边界强度进行二值化操作,对获得的二值图,使用霍夫变换拟合圆作为铆钉边界,得到铆钉边界图像。
5.根据权利要求1所述的一种基于图像边界提取的飞机蒙皮铆钉的测量方法,其特征在于,所述步骤S3包括:
步骤S301、根据相机的内参矩阵,将铆钉边界图像信息映射到点云数据中;
步骤S302、使用RANSAC方式选取点云中内点组成平面,分别拟合铆钉区域的平面方程和整个蒙皮的平面。
7.根据权利要求5所述的一种基于图像边界提取的飞机蒙皮铆钉的测量方法,其特征在于,所述步骤S302包括:
在一个迭代内设定阈值,在点云中随机选取内点使用最小二乘法组成平面;
若内点集比阈值小则再次重新选取内点,直到内点集大于阈值终止,在迭代N次后选取迄今为止发现的最大内点集来拟合所需平面。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210874141.0A CN115082446B (zh) | 2022-07-25 | 2022-07-25 | 一种基于图像边界提取的飞机蒙皮铆钉的测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210874141.0A CN115082446B (zh) | 2022-07-25 | 2022-07-25 | 一种基于图像边界提取的飞机蒙皮铆钉的测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115082446A true CN115082446A (zh) | 2022-09-20 |
CN115082446B CN115082446B (zh) | 2022-11-22 |
Family
ID=83243404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210874141.0A Active CN115082446B (zh) | 2022-07-25 | 2022-07-25 | 一种基于图像边界提取的飞机蒙皮铆钉的测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115082446B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115982864A (zh) * | 2023-03-21 | 2023-04-18 | 南京航空航天大学 | 一种大型复合材料构件装配协调边界特征的重建方法 |
CN117788472A (zh) * | 2024-02-27 | 2024-03-29 | 南京航空航天大学 | 一种基于dbscan算法的飞机蒙皮表面铆钉腐蚀程度判断的方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013224862A (ja) * | 2012-04-20 | 2013-10-31 | Mitsubishi Heavy Ind Ltd | 打鋲リベット検査装置及び打鋲リベット検査方法 |
CN111986126A (zh) * | 2020-07-17 | 2020-11-24 | 浙江工业大学 | 一种基于改进vgg16网络的多目标检测方法 |
CN113390357A (zh) * | 2021-07-08 | 2021-09-14 | 南京航空航天大学 | 一种基于双目多线结构光的铆钉齐平度测量方法 |
CN114627177A (zh) * | 2022-03-25 | 2022-06-14 | 南京航空航天大学 | 一种基于图像分割的飞机蒙皮间隙与阶差测量方法 |
-
2022
- 2022-07-25 CN CN202210874141.0A patent/CN115082446B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013224862A (ja) * | 2012-04-20 | 2013-10-31 | Mitsubishi Heavy Ind Ltd | 打鋲リベット検査装置及び打鋲リベット検査方法 |
CN111986126A (zh) * | 2020-07-17 | 2020-11-24 | 浙江工业大学 | 一种基于改进vgg16网络的多目标检测方法 |
CN113390357A (zh) * | 2021-07-08 | 2021-09-14 | 南京航空航天大学 | 一种基于双目多线结构光的铆钉齐平度测量方法 |
CN114627177A (zh) * | 2022-03-25 | 2022-06-14 | 南京航空航天大学 | 一种基于图像分割的飞机蒙皮间隙与阶差测量方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115982864A (zh) * | 2023-03-21 | 2023-04-18 | 南京航空航天大学 | 一种大型复合材料构件装配协调边界特征的重建方法 |
CN115982864B (zh) * | 2023-03-21 | 2023-06-27 | 南京航空航天大学 | 一种大型复合材料构件装配协调边界特征的重建方法 |
CN117788472A (zh) * | 2024-02-27 | 2024-03-29 | 南京航空航天大学 | 一种基于dbscan算法的飞机蒙皮表面铆钉腐蚀程度判断的方法 |
CN117788472B (zh) * | 2024-02-27 | 2024-05-14 | 南京航空航天大学 | 一种基于dbscan算法的飞机蒙皮表面铆钉腐蚀程度判断的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115082446B (zh) | 2022-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115082446B (zh) | 一种基于图像边界提取的飞机蒙皮铆钉的测量方法 | |
CN108428255B (zh) | 一种基于无人机的实时三维重建方法 | |
CN109993793B (zh) | 视觉定位方法及装置 | |
WO2021208442A1 (zh) | 一种三维场景的重建系统、方法、设备及存储介质 | |
CN104574432B (zh) | 一种自动多视角人脸自拍图像的三维人脸重建方法及系统 | |
CN110796694A (zh) | 一种基于KinectV2的果实三维点云实时获取方法 | |
CN104778688A (zh) | 点云数据的配准方法及装置 | |
CN113012205A (zh) | 一种基于多源数据融合的三维重建方法 | |
CN114332348B (zh) | 一种融合激光雷达与图像数据的轨道三维重建方法 | |
CN113298947B (zh) | 一种基于多源数据融合的变电站三维建模方法介质及系统 | |
CN110009745B (zh) | 根据平面基元和模型驱动对点云提取平面的方法 | |
CN110044374A (zh) | 一种基于图像特征的单目视觉测量里程的方法及里程计 | |
Xu et al. | Survey of 3D modeling using depth cameras | |
CN112929626B (zh) | 一种基于智能手机影像的三维信息提取方法 | |
CN116778288A (zh) | 一种多模态融合目标检测系统及方法 | |
CN115331029A (zh) | 基于跨模态转换网络与最优传输理论的异源图像匹配方法 | |
CN115546289A (zh) | 一种基于机器人的复杂结构件三维形貌测量方法 | |
CN117422753A (zh) | 一种联合光学和sar图像的高精度场景实时三维重建方法 | |
CN109345570B (zh) | 一种基于几何形状的多通道三维彩色点云配准方法 | |
CN109360267B (zh) | 一种薄物体快速三维重建方法 | |
CN113012238B (zh) | 一种多深度相机快速标定与数据融合的方法 | |
CN111028280A (zh) | 井字结构光相机系统及进行目标有尺度三维重建的方法 | |
CN112525106B (zh) | 基于三相机协同激光的3d探测方法及装置 | |
CN113628170A (zh) | 一种基于深度学习的激光线提取方法及系统 | |
CN107610216B (zh) | 基于粒子群优化多视角立体点云生成方法及应用的摄像机 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |