CN115082446B - 一种基于图像边界提取的飞机蒙皮铆钉的测量方法 - Google Patents
一种基于图像边界提取的飞机蒙皮铆钉的测量方法 Download PDFInfo
- Publication number
- CN115082446B CN115082446B CN202210874141.0A CN202210874141A CN115082446B CN 115082446 B CN115082446 B CN 115082446B CN 202210874141 A CN202210874141 A CN 202210874141A CN 115082446 B CN115082446 B CN 115082446B
- Authority
- CN
- China
- Prior art keywords
- rivet
- skin
- image
- plane
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000005259 measurement Methods 0.000 claims abstract description 13
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims abstract description 8
- 230000003287 optical effect Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 3
- 238000012876 topography Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010587 phase diagram Methods 0.000 description 2
- 241000587161 Gomphocarpus Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于图像边界提取的飞机蒙皮铆钉的测量方法,包括:步骤S1、基于结构光相机获取整机的蒙皮铆钉区域的蒙皮铆钉图像及其对应的点云;步骤S2、训练边界提取网络,获得铆钉边界图像;步骤S3、映射边界图像到点云数据中,拟合铆钉平面和蒙皮平面;步骤S4、根据平面间距计算铆钉平齐度,完成飞机蒙皮铆钉的测量。本发明通过利用边界提取网络,实现了蒙皮铆钉的平齐度测量,保证了整机表面形貌的装配质量。
Description
技术领域
本发明属于三维数据测量技术领域,具体涉及一种基于图像边界提取的飞机蒙皮铆钉的测量方法。
背景技术
大型飞机由于尺寸大、形状结构复杂的特点,蒙皮在装配过程中容易出现变形导致对缝超出设计容限,机表钉头的齐平度影响着飞机的气动性能。飞机表面形貌的装配质量在很大程度决定了飞机的最终质量、制造成本和周期,因此,飞机表面形貌测量的准确性尤为重要。
国内蒙皮的传统测量方法是使用塞尺测量,该方法对人工操作要求高,且误差大、效率较低、重复精度不高,难以满足测量精度的要求。
近些年来,随着激光雷达和三维扫描技术的发展和普及,该技术被广泛应用于测绘,军工设备测量等领域。使用三维扫描技术进行飞机表面形貌测量具有良好的应用前景。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足,提供一种基于图像边界提取的飞机蒙皮铆钉的测量方法,可提高整机测量准确度和效率。
为实现上述技术目的,本发明采取的技术方案为:
一种基于图像边界提取的飞机蒙皮铆钉的测量方法,包括:
步骤S1、基于结构光相机获取整机的蒙皮铆钉区域的蒙皮铆钉图像及其对应的点云;
步骤S2、训练边界提取网络,获得铆钉边界图像;
步骤S3、映射边界图像到点云数据中,拟合铆钉平面和蒙皮平面;
步骤S4、根据平面间距计算铆钉平齐度,完成飞机蒙皮铆钉的测量。
为优化上述技术方案,采取的具体措施还包括:
上述的步骤S1包括:
步骤S101、基于双目结构光相机,即将两台相机的光轴按一定角度进行安装,使两光轴光束同时会聚于被测物,即整机的蒙皮铆钉区域;
步骤S102、根据整机测量的蒙皮铆钉区域深度图像重建出蒙皮点云。
上述的步骤S2包括:
步骤S201、收集飞机蒙皮铆钉区域图片并人工进行铆钉像素区域的标注,利用其训练基于改进VGG16的边界提取网络;
步骤S202、把多视角整机测量数据输入基于改进VGG16的边界提取网络,获得边界强度;
步骤S203、设定阈值对边界强度进行二值化操作,对获得的二值图,使用霍夫变换拟合圆作为铆钉边界,得到铆钉边界图像。
上述的基于改进VGG16的边界提取网络,其使用交叉熵损失函数:
其中每个3x3的卷积层后,使用1x1的卷积来降低通道数,分别降低为16/64通道。
然后ewp层执行element-wise product用来拼接通道;
Deconv层执行反卷积操作对获得的特征图进行上采样;
生成边缘概率,对于每个像素点,边缘强度在[0,1]之间;
输出的结果为每个像素的边缘强度。
上述的步骤S3包括:
步骤S301、根据相机的内参矩阵,将铆钉边界图像信息映射到点云数据中;
步骤S302、使用RANSAC方式选取点云中内点组成平面,分别拟合铆钉区域的平面方程和整个蒙皮的平面。
上述的步骤S301所述相机的内参矩阵为:
根据如下公式计算图像像素点(u,v)对应的点云坐标(x,y,z):
其中,d是物体到相机的深度,s是相机的缩放因子。
上述的步骤S302包括:
在一个迭代内设定阈值,在点云中随机选取内点使用最小二乘法组成平面;
若内点集比阈值小则再次重新选取内点,直到内点集大于阈值终止,在迭代N次后选取迄今为止发现的最大内点集来拟合所需平面。
上述的步骤S302采用以下公式计算N,使得:
上述的步骤S4为:在拟合的铆钉平面内,定义一个中心点,计算剩余点到中心点的距离,保存最大距离,重复以上定义、距离计算和最大距离保存的步骤,得到D 2 , D 3 ,...,D n ,取最小的对应的为中心点;
其中,A,B,C,D是蒙皮平面的平面参数。
本发明具有以下有益效果:
本发明通过利用边界提取网络,实现了蒙皮铆钉的平齐度测量,保证了整机表面形貌的装配质量;使得数据采集更为高效,数据分析更为快捷、科学,解决了人工统计和分析数据带来的问题,可以在检测中实时监控零件品质状态,提高了飞机蒙皮的检测效率。
附图说明
图1为本发明基于图像边界提取的飞机蒙皮铆钉的测量方法流程图;
图2本发明采用的基于改进VGG16的边界提取网络;
图3为根据本发明实施例获得的边界强度图和铆钉区域图。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
如图1所示,一种基于图像边界提取的飞机蒙皮铆钉的测量方法,包括如下步骤:
步骤S1、对整机的蒙皮铆钉区域用双目结构光相机经过摄影和计算得到点云与相应的蒙皮铆钉图像,包括:
步骤S101、基于双目结构光相机,即将两台相机的光轴按一定角度进行安装,使两光轴光束同时会聚于被测物,即整机的蒙皮铆钉区域;
使用双目IR+投影红外点阵,投影图案采用时间编码;使用多频外差算法,首先基于相移法求解每点的包裹相位,得到包裹相位图φw(m,n,t),计算两套条纹的包裹相位图上同一点的相位差。计算该点展开相位值Φμ(s),计算蒙皮深度图像。
步骤S102、根据整机测量的深度图像重建出蒙皮点云。
利用相位对双目进行点对点匹配。先选取整机影像序列中的两幅影像作为基础像对,求解出基础像对外极几何和基础矩阵,再结合摄像头的内参完成基础像对的结构重建,最后在已重建结构基础上逐渐加入新的影像更新其空间位置并完善结构的重建。
步骤S2、训练边界提取网络,获得铆钉边界图像,包括:
步骤S201、收集足够的飞机蒙皮区域图片并人工进行铆钉像素区域的标注,利用这些数据训练一个基于改进VGG16的边界提取网络。
对这些数据分为训练集和测试集,进行人工标注,图像对应的标签为标注好的铆钉像素区域的图片。把标注好的图片输入边界提取网络。
步骤S202、把多视角整机测量数据输入边界提取网络获得边界强度。
如图2所示,基于改进VGG16的边界提取网络,使用交叉熵损失函数:
其中每个3x3的卷积层后,使用1x1的卷积来降低通道数,分别降低为16/64通道。
然后ewp层执行element-wise product用来拼接通道。
Deconv层执行反卷积操作对获得的特征图进行上采样。
生成边缘概率,对于每个像素点,边缘强度在[0,1]之间。
输出的结果为每个像素的边缘强度。
步骤S203、设定阈值对边界强度进行二值化操作,对获得的二值图,使用霍夫变换拟合圆作为铆钉边界。
本发明实施例获得的边界强度图和铆钉区域图如图3所示。
步骤S3、映射边界图像到点云数据中,拟合铆钉平面和蒙皮平面,包括:
步骤S301、根据相机的内参矩阵,将铆钉边界图像信息映射到点云数据中;
根据相机的内参矩阵:
计算图像坐标到点云坐标的平移变换。
根据如下公式计算图像像素点(u,v)对应的点云坐标(x,y,z):
其中,d是物体到相机的深度,s是相机的缩放因子。
步骤S302、在一个铆钉区域的点云内,设所有点集为S,从中随机选择p个点拟合一个平面,获得a,b,c,d值。
如果小于阈值T,则重新随机选择p个点构成子集。
以上步骤S302迭代N次,选取迄今为止发现的最大数据点子集。
其中,从以下公式计算N,使得:
在每个铆钉区域拟合一个平面。
使用相同的方式在蒙皮区域的点云拟合一个平面。
步骤S4、根据平面间距计算铆钉平齐度。包括:
在拟合的铆钉平面内,定义一个中心点G 2 ,计算剩余点到中心点的距离,保存最大距离D 1 ,重复以上定义、距离计算和最大距离保存的步骤,得到D 2 ,D 3 ,...,D n ,取最小的对应的为中心点;
其中,A,B,C,D是蒙皮平面的平面参数。
以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。
Claims (7)
1.一种基于图像边界提取的飞机蒙皮铆钉的测量方法,其特征在于,包括:
步骤S1、基于结构光相机获取整机的蒙皮铆钉区域的蒙皮铆钉图像及其对应的点云;
步骤S2、训练边界提取网络,获得铆钉边界图像,包括:
步骤S201、收集飞机蒙皮铆钉区域图片并人工进行铆钉像素区域的标注,利用其训练基于改进VGG16的边界提取网络;
所述基于改进VGG16的边界提取网络,其使用交叉熵损失函数:
其中,yi表示得到的边缘概率值,高于μ的像素为正样本,等于0的为负样本;
引入超参数ρ平衡正负样本:
其中Y+,Y-代表正负样本;
其中每个3x3的卷积层后,使用1x1的卷积来降低通道数,分别降低为16/64通道;
然后ewp层执行element-wise product用来拼接通道;
Deconv层执行反卷积操作对获得的特征图进行上采样;
生成边缘概率,对于每个像素点,边缘强度在[0,1]之间;
输出的结果为每个像素的边缘强度;
步骤S202、把多视角整机测量数据输入基于改进VGG16的边界提取网络,获得边界强度;
步骤S203、设定阈值对边界强度进行二值化操作,对获得的二值图,使用霍夫变换拟合圆作为铆钉边界,得到铆钉边界图像;
步骤S3、映射边界图像到点云数据中,拟合铆钉平面和蒙皮平面;
步骤S4、根据平面间距计算铆钉平齐度,完成飞机蒙皮铆钉的测量。
2.根据权利要求1所述的一种基于图像边界提取的飞机蒙皮铆钉的测量方法,其特征在于,所述步骤S1包括:
步骤S101、基于双目结构光相机,即将两台相机的光轴按一定角度进行安装,所述一定角度使两台相机的光轴光束同时会聚于被测物,即整机的蒙皮铆钉区域;
步骤S102、根据整机测量的蒙皮铆钉区域深度图像重建出蒙皮点云。
3.根据权利要求1所述的一种基于图像边界提取的飞机蒙皮铆钉的测量方法,其特征在于,所述步骤S3包括:
步骤S301、根据相机的内参矩阵,将铆钉边界图像信息映射到点云数据中;
步骤S302、使用RANSAC方式选取点云中内点组成平面,分别拟合铆钉区域的平面方程和整个蒙皮的平面。
5.根据权利要求3所述的一种基于图像边界提取的飞机蒙皮铆钉的测量方法,其特征在于,所述步骤S302包括:
在一个迭代内设定阈值,在点云中随机选取内点使用最小二乘法组成平面;
若内点集比阈值小则再次重新选取内点,直到内点集大于阈值终止,在迭代N次后选取迄今为止发现的最大内点集来拟合所需平面。
6.根据权利要求5所述的一种基于图像边界提取的飞机蒙皮铆钉的测量方法,其特征在于,所述步骤S302采用以下公式计算N,使得:
P=1-(1-(1-∈)p)N→max
其中∈是未知的外点集的期望值,p表示随机选择p个内点构成内点集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210874141.0A CN115082446B (zh) | 2022-07-25 | 2022-07-25 | 一种基于图像边界提取的飞机蒙皮铆钉的测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210874141.0A CN115082446B (zh) | 2022-07-25 | 2022-07-25 | 一种基于图像边界提取的飞机蒙皮铆钉的测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115082446A CN115082446A (zh) | 2022-09-20 |
CN115082446B true CN115082446B (zh) | 2022-11-22 |
Family
ID=83243404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210874141.0A Active CN115082446B (zh) | 2022-07-25 | 2022-07-25 | 一种基于图像边界提取的飞机蒙皮铆钉的测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115082446B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115982864B (zh) * | 2023-03-21 | 2023-06-27 | 南京航空航天大学 | 一种大型复合材料构件装配协调边界特征的重建方法 |
CN117788472B (zh) * | 2024-02-27 | 2024-05-14 | 南京航空航天大学 | 一种基于dbscan算法的飞机蒙皮表面铆钉腐蚀程度判断的方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013224862A (ja) * | 2012-04-20 | 2013-10-31 | Mitsubishi Heavy Ind Ltd | 打鋲リベット検査装置及び打鋲リベット検査方法 |
CN111986126B (zh) * | 2020-07-17 | 2022-05-24 | 浙江工业大学 | 一种基于改进vgg16网络的多目标检测方法 |
CN113390357B (zh) * | 2021-07-08 | 2022-06-07 | 南京航空航天大学 | 一种基于双目多线结构光的铆钉齐平度测量方法 |
CN114627177B (zh) * | 2022-03-25 | 2022-11-22 | 南京航空航天大学 | 一种基于图像分割的飞机蒙皮间隙与阶差测量方法 |
-
2022
- 2022-07-25 CN CN202210874141.0A patent/CN115082446B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115082446A (zh) | 2022-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115082446B (zh) | 一种基于图像边界提取的飞机蒙皮铆钉的测量方法 | |
CN106709947B (zh) | 一种基于rgbd相机的三维人体快速建模系统 | |
CN103971353B (zh) | 采用激光辅助大型锻件测量图像数据的拼接方法 | |
CN109993793B (zh) | 视觉定位方法及装置 | |
WO2021208442A1 (zh) | 一种三维场景的重建系统、方法、设备及存储介质 | |
CN110009667B (zh) | 基于罗德里格斯变换的多视点云全局配准方法 | |
CN110796694A (zh) | 一种基于KinectV2的果实三维点云实时获取方法 | |
CN107560592B (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
CN103198523A (zh) | 一种基于多深度图的非刚体三维重建方法及系统 | |
CN113298947B (zh) | 一种基于多源数据融合的变电站三维建模方法介质及系统 | |
CN110189400B (zh) | 一种三维重建方法、三维重建系统、移动终端及存储装置 | |
CN103278138A (zh) | 一种复杂结构薄部件三维位置及姿态的测量方法 | |
CN110246186A (zh) | 一种自动化三维彩色成像与测量方法 | |
CN110009745B (zh) | 根据平面基元和模型驱动对点云提取平面的方法 | |
CN112630469B (zh) | 一种基于结构光和多光场相机的三维检测方法 | |
CN108171790B (zh) | 一种基于字典学习的目标重建方法 | |
CN116778288A (zh) | 一种多模态融合目标检测系统及方法 | |
CN115631317B (zh) | 隧道衬砌正射影像生成方法及装置、存储介质、终端 | |
CN111028280A (zh) | 井字结构光相机系统及进行目标有尺度三维重建的方法 | |
CN114782636A (zh) | 三维重建方法、装置及系统 | |
CN117422753A (zh) | 一种联合光学和sar图像的高精度场景实时三维重建方法 | |
CN113012238B (zh) | 一种多深度相机快速标定与数据融合的方法 | |
CN118134787A (zh) | 一种空间目标三维激光点云与可见光图像重建点云融合方法 | |
CN112525106B (zh) | 基于三相机协同激光的3d探测方法及装置 | |
CN113808019A (zh) | 一种非接触测量系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |