CN116958713B - 一种航空零部件表面紧固件快速识别与统计方法及系统 - Google Patents
一种航空零部件表面紧固件快速识别与统计方法及系统 Download PDFInfo
- Publication number
- CN116958713B CN116958713B CN202311212410.8A CN202311212410A CN116958713B CN 116958713 B CN116958713 B CN 116958713B CN 202311212410 A CN202311212410 A CN 202311212410A CN 116958713 B CN116958713 B CN 116958713B
- Authority
- CN
- China
- Prior art keywords
- fastener
- hole site
- fasteners
- model
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003062 neural network model Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 12
- 238000013461 design Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000013523 data management Methods 0.000 claims description 6
- 238000007726 management method Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000010191 image analysis Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 239000013585 weight reducing agent Substances 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 10
- 238000005259 measurement Methods 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004801 process automation Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请属于航空零部件测量领域，为一种航空零部件表面紧固件快速识别与统计方法，先利用高清工业相机采集零部件表面图像，并对零部件表面图像标注后建立紧固件与孔位图像数据库，搭建面向紧固件与孔位识别的深度神经网络模型，再利用紧固件与孔位图像数据库对深度神经网络模型进行训练，得到紧固件与孔位识别模型；对紧固件与孔位识别模型进行轻量化以后，获得最终的紧固件与孔位识别模型；工作过程中通过实时采集零部件表面图像，利用紧固件与孔位识别模型即可完成对各类型紧固件与孔位的自动标记与计数；能够实现零部件表面图像的快速批量分析与处理，极大提高紧固件与孔位数量检测的效率和准确性。
Description
技术领域
本申请属于航空零部件测量领域，特别涉及一种航空零部件表面紧固件快速识别与统计方法及系统。
背景技术
随着航空制造业的快速发展，对飞机装配的效率与质量提出了更高的要求。飞机是通过铆钉、螺栓等紧固件将众多零部件连接而成的整体，紧固件连接是飞机制造装配过程中重要的工艺环节，直接影响飞机的安全性和可靠性。航空零部件上紧固件数量与种类繁多，紧固件安装数量与制孔数量的检查仍依靠人工目视计数方式，存在效率低、干扰多、误差大等问题。为实现对紧固件数量高效识别检测，亟需采用数字化、信息化的测量检查技术手段进行改进革新。
图像识别与深度学习技术为航空零部件紧固件与孔位数量的快速可靠检测提供了一种新的解决思路。随着深度学习技术的快速发展，以深度神经网络对紧固件与孔位等关键目标进行特征学习与提取，实现紧固件与孔位的快速识别与统计。通过采集高清工业相机对航空零部件表面进行图像采集，建立具有不同类型紧固件与孔位的航空零部件表面紧固件与孔位图像数据库；针对紧固件等小目标识别任务，设计搭建具有多尺度特征提取模块的深度神经网络模型，通过神经网络轻量化，最终实现从零部件表面图像输入到紧固件安装数量与制孔数量统计结果快速反馈的装配过程自动化与数字化测量。
针对航空零部件表面紧固件安装数量、制孔数量的检查仍依靠人工目视计数方式，存在效率低、出错率高等问题。为满足飞机装配效率与质量的严格要求，基于新一代图像识别技术对现场零部件的紧固件安装数量与制孔数量进行快速准确的检查核实，从而达到提升产品质量的目的。
发明内容
本申请的目的是提供了一种航空零部件表面紧固件快速识别与统计方法及系统，以解决航空零部件的紧固件安装数量与制孔数量仍需人工目视方法检查造成的弊端问题。
本申请的技术方案是：一种航空零部件表面紧固件快速识别与统计方法，包括：
利用高清工业相机采集一定量的零部件表面图像，直至采集范围覆盖整个航空零部件表面，对采集的零部件表面图像的各类型紧固件和孔位进行分类和定位标注，根据分类和定位标注信息建立紧固件与孔位图像数据库；
根据紧固件与孔位图像数据库搭建面向紧固件与孔位识别的深度神经网络模型，深度神经网络模型能够对零部件表面图像中紧固件与孔位的分类与定位特征信息进行识别；
利用紧固件与孔位图像数据库对深度神经网络模型进行训练，直至深度神经网络模型的训练损失值收敛并且测试精度稳定，得到紧固件与孔位识别模型；
对紧固件与孔位识别模型进行神经网络模型轻量化，剔除紧固件与孔位识别模型中的冗余参数，获得最终的紧固件与孔位识别模型；
实时采集零部件表面图像，利用紧固件与孔位识别模型，对零部件表面图像中的紧固件与孔位进行快速分类与定位识别，并在零部件表面图像上利用不同颜色方框标记各类型紧固件与孔位，获得标记后的零部件表面图像；
统计各类型紧固件与孔位的数量，将统计结果与标记后的零部件表面图像反馈至数据管理系统进行存储、管理与显示。
优选地，所述紧固件与孔位识别模型采用卷积神经网络架构YOLOv5，对所述紧固件与孔位识别模型进行轻量化的设计方法为：
对于第n层的特征与权重，设置L1范数，分别筛选特征与权重L1范数较小的通道，
计算第n层特征通道L1范数与权重通道L1范数为：
式中，代表从模型的第n层中筛选的特征通道总数，代表模型
的第n层的第个输出特征通道的L1范数,代表从模型的第n层中筛选的权重通道
总数，代表模型的第n层的第个权重通道的L1范数；
而后对输出特征通道和权重通道的L1范数大小进行从大至小排序，去除一定量的L1范数较小的输出特征通道和权重通道。
优选地，所述紧固件与孔位识别模型采用卷积神经网络架构YOLOv5，所述紧固件与孔位识别模型内设置有多尺度特征提取模块，所述多尺度特征提取模块的设计方法为：
给定输入特征，式中，为属于符号，R为实数，C为特征深度，H为特
征高度，W为特征宽度；经过一次卷积运算获得特征后，分四路进行不同尺度
的特征运算，每路分别提取的特征计算公式如下：
⊕
⊕
式中，*代表卷积运算，⊕代表逐点元素相加,u为上采样函数，Avgpool为平均池
化函数，为第一路特征，为第二路特征，为第三路特征，为第四路特征，，，，为各路权重，将得到的四路特征进行特征融合获得输出特征，计算如下
式：
⊕
式中，为该路权重，Concat代表级联函数。
优选地，对每一张零部件表面图像中的各类型紧固件与孔位进行分类与定位标注时，生成对应的xml格式的标签文档，所述紧固件与孔位图像数据库包括零部件表面图像与对应的标签文档。
优选地，所述紧固件与孔位识别模型内设置数据增强模块，所述数据增强模块包括图像翻转、缩放、平移和随机裁减。
优选地，在对航空零部件表面进行拍摄前，飞机表面进行手动网格化标记；高清工业相机在拍摄时，每次对一个网格内的零部件表面图像进行拍摄；图像分析前先根据实物网格设置零部件表面图像的统计限界范围，在对零部件表面图像的紧固件与孔位识别后，结合统计限界范围的边界值形成多边形网格，将超过统计限界边界值的紧固件与孔位信息去除。
作为一种具体实施方式，一种航空零部件表面紧固件快速识别与统计系统，采用上述所述的方法，包括高清工业相机、算力服务器和数据管理系统，所述高清工业相机能够实时采集零部件表面图像并通过有线网络将零部件表面图像传输至算力服务器，所述高清工业相机对应设置有辅助光源，所述算力服务器包括数据增强模块和紧固件与孔位识别模型，所述数据增强模块能够提升紧固件与孔位图像数据库内零部件表面图像的数量，所述紧固件与孔位识别模型能够分别对各类紧固件和孔位信息进行识别。
本申请的一种航空零部件表面紧固件快速识别与统计方法，先利用高清工业相机采集零部件表面图像，并对零部件表面图像标注后建立紧固件与孔位图像数据库，搭建面向紧固件与孔位识别的深度神经网络模型，再利用紧固件与孔位图像数据库对深度神经网络模型进行训练，直至深度神经网络模型的训练损失值收敛并且测试精度稳定，得到紧固件与孔位识别模型；对紧固件与孔位识别模型进行轻量化以后，获得最终的紧固件与孔位识别模型；工作过程中通过实时采集零部件表面图像，利用紧固件与孔位识别模型即可完成对各类型紧固件与孔位的自动标记与计数；从而能够实现零部件表面图像的快速批量分析与处理，极大提高紧固件与孔位数量检测的效率和准确性。
附图说明
为了更清楚地说明本申请提供的技术方案，下面将对附图作简单地介绍。显而易见地，下面描述的附图仅仅是本申请的一些实施例。
图1为本申请整体流程示意图；
图2为本申请多尺度特征提取模块整体流程示意图；
图3为本申请方法所对应系统的整体结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种航空零部件表面紧固件快速识别与统计方法，包括如下步骤：
如图1所示，步骤S100，零部件表面图像采集
利用高清工业相机采集一定量的零部件表面图像，直至采集范围覆盖整个航空零部件表面，以保证数据的全面性；对采集的零部件表面图像的各类型紧固件和孔位由人工进行分类和定位标注，标注的信息包括铆钉、螺栓和孔位等，根据分类和定位标注信息建立紧固件与孔位图像数据库。
在航空飞机零部件上通常包含的紧固件类型为铆钉与螺栓，本次实施例分别标注了铆钉、螺栓、孔位三种信息。
对每一张零部件表面图像中的各类型紧固件与孔位进行分类与定位标注时，生成对应的xml格式的标签文档，用于记录紧固件与孔位在图像中的类型与坐标位置信息，该坐标位置信息为拍摄图像区域内紧固件或孔位的相对坐标，而非整机坐标，紧固件与孔位图像数据库包括零部件表面图像与对应的标签文档。标签文档的格式不限于xml格式，可以根据实际需求进行调整。
这样零部件表面图像与标签文档均能够输入至系统内进行读取，以方便进行后续的训练。
步骤S200，深度神经网络模型建立
根据紧固件与孔位图像数据库搭建面向紧固件与孔位识别的深度神经网络模型，深度神经网络模型能够对零部件表面图像中紧固件与孔位的分类与定位特征信息进行识别。
深度神经网络模型采用卷积神经网络架构YOLOv5，卷积神经网络架构YOLOv5特点为速度快、准确率高，可以在较短时间内对图像中的多个物体进行检测和识别，较为适用本申请的情形。
为了提高输入数据的多样性和规模，紧固件与孔位识别模型内设置数据增强模块，数据增强模块包括图像翻转、缩放、平移和随机裁减等操作，能够有效提升紧固件与孔位识别模型内图像的数量，使紧固件与孔位识别模型获得更好的检测性能。
步骤S300，深度神经网络模型训练
将紧固件与孔位图像数据库输入至深度神经网络模型进行前向计算，获得预测值与标签真值之间的训练损失值，并将训练损失值反向传播至深度神经网络权重并更新修正权重，直至深度神经网络模型的训练损失值收敛并且测试精度稳定，实现深度神经网络训练。
由于高清工业相机在实际拍摄中，图像清晰度、远近均可能有差别，因此如何准确识别紧固件与孔位的特征是对零部件表面图像进行紧固件与孔位快速统计的关键。
基于该问题，在紧固件与孔位识别模型内设置有多尺度特征提取模块，多尺度特征提取模块的设计方法为：
如图2所示，给定输入特征，式中，为属于符号，R为实数，C为特征
深度，H为特征高度，W为特征宽度；经过一次卷积运算获得特征后，分四路进
行不同尺度的特征运算，每路分别提取的特征计算公式如下：
⊕
⊕
式中，*代表卷积运算，⊕代表逐点元素相加,u为上采样函数，Avgpool为平均池化
函数，为第一路特征，为第二路特征，为第三路特征，为第四路特征，，，，为各路权重，将得到的四路特征进行特征融合获得输出特征，计算如下式：
⊕
式中，为该路权重，Concat代表级联函数，用于将多层特征通道堆叠。
多尺度特征提取模块通过将每组特征与不同尺寸卷积核进行特征融合，从而实现多尺度特征提取，从而能够在不同的空间尺度下实现对特定特征的准确提取，提升深度神经网络模型对紧固件与孔位的识别检测精度。
步骤S400，神经网络模型轻量化
对紧固件与孔位识别模型进行神经网络模型轻量化，剔除紧固件与孔位识别模型中的冗余参数，获得最终的紧固件与孔位识别模型。
在对零部件表面图像中的紧固件进行识别时，由于零部件表面图像中可能含有其他的特征，如梁、筋板等，这些特征均为无效特征，会影响紧固件与孔位的识别，因此需要对紧固件与孔位识别模型进行轻量化训练。
对紧固件与孔位识别模型进行轻量化的设计方法为：
对于第n层的特征与权重，设置L1范数，分别筛选特征与权重L1范数较小的通道，
计算第n层特征通道L1范数与权重通道L1范数为：
式中，代表从模型的第n层中筛选的特征通道总数，代表模型
的第n层的第个输出特征通道的L1范数,代表从模型的第n层中筛选的权重通道
总数，代表模型的第n层的第个权重通道的L1范数；
而后对输出特征通道和权重通道的L1范数大小进行从大至小排序，去除一定量的L1范数较小的输出特征通道和权重通道。
L1范数越小，该特征通道或者权重通道代表其他特征的概率越大，因此对输出特征通道和权重通道的L1范数大小进行从大至小排序，去除一定量的L1范数较小的输出特征通道和权重通道，具体数量可以为10%、15%等，按照实际需要设定。通过该设计能够有效去除除紧固件外的冗余特征参数，从而降低模型的计算量，提升紧固件与孔位的检测速度。
步骤S500，对零部件表面图像进行实时识别
实时采集零部件表面图像，高清工业相机会持续不断地拍摄多组零部件表面图像，直至完成对整个航空零部件表面图像的拍摄，利用紧固件与孔位识别模型，对零部件表面图像中的紧固件与孔位进行快速分类与定位识别，通过分类与定位识别的结果能够快速地将零部件表面各个不同位置处的紧固件与孔位找出实现准确统计，并在零部件表面图像上利用不同颜色方框标记各类型紧固件与孔位，获得标记后的零部件表面图像。
在高清工业相机对飞机零部件表面进行拍摄时，相邻照片之间一般会出现一定的重叠，而在重叠部位有可能出现铆钉、螺栓和孔位特征，这样在对特征进行统计时容易导致数量的误判。
基于该问题，对飞机零部件表面进行手动网格化标记，在画网格时避免将紧固件特征画到网格线上，高清工业相机在拍摄时，每次对一个网格内的零部件表面图像进行拍摄，在拍摄时尽量正对网格中心并且拍摄图像少量大于该网格，形成零部件表面图像，此时只需将网格外的特征去除，这样在进行紧固件和孔位数量统计时，即可有效避免重复。
将网格外的紧固件与孔位信息去除的方法为：图像分析前先根据实物网格设置零部件表面图像的统计限界范围，在对零部件表面图像的紧固件与孔位识别后，结合统计限界范围的边界值形成多边形网格，将超过统计限界边界值的紧固件与孔位信息去除，这个就得到所需的零部件表面图像。当然高清工业相机在对不同矩形网格位置进行拍摄时，距离相差较小，如当对某一位置处的紧固件进行拍摄时的距离为1m，对另一位置处的紧固件进行拍摄时的距离可能为1.1m或者0.9m，而不是是2m或3m，以保证拍摄的准确性，并且现有的高清工业相机均具有对焦功能，拍摄尺度一般差距不大。
通过该设计，能够有效避免紧固件和孔位的特征重复，保证紧固件和孔位的数量统计准确。
步骤S600，紧固件与孔位数量统计
统计各类型紧固件与孔位的数量，将统计结果与标记后的零部件表面图像反馈至数据管理系统进行存储、管理与实时显示，从而提升装配过程数字化管理水平，降低操作者劳动强度。
本申请先利用高清工业相机采集零部件表面图像，并对零部件表面图像标注后建立紧固件与孔位图像数据库，搭建面向紧固件与孔位识别的深度神经网络模型，再利用紧固件与孔位图像数据库对深度神经网络模型进行训练，直至深度神经网络模型的训练损失值收敛并且测试精度稳定，得到紧固件与孔位识别模型；对紧固件与孔位识别模型进行轻量化以后，获得最终的紧固件与孔位识别模型；工作过程中通过实时采集零部件表面图像，利用紧固件与孔位识别模型即可完成对各类型紧固件与孔位的自动标记与计数。从而能够实现零部件表面图像的快速批量分析与处理，极大提高紧固件与孔位数量检测的效率和准确性，克服人工目视计数造成的效率低、干扰多、误差大的问题，极大降低紧固件数量检测过程中的人力和时间投入，保障了航空零部件表面紧固件安装数量检测的稳定性和一致性，提升数字化装配质量。
作为一种具体实施方式，还包括一种航空零部件表面紧固件快速识别与统计系统，如图3所示，包括高清工业相机、算力服务器和数据管理系统，高清工业相机能够实时采集零部件表面图像并通过有线网络将零部件表面图像传输至算力服务器，高清工业相机对应设置有辅助光源，以保证亮度，算力服务器包括数据增强模块和紧固件与孔位识别模型，数据增强模块能够提升紧固件与孔位图像数据库内零部件表面图像的数量，紧固件与孔位识别模型能够分别对各类紧固件和孔位信息进行识别。通过设置该系统，不需要人工目测即可实现对飞机零部件表面紧固件和孔位的准确统计，从而有效提升工作效率和产品质量。
最后应说明的几点是：首先，在本申请的描述中，需要说明的是，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变，则相对位置关系可能发生改变；
其次：本发明公开实施例附图中，只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计，在不冲突情况下，本发明同一实施例及不同实施例可以相互组合；
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种航空零部件表面紧固件快速识别与统计方法，其特征在于，包括：
利用高清工业相机采集一定量的零部件表面图像，直至采集范围覆盖整个航空零部件表面，对采集的零部件表面图像的各类型紧固件和孔位进行分类和定位标注，根据分类和定位标注信息建立紧固件与孔位图像数据库；
根据紧固件与孔位图像数据库搭建面向紧固件与孔位识别的深度神经网络模型，深度神经网络模型能够对零部件表面图像中紧固件与孔位的分类与定位特征信息进行识别；
利用紧固件与孔位图像数据库对深度神经网络模型进行训练，直至深度神经网络模型的训练损失值收敛并且测试精度稳定，得到紧固件与孔位识别模型；
对紧固件与孔位识别模型进行神经网络模型轻量化，剔除紧固件与孔位识别模型中的冗余参数，获得最终的紧固件与孔位识别模型；
实时采集零部件表面图像，利用紧固件与孔位识别模型，对零部件表面图像中的紧固件与孔位进行快速分类与定位识别，并在零部件表面图像上利用不同颜色方框标记各类型紧固件与孔位，获得标记后的零部件表面图像；
统计各类型紧固件与孔位的数量，将统计结果与标记后的零部件表面图像反馈至数据管理系统进行存储、管理与显示；
所述紧固件与孔位识别模型采用卷积神经网络架构YOLOv5，对所述紧固件与孔位识别模型进行轻量化的设计方法为：
对于第n层的特征与权重，设置L1范数，分别筛选特征与权重L1范数较小的通道，计算第n层特征通道L1范数R(Fn)与权重通道L1范数R(Wn)为：
式中，代表从模型的第n层中筛选的特征通道总数，/>代表模型的第n层的第/>个输出特征通道的L1范数,/>代表从模型的第n层中筛选的权重通道总数，/>代表模型的第n层的第/>个权重通道的L1范数；
而后对输出特征通道和权重通道的L1范数大小进行从大至小排序，去除一定量的L1范数较小的输出特征通道和权重通道；
所述紧固件与孔位识别模型采用卷积神经网络架构YOLOv5，所述紧固件与孔位识别模型内设置有多尺度特征提取模块，所述多尺度特征提取模块的设计方法为：
给定输入特征Fin∈RC×H×W，式中，∈为属于符号，R为实数，C为特征深度，H为特征高度，W为特征宽度；经过一次卷积运算获得特征F∈RC×H×W后，分四路进行不同尺度的特征运算，每路分别提取的特征计算公式如下：
F4＝F*W4
式中，*代表卷积运算，代表逐点元素相加，u为上采样函数，Avgpool为平均池化函数，F1为第一路特征，F2为第二路特征，F3为第三路特征，F4为第四路特征，W1，W2，W3，W4为各路权重，将得到的四路特征进行特征融合获得输出特征Fout，计算如下式：
式中，W5为该路权重，Concat代表级联函数。
2.如权利要求1所述的航空零部件表面紧固件快速识别与统计方法，其特征在于：对每一张零部件表面图像中的各类型紧固件与孔位进行分类与定位标注时，生成对应的xml格式的标签文档，所述紧固件与孔位图像数据库包括零部件表面图像与对应的标签文档。
3.如权利要求1所述的航空零部件表面紧固件快速识别与统计方法，其特征在于：所述紧固件与孔位识别模型内设置数据增强模块，所述数据增强模块包括图像翻转、缩放、平移和随机裁减。
4.如权利要求1所述的航空零部件表面紧固件快速识别与统计方法，其特征在于：在对航空零部件表面进行拍摄前，飞机表面进行手动网格化标记；高清工业相机在拍摄时，每次对一个网格内的零部件表面图像进行拍摄；图像分析前先根据实物网格设置零部件表面图像的统计限界范围，在对零部件表面图像的紧固件与孔位识别后，结合统计限界范围的边界值形成多边形网格，将超过统计限界边界值的紧固件与孔位信息去除。
5.一种航空零部件表面紧固件快速识别与统计系统，采用如权利要求1-4任一所述方法，其特征在于：包括高清工业相机、算力服务器和数据管理系统，所述高清工业相机能够实时采集零部件表面图像并通过有线网络将零部件表面图像传输至算力服务器，所述高清工业相机对应设置有辅助光源，所述算力服务器包括数据增强模块和紧固件与孔位识别模型，所述数据增强模块能够提升紧固件与孔位图像数据库内零部件表面图像的数量，所述紧固件与孔位识别模型能够分别对各类紧固件和孔位信息进行识别，得到紧固件与孔位识别结果，所述数据管理系统能够对紧固件与孔位识别结果进行数据记录与管理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311212410.8A CN116958713B (zh) | 2023-09-20 | 2023-09-20 | 一种航空零部件表面紧固件快速识别与统计方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311212410.8A CN116958713B (zh) | 2023-09-20 | 2023-09-20 | 一种航空零部件表面紧固件快速识别与统计方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116958713A CN116958713A (zh) | 2023-10-27 |
| CN116958713B true CN116958713B (zh) | 2023-12-15 |
Family
ID=88454985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311212410.8A Active CN116958713B (zh) | 2023-09-20 | 2023-09-20 | 一种航空零部件表面紧固件快速识别与统计方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116958713B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117876650B (zh) * | 2024-03-07 | 2024-05-17 | 中航西安飞机工业集团股份有限公司 | 一种广域场景下飞机停泊智能识别定位方法及系统 |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109190721A (zh) * | 2018-09-13 | 2019-01-11 | 深圳增强现实技术有限公司 | 紧固件识别方法、系统及电子设备 |
| CN110020682A (zh) * | 2019-03-29 | 2019-07-16 | 北京工商大学 | 一种基于小样本学习的注意力机制关系对比网络模型方法 |
| EP3716158A2 (en) * | 2019-03-25 | 2020-09-30 | Nokia Technologies Oy | Compressing weight updates for decoder-side neural networks |
| KR102161315B1 (ko) * | 2019-11-08 | 2020-10-05 | 주식회사 지팬스 | 컨테이너 식별코드 모니터링 시스템 및 그 방법 |
| AU2020102091A4 (en) * | 2019-10-17 | 2020-10-08 | Wuhan University Of Science And Technology | Intelligent steel slag detection method and system based on convolutional neural network |
| CN111753653A (zh) * | 2020-05-15 | 2020-10-09 | 中铁第一勘察设计院集团有限公司 | 基于注意力机制的高铁接触网紧固件识别与定位方法 |
| CN111899216A (zh) * | 2020-06-16 | 2020-11-06 | 西安交通大学 | 一种高铁接触网绝缘子紧固件的异常检测方法 |
| CN111967471A (zh) * | 2020-08-20 | 2020-11-20 | 华南理工大学 | 一种基于多尺度特征的场景文本识别方法 |
| CN112183236A (zh) * | 2020-09-10 | 2021-01-05 | 佛山聚卓科技有限公司 | 无人机航拍视频内容识别方法、装置及系统 |
| CN112949137A (zh) * | 2021-03-18 | 2021-06-11 | 大连理工大学 | 一种基于径向基函数代理模型的提升机天轮轻量化设计方法 |
| CN113506269A (zh) * | 2021-07-12 | 2021-10-15 | 东南大学 | 一种基于深度学习的道岔与非道岔轨道紧固件定位方法 |
| CN113658266A (zh) * | 2021-07-27 | 2021-11-16 | 中航西安飞机工业集团股份有限公司 | 一种基于固定相机和单靶标的动轴旋转角视觉测量方法 |
| CN114283137A (zh) * | 2021-12-24 | 2022-04-05 | 河北工业大学 | 基于多尺度特征图推理网络的光伏组件热斑缺陷检测方法 |
| WO2022147965A1 (zh) * | 2021-01-09 | 2022-07-14 | 江苏拓邮信息智能技术研究院有限公司 | 基于MixNet-YOLOv3和卷积递归神经网络CRNN的算术题批阅系统 |
| CN115731211A (zh) * | 2022-11-29 | 2023-03-03 | 大连大学 | 一种采用四级级联架构的接触网紧固件故障检测方法 |
| CN116051465A (zh) * | 2022-12-05 | 2023-05-02 | 中国航空综合技术研究所 | 基于神经网络模型的紧固件腐蚀图像自动分级方法 |
| CN116310358A (zh) * | 2023-02-23 | 2023-06-23 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车螺栓丢失检测方法、存储介质及设备 |
| CN116448765A (zh) * | 2023-04-03 | 2023-07-18 | 中航西安飞机工业集团股份有限公司 | 一种针对手工铺贴预浸料表面缺陷识别定位系统 |
-
2023
- 2023-09-20 CN CN202311212410.8A patent/CN116958713B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109190721A (zh) * | 2018-09-13 | 2019-01-11 | 深圳增强现实技术有限公司 | 紧固件识别方法、系统及电子设备 |
| EP3716158A2 (en) * | 2019-03-25 | 2020-09-30 | Nokia Technologies Oy | Compressing weight updates for decoder-side neural networks |
| CN110020682A (zh) * | 2019-03-29 | 2019-07-16 | 北京工商大学 | 一种基于小样本学习的注意力机制关系对比网络模型方法 |
| AU2020102091A4 (en) * | 2019-10-17 | 2020-10-08 | Wuhan University Of Science And Technology | Intelligent steel slag detection method and system based on convolutional neural network |
| KR102161315B1 (ko) * | 2019-11-08 | 2020-10-05 | 주식회사 지팬스 | 컨테이너 식별코드 모니터링 시스템 및 그 방법 |
| CN111753653A (zh) * | 2020-05-15 | 2020-10-09 | 中铁第一勘察设计院集团有限公司 | 基于注意力机制的高铁接触网紧固件识别与定位方法 |
| CN111899216A (zh) * | 2020-06-16 | 2020-11-06 | 西安交通大学 | 一种高铁接触网绝缘子紧固件的异常检测方法 |
| CN111967471A (zh) * | 2020-08-20 | 2020-11-20 | 华南理工大学 | 一种基于多尺度特征的场景文本识别方法 |
| CN112183236A (zh) * | 2020-09-10 | 2021-01-05 | 佛山聚卓科技有限公司 | 无人机航拍视频内容识别方法、装置及系统 |
| WO2022147965A1 (zh) * | 2021-01-09 | 2022-07-14 | 江苏拓邮信息智能技术研究院有限公司 | 基于MixNet-YOLOv3和卷积递归神经网络CRNN的算术题批阅系统 |
| CN112949137A (zh) * | 2021-03-18 | 2021-06-11 | 大连理工大学 | 一种基于径向基函数代理模型的提升机天轮轻量化设计方法 |
| CN113506269A (zh) * | 2021-07-12 | 2021-10-15 | 东南大学 | 一种基于深度学习的道岔与非道岔轨道紧固件定位方法 |
| CN113658266A (zh) * | 2021-07-27 | 2021-11-16 | 中航西安飞机工业集团股份有限公司 | 一种基于固定相机和单靶标的动轴旋转角视觉测量方法 |
| CN114283137A (zh) * | 2021-12-24 | 2022-04-05 | 河北工业大学 | 基于多尺度特征图推理网络的光伏组件热斑缺陷检测方法 |
| CN115731211A (zh) * | 2022-11-29 | 2023-03-03 | 大连大学 | 一种采用四级级联架构的接触网紧固件故障检测方法 |
| CN116051465A (zh) * | 2022-12-05 | 2023-05-02 | 中国航空综合技术研究所 | 基于神经网络模型的紧固件腐蚀图像自动分级方法 |
| CN116310358A (zh) * | 2023-02-23 | 2023-06-23 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车螺栓丢失检测方法、存储介质及设备 |
| CN116448765A (zh) * | 2023-04-03 | 2023-07-18 | 中航西安飞机工业集团股份有限公司 | 一种针对手工铺贴预浸料表面缺陷识别定位系统 |
Non-Patent Citations (3)
| Title |
|---|
| 基于关键测量特征的机翼对接容差分配;张勇德，王青，杨伟峰;工程设计学报;第29卷(第3期);全文 * |
| 基于卷积神经网络的复杂构件内部零件装配正确性识别;赵耀霞;吴桐;韩焱;;电子学报(08);全文 * |
| 基于机器视觉和深度神经网络的零件装配检测;魏中雨;黄海松;姚立国;;组合机床与自动化加工技术(03);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116958713A (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116958713B (zh) | 一种航空零部件表面紧固件快速识别与统计方法及系统 | |
| CN110070008B (zh) | 一种采用无人机图像的桥梁病害识别方法 | |
| CN108346144B (zh) | 基于计算机视觉的桥梁裂缝自动监测与识别方法 | |
| CN108711148B (zh) | 一种基于深度学习的轮胎缺陷智能检测方法 | |
| CN109859164B (zh) | 一种通过快速型卷积神经网络对pcba外观检验的方法 | |
| CN109597968A (zh) | 基于smt大数据的锡膏印刷性能影响因素分析方法 | |
| CN111160396B (zh) | 一种基于多图结构的图卷积网络的高光谱图像分类方法 | |
| CN111652835A (zh) | 基于深度学习与聚类的输电线路绝缘子缺失的检测方法 | |
| CN115599844A (zh) | 一种飞机翼面连接件错装漏装可视化检测方法 | |
| CN113936214A (zh) | 一种基于融合空天遥感影像的岩溶湿地植被群落分类方法 | |
| Park et al. | D 3 pointnet: Dual-level defect detection pointnet for solder paste printer in surface mount technology | |
| CN113205511B (zh) | 基于深层神经网络的电子元器件批量信息检测方法及系统 | |
| CN108765446B (zh) | 基于随机场和随机森林的电力线点云分割方法及系统 | |
| CN112560902A (zh) | 基于书脊视觉信息的图书识别方法及系统 | |
| CN112084941A (zh) | 一种基于遥感图像的目标检测与识别方法 | |
| CN111695560A (zh) | 基于卷积神经网络对农作物病虫害主动定位聚焦的方法 | |
| Klobučar et al. | Detecting forest damage in CIR aerial photographs using a neural network | |
| CN115115954A (zh) | 基于无人机遥感的松材线虫病疫区变色立木智能识别方法 | |
| CN111127485B (zh) | 一种ct图像中目标区域提取方法、装置及设备 | |
| CN114255388A (zh) | 一种地震采集接收装置埋置质量人工智能自动检测方法 | |
| CN112508905A (zh) | 一种金具锈蚀图像检测方法和计算机可读存储介质 | |
| CN111627018A (zh) | 一种基于双流神经网络模型的钢板表面缺陷分类方法 | |
| CN117079295B (zh) | 一种航空电缆张力计指针识别与读数方法及系统 | |
| CN117876650B (zh) | 一种广域场景下飞机停泊智能识别定位方法及系统 | |
| CN117911796B (zh) | 一种基于图像识别的智能化数据处理系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |