CN111681214A - 一种基于U-net网络的航空轴承表面铆钉检测方法 - Google Patents

一种基于U-net网络的航空轴承表面铆钉检测方法 Download PDF

Info

Publication number
CN111681214A
CN111681214A CN202010445758.1A CN202010445758A CN111681214A CN 111681214 A CN111681214 A CN 111681214A CN 202010445758 A CN202010445758 A CN 202010445758A CN 111681214 A CN111681214 A CN 111681214A
Authority
CN
China
Prior art keywords
rivet
image
net network
bearing surface
aviation bearing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010445758.1A
Other languages
English (en)
Inventor
薛萍
王仪晖
王宏民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202010445758.1A priority Critical patent/CN111681214A/zh
Publication of CN111681214A publication Critical patent/CN111681214A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G01M13/04—Bearings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biochemistry (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于U‑net网络的航空轴承表面铆钉检测方法，具体涉及机器视觉检测领域，本发明针对现有技术对于航空轴承的铆钉装配检测只能通过人工检测，检测效率低的问题。本发明的包括如下步骤：采集装配标准的铆钉的图像作为铆钉图像的标准模板，采集航空轴承表面铆钉的图像作为训练样本；构建U‑net网络；将训练样本输入所述U‑net网络中进行训练，得到训练好的U‑net模型；输入待检测图像，并通过训练好的U‑net网络进行待检测图像的特征识别；利用霍夫变换对分割结果进行圆形识别，并输出识别到的圆形的半径；铆钉安装判断；本发明节省了人力物力，提高了检测速度，检测过程更加自动化、智能化。

Description

一种基于U-net网络的航空轴承表面铆钉检测方法
技术领域
本发明涉及机器视觉检测领域，尤其是涉及一种基于U-net网络的航空轴承表面铆钉检测方法。
背景技术
航空轴承是航空设备中十分重要的基础零件，其性能对许多机械部件的运转起到决定性作用。在装配过程中，有时会因为各种原因出现一定的装配失误，造成轴承表面铆钉缺失的现象，进而影响整个轴承的性能。在一些情况下这种缺失可能会造成较为严重的后果，因此对装配完成的轴承进行铆钉检测尤为重要。目前很多铆钉检测依然依靠人工手段，但是检测速度慢，且容易出现漏检问题，有时会造成严重的安全隐患。为了寻求一种较为自动化的检测方法，这里考虑一种基于机器视觉的检测方法，提高检测速度的同时有效的杜绝漏检问题，确保百分之百的安全性。
采集铆钉图像时往往会遇到一些问题，比如：轴承为金属器件，拍摄时会受到光传感介质的干扰，造成图像清晰度不够的现象，模糊铆钉边缘；铆钉和轴承表面颜色一致，对比不明显，并且铆接技术较为精细，导致铆钉边缘特征不明显；金属器件反光严重，采集的轴承图像上一些边缘细节被淹没等。这些问题都导致图像中感兴趣特征不明显，对特征的提取增加困难。而铆钉的形状为圆形，所以一般的铆钉检测问题集中在对圆形的识别和检测。对于基于机器视觉的铆钉检测，若图像中圆形特征不明显，或者轴承表面铆钉边缘不明朗，则会影响检测精度。且由于采集角度问题，一些缺钉目标的铆接口也类似圆形，需要判定圆形尺寸，因此检测对于特征提取精确度的要求较高。
发明内容
为了解决上述问题，本发明提供了一种基于U-net网络的航空轴承表面铆钉检测方法，实现了对已经装配完成的航空轴承表面铆钉快速和高精度的自动化检测。
本发明的一种基于U-net网络的航空轴承表面铆钉检测方法，包括以下步骤：
S1、采集装配标准的铆钉的图像作为铆钉图像的标准模板，设定合理误差；
S2、采集航空轴承表面铆钉的图像，并将所述航空轴承表面铆钉的图像预处理后作为训练样本；
S3、构建U-net网络，所述U-net网络包括一条收缩路径和与所述收缩路径对称的一条扩张路径；
S4、将训练样本输入所述U-net网络中进行训练，得到训练好的U-net模型；
S5、输入待检测图像，并通过训练好的U-net网络进行待检测图像的特征识别，得到铆钉和缺少铆钉部分的分割结果；
S6、利用霍夫变换对分割结果进行圆形识别，并输出识别到的圆形的半径；
S7、若霍夫变换未能识别到圆形或输出的圆形半径与所述合理误差的和小于所述标准模板的标准铆钉半径时，判定为铆钉缺失，否则判定为铆钉装配正常。
进一步的，所述预处理方法包括数据增强和几何变换。
进一步的，所述训练样本的铆钉图像为同一采集条件下采集的图片，所述同一条件包括采集距离相同、采集角度相同和光照条件相同。
进一步的，所述同一条件通过图像采集装置实现，所述图像采集装置包括CCD相机、旋转台和光源，所述航空轴承卡设在旋转台表面，所述旋转台以相同旋转角度匀速转动。
进一步的，所述标准模板的铆钉图像与所述样本集图片的采集条件相同。
进一步的，所述铆钉图像的标准模板为所述装配标准的铆钉的图像的二维图像尺寸，所述二维图像中标定的铆钉半径为标准铆钉半径。
进一步的，所述合理误差范围为1-2mm。
进一步的，所述收缩路径包括若干收缩模块，所述扩张路径包括若干扩张模块，所述扩张模块与收缩模块对应，所述收缩模块包括两个卷积层和一个最大池化层，扩张模块包括一个反卷积层和两个卷积层，所述收缩模块中的卷积层和扩张模块中的卷积层后均设有BN层。
进一步的，所述扩张路径通过1×1卷积层映射。
如上所述，本发明提供的一种基于U-net网络的航空轴承表面铆钉检测方法，具有如下效果：
1、本发明与人工检测方法相比，节省了人力物力，提高了检测速度，且使检测过程更加自动化、智能化，检测精度更高，提高了检测效率。
2、本发明采用改进的U-net模型和霍夫变换结合的方法对轴承铆钉图像进行精确识别，相较于常用的阈值分割算法，本申请自动识别铆钉或者缺钉特征，对背景和感兴趣区域的区分度更高，忽略背景信息的干扰，杜绝背景中其他圆形特征造成的误检情况。
3、本申请克服了图像铆钉边缘细节不清晰的问题，相较于阈值分割法分割出的较粗铆钉边缘，其分割出的边缘更细，检测出的圆更准确，误差更小。
附图说明
图1为本申请具体实施例的方法流程图；
图2为本申请具体实施例的U-net模型的结构示意图；
图3为本申请具体实施例的待检测的装配标准的铆钉和缺钉的原始图，图3a为标准铆钉图像，图3b为缺铆钉图像；
图4为本申请具体实施例的装配标准的铆钉图像和缺钉图像经过U-net模型的图像识别结果，图4a为标准铆钉图像，图4b为缺铆钉图像；
图5为本申请具体实施例中通过霍夫变化检测出的铆钉的形状和尺寸示意图，图5a为标准铆钉检测并画出的圆形以及其尺寸信息，图5b为缺钉时画出的圆形以及其尺寸信息；
图6为使用阈值分割法分割出的铆钉图像和缺钉图像特征以及霍夫变换检测结果，图6a为装配标准的铆钉分割结果，图6b为缺钉分割结果，图6c为标准铆钉检测并画出的圆形以及其尺寸信息，图6d为缺钉时画出的圆形以及其尺寸信息。
图7为本申请具体实施例图像采集装置原理框图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1所示，本实施例的一种基于U-net网络的航空轴承表面铆钉检测方法，包括如下步骤，
S1、采集装配标准的铆钉的图像作为铆钉图像的标准模板，设定合理误差e，在本实施例中，选取一个装配标准的铆钉作为标定参照物并采集其图像，即可得到相机的物面分辨率，并以此图像的二维图像尺寸作为检验标准，所述二维图像中标定的铆钉半径为标准铆钉半径R＝35mm；
设定合理误差e，本申请中的合理误差e范围为1-2mm。
S2、采集航空轴承表面铆钉的图像，并将所述航空轴承表面铆钉的图像预处理后作为训练样本；
步骤S1和步骤S2所述的标准模板图像和作为训练集的航空轴承表面铆钉图像通过图像采集装置实现，如图7所示，本实施例的图像采集装置包括CCD相机6、旋转台3、光源1、伺服电机4和上位机5，待采集图像的航空轴承2卡设在旋转台3的上表面，伺服电机带动旋转台以相同旋转角度匀速转动，图像采集过程中通过CCD相机6采集位于旋转台3上端的航空轴承2的铆钉图像，当采集完成后，伺服电机4带动旋转台5转动，使所述航空轴承2的另一工位进行另一侧铆钉图像采集；
在所述训练样本的铆钉图像和作为标准模板的铆钉图像采集过程中，保持采集条件相同，所述同一条件包括采集距离相同、采集角度相同、光照条件相同、CCD相机焦距、物距不变。
本实施例所述训练集的预处理过程包括对先前得到训练集样本进行数据增强，为了增加训练样本的数量，避免训练过程发生过拟合的问题，本实施例对所述训练集样本进行几何变换，将几何变换后的图像作为新的训练样本，确保了训练样本的充足；
S3、构建U-net网络，所述U-net网络包括一条收缩路径和与所述收缩路径对称的一条扩张路径；
U-net是一种全卷积神经网络，也是一种新兴的图像分割网络，常被应用于生物医学以及遥感影像分类领域。U-net网络模型由两个对称的结构，及一个可以逐层提取图像信息的收缩路径和一个用于实现图像精准定位分割的扩张路径组成。通常情况下U-net网络曾应用于细胞图像的精准分割，具有较高的分割精度，并且在样本较少的情况下也可较为准确的提取图像特征。
在U-net模型输出图像时，图像尺寸和输入相同。如图2所示，本实施例的U-net模型包括一个对称的收缩路径和一个扩张路径，即一条编码通道和一条解码通道。所述收缩路径包括收缩模块101、收缩模块102、收缩模块103、收缩模块104和收缩模块105，所述扩张路径包括扩张模块201、扩张模块202、扩张模块203和扩张模块204；
每个收缩模块中都包括两个核函数为3×3的卷积层和一个2×2的最大池化层，收缩路径中每经过一次最大池化层后，输出特征图的尺寸缩小一倍，且每次操作后特征通道数加倍，由图2可见，输入图像尺寸为256×256，经收缩模块101后，图像尺寸缩小一倍至128×128，当经收缩模块105后，图像尺寸为16×16；
每个扩张模块都包含一个核函数为2×2的反卷积操作，再与先前对应的收缩路径中的特征图拼接，然后经过两个3×3的卷积层，每次操作后输出特征图尺寸加倍，且通道数减半，具体如图2所示，扩张模块201输出的图像尺寸为256×256。U-net模型反复连续的卷积操作以及高层与底层特征图的拼接，使其能够更好地提取到特征图像中的细节信息，达到更精确的且分割效果。对于样本较少的情况也较为适用，大大节省了工作量。
随着网络层数加深，加大了整个模型训练的时间及空间的复杂度，为了解决前一层引起的后一层的数据分布的变化的问题，使网络训练速度更快，分割结果更准确，本发明中的U-net模型添加了批量归一化层对进行优化，所以，本实施例在每个收缩模块和每个扩张模块中的每个卷积的后边紧跟着一个BN层，即对下一级的卷积输入进行批量归一化，并采用非线性激活函数ReLU对批量归一化后的值进行激活，进而提高网络表达能力。
在激活函数之前设置BN层，对每一层的输入做批量归一化处理，若某一模块有m维输入，A＝(a1,a2,...，am)，其中a为激活函数的输入值，即激活值。BN层可将激活值规整到均值为0，方差为1的高斯分布范围内，对参数稀疏化，即：
Figure BDA0002505663970000051
其中μ是m个激活值的均值，σi是根据均值μ和m个激活值求出的标准差。
然后通过引入可学习参数(γ，β)对归一化后的激活值进行微调，重新参数化。引入参数(γ，β)后的激活值
Figure BDA0002505663970000052
为：
Figure BDA0002505663970000053
通过批量归一化方法降低了参数选择的敏感度，使网络可以选择更大的学习率，提高训练速度；使损失过程更加平滑，防止出现梯度消失和梯度爆炸的情况；可以基本忽略dropout的过程，同时有效解决过拟合问题。
在经过多层卷积后图像的边缘细节往往会有丢失，因此每一层中都要进行边界填充，以确保输出特征图与输入大小一致，特征完备，最后通过一个1×1的卷积层映射成所需通道数的输出。
S4、将训练样本输入所述U-net网络中进行训练，得到训练好的U-net模型；
S5、利用图像采集装置采集航空轴承图像作为测试集，将测试集送入所示训练好的U-net模型中通过训练好的U-net网络进行待检测图像的特征识别，得到装配铆钉和缺少铆钉部分的分割结果；
S6、利用霍夫变换对分割结果进行圆形识别，若检测到圆形，则画出圆形并输出识别到的圆形的半径r；本实施例通过霍夫变换将二维平面的圆转化到三维空间中，圆心坐标为(a,b)，圆的半径为r，识别到的圆形表达式为：
(x-a)2+(y-b)2＝r2；
当参数空间增加为三维时，三维参数空间(a,b,r)的一个锥面对应圆形边界上的一个点，图像中待检测的目标形状上的点正对应于同一个圆上，其对应的圆锥相交于一点，即图像空间中的圆心。
本实施例的霍夫变换具体步骤如下：
S61、对参数空间(a,b,r)进行量化，得到一个三维的累加器阵列，其中每一个立方体小格对应着空间(a,b,r)的参数离散值；
S62、提取经过所述U-net网络分割的铆钉图像的边缘，计算与边缘上每一个点像素距离为ri的所有点坐标(ai,bi)，然后将对应(ai,bi,ri)立方体小格的累加器加1；
S63、改变r的数值，重复步骤S61-S62，上述r的数值从0-256依次选取；
S64、当计算完所有边缘点后对三维阵列立方体小格的所有累加器的值进行检验并排序，位于峰值的立体小格的坐标即对应图像空间中圆的圆心坐标，对应的距离ri为所述圆形的半径；
S65、根据所得圆心坐标与半径，画出对应圆形，该圆形为霍夫变换识别到的圆形。
S7、铆钉装配判断：若霍夫变换未能识别到圆形或输出的圆形半径与所述合理误差的和小于所述标准模板的标准铆钉半径时，判定为铆钉缺失，否则判定为铆钉装配正常。如图5a，检测到的铆钉尺寸为34mm，可判断为正常装配的铆钉；若如图5b检测到的圆形半径为23mm，远远小于铆钉尺寸，为侧角度下铆接口拟合出的圆形，若检测不到圆形或者检测到圆形尺寸远小于35mm,达不到33到37mm的标准，则判定为缺钉。
将本申请的测试集送入现有技术中的阈值分割方法中，并进行检测，得到对比结果如图6所示，本实施例的方法可以忽略背景信息造成的检测误判，如图6d,且分割结果更为准确，检测误差较小，如图6c,鲁棒性较强。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种基于U-net网络的航空轴承表面铆钉检测方法，其特征在于：包括以下步骤：
S1、采集装配标准的铆钉的图像作为铆钉图像的标准模板；设定合理误差；
S2、采集航空轴承表面铆钉的图像，并将所述航空轴承表面铆钉的图像预处理后作为训练样本；
S3、构建U-net网络，所述U-net网络包括一条收缩路径和与所述收缩路径对称的一条扩张路径；
S4、将训练样本输入所述U-net网络中进行训练，得到训练好的U-net模型；
S5、输入待检测图像，并通过训练好的U-net网络进行待检测图像的特征识别，得到铆钉和缺少铆钉部分的分割结果；
S6、利用霍夫变换对分割结果进行圆形识别，并输出识别到的圆形的半径；
S7、若霍夫变换未能识别到圆形或输出的圆形半径与所述合理误差的和小于所述标准模板的标准铆钉半径时，判定为铆钉缺失，否则判定为铆钉装配正常。
2.根据权利要求1所述一种基于U-net网络的航空轴承表面铆钉检测方法，其特征在于：所述预处理方法包括数据增强和几何变换。
3.根据权利要求1所述一种基于U-net网络的航空轴承表面铆钉检测方法，其特征在于：所述训练样本的铆钉图像为同一采集条件下采集的图片，所述同一条件包括采集距离相同、采集角度相同和光照条件相同。
4.根据权利要求3所述一种基于U-net网络的航空轴承表面铆钉检测方法，其特征在于：所述同一条件通过图像采集装置实现，所述图像采集装置包括CCD相机、旋转台和光源，所述航空轴承卡设在旋转台表面，所述旋转台以相同旋转角度匀速转动。
5.根据权利要求3所述一种基于U-net网络的航空轴承表面铆钉检测方法，其特征在于：所述标准模板的铆钉图像与所述样本集图片的采集条件相同。
6.根据权利要求5所述一种基于U-net网络的航空轴承表面铆钉检测方法，其特征在于：所述铆钉图像的标准模板为所述装配标准的铆钉的图像的二维图像尺寸，所述二维图像中标定的铆钉半径为标准铆钉半径。
7.根据权利要求1所述一种基于U-net网络的航空轴承表面铆钉检测方法，其特征在于：所述合理误差范围为1-2mm。
8.根据权利要求1所述一种基于U-net网络的航空轴承表面铆钉检测方法，其特征在于：所述收缩路径包括若干收缩模块，所述扩张路径包括若干扩张模块，所述扩张模块与收缩模块对应，所述收缩模块包括两个卷积层和一个最大池化层，扩张模块包括一个反卷积层和两个卷积层，所述收缩模块中的卷积层和扩张模块中的卷积层后均设有BN层。
9.根据权利要求8所述一种基于U-net网络的航空轴承表面铆钉检测方法，其特征在于：所述扩张路径通过1×1卷积层映射。
CN202010445758.1A 2020-05-24 2020-05-24 一种基于U-net网络的航空轴承表面铆钉检测方法 Withdrawn CN111681214A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010445758.1A CN111681214A (zh) 2020-05-24 2020-05-24 一种基于U-net网络的航空轴承表面铆钉检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010445758.1A CN111681214A (zh) 2020-05-24 2020-05-24 一种基于U-net网络的航空轴承表面铆钉检测方法

Publications (1)

Publication Number Publication Date
CN111681214A true CN111681214A (zh) 2020-09-18

Family

ID=72434322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010445758.1A Withdrawn CN111681214A (zh) 2020-05-24 2020-05-24 一种基于U-net网络的航空轴承表面铆钉检测方法

Country Status (1)

Country Link
CN (1) CN111681214A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396580A (zh) * 2020-11-05 2021-02-23 北京信息科技大学 一种圆形零件缺陷检测方法
CN113390357A (zh) * 2021-07-08 2021-09-14 南京航空航天大学 一种基于双目多线结构光的铆钉齐平度测量方法
CN113487533A (zh) * 2021-05-19 2021-10-08 东北大学 一种基于机器学习的零件装配质量数字化检测系统及方法
CN115456999A (zh) * 2022-09-16 2022-12-09 南通大学 一种基于机器视觉的锯链表面缺陷自动化检测系统及缺陷检测方法
US11556732B2 (en) 2020-10-15 2023-01-17 Nanjing University Of Aeronautics And Astronautics Method for extracting rivet points in large scale three-dimensional point cloud base on deep learning
CN116894616A (zh) * 2023-08-04 2023-10-17 湖南大学 基于机器视觉识别系统智能控制新能源物流车组装方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166095A (zh) * 2018-07-11 2019-01-08 广东技术师范学院 一种基于生成对抗机制的眼底影像杯盘分割方法
CN109727259A (zh) * 2019-01-07 2019-05-07 哈尔滨理工大学 一种基于残差u-net网络的视网膜图像分割算法
CN209784229U (zh) * 2019-05-07 2019-12-13 北京师范大学 基于铅玻璃方形多毛细管透镜构成的ct成像系统
WO2020077202A1 (en) * 2018-10-12 2020-04-16 The Medical College Of Wisconsin, Inc. Medical image segmentation using deep learning models trained with random dropout and/or standardized inputs
CN111080603A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车轴端螺栓折断故障检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166095A (zh) * 2018-07-11 2019-01-08 广东技术师范学院 一种基于生成对抗机制的眼底影像杯盘分割方法
WO2020077202A1 (en) * 2018-10-12 2020-04-16 The Medical College Of Wisconsin, Inc. Medical image segmentation using deep learning models trained with random dropout and/or standardized inputs
CN109727259A (zh) * 2019-01-07 2019-05-07 哈尔滨理工大学 一种基于残差u-net网络的视网膜图像分割算法
CN209784229U (zh) * 2019-05-07 2019-12-13 北京师范大学 基于铅玻璃方形多毛细管透镜构成的ct成像系统
CN111080603A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车轴端螺栓折断故障检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PING XUE ET AL: "Accurate Detection Method of Aviation Bearing Based on Local Characteristics", 《SYMMETRY》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11556732B2 (en) 2020-10-15 2023-01-17 Nanjing University Of Aeronautics And Astronautics Method for extracting rivet points in large scale three-dimensional point cloud base on deep learning
CN112396580A (zh) * 2020-11-05 2021-02-23 北京信息科技大学 一种圆形零件缺陷检测方法
CN112396580B (zh) * 2020-11-05 2024-02-02 北京信息科技大学 一种圆形零件缺陷检测方法
CN113487533A (zh) * 2021-05-19 2021-10-08 东北大学 一种基于机器学习的零件装配质量数字化检测系统及方法
CN113487533B (zh) * 2021-05-19 2023-11-14 东北大学 一种基于机器学习的零件装配质量数字化检测系统及方法
CN113390357A (zh) * 2021-07-08 2021-09-14 南京航空航天大学 一种基于双目多线结构光的铆钉齐平度测量方法
CN115456999A (zh) * 2022-09-16 2022-12-09 南通大学 一种基于机器视觉的锯链表面缺陷自动化检测系统及缺陷检测方法
CN115456999B (zh) * 2022-09-16 2023-08-15 南通大学 一种基于机器视觉的锯链表面缺陷自动化检测系统及缺陷检测方法
CN116894616A (zh) * 2023-08-04 2023-10-17 湖南大学 基于机器视觉识别系统智能控制新能源物流车组装方法

Similar Documents

Publication Publication Date Title
CN111681214A (zh) 一种基于U-net网络的航空轴承表面铆钉检测方法
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
Tao et al. Detection of power line insulator defects using aerial images analyzed with convolutional neural networks
CN108074231B (zh) 一种基于卷积神经网络的磁片表面缺陷检测方法
CN111340787B (zh) 输电线路的导线缺陷检测识别方法、装置及计算机设备
CN111444921A (zh) 划痕缺陷检测方法、装置、计算设备和存储介质
CN103324937B (zh) 标注目标的方法和装置
CN107230203B (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
Yogesh et al. Computer vision based analysis and detection of defects in fruits causes due to nutrients deficiency
CN111507976B (zh) 基于多角度成像的缺陷检测方法及系统
CN112633382B (zh) 一种基于互近邻的少样本图像分类方法及系统
Jehle et al. Learning of optimal illumination for material classification
CN110751232A (zh) 一种中文复杂场景文本检测与识别方法
CN115841488B (zh) 一种基于计算机视觉的pcb板的检孔方法
CN110688955A (zh) 一种基于yolo神经网络的建筑构建目标检测方法
CN109584206B (zh) 零件表面瑕疵检测中神经网络的训练样本的合成方法
CN111695373A (zh) 斑马线的定位方法、系统、介质及设备
CN113989563A (zh) 一种多尺度多标签融合的中医舌象分类方法
CN109614512B (zh) 一种基于深度学习的电力设备检索方法
CN113569679B (zh) 测量断裂伸长率的方法、装置和系统
CN113295142A (zh) 一种基于faro扫描仪和点云的地形扫描分析方法和装置
CN112561885A (zh) 基于YOLOv4-tiny的插板阀开度检测方法
CN116310902A (zh) 一种基于轻量级神经网络的无人机目标检测方法及系统
Vriesman et al. Automatic visual inspection of thermoelectric metal pipes
US20030185432A1 (en) Method and system for image registration based on hierarchical object modeling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200918

WW01 Invention patent application withdrawn after publication