CN114092471A - 一种用于舵类结构件表面缺陷的视觉检测方法及检测装置 - Google Patents

一种用于舵类结构件表面缺陷的视觉检测方法及检测装置 Download PDF

Info

Publication number
CN114092471A
CN114092471A CN202111571264.9A CN202111571264A CN114092471A CN 114092471 A CN114092471 A CN 114092471A CN 202111571264 A CN202111571264 A CN 202111571264A CN 114092471 A CN114092471 A CN 114092471A
Authority
CN
China
Prior art keywords
image
type structural
rudder
structural member
rudder type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111571264.9A
Other languages
English (en)
Inventor
胡宁
张明轩
杨泽青
刘丽冰
陈英姝
齐正磐
程业红
杨波
薛洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202111571264.9A priority Critical patent/CN114092471A/zh
Publication of CN114092471A publication Critical patent/CN114092471A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明为一种用于舵类结构件表面缺陷的视觉检测方法及检测装置，检测方法以图像重建网络为基础，直接对重建图像和原图像进行残差计算，再对残差进行HOG特征计算，通过与特征阈值比较的方式检测出缺陷，该方法以实际工程中实际使用的结构件图像为训练和检测对象，具有实际工程的适用性。利用了制造过程中缺陷样本数量较少且形态各异，而正样本量大且形态近乎一致的特点，使用图像重建网络作为舵类结构件表面缺陷检测方法的核心算法，在训练过程中只依赖于充足的正样本量，对负样本没有要求。除了符合制造过程的实际情况，又省去了对大量样本加注标签的时间成本。本发明有利于实际应用。

Description

一种用于舵类结构件表面缺陷的视觉检测方法及检测装置
技术领域
本发明涉及零件表面缺陷检测技术领域，具体是一种用于舵类结构件表面缺陷的视觉检测方法及检测装置。
背景技术
安装于火箭表面的舵类结构件，通过调整自身角度改变空气气流，以此产生改变火箭飞行姿态的侧向控制力，是控制火箭飞行姿态的重要结构件。舵类结构件通常由短纤维增强复合材料经过模压成型工艺制造，在制造过程中由于残余应力的作用，使得零件表面可能出现各种表面缺陷。表面缺陷会降低材料的强度，缩短舵类结构件的使用寿命，增加了舵类结构件使用过程中出现损坏的风险，对火箭飞行安全造成极大隐患。舵类结构件的表面缺陷检测在生产制造中极其重要。
零件表面缺陷检测方法主要有人工检测法、超声波检测法、电涡流检测、红外检测和机器视觉检测等。机器视觉检测具有较强的适应性，无损、无接触、价格低廉且检测方法简单高效，因此，基于机器视觉的缺陷检测评估方法正在快速地发展并已经广泛地应用。此外，机器视觉检测方法和深度学习方法联合应用，相较于传统基于图像处理的机器视觉检测大幅度提高了效率、准确度和鲁棒性，是目前各种零件表面缺陷检测的主要方法。
舵类结构件因其重要的应用对象和极端的应用场景有着较高标准的制造过程，其制造数量较少，且存在表面缺陷的情况也较少，导致缺少带有表面缺陷的负样本，使得深度学习的效果大打折扣，仅使用正样本做训练的表面缺陷检测方法是目前迫切需要的。
申请号为201810586872.9的专利公开了一种基于正例训练的表面缺陷检测方法，包括图像重建和缺陷检测两个步骤，图像重建是将输入的原图重建为没有缺陷的图片，步骤为：在训练过程中给正例图片加入人造的缺陷和噪声，使用自编码器对其重建，计算重建结果和无噪声的原图之间的距离，最小化该距离作为重建目标，并配合生成对抗网络优化重建图效果；在获得重建图后进行缺陷检测：计算重建图和原图的LBP特征，将两张特征图做差后按固定阈值二值化即可找到缺陷。该方法给出了使用图像重建检测缺陷的思路，但仅使用公开数据集对方法的效果做出验证，没有考虑其在实际工程中的适用性；该数据集内图像均为织物表面的局部图像，方法没有考虑一般情况下物体边界等高频信息在卷积网络中的损失，该损失会导致重建图像中物体边缘与原图中的差异较大，影响缺陷检测的效果。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，一种用于舵类结构件表面缺陷的视觉检测方法及检测装置。该检测方法更适用于实际工程应用，提高检测精度。
本发明解决所述技术问题的技术方案是，提供一种用于舵类结构件表面缺陷的视觉检测方法，该方法包括以下内容：
获得无缺陷舵类结构件的灰度图像，经预处理后获得舵类结构件表面图像库；
构建图像重建网络，并用舵类结构件表面图像库中的图像对图像重建网络进行训练；
采集有缺陷舵类结构件的灰度图像，对该图像做预处理，得到有缺陷舵类结构件表面图像，记为原图像，将该图像输入到训练好的图像重建网络，得到重建图像，原图像中的缺陷区域在重建图像中会被重建为正常表面；
将有缺陷舵类结构件表面图像和其重建图像做差，根据公式(1)计算原图像的重建残差矩阵res，
res(i,k)＝r(i,k)-x(i,k) (1)
其中，x表示原图像，r表示重建图像，i为图像的横坐标，k为图像的纵坐标；
再根据重建残差矩阵res，计算该重建残差矩阵的HOG特征，得到特征矩阵，HOG特征为图像局部梯度特征；设定特征阈值，利用特征阈值对特征矩阵进行二值化处理，将小于特征阈值的特征值置0，将大于特征阈值的特征值置1，得到的二值矩阵作为分离舵类结构件表面缺陷的掩膜；之后对掩膜进行腐蚀、膨胀、开运算和闭运算，再之后将掩膜与有缺陷舵类结构件图片相乘，即能分割出舵类结构件的表面缺陷，实现对舵类结构件表面缺陷的检测。
用于舵类结构件表面缺陷的视觉检测方法的具体步骤是：
第一步：使用工业相机采集无缺陷舵类结构件的灰度图像，得到舵类结构件图像，采集数量为N的舵类结构件样本得到的舵类结构件图像形成舵类结构件图像库，其中N为大于100的整数；
第二步：对第一步得到的舵类结构件图像库中的图像做预处理，流程图如图1所示，使用取灰度阈值127对灰度图进行二值化处理，使图像中灰度小于灰度阈值部分的像素被置为0，大于的部分像素被置于255，处理后的图像，背景灰度值为0，前景灰度值为255，得到可以分离舵类结构件表面的掩膜；之后对掩膜进行腐蚀、膨胀、开运算和闭运算，再之后将掩膜与原图片相乘，提取舵类结构件表面图像，再对提取出的表面图像做自适应灰度均衡化，使舵类结构件表面区域与背景区域的区分度增大，同时使舵类结构件表面区域内各部分的区分度增大，这些舵类结构件表面图像组成舵类结构件表面图像库；
第三步：将第二步得到的舵类结构件表面图像库中的图像作为训练集，用于图像重建网络的训练。训练集中的图像作为图像重建网络的输入，图像重建网络结构图如图2所示，图中x为舵类结构件表面原图像，对原图像做二维离散傅里叶变换，其定义为：
Figure BDA0003423784900000021
其中x为原图像，F为原图的频谱矩阵，m为图像的宽度，n为图像的高度，i为图像的横坐标，k为图像的纵坐标，u为频谱矩阵内元素的横坐标，v为频谱矩阵内元素的纵坐标；
经过二维离散傅里叶变换DFT2D得到原图像的频谱矩阵F，该矩阵为复数矩阵，输入到复数卷积神经网络DCN1进行编码过程，输出高维特征到隐藏层h，隐藏层h中的高维特征再输入到复数卷积神经网络DCN2进行解码过程，得到重建的频谱矩阵
Figure BDA0003423784900000022
其中各元素均为复数，对重建的频谱矩阵做二维离散傅里叶逆变换iDFT2D，其定义为：
Figure BDA0003423784900000023
其中
Figure BDA0003423784900000024
为重建的频谱矩阵，r为重建图像，m为图像的宽度，n为图像的高度，i为图像的横坐标，k为图像的纵坐标，u为频谱矩阵内元素的横坐标，v为频谱矩阵内元素的纵坐标；
经过二维傅里叶逆变换得到舵类结构件表面重建图像r，计算原图像x和重建图像r之间的损失函数，损失函数使用均方误差损失函数(MSE)，其定义为：
Figure BDA0003423784900000031
其中x为原图像，r为重建图像，m为图像的宽度，n为图像的高度，i为图像的横坐标，k为图像的纵坐标；
通过不断更新图像重建网络的参数，最小化这个损失函数，使原图像和重建图像尽可能接近，当损失函数小于预设的值，停止对卷积自编码器(图像重建网络)参数的更新，存储当前网络参数，完成图像重建网络的训练；
第四步：使用工业相机采集有缺陷舵类结构件的灰度图像，对该图像做预处理，得到有缺陷舵类结构件表面图像，将该图像输入第三步训练好的图像重建网络，得到重建图像，原图像中的缺陷区域在重建图像中会被重建为正常表面；
将有缺陷舵类结构件表面图像和其重建图像做差，计算原图像的重建残差矩阵，其定义为：
res(i,k)＝r(i,k)-x(i,k) (1)
得到重建残差矩阵res，计算该重建残差矩阵的HOG特征，得到特征矩阵，HOG特征为图像局部梯度特征，能够反映一个矩阵中每个元素值和相邻元素值之间的梯度变化，缺陷区域的梯度变化较其他区域明显增大，表现在特征值上也有明显的差异；
第五步：在第四步的特征矩阵中，舵类结构件表面正常区域的特征值较小，而缺陷区域的特征值较大，取特征阈值对特征矩阵进行二值化处理，将小于特征阈值的特征值置0，将大于特征阈值的特征值置1，得到的二值矩阵作为分离舵类结构件表面缺陷的掩膜；之后对掩膜进行腐蚀、膨胀、开运算和闭运算，再之后将掩膜与有缺陷舵类结构件图片相乘，即可分割出舵类结构件的表面缺陷。
本发明中特征阈值可以设置为45-55，具体取值与光照强度等影响有关，优选为自然光照下特征阈值为50。
本发明提供一种用于舵类结构件表面缺陷的视觉检测装置，该装置包括结构件固定机构、相机定位系统、CCD工业相机及镜头、PLC、上位机和通信系统；
所述结构件固定机构用于实现舵类结构件的定位安放；
所述上位机通过通信系统与PLC通信，给PLC发送信号，使PLC控制相机定位系统使相机到达指定位置，能够拍摄到清晰完整的舵类结构件图像；上位机直接控制CCD工业相机采集舵类结构件图像，并用加载在上位机中的上述的舵类结构件表面缺陷的视觉检测方法检测缺陷，检测结果在上位机的显示屏中显示。
结构件固定机构是检测装置的主体结构，包括安装所有机构的孔洞平台，平台上带有阵列式的孔洞，将舵类结构件的定位夹具、紧固夹具和支撑机构通过拐形固定件与平台固定，实现舵类结构件的定位安放；
所述通信系统使用蓝牙无线通信方式，上位机所在的计算机和PLC挂载蓝牙通信模块，通过蓝牙协议实现上位机和PLC的通信，通信内容为上位机向PLC发送的相机位置调整信号和PLC向上位机发送的调整完成信号；
所述CCD工业相机型号为MV-EM200M，感光面积为7mm×5.3mm，像素尺寸为4.4μm×4.4μm，光学尺寸为1/1.8”，最大帧率为20fps，曝光时间为16-5000000μs，输出图像为灰度图像；所述镜头型号为HX2X-T1，为变焦镜头，焦距为12mm-36mm，最小物距为20cm。
与现有技术相比，本发明有益效果在于：
(1)本发明检测方法以图像重建网络为基础，直接对重建图像和原图像进行残差计算，再对残差进行HOG特征计算，通过与特征阈值比较的方式检测出缺陷，该方法以实际工程中实际使用的结构件图像为训练和检测对象，具有实际工程的适用性。
(2)本发明检测方法基于图像重建网络，引入了复数卷积网络(DCN)，使用复数卷积网络代替普通卷积神经网络作为图像重建网络的主干网络，对图像频谱进行重建，避免了图像重建过程中图像高频成分损失导致物体边缘重建误差较大的现象，去除了边缘重建误差对后续特征阈值分割的干扰，使用图像重建网络计算残差从而检测缺陷，提高了缺陷检测的准确率，使其满足实际应用中的检测要求。
(3)利用了制造过程中缺陷样本数量较少且形态各异，而正样本量大且形态近乎一致的特点，使用图像重建网络作为舵类结构件表面缺陷检测方法的核心算法，在训练过程中只依赖于充足的正样本量，对负样本没有要求。除了符合制造过程的实际情况，又省去了对大量样本加注标签的时间成本。本发明有利于实际应用。
(4)本发明检测装置针对舵类结构件特殊的结构形式，设计了专用的定位夹具和紧固夹具，并以孔洞平台为基础，能够实现对不同尺寸规格舵类结构件的视觉检测，具有一定的普遍适用性，检测方便。
附图说明
图1为本发明的图像预处理的流程图；
图2为本发明的图像重建网络的结构图；
图3为本发明用于用于舵类结构件表面缺陷的视觉检测装置的整体结构示意图；
图4为本发明用于用于舵类结构件表面缺陷的视觉检测装置的整体结构主视图；
图5为本发明用于用于舵类结构件表面缺陷的视觉检测装置的整体结构侧视图；
图6为本发明用于用于舵类结构件表面缺陷的视觉检测装置的整体结构俯视图；
图中：1、转轴；2、链条；3、工业相机；4、相机固定板；5、相机支架；6、链轮；7、步进电机；8、舵类结构件；9、结构件支架；10、摇臂；11、结构件支撑板；12、紧固夹具；13，定位夹具；14、固定件；15、孔洞平台。
具体实施方式
下面给出本发明的具体实施例。具体实施例仅用于进一步详细说明本发明，不限制本申请权利的保护范围。
本发明提供一种用于舵类结构件表面缺陷的视觉检测装置(简称分拣装置，参见图3-6)，1、转轴；2、链条；3、工业相机；4、相机固定板；5、相机支架；6、链轮；7、步进电机；8、舵类结构件；9、结构件支架；10、摇臂；11、结构件支撑板；12、紧固夹具；13，定位夹具；14、固定件；15、孔洞平台、PLC(图中未画出)和上位机(图中未画出)；
舵类结构件8整体为类梯形的板状结构，板子内部中心沿长度方向装有金属芯，金属芯伸出舵类结构件主体的一侧上套有摇臂10，舵类结构件8的厚度较薄，沿舵类结构件长度方向为梯形变截面结构，截面较小的一端侧面与定位夹具紧贴；截面较大的一端侧面与紧固夹具紧贴，舵类结构件的两侧板面为待检测缺陷平面，在待检测缺陷的两侧对称安装工业相机，并使工业相机的视场与相应待检测缺陷平面匹配，同一个舵类结构件的两个待检测缺陷平面同时进行检测，同步采集数据，两个相机所检测到的图像分别经过检测算法进行分析，确定哪个待检测缺陷平面具有缺陷，若其中任意一个工业相机所采集的图像的检测结果为缺陷，则认为该舵类结构件为缺陷零件。
本实施例中舵类结构件8的高度为60cm、宽度为30cm、厚度为8cm，靠近定位夹具13的比较薄，靠近紧固夹具12的一端比较厚，舵类结构件滑入定位夹具13的U型长条口中，进行定位。
孔洞平台15是整个装置的安装平台上面带有阵列式的螺纹孔；定位夹具13放置在孔洞平台15较为中心的位置，侧面带有螺纹孔；固定件14为拐形金属件，带有孔洞；固定件14与定位夹具13通过螺丝和垫片紧固，固定件14与孔洞平台15通过螺丝和垫片紧固，实现定位夹具13与孔洞平台15的相对固定；舵类结构件8装有金属芯，金属芯上套有摇臂10，舵类结构件8装有金属芯的侧面与定位夹具紧贴；紧固夹具12为带有u形开口的垫圈并且带有螺纹孔，舵类结构件8的另一端插入紧固夹具12的u形开口；固定件14与紧固夹具12通过螺丝和垫片紧固，固定件14与孔洞平台15通过螺丝和垫片紧固，实现紧固夹具12与孔洞平台15的相对固定；通过定位夹具13和紧固夹具12将舵类结构件8固定在孔洞平台15上的指定位置；结构件支架9竖直放置在舵类结构件8金属芯的两侧，带有通孔，通过螺丝和螺母与一个固定件14紧固，固定件14再通过螺丝与孔洞平台15紧固，实现结构件支架9与孔洞平台的相对固定；结构件支架9沿其宽度方向带有矩形的通孔，通孔高度上边缘与舵类结构件8的金属芯的下水平切面同高度，结构件支撑板11可以穿过两个结构件支架9上的矩形通孔形成过盈配合，结构件支撑板11和结构件支架9保证舵类结构件8不会向两侧发生倾倒；
一对相机支架5竖直放置在舵类结构件8的一侧，带有通孔，与相应的固定件14通过螺丝和螺母紧固，固定件14同时与孔洞平台15通过螺丝和垫片紧固，实现相机支架5与孔洞平台15的相对固定；相机支架5的侧面上下两端各带有一个通孔，通孔安装有轴承，较长的转轴1穿过两个相机支架5上端通孔的轴承与轴承形成过盈配合，较短的转轴1穿过其中一个相机支架5下端通孔的轴承与轴承形成过盈配合，较短的转轴1上也安装一个链轮6并用螺钉紧固；步进电机7放置在孔洞平台15上，使用螺钉将相机的支架和孔洞平台15紧固，步进电机7的转轴穿过另一个相机支架5下端通孔的轴承与轴承形成过盈配合，步进电机7的转轴上安装一个链轮6并用螺钉紧固；安装在同一相机支架5上与步进电机连接的链轮和与转轴1上的链轮6通过链条2连接，使上下两个链轮6能够同步转动，未设置步进电机的另一个相机支架上的上下长短转轴1上的两个链轮也通过一个链条连接，步进电机使其直接安装在其上的链轮、链条结构转动，进而带动另一个相机支架上的链轮、链条结构随动；相机固定板4为矩形平板，两侧为带有通孔的拐形结构，能够与一对相机支架上的两个链条2固定，使相机固定板4水平摆放，且能随着链条2在竖直方向做升降运动；工业相机3安放在相机固定板4上，镜头方向正对舵类结构件8的侧面，工业相机3下表面带有螺纹孔，相机固定板4带有通孔，通过螺钉将工业相机3和相机固定板4紧固，使工业相机3和相机固定板4相对固定，工业相机3能随相机固定板4在竖直方向做升降运动；舵类结构件8另一侧按照同样的配置安装，具有两对相机支架，两对相机支架相对舵类结构件对称设置。
所述定位夹具3朝向舵类结构件8的一侧设置有U型长条口，U型长条口的宽度不大于舵类结构件8沿其长度方向1/4-1/3处的截面宽度，且U型长条口的长度不小于舵类结构件8长度的1/4-1/3。
所述步进电机7型号为57BYG250C，步进角为1.8°，扭矩为1.8N·m，电机轴与链轮6过盈配合形成紧密连接；电机控制器选用型号TB6600，额定电流4.2A，细分数为6400；控制步进电机7的PLC型号为西门子S7-200SMART，CPU为ST40，可输入I/O为24个，可输出I/O为16个，步进电机7的输入与电机控制器的输出端用导线连接，电机控制器的输入端与PLC的输出I/O用导线连接；
所述工业相机3型号为MV-EM200M，为CCD相机，感光面积为7mm×5.3mm，像素尺寸为4.4μm×4.4μm，光学尺寸为1/1.8”，最大帧率为20fps，曝光时间为16-5000000μs，输出图像为灰度图像；工业相机3上的镜头型号为HX2X-T1，为变焦镜头，焦距为12mm-36mm，最小物距为20cm。
本发明用于舵类结构件表面缺陷的视觉检测装置的工作原理和工作流程是：
本发明检测装置的工作原理为：
将舵类结构件8按照定位夹具13所设置的U形长条口放置，并用紧固夹具12和结构件支架9固定；使用上位机给PLC发送信号，PLC控制分别控制两侧的步进电机7来调整工业相机3的高度，使舵类结构件8成像在工业相机3视场范围的中心位置；上位机向工业相机3发送信号，开启工业相机并调焦，使得舵类结构件8的成像清晰；在成像位置合理且成像清晰的情况下，使用上位机控制两侧的工业相机3分别采集一帧图像，使用上位机内加载的用于舵类结构件表面缺陷的视觉检测方法做检测，并将检测结果在上位机显示。
本发明检测装置的工作流程包括以下步骤：
步骤1、以定位夹具13为基准放置舵类结构件8，用紧固夹具12和结构件支架9固定；
步骤2、使用上位机向PLC发送信号，使PLC分别使能两个步进电机7并输出PWM波控制步进电机7的旋转，带动链轮6的转动，使链条2和固定在上面的相机固定板4做升降运动，进而调整工业相机3的高度，使舵类结构件8，成像在工业相机3视场范围的中心位置；
步骤3、上位机向两个工业相机3发送一系列指令用于开启相机，调焦，设置帧率、延迟等参数，采集图像，关闭相机，释放相机等操作，完成图像采集；
步骤4、图像输入通过千兆网线传入上位机；经软件加载的舵类结构件表面缺陷的视觉检测方法；
使用工业相机采集无缺陷舵类结构件的灰度图像，得到舵类结构件图像，采集数量为N的舵类结构件样本得到的舵类结构件图像形成舵类结构件图像库，其中N为大于100的整数；
舵类结构件表面缺陷检测方法的过程是：对舵类结构件图像做阈值分割、灰度变换等预处理；将图像输入训练好的图像重建网络得到重建图像；用重建图像和原图像做差得到残差图像，并计算残差图像的梯度矩阵，用梯度矩阵从原图像中分割缺陷；其具体步骤为：
(1)读取舵类结构件图像，选取阈值127对灰度图进行二值化处理，使图像中灰度小于阈值部分的像素被置为0，大于的部分像素被置于255，处理后的图像，背景灰度值为0，前景灰度值为255，得到可以分离舵类结构件表面的掩膜；之后对掩膜进行腐蚀、膨胀、开运算和闭运算，再之后将掩膜与原图片相乘，提取舵类结构件表面图像，再对提取出的表面图像做自适应灰度均衡化，得到预处理后的舵类结构件表面图像；
(2)将(1)中得到的舵类结构件表面图像输入图像重建网络，网络先对图像做二维傅里叶变换：
Figure BDA0003423784900000071
其中x为输入图像，F为原图的频谱矩阵，m为图像的宽度，n为图像的高度；
经过二维傅里叶变换得到元素为复数的频谱矩阵，将该矩阵各元素的实部与虚部拆分，分别得到频谱实部矩阵和频谱虚部矩阵，将两个矩阵分别输入复数卷积神经网络的两个CAE中，分别重建出实部矩阵和虚部矩阵，将两个矩阵重新组成复数矩阵，得到重建的频谱矩阵，对重建的频谱矩阵做二维傅里叶逆变换：
Figure BDA0003423784900000072
其中
Figure BDA0003423784900000073
为重建的频谱矩阵，r为重建图像，m为图像的宽度，n为图像的高度；
经过二维傅里叶逆变换得到舵类结构件表面重建图像。
(3)将(1)中得到的舵类结构件表面图像和其在(2)中得到的重建图像做差，计算原图像的重建残差矩阵：
res(i,k)＝r(i,k)-x(i,k)
(4)计算(3)中得到的残差矩阵的HOG特征，得到特征矩阵，对特征矩阵进行二值化处理，将小于阈值的特征值置0，将大于阈值的特征值置1，得到的二值矩阵作为分离舵类结构件表面缺陷的掩膜；之后对掩膜进行腐蚀、膨胀、开运算和闭运算，再之后将掩膜与有缺陷舵类结构件图片相乘，即可分割出舵类结构件的表面缺陷；
步骤5、将缺陷检测结果显示在上位机上，完成整个缺陷检测流程。
通过本实施例图像频域重建的方式做舵类结构件的表面缺陷检测，其缺陷检出率可以达到100％。
本发明未述及之处使用于现有技术。

Claims (9)

1.一种用于舵类结构件表面缺陷的视觉检测方法，该方法包括以下内容：
获得无缺陷舵类结构件的灰度图像，经预处理后获得舵类结构件表面图像库；
构建图像重建网络，并用舵类结构件表面图像库中的图像对图像重建网络进行训练；
采集有缺陷舵类结构件的灰度图像，对该图像做预处理，得到有缺陷舵类结构件表面图像，记为原图像，将该图像输入到训练好的图像重建网络，得到重建图像，原图像中的缺陷区域在重建图像中会被重建为正常表面；
将有缺陷舵类结构件表面图像和其重建图像做差，根据公式(1)计算原图像的重建残差矩阵res，
res(i,k)＝r(i,k)-x(i,k) (1)
其中，x表示原图像，r表示重建图像，i为图像的横坐标，k为图像的纵坐标；
再根据重建残差矩阵res，计算该重建残差矩阵的HOG特征，得到特征矩阵，HOG特征为图像局部梯度特征；设定特征阈值，利用特征阈值对特征矩阵进行二值化处理，将小于特征阈值的特征值置0，将大于特征阈值的特征值置1，得到的二值矩阵作为分离舵类结构件表面缺陷的掩膜；之后对掩膜进行腐蚀、膨胀、开运算和闭运算，再之后将掩膜与有缺陷舵类结构件图片相乘，即能分割出舵类结构件的表面缺陷，实现对舵类结构件表面缺陷的检测。
2.根据权利要求1所述的检测方法，其特征在于，所述图像重建网络为卷积自编码器，包括两个复数卷积神经网络，经预处理后的图像作为输入，经二维离散傅里叶变换DFT2D得到原图像的频谱矩阵F，该矩阵为复数矩阵，输入到复数卷积神经网络DCN1进行编码过程，输出高维特征到隐藏层h，隐藏层h中的高维特征再输入到复数卷积神经网络DCN2进行解码过程，得到重建的频谱矩阵
Figure FDA0003423784890000011
其中各元素均为复数，对重建的频谱矩阵做二维离散傅里叶逆变换iDFT2D，得到舵类结构件表面重建图像r。
3.根据权利要求1所述的检测方法，其特征在于，所述预处理的具体过程是：使用取灰度阈值127对灰度图进行二值化处理，使图像中灰度小于灰度阈值部分的像素被置为0，大于的部分像素被置于255，处理后的图像，背景灰度值为0，前景灰度值为255，得到能分离舵类结构件表面的掩膜；之后对掩膜进行腐蚀、膨胀、开运算和闭运算，再之后将掩膜与原图片相乘，提取舵类结构件表面图像，再对提取出的表面图像做自适应灰度均衡化，使舵类结构件表面区域与背景区域的区分度增大，同时使舵类结构件表面区域内各部分的区分度增大。
4.一种用于舵类结构件表面缺陷的视觉检测方法，其特征在于，该方法的具体步骤是：
第一步：使用工业相机采集无缺陷舵类结构件的灰度图像，得到舵类结构件图像，采集数量为N的舵类结构件样本得到的舵类结构件图像形成舵类结构件图像库，其中N为大于100的整数；
第二步：对第一步得到的舵类结构件图像库中的图像做预处理：使用取灰度阈值127对灰度图进行二值化处理，使图像中灰度小于灰度阈值部分的像素被置为0，大于的部分像素被置于255，处理后的图像，背景灰度值为0，前景灰度值为255，得到可以分离舵类结构件表面的掩膜；之后对掩膜进行腐蚀、膨胀、开运算和闭运算，再之后将掩膜与原图片相乘，提取舵类结构件表面图像，再对提取出的表面图像做自适应灰度均衡化，使舵类结构件表面区域与背景区域的区分度增大，同时使舵类结构件表面区域内各部分的区分度增大，这些舵类结构件表面图像组成舵类结构件表面图像库；
第三步：将第二步得到的舵类结构件表面图像库中的图像作为训练集，用于图像重建网络的训练；训练集中的图像作为图像重建网络的输入，输入的图像记为原图像，对原图像根据公式(2)做二维离散傅里叶变换，
Figure FDA0003423784890000021
其中x为原图像，F为原图的频谱矩阵，m为图像的宽度，n为图像的高度，i为图像的横坐标，k为图像的纵坐标，u为频谱矩阵内元素的横坐标，v为频谱矩阵内元素的纵坐标；
经过二维离散傅里叶变换DFT2D得到原图像的频谱矩阵F，F为复数矩阵，输入到复数卷积神经网络DCN1进行编码过程，输出高维特征到隐藏层h，隐藏层h中的高维特征再输入到复数卷积神经网络DCN2进行解码过程，得到重建的频谱矩阵
Figure FDA0003423784890000024
重建的频谱矩阵
Figure FDA0003423784890000025
中各元素均为复数，对重建的频谱矩阵根据公式(3)做二维离散傅里叶逆变换iDFT2D：
Figure FDA0003423784890000022
其中r为重建图像；
经过二维傅里叶逆变换得到舵类结构件表面重建图像r，计算原图像x和重建图像r之间的损失函数，损失函数使用均方误差损失函数MSE，其定义为公式(4)：
Figure FDA0003423784890000023
通过不断更新图像重建网络的参数，最小化这个损失函数，使原图像和重建图像尽可能接近，当损失函数小于预设的值，停止对图像重建网络参数的更新，存储当前网络参数，完成图像重建网络的训练；
第四步：使用工业相机采集有缺陷舵类结构件的灰度图像，对该图像做预处理，得到有缺陷舵类结构件表面图像，记为原图像，将原图像输入第三步训练好的重建网络，得到重建图像，原图像中的缺陷区域在重建图像中会被重建为正常表面；
将有缺陷舵类结构件表面图像和其重建图像做差，根据公式(1)计算原图像的重建残差矩阵res，
res(i,k)＝r(i,k)-x(i,k) (1)
得到重建残差矩阵res，计算该重建残差矩阵的HOG特征，得到特征矩阵，HOG特征为图像局部梯度特征，能够反映一个矩阵中每个元素值和相邻元素值之间的梯度变化；
第五步：在第四步的特征矩阵中，舵类结构件表面正常区域的特征值较小，而缺陷区域的特征值较大，取特征阈值对特征矩阵进行二值化处理，将小于特征阈值的特征值置0，将大于特征阈值的特征值置1，得到的二值矩阵作为分离舵类结构件表面缺陷的掩膜；之后对掩膜进行腐蚀、膨胀、开运算和闭运算，再之后将掩膜与有缺陷舵类结构件图片相乘，即可分割出舵类结构件的表面缺陷。
5.根据权利要求1-4任一所述的检测方法，其特征在于，所述特征阈值为45-55。
6.一种用于舵类结构件表面缺陷的视觉检测装置，该装置包括结构件固定机构、相机定位系统、CCD工业相机及镜头、PLC、上位机和通信系统；
所述结构件固定机构用于实现舵类结构件的定位安放；
所述上位机通过通信系统与PLC通信，给PLC发送信号，使PLC控制相机定位系统使相机到达指定位置，能够拍摄到清晰完整的舵类结构件图像；上位机直接控制CCD工业相机采集舵类结构件图像，并用加载在上位机中的权利要求1-5任一所述的舵类结构件表面缺陷的视觉检测方法检测缺陷，检测结果在上位机的显示屏中显示。
7.根据权利要求6所述的检测装置，其特征在于，所述通信系统使用蓝牙无线通信方式，上位机所在的计算机和PLC挂载蓝牙通信模块，通过蓝牙协议实现上位机和PLC的通信，通信内容为上位机向PLC发送的相机位置调整信号和PLC向上位机发送的调整完成信号；
所述CCD工业相机型号为MV-EM200M，感光面积为7mm×5.3mm，像素尺寸为4.4μm×4.4μm，光学尺寸为1/1.8”，最大帧率为20fps，曝光时间为16-5000000μs，输出图像为灰度图像；所述镜头型号为HX2X-T1，为变焦镜头，焦距为12mm-36mm，最小物距为20cm。
8.一种用于舵类结构件表面缺陷的视觉检测装置，其特征在于，该检测装置包括工业相机、相机固定板、相机支架、紧固夹具、定位夹具、固定件、孔洞平台、PLC和上位机，
孔洞平台是整个装置的安装平台，上面带有阵列式的螺纹孔；定位夹具放置在孔洞平台靠近中心的位置，侧面带有螺纹孔；固定件为拐形金属件，带有孔洞；固定件与定位夹具通过螺丝和垫片紧固，固定件与孔洞平台通过螺丝和垫片紧固，实现定位夹具与孔洞平台的相对固定；
舵类结构件装有金属芯，金属芯上套有摇臂，舵类结构件为梯形变截面结构，截面较小的一端侧面与定位夹具紧贴；紧固夹具为带有u形开口的垫圈并且带有螺纹孔，舵类结构件截面较大的一端侧面插入紧固夹具的u形开口；紧固夹具通过固定件、螺丝、垫片与孔洞平台紧固，实现紧固夹具与孔洞平台的相对固定；通过定位夹具和紧固夹具将舵类结构件固定在孔洞平台上的指定位置；
所述定位夹具朝向舵类结构件的一侧设置有U型长条口，U型长条口的宽度不大于舵类结构件沿其长度方向1/4-1/3处的截面宽度，且U型长条口的长度不小于舵类结构件长度的1/4-1/3；
所述舵类结构件靠近紧固夹具的一侧的上部通过支撑机构进行固定，防止舵类结构件向两侧发生倾倒；
在舵类结构件待检测的两侧面的孔洞平台上对称安装有两个能上下移动的工业相机。
9.根据权利要求8所述的检测装置，其特征在于，所述支撑机构包括结构件支架和结构件支撑板，在舵类结构件中金属芯的两侧竖直对称放置有两个结构件支架，带有通孔，通过螺丝和螺母与一个固定件紧固，固定件再通过螺丝与孔洞平台紧固，实现结构件支架与孔洞平台的相对固定；结构件支架沿其宽度方向带有矩形的通孔，通孔高度上边缘与舵类结构件的金属芯的下水平切面同高度，结构件支撑板能穿过两个结构件支架上的矩形通孔形成过盈配合，结构件支撑板和结构件支架用于支撑金属芯，保证舵类结构件不会向两侧发生倾倒；
一对相机支架竖直放置在舵类结构件的一侧，带有通孔，与相应的固定件通过螺丝和螺母紧固，固定件同时与孔洞平台通过螺丝和垫片紧固，实现相机支架与孔洞平台的相对固定；相机支架的侧面上下两端各带有一个通孔，通孔安装有轴承，较长的转轴穿过两个相机支架上端通孔的轴承与轴承形成过盈配合，较短的转轴穿过其中一个相机支架下端通孔的轴承与轴承形成过盈配合，较短的转轴上也安装一个链轮并用螺钉紧固；步进电机放置在孔洞平台上，使用螺钉将相机的支架和孔洞平台紧固，步进电机的转轴穿过另一个相机支架下端通孔的轴承与轴承形成过盈配合，步进电机的转轴上安装一个链轮并用螺钉紧固；安装在同一相机支架上与步进电机连接的链轮和与转轴上的链轮通过链条连接，使上下两个链轮能够同步转动，未设置步进电机的另一个相机支架上的上下长短转轴上的两个链轮也通过一个链条连接，步进电机使其直接安装在其上的链轮、链条结构转动，进而带动另一个相机支架上的链轮、链条结构随动；相机固定板为矩形平板，两侧为带有通孔的拐形结构，能够与一对相机支架上的两个链条固定，使相机固定板水平摆放，且能随着链条在竖直方向做升降运动；工业相机安放在相机固定板上，镜头方向正对舵类结构件的侧面，工业相机下表面带有螺纹孔，相机固定板带有通孔，通过螺钉将工业相机和相机固定板紧固，使工业相机和相机固定板相对固定，工业相机能随相机固定板在竖直方向做升降运动；舵类结构件另一侧按照同样的配置安装，具有两对相机支架，两对相机支架相对舵类结构件对称设置。
CN202111571264.9A 2021-12-21 2021-12-21 一种用于舵类结构件表面缺陷的视觉检测方法及检测装置 Pending CN114092471A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111571264.9A CN114092471A (zh) 2021-12-21 2021-12-21 一种用于舵类结构件表面缺陷的视觉检测方法及检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111571264.9A CN114092471A (zh) 2021-12-21 2021-12-21 一种用于舵类结构件表面缺陷的视觉检测方法及检测装置

Publications (1)

Publication Number Publication Date
CN114092471A true CN114092471A (zh) 2022-02-25

Family

ID=80307992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111571264.9A Pending CN114092471A (zh) 2021-12-21 2021-12-21 一种用于舵类结构件表面缺陷的视觉检测方法及检测装置

Country Status (1)

Country Link
CN (1) CN114092471A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115330793A (zh) * 2022-10-13 2022-11-11 济宁市兖州区恒升机械有限公司 一种基于图像处理的液压硬管连接管接头质量检测方法
CN117456519A (zh) * 2023-12-22 2024-01-26 江西科益高新技术有限公司 一种用于工控安全的仿真光电靶标装置及其仿真方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115330793A (zh) * 2022-10-13 2022-11-11 济宁市兖州区恒升机械有限公司 一种基于图像处理的液压硬管连接管接头质量检测方法
CN115330793B (zh) * 2022-10-13 2023-01-31 济宁市兖州区恒升机械有限公司 一种基于图像处理的液压硬管连接管接头质量检测方法
CN117456519A (zh) * 2023-12-22 2024-01-26 江西科益高新技术有限公司 一种用于工控安全的仿真光电靶标装置及其仿真方法
CN117456519B (zh) * 2023-12-22 2024-03-12 江西科益高新技术有限公司 一种用于工控安全的仿真光电靶标装置及其仿真方法

Similar Documents

Publication Publication Date Title
CN114092471A (zh) 一种用于舵类结构件表面缺陷的视觉检测方法及检测装置
CN106248686A (zh) 基于机器视觉的玻璃表面缺陷检测装置及方法
CN113125458A (zh) 钢结构涂层状态的检查与评估方法及系统
CN110751630B (zh) 基于深度学习的输电线路异物检测方法、装置及介质
CN109668904A (zh) 一种光学零件疵病检测装置及方法
CN114719749B (zh) 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统
CN109615612A (zh) 一种太阳能电池板的缺陷检测方法
CN110517213A (zh) 一种显微镜用的基于拉普拉斯金字塔的实时景深延拓方法
CN110648301A (zh) 一种消除成像反光的装置及方法
CN113256602A (zh) 一种基于自编码器的无监督风机叶片缺陷检测方法及系统
CN112164048A (zh) 一种基于深度学习的磁瓦表面缺陷自动检测方法和装置
Lee et al. A new image-quality evaluating and enhancing methodology for bridge inspection using an unmanned aerial vehicle
CN115908354A (zh) 一种基于双尺度策略和改进的yolov5网络的光伏面板缺陷检测方法
CN113935971A (zh) 一种复合材料表面缺陷的检测方法及装置
CN112710670A (zh) 一种太阳能电池涂层检测装置及控制方法
CN115031664A (zh) 绝缘子偏斜检测方法、装置、终端设备及介质
CN111638218A (zh) 一种涂层表面缺陷的检测方法
CN116894775B (zh) 基于相机运动模型恢复和超分辨率的螺栓图像预处理方法
CN113610054A (zh) 一种水下结构病害深度检测方法、系统、装置及存储介质
CN110082365B (zh) 基于机器视觉的钢卷边部质量检测机器人
Zhang et al. Feasibility of automatic detection of surface cracks in wind turbine blades
CN115797314B (zh) 零件表面缺陷检测方法、系统、设备及存储介质
CN116758425A (zh) 一种大基地光伏电站自动验收方法和装置
CN112839168B (zh) 一种自动调整aoi检测系统中相机成像分辨率的方法
Xu et al. A deep neural network-based intelligent detection model for manufacturing defects of automobile parts

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination