CN113935971A - 一种复合材料表面缺陷的检测方法及装置 - Google Patents

一种复合材料表面缺陷的检测方法及装置 Download PDF

Info

Publication number
CN113935971A
CN113935971A CN202111209656.0A CN202111209656A CN113935971A CN 113935971 A CN113935971 A CN 113935971A CN 202111209656 A CN202111209656 A CN 202111209656A CN 113935971 A CN113935971 A CN 113935971A
Authority
CN
China
Prior art keywords
training
neural network
unit
image
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111209656.0A
Other languages
English (en)
Inventor
陆永华
朱华煜
徐嘉骏
杨昊铮
胡佳辉
刘韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University Of Aeronautics And Astronautics Wuxi Research Institute
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University Of Aeronautics And Astronautics Wuxi Research Institute
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University Of Aeronautics And Astronautics Wuxi Research Institute, Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University Of Aeronautics And Astronautics Wuxi Research Institute
Priority to CN202111209656.0A priority Critical patent/CN113935971A/zh
Publication of CN113935971A publication Critical patent/CN113935971A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种复合材料表面缺陷的检测方法及装置，其中，检测方法包括：利用检测设备获取待测复合材料表面图像；对所述图像进行预处理从而得到预处理样本；标注出所述训练样本中的缺陷的位置；将标注后的述训练样本输入YOLO神经网络进行训练直至所述YOLO神经网络收敛；将测试样本输入到经过验证后的YOLO神经网络，识别出的缺陷的大小及置信度数值大于预设标准值时；本发明通过检测设备获取图像，然后通过对YOLO神经网络进行训练，通过YOLO来标注复合材料上的缺陷，实现对表面缺陷的自动化在线检测，消除现有方法弊端，降低错漏检风险，提高零件表面质量检测准确性、稳定性和效率。

Description

一种复合材料表面缺陷的检测方法及装置
技术领域
本发明涉及复合材料的检测领域，特别涉及一种复合材料表面缺陷的检测方法及装置。
背景技术
目前，对复材蒙皮零件表面质量的检测主要通过肉眼观察零件表面情况的方式判断零件表面是否存在缺陷，这种方式存在许多问题：(1)检测环境差，可能会对复材蒙皮零件带来新的机械损伤；(2)皮革产品的表面积大，检测员工工作强度高，检测起来困难，效率较低；(3)每个检测人员的判定标准不一样，没有统一标准，个人的主观因素占比大；(4)随着工作时间的增加，工人的视觉开始疲劳，漏检率会大大增高；(5)人工检测增加了工业生产的成本；(6)无法满足产品高效率、高精度、智能化、批量化的检测要求。
发明内容
为了解决上述问题，本发明提供一种检测准确度高、全自动高效的复合材料表面缺陷的检测方法及装置。
为了实现上述目的，本发明一方面提供一种复合材料表面缺陷的检测方法，包括：
利用检测设备获取待测复合材料表面图像；
对所述图像进行预处理从而得到预处理样本；其中，所述预处理样本包括训练样本、验证样本以及测试样本；
标注出所述训练样本中的缺陷的位置；其中，所述缺陷包括表面凹坑和表面划痕；
将标注后的述训练样本输入YOLO神经网络进行训练直至所述YOLO神经网络收敛；
将所述验证样本输入收敛后的YOLO神经网络，对该YOLO神经网络的训练效果进行验证；
将测试样本输入到经过验证后的YOLO神经网络，识别出的缺陷的大小及置信度数值大于预设标准值时，将得到的缺陷信息保存并在原图像上标注位置坐标，将检测到的缺陷像素坐标转化成实际坐标。
作为优选的一种技术方案，所述检测设备包括：
运动单元，所述运动单元为XZ方向二维运动平台，并将构成图像处理单元的嵌入式ARM板和无线传输模块集成于其后部，用于调节拍摄单元到待测零件的距离；
拍摄单元，由多台工业相机组成，安装于所述运动单元上，用于采集所述待测复合材料表面图片；
照明单元，由环形光源或穹顶光源组成，分别与多台工业相机同轴线安装，用于给复合材料表面打光，以提高采集图片质量；
滑轨，与固定调整单元中夹具系统滑块相连，用于调节夹具滑块的位置以适应不同大小的待测复合材料装夹；
运动单元地轨，与运动单元相连，用于控制运动单元的X向移动；
固定调整单元，包括一对柔性夹具，用于装夹复合材料，通过调节夹具滑块和紧定螺钉来实现不同长度与厚度复合材料的紧固装夹；
图像处理单元，由ARM板和无线传输模块组成，ARM板集成了YOLO深度学习模型的图像处理程序，将工业相机采集到图像中的复合材料表面缺陷检测出来并标注，再由无线传输模块将有划痕缺陷的图片传输到工控机数据库中。
作为优选的一种技术方案，将所述训练样本对YOLO神经网络进行训练直至所述YOLO神经网络收敛，进一步包括：
将所述训练样本其制作成VOC格式数据集，手动将图像中划痕的真实边界框标注，自动生成YOLO神经网络需要的xml文件；将VOC格式的xml文件转换成YOLO神经网络需要的txt文件；
确定YOLO神经网络的训练参数，其中，所述训练参数包括学习率0.001，batchsize为32，迭代次数为500次；
将训练样本中的图像进行预处理，将尺寸调整后的图像送入YOLO神经网络进行训练；观察训练过程中的loss曲线，判断YOLO神经网络是否收敛；如果收敛，则停止训练；如果未收敛，则继续训练。
作为优选的一种技术方案，所述YOLO神经网络的损失函数包括边界框损失、置信度损失和分类损失，其计算公式分别如下：
loss＝lossbox+lossobj+losscls
所述lossbox表示边界框损失函数，其计算公式如下：
Figure BDA0003308424500000021
其中，λbox是坐标预测的惩罚系数，xi，yi，wi，hi表示预测目标边界框的横坐标、纵坐标、宽度、高度的值，
Figure BDA0003308424500000022
表示真实目标边界框中心的横坐标、纵坐标、宽度、高度的值，S2为划分网格数，B为每个网格预测边界框的数量，
Figure BDA0003308424500000023
判断第j个边界框所在的第i个网格是否负责检测该缺陷；
所述lossobj表示置信度损失函数，其计算公式如下：
Figure BDA0003308424500000031
其中，λnoobj表示网格中不包含检测目标时置信度的惩罚系数，ci为预测置信度，
Figure BDA0003308424500000032
表示第i个网格中目标缺陷属于某一类别的的真实置信度，
Figure BDA0003308424500000033
表示第i个网格的第j个边界框中不包含目标缺陷；
所述losscls表示置信度损失函数，其计算公式如下：
Figure BDA0003308424500000034
其中，λclass表示网格中不包含检测目标时类别的惩罚系数，c示预测目标缺陷类别，pi(c)示第i个网格中目标属于某一类缺陷的预测概率值，
Figure BDA0003308424500000035
表示第i个网格中目标属于某一类缺陷的真实概率值，
Figure BDA0003308424500000036
表示第i个网格是否负责目标缺陷。
作为优选的一种技术方案，标注出所述训练样本中的缺陷的位置，进一步包括：
使用labelImg软件对训练样本进行标注；
对每一张图片，都用矩形框将缺陷位置标注；
标注完成后，每张图片会生成一个xml文件，文件中存有对应图片的缺陷位置和标注的类别信息。
作为优选的一种技术方案，对所述图像进行预处理从而得到预处理样本，进一步包括：
对所述图像依次进行滤波去噪、灰度化、图像分割处理；
将处理后的图像划分为训练样本、验证样本以及测试样本。
作为优选的一种技术方案，根据权利要求6所述的检测方法，其特征在于：所述训练样本与测试样本的比例为9:1。
另一方面，本发明还提供一种复合材料表面缺陷的检测装置，包括：
获取单元，用于利用检测设备获取待测复合材料表面图像；
预处理单元，用于对所述图像进行预处理从而得到预处理样本；其中，所述预处理样本包括训练样本、验证样本以及测试样本；
标注单元，用于标注出所述训练样本中的缺陷的位置；其中，所述缺陷包括表面凹坑和表面划痕；
训练单元，用于将标注后的述训练样本输入YOLO神经网络进行训练直至所述YOLO神经网络收敛；
验证单元，用于将所述验证样本输入收敛后的YOLO神经网络，对该YOLO神经网络的训练效果进行验证；
检测单元，用于将测试样本输入到经过验证后的YOLO神经网络，识别出的缺陷的大小及置信度数值大于预设标准值时，将得到的缺陷信息保存并在原图像上标注位置坐标，将检测到的缺陷像素坐标转化成实际坐标。
本发明相对于现有技术的有益效果是：本发明通过检测设备获取图像，然后通过对YOLO神经网络进行训练，通过YOLO来标注复合材料上的缺陷，实现对表面缺陷的自动化在线检测，消除现有方法弊端，降低错漏检风险，提高零件表面质量检测准确性、稳定性和效率。
另外，本发明采用的图像采集模块采用穹顶光源来照射复合材料零件表面，可最大限度地避免复合材料表面的反光影响，而且夹具系统通过夹具滑块和紧定螺钉的调节，以完成对不同长度、不同厚度尺寸零件的装夹，图像处理系统通过嵌入式ARM板和无线传输模块作为硬件设备，采用YOLO深度学习检测方法实现对复合材料零件表面缺陷的自动检测标注。
附图说明
图1是本发明提供的一种复合材料表面缺陷的检测方法的流程图；
图2是本发明提供的检测设备的结构图；
图3是本发明提供的一种复合材料表面缺陷的检测装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，本实施例提供一种复合材料表面缺陷的检测方法，包括以下步骤：
S10：利用检测设备获取待测复合材料表面图像；
具体的，如图2所示，检测设备包括运动单元101，所述运动单元为XZ方向二维运动平台，并将构成图像处理单元的嵌入式ARM板和无线传输模块集成于其后部，用于调节拍摄单元到待测零件的距离；
拍摄单元102，由多台工业相机组成，安装于所述运动单元上101上，用于采集所述待测复材零件表面图片；在此需要说的是，拍摄单元102可以是多个CCD或者CMOS相；
照明单元103，由环形光源或穹顶光源组成，分别与多台工业相机同轴线安装，用于给复材零件表面打光，以提高采集图片质量；在本实施例中，照明单元103为环绕所述待测件的180度光源；
滑轨104，与固定调整单元107中夹具系统滑块相连，用于调节夹具滑块的位置以适应不同大小的待测复材零件装夹；
运动单元地轨105，与运动单元相连，用于控制运动单元的X向移动；
待测复材蒙皮零件106，作为待测零件供相机组采集表面图片；
固定调整单元107，包括一对柔性夹具，用于装夹复合材料零件，可通过调节夹具滑块和紧定螺钉来实现不同长度与厚度复合材料零件的紧固装夹，在此需要说明的是，固定单元105和调整单元107为所述待测件的柔性夹具，可以适应不同型号、长度的复材蒙皮零件，并有角度调节功能；
图像处理单元108，由ARM板和无线传输模块组成，ARM板集成了“YOLO”深度学习模型的图像处理程序，将工业相机采集到图像中的零件表面缺陷检测出来并标注，再由无线传输模块将有划痕缺陷的图片传输到工控机数据库中。
获取图像时，先将将复合材料检测装置硬件设备初始化，完成运动单元101和拍摄单元102、照明单元103的初检，将待测复材蒙皮零件106使用固定调整单元107装夹，使其垂直于工业相机102的镜头；接着根据当前零件尺寸、检测精度等设置系统采集模块参数，将运动单元101的竖直导轨和水平导轨调整到检测初始位置；在当前系统设置参数和检测状态下，完成检测系统在机标定；最后，待其他器件安装就绪后，运动单元101搭载拍摄单元102和照明电源103完成零件表面横向图片采集。
S20：对所述图像进行预处理从而得到预处理样本；其中，所述预处理样本包括训练样本、验证样本以及测试样本；
具体的，对所述拍摄图像进行滤波去噪、灰度化、图像分割等图像预处理操作。在本实施例中，使用高斯滤波算法进行图像去噪，图像分割选择把图像分割为512×512的多个小正方形图像。
预处理完成之后，将所有的样本分为训练样本、验证样本以及测试样本，在本实施例中，所述训练样本与测试样本的比例为9:1。
在另外一些实施例中，可以理解为在其他的实施方式中所述图像预处理还可以采用其他滤波算法，可以理解为在本实施方式中只要能将图像增强即可。
S30：标注出所述训练样本中的缺陷的位置；其中，所述缺陷包括表面凹坑和表面划痕；
具体的，在本实施例中，拍摄尽可能多的复材蒙皮零件表面凹坑图片以制作数据集，对图像进行标注，将不利于训练的图像删除，具体的标注由人工完成，使用开源的labelImg软件对训练的图像进行标注；对每一张图片，都用矩形框将凹坑缺陷位置标注；标注完成后，每张图片会生成一个xml文件，文件中存有对应图片的缺陷位置和标注的类别信息；
S40：将标注后的述训练样本输入YOLO神经网络进行训练直至所述YOLO神经网络收敛；
具体的，将所述训练样本其制作成VOC格式数据集，手动将图像中划痕的真实边界框标注，自动生成YOLO神经网络需要的xml文件；将VOC格式的xml文件转换成YOLO神经网络需要的txt文件；然后确定YOLO神经网络的训练参数，其中，所述训练参数包括学习率0.001，batchsize为32，迭代次数为500次；
最后，将训练样本中的图像进行预处理，将尺寸调整后的图像送入YOLO神经网络进行训练；观察训练过程中的loss曲线，判断YOLO神经网络是否收敛；如果收敛，则停止训练；如果未收敛，则继续训练。
在本实施例中，上述YOLO神经网络的损失函数包括边界框损失、置信度损失和分类损失，其计算公式分别如下：
loss＝lossbox+lossobj+losscls
所述lossbox表示边界框损失函数，其计算公式如下：
Figure BDA0003308424500000061
其中，λbox是坐标预测的惩罚系数，xi，yi，wi，hi表示预测目标边界框的横坐标、纵坐标、宽度、高度的值，
Figure BDA0003308424500000062
表示真实目标边界框中心的横坐标、纵坐标、宽度、高度的值，S2为划分网格数，B为每个网格预测边界框的数量，
Figure BDA0003308424500000063
判断第j个边界框所在的第i个网格是否负责检测该缺陷；
所述lossobj表示置信度损失函数，其计算公式如下：
Figure BDA0003308424500000064
其中，λnoobj表示网格中不包含检测目标时置信度的惩罚系数，ci为预测置信度，
Figure BDA0003308424500000065
表示第i个网格中目标缺陷属于某一类别的的真实置信度，
Figure BDA0003308424500000066
表示第i个网格的第j个边界框中不包含目标缺陷；
所述losscls表示置信度损失函数，其计算公式如下：
Figure BDA0003308424500000067
其中，λclass表示网格中不包含检测目标时类别的惩罚系数，c示预测目标缺陷类别，pi(c)示第i个网格中目标属于某一类缺陷的预测概率值，
Figure BDA0003308424500000068
表示第i个网格中目标属于某一类缺陷的真实概率值，
Figure BDA0003308424500000071
表示第i个网格是否负责目标缺陷。
S50：将所述验证样本输入收敛后的YOLO神经网络，对该YOLO神经网络的训练效果进行验证；
S60：将测试样本输入到经过验证后的YOLO神经网络，识别出的缺陷的大小及置信度数值大于预设标准值时，将得到的缺陷信息保存并在原图像上标注位置坐标，将检测到的缺陷像素坐标转化成实际坐标。
具体的，模型识别出的表面凹坑或者划痕大小及置信度大于等于预设标准值时，YOLO神经网络的定位算法可以获得所识别凹坑或划痕的位置信息，并将此测试样本标记为不合格件，同时将所述缺陷类别的预测框在所述输入图像上以红色标注并高亮显示，使用激光笔在复材零件上映射出实际缺陷位置。
通过上述方法步骤，复合材料表面凹坑或者划痕缺陷可以通过检测装置自动化检测完成。图像采集系统可以通过运动单元的水平与竖直导轨来实现拍摄位置的改变，以实现最佳的拍摄效果；通过夹具系统夹具滑块和紧定螺钉的调节，以完成对不同长度、不同厚度尺寸零件的装夹；图像处理系统通过嵌入式ARM板和无线传输模块实现对复合材料零件表面凹坑或者划痕缺陷的自动检测标注。
另一方面，本发明还提供一种复合材料表面缺陷的检测装置，包括：
获取单元10，用于利用检测设备获取待测复合材料表面图像；在此需要说明的是，由于具体的获取方法以及过程在上述一种复合材料表面缺陷的检测方法的步骤S10中已经详细阐述，故在此不再赘述。
预处理单元20，用于对所述图像进行预处理从而得到预处理样本；其中，所述预处理样本包括训练样本、验证样本以及测试样本；在此需要说明的是，由于具体的预处理方法以及过程在上述一种复合材料表面缺陷的检测方法的步骤S20中已经详细阐述，故在此不再赘述。
标注单元30，用于标注出所述训练样本中的缺陷的位置；其中，所述缺陷包括表面凹坑和表面划痕；在此需要说明的是，由于具体的标注方法以及过程在上述一种复合材料表面缺陷的检测方法的步骤S30中已经详细阐述，故在此不再赘述。
训练单元40，用于将标注后的述训练样本输入YOLO神经网络进行训练直至所述YOLO神经网络收敛；在此需要说明的是，由于具体的训练方法以及过程在上述一种复合材料表面缺陷的检测方法的步骤S40中已经详细阐述，故在此不再赘述。
验证单元50，用于将所述验证样本输入收敛后的YOLO神经网络，对该YOLO神经网络的训练效果进行验证；在此需要说明的是，由于具体的验证方法以及过程在上述一种复合材料表面缺陷的检测方法的步骤S50中已经详细阐述，故在此不再赘述。
检测单元60，用于将测试样本输入到经过验证后的YOLO神经网络，识别出的缺陷的大小及置信度数值大于预设标准值时，将得到的缺陷信息保存并在原图像上标注位置坐标，将检测到的缺陷像素坐标转化成实际坐标；在此需要说明的是，由于具体的检测方法以及过程在上述一种复合材料表面缺陷的检测方法的步骤S60中已经详细阐述，故在此不再赘述。。
另外，本发明实施例还提供一种计算机可读存储介质，其中，该计算机可读存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任何复合材料表面缺陷的检测方法的部分或全部步骤。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上参照附图描述了根据本发明的实施例的用于实现复合材料表面缺陷的检测方法的示例性流程图。应指出的是，以上描述中包括的大量细节仅是对本发明的示例性说明，而不是对本发明的限制。在本发明的其他实施例中，该方法可具有更多、更少或不同的步骤，且各步骤之间的顺序、包含、功能等关系可以与所描述和图示的不同。

Claims (10)

1.一种复合材料表面缺陷的检测方法，其特征在于，包括：
利用检测设备获取待测复合材料表面图像；
对所述图像进行预处理从而得到预处理样本；其中，所述预处理样本包括训练样本、验证样本以及测试样本；
标注出所述训练样本中的缺陷的位置；其中，所述缺陷包括表面凹坑和表面划痕；
将标注后的述训练样本输入YOLO神经网络进行训练直至所述YOLO神经网络收敛；
将所述验证样本输入收敛后的YOLO神经网络，对该YOLO神经网络的训练效果进行验证；
将测试样本输入到经过验证后的YOLO神经网络，识别出的缺陷的大小及置信度数值大于预设标准值时，将得到的缺陷信息保存并在原图像上标注位置坐标，将检测到的缺陷像素坐标转化成实际坐标。
2.根据权利要求1所述的检测方法，其特征在于，所述检测设备包括：
运动单元，所述运动单元为XZ方向二维运动平台，并将构成图像处理单元的嵌入式ARM板和无线传输模块集成于其后部，用于调节拍摄单元到待测零件的距离；
拍摄单元，由多台工业相机组成，安装于所述运动单元上，用于采集所述待测复合材料表面图片；
照明单元，由环形光源或穹顶光源组成，分别与多台工业相机同轴线安装，用于给复合材料表面打光，以提高采集图片质量；
滑轨，与固定调整单元中夹具系统滑块相连，用于调节夹具滑块的位置以适应不同大小的待测复合材料装夹；
运动单元地轨，与运动单元相连，用于控制运动单元的X向移动；
固定调整单元，包括一对柔性夹具，用于装夹复合材料，通过调节夹具滑块和紧定螺钉来实现不同长度与厚度复合材料的紧固装夹；
图像处理单元，由ARM板和无线传输模块组成，ARM板集成了YOLO深度学习模型的图像处理程序，将工业相机采集到图像中的复合材料表面缺陷检测出来并标注，再由无线传输模块将有划痕缺陷的图片传输到工控机数据库中。
3.根据权利要求1所述的检测方法，其特征在于，将所述训练样本对YOLO神经网络进行训练直至所述YOLO神经网络收敛，进一步包括：
将所述训练样本其制作成VOC格式数据集，手动将图像中划痕的真实边界框标注，自动生成YOLO神经网络需要的xml文件；将VOC格式的xml文件转换成YOLO神经网络需要的txt文件；
确定YOLO神经网络的训练参数，其中，所述训练参数包括学习率0.001，batchsize为32，迭代次数为500次；
将训练样本中的图像进行预处理，将尺寸调整后的图像送入YOLO神经网络进行训练；
观察训练过程中的loss曲线，判断YOLO神经网络是否收敛；如果收敛，则停止训练；如果未收敛，则继续训练。
4.根据权利要求1或3所述的检测方法，其特征在于：所述YOLO神经网络的损失函数包括边界框损失、置信度损失和分类损失，其计算公式分别如下：
loss＝lossbox+lossobj+losscls
所述lossbox表示边界框损失函数，其计算公式如下：
Figure FDA0003308424490000021
其中，λbox是坐标预测的惩罚系数，xi，yi，wi，hi表示预测目标边界框的横坐标、纵坐标、宽度、高度的值，
Figure FDA0003308424490000022
表示真实目标边界框中心的横坐标、纵坐标、宽度、高度的值，S2为划分网格数，B为每个网格预测边界框的数量，
Figure FDA0003308424490000023
判断第j个边界框所在的第i个网格是否负责检测该缺陷；
所述lossobj表示置信度损失函数，其计算公式如下：
Figure FDA0003308424490000024
其中，λnoobj表示网格中不包含检测目标时置信度的惩罚系数，ci为预测置信度，
Figure FDA0003308424490000025
表示第i个网格中目标缺陷属于某一类别的的真实置信度，
Figure FDA0003308424490000026
表示第i个网格的第j个边界框中不包含目标缺陷；
所述losscls表示置信度损失函数，其计算公式如下：
Figure FDA0003308424490000027
其中，λclass表示网格中不包含检测目标时类别的惩罚系数，c示预测目标缺陷类别，pi(c)示第i个网格中目标属于某一类缺陷的预测概率值，
Figure FDA0003308424490000028
表示第i个网格中目标属于某一类缺陷的真实概率值，
Figure FDA0003308424490000029
表示第i个网格是否负责目标缺陷。
5.根据权利要求1所述的检测方法，其特征在于，标注出所述训练样本中的缺陷的位置，进一步包括：
使用labelImg软件对训练样本进行标注；
对每一张图片，都用矩形框将缺陷位置标注；
标注完成后，每张图片会生成一个xml文件，文件中存有对应图片的缺陷位置和标注的类别信息。
6.根据权利要求1所述的检测方法，其特征在于，对所述图像进行预处理从而得到预处理样本，进一步包括：
对所述图像依次进行滤波去噪、灰度化、图像分割处理；
将处理后的图像划分为训练样本、验证样本以及测试样本。
7.根据权利要求3所述的检测方法，其特征在于：根据权利要求6所述的检测方法，其特征在于：所述训练样本与测试样本的比例为9:1。
8.一种复合材料表面缺陷的检测装置，包括：
获取单元，用于利用检测设备获取待测复合材料表面图像；
预处理单元，用于对所述图像进行预处理从而得到预处理样本；其中，所述预处理样本包括训练样本、验证样本以及测试样本；
标注单元，用于标注出所述训练样本中的缺陷的位置；其中，所述缺陷包括表面凹坑和表面划痕；
训练单元，用于将标注后的述训练样本输入YOLO神经网络进行训练直至所述YOLO神经网络收敛；
验证单元，用于将所述验证样本输入收敛后的YOLO神经网络，对该YOLO神经网络的训练效果进行验证；
检测单元，用于将测试样本输入到经过验证后的YOLO神经网络，识别出的缺陷的大小及置信度数值大于预设标准值时，将得到的缺陷信息保存并在原图像上标注位置坐标，将检测到的缺陷像素坐标转化成实际坐标。
9.根据权利要求8所述的检测装置，其特征在于，所述检测设备包括：
运动单元，所述运动单元为XZ方向二维运动平台，并将构成图像处理单元的嵌入式ARM板和无线传输模块集成于其后部，用于调节拍摄单元到待测零件的距离；
拍摄单元，由多台工业相机组成，安装于所述运动单元上，用于采集所述待测复合材料表面图片；
照明单元，由环形光源或穹顶光源组成，分别与多台工业相机同轴线安装，用于给复合材料表面打光，以提高采集图片质量；
滑轨，与固定调整单元中夹具系统滑块相连，用于调节夹具滑块的位置以适应不同大小的待测复合材料装夹；
运动单元地轨，与运动单元相连，用于控制运动单元的X向移动；
固定调整单元，包括一对柔性夹具，用于装夹复合材料，通过调节夹具滑块和紧定螺钉来实现不同长度与厚度复合材料的紧固装夹；
图像处理单元，由ARM板和无线传输模块组成，ARM板集成了YOLO深度学习模型的图像处理程序，将工业相机采集到图像中的复合材料表面缺陷检测出来并标注，再由无线传输模块将有划痕缺陷的图片传输到工控机数据库中。
10.一种计算机可读存储介质，其特征在于，包括：所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的一种复合材料表面缺陷的检测方法的步骤。
CN202111209656.0A 2021-10-18 2021-10-18 一种复合材料表面缺陷的检测方法及装置 Pending CN113935971A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111209656.0A CN113935971A (zh) 2021-10-18 2021-10-18 一种复合材料表面缺陷的检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111209656.0A CN113935971A (zh) 2021-10-18 2021-10-18 一种复合材料表面缺陷的检测方法及装置

Publications (1)

Publication Number Publication Date
CN113935971A true CN113935971A (zh) 2022-01-14

Family

ID=79279977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111209656.0A Pending CN113935971A (zh) 2021-10-18 2021-10-18 一种复合材料表面缺陷的检测方法及装置

Country Status (1)

Country Link
CN (1) CN113935971A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494241A (zh) * 2022-02-18 2022-05-13 迪赛福工业互联(深圳)有限公司 胶路缺陷检测方法、装置及设备
CN115165920A (zh) * 2022-09-06 2022-10-11 南昌昂坤半导体设备有限公司 一种三维缺陷检测方法及检测设备
CN115471481A (zh) * 2022-09-20 2022-12-13 盐城工学院 一种基于深度学习的复合机在线质量监测系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494241A (zh) * 2022-02-18 2022-05-13 迪赛福工业互联(深圳)有限公司 胶路缺陷检测方法、装置及设备
CN114494241B (zh) * 2022-02-18 2023-05-26 工游记工业科技(深圳)有限公司 胶路缺陷检测方法、装置及设备
CN115165920A (zh) * 2022-09-06 2022-10-11 南昌昂坤半导体设备有限公司 一种三维缺陷检测方法及检测设备
CN115471481A (zh) * 2022-09-20 2022-12-13 盐城工学院 一种基于深度学习的复合机在线质量监测系统

Similar Documents

Publication Publication Date Title
CN113935971A (zh) 一种复合材料表面缺陷的检测方法及装置
CN107229930B (zh) 一种指针式仪表数值智能识别方法
US20210073975A1 (en) Method for enhancing optical feature of workpiece, method for enhancing optical feature of workpiece through deep learning, and non transitory computer readable recording medium
CN104063873B (zh) 一种基于压缩感知的轴套类零件表面缺陷在线检测方法
CN108090896B (zh) 木板平整度检测及其机器学习方法、装置及电子设备
CN110609037A (zh) 产品缺陷检测系统及方法
CN111612737B (zh) 一种人造板表面瑕疵检测装置及检测方法
CN106645197B (zh) 检测精密光学元件表面颗粒物的在线检测系统及应用方法
CN113030108A (zh) 一种基于机器视觉的涂层缺陷检测系统与方法
CN112766103A (zh) 一种机房巡检方法及装置
CN113608378B (zh) 一种基于lcd制程的全自动缺陷检测方法和系统
CN111712769A (zh) 用于设定照明条件的方法、装置、系统及程序以及存储介质
CN114034704A (zh) 一种基于多源数据融合的废旧轧辊三维检测装置及方法
CN110118777A (zh) 一种控制系统系统集成智能检验台
CN114742818A (zh) 一种基于工业面阵摄像头视觉缺陷检测系统及其检测方法
CN109342455A (zh) 一种基于视觉的塑料管大面积缺陷检测装置及其检测方法
CN113822882A (zh) 基于深度学习的电路板表面缺陷检测方法与检测装置
CN116678826A (zh) 一种基于快速立体重建的外观缺陷检测系统及方法
CN116543247A (zh) 基于光度立体表面重建的数据集制作方法及验证系统
CN115014248A (zh) 一种激光投射线的识别与平面度判定方法
CN113970560A (zh) 一种基于多传感融合的缺陷三维检测方法
CN114113116A (zh) 一种大口径元件表面微缺陷精确检测工艺方法
CN112001964A (zh) 一种基于深度学习的洪水演进过程淹没范围测量方法
CN111486790A (zh) 一种电池全尺寸检测方法与装置
CN116105604A (zh) 钢管质量检测系统及检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination