CN114119526A - 一种基于机器视觉的钢板表面缺陷检测与识别系统及方法 - Google Patents

一种基于机器视觉的钢板表面缺陷检测与识别系统及方法 Download PDF

Info

Publication number
CN114119526A
CN114119526A CN202111374985.0A CN202111374985A CN114119526A CN 114119526 A CN114119526 A CN 114119526A CN 202111374985 A CN202111374985 A CN 202111374985A CN 114119526 A CN114119526 A CN 114119526A
Authority
CN
China
Prior art keywords
defect
image
module
steel plate
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111374985.0A
Other languages
English (en)
Inventor
姜乐兵
沈晓东
吴鑫
裴永胜
付文杰
宋飞虎
李静
李臻峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202111374985.0A priority Critical patent/CN114119526A/zh
Publication of CN114119526A publication Critical patent/CN114119526A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种基于机器视觉的钢板表面缺陷检测与识别系统及方法，涉及机器视觉检测领域，该系统包括照明模块、图像采集模块、采集控制模块、缺陷检测与识别模块；照明模块和图像采集模块组合构成两种光路，放置在被测钢板表面的上方；采集控制模块包括PC机，用于提供方波信号，图像采集模块被方波信号触发，用于采集被测钢板表面图像；缺陷检测与识别模块安装在PC机上，用于对被测钢板表面图像进行缺陷检测与定位。该系统实现了非接触式钢板表面缺陷检测与识别，具有采集速度快、分辨率高、检测精度高、检测速度快、分类识别精度高等优点，同时该系统操作简单，安装复杂程度低，便于后期检测系统的维护与使用，具有广阔的应用前景。

Description

一种基于机器视觉的钢板表面缺陷检测与识别系统及方法
技术领域
本发明涉及机器视觉检测领域，尤其是一种基于机器视觉的钢板表面缺陷检测与识别系统及方法。
背景技术
机器视觉技术是一门涉及人工智能、神经生物学、心理物理学、计算机科学、图像处理、模式识别等诸多领域的交叉学科。机器视觉技术主要用计算机来模拟人的视觉功能，从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量与控制，主要包括图像的采集、处理、分析、输出、储存和显示等方面的研究。表面缺陷与大小、形状是钢板表面品质的重要特征，利用机器视觉进行检测不仅可以排除人为主观因素的干扰，而且还能够对这些缺陷的指标进行定量描述，形成每一种缺陷的固定特征，避免了因人而异的检测结果，减少了检测分级误差，提高了生产率和分级精度。一个典型的机器视觉系统是指通过机器视觉产品(即图像采集装置，分CMOS和CCD两种)把图像抓取到，然后将该图像传送至处理单元，通过数字化处理，根据像素分布和亮度、颜色等信息，来进行尺寸、形状、颜色的判别。当前，工业视觉检测系统主要用于提高生产效率、控制生产过程中的产品质量、采集产品数据以及产品的分类和识别。
现有钢板种类繁多，许多钢板是用于制造桥梁、船舶、锅炉、压力容器、压力管道的重要材料。钢板的产品质量是决定其价格的关键性指标，在钢板的生产中，传统的人工目视检测方式存在很多缺陷，如实时性差，无法适应高速机组；检测细小的表面缺陷效率低下且容易造成检测人员眼睛疲劳而无法长时间有效地检测整个钢板表面。传统意义上的表面缺陷检测方法主要是在单纯的机电和光学技术的基础上，通过利用电磁信号处理来实现缺陷检测，主要包括：涡流检测技术、漏磁检测技术以及红外线检测技术，不过这些检测技术均有很大的弊端。通过传统的光、电、磁信号实现的检测技术在检测场合也即在检测速度、检测精度以及检测的缺陷数量上均具有一定的局限性，它们都只适合某些检测要求不高的场合。
发明内容
本发明人针对上述问题及技术需求，提出了一种基于机器视觉的钢板表面缺陷检测与识别系统及方法，克服传统检测与识别方法的弊端，实现缺陷的高效和快速检测。
本发明的技术方案如下：
一种基于机器视觉的钢板表面缺陷检测与识别系统，该系统包括照明模块、图像采集模块、采集控制模块、缺陷检测与识别模块，被测钢板由传动机构带动沿其长度方向运动；照明模块和图像采集模块组合构成两种光路，放置在被测钢板表面的上方，光路包括明域光路和暗域光路，照明模块用于照亮被测钢板表面；采集控制模块包括NI采集卡和PC机，PC机连接NI采集卡，NI采集卡连接图像采集模块，PC机用于提供方波信号，图像采集模块被方波信号触发，用于采集被测钢板表面图像；缺陷检测与识别模块安装在PC机上，用于对被测钢板表面图像进行缺陷检测与定位。
其进一步的技术方案为，缺陷检测与识别模块包括缺陷目标判别模块、图像预处理模块、图像分割定位模块、图像分类识别模块和缺陷信息显示与储存模块；
缺陷目标判别模块用于对被测钢板表面图像进行缺陷目标判别，并将第一缺陷图像导入至图像预处理模块；图像预处理模块用于对第一缺陷图像进行自适应中值滤波和PSO-Gabor特征增强处理，并将第二缺陷图像分别导入至图像分割定位模块和图像分类识别模块；图像分割定位模块采用阈值法对第二缺陷图像进行分割得到缺陷二值图像，对缺陷二值图像中的缺陷像素进行计数得到缺陷面积，计算缺陷二值图像中各缺陷目标区域的质心作为缺陷位置，并将缺陷面积和缺陷位置导入至缺陷信息显示与储存模块；图像分类识别模块采用卷积神经网络作为分类模型，用于对第二缺陷图像进行缺陷分类识别，缺陷类型包括裂纹、斑块、氧化铁皮压入、麻点、夹杂和划痕，将识别到的缺陷类型导入至缺陷信息显示与储存模块；缺陷信息显示与储存模块用于对缺陷信息进行实时显示和储存，缺陷信息包括缺陷类型、面积和位置。
其进一步的技术方案为，照明模块包括两个高亮线性LED光源，两个高亮线性LED光源平行于被测钢板宽度方向放置；图像采集模块包括两套工业CMOS黑白相机和光学镜头，工业CMOS黑白相机通过螺纹与光学镜头连接，两套工业CMOS黑白相机和光学镜头沿被测钢板宽度方向依次放置，图像采集模块与被测钢板表面的垂直高度高于照明模块与被测钢板表面的垂直高度；
一个高亮线性LED光源与两套工业CMOS黑白相机和光学镜头，以被测钢板宽度方向的平面为轴对称分布，组成明域光路，图像采集模块采集被测钢板表面明域缺陷图像；另一个高亮线性LED光源与两套工业CMOS黑白相机和光学镜头，以被测钢板宽度方向的平面为轴非对称分布，组成暗域光路，图像采集模块采集被测钢板表面暗域缺陷图像。
其进一步的技术方案为，在缺陷目标判别模块中，设定灰度标准差阈值为1，计算被测钢板表面图像的灰度标准差，比较灰度标准差与灰度标准差阈值之间的大小，若灰度标准差大于等于1，判断图像有缺陷，得到第一缺陷图像，若灰度标准差小于1，判断图像无缺陷，将对应的被测钢板表面图像清除以释放内存。
其进一步的技术方案为，卷积神经网络包括三个卷积层、两个池化层、一个dropout层和全连接层，第二缺陷图像依次经过第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、dropout层和全连接层后，由输出层输出缺陷识别结果；
其中，两个池化层采用最大值池化下采样，每个卷积层与池化层之间的激活函数采用ReLU函数，输出层为六类别的Softmax输出分类器；卷积神经网络的输入层输出数据维度为200×200×1，第一卷积层的卷积核大小为5×5，卷积核个数为6，步长为1，输出数据维度为200×200×6；第一池化层的滤波器尺寸为2×2，步长为2，输出数据维度为100×100×6；第二卷积层的卷积核大小为5×5，卷积核个数为16，步长为1，输出数据维度为100×100×16；第二池化层的滤波器尺寸为2×2，步长为2，输出数据维度为50×50×16；第三卷积层的卷积核大小为5×5，卷积核个数为120，步长为1，输出数据维度为50×50×120；dropout层的缩减因子为0.5，输出数据维度为50×50×120；全连接层输出数据维度为1×1×512。
其进一步的技术方案为，PSO-Gabor特征增强所用滤波器的四个最优参数包括频率、尺度、方向和滤波窗口尺寸，且频率为4.48，尺度为1.50，方向为134.35，滤波窗口尺寸为31。
其进一步的技术方案为，系统还包括与PC机相连的缺陷位置标定模块，缺陷位置标定模块包括标定机，用于对被测钢板表面的缺陷进行精准贴标。
一种基于机器视觉的钢板表面缺陷检测与识别方法，该方法包括：
采集控制模块产生方波信号，并传输至图像采集模块；
图像采集模块被方波信号触发，开始采集被测钢板表面图像，并将被测钢板表面图像传输至缺陷目标判别模块；
缺陷目标判别模块对被测钢板表面图像进行缺陷目标判别，将第一缺陷图像导入至图像预处理模块，并将无缺陷图像清除以释放内存；
图像预处理模块对第一缺陷图像进行自适应中值滤波和PSO-Gabor特征增强处理得到第二缺陷图像，并将第二缺陷图像导入至图像分割定位模块，同时将所有第二缺陷图像按照预设比例划分为训练集和测试集，并导入至图像分类识别模块；
图像分割定位模块采用阈值法对第二缺陷图像进行缺陷分割得到缺陷二值图像，对缺陷二值图像中的缺陷像素进行计数得到缺陷面积，计算缺陷二值图像中各缺陷目标区域的质心作为缺陷位置，并将缺陷面积和缺陷位置导入至缺陷信息显示与储存模块；
图像分类识别模块采用卷积神经网络作为分类模型，利用训练集对卷积神经网络进行模型训练，将测试集输入至训练好的分类模型中进行缺陷分类识别，缺陷类型包括裂纹、斑块、氧化铁皮压入、麻点、夹杂和划痕，将识别到的缺陷类型导入至缺陷信息显示与储存模块；
缺陷信息显示与储存模块实时显示和储存缺陷类型、面积和位置；
缺陷位置标定模块获取缺陷位置信息，对被测钢板表面的缺陷进行精准贴标。
其进一步的技术方案为，图像预处理模块对第一缺陷图像进行PSO-Gabor特征增强处理，包括：
利用粒子群优化算法对二维Gabor滤波器的四个决定性参数进行迭代寻优；
根据获得的四个最优参数构造最优PSO-Gabor滤波器；
将最优PSO-Gabor滤波器与第一缺陷图像进行卷积获得滤波后的图像；
计算滤波后图像的能量值获得缺陷能量图，作为第二缺陷图像；
其中，迭代寻优过程包括：确定搜索空间维度为4，设置粒子种群数和迭代总数；对二维Gabor滤波器的四个决定性参数进行初始化，并根据初始化的参数构造二维Gabor滤波器；将无缺陷图像与构造的二维Gabor滤波器进行卷积获得滤波后的无缺陷图像，并计算滤波后无缺陷图像的能量值获得能量图；根据Fisher准则构造粒子的种群适应度函数，作为粒子群算法寻优的目标函数，目标函数为能量图灰度均值和灰度标准差的商；根据目标函数确定粒子群的个体极值与全体极值并进行比较，若满足迭代次数，则输出四个最优参数，否则根据粒子的速度与位置更新公式调整二维Gabor滤波器的四个参数，并重复执行卷积操作的步骤直至满足迭代次数。
其进一步的技术方案为，在阈值法中，获取分割阈值的方法包括：
将无缺陷图像与构造的最优二维Gabor滤波器进行卷积获得滤波后的无缺陷图像，并计算滤波后无缺陷图像的能量值获得能量图后，以能量图的灰度均值与灰度标准差的和作为分割阈值，用于图像分割。
本发明的有益技术效果是：
1、该系统设置了明域光路与暗域光路，可以实现被测钢板表面明域缺陷图像与暗域缺陷图像的采集，既降低了缺陷检测的难度，也极大地增加了检测对象的类型；
2、该系统设置了缺陷目标判别模块，提前筛选出无缺陷图像，并将其及时清除以释放系统内存，极大地提升了检测效率，满足大多数钢板生产线的检测要求，为实时在线缺陷检测与识别提供了理论指导与技术支持；
3、该系统构建的卷积神经网络经试验测试可以实现对缺陷97.5％的分类准确率，分类识别时间为50ms，具有非接触性、检测效率高、检测精度高等优点；
4、该系统可以实现对被测钢板表面缺陷位置的实时贴标，操作简单，安装及运行成本较低，复杂程度低，便于后期检测系统的维护与使用。
附图说明
图1是本申请提供的基于机器视觉的钢板表面缺陷检测与识别系统的结构示意图。
图2是本申请提供的明域光路和暗域光路的示意图。
图3是本申请提供的卷积神经网络的结构示意图。
图4是本申请提供的缺陷检测与识别的方法流程图。
图5是本申请提供的PSO-Gabor特征增强处理及缺陷分类识别的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
如图1所示，一种基于机器视觉的钢板表面缺陷检测与识别系统，包括照明模块、图像采集模块、采集控制模块、缺陷检测与识别模块、缺陷位置标定模块，被测钢板由传动机构带动以5米每秒的速度沿其长度方向运动，下面分别介绍各个模块的详细组成结构。
<1>照明模块和图像采集模块组合构成两种光路，放置在被测钢板表面的上方。其中，照明模块包括用于照亮被测钢板表面的两个高亮线性LED光源，两个高亮线性LED光源平行于被测钢板宽度方向放置。可选的，高亮线性LED光源的长度为1800mm，间距为600mm，与被测钢板表面的垂直高度为400mm。图像采集模块包括两套工业CMOS黑白相机和光学镜头，工业CMOS黑白相机通过螺纹与光学镜头连接，两套工业CMOS黑白相机和光学镜头沿被测钢板宽度方向依次放置。可选的，图像采集模块与被测钢板表面的垂直高度为1000mm。
光路设置方式如图2所示，一个高亮线性LED光源1与两套工业CMOS黑白相机和光学镜头2，以被测钢板宽度方向的平面为轴对称分布，组成明域光路，图像采集模块采集被测钢板表面明域缺陷图像。另一个高亮线性LED光源3与两套工业CMOS黑白相机和光学镜头2，以被测钢板宽度方向的平面为轴非对称分布，组成暗域光路，图像采集模块采集被测钢板表面暗域缺陷图像。采用两种光路组合的方式既降低了缺陷检测的难度，也极大地增加了检测对象的类型。
<2>采集控制模块包括NI采集卡和PC机，PC机通过USB数据线连接NI采集卡，NI采集卡通过8pin口相机外触发线连接工业CMOS黑白相机，用PC机上的LabVIEW软件产生频率为150HZ、幅值为8V的方波信号，工业CMOS黑白相机被方波信号的上升沿触发，用于采集被测钢板表面图像，并通过USB信号线将采集的被测钢板表面图像传输至缺陷检测与识别模块。可选的，在PC机的LabVIEW软件上设置2套工业CMOS黑白相机采集时的ROI区域大小为900mm×200mm。
<3>缺陷检测与识别模块安装在PC机上，用于对被测钢板表面图像进行缺陷检测与定位。缺陷检测与识别模块包括缺陷目标判别模块、图像预处理模块、图像分割定位模块、图像分类识别模块和缺陷信息显示与储存模块。
缺陷目标判别模块用于对被测钢板表面图像进行缺陷目标判别，并将第一缺陷图像导入至图像预处理模块。在缺陷目标判别模块中，设定灰度标准差阈值为1，计算被测钢板表面图像的灰度标准差，比较灰度标准差与灰度标准差阈值之间的大小，若灰度标准差大于等于1，判断图像有缺陷，得到第一缺陷图像，若灰度标准差小于1，判断图像无缺陷，将对应的被测钢板表面图像清除以释放内存。设置缺陷目标判别模块可以提前筛选出无缺陷图像，并将其及时清除以释放系统内存，极大地提升了检测效率，满足大多数钢板生产线的检测要求，为实时在线缺陷检测与识别提供了理论指导与技术支持。
图像预处理模块用于对第一缺陷图像进行自适应中值滤波和PSO-Gabor特征增强处理，并将第二缺陷图像分别导入至图像分割定位模块和图像分类识别模块。其中，自适应中值滤波动态的改变滤波器窗口尺寸，以提高对噪声密度较大图像的滤波效果，其将窗口极值点用作判定图像中噪声与信号的依据，用当前窗口内的灰度中值代替窗口邻域中的噪声点，而对无噪声像素点则保持灰度值不变。PSO-Gabor特征增强主要是利用Gabor滤波器对于低对比度图像可以达到增强检测的效果，利用PSO算法对Gabor滤波器的四个决定性参数进行寻优，将寻得的最优参数构造最优Gabor滤波器，可以最大化的增强缺陷图像中目标与背景之间的对比度，有利于图像分割定位与缺陷识别。PSO-Gabor特征增强所用滤波器的四个最优参数包括频率、尺度、方向和滤波窗口尺寸，且频率为4.48，尺度为1.50，方向为134.35，滤波窗口尺寸为31。
图像分割定位模块采用阈值法对第二缺陷图像进行分割得到缺陷二值图像，对缺陷二值图像中的缺陷像素进行计数得到缺陷面积，计算缺陷二值图像中各缺陷目标区域的质心作为缺陷位置，并将缺陷面积和缺陷位置导入至缺陷信息显示与储存模块。
图像分类识别模块采用卷积神经网络作为分类模型，用于对第二缺陷图像进行缺陷分类识别，缺陷类型包括裂纹(Cr)、斑块(Pa)、氧化铁皮压入(Rs)、麻点(Ps)、夹杂(In)、划痕(Sc)，将识别到的缺陷类型导入至缺陷信息显示与储存模块。如图3所示，卷积神经网络包括三个卷积层、两个池化层、一个dropout层和全连接层，第二缺陷图像依次经过第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、dropout层和全连接层后，由输出层输出缺陷识别结果。
其中，两个池化层采用最大值池化下采样，每个卷积层与池化层之间的激活函数采用ReLU函数，输出层为六类别的Softmax输出分类器；卷积神经网络的输入层输出数据维度为200×200×1，第一卷积层的卷积核大小为5×5，卷积核个数为6，步长为1，输出数据维度为200×200×6；第一池化层的滤波器尺寸为2×2，步长为2，输出数据维度为100×100×6；第二卷积层的卷积核大小为5×5，卷积核个数为16，步长为1，输出数据维度为100×100×16；第二池化层的滤波器尺寸为2×2，步长为2，输出数据维度为50×50×16；第三卷积层的卷积核大小为5×5，卷积核个数为120，步长为1，输出数据维度为50×50×120；dropout层的缩减因子为0.5，输出数据维度为50×50×120；全连接层输出数据维度为1×1×512。
缺陷信息显示与储存模块用于对缺陷信息进行实时显示和储存，缺陷信息包括缺陷类型、面积和位置。
<4>缺陷位置标定模块与PC机相连，缺陷位置标定模块包括标定机，PC机将缺陷位置通过USB数据线传输至标定机中，用于对被测钢板表面的缺陷位置进行精准贴标。该系统可以完成实时贴标操作，操作简单，安装及运行成本较低，复杂程度低，便于后期检测系统的维护与使用。
基于上述系统，本申请还提供了一种基于机器视觉的钢板表面缺陷检测与识别方法，如图4所示，方法包括如下步骤：
步骤1：采集控制模块利用LabVIEW软件产生频率为150HZ、幅值为8V的方波信号，并通过NI采集卡和8pin口相机外触发信号线将方波信号传输至图像采集模块。
步骤2：图像采集模块被方波信号的上升沿触发，工业CMOS黑白相机开始采集被测钢板表面图像，并将被测钢板表面图像传输至缺陷目标判别模块。
在图像采集之前，通过LabVIEW软件中的NI MAX对相机的参数进行设置，包括设定相机的曝光时间，稳定被测钢板表面图像的灰度值和相机实时采集帧率。在此实施例中，曝光时间设定为5ms，图像灰度值稳定在100左右，相机采集帧率在150左右。
步骤3：缺陷目标判别模块对被测钢板表面图像进行缺陷目标判别，将第一缺陷图像导入至图像预处理模块，并将无缺陷图像清除以释放内存。
步骤4：图像预处理模块对第一缺陷图像进行自适应中值滤波和PSO-Gabor特征增强处理得到第二缺陷图像，并将第二缺陷图像导入至图像分割定位模块，同时将所有第二缺陷图像按照预设比例划分为训练集和测试集，并导入至图像分类识别模块。可选的，预设比例为3：1。
其中，图像预处理模块对第一缺陷图像进行PSO-Gabor特征增强处理，如图5所示，具体包括：
(1)利用粒子群优化算法对二维Gabor滤波器的四个决定性参数进行迭代寻优。
(2)根据获得的四个最优参数构造最优PSO-Gabor滤波器。
(3)将最优PSO-Gabor滤波器与第一缺陷图像进行卷积获得滤波后的图像。
(4)计算滤波后图像的能量值获得缺陷能量图，作为第二缺陷图像。
其中，迭代寻优过程(1)具体包括：
A.确定搜索空间维度为4，设置粒子种群数和迭代总数均为50。
B.对二维Gabor滤波器的四个决定性参数进行初始化，并根据初始化的参数构造二维Gabor滤波器。
随机生成每个粒子i的初始位置Xi＝(xi1,xi2,xi3,xi4)和初始速度Vi＝(vi1,vi2,vi3,vi4)，并且粒子的位置取值都应符合公式(1)的约束条件，同时粒子的速度应满足：-0.5≤Vi≤0.5。
Figure BDA0003363600850000091
其中，σ代表频率，ψ代表尺度，θ代表方向，W代表滤波窗口尺寸。
C.将无缺陷图像与构造的二维Gabor滤波器进行卷积获得滤波后的无缺陷图像，并计算滤波后无缺陷图像的能量值获得能量图。
D.根据Fisher准则构造粒子的种群适应度函数，作为粒子群算法寻优的目标函数，目标函数为能量图灰度均值和灰度标准差的商。
E.根据目标函数确定粒子群的个体极值与全体极值并进行比较，若满足迭代次数，则输出四个最优参数，否则根据粒子的速度与位置更新公式调整二维Gabor滤波器的四个参数，并重复执行卷积操作的步骤C直至满足迭代次数。
具体的，将每个粒子的位置向量依次作为优化变量Xi＝(σi,ψi,θi,Wi)，分别计算每个粒子当前的适应度值fitnessi，并将其作为粒子的个体最优值
Figure BDA0003363600850000092
找出当前所有粒子的最大适应度值作为群体最优值
Figure BDA0003363600850000093
利用公式(2)更新粒子的位置和速度，并计算更新后粒子的适应度值
Figure BDA0003363600850000101
若
Figure BDA0003363600850000102
则粒子当前的个体最优值
Figure BDA0003363600850000103
用每个粒子的当前最优适应度值
Figure BDA0003363600850000104
与粒子群的群体最优值
Figure BDA0003363600850000105
进行比较，若
Figure BDA0003363600850000106
则粒子群的群体最优值
Figure BDA0003363600850000107
且该粒子的当前位置更新为粒子群的群体最优解；
若达到最大迭代次数，则寻优结束，输出当前的群体最优解X*＝(σ*,ψ*,θ*,W*)；否则重复执行更新粒子的位置和速度的步骤，直到迭代次数满足50为止。
粒子的速度与位置更新公式为：
Figure BDA0003363600850000108
Figure BDA0003363600850000109
其中，
Figure BDA00033636008500001010
表示第i个粒子在第k代的速度，
Figure BDA00033636008500001011
表示第i个粒子在第k+1代的速度，
Figure BDA00033636008500001012
表示第i个粒子在第k代的最佳位置，
Figure BDA00033636008500001013
表示粒子种群在第k代的最佳位置，
Figure BDA00033636008500001014
表示第i个粒子在第k代的位置，
Figure BDA00033636008500001015
表示第i个粒子在第k+1代的位置，w表示保持粒子运动速度的惯性权重，c1、c2分别表示个体与群体的学习因子，设置c1＝c2＝2，r1、r2表示介于0-1之间的随机值。
最终得到的四个最优参数分别取值：频率为4.48，尺度为1.50，方向为134.35，滤波窗口尺寸为31。
步骤5：图像分割定位模块采用阈值法对第二缺陷图像进行缺陷分割得到缺陷二值图像，对缺陷二值图像中的缺陷像素进行计数得到缺陷面积，计算缺陷二值图像中各缺陷目标区域的质心作为缺陷位置，并将缺陷面积和缺陷位置导入至缺陷信息显示与储存模块。
在阈值法中，获取分割阈值的方法包括：将无缺陷图像与构造的最优二维Gabor滤波器进行卷积获得滤波后的无缺陷图像，并计算滤波后无缺陷图像的能量值获得能量图后(也即步骤C)，以能量图的灰度均值与灰度标准差的和(μE+σE)作为分割阈值，用于图像分割。
步骤6：图像分类识别模块采用卷积神经网络作为分类模型，利用训练集对卷积神经网络进行模型训练，将测试集输入至训练好的分类模型中进行缺陷分类识别，缺陷类型包括裂纹(Cr)、斑块(Pa)、氧化铁皮压入(Rs)、麻点(Ps)、夹杂(In)、划痕(Sc)，将识别到的缺陷类型导入至缺陷信息显示与储存模块。
在卷积神经网络中，第二缺陷图像先经过多层卷积层与池化层的运算，再通过全连接层转换为固定维度的特征向量，最后通过Softmax分类器得到该图像特征向量对应每种缺陷的概率，从而确定第二缺陷图像的缺陷类型。
本实施例中，卷积神经网络的迭代次数最大值设置为30，初始学习率设置为1×10-3，采用线性衰减模式，衰减因子γ＝0.1，步长s＝5(表示学习率每迭代5次降低为上一次的10％)，MiniBatchSize设置为96。
步骤7：缺陷信息显示与储存模块实时显示和储存缺陷类型、面积和位置。
步骤8：缺陷位置标定模块获取缺陷位置信息，对被测钢板表面的缺陷进行精准贴标。
需要说明的是，步骤5和6没有先后执行顺序，可以同时进行，步骤7和8也没有先后执行顺序。
本申请提出的一种基于机器视觉的钢板表面缺陷检测与识别系统及方法，将机器视觉与图像处理相结合，经试验表明，该系统可以实现对缺陷97.5％的分类准确率，分类识别时间为50ms，具有非接触性、检测效率高、检测精度高等优点，能够满足多数工业生产的要求，具有广阔的应用前景。
以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (10)

1.一种基于机器视觉的钢板表面缺陷检测与识别系统，其特征在于，系统包括照明模块、图像采集模块、采集控制模块、缺陷检测与识别模块，被测钢板由传动机构带动沿其长度方向运动；所述照明模块和图像采集模块组合构成两种光路，放置在被测钢板表面的上方，光路包括明域光路和暗域光路，所述照明模块用于照亮所述被测钢板表面；所述采集控制模块包括NI采集卡和PC机，所述PC机连接所述NI采集卡，所述NI采集卡连接所述图像采集模块，所述PC机用于提供方波信号，所述图像采集模块被所述方波信号触发，用于采集被测钢板表面图像；所述缺陷检测与识别模块安装在所述PC机上，用于对所述被测钢板表面图像进行缺陷检测与定位。
2.根据权利要求1所述的基于机器视觉的钢板表面缺陷检测与识别系统，其特征在于，所述缺陷检测与识别模块包括缺陷目标判别模块、图像预处理模块、图像分割定位模块、图像分类识别模块和缺陷信息显示与储存模块；
所述缺陷目标判别模块用于对所述被测钢板表面图像进行缺陷目标判别，并将第一缺陷图像导入至所述图像预处理模块；所述图像预处理模块用于对所述第一缺陷图像进行自适应中值滤波和PSO-Gabor特征增强处理，并将第二缺陷图像分别导入至所述图像分割定位模块和图像分类识别模块；所述图像分割定位模块采用阈值法对所述第二缺陷图像进行分割得到缺陷二值图像，对所述缺陷二值图像中的缺陷像素进行计数得到缺陷面积，计算所述缺陷二值图像中各缺陷目标区域的质心作为缺陷位置，并将所述缺陷面积和缺陷位置导入至所述缺陷信息显示与储存模块；所述图像分类识别模块采用卷积神经网络作为分类模型，用于对所述第二缺陷图像进行缺陷分类识别，缺陷类型包括裂纹、斑块、氧化铁皮压入、麻点、夹杂和划痕，将识别到的缺陷类型导入至所述缺陷信息显示与储存模块；所述缺陷信息显示与储存模块用于对缺陷信息进行实时显示和储存，所述缺陷信息包括缺陷类型、面积和位置。
3.根据权利要求1所述的基于机器视觉的钢板表面缺陷检测与识别系统，其特征在于，所述照明模块包括两个高亮线性LED光源，两个所述高亮线性LED光源平行于被测钢板宽度方向放置；所述图像采集模块包括两套工业CMOS黑白相机和光学镜头，所述工业CMOS黑白相机通过螺纹与光学镜头连接，两套工业CMOS黑白相机和光学镜头沿被测钢板宽度方向依次放置，所述图像采集模块与所述被测钢板表面的垂直高度高于所述照明模块与所述被测钢板表面的垂直高度；
一个高亮线性LED光源与两套所述工业CMOS黑白相机和光学镜头，以被测钢板宽度方向的平面为轴对称分布，组成所述明域光路，所述图像采集模块采集被测钢板表面明域缺陷图像；另一个高亮线性LED光源与两套所述工业CMOS黑白相机和光学镜头，以被测钢板宽度方向的平面为轴非对称分布，组成所述暗域光路，所述图像采集模块采集被测钢板表面暗域缺陷图像。
4.根据权利要求2所述的基于机器视觉的钢板表面缺陷检测与识别系统，其特征在于，在所述缺陷目标判别模块中，设定灰度标准差阈值为1，计算所述被测钢板表面图像的灰度标准差，比较所述灰度标准差与灰度标准差阈值之间的大小，若所述灰度标准差大于等于1，判断图像有缺陷，得到所述第一缺陷图像，若所述灰度标准差小于1，判断图像无缺陷，将对应的被测钢板表面图像清除以释放内存。
5.根据权利要求2所述的基于机器视觉的钢板表面缺陷检测与识别系统，其特征在于，所述卷积神经网络包括三个卷积层、两个池化层、一个dropout层和全连接层，所述第二缺陷图像依次经过第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、dropout层和全连接层后，由输出层输出缺陷识别结果；
其中，两个池化层采用最大值池化下采样，每个卷积层与池化层之间的激活函数采用ReLU函数，所述输出层为六类别的Softmax输出分类器；所述卷积神经网络的输入层输出数据维度为200×200×1，所述第一卷积层的卷积核大小为5×5，卷积核个数为6，步长为1，输出数据维度为200×200×6；所述第一池化层的滤波器尺寸为2×2，步长为2，输出数据维度为100×100×6；所述第二卷积层的卷积核大小为5×5，卷积核个数为16，步长为1，输出数据维度为100×100×16；所述第二池化层的滤波器尺寸为2×2，步长为2，输出数据维度为50×50×16；所述第三卷积层的卷积核大小为5×5，卷积核个数为120，步长为1，输出数据维度为50×50×120；所述dropout层的缩减因子为0.5，输出数据维度为50×50×120；所述全连接层输出数据维度为1×1×512。
6.根据权利要求2所述的基于机器视觉的钢板表面缺陷检测与识别系统，其特征在于，所述PSO-Gabor特征增强所用滤波器的四个最优参数包括频率、尺度、方向和滤波窗口尺寸，且频率为4.48，尺度为1.50，方向为134.35，滤波窗口尺寸为31。
7.根据权利要求1-6任一所述的基于机器视觉的钢板表面缺陷检测与识别系统，其特征在于，所述系统还包括与所述PC机相连的缺陷位置标定模块，所述缺陷位置标定模块包括标定机，用于对被测钢板表面的缺陷进行精准贴标。
8.一种基于机器视觉的钢板表面缺陷检测与识别方法，其特征在于，方法包括：
采集控制模块产生方波信号，并传输至图像采集模块；
所述图像采集模块被所述方波信号触发，开始采集被测钢板表面图像，并将所述被测钢板表面图像传输至缺陷目标判别模块；
所述缺陷目标判别模块对所述被测钢板表面图像进行缺陷目标判别，将第一缺陷图像导入至图像预处理模块，并将无缺陷图像清除以释放内存；
所述图像预处理模块对所述第一缺陷图像进行自适应中值滤波和PSO-Gabor特征增强处理得到第二缺陷图像，并将所述第二缺陷图像导入至图像分割定位模块，同时将所有第二缺陷图像按照预设比例划分为训练集和测试集，并导入至图像分类识别模块；
所述图像分割定位模块采用阈值法对所述第二缺陷图像进行缺陷分割得到缺陷二值图像，对所述缺陷二值图像中的缺陷像素进行计数得到缺陷面积，计算所述缺陷二值图像中各缺陷目标区域的质心作为缺陷位置，并将所述缺陷面积和缺陷位置导入至缺陷信息显示与储存模块；
所述图像分类识别模块采用卷积神经网络作为分类模型，利用所述训练集对所述卷积神经网络进行模型训练，将所述测试集输入至训练好的分类模型中进行缺陷分类识别，缺陷类型包括裂纹、斑块、氧化铁皮压入、麻点、夹杂和划痕，将识别到的缺陷类型导入至所述缺陷信息显示与储存模块；
所述缺陷信息显示与储存模块实时显示和储存缺陷类型、面积和位置；
缺陷位置标定模块获取缺陷位置信息，对被测钢板表面的缺陷进行精准贴标。
9.根据权利要求8所述的基于机器视觉的钢板表面缺陷检测与识别方法，其特征在于，所述图像预处理模块对所述第一缺陷图像进行PSO-Gabor特征增强处理，包括：
利用粒子群优化算法对二维Gabor滤波器的四个决定性参数进行迭代寻优；
根据获得的四个最优参数构造最优PSO-Gabor滤波器；
将所述最优PSO-Gabor滤波器与所述第一缺陷图像进行卷积获得滤波后的图像；
计算滤波后图像的能量值获得缺陷能量图，作为所述第二缺陷图像；
其中，迭代寻优过程包括：确定搜索空间维度为4，设置粒子种群数和迭代总数；对二维Gabor滤波器的四个决定性参数进行初始化，并根据初始化的参数构造二维Gabor滤波器；将无缺陷图像与构造的二维Gabor滤波器进行卷积获得滤波后的无缺陷图像，并计算滤波后无缺陷图像的能量值获得能量图；根据Fisher准则构造粒子的种群适应度函数，作为粒子群算法寻优的目标函数，所述目标函数为能量图灰度均值和灰度标准差的商；根据所述目标函数确定粒子群的个体极值与全体极值并进行比较，若满足迭代次数，则输出四个最优参数，否则根据粒子的速度与位置更新公式调整二维Gabor滤波器的四个参数，并重复执行卷积操作的步骤直至满足迭代次数。
10.根据权利要求9所述的基于机器视觉的钢板表面缺陷检测与识别方法，其特征在于，在所述阈值法中，获取分割阈值的方法包括：
将无缺陷图像与构造的最优二维Gabor滤波器进行卷积获得滤波后的无缺陷图像，并计算滤波后无缺陷图像的能量值获得能量图后，以所述能量图的灰度均值与灰度标准差的和作为分割阈值，用于图像分割。
CN202111374985.0A 2021-11-19 2021-11-19 一种基于机器视觉的钢板表面缺陷检测与识别系统及方法 Pending CN114119526A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111374985.0A CN114119526A (zh) 2021-11-19 2021-11-19 一种基于机器视觉的钢板表面缺陷检测与识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111374985.0A CN114119526A (zh) 2021-11-19 2021-11-19 一种基于机器视觉的钢板表面缺陷检测与识别系统及方法

Publications (1)

Publication Number Publication Date
CN114119526A true CN114119526A (zh) 2022-03-01

Family

ID=80396734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111374985.0A Pending CN114119526A (zh) 2021-11-19 2021-11-19 一种基于机器视觉的钢板表面缺陷检测与识别系统及方法

Country Status (1)

Country Link
CN (1) CN114119526A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116105604A (zh) * 2023-04-17 2023-05-12 中科视语(北京)科技有限公司 钢管质量检测系统及检测方法
CN116563277A (zh) * 2023-07-05 2023-08-08 深圳市鑫典金光电科技有限公司 一种基于机器视觉的铜复铝表面缺陷检测方法及系统
CN117067112A (zh) * 2023-10-17 2023-11-17 杭州泓芯微半导体有限公司 一种水切割机及其控制方法
CN117078689A (zh) * 2023-10-17 2023-11-17 沈阳宏远电磁线股份有限公司 一种基于机器视觉的线缆缺陷识别方法及系统
CN117146647A (zh) * 2023-10-31 2023-12-01 南通蓬盛机械有限公司 一种光学瞄准镜的速调校准方法及系统
CN117173151A (zh) * 2023-09-25 2023-12-05 江苏精益智控科技有限公司 一种长型钢材的外表面缺陷视觉识别装置、方法及系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116105604A (zh) * 2023-04-17 2023-05-12 中科视语(北京)科技有限公司 钢管质量检测系统及检测方法
CN116563277A (zh) * 2023-07-05 2023-08-08 深圳市鑫典金光电科技有限公司 一种基于机器视觉的铜复铝表面缺陷检测方法及系统
CN116563277B (zh) * 2023-07-05 2023-10-13 深圳市鑫典金光电科技有限公司 一种基于机器视觉的铜复铝表面缺陷检测方法及系统
CN117173151A (zh) * 2023-09-25 2023-12-05 江苏精益智控科技有限公司 一种长型钢材的外表面缺陷视觉识别装置、方法及系统
CN117173151B (zh) * 2023-09-25 2024-03-08 江苏精益智控科技有限公司 一种长型钢材的外表面缺陷视觉识别装置、方法及系统
CN117067112A (zh) * 2023-10-17 2023-11-17 杭州泓芯微半导体有限公司 一种水切割机及其控制方法
CN117078689A (zh) * 2023-10-17 2023-11-17 沈阳宏远电磁线股份有限公司 一种基于机器视觉的线缆缺陷识别方法及系统
CN117067112B (zh) * 2023-10-17 2024-01-16 杭州泓芯微半导体有限公司 一种水切割机及其控制方法
CN117078689B (zh) * 2023-10-17 2024-01-30 沈阳宏远电磁线股份有限公司 一种基于机器视觉的线缆缺陷识别方法及系统
CN117146647A (zh) * 2023-10-31 2023-12-01 南通蓬盛机械有限公司 一种光学瞄准镜的速调校准方法及系统
CN117146647B (zh) * 2023-10-31 2023-12-22 南通蓬盛机械有限公司 一种光学瞄准镜的速调校准方法及系统

Similar Documents

Publication Publication Date Title
CN114119526A (zh) 一种基于机器视觉的钢板表面缺陷检测与识别系统及方法
Ren et al. State of the art in defect detection based on machine vision
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN107437245B (zh) 基于深度卷积神经网络的高速铁路接触网故障诊断方法
CN110070008B (zh) 一种采用无人机图像的桥梁病害识别方法
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
CN104112269B (zh) 一种基于机器视觉的太阳能电池激光刻线参数检测方法及系统
CN114897816B (zh) 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法
CN113109348B (zh) 一种基于机器视觉的桨影移印缺陷识别方法
CN108267455B (zh) 塑料薄膜印刷字符缺陷检测装置及方法
CN109255326B (zh) 一种基于多维信息特征融合的交通场景烟雾智能检测方法
Liu et al. Automatic detection technology of surface defects on plastic products based on machine vision
CN111612737A (zh) 一种人造板表面瑕疵检测装置及检测方法
Kumar et al. Flaws classification using ANN for radiographic weld images
CN109191421A (zh) 柱形锂电池圆周面凹坑视觉检测方法
CN113070240A (zh) 一种基于机器视觉和深度学习的铜板表面缺陷检测及自动化分类方法
Chen et al. Automatic defect detection system based on deep convolutional neural networks
CN107240112A (zh) 一种复杂场景下个体x角点提取方法
Hou et al. Combining prior knowledge with CNN for weak scratch inspection of optical components
CN111487192A (zh) 一种基于人工智能的机器视觉表面缺陷检测装置及方法
CN111161237A (zh) 一种果蔬表面质检方法及其储存介质、分拣装置
Zhao et al. Research on detection method for the leakage of underwater pipeline by YOLOv3
CN109115775A (zh) 一种基于机器视觉的槟榔等级检测方法
Muresan et al. Automatic vision inspection solution for the manufacturing process of automotive components through plastic injection molding
Zhang et al. Fabric defect detection based on visual saliency map and SVM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination