CN115861220A - 基于改进的ssd算法的冷轧带钢表面缺陷检测方法和系统 - Google Patents

基于改进的ssd算法的冷轧带钢表面缺陷检测方法和系统 Download PDF

Info

Publication number
CN115861220A
CN115861220A CN202211503165.1A CN202211503165A CN115861220A CN 115861220 A CN115861220 A CN 115861220A CN 202211503165 A CN202211503165 A CN 202211503165A CN 115861220 A CN115861220 A CN 115861220A
Authority
CN
China
Prior art keywords
cold
strip steel
rolled strip
rolled
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211503165.1A
Other languages
English (en)
Inventor
邢丽娜
朱洪锦
范洪辉
李庭晖
廖文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University of Technology
Original Assignee
Jiangsu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University of Technology filed Critical Jiangsu University of Technology
Priority to CN202211503165.1A priority Critical patent/CN115861220A/zh
Publication of CN115861220A publication Critical patent/CN115861220A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供一种基于改进的SSD算法的冷轧带钢表面缺陷检测方法和系统,所述方法包括:获取冷轧带钢表面图像,并对冷轧带钢表面图像进行分类并标注出缺陷位置,以构成冷轧带钢表面缺陷数据集;通过冷轧带钢表面缺陷数据集对改进的SSD网络进行训练,以得到冷轧带钢表面缺陷检测模型,其中,改进的SSD网络为将原有的SSD网络中的主干特征提取网络VGG‑16替换为ShuffleNetv2网络,且ShuffleNetv2网络将原有网络ShuffleNet block中的深度可分离卷积层替换为可变形卷积层,并将卷积层后的归一化操作替换为Group Normalization;获取待检测冷轧带钢表面图像;对待检测冷轧带钢表面图像进行预处理;将预处理后的待检测冷轧带钢表面图像输入到冷轧带钢表面缺陷检测模型中,以得到待检测冷轧带钢表面图像的缺陷类型。

Description

基于改进的SSD算法的冷轧带钢表面缺陷检测方法和系统
技术领域
本发明涉及缺陷检测技术领域,具体涉及一种基于改进的SSD算法的冷轧带钢表面缺陷检测方法和一种基于改进的SSD算法的冷轧带钢表面缺陷检测系统。
背景技术
钢铁是工业发展的基础,而冷轧带钢由于其表面平整光滑,机械性能好等优良特性,被广泛的应用于制造业中,是工业发展的重要原料。为了适应社会的发展,各种大型制造行业对冷轧带钢的质量要求越来越高,而影响冷轧带钢质量的一个重要因素就是表面缺陷问题,因此,生产者对于冷轧带钢表面缺陷的把控也愈发的严格。
对于冷轧带钢表面缺陷的检测,传统的检测方法为人工检测和传统的机器视觉检测。其中,人工检测受到人的主观性影响比较大,而且对于现在的生产要求,人工检测的速度较慢,并不能满足冷轧带钢缺陷检测的实时性。而传统的机器视觉检测准确度较低,并不能做到对冷轧带钢质量的把控。
发明内容
本发明为解决上述技术问题,提供了一种基于改进的SSD算法的冷轧带钢表面缺陷检测方法和系统,能够提高对冷轧带钢检测的准确度和速度,实现实时检测的效果。
本发明采用的技术方案如下:
一种基于改进的SSD算法的冷轧带钢表面缺陷检测方法,包括以下步骤:获取冷轧带钢表面图像,并对所述冷轧带钢表面图像进行分类并标注出缺陷位置,以构成冷轧带钢表面缺陷数据集;通过所述冷轧带钢表面缺陷数据集对改进的SSD网络进行训练,以得到冷轧带钢表面缺陷检测模型,其中,所述改进的SSD网络为将原有的SSD网络中的主干特征提取网络VGG-16替换为ShuffleNetv2网络,且所述ShuffleNetv2网络将原有网络ShuffleNetblock中的深度可分离卷积层替换为可变形卷积层,并将卷积层后的归一化操作替换为Group Normalization;获取待检测冷轧带钢表面图像;对所述待检测冷轧带钢表面图像进行预处理;将预处理后的待检测冷轧带钢表面图像输入到所述冷轧带钢表面缺陷检测模型中,以得到所述待检测冷轧带钢表面图像的缺陷类型。
一种基于改进的SSD算法的冷轧带钢表面缺陷检测方法,还包括:对获取的冷轧带钢表面图像进行平移、翻转和随机剪裁操作来进行数据增强。
利用K-means算法对所述冷轧带钢表面缺陷数据集中标注好的缺陷的真实框高宽比做聚类分析,并根据冷轧带钢表面缺陷数据集中冷轧带钢表面缺陷的尺寸大小来确定所述改进的SSD算法采用的锚框的尺寸大小。
对所述待检测冷轧带钢表面图像进行预处理,具体包括:
使用加权平均法对所述待检测冷轧带钢表面图像进行灰度化处理;
对灰度化处理后的所述待检测冷轧带钢表面图像进行二值化处理,通过均值法进行阈值分割,以得到图像像素的均值并将所述均值作为阈值进行划分;
利用双边滤波在保留缺陷边缘信息的基础上进行去噪声处理;
根据Sobel算子对去噪声处理后的所述待检测冷轧带钢表面图像进行边缘提取,以将存在缺陷的图像中的缺陷信息与背景分离。
一种基于改进的SSD算法的冷轧带钢表面缺陷检测系统,包括:第一获取模块,所述第一获取模块用于获取冷轧带钢表面图像,并对所述冷轧带钢表面图像进行分类并标注出缺陷位置,以构成冷轧带钢表面缺陷数据集;训练模块,所述训练模块用于通过所述冷轧带钢表面缺陷数据集对改进的SSD网络进行训练,以得到冷轧带钢表面缺陷检测模型,其中,所述改进的SSD网络为将原有的SSD网络中的主干特征提取网络VGG-16替换为ShuffleNetv2网络,且所述ShuffleNetv2网络将原有网络ShuffleNet block中的深度可分离卷积层替换为可变形卷积层,并将卷积层后的归一化操作替换为Group Normalization;第二获取模块,所述第二获取模块用于获取待检测冷轧带钢表面图像;预处理模块,所述预处理模块用于对所述待检测冷轧带钢表面图像进行预处理;检测模块,所述检测模块用于将预处理后的待检测冷轧带钢表面图像输入到所述冷轧带钢表面缺陷检测模型中,以得到所述待检测冷轧带钢表面图像的缺陷类型。
一种基于改进的SSD算法的冷轧带钢表面缺陷检测系统,还包括:对获取的冷轧带钢表面图像进行平移、翻转和随机剪裁操作来进行数据增强。
利用K-means算法对所述冷轧带钢表面缺陷数据集中标注好的缺陷的真实框高宽比做聚类分析,并根据冷轧带钢表面缺陷数据集中冷轧带钢表面缺陷的尺寸大小来确定所述改进的SSD算法采用的锚框的尺寸大小。
对所述待检测冷轧带钢表面图像进行预处理,具体包括:
使用加权平均法对所述待检测冷轧带钢表面图像进行灰度化处理;
对灰度化处理后的所述待检测冷轧带钢表面图像进行二值化处理,通过均值法进行阈值分割,以得到图像像素的均值并将所述均值作为阈值进行划分;
利用双边滤波在保留缺陷边缘信息的基础上进行去噪声处理;
根据Sobel算子对去噪声处理后的所述待检测冷轧带钢表面图像进行边缘提取,以将存在缺陷的图像中的缺陷信息与背景分离。
本发明的有益效果:
本发明通过获取冷轧带钢表面图像并构成冷轧带钢表面缺陷数据集,通过获取冷轧带钢表面缺陷图像,并将冷轧带钢表面缺陷图像制成冷轧带钢表面缺陷数据集对改进的SSD网络进行训练,以得到冷轧带钢表面缺陷检测模型,并通过获取待检测冷轧带钢表面图像并进行预处理,将预处理后的待检测冷轧带钢表面图像输入至缺陷检测模型中,以得到冷轧带钢表面图像的缺陷类型,由此,能够提高对冷轧带钢检测的准确度和速度,实现实时检测的效果。
附图说明
图1为本发明实施例的基于改进的SSD算法的冷轧带钢表面缺陷检测方法的流程图;
图2为本发明一个实施例的改进的步距为1的ShuffleNet block的结构图;
图3为本发明一个实施例的改进的步距为2的ShuffleNet block的结构图;
图4为本发明一个实施例的改进的SSD网络特征融合方法结构图;
图5为发明实施例的基于改进的SSD算法的冷轧带钢表面缺陷检测系统的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例的基于改进的SSD算法的冷轧带钢表面缺陷检测方法的流程图。
如图1所示,本发明实施例的基于改进的SSD算法的冷轧带钢表面缺陷检测方法,包括以下步骤:
S1,获取冷轧带钢表面图像,并对冷轧带钢表面图像进行分类并标注出缺陷位置,以构成冷轧带钢表面缺陷数据集。
在本发明的一个实施例中,可从网上爬取一些存在缺陷的冷轧带钢表面图像或者从工厂等生产地拍摄存在缺陷的冷轧带钢表面图像,然后,可通过对获取的冷轧带钢表面图像进行平移、翻转和随机剪裁操作来进行数据增强,然后将获取的冷轧带钢表面缺陷图像进行分类,构成训练集和测试集,并标注出缺陷的位置,以构成冷轧带钢表面缺陷数据集。
S2,通过冷轧带钢表面缺陷数据集对改进的SSD网络进行训练,以得到冷轧带钢表面缺陷检测模型,其中,改进的SSD网络为将原有的SSD网络中的主干特征提取网络VGG-16替换为ShuffleNetv2网络,且ShuffleNetv2网络将原有网络ShuffleNet block中的深度可分离卷积层替换为可变形卷积层,并将卷积层后的归一化操作替换为GroupNormalization。
在本发明的一个实施例中,改进的SSD网络为增强对小目标缺陷的检测能力,对不同尺度的特征矩阵进行特征融合,利用concat操作将两个不同尺寸的特征矩阵进行通道上的连接,对得到的特征矩阵进行通道随机混合操作,然后对其进行卷积处理,从而进一步提取融合后的特征矩阵的特征信息,得到的特征矩阵作为一个特征融合层。
图2为改进的步距为1的ShuffleNet block的结构图,具体地,首先,根据输入特征矩阵的通道数c可采用Channel Split操作将其划分成通道数
Figure BDA0003967092020000051
的残差结构,主分支依次进行1×1卷积操作、GN操作、Relu激活函数层,而后同时进行步距为1的3×3深度可分离卷积操作和5×5可变形卷积操作,并将结果进行concat操作。然后,再经过1×1卷积操作、GN操作以及Relu激活函数层,将得到的特征矩阵与捷径分支上的特征矩阵进行concat操作。最后,进行Channel Shuffle操作输出特征矩阵。
图3为改进的步距为2的ShuffleNet block的结构图,具体地,首先,将输入特征矩阵依次进行1×1卷积操作、GN操作、Relu激活函数层,而后同时进行步距为2的3×3深度可分离卷积操作和5×5可变形卷积操作,将结果进行concat操作。然后,进行GN操作以及1×1卷积操作,得到特征矩阵S1,将输入特征矩阵依次进行步距为2的3×3可变形卷积操作、GN操作、1×1卷积操作、GN操作以及Relu激活函数层,得到特征矩阵S2。最后,将特征矩阵S1与特征矩阵S2进行concat操作,并通过Channel Shuffle操作输出特征矩阵。
如图4所示,在本发明的一个实施例中,将主干特征提取网络ShuffleNet中3×3最大池化下采样的输出特征矩阵作为特征融合层一,即为图4中的Conv2,Stage2的步距为1的Shuffle block的输出特征矩阵作为特征融合层二,即为图4中的Conv3_2,Stage3的步距为1的Shuffle block的输出特征矩阵作为特征融合层三,即为图4中的Conv4_2,Stage4的步距为1的Shuffle block的输出特征矩阵作为特征融合层四,即为图4中的Conv5_2,然后对其进行1×1卷积和3×3卷积操作,得到的输出特征矩阵作为特征融合层五,即为图4中的Conv6,再对其进行1×1卷积和3×3卷积操作,得到的输出特征矩阵作为特征融合层六,即为图4中的Conv7,具体特征融合操作为将特征融合层六作为预测特征层一。将特征融合层六与特征融合层五进行concat操作,然后进行1×1组卷积操作、Channel Shuffle操作,得到输出特征矩阵二,作为预测特征层二;将输出特征矩阵二与特征融合层四进行concat操作,然后进行1×1组卷积操作、Channel Shuffle操作,得到输出特征矩阵三,作为预测特征层三;将输出特征矩阵三与特征融合层三进行concat操作,然后进行1×1组卷积操作、Channel Shuffle操作,得到输出特征矩阵四,作为预测特征层四;将输出特征矩阵四与特征融合层二进行concat操作,然后进行1×1组卷积操作、Channel Shuffle操作,得到输出特征矩阵五,作为预测特征层五;将输出特征矩阵五与特征融合层一进行concat操作,然后进行1×1组卷积操作、Channel Shuffle操作,得到输出特征矩阵六,作为预测特征层六。
在本发明的一个实施例中,改进的SSD网络利用K-means算法对冷轧带钢表面缺陷数据集中标注好的缺陷的真实框高宽比做聚类分析,并根据冷轧带钢表面缺陷数据集中冷轧带钢表面缺陷的尺寸大小来确定改进的SSD算法采用的锚框的尺寸大小。
在本发明的一个实施例中,可利用制成的训练集对改进的SSD网络进行训练,以得到冷轧带钢表面缺陷检测模型,然后利用测试集对冷轧带钢表面缺陷检测模型进行检测。其中,对于测试集中标注缺陷错误的冷轧带钢表面图像以及漏标的冷轧带钢表面缺陷图像,将再次制成数据集对改进的SSD网络进行训练,从而获得最优模型参数。
S3,获取待检测冷轧带钢表面图像。
在本发明的一个实施例中,可使用CCD工业相机配合光源设备获取冷轧带钢表面图像。
S4,对待检测冷轧带钢表面图像进行预处理。
在本发明的一个实施例中,对待检测冷轧带钢表面图像进行预处理具体可包括以下步骤:
(一),使用加权平均法对待检测冷轧带钢表面图像进行灰度化处理。具体地,对于获取到的待检测冷轧带钢表面的图像,按照权重分别为0.3、0.58和0.12进行灰度图像的转换,其中,转换公式为:
Gray(i,j)=0.3*R(i,j)+0.58*G(i,j)+0.12*B(i,j)
其中,Gray(i,j)为转换后的灰度图像在(i,j)点处的灰度值。
(二),对灰度化处理后的待检测冷轧带钢表面图像进行二值化处理,通过均值法进行阈值分割,以得到图像像素的均值并将均值作为阈值进行划分。具体地,可通过均值法进行阈值分割,即求得图像像素的均值,将均值作为阈值T对图像进行划分,其中,均值法的公式为:
Figure BDA0003967092020000071
其中,f(i,j)为原图像中每个像素的灰度值,g(i,j)为转换后的二值图像的每个像素对应的灰度值。
(三),利用双边滤波在保留缺陷边缘信息的基础上进行去噪声处理,得到的输出像素值取决于邻域像素值和加权系数,其中,双边滤波的公式为:
Figure BDA0003967092020000081
其中,g(i,j)为经过滤波处理后输出的像素值的大小,f(k,l)为输入点的像素值的大小,w(i,j,k,l)为加权系数,而加权系数由空间临近高斯函数和像素值相似高度高斯函数的成绩所决定的,其中,加权系数的计算公式为:
Figure BDA0003967092020000082
(四),根据Sobel算子对去噪声处理后的待检测冷轧带钢表面图像进行边缘提取,以将存在缺陷的图像中的缺陷信息与背景分离。具体地,通过计算图像灰度函数的近似梯度来判断灰度值变化程度,而梯度值经由卷积操作得到,具体需要在水平(横向)和垂直(纵向)进行,所以某点像素横向及纵向边缘检测的图像灰度值分别为:
Figure BDA0003967092020000083
Figure BDA0003967092020000084
其中,Y为原始图像,则该点的灰度大小G为:
Figure BDA0003967092020000085
梯度方向为:
Figure BDA0003967092020000086
S5,将预处理后的待检测冷轧带钢表面图像输入到冷轧带钢表面缺陷检测模型中,以得到待检测冷轧带钢表面图像的缺陷类型。
在本发明的一个实施例中,若在检测过程中出现了新型冷轧带钢表面缺陷,可将新型冷轧带钢表面缺陷图像制成数据集再次对改进的SSD网络进行训练。
根据本发明实施例的基于改进的SSD算法的冷轧带钢表面缺陷检测方法,通过获取冷轧带钢表面缺陷图像,并将冷轧带钢表面缺陷图像制成冷轧带钢表面缺陷数据集对改进的SSD网络进行训练,以得到冷轧带钢表面缺陷检测模型,并通过获取待检测冷轧带钢表面图像并进行预处理,将预处理后的待检测冷轧带钢表面图像输入至缺陷检测模型中,以得到冷轧带钢表面图像的缺陷类型,由此,能够提高对冷轧带钢检测的准确度和速度,实现实时检测的效果。
为实现上述实施例的基于改进的SSD算法的冷轧带钢表面缺陷检测方法,本发明还提出一种基于改进的SSD算法的冷轧带钢表面缺陷检测系统。
如图5所示,本发明实施例的基于改进的SSD算法的冷轧带钢表面缺陷检测系统包括:第一获取模块10、训练模块20、第二获取模块30、预处理模块40、检测模块50。其中,第一获取模块10用于获取冷轧带钢表面图像,并对冷轧带钢表面图像进行分类并标注出缺陷位置,以构成冷轧带钢表面缺陷数据集;训练模块20用于通过冷轧带钢表面缺陷数据集对改进的SSD网络进行训练,以得到冷轧带钢表面缺陷检测模型,其中,所述改进的SSD网络为将原有的SSD网络中的主干特征提取网络VGG-16替换为ShuffleNetv2网络,且所述ShuffleNetv2网络将原有网络ShuffleNet block中的深度可分离卷积层替换为可变形卷积层,并将卷积层后的归一化操作替换为Group Normalization;第二获取模块30用于获取待检测冷轧带钢表面图像;预处理模块40用于对待检测冷轧带钢表面图像进行预处理;检测模块50用于将预处理后的待检测冷轧带钢表面图像输入到冷轧带钢表面缺陷检测模型中,以得到待检测冷轧带钢表面图像的缺陷类型。
在本发明的一个实施例中,第一获取模块10可从网上爬取一些存在缺陷的冷轧带钢表面图像或者从工厂等生产地拍摄存在缺陷的冷轧带钢表面图像,然后,可通过对获取的冷轧带钢表面图像进行平移、翻转和随机剪裁操作来进行数据增强,然后将获取的冷轧带钢表面缺陷图像进行分类,构成训练集和测试集,并标注出缺陷的位置,以构成冷轧带钢表面缺陷数据集。
在本发明的一个实施例中,改进的SSD网络为增强对小目标缺陷的检测能力,对不同尺度的特征矩阵进行特征融合,利用concat操作将两个不同尺寸的特征矩阵进行通道上的连接,对得到的特征矩阵进行通道随机混合操作,然后对其进行卷积处理,从而进一步提取融合后的特征矩阵的特征信息,得到的特征矩阵作为一个特征融合层。
图2为改进的步距为1的ShuffleNet block的结构图,具体地,首先,根据输入特征矩阵的通道数c可采用Channel Split操作将其划分成通道数
Figure BDA0003967092020000101
的残差结构,主分支依次进行1×1卷积操作、GN操作、Relu激活函数层,而后同时进行步距为1的3×3深度可分离卷积操作和5×5可变形卷积操作,并将结果进行concat操作。然后,再经过1×1卷积操作、GN操作以及Relu激活函数层,将得到的特征矩阵与捷径分支上的特征矩阵进行concat操作。最后,进行Channel Shuffle操作输出特征矩阵。
图3为改进的步距为2的ShuffleNet block的结构图,具体地,首先,将输入特征矩阵依次进行1×1卷积操作、GN操作、Relu激活函数层,而后同时进行步距为2的3×3深度可分离卷积操作和5×5可变形卷积操作,将结果进行concat操作。然后,进行GN操作以及1×1卷积操作,得到特征矩阵S1,将输入特征矩阵依次进行步距为2的3×3可变形卷积操作、GN操作、1×1卷积操作、GN操作以及Relu激活函数层,得到特征矩阵S2。最后,将特征矩阵S1与特征矩阵S2进行concat操作,并通过Channel Shuffle操作输出特征矩阵。
如图4所示,在本发明的一个实施例中,将主干特征提取网络ShuffleNet中3×3最大池化下采样的输出特征矩阵作为特征融合层一,即为图4中的Conv2,Stage2的步距为1的Shuffle block的输出特征矩阵作为特征融合层二,即为图4中的Conv3_2,Stage3的步距为1的Shuffle block的输出特征矩阵作为特征融合层三,即为图4中的Conv4_2,Stage4的步距为1的Shuffle block的输出特征矩阵作为特征融合层四,即为图4中的Conv5_2,然后对其进行1×1卷积和3×3卷积操作,得到的输出特征矩阵作为特征融合层五,即为图4中的Conv6,再对其进行1×1卷积和3×3卷积操作,得到的输出特征矩阵作为特征融合层六,即为图4中的Conv7,具体特征融合操作为将特征融合层六作为预测特征层一。将特征融合层六与特征融合层五进行concat操作,然后进行1×1组卷积操作、Channel Shuffle操作,得到输出特征矩阵二,作为预测特征层二;将输出特征矩阵二与特征融合层四进行concat操作,然后进行1×1组卷积操作、Channel Shuffle操作,得到输出特征矩阵三,作为预测特征层三;将输出特征矩阵三与特征融合层三进行concat操作,然后进行1×1组卷积操作、Channel Shuffle操作,得到输出特征矩阵四,作为预测特征层四;将输出特征矩阵四与特征融合层二进行concat操作,然后进行1×1组卷积操作、Channel Shuffle操作,得到输出特征矩阵五,作为预测特征层五;将输出特征矩阵五与特征融合层一进行concat操作,然后进行1×1组卷积操作、Channel Shuffle操作,得到输出特征矩阵六,作为预测特征层六。
在本发明的一个实施例中,改进的SSD网络利用K-means算法对冷轧带钢表面缺陷数据集中标注好的缺陷的真实框高宽比做聚类分析,并根据冷轧带钢表面缺陷数据集中冷轧带钢表面缺陷的尺寸大小来确定改进的SSD算法采用的锚框的尺寸大小。
在本发明的一个实施例中,训练模块20可利用制成的训练集对改进的SSD网络进行训练,以得到冷轧带钢表面缺陷检测模型,然后利用测试集对冷轧带钢表面缺陷检测模型进行检测。其中,对于测试集中标注缺陷错误的冷轧带钢表面图像以及漏标的冷轧带钢表面缺陷图像,将再次制成数据集对改进的SSD网络进行训练,从而获得最优模型参数。
在本发明的一个实施例中,第二获取模块30可使用CCD工业相机配合光源设备获取冷轧带钢表面图像。
在本发明的一个实施例中,预处理模块40对待检测冷轧带钢表面图像进行预处理具体可包括以下步骤:
(一),使用加权平均法对待检测冷轧带钢表面图像进行灰度化处理。具体地,对于获取到的待检测冷轧带钢表面的图像,按照权重分别为0.3、0.58和0.12进行灰度图像的转换,其中,转换公式为:
Gray(i,j)=0.3*R(i,j)+0.58*G(i,j)+0.12*B(i,j)
(二),对灰度化处理后的待检测冷轧带钢表面图像进行二值化处理,通过均值法进行阈值分割,以得到图像像素的均值并将均值作为阈值进行划分。具体地,可通过均值法进行阈值分割,即求得图像像素的均值,将均值作为阈值T对图像进行划分,其中,均值法的公式为:
Figure BDA0003967092020000121
其中,f(i,j)为原图像中每个像素的灰度值,g(i,j)为转换后的二值图像的每个像素对应的灰度值。
(三),利用双边滤波在保留缺陷边缘信息的基础上进行去噪声处理,得到的输出像素值取决于邻域像素值和加权系数,其中,双边滤波的公式为:
Figure BDA0003967092020000131
其中,g(i,j)为经过滤波处理后输出的像素值的大小,f(k,l)为输入点的像素值的大小,w(i,j,k,l)为加权系数,而加权系数由空间临近高斯函数和像素值相似高度高斯函数的成绩所决定的,其中,加权系数的计算公式为:
Figure BDA0003967092020000132
(四),根据Sobel算子对去噪声处理后的待检测冷轧带钢表面图像进行边缘提取,以将存在缺陷的图像中的缺陷信息与背景分离。具体地,通过计算图像灰度函数的近似梯度来判断灰度值变化程度,而梯度值经由卷积操作得到,具体需要在水平(横向)和垂直(纵向)进行,所以某点像素横向及纵向边缘检测的图像灰度值分别为:
Figure BDA0003967092020000133
Figure BDA0003967092020000134
其中,Y为原始图像,则该点的灰度大小G为:
Figure BDA0003967092020000135
梯度方向为:
Figure BDA0003967092020000136
在本发明的一个实施例中,若在检测过程中出现了新型冷轧带钢表面缺陷,可将新型冷轧带钢表面缺陷图像制成数据集再次对改进的SSD网络进行训练。
根据本发明实施例的基于改进的SSD算法的冷轧带钢表面缺陷检测系统,通过第一获取装置获取冷轧带钢表面缺陷图像,并将冷轧带钢表面缺陷图像制成冷轧带钢表面缺陷数据集,训练装置对改进的SSD网络进行训练,以得到冷轧带钢表面缺陷检测模型,并通过第二获取装置获取待检测冷轧带钢表面图像并通过预处理装置进行预处理,将预处理后的待检测冷轧带钢表面图像输入至缺陷检测装置,以得到冷轧带钢表面图像的缺陷类型,由此,能够提高对冷轧带钢检测的准确度和速度,实现实时检测的效果。
在本发明的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必针对相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于改进的SSD算法的冷轧带钢表面缺陷检测方法,其特征在于,包括以下步骤:
获取冷轧带钢表面图像,并对所述冷轧带钢表面图像进行分类并标注出缺陷位置,以构成冷轧带钢表面缺陷数据集;
通过所述冷轧带钢表面缺陷数据集对改进的SSD网络进行训练,以得到冷轧带钢表面缺陷检测模型,其中,所述改进的SSD网络为将原有的SSD网络中的主干特征提取网络VGG-16替换为ShuffleNetv2网络,且所述ShuffleNetv2网络将原有网络ShuffleNet block中的深度可分离卷积层替换为可变形卷积层,并将卷积层后的归一化操作替换为GroupNormalization;
获取待检测冷轧带钢表面图像;
对所述待检测冷轧带钢表面图像进行预处理;
将预处理后的待检测冷轧带钢表面图像输入到所述冷轧带钢表面缺陷检测模型中,以得到所述待检测冷轧带钢表面图像的缺陷类型。
2.根据权利要求1所述的基于改进的SSD算法的冷轧带钢表面缺陷检测方法,其特征在于,还包括:
对获取的冷轧带钢表面图像进行平移、翻转和随机剪裁操作来进行数据增强。
3.根据权利要求2所述的基于改进的SSD算法的冷轧带钢表面缺陷检测方法,其特征在于,利用K-means算法对所述冷轧带钢表面缺陷数据集中标注好的缺陷的真实框高宽比做聚类分析,并根据所述冷轧带钢表面缺陷数据集中冷轧带钢表面缺陷的尺寸大小来确定所述改进的SSD算法采用的锚框的尺寸大小。
4.根据权利要求3所述的基于改进的SSD算法的冷轧带钢表面缺陷检测方法,其特征在于,对所述待检测冷轧带钢表面图像进行预处理,具体包括:
使用加权平均法对所述待检测冷轧带钢表面图像进行灰度化处理;
对灰度化处理后的所述待检测冷轧带钢表面图像进行二值化处理,通过均值法进行阈值分割,以得到图像像素的均值并将所述均值作为阈值进行划分;
利用双边滤波在保留缺陷边缘信息的基础上进行去噪声处理;
根据Sobel算子对去噪声处理后的所述待检测冷轧带钢表面图像进行边缘提取,以将存在缺陷的图像中的缺陷信息与背景分离。
5.一种基于改进的SSD算法的冷轧带钢表面缺陷检测系统,其特征在于,包括:
第一获取模块,所述第一获取模块用于获取冷轧带钢表面图像,并对所述冷轧带钢表面图像进行分类并标注出缺陷位置,以构成冷轧带钢表面缺陷数据集;
训练模块,所述训练模块用于通过所述冷轧带钢表面缺陷数据集对改进的SSD网络进行训练,以得到冷轧带钢表面缺陷检测模型,其中,所述改进的SSD网络为将原有的SSD网络中的主干特征提取网络VGG-16替换为ShuffleNetv2网络,且所述ShuffleNetv2网络将原有网络ShuffleNet block中的深度可分离卷积层替换为可变形卷积层,并将卷积层后的归一化操作替换为Group Normalization;
第二获取模块,所述第二获取模块用于获取待检测冷轧带钢表面图像;
预处理模块,所述预处理模块用于对所述待检测冷轧带钢表面图像进行预处理;
检测模块,所述检测模块用于将预处理后的待检测冷轧带钢表面图像输入到所述冷轧带钢表面缺陷检测模型中,以得到所述待检测冷轧带钢表面图像的缺陷类型。
6.根据权利要求5所述的基于改进的SSD算法的冷轧带钢表面缺陷检测系统,其特征在于,还包括:
对获取的冷轧带钢表面图像进行平移、翻转和随机剪裁操作来进行数据增强。
7.根据权利要求6所述的基于改进的SSD算法的冷轧带钢表面缺陷检测系统,其特征在于,利用K-means算法对所述冷轧带钢表面缺陷数据集中标注好的缺陷的真实框高宽比做聚类分析,并根据所述冷轧带钢表面缺陷数据集中冷轧带钢表面缺陷的尺寸大小来确定所述改进的SSD算法采用的锚框的尺寸大小。
8.根据权利要求7所述的基于改进的SSD算法的冷轧带钢表面缺陷检测系统,其特征在于,对所述待检测冷轧带钢表面图像进行预处理,具体包括:
使用加权平均法对所述待检测冷轧带钢表面图像进行灰度化处理;
对灰度化处理后的所述待检测冷轧带钢表面图像进行二值化处理,通过均值法进行阈值分割,以得到图像像素的均值并将所述均值作为阈值进行划分;
利用双边滤波在保留缺陷边缘信息的基础上进行去噪声处理;
根据Sobel算子对去噪声处理后的所述待检测冷轧带钢表面图像进行边缘提取,以将存在缺陷的图像中的缺陷信息与背景分离。
CN202211503165.1A 2022-11-28 2022-11-28 基于改进的ssd算法的冷轧带钢表面缺陷检测方法和系统 Pending CN115861220A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211503165.1A CN115861220A (zh) 2022-11-28 2022-11-28 基于改进的ssd算法的冷轧带钢表面缺陷检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211503165.1A CN115861220A (zh) 2022-11-28 2022-11-28 基于改进的ssd算法的冷轧带钢表面缺陷检测方法和系统

Publications (1)

Publication Number Publication Date
CN115861220A true CN115861220A (zh) 2023-03-28

Family

ID=85667277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211503165.1A Pending CN115861220A (zh) 2022-11-28 2022-11-28 基于改进的ssd算法的冷轧带钢表面缺陷检测方法和系统

Country Status (1)

Country Link
CN (1) CN115861220A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109640A (zh) * 2023-04-13 2023-05-12 常州微亿智造科技有限公司 工业检测中的工件表面小缺陷检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109640A (zh) * 2023-04-13 2023-05-12 常州微亿智造科技有限公司 工业检测中的工件表面小缺陷检测方法
CN116109640B (zh) * 2023-04-13 2023-08-18 常州微亿智造科技有限公司 工业检测中的工件表面小缺陷检测方法

Similar Documents

Publication Publication Date Title
CN107169953B (zh) 基于hog特征的桥梁混凝土表面裂缝检测方法
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN107507173B (zh) 一种全切片图像的无参考清晰度评估方法及系统
CN107230202B (zh) 路面病害图像的自动识别方法和系统
CN109507192B (zh) 一种基于机器视觉的磁芯表面缺陷检测方法
CN116664559B (zh) 基于机器视觉的内存条损伤快速检测方法
CN110033431B (zh) 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法
CN108181316B (zh) 一种基于机器视觉的竹条缺陷检测方法
CN112750121B (zh) 用于病理玻片数字图像质量检测的系统及其方法
CN112819748B (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN112132131B (zh) 量筒液位识别方法和装置
CN115100206B (zh) 用于具有周期图案纺织物的印花缺陷识别方法
CN113012157B (zh) 一种设备缺陷视觉检测方法及系统
CN114820625A (zh) 一种汽车顶块缺陷检测方法
CN114972230A (zh) 一种生产线上电路板缺陷检测方法及系统
CN115861220A (zh) 基于改进的ssd算法的冷轧带钢表面缺陷检测方法和系统
CN112070750A (zh) 皮革制品缺陷检测方法和装置
CN116824347A (zh) 一种基于深度学习的道路裂纹检测方法
CN113689431B (zh) 工业产品外观缺陷检测方法和装置
CN106446832B (zh) 一种基于视频的实时检测行人的方法
TWI498830B (zh) 不均勻光線下的車牌辨識方法及系統
US20170053399A1 (en) Method and apparatus for processing block to be processed of urine sediment image
CN113034432A (zh) 一种产品缺陷检测方法、系统、装置及存储介质
CN113160181B (zh) 一种基于图像识别的成堆型材计数方法
CN113887524B (zh) 基于语义分割的磁铁矿显微图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination