CN117173098A - 一种基于rdms的齿轮表面缺陷检测方法 - Google Patents

一种基于rdms的齿轮表面缺陷检测方法 Download PDF

Info

Publication number
CN117173098A
CN117173098A CN202310933551.2A CN202310933551A CN117173098A CN 117173098 A CN117173098 A CN 117173098A CN 202310933551 A CN202310933551 A CN 202310933551A CN 117173098 A CN117173098 A CN 117173098A
Authority
CN
China
Prior art keywords
rdms
gear
image
images
constructing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310933551.2A
Other languages
English (en)
Inventor
吕成志
陈子恒
毕栋
李邵康
张蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Automotive Technology
Original Assignee
Hubei University of Automotive Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Automotive Technology filed Critical Hubei University of Automotive Technology
Priority to CN202310933551.2A priority Critical patent/CN117173098A/zh
Publication of CN117173098A publication Critical patent/CN117173098A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

一种基于RDMS的齿轮表面缺陷检测方法,步骤为:Step1、采集齿轮表面图像,包括正常齿面图像和有缺陷的齿面图像;Step2、建立齿面图像数据集;Step3、构建RDMS网络模型;Step4、基于齿面图像数据集对RDMS网络模型进行训练;Step5、对待检测的齿轮表面图像进行缺陷检测。本发明能够通过在训练过程中只使用正常的齿轮表面图像,消除了人工收集和标注缺陷样本的难度,同时在检测过程中检测精度高,且能提供像素级的缺陷定位,降低了训练门槛,提高了使用效率,有极强的泛化性。

Description

一种基于RDMS的齿轮表面缺陷检测方法
技术领域
本发明涉及工业产品缺陷检测技术领域,具体涉及一种基于RDMS的齿轮表面缺陷检测方法。
背景技术
随着工业生产对高质量传动部件需求的不断增加,齿轮作为机械工业中广泛应用的传动元件之一,其表面质量对产品性能和使用寿命具有重要影响。然而,在实际生产过程中,由于工艺流程、设备精度以及环境等因素的限制,可能导致齿轮表面出现各种缺陷。目前已知存在许多传统方法来检测齿轮表面缺陷,其中包括人工视觉检查和简单仪器辅助。然而,这些方法存在诸多局限性。首先,人工视觉检查需要大量人力资源且容易受到主观因素影响;此外还可能出现漏检或误判等情况。虽然简单仪器可以提供定性信息但无法准确给出缺陷的具体位置。
近年来,在深度学习等领域的发展使得自动化齿轮表面缺陷检测成为可能,但是这些方法大部分都是基于人工标注的有监督的训练方法,由于在齿轮的生产过程中出现表面瑕疵的种类不可预测且出现瑕疵的概率较小,基于人工标注的有监督的训练方法不可能获取所有缺陷类型的信息,且人工标注难度较大。
因此,在现有技术的基础上,需要开发一种更准确、稳定且高效的齿轮表面缺陷检测方法。该方法应能够有效地识别并量化各类常见缺陷,并具备适应性强、实时性好以及较低误报率等特点。本专利申请旨在解决以上问题,并提供一种创新的齿轮表面缺陷检测系统和方法。
发明内容
本发明所要解决的技术问题是提供一种基于RDMS的齿轮表面缺陷检测方法,其方法采用无监督的训练方式,在训练过程中只使用正常的齿轮表面图像,消除了人工收集和标注缺陷样本的难度,同时在检测过程中检测精度高,且能提供像素级的缺陷定位,降低了训练门槛,提高了使用效率,有极强的泛化性。
为解决上述技术问题,本发明所采用的技术方案是:
一种基于RDMS的齿轮表面缺陷检测方法,步骤为:
Step1、采集齿轮表面图像,包括正常齿面图像和有缺陷的齿面图像;
Step2、建立齿面图像数据集;
Step3、构建RDMS网络模型;
Step4、基于齿面图像数据集对RDMS网络模型进行训练;
Step5、对待检测的齿轮表面图像进行缺陷检测。
上述的Step1的具体过程为:用相机从同一角度拍摄生产线上的齿轮表面的图像,且相机的画幅为正方形,拍摄的图像包含正常齿轮表面和有缺陷的齿轮表面图像。
上述的Step2中建立齿面图像数据集的具体过程为:
将Step1中采集到的正常齿轮表面图像按4:1的比例划分,其中80%的正常图像划分为训练集,剩下20%的图像划分为测试集;
将上述正常齿轮表面图像的20%组成的测试集与有缺陷的齿轮表面图像一起组成测试集,其中正常的齿轮表面图像与有缺陷的齿轮表面图像分属于不同的数据集;
针对上述测试集,对于有缺陷的齿轮表面图像构建真值图,即对于含有缺陷的齿轮表面图像,针对缺陷位置和正常位置构造真值图,正常位置为黑色,缺陷位置为白色,并将做好的真值图按照放到测试集中新建的真值图文件夹中。
上述的Step3中构建RDMS网络模型的具体步骤为:
Step3.1、构造预训练的教师编码器;获取WideResNet50在公开的数据集ImageNet-1K上训练的权重,舍弃WideResNet50的第四个残差块及其以后的部分,将剩下的部分作为预训练的教师编码器,其中前三个残差块作为特征提取器,记为E1、E2和E3,它们提取的特征分别记为和/>Step3.2、构造多级特征融合模块MFFB;教师编码器提取的前两个特征通过下采样的方式转化为同第三个特征相同大小和维度,并使用按维度相加的方式对这三个特征进行融合;
Step3.3、构造自监督预测卷积注意块SSPCAB;使用掩码卷积对步骤多级特征融合模块融合的特征进行过滤,过滤后的特征经过挤压和激励模块得到增强,增强后的特征记为Φ;
Step3.4、构造三个不同尺度的学生解码器;三个学生解码器D1、D2、D3地输入都是Φ,其中D1由2个ConvTransposeBlock和4个Basic block组成,D2由1个ConvTransposeBlock和5个Basic block组成,D3由6个Basic block组成。
上述的Step4中基于齿面图像数据集对RDMS网络模型进行训练过程为:
将Step2中得到训练集输入到RDMS网络,数据流首先通过教师编码器,教师编码器的参数是固定的,不参数学习,当数据流通过E1时,提取特征当数据流通过E2时,提取特征/>当数据流通过E3时,提取特征/>这个三个特征在MFFB模块进行融合,得到Γ,Γ输入SSPCAB模块后输出Φ,然后Φ将同时输入到三个学生解码器中,当Φ通过D1时重建的特征记为/>通过D2时,重建的特征记为/>通过D3时,重建的特征记为/>将/>与/>之间的误差、/>与/>之间的误差,同/>与/>之间的误差相加记为损失函数,然后数据流在学生模块,SSPACB和MFFB之间进行反向传播以减小损失;每训练5轮对步骤二中的测试集进行一次检测,总共训练200轮,保留异常检测准确度最高的那一轮的权重。
上述的Step5中对待检测的齿轮表面图像进行缺陷检测过程为:向RDMS模型中加载步骤四中得到的权重,将待检测的图像输入到RDMS模型中,与/>之间的误差会得到异常图Mk,通过将Mk上采样至输入图像大小并按逐像素累加Mk就得到输出图像,若图像中有超出设定值的亮点,则此区域就是输入齿面图像的缺陷位置。
本发明提供的一种基于RDMS的齿轮表面缺陷检测方法,能够通过在训练过程中只使用正常的齿轮表面图像,消除了人工收集和标注缺陷样本的难度,同时在检测过程中检测精度高,且能提供像素级的缺陷定位,降低了训练门槛,提高了使用效率,有极强的泛化性。
附图说明
下面结合附图和实施例对本发明作进一步说明:
图1为本发明的检测方法流程图;
图2为本发明的检测方法的网络结构图;
图3为本发明的多级特征融合模块的结构图;
图4为本发明的自监督卷积预测模块的结构图;
图5为本发明的学生解码器的结构图。
具体实施方式
以下结合附图和实施例详细说明本发明技术方案。
如图1所示,本发明的基于RDMS的齿轮表面缺陷检测方法,包括以下步骤:
步骤一、采集齿轮表面图像,包括正常齿面图像和有缺陷的齿面图像;
采用正方形画幅的相机按固定角度采集生产线上的齿轮表面图像,分别率设置在800×800,格式为png,拍摄500张正常齿轮表面图像和100张带缺陷的齿轮表面图像;
步骤二、建立齿面图像数据集;
将步骤一中的500张正常齿轮表面图像随机取400张作为训练集,命名规则为001.png~400.png,将剩下的100张正常图像与步骤一中拍摄的100张带缺陷的齿轮表面图像按照是否有缺陷分组并组成测试集,采用与训练集同样的命名规则,最后针对测试集中的有缺陷的图像人工绘制像素级真值图,正常的区域设置为黑色,缺陷位置设置为白色,并将真值图文件夹存放在测试集中,真值图的命名与测试集中的相对应的有缺陷的图像保持相同;
步骤三、构建RDMS网络模型;
如图2所示,RDMS模型主要由4个部分组成,包括:
步骤301、构造预训练的教师编码器;
步骤302、构造多级特征融合模块(MFFB);
步骤303、构造自监督预测卷积注意块(SSPCAB);
步骤304、构造三个不同尺度的学生解码器;
具体地:
步骤301、构造预训练的教师编码器;
获取WideResNet50在公开的数据集ImageNet-1K上训练的权重,舍弃WideResNet50的第四个残差块及其以后的部分,将剩下的部分作为预训练的教师编码器,将剩下的三个残差块作为RDMS网络中的特征提取器,按照残差快的顺序命名为E1、E2和E3,通过残差块的输出为其提取的特征,记为I为输入至残差块的数据流,具体地,输入至E2和E3的数据流是前一个残差快的输出,E1的输入是WideResNet50网络第一个残差块之前的输出;
步骤302、构造多级特征融合模块(MFFB);
具体地,多级特征融合模块的结构示意图如图3所示;
教师编码器提取的特征的维度和尺寸是不同的,具体地,
特征通过两个卷积核大小为3×3,stide=2,padding=1的卷积下采样至与/>同一维度和尺寸;
特征通过一个卷积核大小为3×3,stide=2,padding=1的卷积下采样至与/>同一维度和尺寸;
然后将这三个特征按通道维度逐像素进行累加融合,融合后的结果为Γ;
步骤303、构造自监督预测卷积注意块(SSPCAB);
具体地,自监督卷积预测块的结构示意图如图4所示;
MFFB输出的结果Γ会通过一个掩码卷积,掩码卷积的大小为5×5,其感受野位于卷积核的四个角,每一个的大小都是1×1;掩码卷积层的输出会经过ReLU激活函数激活后输入至SE模块;
SE模块是通道注意力模块,该模块包括压缩和激励;在压缩阶段,全局平均池化操作被应用于输入的特征图上,将其转换为一个长度为1x1x1024的向量,这样就可以捕获到整体上每个通道所包含信息的统计量;接下来,在激励阶段中,使用一个全连接层来学习每个通道应该如何重新分配权重;通过引入Sigmoid激活函数来产生0到1之间范围内值,并且与原始特征图相乘,从而实现对每个通道的加权;这样做可以使得网络更关注重要的特征通道,并减少对不相关或冗余信息的依赖;SE模块的计算过程如下:
s=σ(W2·δ(W1·z))
式中Fsq(·)表示全局平均池化,u为经过掩码卷积层过滤后的特征,z是长度为1×1×1024的向量;σ(·)为sigmoid激活函数,δ(·)为ReLU激活函数,W1∈R128×1024和W2∈R1024×128表示全连接层的权重矩阵,Φ∈R1024×16×16为输出;
步骤304、构造三个不同尺度的学生解码器;
具体地,三个不同地学生解码器的结构如图5所示;
三个学生解码器D1、D2、D3地输入都是Φ,其中D1由2个ConvTransposeBlock和4个Basic block组成,D2由1个ConvTransposeBlock和5个Basic block组成,D3由6个Basicblock组成;ConvTransposeBlock通过转置卷积对特征进行上采样,其中卷积核的大小为2×2,stride=2,padding=0。Basic block不改变特征的通道数和大小,起到增加网络层数和可学习参数数量的作用。
步骤四、基于齿面图像数据集对RDMS网络模型进行训练;
具体地,训练设置的超参数如下:
将步骤二中的训练集加载至网络中,每一轮训练之前对训练集中随机50%的图片进行旋转处理,将所有图像下采样至256×256;数据流首先通过教师编码器,教师编码器的参数是固定的,不参与学习;输入流通过教师编码器提取的特征为通过学生解码器重建的特征记为/>当k相同时,对应的/>和/>的通道数和尺寸相等;为了起到训练效果,相对应的两个特征应该尽可能的相似,我们使用余弦损失作为训练过程的损失函数,其计过程如下:
式中,为对应特征之间的余弦误差,Mk(h,w)∈R1×h×w将通道维数压缩为1,余弦误差转化为可视的特征图,将Mk(h,w)转化为标量并累加3个不同的Mk(h,w)就得到了训练过程的损失函数L;
通过反向传播算法将损失函数降低;使用像素级和图像级AUROC对算法进行评估,首先需要计算像素级级异常得分SAL和图像级异常得分SAD,计算方法如下
SAD=Max(SAL)
式中ψ(·)表示将图像上采样至800×800,便于将不大小的Mk(h,w)进行融合,gσ(·)表示对融合后的图像进行高斯过滤,去除噪声,SAD取SAL各像素点的最大值即可;划分正常齿轮表面图像和有缺陷的齿轮表面图像的图像级异常得分的阈值设定为0.3,即得分高于或等于0.3为有缺陷,低于0.3为正常。
AUROC的计算方法如下:
式中TPR为真阳性率,FPR为假阳性率;
每10个epoch使用测试集对模型进行评估并保留最佳权重;
步骤五、对待检测的齿轮表面图像进行缺陷检测;
具体地,按步骤一拍摄待检测的齿轮表面图像,向RDMS模型中加载步骤四中得到的权重,将待检测的齿轮表面图像转化为800×800输入到RDMS模型中,网络将会输入步骤四中的图像级异常得分和像素级异常得分图,得分值大于0.3则该齿轮表面含有缺陷,像素级异常得分图中明显亮于其他区域的位置就是该齿轮缺陷的位置。
以上所述,仅是本发明的较佳实施例,并非对本发明作任何限制,凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化,均仍属于本发明技术方案的保护范围内。

Claims (6)

1.一种基于RDMS的齿轮表面缺陷检测方法,其特征是,步骤为:
Step1、采集齿轮表面图像,包括正常齿面图像和有缺陷的齿面图像;
Step2、建立齿面图像数据集;
Step3、构建RDMS网络模型;
Step4、基于齿面图像数据集对RDMS网络模型进行训练;
Step5、对待检测的齿轮表面图像进行缺陷检测。
2.根据权利要求1所述的一种基于RDMS的齿轮表面缺陷检测方法,其特征在于,所述的Step1的具体过程为:用相机从同一角度拍摄生产线上的齿轮表面的图像,且相机的画幅为正方形,拍摄的图像包含正常齿轮表面和有缺陷的齿轮表面图像。
3.根据权利要求2所述的一种基于RDMS的齿轮表面缺陷检测方法,其特征在于,所述的Step2中建立齿面图像数据集的具体过程为:
将Step1中采集到的正常齿轮表面图像按4:1的比例划分,其中80%的正常图像划分为训练集,剩下20%的图像划分为测试集;
将上述正常齿轮表面图像的20%组成的测试集与有缺陷的齿轮表面图像一起组成测试集,其中正常的齿轮表面图像与有缺陷的齿轮表面图像分属于不同的数据集;
针对上述测试集,对于有缺陷的齿轮表面图像构建真值图,即对于含有缺陷的齿轮表面图像,针对缺陷位置和正常位置构造真值图,正常位置为黑色,缺陷位置为白色,并将做好的真值图按照放到测试集中新建的真值图文件夹中。
4.根据权利要求3所述的一种基于RDMS的齿轮表面缺陷检测方法,其特征在于,所述的Step3中构建RDMS网络模型的具体步骤为:
Step3.1、构造预训练的教师编码器;获取WideResNet50在公开的数据集ImageNet-1K上训练的权重,舍弃WideResNet50的第四个残差块及其以后的部分,将剩下的部分作为预训练的教师编码器,其中前三个残差块作为特征提取器,记为E1、E2和E3,它们提取的特征分别记为fE 1fE 2fE 3
Step3.2、构造多级特征融合模块MFFB;教师编码器提取的前两个特征通过下采样的方式转化为同第三个特征相同大小和维度,并使用按维度相加的方式对这三个特征进行融合;
Step3.3、构造自监督预测卷积注意块SSPCAB;使用掩码卷积对步骤多级特征融合模块融合的特征进行过滤,过滤后的特征经过挤压和激励模块得到增强,增强后的特征记为Φ;
Step3.4、构造三个不同尺度的学生解码器;三个学生解码器D1、D2、D3地输入都是Φ,其中D1由2个ConvTransposeBlock和4个Basic block组成,D2由1个ConvTransposeBlock和5个Basic block组成,D3由6个Basic block组成。
5.根据权利要求4所述的一种基于RDMS的齿轮表面缺陷检测方法,其特征在于,所述的Step4中基于齿面图像数据集对RDMS网络模型进行训练过程为:
将Step2中得到训练集输入到RDMS网络,数据流首先通过教师编码器,教师编码器的参数是固定的,不参数学习,当数据流通过E1时,提取特征fE 1,当数据流通过E2时,提取特征fE 2,当数据流通过E3时,提取特征fE 3,这个三个特征在MFFB模块进行融合,得到Γ,Γ输入SSPCAB模块后输出Φ,然后Φ将同时输入到三个学生解码器中,当Φ通过D1时重建的特征记为fD 1,通过D2时,重建的特征记为fD 2,通过D3时,重建的特征记为fD 3;将fE 1与fD 1之间的误差、fE 2与fD 2之间的误差,同fE 3与fD 3之间的误差相加记为损失函数,然后数据流在学生模块,SSPACB和MFFB之间进行反向传播以减小损失;每训练5轮对步骤二中的测试集进行一次检测,总共训练200轮,保留异常检测准确度最高的那一轮的权重。
6.根据权利要求5所述的一种基于RDMS的齿轮表面缺陷检测方法,其特征在于,所述的Step5中对待检测的齿轮表面图像进行缺陷检测过程为:向RDMS模型中加载步骤四中得到的权重,将待检测的图像输入到RDMS模型中,fE k与fD k之间的误差会得到异常图Mk,通过将Mk上采样至输入图像大小并按逐像素累加Mk就得到输出图像,若图像中有超出设定值的亮点,则此区域就是输入齿面图像的缺陷位置。
CN202310933551.2A 2023-07-27 2023-07-27 一种基于rdms的齿轮表面缺陷检测方法 Pending CN117173098A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310933551.2A CN117173098A (zh) 2023-07-27 2023-07-27 一种基于rdms的齿轮表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310933551.2A CN117173098A (zh) 2023-07-27 2023-07-27 一种基于rdms的齿轮表面缺陷检测方法

Publications (1)

Publication Number Publication Date
CN117173098A true CN117173098A (zh) 2023-12-05

Family

ID=88936524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310933551.2A Pending CN117173098A (zh) 2023-07-27 2023-07-27 一种基于rdms的齿轮表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN117173098A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117409058A (zh) * 2023-12-14 2024-01-16 浙江优众新材料科技有限公司 一种基于自监督的深度估计匹配代价预估方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117409058A (zh) * 2023-12-14 2024-01-16 浙江优众新材料科技有限公司 一种基于自监督的深度估计匹配代价预估方法
CN117409058B (zh) * 2023-12-14 2024-03-26 浙江优众新材料科技有限公司 一种基于自监督的深度估计匹配代价预估方法

Similar Documents

Publication Publication Date Title
CN111192200A (zh) 基于融合注意力机制残差网络的图像超分辨率重建方法
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN111798416A (zh) 基于病理图像与深度学习的肾小球智能检测方法及系统
CN117173098A (zh) 一种基于rdms的齿轮表面缺陷检测方法
CN110930378B (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN111161224A (zh) 基于深度学习的铸件内部缺陷分级评估系统及方法
CN113129272A (zh) 一种基于去噪卷积自编码器的缺陷检测方法及装置
CN110675374B (zh) 一种基于生成对抗网络的二维图像污水流量检测方法
CN111415304A (zh) 基于级联深度网络的水下视觉增强方法和装置
CN112967327A (zh) 基于联合自注意力机制的单目深度方法
CN112258537B (zh) 一种基于卷积神经网络的监督暗视觉图像边缘检测方法
CN116343015A (zh) 基于人工智能的医用食物含水量测量系统
CN115471645A (zh) 一种基于u型学生网络的知识蒸馏异常检测方法
CN116703885A (zh) 一种基于Swin Transformer的表面缺陷检测方法及系统
CN114596244A (zh) 基于视觉处理和多特征融合的红外图像识别方法及系统
CN117422619A (zh) 图像重建模型的训练方法、图像重建方法、装置及设备
CN115423809B (zh) 图像质量评价方法、装置、可读存储介质及电子设备
CN114529794B (zh) 一种红外与可见光图像融合方法、系统及介质
CN113034432B (zh) 一种产品缺陷检测方法、系统、装置及存储介质
CN115830514A (zh) 一种适用于带弯曲河道的全河段表面流速计算方法及系统
CN116468667A (zh) 一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法
CN113487504B (zh) 基于生成对抗网络的水下灰度偏振图像复原方法
CN115775218A (zh) 模型训练方法、视频质量评估方法、装置、设备及介质
CN114219738A (zh) 单幅图像多尺度超分辨重建网络结构及方法
CN117611954B (zh) 一种红外视频图像有效性评价方法、设备及存储设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination