CN110648310B - 基于注意力机制的弱监督铸件缺陷识别方法 - Google Patents

基于注意力机制的弱监督铸件缺陷识别方法 Download PDF

Info

Publication number
CN110648310B
CN110648310B CN201910815305.0A CN201910815305A CN110648310B CN 110648310 B CN110648310 B CN 110648310B CN 201910815305 A CN201910815305 A CN 201910815305A CN 110648310 B CN110648310 B CN 110648310B
Authority
CN
China
Prior art keywords
casting
network
image
defect
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910815305.0A
Other languages
English (en)
Other versions
CN110648310A (zh
Inventor
王永雄
胡川飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201910815305.0A priority Critical patent/CN110648310B/zh
Publication of CN110648310A publication Critical patent/CN110648310A/zh
Application granted granted Critical
Publication of CN110648310B publication Critical patent/CN110648310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30116Casting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于注意力机制的弱监督铸件缺陷识别方法,首先获取铸件的射线图像,并图像中铸件类别和缺陷进行多标签的弱标注,形成训练集。然后在训练样本集上训练ResNe‑50网络模型,利用多标签信息,形成注意力机制,使模型在弱监督的情况下对铸件缺陷进行精准识别,再计算激活映射图得出缺陷的准确位置。本发明在保证铸件缺陷识别正确率的情况下,减少了标注数据的人力消耗,最终实现了生产成本的降低。

Description

基于注意力机制的弱监督铸件缺陷识别方法
技术领域
本发明涉及一种铸件质量检测技术,特别涉及一种基于注意力机制的弱监督铸件缺陷识别方法。
背景技术
射线检测系统是保证工业铸件整体质量的一种无损检测方式,能够在不破坏铸件的情况下,检测出铸件内部缺陷。射线系统从不同角度对目标铸件进行数字化射线成像,然后根据检测人员对射线图片进行人工观察,判断被测铸件质量是否合格。人工观察依据检测经验,可以检测出射线图片中铸件的内部缺陷,但随着检测人员的疲劳,检测效率和准确率大大降低。铸件缺陷检测自动化的实现,对于提高生产效率、保障产品质量和加快制造智能化着重要意义。
机器视觉在很多工业生产场合有着成熟的应用,在基于射线图像的铸件缺陷检测方面也有现成的技术方案。目前,利用机器视觉在射线图像中,检测铸件缺陷的方法分为两大类,一类为数值计算方法,例如差值法、匹配法、分割法;另一类为机器学习方法,又可以细分为统计学习和深度学习。采用数值计算方法虽然结果比较直观,但是对于复杂的背景和结构,整体算法和阈值参数的调整变得十分复杂。采用机器学习方法虽然有良好的准确率和泛化性,但不论是手工算法的设计,还是训练样本的标注,都非常消耗人力,直接增加了生产成本。
发明内容
本发明是针对现在铸件缺陷检测存在的问题,提出了一种基于注意力机制的弱监督铸件缺陷识别方法,通过多种类的标签,使ResNet-50网络形成注意力机制,使网络能够在弱监督训练下,准确挖掘缺陷与非缺陷的区别,实现铸件缺陷识别,再计算激活映射图得出精准的缺陷位置。
本发明的技术方案为:一种基于注意力机制的弱监督铸件缺陷识别方法,具体包括如下步骤:
1)对获取到的每幅铸件射线图像,进行图像尺度归一化和颜色通道扩展预处理,再进行多标签的弱标注;
2)将步骤1)处理后图像随机选取一部分送入神经网络中进行分类训练,在训练过程中,利用多种类标签信息使ResNet-50网络形成注意力机制,进行弱监督训练,使网络能够对无缺陷和有缺陷的铸件射线图片进行识别,直到网络收敛,输出训练完全的网络;
3)、在实际检测过程中,首先获取铸件射线图像,再进行步骤1)的预处理,然后送入步骤2)训练完全的网络进行铸件类型预测和铸件缺陷预测,当预测结果为缺陷时,利用训练完全的网络中铸件缺陷特征与输出层的权重,计算激活映射图,根据激活映射图得出铸件的缺陷具体位置。
所述步骤1)具体实现步骤如下:
1.1)把每幅铸件射线图像缩放至512*512,对于空缺像素采用双线性插值,完成图像尺度归一化处理;
1.2)对图像尺度归一化处理后的图像进行颜色通道扩展;
1.3)对经过1.1)和1.2)预处理后的所有图像进行多种类弱标注,其中多种类是指图像中包括铸件类型和是否含有缺陷的标注信息,简称类型标签和缺陷标签;弱标注是指不需要具体标注出图像中铸件缺陷的具体位置。
所述步骤2)具体实现步骤如下:
2.1)在所有经过所述步骤1)预处理和多种类弱标注后的图像中,随机选取一部分送入ResNet-50进行分类训练;
2.2)利用所述步骤1)中标注的类型标签,对ResNet-50网络的前三个网络结构进行训练,识别输入图像中的铸件类型,从而形成注意力机制;
2.3)利用所述步骤1)中标注的缺陷标签,对ResNet-50网络的后两个网络结构进行训练,识别输入图像中铸件是否有缺陷存在;
2.4)训练过程直到网络收敛,输出训练完全的网络。
所述步骤3)中计算激活映射图,根据激活映射图得出铸件的缺陷具体位置具体实现方法:根据预测结果对应的输出层节点,将节点权重与最后一层特征的线性组合构成激活映射图,对激活映射图进行归一化和上采样,使激活映射图的数值在0至1,同时数值和尺寸符合输入图像;对激活映射图进行二值化,阈值选择为0.8,得到二值图;计算二值图的最大连通区域,所得区域即是缺陷位置。
本发明的有益效果在于:本发明基于注意力机制的弱监督铸件缺陷识别方法,在训练ResNet-50网络的阶段,采用了多种类弱标注,利用种类标签形成注意力机制,使网络能够在弱监督的训练下,保证了缺陷识别率,同时减少了数据标注的人力成本;采用了激活映射图,把分类网络的缺陷预测结果转化成了带有缺陷位置信息的识别结果。
附图说明
图1为本发明基于注意力机制的弱监督铸件缺陷识别方法流程图;
图2为本发明实例获取处理后的铸件射线图;
图3为本发明实例使用的卷积神经网络ResNet-50结构图;
图4为本发明激活映射图与铸件图像的叠加图;
图5为本发明铸件缺陷识别的结果图。
具体实施方式
如图1所示基于注意力机制的弱监督铸件缺陷识别方法流程图,方法具体如下如下步骤:
1、对获取到的每幅铸件射线图像(图2),进行图像尺度归一化和颜色通道扩展预处理,再进行多标签的弱标注。实现具体如下:
1.1、把每幅铸件射线图像缩放至512*512,对于空缺像素采用双线性插值,完成图像尺度归一化处理;
1.2、对图像尺度归一化处理后的图像进行颜色通道扩展,扩展方式为原值拷贝,扩展后通道数为3;
1.3、对预处理后的所有图像进行多种类弱标注,得到所有图像标注集合其中n是图像的总数,既每张图像同时包含类型标签yt和缺陷标签yd
其中多种类是指图像中包括铸件类型和是否含有缺陷的标注信息,简称类型标签和缺陷标签;弱标注是指不需要具体标注出图像中铸件缺陷的具体位置。
2、将步骤1处理后图像随机选取一部分送入神经网络中进行分类训练,在训练过程中,利用多种类标签信息使ResNet-50网络形成注意力机制,进行弱监督训练,使网络能够对无缺陷和有缺陷的铸件射线图片进行识别,直到网络收敛,输出训练完全的网络。实现具体如下:
2.1、实例采用ResNet-50卷积神经网络结构,如图3所示,ResNet-50网络由五个网络结构组成,结构可以分为两类:卷积层和残差单元;其中Conv1表示卷积层,作为第一个网络结构,ResBlock1、2、3、4表示残差单元,作为后四个网络结构。图像输入第一个网络结构后,得到高维的图像特征,然后图像特征再输入至下一个网络结构,依次可以得到每个网络结构对应的图像特征。对网络的前半部分ResBlock2的特征采用全局均值池化(GAP),对池化后的特征进行铸件类型预测,形成注意力机制。
2.2、对网络后半部分ResBlock4的特征采用GAP,对池化后的特征进行铸件缺陷预测。
2.3、实例采用预测分类器为Softmax,训练损失函数为交叉熵,优化器为SGD,学习率为0.001。
3、在实际检测过程中,首先获取铸件射线图像,再进行步骤1的预处理,然后送入步骤2训练完全的网络进行铸件类型预测和铸件缺陷预测,当预测结果为缺陷时,利用训练完全的网络中ResBlock4经过GAP后的特征与输出层的权重,计算激活映射图,根据响应图得出铸件的缺陷具体位置。实现具体如下:
3.1、计算激活映射图,根据预测结果对应的输出层节点,激活映射图为节点权重与最后一层特征的线性组合其中,k是ResBlock4输出特征fk(x,y)的通道数,/>是输出层对应预测结果c的权重。对激活映射图进行归一化和上采样,使激活映射图的数值在0至1,同时数值和尺寸符合输入图像。如图4所示激活映射图与铸件图像叠加显示的结果。
3.2、对激活映射图进行二值化,阈值选择为0.8,得到二值图。计算二值图的最大连通区域,所得区域既是缺陷位置,以矩形框表示,如图5所示铸件缺陷识别的结果图。
通过上述实例,本发明提出了一种基于注意力机制的弱监督铸件缺陷识别方法,通过多种类的弱标签,使ResNet-50网络形成注意力机制,使网络能够在弱监督训练下,实现准确的铸件缺陷识别。再配合激活映射图得出缺陷的准确位置。本发明在保证准确率的前提下,有效地减少人力和降低成本。
对于从事本领域的技术和开发人员应该了解,本发明不受上述实例的限制,上述事例和说明书中的描述只是说明发明原理,在不违背本发明原理和精神的情况下,对这些实施方式进行各种变化、修改、替换和变型,仍落入在本发明的保护范围内。

Claims (1)

1.一种基于注意力机制的弱监督铸件缺陷识别方法,其特征在于,具体包括如下步骤:
1)对获取到的每幅铸件射线图像,进行图像尺度归一化和颜色通道扩展预处理,再进行多标签的弱标注;具体实现步骤如下:
1.1)把每幅铸件射线图像缩放至512*512,对于空缺像素采用双线性插值,完成图像尺度归一化处理;
1.2)对图像尺度归一化处理后的图像进行颜色通道扩展;
1.3)对经过1.1)和1.2)预处理后的所有图像进行多种类弱标注,
其中多种类是指图像中包括铸件类型和是否含有缺陷的标注信息,简称类型标签和缺陷标签;弱标注是指不需要具体标注出图像中铸件缺陷的具体位置;
2)将步骤1)处理后图像随机选取一部分送入神经网络中进行分类训练,在训练过程中,利用多种类标签信息使ResNet-50网络形成注意力机制,进行弱监督训练,使网络能够对无缺陷和有缺陷的铸件射线图片进行识别,直到网络收敛,输出训练完全的网络;具体实现步骤如下:
2.1)在所有经过所述步骤1)预处理和多种类弱标注后的图像中,随机选取一部分送入ResNet-50进行分类训练;
2.2)利用所述步骤1)中标注的类型标签,对ResNet-50网络的前三个网络结构进行训练,识别输入图像中的铸件类型,从而形成注意力机制;
2.3)利用所述步骤1)中标注的缺陷标签,对ResNet-50网络的后两个网络结构进行训练,识别输入图像中铸件是否有缺陷存在;
2.4)训练过程直到网络收敛,输出训练完全的网络;
3)、在实际检测过程中,首先获取铸件射线图像,再进行步骤1)的预处理,然后送入步骤2)训练完全的网络进行铸件类型预测和铸件缺陷预测,当预测结果为缺陷时,利用训练完全的网络中铸件缺陷特征与输出层的权重,计算激活映射图,根据激活映射图得出铸件的缺陷具体位置;具体方法如下:根据预测结果对应的输出层节点,将节点权重与最后一层特征的线性组合构成激活映射图,对激活映射图进行归一化和上采样,使激活映射图的数值在0至1,同时数值和尺寸符合输入图像;
对激活映射图进行二值化,阈值选择为0.8,得到二值图;计算二值图的最大连通区域,所得区域即是缺陷位置。
CN201910815305.0A 2019-08-30 2019-08-30 基于注意力机制的弱监督铸件缺陷识别方法 Active CN110648310B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910815305.0A CN110648310B (zh) 2019-08-30 2019-08-30 基于注意力机制的弱监督铸件缺陷识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910815305.0A CN110648310B (zh) 2019-08-30 2019-08-30 基于注意力机制的弱监督铸件缺陷识别方法

Publications (2)

Publication Number Publication Date
CN110648310A CN110648310A (zh) 2020-01-03
CN110648310B true CN110648310B (zh) 2023-08-04

Family

ID=69009923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910815305.0A Active CN110648310B (zh) 2019-08-30 2019-08-30 基于注意力机制的弱监督铸件缺陷识别方法

Country Status (1)

Country Link
CN (1) CN110648310B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507960A (zh) * 2020-04-16 2020-08-07 重庆三峡学院 一种基于神经网络可视化的摄像模组镜头脏污检测方法
CN112070733A (zh) * 2020-08-28 2020-12-11 深兰人工智能芯片研究院(江苏)有限公司 基于弱监督模式的缺陷粗定位方法和装置
JP7143388B2 (ja) * 2020-12-17 2022-09-28 株式会社クボタ 検査方法
JP7101235B2 (ja) * 2020-12-17 2022-07-14 株式会社クボタ 検査装置及び検査方法
JP7101236B2 (ja) * 2020-12-17 2022-07-14 株式会社クボタ 検査装置及び検査方法
US20230033187A1 (en) * 2021-07-28 2023-02-02 Coopervision International Limited Systems and methods for acquiring and inspecting lens images of ophthalmic lenses
CN113902670B (zh) * 2021-08-31 2022-07-29 北京医准智能科技有限公司 一种基于弱监督学习的超声视频分割方法及装置
CN115841485A (zh) * 2023-02-13 2023-03-24 成都数联云算科技有限公司 一种面板缺陷检测方法、装置、设备及介质
CN116091502B (zh) * 2023-04-10 2023-07-25 厦门微图软件科技有限公司 基于改进深度残差网络的弱标签工业缺陷图像分类方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035233A (zh) * 2018-07-24 2018-12-18 西安邮电大学 视觉注意力网络及工件表面缺陷检测方法
CN109829893A (zh) * 2019-01-03 2019-05-31 武汉精测电子集团股份有限公司 一种基于注意力机制的缺陷目标检测方法
CN110097544A (zh) * 2019-04-25 2019-08-06 武汉精立电子技术有限公司 一种显示面板外观缺陷检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035233A (zh) * 2018-07-24 2018-12-18 西安邮电大学 视觉注意力网络及工件表面缺陷检测方法
CN109829893A (zh) * 2019-01-03 2019-05-31 武汉精测电子集团股份有限公司 一种基于注意力机制的缺陷目标检测方法
CN110097544A (zh) * 2019-04-25 2019-08-06 武汉精立电子技术有限公司 一种显示面板外观缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习特征匹配的铸件微小缺陷自动定位方法;余永雄 等;《仪器仪表学报》;20160630;全文 *

Also Published As

Publication number Publication date
CN110648310A (zh) 2020-01-03

Similar Documents

Publication Publication Date Title
CN110648310B (zh) 基于注意力机制的弱监督铸件缺陷识别方法
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN108460764B (zh) 基于自动上下文和数据增强的超声图像智能分割方法
CN107437245B (zh) 基于深度卷积神经网络的高速铁路接触网故障诊断方法
CN113436169B (zh) 一种基于半监督语义分割的工业设备表面裂纹检测方法及系统
CN112381788B (zh) 一种基于双分支匹配网络的零部件表面缺陷增量检测方法
CN113643268B (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN110490842B (zh) 一种基于深度学习的带钢表面缺陷检测方法
CN112766334B (zh) 一种基于伪标签域适应的跨域图像分类方法
CN112102229A (zh) 一种基于深度学习的工业ct检测缺陷的智能识别方法
CN113724231A (zh) 一种基于语义分割和目标检测融合模型的工业缺陷检测方法
CN115496746A (zh) 基于图像和点云数据融合的板材表面缺陷检测方法和系统
CN112766110A (zh) 物体缺陷识别模型的训练方法、物体缺陷识别方法及装置
CN115147418B (zh) 缺陷检测模型的压缩训练方法和装置
CN115731400A (zh) 基于自监督学习的x光图像异物检测方法
CN113591948A (zh) 一种缺陷模式识别方法、装置、电子设备和存储介质
CN114332008A (zh) 一种基于多层次特征重构的无监督缺陷检测与定位方法
CN115937091A (zh) 基于可变换patch的变电站设备缺陷图像检测方法
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN113962951B (zh) 检测分割模型的训练方法及装置、目标检测方法及装置
CN112581483B (zh) 基于自学习的植物叶片叶脉分割方法和装置
CN112215303B (zh) 一种基于自学属性的图像理解方法及系统
CN115830514B (zh) 一种适用于带弯曲河道的全河段表面流速计算方法及系统
CN116704526A (zh) 工尺谱扫描机器人及其方法
CN116843657A (zh) 基于注意力融合的焊接缺陷检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant