CN110779937B - 一种铸件产品内部缺陷智能检测装置 - Google Patents
一种铸件产品内部缺陷智能检测装置 Download PDFInfo
- Publication number
- CN110779937B CN110779937B CN201910964693.9A CN201910964693A CN110779937B CN 110779937 B CN110779937 B CN 110779937B CN 201910964693 A CN201910964693 A CN 201910964693A CN 110779937 B CN110779937 B CN 110779937B
- Authority
- CN
- China
- Prior art keywords
- image
- defect
- neural network
- network model
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Image Analysis (AREA)
Abstract
一种铸件产品内部缺陷智能检测装置,X射线管发出的X射线透照铸件产品在成像板上得到包含铸件产品内部质量信息的数字图像,通过光路仿真与控制单元实现最佳成像,生成图像自动上传至云平台服务器后,通过采用数字图像处理技术、深度学习神经网络算法对图像进行智能预处理、判读缺陷存在与否、缺陷定位、缺陷类型识别、缺陷评级,实现图像表征质量的检测。通过该装置,在检测过程中实现了对复杂结构铸件检测过程的精确控制,从而最佳图像;在图像评价过程通过缺陷智能识别,代替人工评片过程,有效地缩减人工检测时长,在保证缺陷识别准确率的前提下,避免人为误差,提高铸件产品质量检测工作效率。
Description
技术领域
本发明涉及一种铸件产品内部缺陷智能检测装置,属于智能化检测技术领域。
背景技术
目前在工业领域,铸件产品内部缺陷检测是生产过程质量检测的重要一环,通常采用射线成像技术对铸件产品内部信息拍片,之后由经验丰富的工人根据片子对铸件产品内部缺陷判读。但是,数字射线图像的缺陷评判需要具有资质的技能工人才能完成,培养技能工人需要耗费大量的时间和金钱,而且,大量的评片工作易导致技能工人的疲劳,极易导致误判、漏判等人为误差。同时,伴随生产力的发展,铸件产量的增加,对评片效率提出了更高要求。随着人工智能技术的发展,基于数字图像的深度学习神经网络算法在无损检测领域中承担起越来越重要的任务。
现有技术通过检测人员制定检测工艺实现铸件检测,检测光路的布置严重依靠检测人员知识贮备与经验,检测图像评价靠检测人员,检测图像质量与评价受主观影响严重,检测效率和检测一致性不高。
发明内容
本发明解决的技术问题为:克服现有技术不足,提供一种铸件产品内部缺陷智能检测装置,应用于铸件产品的质量检测任务,根据铸件产品内部缺陷特征,运用计算机深度学习方法对数字射线图像分析,智能判读结果,有效地缩减人工检测时长,在保证缺陷识别准确率的前提下,避免人因误差,提高铸件产品质量检测工作效率。
本发明解决的技术方案为:一种铸件产品内部缺陷智能检测装置,包括: X射线管、成像板、光路仿真与控制单元、云平台服务器;
光路仿真与控制单元,能够根据铸件产品的外形或三维模型,选择最佳透照光路,并能够根据最佳透照光路,调整X射线管和成像板的位置,使铸件产品位于X射线管与成像板之间的最佳位置;光路仿真与控制单元控制X射线管发出X射线,X射线透射铸件产品后,在成像板上成像,得到 X射线图像,即铸件产品原始灰度图像;将铸件产品原始灰度图像推送至云平台服务器;
云平台服务器,对铸件产品原始灰度图像进行预处理,使得原始灰度图像的对比度达到要求,即得到预处理后的图像;将预处理后的图像输入卷积神经网络模型CNN,进行缺陷筛选,判断预处理后的图像中是否含有缺陷。
将判定为含有缺陷的图像,输入到带有感兴趣区域的卷积神经网络模型 RCNN,对有缺陷的图像中的缺陷定位,并标注缺陷所在位置的最小框图,实现缺陷定位。
提取缺陷定位后最小框图内的图像,输入深度学习神经网络模型DNN,进行缺陷分类,得到缺陷的类型。
优选的,成像板要位于X射线管辐射的焦点上。
优选的,对铸件产品原始灰度图像进行预处理,具体如下:
针对厚度梯度变化剧烈的原始灰度图像,预处理方式包括但不限于:图像增强、图像非线性变化、滤波降噪、图像锐化。
针对表面粗糙的原始灰度图像,预处理方式包括但不限于:图像增强、滤波降噪、图像平滑。
针对铸件边缘的原始灰度图像,预处理方式包括但不限于:图像增强、图像非线性变化、滤波降噪、小波变换。
优选的,原始灰度图像的对比度要求,具体为:一个像素点相邻四个像素点的灰度差值满足检测阈值最低区分限度要求。
优选的,缺陷,包括气孔、夹渣、缩松、裂纹、偏析这几类缺陷。
优选的,卷积神经网络模型CNN经过预先训练,具体训练方式如下:
(1)建立带标签的训练图像集,训练图像为铸件产品原始灰度图像经过预处理后的图像,预先将图像有无缺陷进行标记,形成标签;标签分为有缺陷和无缺陷标记;
(2)将训练图像集中的图像逐个输入至未经训练的卷积神经网络模型CNN,根据预先设定卷积神经网络模型CNN的结构、目标函数、模型参数优化方法,对卷积神经网络模型CNN进行训练,如图3所示,得到训练好的卷积神经网络模型CNN,即已对卷积神经网络模型CNN中参数进行优化。
优选的,训练好的卷积神经网络模型CNN能够输出标签,根据标签判断铸件产品是否有缺陷,实现缺陷筛选。
优选的,缺陷所在位置的最小框图,是指:与缺陷最长径相切的一组平行线和与其垂直的一组平行线(与缺陷边缘最外侧可相切部位)组成的矩形框。
优选的,带有感兴趣区域的卷积神经网络模型RCNN,需要经过预先训练,训练方式如下:
(1)建立带有缺陷最小框图的训练图像集;
(2)将带有缺陷最小框图的训练图像集中的图像逐个输入至未经训练的带有感兴趣区域的卷积神经网络模型RCNN,根据预先设定带有感兴趣区域的卷积神经网络模型RCNN的结构、目标函数、模型参数优化方法,对带有感兴趣区域的卷积神经网络模型RCNN进行训练,如图4所示,得到训练好的带有感兴趣区域的卷积神经网络模型RCNN,即已对带有感兴趣区域的卷积神经网络模型RCNN中参数进行优化。
优选的,训练好的带有感兴趣区域的卷积神经网络模型RCNN能够输出缺陷所在位置的最小框图,根据缺陷所在位置的最小框图,实现缺陷定位。
优选的,深度学习神经网络模型DNN,需要经过预先训练,训练方式如下:
(1)建立带缺陷类型标签的带有缺陷最小框图的训练图像集;每个带有缺陷最小框图的训练图像的缺陷类型标签对应一种缺陷类型;
(2)将带缺陷类型标签的带有缺陷最小框图的训练图像集中的图像逐个输入至未经训练的深度学习神经网络模型DNN,根据预先设定深度学习神经网络模型DNN的结构、目标函数、模型参数优化方法,对深度学习神经网络模型DNN进行训练,得到训练好的深度学习神经网络模型DNN,即已对深度学习神经网络模型DNN中参数进行优化。
优选的,深度学习神经网络模型DNN能够输出带缺陷类型标签,根据带缺陷类型标签,实现缺陷分类。
优选的,在缺陷分类后,还可以对经过分类后的缺陷,进行缺陷评级,判断其缺陷等级是否满足预先DNN网络训练输入的同种缺陷的不同级别图样,并输出检测结果。
本发明与现有技术相比的优点在于:
(1)本发明通过采用光路仿真与控制模块实现最优检测光路确认,代替检测人员依靠经验制定的光路布置,得到最优图像,提高图像精度与灵敏度。
(2)本发明通过采用云平台服务器进行数字射线图像智能分析,通过云服务,可以有效收集汇总检测过程中不同产品,不同时间的逐渐质量信息与内部缺陷,为设计与生产工艺优化提升数据支撑,最终提升产品的质量
(3)本发明通过计算机深度学习方法对数字射线图像分析,智能判读结果,部分或全部代替人工评片过程,有效地缩减人工检测时长,在保证缺陷识别准确率的前提下,避免人因误差,提高铸件产品质量检测工作效率。
(4)本发明通过卷积神经网络模型CNN进行数字射线图像缺陷筛选,该方法可以有效识别图像中的宏观信息和微观信息,并且可以随着数据量积累进行模型升级优化,为缺陷筛选算法迭代提供支撑。
(5)本发明通过带有感兴趣区域的卷积神经网络模型RCNN进行数字射线图像缺陷定位,该方法可以有效识别缺陷最小框图,为后续缺陷尺寸测量进行缺陷评级提供支撑。
附图说明
图1为本发明铸件产品数字射线图像智能缺陷检测方法示意框图;
图2为本发明铸件产品内部缺陷智能检测装置示意图;
图3为本发明铸件产品数字射线图像缺陷筛选算法示意图;
图4为本发明铸件产品数字射线图像缺陷定位算法示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细描述。
本发明一种铸件产品内部缺陷智能检测装置,X射线管发出的X射线透照铸件产品在成像板上得到包含铸件产品内部质量信息的数字图像,通过光路仿真与控制单元实现最佳成像,生成图像自动上传至云平台服务器后,通过采用数字图像处理技术、深度学习神经网络算法对图像进行智能预处理、判读缺陷存在与否、缺陷定位、缺陷类型识别、缺陷评级,实现图像表征质量的检测。通过该装置,在检测过程中实现了对复杂结构铸件检测过程的精确控制,从而最佳图像;在图像评价过程通过缺陷智能识别,代替人工评片过程,有效地缩减人工检测时长,在保证缺陷识别准确率的前提下,避免人为误差,提高铸件产品质量检测工作效率。通过云平台服务器实现检测数据实时上传与处理,为生产全流程数字化创造条件。
本发明主要应用于复杂结构铸件检测中,如航天复杂空间拓扑结构铸件、复杂回转体结构铸件、复杂机匣与发动机类铸件,有效提高检测质量与检测一致性,提高检测图像评价的准确度与效率,从而最终提升铸件质量,同时检测数据实现云平台存贮与推送为生产流程的数字化与智能化应用提供基础。
图1为本发明铸件产品数字射线图像智能缺陷检测方法示意框图,图1 中,1-原始图像,2-图像预处理,3-缺陷筛选,4-缺陷定位,5-缺陷类型识别,6-缺陷1,7-缺陷2,8-缺陷3,9-合格,10-返工维修,11-让步接收, 12-报废。图2为本发明铸件产品内部缺陷智能检测装置示意图,图2中,①-光路仿真与控制单元,②-X射线管,③-成像板,④-云平台。图3为本发明铸件产品数字射线图像缺陷筛选算法示意图,图3中,a-卷积层,b-降采样层,c-卷积层,d-降采样层,e-全连接层,f-输出层(全连接+Softmax 激活)。图4为本发明铸件产品数字射线图像缺陷定位算法示意图,图4中, A-提取候选框,B-CNN提取特征图,C-ROIpooling,D-分类,5-回归。
本发明的一种铸件产品内部缺陷智能检测装置,包括:X射线管、成像板、光路仿真与控制单元、云平台服务器;如图2所示;
如图1所示,光路仿真与控制单元,能够根据铸件产品的形貌特征或三维模型,通过内置仿真模块优选最佳透照光路,即X射线从射线管发出,垂直于铸件产品表面或其切面透射铸件产品至成像板,或因铸件产品特殊结构无法从垂直表面射入时,保证射线透射铸件产品的路径最短;根据最佳透照管路控制X射线管和成像板,调整其位置,使铸件产品位于X射线管与成像板之间的最佳位置,即成像板位于X射线管发出射线的焦点所在的焦平面;光路仿真与控制单元控制X射线管发出X射线,X射线透射铸件产品后,在成像板上成像,光路仿真与控制单元控制成像板获取X射线图像,即铸件产品原始灰度图像;光路仿真与控制单元,将铸件产品原始灰度图像推送至云平台服务器;
云平台服务器,对铸件产品原始灰度图像进行预处理,使得原始灰度图像的对比度达到要求,得到预处理后的图像;将预处理后的图像输入卷积神经网络模型CNN,进行缺陷筛选,判断预处理后的图像中是否含有缺陷。云平台服务器除了可以将缺陷智能检测方法打包集成外,优选还可以部署在互联网上,输出云服务;还优选可以有效收集汇总检测过程中不同产品,形成不同产品的铸件数字射线图像数据集,为缺陷智能检测方法的研发提供基础。
将判定为含有缺陷的图像,输入到带有感兴趣区域的卷积神经网络模型 RCNN,对有缺陷的图像中的缺陷定位,并标注缺陷所在位置的最小框图,实现缺陷定位。
提取缺陷定位后最小框图内的图像,输入深度学习神经网络模型DNN,进行缺陷分类,得到缺陷的类型。
成像板位于X射线管辐射的焦点上。
对铸件产品原始灰度图像进行预处理,具体如下:
针对厚度梯度变化剧烈的原始灰度图像,预处理方式包括但不限于:图像增强、图像非线性变化、滤波降噪、图像锐化等。
针对表面粗糙的原始灰度图像,预处理方式包括但不限于:图像增强、滤波降噪、图像平滑等。
针对铸件边缘的原始灰度图像,预处理方式包括但不限于:图像增强、图像非线性变化、滤波降噪、小波变换等。
实际进行图像预处理时,会尝试不同的预处理方法组合、参数,并从中优选出效果较好的预处理方法组合、参数。
原始灰度图像的对比度要求,优选为:一个像素点相邻四个像素点的灰度差值满足检测阈值最低区分限度要求。
缺陷,优选包括气孔、夹渣、缩松、裂纹、偏析这几类缺陷。
卷积神经网络模型CNN经过预先训练,优选训练方式如下:
①建立带标签的训练图像集,训练图像为铸件产品原始灰度图像经过预处理后的图像,预先将图像有无缺陷进行标记,形成标签;标签分为有缺陷和无缺陷标记;
②将训练图像集中的图像逐个输入至未经训练的卷积神经网络模型 CNN,CNN中根据需求可以预先设定卷积神经网络模型CNN的结构、目标函数、模型参数优化方法,对卷积神经网络模型CNN进行训练,不局限于具体的哪种结构、目标函数、模型参数优化方法,可以根据需求设定,优选方案为在VGG网络模型结构的基础上利用随机函数初始化模型参数,之后将模型输出与输入的误差定义为目标函数,采用误差反向传播的方法更新模型参数,并用梯度下降的方法寻找参数更新放下求得目标函数极小值,采用上述流程对卷积神经网络模型CNN进行训练,如图3所示,图像输入后,经过卷积得到特征图,经过降采样得到特征图,再重复卷积、降采样过程,将最终得到的特征图输入全连接层,通过输出层输出筛选结果。训练后得到训练好的卷积神经网络模型CNN,即已对卷积神经网络模型CNN中参数进行优化。实际训练过程中,卷积神经网络模型CNN的结构、目标函数、模型参数优化可以进行多种组合进行训练测试,优选方案为CNN的结构除 VGG网络外,还可以选择AlexNet、ResNet等网络结构;目标函数除了输出与输入的误差外,还可以增加学习率、正则项等参数,组成相对复杂的目标函数;模型参数优化除了梯度下降方法外,还可以选择随机梯度下降、动量梯度下降、小批量梯度下降等方法,训练时,可以选取各种方法进行组合,从中选取效果较好的组合,如准确率高、虚检率低、训练速度快等,作为参数进行卷积神经网络模型CNN训练。
训练好的卷积神经网络模型CNN能够输出标签,根据标签判断铸件产品是否有缺陷,实现缺陷筛选。
缺陷所在位置的最小框图,优选为:与缺陷最长径相切的一组平行线和与其垂直的一组平行线(与缺陷边缘最外侧可相切部位)组成的矩形框。
带有感兴趣区域的卷积神经网络模型RCNN,需要经过预先训练,优选训练方式如下:
①建立带有缺陷最小框图的训练图像集;训练图像集中的训练图像,带有铸件产品所有可能发生的缺陷,每个训练图像至少包含一个缺陷,所有可能发生的缺陷,包括:气孔、夹渣、缩松、裂纹、偏析。
②将带有缺陷最小框图的训练图像集中的图像逐个输入至未经训练的带有感兴趣区域的卷积神经网络模型RCNN,根据预先设定带有感兴趣区域的卷积神经网络模型RCNN的结构、目标函数、模型参数优化方法,对带有感兴趣区域的卷积神经网络模型RCNN进行训练,不局限于具体的哪种结构、目标函数、模型参数优化方法,可以根据需求设定,优选方案为在 YOLO网络模型结构的基础上利用随机函数初始化模型参数,之后将模型输出与输入的误差定义为目标函数,采用误差反向传播的方法更新模型参数,并用梯度下降的方法寻找参数更新放下求得目标函数极小值,如图4所示,在输入图像上提取候选框,通过CNN提取特征图的方法将候选框映射到特征图ROI,再通过ROI pooling将ROI调整到固定尺寸,获取ROI特征后进行分类和回归。训练后得到训练好的带有感兴趣区域的卷积神经网络模型RCNN,即已对带有感兴趣区域的卷积神经网络模型RCNN中参数进行优化。实际训练过程中,卷积神经网络模型RCNN的结构、目标函数、模型参数可以进行多种组合进行训练测试,优选方案为RCNN的结构除YOLO网络外,还可以选择SDD等网络结构;目标函数除了输出与输入的误差外,还可以增加学习率、正则项等参数,组成相对复杂的目标函数;模型参数优化除了梯度下降方法外,还可以选择随机梯度下降、动量梯度下降、小批量梯度下降等方法,训练时,可以选取各种方法进行组合,从中选取效果好的组合,如准确率高、虚检率低、训练速度快等,作为参数进行卷积神经网络模型RCNN训练。
训练好的带有感兴趣区域的卷积神经网络模型RCNN优选能够输出缺陷所在位置的最小框图,根据缺陷所在位置的最小框图,实现缺陷定位。
深度学习神经网络模型DNN,需要经过预先训练,优选训练方式如下:
①建立带缺陷类型标签的带有缺陷最小框图的训练图像集;每个带有缺陷最小框图的训练图像的缺陷类型标签对应一种缺陷类型;
②将带缺陷类型标签的带有缺陷最小框图的训练图像集中的图像逐个输入至未经训练的深度学习神经网络模型DNN,根据预先设定深度学习神经网络模型DNN的结构、目标函数、模型参数优化方法,对深度学习神经网络模型DNN进行训练,不局限于具体的哪种结构、目标函数、模型参数优化方法,可以根据需求设定,优选方案为在AlexNet网络模型结构的基础上利用随机函数初始化模型参数,之后将模型输出与输入的误差定义为目标函数,采用误差反向传播的方法更新模型参数,并用梯度下降的方法寻找参数更新放下求得目标函数极小值,采用上述流程对深度学习神经网络模型 DNN进行训练,得到训练好的深度学习神经网络模型DNN,即已对深度学习神经网络模型DNN中参数进行优化。实际训练过程中,卷积神经网络模型DNN的结构、目标函数、模型参数可以进行多种组合进行训练测试,优选方案为DNN的结构除AlexNet网络外,还可以优选为VGG、ResNet等网络结构;目标函数除了输出与输入的误差外,还可以增加学习率、正则项等参数,组成相对复杂的目标函数;模型参数优化除了梯度下降方法外,还可以选择随机梯度下降、动量梯度下降、小批量梯度下降等方法,训练时,可以选取各种方法进行组合,从中选取效果好的组合,如准确率高、虚检率低、训练速度快等,作为参数进行卷积神经网络模型DNN训练。
深度学习神经网络模型DNN能够输出带缺陷类型标签,根据带缺陷类型标签,实现缺陷分类。
在缺陷分类后,还可以对经过分类后的缺陷,进行缺陷评级,判断其缺陷等级是否满足预先输入的同种缺陷的不同级别图样,并输出检测结果;
本发明进行预处理,实现缺陷对比度提高的进一步方案为:引入优化算法,寻找缺陷对比度最大化的预处理组合。
本发明设定原始灰度图像的对比度要求,实现图像对比度提高的进一步方案为:根据待检铸件的尺寸、材料,调整X射线辐照强度。
本发明卷积神经网络模型CNN进行训练,实现缺陷筛选提高的进一步方案为:选择残差网络ResNet的结构作为卷及神经网络模型CNN的结构进行训练。
本发明带有感兴趣区域的卷积神经网络模型RCNN进行训练,实现缺陷定位提高的进一步方案为:选择Faster R-CNN模型的结构作为带有感兴趣区域的卷及神经网络模型RCNN的结构进行训练。
本发明深度学习神经网络模型DNN进行训练,实现缺陷分类提高的进一步方案为:在深度学习神经网络模型DNN的目标函数中优化学习率、正则项部分
本发明在缺陷分类后,还可以对经过分类后的缺陷,进行缺陷评级,判断其缺陷等级是否满足检验标准,并输出检测结果,优选方案为:
在缺陷分类后,应用DNN网络对经过分类后的缺陷,进行缺陷评级,具体是将待评级图像输入已经训练好的网络,并输出表征缺陷等级的标签,判断依据是评价其是否满足事先DNN网络训练人员输入的同种缺陷的不同级别图样。
本发明能够实现装置什么指标提高的进一步方案为:实现智能评片的漏判率降低的进一步方案为,将漏判率写入目标函数,进行优化
在铸件产品检测过程中,本发明克服了通常采用的射线成像技术对铸件产品内部信息拍片,之后由经验丰富的工人根据片子对铸件产品内部缺陷判读的问题。并且解决了质量检测期间,用工成本高、经验丰富的工人稀缺、培养具备检测资质的技术工人周期长,且随着检测工作强度的增加,人工检测往往伴随着检测效率低、检测结果误判漏判等人为误差,严重影响产品质量检测工作的问题。
以铸件舱体为进一步的优选方案,本发明提出的铸件产品缺陷智能检测装置及方法关键流程如下:(1)射线源至于圆筒形舱体内部,X射线自射线源发出,垂直于铸件舱体表面切面射入,形成最佳透照光路,由置于舱体外部且位于射线焦平面上的成像板接收,形成铸件舱体数字射线原始灰度图像,推送至云平台服务器。(2)云平台服务器对铸件舱体数字射线原始灰度图像进行预处理,使得原始灰度图像的对比度达到要求,得到预处理后的图像;(3)将预处理后的图像输入卷积神经网络模型CNN,进行缺陷筛选,判断预处理后的图像中是否含有缺陷。卷积神经网络模型CNN需要预先训练,在VGG网络模型结构的基础上利用随机函数初始化模型参数得到未经训练的卷积神经网络模型CNN,将模型输出与输入的误差定义为目标函数,采用误差反向传播的方法更新模型参数,并用梯度下降的方法寻找参数更新放下求得目标函数极小值,完成对卷积神经网络模型CNN的训练。训练后的卷积神经网络模型CNN具备缺陷筛选能力,能够将输入图像进行有无缺陷的筛选。(4)将判定为含有缺陷的图像,输入到带有感兴趣区域的卷积神经网络模型RCNN,对有缺陷的图像中的缺陷定位,并标注缺陷所在位置的最小框图,实现缺陷定位。带有感兴趣区域的卷积神经网络模型RCNN 需要预先训练,在YOLO网络模型结构的基础上利用随机函数初始化模型参数得到未经训练的带有感兴趣区域的卷积神经网络模型RCNN,将模型输出与输入的误差定义为目标函数,采用误差反向传播的方法更新模型参数,并用梯度下降的方法寻找参数更新放下求得目标函数极小值,完成对带有感兴趣区域的卷积神经网络模型RCNN的训练。训练后的带有感兴趣区域的卷积神经网络模型RCNN具备缺陷定位能力,能够标注缺陷所在位置的最小框图,实现缺陷定位。(5)提取缺陷定位后最小框图内的图像,输入深度学习神经网络模型DNN,进行缺陷分类,得到缺陷的类型。深度学习神经网络模型DNN需要预先训练,在AlexNet网络模型结构的基础上利用随机函数初始化模型参数得到未经训练的深度学习神经网络模型DNN,将模型输出与输入的误差定义为目标函数,采用误差反向传播的方法更新模型参数,并用梯度下降的方法寻找参数更新放下求得目标函数极小值,完成对深度学习神经网络模型DNN的训练。训练后的深度学习神经网络模型DNN 具备缺陷分类能力,能够将输入的最小框图内的缺陷图像具体类别(气孔、夹渣、缩松、裂纹、偏析)进行分类。
本发明进行了评片效率测试,从铸件数字射线图像中随机抽取100张图像,分别交给有经验的评片师评片和本发明所提及的缺陷智能检测装置及方法评片,记录人工评片和机器评片的总时间,计算每一张图像的评片时间。测试结果为,人工平片时间30.2秒每张,机器平片时间14.6秒每张。本发明提及的缺陷智能检测装置及方法比传统人工评片方式提升效率约100%。
通过对比可知,本发明中以计算机结合深度学习神经网络人工智能算法的检测方式代替传统人工检测方式,将经验丰富的检验技能人员的检测知识转换为可被计算机量化的机器语言,通过对X射线检测设备采集到的数字图像,采用人工智能新技术进行分析图像,对图像中的缺陷定位、识别、评级,自动化、智能化判读输出结果,在保证检测准确率的前提下,可以长时间稳定工作,避免人为误差,提高工作效率,缩减用工成本。且在检测数据量不断积累的情况下,检测正确率也将随之提高。
Claims (10)
1.一种铸件产品内部缺陷智能检测装置,其特征在于包括:X射线管、成像板、光路仿真与控制单元、云平台服务器;
光路仿真与控制单元,能够根据铸件产品的外形或三维模型,选择最佳透照光路,并能够根据最佳透照光路,调整X射线管和成像板的位置,使铸件产品位于X射线管与成像板之间的最佳位置;光路仿真与控制单元控制X射线管发出X射线,X射线透射铸件产品后,在成像板上成像,得到X射线图像,即铸件产品原始灰度图像;将铸件产品原始灰度图像推送至云平台服务器;
云平台服务器,对铸件产品原始灰度图像进行预处理,使得原始灰度图像的对比度达到要求,即得到预处理后的图像;将预处理后的图像输入卷积神经网络模型CNN,进行缺陷筛选,判断预处理后的图像中是否含有缺陷;
将判定为含有缺陷的图像,输入到带有感兴趣区域的卷积神经网络模型RCNN,对有缺陷的图像中的缺陷定位,并标注缺陷所在位置的最小框图,实现缺陷定位;
提取缺陷定位后最小框图内的图像,输入深度学习神经网络模型DNN,进行缺陷分类,得到缺陷的类型;深度学习神经网络模型DNN需要预先训练,在AlexNet网络模型结构的基础上利用随机函数初始化模型参数得到未经训练的深度学习神经网络模型DNN,将模型输出与输入的误差定义为目标函数,采用误差反向传播的方法更新模型参数,并用梯度下降的方法寻找参数更新放下求得目标函数极小值,完成对深度学习神经网络模型DNN的训练;
对经过分类后的缺陷,应用DNN网络进行缺陷评级,判断其缺陷等级是否满足预先DNN网络训练输入的同种缺陷的不同级别图样,并输出检测结果。
2.根据权利要求1所述的一种铸件产品内部缺陷智能检测装置,其特征在于:成像板要位于X射线管辐射的焦点上。
3.根据权利要求1所述的一种铸件产品内部缺陷智能检测装置,其特征在于:对铸件产品原始灰度图像进行预处理,具体如下:
针对厚度梯度变化剧烈的原始灰度图像,预处理方式包括但不限于:图像增强、图像非线性变化、滤波降噪、图像锐化;
针对表面粗糙的原始灰度图像,预处理方式包括但不限于:图像增强、滤波降噪、图像平滑;
针对铸件边缘的原始灰度图像,预处理方式包括但不限于:图像增强、图像非线性变化、滤波降噪、小波变换。
4.根据权利要求1所述的一种铸件产品内部缺陷智能检测装置,其特征在于:原始灰度图像的对比度要求,具体为:一个像素点相邻四个像素点的灰度差值满足检测阈值最低区分限度要求。
5.根据权利要求1所述的一种铸件产品内部缺陷智能检测装置,其特征在于:缺陷,包括气孔、夹渣、缩松、裂纹、偏析这几类缺陷。
6.根据权利要求1所述的一种铸件产品内部缺陷智能检测装置,其特征在于:卷积神经网络模型CNN经过预先训练,具体训练方式如下:
(1)建立带标签的训练图像集,训练图像为铸件产品原始灰度图像经过预处理后的图像,预先将图像有无缺陷进行标记,形成标签;标签分为有缺陷和无缺陷标记;
(2)将训练图像集中的图像逐个输入至未经训练的卷积神经网络模型CNN,根据预先设定卷积神经网络模型CNN的结构、目标函数、模型参数优化方法,对卷积神经网络模型CNN进行训练,得到训练好的卷积神经网络模型CNN,即已对卷积神经网络模型CNN中参数进行优化。
7.根据权利要求1所述的一种铸件产品内部缺陷智能检测装置,其特征在于:训练好的卷积神经网络模型CNN能够输出标签,根据标签判断铸件产品是否有缺陷,实现缺陷筛选。
8.根据权利要求1所述的一种铸件产品内部缺陷智能检测装置,其特征在于:缺陷所在位置的最小框图,是指:与缺陷最长径相切的一组平行线和与其垂直的一组平行线组成的矩形框。
9.根据权利要求1所述的一种铸件产品内部缺陷智能检测装置其特征在于:带有感兴趣区域的卷积神经网络模型RCNN,需要经过预先训练,训练方式如下:
(1)建立带有缺陷最小框图的训练图像集;
(2)将带有缺陷最小框图的训练图像集中的图像逐个输入至未经训练的带有感兴趣区域的卷积神经网络模型RCNN,根据预先设定带有感兴趣区域的卷积神经网络模型RCNN的结构、目标函数、模型参数优化方法,对带有感兴趣区域的卷积神经网络模型RCNN进行训练,得到训练好的带有感兴趣区域的卷积神经网络模型RCNN,即已对带有感兴趣区域的卷积神经网络模型RCNN中参数进行优化。
10.根据权利要求1所述的一种铸件产品内部缺陷智能检测装置,其特征在于:训练好的带有感兴趣区域的卷积神经网络模型RCNN能够输出缺陷所在位置的最小框图,根据缺陷所在位置的最小框图,实现缺陷定位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910964693.9A CN110779937B (zh) | 2019-10-11 | 2019-10-11 | 一种铸件产品内部缺陷智能检测装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910964693.9A CN110779937B (zh) | 2019-10-11 | 2019-10-11 | 一种铸件产品内部缺陷智能检测装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110779937A CN110779937A (zh) | 2020-02-11 |
CN110779937B true CN110779937B (zh) | 2023-02-03 |
Family
ID=69385082
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910964693.9A Active CN110779937B (zh) | 2019-10-11 | 2019-10-11 | 一种铸件产品内部缺陷智能检测装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110779937B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111476756B (zh) * | 2020-03-09 | 2024-05-14 | 重庆大学 | 一种基于改进YOLOv3网络模型识别铸件DR图像疏松缺陷的方法 |
CN111709906A (zh) * | 2020-04-13 | 2020-09-25 | 北京深睿博联科技有限责任公司 | 医学图像的质量评估方法和装置 |
CN111612784B (zh) * | 2020-06-01 | 2023-11-14 | 南通大学 | 一种基于分类优先yolo网络的钢板表面缺陷检测方法 |
CN111610205A (zh) * | 2020-06-12 | 2020-09-01 | 上海鸢安智能科技有限公司 | 一种金属零部件x光图像缺陷检测装置 |
US11644756B2 (en) * | 2020-08-07 | 2023-05-09 | KLA Corp. | 3D structure inspection or metrology using deep learning |
CN111830070A (zh) * | 2020-08-10 | 2020-10-27 | 中海石油气电集团有限责任公司 | 一种基于边缘计算的缺陷自动识别评判系统及方法 |
CN112083017A (zh) * | 2020-09-10 | 2020-12-15 | 上海航天精密机械研究所 | 焊缝内部缺陷智能检测装置、方法及介质 |
CN112845159B (zh) * | 2020-12-02 | 2023-01-24 | 河南航天液压气动技术有限公司 | 一种基于机器学习的管路视觉检测系统及方法 |
CN112733882A (zh) * | 2020-12-22 | 2021-04-30 | 郑州金惠计算机系统工程有限公司 | 基于深度学习的气缸套表面缺陷检测方法及系统和设备 |
CN113139507B (zh) * | 2021-05-12 | 2022-06-17 | 保定金迪地下管线探测工程有限公司 | 一种排水管道缺陷照片自动截取方法及其系统 |
CN113269731A (zh) * | 2021-05-13 | 2021-08-17 | 苏州迪宏人工智能科技有限公司 | 一种缺陷检测方法及系统 |
CN113866189A (zh) * | 2021-08-24 | 2021-12-31 | 上海航天精密机械研究所 | 基于多机械手协同的射线数字成像检测装置及其检测方法 |
CN113781415A (zh) * | 2021-08-30 | 2021-12-10 | 广州大学 | 一种x射线图像的缺陷检测方法、装置、设备及介质 |
CN113899746B (zh) * | 2021-09-30 | 2024-05-17 | 江苏纹动测控科技有限公司 | 一种基于dic的钢结构疲劳裂纹扩展形态测量方法 |
CN114724009B (zh) * | 2022-04-26 | 2022-09-27 | 北京拙河科技有限公司 | 一种基于改进的深度学习网络的图像识别方法及装置 |
CN115100195B (zh) * | 2022-08-24 | 2022-11-22 | 浙江双元科技股份有限公司 | 一种用于片材检测的一体化工业相机 |
CN117592172B (zh) * | 2024-01-18 | 2024-04-16 | 华东交通大学 | 一种基坑围护结构变形控制逆向设计方法及系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104977313A (zh) * | 2014-04-09 | 2015-10-14 | 四川省特种设备检验研究院 | 一种焊缝x射线图像缺陷检测与识别方法和装置 |
CN107607554A (zh) * | 2017-09-26 | 2018-01-19 | 天津工业大学 | 一种基于全卷积神经网络的镀锌冲压件的瑕疵检测与分类方法 |
CN109658396A (zh) * | 2018-12-06 | 2019-04-19 | 华中科技大学 | 一种基于选择性搜索与cnn的铸件x光图像缺陷识别方法 |
CN110222681A (zh) * | 2019-05-31 | 2019-09-10 | 华中科技大学 | 一种基于卷积神经网络的铸件缺陷识别方法 |
-
2019
- 2019-10-11 CN CN201910964693.9A patent/CN110779937B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110779937A (zh) | 2020-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110779937B (zh) | 一种铸件产品内部缺陷智能检测装置 | |
CN112083017A (zh) | 焊缝内部缺陷智能检测装置、方法及介质 | |
CN110070008B (zh) | 一种采用无人机图像的桥梁病害识别方法 | |
CN111862064B (zh) | 一种基于深度学习的银质丝材表面瑕疵识别方法 | |
CN110211101A (zh) | 一种铁轨表面缺陷快速检测系统及方法 | |
Li et al. | Automatic crack recognition for concrete bridges using a fully convolutional neural network and naive Bayes data fusion based on a visual detection system | |
CN110473173A (zh) | 一种基于深度学习语义分割的缺陷检测方法 | |
CN109977808A (zh) | 一种晶圆表面缺陷模式检测与分析方法 | |
CN109658396A (zh) | 一种基于选择性搜索与cnn的铸件x光图像缺陷识别方法 | |
CN108918539A (zh) | 一种隧道结构表观病害检测装置及方法 | |
CN110458807A (zh) | 一种铁路轨道缺陷机器视觉检测系统 | |
CN107621435A (zh) | 一种骨料在线监测装置 | |
CN108711148B (zh) | 一种基于深度学习的轮胎缺陷智能检测方法 | |
CN110927171A (zh) | 一种基于机器视觉的轴承滚子倒角面缺陷检测方法 | |
CN111783616B (zh) | 一种基于数据驱动自学习的无损检测方法 | |
CN115294033A (zh) | 一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法 | |
CN114049618A (zh) | 一种基于图-点-图变换的路面三维病害pci计算方法 | |
CN115205255A (zh) | 基于深度学习的石料自动分级方法与系统 | |
CN111830070A (zh) | 一种基于边缘计算的缺陷自动识别评判系统及方法 | |
CN115760837A (zh) | 一种基于深度神经网络的晶体质量评估方法及系统 | |
Zhang et al. | Research on pipeline defect detection based on optimized faster r-cnn algorithm | |
CN117422699A (zh) | 公路检测方法、装置、计算机设备及存储介质 | |
CN116756372A (zh) | 一种烟支缺陷检测方法及装置 | |
CN112435245A (zh) | 基于物联网的磁痕缺陷自动识别方法 | |
CN113270156B (zh) | 基于图像处理的机制砂石粉的检测建模、检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |