CN109859177A - 基于深度学习的工业射线影像评定方法及装置 - Google Patents
基于深度学习的工业射线影像评定方法及装置 Download PDFInfo
- Publication number
- CN109859177A CN109859177A CN201910043815.0A CN201910043815A CN109859177A CN 109859177 A CN109859177 A CN 109859177A CN 201910043815 A CN201910043815 A CN 201910043815A CN 109859177 A CN109859177 A CN 109859177A
- Authority
- CN
- China
- Prior art keywords
- industrial
- area
- ray image
- defect
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明公开了一种基于深度学习的工业射线影像评定方法及装置,所述方法包括:获取待检测的工业射线影像;基于预先训练的焊缝分割模型对所述工业射线影像进行识别,获得感兴趣区域;基于预先训练的各类缺陷检测模型对所述感兴趣区域进行检测,获得缺陷检测结果;基于预先训练的误检鉴别器对所述缺陷检测结果进行鉴别,获得最终评定结果,从而提高工业射线影像的评定效率、准确性和可靠性。
Description
技术领域
本发明涉及信息处理技术领域,特别是指一种基于深度学习的工业射线影像评定方法及装置。
背景技术
焊接作为一种基本的工艺方法被广泛应用于航空航天、电力、船舶、机械及特种设备生产等领域,然而焊接过程中受各种因素的影响,焊缝会不可避免的出现气孔、裂纹、夹钨、夹渣等缺陷,影响产品的质量和可靠性。
工业射线检测是采用射线作为检测源,对金属焊缝成像得到底片影像或实时数字影像,通过人工评定的方法对影像中的各种信息进行分析、识别及缺陷检测,从而判断出焊缝的质量情况。然而由于影像中缺陷形态、尺寸各异,缺陷与背景的对比度差异较大,人工评定方法表现出培训周期长、检测效率低、判定标准不一、评定结果品质参差不齐等缺点,在效率和准确性方面均难以达到工业化生产的需求。
发明内容
有鉴于此,本发明的目的在于提出一种基于深度学习的工业射线影像评定方法及装置,实现对工业射线影像中焊缝缺陷的自动检测,提高工业射线影像的评定效率、准确性和可靠性。
基于上述目的本发明提供的基于深度学习的工业射线影像评定方法,包括:
获取待检测的工业射线影像;
基于预先训练的焊缝分割模型对所述工业射线影像进行识别,获得感兴趣区域;
基于预先训练的各类缺陷检测模型对所述感兴趣区域进行检测,获得缺陷检测结果;
基于预先训练的误检鉴别器对所述缺陷检测结果进行鉴别,获得最终评定结果。
进一步地,所述基于预先训练的焊缝分割模型对所述工业射线影像进行识别,获得感兴趣区域,具体包括:
基于预先训练的焊缝分割模型识别出所述工业射线影像中的焊缝区域;
计算所述焊缝区域在整个影像中的占比和所述焊缝区域的宽高比;
若所述占比和宽高比大于第一预设阈值,则判定所述焊缝区域可靠,对所述焊缝区域进行补全处理,并将补全后的焊缝区域作为感兴趣区域,否则判定所述焊缝区域不可靠,将所述工业射线影像作为感兴趣区域。
进一步地,所述对所述焊缝区域进行补全处理,具体包括:
对所述焊缝区域进行直线拟合,计算拟合直线相对于竖直方向的倾角;
根据所述倾角计算旋转仿射变换矩阵,以对所述工业射线影像进行仿射变换,使变换后的工业射线影像中的焊缝区域呈竖直方向;
采用预设的高阈值和低阈值联合判断所述焊缝区域的起止点;
根据所述起止点补全所述焊缝区域。
进一步地,所述采用预设的高阈值和低阈值联合判断所述焊缝区域的起止点,具体包括:
对变换后的工业射线影像进行垂直方向的积分投影;
寻找投影值大于所述高阈值的连续区域;
若连续区域数为1,则将所述连续区域的起止点作为所述焊缝区域的起止点;
若连续区域数大于1,则寻找多个连续区域中宽度最大的连续区域,并计算在所述低阈值处宽度最大连续区域到其相邻连续区域的距离,若所述距离小于预设距离阈值且相邻连续区域在所述低阈值处的宽度小于预设宽度阈值,则将所述宽度最大连续区域与其相邻连续区域合并,并将合并后的区域的左右边界作为所述焊缝区域的起止点,否则将所述宽度最大连续区域的起止点作为所述焊缝区域的起止点。
进一步地,所述缺陷检测结果包括缺陷区域及对应的缺陷类别;
所述基于预先训练的误检鉴别器对所述缺陷检测结果进行鉴别,获得最终评定结果,具体包括:
提取所述缺陷区域的连通域长度、连通域宽度、连通域长宽比和连通域面积,并与相应的阈值进行比较;
若提取的值小于第二预设阈值,则判定所述缺陷区域为误检区域;否则以所述缺陷区域的中心点为中心,裁剪出预设大小的区域块,并基于预先训练的误检鉴别器对所述缺陷区域进行鉴别,若鉴别结果为正常,则判定所述缺陷区域为误检区域;
去除所述缺陷检测结果中的误检区域及对应的缺陷类别,获得最终评定结果。
进一步地,在所述获取待检测的工业射线影像之前,还包括:
建立样本数据库;
根据所述样本数据库,并基于深度学习的语义分割算法,建立并训练所述焊缝分割模型;
根据所述样本数据库,并基于深度学习的语义分割算法,建立并训练对应的缺陷检测模型;
根据所述样本数据库,并基于深度学习的图像分类方法,建立并训练所述误检鉴别器。
进一步地,所述建立样本数据库,具体包括:
获取样本图像;
对所述样本图像进行清洗,以去除不合格的样本图像;
在清洗后的样本图像上标注焊缝区域、缺陷类别、黑度值和对比度并保存,以建立样本数据库。
进一步地,所述根据所述样本数据库,并基于深度学习的语义分割算法,建立并训练所述焊缝分割模型,具体包括:
从所述样本数据库中抽取标注有焊缝区域的焊缝样本集;
对所述焊缝样本集进行数据增强;
针对增强后的焊缝样本集,设置不同的训练参数组合,并基于深度学习的语义分割算法,建立并训练焊缝分割模型,持续优化焊缝样本集和训练参数组合,直到获得满足所需准确度的焊缝分割模型。
进一步地,所述根据所述样本数据库,并基于深度学习的语义分割算法,建立并训练对应的缺陷检测模型,具体包括:
从所述样本数据库中抽取标注有各种缺陷类型的缺陷样本集;
对于与焊缝的区分度高于第三预设阈值的缺陷类型,根据所述缺陷类型的缺陷样本集,并基于深度学习的语义分割算法,建立并训练所述缺陷类型的缺陷检测模型;
对于与焊缝的区分度低于第三预设阈值的缺陷类型,将所述缺陷类型的缺陷样本集按照黑度值进行划分,根据所述缺陷类型的每一黑度值的缺陷样本集,并基于深度学习的语义分割算法,建立并训练所述缺陷类型的每一黑度值的缺陷检测模型。
本发明还提供一种基于深度学习的工业射线影像评定装置,能够实现上述基于深度学习的工业射线影像评定方法的所有流程,所述装置包括:
影像获取模块,用于获取待检测的工业射线影像;
区域识别模块,用于基于预先训练的焊缝分割模型对所述工业射线影像进行识别,获得感兴趣区域;
缺陷检测模块,用于基于预先训练的各类缺陷检测模型对所述感兴趣区域进行检测,获得缺陷检测结果;
缺陷鉴别模块,用于基于预先训练的误检鉴别器对所述缺陷检测结果进行鉴别,获得最终评定结果。
从上面所述可以看出,本发明提供的基于深度学习的工业射线影像评定方法及装置,能够基于预先训练的焊缝分割模型对获取的工业射线影像进行识别,获得感兴趣区域,基于预先训练的各类缺陷检测模型对所述感兴趣区域进行检测,获得缺陷检测结果,基于预先训练的误检鉴别器对所述缺陷检测结果进行鉴别,获得最终评定结果,实现对工业射线影像中焊缝缺陷的自动检测,提高工业射线影像的评定效率、准确性和可靠性。
附图说明
图1为本发明实施例提供的基于深度学习的工业射线影像评定方法的流程示意图;
图2为本发明实施例提供的基于深度学习的工业射线影像评定方法的另一流程示意图;
图3为本发明实施例提供的基于深度学习的工业射线影像评定装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
参见图1,是本发明实施例提供的基于深度学习的工业射线影像评定方法的流程示意图,所述方法包括:
101、获取待检测的工业射线影像。
需要说明的是,工业射线影像为对金属焊缝成像得到的底片影像或实时数字影像。熔焊技术要求检出的焊缝内部缺陷一般包括气孔、夹钨、裂纹、非金属夹杂、未焊透、未熔合、金属丝、氧化膜夹杂物等。
102、基于预先训练的焊缝分割模型对所述工业射线影像进行识别,获得感兴趣区域。
例如,步骤102具体包括:
基于预先训练的焊缝分割模型识别出所述工业射线影像中的焊缝区域;
计算所述焊缝区域在整个影像中的占比和所述焊缝区域的宽高比;
若所述占比和宽高比大于第一预设阈值,则判定识别出的焊缝区域可靠,对所述焊缝区域进行补全处理,并将补全后的焊缝区域作为感兴趣区域,否则判定识别出的焊缝区域不可靠,将所述工业射线影像作为感兴趣区域。
在本实施例中,调用预先训练的焊缝分割模型检测出工业射线影像中的焊缝区域。由于有少数影像的焊缝区域与背景区域对比度极其微弱,焊缝区域的检测结果可能会出现大面积未检出情况,若仅对检出区域进行后续缺陷检测,会造成缺陷漏检,为此需对焊缝检测结果进行可靠性判定。
进而,采用第一预设阈值判断焊缝区域的检测结果是否可靠,即根据检出的焊缝区域面积占整幅影像的比例及焊缝区域的宽高比判定焊缝区域的检测结果的可靠性。若检出结果不可靠,将整幅影像作为感兴趣区域,进行后续缺陷检测;若检出结果可靠,考虑到有些影像的焊缝区域亮度不均匀或存在其他干扰,像素级焊缝区域的检测结果会出现局部未检出或临近焊缝的背景区域被检出的情况,为此需对焊缝区域的检测结果进行二次处理,补全焊缝区域中局部未检出区域并去除误检,以得到可靠的感兴趣区域。
进一步地,所述对所述焊缝区域进行补全处理,具体包括:
对所述焊缝区域进行直线拟合,计算拟合直线相对于竖直方向的倾角θ;
根据所述倾角θ计算旋转仿射变换矩阵,以对所述工业射线影像进行仿射变换,使变换后的工业射线影像中的焊缝区域呈竖直方向;
采用预设的高阈值thrH和低阈值thrL联合判断所述焊缝区域的起止点;
根据所述起止点补全所述焊缝区域。
需要说明的是,在补全焊缝区域后,根据倾角θ计算反向旋转仿射变换矩阵,根据反向旋转仿射变换矩阵,对补全焊缝区域的影像进行变换,得到感兴趣区域的掩膜图。
进一步地,所述采用预设的高阈值thrH和低阈值thrL联合判断所述焊缝区域的起止点,具体包括:
对变换后的工业射线影像进行垂直方向的积分投影;
寻找投影值大于所述高阈值的连续区域;
若连续区域数为1,则将所述连续区域的起止点作为所述焊缝区域的起止点;
若连续区域数大于1,则寻找多个连续区域中宽度最大的连续区域,并计算在所述低阈值处宽度最大连续区域到其相邻连续区域的距离,若所述距离小于预设距离阈值且相邻连续区域在所述低阈值处的宽度小于预设宽度阈值,则将所述宽度最大连续区域与其相邻连续区域合并,并将合并后的区域的左右边界作为所述焊缝区域的起止点,否则将所述宽度最大连续区域的起止点作为所述焊缝区域的起止点。
需要说明的是,寻找投影值大于高阈值thrH的连续区域后,若连续区域数为1,则该连续区域的起止点即为焊缝区域的起止点。然而由于焊缝区域的检出结果存在像素级漏检和误检,投影值大于thrH的连续区域可能有多处,因此需要对寻找到的连续区域加以合并或滤除。
若连续区域数大于1,则寻找多个连续区域中宽度最大的连续区域,计算在低阈值thrL处宽度最大连续区域的左边界和其前一连续区域右边界的距离disleft,若disleft小于预设距离阈值thrdis且前一连续区域在低阈值处的宽度小于预设宽度阈值thrwidth,则将两连续区域合并;同样地,计算在低阈值thrL处宽度最大连续区域的右边界和其后一连续区域左边界的距离disright,若该距离小于预设距离阈值thrdis且后一连续区域在低阈值处的宽度小于预设宽度阈值thrwidth,则将两连续区域合并,将合并后区域的左右边界视为焊缝区域的起止点。若不满足上述任何一个条件,则将宽度最大连续区域的起止点视为焊缝区域的起止点。
优选地,预设的高阈值thrH为70,预设的低阈值thrL为5,预设的两连续区域间的距离阈值thrdis为60;预设宽度阈值thrwidth为5。
103、基于预先训练的各类缺陷检测模型对所述感兴趣区域进行检测,获得缺陷检测结果。
在本实施例中,调用各类缺陷检测模型,对影像中的感兴趣区域进行检测,得到像素级的缺陷检测结果。其中,不同缺陷检测模型用于检测不同的缺陷,各类缺陷检测模型可并行或串行执行,不影响检测结果。
104、基于预先训练的误检鉴别器对所述缺陷检测结果进行鉴别,获得最终评定结果。
在本实施例中,采用多个预先训练的误检鉴别器对缺陷检测结果进行鉴别,其中,缺陷检测结果包括缺陷区域及对应的缺陷类别,通过误检鉴别器以排除缺陷检测结果中不满足缺陷特征的缺陷区域。由于部分类别缺陷(如气孔)与焊缝区域的颜色特征极为接近,而且图像中存在其他因素的干扰如水渍等伪缺陷,像素级检测结果中会出现与真实缺陷形态及颜色相近的误检,因此有必要针对这些缺陷的检出结果设计相应的误检鉴别器进行二次判定,消除误报。
例如,步骤104具体包括:
提取所述缺陷区域的连通域长度、连通域宽度、连通域长宽比和连通域面积,并与相应的阈值进行比较;
若提取的值小于第二预设阈值,则判定所述缺陷区域为误检区域;否则以所述缺陷区域的中心点为中心,裁剪出预设大小的区域块,并基于预先训练的误检鉴别器对所述缺陷区域进行鉴别,若鉴别结果为正常,则判定所述缺陷区域为误检区域;
去除所述缺陷检测结果中的误检区域及对应的缺陷类别,获得最终评定结果。
需要说明的是,误检鉴别联合采用特征阈值比较鉴别和模型鉴别方法。在误检鉴别时采用多个误检鉴别器,如夹钨类缺陷鉴别器、气孔类缺陷鉴别器、裂纹类缺陷鉴别器等。其中,特征阈值鉴别法指提取缺陷区域的连通域长度、连通域宽度、连通域长宽比及连通域面积等特征值,与第二预设阈值进行比较,若检出缺陷区域的特征值小于相应的第二预设阈值,则该缺陷区域为误检。模型鉴别法在特征阈值鉴别之后采用,主要用来进一步判定气孔、裂纹等与焊缝区分度较低的缺陷检测结果,具体方法为以检出的缺陷区域的中心点为中心,裁剪出大小为W×H大小的区域块,针对该区域块,调用所述误检鉴别模型判断其属性,若误检鉴别模型鉴别结果为正常,则该区域块所在的缺陷区域为误检区域;反之,该区域块所在的缺陷区域为真实缺陷区域。优选地,W和H的取值均为300。
对上述鉴别后的缺陷检测结果进行融合,得到最终评定结果,包括最终的缺陷区域及缺陷类别。
进一步地,在步骤101之前,即在所述获取待检测的工业射线影像之前,还包括步骤11至步骤14。
11、建立样本数据库。
需要说明的是,样本数据库用于存储和管理原始样本数据和预处理后的样本数据。
例如,步骤11具体包括:
获取样本图像;
对所述样本图像进行清洗,以去除不合格的样本图像;
在清洗后的样本图像上标注焊缝区域、缺陷类别、黑度值和对比度并保存,以建立样本数据库。
在本实施例中,获取样本图像后,确定样本图像区域标签及各类缺陷标签。其中样本图像区域标签包括焊缝区域、非焊缝区域,焊缝区域内缺陷的类别标签包括气孔、夹钨、裂纹、非金属夹杂、未焊透、未熔合、金属丝、氧化膜夹杂物。
进而,对所述样本图像进行清洗、分类、分割、标注,建立样本数据库。其中,清洗旨在剔除不合格的样本图像;分类是指按照缺陷类别、黑度值、对比度对样本图像进行划分;标注是根据规定的标签规则对焊缝、缺陷等进行标注,得到的标注样本用于后续的模型训练。
其中,对比度为主观概念,在样本数据库中存储时按以下方式量化:由于射线影像分为焊缝和非焊缝两大区域,基于区间统计图像的灰度直方图,计算两大峰值所对应灰度值的差值,将其作为图像对比度的客观衡量指标。
12、根据所述样本数据库,并基于深度学习的语义分割算法,建立并训练所述焊缝分割模型。
需要说明的是,焊缝分割模型的训练采用基于深度学习的语义分割算法,可实现像素级检测。
例如,步骤12具体包括:
从所述样本数据库中抽取标注有焊缝区域的焊缝样本集;
对所述焊缝样本集进行数据增强;
针对增强后的焊缝样本集,设置不同的训练参数组合,并基于深度学习的语义分割算法,建立并训练焊缝分割模型,持续优化焊缝样本集和训练参数组合,直到获得满足所需准确度的焊缝分割模型。
在本实施例中,抽取焊缝样本集后,将焊缝样本集按4:1:2划分为训练集、验证集和测试集。对训练集进行数据增强,其中数据增强方法包括图像的翻转变换、尺度变换、对比度变换、亮度变换、锐化、噪声扰动。
进而,针对增强后的焊缝训练集,设计不同的训练参数组合,基于深度学习的语义分割算法建立焊缝分割训练模型,多次迭代训练、测试过程,持续优化训练样本及训练参数组合直至得到满足所需准确度的焊缝分割模型。
在一个优选地实施方式中,在抽取焊缝样本集时,根据焊缝与背景对比度的不同进行分组抽取,即对比度高的图像和对比度低的图像为两组样本集,针对这两组样本集,分别训练得到两组针对不同对比度图像的焊缝分割模型。
优选地,对比度高、低可通过对比度阈值确定。人工挑选100幅对比度高和100幅对比度低的图像,分别统计出各自对比度客观值的区间范围,两个区间的交叉点设为对比度高低的分界值。
13、根据所述样本数据库,并基于深度学习的语义分割算法,建立并训练对应的缺陷检测模型。
需要说明的是,缺陷检测模型的训练采用基于深度学习的语义分割算法,可实现像素级检测及类别判断。
例如,步骤13具体包括:
从所述样本数据库中抽取标注有各种缺陷类型的缺陷样本集;
对于与焊缝的区分度高于第三预设阈值的缺陷类型,根据所述缺陷类型的缺陷样本集,并基于深度学习的语义分割算法,建立并训练所述缺陷类型的缺陷检测模型;
对于与焊缝的区分度低于第三预设阈值的缺陷类型,将所述缺陷类型的缺陷样本集按照黑度值进行划分,根据所述缺陷类型的每一黑度区间的缺陷样本集,并基于深度学习的语义分割算法,建立并训练所述每一黑度区间下该缺陷类型的缺陷检测模型。
在本实施例中,缺陷检测模型训练时,针对不同缺陷类型的缺陷样本集分别训练得到用于检测相应类别缺陷的缺陷检测模型。例如,夹钨类和气孔类缺陷模型分别采用夹钨类缺陷样本集和气孔类缺陷样本集分开进行训练,这是因为不同缺陷具有不同的形态、颜色特征,单类训练的效果优于混合训练的效果。
针对夹钨和金属丝类等与焊缝区别明显的缺陷,训练时对黑度值不同的样本不做区分,统一训练得到适用于样本集的缺陷检测模型。针对其他与焊缝区分度较低的缺陷,训练时根据黑度值对样本集加以区分,分别训练不同黑度区间样本得到适用于该黑度区间样本缺陷检测的模型。
例如,训练夹钨类缺陷检测模型时,采用所有的夹钨类样本集,对训练样本集不进行更细致的划分。训练气孔类缺陷检测模型时,根据射线影像底片黑度值将气孔类样本集进一步细分,对不同黑度区间的样本集分别训练不同的气孔检测模型。这是由于随着黑度值变化,焊缝区域颜色特征及气孔与焊缝的对比度均会有所改变,根据黑度值不同分别训练有利于提高气孔的检出率并减少误检。优选地,分组所依据的黑度值范围为1.7≤OD<3.2,OD≥3.2。
14、根据所述样本数据库,并基于深度学习的图像分类方法,建立并训练所述误检鉴别器。
在本实施例中,误检鉴别模型的训练采用基于深度学习的图像分类方法,通过鉴别已检出区域的类别判定是否为误检。
参见图2,是本发明实施例提供的基于深度学习的工业射线影像评定方法的另一流程示意图,所述方法包括:
201、建立样本数据库。
其中,步骤201具体包括:
获取各类样本图像,确定标签规则;
对所述样本图像进行清洗、分类、分割、标注。
202、离线建模。
其中,步骤202具体包括:
将样本数据库中的样本集按比例划分,训练集数据增强;
设计不同的训练参数组合,分别建立焊缝检测模型、各类缺陷检测模型及误检鉴别模型;
多次迭代训练、测试过程,持续优化训练样本及训练参数得到最优模型。
203、在线分析。
其中,步骤203具体包括:
调用焊缝检测模型分割出焊缝区域,对其后处理得到图像的感兴趣区域;
调用各类缺陷检测模型对所述感兴趣区域进行检测,得到像素级缺陷检测结果及缺陷类别;
采用误检鉴别器对所述缺陷检测结果进行鉴别,排除不满足缺陷特征的区域;
对误检鉴别器鉴别后的图像数据进行融合,得到最终缺陷检测结果。
需要说明的是,本实施例所提供的基于深度学习的工业射线影像评定方法的缺陷检出率可达98%,其中与焊缝区别明显的缺陷(如夹钨)的检出率可达100%。
本发明提供的基于深度学习的工业射线影像评定方法,能够基于预先训练的焊缝分割模型对获取的工业射线影像进行识别,获得感兴趣区域,基于预先训练的各类缺陷检测模型对所述感兴趣区域进行检测,获得缺陷检测结果,基于预先训练的误检鉴别器对所述缺陷检测结果进行鉴别,获得最终评定结果,实现对工业射线影像中焊缝缺陷的自动检测,提高工业射线影像的评定效率、准确性和可靠性。
需要说明的是,本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量,可见“第一”“第二”仅为了表述的方便,不应理解为对本发明实施例的限定,后续实施例对此不再一一说明。
相应地,本发明还提供一种基于深度学习的工业射线影像评定装置,能够实现上述基于深度学习的工业射线影像评定方法的所有流程。
参见图3,是本发明实施例提供的基于深度学习的工业射线影像评定装置的结构示意图,该装置包括:
影像获取模块1,用于获取待检测的工业射线影像;
区域识别模块2,用于基于预先训练的焊缝分割模型对所述工业射线影像进行识别,获得感兴趣区域;
缺陷检测模块3,用于基于预先训练的各类缺陷检测模型对所述感兴趣区域进行检测,获得缺陷检测结果;
缺陷鉴别模块4,用于基于预先训练的误检鉴别器对所述缺陷检测结果进行鉴别,获得最终评定结果。
本发明提供的基于深度学习的工业射线影像评定装置,能够基于预先训练的焊缝分割模型对获取的工业射线影像进行识别,获得感兴趣区域,基于预先训练的各类缺陷检测模型对所述感兴趣区域进行检测,获得缺陷检测结果,基于预先训练的误检鉴别器对所述缺陷检测结果进行鉴别,获得最终评定结果,实现对工业射线影像中焊缝缺陷的自动检测,提高工业射线影像的评定效率、准确性和可靠性。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本发明难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本发明难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本发明的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本发明的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于深度学习的工业射线影像评定方法,其特征在于,包括:
获取待检测的工业射线影像;
基于预先训练的焊缝分割模型对所述工业射线影像进行识别,获得感兴趣区域;
基于预先训练的各类缺陷检测模型对所述感兴趣区域进行检测,获得缺陷检测结果;
基于预先训练的误检鉴别器对所述缺陷检测结果进行鉴别,获得最终评定结果。
2.根据权利要求1所述的基于深度学习的工业射线影像评定方法,其特征在于,所述基于预先训练的焊缝分割模型对所述工业射线影像进行识别,获得感兴趣区域,具体包括:
基于预先训练的焊缝分割模型识别出所述工业射线影像中的焊缝区域;
计算所述焊缝区域在整个影像中的占比和所述焊缝区域的宽高比;
若所述占比和宽高比大于第一预设阈值,则判定所述焊缝区域可靠,对所述焊缝区域进行补全处理,并将补全后的焊缝区域作为感兴趣区域,否则判定所述焊缝区域不可靠,将所述工业射线影像作为感兴趣区域。
3.根据权利要求2所述的基于深度学习的工业射线影像评定方法,其特征在于,所述对所述焊缝区域进行补全处理,具体包括:
对所述焊缝区域进行直线拟合,计算拟合直线相对于竖直方向的倾角;
根据所述倾角计算旋转仿射变换矩阵,以对所述工业射线影像进行仿射变换,使变换后的工业射线影像中的焊缝区域呈竖直方向;
采用预设的高阈值和低阈值联合判断所述焊缝区域的起止点;
根据所述起止点补全所述焊缝区域。
4.根据权利要求3所述的基于深度学习的工业射线影像评定方法,其特征在于,所述采用预设的高阈值和低阈值联合判断所述焊缝区域的起止点,具体包括:
对变换后的工业射线影像进行垂直方向的积分投影;
寻找投影值大于所述高阈值的连续区域;
若连续区域数为1,则将所述连续区域的起止点作为所述焊缝区域的起止点;
若连续区域数大于1,则寻找多个连续区域中宽度最大的连续区域,并计算在所述低阈值处宽度最大连续区域到其相邻连续区域的距离,若所述距离小于预设距离阈值且相邻连续区域在所述低阈值处的宽度小于预设宽度阈值,则将所述宽度最大连续区域与其相邻连续区域合并,并将合并后的区域的左右边界作为所述焊缝区域的起止点,否则将所述宽度最大连续区域的起止点作为所述焊缝区域的起止点。
5.根据权利要求1所述的基于深度学习的工业射线影像评定方法,其特征在于,所述缺陷检测结果包括缺陷区域及对应的缺陷类别;
所述基于预先训练的误检鉴别器对所述缺陷检测结果进行鉴别,获得最终评定结果,具体包括:
提取所述缺陷区域的连通域长度、连通域宽度、连通域长宽比和连通域面积,并与相应的阈值进行比较;
若提取的值小于第二预设阈值,则判定所述缺陷区域为误检区域;否则以所述缺陷区域的中心点为中心,裁剪出预设大小的区域块,并基于预先训练的误检鉴别器对所述缺陷区域进行鉴别,若鉴别结果为正常,则判定所述缺陷区域为误检区域;
去除所述缺陷检测结果中的误检区域及对应的缺陷类别,获得最终评定结果。
6.根据权利要求1所述的基于深度学习的工业射线影像评定方法,其特征在于,在所述获取待检测的工业射线影像之前,还包括:
建立样本数据库;
根据所述样本数据库,并基于深度学习的语义分割算法,建立并训练所述焊缝分割模型;
根据所述样本数据库,并基于深度学习的语义分割算法,建立并训练对应的缺陷检测模型;
根据所述样本数据库,并基于深度学习的图像分类方法,建立并训练所述误检鉴别器。
7.根据权利要求6所述的基于深度学习的工业射线影像评定方法,其特征在于,所述建立样本数据库,具体包括:
获取样本图像;
对所述样本图像进行清洗,以去除不合格的样本图像;
在清洗后的样本图像上标注焊缝区域、缺陷类别、黑度值和对比度并保存,以建立样本数据库。
8.根据权利要求7所述的基于深度学习的工业射线影像评定方法,其特征在于,所述根据所述样本数据库,并基于深度学习的语义分割算法,建立并训练所述焊缝分割模型,具体包括:
从所述样本数据库中抽取标注有焊缝区域的焊缝样本集;
对所述焊缝样本集进行数据增强;
针对增强后的焊缝样本集,设置不同的训练参数组合,并基于深度学习的语义分割算法,建立并训练焊缝分割模型,持续优化焊缝样本集和训练参数组合,直到获得满足所需准确度的焊缝分割模型。
9.根据权利要求7所述的基于深度学习的工业射线影像评定方法,其特征在于,所述根据所述样本数据库,并基于深度学习的语义分割算法,建立并训练对应的缺陷检测模型,具体包括:
从所述样本数据库中抽取标注有各种缺陷类型的缺陷样本集;
对于与焊缝的区分度高于第三预设阈值的缺陷类型,根据所述缺陷类型的缺陷样本集,并基于深度学习的语义分割算法,建立并训练所述缺陷类型的缺陷检测模型;
对于与焊缝的区分度低于第三预设阈值的缺陷类型,将所述缺陷类型的缺陷样本集按照黑度值进行划分,根据所述缺陷类型的每一黑度值的缺陷样本集,并基于深度学习的语义分割算法,建立并训练所述缺陷类型的每一黑度值的缺陷检测模型。
10.一种基于深度学习的工业射线影像评定装置,能够实现如权利要求1至9任一项所述的基于深度学习的工业射线影像评定方法,其特征在于,所述装置包括:
影像获取模块,用于获取待检测的工业射线影像;
区域识别模块,用于基于预先训练的焊缝分割模型对所述工业射线影像进行识别,获得感兴趣区域;
缺陷检测模块,用于基于预先训练的各类缺陷检测模型对所述感兴趣区域进行检测,获得缺陷检测结果;
缺陷鉴别模块,用于基于预先训练的误检鉴别器对所述缺陷检测结果进行鉴别,获得最终评定结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910043815.0A CN109859177B (zh) | 2019-01-17 | 2019-01-17 | 基于深度学习的工业射线影像评定方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910043815.0A CN109859177B (zh) | 2019-01-17 | 2019-01-17 | 基于深度学习的工业射线影像评定方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109859177A true CN109859177A (zh) | 2019-06-07 |
CN109859177B CN109859177B (zh) | 2023-03-10 |
Family
ID=66895100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910043815.0A Active CN109859177B (zh) | 2019-01-17 | 2019-01-17 | 基于深度学习的工业射线影像评定方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109859177B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110969611A (zh) * | 2019-12-03 | 2020-04-07 | 广州特种承压设备检测研究院 | 管道焊缝缺陷检测方法、装置、系统及存储介质 |
CN111008961A (zh) * | 2019-11-25 | 2020-04-14 | 深圳供电局有限公司 | 一种输电线路设备缺陷检测方法及其系统、设备、介质 |
CN111681231A (zh) * | 2020-06-10 | 2020-09-18 | 厦门理工学院 | 基于目标检测的工业焊接图像缺陷的检测方法 |
CN111922548A (zh) * | 2020-09-24 | 2020-11-13 | 山东海德智能科技有限公司 | 一种基于焊缝三维形状检测的3d焊缝扫描系统 |
CN112686831A (zh) * | 2019-10-17 | 2021-04-20 | 神讯电脑(昆山)有限公司 | 基于人工神经网络的物件表面型态的检测方法 |
CN113012090A (zh) * | 2019-12-20 | 2021-06-22 | 中国科学院沈阳计算技术研究所有限公司 | 一种基于可移动摄像头的多工序工件质量检测方法及装置 |
CN113470043A (zh) * | 2021-06-03 | 2021-10-01 | 厦门宏泰智能制造有限公司 | 一种基于图像分割的数据处理方法、装置和电子设备 |
CN114119464A (zh) * | 2021-10-08 | 2022-03-01 | 厦门微亚智能科技有限公司 | 一种基于深度学习的锂电池电芯顶盖焊缝外观检测算法 |
CN114862777A (zh) * | 2022-04-22 | 2022-08-05 | 广州超音速自动化科技股份有限公司 | 一种连接片焊接检测方法及其系统 |
CN114851195A (zh) * | 2022-04-24 | 2022-08-05 | 重庆创御智能装备有限公司 | 一种可视化焊接工艺系统的控制方法 |
WO2023045185A1 (zh) * | 2021-09-27 | 2023-03-30 | 上海商汤智能科技有限公司 | 对象检测方法及装置、电子设备和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100684630B1 (ko) * | 2006-01-03 | 2007-02-22 | 삼성중공업 주식회사 | 용접선 추적을 위한 이미지 프로세싱 방법 |
CN102509108A (zh) * | 2011-10-14 | 2012-06-20 | 桂林电子科技大学 | 一种焊点缺陷鉴别方法 |
CN103822932A (zh) * | 2014-02-27 | 2014-05-28 | 清华大学 | 基于多尺度滤波算子的x射线实时图像焊缝缺陷检出方法 |
CN103983651A (zh) * | 2014-05-23 | 2014-08-13 | 清华大学 | 基于概率预测的焊缝x射线自动检测伪缺陷剔除方法 |
CN107727662A (zh) * | 2017-09-28 | 2018-02-23 | 河北工业大学 | 一种基于区域生长算法的电池片el黑斑缺陷检测方法 |
CN108346137A (zh) * | 2017-01-22 | 2018-07-31 | 上海金艺检测技术有限公司 | 用于工业射线焊缝图像的缺陷检测方法 |
CN109115812A (zh) * | 2018-08-23 | 2019-01-01 | 中国石油大学(北京) | 一种焊缝底片缺陷识别方法及系统 |
-
2019
- 2019-01-17 CN CN201910043815.0A patent/CN109859177B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100684630B1 (ko) * | 2006-01-03 | 2007-02-22 | 삼성중공업 주식회사 | 용접선 추적을 위한 이미지 프로세싱 방법 |
CN102509108A (zh) * | 2011-10-14 | 2012-06-20 | 桂林电子科技大学 | 一种焊点缺陷鉴别方法 |
CN103822932A (zh) * | 2014-02-27 | 2014-05-28 | 清华大学 | 基于多尺度滤波算子的x射线实时图像焊缝缺陷检出方法 |
CN103983651A (zh) * | 2014-05-23 | 2014-08-13 | 清华大学 | 基于概率预测的焊缝x射线自动检测伪缺陷剔除方法 |
CN108346137A (zh) * | 2017-01-22 | 2018-07-31 | 上海金艺检测技术有限公司 | 用于工业射线焊缝图像的缺陷检测方法 |
CN107727662A (zh) * | 2017-09-28 | 2018-02-23 | 河北工业大学 | 一种基于区域生长算法的电池片el黑斑缺陷检测方法 |
CN109115812A (zh) * | 2018-08-23 | 2019-01-01 | 中国石油大学(北京) | 一种焊缝底片缺陷识别方法及系统 |
Non-Patent Citations (1)
Title |
---|
王仁荣,赵力伟,郑劲豹等: "基于LABVIEW的焊缝表面缺陷智能检测系统研究", 《焊接技术》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112686831A (zh) * | 2019-10-17 | 2021-04-20 | 神讯电脑(昆山)有限公司 | 基于人工神经网络的物件表面型态的检测方法 |
CN111008961A (zh) * | 2019-11-25 | 2020-04-14 | 深圳供电局有限公司 | 一种输电线路设备缺陷检测方法及其系统、设备、介质 |
CN111008961B (zh) * | 2019-11-25 | 2021-10-19 | 深圳供电局有限公司 | 一种输电线路设备缺陷检测方法及其系统、设备、介质 |
CN110969611A (zh) * | 2019-12-03 | 2020-04-07 | 广州特种承压设备检测研究院 | 管道焊缝缺陷检测方法、装置、系统及存储介质 |
CN113012090A (zh) * | 2019-12-20 | 2021-06-22 | 中国科学院沈阳计算技术研究所有限公司 | 一种基于可移动摄像头的多工序工件质量检测方法及装置 |
CN113012090B (zh) * | 2019-12-20 | 2024-03-01 | 中国科学院沈阳计算技术研究所有限公司 | 一种基于可移动摄像头的多工序工件质量检测方法及装置 |
CN111681231B (zh) * | 2020-06-10 | 2023-04-18 | 厦门理工学院 | 基于目标检测的工业焊接图像缺陷的检测方法 |
CN111681231A (zh) * | 2020-06-10 | 2020-09-18 | 厦门理工学院 | 基于目标检测的工业焊接图像缺陷的检测方法 |
CN111922548A (zh) * | 2020-09-24 | 2020-11-13 | 山东海德智能科技有限公司 | 一种基于焊缝三维形状检测的3d焊缝扫描系统 |
CN113470043A (zh) * | 2021-06-03 | 2021-10-01 | 厦门宏泰智能制造有限公司 | 一种基于图像分割的数据处理方法、装置和电子设备 |
WO2023045185A1 (zh) * | 2021-09-27 | 2023-03-30 | 上海商汤智能科技有限公司 | 对象检测方法及装置、电子设备和存储介质 |
CN114119464A (zh) * | 2021-10-08 | 2022-03-01 | 厦门微亚智能科技有限公司 | 一种基于深度学习的锂电池电芯顶盖焊缝外观检测算法 |
CN114862777A (zh) * | 2022-04-22 | 2022-08-05 | 广州超音速自动化科技股份有限公司 | 一种连接片焊接检测方法及其系统 |
CN114851195A (zh) * | 2022-04-24 | 2022-08-05 | 重庆创御智能装备有限公司 | 一种可视化焊接工艺系统的控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109859177B (zh) | 2023-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109859177A (zh) | 基于深度学习的工业射线影像评定方法及装置 | |
CN110570410B (zh) | 一种自动识别检测焊缝缺陷的检测方法 | |
CN113362326B (zh) | 一种电池焊点缺陷的检测方法及装置 | |
CN109886298B (zh) | 一种基于卷积神经网络的焊缝质量检测方法 | |
CN110047073B (zh) | 一种x射线焊缝图像缺陷定级方法及系统 | |
CN104021574B (zh) | 路面病害自动识别方法 | |
CN109115812A (zh) | 一种焊缝底片缺陷识别方法及系统 | |
CN110097547B (zh) | 一种基于深度学习的焊缝底片造假的自动检测方法 | |
CN113496483B (zh) | 一种基于图像处理的焊缝气孔缺陷检测方法 | |
CN115205290B (zh) | 一种pcb板生产过程在线检测方法及系统 | |
CN111982916A (zh) | 一种基于机器视觉的焊缝表面缺陷检测方法及系统 | |
CN109671058A (zh) | 一种大分辨率图像的缺陷检测方法及系统 | |
CN107093175B (zh) | 一种动力电池焊接质量检测方法 | |
CN113588692B (zh) | 基于计算机视觉的焊缝缺陷无损检测方法 | |
CN112150410A (zh) | 一种焊缝缺陷的自动检测方法及其系统 | |
CN106934801A (zh) | 一种基于Laws纹理滤波的荧光磁粉缺陷自动识别方法 | |
CN115601355A (zh) | 一种产品表面缺陷检测与分类方法、装置及存储介质 | |
CN114240944A (zh) | 一种基于点云信息的焊接缺陷检测方法 | |
CN115719332A (zh) | 一种焊接质量检测方法 | |
CN111681231B (zh) | 基于目标检测的工业焊接图像缺陷的检测方法 | |
KR100687811B1 (ko) | 용접부 결함 검출 방법 및 장치 | |
CN115601359A (zh) | 一种焊缝检测方法及装置 | |
CN115311247A (zh) | 缺陷分类修正的方法及其工件外观检测的应用 | |
CN111738991A (zh) | 一种焊缝缺陷的数字射线检测模型的创建方法 | |
Yang et al. | Weld Defect Cascaded Detection Model Based on Bidirectional Multi-scale Feature Fusion and Shape Pre-classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |