CN112102255A - 基于工业场景下的x射线成像图像的缺陷智能评级方法 - Google Patents
基于工业场景下的x射线成像图像的缺陷智能评级方法 Download PDFInfo
- Publication number
- CN112102255A CN112102255A CN202010851981.6A CN202010851981A CN112102255A CN 112102255 A CN112102255 A CN 112102255A CN 202010851981 A CN202010851981 A CN 202010851981A CN 112102255 A CN112102255 A CN 112102255A
- Authority
- CN
- China
- Prior art keywords
- defect
- image
- detected
- rating
- ray imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 177
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000003384 imaging method Methods 0.000 title claims abstract description 26
- 238000011156 evaluation Methods 0.000 claims abstract description 21
- 238000009826 distribution Methods 0.000 claims abstract description 13
- 238000005520 cutting process Methods 0.000 claims abstract description 7
- 230000009466 transformation Effects 0.000 claims abstract description 7
- 230000002441 reversible effect Effects 0.000 claims abstract description 5
- 230000006798 recombination Effects 0.000 claims abstract description 4
- 238000005215 recombination Methods 0.000 claims abstract description 4
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 9
- 238000013508 migration Methods 0.000 claims description 5
- 230000005012 migration Effects 0.000 claims description 5
- 238000009659 non-destructive testing Methods 0.000 claims description 5
- 230000035515 penetration Effects 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 239000000463 material Substances 0.000 claims description 3
- 238000003466 welding Methods 0.000 abstract description 9
- 230000011218 segmentation Effects 0.000 abstract description 4
- 238000004422 calculation algorithm Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 15
- 238000010801 machine learning Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 4
- 230000002950 deficient Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明公开基于工业场景下的X射线成像图像的缺陷智能评级方法，包括如下步骤：将待测图像按照固定宽度进行切割，并通过填充黑色边框的方式，获得标准方形尺寸的待测图像，将标准方形尺寸的待测图像放入图像识别模型，得到待测图像的缺陷掩膜以及缺陷类别；将缺陷掩膜进行反向变换并还原掩膜图像尺寸，完成掩膜图像重组，获得缺陷区域；合成待测图像的缺陷区域和缺陷类别，生成待测图像的缺陷分布全息图，利用缺陷级别评定模块，完成整幅待测图像的缺陷的缺陷评级工作。本发明极大提高了缺陷类型识别精度以及缺陷区域分割精度，进而实现对焊缝图像实现智能评定。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及基于工业场景下的X射线成像图像的缺陷智能评级方法。
背景技术
对于工业场景下的焊接过程往往存在施工现场环境复杂、焊接质量要求极高、后续遗留问题难以处理等亟需解决的问题。在整个施工过程中，对每处焊接的地方都要进行无损检验，整个过程中会产生大量的X射线成像的胶片，每幅胶片都需要通过持证评片专家进行评定，整个期间耗费大量的人力成本以及时间成本。并且物理胶片还面临着不易保存占用大量贮存空间等问题。
近年来随着模式识别技术以及机器学习相关技术的不断发展，涌现出许多尝试解决上述问题公司以及研究单位，此前往往聚焦在对原始X射线数字化图像(以下简称图片)进行大量的特征工程，结合机器学习相关分类算法实现对图片缺陷的分类任务，此类方法在理想的流水线工艺流程上取得了较为不错的效果，但是对于现场施工过程中产生的大量的图片缺陷识别效果都不理想。
2018年以来，随着深度学习技术的不断成熟，以及相关计算资源的快速成长足以支撑大规模的参数训练任务，另外，一些新的实例分割算法的提出，也为工业领域的缺陷检测提供了更加强大的理论支撑，为后续相关工业场景下的实践落地奠定了坚实的基础。
当前阶段，市场现有的技术只能进行缺陷类别的判定，部分实现缺陷区域识别但是精度无法满足精确评级的需求。在实际工业场景下得到的数字化胶片各项指标差异巨大，也导致缺陷识别的效果无法达到人工专家评片的水平。
关键问题在于不能进行精确的缺陷趋势分割就无法精确实现缺陷区域大小的判定，进而无法按照国家能源局标准NB/T47013-2015承压设备无损检测标准相关章节进行缺陷级别的评定工作。
本发明所提出的相关算法以及流程，致力于解决上述问题。
发明内容
为了解决上述技术问题，本发明提出基于工业场景下的X射线成像图像的缺陷智能评级方法。
为了达到上述目的，本发明的技术方案如下：
基于工业场景下的X射线成像图像的缺陷智能评级方法，包括如下方法：
将待测图像按照固定宽度进行切割，获得标准方形尺寸的待测图像，将标准方形尺寸的待测图像放入图像识别模型，得到待测图像的缺陷掩膜以及缺陷类别；将缺陷掩膜进行反向变换并还原掩膜图像尺寸，完成掩膜图像重组，获得缺陷区域；
合成待测图像的缺陷区域和缺陷类别，生成待测图像的缺陷分布全息图，利用缺陷级别评定模块，完成整幅待测图像的缺陷的缺陷评级工作，其中，所述图像识别模型由多个标准方形尺寸的初始图像和每个标准方形尺寸的初始图像对应的缺陷区域标注和缺陷类型标注训练生成，所述标准方形尺寸的初始图像包括无缺陷类型图像和包含各类缺陷类型的有缺陷图像，所述标准方形尺寸的初始图像是由初始X射线成像图像按照固定宽度进行切割所得。
优选地，所述图像识别模型由一个或多个机器识别模型的能力迁移而形成，其中，所述一个或多个机器识别模型均是有预设数据集训练获取的，所述图像识别模型根据其对应设备和/或平台构建。根据上述技术方案，可以在前期初始X射线成像图像未达到一定基数时，可以通过公开的海量数据和大型机器学习模型学习到的机器学习能力嵌入到多种不同的设备中，即可将多个大机器学习模型的性能迁移到本发明的图像识别模型中，能够部分弥补本算法数据集相对不足的短板，增强特征抽取能力。
优选地，还包括如下步骤：
根据缺陷分布全息图筛选缺陷类别，若缺陷类别为未熔合、未焊透、裂纹，则缺陷级别直接判定为IV级缺陷片；若缺陷类别为圆形或条形缺陷，则结合评级选框对缺陷最严重的区域进行缺陷级别评定；
生成评定报告。
优选地，所述评级选框是根据焊接板材的厚度确定。
优选地，所述焊接板材的厚度信息通过OCR图像签字信息提取或STR文本识别。
优选地，所述缺陷级别是依据能源行业标准NB/T47013-2015承压设备无损检测的标准进行确定。
优选地，所述根据待检测图像中焊缝缺陷的形态确定区域候选框包括通过锚框在待监测图像上预测目标。
优选地，还包括如下步骤：获取新生成的X射线成像图像，实时对训练模型进行更新。
一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如上述任意一项所述的方法。
一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如上述任意一项所述的方法。
基于上述技术方案，本发明的有益效果是：
1)、采用迁移方法，借助于公开海量数据集已经训练完成的特征提取能力，能够部分弥补本算法数据集相对不足的短板，增强特征抽取能力；
2)、采用锚框进行缺陷的预测标记，可以满足缺陷不同尺寸的需求；
3)、由于生成的掩膜为二值化图像，在反向变换时精度损失极小。所以采取在对图像变换时维护一个图像标准化记录的方式，最后对掩膜图像进行反向变换。最后实现生成掩膜与初始图像缺陷区域一一对应。试验结果表明，此种方法在不消耗大量计算资源的情况下对实现缺陷区域精准测量提供了保证
4)、目前实际工业场景下存在多种图像尺寸，尺寸与成像实物比例为1:1，且图片长宽比过大，若对整幅图像进行训练预测无疑会极大增加训练难度以及缺陷识别精度下降的问题，本发明对图片进行切割处理后在进行训练，减小训练难度，提高缺陷识别精度；
5)、实现复杂场景下X射线成像的数字化图片缺陷类别的精确识别。使得识别的精度与人工评片专家的识别精度接近或达到同等水平，可以直接判断焊接点接下来的流程，例如是否需要执行返工流程等，可以提高工作效率，节约人工成本。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明。
图1：本发明基于工业场景下的X射线成像图像的缺陷智能评级方法中缺陷分布全息图生成流程图；
图2：本发明基于工业场景下的X射线成像图像的缺陷智能评级方法中缺陷评级流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
实施例一
如图1、2所示，基于工业场景下的X射线成像图像的缺陷智能评级方法，包括如下方法：
将待测图像按照固定宽度进行切割，若有不足处需要通过黑色边框进行填充，以获得标准方形尺寸的待测图像，将标准方形尺寸的待测图像放入图像识别模型，得到待测图像的缺陷掩膜以及缺陷类别；将缺陷掩膜进行反向变换并还原掩膜图像尺寸，完成掩膜图像重组，获得缺陷区域；
合成待测图像的缺陷区域和缺陷类别，生成待测图像的缺陷分布全息图，根据缺陷分布全息图筛选缺陷类别，若缺陷类别为未熔合、未焊透、裂纹，则缺陷级别直接判定为IV级缺陷片；若缺陷类别为圆形或条形缺陷，则结合评级选框对缺陷最严重的区域进行缺陷级别评定；
生成评定报告，其中，
所述图像识别模型由多个标准方形尺寸的初始图像和每个标准方形尺寸的初始图像对应的缺陷区域标注和缺陷类型标注训练生成，所述标准方形尺寸的初始图像包括无缺陷类型图像和包含各类缺陷类型的有缺陷图像，所述标准方形尺寸的初始图像是由初始X射线成像图像按照固定宽度进行切割所得。
进一步，所述图像识别模型的前期可以由一个或多个机器识别模型的能力迁移而形成，其中，所述一个或多个机器识别模型均是有预设数据集训练获取的，所述图像识别模型根据其对应设备和/或平台构建。可以在前期初始X射线成像图像未达到一定基数时，可以通过公开的海量数据和大型机器学习模型学习到的机器学习能力嵌入到多种不同的设备中，即可将多个大机器学习模型的性能迁移到本发明的图像识别模型中，能够部分弥补本算法数据集相对不足的短板，增强特征抽取能力。
具体的流程说明如下：
1、初始图像主要来自于过去一段时间焊接工地现场产生的大量经过专家评定完成的图片。包括大量的无缺陷类型图片，以及包含各类缺陷的有缺陷的图片，大数据量的样本也为本专利相关算法取得更有益的成果奠定了坚实的基础。
2、目前所使用的焊缝图片均经过了相关评片专家的标注工作，标注内容主要包括：缺陷区域标注、缺陷类型标注。
3、特征提取器，将一张图像看作是由像素值组成的矩阵，对图像进行特征的提取就是对矩阵的数字进行分析，发现图像中隐藏在这些数字规律中的特征,特征提取器的作用是通过特定的特征提取网络，寻找不同视野下的的图像特征以及边缘信息，生成适合后续网络能够更好使用的特征空间集，其中此部分使用了迁移模型，借助于公开海量数据集已经训练完成的特征提取能力，能够部分弥补本算法数据集相对不足的短板，增强特征抽取能力。
4、区域候选网络，进行基于缺陷的缺陷区域识别相关任务，本发明所使用算法主要是在成熟的区域候选网络的基础之上进行的改进，改进主要为，通过对区域候选框的优化实现锚框更加适合焊缝图像特征信息，由于焊缝缺陷尺寸差异巨大，且形状以及缺陷方向变化极大，所以对候选区域框大小的设置变得极为重要，设置过多会严重影响模型训练效率，设置不合理会对后续的区域掩膜生成的精度造成不利影响。
5、掩膜生成器，生成最终的组合特征空间，通过候选出的缺陷区域，对相关特征通过全卷积神经网络的方式生成缺陷对应的全尺寸掩膜。
6、分类器，通过全连接神经网络，实现对缺陷类型的识别。
7、将缺陷区域以及缺陷类别生成缺陷分布全息图，利用缺陷级别评定模块，完成整幅图像的缺陷级的级别评定工作。
以上流程阐述了缺陷识别算法的整个流程，在此流程的基础之上，阐述本发明主要创新点在于通过深度学习相关算法实现复杂工业场景下焊缝缺陷智能评定，主要创新点为：
1、通过提出生成缺陷掩膜尺寸复原，实现不同尺寸下的焊缝图片同时满足模型的训练需求以及缺陷区域的计算两个相互掣肘的问题：
目前实际工业场景下存在多种图像尺寸，尺寸与成像实物比例为1:1，且图片长宽比过大，若对整幅图像进行训练预测无疑会极大增加训练难度以及缺陷识别精度下降的问题，这些在实际工业场景下经常遇到，同时也是本发明面临的一个较为关键的问题，不但要实现稳定的模型训练需求而且需要实现精确的缺陷区域的测量工作。
由于生成的掩膜为二值化图像，在反向变换时精度损失极小。所以采取在对图像变换时维护一个图像标准化记录的方式，最后对掩膜图像进行反向变换。最后实现生成掩膜与原始图像缺陷区域一一对应。试验结果表明，此种方法在不消耗大量计算资源的情况下对实现缺陷区域精准测量提供了保证。
图1中训练样本的处理方法为先对待测图像按照800宽度进行切分，不足 800处后续以像素值“0”进行填充，实现所有切割图像为标准方形尺寸(800*800)，同时掩膜图像也做相同操作。最后将相关操作进行记录以字典的形式进行存储。
另外，需要对标注的掩膜进行逐一的拆分，每个标注区域需要单独生成一幅二值图像进行保存，在整个特征工程过程中，需要特别注意掩膜要和图像同步进行。在执行的所有的操作需要确认掩膜可进行逆向操作，实现掩膜原尺寸的复原。
2、通过算法模型实现相关图像的缺陷类别以及缺陷区域的识别，最终通过对缺陷区域的以及缺陷类别的合成，生成整幅图片的缺陷分布全息图像，最终实现缺陷的评定工作。具体执行流程如图2所示：
图2为本算法执行的算法流程图，其中评片的相关规则以及评定方法及缺陷级别主要依据能源行业标准NB/T47013-2015承压设备无损检测的标准进行缺陷级别进行编写。
本部分评级方法中，创新的提出了缺陷分布全息图的概念，缺陷分布图尺寸与原始图像尺寸完全一致，在非缺陷区域填充“0”值，对于其他类型缺陷区域，依据缺陷类型分别赋值“1”至“5”，最后生成一幅缺陷区域的全息图，此图包含了评片所需的所有信息，后续的所有操作均可在此全息图上进行操作。
在工业场景下，NB/T47013-2015承压设备无损检测的标准相关章节将常见的缺陷类别分为圆形缺陷、条形缺陷、未熔合、未焊透以及裂纹。标准还对根部内凹以及根部咬边进行了界定，但是目前现有的训练样本图片不具备对以上两类缺陷进行评级前提条件，及不能确定缺陷密度，所以在此只对其进行类别的识别，不进行缺陷级别的评定。因为缺陷级别的评定需要确定缺陷密度，而缺陷密度时根据焊接板材的厚度确定的，焊接板材的厚度信息标记在焊缝图像上。
本发明通过OCE(光学字符识别)或或者STR(自然场景文本识别)的方式进行焊接板材的厚度信息的提取焊接板材信息(厚度)的提取，根据提取的信息生成评级选框，
根据缺陷分布全息图筛选缺陷类别，若缺陷类别为未熔合、未焊透、裂纹，则缺陷级别直接判定为IV级缺陷片；若缺陷类别为圆形或条形缺陷，则结合评级选框对缺陷最严重的区域进行缺陷级别评定；
生成评定报告。
本发明主要致力于解决实际工业化场景下产生的大量的X射线胶片，这些胶片需要大量的消耗人工成本进行缺陷的评定，此部分场景也是深度学习算法最为擅长的部分，能够通过学习专家标注的相关经验，开发出泛化能力较强的算法模型。本发明充分利用已进行人工评定的大量训练样本，进行不断的迭代学习，进而实现节省大量人工成本的目的，最终实现替代人工评片的过程，实现智能化、自动化的评片。另外在此基础之上，还可实现焊缝缺陷管理流程数字化、规范化等目标。
本发明新提出的相关算法与成熟的深度学习框架的结合，使得实现智能化缺陷评定更具有实用价值，解决了实际工业中面临的急需解决的问题，极大提高了缺陷类型识别精度以及缺陷区域分割精度，进而实现对焊缝图像实现智能评定。
通过上述所有算法流程，能够实现焊缝缺陷的自动识别以及评定工作。
以上所述仅为本发明所公开的基于工业场景下的X射线成像图像的缺陷智能评级方法的优选实施方式，并非用于限定本说明书实施例的保护范围。凡在本说明书实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的保护范围之内。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书实施例中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
Claims (10)
1.基于工业场景下的X射线成像图像的缺陷智能评级方法，其特征在于，包括如下方法：
将待测图像按照固定宽度进行切割，获得标准方形尺寸的待测图像，将标准方形尺寸的待测图像放入图像识别模型，得到待测图像的缺陷掩膜以及缺陷类别；将缺陷掩膜进行反向变换并还原掩膜图像尺寸，完成掩膜图像重组，获得缺陷区域；
合成待测图像的缺陷区域和缺陷类别，生成待测图像的缺陷分布全息图，利用缺陷级别评定模块，完成整幅待测图像的缺陷的缺陷评级工作，其中，所述图像识别模型由多个标准方形尺寸的初始图像和每个标准方形尺寸的初始图像对应的缺陷区域标注和缺陷类型标注训练生成，所述标准方形尺寸的初始图像包括无缺陷类型图像和包含各类缺陷类型的有缺陷图像，所述标准方形尺寸的初始图像是由初始X射线成像图像按照固定宽度进行切割所得。
2.根据权利要求1所述的基于工业场景下的X射线成像图像的缺陷智能评级方法，其特征在于，所述图像识别模型由一个或多个机器识别模型的能力迁移而形成，其中，所述一个或多个机器识别模型均是有预设数据集训练获取的，所述图像识别模型根据其对应设备和/或平台构建。
3.根据权利要求1所述的基于工业场景下的X射线成像图像的缺陷智能评级方法，其特征在于，所述利用缺陷级别评定模块，完成整幅待测图像的缺陷的缺陷评级工作，包括如下步骤：
根据缺陷分布全息图筛选缺陷类别，若缺陷类别为未熔合、未焊透、裂纹，则缺陷级别直接判定为IV级缺陷片；若缺陷类别为圆形或条形缺陷，则结合评级选框对缺陷最严重的区域进行缺陷级别评定；
生成评定报告。
4.根据权利要求3所述的基于工业场景下的X射线成像图像的缺陷智能评级方法，其特征在于，所述评级选框是根据焊接板材的厚度确定。
5.根据权利要求4所述的基于工业场景下的X射线成像图像的缺陷智能评级方法，其特征在于，所述焊接板材的厚度信息通过OCR图像签字信息提取或STR文本识别。
6.根据权利要求3所述的基于工业场景下的X射线成像图像的缺陷智能评级方法，其特征在于，所述缺陷级别是依据能源行业标准NB/T47013-2015承压设备无损检测的标准进行确定。
7.根据权利要求1所述的基于工业场景下的X射线成像图像的缺陷智能评级方法，其特征在于，所述根据待检测图像中焊缝缺陷的形态确定区域候选框包括通过锚框在待监测图像上预测目标。
8.根据权利要求1所述的基于工业场景下的X射线成像图像的缺陷智能评级方法，其特征在于，还包括如下步骤：获取新生成的X射线成像图像，实时对训练模型进行更新。
9.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至8任一项所述的方法。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1至8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010851981.6A CN112102255B (zh) | 2020-08-21 | 2020-08-21 | 基于工业场景下的x射线成像图像的缺陷智能评级方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010851981.6A CN112102255B (zh) | 2020-08-21 | 2020-08-21 | 基于工业场景下的x射线成像图像的缺陷智能评级方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112102255A true CN112102255A (zh) | 2020-12-18 |
| CN112102255B CN112102255B (zh) | 2024-01-23 |
Family
ID=73754221
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010851981.6A Active CN112102255B (zh) | 2020-08-21 | 2020-08-21 | 基于工业场景下的x射线成像图像的缺陷智能评级方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112102255B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113176282A (zh) * | 2021-03-31 | 2021-07-27 | 国能锅炉压力容器检验有限公司 | 基于冷阴极x射线数字成像技术的材料损伤级别检测方法 |
| CN113284094A (zh) * | 2021-04-30 | 2021-08-20 | 芜湖东旭光电科技有限公司 | 获取玻璃基板缺陷信息的方法、装置、存储介质及设备 |
| CN113554636A (zh) * | 2021-07-30 | 2021-10-26 | 西安电子科技大学 | 一种基于生成对抗网络和计算全息的芯片缺陷检测方法 |
| CN113763363A (zh) * | 2021-09-09 | 2021-12-07 | 华南理工大学 | 一种排水管道破裂缺陷检测及等级评定方法 |
| CN113808094A (zh) * | 2021-09-10 | 2021-12-17 | 武汉联开检测科技有限公司 | 一种射线检测焊接缺陷图像评级系统及方法 |
| CN116630264A (zh) * | 2023-05-21 | 2023-08-22 | 阿里巴巴（中国）有限公司 | 密封钉焊接缺陷的检测方法、存储介质以及电子设备 |
| CN116630242A (zh) * | 2023-04-28 | 2023-08-22 | 广东励图空间信息技术有限公司 | 一种基于实例分割的管道缺陷评估方法及装置 |
| CN117011145A (zh) * | 2023-09-22 | 2023-11-07 | 杭州未名信科科技有限公司 | 智慧工地物料的全息图像显示拼接方法及应用其的系统 |
| CN117538334A (zh) * | 2024-01-09 | 2024-02-09 | 宁德时代新能源科技股份有限公司 | 缺陷检测方法、装置、电子设备以及存储介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2236845A1 (en) * | 1995-11-06 | 1997-05-15 | Macrotron Process Technologies Gmbh | Process and circuit arrangement for testing solder joints |
| US6185273B1 (en) * | 1995-11-06 | 2001-02-06 | Macrotron Process Technologies Gmbh | Process and circuit arrangement for testing solder joints |
| US6198529B1 (en) * | 1999-04-30 | 2001-03-06 | International Business Machines Corporation | Automated inspection system for metallic surfaces |
| CN103134809A (zh) * | 2013-03-14 | 2013-06-05 | 苏州华源包装股份有限公司 | 焊缝缺陷检测方法 |
| CN103914838A (zh) * | 2014-03-25 | 2014-07-09 | 西安石油大学 | 一种工业x射线焊缝图像缺陷识别方法 |
| US20140348415A1 (en) * | 2013-05-27 | 2014-11-27 | ThinkSmart IT Solutions Private Limited | System and method for identifying defects in welds by processing x-ray images |
| CN104977313A (zh) * | 2014-04-09 | 2015-10-14 | 四川省特种设备检验研究院 | 一种焊缝x射线图像缺陷检测与识别方法和装置 |
| CN106872488A (zh) * | 2017-04-20 | 2017-06-20 | 广东振华科技股份有限公司 | 一种快速大面积透明基片双表面缺陷视觉检测方法及装置 |
| CN108596880A (zh) * | 2018-04-08 | 2018-09-28 | 东南大学 | 基于图像处理的焊接缺陷特征提取与焊接质量分析方法 |
| CN109115812A (zh) * | 2018-08-23 | 2019-01-01 | 中国石油大学(北京) | 一种焊缝底片缺陷识别方法及系统 |
| US20190170665A1 (en) * | 2016-08-18 | 2019-06-06 | Fujifilm Corporation | Defect inspection device, defect inspection method, and program |
| CN110009632A (zh) * | 2019-04-17 | 2019-07-12 | 国网重庆市电力公司电力科学研究院 | 一种金属腐蚀状态的评估方法、装置和设备 |
| CN110047073A (zh) * | 2019-05-05 | 2019-07-23 | 北京大学 | 一种x射线焊缝图像缺陷定级方法及系统 |
| CN110097547A (zh) * | 2019-05-06 | 2019-08-06 | 河南大学 | 一种基于深度学习的焊缝底片造假的自动检测方法 |
| CN111292303A (zh) * | 2020-01-21 | 2020-06-16 | 湖北文理学院 | 焊缝缺陷类别检测方法、装置、电子设备及存储介质 |
-
2020
- 2020-08-21 CN CN202010851981.6A patent/CN112102255B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2236845A1 (en) * | 1995-11-06 | 1997-05-15 | Macrotron Process Technologies Gmbh | Process and circuit arrangement for testing solder joints |
| US6185273B1 (en) * | 1995-11-06 | 2001-02-06 | Macrotron Process Technologies Gmbh | Process and circuit arrangement for testing solder joints |
| US6198529B1 (en) * | 1999-04-30 | 2001-03-06 | International Business Machines Corporation | Automated inspection system for metallic surfaces |
| CN103134809A (zh) * | 2013-03-14 | 2013-06-05 | 苏州华源包装股份有限公司 | 焊缝缺陷检测方法 |
| US20140348415A1 (en) * | 2013-05-27 | 2014-11-27 | ThinkSmart IT Solutions Private Limited | System and method for identifying defects in welds by processing x-ray images |
| CN103914838A (zh) * | 2014-03-25 | 2014-07-09 | 西安石油大学 | 一种工业x射线焊缝图像缺陷识别方法 |
| CN104977313A (zh) * | 2014-04-09 | 2015-10-14 | 四川省特种设备检验研究院 | 一种焊缝x射线图像缺陷检测与识别方法和装置 |
| US20190170665A1 (en) * | 2016-08-18 | 2019-06-06 | Fujifilm Corporation | Defect inspection device, defect inspection method, and program |
| CN106872488A (zh) * | 2017-04-20 | 2017-06-20 | 广东振华科技股份有限公司 | 一种快速大面积透明基片双表面缺陷视觉检测方法及装置 |
| CN108596880A (zh) * | 2018-04-08 | 2018-09-28 | 东南大学 | 基于图像处理的焊接缺陷特征提取与焊接质量分析方法 |
| CN109115812A (zh) * | 2018-08-23 | 2019-01-01 | 中国石油大学(北京) | 一种焊缝底片缺陷识别方法及系统 |
| CN110009632A (zh) * | 2019-04-17 | 2019-07-12 | 国网重庆市电力公司电力科学研究院 | 一种金属腐蚀状态的评估方法、装置和设备 |
| CN110047073A (zh) * | 2019-05-05 | 2019-07-23 | 北京大学 | 一种x射线焊缝图像缺陷定级方法及系统 |
| CN110097547A (zh) * | 2019-05-06 | 2019-08-06 | 河南大学 | 一种基于深度学习的焊缝底片造假的自动检测方法 |
| CN111292303A (zh) * | 2020-01-21 | 2020-06-16 | 湖北文理学院 | 焊缝缺陷类别检测方法、装置、电子设备及存储介质 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113176282A (zh) * | 2021-03-31 | 2021-07-27 | 国能锅炉压力容器检验有限公司 | 基于冷阴极x射线数字成像技术的材料损伤级别检测方法 |
| CN113284094A (zh) * | 2021-04-30 | 2021-08-20 | 芜湖东旭光电科技有限公司 | 获取玻璃基板缺陷信息的方法、装置、存储介质及设备 |
| CN113554636A (zh) * | 2021-07-30 | 2021-10-26 | 西安电子科技大学 | 一种基于生成对抗网络和计算全息的芯片缺陷检测方法 |
| CN113763363A (zh) * | 2021-09-09 | 2021-12-07 | 华南理工大学 | 一种排水管道破裂缺陷检测及等级评定方法 |
| CN113763363B (zh) * | 2021-09-09 | 2023-08-01 | 华南理工大学 | 一种排水管道破裂缺陷检测及等级评定方法 |
| CN113808094A (zh) * | 2021-09-10 | 2021-12-17 | 武汉联开检测科技有限公司 | 一种射线检测焊接缺陷图像评级系统及方法 |
| CN116630242A (zh) * | 2023-04-28 | 2023-08-22 | 广东励图空间信息技术有限公司 | 一种基于实例分割的管道缺陷评估方法及装置 |
| CN116630242B (zh) * | 2023-04-28 | 2024-01-12 | 广东励图空间信息技术有限公司 | 一种基于实例分割的管道缺陷评估方法及装置 |
| CN116630264A (zh) * | 2023-05-21 | 2023-08-22 | 阿里巴巴（中国）有限公司 | 密封钉焊接缺陷的检测方法、存储介质以及电子设备 |
| CN117011145A (zh) * | 2023-09-22 | 2023-11-07 | 杭州未名信科科技有限公司 | 智慧工地物料的全息图像显示拼接方法及应用其的系统 |
| CN117011145B (zh) * | 2023-09-22 | 2024-02-23 | 杭州未名信科科技有限公司 | 智慧工地物料的全息图像显示拼接方法及应用其的系统 |
| CN117538334A (zh) * | 2024-01-09 | 2024-02-09 | 宁德时代新能源科技股份有限公司 | 缺陷检测方法、装置、电子设备以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112102255B (zh) | 2024-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112102255B (zh) | 基于工业场景下的x射线成像图像的缺陷智能评级方法 | |
| CN111612784B (zh) | 一种基于分类优先yolo网络的钢板表面缺陷检测方法 | |
| CN111339858A (zh) | 一种基于神经网络的油气管道标志物识别方法 | |
| JP2024509411A (ja) | 欠陥検出方法、装置及びシステム | |
| CN114240821A (zh) | 一种基于改进型yolox的焊缝缺陷检测方法 | |
| CN111401419A (zh) | 基于改进RetinaNet的员工着装规范检测方法 | |
| CN111461212A (zh) | 一种用于点云目标检测模型的压缩方法 | |
| CN111680750B (zh) | 图像识别方法、装置和设备 | |
| CN112070135A (zh) | 电力设备图像检测方法、装置、电力设备及存储介质 | |
| CN109283182A (zh) | 一种电池焊点缺陷的检测方法、装置及系统 | |
| CN115311235A (zh) | 基于图像识别的微观缺陷处理方法、装置及计算机设备 | |
| CN114743102A (zh) | 一种面向家具板材的瑕疵检测方法、系统及装置 | |
| CN111507398A (zh) | 基于目标检测的变电站金属仪器锈蚀识别方法 | |
| CN116385911A (zh) | 一种用于无人机巡检绝缘子的轻量型目标检测方法 | |
| CN113298130B (zh) | 目标图像的检测、目标对象检测模型的生成方法 | |
| CN114299040A (zh) | 瓷砖瑕疵检测方法、装置和电子设备 | |
| CN110765963A (zh) | 车辆制动检测方法、装置、设备及计算机可读存储介质 | |
| CN113516652A (zh) | 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备 | |
| CN116805387A (zh) | 基于知识蒸馏的模型训练方法、质检方法和相关设备 | |
| CN116433634A (zh) | 一种基于域自适应的工业图像异常检测方法 | |
| CN116823793A (zh) | 设备缺陷检测方法、装置、电子设备和可读存储介质 | |
| CN114419078B (zh) | 基于卷积神经网络的表面缺陷区域分割方法及装置 | |
| CN111627018B (zh) | 一种基于双流神经网络模型的钢板表面缺陷分类方法 | |
| CN116452942A (zh) | 基于神经网络的封装质量预测方法和系统 | |
| CN114463300A (zh) | 钢材表面缺陷检测方法、电子设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |