CN116228703A - 一种缺陷样本图像的生成方法、装置、电子设备及介质 - Google Patents

一种缺陷样本图像的生成方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN116228703A
CN116228703A CN202310159952.7A CN202310159952A CN116228703A CN 116228703 A CN116228703 A CN 116228703A CN 202310159952 A CN202310159952 A CN 202310159952A CN 116228703 A CN116228703 A CN 116228703A
Authority
CN
China
Prior art keywords
defect
target
image
ray film
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310159952.7A
Other languages
English (en)
Other versions
CN116228703B (zh
Inventor
郭斌
李晓波
马振烁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yuanshan Intelligent Technology Co Ltd
Original Assignee
Beijing Yuanshan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yuanshan Intelligent Technology Co Ltd filed Critical Beijing Yuanshan Intelligent Technology Co Ltd
Priority to CN202310159952.7A priority Critical patent/CN116228703B/zh
Publication of CN116228703A publication Critical patent/CN116228703A/zh
Application granted granted Critical
Publication of CN116228703B publication Critical patent/CN116228703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30152Solder
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种缺陷样本图像的生成方法、装置、电子设备及介质,所述生成方法包括:获取对产品进行无损检测过程中的目标射线底片;基于预先构建的多种缺陷库中,确定目标种类的目标缺陷库,并从所述目标缺陷库中确定一目标缺陷图像;基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中的焊缝,确定目标缺陷图像在焊缝中的目标位置;将所述目标缺陷图像融合在目标射线底片中焊缝的目标位置处,得到携带目标种类缺陷的缺陷样本图像,从而能够生成数量足够的缺陷样本图像,为训练深度学习模型提供更为丰富的、优质的样本以及更好的泛化能力,得到高精确的缺陷检测模型。

Description

一种缺陷样本图像的生成方法、装置、电子设备及介质
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种缺陷样本图像的生成方法、装置、电子设备及介质。
背景技术
由于产品中不可避免地存在气孔、夹杂、未熔合、裂纹等缺陷,将使制件相应部位的有效承载面积减小,承受载荷时产生缺口效应,造成局部应力集中,成为产品故障的萌生源,进而影响产品在使用过程中的抗疲劳性能。无损检测技术在不损害被检对象的前提下,检测出被检件的中的未熔合、裂纹、未焊透等缺陷,对被检件质量进行评价并根据验收标准做出合格与否的判断。
现在,随着图像处理技术的发展,可以通过缺陷检测模型识别出无损检测过程的射线底片中的缺陷类型,提高自动化水平。然而,无损检测中未熔合,未焊透和裂纹这三种缺陷属于较为严重的缺陷种类,而其缺陷样本总是很少,这样不利于深度学习训练,无法得到高精确的缺陷检测模型。
发明内容
有鉴于此,本申请的目的在于提供一种缺陷样本图像的生成方法、装置、电子设备及介质,能够生成数量足够的缺陷样本图像,为训练深度学习模型提供更为丰富的、优质的样本以及更好的泛化能力,得到高精确的缺陷检测模型。
本申请实施例提供的一种缺陷样本图像的生成方法,所述生成方法包括:
获取对产品进行无损检测过程中的目标射线底片;其中,所述目标射线底片中包括焊缝;
基于预先构建的多种缺陷库中,确定目标种类的目标缺陷库,并从所述目标缺陷库中确定一目标缺陷图像;其中,不同缺陷库中的缺陷图像携带不同种类的缺陷,不同种类的缺陷对应不同的缺陷位置规则;
基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中的焊缝,确定目标缺陷图像在焊缝中的目标位置;
将所述目标缺陷图像融合在目标射线底片中焊缝的目标位置处,得到携带目标种类缺陷的缺陷样本图像。
在一些实施例中,所述的缺陷样本图像的生成方法中,得到携带目标种类缺陷的缺陷样本图像后,所述生成方法还包括:
对所述缺陷样本图像进行缺陷标注,得到缺陷样本图像对应的标注文件。
在一些实施例中,所述的缺陷样本图像的生成方法中,所述缺陷库是通过以下步骤构建的:
获取射线底片数据集;所述射线底片数据集中的射线底片携带有缺陷标注框;
基于所述缺陷标注框,提取出所述射线底片数据集的原始的缺陷图像;
使用多种增广处理方法对所述原始的缺陷图像进行样本增广处理,得到增广处理后的缺陷图像;
基于所述原始的缺陷图像的缺陷种类、增广处理后的缺陷图像的缺陷种类,构建每种缺陷的缺陷库。
在一些实施例中,所述的缺陷样本图像的生成方法中,基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中焊缝的位置,确定目标缺陷图像在焊缝中的目标位置,包括:
基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中焊缝的位置,确定目标缺陷图像在在焊缝中的候选位置;
判断所述候选位置处是否已有缺陷;
若是,则重新确定目标缺陷图像在在焊缝中的候选位置;
若否,则确定所述候选位置为目标位置。
在一些实施例中,所述的缺陷样本图像的生成方法中,基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中的焊缝,确定目标缺陷图像在焊缝中的目标位置,包括:
当所述目标缺陷图像中缺陷的种类为未焊透时,对所述目标射线底片中的焊缝进行阈值分割处理,确定焊缝的中间位置;
在所述中间位置中确定所述目标缺陷图像在焊缝中的目标位置。
在一些实施例中,所述的缺陷样本图像的生成方法中,基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中的焊缝,确定目标缺陷图像在焊缝中的目标位置,包括:
当所述目标缺陷图像中缺陷的种类为未熔合时,分别确定出目标射线底片中的焊缝两侧的三分之一区域作为目标区域;
在所述目标区域中确定所述目标缺陷图像在焊缝中的目标位置。
在一些实施例中,所述的缺陷样本图像的生成方法中,在基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中的焊缝,确定目标缺陷图像在焊缝中的目标位置之前,所述生成方法还包括:
基于对产品进行无损检测过程中的样本射线底片,构建背景数据库;
构建深度学习模型,并基于所述背景数据库训练所述深度学习模型,得到训练好的深度学习模型作为焊缝检测模型;
基于所述焊缝检测模型识别出目标射线底片中的焊缝。
在一些实施例中,还提供一种缺陷样本图像的生成装置,具体的,所述生成装置包括:
获取模块,用于获取对产品进行无损检测过程中的目标射线底片;其中,所述目标射线底片中包括焊缝;
第一确定模块,用于基于预先构建的多种缺陷库中,确定目标种类的目标缺陷库,并从所述目标缺陷库中确定一目标缺陷图像;其中,不同缺陷库中的缺陷图像携带不同种类的缺陷,不同种类的缺陷对应不同的缺陷位置规则;
第二确定模块,用于基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中的焊缝,确定目标缺陷图像在焊缝中的目标位置;
融合模块,用于将所述目标缺陷图像融合在目标射线底片中焊缝的目标位置处,得到携带目标种类缺陷的缺陷样本图像。
在一些实施例中,还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行所述的缺陷样本图像的生成方法的步骤。
在一些实施例中,还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行所述的缺陷样本图像的生成方法的步骤。
本申请实施例提供一种缺陷样本图像的生成方法、装置、电子设备及介质,所述生成方法先获取对产品进行无损检测过程中的目标射线底片;基于预先构建的多种缺陷库中,确定目标种类的目标缺陷库,并从所述目标缺陷库中确定一目标缺陷图像;其中,不同缺陷库中的缺陷图像携带不同种类的缺陷,不同种类的缺陷对应不同的缺陷位置规则;基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中的焊缝,确定目标缺陷图像在焊缝中的目标位置;将所述目标缺陷图像融合在目标射线底片中焊缝的目标位置处,得到携带目标种类缺陷的缺陷样本图像;这样,通过多种缺陷库中大量的缺陷图像和背景各样的射线底片,自动批量化生成大量的、多种类型的缺陷样本图像,以及同时生成对应的标注文件,将少量数十张的缺陷样本数据丰富至上万张,为训练深度学习模型提供更为丰富的、优质的样本以及更好的泛化能力,从而基于生成的缺陷样本图像训练得到高精确的缺陷检测模型。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所述未熔合示意图;
图2示出了本申请实施例所述未焊透示意图;
图3示出了本申请实施例所述裂纹示意图;
图4示出了本申请实施例所述缺陷样本图像的生成方法的流程图;
图5示出了本申请实施例所述构建缺陷库的方法流程图;
图6示出了本申请实施例所述射线底片的第一部分中焊缝示意图;
图7示出了本申请实施例所述射线底片的第二部分中焊缝示意图;
图8示出了本申请实施例所述缺陷样本图像的生成装置的结构示意图;
图9示出了本申请实施例所述电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解,本申请中附图仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
另外,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例中将会用到术语“包括”,用于指出其后所声明的特征的存在,但并不排除增加其它的特征。
由于产品中不可避免地存在气孔、夹杂、未熔合、裂纹等缺陷,将使制件相应部位的有效承载面积减小,承受载荷时产生缺口效应,造成局部应力集中,成为产品故障的萌生源,进而影响产品在使用过程中的抗疲劳性能。无损检测技术在不损害被检对象的前提下,检测出被检件的中的未熔合、裂纹、未焊透等缺陷,对被检件质量进行评价并根据验收标准做出合格与否的判断。
现在,随着图像处理技术的发展,可以通过缺陷检测模型识别出无损检测过程的射线底片中的缺陷类型,提高自动化水平。然而,无损检测中未熔合、未焊透和裂纹这三种缺陷属于较为严重的缺陷种类,而其缺陷样本总是很少,这样不利于深度学习训练,无法得到高精确的焊缝缺陷检测模型。
请参照图1、图2、图3,图1示出了未熔合示意图;具体的,图1中从上到下依次示出了坡口未熔合示意图、层间未熔合示意图、根部未熔合示意图;图2示出了未焊透示意图;具体的,图2从左到右依次示出了根部未焊透示意图、中间未焊透示意图;图3示出了裂纹示意图。
基于此,本申请实施例提供一种缺陷样本图像的生成方法、装置、电子设备及介质,所述生成方法先获取对产品进行无损检测过程中的目标射线底片;基于预先构建的多种缺陷库中,确定目标种类的目标缺陷库,并从所述目标缺陷库中确定一目标缺陷图像;其中,不同缺陷库中的缺陷图像携带不同种类的缺陷,不同种类的缺陷对应不同的缺陷位置规则;基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中的焊缝,确定目标缺陷图像在焊缝中的目标位置;将所述目标缺陷图像融合在目标射线底片中焊缝的目标位置处,得到携带目标种类缺陷的缺陷样本图像;这样,通过多种缺陷库中大量的缺陷图像和背景各样的射线底片,自动批量化生成大量的、多种类型的缺陷样本图像,以及同时生成对应的标注文件,将少量数十张的缺陷样本数据丰富至上万张,为训练深度学习模型提供更为丰富的、优质的样本以及更好的泛化能力,从而基于生成的缺陷样本图像训练得到高精确的缺陷检测模型。
请按照图4,所述图4示出了本申请实施例所述缺陷样本图像的生成方法的流程图;具体的,所述缺陷样本图像的生成方法包括以下步骤S401-S104:
S401、获取对产品进行无损检测过程中的目标射线底片;其中,所述目标射线底片中包括焊缝;
S402、基于预先构建的多种缺陷库中,确定目标种类的目标缺陷库,并从所述目标缺陷库中确定一目标缺陷图像;其中,不同缺陷库中的缺陷图像携带不同种类的缺陷,不同种类的缺陷对应不同的缺陷位置规则;
S403、基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中的焊缝,确定目标缺陷图像在焊缝中的目标位置;
S404、将所述目标缺陷图像融合在目标射线底片中焊缝的目标位置处,得到携带目标种类缺陷的缺陷样本图像。
本申请通过多种缺陷库中大量的缺陷图像和背景各样的射线底片,自动批量化生成大量的、多种类型的缺陷样本图像,以及同时生成对应的标注文件,将少量数十张的缺陷样本数据丰富至上万张,为训练深度学习模型提供更为丰富的、优质的样本以及更好的泛化能力,从而基于生成的缺陷样本图像训练得到高精确的缺陷检测模型。
在本申请实施例中,所述缺陷样本图像的生成方法可以运行于终端设备或者是服务器;其中,终端设备可以为本地终端设备,当缺陷样本图像的生成方法运行于服务器时,该缺陷样本图像的生成方法则可以基于云交互系统来实现与执行,其中,云交互系统至少包括服务器和客户端设备(也即终端设备)。
具体的,以应用于终端设备为例,当缺陷样本图像的生成方法运行于终端设备上时,所述缺陷样本图像的生成方法用于基于缺陷库和射线底片,生成携带缺陷的缺陷样本图像。
在所述步骤S101中,获取对产品进行无损检测过程中的目标射线底片;其中,所述目标射线底片中包括焊缝。
这里,预先准备几千张背景各样的射线底片作为背景图,构成背景数据库,以确保生成的缺陷样本图像样本具有多样性,增强训练模型泛化能力。
所述获取对产品进行无损检测过程中的目标射线底片,即从所述所述背景数据库中获取目标射线底片。
需要说明的是,所述目标射线底片可以存在缺陷,或者不存在缺陷;已经存在缺陷的目标射线底片中的缺陷,可以是无损检测过程生成的射线底片中的真实缺陷,也可以是通过本申请实施例所述的缺陷样本图像的生成方法生成的缺陷样本图像。
由于真实的检测过程中,往往会多种缺陷并存,因此,一个焊缝有多种缺陷是更为优质的样本,可以为训练模型提供更好的泛化能力。
在所述步骤S102中,基于预先构建的多种缺陷库中,确定目标种类的目标缺陷库,并从所述目标缺陷库中确定一目标缺陷图像;其中,不同缺陷库中的缺陷图像携带不同种类的缺陷,不同种类的缺陷对应不同的缺陷位置规则。
请参照图5,所述缺陷库是通过以下步骤S501-S504构建的:
S501、获取射线底片数据集;所述射线底片数据集中的射线底片携带有缺陷标注框;
S502、基于所述缺陷标注框,提取出所述射线底片数据集的原始的缺陷图像;
S503、使用多种增广处理方法对所述缺陷基础图像进行样本增广处理,得到增广处理后的缺陷图像;
S504、基于所述原始的缺陷图像的缺陷种类、增广处理后的缺陷图像的缺陷种类,构建每种缺陷的缺陷库。
所述射线底片数据集,是专家标注的数据集;所述数据集中的射线底片中通过缺陷标注框框选出射线底片中焊缝的缺陷。
因此,基于所述缺陷标注框,提取出缺陷标注框中的局部图像,即可得到射线底片的原始的缺陷图像。
针对射线底片数据集,提取出所述射线底片数据集中每张射线底片的原始的缺陷图像,从而得到所述射线底片数据集的原始的缺陷图像。
具体的,本申请实施例中,提取出所述射线底片数据集中每张射线底片的原始的缺陷图像,所述原始的缺陷图像包括未熔合、未焊透、裂纹。
将所述射线底片数据集的原始的缺陷图像保存成缺陷基础数据库。
使用多种增广处理方法对所述原始的缺陷图像进行样本增广处理,得到增广处理后的缺陷图像;所述至少部分增广处理后的缺陷图像是原始的缺陷图像发生形变得到的,所述形变至少包括反直方图均衡化、对比度降低、锐度模糊等等,这样,缺陷图像的缺陷特征发生了变化,例如颜色变深或者变浅,边缘模糊或者清晰等等,从而模拟了新的真实的缺陷,丰富了缺陷的形态。
也就是说,所述至少部分增广处理后的缺陷图像中的缺陷与处理之前的缺陷形态不同。
具体的,使用resize,错切,旋转,翻转,Brightness,Contrast,Sharpness增强因子,直方图均衡化等增广处理方法增广原始的缺陷图像,使用反直方图均衡化和对比度降低,锐度模糊等方法处理原始的缺陷图像,或者已经增广处理得到的缺陷图像,从而模拟新的真实的缺陷,而非仅仅增加缺陷图像的数量。
基于所述原始的缺陷图像的缺陷种类、增广处理后的缺陷图像的缺陷种类,构建每种缺陷的缺陷库;缺陷图像的缺陷种类包括未熔合、未焊透、裂纹;缺陷库包括未熔合缺陷库、未焊透缺陷种类库、裂纹缺陷库;所述未熔合缺陷库中大量的缺陷图像为多种形态的未熔合缺陷图像;所述未焊透缺陷库中大量的缺陷图像为多种形态的未焊透缺陷图像;所述裂纹缺陷库中大量的缺陷图像为多种形态的裂纹缺陷图像。
在所述步骤S103中,基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中的焊缝,确定目标缺陷图像在焊缝中的目标位置。
具体的,基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中的焊缝,确定目标缺陷图像在焊缝中的目标位置,包括:
当所述目标缺陷图像中缺陷的种类为未焊透时,对所述目标射线底片中的焊缝进行阈值分割处理,确定焊缝的中间位置;
在所述中间位置中确定所述目标缺陷图像在焊缝中的目标位置。
请参照图6和图7,根据专家经验,未焊透的典型特点,是出于焊缝中心位置,所以在生成时需要生成在焊缝的居中位置。
由于大部分底片的焊缝并不是平行笔直的矩形,所以不能简单的根据焊缝的检测框来进行居中判断,而是要在增加位置做图像处理,阈值分割等,找到焊缝真正的居中位置。
这里,在所述中间位置中确定所述目标缺陷图像在焊缝中的目标位置,即焊缝的居中位置可能为一条线,在居中位置上的任一位置都可以作为未焊透缺陷图像在焊缝中的目标位置。
基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中的焊缝,确定目标缺陷图像在焊缝中的目标位置,包括:
当所述目标缺陷图像中缺陷的种类为未熔合时,分别确定出目标射线底片中的焊缝两侧的三分之一区域作为目标区域;
在所述目标区域中确定所述目标缺陷图像在焊缝中的目标位置。
根据专家经验,未熔合的典型特点,是出现于焊缝的两侧三分之一区域。(由于射线底片的照射角度,可能会有未熔合出现正中心的位置,但这里对射线底片做规范化约定,均为垂直于焊缝的照射),所以需要对生成位置做判断及处理,找到焊缝两侧的三分之一区域作为目标区域。
在所述目标区域中确定所述目标缺陷图像在焊缝中的目标位置,具体的,目标区域中的任一位置都可以作为未熔合缺陷图像在焊缝中的目标位置。
当所述目标缺陷图像中缺陷的种类为裂纹时,由于裂纹出现的位置和角度没有专家经验上的限定,所以在生成时可以做较多的数据增广变换处理,以增强多样性。
由于焊接缺陷未熔合未焊透裂纹都属于钢材高温熔合的物理现象,缺陷会有各式各样,千百种特征,现有缺陷只增强焊缝区域,里面的缺陷没有任何改变,只是单纯增加了样本数量,却不能模拟新的真实的缺陷,存在局限性,训练出的模型泛化能力会很差,而本申请实施例中,首先数据增强对象不是大而笼统的焊缝,而是精确到每一个缺陷,将所有缺陷labelbox进行提取,方法上也不是简单的数据增广而是进行形变,并且结合行业专家几十年的经验,用各种图像算子从多个层面进行增强或减弱来模拟出新的、真实的焊缝焊接缺陷样本。
同时,由于未熔合未焊透这两种缺陷特征非常相近,本申请实施例中根据专家经验结合多种信息(比如位置等)进行判断,在生成时结合专家经验,融合未熔合未焊透的位置信息来生成缺陷,这样生成的缺陷非常接近真实图像,具有训练学习的实际意义,提高模型的泛化能力和鲁棒性。
本申请实施例中,基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中焊缝的位置,确定目标缺陷图像在焊缝中的目标位置,包括:
基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中焊缝的位置,确定目标缺陷图像在在焊缝中的候选位置;
判断所述候选位置处是否已有缺陷;
若是,则重新确定目标缺陷图像在在焊缝中的候选位置;
若否,则确定所述候选位置为目标位置。
本申请实施例中,确定目标位置后,对于目标位置的判断还需要增加是否与已有缺陷位置重合的判断,如果有重叠要重新选定目标位置俩生成新的缺陷,选定目标位置后,将目标缺陷图像进行一定的图像处理,然后使用泊松融合生成于该位置。
通常选择生成的射线底片上会有已经存在的真实缺陷,而真实的绝大多数样本都会有多种缺陷并存,而且,一个焊缝有多种缺陷是更为优质的样本,为训练模型提供更好的泛化能力。
本申请实施例中,所述的缺陷样本图像的生成方法,在基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中的焊缝,确定目标缺陷图像在焊缝中的目标位置之前,所述生成方法还包括:
基于对产品进行无损检测过程中的样本射线底片,构建背景数据库;
构建深度学习模型,并基于所述背景数据库训练所述深度学习模型,得到训练好的深度学习模型作为焊缝检测模型;
基于所述焊缝检测模型识别出目标射线底片中的焊缝。
本申请实施例使用深度学习模型识别样本射线底片中的焊缝,识别精度更高。
本申请实施例中的缺陷样本图像的生成方法中,在得到携带目标种类缺陷的缺陷样本图像后,所述生成方法还包括:
对所述缺陷样本图像进行缺陷标注,得到缺陷样本图像对应的标注文件。
本申请中基于数万量级的多样化缺陷库以及具有数万张无损检测的射线底线作为背景数据库,生成大量的、缺陷形态各异的、足够丰富的缺陷样本图像。基于得到的缺陷样本图像和标注文件,能够训练得到一个准确率更高的焊缝缺陷检测模型。
在所述步骤S104中,将所述目标缺陷图像融合在目标射线底片中焊缝的目标位置处,得到携带目标种类缺陷的缺陷样本图像。
具体的,本申请实施例中,所述使用泊松融合在所述目标位置融合目标缺陷图像,从而在目标射线底片中焊缝的目标位置处生成一缺陷。
基于同一发明构思,本申请实施例中还提供了与缺陷样本图像的生成方法对应的缺陷样本图像的生成装置,由于本申请实施例中的装置解决问题的原理与本申请实施例上述缺陷样本图像的生成方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
请参照图8,图8示出了本申请实施例所述缺陷样本图像的生成装置的结构示意图;具体的,所述缺陷样本图像的生成装置包括:
获取模块801,用于获取对产品进行无损检测过程中的目标射线底片;其中,所述目标射线底片中包括焊缝;
第一确定模块802,用于基于预先构建的多种缺陷库中,确定目标种类的目标缺陷库,并从所述目标缺陷库中确定一目标缺陷图像;其中,不同缺陷库中的缺陷图像携带不同种类的缺陷,不同种类的缺陷对应不同的缺陷位置规则;
第二确定模块803,用于基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中的焊缝,确定目标缺陷图像在焊缝中的目标位置;
融合模块804,用于将所述目标缺陷图像融合在目标射线底片中焊缝的目标位置处,得到携带目标种类缺陷的缺陷样本图像。
在一些实施例中,所述缺陷样本图像的生成装置中还包括标注模块;
所述标注模块,用于在得到携带目标种类缺陷的缺陷样本图像后,对所述缺陷样本图像进行缺陷标注,得到缺陷样本图像对应的标注文件。
在一些实施例中,所述缺陷样本图像的生成装置中还包括构建模块;
所述构建模块,用于获取射线底片数据集;所述射线底片数据集中的射线底片携带有缺陷标注框;
基于所述缺陷标注框,提取出所述射线底片数据集的原始的缺陷图像;
使用多种增广处理方法对所述原始的缺陷图像进行样本增广处理,得到增广处理后的缺陷图像;
基于所述原始的缺陷图像的缺陷种类、增广处理后的缺陷图像的缺陷种类,构建每种缺陷的缺陷库。
在一些实施例中,所述缺陷样本图像的生成装置中的第二确定模块,在基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中焊缝的位置,确定目标缺陷图像在焊缝中的目标位置时,具体用于:
基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中焊缝的位置,确定目标缺陷图像在在焊缝中的候选位置;
判断所述候选位置处是否已有缺陷;
若是,则重新确定目标缺陷图像在在焊缝中的候选位置;
若否,则确定所述候选位置为目标位置。
在一些实施例中,所述缺陷样本图像的生成装置中的第二确定模块,在基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中的焊缝,确定目标缺陷图像在焊缝中的目标位置时,具体用于:
当所述目标缺陷图像中缺陷的种类为未焊透时,对所述目标射线底片中的焊缝进行阈值分割处理,确定焊缝的中间位置;
在所述中间位置中确定所述目标缺陷图像在焊缝中的目标位置。
在一些实施例中,所述缺陷样本图像的生成装置中的第二确定模块,在基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中的焊缝,确定目标缺陷图像在焊缝中的目标位置时,具体用于:
当所述目标缺陷图像中缺陷的种类为未熔合时,分别确定出目标射线底片中的焊缝两侧的三分之一区域作为目标区域;
在所述目标区域中确定所述目标缺陷图像在焊缝中的目标位置。
在一些实施例中,所述的缺陷样本图像的生成方法中还包括识别模块;
所述识别模块,用于在基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中的焊缝,确定目标缺陷图像在焊缝中的目标位置之前,基于对产品进行无损检测过程中的样本射线底片,构建背景数据库;
构建深度学习模型,并基于所述背景数据库训练所述深度学习模型,得到训练好的深度学习模型作为焊缝检测模型;
基于所述焊缝检测模型识别出目标射线底片中的焊缝。
基于同一发明构思,本申请实施例中还提供了与缺陷样本图像的生成方法对应的电子设备,由于本申请实施例中的电子设备解决问题的原理与本申请实施例上述缺陷样本图像的生成方法相似,因此电子设备的实施可以参见方法的实施,重复之处不再赘述。
请参照图9,图9示出了本申请实施例所述电子设备的结构示意图,具体的,所述电子设备900包括:处理器901、存储器902和总线,所述存储器902存储有所述处理器901可执行的机器可读指令,当电子设备900运行时,所述处理器901与所述存储器902之间通过总线通信,所述机器可读指令被所述处理器901执行时执行所述的缺陷样本图像的生成方法的步骤。
基于同一发明构思,本申请实施例中还提供了与缺陷样本图像的生成方法对应的计算机可读存储介质,由于本申请实施例中的计算机可读存储介质解决问题的原理与本申请实施例上述缺陷样本图像的生成方法相似,因此计算机可读存储介质的实施可以参见方法的实施,重复之处不再赘述。
具体的,所述计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行所述的缺陷样本图像的生成方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考方法实施例中的对应过程,本申请中不再赘述。在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,平台服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种缺陷样本图像的生成方法,其特征在于,所述生成方法包括:
获取对产品进行无损检测过程中的目标射线底片;其中,所述目标射线底片中包括焊缝;
基于预先构建的多种缺陷库中,确定目标种类的目标缺陷库,并从所述目标缺陷库中确定一目标缺陷图像;其中,不同缺陷库中的缺陷图像携带不同种类的缺陷,不同种类的缺陷对应不同的缺陷位置规则;
基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中的焊缝,确定目标缺陷图像在焊缝中的目标位置;
将所述目标缺陷图像融合在目标射线底片中焊缝的目标位置处,得到携带目标种类缺陷的缺陷样本图像。
2.根据权利要求1所述的缺陷样本图像的生成方法,其特征在于,得到携带目标种类缺陷的缺陷样本图像后,所述生成方法还包括:
对所述缺陷样本图像进行缺陷标注,得到缺陷样本图像对应的标注文件。
3.根据权利要求1所述的缺陷样本图像的生成方法,其特征在于,所述缺陷库是通过以下步骤构建的:
获取射线底片数据集;所述射线底片数据集中的射线底片携带有缺陷标注框;
基于所述缺陷标注框,提取出所述射线底片数据集的原始的缺陷图像;
使用多种增广处理方法对所述原始的缺陷图像进行样本增广处理,得到增广处理后的缺陷图像;
基于所述原始的缺陷图像的缺陷种类、增广处理后的缺陷图像的缺陷种类,构建每种缺陷的缺陷库。
4.根据权利要求1所述的缺陷样本图像的生成方法,其特征在于,基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中焊缝的位置,确定目标缺陷图像在焊缝中的目标位置,包括:
基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中焊缝的位置,确定目标缺陷图像在在焊缝中的候选位置;
判断所述候选位置处是否已有缺陷;
若是,则重新确定目标缺陷图像在在焊缝中的候选位置;
若否,则确定所述候选位置为目标位置。
5.根据权利要求1所述的缺陷样本图像的生成方法,其特征在于,基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中的焊缝,确定目标缺陷图像在焊缝中的目标位置,包括:
当所述目标缺陷图像中缺陷的种类为未焊透时,对所述目标射线底片中的焊缝进行阈值分割处理,确定焊缝的中间位置;
在所述中间位置中确定所述目标缺陷图像在焊缝中的目标位置。
6.根据权利要求1所述的缺陷样本图像的生成方法,其特征在于,基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中的焊缝,确定目标缺陷图像在焊缝中的目标位置,包括:
当所述目标缺陷图像中缺陷的种类为未熔合时,分别确定出目标射线底片中的焊缝两侧的三分之一区域作为目标区域;
在所述目标区域中确定所述目标缺陷图像在焊缝中的目标位置。
7.根据权利要求1所述的缺陷样本图像的生成方法,其特征在于,在基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中的焊缝,确定目标缺陷图像在焊缝中的目标位置之前,所述生成方法还包括:
基于对产品进行无损检测过程中的样本射线底片,构建背景数据库;
构建深度学习模型,并基于所述背景数据库训练所述深度学习模型,得到训练好的深度学习模型作为焊缝检测模型;
基于所述焊缝检测模型识别出目标射线底片中的焊缝。
8.一种缺陷样本图像的生成装置,其特征在于,所述生成装置包括:
获取模块,用于获取对产品进行无损检测过程中的目标射线底片;其中,所述目标射线底片中包括焊缝;
第一确定模块,用于基于预先构建的多种缺陷库中,确定目标种类的目标缺陷库,并从所述目标缺陷库中确定一目标缺陷图像;其中,不同缺陷库中的缺陷图像携带不同种类的缺陷,不同种类的缺陷对应不同的缺陷位置规则;
第二确定模块,用于基于目标缺陷图像中缺陷的种类对应的缺陷位置规则、目标射线底片中的焊缝,确定目标缺陷图像在焊缝中的目标位置;
融合模块,用于将所述目标缺陷图像融合在目标射线底片中焊缝的目标位置处,得到携带目标种类缺陷的缺陷样本图像。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至7任意一项所述的缺陷样本图像的生成方法的步骤。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7任意一项所述的缺陷样本图像的生成方法的步骤。
CN202310159952.7A 2023-02-21 2023-02-21 一种缺陷样本图像的生成方法、装置、电子设备及介质 Active CN116228703B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310159952.7A CN116228703B (zh) 2023-02-21 2023-02-21 一种缺陷样本图像的生成方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310159952.7A CN116228703B (zh) 2023-02-21 2023-02-21 一种缺陷样本图像的生成方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN116228703A true CN116228703A (zh) 2023-06-06
CN116228703B CN116228703B (zh) 2024-01-12

Family

ID=86578144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310159952.7A Active CN116228703B (zh) 2023-02-21 2023-02-21 一种缺陷样本图像的生成方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN116228703B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108346137A (zh) * 2017-01-22 2018-07-31 上海金艺检测技术有限公司 用于工业射线焊缝图像的缺陷检测方法
CN108665452A (zh) * 2018-05-09 2018-10-16 广东大鹏液化天然气有限公司 一种基于大数据的管道焊缝底片扫描入库及焊缝缺陷识别方法及其系统
CN110405384A (zh) * 2019-06-26 2019-11-05 上海展湾信息科技有限公司 用于机器人焊接过程中实时检测熔深不足的方法及系统
CN110751628A (zh) * 2019-09-24 2020-02-04 河海大学常州校区 一种基于超声图像的焊缝缺陷自动识别方法
CN111091538A (zh) * 2019-12-04 2020-05-01 上海君睿信息技术有限公司 一种管道焊缝自动识别、缺陷检测方法及装置
CN114066858A (zh) * 2021-11-18 2022-02-18 深圳市商汤科技有限公司 模型训练方法及装置、电子设备和存储介质
US20220415020A1 (en) * 2020-03-05 2022-12-29 Newfrey Llc System and method for detection of anomalies in welded structures

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108346137A (zh) * 2017-01-22 2018-07-31 上海金艺检测技术有限公司 用于工业射线焊缝图像的缺陷检测方法
CN108665452A (zh) * 2018-05-09 2018-10-16 广东大鹏液化天然气有限公司 一种基于大数据的管道焊缝底片扫描入库及焊缝缺陷识别方法及其系统
CN110405384A (zh) * 2019-06-26 2019-11-05 上海展湾信息科技有限公司 用于机器人焊接过程中实时检测熔深不足的方法及系统
CN110751628A (zh) * 2019-09-24 2020-02-04 河海大学常州校区 一种基于超声图像的焊缝缺陷自动识别方法
CN111091538A (zh) * 2019-12-04 2020-05-01 上海君睿信息技术有限公司 一种管道焊缝自动识别、缺陷检测方法及装置
US20220415020A1 (en) * 2020-03-05 2022-12-29 Newfrey Llc System and method for detection of anomalies in welded structures
CN114066858A (zh) * 2021-11-18 2022-02-18 深圳市商汤科技有限公司 模型训练方法及装置、电子设备和存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
VIJAY R. RATHOD等: "A Comparative Study of Different Segmentation Techniques for Detection of Flaws in NDE Weld Images", 《JOURNAL OF NONDESTRUCTIVE EVALUATION》, vol. 31, pages 1 - 16 *
ZHIFEN ZHANG等: "An easy method of image feature extraction for real-time welding defects detection", 《2016 13TH INTERNATIONAL CONFERENCE ON UBIQUITOUS ROBOTS AND AMBIENT INTELLIGENCE (URAI)》, pages 615 - 619 *
刘伟等: "X射线线阵实时成像中管道对接焊缝未焊透缺陷的提取", 《焊接技术》, vol. 43, no. 05, pages 71 - 74 *
毛万冲: "管道无损检测系统中基于色彩信息的焊缝识别", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, pages 138 - 1597 *
郭翔宇: "射线底片DS级成像及焊缝缺陷库构建系统", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅰ辑)》, no. 01, pages 4 *

Also Published As

Publication number Publication date
CN116228703B (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
CN110570410B (zh) 一种自动识别检测焊缝缺陷的检测方法
US20220036533A1 (en) Image defect detection method and apparatus, electronic device, storage medium and product
CN111080622B (zh) 神经网络训练方法、工件表面缺陷分类与检测方法及装置
Zhu et al. Machine vision-based concrete surface quality assessment
CN111091538B (zh) 一种管道焊缝自动识别、缺陷检测方法及装置
JP2019114116A (ja) データ生成装置、データ生成方法及びデータ生成プログラム
CN109146873B (zh) 一种基于学习的显示屏缺陷智能检测方法及装置
CN110136116B (zh) 一种注塑泵缺陷检测方法、装置、设备及存储介质
CN109684803A (zh) 基于手势滑动的人机验证方法
US20210350521A1 (en) Method for computer-implemented determination of blade-defects of a wind turbine
CN113222913B (zh) 一种电路板缺陷检测定位方法、装置和存储介质
CN112884743B (zh) 检测方法及装置、检测设备和存储介质
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
EP4009038A1 (en) Method and device for detecting mechanical equipment parts
CN116228703B (zh) 一种缺陷样本图像的生成方法、装置、电子设备及介质
CN114511543A (zh) 一种长输管道射线底片智能缺欠评定系统及方法
KR102164769B1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 검수 패스를 활용한 능숙도 측정 방법
CN106528665A (zh) Aoi设备测试文件查找方法和系统
CN111738991A (zh) 一种焊缝缺陷的数字射线检测模型的创建方法
KR20220046824A (ko) 리튬 이차 전지의 용접부 검사 방법
CN101408521A (zh) 用于缺陷增强的方法
CN115908977A (zh) 一种图像数据标注方法、装置、电子设备及存储介质
CN114782431B (zh) 一种印刷电路板缺陷检测模型训练方法及缺陷检测方法
CN113192070B (zh) 一种基于计算机视觉的焊缝图像处理方法和系统
CN115578362A (zh) 电极涂层的缺陷检测方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Li Xiaobo

Inventor before: Guo Bin

Inventor before: Li Xiaobo

Inventor before: Ma Zhenshuo

GR01 Patent grant
GR01 Patent grant