CN115389514A - 一种材料缺陷检测方法和装置 - Google Patents

一种材料缺陷检测方法和装置 Download PDF

Info

Publication number
CN115389514A
CN115389514A CN202211021485.3A CN202211021485A CN115389514A CN 115389514 A CN115389514 A CN 115389514A CN 202211021485 A CN202211021485 A CN 202211021485A CN 115389514 A CN115389514 A CN 115389514A
Authority
CN
China
Prior art keywords
detected
data
fusion
defect
modal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211021485.3A
Other languages
English (en)
Inventor
齐昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202211021485.3A priority Critical patent/CN115389514A/zh
Publication of CN115389514A publication Critical patent/CN115389514A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22—Details, e.g. general constructional or apparatus details
    • G01N29/26—Arrangements for orientation or scanning by relative movement of the head and the sensor
    • G01N29/262—Arrangements for orientation or scanning by relative movement of the head and the sensor by electronic orientation or focusing, e.g. with phased arrays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4472—Mathematical theories or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/26—Scanned objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Optimization (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Mathematical Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Multimedia (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明实施例公开了一种材料缺陷检测方法和装置。该方法包括：获取待检测材料的多模态数据，其中，待检测材料的多模态数据包括表面数据和体数据；根据待检测材料的多模态数据，构建待检测材料的融合数据；将待检测材料的融合数据和标准样本材料的融合数据进行特征对比，检测待检测材料的缺陷，其中，标准样本材料为与待检测材料的材料属性相同且不存在缺陷的材料。通过本发明，解决了相关技术中采用单模态不能同时检测材料表面和内部缺陷的技术问题，达到了能够同时检测材料表面和内部的缺陷的技术效果。

Description

一种材料缺陷检测方法和装置
技术领域
本发明涉及无损检测技术领域，尤其涉及一种材料缺陷检测方法和装置。
背景技术
无损检测就是指在检查机械材料内部不损害或不影响被检测对象使用性能,不伤害被检测对象内部组织的前提下，利用材料内部结构异常或缺陷存在引起的热、声、光、电、磁等反应的变化，以物理或化学方法为手段，借助现代化的技术和设备器材。对试件内部及表面的结构、状态及缺陷的类型、数量、形状、性质、位置、尺寸、分布及其变化进行检查和测试的方法。无损检测是工业发展必不可少的有效工具，在一定程度上反映了一个国家的工业发展水平，无损检测的重要性已得到公认。无损检测主要包括射线检验(RadiographicTesting，RT)、超声检测(Ultrasonic Testing，UT)、磁粉检测(Magnetic particleTesting，MT)和液体渗透检测(Penetrant Testing，PT)四种，其中以超声无损检测技术应用范围最广。
待检测材料的缺陷可能出现在从表面到内部的各个位置。对于材料内部的缺陷，现有的超声无损检测技术能较好的进行缺陷的检测；而对于诸如表面裂纹、磨损等起源于材料表面的缺陷,则需要利用视觉设备采集缺陷的光学图像，根据像素分布、亮度和色彩等信息,进行各种运算来抽取目标的特征,就能够快速地确定缺陷位置、尺寸和类型等信息。光学图像无法体现材料表面以下的缺陷信息；然而，现有技术中通常单独使用超声进行检测，材料表面的缺陷无法进行检测，这就造成在需要全面检测时，需要对材料进行两次的检测，使得检测过程复杂化。
针对上述的问题，尚未提出有效地解决方案。
发明内容
本发明实施例提供了一种材料缺陷检测方法和装置，以至少解决相关技术中采用单模态不能同时检测材料表面和内部缺陷的技术问题。
根据本发明实施例的一个方面，提供了一种材料缺陷检测方法，包括：获取待检测材料的多模态数据，其中，所述待检测材料的多模态数据包括表面数据和体数据；根据所述待检测材料的多模态数据，构建所述待检测材料的融合数据；将所述待检测材料的融合数据和标准样本材料的融合数据进行特征对比，检测所述待检测材料的缺陷，其中，所述标准样本材料为与所述待检测材料的材料属性相同且不存在缺陷的材料。
可选地，根据所述待检测材料的多模态数据，构建所述待检测材料的融合数据，包括：对所述待检测材料的多模态数据进行数据同规格量化处理，得到所述待检测材料的同规格多模态数据；对所述待检测材料的同规格多模态数据进行拼接处理，得到所述待检测材料的融合数据。
可选地，对所述待检测材料的多模态数据进行数据同规格量化处理，得到所述待检测材料的同规格多模态数据，包括：获取所述待检测材料的多模态数据的特征参数，其中，所述特征参数包括像素点的大小和像素点的亮度；根据所述特征参数对所述待检测材料的多模态数据进行数据同规格量化处理，得到所述待检测材料的同规格多模态数据。
可选地，所述特征参数为所述像素点的大小，根据所述特征参数对所述待检测材料的多模态数据进行数据同规格量化处理，得到所述待检测材料的同规格多模态数据，包括：根据所述像素点的大小对所述待检测材料的多模态数据进行像素点分辨率的归一化，生成所述待检测材料的同规格多模态数据。
可选地，所述特征参数为所述像素点的亮度，根据所述特征参数对所述待检测材料的多模态数据进行数据同规格量化处理，得到所述待检测材料的同规格多模态数据，包括：根据所述像素点的亮度对所述待检测材料的多模态数据进行相同比特的量化，生成所述待检测材料的同规格多模态数据。
可选地，对所述待检测材料的同规格多模态数据进行拼接处理，得到所述待检测材料的融合数据，包括：获取所述待检测材料的同规格多模态数据对应的物理空间坐标；根据所述物理空间坐标拼接所述待检测材料的同规格多模态数据，生成所述待检测材料的融合数据。
可选地，将所述待检测材料的融合数据和标准样本材料的融合数据进行特征比对，检测所述待检测材料的缺陷，包括：基于特征识别模型分别对所述待检测材料的融合数据、所述标准样本材料的融合数据进行处理，得到所述待检测材料的第一特征向量和所述标准样本材料的第二特征向量；确定所述待检测材料的第一特征向量相对于所述标准材料的第二特征向量的余弦距离；根据所述余弦距离对所述待检测材料的缺陷进行检测。
可选地，根据所述余弦距离对所述待检测材料的缺陷进行检测，包括：判断所述余弦距离是否大于余弦距离阈值；在所述余弦距离大于所述余弦距离阈值的情况下，则确定所述待检测材料存在缺陷；在所述余弦距离小于或者等于所述余弦距离阈值的情况下，则确定所述待检测材料不存在缺陷。
可选地，在基于特征识别模型分别对所述待检测材料的融合数据、标准样本材料的融合数据进行处理，得到所述待检测材料的第一特征向量和所述标准样本材料的第二特征向量之前，所述方法还包括：建立用于识别融合数据的特征识别模型，其中，所述特征识别模型包括依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层以及注意力模块，其中，所述第一卷积层、所述第二卷积层、所述第三卷积层和所述第四卷积层具有相同的卷积核和不同的数据类型。
根据本发明实施例的另一个方面，还提供了一种材料缺陷检测装置，包括：获取模块，用于获取待检测材料的多模态数据，其中，所述待检测材料的多模态数据包括表面数据和体数据；构建模块，用于根据所述待检测材料的多模态数据，构建所述待检测材料的融合数据；检测模块，用于将所述待检测材料的融合数据和标准样本材料的融合数据进行特征对比，检测所述待检测材料的缺陷，其中，所述标准样本材料为与所述待检测材料的材料属性相同且不存在缺陷的材料。
在本发明实施例中，采用获取待检测材料的多模态数据，其中，待检测材料的多模态数据包括表面数据和体数据；根据待检测材料的多模态数据，构建待检测材料的融合数据；将待检测材料的融合数据和标准样本材料的融合数据进行特征对比，检测待检测材料的缺陷，其中，标准样本材料为与待检测材料的材料属性相同且不存在缺陷的材料。也就是说，本发明实施例相较于单模态而言，通过获取的待检测材料的多模态数据重构待检测材料的融合数据，并利用待检测材料的融合数据和标准样本材料的融合数据的特征对比，来实现对待检测材料的缺陷检测，进而解决了相关技术中采用单模态不能同时检测材料表面和内部缺陷的技术问题，达到了能够同时检测材料表面和内部的缺陷的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例提供的材料缺陷检测方法的流程图；
图2为本发明可选实施例提供的全矩阵采集模式及数据集的示意图；
图3为本发明可选实施例提供的单层介质下全聚焦成像的示意图；
图4为本发明可选实施例提供的模态融合流程的示意图；
图5为本发明可选实施例提供的特征识别模型的示意图；
图6为本发明实施例提供的材料缺陷检测装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于限定特定顺序。
根据本发明实施例的一个方面，提供了一种材料缺陷检测方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1为本发明实施例提供的材料缺陷检测方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取待检测材料的多模态数据，其中，待检测材料的多模态数据包括表面数据和体数据；
上述待检测材料包括但不限于金属、塑料、碳纤维复合板材以及其他复合材料；另外，该待检测材料可以具有不同的形状，如长方体、正方体、椎体以及其他不规则形状。此外，每一种信息的来源或者形式，都可以称为一种模态。例如，光学、超声、雷达、红外等传感器中任意一种可以称为一种模态。上述待检测材料的多模态数据可以由不同的传感器采集，例如，一个光学传感器和一个超声换能器。上述待检测材料的多模态数据包括表面数据和体数据，其中，表面数据(又称为面数据)为一种模态下的信息，通过扫描待检测材料的表面而得到；体数据为另一种模态下的信息，通过扫描待检测材料除表面以外的部分而得到；面数据中只有表面细节，没有包含体细节，体数据和面数据的区别在于是否包含体细节，而不是在维度方面。需要说明的是，多模态数据为空间坐标系下的三维数据。
步骤S104，根据待检测材料的多模态数据，构建待检测材料的融合数据；
可选地，利用待检测材料的多模态数据能够得到重构后待检测材料的融合数据，从而重构出待检测材料。此处的待检测材料的融合数据为从不同模态传感器中交叉融合获取的相关信息，待检测材料的融合数据也是空间坐标系下的三维数据。
步骤S106，将待检测材料的融合数据和标准样本材料的融合数据进行特征对比，检测待检测材料的缺陷，其中，标准样本材料为与待检测材料的材料属性相同且不存在缺陷的材料。
可选地，利用待检测材料的融合数据和标准样本材料的融合数据进行特征对比，能够得到两者之间的特征差异，进而通过该特征差异就能判断出待检测材料是否存在缺陷。其中，上述特征差异可以余弦距离等方式计算得到。
在本发明实施例中，采用获取待检测材料的多模态数据，其中，待检测材料的多模态数据包括表面数据和体数据；根据待检测材料的多模态数据，构建待检测材料的融合数据；将待检测材料的融合数据和标准样本材料的融合数据进行特征对比，检测待检测材料的缺陷，其中，标准样本材料为与待检测材料的材料属性相同且不存在缺陷的材料。也就是说，本发明实施例相较于单模态而言，通过获取的待检测材料的多模态数据重构待检测材料的融合数据，并利用待检测材料的融合数据和标准样本材料的融合数据的特征对比，来实现对待检测材料的缺陷检测，进而解决了相关技术中采用单模态不能同时检测材料表面和内部缺陷的技术问题，达到了能够同时检测材料表面和内部的缺陷的技术效果。
可选地，根据待检测材料的多模态数据，构建待检测材料的融合数据，包括：对待检测材料的多模态数据进行数据同规格量化处理，得到待检测材料的同规格多模态数据；对待检测材料的同规格多模态数据进行拼接处理，得到待检测材料的融合数据。
由于待检测材料的多模态数据是在不同的模态下采集得到的，各模态数据之间存在一定程度的差异。而为了消除差异，获取更加精确的待检测材料的融合数据，首先需要对待检测材料的多模态数据进行数据同规格量化处理，得到待检测材料的同规格多模态数据，然后再对待检测材料的同规格多模态数据进行拼接处理，从而得到待检测材料的融合数据。
上述数据同规格量化处理是将多模态数据的不同特征参数使用同一标准量化一致；上述拼接处理是将多模态数据中的一种模态数据与另一种模态数据拼接起来。
在本申请的上述实施方式中，通过待检测材料的多模态数据进行数据同规格量化和拼接处理，能够得到待检测材料的融合数据，进而精准的重构出待检测材料。
可选地，对待检测材料的多模态数据进行数据同规格量化处理，得到待检测材料的同规格多模态数据，包括：获取待检测材料的多模态数据的特征参数，其中，特征参数包括像素点的大小和像素点的亮度；根据特征参数对待检测材料的多模态数据进行数据同规格量化处理，得到待检测材料的同规格多模态数据。
上述数据同规格量化处理包括但限于像素点分辨率的归一化和相同比特的量化。由于获取待检测材料的多模态数据的特征参数包含像素点的大小和像素点的亮度，那么就可以根据像素点的大小对待检测材料的多模态数据进行像素点分辨率的归一化，生成待检测材料的同规格多模态数据；还可以根据像素点的亮度对待检测材料的多模态数据进行相同比特的量化，生成待检测材料的同规格多模态数据。
若待检测材料的多模态数据的特征参数属于不同的规格，例如，一种模态数据与另一种模态数据的像素点的大小不同、一种模态数据与另一种模态数据的像素点的亮度不同，就需要根据不同规格的特征参数对待检测材料的多模态数据进行数据同规格量化处理。此外，若一种模态数据与另一种模态数据的像素点的大小相同，而一种模态数据与另一种模态数据的像素点的亮度不同，就需要根据像素点的亮度对待检测材料的多模态数据进行相同比特的量化，生成待检测材料的同规格多模态数据；若一种模态数据与另一种模态数据的像素点的亮度相同，而一种模态数据与另一种模态数据的像素点的大小不同，就需要根据像素点的大小对待检测材料的多模态数据进行像素点分辨率的归一化，生成待检测材料的同规格多模态数据。
上述像素点的亮度采用幅度值表示，幅度值的精度为8bit，即取值范围为0-255。
在本申请的上述实施方式中，若待检测材料的多模态数据出现不同规格的特征参数，则根据不同规格的特征参数对待检测材料的多模态数据进行数据同规格量化处理，使得待检测材料的多模态数据属于同一规格，便于多模态数据的拼接。
可选地，对待检测材料的同规格多模态数据进行拼接处理，得到待检测材料的融合数据，包括：获取待检测材料的同规格多模态数据对应的物理空间坐标；根据物理空间坐标拼接待检测材料的同规格多模态数据，生成待检测材料的融合数据。
为了重构出待检测材料，可以获取待检测材料的同规格多模态数据对应的物理空间坐标，由于同规格多模态数据中一种模态数据与另一种模态数据属于同一规格，那么就能够利用一种模态数据对应的物理空间坐标与另一种模态数据对应的物理空间坐标进行拼接，从而得到待检测材料的融合数据，实现待检测材料的重构。
上述物理空间坐标为同规格多模态数据中像素点在空间坐标系下的位置。
在本申请的上述实施方式中，通过拼接的方式将待检测材料的同规格多模态数据转化为待检测材料的融合数据，从而实现待检测材料的三维建模。
可选地，将待检测材料的融合数据和标准样本材料的融合数据进行特征比对，检测待检测材料的缺陷，包括：基于特征识别模型分别对待检测材料的融合数据、标准样本材料的融合数据进行处理，得到待检测材料的第一特征向量和标准样本材料的第二特征向量；确定待检测材料的第一特征向量相对于标准材料的第二特征向量的余弦距离；根据余弦距离对待检测材料的缺陷进行检测。
可选地，可以使用特征识别模型对待检测材料的融合数据进行处理，计算出待检测材料的第一特征向量，以及使用特征识别模型对标准样本材料的融合数据进行处理，计算出标准样本材料的第二特征向量，再计算出待检测材料的第一特征向量相对于标准材料的第二特征向量的余弦距离，最后利用该余弦距离实现待检测材料的缺陷检测。
在本申请的上述实施方式中，通过特征识别模型分别提取待检测材料和标准样本材料对应的特征向量，再利用两个特征向量之间的余弦距离检测待检测材料的缺陷。
可选地，根据余弦距离对待检测材料的缺陷进行检测，包括：判断余弦距离是否大于余弦距离阈值；在余弦距离大于余弦距离阈值的情况下，则确定待检测材料存在缺陷；在余弦距离小于或者等于余弦距离阈值的情况下，则确定待检测材料不存在缺陷。
为了实现对待检测材料的缺陷进行检测，在得到待检测材料的第一特征向量相对于标准材料的第二特征向量的余弦距离之后，可以判断余弦距离是否大于余弦距离阈值；若余弦距离大于余弦距离阈值，则判定待检测材料存在缺陷；若余弦距离小于或者等于余弦距离阈值，则判定待检测材料不存在缺陷。
需要说明的是，上述余弦距离阈值和待检测材料存在关联关系，即不同的待检测材料，其对应的余弦距离阈值也可能是不同的。因此，对于余弦距离阈值而言，可以根据应用场景的需要而设置，在此不再一一赘述。
在本申请的上述实施方式中，利用余弦距离与余弦距离阈值进行比较，根据其比较结果来判断该待检测材料是否缺陷，使得待检测材料的缺陷的检测更加准确。
可选地，在基于特征识别模型分别对待检测材料的融合数据、标准样本材料的融合数据进行处理，得到待检测材料的第一特征向量和标准样本材料的第二特征向量之前，上述方法还包括：建立用于识别融合数据的特征识别模型，其中，特征识别模型包括依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层以及注意力模块，其中，第一卷积层、第二卷积层、第三卷积层和第四卷积层具有相同的卷积核和不同的数据类型。
在特征识别模型对融合数据进行处理的过程中，材料的融合数据依次经过特征识别模型的第一卷积层、第二卷积层、第三卷积层、第四卷积层以及注意力模块，从而输出该融合数据对应的特征向量，也就是计算得到材料的特征向量。上述融合数据包括但不限于待检测材料的融合数据、标准样本材料的融合数据等，相应的输出则是材料的特征向量，不同的材料对应不同的特征向量。
为了使得特征识别模型具有较强的鲁棒性，将上述特征识别模型作为编码器，同时构建解码器进行重构，通过大量的无标签数据对该特征识别模型进行训练。待收敛之后，冻结解码器进行测试，从而得到最终使用的特征识别模型。
需要说明的是，上述第一卷积层、第二卷积层、第三卷积层和第四卷积层的卷积核和数据类型可以根据应用场景的需要而设置。
下面对本发明一种可选的实施方式进行详细说明。
为了能够同时检测材料表面和内部的缺陷，本发明的可选实施例提供了一种基于多模态的材料缺陷无损检测方法。
由于需要提取待检测材料(又称为试块)的表面和内部的缺陷特征，分别用光学摄像机和超声换能器对待检测材料进行扫描，获取待检测材料的多模态数据；其中，上述超声换能器包括但不限于64阵元的相控阵探头、128阵元的相控阵探头。
进一步地，光学摄像机分别对待检测材料的各个表面进行扫描，该待检测材料是长方体，那么扫面的表面则为六个面。超声换能器沿着待检测材料的某个方向按照一定的步进进行扫描，形成一个超声图像。该超声图像的获得可以通过全聚焦成像方式(TotalFocus Method，TFM)，全聚焦成像基于全矩阵捕获(Full Matrix Capture，FMC)。图2为本发明可选实施例提供的全矩阵采集模式及数据集的示意图，如图2所示，相控阵探头的阵元总数为N，全矩阵采集按顺序依次激发阵元，且每次只激发一个阵元发射，同时接收全部阵元1到N的回波数据S11(t),S12(t),…,S1N(t)并进行存储，最终获得一组包含N×N条回波数据的全矩阵数据集。全矩阵数据集包含了相控阵所有阵元收发组合的回波数据，因而被称作完备集。
全矩阵-全聚焦成像算法(Full Matrix Capture-Total Focus Method，FMC-TFM)是基于相控阵全矩阵采集的图像后处理成像技术，与常规相控阵超声检测采用接收时动态聚焦来提升成像分辨率的方法不同，全聚焦成像区域的网格点数即为聚焦点数，同时成像时采用了后处理算法，可以实现发射和接收的双向聚焦，因而成像结果具有较高分辨率。
图3为本发明可选实施例提供的单层介质下全聚焦成像的示意图，如图3所示，横轴x沿试块表面长度方向，纵轴z沿试块高度方向。对于待检测区域，沿横轴x、纵轴z构建像素点网格。设P为成像网格中一个像素点，坐标为(x,y)，P点的强度I可由下式表示。
Figure BDA0003814345000000081
其中，Ti(x,z)和Tj(x,z)分别为发射阵元i和接收阵元j到像素点P之间的超声波传播时间；Sij(t)为全矩阵数据集。
对于网格区域内的每个聚焦点P，全聚焦算法都会从N2个发射接收阵元对的回波数据中取出对应的值进行叠加，由于每个像素点P均进行了N2的叠加，因此全聚焦算法可以有效的抑制随机高斯白噪声的干扰而不影响检测结果的精度，且对数据有较高的容错性。但同时N2次迭代以及声程的开方运算也导致计算量大且计算复杂，对系统有很高的要求。
在实际使用中，超声换能器沿着试块的一个方向进行扫查，最终形成待检测材料内部的超声图像。
图4为本发明可选实施例提供的模态融合流程的示意图，如图4所示，具体实施过程如下：
光学摄像机和超声换能器扫描待检测材料：在完成光学摄像机和超声换能器扫描待检测材料之后，就能够得到两种模态传感器下的图像数据(对应于上述多模态数据)，其中，超声换能器采用TFM全聚焦成像。
另外，由于待检测材料是长方体，那么长，宽，高分别为L，W，H，(单位为mm)；光学摄像机对待检测材料的6个面进行扫描，得到了6个图像结果，即光学图像，待检测材料的侧面大小如表1所示；光学成像的分辨率为1mm；超声换能器沿着W轴进行扫查，最终形成H×L×W的一个三维全聚焦成像的超声图像。
表1待检测材料的侧面大小
材料表面 尺寸 图像大小
A L×W L×W
B H×L H×L
C H×W H×W
D L×W L×W
E H×L H×L
F H×W H×W
数据同规格量化处理：假设对于超声图像和光学图像进行相同比特的量化(在该实施例中，按照0-255，8比特量化)；同时根据超声成像分辨率和光学分辨率，取二者之间的最小值，对图像进行像素点分辨率的归一化。例如，光学图像的分辨率(即最小像素点的大小)是0.2mm×0.2mm，超声图像的分辨率是0.4mm×0.4mm，为了统一分辨率，需要将光学图像分辨率也调整到0.4mm。采用的具体实施方式为每4个像素点合并成一个像素点，然后在滑窗前移。新的像素点的幅值为原像素点的平均值。为了运算方便，直接让光学图像与超声图像在成像分辨率上保持一致且均为mm级别成像精度。
拼接处理：对两种模态传感器下的图像数据，根据物理空间坐标进行拼接，得到包含表面和内部图像数据的融合数据。可选地，先构建单个切面特征图像，对整个待检测材料进行W个切面的划分，由于超声成像和光学成像在切面法向方向上的成像数量可能不同，为了使两个模态的切面数统一，取较小的数量为准，而另一个模态的图像进行按比例的池化操作之后，再进行单切面的融合。在以上的操作之后，能够得到M×N×W的图像，即通道数为W的图像特征。
由于基于分类的方法对材料缺陷进行深度学习建模分类需要大量的数据样本进行模型训练。而实际使用中，往往不存在如此规模的带标注的样本。故本方案对于待检测材料是否存在缺陷采用基于深度特征对比的方法。
图5为本发明可选实施例提供的特征识别模型的示意图，如图5所示，特征识别模型的第一卷积层为Conv 2D(64,3×3)、第二卷积层为Conv 2D(32,3×3)、第三卷积层为Conv 2D(16,3×3)、第四卷积层为Conv 2D(8,3×3)以及注意力模块为ECA Net，其中，ECANet主要是为了实现通道域的注意力机制，使得真正有缺陷的切片位置的特征更加的被高的权重凸显出来。融合图像对应的融合数据(M×N×W)通过该特征识别模型，最终输出一个特征向量(1×1×F)。
在特征对比时，将待检测材料的融合数据和标准样本材料的融合数据进行特征对比，基于待检测材料的融合数据和标准样本材料的融合数据使用特征识别模型计算出待检测材料的第一特征向量和标准样本材料的第二特征向量，然后再计算出待检测材料的第一特征向量相对于标准材料的第二特征向量的余弦距离，当余弦距离大于预设的余弦距离阈值时，则认为该待检测材料存在缺陷。
本发明通过不同模态的图像的同规格量化和几何拼接重构对待测材料表面和内部缺陷进行缺陷图像融合，并通过深度学习的特征识别模型提取隐层特征(即特征向量)的方式判决缺陷是否存在。
根据本发明实施例的另一个方面，还提供了一种材料缺陷检测装置，图6为本发明实施例提供的材料缺陷检测装置的示意图，如图6所示，该材料缺陷检测装置包括：获取模块62、构建模块64和检测模块66。下面对该材料缺陷检测装置进行详细说明。
获取模块62，用于获取待检测材料的多模态数据，其中，待检测材料的多模态数据包括表面数据和体数据；
构建模块64，连接至上述获取模块62，用于根据待检测材料的多模态数据，构建待检测材料的融合数据；
检测模块66，连接至上述构建模块64，用于将待检测材料的融合数据和标准样本材料的融合数据进行特征对比，检测待检测材料的缺陷，其中，标准样本材料为与待检测材料的材料属性相同且不存在缺陷的材料。
在本发明实施例中，该材料缺陷检测装置采用获取待检测材料的多模态数据，其中，待检测材料的多模态数据包括表面数据和体数据；根据待检测材料的多模态数据，构建待检测材料的融合数据；将待检测材料的融合数据和标准样本材料的融合数据进行特征对比，检测待检测材料的缺陷，其中，标准样本材料为与待检测材料的材料属性相同且不存在缺陷的材料。也就是说，本发明实施例相较于单模态而言，通过获取的待检测材料的多模态数据重构待检测材料的融合数据，并利用待检测材料的融合数据和标准样本材料的融合数据的特征对比，来实现对待检测材料的缺陷检测，进而解决了相关技术中采用单模态不能同时检测材料表面和内部缺陷的技术问题，达到了能够同时检测材料表面和内部的缺陷的技术效果。
此处需要说明的是，上述获取模块62、构建模块64和检测模块66对应于方法实施例中的步骤S102至S106，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述方法实施例所公开的内容。
可选地，上述构建模块64包括：第一处理单元，用于对待检测材料的多模态数据进行数据同规格量化处理，得到待检测材料的同规格多模态数据；第二处理单元，用于对待检测材料的同规格多模态数据进行拼接处理，得到待检测材料的融合数据。
可选地，上述第一处理单元包括：第一获取子单元，用于获取待检测材料的多模态数据的特征参数，其中，特征参数包括像素点的大小和像素点的亮度；处理子单元，用于根据特征参数对待检测材料的多模态数据进行数据同规格量化处理，得到待检测材料的同规格多模态数据。
可选地，上述特征参数为像素点的大小，上述处理子单元包括：第一生成子单元，用于根据像素点的大小对待检测材料的多模态数据进行像素点分辨率的归一化，生成待检测材料的同规格多模态数据。
可选地，上述特征参数为像素点的亮度，上述处理子单元包括：第二生成子单元，用于根据像素点的亮度对待检测材料的多模态数据进行相同比特的量化，生成待检测材料的同规格多模态数据。
可选地，上述第二处理单元包括：第二获取子单元，用于获取待检测材料的同规格多模态数据对应的物理空间坐标；第三生成子单元，用于根据物理空间坐标拼接待检测材料的同规格多模态数据，生成待检测材料的融合数据。
可选地，上述检测模块66包括：第三处理单元，用于基于特征识别模型分别对待检测材料的融合数据、标准样本材料的融合数据进行处理，得到待检测材料的第一特征向量和标准样本材料的第二特征向量；确定单元，用于确定待检测材料的第一特征向量相对于标准材料的第二特征向量的余弦距离；检测单元，用于根据余弦距离对待检测材料的缺陷进行检测。
可选地，上述检测单元包括：判断子单元，用于判断余弦距离是否大于余弦距离阈值；第一检测子单元，用于在余弦距离大于余弦距离阈值的情况下，则确定待检测材料存在缺陷；第二检测子单元，用于在余弦距离小于或者等于余弦距离阈值的情况下，则确定待检测材料不存在缺陷。
可选地，上述装置还包括：建立模块，用于在基于特征识别模型分别对待检测材料的融合数据、标准样本材料的融合数据进行处理，得到待检测材料的第一特征向量和标准样本材料的第二特征向量之前，建立用于识别融合数据的特征识别模型，其中，特征识别模型包括依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层以及注意力模块，其中，第一卷积层、第二卷积层、第三卷积层和第四卷积层具有相同的卷积核和不同的数据类型。
根据本发明实施例的另一个方面，还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行上述中任一项的方法步骤。
根据本发明实施例的另一个方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行上述中任一项的方法步骤。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种材料缺陷检测方法，其特征在于，包括：
获取待检测材料的多模态数据，其中，所述待检测材料的多模态数据包括表面数据和体数据；
根据所述待检测材料的多模态数据，构建所述待检测材料的融合数据；
将所述待检测材料的融合数据和标准样本材料的融合数据进行特征对比，检测所述待检测材料的缺陷，其中，所述标准样本材料为与所述待检测材料的材料属性相同且不存在缺陷的材料。
2.根据权利要求1所述的方法，其特征在于，根据所述待检测材料的多模态数据，构建所述待检测材料的融合数据，包括：
对所述待检测材料的多模态数据进行数据同规格量化处理，得到所述待检测材料的同规格多模态数据；
对所述待检测材料的同规格多模态数据进行拼接处理，得到所述待检测材料的融合数据。
3.根据权利要求2所述的方法，其特征在于，对所述待检测材料的多模态数据进行数据同规格量化处理，得到所述待检测材料的同规格多模态数据，包括：
获取所述待检测材料的多模态数据的特征参数，其中，所述特征参数包括像素点的大小和像素点的亮度；
根据所述特征参数对所述待检测材料的多模态数据进行数据同规格量化处理，得到所述待检测材料的同规格多模态数据。
4.根据权利要求3所述的方法，其特征在于，所述特征参数为所述像素点的大小，根据所述特征参数对所述待检测材料的多模态数据进行数据同规格量化处理，得到所述待检测材料的同规格多模态数据，包括：
根据所述像素点的大小对所述待检测材料的多模态数据进行像素点分辨率的归一化，生成所述待检测材料的同规格多模态数据。
5.根据权利要求3所述的方法，其特征在于，所述特征参数为所述像素点的亮度，根据所述特征参数对所述待检测材料的多模态数据进行数据同规格量化处理，得到所述待检测材料的同规格多模态数据，包括：
根据所述像素点的亮度对所述待检测材料的多模态数据进行相同比特的量化，生成所述待检测材料的同规格多模态数据。
6.根据权利要求1所述的方法，其特征在于，对所述待检测材料的同规格多模态数据进行拼接处理，得到所述待检测材料的融合数据，包括：
获取所述待检测材料的同规格多模态数据对应的物理空间坐标；
根据所述物理空间坐标拼接所述待检测材料的同规格多模态数据，生成所述待检测材料的融合数据。
7.根据权利要求1所述的方法，其特征在于，将所述待检测材料的融合数据和标准样本材料的融合数据进行特征比对，检测所述待检测材料的缺陷，包括：
基于特征识别模型分别对所述待检测材料的融合数据、所述标准样本材料的融合数据进行处理，得到所述待检测材料的第一特征向量和所述标准样本材料的第二特征向量；
确定所述待检测材料的第一特征向量相对于所述标准材料的第二特征向量的余弦距离；
根据所述余弦距离对所述待检测材料的缺陷进行检测。
8.根据权利要求7所述的方法，其特征在于，根据所述余弦距离对所述待检测材料的缺陷进行检测，包括：
判断所述余弦距离是否大于余弦距离阈值；
在所述余弦距离大于所述余弦距离阈值的情况下，则确定所述待检测材料存在缺陷；
在所述余弦距离小于或者等于所述余弦距离阈值的情况下，则确定所述待检测材料不存在缺陷。
9.根据权利要求1至8中任一项所述的方法，其特征在于，在基于特征识别模型分别对所述待检测材料的融合数据、标准样本材料的融合数据进行处理，得到所述待检测材料的第一特征向量和所述标准样本材料的第二特征向量之前，所述方法还包括：
建立用于识别融合数据的特征识别模型，其中，所述特征识别模型包括依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层以及注意力模块，其中，所述第一卷积层、所述第二卷积层、所述第三卷积层和所述第四卷积层具有相同的卷积核和不同的数据类型。
10.一种材料缺陷检测装置，其特征在于，包括：
获取模块，用于获取待检测材料的多模态数据，其中，所述待检测材料的多模态数据包括表面数据和体数据；
构建模块，用于根据所述待检测材料的多模态数据，构建所述待检测材料的融合数据；
检测模块，用于将所述待检测材料的融合数据和标准样本材料的融合数据进行特征对比，检测所述待检测材料的缺陷，其中，所述标准样本材料为与所述待检测材料的材料属性相同且不存在缺陷的材料。
CN202211021485.3A 2022-08-24 2022-08-24 一种材料缺陷检测方法和装置 Pending CN115389514A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211021485.3A CN115389514A (zh) 2022-08-24 2022-08-24 一种材料缺陷检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211021485.3A CN115389514A (zh) 2022-08-24 2022-08-24 一种材料缺陷检测方法和装置

Publications (1)

Publication Number Publication Date
CN115389514A true CN115389514A (zh) 2022-11-25

Family

ID=84121787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211021485.3A Pending CN115389514A (zh) 2022-08-24 2022-08-24 一种材料缺陷检测方法和装置

Country Status (1)

Country Link
CN (1) CN115389514A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117849184A (zh) * 2024-03-07 2024-04-09 广东汕头超声电子股份有限公司 一种对置阵列多模态全聚焦焊缝检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117849184A (zh) * 2024-03-07 2024-04-09 广东汕头超声电子股份有限公司 一种对置阵列多模态全聚焦焊缝检测方法
CN117849184B (zh) * 2024-03-07 2024-05-07 广东汕头超声电子股份有限公司 一种对置阵列多模态全聚焦焊缝检测方法

Similar Documents

Publication Publication Date Title
EP3382386B1 (en) Defect detection using ultrasound scan data
CN103619238B (zh) 用于确定皮炎值的装置和方法
Posilović et al. Flaw detection from ultrasonic images using YOLO and SSD
CN110297041A (zh) 一种基于fcn与gru的3d编织复合材料缺陷检测方法
US10775349B2 (en) Defect detection using ultrasound scan data
CN116848405A (zh) 通过超声波来检测材料中缺陷的方法、装置和程序
CN115389514A (zh) 一种材料缺陷检测方法和装置
CN107300562B (zh) 一种测量继电器成品触点间距的x射线无损检测方法
CN116524313A (zh) 基于深度学习和多模态图像的缺陷检测方法及相关装置
US20190188855A1 (en) Processing digital image to remove unwanted portion
CN112699919B (zh) 基于三维卷积神经网络模型的木材鉴别方法、装置
CN113554645A (zh) 基于wgan的工业异常检测方法和装置
CN117576014A (zh) 陶瓷基板质量检测方法、系统、电子设备及存储介质
CN112816557B (zh) 一种缺陷检测方法、装置、设备和存储介质
CN112070748A (zh) 金属油管缺陷检测方法和装置
CN117274172A (zh) 芯片的分层缺陷的确定方法、装置、电子设备及存储介质
Sutcliffe et al. Automatic defect recognition of single-v welds using full matrix capture data, computer vision and multi-layer perceptron artificial neural networks
CN113984909A (zh) 一种基于机器学习的绝缘设备缺陷识别及成像方法
CN112485329B (zh) 基于热成像与超声相结合检测排污口的方法、装置及系统
CN111504608B (zh) 辉度均匀检测系统及辉度均匀检测方法
WO2022067422A1 (en) Flaw classification during non-destructive testing
CN116930192B (zh) 一种高精度铜管缺陷检测方法及系统
CN112834614B (zh) 一种钢材焊缝缺陷识别的方法及装置
CN116724250A (zh) 基于声学影响图的缺陷大小成像
WO2024092345A1 (en) Non-destructive test (ndt) flaw and anomaly detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination