CN117934466A - 一种三维模型辅助电磁光融合成像金属结构检测方法 - Google Patents
一种三维模型辅助电磁光融合成像金属结构检测方法 Download PDFInfo
- Publication number
- CN117934466A CN117934466A CN202410327227.0A CN202410327227A CN117934466A CN 117934466 A CN117934466 A CN 117934466A CN 202410327227 A CN202410327227 A CN 202410327227A CN 117934466 A CN117934466 A CN 117934466A
- Authority
- CN
- China
- Prior art keywords
- image
- defect
- simulation
- electromagnetic
- experimental
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 54
- 230000004927 fusion Effects 0.000 title claims abstract description 29
- 238000003384 imaging method Methods 0.000 title claims abstract description 26
- 229910052751 metal Inorganic materials 0.000 title claims abstract description 19
- 239000002184 metal Substances 0.000 title claims abstract description 19
- 230000007547 defect Effects 0.000 claims abstract description 110
- 230000003287 optical effect Effects 0.000 claims abstract description 38
- 239000000523 sample Substances 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000004088 simulation Methods 0.000 claims description 54
- 238000000034 method Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 8
- 238000004873 anchoring Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 2
- 238000009933 burial Methods 0.000 abstract description 3
- 238000007689 inspection Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000004020 conductor Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 238000011002 quantification Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 238000009659 non-destructive testing Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 229910000838 Al alloy Inorganic materials 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- AZDRQVAHHNSJOQ-UHFFFAOYSA-N alumane Chemical group [AlH3] AZDRQVAHHNSJOQ-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000007822 coupling agent Substances 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003756 stirring Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000005641 tunneling Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N27/00—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means
- G01N27/72—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables
- G01N27/82—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables for investigating the presence of flaws
- G01N27/90—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables for investigating the presence of flaws using eddy currents
- G01N27/904—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables for investigating the presence of flaws using eddy currents with two or more sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Geometry (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Electrochemistry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Investigating Or Analyzing Materials By The Use Of Magnetic Means (AREA)
Abstract
本发明公开了一种三维模型辅助电磁光融合成像金属结构检测方法，属于图像数据处理技术领域，包括以下步骤：S1、通过光学检测探头获取光学照片，识别表面缺陷后，通过图像处理算法量化表面缺陷，得到光学检测结果；S2、通过电磁成像阵列探头获取电磁检测图像，通过多模态融合算法来分离表面缺陷信号和埋藏缺陷信号。本发明采用上述的一种三维模型辅助电磁光融合成像金属结构检测方法，该检测方法可以全面、精确地检测表面、埋藏和重叠三种类型的缺陷。
Description
技术领域
本发明涉及图像数据处理技术领域，尤其是涉及一种三维模型辅助电磁光融合成像金属结构检测方法。
背景技术
工业结构中出现的缺陷可能会导致严重事故或经济损失。因此，快速可靠地对金属结构健康进行评估至关重要。无损检测旨在不破坏结构的前提下检测结构中可能存在的缺陷。根据所采用的物理原理，无损检测技术包括：热成像检测、光学检测、声学检测、超声波检测（UT）、电磁检测等。每种技术都有其独特的优点和局限性，不同种类的技术可以互相补充。多模态检测技术融合是无损检测的发展方向。多模态融合是将不同模态的数据和信息进行关联和综合的信息处理技术。通常单一模态数据的信息是有限的，多模态融合方法可以保持各模态数据信息的多样性和完整性，提高检测的准确性和可靠性。
2020年H.Li等人提出了一种多物理场检测系统，同步获取涡流检测和涡流热成像的结果。实验结果表明，该系统数据采集速度快，多模态融合算法充分利用了两种检测方法的优点。近年来，机器视觉技术快速发展，已经成为了结构表面检测最重要的方法。研究人员基于机器视觉系统建立了气泡图像数据集，用于密封容器的密封性检测和量化，开发了用于监控搅拌摩擦焊的机器视觉系统，使用数码相机获得焊缝表面图像并进行处理，以进行缺陷焊缝检测和分类。机器视觉检测系统可以高精度地捕获直观的表面形貌，从而识别和定位表面缺陷，并量化缺陷的表面轮廓。然而，由于输出视觉图像的平坦化以及照明引起的噪声，机器视觉无法准确测量表面缺陷的深度信息，无法获得对象中埋藏缺陷的信息。
结构中的埋藏缺陷结构安全构成潜在威胁。作为视觉检测的补充，其他检测技术，例如超声检测和电磁检测可用于埋藏缺陷检测。电磁无损检测方法通过测量导体在电磁场作用下产生的电或磁学特性的变化评估导体几何形状及相关性能，具有灵敏度高、不需要耦合剂、检测速度快等优势。阵列涡流检测是电磁检测技术的一种。阵列涡流检测探头将多个传感器以阵列形式排列，通过单次扫描就可以获得C-scan图像。与具有单个接收线圈/传感器的探头相比，阵列探头可以以更高的检测速度获得检测图像，不需要复杂的扫描设备来移动探头，并且具有更好的缺陷检测和量化能力。
传统的阵列涡流检测探头以线圈阵列来测量涡流检测信号，线圈感应的输出电压与激励频率正相关，故线圈阵列在高频激励下具有更高的灵敏度。线圈可在高频激励下检测低电导率材料和表面缺陷，但是线圈的信号幅值会随着频率的降低而快速减小，故它的工作频率范围有限，且在低频工作条件下信噪比较差。因此，以线圈作为接收传感器的探头对埋藏在结构中的缺陷具有有限的灵敏度。此外，线圈制作工艺的限制，一般线圈直径大于2mm，使得线圈阵列涡流探头结果图像的分辨率亦存在限制。为了解决以上问题，研究者们探索采用高灵敏度的磁场传感器取代接收线圈来测量低频磁场，例如：各向异性磁阻传感器（AMR）、巨磁阻传感器（GMR）和隧道磁阻传感器（TMR）。2018年Bernier等提出了一种使用GMR传感器的ECT探头，具有良好的表面和埋藏裂纹检测能力。2022年N.Zhang等开发了一种柔性TMR阵列探头来检测弯曲结构，实验结果表明该探头可以检测圆柱形和不规则形状样品中埋藏的缺陷。2018年C.Ye等提出的TMR传感器阵列可以检测距多层铆接铝结构顶面8毫米处的紧固件头部下方的缺陷。这些探头可以测量表面和埋藏缺陷的响应，但是应当指出的是结构表面缺陷的信号通常比埋藏缺陷的信号强得多。因此，难以在结构表面不平整或表面有缺陷的情况下检出埋藏缺陷。三维数值仿真模型可以生成缺陷特征，如果模型建立得当，仿真结果可与实验信号相似。基于三维仿真模型，可计算表面缺陷和埋藏缺陷对信号的影响。
发明内容
本发明的目的是提供一种三维模型辅助电磁光融合成像金属结构检测方法，该检测方法可以全面、精确地检测表面、埋藏和重叠三种类型的缺陷。
为实现上述目的，本发明提供了一种三维模型辅助电磁光融合成像金属结构检测方法，包括以下步骤：
S1、通过光学检测探头获取光学照片，识别表面缺陷后，使用图像处理算法量化表面缺陷，得到光学检测结果；
S2、通过电磁成像阵列探头获取电磁检测图像，使用多模态融合算法来分离表面缺陷信号和埋藏缺陷信号，具体包括如下子步骤：
S21、建立电磁数值仿真模型，并将从光学检测结果中获取的表面缺陷尺寸和实验参数作为模型的输入参数，得到表面缺陷的仿真图像；
S22、将锚框与仿真图像、实验图像/>分别相乘，得到实验特征图像/>和仿真特征图像/>；
S23、对仿真图像进行空间配准和幅值校准，得到缩放后的仿真图像/>，再将缩放后的仿真图像/>从实验特征图像/>减去，实现仿真图像/>的分离，得到结果图像；
S24、从结果图像中识别重叠缺陷中的埋藏缺陷。
优选的，仿真图像和实验图像/>的分辨率相同。
优选的，步骤S1中，图像处理算法量化表面缺陷，得到光学检测结果，包括以下步骤：
S11、基于阈值对原始灰度图像进行二值化，并在二值化图像中提取缺陷的边缘；
S12、根据公式（1）、公式（2），基于缺陷边缘点的坐标计算缺陷长度和宽度：
（1）
（2）
其中，DL和DW是缺陷长度和宽度；NPL和NPW是光学图像中缺陷轮廓在长度和宽度方向的像素数；FL和FW是相机视野区域的长度和宽度；P1、P2、P3和P4为缺陷边缘的坐标点；表示/>和/>之间的像素数；
S13、利用光谱共聚焦传感器测量缺陷的深度。
优选的，其特征在于，步骤S23中，对表面缺陷的仿真图像进行空间配准和幅值校准，得到缩放后的图像，具体操作为：
S231、将仿真图像沿x轴和y轴二维移动，边缘位置用零填充，每次移动1个像素都会获得一幅新仿真图像/>；
S232、将每个新仿真图像与步骤S22中的锚框相乘，获得新的仿真特征图像；
S233、选择新的仿真特征图像中与实验特征图像/>最接近的图像作为空间配准的图像/>；
S234、通过公式（3）中的校正参数A缩放空间配准的图像的幅值来校正仿真图像/>的幅值，以此获取缩放后的仿真图像/>：
（3）。
优选的，步骤S234中，校正参数A是最小化缩放后的仿真图像与实验特征图像/>的差异/>的参数：
（4）
其中，是坐标变量；/>为锚框在一个方向上的像素数；/>表示坐标为/>的实验图像像素点的信号值；/>表示坐标为/>的校准后仿真图像像素点的信号值。
优选的，步骤S23中，将缩放后的仿真图像从实验特征图像/>减去实现仿真图像/>分离，得到结果图像，其公式如下：
（5）
其中，为结果图像。
因此，本发明采用上述一种三维模型辅助电磁光融合成像金属结构检测方法，其技术效果：该方法可以全面、精确地检测表面、埋藏和重叠三种类型的缺陷；从光学图像中可准确检出表面缺陷，并实现表面缺陷的高精度定位与量化；在电磁数值仿真模型的辅助下，融合电磁和光学结果可以识别重叠缺陷。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为三维模型辅助电磁光融合成像金属结构检测系统框图；
图2为磁阻阵列传感器磁场成像原理；其中，图2中的（a）为待测结构中没有缺陷时，感应电流的分布图；图2中的（b）为待测结构中存在缺陷时，感应电流的分布图；
图3为表面缺陷量化流程；其中，图3中的（a）为灰度图像；图3中的（b）为二值图像；图3中的（c）为边缘检测；图3中的（d）为开运算；
图4为重叠缺陷评估的多模态数据融合算法流程；
图5为仿真和实验图像的特征提取过程；其中，图5中的（a）为原始仿真图像；图5中的（b）为原始实验图像；图5中的（c）为锚框；图5中的（d）为仿真特征图；图5中的（e）为实验特征图像；
图6为铝合金样品处理结果；其中，图6中的（a）为埋藏缺陷信号处理之后的结果；图6中的（b）为表面缺陷信号处理之后的结果。
具体实施方式
以下通过附图和实施例对本发明的技术方案作进一步说明。
除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
实施例一
本发明提出了一种三维模型辅助电磁光融合成像金属结构检测方法。该检测方法通过三维模型辅助电磁光融合成像金属结构检测系统实现。三维模型辅助电磁光融合成像金属结构检测系统如图1所示，多模式成像探头由光学检测探头和电磁成像阵列探头组成。探头布置并集成在同一个扫描平台的基座上，光学探头和电磁成像阵列探头对样品同时进行检测成像。
光学检测系统采用工业相机获取光学照片。由于照明是影响视觉检测输出的重要因素，因此系统利用圆形光源以提供稳定的照明。光学检测系统可以高精度地捕捉样品表面形貌，从而识别和定位表面缺陷，量化缺陷的表面轮廓。
电磁成像检测探头由通有交流电流的激励线圈产生交流磁场，在被测导体中感应产生涡流电流，当被测结构中存在缺陷或异常时，会影响感应电流的分布。以线型激励线圈为例，探头结构如图2所示。当待测结构中没有缺陷时，感应电流的分布如图2中的（a）所示。当结构中存在缺陷时，感应电流的分布则如图2中的（b）所示，感应涡流电流的分布受缺陷存在的影响，图中I1是激励线圈中的激励电流，I2是导体中的感应电涡流，H2是I2产生的磁场。探头使用大规模、高分辨率、高灵敏度的磁场传感器阵列来探测磁场的变化，从而获知待测结构中缺陷的信息。磁阻传感器，例如隧道效应磁阻（TMR）传感器阵列线型排列，当磁阻传感器灵敏轴方向上的磁场发生改变时，磁阻传感器的阻抗随之改变。将磁阻传感器接入惠斯通电桥的一个桥臂，即可将磁阻传感器的阻值变化转化为电桥电路的输出电压变化。
在光学图像中识别表面缺陷之后，应用图像处理算法来量化缺陷。该量化算法流程如图3所示。首先，基于阈值对原始灰度图像进行二值化，并在二值图像中提取缺陷的边缘。最后，根据公式（1）和公式（2），基于缺陷边缘点的坐标（如图3中的（d）所示的P1、P2、P3和P4）计算缺陷长度和宽度。
（1）
（2）
其中，DL和DW是缺陷长度和宽度；NPL和NPW是光学图像中缺陷轮廓在长度和宽度方向的像素数；FL和FW是相机视野区域的长度和宽度；P1、P2、P3和P4为缺陷边缘的坐标点；表示/>和/>之间的像素数；
光学结果不包含埋藏缺陷信息，而电磁检测图像同时包含表面和埋藏缺陷信息。由于表面缺陷的电磁信号幅值远大于尺寸处于同一量级的埋藏缺陷的电磁信号，故难以直接从电磁图像中识别埋藏缺陷。
针对重叠缺陷识别，本发明提出了一种多模态融合算法来分离表面缺陷和埋藏缺陷的信号。多模态数据融合算法的框架如图4所示。该算法包括三个部分，即：i）数值仿真和数据预处理，ii）表面缺陷信号分离和iii）重叠缺陷识别。
具体的步骤如下：
S21、建立电磁数值仿真模型，并将从光学检测结果中获取的表面缺陷尺寸和实验参数作为模型的输入参数，得到表面缺陷的仿真图像；
S22、将锚框与仿真图像和实验图像/>分别相乘，得到实验特征图像/>和仿真特征图像/>；
S23、对仿真图像进行空间配准和幅值校准，得到缩放后的仿真图像/>，再将缩放后的仿真图像/>从实验特征图像/>减去，实现仿真图像/>的分离，得到结果图像；
S231、将仿真图像沿x轴和y轴二维移动，边缘位置用零填充，每次移动1个像素都会获得一幅新仿真图像/>；
S232、将每个新仿真图像与步骤S22中的锚框相乘，获得新的仿真特征图像；
S233、选择新的仿真特征图像中与实验特征图像/>最接近的图像作为空间配准的图像/>；
S234、通过公式（3）中的校正参数A缩放空间配准的图像的幅值来校正仿真图像/>的幅值来获取缩放后的仿真图像/>：
（3）
校正参数A是最小化缩放后的仿真图像与实验特征图像/>的差异/>的参数；在实验扫描过程中，无法保证磁场传感器阵列恰好在缺陷的正上方扫描。此外，数值仿真中使用的参数与实验中的参数不可避免地存在差异。因此，需要计算缩放后的仿真图像与实验特征图像/>的差异/>：
（4）
其中，是坐标变量；/>为锚框在一个方向上的像素点；/>表示坐标为/>的实验图像像素点的信号值；/>表示坐标为/>的校准后仿真图像像素点的信号值。
S24、从结果图像中识别重叠缺陷中的埋藏缺陷。
通过下式从中减去/>来分离表面缺陷信号
（5）
铝合金样品中埋藏缺陷的结果图像如图6中的（a）所示，图6中的（b）为表面缺陷的结果图像。
在实际应用中，干扰缺陷识别结果的噪声常常是不可避免的，故所提出的多模态融合算法的鲁棒性至关重要。在实验图像中引入了不同程度的噪声对上述算法的鲁棒性进行了验证。首先，生成一组高斯随机噪声，并将其添加到实验图像中。接着提取含噪声的的特征，并对仿真特征图像进行空间配准与幅度校正，此时的锚框、配准位置、校正参数A和相似性参数等参数自动优化使得仿真结果与混合噪声的实验图像定量可比。定义识别准确率为正确识别次数占实验总次数的比值，并计算该比值进而评估多模态融合算法的鲁棒性。当实验图像混合1%、3%和5%的高斯随机噪声时，重叠缺陷的识别准确率分别为100%、99.07%和97.04%。因此，所提出的多模态融合算法能够鲁棒地抵抗一定水平的噪声干扰。
因此，本发明采用上述一种三维模型辅助电磁光融合成像金属结构检测方法，该检测方法可以全面、精确地检测表面、埋藏和重叠三种类型的缺陷。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。
Claims (6)
1.一种三维模型辅助电磁光融合成像金属结构检测方法，其特征在于，包括以下步骤：
S1、通过光学检测探头获取光学照片，识别表面缺陷后，使用图像处理算法量化表面缺陷，得到光学检测结果；
S2、通过电磁成像阵列探头获取电磁检测图像，使用多模态融合算法来分离表面缺陷信号和埋藏缺陷信号，具体包括如下子步骤：
S21、建立电磁数值仿真模型，并将从光学检测结果中获取的表面缺陷尺寸和实验参数作为模型的输入参数，得到表面缺陷的仿真图像；
S22、将锚框与仿真图像、实验图像/>分别相乘，得到实验特征图像/>和仿真特征图像/>；
S23、对仿真图像进行空间配准和幅值校准，得到缩放后的仿真图像/>，再将缩放后的仿真图像/>从实验特征图像/>减去，实现仿真图像/>的分离，得到结果图像；
S24、从结果图像中识别重叠缺陷中的埋藏缺陷。
2.根据权利要求1所述的一种三维模型辅助电磁光融合成像金属结构检测方法，其特征在于，仿真图像和实验图像/>的分辨率相同。
3.根据权利要求2所述的一种三维模型辅助电磁光融合成像金属结构检测方法，其特征在于，步骤S1中，图像处理算法量化表面缺陷，得到光学检测结果，包括以下步骤：
S11、基于阈值对原始灰度图像进行二值化，并在二值化图像中提取缺陷的边缘；
S12、根据公式（1）、公式（2），基于缺陷边缘点的坐标计算缺陷长度和宽度：
（1）
（2）
其中，DL和DW是缺陷长度和宽度；NPL和NPW是光学图像中缺陷轮廓在长度和宽度方向的像素数；FL和FW是相机视野区域的长度和宽度；P1、P2、P3和P4为缺陷边缘的坐标点；表示/>和/>之间的像素数；
S13、利用光谱共聚焦传感器测量缺陷的深度。
4.根据权利要求3所述的一种三维模型辅助电磁光融合成像金属结构检测方法，其特征在于，步骤S23中，对表面缺陷的仿真图像进行空间配准和幅值校准，得到缩放后的图像，具体操作为：
S231、将仿真图像沿x轴和y轴二维移动，边缘位置用零填充，每次移动1个像素都会获得一幅新仿真图像/>；
S232、将每个新仿真图像与步骤S22中的锚框相乘，获得新的仿真特征图像/>；
S233、选择新的仿真特征图像中与实验特征图像/>最接近的图像作为空间配准的图像/>；
S234、通过公式（3）中的校正参数A缩放空间配准的图像的幅值来校正仿真图像的幅值，以此获取缩放后的仿真图像/>：
（3）。
5.根据权利要求4所述的一种三维模型辅助电磁光融合成像金属结构检测方法，其特征在于，步骤S234中，校正参数A是最小化缩放后的仿真图像与实验特征图像/>的差异/>的参数：
（4）
其中，是坐标变量；/>为锚框在一个方向上的像素数；/>表示坐标为/>的实验图像像素点的信号值；/>表示坐标为/>的校准后仿真图像像素点的信号值。
6.根据权利要求5所述的一种三维模型辅助电磁光融合成像金属结构检测方法，其特征在于，步骤S23中，将缩放后的仿真图像从实验特征图像/>减去，实现仿真图像分离，得到结果图像，其公式如下：
（5）
其中，为结果图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410327227.0A CN117934466B (zh) | 2024-03-21 | 2024-03-21 | 一种三维模型辅助电磁光融合成像金属结构检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410327227.0A CN117934466B (zh) | 2024-03-21 | 2024-03-21 | 一种三维模型辅助电磁光融合成像金属结构检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117934466A true CN117934466A (zh) | 2024-04-26 |
| CN117934466B CN117934466B (zh) | 2024-06-04 |
Family
ID=90766973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410327227.0A Active CN117934466B (zh) | 2024-03-21 | 2024-03-21 | 一种三维模型辅助电磁光融合成像金属结构检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117934466B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080239289A1 (en) * | 2007-03-29 | 2008-10-02 | Taketo Ueno | Method and apparatus for inspecting a semiconductor device |
| CN104833679A (zh) * | 2015-04-29 | 2015-08-12 | 浙江大学 | 一种微观缺陷三维尺度逆向标定及检测方法 |
| US20210312609A1 (en) * | 2019-06-14 | 2021-10-07 | Zhejiang University | Real-time traceability method of width of defect based on divide-and-conquer |
| CN113970560A (zh) * | 2021-10-28 | 2022-01-25 | 中国科学院光电技术研究所 | 一种基于多传感融合的缺陷三维检测方法 |
| CN114723735A (zh) * | 2022-04-29 | 2022-07-08 | 中国人民解放军国防科技大学 | 一种构建磁相机检测图像来实现缺陷成像检测的方法及系统 |
| CN114964007A (zh) * | 2022-06-03 | 2022-08-30 | 哈尔滨理工大学 | 一种焊缝尺寸视觉测量与表面缺陷检测方法 |
| CN115880223A (zh) * | 2022-11-10 | 2023-03-31 | 淮阴工学院 | 一种基于改进yolox的高反光金属表面缺陷检测方法 |
| CN116429875A (zh) * | 2021-12-30 | 2023-07-14 | 中国科学院沈阳自动化研究所 | 一种基于电涡流信号图像的金属增材缺陷量化方法 |
| CN117607248A (zh) * | 2024-01-23 | 2024-02-27 | 电子科技大学 | 一种基于数字锁相放大器的金属缺陷检测成像方法 |
-
2024
- 2024-03-21 CN CN202410327227.0A patent/CN117934466B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080239289A1 (en) * | 2007-03-29 | 2008-10-02 | Taketo Ueno | Method and apparatus for inspecting a semiconductor device |
| CN104833679A (zh) * | 2015-04-29 | 2015-08-12 | 浙江大学 | 一种微观缺陷三维尺度逆向标定及检测方法 |
| US20210312609A1 (en) * | 2019-06-14 | 2021-10-07 | Zhejiang University | Real-time traceability method of width of defect based on divide-and-conquer |
| CN113970560A (zh) * | 2021-10-28 | 2022-01-25 | 中国科学院光电技术研究所 | 一种基于多传感融合的缺陷三维检测方法 |
| CN116429875A (zh) * | 2021-12-30 | 2023-07-14 | 中国科学院沈阳自动化研究所 | 一种基于电涡流信号图像的金属增材缺陷量化方法 |
| CN114723735A (zh) * | 2022-04-29 | 2022-07-08 | 中国人民解放军国防科技大学 | 一种构建磁相机检测图像来实现缺陷成像检测的方法及系统 |
| CN114964007A (zh) * | 2022-06-03 | 2022-08-30 | 哈尔滨理工大学 | 一种焊缝尺寸视觉测量与表面缺陷检测方法 |
| CN115880223A (zh) * | 2022-11-10 | 2023-03-31 | 淮阴工学院 | 一种基于改进yolox的高反光金属表面缺陷检测方法 |
| CN117607248A (zh) * | 2024-01-23 | 2024-02-27 | 电子科技大学 | 一种基于数字锁相放大器的金属缺陷检测成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117934466B (zh) | 2024-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mook et al. | Electromagnetic imaging using probe arrays | |
| JP4814511B2 (ja) | パルス渦電流センサプローブ及び検査方法 | |
| Shafeek et al. | Automatic inspection of gas pipeline welding defects using an expert vision system | |
| US9595091B2 (en) | Defect classification using topographical attributes | |
| US8436608B2 (en) | Eddy current inspection system and method | |
| US9858658B2 (en) | Defect classification using CAD-based context attributes | |
| CN109884182B (zh) | 一种涡流c扫描成像检测方法 | |
| CN109239081B (zh) | 基于结构光与视觉成像的焊缝质量参数检测方法 | |
| CN110231394A (zh) | 基于交流电磁场的非铁磁性材料不规则裂纹成像方法 | |
| CN106225702A (zh) | 裂缝宽度检测装置和方法 | |
| CN112858351A (zh) | 一种基于机器视觉的x射线无损探伤方法 | |
| CN101281169B (zh) | 在涡流检验系统中用于纵向缺陷检验的方法和算法 | |
| CN117934466B (zh) | 一种三维模型辅助电磁光融合成像金属结构检测方法 | |
| JP6356579B2 (ja) | 渦電流探傷装置および渦電流探傷方法 | |
| CN117871658A (zh) | 一种基于磁图像传感器的焊缝检测装置及方法 | |
| JP2002140713A (ja) | 画像処理方法およびその装置 | |
| Li et al. | On-line visual measurement and inspection of weld bead using structured light | |
| Oswald-Tranta et al. | Fusion of geometric and thermographic data for automated defect detection | |
| JP2007263930A (ja) | 渦電流探傷装置 | |
| CN114723735A (zh) | 一种构建磁相机检测图像来实现缺陷成像检测的方法及系统 | |
| Alzuhiri et al. | IMU-assisted robotic structured light sensing with featureless registration under uncertainties for pipeline inspection | |
| Angani et al. | Non-destructive testing of inclusions in cold-rolled strip steels using hall and giant magnetoresistance sensor arrays | |
| JP5314018B2 (ja) | 因子測定及び表示装置、因子測定及び表示方法、因子測定及び表示方法をコンピューターに実行させる因子測定及び表示プログラム、並びに、音響スキャナ | |
| JP2006138784A (ja) | 渦電流探傷プローブおよび渦電流探傷システム | |
| CN114942378A (zh) | 一种用于检测芯片内部微纳磁特征信息的无损检测系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |