CN116524313A - 基于深度学习和多模态图像的缺陷检测方法及相关装置 - Google Patents

基于深度学习和多模态图像的缺陷检测方法及相关装置 Download PDF

Info

Publication number
CN116524313A
CN116524313A CN202310493983.6A CN202310493983A CN116524313A CN 116524313 A CN116524313 A CN 116524313A CN 202310493983 A CN202310493983 A CN 202310493983A CN 116524313 A CN116524313 A CN 116524313A
Authority
CN
China
Prior art keywords
image
fusion
detection
modal
fixed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310493983.6A
Other languages
English (en)
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Chaorui Qingdao Technology Co ltd
Original Assignee
Zhongke Chaorui Qingdao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Chaorui Qingdao Technology Co ltd filed Critical Zhongke Chaorui Qingdao Technology Co ltd
Priority to CN202310493983.6A priority Critical patent/CN116524313A/zh
Publication of CN116524313A publication Critical patent/CN116524313A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E30/00—Energy generation of nuclear origin
    • Y02E30/30—Nuclear fission reactors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度学习的无损检测方法及相关装置。涉及图像处理技术领域。该无损检测方法包括：获取到固定图像，浮动图像和固定图像配准后的配准图像以及，配准图像和固定图像融合后的融合图像。并且，建立固定图像、配准图像和融合图像组成的多模态检测数据集。构建多模态目标检测网络，并通过多模态检测数据集对多模态目标检测网络进行训练，其中多模态目标检测网络包括特征提取模块、特征融合模块和检测模块。将多模态检测数据集输入训练后的多模态目标检测网络中，以输出结果作为缺陷检测结果。本发明以多种图像作为样本，训练多模态目标检测网络，提高了无损检测的分析精度。

Description

基于深度学习和多模态图像的缺陷检测方法及相关装置
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于深度学习的缺陷检测方法及相关装置。
背景技术
无损检测(Non Destructive Testing)是在不损害或者不影响被检测对象使用性能的前提下，采用超声、射线、红外等技术对材料、零件、设备进行缺陷检测的技术。在无损检测领域，目前最常用的是利用X射线对工业零件进行照射，利用X-Ray图像检测工业零件中的缺陷。但X射线对部分材质的灵敏度较低，无法高精度的检测工业零件内部残留的属于该部分材质的物质；同时，X射线对金属灵敏度高，能够高精度的显示出金属材质的工业零件中结构缺陷。
中子射线对轻原子序数的元素敏感度高，能够检测到更高精度下X射线未检测到的残留物质，但是中子射线对金属灵敏度较低，成像质量差，结构不清晰，容易在局部产生像素值差异较大的问题，无法高精度的检测到金属材质的工业零件的结构缺陷，且容易将像素值差异较大的地方标记为缺陷。
以航空发动机涡轮叶片为例，航空发动机涡轮叶片是利用陶瓷型芯进行铸造的，涡轮叶片的通道复杂且缺陷属于轻材料。X-Ray图像可以清晰的显示出涡轮叶片的结构缺陷，例如涡轮叶片的裂纹、空洞等，但是无法高精度的显示出涡轮叶片的残留物质。中子图像可以清晰的显示出涡轮叶片在铸造过程中产生的残留物质，无法高精度的显示出涡轮叶片结构缺陷。
因此，现有技术亟需一种能够结合不同图像采集方式优点的基于多模态图像采集的无损检测技术，以提高无损检测的缺陷检出率，降低漏检率。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于深度学习和多模态图像的缺陷检测方法及相关装置，能够解决现有单模态图像无法全面准确显示样品缺陷的问题，达到提高缺陷检测分析精度的目的。
具体地，本发明提供了一种基于深度学习和多模态图像的缺陷检测方法，其特征在于，包括：
获取到固定图像，浮动图像和所述固定图像配准后的配准图像以及，所述配准图像和所述固定图像融合后的融合图像；并且，建立所述固定图像、所述配准图像和所述融合图像组成的多模态检测数据集；
构建多模态目标检测网络，并通过所述多模态检测数据集对所述多模态目标检测网络进行训练，其中所述多模态目标检测网络包括特征提取模块、特征融合模块和检测模块；
将所述多模态检测数据集输入训练后的所述多模态目标检测网络中，以输出结果作为缺陷检测结果。
可选地，所述的通过所述多模态检测数据集对所述多模态目标检测网络进行训练，包括：
所述特征提取模块分别从所述固定图像、所述配准图像和所述融合图像中提出图像特征，并对应记为固定图像特征、配准图像特征和融合图像特征；
所述特征融合模块将所述融合图像特征与所述固定图像特征拼接后添加至所述配准图像中、以得到融合配准图像，将所述融合图像特征与所述配准图像特征拼接后添加至所述固定图像中、以得到融合固定图像；
根据所述融合配准图像、所述融合固定图像和所述融合图像，对所述检测模块进行训练。
可选地，所述特征提取模块采用通道注意力机制，通过对所述固定图像、所述配准图像和所述融合图像赋予图像不同位置不同的提取权重，得到固定图像特征、配准图像特征和融合图像特征。
可选地，所述缺陷检测方法话包括：
对所述多模态检测数据集进行数据增强处理，所述数据增强处理包括下述中至少一种：
对所述固定图像、所述配准图像和所述融合图像进行相同角度的反转平移处理；
对所述固定图像、所述配准图像和所述融合图像进行相同灰度值变化处理；
对所述固定图像、所述配准图像和所述融合图像添加相同噪声处理。
可选地，所述的通过所述多模态检测数据集对所述多模态目标检测网络进行训练，包括：
获取包含至少两类标签数据的所述多模态检测数据集，并通过所述多模态检测数据集得到训练集和测试集；
根据所述多模态检测数据集，以mAP作为评价指标，对所述多模态目标检测网络进行训练，以得到最优检测权重；
按照所述最优检测权重配置所述多模态目标检测网络，以得到训练后的所述多模态目标检测网络。
可选地，所述特征提取模块采用包含三个子网络的并行特征提取网络，三个子网络分别且同时提取所述固定图像、所述配准图像和所述融合图像的图像特征；
所述特征融合模块采用嵌入在所述并行特征提取网络中的跨模态特征融合网络；以及
所述特征提取模块对经所述特征融合模块融合后的所述融合配准图像、所述融合固定图像和所述融合图像进行图像提取。
可选地，所述固定图像和所述浮动图像的图像对组成为下述中任一组：
中子图像和X-ray图像；
红外图像和RGB图像。
可选地，所述固定图像为X-ray图像，所述浮动图像为中子图像；以及
所述的通过所述多模态检测数据集对所述多模态目标检测网络进行训练，包括：
在所述配准图像和所述融合图像上用所述标签数据表达缺陷标记，在固定图像上用所述标签数据表达结构缺陷标记，以使所述输出结构上显示所述缺陷标记和所述缺陷标记。
具体地，本发明还提供了一种基于深度学习和多模态图像的缺陷检测装置，包括处理器和存储器，所述存储器存储有计算机程序指令，当所述计算机程序指令由处理器执行时，实现上述任一种所述的缺陷检测方法。
具体地，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序指令，当所述计算机程序指令由处理器执行时，实现上述任一种所述的缺陷检测方法。
本发明的基于深度学习的缺陷检测方法中，结合固定图像、配准图像和融合图像的多个图像作为样本，以形成多模态检测数据集，并输入到多模态目标检测网络中。以mPA作为评价指标，对多模态目标检测网络进行检测权重的训练与更新。以多种图像作为样本，训练多模态目标检测网络，提高了缺陷检测的分析精度。
根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
图1是根据本发明一个实施例的缺陷检测方法的流程图；
图2是根据本发明一个实施例的多模态目标检测网络的特征融合模块的流程图；
图3是根据本发明一个实施例的多模态目标检测网络的流程图。
具体实施方式
下面参照图1至图3来描述本发明实施例的一种基于深度学习的缺陷检测方法及相关装置。在本实施例的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征，也即包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。当某个特征“包括或者包含”某个或某些其涵盖的特征时，除非另外特别地描述，这指示不排除其它特征和可以进一步包括其它特征。
除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”、“固定”“耦合”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。本领域的普通技术人员，应该可以根据具体情况理解上述术语在本发明中的具体含义。
此外，在本实施例的描述中，第一特征在第二特征“之上”或“之下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。也即在本实施例的描述中，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”、或“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本实施例的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
图1是根据本发明一个实施例的缺陷检测方法的流程图，如图1所示，并参考图3，本发明实施例提供了一种基于深度学习和多模态图像的缺陷检测方法，其包括：
获取到固定图像，浮动图像和固定图像配准后的配准图像以及，配准图像和固定图像融合后的融合图像。并且，建立固定图像、配准图像和融合图像组成的多模态检测数据集。
构建多模态目标检测网络，并通过多模态检测数据集对多模态目标检测网络进行训练，其中多模态目标检测网络包括特征提取模块、特征融合模块和检测模块。
将多模态检测数据集输入训练后的多模态目标检测网络中，以输出结果作为缺陷检测结果。
具体地，固定图像为X-ray图像，浮动图像为中子图像。配准图像为中子图像以X-ray图像为参照进行配准之后得出的图像。
使用固定图像、配准图像和融合图像的多个图像作为样本，以形成多模态检测数据集，并输入到多模态目标检测网络中，以对多模态目标检测网络进行训练，并以mPA作为评价指标，对多模态目标检测网络进行检测权重的训练与更新。相比于本发明之前的单模态目标检测网络，本发明的多模态目标检测网络，引入三种模态进行缺陷的检测，以X-Ray图像、配准后中子图像作为主要模态，以X-Ray和配准后中子图像融合后的图像作为互补模态，检测的结果更加可靠和准确，提高缺陷检测的缺陷检出率，降低漏检率。
在本发明的一些实施例中，缺陷检测方法还包括：在获取图像之前，配置多模态检测环境。
在本发明的一些实施例中，获取到固定图像，浮动图像和固定图像配准后的配准图像的步骤包括，对固定图像和浮动图像进行配准，得到配准图像，使配准图像和固定图像达到空间上的对齐，用配准图像代替原始的浮动图像。这样设置便于提取固定图像、配准图像和融合图像中的图像特征。其中，对固定图像和浮动图像进行配准的步骤还包括：
数据采集：在不同成像设备、不同成像时间对同一物体进行照射，采集初始图像，即原始固定图像和原始浮动图像；
数据预处理：对图像进行去噪处理，处理后的原始浮动图像和原始固定图像经放射变换网络进行初步仿射对齐，之后将处理后的图像组的像素进行归一化操作。归一化之后的原始固定图像转变为固定图像(X)，原始浮动图像转变为浮动图像(N)。
流动场(Flow field)计算：X和N作为网络的双输入在通道上进行拼接操作，拼接之后的Tensor张量输入网络，以X和N之间的图像相似度作为度量标准，通过优化算法训练和更新网络权重信息，并通过卷积、下采样和上采样等操作计算出X和N之间的流动场(FlowField)和变换参数T；
空间变换：将流动场和N作为空间变换网络的输入，通过插值函数将变换参数T作用于浮动图像N，得到最终的配准结果R；
反向传播：完成一次配准操作后，将图像的相似度和流动场的正则化数值作为损失函数，对权重参数进行更新和反向传播，之后重复上述步骤直到网络达到收敛。
在本发明的一些实施例中，缺陷检测方法还包括：
对多模态检测数据集进行数据增强处理，数据增强处理包括下述中至少一种：对固定图像、配准图像和融合图像进行相同角度的反转平移处理。对固定图像、配准图像和融合图像进行相同灰度值变化处理。对固定图像、配准图像和融合图像添加相同噪声处理。
优选地，数据增强处理包括：对固定图像、配准图像和融合图像进行相同角度的反转平移处理、对固定图像、配准图像和融合图像进行相同灰度值变化处理以及对固定图像、配准图像和融合图像添加相同噪声处理。
具体地，在建立固定图像、配准图像和融合图像组成的多模态检测数据集的步骤之后，对多模态数据集进行数据增强处理。在对多模态检测数据集进行数据增强处理时，先对固定图像、配准图像和融合图像进行相同角度的反转平移操作，再对固定图像、配准图像和融合图像进行相同灰度值变化操作，最后对固定图像、配准图像和融合图像添加相同的噪声。这样设置可以使得固定图像、配准图像和融合图像更易于被识别。
在本发明的一些实施例中，固定图像和浮动图像的图像对组成为下述中任一组：中子图像和X-ray图像。红外图像和RGB图像。优选地，固定图像和浮动图像对组成为中子图像和X-ray图像，
在本发明的一些实施例中，通过多模态检测数据集对多模态目标检测网络进行训练的步骤包括：在配准图像和融合图像上用标签数据表达缺陷标记，在固定图像上用标签数据表达结构缺陷标记，以使输出结构上显示缺陷标记和缺陷标记。具体地，表达缺陷标记的标签数据为0，表达结构缺陷的标记的标签数据为1。也就是说，在对固定图像。配准图像和融合图像进行数据标记时，对配准图像和融合图像中的显示为缺陷的图形标记为0，对X-Ray中的显示为结构缺陷的图形标记为1。
在本发明的一些实施例中，通过多模态检测数据集对多模态目标检测网络进行训练的步骤还包括：获取包含至少两类标签数据的多模态检测数据集，并通过多模态检测数据集得到训练集和测试集。优选地，获取包含表达缺陷标记的数据标签以及包含表达结构缺陷标记的数据标签的多模态检测数据集。
如图2所示，并参考图3，在本发明的一些实施例中，通过多模态检测数据集对多模态目标检测网络进行训练的步骤还包括：特征提取模块分别从固定图像、配准图像和融合图像中提出图像特征，并对应记为固定图像特征、配准图像特征和融合图像特征。
特征融合模块将融合图像特征与固定图像特征拼接后添加至配准图像中、以得到融合配准图像，将融合图像特征与配准图像特征拼接后添加至固定图像中、以得到融合固定图像。根据融合配准图像、融合固定图像和融合图像，对检测模块进行训练。具体地，将多模态数据检测集中的固定图像、配准图像和融合图像输入到特征融合模块中，而后经特征融合模块得到的融合固定图像、融合配准图像和融合图像作为训练集，并通过训练集对多模态目标检测网络进行训练。将固定图像、配准图像和融合图像的同一特征进行融合拼接，可以对固定图像、配准图像和融合图像中的图像特征进行增强和完善，以得到更多可靠的信息，提升了在复杂环境下工业零件缺陷的检测精度，避免产生误检，降低误检率。
如图2所示，在本发明的一些实施例中，特征提取模块采用通道注意力机制，通过对固定图像、配准图像和融合图像赋予图像不同位置不同的提取权重，得到固定图像特征、配准图像特征和融合图像特征。
具体地，特征融合模块以固定图像和配准图像作为主要模态，以融合图像作为补充模态。通道注意力机制通过对固定图像特征、配准图像特征和融合图像特征进行压缩、激励操作来赋予图像不同位置不同的权重。
其中，固定图像为Fx，配准图像为Fn，融合图像为Ff；固定图像特征为Fxd，配准图像特征为Fnd，融合图像特征为Ffd；融合固定图像为Fx′，融合配准图像为Fn′，经过特征融合模块处理后的融合图像为Ff′。特征融合模块的工作过程可以表述为：
Ff'＝se(Ff)
如图3所示，在本发明的一些实施例中，
特征提取模块采用包含三个子网络的并行特征提取网络，三个子网络分别且同时提取固定图像、配准图像和融合图像的图像特征。特征融合模块采用嵌入在并行特征提取网络中的跨模态特征融合网络。以及，特征提取模块对经特征融合模块融合后的融合配准图像、融合固定图像和融合图像进行图像提取。具体地，并行特征提取网络基于静电目标检测网络中的特征提取网络设计，并行特征提取网络为特征提取网络的扩展。跨模态特征融合网络嵌入在并行特征提取网络后，多模态目标检测网络保持不变。
在本发明的一些实施例中，根据多模态检测数据集，以mAP作为评价指标，对多模态目标检测网络进行训练，以得到最优检测权重。具体地，mAP为均值平均精度。
按照最优检测权重配置多模态目标检测网络，以得到训练后的多模态目标检测网络。
具体地，多模态目标检测网络参照Yolov5检测架构设计。将训练集中的融合固定图像、融合配准图像和融合图像作为输入，通过并行特征提取网络对融合固定图像、融合配准图像和融合图像的图像特征进行提取，而后通过跨模态特征融合模块将融合图像特征与融合固定图像特征拼接后添加至融合配准图像中、以得到新的融合配准图像，将融合图像特征与融合配准图像特征拼接后添加至融合固定图像中、以得到新的融合固定图像。而后，并行特征提取网络对新的融合固定图像、新的融合配准图像以及融合图像进行图像提取，同时，将新的融合固定图像、新的配准图像以及融合图像进行拼接融合，已得到综合图像，把综合图像纳测试集中。将测试机输入到检测模块中，以mAP作为评价指标，检测模块将综合图像和mAP进行比对。
将上述操作重复至少三次，以实现对多模态目标检测网络的训练，进而得到最优检测权重。优选地，将上述操作重复三次，以得到三个综合图像，将三个检测图像纳入测试集输入检测模块，检测模块输出三个综合图像与mAP进行比对后得到的评分，将其中评分最高的综合图像视为最优检测权重并保存该最优检测权重。
在本发明的一些实施例中，所述的将多模态检测数据集输入训练后的多模态目标检测网络中，以输出结果作为缺陷检测结果还包括：
将包含有最优检测权重的文件下载至训练后的多模态目标检测网络中。获取工业零件的X-ray图像、与X-ray图像配准后的中子图像以及二者的融合图像，将X-ray图像、与X-ray图像配准后的中子图像以及二者的融合图像输入到多模态目标检测网络中，对工业零件的图像进行检测，判断该工业零件是否存在缺陷，并输出结果。检测结果分为两个部分，分别是缺陷和结构缺陷。
在本发明的一些实施例中，在训练中以及训练后的多模态目标检测网络利用基于多模态的缺陷检测算法总体损失函数对工业零件的图像进行检测。其中，基于多模态的缺陷检测算法总体损失函数定义如公式所示：
Ltotal＝Lcls+Lbox+Lconf
其中，Lcls为分类损失，Lbox为位置回归损失，Lconf为置信度损失。
分类损失函数定义如公式所示：
其中，pi(c)代表真实样本为C的概率，代表网络预测样本为C的概率。
位置回归损失函数定义如公式所示：
置信度损失函数定义如公式所述：
其中，置信度损失采用平方误差损失，ci和表示置信度的真实值和网络预测的置信度。
本发明的实施例还提供了一种基于深度学习和多模态图像的缺陷检测装置，其包括处理器和存储器，存储器存储有计算机程序指令，当计算机程序指令由处理器执行时，实现上述任一实施例中的缺陷检测方法。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序指令，当计算机程序指令由处理器执行时，实现上述任一实施例中的缺陷检测方法。
至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种基于深度学习和多模态图像的缺陷检测方法，其特征在于，包括：
获取到固定图像，浮动图像和所述固定图像配准后的配准图像以及，所述配准图像和所述固定图像融合后的融合图像；并且，建立所述固定图像、所述配准图像和所述融合图像组成的多模态检测数据集；
构建多模态目标检测网络，并通过所述多模态检测数据集对所述多模态目标检测网络进行训练，其中所述多模态目标检测网络包括特征提取模块、特征融合模块和检测模块；
将所述多模态检测数据集输入训练后的所述多模态目标检测网络中，以输出结果作为缺陷检测结果。
2.根据权利要求1所述的缺陷检测方法，其特征在于，
所述的通过所述多模态检测数据集对所述多模态目标检测网络进行训练，包括：
所述特征提取模块分别从所述固定图像、所述配准图像和所述融合图像中提出图像特征，并对应记为固定图像特征、配准图像特征和融合图像特征；
所述特征融合模块将所述融合图像特征与所述固定图像特征拼接后添加至所述配准图像中、以得到融合配准图像，将所述融合图像特征与所述配准图像特征拼接后添加至所述固定图像中、以得到融合固定图像；
根据所述融合配准图像、所述融合固定图像和所述融合图像，对所述检测模块进行训练。
3.根据权利要求1所述的缺陷检测方法，其特征在于，
所述特征提取模块采用通道注意力机制，通过对所述固定图像、所述配准图像和所述融合图像赋予图像不同位置不同的提取权重，得到固定图像特征、配准图像特征和融合图像特征。
4.根据权利要求1所述的缺陷检测方法，其特征在于，所述缺陷检测方法还包括：
对所述多模态检测数据集进行数据增强处理，所述数据增强处理包括下述中至少一种：
对所述固定图像、所述配准图像和所述融合图像进行相同角度的反转平移处理；
对所述固定图像、所述配准图像和所述融合图像进行相同灰度值变化处理；
对所述固定图像、所述配准图像和所述融合图像添加相同噪声处理。
5.根据权利要求1所述的缺陷检测方法，其特征在于，
所述的通过所述多模态检测数据集对所述多模态目标检测网络进行训练，包括：
获取包含至少两类标签数据的所述多模态检测数据集，并通过所述多模态检测数据集得到训练集和测试集；
根据所述多模态检测数据集，以mAP作为评价指标，对所述多模态目标检测网络进行训练，以得到最优检测权重；
按照所述最优检测权重配置所述多模态目标检测网络，以得到训练后的所述多模态目标检测网络。
6.根据权利要求2所述的缺陷检测方法，其特征在于，
所述特征提取模块采用包含三个子网络的并行特征提取网络，三个子网络分别且同时提取所述固定图像、所述配准图像和所述融合图像的图像特征；
所述特征融合模块采用嵌入在所述并行特征提取网络中的跨模态特征融合网络；以及
所述特征提取模块对经所述特征融合模块融合后的所述融合配准图像、所述融合固定图像和所述融合图像进行图像提取。
7.根据权利要求1所述的缺陷检测方法，其特征在于，
所述固定图像和所述浮动图像的图像对组成为下述中任一组：
中子图像和X-ray图像；
红外图像和RGB图像。
8.根据权利要求5所述的缺陷检测方法，其特征在于，
所述固定图像为X-ray图像，所述浮动图像为中子图像；以及
所述的通过所述多模态检测数据集对所述多模态目标检测网络进行训练，包括：
在所述配准图像和所述融合图像上用所述标签数据表达缺陷标记，在固定图像上用所述标签数据表达结构缺陷标记，以使所述输出结构上显示所述缺陷标记和所述缺陷标记。
9.一种基于深度学习和多模态图像的缺陷检测装置，其特征在于，包括处理器和存储器，所述存储器存储有计算机程序指令，当所述计算机程序指令由处理器执行时，实现如权利要求1-8的任意一项所述的缺陷检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序指令，当所述计算机程序指令由处理器执行时，实现如权利要求1-8的任意一项所述的缺陷检测方法。
CN202310493983.6A 2023-04-28 2023-04-28 基于深度学习和多模态图像的缺陷检测方法及相关装置 Pending CN116524313A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310493983.6A CN116524313A (zh) 2023-04-28 2023-04-28 基于深度学习和多模态图像的缺陷检测方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310493983.6A CN116524313A (zh) 2023-04-28 2023-04-28 基于深度学习和多模态图像的缺陷检测方法及相关装置

Publications (1)

Publication Number Publication Date
CN116524313A true CN116524313A (zh) 2023-08-01

Family

ID=87391719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310493983.6A Pending CN116524313A (zh) 2023-04-28 2023-04-28 基于深度学习和多模态图像的缺陷检测方法及相关装置

Country Status (1)

Country Link
CN (1) CN116524313A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664586A (zh) * 2023-08-02 2023-08-29 长沙韶光芯材科技有限公司 一种基于多模态特征融合的玻璃缺陷检测方法及系统
CN117274253A (zh) * 2023-11-20 2023-12-22 华侨大学 基于多模态Transformer的零配件检测方法、装置及可读介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664586A (zh) * 2023-08-02 2023-08-29 长沙韶光芯材科技有限公司 一种基于多模态特征融合的玻璃缺陷检测方法及系统
CN116664586B (zh) * 2023-08-02 2023-10-03 长沙韶光芯材科技有限公司 一种基于多模态特征融合的玻璃缺陷检测方法及系统
CN117274253A (zh) * 2023-11-20 2023-12-22 华侨大学 基于多模态Transformer的零配件检测方法、装置及可读介质
CN117274253B (zh) * 2023-11-20 2024-02-27 华侨大学 基于多模态Transformer的零配件检测方法、装置及可读介质

Similar Documents

Publication Publication Date Title
KR102384269B1 (ko) 반도체 표본의 딥 러닝 - 기반 검사의 방법 및 그 시스템
WO2023077404A1 (zh) 缺陷检测方法、装置和系统
CN116524313A (zh) 基于深度学习和多模态图像的缺陷检测方法及相关装置
Huang et al. Deep learning-based instance segmentation of cracks from shield tunnel lining images
CN111861978A (zh) 基于Faster R-CNN的桥梁裂缝实例分割方法
Jeong et al. Literature review and technical survey on bridge inspection using unmanned aerial vehicles
Miao et al. Pixel‐level multicategory detection of visible seismic damage of reinforced concrete components
CN111784671A (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN114359283B (zh) 基于Transformer的缺陷检测方法和电子设备
Lin et al. Welding defect detection based on local image enhancement
CN109241867B (zh) 采用人工智能算法识别数字岩心图像的方法及装置
CN114862838A (zh) 基于无监督学习的缺陷检测方法及设备
CN113610070A (zh) 一种基于多源数据融合的滑坡灾害识别方法
CN112419292B (zh) 病理图像的处理方法、装置、电子设备及存储介质
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
WO2020078888A1 (en) System for co-registration of medical images using a classifier
Yang et al. Insulator identification and self-shattering detection based on mask region with convolutional neural network
CN115909006A (zh) 基于卷积Transformer的乳腺组织图像分类方法及系统
CN117422699A (zh) 公路检测方法、装置、计算机设备及存储介质
CN110084807A (zh) 一种焊缝探伤底片图像造假的检测方法
Zhang et al. Automatic forgery detection for x-ray non-destructive testing of welding
CN116930192B (zh) 一种高精度铜管缺陷检测方法及系统
CN117853417A (zh) 焊缝缺陷识别方法、装置、电子设备及存储介质
CN113313678A (zh) 一种基于多尺度特征融合的精子形态学自动分析方法
CN113607068B (zh) 一种光声测量信号特征的识别模型建立方法及提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination