CN116580029B - 铝合金铸造成品的质检管控系统及其方法 - Google Patents

铝合金铸造成品的质检管控系统及其方法 Download PDF

Info

Publication number
CN116580029B
CN116580029B CN202310852709.3A CN202310852709A CN116580029B CN 116580029 B CN116580029 B CN 116580029B CN 202310852709 A CN202310852709 A CN 202310852709A CN 116580029 B CN116580029 B CN 116580029B
Authority
CN
China
Prior art keywords
training
transfer
feature
aluminum alloy
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310852709.3A
Other languages
English (en)
Other versions
CN116580029A (zh
Inventor
王承永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Haiwei Auto Parts Co ltd
Original Assignee
Zhejiang Haiwei Auto Parts Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Haiwei Auto Parts Co ltd filed Critical Zhejiang Haiwei Auto Parts Co ltd
Priority to CN202310852709.3A priority Critical patent/CN116580029B/zh
Publication of CN116580029A publication Critical patent/CN116580029A/zh
Application granted granted Critical
Publication of CN116580029B publication Critical patent/CN116580029B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
    • G01N29/0654—Imaging
    • G01N29/069—Defect imaging, localisation and sizing using, e.g. time of flight diffraction [TOFD], synthetic aperture focusing technique [SAFT], Amplituden-Laufzeit-Ortskurven [ALOK] technique
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4445—Classification of defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4481—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30116—Casting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Acoustics & Sound (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)

Abstract

公开了一种铝合金铸造成品的质检管控系统及其方法。其首先将被检测铝合金铸造成品的超声波探测图像和超声波参考图像通过孪生网络模型以得到超声波参考特征图和超声波探测特征图，接着，计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图，最后，将所述分类特征图通过分类器以得到用于表示被检测铝合金铸造成品的内部质量是否合格的分类结果。这样，可以对铝合金铸造成品的内部质量进行精准质控。

Description

铝合金铸造成品的质检管控系统及其方法
技术领域
本申请涉及智能检测领域，且更为具体地，涉及一种铝合金铸造成品的质检管控系统及其方法。
背景技术
铝合金铸造成品是指采用砂型模或金属模将加热为液态的铝或铝合金浇入模腔，而得到的各种形状和尺寸的铝零件或铝合金零件。铝合金铸造成品具有美观、质量轻、耐腐蚀等优点，广泛应用于汽车、航空、航天、化工等领域。
在铝合金铸造成品的生产制备过程中，有可能会因过程控制不精准或者设备故障而使得铝合金铸造成品出现内部结构缺陷，包括但不限于：气孔、夹杂物、缩孔、组织非均匀等。这些内部结构缺陷无法通过产品的外观观察到，但是上述内部结构缺陷会引发重要的安全事故。
因此，为了保证铝合金铸造成品的内在质量，需要对其进行严格的质检管控。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种铝合金铸造成品的质检管控系统及其方法。其首先将被检测铝合金铸造成品的超声波探测图像和超声波参考图像通过孪生网络模型以得到超声波参考特征图和超声波探测特征图，接着，计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图，最后，将所述分类特征图通过分类器以得到用于表示被检测铝合金铸造成品的内部质量是否合格的分类结果。这样，可以对铝合金铸造成品的内部质量进行精准质控。
根据本申请的一个方面，提供了一种铝合金铸造成品的质检管控系统，其包括：图像获取模块，用于获取被检测铝合金铸造成品的超声波探测图像，以及，内部质量合格的铝合金铸造成品的超声波参考图像；孪生编码模块，用于将所述超声波参考图像和所述超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到超声波参考特征图和超声波探测特征图；转移矩阵计算模块，用于计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图；通道注意力编码模块，用于将所述转移特征图通过通道注意力模块以得到分类特征图；以及分类模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示被检测铝合金铸造成品的内部质量是否合格。
在上述的铝合金铸造成品的质检管控系统中，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。
在上述的铝合金铸造成品的质检管控系统中，所述第一图像编码器和所述第二图像编码器为金字塔网络。
在上述的铝合金铸造成品的质检管控系统中，所述转移矩阵计算模块，用于：以如下转移矩阵计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵；其中，所述转移矩阵计算公式为：其中，/>、/>分别表示所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵，/>表示所述转移矩阵，/>表示向量相乘；以及将所述多个转移矩阵进行排列以得到所述转移特征图。
在上述的铝合金铸造成品的质检管控系统中，所述通道注意力编码模块，包括：深度卷积编码单元，用于使用所述通道注意力模块对所述转移特征图进行显式空间编码以得到转移关联特征图；全局均值池化单元，用于计算所述转移关联特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量；激活单元，用于将所述通道特征向量输入Sigmoid激活函数以得到通道注意力加权特征向量；注意力优化单元，用于基于所述通道注意力加权特征向量的自协方差矩阵，对所述通道注意力加权特征向量中各个位置的特征值进行校正以得到优化通道注意力加权特征向量；以及通道注意力施加单元，用于以所述优化通道注意力加权特征向量中各个位置的特征值作为权重分别对所述转移关联特征图的沿通道维度的各个特征矩阵进行加权以得到所述分类特征图。
在上述的铝合金铸造成品的质检管控系统中，所述分类模块，包括：特征图展开单元，用于将所述分类特征图按照行向量或列向量展开为分类特征向量；全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
在上述的铝合金铸造成品的质检管控系统中，还包括用于对所述包含第一图像编码器和第二图像编码器的孪生网络模型、所述通道注意力模块和所述分类器进行训练的训练模块，其中，所述训练模块，包括：训练图像获取模块，用于获取训练数据，所述训练数据包括被检测铝合金铸造成品的训练超声波探测图像和内部质量合格的铝合金铸造成品的训练超声波参考图像，以及，所述被检测铝合金铸造成品的内部质量是否合格的真实值；训练孪生编码模块，用于将所述训练超声波参考图像和所述训练超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到训练超声波参考特征图和训练超声波探测特征图；
转移特征图模块，用于计算所述训练超声波参考特征图和所述训练超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的训练转移特征图；训练通道注意力编码模块，用于将所述训练转移特征图通过通道注意力模块以得到训练分类特征图；训练分类模块，用于将所述训练分类特征图通过分类器以得到分类损失函数值；模型训练模块，用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述包含第一图像编码器和第二图像编码器的孪生网络模型、所述通道注意力模块和所述分类器进行训练，其中，在所述训练的每一轮迭代中，对所述分类器的权重矩阵进行权重本征支持的半空间结构化约束迭代。
在上述的铝合金铸造成品的质检管控系统中，在所述训练的每一轮迭代中，以如下公式对所述分类器的权重矩阵进行权重本征支持的半空间结构化约束迭代；
其中，所述公式为：其中/>是所述分类器的权重矩阵，/>表示特征矩阵的转置矩阵，/>是矩阵/>的本征值组成的本征集合向量，/>和/>分别表示矩阵乘法和加法，/>表示迭代后的所述分类器的权重矩阵。
根据本申请的另一个方面，提供了一种铝合金铸造成品的质检管控方法，其包括：
获取被检测铝合金铸造成品的超声波探测图像，以及，内部质量合格的铝合金铸造成品的超声波参考图像；将所述超声波参考图像和所述超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到超声波参考特征图和超声波探测特征图；计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图；将所述转移特征图通过通道注意力模块以得到分类特征图；以及将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示被检测铝合金铸造成品的内部质量是否合格。
在上述的铝合金铸造成品的质检管控方法中，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。
在上述的铝合金铸造成品的质检管控方法中，所述第一图像编码器和所述第二图像编码器为金字塔网络。
与现有技术相比，本申请提供的铝合金铸造成品的质检管控系统及其方法，其首先将被检测铝合金铸造成品的超声波探测图像和超声波参考图像通过孪生网络模型以得到超声波参考特征图和超声波探测特征图，接着，计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图，最后，将所述分类特征图通过分类器以得到用于表示被检测铝合金铸造成品的内部质量是否合格的分类结果。这样，可以对铝合金铸造成品的内部质量进行精准质控。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。
图1为根据本申请实施例的铝合金铸造成品的质检管控系统的应用场景图。
图2为根据本申请实施例的铝合金铸造成品的质检管控系统的框图示意图。
图3为根据本申请实施例的铝合金铸造成品的质检管控系统中的所述通道注意力编码模块的框图示意图。
图4为根据本申请实施例的铝合金铸造成品的质检管控系统中的所述分类模块的框图示意图。
图5为根据本申请实施例的铝合金铸造成品的质检管控系统中的所述训练模块的框图示意图。
图6为根据本申请实施例的铝合金铸造成品的质检管控方法的流程图。
图7为根据本申请实施例的铝合金铸造成品的质检管控方法的系统架构的示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
针对上述技术问题，本申请的技术构思为通过超声波无损探伤技术来采集被检测铝合金铸造成品的内部结构的超声波探测图像，并通过所述被检测铝合金铸造成品的内部结构的超声波显示图像与内部质量合格的铝合金铸造成品的超声波参考图像之间的比对和分析来判断被检测铝合金铸造成品的内部质量是否合格，这样使用非破坏式探测方案来对铝合金铸造成品的内部质量进行精准质控。
具体地，首先获取被检测铝合金铸造成品的超声波探测图像，以及，内部质量合格的铝合金铸造成品的超声波参考图像。如上所述，在铝合金铸造成品的生产制备过程中，可能会因为过程控制不精准或者设备故障等原因导致成品出现内部结构缺陷，这些内部结构缺陷无法通过产品的外观观察到。因此，为了保证铝合金铸造成品的内在质量，需要对其进行严格的质检管控。
超声波探测成像技术是一种有效的非损伤性检测方法，能够实时获取被检测对象内部结构的信息，包括气孔、夹杂物、缩孔、组织非均匀等缺陷信息。为了对铝合金铸造成品进行质检，需要获取被检测铝合金铸造成品的超声波探测图像，以及内部质量合格的铝合金铸造成品的超声波参考图像。通过将待检测的铝合金铸造成品与合格的铝合金铸造成品进行比较，可以判断样品是否存在内部结构缺陷。
接着，将所述超声波参考图像和所述超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到超声波参考特征图和超声波探测特征图。特别地，在本申请的技术方案中，所述第一图像编码器和所述第二图像编码器具有相同的神经网络结构。在本申请一个具体的示例中，所述第一图像编码器和所述第二图像编码器为金字塔网络模型。
应可以理解，因所述第一图像编码器和所述第二图像编码器具有相同的神经网络结构，因此，所述超声波参考图像和所述超声波探测图像之间的局部区域图像差异会被所述第一图像编码器和所述第二图像编码器所捕捉并放大。也就是，通过比较被检测铝合金铸造成品的超声波探测特征图和内部质量合格的铝合金铸造成品的超声波参考特征图，可以判断样品是否存在内部结构缺陷。
接着，计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图。应注意到，在本申请的技术方案中，所述第一图像编码器和所述第二图像编码器为金字塔网络，所述金字塔网络是标准卷积神经网络模型的延伸拓展，其编码特性依然没有脱离卷积编码的特性，即，所述超声波参考特征图和所述超声波探测特征图的沿通道维度的各个特征矩阵为图像中的局部邻域特征。
因此，在本申请的技术方案中，计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到多个转移矩阵，其中，所述各个转移矩阵用于表示超声波参考特征图和所述超声波探测特征图的沿通道维度的局部邻域特征之间的差异信息。通过计算超声波参考特征图和超声波探测特征图中每组对应的特征矩阵之间的转移矩阵来描述两幅图像局部特征之间的相似性，即反映在特征空间中的差异性，所述转移矩阵包含了铝合金铸造成品内部结构的差异信息，包括缺陷类型、位置、大小等。相应地，所述转移特征图能够从全局范围上描述铝合金铸造成品内部结构的差异信息，不同的转移矩阵表示了不同的缺陷类型和位置，因此可以有效地表达铝合金铸造成品的内部结构差异，基于这些特征，能够更加准确地判断被检测铝合金铸造成品是否存在内部结构缺陷。
这里，考虑到在所述转移特征图中，每个通道代表着一个不同的转移矩阵，即描述了不同的内部结构差异信息，这些信息对于铝合金铸造成品的质检非常重要。然而，在实际应用中，转移特征图可能存在大量冗余和无用的信息，会干扰分类器的判断，从而导致质检结果的不准确性和误判率的增加。因此，需要利用通道注意力模块，通过学习输入特征图的通道权重来区分哪些通道对分类任务更有帮助，并将其突出显示。具体而言，通道注意力模块能够根据样本特征的重要性，自适应地调整每个通道的权重，有效地压缩特征空间，提高分类器的精度和泛化性能。也就是说，在得到所述转移特征图后，将所述转移特征图通过通道注意力模块以得到分类特征图。
进一步地，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示被检测铝合金铸造成品的内部质量是否合格。也就是，使用所述分类器来确定所述分类特征图的类概率标签，所述类概率标签用于表示被检测铝合金铸造成品的内部质量是否合格。
这里，由于所述转移特征图的每个转移特征矩阵表达所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的特征域转移，而所述孪生网络模型的第一图像编码器和第二图像编码器在进行独立的图像特征编码时，其沿通道维度的特征编码并不能保持完全一致，这就使得所述转移特征图的各个转移特征矩阵之间具有较大的数值差异。并且，在将所述转移特征图通过通道注意力模块时，由于通道注意力模块的加权机制，会进一步加大所述分类特征图的各个特征矩阵之间的数值差异，由此，当所述分类特征图通过分类器进行分类时，所述分类特征图的各个特征矩阵的部分特征分布相对于分类器的权重矩阵对应的部分也会具有不同的权重拟合方向，这样，所述分类特征图的整体特征分布相对于分类器的权重矩阵就会具有收敛性差的问题，从而影响所述分类器的训练速度。
基于此，本申请的申请人在所述分类特征图展开后得到的分类特征向量，例如记为练过程中，在每次分类器的权重矩阵，例如记为的训练过程中，在每次分类器的权重矩阵，例如记为/>的迭代过程中，对权重矩阵/>进行权重本征支持的半空间结构化约束，具体表示为：/>其中，/>是矩阵/>的本征值组成的本征集合向量。
这里，所述权重本征支持的半空间结构化约束以所述分类器的权重矩阵的结构化矩阵的本征值集合与待分类的分类特征向量/>的关联性集成作为支持，来对所述权重矩阵/>表示的用于与所述待分类的分类特征向量/>的高维流形相耦合的半空间（half-space）进行作为决策边界的超平面的结构化支持约束，以使得所述待分类的分类特征向量的高维流形能够在所述权重矩阵/>表示的半空间开放域内相对于超平面有效收敛，从而改进所述分类器的训练速度。
图1为根据本申请实施例的铝合金铸造成品的质检管控系统的应用场景图。如图1所示，在该应用场景中，首先，获取被检测铝合金铸造成品（例如，图1中所示意的N）的超声波探测图像（例如，图1中所示意的D1），以及，内部质量合格的铝合金铸造成品的超声波参考图像（例如，图1中所示意的D2），然后，将所述超声波参考图像和所述超声波探测图像输入至部署有铝合金铸造成品的质检管控算法的服务器中（例如，图1中所示意的S），其中，所述服务器能够使用所述铝合金铸造成品的质检管控算法对所述超声波参考图像和所述超声波探测图像进行处理以得到用于表示被检测铝合金铸造成品的内部质量是否合格的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
图2为根据本申请实施例的铝合金铸造成品的质检管控系统的框图示意图。如图2所示，根据本申请实施例的铝合金铸造成品的质检管控系统100，包括：图像获取模块110，用于获取被检测铝合金铸造成品的超声波探测图像，以及，内部质量合格的铝合金铸造成品的超声波参考图像；孪生编码模块120，用于将所述超声波参考图像和所述超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到超声波参考特征图和超声波探测特征图；转移矩阵计算模块130，用于计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图；通道注意力编码模块140，用于将所述转移特征图通过通道注意力模块以得到分类特征图；以及，分类模块150，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示被检测铝合金铸造成品的内部质量是否合格。
更具体地，在本申请实施例中，所述图像获取模块110，用于获取被检测铝合金铸造成品的超声波探测图像，以及，内部质量合格的铝合金铸造成品的超声波参考图像。在铝合金铸造成品的生产制备过程中，可能会因为过程控制不精准或者设备故障等原因导致成品出现内部结构缺陷，这些内部结构缺陷无法通过产品的外观观察到。因此，为了保证铝合金铸造成品的内在质量，需要对其进行严格的质检管控。超声波探测成像技术是一种有效的非损伤性检测方法，能够实时获取被检测对象内部结构的信息，包括气孔、夹杂物、缩孔、组织非均匀等缺陷信息。为了对铝合金铸造成品进行质检，需要获取被检测铝合金铸造成品的超声波探测图像，以及内部质量合格的铝合金铸造成品的超声波参考图像。通过将待检测的铝合金铸造成品与合格的铝合金铸造成品进行比较，可以判断样品是否存在内部结构缺陷。
更具体地，在本申请实施例中，所述孪生编码模块120，用于将所述超声波参考图像和所述超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到超声波参考特征图和超声波探测特征图。
相应地，在一个具体示例中，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。所述第一图像编码器和所述第二图像编码器为金字塔网络。
应可以理解，因所述第一图像编码器和所述第二图像编码器具有相同的神经网络结构，因此，所述超声波参考图像和所述超声波探测图像之间的局部区域图像差异会被所述第一图像编码器和所述第二图像编码器所捕捉并放大。也就是，通过比较被检测铝合金铸造成品的超声波探测特征图和内部质量合格的铝合金铸造成品的超声波参考特征图，可以判断样品是否存在内部结构缺陷。
更具体地，在本申请实施例中，所述转移矩阵计算模块130，用于计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图。应注意到，在本申请的技术方案中，所述第一图像编码器和所述第二图像编码器为金字塔网络，所述金字塔网络是标准卷积神经网络模型的延伸拓展，其编码特性依然没有脱离卷积编码的特性，即，所述超声波参考特征图和所述超声波探测特征图的沿通道维度的各个特征矩阵为图像中的局部邻域特征。因此，在本申请的技术方案中，计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到多个转移矩阵，其中，所述各个转移矩阵用于表示超声波参考特征图和所述超声波探测特征图的沿通道维度的局部邻域特征之间的差异信息。通过计算超声波参考特征图和超声波探测特征图中每组对应的特征矩阵之间的转移矩阵来描述两幅图像局部特征之间的相似性，即反映在特征空间中的差异性，所述转移矩阵包含了铝合金铸造成品内部结构的差异信息，包括缺陷类型、位置、大小等。相应地，所述转移特征图能够从全局范围上描述铝合金铸造成品内部结构的差异信息，不同的转移矩阵表示了不同的缺陷类型和位置，因此可以有效地表达铝合金铸造成品的内部结构差异，基于这些特征，能够更加准确地判断被检测铝合金铸造成品是否存在内部结构缺陷。
相应地，在一个具体示例中，所述转移矩阵计算模块130，用于：以如下转移矩阵计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵；其中，所述转移矩阵计算公式为：其中，/>、/>分别表示所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵，/>表示所述转移矩阵，/>表示向量相乘；以及将所述多个转移矩阵进行排列以得到所述转移特征图。
更具体地，在本申请实施例中，所述通道注意力编码模块140，用于将所述转移特征图通过通道注意力模块以得到分类特征图。考虑到在所述转移特征图中，每个通道代表着一个不同的转移矩阵，即描述了不同的内部结构差异信息，这些信息对于铝合金铸造成品的质检非常重要。然而，在实际应用中，转移特征图可能存在大量冗余和无用的信息，会干扰分类器的判断，从而导致质检结果的不准确性和误判率的增加。因此，需要利用通道注意力模块，通过学习输入特征图的通道权重来区分哪些通道对分类任务更有帮助，并将其突出显示。具体而言，通道注意力模块能够根据样本特征的重要性，自适应地调整每个通道的权重，有效地压缩特征空间，提高分类器的精度和泛化性能。也就是说，在得到所述转移特征图后，将所述转移特征图通过通道注意力模块以得到分类特征图。
相应地，在一个具体示例中，如图3所示，所述通道注意力编码模块140，包括：深度卷积编码单元141，用于使用所述通道注意力模块对所述转移特征图进行显式空间编码以得到转移关联特征图；全局均值池化单元142，用于计算所述转移关联特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量；激活单元143，用于将所述通道特征向量输入Sigmoid激活函数以得到通道注意力加权特征向量；注意力优化单元144，用于基于所述通道注意力加权特征向量的自协方差矩阵，对所述通道注意力加权特征向量中各个位置的特征值进行校正以得到优化通道注意力加权特征向量；以及，通道注意力施加单元145，用于以所述优化通道注意力加权特征向量中各个位置的特征值作为权重分别对所述转移关联特征图的沿通道维度的各个特征矩阵进行加权以得到所述分类特征图。
更具体地，在本申请实施例中，所述分类模块150，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示被检测铝合金铸造成品的内部质量是否合格。
也就是，在本申请的技术方案中，所述分类器的标签包括被检测铝合金铸造成品的内部质量合格(第一标签)，以及，被检测铝合金铸造成品的内部质量不合格(第二标签)，其中，所述分类器通过软最大值函数来确定所述分类特征向量属于哪个分类标签。值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“被检测铝合金铸造成品的内部质量是否合格”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2之和为一。因此，被检测铝合金铸造成品的内部质量是否合格的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“被检测铝合金铸造成品的内部质量是否合格”的语言文本意义。
应可以理解，分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类（或预测）。逻辑回归（logistics）、SVM等常用于解决二分类问题，对于多分类问题（multi-class classification），同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有Softmax分类函数。
相应地，在一个具体示例中，如图4所示，所述分类模块150，包括：特征图展开单元151，用于将所述分类特征图按照行向量或列向量展开为分类特征向量；全连接编码单元152，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元153，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
图5为根据本申请实施例的铝合金铸造成品的质检管控系统中的所述训练模块的框图示意图。如图5所示，更具体地，在本申请实施例中，还包括用于对所述包含第一图像编码器和第二图像编码器的孪生网络模型、所述通道注意力模块和所述分类器进行训练的训练模块，其中，所述训练模块200，包括：训练图像获取模块210，用于获取训练数据，所述训练数据包括被检测铝合金铸造成品的训练超声波探测图像和内部质量合格的铝合金铸造成品的训练超声波参考图像，以及，所述被检测铝合金铸造成品的内部质量是否合格的真实值；训练孪生编码模块220，用于将所述训练超声波参考图像和所述训练超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到训练超声波参考特征图和训练超声波探测特征图；转移特征图模块230，用于计算所述训练超声波参考特征图和所述训练超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的训练转移特征图；训练通道注意力编码模块240，用于将所述训练转移特征图通过通道注意力模块以得到训练分类特征图；训练分类模块250，用于将所述训练分类特征图通过分类器以得到分类损失函数值；模型训练模块260，用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述包含第一图像编码器和第二图像编码器的孪生网络模型、所述通道注意力模块和所述分类器进行训练，其中，在所述训练的每一轮迭代中，对所述分类器的权重矩阵进行权重本征支持的半空间结构化约束迭代。
特别地，由于所述转移特征图的每个转移特征矩阵表达所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的特征域转移，而所述孪生网络模型的第一图像编码器和第二图像编码器在进行独立的图像特征编码时，其沿通道维度的特征编码并不能保持完全一致，这就使得所述转移特征图的各个转移特征矩阵之间具有较大的数值差异。并且，在将所述转移特征图通过通道注意力模块时，由于通道注意力模块的加权机制，会进一步加大所述分类特征图的各个特征矩阵之间的数值差异，由此，当所述分类特征图通过分类器进行分类时，所述分类特征图的各个特征矩阵的部分特征分布相对于分类器的权重矩阵对应的部分也会具有不同的权重拟合方向，这样，所述分类特征图的整体特征分布相对于分类器的权重矩阵就会具有收敛性差的问题，从而影响所述分类器的训练速度。基于此，本申请的申请人在所述分类特征图展开后得到的分类特征向量，例如记为的训练过程中，在每次分类器的权重矩阵，例如记为/>迭代过程中，对权重矩阵/>进行权重本征支持的半空间结构化约束。
相应地，在一个具体示例中，在所述训练的每一轮迭代中，以如下公式对所述分类器的权重矩阵进行权重本征支持的半空间结构化约束迭代；其中，所述公式为：其中/>是所述分类器的权重矩阵，/>表示特征矩阵的转置矩阵，/>是矩阵/>的本征值组成的本征集合向量，/>和/>分别表示矩阵乘法和加法，/>表示迭代后的所述分类器的权重矩阵。
这里，所述权重本征支持的半空间结构化约束以所述分类器的权重矩阵的结构化矩阵的本征值集合与待分类的分类特征向量/>的关联性集成作为支持，来对所述权重矩阵/>表示的用于与所述待分类的分类特征向量/>的高维流形相耦合的半空间（half-space）进行作为决策边界的超平面的结构化支持约束，以使得所述待分类的分类特征向量的高维流形能够在所述权重矩阵/>表示的半空间开放域内相对于超平面有效收敛，从而改进所述分类器的训练速度。
综上，基于本申请实施例的铝合金铸造成品的质检管控系统100被阐明，其首先将被检测铝合金铸造成品的超声波探测图像和超声波参考图像通过孪生网络模型以得到超声波参考特征图和超声波探测特征图，接着，计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图，最后，将所述分类特征图通过分类器以得到用于表示被检测铝合金铸造成品的内部质量是否合格的分类结果。这样，可以对铝合金铸造成品的内部质量进行精准质控。
如上所述，根据本申请实施例的基于本申请实施例的铝合金铸造成品的质检管控系统100可以实现在各种终端设备中，例如具有基于本申请实施例的铝合金铸造成品的质检管控算法的服务器等。在一个示例中，基于本申请实施例的铝合金铸造成品的质检管控系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于本申请实施例的铝合金铸造成品的质检管控系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于本申请实施例的铝合金铸造成品的质检管控系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于本申请实施例的铝合金铸造成品的质检管控系统100与该终端设备也可以是分立的设备，并且该铝合金铸造成品的质检管控系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图6为根据本申请实施例的铝合金铸造成品的质检管控方法的流程图。如图6所示，根据本申请实施例的铝合金铸造成品的质检管控方法，其包括：S110，获取被检测铝合金铸造成品的超声波探测图像，以及，内部质量合格的铝合金铸造成品的超声波参考图像；S120，将所述超声波参考图像和所述超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到超声波参考特征图和超声波探测特征图；S130，计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图；S140，将所述转移特征图通过通道注意力模块以得到分类特征图；以及，S150，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示被检测铝合金铸造成品的内部质量是否合格。
图7为根据本申请实施例的铝合金铸造成品的质检管控方法的系统架构的示意图。如图7所示，在所述铝合金铸造成品的质检管控方法的系统架构中，首先，获取被检测铝合金铸造成品的超声波探测图像，以及，内部质量合格的铝合金铸造成品的超声波参考图像；接着，将所述超声波参考图像和所述超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到超声波参考特征图和超声波探测特征图；然后，计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图；接着，将所述转移特征图通过通道注意力模块以得到分类特征图；最后，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示被检测铝合金铸造成品的内部质量是否合格。
在一个具体示例中，在上述铝合金铸造成品的质检管控方法中，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。
在一个具体示例中，在上述铝合金铸造成品的质检管控方法中，所述第一图像编码器和所述第二图像编码器为金字塔网络。
在一个具体示例中，在上述铝合金铸造成品的质检管控方法中，计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图，包括：以如下转移矩阵计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵；其中，所述转移矩阵计算公式为：其中，/>、/>分别表示所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵，/>表示所述转移矩阵，/>表示向量相乘；以及，将所述多个转移矩阵进行排列以得到所述转移特征图。
在一个具体示例中，在上述铝合金铸造成品的质检管控方法中，将所述转移特征图通过通道注意力模块以得到分类特征图，包括：使用所述通道注意力模块对所述转移特征图进行显式空间编码以得到转移关联特征图；计算所述转移关联特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量；将所述通道特征向量输入Sigmoid激活函数以得到通道注意力加权特征向量；基于所述通道注意力加权特征向量的自协方差矩阵，对所述通道注意力加权特征向量中各个位置的特征值进行校正以得到优化通道注意力加权特征向量；以及，以所述优化通道注意力加权特征向量中各个位置的特征值作为权重分别对所述转移关联特征图的沿通道维度的各个特征矩阵进行加权以得到所述分类特征图。
在一个具体示例中，在上述铝合金铸造成品的质检管控方法中，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示被检测铝合金铸造成品的内部质量是否合格，包括：将所述分类特征图按照行向量或列向量展开为分类特征向量；使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
在一个具体示例中，在上述铝合金铸造成品的质检管控方法中，还包括用于对所述包含第一图像编码器和第二图像编码器的孪生网络模型、所述通道注意力模块和所述分类器进行训练的训练阶段，其中，所述训练阶段，包括：获取训练数据，所述训练数据包括被检测铝合金铸造成品的训练超声波探测图像和内部质量合格的铝合金铸造成品的训练超声波参考图像，以及，所述被检测铝合金铸造成品的内部质量是否合格的真实值；将所述训练超声波参考图像和所述训练超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到训练超声波参考特征图和训练超声波探测特征图；计算所述训练超声波参考特征图和所述训练超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的训练转移特征图；将所述训练转移特征图通过通道注意力模块以得到训练分类特征图；将所述训练分类特征图通过分类器以得到分类损失函数值；基于所述分类损失函数值并通过梯度下降的方向传播来对所述包含第一图像编码器和第二图像编码器的孪生网络模型、所述通道注意力模块和所述分类器进行训练，其中，在所述训练的每一轮迭代中，对所述分类器的权重矩阵进行权重本征支持的半空间结构化约束迭代。
在一个具体示例中，在上述铝合金铸造成品的质检管控方法中，在所述训练的每一轮迭代中，以如下公式对所述分类器的权重矩阵进行权重本征支持的半空间结构化约束迭代；
其中，所述公式为：其中/>是所述分类器的权重矩阵，/>表示特征矩阵的转置矩阵，/>是矩阵/>的本征值组成的本征集合向量，/>和/>分别表示矩阵乘法和加法，/>表示迭代后的所述分类器的权重矩阵。
这里，本领域技术人员可以理解，上述铝合金铸造成品的质检管控方法中的各个步骤的具体操作已经在上面参考图1到图4的铝合金铸造成品的质检管控系统100的描述中得到了详细介绍，并因此，将省略其重复描述。
根据本申请的另一方面，还提供了一种非易失性的计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时可以执行如前所述的方法。
技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。
所有软件或其中的一部分有时可能会通过网络进行通信，如互联网或其他通信网络。此类通信可以将软件从一个计算机设备或处理器加载到另一个。例如：从视频目标检测设备的一个服务器或主机计算机加载至一个计算机环境的硬件平台，或其他实现系统的计算机环境，或与提供目标检测所需要的信息相关的类似功能的系统。因此，另一种能够传递软件元素的介质也可以被用作局部设备之间的物理连接，例如光波、电波、电磁波等，通过电缆、光缆或者空气等实现传播。用来载波的物理介质如电缆、无线连接或光缆等类似设备，也可以被认为是承载软件的介质。在这里的用法除非限制了有形的“储存”介质，其他表示计算机或机器“可读介质”的术语都表示在处理器执行任何指令的过程中参与的介质。
本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (8)

1.一种铝合金铸造成品的质检管控系统，其特征在于，包括：
图像获取模块，用于获取被检测铝合金铸造成品的超声波探测图像，以及，内部质量合格的铝合金铸造成品的超声波参考图像；
孪生编码模块，用于将所述超声波参考图像和所述超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到超声波参考特征图和超声波探测特征图；
转移矩阵计算模块，用于计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图，具体地，计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到多个转移矩阵，其中，各个转移矩阵用于表示所述超声波参考特征图和所述超声波探测特征图的沿通道维度的局部邻域特征之间的差异信息；
通道注意力编码模块，用于将所述转移特征图通过通道注意力模块以得到分类特征图；以及
分类模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示被检测铝合金铸造成品的内部质量是否合格；
其中，所述铝合金铸造成品的质检管控系统还包括用于对所述包含第一图像编码器和第二图像编码器的孪生网络模型、所述通道注意力模块和所述分类器进行训练的训练模块，其中，所述训练模块，包括：
训练图像获取模块，用于获取训练数据，所述训练数据包括被检测铝合金铸造成品的训练超声波探测图像和内部质量合格的铝合金铸造成品的训练超声波参考图像，以及，所述被检测铝合金铸造成品的内部质量是否合格的真实值；
训练孪生编码模块，用于将所述训练超声波参考图像和所述训练超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到训练超声波参考特征图和训练超声波探测特征图；
转移特征图模块，用于计算所述训练超声波参考特征图和所述训练超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的训练转移特征图；
训练通道注意力编码模块，用于将所述训练转移特征图通过通道注意力模块以得到训练分类特征图；
训练分类模块，用于将所述训练分类特征图通过分类器以得到分类损失函数值；
模型训练模块，用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述包含第一图像编码器和第二图像编码器的孪生网络模型、所述通道注意力模块和所述分类器进行训练，其中，在所述训练的每一轮迭代中，对所述分类器的权重矩阵进行权重本征支持的半空间结构化约束迭代；
其中，在所述训练的每一轮迭代中，以如下公式对所述分类器的权重矩阵进行权重本征支持的半空间结构化约束迭代；
其中，所述公式为：
,
其中是所述分类器的权重矩阵，/>表示特征矩阵的转置矩阵，/>是矩阵/>的本征值组成的本征集合向量，/>和/>分别表示矩阵乘法和加法，/>表示迭代后的所述分类器的权重矩阵，/>是所述分类特征图展开后得到的分类特征向量。
2.根据权利要求1所述的铝合金铸造成品的质检管控系统，其特征在于，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。
3.根据权利要求2所述的铝合金铸造成品的质检管控系统，其特征在于，所述第一图像编码器和所述第二图像编码器为金字塔网络。
4.根据权利要求3所述的铝合金铸造成品的质检管控系统，其特征在于，所述转移矩阵计算模块，用于：
以如下转移矩阵计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵；
其中，所述转移矩阵计算公式为：
,
其中，、/>分别表示所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵，/>表示所述转移矩阵，/>表示向量相乘；以及
将所述多个转移矩阵进行排列以得到所述转移特征图。
5.根据权利要求4所述的铝合金铸造成品的质检管控系统，其特征在于，所述通道注意力编码模块，包括：
深度卷积编码单元，用于使用所述通道注意力模块对所述转移特征图进行显式空间编码以得到转移关联特征图；
全局均值池化单元，用于计算所述转移关联特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量；
激活单元，用于将所述通道特征向量输入Sigmoid激活函数以得到通道注意力加权特征向量；
注意力优化单元，用于基于所述通道注意力加权特征向量的自协方差矩阵，对所述通道注意力加权特征向量中各个位置的特征值进行校正以得到优化通道注意力加权特征向量；以及
通道注意力施加单元，用于以所述优化通道注意力加权特征向量中各个位置的特征值作为权重分别对所述转移关联特征图的沿通道维度的各个特征矩阵进行加权以得到所述分类特征图。
6.根据权利要求5所述的铝合金铸造成品的质检管控系统，其特征在于，所述分类模块，包括：
特征图展开单元，用于将所述分类特征图按照行向量或列向量展开为分类特征向量；
全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及
分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
7.一种铝合金铸造成品的质检管控方法，其特征在于，包括：
获取被检测铝合金铸造成品的超声波探测图像，以及，内部质量合格的铝合金铸造成品的超声波参考图像；
将所述超声波参考图像和所述超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到超声波参考特征图和超声波探测特征图；
计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的转移特征图，具体地，计算所述超声波参考特征图和所述超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到多个转移矩阵，其中，各个转移矩阵用于表示所述超声波参考特征图和所述超声波探测特征图的沿通道维度的局部邻域特征之间的差异信息；
将所述转移特征图通过通道注意力模块以得到分类特征图；以及
将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示被检测铝合金铸造成品的内部质量是否合格；
其中，所述铝合金铸造成品的质检管控方法还包括用于对所述包含第一图像编码器和第二图像编码器的孪生网络模型、所述通道注意力模块和所述分类器进行训练的训练阶段，其中，所述训练阶段，包括：获取训练数据，所述训练数据包括被检测铝合金铸造成品的训练超声波探测图像和内部质量合格的铝合金铸造成品的训练超声波参考图像，以及，所述被检测铝合金铸造成品的内部质量是否合格的真实值；将所述训练超声波参考图像和所述训练超声波探测图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到训练超声波参考特征图和训练超声波探测特征图；计算所述训练超声波参考特征图和所述训练超声波探测特征图中每组对应的特征矩阵之间的转移矩阵以得到由多个转移矩阵排列而成的训练转移特征图；将所述训练转移特征图通过通道注意力模块以得到训练分类特征图；将所述训练分类特征图通过分类器以得到分类损失函数值；基于所述分类损失函数值并通过梯度下降的方向传播来对所述包含第一图像编码器和第二图像编码器的孪生网络模型、所述通道注意力模块和所述分类器进行训练，其中，在所述训练的每一轮迭代中，对所述分类器的权重矩阵进行权重本征支持的半空间结构化约束迭代；
其中，在所述训练的每一轮迭代中，以如下公式对所述分类器的权重矩阵进行权重本征支持的半空间结构化约束迭代；
其中，所述公式为：
,
其中是所述分类器的权重矩阵，/>表示特征矩阵的转置矩阵，/>是矩阵/>的本征值组成的本征集合向量，/>和/>分别表示矩阵乘法和加法，/>表示迭代后的所述分类器的权重矩阵，/>是分类特征向量。
8.根据权利要求7所述的铝合金铸造成品的质检管控方法，其特征在于，所述第一图像编码器和所述第二图像编码器为金字塔网络。
CN202310852709.3A 2023-07-12 2023-07-12 铝合金铸造成品的质检管控系统及其方法 Active CN116580029B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310852709.3A CN116580029B (zh) 2023-07-12 2023-07-12 铝合金铸造成品的质检管控系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310852709.3A CN116580029B (zh) 2023-07-12 2023-07-12 铝合金铸造成品的质检管控系统及其方法

Publications (2)

Publication Number Publication Date
CN116580029A CN116580029A (zh) 2023-08-11
CN116580029B true CN116580029B (zh) 2023-10-13

Family

ID=87541686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310852709.3A Active CN116580029B (zh) 2023-07-12 2023-07-12 铝合金铸造成品的质检管控系统及其方法

Country Status (1)

Country Link
CN (1) CN116580029B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116777892B (zh) * 2023-07-03 2024-01-26 东莞市震坤行胶粘剂有限公司 基于视觉检测的点胶质量检测方法及其系统
CN117152545A (zh) * 2023-10-31 2023-12-01 江苏启宸新材料有限公司 水刺无纺布成品率管理系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006036682A2 (en) * 2004-09-24 2006-04-06 Overture Services, Inc. Method and apparatus for efficient training of support vector machines
WO2017020723A1 (zh) * 2015-08-04 2017-02-09 阿里巴巴集团控股有限公司 一种字符分割方法、装置及电子设备
CN115423027A (zh) * 2022-09-16 2022-12-02 华东师范大学 一种针对复杂数据流的异常检测集成方法及系统
CN115588169A (zh) * 2022-10-28 2023-01-10 深圳市富源信息技术有限公司 基于车轴数据的车辆超重行驶监测方法及其系统
CN115861246A (zh) * 2022-12-09 2023-03-28 马鞍山远昂科技有限公司 应用于工业互联网的产品质量异常检测方法及其系统
CN115908311A (zh) * 2022-11-16 2023-04-04 湖北华鑫光电有限公司 基于机器视觉的镜片成型检测设备及其方法
CN115901794A (zh) * 2023-02-17 2023-04-04 广州达普绅智能设备有限公司 一种条形光源检测瓶口瑕疵的系统及方法
CN116030048A (zh) * 2023-03-27 2023-04-28 山东鹰眼机械科技有限公司 灯检机及其方法
CN116051506A (zh) * 2023-01-28 2023-05-02 东莞市言科新能源有限公司 聚合物锂离子电池的智能化生产系统及其方法
CN116046810A (zh) * 2023-04-03 2023-05-02 云南通衢工程检测有限公司 基于rpc盖板破坏荷载的无损检测方法
CN116167833A (zh) * 2023-04-19 2023-05-26 无锡数信互融科技发展有限公司 基于联邦学习的互联网金融风险控制系统及其方法
CN116402777A (zh) * 2023-03-30 2023-07-07 国网河南省电力公司安阳供电公司 基于机器视觉的电力设备检测方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006036682A2 (en) * 2004-09-24 2006-04-06 Overture Services, Inc. Method and apparatus for efficient training of support vector machines
WO2017020723A1 (zh) * 2015-08-04 2017-02-09 阿里巴巴集团控股有限公司 一种字符分割方法、装置及电子设备
CN115423027A (zh) * 2022-09-16 2022-12-02 华东师范大学 一种针对复杂数据流的异常检测集成方法及系统
CN115588169A (zh) * 2022-10-28 2023-01-10 深圳市富源信息技术有限公司 基于车轴数据的车辆超重行驶监测方法及其系统
CN115908311A (zh) * 2022-11-16 2023-04-04 湖北华鑫光电有限公司 基于机器视觉的镜片成型检测设备及其方法
CN115861246A (zh) * 2022-12-09 2023-03-28 马鞍山远昂科技有限公司 应用于工业互联网的产品质量异常检测方法及其系统
CN116051506A (zh) * 2023-01-28 2023-05-02 东莞市言科新能源有限公司 聚合物锂离子电池的智能化生产系统及其方法
CN115901794A (zh) * 2023-02-17 2023-04-04 广州达普绅智能设备有限公司 一种条形光源检测瓶口瑕疵的系统及方法
CN116030048A (zh) * 2023-03-27 2023-04-28 山东鹰眼机械科技有限公司 灯检机及其方法
CN116402777A (zh) * 2023-03-30 2023-07-07 国网河南省电力公司安阳供电公司 基于机器视觉的电力设备检测方法及系统
CN116046810A (zh) * 2023-04-03 2023-05-02 云南通衢工程检测有限公司 基于rpc盖板破坏荷载的无损检测方法
CN116167833A (zh) * 2023-04-19 2023-05-26 无锡数信互融科技发展有限公司 基于联邦学习的互联网金融风险控制系统及其方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Unsupervised feature selection via graph matrix learning and the low-dimensional space learning for classification;Xiaohong Han 等;《Engineering Applications of Artificial Intelligence》;第87卷;第1-13页 *
基于卷积神经网络的轮胎缺陷X光图像分类;崔雪红 等;《电子测量技术》;第40卷(第5期);第168-173页 *
瞬变电磁法三维模型数据的一维反演效果研究;戴锐 等;《地球物理学进展》;第32卷(第3期);第1121-1129页 *

Also Published As

Publication number Publication date
CN116580029A (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN116580029B (zh) 铝合金铸造成品的质检管控系统及其方法
CN108399406B (zh) 基于深度学习的弱监督显著性物体检测的方法及系统
US20190164057A1 (en) Mapping and quantification of influence of neural network features for explainable artificial intelligence
CN110933633B (zh) 一种基于csi指纹特征迁移的船载环境室内定位方法
CN116704431A (zh) 水污染的在线监测系统及其方法
CN113095370A (zh) 图像识别方法、装置、电子设备及存储介质
CN116150566A (zh) 船舶燃料供应安全监测系统及其方法
CN116824481B (zh) 基于图像识别的变电站巡检方法及其系统
CN114926693A (zh) 基于加权距离的sar图像小样本识别方法及装置
CN113963200A (zh) 模态数据融合处理方法、装置、设备及存储介质
Ramezankhani et al. An active transfer learning (ATL) framework for smart manufacturing with limited data: case study on material transfer in composites processing
CN115039040A (zh) 制造过程的系统、方法和介质
CN116597198A (zh) 一种节能环保陶瓷砂锅的制备方法
CN117237733A (zh) 一种结合自监督和弱监督学习的乳腺癌全切片图像分类方法
CN113592008A (zh) 一种基于自编码器的图神经网络机制解决小样本图像分类的系统、方法、设备及存储介质
CN116402777B (zh) 基于机器视觉的电力设备检测方法及系统
CN116363441B (zh) 具备标记功能的管道腐蚀检测系统
CN111062406B (zh) 一种面向异构领域适应的半监督最优传输方法
CN116563251A (zh) 汽车用拉杆球头的智能加工方法及其系统
CN117011219A (zh) 物品质量检测方法、装置、设备、存储介质和程序产品
CN115206455A (zh) 基于深度神经网络的稀土元素组分含量预测方法及系统
CN114187569A (zh) 一种皮尔森系数矩阵与注意力融合的实时目标检测方法
CN114972871A (zh) 基于图像配准的少样本图像异常检测方法及系统
CN117197029B (zh) 球销的自动化生产线及其方法
CN112529093A (zh) 基于预检测权值的样本维度加权的模具清洗效果检验方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant