CN116894831A - 聚氨酯材料的检测方法及其系统 - Google Patents

聚氨酯材料的检测方法及其系统 Download PDF

Info

Publication number
CN116894831A
CN116894831A CN202310916407.8A CN202310916407A CN116894831A CN 116894831 A CN116894831 A CN 116894831A CN 202310916407 A CN202310916407 A CN 202310916407A CN 116894831 A CN116894831 A CN 116894831A
Authority
CN
China
Prior art keywords
image
detection
feature
feature map
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310916407.8A
Other languages
English (en)
Inventor
朱林海
刘明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Anqi New Material Co ltd
Original Assignee
Anhui Anqi New Material Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Anqi New Material Co ltd filed Critical Anhui Anqi New Material Co ltd
Priority to CN202310916407.8A priority Critical patent/CN116894831A/zh
Publication of CN116894831A publication Critical patent/CN116894831A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及智能检测领域，其具体地公开了一种聚氨酯材料的检测方法及其系统，其将检测材料表面的检测图像和合格的材料表面的参考图像通过基于深度神经网络的特征提取器将所述检测图像和所述参考图像映射到高维特征空间中，并基于两者在高维特征空间中的特征分布差异为依据判断检测材料表面是否发生渗漏，通过这样的方式，提高了聚氨酯材料抗渗性检测的效率。

Description

聚氨酯材料的检测方法及其系统
技术领域
本申请涉及智能检测领域，且更为具体地，涉及一种聚氨酯材料的检测方法及其系统。
背景技术
聚氨酯材料是一种重要的高分子材料，具有很多独特的物理性质和化学性质，被广泛应用于现代工业生产中，其适应性广，可以适用于不同的环境和场合，例如建筑、工程、汽车等领域。
聚氨酯材料的抗渗性是检测聚氨酯材料的一项很重要的参数指标。传统的聚氨酯材料抗渗性测试方法需要较长的时间来进行泄露测试，通常需要几天或几周甚至更长时间才能得到准确的测试结果，这使得检测的效率比较低。
因此，需要一种优化的聚氨酯材料检测方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种聚氨酯材料的检测方法及其系统，其将检测材料表面的检测图像和合格的材料表面的参考图像通过基于深度神经网络的特征提取器将所述检测图像和所述参考图像映射到高维特征空间中，并基于两者在高维特征空间中的特征分布差异为依据判断检测材料表面是否发生渗漏，通过这样的方式，提高了聚氨酯材料抗渗性检测的效率。
根据本申请的一个方面，提供了一种聚氨酯材料的检测方法,其包括：
获取待检测材料的材料表面检测图像和合格材料表面参考图像；
对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列；
将所述检测图像块序列分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量；
将所述参考图像块序列分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量；
将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；
对所述检测特征图和所述参考特征图进行全局均值池化以得到检测特征向量和参考特征向量；
对所述检测特征向量和所述参考特征向量进行类表征联合相关以得到关联特征矩阵；
计算所述检测特征图和所述参考特征图之间的差分特征图；
计算所述差分特征图的沿通道维度的各个特征矩阵与所述关联特征矩阵之间的按位置乘积以得到优化差分特征图；以及
将所述优化差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测材料是否发生渗漏。
在上述聚氨酯材料的检测方法中，所述对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列，包括：对所述检测图像和所述参考图像分别进行图像均匀分块处理以得到所述检测图像块序列和所述参考图像块序列，其中，所述检测图像块序列中各个检测图像块与所述参考图像块序列中各个参考图像块之间的尺度相同。
在上述聚氨酯材料的检测方法中，所述将所述检测图像块序列分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量，包括：使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图沿通道维度的各个特征矩阵进行池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络模型的最后一层的输出为所述图像块检测特征向量，所述第一卷积神经网络模型的第一层的输入为所述检测图像块序列中各个检测图像块。
在上述聚氨酯材料的检测方法中，所述将所述参考图像块序列分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量，包括：使用所述第二卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图沿通道维度的各个特征矩阵进行池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络模型的最后一层的输出为所述图像块参考特征向量，所述第二卷积神经网络模型的第一层的输入为所述参考图像块序列中各个参考图像块。
在上述聚氨酯材料的检测方法中，所述第一图像编码器和所述第二图像编码器为包含多个混合卷积层的第三卷积神经网络模型。
在上述聚氨酯材料的检测方法中，所述将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，包括：使用所述孪生网络模型的第一图像编码器对所述检测图像全局特征矩阵进行多尺度深度卷积编码以得到所述检测特征图；以及，使用所述孪生网络模型的第二图像编码器对所述参考图像全局特征矩阵进行多尺度深度卷积编码以得到所述参考特征图。
在上述聚氨酯材料的检测方法中，所述用所述孪生网络模型的第一图像编码器对所述检测图像全局特征矩阵进行多尺度深度卷积编码以得到所述检测特征图，以及使用所述孪生网络模型的第二图像编码器对所述参考图像全局特征矩阵进行多尺度深度卷积编码以得到所述参考特征图，包括：使用所述第一图像编码器的各个混合卷积层在层的正向传递中分别对输入数据进行多尺度卷积处理、池化处理和非线性激活处理以由所述第一图像编码器的最后一个混合卷积层输出所述检测特征图；以及，使用所述第二图像编码器的各个混合卷积层在层的正向传递中分别对输入数据进行多尺度卷积处理、池化处理和非线性激活处理以由所述第二图像编码器的最后一个混合卷积层输出所述参考特征图。
在上述聚氨酯材料的检测方法中，所述对所述检测特征向量和所述参考特征向量进行类表征联合相关以得到关联特征矩阵，包括：计算所述检测特征向量和所述参考特征向量之间的协方差矩阵；所述协方差矩阵进行特征值分解以得到多个特征值以及与所述多个特征值对应的多个特征向量；以及，将所述多个特征向量排列为所述关联特征矩阵。
在上述聚氨酯材料的检测方法中，所述将所述优化差分特征图通过分类器以得到分类结果，所述分类结果用于表示检测材料是否发生渗漏，包括：使用所述分类器以如下公式对所述优化差分特征图进行处理以生成分类结果，其中，所述公式为：
O＝softmax{(Wn,Bn):…:(W1,B1)|Project(F)}
其中O为所述分类结果，Project(F)表示将所述优化差分特征图投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置向量，softmax为激活函数。
根据本申请的另一方面，提供了一种聚氨酯材料的检测系统，其包括：
图像获取模块，用于获取待检测材料的材料表面检测图像和合格材料表面参考图像；
分块模块，用于对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列；
检测图像编码模块，用于将所述检测图像块序列分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量；
参考图像编码模块，用于将所述参考图像块序列分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量；
全局编码模块，用于将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；
降维模块，用于对所述检测特征图和所述参考特征图进行全局均值池化以得到检测特征向量和参考特征向量；
关联特征模块，用于对所述检测特征向量和所述参考特征向量进行类表征联合相关以得到关联特征矩阵；
差分模块，用于计算所述检测特征图和所述参考特征图之间的差分特征图；
优化差分模块，用于计算所述差分特征图的沿通道维度的各个特征矩阵与所述关联特征矩阵之间的按位置乘积以得到优化差分特征图；以及
判断结果生成模块，用于将所述优化差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测材料是否发生渗漏。
与现有技术相比，本申请提供的聚氨酯材料的检测方法及其系统，其将检测材料表面的检测图像和合格的材料表面的参考图像通过基于深度神经网络的特征提取器将所述检测图像和所述参考图像映射到高维特征空间中，并基于两者在高维特征空间中的特征分布差异为依据判断检测材料表面是否发生渗漏，通过这样的方式，提高了聚氨酯材料抗渗性检测的效率。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的聚氨酯材料的检测方法的应用场景图。
图2为根据本申请实施例的聚氨酯材料的检测方法的流程图。
图3为根据本申请实施例的聚氨酯材料的检测方法中的架构图。
图4为根据本申请实施例的聚氨酯材料的检测系统的系统框图。
图5为根据本申请实施例的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
如上述背景技术而言，在聚氨酯材料抗渗性检测中，存在一些需要较长时间来进行泄露测试的方法，这些方法通常需要几天甚至几周的实验时间才能得到准确的测试结果。这种需要较长时间进行测试的方法，检测效率比较低，在实际应用中存在一些局限性，因此，需要一种优化的聚氨酯材料检测方案。
本申请的技术构思为：将检测材料表面的检测图像和合格的材料表面的参考图像通过基于深度神经网络的特征提取器将所述检测图像和所述参考图像映射到高维特征空间中，并基于两者在高维特征空间中的特征分布差异为依据判断检测材料表面是否发生渗漏。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。深度学习以及神经网络的发展为聚氨酯材料的检测提供了新的解决思路和方案。
具体地，首先获取待检测材料的材料表面检测图像和合格材料表面参考图像。聚氨酯材料抗渗性能的测试通常需要将水或者其他液体注入材料中，并观察一段时间能是否有渗漏现象。在实际应用中，为了避免误诊或者漏诊，需要与合格材料进行比对，以提高检测结果的准确性。检测图像捕捉材料在受到液体侵入时出现的任何变形或渗漏等现象，而合格材料表面参考图像则是未收到任何影响的纯净表面图像，作为基准图像进行比对。通过比对检测图像和合格材料表面参考图像的差异，可以利用卷积神经网络模型提取特征向量并计算差分特征图，从而快速、准确的检测聚氨酯材料的抗渗性能，并判断是否存在渗漏现象。
接着，对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列。将整张图像作为卷积神经网络的输入可能会导致模型过于复杂、计算量大，同时也可能会导致特征提取不够准确，降低模型的检测效果。因此，将图像分为多个小块，并对每个小块进行单独的特征提取，从而提高特征提取的准确性和稳定性。同时，由于图像块之间存在一定的重叠区域，可以保证特征信息得到充分利用。
然后，将所述检测图像块序列分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量，以及，将所述参考图像块序列分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量。也就是，将各个检测图像块和各个参考图像块分别通过作为过滤器的卷积神经网络模型以提取各个检测图像块的图像特征和各个参考图像块的图像特征。这里，本领域普通技术人员应知晓，卷积神经网络是一种非常适用于图像处理的深度学习模型，它可以自动的从图像中提取出与任务相关的特征，进而实现对图像的分类、识别等功能，在图像特征提取领域具有优异性能表现。
紧接着，将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵，利用卷积神经网络提取出的每个图像块检测向量和每个图像块参考特征向量需要被组合成一个全局特征矩阵。这个全局特征矩阵可以被看成是一个新的特征向量，它包含了整张图像的所有特征信息。值得一提的是，在进行二维结构化的过程中，可以保留各个图像块之间的原位位置关系，例如，第一检测图像块得到的图像块检测特征向量依旧排列于第一位置，第二检测图像块得到的图像块参考特征向量依旧排列于第二位置，以此来保留图像块在源域的相对位置关系。
然后，将所述检测图像全局特征矩阵和所述参考图像全局特征矩阵通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。应注意到，所述第一图像编码器和所述第二图像编码器具有相同的网络结构，因此，在进行特征深度编码时，检测图像全局特征矩阵和参考图像全局特征矩阵之间的差异会被放大和显化。具体地，在得到所述检测特征图和所述参考特征图后，计算所述检测特征图和所述参考特征图之间的差分特征图以此来表示两者在高维特征空间中的差异。
特别地，在本申请的技术方案中，在计算所述检测特征图和所述参考特征图之间的差分特征图时，所述差分特征图用于表示被检测材料与合格材料在高维特征空间中的特征差异表达，而如果能够进一步地利用所述检测特征图和所述参考特征图在类概率特征空间中的差异信息，则能够显著地提升所述差分特征图通过所述分类器所得到的分类结果的精准度。
基于此，在本申请的技术方案中，首先对所述检测特征图和所述参考特征图进行全局均值池化以得到检测特征向量和参考特征向量，进而对所述检测特征向量和所述参考特征向量进行类表征联合相关以得到关联特征矩阵，其通过检测特征向量和参考特征向量之间的相似性和差异性，以找出所述检测特征向量和所述参考特征向量中共同存在的类别以及各自独有的类别，以提取出数据中最具有区分性的特征分布部分且尽可能地保持所述检测特征向量和参考特征向量之间的正交性，通过这样的方式，有效地捕捉捕捉到不同类别之间的相似性和差异性，以增强分类的判别能力和泛化能力。
在得到所述关联特征矩阵后，分别计算所述差分特征图的沿通道维度的各个特征矩阵与所述关联特征矩阵之间的按位置乘积以得到优化差分特征图，以提高所述优化差分特征图的分类判断的精准度。最后，将所述优化差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测材料是否发生渗漏。
在本申请的技术方案中，对所述检测特征向量和所述参考特征向量进行类表征联合相关以得到所述关联特征矩阵的过程，包括步骤：计算所述检测特征向量和所述参考特征向量之间的协方差矩阵；对所述协方差矩阵进行特征值分解以得到多个特征值以及与所述多个特征值对应的多个特征向量；以及，将所述多个特征向量排列为所述关联特征矩阵。
图1为根据本申请实施例的聚氨酯材料的检测方法的应用场景图。如图1所示，在该应用场景中，首先由摄像头(例如，如图1所示意的C)获取待检测聚氨酯材料(例如，如图1所示意的H)的材料表面检测图像，以及，从数据库中获取合格材料表面参考图像。进而，将所述检测图像输入至部署有用于聚氨酯材料的检测算法的服务器(例如，如图1所示意的S)中，其中，所述服务器能够基于所述聚氨酯材料的检测算法对所述检测图像进行处理，以得到用于表示待检测材料是否发生渗漏的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性方法
图2为根据本申请实施例的聚氨酯材料的检测方法的流程图。如图2所示，根据本申请实施例的聚氨酯材料的检测方法，包括：S110，获取待检测材料的材料表面检测图像和合格材料表面参考图像；S120，对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列；S130，将所述检测图像块序列分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量；S140，将所述参考图像块序列分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量；S150，将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；S160，对所述检测特征图和所述参考特征图进行全局均值池化以得到检测特征向量和参考特征向量；S170，对所述检测特征向量和所述参考特征向量进行类表征联合相关以得到关联特征矩阵；S180，计算所述检测特征图和所述参考特征图之间的差分特征图；S190，计算所述差分特征图的沿通道维度的各个特征矩阵与所述关联特征矩阵之间的按位置乘积以得到优化差分特征图；以及，S200，将所述优化差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测材料是否发生渗漏。
图3为根据本申请实施例的聚氨酯材料的检测方法的架构图。如图3所示，在该架构中，首先，获取待检测材料的材料表面检测图像和合格材料表面参考图像。接着，对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列。然后，将所述检测图像块序列分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量。同时，将所述参考图像块序列分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量。紧接着，将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。然后，对所述检测特征图和所述参考特征图进行全局均值池化以得到检测特征向量和参考特征向量并对所述检测特征向量和所述参考特征向量进行类表征联合相关以得到关联特征矩阵。接着，计算所述检测特征图和所述参考特征图之间的差分特征图。然后，计算所述差分特征图的沿通道维度的各个特征矩阵与所述关联特征矩阵之间的按位置乘积以得到优化差分特征图。最后，将所述优化差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测材料是否发生渗漏。
在步骤S110中，获取待检测材料的材料表面检测图像和合格材料表面参考图像。如上述背景技术而言，现有存在的检测聚氨酯材料抗渗性能的方法存在检测效率较低的问题，因此，期待一种优化的聚氨酯材料的检测方法。近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。深度学习以及神经网络的发展为聚氨酯材料的检测提供了新的解决思路和方案。
具体地，首先获取待检测材料的材料表面检测图像和合格材料表面参考图像。材料如果在受到液体侵入时表面会出现变形或者其他一些现象，合格材料表面图像是未受到任何影响的纯净表面图像，两者进行比对并通过卷积神经网络模型提取特征向量，有利于快速、准确的检测聚氨酯的抗渗性能，判断是否存在渗漏现象。这里所述检测图像可以由摄像头获取，所述参考图像是已有资料。
在步骤S120中，对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列。应可以理解，如果将整张图像作为卷积神经网络的输入可能会导致模型过于复杂、计算量大，同时也可能会导致特征提取不够准确，降低模型的检测效果，因此需要将图像进行图像分块处理操作。对图像进行图像分块处理操作，并对每个小块进行单独的特征提取，可以提高特征提取的稳定性和操作性，并且由于图像块之间存在一定的重叠区域，可以保证特征信息得到充分利用。
具体地，所述对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列，包括：对所述检测图像和所述参考图像分别进行图像均匀分块处理以得到所述检测图像块序列和所述参考图像块序列，其中，所述检测图像块序列中各个检测图像块与所述参考图像块序列中各个参考图像块之间的尺度相同。
在步骤S130中，将所述检测图像块序列分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量。卷积神经网络是一种非常适用于图像处理的深度学习模型，可以自动的从图像中提取出与任务相关的特征，进而实现对图像的分类、识别等功能，在图像特征提取领域具有优异性能表现。利用CNN模型，可以从所述检测图形块中提取出丰富的特征信息。
具体地，所述将所述检测图像块序列分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量，包括：使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图沿通道维度的各个特征矩阵进行池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络模型的最后一层的输出为所述图像块检测特征向量，所述第一卷积神经网络模型的第一层的输入为所述检测图像块序列中各个检测图像块。
在步骤S140中，将所述参考图像块序列分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量。同样地，将所述参考图像块通过卷积神经网络模型可以从参考图像块中提取出丰富的特征信息。
具体地，所述将所述参考图像块序列分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量，包括：使用所述第二卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图沿通道维度的各个特征矩阵进行池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络模型的最后一层的输出为所述图像块参考特征向量，所述第二卷积神经网络模型的第一层的输入为所述参考图像块序列中各个参考图像块。
在步骤S150中，将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。也就是，在高维特征空间中，将所述多个图像块检测特征向量和所述多个图像块参考特征向量重新进行二维结构化以得到包含所有图像块特征的所述检测图像全局特征矩阵和所述参考图像全局特征矩阵。这个全局特征矩阵可以被看作是一个新的特征向量，包含了整张图像的所有重要信息。紧接着，将全局特征矩阵通过孪生网络模型来提取特征图。该孪生网络结构包括第一图像编码器和第二图像编码器，它们具有相同的网络结构，但参数不同。在进行特征深度编码时，检测图像全局特征矩阵和参考图像全局特征矩阵之间的差异会被放大和显化。特别地是，所述第一图像编码器和所述第二图像编码器为包含多个混合卷积层的第三卷积神经网络模型。
具体地，所述将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，包括：使用所述孪生网络模型的第一图像编码器对所述检测图像全局特征矩阵进行多尺度深度卷积编码以得到所述检测特征图；以及，使用所述孪生网络模型的第二图像编码器对所述参考图像全局特征矩阵进行多尺度深度卷积编码以得到所述参考特征图。
更具体地，所述使用所述孪生网络模型的第一图像编码器对所述检测图像全局特征矩阵进行多尺度深度卷积编码以得到所述检测特征图，以及使用所述孪生网络模型的第二图像编码器对所述参考图像全局特征矩阵进行多尺度深度卷积编码以得到所述参考特征图，包括：使用所述第一图像编码器的各个混合卷积层在层的正向传递中分别对输入数据进行多尺度卷积处理、池化处理和非线性激活处理以由所述第一图像编码器的最后一个混合卷积层输出所述检测特征图；以及，使用所述第二图像编码器的各个混合卷积层在层的正向传递中分别对输入数据进行多尺度卷积处理、池化处理和非线性激活处理以由所述第二图像编码器的最后一个混合卷积层输出所述参考特征图。
在步骤S160中，对所述检测特征图和所述参考特征图进行全局均值池化以得到检测特征向量和参考特征向量。应可以理解，全局均值化可以将特征图中的信息进行压缩和集成，从而生成具有更高级别的特征向量，这些特征向量可以捕捉到整个图像的语义信息，而不是一部分，所以将所述检测特征图和所述参考特征图进行全局均值池化可以更好地捕捉所述检测特征图和所述参考特征图中的语义信息，更方便后续进行数据处理。
在步骤S170中，对所述检测特征向量和所述参考特征向量进行类表征联合相关以得到关联特征矩阵。应可以理解，通过所述检测特征向量和所述参考特征向量之间的相似性和差异性，以找出所述检测特征向量和所述参考特征向量中共同存在的类别以及各自独有的类别，以提取出数据中最具有区分性的特征分布部分且尽可能地保持所述检测特征向量和参考特征向量之间的正交性，通过这样的方式，有效地捕捉捕捉到不同类别之间的相似性和差异性，以增强分类的判别能力和泛化能力。
具体地，所述对所述检测特征向量和所述参考特征向量进行类表征联合相关以得到关联特征矩阵，包括：计算所述检测特征向量和所述参考特征向量之间的协方差矩阵；所述协方差矩阵进行特征值分解以得到多个特征值以及与所述多个特征值对应的多个特征向量；以及，将所述多个特征向量排列为所述关联特征矩阵。
在步骤S180中，计算所述检测特征图和所述参考特征图之间的差分特征图。应可以理解，在经过孪生网络进行特征深度编码时，检测图像全局特征矩阵和参考图像全局特征矩阵之间的差异会被放大和显化，在得到所述检测特征图和所述参考特征图后，计算所述检测特征图和所述参考特征图之间的差分特征图以此来表示两者在高维特征空间中的差异。
在步骤S190中，计算所述差分特征图的沿通道维度的各个特征矩阵与所述关联特征矩阵之间的按位置乘积以得到优化差分特征图。应可以理解，计算所述差分特征图的沿通道维度的各个特征矩阵与关联特征矩阵之间的按位置乘积可以得到每个通道的加权值，这些加权值可以用于调整所述差分特征图中每个像素点的强度，以达到优化的目的，它可以将特征矩阵的信息进行有效的加权，使得模型更能够关注到与目标任务相关的特征。
在步骤S200中，将所述优化差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测材料是否发生渗漏。这样，基于机器视觉和基于深度神经网络模型的智能检测技术来构造用于判断聚氨酯材料是否发生渗漏的智能方案，可以提高聚氨酯材料的检测效率。
具体地，所述将所述优化差分特征图通过分类器以得到分类结果，所述分类结果用于表示检测材料是否发生渗漏，包括：使用所述分类器以如下公式对所述优化差分特征图进行处理以生成分类结果，其中，所述公式为：
O＝softmax{(Wn,Bn):…:(W1,B1)|Project(F)}
其中O为所述分类结果，Project(F)表示将所述优化差分特征图投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置向量，softmax为激活函数。
综上所述，基于本申请实施例的聚氨酯材料的检测方法被阐明，其将检测材料表面的检测图像和合格的材料表面的参考图像通过基于深度神经网络的特征提取器将所述检测图像和所述参考图像映射到高维特征空间中，并基于两者在高维特征空间中的特征分布差异为依据判断检测材料表面是否发生渗漏，提高了聚氨酯材料抗渗性检测的效率。
示例性系统
图4为根据本申请实施例的聚氨酯材料的检测系统的系统框图。如图4所示，根据本申请实施例的聚氨酯材料的检测系统100，包括：图像获取模块110，用于获取待检测材料的材料表面检测图像和合格材料表面参考图像；分块模块120，用于对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列；检测图像编码模块130，用于将所述检测图像块序列分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量；参考图像编码模块140，用于将所述参考图像块序列分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量；全局编码模块150，用于将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；降维模块160，用于对所述检测特征图和所述参考特征图进行全局均值池化以得到检测特征向量和参考特征向量；关联特征模块170，用于对所述检测特征向量和所述参考特征向量进行类表征联合相关以得到关联特征矩阵；差分模块180，用于计算所述检测特征图和所述参考特征图之间的差分特征图；优化差分模块190，用于计算所述差分特征图的沿通道维度的各个特征矩阵与所述关联特征矩阵之间的按位置乘积以得到优化差分特征图；以及，判断结果生成模块200，用于将所述优化差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测材料是否发生渗漏。
在一个示例中，在上述聚氨酯材料的检测系统100中，所述分块模块120，包括：对所述检测图像和所述参考图像分别进行图像均匀分块处理以得到所述检测图像块序列和所述参考图像块序列，其中，所述检测图像块序列中各个检测图像块与所述参考图像块序列中各个参考图像块之间的尺度相同。
在一个示例中，在上述聚氨酯材料的检测系统100中，所述检测图像编码模块130，包括：使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图沿通道维度的各个特征矩阵进行池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络模型的最后一层的输出为所述图像块检测特征向量，所述第一卷积神经网络模型的第一层的输入为所述检测图像块序列中各个检测图像块。
在一个示例中，在上述聚氨酯材料的检测系统100中，所述参考图像编码模块140，包括：使用所述第二卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图沿通道维度的各个特征矩阵进行池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络模型的最后一层的输出为所述图像块参考特征向量，所述第二卷积神经网络模型的第一层的输入为所述参考图像块序列中各个参考图像块。
在一个示例中，在上述聚氨酯材料的检测系统100中，所述第一图像编码器和所述第二图像编码器为包含多个混合卷积层的第三卷积神经网络模型。
在一个示例中，在上述聚氨酯材料的检测系统100中，所述全局编码模块150，包括：检测图像全局编码模块，用于使用所述孪生网络模型的第一图像编码器对所述检测图像全局特征矩阵进行多尺度深度卷积编码以得到所述检测特征图；以及，参考图像全局编码模块，用于使用所述孪生网络模型的第二图像编码器对所述参考图像全局特征矩阵进行多尺度深度卷积编码以得到所述参考特征图。
在一个例子中，在上述聚氨酯材料的检测系统100中，所述全局编码模块150，包括：使用所述第一图像编码器的各个混合卷积层在层的正向传递中分别对输入数据进行多尺度卷积处理、池化处理和非线性激活处理以由所述第一图像编码器的最后一个混合卷积层输出所述检测特征图；以及，使用所述第二图像编码器的各个混合卷积层在层的正向传递中分别对输入数据进行多尺度卷积处理、池化处理和非线性激活处理以由所述第二图像编码器的最后一个混合卷积层输出所述参考特征图。
在一个示例中，在上述聚氨酯材料的检测系统100中，所述关联特征模块160，包括：计算所述检测特征向量和所述参考特征向量之间的协方差矩阵；对所述协方差矩阵进行特征值分解以得到多个特征值以及与所述多个特征值对应的多个特征向量；以及，将所述多个特征向量排列为所述关联特征矩阵。
在一个示例中，在上述聚氨酯材料的检测系统100中，所述判断结果生成模块200，包括：使用所述分类器以如下公式对所述优化差分特征图进行处理以生成分类结果，其中，所述公式为：
O＝softmax{(Wn,Bn):…:(W1,B1)|Project(F)}
其中O为所述分类结果，Project(F)表示将所述优化差分特征图投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置向量，softmax为激活函数。
综上所述，基于本申请实施例的聚氨酯材料的检测系统100被阐明，其将检测材料表面的检测图像和合格的材料表面的参考图像通过基于深度神经网络的特征提取器将所述检测图像和所述参考图像映射到高维特征空间中，并基于两者在高维特征空间中的特征分布差异为依据判断检测材料表面是否发生渗漏，提高了聚氨酯材料抗渗性检测的效率。
如上所述，根据本申请实施例的聚氨酯材料的检测系统100可以实现在各种无线终端中，例如用于聚氨酯材料的检测的服务器等。在一个示例中，根据本申请实施例的聚氨酯材料的检测系统100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该聚氨酯材料的检测系统100可以是该无线终端的操作系统中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该聚氨酯材料的检测系统100同样可以是该无线终端的众多硬件模块之一。
替换地，在另一示例中，该聚氨酯材料的检测系统100与该无线终端也可以是分立的设备，并且该聚氨酯材料的检测系统100可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。
示例性电子设备
下面，参考图5来描述根据本申请实施例的电子设备。
图5图示了根据本申请实施例的电子设备的框图。
如图5所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的聚氨酯材料的检测方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如待检测材料表面检测图像、系正常材料表面参考图像等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置13可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括判断待检测材料是否发生渗漏的结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图5中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的聚氨酯材料的检测方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的聚氨酯材料的检测方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

Claims (10)

1.一种聚氨酯材料的检测方法，其特征在于，包括：
获取待检测材料的材料表面检测图像和合格材料表面参考图像；
对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列；
将所述检测图像块序列分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量；
将所述参考图像块序列分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量；
将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；
对所述检测特征图和所述参考特征图进行全局均值池化以得到检测特征向量和参考特征向量；
对所述检测特征向量和所述参考特征向量进行类表征联合相关以得到关联特征矩阵；
计算所述检测特征图和所述参考特征图之间的差分特征图；
计算所述差分特征图的沿通道维度的各个特征矩阵与所述关联特征矩阵之间的按位置乘积以得到优化差分特征图；以及
将所述优化差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测材料是否发生渗漏。
2.根据权利要求1所述的聚氨酯材料的检测方法，其特征在于，对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列，包括：对所述检测图像和所述参考图像分别进行图像均匀分块处理以得到所述检测图像块序列和所述参考图像块序列，其中，所述检测图像块序列中各个检测图像块与所述参考图像块序列中各个参考图像块之间的尺度相同。
3.根据权利要求2所述的聚氨酯材料的检测方法，其特征在于，将所述检测图像块序列分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量，包括：
使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：
对输入数据进行卷积处理以得到卷积特征图；
对所述卷积特征图沿通道维度的各个特征矩阵进行池化以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述第一卷积神经网络模型的最后一层的输出为所述图像块检测特征向量，所述第一卷积神经网络模型的第一层的输入为所述检测图像块序列中各个检测图像块。
4.根据权利要求3所述的聚氨酯材料的检测方法，其特征在于，将所述参考图像块序列分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量，包括：
使用所述第二卷积神经网络模型的各层在层的正向传递中分别进行：
对输入数据进行卷积处理以得到卷积特征图；
对所述卷积特征图沿通道维度的各个特征矩阵进行池化以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述第二卷积神经网络模型的最后一层的输出为所述图像块参考特征向量，所述第二卷积神经网络模型的第一层的输入为所述参考图像块序列中各个参考图像块。
5.根据权利要求4所述的聚氨酯材料的检测方法，其特征在于，所述第一图像编码器和所述第二图像编码器为包含多个混合卷积层的第三卷积神经网络模型。
6.根据权利要求5所述的聚氨酯材料的检测方法，其特征在于，将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，包括：
使用所述孪生网络模型的第一图像编码器对所述检测图像全局特征矩阵进行多尺度深度卷积编码以得到所述检测特征图；以及
使用所述孪生网络模型的第二图像编码器对所述参考图像全局特征矩阵进行多尺度深度卷积编码以得到所述参考特征图。
7.根据权利要求6所述的聚氨酯材料的检测方法，其特征在于，使用所述孪生网络模型的第一图像编码器对所述检测图像全局特征矩阵进行多尺度深度卷积编码以得到所述检测特征图，以及使用所述孪生网络模型的第二图像编码器对所述参考图像全局特征矩阵进行多尺度深度卷积编码以得到所述参考特征图，包括：
使用所述第一图像编码器的各个混合卷积层在层的正向传递中分别对输入数据进行多尺度卷积处理、池化处理和非线性激活处理以由所述第一图像编码器的最后一个混合卷积层输出所述检测特征图；以及
使用所述第二图像编码器的各个混合卷积层在层的正向传递中分别对输入数据进行多尺度卷积处理、池化处理和非线性激活处理以由所述第二图像编码器的最后一个混合卷积层输出所述参考特征图。
8.根据权利要求7所述的聚氨酯材料的检测方法，其特征在于，对所述检测特征向量和所述参考特征向量进行类表征联合相关以得到关联特征矩阵，包括：
计算所述检测特征向量和所述参考特征向量之间的协方差矩阵；
对所述协方差矩阵进行特征值分解以得到多个特征值以及与所述多个特征值对应的多个特征向量；以及，
将所述多个特征向量排列为所述关联特征矩阵。
9.根据权利要求8所述的聚氨酯材料的检测方法，其特征在于，将所述优化差分特征图通过分类器以得到分类结果，所述分类结果用于表示检测材料是否发生渗漏，包括：
使用所述分类器以如下公式对所述优化差分特征图进行处理以生成分类结果，其中，所述公式为：
O＝softmax{(Wn,Bn):…:(W1,B1)|Project(F)}
其中O为所述分类结果，Project(F)表示将所述优化差分特征图投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置向量，softmax为激活函数。
10.一种聚氨酯材料的检测系统，其特征在于，包括：
图像获取模块，用于获取待检测材料的材料表面检测图像和合格材料表面参考图像；
分块模块，用于对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列；
检测图像编码模块，用于将所述检测图像块序列分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量；
参考图像编码模块，用于将所述参考图像块序列分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量；
全局编码模块，用于将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；
降维模块，用于对所述检测特征图和所述参考特征图进行全局均值池化以得到检测特征向量和参考特征向量；
关联特征模块，用于对所述检测特征向量和所述参考特征向量进行类表征联合相关以得到关联特征矩阵；
差分模块，用于计算所述检测特征图和所述参考特征图之间的差分特征图；
优化差分模块，用于计算所述差分特征图的沿通道维度的各个特征矩阵与所述关联特征矩阵之间的按位置乘积以得到优化差分特征图；以及
判断结果生成模块，用于将所述优化差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测材料是否发生渗漏。
CN202310916407.8A 2023-07-24 2023-07-24 聚氨酯材料的检测方法及其系统 Pending CN116894831A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310916407.8A CN116894831A (zh) 2023-07-24 2023-07-24 聚氨酯材料的检测方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310916407.8A CN116894831A (zh) 2023-07-24 2023-07-24 聚氨酯材料的检测方法及其系统

Publications (1)

Publication Number Publication Date
CN116894831A true CN116894831A (zh) 2023-10-17

Family

ID=88310612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310916407.8A Pending CN116894831A (zh) 2023-07-24 2023-07-24 聚氨酯材料的检测方法及其系统

Country Status (1)

Country Link
CN (1) CN116894831A (zh)

Similar Documents

Publication Publication Date Title
Fontani et al. A framework for decision fusion in image forensics based on Dempster–Shafer theory of evidence
CN108492298B (zh) 基于生成对抗网络的多光谱图像变化检测方法
CN112418351B (zh) 基于全局与局部上下文感知的零样本学习图像分类方法
CN110245714B (zh) 图像识别方法、装置及电子设备
CN112884001A (zh) 碳钢石墨化自动评级方法和系统
CN116309580A (zh) 基于磁应力的油气管道腐蚀检测方法
CN111881906A (zh) 一种基于注意力机制图像检索的logo识别方法
Al-Jubouri et al. A comparative analysis of automatic deep neural networks for image retrieval
Durdu et al. A novel map-merging technique for occupancy grid-based maps using multiple robots: A semantic approach
Bal-Ghaoui et al. U-Net transfer learning backbones for lesions segmentation in breast ultrasound images.
CN116894831A (zh) 聚氨酯材料的检测方法及其系统
CN112581502A (zh) 一种基于孪生网络的目标跟踪方法
CN116703878A (zh) 家用电器壳体生产线自动检测系统及其方法
CN116188445A (zh) 一种产品表面缺陷的检测定位方法、装置及终端设备
Ruiz-Santaquitaria et al. Deep learning versus classic methods for multi-taxon diatom segmentation
Iegawa et al. Loop Closure Detection in Visual SLAM Based on Convolutional Neural Network
CN117250521B (zh) 充电桩电池容量监测系统及方法
Pavel et al. On Change Detection in the State of the Human Faces by Thermal Images and Renyi Information Measures
Chen et al. An obstacle detection system for a mobile robot based on radar-vision fusion
Rezaei et al. Quantifying Overfitting: Evaluating Neural Network Performance through Analysis of Null Space
Evangelou et al. PU learning-based recognition of structural elements in architectural floor plans
Grollman et al. Discovering natural kinds of robot sensory experiences in unstructured environments
Pakzad Knowledge based multitemporal interpretation
Dong et al. Corner points localization in electronic topographic maps with deep neural networks
Sowah et al. Intelligent instrument reader using computer vision and machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination