CN116703878A - 家用电器壳体生产线自动检测系统及其方法 - Google Patents

家用电器壳体生产线自动检测系统及其方法 Download PDF

Info

Publication number
CN116703878A
CN116703878A CN202310741118.9A CN202310741118A CN116703878A CN 116703878 A CN116703878 A CN 116703878A CN 202310741118 A CN202310741118 A CN 202310741118A CN 116703878 A CN116703878 A CN 116703878A
Authority
CN
China
Prior art keywords
detection
image
feature
feature map
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310741118.9A
Other languages
English (en)
Inventor
袁晋国
张伟卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chuzhou Guoheng Automation Technology Co ltd
Original Assignee
Chuzhou Guoheng Automation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chuzhou Guoheng Automation Technology Co ltd filed Critical Chuzhou Guoheng Automation Technology Co ltd
Priority to CN202310741118.9A priority Critical patent/CN116703878A/zh
Publication of CN116703878A publication Critical patent/CN116703878A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及智能检测领域，其具体地公开了一种家用电器壳体生产线自动检测系统及其方法，其将待检测家用电器壳体的检测图像和符合预定要求的家用电器壳体的参考图像通过基于深度神经网络的特征提取器以将所述检测图像和所述参考图像映射到高维特征空间中，并基于两者在高维特征空间中的特征分布差异为依据判断待检测家用电器壳体的质量是否符合预定标准。这样，基于机器视觉和基于深度神经网络模型的智能检测技术来检测家用电器壳体的生产质量，可以大大提高检测效率和检测正确率。

Description

家用电器壳体生产线自动检测系统及其方法
技术领域
本申请涉及智能检测领域，且更为具体地，涉及一种家用电器壳体生产线自动检测系统及其方法。
背景技术
家用电器壳体生产线检测指的是在家用电器壳体生产线上，对家用电器的外壳进行检测，以确保其符合出厂质量标准，如果检测的家用电器壳体不合格，则需要将不合格的产品从生产线上剔除，这样可以有效地保证出厂产品的质量。
传统的家用电器壳体生产线自动检测系统需要手动调整参数和阈值以适应不同场景下的检测需求，并且容易受到光照、噪声等因素的影响，导致检测正确率较低。
因此，需要一种优化的家用电器壳体生产线检测方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种家用电器壳体生产线自动检测系统及其方法，其将待检测家用电器壳体的检测图像和符合预定要求的家用电器壳体的参考图像通过基于深度神经网络的特征提取器以将所述检测图像和所述参考图像映射到高维特征空间中，并基于两者在高维特征空间中的特征分布差异为依据判断待检测家用电器壳体的质量是否符合预定标准。这样，基于机器视觉和基于深度神经网络模型的智能检测技术来检测家用电器壳体的生产质量，可以大大提高检测效率和检测正确率。
根据本申请的一个方面，提供了一种家用电器壳体生产线自动检测系统，其包括：
图像获取模块，用于获取待检测的家用电器壳体的检测图像和符合预定要求的家用电器壳体的参考图像；
分块模块，用于对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列；
检测图像编码模块，用于将所述检测图像块序列中的各个检测图像块分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量；
参考图像编码模块，用于将所述参考图像块序列中的各个参考图像块分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量；
全局编码模块，用于将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；
差分模块，用于计算所述检测特征图和所述参考特征图之间的差分特征图；以及
质量结果判定模块，用于将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测家用电器壳体的质量是否符合预定标准。。
在上述家用电器壳体生产线自动检测系统中，所述分块模块，用于：对所述检测图像和所述参考图像分别进行图像均匀分块处理以得到所述检测图像块序列和所述参考图像块序列，其中，所述检测图像块序列中各个检测图像块与所述参考图像块序列中各个参考图像块之间的尺度相同。
在上述家用电器壳体生产线自动检测系统中，所述检测图像编码模块，包括：使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图沿通道维度的各个特征矩阵进行池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络模型的最后一层的输出为所述图像块检测特征向量，所述第一卷积神经网络模型的第一层的输入为所述检测图像块序列中各个检测图像块。
在上述家用电器壳体生产线自动检测系统中，所述第一图像编码器和所述第二图像编码器为包含多个混合卷积层的第三卷积神经网络模型。
在上述家用电器壳体生产线自动检测系统中，所述全局编码模块，包括：检测特征图生成单元，用于使用所述孪生网络模型的第一图像编码器对所述检测图像全局特征矩阵进行多尺度深度卷积编码以得到所述检测特征图；以及，参考特征图生成单元，用于使用所述孪生网络模型的第二图像编码器对所述参考图像全局特征矩阵进行多尺度深度卷积编码以得到所述参考特征图。
在上述家用电器壳体生产线自动检测系统中，所述所述检测特征图生成单元和所述参考特征图生成单元，包括：使用所述第一图像编码器的各个混合卷积层在层的正向传递中分别对输入数据进行多尺度卷积处理、池化处理和非线性激活处理以由所述第一图像编码器的最后一个混合卷积层输出所述检测特征图；以及，使用所述第二图像编码器的各个混合卷积层在层的正向传递中分别对输入数据进行多尺度卷积处理、池化处理和非线性激活处理以由所述第二图像编码器的最后一个混合卷积层输出所述参考特征图。
在上述家用电器壳体生产线自动检测系统中，所述差分模块，包括：特征图降维单元，用于对所述检测特征图和所述参考特征图的沿通道维度的各个特征矩阵进行特征矩阵展开以得到多个第一通道维度展开特征向量和多个第二通道维度展开特征向量；第一相对熵计算单元，用于计算每一组对应通道维度的所述第一通道维度展开特征向量相对于所述第二通道维度展开特征向量的第一相对熵以得到多个第一加权参数；第二相对熵计算单元，用于计算每一组对应通道维度的所述第二通道维度展开特征向量相对于所述第一通道维度展开特征向量的第二相对熵以得到多个第二加权参数；以及，差分特征图生成单元，用于以所述多个第一加权参数和所述多个第二加权参数作为权重，来计算所述检测特征图和所述参考特征图的沿通道维度的各组特征矩阵之间的按位置的差值以得到所述差分特征图。
在上述家用电器壳体生产线自动检测系统中，所述第一相对熵计算单元，用于：以如下第一相对熵计算公式来计算每一组对应通道维度的所述第一通道维度展开特征向量相对于所述第二通道维度展开特征向量的第一相对熵以得到所述多个第一加权参数；其中，所述第一相对熵计算公式为：
其中，w1i表示第i组的第一加权参数，pij表示第i组的所述第一通道维度展开特征向量的第j个位置的特征值，qij表示第i组的所述第二通道维度展开特征向量的第j个位置的特征值，log表示以2为底的对数函数值。
在上述家用电器壳体生产线自动检测系统中，所述第二相对熵计算单元，用于：以如下第二相对熵计算公式来计算每一组对应通道维度的所述第二通道维度展开特征向量相对于所述第一通道维度展开特征向量的第二相对熵以得到所述多个第二加权参数；其中，所述第二相对熵计算公式为：
其中，w2i表示第i组的第二加权参数，pij表示第i组的所述第一通道维度展开特征向量的第j个位置的特征值，qij表示第i组的所述第二通道维度展开特征向量的第j个位置的特征值，log表示以2为底的对数函数值。
根据本申请的另一方面，提供了一种家用电器壳体生产线自动检测方法，其包括：
获取待检测的家用电器壳体的检测图像和符合预定要求的家用电器壳体的参考图像；
对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列；
将所述检测图像块序列中的各个检测图像块分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量；
将所述参考图像块序列中的各个参考图像块分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量；
将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；
计算所述检测特征图和所述参考特征图之间的差分特征图；以及
将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测家用电器壳体的质量是否符合预定标准。
与现有技术相比，本申请提供的家用电器壳体生产线自动检测系统及其方法，其将待检测家用电器壳体的检测图像和符合预定要求的家用电器壳体的参考图像通过基于深度神经网络的特征提取器以将所述检测图像和所述参考图像映射到高维特征空间中，并基于两者在高维特征空间中的特征分布差异为依据判断待检测家用电器壳体的质量是否符合预定标准。这样，基于机器视觉和基于深度神经网络模型的智能检测技术来检测家用电器壳体的生产质量，可以大大提高检测效率和检测正确率。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用于提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的家用电器壳体生产线自动检测系统的应用场景图。
图2为根据本申请实施例的家用电器壳体生产线自动检测系统的系统框图。
图3根据本申请实施例的家用电器壳体生产线自动检测系统的架构图。
图4为根据本申请实施例的家用电器壳体生产线自动检测系统中全局编码模块框图。
图5为根据本申请实施例的家用电器壳体生产线自动检测系统中差分模块框图。
图6为根据本申请实施例的家用电器壳体生产线自动检测方法的流程图。
图7为根据本申请实施例的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
在上述背景技术中，传统的家用电器壳体检测需要手动调整参数和阈值以适应不同场景下的检测需求，并且容易受到光照、噪声等因素的影响，导致检测正确率较低，这样可能会导致不合格产品流入市场。因此，需要一种优化的家用电器壳体检测方案。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。深度学习以及神经网络的发展为家用电器壳体生产线的自动检测提供了新的解决思路和方案。
本申请方案的技术构思为：将待检测家用电器壳体的检测图像和符合预定要求的家用电器壳体的参考图像通过基于深度神经网络的特征提取器以将所述检测图像和所述参考图像映射到高维特征空间中，并基于两者在高维特征空间中的特征分布差异为依据判断待检测家用电器壳体的质量是否符合预定标准。
具体地，在本申请的技术方案中，首先获取待检测的家用电器壳体的检测图像和符合预定要求的家用电器壳体的参考图像。应可以理解，家用电器壳体的图像中包含了家用电器壳体的详细信息和特征，例如外观、尺寸、颜色等。通过将检测图像与参考图像进行比较，从而判断家用电器壳体是否合格，它可以大大提高检测的准确性和可靠性。
接着，对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列。应可以理解，将大尺寸的图像分成小块并分别处理可以减小每个图像块的复杂度，从而提高计算速度。
然后，将所述检测图像块序列中的各个检测图像块分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量，以及，将所述参考图像块序列中的各个参考图像块分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量。整个电器壳体的图像是由多个小块组成，每个图像块包含着丰富的信息，可以通过作为过滤器的卷积神经网络模型以提取各个检测图像块的图像特征和各个参考图像块的图像特征。这里，本领域普通技术人员应知晓，卷积神经网络模型是一种常见的神经网络模型，其在图像特征提取领域具有优异性能表现。
接着，将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。使用孪生网络模型对多个图像块处理，以便更好地识别和匹配检测特征和参考特征之间的相似性。这两个编码器具有相同的网络结构，能够处理输入数据并提取出与其相关的特征。通过将检测图像全局特征矩阵和参考图像全局特征矩阵馈送给这两个编码器，我们可以获得两个特征图，这些特征图表示了检测图像和参考图像的特定特征。这些特征图可以进一步用于匹配和识别图像块之间的相似性，从而实现更准确和可靠的检测结果。
然后，计算所述检测特征图和所述参考特征图之间的差分特征图。通过将待检测家用电器壳体的特征图和已符合标准的家用电器壳体的参考特征图进行比较可以得到它们之间的差异性。进而，将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测家用电器壳体的质量是否符合预定标准。
特别地，在本申请的技术方案中，在计算所述检测特征图和所述参考特征图之间的差分特征图时，所述差分特征图用于表示待检测的家用电器壳体的图像和符合预定要求的家用电器壳体图像在高维特征空间中的特征分布差异。应可以理解，所述孪生网络模型本质上是域变换器，其用于将所述待检测的家用电器壳体的图像和所述符合预定要求的家用电器壳体图像从图像源域映射到高维特征空间中。虽然通过所述孪生网络模型可从所述待检测的家用电器壳体的图像和所述符合预定要求的家用电器壳体图像中提取抽象特征表达，但是，因在采集所述待检测的家用电器壳体的图像过程中会因拍摄条件、摄像头本身的性能而引入图像噪声，这部分噪声也会经所述域变换器的变换而被放大，从而所述检测特征图和所述参考特征图的各子维度的特征值之间的数据变化方向和幅度差异较大，因此，如果直接以计算所述检测特征图和所述参考特征图之间按位置插值的方式来得到所述差分特征图，会使得所述差分特征图的局部特征表达异常，从而影响所述差分特征图的分类判断的精准度。
基于此，在本申请的技术方案中，基于所述检测特征图和所述参考特征图之间的高维特征的维度分布相似性来畸形特征图差分以得到差分特征图。包括：对所述检测特征图和所述参考特征图的沿通道维度的各个特征矩阵进行特征矩阵展开以得到多个第一通道维度展开特征向量和多个第二通道维度展开特征向量；计算每一组对应通道维度的所述第一通道维度展开特征向量相对于所述第二通道维度展开特征向量的第一相对熵以得到多个第一加权参数；计算每一组对应通道维度的所述第二通道维度展开特征向量相对于所述第一通道维度展开特征向量的第二相对熵以得到多个第二加权参数；以及，以所述多个第一加权参数和所述多个第二加权参数作为权重，来计算所述检测特征图和所述参考特征图的沿通道维度的各组特征矩阵之间的按位置的差值以得到所述差分特征图。
具体地，以如下公式来计算每一组对应通道维度的所述第一通道维度展开特征向量相对于所述第二通道维度展开特征向量的第一相对熵以得到多个第一加权参数；其中，所述公式为：
其中，w1i表示第i组的第一加权参数，pij表示第i组的所述第一通道维度展开特征向量的第j个位置的特征值，qij表示第i组的所述第二通道维度展开特征向量的第j个位置的特征值，log表示以2为底的对数函数值。
具体地，以如下公式来计算每一组对应通道维度的所述第二通道维度展开特征向量相对于所述第一通道维度展开特征向量的第二相对熵以得到多个第二加权参数；其中，所述公式为：
其中，w2i表示第i组的第二加权参数，pij表示第i组的所述第一通道维度展开特征向量的第j个位置的特征值，qij表示第i组的所述第二通道维度展开特征向量的第j个位置的特征值，log表示以2为底的对数函数值。
这样，基于所述检测特征图和所述参考特征图的沿通道维度的各个特征矩阵在高维特征空间中的维度分布相似性来计算所述检测特征图和所述参考特征图的差分，以使得所述差分特征图能够相对于所述检测特征图和所述参考特征图具有更佳的整体相对于局部的特征维度分布协调性。并且，在计算所述检测特征图和所述参考特征图的差分过程中，能够利用所述检测特征图和所述参考特征图之间的高维特征的维度分布相似性来建模不同源或者不同模态的特征分布并最大化地利用所述检测特征图和所述参考特征图之间的信息增益以使得所述差分特征图具有更加完整、准确且稳定的特征表示，从而提升模型的泛化能力和鲁棒性。
图1为根据本申请实施例的家用电器壳体生产线自动检测系统的应用场景图。在该应用场景中，在该应用场景中，通过摄像头(例如，如图1中所示意的C)获取待检测家用电器壳体的检测图像(例如，如图1中所示意的P1)并从数据库(例如，如图1中所示意的D)中获取已符合标准的家用电器壳体参考图像(例如，如图1中所示意的P2)。接着，将上述数据输入至部署有用于家用电器壳体生产线自动检测算法的服务器(例如，图1中的S)中，其中，所述服务器能够以所述家用电器壳体生产线自动检测算法对上述输入的数据进行处理，以生成用于表示待检测家用电器壳体的质量是否符合预定标准的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图2为根据本申请实施例的家用电器壳体生产线自动检测系统的系统框图。如图2所示，在家用电器壳体生产线自动检测系统100中，包括：图像获取模块110，用于获取待检测的家用电器壳体的检测图像和符合预定要求的家用电器壳体的参考图像；分块模块120，用于对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列；检测图像编码模块130，用于将所述检测图像块序列中的各个检测图像块分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量；参考图像编码模块140，用于将所述参考图像块序列中的各个参考图像块分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量；全局编码模块150，用于将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；差分模块160，用于计算所述检测特征图和所述参考特征图之间的差分特征图；以及，质量结果判定模块170，用于将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测家用电器壳体的质量是否符合预定标准。
图3为根据本申请实施例的家用电器壳体生产线自动检测系统的架构图。如图3所示，在该架构中，首先，获取待检测的家用电器壳体的检测图像和符合预定要求的家用电器壳体的参考图像。接着，对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列。然后，将所述检测图像块序列中的各个检测图像块分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量。同时,将所述参考图像块序列中的各个参考图像块分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量。接着，将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图。然后，计算所述检测特征图和所述参考特征图之间的差分特征图。最后，将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测家用电器壳体的质量是否符合预定标准。
在家用电器壳体生产线自动检测系统100中，所述图像获取模块110，用于获取待检测的家用电器壳体的检测图像和符合预定要求的家用电器壳体的参考图像。在上述背景技术中，可以了解到目前家用电器壳体检测容易受到光照、噪声等因素的影响，检测的正确率较低。因此，需要一种优化的家用电器壳体检测方案。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。深度学习以及神经网络的发展为家用电器壳体生产线的自动检测提供了新的解决思路和方案。
本申请方案的技术构思为：将待检测家用电器壳体的检测图像和符合预定要求的家用电器壳体的参考图像通过基于深度神经网络的特征提取器以将所述检测图像和所述参考图像映射到高维特征空间中，并基于两者在高维特征空间中的特征分布差异为依据判断待检测家用电器壳体的质量是否符合预定标准。具体地，首先由摄像头拍摄获取待检测的家用电器壳体的检测图像并且从数据库中调取符合预定要求的家用电器壳体的参考图像。
在家用电器壳体生产线自动检测系统100中，所述分块模块120，用于对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列。应可以理解，将大尺寸的图像分成小块并分别处理可以减小每个图像块的复杂度，从而提高计算速度。
具体地，在家用电器壳体生产线自动检测系统100中，所述分块模块120，用于：对所述检测图像和所述参考图像分别进行图像均匀分块处理以得到所述检测图像块序列和所述参考图像块序列，其中，所述检测图像块序列中各个检测图像块与所述参考图像块序列中各个参考图像块之间的尺度相同。
在家用电器壳体生产线自动检测系统100中，所述检测图像编码模块130，用于将所述检测图像块序列中的各个检测图像块分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量。本领域普通技术人员应该了解，卷积神经网络模型是一种常见的神经网络模型，其在图像特征提取领域具有优异性能表现。这里，将所述检测图像块序列中的各个检测图像块通过作为过滤器的第一卷积神经网络模型可以得到检测图像块中包含的丰富的信息，提取到检测图像中的图像特征。
具体地，在家用电器壳体生产线自动检测系统100中，所述检测图像编码模块130，包括：使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图沿通道维度的各个特征矩阵进行池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络模型的最后一层的输出为所述图像块检测特征向量，所述第一卷积神经网络模型的第一层的输入为所述检测图像块序列中各个检测图像块。
在家用电器壳体生产线自动检测系统100中，所述参考图像编码模块140，用于将所述参考图像块序列中的各个参考图像块分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量。同样地，将所述参考图像块序列中的各个参考图像块分别通过作为过滤器的第二卷积神经网络模型可以得到参考图像块中包含的丰富的信息，提取到参考图像中的图像特征。
在家用电器壳体生产线自动检测系统100中，所述全局编码模块150，用于：将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。应可以理解，使用孪生网络模型对多个图像块处理，以便更好地识别和匹配检测特征和参考特征之间的差异性。在进行特征深度编码时，检测图像全局特征矩阵和参考图像全局特征矩阵之间的差异会被放大和显化。孪生网络是一种深度神经网络，由两个相同的子网络组成，它们共享权重和结构，在图像处理中，孪生网络通常用于计算图片之间的差异度。
具体地，在家用电器壳体生产线自动检测系统100中，所述全局编码模块150，所述第一图像编码器和所述第二图像编码器为包含多个混合卷积层的第三卷积神经网络模型。
图4为根据本申请实施例的家用电器壳体生产线自动检测系统中全局编码模块框图。如图4所示，所述全局编码模块150，包括：检测特征图生成单元151，用于使用所述孪生网络模型的第一图像编码器对所述检测图像全局特征矩阵进行多尺度深度卷积编码以得到所述检测特征图；以及，参考特征图生成单元152，用于使用所述孪生网络模型的第二图像编码器对所述参考图像全局特征矩阵进行多尺度深度卷积编码以得到所述参考特征图。
更具体地，在本申请示例中，所述检测特征图生成单元151和所述参考特征图生成单元152，包括：使用所述第一图像编码器的各个混合卷积层在层的正向传递中分别对输入数据进行多尺度卷积处理、池化处理和非线性激活处理以由所述第一图像编码器的最后一个混合卷积层输出所述检测特征图；以及，使用所述第二图像编码器的各个混合卷积层在层的正向传递中分别对输入数据进行多尺度卷积处理、池化处理和非线性激活处理以由所述第二图像编码器的最后一个混合卷积层输出所述参考特征图。值得注意的是，这里的多尺度卷积处理可以采用不同的方法，比如可以使用空洞卷积，空洞卷积通过在卷积核内部引入不同的间隔来扩大感受野，从而捕捉到图像中更多的上下文信息；还可以使用金字塔式卷积，通过构建图像金字塔然后在不同的层级上采用不同大小的卷积核进行操作，以获取多尺度特征信息。
在家用电器壳体生产线自动检测系统100中，所述差分模块160，用于计算所述检测特征图和所述参考特征图之间的差分特征图。这里，计算所述检测特征图和所述参考特征图之间的差分特征图以此来表示两者在高维特征空间中的差异。
特别地，在本申请的技术方案中，在计算所述检测特征图和所述参考特征图之间的差分特征图时，所述差分特征图用于表示待检测的家用电器壳体的图像和符合预定要求的家用电器壳体图像在高维特征空间中的特征分布差异。应可以理解，所述孪生网络模型本质上是域变换器，其用于将所述待检测的家用电器壳体的图像和所述符合预定要求的家用电器壳体图像从图像源域映射到高维特征空间中。虽然通过所述孪生网络模型可从所述待检测的家用电器壳体的图像和所述符合预定要求的家用电器壳体图像中提取抽象特征表达，但是，因在采集所述待检测的家用电器壳体的图像过程中会因拍摄条件、摄像头本身的性能而引入图像噪声，这部分噪声也会经所述域变换器的变换而被放大，从而所述检测特征图和所述参考特征图的各子维度的特征值之间的数据变化方向和幅度差异较大，因此，如果直接以计算所述检测特征图和所述参考特征图之间按位置插值的方式来得到所述差分特征图，会使得所述差分特征图的局部特征表达异常，从而影响所述差分特征图的分类判断的精准度。
基于此，在本申请的技术方案中，基于所述检测特征图和所述参考特征图之间的高维特征的维度分布相似性来畸形特征图差分以得到差分特征图。图5为根据本申请实施例的家用电器壳体生产线自动检测系统中差分模块框图。如图5所示，所述差分模块160，包括：特征图降维单元161，用于对所述检测特征图和所述参考特征图的沿通道维度的各个特征矩阵进行特征矩阵展开以得到多个第一通道维度展开特征向量和多个第二通道维度展开特征向量；第一相对熵计算单元162，用于计算每一组对应通道维度的所述第一通道维度展开特征向量相对于所述第二通道维度展开特征向量的第一相对熵以得到多个第一加权参数；第二相对熵计算单元163，用于计算每一组对应通道维度的所述第二通道维度展开特征向量相对于所述第一通道维度展开特征向量的第二相对熵以得到多个第二加权参数；以及，差分特征图生成单元164，用于以所述多个第一加权参数和所述多个第二加权参数作为权重，来计算所述检测特征图和所述参考特征图的沿通道维度的各组特征矩阵之间的按位置的差值以得到所述差分特征图。
更具体地，在家用电器壳体生产线自动检测系统100中，所述第一相对熵计算单元162，用于：以如下第一相对熵计算公式来计算每一组对应通道维度的所述第一通道维度展开特征向量相对于所述第二通道维度展开特征向量的第一相对熵以得到所述多个第一加权参数；其中，所述第一相对熵计算公式为：
其中，w1i表示第i组的第一加权参数，pij表示第i组的所述第一通道维度展开特征向量的第j个位置的特征值，qij表示第i组的所述第二通道维度展开特征向量的第j个位置的特征值，log表示以2为底的对数函数值。
更具体地，在家用电器壳体生产线自动检测系统100中，所述第二相对熵计算单元163，用于：以如下第二相对熵计算公式来计算每一组对应通道维度的所述第二通道维度展开特征向量相对于所述第一通道维度展开特征向量的第二相对熵以得到所述多个第二加权参数；其中，所述第二相对熵计算公式为：
其中，w2i表示第i组的第二加权参数，pij表示第i组的所述第一通道维度展开特征向量的第j个位置的特征值，qij表示第i组的所述第二通道维度展开特征向量的第j个位置的特征值，log表示以2为底的对数函数值。
这样，基于所述检测特征图和所述参考特征图的沿通道维度的各个特征矩阵在高维特征空间中的维度分布相似性来计算所述检测特征图和所述参考特征图的差分，以使得所述差分特征图能够相对于所述检测特征图和所述参考特征图具有更佳的整体相对于局部的特征维度分布协调性。并且，在计算所述检测特征图和所述参考特征图的差分过程中，能够利用所述检测特征图和所述参考特征图之间的高维特征的维度分布相似性来建模不同源或者不同模态的特征分布并最大化地利用所述检测特征图和所述参考特征图之间的信息增益以使得所述差分特征图具有更加完整、准确且稳定的特征表示，从而提升模型的泛化能力和鲁棒性。
在家用电器壳体生产线自动检测系统100中，所述质量结果判定模块170，用于将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测家用电器壳体的质量是否符合预定标准。这样，基于机器视觉和基于深度神经网络模型的智能检测技术来检测家用电器壳体的生产质量，可以大大提高检测效率和检测正确率。
综上所述，基于本申请实施例的家用电器壳体生产线自动检测系统，其将待检测家用电器壳体的检测图像和符合预定要求的家用电器壳体的参考图像通过基于深度神经网络的特征提取器以将所述检测图像和所述参考图像映射到高维特征空间中，并基于两者在高维特征空间中的特征分布差异为依据判断待检测家用电器壳体的质量是否符合预定标准。这样，基于机器视觉和基于深度神经网络模型的智能检测技术来检测家用电器壳体的生产质量，可以大大提高检测效率和检测正确率。
示例性方法
图6为根据本申请实施例的家用电器壳体生产线自动检测方法的流程图。如图6所示，在家用电器壳体生产线自动检测方法中，包括：S110，获取待检测的家用电器壳体的检测图像和符合预定要求的家用电器壳体的参考图像；S120，对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列；S130，将所述检测图像块序列中的各个检测图像块分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量；S140，将所述参考图像块序列中的各个参考图像块分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量；S150，将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；S160，计算所述检测特征图和所述参考特征图之间的差分特征图；以及，S170，将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测家用电器壳体的质量是否符合预定标准。
在一个示例中，在上述家用电器壳体生产线自动检测方法中，所述对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列，用于：对所述检测图像和所述参考图像分别进行图像均匀分块处理以得到所述检测图像块序列和所述参考图像块序列，其中，所述检测图像块序列中各个检测图像块与所述参考图像块序列中各个参考图像块之间的尺度相同。
在一个示例中，在上述家用电器壳体生产线自动检测方法中，所述将所述检测图像块序列中的各个检测图像块分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量，包括：使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图沿通道维度的各个特征矩阵进行池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络模型的最后一层的输出为所述图像块检测特征向量，所述第一卷积神经网络模型的第一层的输入为所述检测图像块序列中各个检测图像块。
在一个示例中，在上述家用电器壳体生产线自动检测方法中，所述第一图像编码器和所述第二图像编码器为包含多个混合卷积层的第三卷积神经网络模型。
在一个示例中，在上述家用电器壳体生产线自动检测方法中，所述将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，包括：使用所述孪生网络模型的第一图像编码器对所述检测图像全局特征矩阵进行多尺度深度卷积编码以得到所述检测特征图；以及，使用所述孪生网络模型的第二图像编码器对所述参考图像全局特征矩阵进行多尺度深度卷积编码以得到所述参考特征图。
在一个示例中，在上述家用电器壳体生产线自动检测方法中，所述使用所述孪生网络模型的第一图像编码器对所述检测图像全局特征矩阵进行多尺度深度卷积编码以得到所述检测特征图，以及使用所述孪生网络模型的第二图像编码器对所述参考图像全局特征矩阵进行多尺度深度卷积编码以得到所述参考特征图，包括：使用所述第一图像编码器的各个混合卷积层在层的正向传递中分别对输入数据进行多尺度卷积处理、池化处理和非线性激活处理以由所述第一图像编码器的最后一个混合卷积层输出所述检测特征图；以及，使用所述第二图像编码器的各个混合卷积层在层的正向传递中分别对输入数据进行多尺度卷积处理、池化处理和非线性激活处理以由所述第二图像编码器的最后一个混合卷积层输出所述参考特征图。
在一个示例中，在上述家用电器壳体生产线自动检测方法中，所述用于计算所述检测特征图和所述参考特征图之间的差分特征图，包括：对所述检测特征图和所述参考特征图的沿通道维度的各个特征矩阵进行特征矩阵展开以得到多个第一通道维度展开特征向量和多个第二通道维度展开特征向量；计算每一组对应通道维度的所述第一通道维度展开特征向量相对于所述第二通道维度展开特征向量的第一相对熵以得到多个第一加权参数；计算每一组对应通道维度的所述第二通道维度展开特征向量相对于所述第一通道维度展开特征向量的第二相对熵以得到多个第二加权参数；以及，以所述多个第一加权参数和所述多个第二加权参数作为权重，来计算所述检测特征图和所述参考特征图的沿通道维度的各组特征矩阵之间的按位置的差值以得到所述差分特征图。
在一个示例中，在上述家用电器壳体生产线自动检测方法中，所述计算每一组对应通道维度的所述第一通道维度展开特征向量相对于所述第二通道维度展开特征向量的第一相对熵以得到多个第一加权参数，包括：以如下第一相对熵计算公式来计算每一组对应通道维度的所述第一通道维度展开特征向量相对于所述第二通道维度展开特征向量的第一相对熵以得到所述多个第一加权参数；其中，所述第一相对熵计算公式为：
其中，w1i表示第i组的第一加权参数，pij表示第i组的所述第一通道维度展开特征向量的第j个位置的特征值，qij表示第i组的所述第二通道维度展开特征向量的第j个位置的特征值，log表示以2为底的对数函数值。
在一个示例中，在上述家用电器壳体生产线自动检测方法中，所述计算每一组对应通道维度的所述第二通道维度展开特征向量相对于所述第一通道维度展开特征向量的第二相对熵以得到多个第二加权参数，包括：以如下第二相对熵计算公式来计算每一组对应通道维度的所述第二通道维度展开特征向量相对于所述第一通道维度展开特征向量的第二相对熵以得到所述多个第二加权参数；其中，所述第二相对熵计算公式为：
其中，w2i表示第i组的第二加权参数，pij表示第i组的所述第一通道维度展开特征向量的第j个位置的特征值，qij表示第i组的所述第二通道维度展开特征向量的第j个位置的特征值，log表示以2为底的对数函数值。
综上所述，基于本申请实施例的家用电器壳体生产线自动检测方法被阐明，其将待检测家用电器壳体的检测图像和符合预定要求的家用电器壳体的参考图像通过基于深度神经网络的特征提取器以将所述检测图像和所述参考图像映射到高维特征空间中，并基于两者在高维特征空间中的特征分布差异为依据判断待检测家用电器壳体的质量是否符合预定标准。这样，基于机器视觉和基于深度神经网络模型的智能检测技术来检测家用电器壳体的生产质量，可以大大提高检测效率和检测正确率。
示例性电子设备
下面，参考图7来描述根据本申请实施例的电子设备。
图7为根据本申请实施例的电子设备的框图。
如图7所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的家用电器壳体生产线自动检测方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如待检测家用电器壳体的检测图像、符合预定要求的家用电器壳体的参考图像等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置13可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括判断待检测家用电器壳体的质量是否符合预定标准结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图7中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

Claims (10)

1.一种家用电器壳体生产线自动检测系统，其特征在于，包括：
图像获取模块，用于获取待检测的家用电器壳体的检测图像和符合预定要求的家用电器壳体的参考图像；
分块模块，用于对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列；
检测图像编码模块，用于将所述检测图像块序列中的各个检测图像块分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量；
参考图像编码模块，用于将所述参考图像块序列中的各个参考图像块分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量；
全局编码模块，用于将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；
差分模块，用于计算所述检测特征图和所述参考特征图之间的差分特征图；以及
质量结果判定模块，用于将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测家用电器壳体的质量是否符合预定标准。
2.根据权利要求1所述的家用电器壳体生产线自动检测系统，其特征在于，所述分块模块，用于：对所述检测图像和所述参考图像分别进行图像均匀分块处理以得到所述检测图像块序列和所述参考图像块序列，其中，所述检测图像块序列中各个检测图像块与所述参考图像块序列中各个参考图像块之间的尺度相同。
3.根据权利要求2所述的家用电器壳体生产线自动检测系统，其特征在于，所述检测图像编码模块，包括：
使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：
对输入数据进行卷积处理以得到卷积特征图；
对所述卷积特征图沿通道维度的各个特征矩阵进行池化以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述第一卷积神经网络模型的最后一层的输出为所述图像块检测特征向量，所述第一卷积神经网络模型的第一层的输入为所述检测图像块序列中各个检测图像块。
4.根据权利要求3所述的家用电器壳体生产线自动检测系统，其特征在于，所述第一图像编码器和所述第二图像编码器为包含多个混合卷积层的第三卷积神经网络模型。
5.根据权利要求4所述的家用电器壳体生产线自动检测系统，其特征在于，所述全局编码模块，包括：
检测特征图生成单元，用于使用所述孪生网络模型的第一图像编码器对所述检测图像全局特征矩阵进行多尺度深度卷积编码以得到所述检测特征图；以及
参考特征图生成单元，用于使用所述孪生网络模型的第二图像编码器对所述参考图像全局特征矩阵进行多尺度深度卷积编码以得到所述参考特征图。
6.根据权利要求5所述的家用电器壳体生产线自动检测系统，其特征在于，所述检测特征图生成单元和所述参考特征图生成单元，包括：
使用所述第一图像编码器的各个混合卷积层在层的正向传递中分别对输入数据进行多尺度卷积处理、池化处理和非线性激活处理以由所述第一图像编码器的最后一个混合卷积层输出所述检测特征图；以及
使用所述第二图像编码器的各个混合卷积层在层的正向传递中分别对输入数据进行多尺度卷积处理、池化处理和非线性激活处理以由所述第二图像编码器的最后一个混合卷积层输出所述参考特征图。
7.根据权利要求6所述的家用电器壳体生产线自动检测系统，其特征在于，所述差分模块，包括：
特征图降维单元，用于对所述检测特征图和所述参考特征图的沿通道维度的各个特征矩阵进行特征矩阵展开以得到多个第一通道维度展开特征向量和多个第二通道维度展开特征向量；
第一相对熵计算单元，用于计算每一组对应通道维度的所述第一通道维度展开特征向量相对于所述第二通道维度展开特征向量的第一相对熵以得到多个第一加权参数；
第二相对熵计算单元，用于计算每一组对应通道维度的所述第二通道维度展开特征向量相对于所述第一通道维度展开特征向量的第二相对熵以得到多个第二加权参数；以及
差分特征图生成单元，用于以所述多个第一加权参数和所述多个第二加权参数作为权重，来计算所述检测特征图和所述参考特征图的沿通道维度的各组特征矩阵之间的按位置的差值以得到所述差分特征图。
8.根据权利要求7所述的家用电器壳体生产线自动检测系统，其特征在于，所述第一相对熵计算单元，用于：以如下第一相对熵计算公式来计算每一组对应通道维度的所述第一通道维度展开特征向量相对于所述第二通道维度展开特征向量的第一相对熵以得到所述多个第一加权参数；
其中，所述第一相对熵计算公式为：
其中，w1i表示第i组的第一加权参数，pij表示第i组的所述第一通道维度展开特征向量的第j个位置的特征值，qij表示第i组的所述第二通道维度展开特征向量的第j个位置的特征值，log表示以2为底的对数函数值。
9.根据权利要求8所述的家用电器壳体生产线自动检测系统，其特征在于，所述第二相对熵计算单元，用于：以如下第二相对熵计算公式来计算每一组对应通道维度的所述第二通道维度展开特征向量相对于所述第一通道维度展开特征向量的第二相对熵以得到所述多个第二加权参数；
其中，所述第二相对熵计算公式为：
其中，w2i表示第i组的第二加权参数，pij表示第i组的所述第一通道维度展开特征向量的第j个位置的特征值，qij表示第i组的所述第二通道维度展开特征向量的第j个位置的特征值，log表示以2为底的对数函数值。
10.一种家用电器壳体生产线自动检测方法，其特征在于，包括：
获取待检测的家用电器壳体的检测图像和符合预定要求的家用电器壳体的参考图像；
对所述检测图像和所述参考图像分别进行图像分块处理以得到检测图像块序列和参考图像块序列；
将所述检测图像块序列中的各个检测图像块分别通过作为过滤器的第一卷积神经网络模型以得到多个图像块检测特征向量；
将所述参考图像块序列中的各个参考图像块分别通过作为过滤器的第二卷积神经网络模型以得到多个图像块参考特征向量；
将所述多个图像块检测特征向量和所述多个图像块参考特征向量分别排列为检测图像全局特征矩阵和参考图像全局特征矩阵后通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；
计算所述检测特征图和所述参考特征图之间的差分特征图；以及
将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测家用电器壳体的质量是否符合预定标准。
CN202310741118.9A 2023-06-20 2023-06-20 家用电器壳体生产线自动检测系统及其方法 Pending CN116703878A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310741118.9A CN116703878A (zh) 2023-06-20 2023-06-20 家用电器壳体生产线自动检测系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310741118.9A CN116703878A (zh) 2023-06-20 2023-06-20 家用电器壳体生产线自动检测系统及其方法

Publications (1)

Publication Number Publication Date
CN116703878A true CN116703878A (zh) 2023-09-05

Family

ID=87843082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310741118.9A Pending CN116703878A (zh) 2023-06-20 2023-06-20 家用电器壳体生产线自动检测系统及其方法

Country Status (1)

Country Link
CN (1) CN116703878A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372528A (zh) * 2023-11-21 2024-01-09 南昌工控机器人有限公司 用于手机壳体模块化装配的视觉图像定位方法
CN117910073A (zh) * 2024-01-18 2024-04-19 和源顺(湖州)工艺品有限公司 基于3d打印技术的工艺品包装设计优化系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372528A (zh) * 2023-11-21 2024-01-09 南昌工控机器人有限公司 用于手机壳体模块化装配的视觉图像定位方法
CN117372528B (zh) * 2023-11-21 2024-05-28 南昌工控机器人有限公司 用于手机壳体模块化装配的视觉图像定位方法
CN117910073A (zh) * 2024-01-18 2024-04-19 和源顺(湖州)工艺品有限公司 基于3d打印技术的工艺品包装设计优化系统及方法

Similar Documents

Publication Publication Date Title
CN116703878A (zh) 家用电器壳体生产线自动检测系统及其方法
CN111667001B (zh) 目标重识别方法、装置、计算机设备和存储介质
US9697592B1 (en) Computational-complexity adaptive method and system for transferring low dynamic range image to high dynamic range image
CN111027576B (zh) 基于协同显著性生成式对抗网络的协同显著性检测方法
CN110245714B (zh) 图像识别方法、装置及电子设备
CN114549913B (zh) 一种语义分割方法、装置、计算机设备和存储介质
CN111738351A (zh) 模型训练方法、装置、存储介质及电子设备
US11714921B2 (en) Image processing method with ash code on local feature vectors, image processing device and storage medium
CN110825900A (zh) 特征重构层的训练方法、图像特征的重构方法及相关装置
CN114925748B (zh) 模型训练及模态信息的预测方法、相关装置、设备、介质
CN113610787A (zh) 图像缺陷检测模型的训练方法、装置、计算机设备
CN110222705A (zh) 一种网络模型的训练方法以及相关装置
CN111898735A (zh) 蒸馏学习方法、装置、计算机设备和存储介质
CN113837942A (zh) 基于srgan的超分辨率图像生成方法、装置、设备及存储介质
CN110852292A (zh) 一种基于跨模态多任务深度度量学习的草图人脸识别方法
CN108447084B (zh) 基于orb特征的立体匹配补偿方法
CN111461177B (zh) 一种图像的识别方法及装置
CN111291712B (zh) 基于插值的cn和胶囊网络的森林火灾识别方法及装置
CN117173439A (zh) 基于gpu的图像处理方法、装置、存储介质及电子设备
CN116206196B (zh) 一种海洋低光环境多目标检测方法及其检测系统
CN116704208A (zh) 基于特征关系的局部可解释方法
CN111222558A (zh) 图像处理方法及存储介质
CN114820755B (zh) 一种深度图估计方法及系统
CN116385281A (zh) 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法
CN116597246A (zh) 模型训练方法、目标检测方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination