CN116797586A - 纸杯缺陷自动检测方法及其系统 - Google Patents
纸杯缺陷自动检测方法及其系统 Download PDFInfo
- Publication number
- CN116797586A CN116797586A CN202310792140.6A CN202310792140A CN116797586A CN 116797586 A CN116797586 A CN 116797586A CN 202310792140 A CN202310792140 A CN 202310792140A CN 116797586 A CN116797586 A CN 116797586A
- Authority
- CN
- China
- Prior art keywords
- feature
- detection
- feature map
- map
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 220
- 230000007547 defect Effects 0.000 title claims abstract description 111
- 239000013598 vector Substances 0.000 claims description 125
- 238000013527 convolutional neural network Methods 0.000 claims description 76
- 239000011159 matrix material Substances 0.000 claims description 49
- 238000000034 method Methods 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 238000012216 screening Methods 0.000 claims description 16
- 238000000354 decomposition reaction Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 229940050561 matrix product Drugs 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 15
- 238000003860 storage Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Abstract
本申请涉及智能检测领域，其具体公开了一种纸杯缺陷自动检测方法及其系统，其通过从待检测纸杯的检测图像和参考图像中分别提取出检测特征图和参考特征图，进一步以所述参考特征图和所述检测特征图之间在高维特征空间的特征差异作为用于判断纸杯是否存在缺陷的特征表示，提高对于待检测纸杯是否存在缺陷的检测精准度。
Description
技术领域
本申请涉及智能检测领域，且更为具体的涉及一种纸杯缺陷自动检测方法及其系统。
背景技术
现有的纸杯检测在生产过程中，由于各种原因导致的纸杯缺陷问题仍然存在，例如变形、裂口、异物等，这些问题可能影响到产品的品质和安全性，同时也会增加生产成本和环境污染。为了检测出这些缺陷，传统的方法是通过人工进行检查，但是这种方式效率低下、误判率高、成本较高。因此，需要开发一种自动检测技术能够有效地解决这个问题。随着计算机视觉和图像处理技术的发展，我们可以基于待检测图像和参考图像之间的差异判断纸杯是否存在缺陷。这样，可以快速、准确地检测出纸杯的缺陷，从而提高生产效率和质量，并降低人力成本和废品率。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种纸杯缺陷自动检测方法及其系统，其通过从待检测纸杯的检测图像和参考图像中分别提取出检测特征图和参考特征图，进一步以所述参考特征图和所述检测特征图之间在高维特征空间的特征差异作为用于判断纸杯是否存在缺陷的特征表示，提高对于待检测纸杯是否存在缺陷的检测精准度。
根据本申请的一个方面，提供了一种纸杯缺陷自动检测方法，其包括：
获取待检测纸杯的检测图像和参考图像，所述参考图像为没有缺陷的纸杯的图像；
将所述检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构；
对所述检测特征图和所述参考特征图进行基于特征集合的各子维度之间的空间联立投影以得到所述差分特征图；以及
将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测纸杯是否存在缺陷。
在上述的纸杯缺陷自动检测方法中，将所述检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构，包括：
使用所述第一卷积神经网络的多层卷积层对所述检测图像进行深度卷积编码以由所述多层卷积层的最后一层输出深度检测特征图；
将所述深度检测特征图输入所述第一卷积神经网络的第一空间注意力模块以得到第一空间注意力图；以及
计算所述深度检测特征图和所述第一空间注意力图的按位置点乘以得到所述检测特征图。
在上述的纸杯缺陷自动检测方法中，将所述检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构，包括：
使用所述第二卷积神经网络的多层卷积层对所述参考图像进行深度卷积编码以由所述多层卷积层的最后一层输出深度参考特征图；
将所述深度参考特征图输入所述第二卷积神经网络的第二空间注意力模块以得到第二空间注意力图；以及
计算所述深度参考特征图和所述第二空间注意力图的按位置点乘以得到所述参考特征图。
在上述的纸杯缺陷自动检测方法中，对所述检测特征图和所述参考特征图进行基于特征集合的各子维度之间的空间联立投影以得到所述差分特征图，包括：
将所述检测特征图和所述参考特征图分别展开为检测特征向量和参考特征向量；
计算所述检测特征向量和所述参考特征向量之间的协方差矩阵；
对所述协方差矩阵进行特征值分解以得到多个特征值和与所述多个特征值对应的多个特征向量；
将所述多个特征向量排列为联合特征矩阵，并计算所述协方差矩阵与所述联合特征矩阵之间的矩阵乘积以得到筛选特征矩阵；
计算所述检测特征向量和所述参考特征向量与所述筛选特征矩阵之间的乘积以得到检测投影特征向量和参考投影特征向量；以及，
计算所述检测投影特征向量和所述参考投影特征向量之间的按位置插值以得到差分特征向量，并将所述差分特征向量重构为所述差分特征图。
在上述的纸杯缺陷自动检测方法中，将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测纸杯是否存在缺陷，包括：
将所述差分特征图基于行向量或列向量展开为分类特征向量；
使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及
将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
根据本申请的另一方面，还提供了一种纸杯缺陷自动检测系统，其包括：
图像采集模块，用于获取待检测纸杯的检测图像和参考图像，所述参考图像为没有缺陷的纸杯的图像；
孪生网络模块，用于将所述检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构；
特征差异模块，用于对所述检测特征图和所述参考特征图进行基于特征集合的各子维度之间的空间联立投影以得到所述差分特征图；以及
检测结果生成模块，用于将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测纸杯是否存在缺陷。
与现有技术相比，本申请提供的纸杯缺陷自动检测方法及其系统，其通过从待检测纸杯的检测图像和参考图像中分别提取出检测特征图和参考特征图，进一步以所述参考特征图和所述检测特征图之间在高维特征空间的特征差异作为用于判断纸杯是否存在缺陷的特征表示，提高对于待检测纸杯是否存在缺陷的检测精准度。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的纸杯缺陷自动检测方法的应用场景图。
图2为根据本申请实施例的纸杯缺陷自动检测方法的流程图。
图3为根据本申请实施例的纸杯缺陷自动检测方法的架构图。
图4为根据本申请实施例的纸杯缺陷自动检测方法中对所述检测特征图和所述参考特征图进行基于特征集合的各子维度之间的空间联立投影以得到所述差分特征图的流程图。
图5为根据本申请实施例的纸杯缺陷自动检测方法中将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测扩散纸源是否存在缺陷的流程图。
图6为根据本申请实施例的纸杯缺陷自动检测系统的框图。
图7为根据本申请实施例的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
如上所述，在纸杯的生产过程中，对于有明显缺陷的纸杯可以分拣出，但对于细微的隐裂人眼是无法识别的，同时人工分拣还存在效率和人工投入等实际问题。因此，期待一种纸杯缺陷自动检测方案。
缺陷检测是图像处理领域常见的任务类型，因此，纸杯缺陷检测可通过基于图像的缺陷检测来实现。但细微的隐裂在图像端很难被捕捉到，其原因为一方面细微的隐裂属于小尺寸对象，另一方面细微的隐裂具有形状不规则性且易与纸杯的边缘等发生混淆，导致缺陷检测的精准度不高。
针对上述技术问题，本申请的申请人以参考图像(没有缺陷的标准纸杯)作为参考，以参考图像和检测图像之间在高维特征空间的特征差异作为用于判断纸杯是否存在缺陷的特征表示。
具体地，首先获取待检测纸杯的检测图像和参考图像，所述参考图像为没有缺陷的纸杯的图像。接着，将所述检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构。也就是，使用所述孪生网络模型来分别提取所述检测图像和所述参考图像的高维图像隐含特征。这里，所述孪生网络模型的第一卷积神经网络和第二卷积神经网络具有相同的网络结构，因此，如果检测图像和参考图像在图像源域端存在差异，在经过相同的网络结构编码后，其会在高维特征空间中存在差异。
特别地，在本申请的技术方案中，因纸杯的缺陷存在于纸杯的特定空间位置，因此，为了使得所述纸杯的缺陷特征能够在特征提取过程中被更多地关注，将空间注意力机制集成于所述第一卷积神经网络和所述第二卷积神经网络。
接着，计算所述检测特征图和所述参考特征图之间的差分特征图，以此来表示纸杯的检测图像和参考图像在高维特征空间中的特征差异表示。继而，将所述差分特征图通过分类器就可以得到用于表示待检测纸杯是否存在缺陷的分类结果。
特别地，在本申请的技术方案中，在计算所述检测特征图和所述参考特征图之间的差分特征图时，所述差分特征图用于表示待检测纸杯的图像和没有缺陷的参考纸杯图像在高维特征空间中的特征分布差异。应可以理解，所述孪生网络模型本质上是域变换器，其用于将所述待检测纸杯的图像和所述没有缺陷的参考纸杯图像从图像源域映射到高维特征空间中。虽然通过所述孪生网络模型可从所述待检测纸杯的图像和所述没有缺陷的参考纸杯图像中提取抽象特征表达，但是，因在采集所述待检测纸杯的图像过程中会因拍摄条件、摄像头本身的性能而引入图像噪声，这部分噪声也会经所述域变换器的变换而被放大，从而所述检测特征图和所述参考特征图的各子维度的特征值之间的数据变化方向和幅度差异较大，因此，如果直接以计算所述检测特征图和所述参考特征图之间按位置插值的方式来得到所述差分特征图，会使得所述差分特征图的局部特征表达异常，从而影响所述差分特征图的分类判断的精准度。
基于此，在本申请的技术方案中，对所述检测特征图和所述参考特征图进行基于特征集合的各子维度之间的空间联立投影以得到所述差分特征图。具体地，首先将所述检测特征图和所述参考特征图分别展开为检测特征向量和参考特征向量；然后计算所述检测特征向量和所述参考特征向量之间的协方差矩阵；进而，对所述协方差矩阵进行特征值分解以得到多个特征值和与所述多个特征值对应的多个特征向量；接着，将所述多个特征向量排列为联合特征矩阵，并计算所述协方差矩阵与所述联合特征矩阵之间的矩阵乘积以得到筛选特征矩阵；进而，计算所述检测特征向量和所述参考特征向量与所述筛选特征矩阵之间的乘积以得到检测投影特征向量和参考投影特征向量；继而，计算所述检测投影特征向量和所述参考投影特征向量之间的按位置插值以得到差分特征向量，并将所述差分特征向量重构为所述差分特征图。
这样，对所述检测特征图和所述参考特征图进行基于特征集合的各子维度之间的空间联立投影，可充分考虑所述所述检测特征图和所述参考特征图的数据变化方向和幅度，使得空间联立投影得到的所述分类特征向量能够最大程度地保留所述所述检测特征图和所述参考特征图的主要特征信息且减少数据中的噪声和冗余信息，通过这样的方式，可更好地观察和分析所述分类特征向量中的模式和规律，即在二维平面上可以更容易看出数据点之间的相似性和差异性。这样，提高所述差分特征图通过所述分类器得到的分类结果的精准度。
图1图示了根据本申请实施例的纸杯缺陷自动检测方法的应用场景图。如图1所示，在该应用场景中，通过摄像头(例如，如图1中所示意的C)获取待检测纸杯(例如，如图1中所示意的P)的检测图像(例如，如图1中所示意的J)，通过数据库获取参考图像(例如，如图1中所示意的F)，所述参考图像为没有缺陷的纸杯的图像。接着，将上述图像输入至部署有用于纸杯缺陷自动检测算法的服务器(例如，图1中的S)中，其中，所述服务器能够以所述纸杯缺陷自动检测算法对所述图像进行处理，以生成用于表示待检测纸杯是否存在缺陷的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性方法
图2为根据本申请实施例的纸杯缺陷自动检测方法的流程图。如图2所示，根据本申请实施例的纸杯缺陷自动检测方法，包括：S110，获取待检测纸杯的检测图像和参考图像，所述参考图像为没有缺陷的纸杯的图像；S120，将所述检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构；S130，对所述检测特征图和所述参考特征图进行基于特征集合的各子维度之间的空间联立投影以得到所述差分特征图；以及S140，将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测纸杯是否存在缺陷。
图3为根据本申请实施例的纸杯缺陷自动检测方法的架构图。如图3所示，在该架构中，首先，获取待检测纸杯的检测图像和参考图像，所述参考图像为没有缺陷的纸杯的图像。然后，将所述检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构。接着，对所述检测特征图和所述参考特征图进行基于特征集合的各子维度之间的空间联立投影以得到所述差分特征图。最后，将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测纸杯是否存在缺陷。
在步骤S110中，获取待检测纸杯的检测图像和参考图像，所述参考图像为没有缺陷的纸杯的图像。在本申请的技术方案中，通过从待检测纸杯的检测图像和参考图像中分别提取出检测特征图和参考特征图，进一步以所述参考特征图和所述检测特征图之间在高维特征空间的特征差异作为用于判断纸杯是否存在缺陷的特征表示，因此，在本申请的一个具体示例中，可通过摄像头获取待检测纸杯的检测图像和参考图像。
在步骤S120中，将所述检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构。应可以理解，将所述检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构。也就是，使用所述孪生网络模型来分别提取所述检测图像和所述参考图像的高维图像隐含特征。这里，所述孪生网络模型的第一卷积神经网络和第二卷积神经网络具有相同的网络结构，因此，如果检测图像和参考图像在图像源域端存在差异，在经过相同的网络结构编码后，其会在高维特征空间中存在差异。
特别地，在本申请的技术方案中，因纸杯的缺陷存在于纸杯的特定空间位置，因此，为了使得所述纸杯的缺陷特征能够在特征提取过程中被更多地关注，将空间注意力机制集成于所述第一卷积神经网络和所述第二卷积神经网络。在本申请的一个具体示例中，所述孪生网络模块，包括：检测图像特征提取单元，用于使用所述第一卷积神经网络的多层卷积层对所述检测图像进行深度卷积编码以由所述多层卷积层的最后一层输出深度检测特征图；第一空间注意力单元，用于将所述深度检测特征图输入所述第一卷积神经网络的第一空间注意力模块以得到第一空间注意力图；以及，检测特征图生成单元，用于计算所述深度检测特征图和所述第一空间注意力图的按位置点乘以得到所述检测特征图；以及：参考图像特征提取单元，用于使用所述第二卷积神经网络的多层卷积层对所述参考图像进行深度卷积编码以由所述多层卷积层的最后一层输出深度参考特征图；第二空间注意力单元，用于将所述深度参考特征图输入所述第二卷积神经网络的第二空间注意力模块以得到第二空间注意力图；以及，参考特征图生成单元，用于计算所述深度参考特征图和所述第二空间注意力图的按位置点乘以得到所述参考特征图。
具体地，在上述的纸杯缺陷自动检测方法中，所述将所述检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构，包括：使用所述第一卷积神经网络的多层卷积层对所述检测图像进行深度卷积编码以由所述多层卷积层的最后一层输出深度检测特征图；将所述深度检测特征图输入所述第一卷积神经网络的第一空间注意力模块以得到第一空间注意力图；以及计算所述深度检测特征图和所述第一空间注意力图的按位置点乘以得到所述检测特征图。
具体地，在上述的纸杯缺陷自动检测方法中，将所述检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构，包括：使用所述第二卷积神经网络的多层卷积层对所述参考图像进行深度卷积编码以由所述多层卷积层的最后一层输出深度参考特征图；将所述深度参考特征图输入所述第二卷积神经网络的第二空间注意力模块以得到第二空间注意力图；以及计算所述深度参考特征图和所述第二空间注意力图的按位置点乘以得到所述参考特征图。
在步骤S130中，对所述检测特征图和所述参考特征图进行基于特征集合的各子维度之间的空间联立投影以得到所述差分特征图。在本申请的技术方案中，计算所述检测特征图和所述参考特征图之间的差分特征图，以此来表示纸杯的检测图像和参考图像在高维特征空间中的特征差异表示。继而，将所述差分特征图通过分类器就可以得到用于表示待检测纸杯是否存在缺陷的分类结果。特别地，在本申请的技术方案中，在计算所述检测特征图和所述参考特征图之间的差分特征图时，所述差分特征图用于表示待检测纸杯的图像和没有缺陷的参考纸杯图像在高维特征空间中的特征分布差异。应可以理解，所述孪生网络模型本质上是域变换器，其用于将所述待检测纸杯的图像和所述没有缺陷的参考纸杯图像从图像源域映射到高维特征空间中。虽然通过所述孪生网络模型可从所述待检测纸杯的图像和所述没有缺陷的参考纸杯图像中提取抽象特征表达，但是，因在采集所述待检测纸杯的图像过程中会因拍摄条件、摄像头本身的性能而引入图像噪声，这部分噪声也会经所述域变换器的变换而被放大，从而所述检测特征图和所述参考特征图的各子维度的特征值之间的数据变化方向和幅度差异较大，因此，如果直接以计算所述检测特征图和所述参考特征图之间按位置插值的方式来得到所述差分特征图，会使得所述差分特征图的局部特征表达异常，从而影响所述差分特征图的分类判断的精准度。
基于此，在本申请的技术方案中，对所述检测特征图和所述参考特征图进行基于特征集合的各子维度之间的空间联立投影以得到所述差分特征图。具体地，首先将所述检测特征图和所述参考特征图分别展开为检测特征向量和参考特征向量；然后计算所述检测特征向量和所述参考特征向量之间的协方差矩阵；进而，对所述协方差矩阵进行特征值分解以得到多个特征值和与所述多个特征值对应的多个特征向量；接着，将所述多个特征向量排列为联合特征矩阵，并计算所述协方差矩阵与所述联合特征矩阵之间的矩阵乘积以得到筛选特征矩阵；进而，计算所述检测特征向量和所述参考特征向量与所述筛选特征矩阵之间的乘积以得到检测投影特征向量和参考投影特征向量；继而，计算所述检测投影特征向量和所述参考投影特征向量之间的按位置插值以得到差分特征向量，并将所述差分特征向量重构为所述差分特征图。
这样，对所述检测特征图和所述参考特征图进行基于特征集合的各子维度之间的空间联立投影，可充分考虑所述所述检测特征图和所述参考特征图的数据变化方向和幅度，使得空间联立投影得到的所述分类特征向量能够最大程度地保留所述所述检测特征图和所述参考特征图的主要特征信息且减少数据中的噪声和冗余信息，通过这样的方式，可更好地观察和分析所述分类特征向量中的模式和规律，即在二维平面上可以更容易看出数据点之间的相似性和差异性。这样，提高所述差分特征图通过所述分类器得到的分类结果的精准度。
图4为根据本申请实施例的纸杯缺陷自动检测方法中对所述检测特征图和所述参考特征图进行基于特征集合的各子维度之间的空间联立投影以得到所述差分特征图的流程图。如图4所示，对所述检测特征图和所述参考特征图进行基于特征集合的各子维度之间的空间联立投影以得到所述差分特征图，包括：S141，将所述检测特征图和所述参考特征图分别展开为检测特征向量和参考特征向量；S142，计算所述检测特征向量和所述参考特征向量之间的协方差矩阵；S143，对所述协方差矩阵进行特征值分解以得到多个特征值和与所述多个特征值对应的多个特征向量；S144，将所述多个特征向量排列为联合特征矩阵，并计算所述协方差矩阵与所述联合特征矩阵之间的矩阵乘积以得到筛选特征矩阵；S145，计算所述检测特征向量和所述参考特征向量与所述筛选特征矩阵之间的乘积以得到检测投影特征向量和参考投影特征向量；以及S146，计算所述检测投影特征向量和所述参考投影特征向量之间的按位置插值以得到差分特征向量，并将所述差分特征向量重构为所述差分特征图。
在步骤S140中，将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测扩散纸源是否存在缺陷。
图5为根据本申请实施例的纸杯缺陷自动检测方法中将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测扩散纸源是否存在缺陷的流程图。如图5所示，所述将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测扩散纸源是否存在缺陷，包括：S151，将所述差分特征图基于行向量或列向量展开为分类特征向量；S152，使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及S153，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
示例性系统
图6为根据本申请实施例的纸杯缺陷自动检测系统的框图。如图6所示，根据本申请实施例的纸杯缺陷自动检测系统100，包括：图像采集模块110，用于获取待检测纸杯的检测图像和参考图像，所述参考图像为没有缺陷的纸杯的图像；孪生网络模块120，用于将所述检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构；特征差异模块130，对所述检测特征图和所述参考特征图进行基于特征集合的各子维度之间的空间联立投影以得到所述差分特征图；以及检测结果生成模块130，用于将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测纸杯是否存在缺陷。
在一个示例中，在上述的纸杯缺陷自动检测系统中，所述孪生网络模块，包括：检测图像特征提取单元，用于使用所述第一卷积神经网络的多层卷积层对所述检测图像进行深度卷积编码以由所述多层卷积层的最后一层输出深度检测特征图；第一空间注意力单元，用于将所述深度检测特征图输入所述第一卷积神经网络的第一空间注意力模块以得到第一空间注意力图；以及检测特征图生成单元，用于计算所述深度检测特征图和所述第一空间注意力图的按位置点乘以得到所述检测特征图。
在一个示例中，在上述的纸杯缺陷自动检测系统中，所述孪生网络模块120，包括：参考图像特征提取单元，用于使用所述第二卷积神经网络的多层卷积层对所述参考图像进行深度卷积编码以由所述多层卷积层的最后一层输出深度参考特征图；第二空间注意力单元，用于将所述深度参考特征图输入所述第二卷积神经网络的第二空间注意力模块以得到第二空间注意力图；以及参考特征图生成单元，用于计算所述深度参考特征图和所述第二空间注意力图的按位置点乘以得到所述参考特征图。
在一个示例中，在上述的纸杯缺陷自动检测系统中，所述特征差异模块130，包括：向量构建单元，用于将所述检测特征图和所述参考特征图分别展开为检测特征向量和参考特征向量；协方差单元，用于计算所述检测特征向量和所述参考特征向量之间的协方差矩阵；分解单元，用于对所述协方差矩阵进行特征值分解以得到多个特征值和与所述多个特征值对应的多个特征向量；筛选单元，用于将所述多个特征向量排列为联合特征矩阵，并计算所述协方差矩阵与所述联合特征矩阵之间的矩阵乘积以得到筛选特征矩阵；投影单元，用于计算所述检测特征向量和所述参考特征向量与所述筛选特征矩阵之间的乘积以得到检测投影特征向量和参考投影特征向量；以及按位差分单元，用于计算所述检测投影特征向量和所述参考投影特征向量之间的按位置插值以得到差分特征向量，并将所述差分特征向量重构为所述差分特征图。
在一个示例中，在上述的纸杯缺陷自动检测系统中，所述检测结果生成模块140，包括：特征图展开单元，用于将所述差分特征图基于行向量或列向量展开为分类特征向量；全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
这里，本领域技术人员可以理解，上述纸杯缺陷自动检测系统100中的各个单元和模块的具体功能和操作已经在上面参考图1到图5的纸杯缺陷自动检测方法的描述中得到了详细介绍，并因此，将省略其重复描述。
综上，根据本申请实施例的所述纸杯缺陷自动检测方法及其系统被阐明，其通过从待检测纸杯的检测图像和参考图像中分别提取出检测特征图和参考特征图，进一步以所述参考特征图和所述检测特征图之间在高维特征空间的特征差异作为用于判断纸杯是否存在缺陷的特征表示，提高对于待检测纸杯是否存在缺陷的检测精准度。
如上所述，根据本申请实施例的纸杯缺陷自动检测系统100可以实现在各种终端设备中，例如纸杯缺陷自动检测服务器等。在一个示例中，根据本申请实施例的纸杯缺陷自动检测系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该纸杯缺陷自动检测系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该纸杯缺陷自动检测系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该纸杯缺陷自动检测系统100与该终端设备也可以是分立的设备，并且该纸杯缺陷自动检测系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性电子设备
下面，参考图7来描述根据本申请实施例的电子设备。图7为根据本申请实施例的电子设备的框图。如图7所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的纸杯缺陷自动检测方法中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如待检测纸杯的检测图像等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置13可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括纸杯是否存在缺陷等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图7中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的纸杯缺陷自动检测方法中的功能中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的纸杯缺陷自动检测方法中的功能中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种纸杯缺陷自动检测方法，其特征在于，包括：
获取待检测纸杯的检测图像和参考图像，所述参考图像为没有缺陷的纸杯的图像；
将所述检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构；
对所述检测特征图和所述参考特征图进行基于特征集合的各子维度之间的空间联立投影以得到差分特征图；以及
将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测纸杯是否存在缺陷。
2.根据权利要求1所述的纸杯缺陷自动检测方法，其特征在于，将所述检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构，包括：
使用所述第一卷积神经网络的多层卷积层对所述检测图像进行深度卷积编码以由所述多层卷积层的最后一层输出深度检测特征图；
将所述深度检测特征图输入所述第一卷积神经网络的第一空间注意力模块以得到第一空间注意力图；以及
计算所述深度检测特征图和所述第一空间注意力图的按位置点乘以得到所述检测特征图。
3.根据权利要求2所述的纸杯缺陷自动检测方法，其特征在于，将所述检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构，包括：
使用所述第二卷积神经网络的多层卷积层对所述参考图像进行深度卷积编码以由所述多层卷积层的最后一层输出深度参考特征图；
将所述深度参考特征图输入所述第二卷积神经网络的第二空间注意力模块以得到第二空间注意力图；以及
计算所述深度参考特征图和所述第二空间注意力图的按位置点乘以得到所述参考特征图。
4.根据权利要求3所述的纸杯缺陷自动检测方法，其特征在于，对所述检测特征图和所述参考特征图进行基于特征集合的各子维度之间的空间联立投影以得到所述差分特征图，包括：
将所述检测特征图和所述参考特征图分别展开为检测特征向量和参考特征向量；
计算所述检测特征向量和所述参考特征向量之间的协方差矩阵；
对所述协方差矩阵进行特征值分解以得到多个特征值和与所述多个特征值对应的多个特征向量；
将所述多个特征向量排列为联合特征矩阵，并计算所述协方差矩阵与所述联合特征矩阵之间的矩阵乘积以得到筛选特征矩阵；
计算所述检测特征向量和所述参考特征向量与所述筛选特征矩阵之间的乘积以得到检测投影特征向量和参考投影特征向量；以及，
计算所述检测投影特征向量和所述参考投影特征向量之间的按位置插值以得到差分特征向量，并将所述差分特征向量重构为所述差分特征图。
5.根据权利要求4所述的纸杯缺陷自动检测方法，其特征在于，将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测纸杯是否存在缺陷，包括：
将所述差分特征图基于行向量或列向量展开为分类特征向量；
使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及
将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
6.一种纸杯缺陷自动检测系统，其特征在于，包括：
图像采集模块，用于获取待检测纸杯的检测图像和参考图像，所述参考图像为没有缺陷的纸杯的图像；
孪生网络模块，用于将所述检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构；
特征差异模块，用于对所述检测特征图和所述参考特征图进行基于特征集合的各子维度之间的空间联立投影以得到所述差分特征图；以及
检测结果生成模块，用于将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测纸杯是否存在缺陷。
7.根据权利要求6所述的纸杯缺陷自动检测系统，其特征在于，所述孪生网络模块，包括：
检测图像特征提取单元，用于使用所述第一卷积神经网络的多层卷积层对所述检测图像进行深度卷积编码以由所述多层卷积层的最后一层输出深度检测特征图；
第一空间注意力单元，用于将所述深度检测特征图输入所述第一卷积神经网络的第一空间注意力模块以得到第一空间注意力图；以及
检测特征图生成单元，用于计算所述深度检测特征图和所述第一空间注意力图的按位置点乘以得到所述检测特征图。
8.根据权利要求7所述的纸杯缺陷自动检测系统，其特征在于，所述所述孪生网络模块，包括：
参考图像特征提取单元，用于使用所述第二卷积神经网络的多层卷积层对所述参考图像进行深度卷积编码以由所述多层卷积层的最后一层输出深度参考特征图；
第二空间注意力单元，用于将所述深度参考特征图输入所述第二卷积神经网络的第二空间注意力模块以得到第二空间注意力图；以及
参考特征图生成单元，用于计算所述深度参考特征图和所述第二空间注意力图的按位置点乘以得到所述参考特征图。
9.根据权利要求8所述的纸杯缺陷自动检测系统，其特征在于，所述特征差异模块，包括：
向量构建单元，用于将所述检测特征图和所述参考特征图分别展开为检测特征向量和参考特征向量；
协方差单元，用于计算所述检测特征向量和所述参考特征向量之间的协方差矩阵；
分解单元，用于对所述协方差矩阵进行特征值分解以得到多个特征值和与所述多个特征值对应的多个特征向量；
筛选单元，用于将所述多个特征向量排列为联合特征矩阵，并计算所述协方差矩阵与所述联合特征矩阵之间的矩阵乘积以得到筛选特征矩阵；
投影单元，用于计算所述检测特征向量和所述参考特征向量与所述筛选特征矩阵之间的乘积以得到检测投影特征向量和参考投影特征向量；以及
重构单元，用于计算所述检测投影特征向量和所述参考投影特征向量之间的按位置插值以得到差分特征向量，并将所述差分特征向量重构为所述差分特征图。
10.根据权利要求9所述的纸杯缺陷自动检测系统，其特征在于，所述检测结果生成模块，包括：
特征图展开单元，用于将所述差分特征图基于行向量或列向量展开为分类特征向量；
全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及
分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310792140.6A CN116797586A (zh) | 2023-06-29 | 2023-06-29 | 纸杯缺陷自动检测方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310792140.6A CN116797586A (zh) | 2023-06-29 | 2023-06-29 | 纸杯缺陷自动检测方法及其系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116797586A true CN116797586A (zh) | 2023-09-22 |
Family
ID=88034583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310792140.6A Withdrawn CN116797586A (zh) | 2023-06-29 | 2023-06-29 | 纸杯缺陷自动检测方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116797586A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117008557A (zh) * | 2023-09-28 | 2023-11-07 | 苏州顶材新材料有限公司 | 共混型互穿网络热塑性弹性体的生产控制方法及系统 |
-
2023
- 2023-06-29 CN CN202310792140.6A patent/CN116797586A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117008557A (zh) * | 2023-09-28 | 2023-11-07 | 苏州顶材新材料有限公司 | 共混型互穿网络热塑性弹性体的生产控制方法及系统 |
| CN117008557B (zh) * | 2023-09-28 | 2023-12-15 | 苏州顶材新材料有限公司 | 共混型互穿网络热塑性弹性体的生产控制方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115375691B (zh) | 基于图像的半导体扩散纸源缺陷检测系统及其方法 | |
| CN109961421B (zh) | 数据生成装置、数据生成方法以及数据生成记录介质 | |
| JP6573226B2 (ja) | データ生成装置、データ生成方法及びデータ生成プログラム | |
| US11715190B2 (en) | Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device | |
| Zipfel et al. | Anomaly detection for industrial quality assurance: A comparative evaluation of unsupervised deep learning models | |
| CN114782882B (zh) | 基于多模态特征融合的视频目标行为异常检测方法和系统 | |
| JP7435303B2 (ja) | 検査装置、ユニット選択装置、検査方法、及び検査プログラム | |
| CN116797586A (zh) | 纸杯缺陷自动检测方法及其系统 | |
| CN116343301B (zh) | 基于人脸识别的人员信息智能校验系统 | |
| CN117036271A (zh) | 生产线质量监测方法及其系统 | |
| CN115901794A (zh) | 一种条形光源检测瓶口瑕疵的系统及方法 | |
| CN117030129A (zh) | 纸杯在线检漏方法及其系统 | |
| CN116843656B (zh) | 钢带管的涂塑控制方法及其系统 | |
| CN112418353A (zh) | 用于电池隔膜异常检测的神经网络的训练方法 | |
| CN117173154A (zh) | 玻璃瓶的在线图像检测系统及其方法 | |
| CN116797533B (zh) | 电源适配器的外观缺陷检测方法及其系统 | |
| CN117011274A (zh) | 自动化玻璃瓶检测系统及其方法 | |
| CN113592761A (zh) | 存储介质、走线检测装置、走线检测模型训练装置及方法 | |
| CN116858789A (zh) | 食品安全检测系统及其方法 | |
| CN115510900A (zh) | 电路故障自动诊断方法及其诊断系统 | |
| CN115374517A (zh) | 布线软件的测试方法、装置、电子设备及存储介质 | |
| CN112734016A (zh) | 用于钢筋表面的光滑程度检测的神经网络的训练方法 | |
| EP2573694A1 (en) | Conversion method and system | |
| CN113205110B (zh) | 一种面板缺陷分类模型的建立方法及面板缺陷分类方法 | |
| CN113447572B (zh) | 钢轨探伤方法、电子装置、钢轨探伤车及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230922 |
|
| WW01 | Invention patent application withdrawn after publication |