CN117173154A - 玻璃瓶的在线图像检测系统及其方法 - Google Patents

Abstract

本申请涉及图像智能检测领域，其具体公开了一种玻璃瓶的在线图像检测系统及其方法，使用基于深度神经网络模型的人工智能技术来智能地对玻璃瓶拍摄图像进行特征编码与提取，以得到更为精准的用于表示玻璃瓶的质量是否合格的分类标签。这样，智能检测玻璃瓶是否存在缺陷，提高了检测速度，降低了人力成本。

Description

玻璃瓶的在线图像检测系统及其方法

技术领域

本申请涉及图像智能检测领域，且更为具体的涉及一种玻璃瓶的在线图像检测系统及其方法。

背景技术

在玻璃瓶的生产过程中，通过图像检测可以实现自动化的质量控制和生产监控。通过检测玻璃瓶的形状、缺陷、损坏等信息，可以及时发现问题并采取相应的措施，提高生产效率和产品质量。传统的对玻璃瓶进行检测的方法主要是人工视觉检查，具体地依赖于人眼的观察和判断，受主观因素和疲劳等因素影响，容易出现漏检或误检的情况。同时，人工检查速度较慢，无法满足大规模生产和高效率的需求。

因此，期待一种优化的玻璃瓶图像检测方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种玻璃瓶的在线图像检测系统及其方法，其使用基于深度神经网络模型的人工智能技术来智能地对玻璃瓶拍摄图像进行特征编码与提取，以得到更为精准的用于表示玻璃瓶的质量是否合格的分类标签。这样，智能检测玻璃瓶是否存在缺陷，提高了检测速度，降低了人力成本。

根据本申请的一个方面，提供了一种玻璃瓶的在线图像检测系统，其包括：

图像采集模块，用于获取玻璃瓶拍摄图像；

灰度转化图像，用于将所述玻璃瓶拍摄图像进行灰度转化以得到玻璃灰度图像；

颜色校正模块，用于对所述玻璃灰度图像进行直方图均衡化预处理和CLAHE校正颜色以得到增强玻璃检测图像；

混合卷积模块，用于将所述增强玻璃检测图像通过混合卷积层以得到检测特征图；

优化模块，用于对所述检测特征图进行特征子空间一致性强化以得到所述优化检测特征图；

检测结果生成模块，用于将所述优化检测特征图通过分类器以得到分类结果，所述分类结果用于表示玻璃瓶的质量是否合格。

在上述的玻璃瓶的在线图像检测系统中，所述颜色校正模块，包括：

预处理单元，用于对所述玻璃灰度图像进行直方图均衡化预处理以将所述玻璃灰度图像通过变换函数映射为灰度分布均匀的图像以得到预处理后图像；

颜色校正单元，用于对所述预处理后图像进行CLAHE校正颜色以得到所述增强玻璃检测图像。

在上述的玻璃瓶的在线图像检测系统中，所述混合卷积模块，包括：

特征提取单元，用于将所述增强玻璃检测图像通过作为特征提取器的卷积神经网络模型以得到初始特征图；

混合卷积单元，用于将所述初始特征图输入所述混合卷积层以得到所述检测特征图。

在上述的玻璃瓶的在线图像检测系统中，所述特征提取单元，用于：

使用所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：

对输入数据进行卷积处理以得到卷积特征图；

对所述卷积特征图进行沿通道维度的池化以得到池化特征图；

对所述池化特征图进行非线性激活以得到激活特征图；

其中，所述作为特征提取器的卷积神经网络的最后一层的输出为所述初始特征图，所述作为特征提取器的卷积神经网络的第一层的输入为所述增强玻璃检测图像。

在上述的玻璃瓶的在线图像检测系统中，所述混合卷积单元，包括：

第一卷积子单元，用于将所述初始特征图输入所述混合卷积层的第一卷积层以得到第一尺度特征图，其中，所述第一卷积层使用具有第一尺寸的第一卷积核；

第二卷积子单元，用于将所述初始特征图输入所述混合卷积层的第二卷积层以得到第二尺度特征图，其中，所述第二卷积层使用具有第一空洞率的第一空洞卷积核；

第三卷积子单元，用于将所述初始特征图输入所述混合卷积层的第三卷积层以得到第三尺度特征图，其中，所述第三卷积层使用具有第二空洞率的第二空洞卷积核；

第四卷积子单元，用于将所述初始特征图输入所述混合卷积层的第四卷积层以得到第四尺度特征图，其中，所述第四卷积层使用具有第三空洞率的第三空洞卷积核；

融合子单元，用于融合所述第一尺度特征图、所述第二尺度特征图、所述第三尺度特征图和所述第四尺度特征图以得到所述检测特征图。

在上述的玻璃瓶的在线图像检测系统中，所述第一空洞率、所述第二空洞率和所述第三空洞率相互不等,所述第一空洞卷积核、所述第二空洞卷积核和所述第三空洞卷积核具有相同的第二尺寸，且所述第二尺寸等于所述第一卷积核的第一尺寸。

在上述的玻璃瓶的在线图像检测系统中，所述优化模块，包括：

块状划分单元，用于对所述检测特征图进行均匀块状切分以得到多个分类块状特征图；

全局均值池化单元，用于对所述多个分类块状特征图分别进行全局均值池化以得到多个分类子块全局语义特征向量；

语义重心单元，用于对所述检测特征图的沿通道维度的全局均值池化以得到分类全局语义重心特征向量；

类空间类别单元，用于计算所述多个分类子块全局语义特征向量中各个分类子块全局语义特征向量与所述分类全局语义重心特征向量之间的转移矩阵，并分别计算所述转移矩阵的全局均值以得到多个类空间类别转移特征值；

最大值归一化单元，用于对所述多个类空间类别转移特征值进行基于最大值的归一化处理以得到多个归一化类空间类别转移特征值；

加权单元，用于以所述多个归一化类空间类别转移特征值作为权重值分别对所述多个分类块状特征图进行加权以得到多个加权后分类块状特征图；

拼接单元，用于将所述多个加权后分类块状特征图进行拼接以得到所述优化检测特征图。

在上述的玻璃瓶的在线图像检测系统中，所述结果生成模块，用于：

使用所述分类器以如下分类公式对所述优化检测特征图进行处理以生成分类结果；

其中，所述分类公式为：

O＝softmax{(W_n,B_n):…:(W₁,B₁)|Project(F)}

其中，Project(F)表示将所述优化检测特征图投影为向量，W₁至W_n为各层全连接层的权重矩阵，B₁至B_n表示各层全连接层的偏置向量。

根据本申请的另一方面，还提供了一种玻璃瓶的在线图像检测方法，其包括：

获取玻璃瓶拍摄图像；

将所述玻璃瓶拍摄图像进行灰度转化以得到玻璃灰度图像；

对所述玻璃灰度图像进行直方图均衡化预处理和CLAHE校正颜色以得到增强玻璃检测图像；

将所述增强玻璃检测图像通过混合卷积层以得到检测特征图；

对所述检测特征图进行特征子空间一致性强化以得到所述优化检测特征图；

将所述优化检测特征图通过分类器以得到分类结果，所述分类结果用于表示玻璃瓶的质量是否合格。

与现有技术相比，本申请提供的玻璃瓶的在线图像检测系统及其方法，其使用基于深度神经网络模型的人工智能技术来智能地对玻璃瓶拍摄图像进行特征编码与提取，以得到更为精准的用于表示玻璃瓶的质量是否合格的分类标签。这样，智能检测玻璃瓶是否存在缺陷，提高了检测速度，降低了人力成本。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的玻璃瓶的在线图像检测系统的框图。

图2图示了根据本申请实施例的玻璃瓶的在线图像检测系统的系统架构图。

图3图示了根据本申请实施例的玻璃瓶的在线图像检测系统中颜色校正模块的框图。

图4图示了根据本申请实施例的玻璃瓶的在线图像检测方法的流程图。

图5图示了根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

如上述背景技术所言，传统的对玻璃瓶进行检测的方法主要是人工视觉检查，具体地依赖于人眼的观察和判断，受主观因素和疲劳等因素影响，容易出现漏检或误检的情况。同时，人工检查速度较慢，无法满足大规模生产和高效率的需求。因此，期待一种优化的玻璃瓶图像检测方案。

针对上述技术问题，提出了一种优化的玻璃瓶的在线图像检测方案，其使用基于深度神经网络模型的人工智能技术来智能地对玻璃瓶拍摄图像进行特征编码与提取，以得到更为精准的用于表示玻璃瓶的质量是否合格的分类标签。这样，智能检测玻璃瓶是否存在缺陷，提高了检测速度，降低了人力成本。

目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

近年来，深度学习以及神经网络的发展为玻璃瓶的在线图像检测方案提供了新的解决思路和方案。具体地，首先，获取玻璃瓶拍摄图像。

然后，为了简化图像处理的复杂度并提取关键信息，将所述玻璃瓶拍摄图像进行灰度转化以得到玻璃灰度图像。灰度图像只包含亮度信息，相比于彩色图像，它的数据量更小，处理起来更加高效。在玻璃瓶检测中，如果只关注玻璃瓶的亮度特征，而不需要考虑颜色信息，那么使用灰度图像可以减少处理的复杂度。在某些情况下，玻璃瓶的质量特征主要体现在亮度方面，例如表面缺陷、瑕疵等。通过将图像转化为灰度图像，可以更突出地显示亮度差异，有助于提取和分析这些关键信息。考虑到彩色图像中的颜色信息可能会干扰玻璃瓶质量的判断。通过将图像转化为灰度图像，可以去除颜色信息的干扰，更专注于玻璃瓶的亮度特征。

接着，为了增强图像的对比度和细节，对所述玻璃灰度图像进行直方图均衡化预处理和CLAHE校正颜色以得到增强玻璃检测图像。直方图均衡化是一种常用的图像增强技术，它通过重新分布图像的灰度级来扩展亮度范围，使图像的对比度增强。在玻璃瓶检测中，对比度增强可以使玻璃瓶与背景更加明显，有助于更准确地检测玻璃瓶的边缘和细节。CLAHE(Contrast Limited Adaptive Histogram Equalization)是一种自适应直方图均衡化技术，它可以限制对比度增强的范围，避免过度增强噪声和背景细节。在玻璃瓶检测中，CLAHE可以更好地保留玻璃瓶的细节信息，同时抑制背景噪声和光照变化的影响。

然后，为了提取图像中的抽象特征表示，将所述增强玻璃检测图像通过混合卷积层以得到检测特征图。混合卷积层可以通过卷积操作在不同的感受野(receptive field)上提取图像的局部特征。这些局部特征可以捕捉到玻璃瓶的形状、纹理、边缘等信息，有助于区分玻璃瓶和其他物体或背景。混合卷积层使用多个不同大小的卷积核，可以在不同尺度上对图像进行特征提取。这种多尺度的特征提取可以使系统对于不同尺寸的玻璃瓶具有尺度不变性，能够在不同大小的玻璃瓶上进行准确的检测。

进而，将所述检测特征图通过分类器以得到分类结果，所述分类结果用于表示玻璃瓶的质量是否合格。通过将检测特征图通过分类器进行分类，可以实现自动化的玻璃瓶质量检测。这样可以提高检测的准确性和效率，减少人工判断的主观性，并且可以在大规模生产中快速筛选出不合格的玻璃瓶，从而提高产品质量和生产效率。

进一步地，在本申请技术方案中，考虑到玻璃瓶的形状和大小可能会导致检测特征图在空间上的特征分布存在异质性。不同形状和大小的玻璃瓶在图像中的表示可能不同，导致特征分布的不均匀性。同时，光照条件和拍摄角度的变化可能导致玻璃瓶图像中的光照和投影差异。这些差异会传递到检测特征图中，导致特征分布的不均匀性。并且，混合卷积层用于提取图像的特征，不同的卷积核和感知域可能关注不同的特征。由于不同感知域的重要性和特征分布可能不同，因此在特征提取过程中会引入空间异质性。不同感知域的特征可能在空间上分布不均匀，导致检测特征图的特征分布也不均匀。由于存在空间异质性和不均匀性，检测特征图中不同区域的特征对分类器的贡献可能不同。这可能导致分类结果的类概率域偏移，即某些类别在特定区域具有更高的概率，而其他类别在该区域具有较低的概率。这种类概率域偏移可能会影响分类器的准确性和稳定性。

因此，在本申请的技术方案中，考虑到所述分类特征图在其空间维度的特征分布上存在空间异质性和不均匀性，导致其输入分类器得到的分类结果存在类概率域偏移。对所述检测特征图进行特征子空间一致性强化从而处理空间异质性和不均匀性，以获得更准确和可靠的分类结果。

对所述检测特征图进行特征子空间一致性强化以得到所述优化检测特征图，包括：对所述检测特征图进行均匀块状切分以得到多个分类块状特征图；对所述多个分类块状特征图分别进行全局均值池化以得到多个分类子块全局语义特征向量；对所述检测特征图的沿通道维度的全局均值池化以得到分类全局语义重心特征向量；计算所述多个分类子块全局语义特征向量中各个分类子块全局语义特征向量与所述分类全局语义重心特征向量之间的转移矩阵，并分别计算所述转移矩阵的全局均值以得到多个类空间类别转移特征值；对所述多个类空间类别转移特征值进行基于最大值的归一化处理以得到多个归一化类空间类别转移特征值；以所述多个归一化类空间类别转移特征值作为权重值分别对所述多个分类块状特征图进行加权以得到多个加权后分类块状特征图；将所述多个加权后分类块状特征图进行拼接以得到所述优化检测特征图。

这里，对所述检测特征图进行空间域块状切分以得到多个分类块状特征图，接着对所述多个分类块状特征图分别进行全局均值池化以得到多个分类子块全局语义特征向量。接着，以所述多个分类子块全局语义特征向量中各个分类子块全局语义特征向量与所述检测特征图的沿通道维度的全局均值池化特征向量(即，所述分类全局语义重心特征向量)之间的转移矩阵的全局均值来表示所述各个分类块状特征图在其特征空间域中特征分布空间一致性和偏移性。进而，以所述多个类空间类别转移特征值的归一化结果来对所述多个分类块状特征图进行加权以对所述所述检测特征图的各个局部特征图进行基于空间分布一致性的特征分布校正，以此来提升所述检测特征图的特征表达的结构合理性和鲁棒性。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图1图示了根据本申请实施例的玻璃瓶的在线图像检测系统的框图。如图1所示，根据本申请实施例的玻璃瓶的在线图像检测系统100，包括：图像采集模块110，用于获取玻璃瓶拍摄图像；灰度转化图像120，用于将所述玻璃瓶拍摄图像进行灰度转化以得到玻璃灰度图像；颜色校正模块130，用于对所述玻璃灰度图像进行直方图均衡化预处理和CLAHE校正颜色以得到增强玻璃检测图像；混合卷积模块140，用于将所述增强玻璃检测图像通过混合卷积层以得到检测特征图；优化模块150，用于对所述检测特征图进行特征子空间一致性强化以得到所述优化检测特征图；以及检测结果生成模块160，用于将所述优化检测特征图通过分类器以得到分类结果，所述分类结果用于表示玻璃瓶的质量是否合格。

图2图示了根据本申请实施例的玻璃瓶的在线图像检测系统的系统架构图。如图2所示，在该系统架构中，首先，获取玻璃瓶拍摄图像。然后，将所述玻璃瓶拍摄图像进行灰度转化以得到玻璃灰度图像。接着，对所述玻璃灰度图像进行直方图均衡化预处理和CLAHE校正颜色以得到增强玻璃检测图像。然后，将所述增强玻璃检测图像通过混合卷积层以得到检测特征图。接着，对所述检测特征图进行特征子空间一致性强化以得到所述优化检测特征图。进而，将所述优化检测特征图通过分类器以得到分类结果，所述分类结果用于表示玻璃瓶的质量是否合格。

在上述的玻璃瓶的在线图像检测系统100中，所述图像采集模块110，用于获取玻璃瓶拍摄图像。如上述背景技术所言，传统的对玻璃瓶进行检测的方法主要是人工视觉检查，具体地依赖于人眼的观察和判断，受主观因素和疲劳等因素影响，容易出现漏检或误检的情况。同时，人工检查速度较慢，无法满足大规模生产和高效率的需求。因此，期待一种优化的玻璃瓶图像检测方案。

针对上述技术问题，提出了一种优化的玻璃瓶的在线图像检测方案，其使用基于深度神经网络模型的人工智能技术来智能地对玻璃瓶拍摄图像进行特征编码与提取，以得到更为精准的用于表示玻璃瓶的质量是否合格的分类标签。这样，智能检测玻璃瓶是否存在缺陷，提高了检测速度，降低了人力成本。

目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

近年来，深度学习以及神经网络的发展为玻璃瓶的在线图像检测方案提供了新的解决思路和方案。具体地，首先，获取玻璃瓶拍摄图像。

在上述的玻璃瓶的在线图像检测系统100中，所述灰度转化图像120，用于将所述玻璃瓶拍摄图像进行灰度转化以得到玻璃灰度图像。为了增强图像的对比度和细节，对所述玻璃灰度图像进行直方图均衡化预处理和CLAHE校正颜色以得到增强玻璃检测图像。直方图均衡化是一种常用的图像增强技术，它通过重新分布图像的灰度级来扩展亮度范围，使图像的对比度增强。在玻璃瓶检测中，对比度增强可以使玻璃瓶与背景更加明显，有助于更准确地检测玻璃瓶的边缘和细节。CLAHE(Contrast Limited Adaptive HistogramEqualization)是一种自适应直方图均衡化技术，它可以限制对比度增强的范围，避免过度增强噪声和背景细节。在玻璃瓶检测中，CLAHE可以更好地保留玻璃瓶的细节信息，同时抑制背景噪声和光照变化的影响。

在上述的玻璃瓶的在线图像检测系统100中，所述颜色校正模块130，用于对所述玻璃灰度图像进行直方图均衡化预处理和CLAHE校正颜色以得到增强玻璃检测图像。

图3图示了根据本申请实施例的玻璃瓶的在线图像检测系统中颜色校正模块的框图。如图3所示，所述颜色校正模块130，包括：预处理单元131，用于对所述玻璃灰度图像进行直方图均衡化预处理以将所述玻璃灰度图像通过变换函数映射为灰度分布均匀的图像以得到预处理后图像；颜色校正单元132，用于对所述预处理后图像进行CLAHE校正颜色以得到所述增强玻璃检测图像。

在上述的玻璃瓶的在线图像检测系统100中，所述混合卷积模块140，用于将所述增强玻璃检测图像通过混合卷积层以得到检测特征图。为了提取图像中的抽象特征表示，将所述增强玻璃检测图像通过混合卷积层以得到检测特征图。混合卷积层可以通过卷积操作在不同的感受野(receptive field)上提取图像的局部特征。这些局部特征可以捕捉到玻璃瓶的形状、纹理、边缘等信息，有助于区分玻璃瓶和其他物体或背景。混合卷积层使用多个不同大小的卷积核，可以在不同尺度上对图像进行特征提取。这种多尺度的特征提取可以使系统对于不同尺寸的玻璃瓶具有尺度不变性，能够在不同大小的玻璃瓶上进行准确的检测。

具体地，在本申请实施例中，所述混合卷积模块140，包括：特征提取单元，用于将所述增强玻璃检测图像通过作为特征提取器的卷积神经网络模型以得到初始特征图；混合卷积单元，用于将所述初始特征图输入所述混合卷积层以得到所述检测特征图。

具体地，在本申请实施例中，所述特征提取单元，用于：使用所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行沿通道维度的池化以得到池化特征图；对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为特征提取器的卷积神经网络的最后一层的输出为所述初始特征图，所述作为特征提取器的卷积神经网络的第一层的输入为所述增强玻璃检测图像。

具体地，在本申请实施例中，所述混合卷积单元，包括：第一卷积子单元，用于将所述初始特征图输入所述混合卷积层的第一卷积层以得到第一尺度特征图，其中，所述第一卷积层使用具有第一尺寸的第一卷积核；第二卷积子单元，用于将所述初始特征图输入所述混合卷积层的第二卷积层以得到第二尺度特征图，其中，所述第二卷积层使用具有第一空洞率的第一空洞卷积核；第三卷积子单元，用于将所述初始特征图输入所述混合卷积层的第三卷积层以得到第三尺度特征图，其中，所述第三卷积层使用具有第二空洞率的第二空洞卷积核；第四卷积子单元，用于将所述初始特征图输入所述混合卷积层的第四卷积层以得到第四尺度特征图，其中，所述第四卷积层使用具有第三空洞率的第三空洞卷积核；融合子单元，用于融合所述第一尺度特征图、所述第二尺度特征图、所述第三尺度特征图和所述第四尺度特征图以得到所述检测特征图。

具体地，在本申请实施例中，所述第一空洞率、所述第二空洞率和所述第三空洞率相互不等,所述第一空洞卷积核、所述第二空洞卷积核和所述第三空洞卷积核具有相同的第二尺寸，且所述第二尺寸等于所述第一卷积核的第一尺寸。

在上述的玻璃瓶的在线图像检测系统100中，所述优化模块150，用于对所述检测特征图进行特征子空间一致性强化以得到所述优化检测特征图。在本申请技术方案中，考虑到玻璃瓶的形状和大小可能会导致检测特征图在空间上的特征分布存在异质性。不同形状和大小的玻璃瓶在图像中的表示可能不同，导致特征分布的不均匀性。同时，光照条件和拍摄角度的变化可能导致玻璃瓶图像中的光照和投影差异。这些差异会传递到检测特征图中，导致特征分布的不均匀性。并且，混合卷积层用于提取图像的特征，不同的卷积核和感知域可能关注不同的特征。由于不同感知域的重要性和特征分布可能不同，因此在特征提取过程中会引入空间异质性。不同感知域的特征可能在空间上分布不均匀，导致检测特征图的特征分布也不均匀。由于存在空间异质性和不均匀性，检测特征图中不同区域的特征对分类器的贡献可能不同。这可能导致分类结果的类概率域偏移，即某些类别在特定区域具有更高的概率，而其他类别在该区域具有较低的概率。这种类概率域偏移可能会影响分类器的准确性和稳定性。

因此，在本申请的技术方案中，考虑到所述分类特征图在其空间维度的特征分布上存在空间异质性和不均匀性，导致其输入分类器得到的分类结果存在类概率域偏移。对所述检测特征图进行特征子空间一致性强化从而处理空间异质性和不均匀性，以获得更准确和可靠的分类结果。

对所述检测特征图进行特征子空间一致性强化以得到所述优化检测特征图，包括：对所述检测特征图进行均匀块状切分以得到多个分类块状特征图；对所述多个分类块状特征图分别进行全局均值池化以得到多个分类子块全局语义特征向量；对所述检测特征图的沿通道维度的全局均值池化以得到分类全局语义重心特征向量；计算所述多个分类子块全局语义特征向量中各个分类子块全局语义特征向量与所述分类全局语义重心特征向量之间的转移矩阵，并分别计算所述转移矩阵的全局均值以得到多个类空间类别转移特征值；对所述多个类空间类别转移特征值进行基于最大值的归一化处理以得到多个归一化类空间类别转移特征值；以所述多个归一化类空间类别转移特征值作为权重值分别对所述多个分类块状特征图进行加权以得到多个加权后分类块状特征图；将所述多个加权后分类块状特征图进行拼接以得到所述优化检测特征图。

这里，对所述检测特征图进行空间域块状切分以得到多个分类块状特征图，接着对所述多个分类块状特征图分别进行全局均值池化以得到多个分类子块全局语义特征向量。接着，以所述多个分类子块全局语义特征向量中各个分类子块全局语义特征向量与所述检测特征图的沿通道维度的全局均值池化特征向量(即，所述分类全局语义重心特征向量)之间的转移矩阵的全局均值来表示所述各个分类块状特征图在其特征空间域中特征分布空间一致性和偏移性。进而，以所述多个类空间类别转移特征值的归一化结果来对所述多个分类块状特征图进行加权以对所述所述检测特征图的各个局部特征图进行基于空间分布一致性的特征分布校正，以此来提升所述检测特征图的特征表达的结构合理性和鲁棒性。

具体地，在本申请实施例中，所述优化模块150，包括：块状划分单元，用于对所述检测特征图进行均匀块状切分以得到多个分类块状特征图；全局均值池化单元，用于对所述多个分类块状特征图分别进行全局均值池化以得到多个分类子块全局语义特征向量；语义重心单元，用于对所述检测特征图的沿通道维度的全局均值池化以得到分类全局语义重心特征向量；类空间类别单元，用于计算所述多个分类子块全局语义特征向量中各个分类子块全局语义特征向量与所述分类全局语义重心特征向量之间的转移矩阵，并分别计算所述转移矩阵的全局均值以得到多个类空间类别转移特征值；最大值归一化单元，用于对所述多个类空间类别转移特征值进行基于最大值的归一化处理以得到多个归一化类空间类别转移特征值；加权单元，用于以所述多个归一化类空间类别转移特征值作为权重值分别对所述多个分类块状特征图进行加权以得到多个加权后分类块状特征图；以及拼接单元，用于将所述多个加权后分类块状特征图进行拼接以得到所述优化检测特征图。

在上述的玻璃瓶的在线图像检测系统100中，所述检测结果生成模块160，用于将所述优化检测特征图通过分类器以得到分类结果，所述分类结果用于表示玻璃瓶的质量是否合格。通过将优化检测特征图通过分类器进行分类，可以实现自动化的玻璃瓶质量检测。这样可以提高检测的准确性和效率，减少人工判断的主观性，并且可以在大规模生产中快速筛选出不合格的玻璃瓶，从而提高产品质量和生产效率。

具体地，在本申请实施例中，所述结果生成模块150，用于：使用所述分类器以如下分类公式对所述优化检测特征图进行处理以生成分类结果；其中，所述分类公式为：

O＝softmax{(W_n,B_n):…:(W₁,B₁)|Project(F)}

其中，Project(F)表示将所述优化检测特征图投影为向量，W₁至W_n为各层全连接层的权重矩阵，B₁至B_n表示各层全连接层的偏置向量。

综上，根据本申请实施例的玻璃瓶的在线图像检测系统已被阐明，其使用基于深度神经网络模型的人工智能技术来智能地对玻璃瓶拍摄图像进行特征编码与提取，以得到更为精准的用于表示玻璃瓶的质量是否合格的分类标签。这样，智能检测玻璃瓶是否存在缺陷，提高了检测速度，降低了人力成本。

示例性方法

图4图示了根据本申请实施例的玻璃瓶的在线图像检测方法的流程图。如图4所示，根据本申请实施例的所述玻璃瓶的在线图像检测方法，包括步骤：S110，获取玻璃瓶拍摄图像；S120，将所述玻璃瓶拍摄图像进行灰度转化以得到玻璃灰度图像；S130，对所述玻璃灰度图像进行直方图均衡化预处理和CLAHE校正颜色以得到增强玻璃检测图像；S140，将所述增强玻璃检测图像通过混合卷积层以得到检测特征图；S150,对所述检测特征图进行特征子空间一致性强化以得到所述优化检测特征图；S160，将所述优化检测特征图通过分类器以得到分类结果，所述分类结果用于表示玻璃瓶的质量是否合格。

这里，本领域技术人员可以理解，上述玻璃瓶的在线图像检测方法中的各个步骤的具体操作已经在上面参考图1到图3的玻璃瓶的在线图像检测系统的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本申请实施例的玻璃瓶的在线图像检测系统100可以实现在各种终端设备中，例如玻璃瓶的在线图像检测服务器等。在一个示例中，根据本申请实施例的玻璃瓶的在线图像检测系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该玻璃瓶的在线图像检测系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该玻璃瓶的在线图像检测系统100同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该玻璃瓶的在线图像检测系统100与该终端设备也可以是分立的设备，并且该玻璃瓶的在线图像检测系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

综上，根据本申请实施例的玻璃瓶的在线图像检测方法已被阐明，其使用基于深度神经网络模型的人工智能技术来智能地对玻璃瓶拍摄图像进行特征编码与提取，以得到更为精准的用于表示玻璃瓶的质量是否合格的分类标签。这样，智能检测玻璃瓶是否存在缺陷，提高了检测速度，降低了人力成本。

示例性电子设备

下面，参考图5来描述根据本申请实施例的电子设备。图5为根据本申请实施例的电子设备的框图。如图5所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的玻璃瓶的在线图像检测方法中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如玻璃瓶拍摄图像等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置13可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括玻璃瓶的质量是否合格等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图5中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的玻璃瓶的在线图像检测方法中的功能中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的玻璃瓶的在线图像检测方法中的功能中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种玻璃瓶的在线图像检测系统，其特征在于，包括：

图像采集模块，用于获取玻璃瓶拍摄图像；

灰度转化图像，用于将所述玻璃瓶拍摄图像进行灰度转化以得到玻璃灰度图像；

颜色校正模块，用于对所述玻璃灰度图像进行直方图均衡化预处理和CLAHE校正颜色以得到增强玻璃检测图像；

混合卷积模块，用于将所述增强玻璃检测图像通过混合卷积层以得到检测特征图；

优化模块，用于对所述检测特征图进行特征子空间一致性强化以得到所述优化检测特征图；

检测结果生成模块，用于将所述优化检测特征图通过分类器以得到分类结果，所述分类结果用于表示玻璃瓶的质量是否合格。

2.根据权利要求1所述的玻璃瓶的在线图像检测系统，其特征在于，所述颜色校正模块，包括：

预处理单元，用于对所述玻璃灰度图像进行直方图均衡化预处理以将所述玻璃灰度图像通过变换函数映射为灰度分布均匀的图像以得到预处理后图像；

颜色校正单元，用于对所述预处理后图像进行CLAHE校正颜色以得到所述增强玻璃检测图像。

3.根据权利要求2所述的玻璃瓶的在线图像检测系统，其特征在于，所述混合卷积模块，包括：

特征提取单元，用于将所述增强玻璃检测图像通过作为特征提取器的卷积神经网络模型以得到初始特征图；

混合卷积单元，用于将所述初始特征图输入所述混合卷积层以得到所述检测特征图。

4.根据权利要求3所述的玻璃瓶的在线图像检测系统，其特征在于，所述特征提取单元，用于：

使用所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：

对输入数据进行卷积处理以得到卷积特征图；

对所述卷积特征图进行沿通道维度的池化以得到池化特征图；

对所述池化特征图进行非线性激活以得到激活特征图；

其中，所述作为特征提取器的卷积神经网络的最后一层的输出为所述初始特征图，所述作为特征提取器的卷积神经网络的第一层的输入为所述增强玻璃检测图像。

5.根据权利要求4所述的玻璃瓶的在线图像检测系统，其特征在于，所述混合卷积单元，包括：

第一卷积子单元，用于将所述初始特征图输入所述混合卷积层的第一卷积层以得到第一尺度特征图，其中，所述第一卷积层使用具有第一尺寸的第一卷积核；

第二卷积子单元，用于将所述初始特征图输入所述混合卷积层的第二卷积层以得到第二尺度特征图，其中，所述第二卷积层使用具有第一空洞率的第一空洞卷积核；

第三卷积子单元，用于将所述初始特征图输入所述混合卷积层的第三卷积层以得到第三尺度特征图，其中，所述第三卷积层使用具有第二空洞率的第二空洞卷积核；

第四卷积子单元，用于将所述初始特征图输入所述混合卷积层的第四卷积层以得到第四尺度特征图，其中，所述第四卷积层使用具有第三空洞率的第三空洞卷积核；

融合子单元，用于融合所述第一尺度特征图、所述第二尺度特征图、所述第三尺度特征图和所述第四尺度特征图以得到所述检测特征图。

6.根据权利要求5所述的玻璃瓶的在线图像检测系统，其特征在于，所述第一空洞率、所述第二空洞率和所述第三空洞率相互不等,所述第一空洞卷积核、所述第二空洞卷积核和所述第三空洞卷积核具有相同的第二尺寸，且所述第二尺寸等于所述第一卷积核的第一尺寸。

7.根据权利要求6所述的玻璃瓶的在线图像检测系统，其特征在于，所述优化模块，包括：

块状划分单元，用于对所述检测特征图进行均匀块状切分以得到多个分类块状特征图；

全局均值池化单元，用于对所述多个分类块状特征图分别进行全局均值池化以得到多个分类子块全局语义特征向量；

语义重心单元，用于对所述检测特征图的沿通道维度的全局均值池化以得到分类全局语义重心特征向量；

类空间类别单元，用于计算所述多个分类子块全局语义特征向量中各个分类子块全局语义特征向量与所述分类全局语义重心特征向量之间的转移矩阵，并分别计算所述转移矩阵的全局均值以得到多个类空间类别转移特征值；

最大值归一化单元，用于对所述多个类空间类别转移特征值进行基于最大值的归一化处理以得到多个归一化类空间类别转移特征值；

加权单元，用于以所述多个归一化类空间类别转移特征值作为权重值分别对所述多个分类块状特征图进行加权以得到多个加权后分类块状特征图；

拼接单元，用于将所述多个加权后分类块状特征图进行拼接以得到所述优化检测特征图。

8.根据权利要求7所述的玻璃瓶的在线图像检测系统，其特征在于，所述结果生成模块，用于：

使用所述分类器以如下分类公式对所述优化检测特征图进行处理以生成分类结果；

其中，所述分类公式为：

O＝softmax{(W_n,B_n):…:(W₁,B₁)|Project(F)}

其中，Project(F)表示将所述优化检测特征图投影为向量，W₁至W_n为各层全连接层的权重矩阵，B₁至B_n表示各层全连接层的偏置向量。

9.一种玻璃瓶的在线图像检测方法，其特征在于，包括：

获取玻璃瓶拍摄图像；

将所述玻璃瓶拍摄图像进行灰度转化以得到玻璃灰度图像；

对所述玻璃灰度图像进行直方图均衡化预处理和CLAHE校正颜色以得到增强玻璃检测图像；

将所述增强玻璃检测图像通过混合卷积层以得到检测特征图；

对所述检测特征图进行特征子空间一致性强化以得到所述优化检测特征图；

将所述优化检测特征图通过分类器以得到分类结果，所述分类结果用于表示玻璃瓶的质量是否合格。

10.根据权利要求9所述的玻璃瓶的在线图像检测方法，其特征在于，将所述优化检测特征图通过分类器以得到分类结果，所述分类结果用于表示玻璃瓶的质量是否合格，包括：

使用所述分类器以如下分类公式对所述优化检测特征图进行处理以生成分类结果；

其中，所述分类公式为：

O＝softmax{(W_n,B_n):…:(W₁,B₁)|Project(F)}

其中，Project(F)表示将所述优化检测特征图投影为向量，W₁至W_n为各层全连接层的权重矩阵，B₁至B_n表示各层全连接层的偏置向量。