发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种液态PET瓶装饮品吹洗灌旋一体机及其方法,其采用基于深度学习的人工智能检测技术,以通过卷积神经网络模型来挖掘液态PET瓶的冲洗后图像和参考图像中关于液态PET瓶的冲洗后洁净度的高维隐含特征信息,并将两者进行对比来进行冲洗后洁净度的质量检测判断,从而避免后续灌装过程中出现水质污染,保证液态PET瓶装饮品的灌装质量。
相应地,根据本申请的一个方面,提供了一种液态PET瓶装饮品吹洗灌旋一体机,其包括:
图像数据采集模块,用于获取待检测液态PET瓶的冲洗后图像;
参考图像采集模块,用于获取参考图像,所述参考图像为洁净度符合预定标准的液态PET瓶的冲洗后图像,所述参考图像和所述待检测液态PET瓶的冲洗后图像具有相同的图像尺寸;
分块处理模块,用于对所述待检测液态PET瓶的冲洗后图像和所述参考图像进行图像分块处理以得到检测图像块序列和参考图像块序列;
图像特征提取模块,用于将所述检测图像块序列中的各个图像块和所述参考图像块序列中的各个图像块分别通过作为过滤器的卷积神经网络模型以得到多个检测图像块特征向量和多个参考图像块特征向量;
优化模块,用于基于所述检测图像块序列和所述参考图像块序列,对所述多个检测图像块特征向量和所述多个参考图像块特征向量进行特征值区分度强化以得到多个优化检测图像块特征向量和多个优化参考图像块特征向量;
差异性特征提取模块,用于计算所述多个优化检测图像块特征向量和所述多个优化参考图像块特征向量中每一对优化检测图像块特征向量和优化参考图像块特征向量之间的余弦距离值以得到由多个余弦距离值组成的分类特征向量;以及
洁净度结果检测模块,用于将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示待检测液态PET瓶的冲洗后洁净度是否符合预定标准。
在上述液态PET瓶装饮品吹洗灌旋一体机中,所述分块处理模块,进一步用于:对所述待检测液态PET瓶的冲洗后图像和所述参考图像进行均匀分块处理以得到所述检测图像块序列和所述参考图像块序列。
在上述液态PET瓶装饮品吹洗灌旋一体机中,所述图像特征提取模块,进一步用于:使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别进行:对输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图;以及,对所述池化特征图进行非线性激活以得到激活特征图;其中,所述作为过滤器的卷积神经网络模型的最后一层的输出为所述检测图像块特征向量或参考图像块特征向量,所述作为过滤器的卷积神经网络模型的第一层的输入为所述检测图像块序列中的各个图像块或所述参考图像块序列中的各个图像块。
在上述液态PET瓶装饮品吹洗灌旋一体机中,所述优化模块,包括:加权特征提取单元,用于将所述检测图像块序列和所述参考图像块序列中的各个图像块分别通过非过滤特征提取的卷积神经网络模型以得到多个图像块特征图;区分单元,用于对所述多个图像块特征图中的每个图像块特征图进行特征相关性累积区分机制建模以得到多个加权特征向量;以及,加权优化单元,用于将所述多个加权特征向量分别与所述多个检测图像块特征向量和所述多个参考图像块特征向量进行点乘以得到所述多个优化检测图像块特征向量和所述多个优化参考图像块特征向量。
在上述液态PET瓶装饮品吹洗灌旋一体机中,所述加权特征提取单元,进一步用于:使用所述非过滤特征提取的卷积神经网络模型的各层在层的正向传递中分别进行:对输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图;以及,对所述池化特征图进行非线性激活以得到激活特征图;其中,所述非过滤特征提取的卷积神经网络模型的最后一层的输出为所述图像块特征图,所述非过滤特征提取的卷积神经网络模型的第一层的输入为所述检测图像块序列或所述参考图像块序列中的各个图像块。
在上述液态PET瓶装饮品吹洗灌旋一体机中,所述区分单元,进一步用于:以如下公式对所述多个图像块特征图中的每个图像块特征图进行特征相关性累积区分机制建模以得到所述多个加权特征向量;其中,所述公式为:
其中Fi表示所述多个图像块特征图中的每个图像块特征图,cov1(·)和cov2(·)分别表示对特征图进行基于不同卷积核的单层卷积操作,ReLU(·)表示ReLU激活函数,Sigmoid(·)表示Sigmoid激活函数,且GAP表示对特征图的每个特征矩阵进行全局池化操作,⊕表示按位置加法,Vi表示所述多个加权特征向量中的各个加权特征向量。
在上述液态PET瓶装饮品吹洗灌旋一体机中,所述加权优化单元,进一步用于:以如下公式将所述多个加权特征向量分别与所述多个检测图像块特征向量和所述多个参考图像块特征向量进行点乘以得到所述多个优化检测图像块特征向量和所述多个优化参考图像块特征向量;其中,所述公式为:
V′b=Va⊙Vb
V′c=Va⊙Vc
其中Va表示各个加权特征向量,Vb表示各个检测图像块特征向量,Vc表示各个参考图像块特征向量,Vb和Vc分别表示各个优化检测图像块特征向量和各个优化参考图像块特征向量,⊙表示按位置点乘。
在上述液态PET瓶装饮品吹洗灌旋一体机中,所述差异性特征提取模块,进一步用于:以如下公式来计算所述多个优化检测图像块特征向量和所述多个优化参考图像块特征向量中每一对优化检测图像块特征向量和优化参考图像块特征向量之间的余弦距离值以得到由多个余弦距离值组成的分类特征向量;其中,所述公式为:
其中V1和V2分别表示所述多个优化检测图像块特征向量和所述多个优化参考图像块特征向量中每一对优化检测图像块特征向量和优化参考图像块特征向量,V1k和V2k分别表示所述每一对优化检测图像块特征向量和优化参考图像块特征向量的各个位置的特征值,cos(V1,V2)表示所述多个余弦距离值。
在上述液态PET瓶装饮品吹洗灌旋一体机中,所述洁净度结果检测模块,包括:概率化单元,用于将所述分类特征向量输入所述分类器的Softmax分类函数以得到所述分类特征向量归属于各个分类标签的概率值;以及,分类结果生成单元,用于将最大概率值对应的分类标签确定为所述分类结果。
根据本申请的另一方面,还提供了一种液态PET瓶装饮品吹洗灌旋一体机的运行方法,其包括:
获取待检测液态PET瓶的冲洗后图像;
获取参考图像,所述参考图像为洁净度符合预定标准的液态PET瓶的冲洗后图像,所述参考图像和所述待检测液态PET瓶的冲洗后图像具有相同的图像尺寸;
对所述待检测液态PET瓶的冲洗后图像和所述参考图像进行图像分块处理以得到检测图像块序列和参考图像块序列;
将所述检测图像块序列中的各个图像块和所述参考图像块序列中的各个图像块分别通过作为过滤器的卷积神经网络模型以得到多个检测图像块特征向量和多个参考图像块特征向量;
基于所述检测图像块序列和所述参考图像块序列,对所述多个检测图像块特征向量和所述多个参考图像块特征向量进行特征值区分度强化以得到多个优化检测图像块特征向量和多个优化参考图像块特征向量;
计算所述多个优化检测图像块特征向量和所述多个优化参考图像块特征向量中每一对优化检测图像块特征向量和优化参考图像块特征向量之间的余弦距离值以得到由多个余弦距离值组成的分类特征向量;以及
将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示待检测液态PET瓶的冲洗后洁净度是否符合预定标准。
与现有技术相比,本申请提供的液态PET瓶装饮品吹洗灌旋一体机及其方法,其采用基于深度学习的人工智能检测技术,以通过卷积神经网络模型来挖掘液态PET瓶的冲洗后图像和参考图像中关于液态PET瓶的冲洗后洁净度的高维隐含特征信息,并将两者进行对比来进行冲洗后洁净度的质量检测判断,从而避免后续灌装过程中出现水质污染,保证液态PET瓶装饮品的灌装质量。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
申请概述
如上所述,在液态PET瓶装饮品吹洗灌旋一体机的工序执行过程中,在线冲洗环节尤为关键,如果在线冲洗的质量无法满足预定要求,后续灌装过程中会出现水质污染,而在线旋盖也没有任何执行的必要性。因此,期待一种智能化的液态PET瓶装饮品吹洗灌旋一体机,其能够对在线冲洗的质量进行判断以确保冲洗后的洁净度。
相应地,考虑到在实际进行在线冲洗质量检测的过程中,可以基于液态PET瓶的冲洗后图像和洁净度符合预定标准的液态PET瓶的冲洗后图像进行对比来进行冲洗后洁净度的质量检测判断。但是,考虑到由于液态PET瓶的冲洗后图像中存在有大量的数据信息,难以对于图像数据中关于液态PET瓶的冲洗后洁净度隐含特征信息进行有效地捕捉提取,进而降低了对于液态PET瓶的冲洗后洁净度的质量判断精准度。因此,在此过程中,难点在于如何充分且准确地挖掘出所述液态PET瓶的冲洗后图像和标准参考图像中的差异性隐含特征分布信息,以此来准确地对于液态PET瓶的冲洗后洁净度进行判断,从而避免后续灌装过程中出现水质污染,保证液态PET瓶装饮品的灌装质量。
近年来,深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外,深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域,也展现出了接近甚至超越人类的水平。
深度学习以及神经网络的发展为挖掘所述液态PET瓶的冲洗后图像和标准参考图像中的差异性隐含特征分布信息提供了新的解决思路和方案。
具体地,在本申请的技术方案中,首先,通过摄像头获取待检测液态PET瓶的冲洗后图像,以及获取参考图像,所述参考图像为洁净度符合预定标准的液态PET瓶的冲洗后图像,特别地,这里,所述参考图像和所述待检测液态PET瓶的冲洗后图像具有相同的图像尺寸。
接着,考虑到在实际进行液态PET瓶的冲洗后的洁净度质量检测判断的过程中,由于所述液态PET瓶的冲洗后的图像中存在有较多的信息量,而关于所述液态PET瓶的冲洗后洁净度质量特征信息在图像中为小尺度特征信息,难以进行捕捉提取。因此,在本申请的技术方案中,对所述待检测液态PET瓶的冲洗后图像和所述参考图像进行图像分块处理以得到检测图像块序列和参考图像块序列。相应地,在本申请的一个具体示例中,可以对所述待检测液态PET瓶的冲洗后图像和所述参考图像进行均匀图像分块处理,以便于后续更精准地检测出液态PET瓶的冲洗后图像中的小尺寸洁净度质量特征信息,从而得到所述检测图像块序列和所述参考图像块序列,这里,所述检测图像块序列和所述参考图像块序列中各个图像块具有相同的尺寸。应可以理解,在通过图像分块处理后,所述检测图像块序列和所述参考图像块序列中的各个图像块的尺度相较于原图像被缩减,因此,所述待检测液态PET瓶的冲洗后图像和所述参考图像中关于小尺度的洁净度质量特征在所述图像块中不再是小尺寸对象,以便于提高对于液态PET瓶的冲洗后洁净度的质量检测的精准度。
然后,使用在图像局部隐含特征提取方面具有优异表现的作为过滤器的卷积神经网络模型来分别进行所述检测图像块序列中的各个图像块和所述参考图像块序列中的各个图像块的特征挖掘,以分别提取出所述各个图像块中关于液态PET瓶的冲洗后洁净度的质量隐含特征信息,从而得到多个检测图像块特征向量和多个参考图像块特征向量。值得一提的是,这里,所述作为过滤器的卷积神经网络模型为深度残差网络模型。
进一步地,考虑到由于液态PET瓶的冲洗后洁净度特征在图像中属于小尺度特征信息,并且其在图像的隐含特征中难以进行提取,而又考虑到在所述各个图像块中关于液态PET瓶的冲洗后洁净度的质量特征具有显著性。因此,为了提高对于所述液态PET瓶的冲洗后洁净度检测的精准度,在本申请的技术方案中,进一步计算所述多个检测图像块特征向量和所述多个参考图像块特征向量中每一对检测图像块特征向量和参考图像块特征向量之间的余弦距离值以得到由多个余弦距离值组成的分类特征向量,以此来表达所述待检测液态PET瓶的冲洗后图像的各个图像块和所述参考图像的各个图像块之间的差异性特征信息,进而以此差异性特征信息进行整合来对于所述待检测液态PET瓶的冲洗后洁净度的质量进行检测判断,从而提高检测的精准度。
接着,进一步再将所述分类特征向量通过分类器中进行分类处理,以得到用于表示待检测液态PET瓶的冲洗后洁净度是否符合预定标准的分类结果。
也就是,在本申请的技术方案中,所述分类器的标签包括所述待检测液态PET瓶的冲洗后洁净度符合预定标准,以及,所述待检测液态PET瓶的冲洗后洁净度不符合预定标准,其中,所述分类器通过软最大值函数来确定所述分类特征向量属于哪个分类标签。应可以理解,在本申请的技术方案中,所述分类器的分类标签为PET瓶的冲洗后洁净度是否符合预定标准的判断标签,因此,在得到所述分类结果后,可基于所述分类结果来对于液态PET瓶的冲洗后洁净度的质量进行准确检测判断,以避免后续灌装过程中出现水质污染。
特别地,这里,在将所述检测图像块序列中的各个图像块和所述参考图像块序列中的各个图像块分别通过作为过滤器的卷积神经网络模型得到所述多个检测图像块特征向量和所述多个参考图像块特征向量时,期望提高作为过滤器的卷积神经网络模型对图像块的特征提取效果,从而提升所述多个检测图像块特征向量和所述多个参考图像块特征向量各自的特征表达能力,从而增强计算所述多个检测图像块特征向量和所述多个参考图像块特征向量中每一对检测图像块特征向量和参考图像块特征向量之间的余弦距离值的准确性,最终提高得到的所述分类特征向量的分类结果的准确性。
本申请的申请人考虑到每个图像块特征向量的特征值都表达作为过滤器的卷积神经网络模型沿通道维度提取的特征的置信度,因此,如果能够对所述图像块特征向量的各个位置的特征值进行适当的加权以区分每个图像块特征向量的各个位置的特征值的重要性,则显然能够提升每个图像块特征向量的特征表达能力。
基于此,在本申请的技术方案中,对于所述检测图像块序列中的各个图像块和所述参考图像块序列中的各个图像块中的每个图像块,分别将其通过非过滤特征提取的卷积神经网络模型以得到多个图像块特征图,例如每个图像块特征图记为Fi,再对所述多个图像块特征图中的每个图像块特征图Fi进行特征相关性累积区分机制建模以获得多个加权特征向量,例如每个加权特征向量记为Vi,Vi表示为:
其中,cov1(·)和cov2(·)分别表示对特征图进行基于不同卷积核的单层卷积操作,且GAP表示对所述特征图的每个特征矩阵的全局池化操作。
这里,所述特征相关性累积区分机制建模首先通过卷积操作来生成特征图的两种新的局部关联单元,再利用Sigmoid函数和ReLU函数对局部关联特征进行类似神经网络架构的简单的嵌入、复位和更新,之后通过全局平均池化操作来累积局部特征相对于整体特征的相关性,从而使用特征区分机制来显式地建模特征重要性序列,就可以基于特征图的各个特征矩阵的特征累积区分机制来确定通道维度下适当的加权因数。这样,通过以所述每个加权特征向量Vi分别对所述多个检测图像块特征向量和所述多个参考图像块特征向量中的每个图像块特征向量进行点乘,就可以使得优化后的图像块特征向量能够区分各个位置的特征值的重要性,从而提升其特征表达能力。由此,也就增强了计算所述多个检测图像块特征向量和所述多个参考图像块特征向量中每一对检测图像块特征向量和参考图像块特征向量之间的余弦距离值的准确性,最终提高得到的所述分类特征向量的分类结果的准确性。这样,能够准确地对于液态PET瓶的冲洗后洁净度进行判断,从而避免后续灌装过程中出现水质污染,以保证液态PET瓶装饮品的灌装质量。
图1为根据本申请实施例的液态PET瓶装饮品吹洗灌旋一体机的应用场景图。如图1所示,在该应用场景中,首先由摄像头(例如,如图1中所示意的C)获取待检测液态PET瓶(例如,如图1中所示意的B)的冲洗后图像,并获取参考图像,所述参考图像为洁净度符合预定标准的液态PET瓶的冲洗后图像,且为预先存储的计算机资料。进而,将所述待检测液态PET瓶的冲洗后图像和所述参考图像输入至所述液态PET瓶装饮品吹洗灌旋一体机(例如,如图1所示意的M)的数据处理器(例如,如图1所示意的P)中,其中,所述数据处理器能够基于预定算法对所述待检测液态PET瓶的冲洗后图像和所述参考图像进行处理,以得到用于表示待检测液态PET瓶的冲洗后洁净度是否符合预定标准的分类结果。
在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图2为根据本申请实施例的液态PET瓶装饮品吹洗灌旋一体机的框图。如图2所示,根据本申请实施例的液态PET瓶装饮品吹洗灌旋一体机100,包括:图像数据采集模块110,用于获取待检测液态PET瓶的冲洗后图像;参考图像采集模块120,用于获取参考图像,所述参考图像为洁净度符合预定标准的液态PET瓶的冲洗后图像,所述参考图像和所述待检测液态PET瓶的冲洗后图像具有相同的图像尺寸;分块处理模块130,用于对所述待检测液态PET瓶的冲洗后图像和所述参考图像进行图像分块处理以得到检测图像块序列和参考图像块序列;图像特征提取模块140,用于将所述检测图像块序列中的各个图像块和所述参考图像块序列中的各个图像块分别通过作为过滤器的卷积神经网络模型以得到多个检测图像块特征向量和多个参考图像块特征向量;优化模块150,用于基于所述检测图像块序列和所述参考图像块序列,对所述多个检测图像块特征向量和所述多个参考图像块特征向量进行特征值区分度强化以得到多个优化检测图像块特征向量和多个优化参考图像块特征向量;差异性特征提取模块160,用于计算所述多个优化检测图像块特征向量和所述多个优化参考图像块特征向量中每一对优化检测图像块特征向量和优化参考图像块特征向量之间的余弦距离值以得到由多个余弦距离值组成的分类特征向量;以及,洁净度结果检测模块170,用于将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示待检测液态PET瓶的冲洗后洁净度是否符合预定标准。
图3为根据本申请实施例的液态PET瓶装饮品吹洗灌旋一体机的架构示意图。如图3所示,首先,获取待检测液态PET瓶的冲洗后图像,同时,获取参考图像,所述参考图像为洁净度符合预定标准的液态PET瓶的冲洗后图像,所述参考图像和所述待检测液态PET瓶的冲洗后图像具有相同的图像尺寸;接着,对所述待检测液态PET瓶的冲洗后图像和所述参考图像进行图像分块处理以得到检测图像块序列和参考图像块序列;然后,将所述检测图像块序列中的各个图像块和所述参考图像块序列中的各个图像块分别通过作为过滤器的卷积神经网络模型以得到多个检测图像块特征向量和多个参考图像块特征向量;继而,基于所述检测图像块序列和所述参考图像块序列,对所述多个检测图像块特征向量和所述多个参考图像块特征向量进行特征值区分度强化以得到多个优化检测图像块特征向量和多个优化参考图像块特征向量;随后,计算所述多个优化检测图像块特征向量和所述多个优化参考图像块特征向量中每一对优化检测图像块特征向量和优化参考图像块特征向量之间的余弦距离值以得到由多个余弦距离值组成的分类特征向量;最后,将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示待检测液态PET瓶的冲洗后洁净度是否符合预定标准。
如上所述,在液态PET瓶装饮品吹洗灌旋一体机的工序执行过程中,在线冲洗环节尤为关键,如果在线冲洗的质量无法满足预定要求,后续灌装过程中会出现水质污染,而在线旋盖也没有任何执行的必要性。因此,期待一种智能化的液态PET瓶装饮品吹洗灌旋一体机,其能够对在线冲洗的质量进行判断以确保冲洗后的洁净度。
相应地,考虑到在实际进行在线冲洗质量检测的过程中,可以基于液态PET瓶的冲洗后图像和洁净度符合预定标准的液态PET瓶的冲洗后图像进行对比来进行冲洗后洁净度的质量检测判断。但是,考虑到由于液态PET瓶的冲洗后图像中存在有大量的数据信息,难以对于图像数据中关于液态PET瓶的冲洗后洁净度隐含特征信息进行有效地捕捉提取,进而降低了对于液态PET瓶的冲洗后洁净度的质量判断精准度。因此,在此过程中,难点在于如何充分且准确地挖掘出所述液态PET瓶的冲洗后图像和标准参考图像中的差异性隐含特征分布信息,以此来准确地对于液态PET瓶的冲洗后洁净度进行判断,从而避免后续灌装过程中出现水质污染,保证液态PET瓶装饮品的灌装质量。
近年来,深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外,深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域,也展现出了接近甚至超越人类的水平。
深度学习以及神经网络的发展为挖掘所述液态PET瓶的冲洗后图像和标准参考图像中的差异性隐含特征分布信息提供了新的解决思路和方案。
在上述液态PET瓶装饮品吹洗灌旋一体机100中,所述图像数据采集模块110和所述参考图像采集模块120,用于获取待检测液态PET瓶的冲洗后图像,并获取参考图像,所述参考图像为洁净度符合预定标准的液态PET瓶的冲洗后图像,所述参考图像和所述待检测液态PET瓶的冲洗后图像具有相同的图像尺寸。其中,所述待检测液态PET瓶的冲洗后图像可以由摄像头来获取,所述参考图像可以提前存储于所述液态PET瓶装饮品吹洗灌旋一体机100中。
在上述液态PET瓶装饮品吹洗灌旋一体机100中,所述分块处理模块130,用于对所述待检测液态PET瓶的冲洗后图像和所述参考图像进行图像分块处理以得到检测图像块序列和参考图像块序列。考虑到在实际进行液态PET瓶的冲洗后的洁净度质量检测判断的过程中,由于所述液态PET瓶的冲洗后的图像中存在有较多的信息量,而关于所述液态PET瓶的冲洗后洁净度质量特征信息在图像中为小尺度特征信息,难以进行捕捉提取。因此,在本申请的技术方案中,对所述待检测液态PET瓶的冲洗后图像和所述参考图像进行图像分块处理以得到检测图像块序列和参考图像块序列。相应地,在本申请的一个具体示例中,可以对所述待检测液态PET瓶的冲洗后图像和所述参考图像进行均匀图像分块处理,以便于后续更精准地检测出液态PET瓶的冲洗后图像中的小尺寸洁净度质量特征信息,从而得到所述检测图像块序列和所述参考图像块序列,这里,所述检测图像块序列和所述参考图像块序列中各个图像块具有相同的尺寸。应可以理解,在通过图像分块处理后,所述检测图像块序列和所述参考图像块序列中的各个图像块的尺度相较于原图像被缩减,因此,所述待检测液态PET瓶的冲洗后图像和所述参考图像中关于小尺度的洁净度质量特征在所述图像块中不再是小尺寸对象,以便于提高对于液态PET瓶的冲洗后洁净度的质量检测的精准度。
在上述液态PET瓶装饮品吹洗灌旋一体机100中,所述图像特征提取模块140,用于将所述检测图像块序列中的各个图像块和所述参考图像块序列中的各个图像块分别通过作为过滤器的卷积神经网络模型以得到多个检测图像块特征向量和多个参考图像块特征向量。也就是,使用在图像局部隐含特征提取方面具有优异表现的作为过滤器的卷积神经网络模型来分别进行所述检测图像块序列中的各个图像块和所述参考图像块序列中的各个图像块的特征挖掘,以分别提取出所述各个图像块中关于液态PET瓶的冲洗后洁净度的质量隐含特征信息,从而得到多个检测图像块特征向量和多个参考图像块特征向量。
值得一提的是,这里,所述作为过滤器的卷积神经网络模型为深度残差网络模型。本领域的普通技术人员应当了解,AlexNet、VGG、GoogLeNet等网络模型的出现将神经网络的发展带入了几十层的阶段,网络的层数越深,越有可能获得更好的泛化能力。但是当模型加深以后,网络变得越来越难训练,这主要是由于梯度弥散和梯度爆炸现象造成的。在较深层数的神经网络中,梯度信息由网络的末层逐层传向网络的首层时,传递的过程中会出现梯度接近于0或梯度值非常大的现象。既然浅层神经网络不容易出现梯度现象,那么可以尝试给深层神经网络添加一种回退到浅层神经网络的机制。当深层神经网络可以轻松地回退到浅层神经网络时,深层神经网络可以获得与浅层神经网络相当的模型性能。由此,提出了深度残差网络(Residual Neural Network,简称ResNet)模型,其通过在输入和输出之间添加一条直接连接的Skip Connection可以让神经网络具有回退的能力。
具体地,在本申请实施例中,所述图像特征提取模块140的编码过程,包括:使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别进行:对输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图;以及,对所述池化特征图进行非线性激活以得到激活特征图;其中,所述作为过滤器的卷积神经网络模型的最后一层的输出为所述检测图像块特征向量或参考图像块特征向量,所述作为过滤器的卷积神经网络模型的第一层的输入为所述检测图像块序列中的各个图像块或所述参考图像块序列中的各个图像块。
在上述液态PET瓶装饮品吹洗灌旋一体机100中,所述优化模块150,用于基于所述检测图像块序列和所述参考图像块序列,对所述多个检测图像块特征向量和所述多个参考图像块特征向量进行特征值区分度强化以得到多个优化检测图像块特征向量和多个优化参考图像块特征向量。特别地,这里,在将所述检测图像块序列中的各个图像块和所述参考图像块序列中的各个图像块分别通过作为过滤器的卷积神经网络模型得到所述多个检测图像块特征向量和所述多个参考图像块特征向量时,期望提高作为过滤器的卷积神经网络模型对图像块的特征提取效果,从而提升所述多个检测图像块特征向量和所述多个参考图像块特征向量各自的特征表达能力,从而增强计算所述多个检测图像块特征向量和所述多个参考图像块特征向量中每一对检测图像块特征向量和参考图像块特征向量之间的余弦距离值的准确性,最终提高得到的所述分类特征向量的分类结果的准确性。
本申请的申请人考虑到每个图像块特征向量的特征值都表达作为过滤器的卷积神经网络模型沿通道维度提取的特征的置信度,因此,如果能够对所述图像块特征向量的各个位置的特征值进行适当的加权以区分每个图像块特征向量的各个位置的特征值的重要性,则显然能够提升每个图像块特征向量的特征表达能力。
基于此,在本申请的技术方案中,对于所述检测图像块序列中的各个图像块和所述参考图像块序列中的各个图像块中的每个图像块,分别将其通过非过滤特征提取的卷积神经网络模型以得到多个图像块特征图,例如每个图像块特征图记为Fi,再对所述多个图像块特征图中的每个图像块特征图Fi进行特征相关性累积区分机制建模以获得多个加权特征向量,例如每个加权特征向量记为Vi,Vi表示为:
其中Fi表示所述多个图像块特征图中的每个图像块特征图,cov1(·)和cov2(·)分别表示对特征图进行基于不同卷积核的单层卷积操作,ReLU(·)表示ReLU激活函数,Sigmoid(·)表示Sigmoid激活函数,且GAP表示对特征图的每个特征矩阵进行全局池化操作,表示按位置加法,Vi表示所述多个加权特征向量中的各个加权特征向量。
这里,所述特征相关性累积区分机制建模首先通过卷积操作来生成特征图的两种新的局部关联单元,再利用Sigmoid函数和ReLU函数对局部关联特征进行类似神经网络架构的简单的嵌入、复位和更新,之后通过全局平均池化操作来累积局部特征相对于整体特征的相关性,从而使用特征区分机制来显式地建模特征重要性序列,就可以基于特征图的各个特征矩阵的特征累积区分机制来确定通道维度下适当的加权因数。这样,通过以所述每个加权特征向量Vi分别对所述多个检测图像块特征向量和所述多个参考图像块特征向量中的每个图像块特征向量进行点乘,就可以使得优化后的图像块特征向量能够区分各个位置的特征值的重要性,从而提升其特征表达能力。由此,也就增强了计算所述多个检测图像块特征向量和所述多个参考图像块特征向量中每一对检测图像块特征向量和参考图像块特征向量之间的余弦距离值的准确性,最终提高得到的所述分类特征向量的分类结果的准确性。这样,能够准确地对于液态PET瓶的冲洗后洁净度进行判断,从而避免后续灌装过程中出现水质污染,以保证液态PET瓶装饮品的灌装质量。
图4为根据本申请实施例的液态PET瓶装饮品吹洗灌旋一体机中优化模块的框图。如图4所示,所述优化模块150,包括:加权特征提取单元151,用于将所述检测图像块序列和所述参考图像块序列中的各个图像块分别通过非过滤特征提取的卷积神经网络模型以得到多个图像块特征图;区分单元152,用于对所述多个图像块特征图中的每个图像块特征图进行特征相关性累积区分机制建模以得到多个加权特征向量;以及,加权优化单元153,用于将所述多个加权特征向量分别与所述多个检测图像块特征向量和所述多个参考图像块特征向量进行点乘以得到所述多个优化检测图像块特征向量和所述多个优化参考图像块特征向量。
具体地,在本申请实施例中,所述加权特征提取单元151,进一步用于:使用所述非过滤特征提取的卷积神经网络模型的各层在层的正向传递中分别进行:对输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图;以及,对所述池化特征图进行非线性激活以得到激活特征图;其中,所述非过滤特征提取的卷积神经网络模型的最后一层的输出为所述图像块特征图,所述非过滤特征提取的卷积神经网络模型的第一层的输入为所述检测图像块序列或所述参考图像块序列中的各个图像块。
具体地,在本申请实施例中,所述加权优化单元153,进一步用于:以如下公式将所述多个加权特征向量分别与所述多个检测图像块特征向量和所述多个参考图像块特征向量进行点乘以得到所述多个优化检测图像块特征向量和所述多个优化参考图像块特征向量;其中,所述公式为:
Vb=Va⊙Vb
Vc=Va⊙Vc
其中Va表示各个加权特征向量,Vb表示各个检测图像块特征向量,Vc表示各个参考图像块特征向量,Vb和Vc分别表示各个优化检测图像块特征向量和各个优化参考图像块特征向量,⊙表示按位置点乘。
在上述液态PET瓶装饮品吹洗灌旋一体机100中,所述差异性特征提取模块160,用于计算所述多个优化检测图像块特征向量和所述多个优化参考图像块特征向量中每一对优化检测图像块特征向量和优化参考图像块特征向量之间的余弦距离值以得到由多个余弦距离值组成的分类特征向量。考虑到由于液态PET瓶的冲洗后洁净度特征在图像中属于小尺度特征信息,并且其在图像的隐含特征中难以进行提取,而又考虑到在所述各个图像块中关于液态PET瓶的冲洗后洁净度的质量特征具有显著性。因此,为了提高对于所述液态PET瓶的冲洗后洁净度检测的精准度,在本申请的技术方案中,进一步计算所述多个优化检测图像块特征向量和所述多个优化参考图像块特征向量中每一对优化检测图像块特征向量和优化参考图像块特征向量之间的余弦距离值以得到由多个余弦距离值组成的分类特征向量,以此来表达所述待检测液态PET瓶的冲洗后图像的各个图像块和所述参考图像的各个图像块之间的差异性特征信息,进而以此差异性特征信息进行整合来对于所述待检测液态PET瓶的冲洗后洁净度的质量进行检测判断,从而提高检测的精准度。
具体地,在本申请实施例中,以如下公式来计算所述多个优化检测图像块特征向量和所述多个优化参考图像块特征向量中每一对优化检测图像块特征向量和优化参考图像块特征向量之间的余弦距离值以得到由多个余弦距离值组成的分类特征向量;其中,所述公式为:
其中V1和V2分别表示所述多个优化检测图像块特征向量和所述多个优化参考图像块特征向量中每一对优化检测图像块特征向量和优化参考图像块特征向量,V1k和V2k分别表示所述每一对优化检测图像块特征向量和优化参考图像块特征向量的各个位置的特征值,cos(V1,V2)表示所述多个余弦距离值。
在上述液态PET瓶装饮品吹洗灌旋一体机100中,所述洁净度结果检测模块170,用于将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示待检测液态PET瓶的冲洗后洁净度是否符合预定标准。也就是,在本申请的技术方案中,所述分类器的标签包括所述待检测液态PET瓶的冲洗后洁净度符合预定标准,以及,所述待检测液态PET瓶的冲洗后洁净度不符合预定标准,其中,所述分类器通过软最大值函数来确定所述分类特征向量属于哪个分类标签。应可以理解,在本申请的技术方案中,所述分类器的分类标签为PET瓶的冲洗后洁净度是否符合预定标准的判断标签,因此,在得到所述分类结果后,可基于所述分类结果来对于液态PET瓶的冲洗后洁净度的质量进行准确检测判断,以避免后续灌装过程中出现水质污染。
具体地,在本申请实施例中,所述洁净度结果检测模块170的编码过程,包括:首先,通过概率化单元将所述分类特征向量输入所述分类器的Softmax分类函数以得到所述分类特征向量归属于各个分类标签的概率值;然后,通过分类结果生成单元将最大概率值对应的分类标签确定为所述分类结果。
在本申请的一个具体示例中,所述液态PET瓶装饮品吹洗灌旋一体机100在冲洗过程中能够冲洗掉瓶内外吸附的微小尘埃,提高产品质量;冲洗完后进行灌装,最大程度减少空瓶的流动,防止二次污染,灌装完即旋盖封口,包装产品微生物安全。通过一体机技术,比一般分体机节约用地,减少操作人员;增加空瓶翻转式冲瓶机,利用冲洗介质对空瓶内外表面进行冲洗,解决空瓶吸附的尘埃,提高空瓶的洁净度,提升产品的质量。在实际液态PET瓶装饮品吹洗灌旋一体机的运行过程中,首先,新的瓶胚进入到一体机的附属提胚理胚机内,通过整理机构,实现将瓶胚一个一个有序整理送入一体机的吹瓶机加热炉部分,通过加热炉对瓶胚进行加热软化,再由夹瓶机构送入吹瓶主机内,通过高压空压进行吹瓶,吹好的瓶子再有传送机构送入一体机的冲瓶机部分,对瓶子进行翻转式冲洗,一定时间的内外冲洗后,在传送进入一体机的灌装机部分,进行灌装;接着,灌装完毕后,在传送进入一体机的旋盖机部分,旋上盖清洗部件送过来的经过清洗的盖子;而后,再通过传送机构送入输送链架,送出一体机,完成整个饮品的吹洗灌旋的动作过程。
综上,基于本申请实施例的液态PET瓶装饮品吹洗灌旋一体机100被阐明,其采用基于深度学习的人工智能检测技术,以通过卷积神经网络模型来挖掘液态PET瓶的冲洗后图像和参考图像中关于液态PET瓶的冲洗后洁净度的高维隐含特征信息,并将两者进行对比来进行冲洗后洁净度的质量检测判断,从而避免后续灌装过程中出现水质污染,保证液态PET瓶装饮品的灌装质量。
示例性方法
图5为根据本申请实施例的液态PET瓶装饮品吹洗灌旋一体机的运行方法的流程图。如图5所示,根据本申请实施例的液态PET瓶装饮品吹洗灌旋一体机的运行方法,包括:S110,获取待检测液态PET瓶的冲洗后图像;S120,获取参考图像,所述参考图像为洁净度符合预定标准的液态PET瓶的冲洗后图像,所述参考图像和所述待检测液态PET瓶的冲洗后图像具有相同的图像尺寸;S130,对所述待检测液态PET瓶的冲洗后图像和所述参考图像进行图像分块处理以得到检测图像块序列和参考图像块序列;S140,将所述检测图像块序列中的各个图像块和所述参考图像块序列中的各个图像块分别通过作为过滤器的卷积神经网络模型以得到多个检测图像块特征向量和多个参考图像块特征向量;S150,基于所述检测图像块序列和所述参考图像块序列,对所述多个检测图像块特征向量和所述多个参考图像块特征向量进行特征值区分度强化以得到多个优化检测图像块特征向量和多个优化参考图像块特征向量;S160,计算所述多个优化检测图像块特征向量和所述多个优化参考图像块特征向量中每一对优化检测图像块特征向量和优化参考图像块特征向量之间的余弦距离值以得到由多个余弦距离值组成的分类特征向量;以及,S170,将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示待检测液态PET瓶的冲洗后洁净度是否符合预定标准。
这里,本领域技术人员可以理解,上述液态PET瓶装饮品吹洗灌旋一体机的运行方法中的各个步骤和操作已经在上面参考图1到图4的液态PET瓶装饮品吹洗灌旋一体机100的描述中得到了详细介绍,并因此,将省略其重复描述。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。