CN115965217A - 用于塑料模型的智能化生产监控方法及其系统 - Google Patents

Abstract

本申请公开了一种用于塑料模型的智能化生产监控方法及其系统。其首先将获取的待检测塑料模型的第一至第六图像分别通过第一卷积神经网络模型以得到第一至第六局部视角特征矩阵，接着，计算所述第一至第六局部视角特征矩阵展开后得到的第一至第六局部视角特征向量中每两个局部视角特征向量之间的协方差矩阵以得到由多个协方差矩阵组成的视角间表面状态关联特征图，然后，将所述视角间表面状态关联特征图通过第二卷积神经网络模型以得到分类特征图，最后，将所述分类特征图优化后通过分类器以得到用于表示待检测塑料模型的成型质量是否符合预定质量要求的分类结果。这样，可以精准地对于塑料模型的成型质量进行检测，保证最终的产品成型质量。

Description

用于塑料模型的智能化生产监控方法及其系统

技术领域

本申请涉及智能监测技术领域，且更为具体地，涉及一种用于塑料模型的智能化生产监控方法及其系统。

背景技术

塑料模型部件在实际应用过程中可用来替代实际的成品部件，用来展示实际部件的效果，这样就节省了采用实际部件的费用。例如，采用实际的零部件需要结合实际部件进行开模具，然后生产出该部件进行试用，如果部件不合适，就会造成大量的时间和成本的浪费。

在塑料模型的生产过程中，需要对塑料模型的质量进行监测以对模具性能进行反向监测，从而确保产品的成型质量。但是，由于传统的塑料模型成型质量检测大多都在生产出该模具后的试用过程中基于人工观察来进行，这不仅会造成大量的原材料浪费，还会造成模具质量检测的精度达不到应有要求，导致大批量的残次品出现。

因此，期望一种优化的用于塑料模型的智能化生产监控方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种用于塑料模型的智能化生产监控方法及其系统。其首先将获取的待检测塑料模型的第一至第六图像分别通过第一卷积神经网络模型以得到第一至第六局部视角特征矩阵，接着，计算所述第一至第六局部视角特征矩阵展开后得到的第一至第六局部视角特征向量中每两个局部视角特征向量之间的协方差矩阵以得到由多个协方差矩阵组成的视角间表面状态关联特征图，然后，将所述视角间表面状态关联特征图通过第二卷积神经网络模型以得到分类特征图，最后，将所述分类特征图优化后通过分类器以得到用于表示待检测塑料模型的成型质量是否符合预定质量要求的分类结果。这样，可以精准地对于塑料模型的成型质量进行检测，保证最终的产品成型质量。

根据本申请的一个方面，提供了一种用于塑料模型的智能化生产监控方法，其包括：

获取待检测塑料模型的六视图，所述待检测塑料模型的六视图为第一至第六图像；

将所述第一至第六图像分别通过包含深浅特征融合模块的第一卷积神经网络模型以得到第一至第六局部视角特征矩阵；

对所述第一至第六局部视角特征矩阵进行特征矩阵展开以得到第一至第六局部视角特征向量；

计算所述第一至第六局部视角特征向量中每两个局部视角特征向量之间的协方差矩阵以得到由多个协方差矩阵组成的视角间表面状态关联特征图；

将所述视角间表面状态关联特征图通过作为特征提取器的第二卷积神经网络模型以得到分类特征图；

对所述分类特征图进行高维特征数据流形调制以得到优化分类特征图；以及

将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测塑料模型的成型质量是否符合预定质量要求。

在上述的用于塑料模型的智能化生产监控方法中，所述将所述第一至第六图像分别通过包含深浅特征融合模块的第一卷积神经网络模型以得到第一至第六局部视角特征矩阵，包括：

从所述包含深浅特征融合模块的第一卷积神经网络模型的浅层提取浅层特征图；

从所述包含深浅特征融合模块的第一卷积神经网络模型的深层提取深层特征图；以及

使用所述包含深浅特征融合模块的第一卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到所述第一至第六局部视角特征矩阵。

在上述的用于塑料模型的智能化生产监控方法中，所述对所述第一至第六局部视角特征矩阵进行特征矩阵展开以得到第一至第六局部视角特征向量，包括：

将所述第一至第六局部视角特征矩阵中的各个特征矩阵分别沿着行向量进行特征矩阵的展开以得到所述第一至第六局部视角特征向量。

在上述的用于塑料模型的智能化生产监控方法中，所述将所述视角间表面状态关联特征图通过作为特征提取器的第二卷积神经网络模型以得到分类特征图，包括：

所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：

对输入数据进行卷积处理以得到卷积特征图；

对所述卷积特征图进行均值池化处理以得到池化特征图；以及

对所述池化特征图进行非线性激活以得到激活特征图；

其中，所述作为特征提取器的第二卷积神经网络模型的最后一层的输出为所述分类特征图，所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述视角间表面状态关联特征图。

在上述的用于塑料模型的智能化生产监控方法中，所述作为特征提取器的第二卷积神经网络模型为深度残差网络模型，所述包含深浅特征融合模块的第一卷积神经网络模型为金字塔网络模型。

在上述的用于塑料模型的智能化生产监控方法中，所述对所述分类特征图进行高维特征数据流形调制以得到优化分类特征图，包括：

以如下公式对所述分类特征图进行类表征平展化以得到所述优化分类特征图；

其中，所述公式为：

其中，f_i是所述分类特征图中第一预定位置的特征值，f_j是所述分类特征图中所述第一预定位置外的其他位置的特征值，且

是所述分类特征图的所有特征值的均值，且N是所述分类特征图的尺度，exp(·)表示数值的指数运算，所述数值的指数运算表示计算以所述数值为幂的自然指数函数值，f_i′表示所述优化分类特征图中第一预定位置的特征值。

在上述的用于塑料模型的智能化生产监控方法中，所述将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测塑料模型的成型质量是否符合预定质量要求，包括：

将所述优化分类特征图按照行向量或列向量展开为分类特征向量；

使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及

将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

根据本申请的另一个方面，提供了一种用于塑料模型的智能化生产监控系统，其包括：

图像获取模块，用于获取待检测塑料模型的六视图，所述待检测塑料模型的六视图为第一至第六图像；

第一卷积模块，用于将所述第一至第六图像分别通过包含深浅特征融合模块的第一卷积神经网络模型以得到第一至第六局部视角特征矩阵；

特征矩阵展开模块，用于对所述第一至第六局部视角特征矩阵进行特征矩阵展开以得到第一至第六局部视角特征向量；

协方差矩阵计算模块，用于计算所述第一至第六局部视角特征向量中每两个局部视角特征向量之间的协方差矩阵以得到由多个协方差矩阵组成的视角间表面状态关联特征图；

第二卷积模块，用于将所述视角间表面状态关联特征图通过作为特征提取器的第二卷积神经网络模型以得到分类特征图；

高维特征数据流形调制模块，用于对所述分类特征图进行高维特征数据流形调制以得到优化分类特征图；以及

分类结果生成模块，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测塑料模型的成型质量是否符合预定质量要求。

在上述的用于塑料模型的智能化生产监控系统中，所述第一卷积模块，进一步用于：

从所述包含深浅特征融合模块的第一卷积神经网络模型的浅层提取浅层特征图；

从所述包含深浅特征融合模块的第一卷积神经网络模型的深层提取深层特征图；以及

使用所述包含深浅特征融合模块的第一卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到所述第一至第六局部视角特征矩阵。

在上述的用于塑料模型的智能化生产监控系统中，所述特征矩阵展开模块，进一步用于：

将所述第一至第六局部视角特征矩阵中的各个特征矩阵分别沿着行向量进行特征矩阵的展开以得到所述第一至第六局部视角特征向量。

与现有技术相比，本申请提供的用于塑料模型的智能化生产监控方法及其系统，其首先将获取的待检测塑料模型的第一至第六图像分别通过第一卷积神经网络模型以得到第一至第六局部视角特征矩阵，接着，计算所述第一至第六局部视角特征矩阵展开后得到的第一至第六局部视角特征向量中每两个局部视角特征向量之间的协方差矩阵以得到由多个协方差矩阵组成的视角间表面状态关联特征图，然后，将所述视角间表面状态关联特征图通过第二卷积神经网络模型以得到分类特征图，最后，将所述分类特征图优化后通过分类器以得到用于表示待检测塑料模型的成型质量是否符合预定质量要求的分类结果。这样，可以精准地对于塑料模型的成型质量进行检测，保证最终的产品成型质量。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的用于塑料模型的智能化生产监控方法的场景示意图。

图2为根据本申请实施例的用于塑料模型的智能化生产监控方法的流程图。

图3为根据本申请实施例的用于塑料模型的智能化生产监控方法的架构示意图。

图4为根据本申请实施例的用于塑料模型的智能化生产监控方法中步骤S120的子步骤流程图。

图5为根据本申请实施例的用于塑料模型的智能化生产监控方法中步骤S170的子步骤流程图。

图6为根据本申请实施例的用于塑料模型的智能化生产监控系统的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

如上所述，由于传统的塑料模型成型质量检测大多都在生产出该模具后的试用过程中基于人工观察来进行，这不仅会造成大量的原材料浪费，还会造成模具质量检测的精度达不到应有要求，导致大批量的残次品出现。因此，期望一种优化的用于塑料模型的智能化生产监控方案。

相应地，考虑到在实际进行塑料模型的成型质量的监测时，可以通过对于塑料模型外表面成型质量进行监测来对于模具的性能进行反向监测，以确保最终制得的产品质量。也就是说，为了便于塑料模型的质量检测，可以通过对于塑料模型的六视图进行图像分析来进行质量评估，但是，考虑到由于在所述塑料模型的六视图中会存在有大量的干扰信息，而塑料模型的成型质量特征在图像中大多都为小尺度特征信息，难以对于塑料模型的成型质量特征进行捕捉挖掘，进而影响了对于塑料模型的成型质量检测的精准度。并且，还考虑到由于所述六视图中关于塑料模型的质量特征在不同视角下具有着关联性，因此，可以基于各个局部视角的模具外表面成型质量之间的差异性关联特征信息来进行塑料模型的成型质量检测。在此过程中，难点在于如何挖掘所述各个局部视角下关于塑料模型外表面成型质量之间的差异性关联特征，以精准地对于塑料模型的成型质量进行检测，从而对于模具的性能进行评估，保证最终的产品成型质量。

近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

深度学习以及神经网络的发展为挖掘所述各个局部视角下关于塑料模型外表面成型质量之间的差异性关联特征提供了新的解决思路和方案。本领域普通技术人员应知晓，基于深度学习的深度神经网络模型可以通过适当的训练策略，例如通过梯度下降的反向传播算法来调整所述深度神经网络模型的参数以使之能够模拟事物之间的复杂的非线性关联，而这显然适合于模拟并挖掘所述各个局部视角下关于塑料模型外表面成型质量之间的差异性关联特征。

具体地，在本申请的技术方案中，首先，获取待检测塑料模型的六视图，所述待检测塑料模型的六视图为第一至第六图像。接着，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来对于所述第一至第六图像进行特征挖掘，但是，考虑到在进行特征提取以进行塑料模型的质量检测时，不仅需要关注于所述待检测塑料模型的深层隐藏特征信息，更需要聚焦于其表面的浅层纹理特征信息。因此，将所述第一至第六图像分别通过包含深浅特征融合模块的第一卷积神经网络模型中进行处理，以分别提取出所述第一至第六图像中关于所述待检测塑料模型质量的深浅融合特征，从而得到第一至第六局部视角特征矩阵。

特别地，在本申请的一个具体示例中，所述包含深浅特征融合模块的第一卷积神经网络模型为金字塔网络模型。应可以理解，所述金字塔网络模型主要是解决目标检测中的多尺度问题，其可以同时利用低层特征高分辨率和高层特征的高语义信息，通过融合这些不同层的特征达到很好的效果。因此，在本申请的技术方案中，将所述第一至第六图像分别通过金字塔网络模型以得到第一至第六局部视角特征矩阵，也就是，使用所述金字塔网络模型作为图像编码器来分别对于所述第一至第六图像进行编码处理，以在提取出所述第一至第六图像中关于所述待检测塑料模型质量的深层隐含特征的同时，保留其在浅层的纹理特征信息，进而在后续分类时提高分类的准确性。应可以理解，金字塔网络主要是解决目标检测中的多尺度问题，通过简单的改变网络连接，在基本不增加原有模型计算量的情况下，可以在不同的特征层上独立进行预测，大幅提升了小目标检测的性能，进而提高了对于所述待检测塑料模型的成型质量检测的精准度。

进一步地，在所述第一至第六局部视角特征矩阵中存在有关于所述第一至第六图像的塑料模型的各个成型质量的隐含特征信息，因此，进一步对所述第一至第六局部视角特征矩阵进行特征矩阵展开以得到具有第一至第六视角下的关于模具的各个质量隐含特征的第一至第六局部视角特征向量。相应地，在本申请的技术方案中，对所述第一至第六局部视角特征矩阵中的各个特征矩阵分别沿着行向量进行特征矩阵的展开，从而得到第一至第六局部视角特征向量。

然后，考虑到在所述各个视角下有关所述待检测塑料模型的成型质量特征信息间具有着关联性，并且还考虑到当模具的成型质量满足要求时，所述各个视角下关于所述待检测塑料模型的成型质量特征间具有着一致性，因此，可以基于该成型质量的一致性关联特征来提高对于塑料模型的成型质量检测的精准度。具体地，计算所述第一至第六局部视角特征向量中每两个局部视角特征向量之间的协方差矩阵，以所述各个局部视角的特征向量之间的协方差矩阵来表示所述各个局部视角的外表面成型质量之间的差异性，从而得到由多个协方差矩阵组成的视角间表面状态关联特征图。

接着，进一步再将所述视角间表面状态关联特征图通过作为特征提取器的第二卷积神经网络模型中进行处理，以挖掘出所述各个局部视角的外表面成型质量的差异性关联特征分布信息，也就是，所述待检测塑料模型的各个局部视角下关于模具成型质量的一致性特征信息，从而得到分类特征图。特别地，这里，所述作为特征提取器的第二卷积神经网络模型为深度残差网络模型。

然后，再将所述分类特征图通过分类器以得到用于表示待检测塑料模型的成型质量是否符合预定质量要求的分类结果。也就是，在本申请的技术方案中，所述分类器的标签包括所述待检测塑料模型的成型质量符合预定质量要求，以及，所述待检测塑料模型的成型质量不符合预定质量要求，其中，所述分类器通过软最大值函数来确定所述分类特征图属于哪个分类标签，以此来准确地进行所述待检测塑料模型的外表面成型质量检测。这样，能够对于模具的性能进行评估，保证最终的产品成型质量。

特别地，在本申请的技术方案中，由于每个局部视角特征向量都表达单视角图像的深层和浅层融合图像语义特征，因此通过计算其协方差矩阵并进一步提取协方差矩阵之间的关联特征，可以使得所述分类特征图表达各视角的复杂图像语义的高阶关联关系，但是同时，由于所表达的特征维度分散，这也会使得所述分类特征图本身的特征分布变得离散化，导致所述分类特征图在通过分类器进行分类时，其与所述分类器的权重矩阵之间的拟合负担重，从而影响所述分类器的训练速度和分类结果的准确性。

因此，优选地对所述分类特征图进行类表征平展化，具体表示为：

f_i是所述分类特征图中第一预定位置的特征值，f_j是所述分类特征图中所述第一预定位置外的其他位置的特征值，且

是所述分类特征图的所有特征值的均值，且N是所述分类特征图的尺度，即宽度乘以高度乘以通道数。

这里，所述分类特征图的类表征平展化将用于高维特征空间内的特征分布的类表征的有限多面体流形进行平展，同时保持流形的各平面之间的固有距离，并基于空间直观地避免交叉，其实质上是将该有限多面体流形分解为基于直角面相交和同顶点相交的立方体晶格，从而获得类平面的平展的“切片”聚集性，即所述分类特征图沿各个维度的特征分布的聚集性。这样，就增强了所述分类特征图对于分类器的权重矩阵的拟合性能，从而提升了所述分类特征图通过分类器进行分类的训练速度和分类结果的准确性。这样，能够精准地对于塑料模型的成型质量进行检测，从而对于模具的性能进行评估，保证最终的产品成型质量。

基于此，本申请提供了一种用于塑料模型的智能化生产监控方法，其包括：获取待检测塑料模型的六视图，所述待检测塑料模型的六视图为第一至第六图像；将所述第一至第六图像分别通过包含深浅特征融合模块的第一卷积神经网络模型以得到第一至第六局部视角特征矩阵；对所述第一至第六局部视角特征矩阵进行特征矩阵展开以得到第一至第六局部视角特征向量；计算所述第一至第六局部视角特征向量中每两个局部视角特征向量之间的协方差矩阵以得到由多个协方差矩阵组成的视角间表面状态关联特征图；将所述视角间表面状态关联特征图通过作为特征提取器的第二卷积神经网络模型以得到分类特征图；对所述分类特征图进行高维特征数据流形调制以得到优化分类特征图；以及，将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测塑料模型的成型质量是否符合预定质量要求。

图1为根据本申请实施例的用于塑料模型的智能化生产监控方法的应用场景图。如图1所示，在该应用场景中，获取待检测塑料模型(例如，如图1中所示意的F)的六视图(例如，如图1中所示意的D)，所述待检测塑料模型的六视图为第一至第六图像，然后，将所述待检测塑料模型的六视图输入至部署有用于塑料模型的智能化生产监控算法的服务器(例如，如图1中所示意的S)中，其中所述服务器能够基于所述用于塑料模型的智能化生产监控算法生成用于表示待检测塑料模型的成型质量是否符合预定质量要求的分类结果。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性方法

图2为根据本申请实施例的用于塑料模型的智能化生产监控方法的流程图。如图2所示，根据本申请实施例的用于塑料模型的智能化生产监控方法，包括步骤：S110，获取待检测塑料模型的六视图，所述待检测塑料模型的六视图为第一至第六图像；S120，将所述第一至第六图像分别通过包含深浅特征融合模块的第一卷积神经网络模型以得到第一至第六局部视角特征矩阵；S130，对所述第一至第六局部视角特征矩阵进行特征矩阵展开以得到第一至第六局部视角特征向量；S140，计算所述第一至第六局部视角特征向量中每两个局部视角特征向量之间的协方差矩阵以得到由多个协方差矩阵组成的视角间表面状态关联特征图；S150，将所述视角间表面状态关联特征图通过作为特征提取器的第二卷积神经网络模型以得到分类特征图；S160，对所述分类特征图进行高维特征数据流形调制以得到优化分类特征图；以及，S170，将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测塑料模型的成型质量是否符合预定质量要求。

图3为根据本申请实施例的用于塑料模型的智能化生产监控方法的架构示意图。如图3所示，在该网络架构中，首先，获取待检测塑料模型的六视图，所述待检测塑料模型的六视图为第一至第六图像；接着，将所述第一至第六图像分别通过包含深浅特征融合模块的第一卷积神经网络模型以得到第一至第六局部视角特征矩阵；然后，对所述第一至第六局部视角特征矩阵进行特征矩阵展开以得到第一至第六局部视角特征向量；接着，计算所述第一至第六局部视角特征向量中每两个局部视角特征向量之间的协方差矩阵以得到由多个协方差矩阵组成的视角间表面状态关联特征图；然后，将所述视角间表面状态关联特征图通过作为特征提取器的第二卷积神经网络模型以得到分类特征图；接着，对所述分类特征图进行高维特征数据流形调制以得到优化分类特征图；然后，将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测塑料模型的成型质量是否符合预定质量要求。

更具体地，在步骤S110中，获取待检测塑料模型的六视图，所述待检测塑料模型的六视图为第一至第六图像。在实际进行塑料模型的成型质量的监测时，可以通过对于塑料模型外表面成型质量进行监测来对于模具的性能进行反向监测，以确保最终制得的产品质量。也就是说，为了便于塑料模型的质量检测，可以通过对于塑料模型的六视图进行图像分析来进行质量评估，但是，考虑到由于在所述塑料模型的六视图中会存在有大量的干扰信息，而塑料模型的成型质量特征在图像中大多都为小尺度特征信息，难以对于塑料模型的成型质量特征进行捕捉挖掘，进而影响了对于塑料模型的成型质量检测的精准度。并且，还考虑到由于所述六视图中关于塑料模型的质量特征在不同视角下具有着关联性，因此，可以基于各个局部视角的模具外表面成型质量之间的差异性关联特征信息来进行塑料模型的成型质量检测。

更具体地，在步骤S120中，将所述第一至第六图像分别通过包含深浅特征融合模块的第一卷积神经网络模型以得到第一至第六局部视角特征矩阵。卷积神经网络模型在图像的隐含特征提取方面具有优异表现，因此，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来对于所述第一至第六图像进行特征挖掘，但是，考虑到在进行特征提取以进行塑料模型的质量检测时，不仅需要关注于所述待检测塑料模型的深层隐藏特征信息，更需要聚焦于其表面的浅层纹理特征信息。因此，将所述第一至第六图像分别通过包含深浅特征融合模块的第一卷积神经网络模型中进行处理，以分别提取出所述第一至第六图像中关于所述待检测塑料模型质量的深浅融合特征，从而得到第一至第六局部视角特征矩阵。

相应地，在一个具体示例中，如图4所示，所述将所述第一至第六图像分别通过包含深浅特征融合模块的第一卷积神经网络模型以得到第一至第六局部视角特征矩阵，包括：S121，从所述包含深浅特征融合模块的第一卷积神经网络模型的浅层提取浅层特征图；S122，从所述包含深浅特征融合模块的第一卷积神经网络模型的深层提取深层特征图；以及，S123，使用所述包含深浅特征融合模块的第一卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到所述第一至第六局部视角特征矩阵。

相应地，在一个具体示例中，所述包含深浅特征融合模块的第一卷积神经网络模型为金字塔网络模型。应可以理解，所述金字塔网络模型主要是解决目标检测中的多尺度问题，其可以同时利用低层特征高分辨率和高层特征的高语义信息，通过融合这些不同层的特征达到很好的效果。因此，在本申请的技术方案中，将所述第一至第六图像分别通过金字塔网络模型以得到第一至第六局部视角特征矩阵，也就是，使用所述金字塔网络模型作为图像编码器来分别对于所述第一至第六图像进行编码处理，以在提取出所述第一至第六图像中关于所述待检测塑料模型质量的深层隐含特征的同时，保留其在浅层的纹理特征信息，进而在后续分类时提高分类的准确性。应可以理解，金字塔网络主要是解决目标检测中的多尺度问题，通过简单的改变网络连接，在基本不增加原有模型计算量的情况下，可以在不同的特征层上独立进行预测，大幅提升了小目标检测的性能，进而提高了对于所述待检测塑料模型的成型质量检测的精准度。

更具体地，在步骤S130中，对所述第一至第六局部视角特征矩阵进行特征矩阵展开以得到第一至第六局部视角特征向量。在所述第一至第六局部视角特征矩阵中存在有关于所述第一至第六图像的塑料模型的各个成型质量的隐含特征信息，因此，进一步对所述第一至第六局部视角特征矩阵进行特征矩阵展开以得到具有第一至第六视角下的关于模具的各个质量隐含特征的第一至第六局部视角特征向量。

相应地，在一个具体示例中，所述对所述第一至第六局部视角特征矩阵进行特征矩阵展开以得到第一至第六局部视角特征向量，包括：将所述第一至第六局部视角特征矩阵中的各个特征矩阵分别沿着行向量进行特征矩阵的展开以得到所述第一至第六局部视角特征向量。

更具体地，在步骤S140中，计算所述第一至第六局部视角特征向量中每两个局部视角特征向量之间的协方差矩阵以得到由多个协方差矩阵组成的视角间表面状态关联特征图。考虑到在所述各个视角下有关所述待检测塑料模型的成型质量特征信息间具有着关联性，并且还考虑到当模具的成型质量满足要求时，所述各个视角下关于所述待检测塑料模型的成型质量特征间具有着一致性，因此，可以基于该成型质量的一致性关联特征来提高对于塑料模型的成型质量检测的精准度。具体地，计算所述第一至第六局部视角特征向量中每两个局部视角特征向量之间的协方差矩阵，以所述各个局部视角的特征向量之间的协方差矩阵来表示所述各个局部视角的外表面成型质量之间的差异性，从而得到由多个协方差矩阵组成的视角间表面状态关联特征图。

更具体地，在步骤S150中，将所述视角间表面状态关联特征图通过作为特征提取器的第二卷积神经网络模型以得到分类特征图。将所述视角间表面状态关联特征图通过作为特征提取器的第二卷积神经网络模型中进行处理，以挖掘出所述各个局部视角的外表面成型质量的差异性关联特征分布信息，也就是，所述待检测塑料模型的各个局部视角下关于模具成型质量的一致性特征信息，从而得到分类特征图。

相应地，在一个具体示例中，所述将所述视角间表面状态关联特征图通过作为特征提取器的第二卷积神经网络模型以得到分类特征图，包括：所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为特征提取器的第二卷积神经网络模型的最后一层的输出为所述分类特征图，所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述视角间表面状态关联特征图。

相应地，在一个具体示例中，所述作为特征提取器的第二卷积神经网络模型为深度残差网络模型。

更具体地，在步骤S160中，对所述分类特征图进行高维特征数据流形调制以得到优化分类特征图。

特别地，在本申请的技术方案中，由于每个局部视角特征向量都表达单视角图像的深层和浅层融合图像语义特征，因此通过计算其协方差矩阵并进一步提取协方差矩阵之间的关联特征，可以使得所述分类特征图表达各视角的复杂图像语义的高阶关联关系，但是同时，由于所表达的特征维度分散，这也会使得所述分类特征图本身的特征分布变得离散化，导致所述分类特征图在通过分类器进行分类时，其与所述分类器的权重矩阵之间的拟合负担重，从而影响所述分类器的训练速度和分类结果的准确性。因此，优选地对所述分类特征图进行类表征平展化。

相应地，在一个具体示例中，所述对所述分类特征图进行高维特征数据流形调制以得到优化分类特征图，包括：以如下公式对所述分类特征图进行类表征平展化以得到所述优化分类特征图；其中，所述公式为：

其中，f_i是所述分类特征图中第一预定位置的特征值，f_j是所述分类特征图中所述第一预定位置外的其他位置的特征值，且

是所述分类特征图的所有特征值的均值，且N是所述分类特征图的尺度，exp(·)表示数值的指数运算，所述数值的指数运算表示计算以所述数值为幂的自然指数函数值，f_i′表示所述优化分类特征图中第一预定位置的特征值。

这里，所述分类特征图的类表征平展化将用于高维特征空间内的特征分布的类表征的有限多面体流形进行平展，同时保持流形的各平面之间的固有距离，并基于空间直观地避免交叉，其实质上是将该有限多面体流形分解为基于直角面相交和同顶点相交的立方体晶格，从而获得类平面的平展的“切片”聚集性，即所述分类特征图沿各个维度的特征分布的聚集性。这样，就增强了所述分类特征图对于分类器的权重矩阵的拟合性能，从而提升了所述分类特征图通过分类器进行分类的训练速度和分类结果的准确性。这样，能够精准地对于塑料模型的成型质量进行检测，从而对于模具的性能进行评估，保证最终的产品成型质量。

更具体地，在步骤S170中，将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测塑料模型的成型质量是否符合预定质量要求。也就是，在本申请的技术方案中，所述分类器的标签包括所述待检测塑料模型的成型质量符合预定质量要求，以及，所述待检测塑料模型的成型质量不符合预定质量要求，其中，所述分类器通过软最大值函数来确定所述分类特征图属于哪个分类标签，以此来准确地进行所述待检测塑料模型的外表面成型质量检测。这样，能够对于模具的性能进行评估，保证最终的产品成型质量。

相应地，在一个具体示例中，如图5所示，所述将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测塑料模型的成型质量是否符合预定质量要求，包括：S171，将所述优化分类特征图按照行向量或列向量展开为分类特征向量；S172，使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，S173，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

综上，基于本申请实施例的用于塑料模型的智能化生产监控方法，其首先将获取的待检测塑料模型的第一至第六图像分别通过第一卷积神经网络模型以得到第一至第六局部视角特征矩阵，接着，计算所述第一至第六局部视角特征矩阵展开后得到的第一至第六局部视角特征向量中每两个局部视角特征向量之间的协方差矩阵以得到由多个协方差矩阵组成的视角间表面状态关联特征图，然后，将所述视角间表面状态关联特征图通过第二卷积神经网络模型以得到分类特征图，最后，将所述分类特征图优化后通过分类器以得到用于表示待检测塑料模型的成型质量是否符合预定质量要求的分类结果。这样，可以精准地对于塑料模型的成型质量进行检测，保证最终的产品成型质量。

示例性系统

图6为根据本申请实施例的用于塑料模型的智能化生产监控系统100的框图。如图6所示，根据本申请实施例的用于塑料模型的智能化生产监控系统100，包括：图像获取模块110，用于获取待检测塑料模型的六视图，所述待检测塑料模型的六视图为第一至第六图像；第一卷积模块120，用于将所述第一至第六图像分别通过包含深浅特征融合模块的第一卷积神经网络模型以得到第一至第六局部视角特征矩阵；特征矩阵展开模块130，用于对所述第一至第六局部视角特征矩阵进行特征矩阵展开以得到第一至第六局部视角特征向量；协方差矩阵计算模块140，用于计算所述第一至第六局部视角特征向量中每两个局部视角特征向量之间的协方差矩阵以得到由多个协方差矩阵组成的视角间表面状态关联特征图；第二卷积模块150，用于将所述视角间表面状态关联特征图通过作为特征提取器的第二卷积神经网络模型以得到分类特征图；高维特征数据流形调制模块160，用于对所述分类特征图进行高维特征数据流形调制以得到优化分类特征图；以及，分类结果生成模块170，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测塑料模型的成型质量是否符合预定质量要求。

在一个示例中，在上述用于塑料模型的智能化生产监控系统100中，所述第一卷积模块120，进一步用于：从所述包含深浅特征融合模块的第一卷积神经网络模型的浅层提取浅层特征图；从所述包含深浅特征融合模块的第一卷积神经网络模型的深层提取深层特征图；以及，使用所述包含深浅特征融合模块的第一卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到所述第一至第六局部视角特征矩阵。

在一个示例中，在上述用于塑料模型的智能化生产监控系统100中，所述特征矩阵展开模块130，进一步用于：将所述第一至第六局部视角特征矩阵中的各个特征矩阵分别沿着行向量进行特征矩阵的展开以得到所述第一至第六局部视角特征向量。

在一个示例中，在上述用于塑料模型的智能化生产监控系统100中，所述第二卷积模块150，进一步用于：所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为特征提取器的第二卷积神经网络模型的最后一层的输出为所述分类特征图，所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述视角间表面状态关联特征图。

在一个示例中，在上述用于塑料模型的智能化生产监控系统100中，所述作为特征提取器的第二卷积神经网络模型为深度残差网络模型，所述包含深浅特征融合模块的第一卷积神经网络模型为金字塔网络模型。

在一个示例中，在上述用于塑料模型的智能化生产监控系统100中，所述高维特征数据流形调制模块160，进一步用于：以如下公式对所述分类特征图进行类表征平展化以得到所述优化分类特征图；其中，所述公式为：

其中，f_i是所述分类特征图中第一预定位置的特征值，f_j是所述分类特征图中所述第一预定位置外的其他位置的特征值，且

是所述分类特征图的所有特征值的均值，且N是所述分类特征图的尺度，exp(·)表示数值的指数运算，所述数值的指数运算表示计算以所述数值为幂的自然指数函数值，f_i′表示所述优化分类特征图中第一预定位置的特征值。

在一个示例中，在上述用于塑料模型的智能化生产监控系统100中，所述分类结果生成模块170，进一步用于：将所述优化分类特征图按照行向量或列向量展开为分类特征向量；使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

这里，本领域技术人员可以理解，上述用于塑料模型的智能化生产监控系统100中的各个单元和模块的具体功能和操作已经在上面参考图1到图5的用于塑料模型的智能化生产监控方法的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本申请实施例的用于塑料模型的智能化生产监控系统100可以实现在各种无线终端中，例如具有用于塑料模型的智能化生产监控算法的服务器等。在一个示例中，根据本申请实施例的用于塑料模型的智能化生产监控系统100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该用于塑料模型的智能化生产监控系统100可以是该无线终端的操作系统中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该用于塑料模型的智能化生产监控系统100同样可以是该无线终端的众多硬件模块之一。

替换地，在另一示例中，该用于塑料模型的智能化生产监控系统100与该无线终端也可以是分立的设备，并且该用于塑料模型的智能化生产监控系统100可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种用于塑料模型的智能化生产监控方法，其特征在于，包括：

获取待检测塑料模型的六视图，所述待检测塑料模型的六视图为第一至第六图像；

将所述第一至第六图像分别通过包含深浅特征融合模块的第一卷积神经网络模型以得到第一至第六局部视角特征矩阵；

对所述第一至第六局部视角特征矩阵进行特征矩阵展开以得到第一至第六局部视角特征向量；

计算所述第一至第六局部视角特征向量中每两个局部视角特征向量之间的协方差矩阵以得到由多个协方差矩阵组成的视角间表面状态关联特征图；

将所述视角间表面状态关联特征图通过作为特征提取器的第二卷积神经网络模型以得到分类特征图；

对所述分类特征图进行高维特征数据流形调制以得到优化分类特征图；以及

将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测塑料模型的成型质量是否符合预定质量要求。

2.根据权利要求1所述的用于塑料模型的智能化生产监控方法，其特征在于，所述将所述第一至第六图像分别通过包含深浅特征融合模块的第一卷积神经网络模型以得到第一至第六局部视角特征矩阵，包括：

从所述包含深浅特征融合模块的第一卷积神经网络模型的浅层提取浅层特征图；

从所述包含深浅特征融合模块的第一卷积神经网络模型的深层提取深层特征图；以及

使用所述包含深浅特征融合模块的第一卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到所述第一至第六局部视角特征矩阵。

3.根据权利要求2所述的用于塑料模型的智能化生产监控方法，其特征在于，所述对所述第一至第六局部视角特征矩阵进行特征矩阵展开以得到第一至第六局部视角特征向量，包括：

将所述第一至第六局部视角特征矩阵中的各个特征矩阵分别沿着行向量进行特征矩阵的展开以得到所述第一至第六局部视角特征向量。

4.根据权利要求3所述的用于塑料模型的智能化生产监控方法，其特征在于，所述将所述视角间表面状态关联特征图通过作为特征提取器的第二卷积神经网络模型以得到分类特征图，包括：

所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：

对输入数据进行卷积处理以得到卷积特征图；

对所述卷积特征图进行均值池化处理以得到池化特征图；以及

对所述池化特征图进行非线性激活以得到激活特征图；

其中，所述作为特征提取器的第二卷积神经网络模型的最后一层的输出为所述分类特征图，所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述视角间表面状态关联特征图。

5.根据权利要求4所述的用于塑料模型的智能化生产监控方法，其特征在于，所述作为特征提取器的第二卷积神经网络模型为深度残差网络模型，所述包含深浅特征融合模块的第一卷积神经网络模型为金字塔网络模型。

6.根据权利要求5所述的用于塑料模型的智能化生产监控方法，其特征在于，所述对所述分类特征图进行高维特征数据流形调制以得到优化分类特征图，包括：

以如下公式对所述分类特征图进行类表征平展化以得到所述优化分类特征图；

其中，所述公式为：

其中，f_i是所述分类特征图中第一预定位置的特征值，f_j是所述分类特征图中所述第一预定位置外的其他位置的特征值，且

是所述分类特征图的所有特征值的均值，且N是所述分类特征图的尺度，exp(·)表示数值的指数运算，所述数值的指数运算表示计算以所述数值为幂的自然指数函数值，f_i'表示所述优化分类特征图中第一预定位置的特征值。

7.根据权利要求6所述的用于塑料模型的智能化生产监控方法，其特征在于，所述将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测塑料模型的成型质量是否符合预定质量要求，包括：

将所述优化分类特征图按照行向量或列向量展开为分类特征向量；

使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及

将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

8.一种用于塑料模型的智能化生产监控系统，其特征在于，包括：

图像获取模块，用于获取待检测塑料模型的六视图，所述待检测塑料模型的六视图为第一至第六图像；

第一卷积模块，用于将所述第一至第六图像分别通过包含深浅特征融合模块的第一卷积神经网络模型以得到第一至第六局部视角特征矩阵；

特征矩阵展开模块，用于对所述第一至第六局部视角特征矩阵进行特征矩阵展开以得到第一至第六局部视角特征向量；

协方差矩阵计算模块，用于计算所述第一至第六局部视角特征向量中每两个局部视角特征向量之间的协方差矩阵以得到由多个协方差矩阵组成的视角间表面状态关联特征图；

第二卷积模块，用于将所述视角间表面状态关联特征图通过作为特征提取器的第二卷积神经网络模型以得到分类特征图；

高维特征数据流形调制模块，用于对所述分类特征图进行高维特征数据流形调制以得到优化分类特征图；以及

分类结果生成模块，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测塑料模型的成型质量是否符合预定质量要求。

9.根据权利要求8所述的用于塑料模型的智能化生产监控系统，其特征在于，所述第一卷积模块，进一步用于：

从所述包含深浅特征融合模块的第一卷积神经网络模型的浅层提取浅层特征图；

从所述包含深浅特征融合模块的第一卷积神经网络模型的深层提取深层特征图；以及

使用所述包含深浅特征融合模块的第一卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到所述第一至第六局部视角特征矩阵。

10.根据权利要求9所述的用于塑料模型的智能化生产监控系统，其特征在于，所述特征矩阵展开模块，进一步用于：

将所述第一至第六局部视角特征矩阵中的各个特征矩阵分别沿着行向量进行特征矩阵的展开以得到所述第一至第六局部视角特征向量。

Images