CN116030018A - 用于门加工的来料合格检验系统及方法 - Google Patents

Abstract

本申请涉及智能检验领域，其具体地公开了一种用于门加工的来料合格检验系统及方法，其通过采用基于深度学习的人工智能检测技术，对所述来料的检测图像进行分辨率优化后提取出其在高维空间中的深浅融合特征信息，进一步通过使用包含嵌入层的上下文编码器对来料的文本描述说明进行基于全局的上下文语义理解，以此利用对抗生成的思想来生成来料的生成参考图像，同时也提取出其在高维空间中的深浅融合特征信息，以这两者在高维空间中的特征性差异对比来进行来料是否合格的质量检测。这样，能够精准地对于门加工的来料质量进行智能检验，以保证实木复合门产品的加工质量。

Description

用于门加工的来料合格检验系统及方法

技术领域

本申请涉及智能检验领域，且更为具体地，涉及一种用于门加工的来料合格检验系统及方法。

背景技术

木材因具有天然的纹理和色泽，具有调温、调湿等功能，制成的高档实木赢得了人们的青睐。然而，一些珍贵木材制成的纯实木门价格昂贵，同时纯实木门容易出现漆面开裂、门扇变形、收缩露白等现象。因此，现在市面上出现了实木复合门，这种实木复合门是指以木屑为主要材料复合制成的实型体，面层为木质单板贴面或其他覆面材料的门。因此实木复合门不仅能体现纯实木门隔音隔热的优点而且款式新颖，成本低廉，受到广大顾客的欢迎。

目前，在进行实木复合门的加工过程中，需要对于来料进行合格检测，以判断其质量是否适于接下来的加工处理。现有的检测方案大多都是依靠摄像头进行来料图像的采集，然后传输至终端进行人工肉眼检测，但是，由于每天会有大量的实木复合门产品需要加工，且加工过程具有繁多的程序，同时来料的加工产品存在的瑕疵等不合格因素大多都为小尺度的信息，难以捕捉，若仅依靠人力进行每个阶段的来料检测不仅会造成工人的工作量较大，且检测的结果难以达到预期。

因此，期待一种优化的用于门加工的来料合格检验系统。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种用于门加工的来料合格检验系统及方法，其通过采用基于深度学习的人工智能检测技术，对所述来料的检测图像进行分辨率优化后提取出其在高维空间中的深浅融合特征信息，进一步通过使用包含嵌入层的上下文编码器对来料的文本描述说明进行基于全局的上下文语义理解，以此利用对抗生成的思想来生成来料的生成参考图像，同时也提取出其在高维空间中的深浅融合特征信息，以这两者在高维空间中的特征性差异对比来进行来料是否合格的质量检测。这样，能够精准地对于门加工的来料质量进行智能检验，以保证实木复合门产品的加工质量。

根据本申请的一个方面，提供了一种用于门加工的来料合格检验系统，其包括：

数据调取模块，用于获取用于门加工的来料的文本描述说明和所述来料的检测图像；

分辨率增强模块，用于将所述来料的检测图像通过基于自动编解码器的图像像素增强器以得到分辨率优化检测图像；

来料图像特征提取模块，用于将所述分辨率优化检测图像通过包含深浅特征融合模块的卷积神经网络模型以得到来料图像特征矩阵；

来料文本描述理解模块，用于将所述来料的文本描述说明通过包含嵌入层的上下文编码器以得到来料文本描述特征向量；

对抗生成模块，用于将所述来料文本描述特征向量通过基于对抗生成网络的文本理解模型以得到来料生成图像；

生成来料图像特征提取模块，用于将所述来料生成图像通过所述包含深浅特征融合模块的卷积神经网络模型以得到来料生成图像特征矩阵；

差分模块，用于计算所述来料生成图像特征矩阵和所述来料图像特征矩阵之间的差分特征矩阵；

类中心偏移校正模块，用于基于所述来料生成图像特征矩阵和所述来料图像特征矩阵，对所述差分特征矩阵进行类中心偏移校正以得到校正后差分特征矩阵；以及

检验结果生成模块，用于将所述校正后差分特征矩阵通过分类器以得到分类结果，所述分类结果用于表示来料是否合格。

在上述用于门加工的来料合格检验系统中，所述分辨率增强模块，包括：信号编码单元，用于使用所述自动编码器的编码器从所述来料的检测图像提取来料的检测特征图，其中，所述自动编码器的编码器为卷积层；以及，信号解码单元，用于使用所述自动编码器的解码器对所述来料的检测特征图进行解码以得到所述分辨率优化检测图像，其中，所述自动编码器的解码器为反卷积层。

在上述用于门加工的来料合格检验系统中，所述来料图像特征提取模块，进一步用于：使用所述包含深浅特征融合模块的卷积神经网络模型的浅层提取浅层特征矩阵；使用所述包含深浅特征融合模块的卷积神经网络模型的深层提取深层特征矩阵；以及，融合所述浅层特征矩阵和所述深层特征矩阵以得到所述来料图像特征矩阵；其中，所述深层与所述浅层之间的比值大于等于5且小于等于10。

在上述用于门加工的来料合格检验系统中，所述来料文本描述理解模块，包括：分词单元，用于对所述来料的文本描述说明进行分词处理以将所述来料的文本描述说明转化为由多个词组成的词序列；嵌入编码单元，用于使用所述包含嵌入层的上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列；上下文编码单元，用于使用所述包含嵌入层的上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以得到多个上下文语义特征向量；以及，融合单元，用于将所述多个上下文语义特征向量进行级联以得到所述来料文本描述特征向量。

在上述用于门加工的来料合格检验系统中，所述上下文编码单元，包括：查询向量构造子单元，用于将所述词向量的序列进行一维排列以得到全局词特征向量；自注意子单元，用于计算所述全局词特征向量与所述词向量的序列中各个词向量的转置向量之间的乘积以得到多个自注意力关联矩阵；标准化子单元，用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；关注度计算子单元，用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；注意力施加子单元，用于分别以所述多个概率值中各个概率值作为权重对所述词向量的序列中各个词向量进行加权以得到所述多个上下文语义特征向量。

在上述用于门加工的来料合格检验系统中，所述对抗生成网络包括生成器和鉴别器。

在上述用于门加工的来料合格检验系统中，所述差分模块，进一步用于：以如下公式计算所述来料生成图像特征矩阵和所述来料图像特征矩阵之间的差分特征矩阵；其中，所述公式为：，其中，表示所述来料生成图像特征矩阵，表示所述来料图像特征矩阵，表示所述差分特征矩阵，表示按位置差分。

在上述用于门加工的来料合格检验系统中，所述类中心偏移校正模块，包括：特征融合单元，用于以如下公式对所述来料生成图像特征矩阵和所述来料图像特征矩阵进行类节点的拓扑-类中心融合以得到融合特征矩阵；其中，所述公式为：

其中和分别是所述来料生成图像特征矩阵和所述来料图像特征矩阵转换为对角矩阵，是所述融合特征矩阵，和分别表示矩阵的Kronecker积和Hadamard积，为所述来料生成图像特征矩阵和所述来料图像特征矩阵转换的对角矩阵之间的逐位置距离矩阵，表示矩阵的指数运算，所述矩阵的指数运算表示计算以矩阵中各个位置的特征值为幂的自然指数函数值；以及，校正单元，用于将所述融合特征矩阵与所述差分特征矩阵进行矩阵相乘以得到所述校正后差分特征矩阵。

在上述用于门加工的来料合格检验系统中，所述检验结果生成模块，包括：展开单元，用于将所述校正后差分特征矩阵基于行向量或列向量展开为分类特征向量；全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类结果生成单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

根据本申请的另一方面，提供了一种用于门加工的来料合格检验方法，其包括：

获取用于门加工的来料的文本描述说明和所述来料的检测图像；

将所述来料的检测图像通过基于自动编解码器的图像像素增强器以得到分辨率优化检测图像；

将所述分辨率优化检测图像通过包含深浅特征融合模块的卷积神经网络模型以得到来料图像特征矩阵；

将所述来料的文本描述说明通过包含嵌入层的上下文编码器以得到来料文本描述特征向量；

将所述来料文本描述特征向量通过基于对抗生成网络的文本理解模型以得到来料生成图像；

将所述来料生成图像通过所述包含深浅特征融合模块的卷积神经网络模型以得到来料生成图像特征矩阵；

计算所述来料生成图像特征矩阵和所述来料图像特征矩阵之间的差分特征矩阵；

基于所述来料生成图像特征矩阵和所述来料图像特征矩阵，对所述差分特征矩阵进行类中心偏移校正以得到校正后差分特征矩阵；以及

将所述校正后差分特征矩阵通过分类器以得到分类结果，所述分类结果用于表示来料是否合格。

根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的用于门加工的来料合格检验方法。

根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的用于门加工的来料合格检验方法。

与现有技术相比，本申请提供的一种用于门加工的来料合格检验系统及方法，其通过采用基于深度学习的人工智能检测技术，对所述来料的检测图像进行分辨率优化后提取出其在高维空间中的深浅融合特征信息，进一步通过使用包含嵌入层的上下文编码器对来料的文本描述说明进行基于全局的上下文语义理解，以此利用对抗生成的思想来生成来料的生成参考图像，同时也提取出其在高维空间中的深浅融合特征信息，以这两者在高维空间中的特征性差异对比来进行来料是否合格的质量检测。这样，能够精准地对于门加工的来料质量进行智能检验，以保证实木复合门产品的加工质量。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的用于门加工的来料合格检验系统的应用场景图；

图2为根据本申请实施例的用于门加工的来料合格检验系统的框图；

图3为根据本申请实施例的用于门加工的来料合格检验系统的系统架构图；

图4为根据本申请实施例的用于门加工的来料合格检验系统中分辨率增强模块的框图；

图5为根据本申请实施例的用于门加工的来料合格检验系统中深浅卷积编码的流程图；

图6为根据本申请实施例的用于门加工的来料合格检验系统中来料文本描述理解模块的框图；

图7为根据本申请实施例的用于门加工的来料合格检验系统中类中心偏移校正模块的框图；

图8为根据本申请实施例的用于门加工的来料合格检验系统中检验结果生成模块的框图；

图9为根据本申请实施例的用于门加工的来料合格检验方法的流程图；

图10为根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

如前背景技术所言，现有的对于实木复合门的来料检测方案大多都是依靠摄像头进行来料图像的采集，然后传输至终端进行人工肉眼检测，但是，由于每天会有大量的实木复合门产品需要加工，且加工过程具有繁多的程序，同时来料的加工产品存在的瑕疵等不合格因素大多都为小尺度的信息，难以捕捉，若仅依靠人力进行每个阶段的来料检测不仅会造成工人的工作量较大，且检测的结果难以达到预期。因此，期待一种优化的用于门加工的来料合格检验系统。

相应地，考虑到在实际对于实木复合门加工的来料检测可以通过对于来料的检测图像和标准图像进行比对分析来进行，但是，由于目前关于门加工的来料标准图像大都以文本描述数据居多，难以进行文本数据与图像数据的比对分析。并且，在采集检测图像的过程中，会存在外界因素的干扰造成图像的分辨率较低，同时在图像中关于来料的瑕疵等质量特征都为小尺度的图像信息，这对于来料的质量合格检测带来了困难。

近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

深度学习以及神经网络的发展为门加工的来料质量合格检验提供了新的解决思路和方案。

具体地，在本申请的技术方案中，采用基于深度学习的人工智能检测技术，以基于来料的文本描述说明和所述来料的检测图像来判断来料是否合格。也就是，具体地，通过对于所述来料的检测图像进行分辨率优化后提取出其在高维空间中的深浅融合特征信息，并且，对于来料的文本描述说明进行基于全局的上下文语义理解后，以此利用对抗生成的思想来生成来料的生成参考图像，同时也提取出其在高维空间中的深浅融合特征信息，以这两者在高维空间中的特征性差异对比来进行来料是否合格的质量检测。这样，能够精准地对于门加工的来料质量进行智能检验，以保证实木复合门产品的加工质量。

更具体地，在本申请的技术方案中，首先，获取用于门加工的来料的文本描述说明和所述来料的检测图像。接着，考虑到在所述来料的检测图像的采集过程中，可能会由于外界环境因素或自身因素的干扰导致图像采集的分辨率较低，进而导致所述来料的检测图像中关于来料质量的特征信息变得模糊，影响对于来料质量的检测效果。因此，在进行特征挖掘前需要进一步进行图像的像素增强，具体地，将所述来料的检测图像通过基于自动编解码器的图像像素增强器以得到分辨率优化检测图像。特别地，这里，所述自动编解码器包括编码器和解码器，其中，所述编码器使用卷积层对所述来料的检测图像进行显式空间编码以得到图像特征，所述解码器使用反卷积层对所述图像特征进行反卷积处理以得到所述分辨率优化检测图像。

然后，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述分辨率优化检测图像的特征挖掘，特别地，考虑到在对于所述分辨率优化检测图像的隐藏特征进行提取时，为了能够更准确地检测出所述来料质量的缺陷，应在关注于所述分辨率优化检测图像中关于来料的深层特征的同时，更关注于其表面的纹理、形状等浅层特征，这些所述浅层特征对于所述来料质量的缺陷检测具有重要意义，而卷积神经网络在编码时，随着其深度的加深，浅层特征会变得模糊甚至被噪声所淹没。因此，在本申请的技术方案中，使用包含深浅特征融合模块的卷积神经网络模型来对所述分辨率优化检测图像进行处理以得到来料图像特征矩阵，相较于标准卷积神经网络模型，根据本申请的所述卷积神经网络模型能够保留所述来料质量的浅层特征和深层特征，以不仅使得特征信息更为丰富，且不同深度的特征能得以保留，进而提高对于所述来料质量检测的精度。

进一步地，对于所述来料的文本描述说明，为了能够将其转化为与所述来料的检测图像相同类型的图像数据以提高对于门加工来料质量是否合格检测的精准度，进一步需要对于所述来料的文本描述说明进行语义理解。也就是，具体地，在本申请的技术方案中，将所述来料的文本描述说明通过包含嵌入层的上下文编码器中进行编码，以提取出所述来料文本描述说明中关于来料质量的基于全局的上下文语义理解特征，从而得到来料文本描述特征向量。

接着，进一步再将所述来料文本描述特征向量通过基于对抗生成网络的文本理解模型以得到关于所述来料文本描述基于全局的上下文语义理解特征的标准参考图像，即来料生成图像。特别地，这里，所述对抗生成网络包括生成器和鉴别器，所述对抗生成网络的生成器能够基于来料文本描述的语义理解特征来生成来料生成图像；而所述对抗生成网络的鉴别器用于计算所述来料生成图像和真实的语义理解特征参考图像之间的差异，并通过梯度下降的方向传播算法来更新所述生成器的网络参数以得到更为准确的所述生成器。

应可以理解，为了能够提高对于来料是否合格的检测精准度，同样地，也将所述来料生成图像通过所述包含深浅特征融合模块的卷积神经网络模型中进行特征挖掘，以提取出所述来料生成图像中关于来料质量的浅层特征和深层特征的融合特征分布信息，从而得到来料生成图像特征矩阵。应可以理解，使用相同的特征提取方式来进行所述来料生成图像和所述来料检测图像的特征挖掘，能够提取出两者的图像在图像源域端差异不明显的特征信息，以此来提高对于所述来料质量是否合格的检测精准度。

然后，计算所述来料生成图像特征矩阵和所述来料图像特征矩阵之间的差分特征矩阵来表示来料的实际检测图像和来料文本描述的标准参考图像在高维空间中关于来料质量特征的差异性特征分布信息，并以此作为分类特征矩形通过分类器中进行分类处理，以得到用于表示来料是否合格的分类结果。这样，能够精准地对于门加工的来料质量进行智能检验，以保证实木复合门产品的加工质量。

特别地，在本申请的技术方案中，这里，将所述来料文本描述特征向量通过基于对抗生成网络的文本理解模型得到来料生成图像时，所述来料生成图像会具有不同于自然图像语义分布的生成语义分布，使得所述来料生成图像特征矩阵和所述来料图像特征矩阵之间存在类中心偏移，而所述来料生成图像特征矩阵和所述来料图像特征矩阵之间的所述差分特征矩阵是计算所述来料生成图像特征矩阵和所述来料图像特征矩阵之间的逐位置差分，因此所述差分特征矩阵也存在类中心偏移的问题，影响其分类结果的准确性。

因此，首先将所述来料生成图像特征矩阵和所述来料图像特征矩阵分别转换为对角矩阵，例如记为和，然后进行类节点的拓扑-类中心融合，表示为：

和分别表示矩阵的Kronecker积和Hadamard积，为特征矩阵和之间的逐位置距离矩阵，即。

具体地，由于在分类器的二分类问题中，如果将所述来料生成图像特征矩阵和所述来料图像特征矩阵融合后的类节点表示为树形式，则所述来料生成图像特征矩阵和所述来料图像特征矩阵各自的类节点分布为基于根节点的子树，因此可以利用节点之间关联的图拓扑，来使得融合后的类节点的节点分布基于图拓扑而表现为以各自节点为中心的子图结构，从而表达以所述来料生成图像特征矩阵和所述来料图像特征矩阵各自的类节点为根的子树结构，以实现所述来料生成图像特征矩阵和所述来料图像特征矩阵的基于类节点-中心的拓扑式融合，从而消除所述来料生成图像特征矩阵和所述来料图像特征矩阵之间的类中心偏移。

进一步地，将融合后的特征矩阵与所述差分特征矩阵，例如记为进行矩阵相乘，以将所述差分特征矩阵映射到消除类中心偏移的融合特征空间内，以提升所述差分特征矩阵的分类结果的准确性，从而得到校正后差分特征矩阵，并以所述校正后差分特征矩阵作为分类特征矩阵通过分类器进行来料是否合格的分类检测判断。这样，能够精准地对于门加工的来料质量进行智能检验，以保证实木复合门产品的加工质量。

基于此，本申请提出了一种用于门加工的来料合格检验系统，其包括：数据调取模块，用于获取用于门加工的来料的文本描述说明和所述来料的检测图像；分辨率增强模块，用于将所述来料的检测图像通过基于自动编解码器的图像像素增强器以得到分辨率优化检测图像；来料图像特征提取模块，用于将所述分辨率优化检测图像通过包含深浅特征融合模块的卷积神经网络模型以得到来料图像特征矩阵；来料文本描述理解模块，用于将所述来料的文本描述说明通过包含嵌入层的上下文编码器以得到来料文本描述特征向量；对抗生成模块，用于将所述来料文本描述特征向量通过基于对抗生成网络的文本理解模型以得到来料生成图像；生成来料图像特征提取模块，用于将所述来料生成图像通过所述包含深浅特征融合模块的卷积神经网络模型以得到来料生成图像特征矩阵；差分模块，用于计算所述来料生成图像特征矩阵和所述来料图像特征矩阵之间的差分特征矩阵；类中心偏移校正模块，用于基于所述来料生成图像特征矩阵和所述来料图像特征矩阵，对所述差分特征矩阵进行类中心偏移校正以得到校正后差分特征矩阵；以及，检验结果生成模块，用于将所述校正后差分特征矩阵通过分类器以得到分类结果，所述分类结果用于表示来料是否合格。

图1为根据本申请实施例的用于门加工的来料合格检验系统的应用场景图。如图1所示，在该应用场景中，通过摄像头（例如，如图1中所示意的C）获取来料的检测图像。接着，将上述图像输入至部署有用于门加工的来料合格检验算法的服务器（例如，图1中的S）中，其中，所述服务器能够以所述门加工的来料合格检验算法对上述输入的图像进行处理，以生成用于表示来料是否合格的分类结果。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图2为根据本申请实施例的用于门加工的来料合格检验系统的框图。如图2所示，根据本申请实施例的用于门加工的来料合格检验系统300，包括：数据调取模块310；分辨率增强模块320；来料图像特征提取模块330；来料文本描述理解模块340；对抗生成模块350；生成来料图像特征提取模块360；差分模块370；类中心偏移校正模块380；以及，检验结果生成模块390。

其中，所述数据调取模块310，用于获取用于门加工的来料的文本描述说明和所述来料的检测图像；所述分辨率增强模块320，用于将所述来料的检测图像通过基于自动编解码器的图像像素增强器以得到分辨率优化检测图像；所述来料图像特征提取模块330，用于将所述分辨率优化检测图像通过包含深浅特征融合模块的卷积神经网络模型以得到来料图像特征矩阵；所述来料文本描述理解模块340，用于将所述来料的文本描述说明通过包含嵌入层的上下文编码器以得到来料文本描述特征向量；所述对抗生成模块350，用于将所述来料文本描述特征向量通过基于对抗生成网络的文本理解模型以得到来料生成图像；所述生成来料图像特征提取模块360，用于将所述来料生成图像通过所述包含深浅特征融合模块的卷积神经网络模型以得到来料生成图像特征矩阵；所述差分模块370，用于计算所述来料生成图像特征矩阵和所述来料图像特征矩阵之间的差分特征矩阵；所述类中心偏移校正模块380，用于基于所述来料生成图像特征矩阵和所述来料图像特征矩阵，对所述差分特征矩阵进行类中心偏移校正以得到校正后差分特征矩阵；以及，所述检验结果生成模块390，用于将所述校正后差分特征矩阵通过分类器以得到分类结果，所述分类结果用于表示来料是否合格。

图3为根据本申请实施例的用于门加工的来料合格检验系统的系统架构图。如图3所示，在所述用于门加工的来料合格检验系统300的系统架构中，首先通过所述数据调取模块310获取用于门加工的来料的文本描述说明和所述来料的检测图像；所述分辨率增强模块320将所述数据调取模块310获取的来料的检测图像通过基于自动编解码器的图像像素增强器以得到分辨率优化检测图像；接着，所述来料图像特征提取模块330将所述分辨率增强模块320得到的分辨率优化检测图像通过包含深浅特征融合模块的卷积神经网络模型以得到来料图像特征矩阵；同时，所述来料文本描述理解模块340将所述数据调取模块310获取的来料的文本描述说明通过包含嵌入层的上下文编码器以得到来料文本描述特征向量；所述对抗生成模块350将所述来料文本描述理解模块340生成的来料文本描述特征向量通过基于对抗生成网络的文本理解模型以得到来料生成图像；然后，所述生成来料图像特征提取模块360用于将所述对抗生成模块350得到的来料生成图像通过所述包含深浅特征融合模块的卷积神经网络模型以得到来料生成图像特征矩阵；所述差分模块370计算所述生成来料图像特征提取模块360得到的来料生成图像特征矩阵和所述来料图像特征矩阵之间的差分特征矩阵；然后，所述类中心偏移校正模块380基于所述来料生成图像特征矩阵和所述来料图像特征矩阵，对所述差分特征矩阵进行类中心偏移校正以得到校正后差分特征矩阵；进而，所述检验结果生成模块390将所述校正后差分特征矩阵通过分类器以得到分类结果，所述分类结果用于表示来料是否合格。

具体地，在所述用于门加工的来料合格检验系统300的运行过程中，所述数据调取模块310，用于获取用于门加工的来料的文本描述说明和所述来料的检测图像。考虑到在实际对于实木复合门加工的来料检测可以通过对于来料的检测图像和标准图像进行比对分析来进行，但是，由于目前关于门加工的来料标准图像大都以文本描述数据居多，难以进行文本数据与图像数据的比对分析，因此，在本申请的技术方案中，采用基于深度学习的人工智能检测技术，以基于来料的文本描述说明和所述来料的检测图像来判断来料是否合格。更具体地，获取用于门加工的来料的文本描述说明，以及，通过摄像头获取所述来料的检测图像。

具体地，在所述用于门加工的来料合格检验系统300的运行过程中，所述分辨率增强模块320，用于将所述来料的检测图像通过基于自动编解码器的图像像素增强器以得到分辨率优化检测图像。考虑到在所述来料的检测图像的采集过程中，可能会由于外界环境因素或自身因素的干扰导致图像采集的分辨率较低，进而导致所述来料的检测图像中关于来料质量的特征信息变得模糊，影响对于来料质量的检测效果。因此，在进行特征挖掘前需要进一步进行图像的像素增强，具体地，将所述来料的检测图像通过基于自动编解码器的图像像素增强器以得到分辨率优化检测图像。特别地，自动编码器是由编码器和解码器组成的三层前馈神经网络，属于无监督学习方法。编码器将输入数据从高维空间映射到低维特征空间，实现输入数据的压缩表示以及提取特征向量，同时，通过解码器尽可能多地重构输入数据的低维特征。在本申请的技术方案中，所述编码器使用卷积层对所述来料的检测图像进行显式空间编码以得到图像特征，所述解码器使用反卷积层对所述图像特征进行反卷积处理以得到所述分辨率优化检测图像。

图4为根据本申请实施例的用于门加工的来料合格检验系统中分辨率增强模块的框图。如图4所示，所述分辨率增强模块320，包括：信号编码单元321，用于使用所述自动编码器的编码器从所述来料的检测图像提取来料的检测特征图，其中，所述自动编码器的编码器为卷积层；以及，信号解码单元322，用于使用所述自动编码器的解码器对所述来料的检测特征图进行解码以得到所述分辨率优化检测图像，其中，所述自动编码器的解码器为反卷积层。

具体地，在所述用于门加工的来料合格检验系统300的运行过程中，所述来料图像特征提取模块330，用于将所述分辨率优化检测图像通过包含深浅特征融合模块的卷积神经网络模型以得到来料图像特征矩阵。也就是，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述分辨率优化检测图像的特征挖掘，特别地，考虑到在对于所述分辨率优化检测图像的隐藏特征进行提取时，为了能够更准确地检测出所述来料质量的缺陷，应在关注于所述分辨率优化检测图像中关于来料的深层特征的同时，更关注于其表面的纹理、形状等浅层特征，这些所述浅层特征对于所述来料质量的缺陷检测具有重要意义，而卷积神经网络在编码时，随着其深度的加深，浅层特征会变得模糊甚至被噪声所淹没。因此，在本申请的技术方案中，使用包含深浅特征融合模块的卷积神经网络模型来对所述分辨率优化检测图像进行处理以得到来料图像特征矩阵，相较于标准卷积神经网络模型，根据本申请的所述卷积神经网络模型能够保留所述来料质量的浅层特征和深层特征，以不仅使得特征信息更为丰富，且不同深度的特征能得以保留，进而提高对于所述来料质量检测的精度。更具体地，所述将所述分辨率优化检测图像通过包含深浅特征融合模块的卷积神经网络模型以得到来料图像特征矩阵，包括：从所述卷积神经网络模型的浅层提取浅层特征图；从所述卷积神经网络模型的深层提取深层特征图；以及，融合所述浅层特征图和所述深层特征图以得到所述来料图像特征矩阵；其中，所述深层与所述浅层之间的比值大于等于5且小于等于10。

图5为根据本申请实施例的用于门加工的来料合格检验系统中深浅卷积编码的流程图。如图5所述，在所述深浅卷积编码过程中，包括：S210，使用所述包含深浅特征融合模块的卷积神经网络模型的浅层提取浅层特征矩阵；S220，使用所述包含深浅特征融合模块的卷积神经网络模型的深层提取深层特征矩阵；以及，S230，融合所述浅层特征矩阵和所述深层特征矩阵以得到所述来料图像特征矩阵；其中，所述深层与所述浅层之间的比值大于等于5且小于等于10。

具体地，在所述用于门加工的来料合格检验系统300的运行过程中，所述来料文本描述理解模块340，用于将所述来料的文本描述说明通过包含嵌入层的上下文编码器以得到来料文本描述特征向量。在本申请的技术方案中，对于所述来料的文本描述说明，为了能够将其转化为与所述来料的检测图像相同类型的图像数据以提高对于门加工来料质量是否合格检测的精准度，进一步需要对于所述来料的文本描述说明进行语义理解。也就是，具体地，在本申请的技术方案中，将所述来料的文本描述说明通过包含嵌入层的上下文编码器中进行编码，以提取出所述来料文本描述说明中关于来料质量的基于全局的上下文语义理解特征，从而得到来料文本描述特征向量。具体地，将所述来料的文本描述说明进行分词以得到由多个词组成的词序列，接着使用所述包含嵌入层的上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列，然后，使用所述包含嵌入层的上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以得到多个上下文语义特征向量，进一步将所述多个上下文语义特征向量进行级联以得到所述来料文本描述特征向量。更具体地，所述使用所述包含嵌入层的上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以得到多个上下文语义特征向量，包括：首先将所述词向量的序列进行一维排列以得到全局词特征向量，再计算所述全局词特征向量与所述词向量的序列中各个词向量的转置向量之间的乘积以得到多个自注意力关联矩阵，接着，分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵，将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值，进一步分别以所述多个概率值中各个概率值作为权重对所述词向量的序列中各个词向量进行加权以得到所述多个上下文语义特征向量。更具体地，在本申请的一个具体示例中，所述将所述多个上下文语义特征向量进行级联以得到所述来料文本描述特征向量，包括：以如下公式来融合所述颜色特征图和所述纹理特征图以得到分类特征图；其中，所述公式为：

其中，，...表示所述多个上下文语义特征向量，表示级联函数，表示所述来料文本描述特征向量。

图6为根据本申请实施例的用于门加工的来料合格检验系统中来料文本描述理解模块的框图。如图6所示，所述来料文本描述理解模块340，包括：分词单元341，用于对所述来料的文本描述说明进行分词处理以将所述来料的文本描述说明转化为由多个词组成的词序列；嵌入编码单元342，用于使用所述包含嵌入层的上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列；上下文编码单元343，用于使用所述包含嵌入层的上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以得到多个上下文语义特征向量；以及，融合单元344，用于将所述多个上下文语义特征向量进行级联以得到所述来料文本描述特征向量。

具体地，在所述用于门加工的来料合格检验系统300的运行过程中，所述对抗生成模块350，用于将所述来料文本描述特征向量通过基于对抗生成网络的文本理解模型以得到来料生成图像。也就是，将所述来料文本描述特征向量通过基于对抗生成网络的文本理解模型以得到关于所述来料文本描述基于全局的上下文语义理解特征的标准参考图像，即来料生成图像。特别地，这里，所述对抗生成网络包括生成器和鉴别器，所述对抗生成网络的生成器能够基于来料文本描述的语义理解特征来生成来料生成图像；而所述对抗生成网络的鉴别器用于计算所述来料生成图像和真实的语义理解特征参考图像之间的差异，并通过梯度下降的方向传播算法来更新所述生成器的网络参数以得到更为准确的所述生成器。

具体地，在所述用于门加工的来料合格检验系统300的运行过程中，所述生成来料图像特征提取模块360，用于将所述来料生成图像通过所述包含深浅特征融合模块的卷积神经网络模型以得到来料生成图像特征矩阵。应可以理解，为了能够提高对于来料是否合格的检测精准度，同样地，也将所述来料生成图像通过所述包含深浅特征融合模块的卷积神经网络模型中进行特征挖掘，以提取出所述来料生成图像中关于来料质量的浅层特征和深层特征的融合特征分布信息，从而得到来料生成图像特征矩阵。应可以理解，使用相同的特征提取方式来进行所述来料生成图像和所述来料检测图像的特征挖掘，能够提取出两者的图像在图像源域端差异不明显的特征信息，以此来提高对于所述来料质量是否合格的检测精准度。更具体地，所述将所述来料生成图像通过所述包含深浅特征融合模块的卷积神经网络模型以得到来料生成图像特征矩阵，包括：使用所述包含深浅特征融合模块的卷积神经网络模型的浅层提取浅层特征矩阵；使用所述包含深浅特征融合模块的卷积神经网络模型的深层提取深层特征矩阵；以及融合所述浅层特征矩阵和所述深层特征矩阵以得到所述来料生成图像特征矩阵；其中，所述深层与所述浅层之间的比值大于等于5且小于等于10。

具体地，在所述用于门加工的来料合格检验系统300的运行过程中，所述差分模块370，用于计算所述来料生成图像特征矩阵和所述来料图像特征矩阵之间的差分特征矩阵。也就是，计算所述来料生成图像特征矩阵和所述来料图像特征矩阵之间的差分特征矩阵来表示来料的实际检测图像和来料文本描述的标准参考图像在高维空间中关于来料质量特征的差异性特征分布信息。在本申请的一个具体示例中，以如下公式计算所述来料生成图像特征矩阵和所述来料图像特征矩阵之间的差分特征矩阵；其中，所述公式为：

其中，表示所述来料生成图像特征矩阵，表示所述来料图像特征矩阵，表示所述差分特征矩阵，表示按位置差分。

具体地，在所述用于门加工的来料合格检验系统300的运行过程中，所述类中心偏移校正模块380，用于基于所述来料生成图像特征矩阵和所述来料图像特征矩阵，对所述差分特征矩阵进行类中心偏移校正以得到校正后差分特征矩阵。特别地，在本申请的技术方案中，这里，将所述来料文本描述特征向量通过基于对抗生成网络的文本理解模型得到来料生成图像时，所述来料生成图像会具有不同于自然图像语义分布的生成语义分布，使得所述来料生成图像特征矩阵和所述来料图像特征矩阵之间存在类中心偏移，而所述来料生成图像特征矩阵和所述来料图像特征矩阵之间的所述差分特征矩阵是计算所述来料生成图像特征矩阵和所述来料图像特征矩阵之间的逐位置差分，因此所述差分特征矩阵也存在类中心偏移的问题，影响其分类结果的准确性。因此，首先将所述来料生成图像特征矩阵和所述来料图像特征矩阵分别转换为对角矩阵，例如记为和，然后进行类节点的拓扑-类中心融合，表示为：

和分别表示矩阵的Kronecker积和Hadamard积，为特征矩阵和之间的逐位置距离矩阵，即。具体地，由于在分类器的二分类问题中，如果将所述来料生成图像特征矩阵和所述来料图像特征矩阵融合后的类节点表示为树形式，则所述来料生成图像特征矩阵和所述来料图像特征矩阵各自的类节点分布为基于根节点的子树，因此可以利用节点之间关联的图拓扑，来使得融合后的类节点的节点分布基于图拓扑而表现为以各自节点为中心的子图结构，从而表达以所述来料生成图像特征矩阵和所述来料图像特征矩阵各自的类节点为根的子树结构，以实现所述来料生成图像特征矩阵和所述来料图像特征矩阵的基于类节点-中心的拓扑式融合，从而消除所述来料生成图像特征矩阵和所述来料图像特征矩阵之间的类中心偏移。进一步地，将融合后的特征矩阵与所述差分特征矩阵，例如记为进行矩阵相乘，以将所述差分特征矩阵映射到消除类中心偏移的融合特征空间内，以提升所述差分特征矩阵的分类结果的准确性，从而得到校正后差分特征矩阵，并以所述校正后差分特征矩阵作为分类特征矩阵通过分类器进行来料是否合格的分类检测判断。这样，能够精准地对于门加工的来料质量进行智能检验，以保证实木复合门产品的加工质量。

图7为根据本申请实施例的用于门加工的来料合格检验系统中类中心偏移校正模块的框图。如图7所示，所述类中心偏移校正模块380，包括：特征融合单元381，用于以如下公式对所述来料生成图像特征矩阵和所述来料图像特征矩阵进行类节点的拓扑-类中心融合以得到融合特征矩阵；其中，所述公式为：

其中和分别是所述来料生成图像特征矩阵和所述来料图像特征矩阵转换为对角矩阵，是所述融合特征矩阵，和分别表示矩阵的Kronecker积和Hadamard积，为所述来料生成图像特征矩阵和所述来料图像特征矩阵转换的对角矩阵之间的逐位置距离矩阵，表示矩阵的指数运算，所述矩阵的指数运算表示计算以矩阵中各个位置的特征值为幂的自然指数函数值；以及，校正单元382，用于将所述融合特征矩阵与所述差分特征矩阵进行矩阵相乘以得到所述校正后差分特征矩阵。

具体地，在所述用于门加工的来料合格检验系统300的运行过程中，所述检验结果生成模块390，用于将所述校正后差分特征矩阵通过分类器以得到分类结果，所述分类结果用于表示来料是否合格。也就是，将所述校正后差分特征矩阵作为分类特征矩形通过分类器中进行分类处理，以得到用于表示来料是否合格的分类结果。也就是，使用所述分类器确定所述校正后差分特征矩阵所属的类概率标签，其中，所述类概率标签包括来料合格（第一标签），以及，来料不合格（第二标签）。这样，能够精准地对于门加工的来料质量进行智能检验，以保证实木复合门产品的加工质量。在本申请的一个具体示例中，使用所述分类器以如下公式对所述校正后差分特征矩阵进行处理以获得分类结果，其中，所述公式为：

，其中表示将所述校正后差分特征矩阵投影为向量，至为各层全连接层的权重矩阵，至表示各层全连接层的偏置向量。具体地，所述分类器包括多个全连接层和与所述多个全连接层最后一个全连接层级联的Softmax层。其中，在所述分类器的分类处理中，首先将所述校正后差分特征矩阵投影为向量，例如，在一个具体的示例中，将所述校正后差分特征矩阵沿着行向量或者列向量进行展开为分类特征向量；然后，使用所述分类器的多个全连接层对所述分类特征向量进行多次全连接编码以得到编码分类特征向量；进而，将所述编码分类特征向量输入所述分类器的Softmax层，即，使用所述Softmax分类函数对所述编码分类特征向量进行分类处理以得到所述编码分类特征向量归属于来料合格的第一标签以及来料不合格的第二标签。

图8为根据本申请实施例的用于门加工的来料合格检验系统中检验结果生成模块的框图。如图8所示，所述检验结果生成模块390，包括：展开单元391，用于将所述校正后差分特征矩阵基于行向量或列向量展开为分类特征向量；全连接编码单元392，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类结果生成单元393，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

综上，根据本申请实施例的用于门加工的来料合格检验系统300被阐明，其通过采用基于深度学习的人工智能检测技术，对所述来料的检测图像进行分辨率优化后提取出其在高维空间中的深浅融合特征信息，进一步通过使用包含嵌入层的上下文编码器对来料的文本描述说明进行基于全局的上下文语义理解，以此利用对抗生成的思想来生成来料的生成参考图像，同时也提取出其在高维空间中的深浅融合特征信息，以这两者在高维空间中的特征性差异对比来进行来料是否合格的质量检测。这样，能够精准地对于门加工的来料质量进行智能检验，以保证实木复合门产品的加工质量。

如上所述，根据本申请实施例的用于门加工的来料合格检验系统可以实现在各种终端设备中。在一个示例中，根据本申请实施例的用于门加工的来料合格检验系统300可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该用于门加工的来料合格检验系统300可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该用于门加工的来料合格检验系统300同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该用于门加工的来料合格检验系统300与该终端设备也可以是分立的设备，并且该用于门加工的来料合格检验系统300可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

示例性方法

图9为根据本申请实施例的用于门加工的来料合格检验方法的流程图。如图9所示，根据本申请实施例的用于门加工的来料合格检验方法，包括步骤：S110，获取用于门加工的来料的文本描述说明和所述来料的检测图像；S120，将所述来料的检测图像通过基于自动编解码器的图像像素增强器以得到分辨率优化检测图像；S130，将所述分辨率优化检测图像通过包含深浅特征融合模块的卷积神经网络模型以得到来料图像特征矩阵；S140，将所述来料的文本描述说明通过包含嵌入层的上下文编码器以得到来料文本描述特征向量；S150，将所述来料文本描述特征向量通过基于对抗生成网络的文本理解模型以得到来料生成图像；S160，将所述来料生成图像通过所述包含深浅特征融合模块的卷积神经网络模型以得到来料生成图像特征矩阵；S170，计算所述来料生成图像特征矩阵和所述来料图像特征矩阵之间的差分特征矩阵；S180，基于所述来料生成图像特征矩阵和所述来料图像特征矩阵，对所述差分特征矩阵进行类中心偏移校正以得到校正后差分特征矩阵；以及，S190，将所述校正后差分特征矩阵通过分类器以得到分类结果，所述分类结果用于表示来料是否合格。

在一个示例中，在上述用于门加工的来料合格检验方法中，所述步骤S120，包括：使用所述自动编码器的编码器从所述来料的检测图像提取来料的检测特征图，其中，所述自动编码器的编码器为卷积层；以及，使用所述自动编码器的解码器对所述来料的检测特征图进行解码以得到所述分辨率优化检测图像，其中，所述自动编码器的解码器为反卷积层。

在一个示例中，在上述用于门加工的来料合格检验方法中，所述步骤S130，包括：使用所述包含深浅特征融合模块的卷积神经网络模型的浅层提取浅层特征矩阵；使用所述包含深浅特征融合模块的卷积神经网络模型的深层提取深层特征矩阵；以及，融合所述浅层特征矩阵和所述深层特征矩阵以得到所述来料图像特征矩阵；其中，所述深层与所述浅层之间的比值大于等于5且小于等于10。

在一个示例中，在上述用于门加工的来料合格检验方法中，所述步骤S130，包括：对所述来料的文本描述说明进行分词处理以将所述来料的文本描述说明转化为由多个词组成的词序列；使用所述包含嵌入层的上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列；使用所述包含嵌入层的上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以得到多个上下文语义特征向量；以及，将所述多个上下文语义特征向量进行级联以得到所述来料文本描述特征向量。其中，所述使用所述包含嵌入层的上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以得到多个上下文语义特征向量，包括：将所述词向量的序列进行一维排列以得到全局词特征向量；计算所述全局词特征向量与所述词向量的序列中各个词向量的转置向量之间的乘积以得到多个自注意力关联矩阵；分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；分别以所述多个概率值中各个概率值作为权重对所述词向量的序列中各个词向量进行加权以得到所述多个上下文语义特征向量。

在一个示例中，在上述用于门加工的来料合格检验方法中，所述步骤S150，包括：所述对抗生成网络包括生成器和鉴别器。

在一个示例中，在上述用于门加工的来料合格检验方法中，所述步骤S170，包括：以如下公式计算所述来料生成图像特征矩阵和所述来料图像特征矩阵之间的差分特征矩阵；其中，所述公式为：，其中，表示所述来料生成图像特征矩阵，表示所述来料图像特征矩阵，表示所述差分特征矩阵，表示按位置差分。

在一个示例中，在上述用于门加工的来料合格检验方法中，所述步骤S180，包括：以如下公式对所述来料生成图像特征矩阵和所述来料图像特征矩阵进行类节点的拓扑-类中心融合以得到融合特征矩阵；

其中，所述公式为：

其中和分别是所述来料生成图像特征矩阵和所述来料图像特征矩阵转换为对角矩阵，是所述融合特征矩阵，和分别表示矩阵的Kronecker积和Hadamard积，为所述来料生成图像特征矩阵和所述来料图像特征矩阵转换的对角矩阵之间的逐位置距离矩阵，表示矩阵的指数运算，所述矩阵的指数运算表示计算以矩阵中各个位置的特征值为幂的自然指数函数值；以及，将所述融合特征矩阵与所述差分特征矩阵进行矩阵相乘以得到所述校正后差分特征矩阵。

在一个示例中，在上述用于门加工的来料合格检验方法中，所述步骤S190，包括：将所述校正后差分特征矩阵基于行向量或列向量展开为分类特征向量；使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

综上，根据本申请实施例的用于门加工的来料合格检验方法被阐明，其通过采用基于深度学习的人工智能检测技术，对所述来料的检测图像进行分辨率优化后提取出其在高维空间中的深浅融合特征信息，进一步通过使用包含嵌入层的上下文编码器对来料的文本描述说明进行基于全局的上下文语义理解，以此利用对抗生成的思想来生成来料的生成参考图像，同时也提取出其在高维空间中的深浅融合特征信息，以这两者在高维空间中的特征性差异对比来进行来料是否合格的质量检测。这样，能够精准地对于门加工的来料质量进行智能检验，以保证实木复合门产品的加工质量。

示例性电子设备

下面，参考图10来描述根据本申请实施例的电子设备。

图10图示了根据本申请实施例的电子设备的框图。

如图10所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的用于门加工的来料合格检验系统中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如来料图像特征矩阵等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。

该输入装置13可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括分类结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图10中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性系统”部分中描述的根据本申请各种实施例的用于门加工的来料合格检验方法中的功能中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性系统”部分中描述的根据本申请各种实施例的用于门加工的来料合格检验方法中的功能中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种用于门加工的来料合格检验系统，其特征在于，包括：

数据调取模块，用于获取用于门加工的来料的文本描述说明和所述来料的检测图像；

分辨率增强模块，用于将所述来料的检测图像通过基于自动编解码器的图像像素增强器以得到分辨率优化检测图像；

来料图像特征提取模块，用于将所述分辨率优化检测图像通过包含深浅特征融合模块的卷积神经网络模型以得到来料图像特征矩阵；

来料文本描述理解模块，用于将所述来料的文本描述说明通过包含嵌入层的上下文编码器以得到来料文本描述特征向量；

对抗生成模块，用于将所述来料文本描述特征向量通过基于对抗生成网络的文本理解模型以得到来料生成图像；

生成来料图像特征提取模块，用于将所述来料生成图像通过所述包含深浅特征融合模块的卷积神经网络模型以得到来料生成图像特征矩阵；

差分模块，用于计算所述来料生成图像特征矩阵和所述来料图像特征矩阵之间的差分特征矩阵；

类中心偏移校正模块，用于基于所述来料生成图像特征矩阵和所述来料图像特征矩阵，对所述差分特征矩阵进行类中心偏移校正以得到校正后差分特征矩阵；以及

检验结果生成模块，用于将所述校正后差分特征矩阵通过分类器以得到分类结果，所述分类结果用于表示来料是否合格。

2.根据权利要求1所述的用于门加工的来料合格检验系统，其特征在于，所述分辨率增强模块，包括：

信号编码单元，用于使用所述自动编码器的编码器从所述来料的检测图像提取来料的检测特征图，其中，所述自动编码器的编码器为卷积层；以及

信号解码单元，用于使用所述自动编码器的解码器对所述来料的检测特征图进行解码以得到所述分辨率优化检测图像，其中，所述自动编码器的解码器为反卷积层。

3.根据权利要求2所述的用于门加工的来料合格检验系统，其特征在于，所述来料图像特征提取模块，进一步用于：

使用所述包含深浅特征融合模块的卷积神经网络模型的浅层提取浅层特征矩阵；

使用所述包含深浅特征融合模块的卷积神经网络模型的深层提取深层特征矩阵；以及

融合所述浅层特征矩阵和所述深层特征矩阵以得到所述来料图像特征矩阵；

其中，所述深层与所述浅层之间的比值大于等于5且小于等于10。

4.根据权利要求3所述的用于门加工的来料合格检验系统，其特征在于，所述来料文本描述理解模块，包括：

分词单元，用于对所述来料的文本描述说明进行分词处理以将所述来料的文本描述说明转化为由多个词组成的词序列；

嵌入编码单元，用于使用所述包含嵌入层的上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列；

上下文编码单元，用于使用所述包含嵌入层的上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以得到多个上下文语义特征向量；以及

融合单元，用于将所述多个上下文语义特征向量进行级联以得到所述来料文本描述特征向量。

5.根据权利要求4所述的用于门加工的来料合格检验系统，其特征在于，所述上下文编码单元，包括：

查询向量构造子单元，用于将所述词向量的序列进行一维排列以得到全局词特征向量；

自注意子单元，用于计算所述全局词特征向量与所述词向量的序列中各个词向量的转置向量之间的乘积以得到多个自注意力关联矩阵；

标准化子单元，用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；

关注度计算子单元，用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；

注意力施加子单元，用于分别以所述多个概率值中各个概率值作为权重对所述词向量的序列中各个词向量进行加权以得到所述多个上下文语义特征向量。

6.根据权利要求5所述的用于门加工的来料合格检验系统，其特征在于，所述对抗生成网络包括生成器和鉴别器。

7.根据权利要求6所述的用于门加工的来料合格检验系统，其特征在于，所述差分模块，进一步用于：以如下公式计算所述来料生成图像特征矩阵和所述来料图像特征矩阵之间的差分特征矩阵；

其中，所述公式为：

其中，表示所述来料生成图像特征矩阵，表示所述来料图像特征矩阵，表示所述差分特征矩阵，表示按位置差分。

8.根据权利要求7所述的用于门加工的来料合格检验系统，其特征在于，所述类中心偏移校正模块，包括：

特征融合单元，用于以如下公式对所述来料生成图像特征矩阵和所述来料图像特征矩阵进行类节点的拓扑-类中心融合以得到融合特征矩阵；

其中，所述公式为：

其中和分别是所述来料生成图像特征矩阵和所述来料图像特征矩阵转换为对角矩阵，是所述融合特征矩阵，和分别表示矩阵的Kronecker积和Hadamard积，为所述来料生成图像特征矩阵和所述来料图像特征矩阵转换的对角矩阵之间的逐位置距离矩阵，表示矩阵的指数运算，所述矩阵的指数运算表示计算以矩阵中各个位置的特征值为幂的自然指数函数值；以及

校正单元，用于将所述融合特征矩阵与所述差分特征矩阵进行矩阵相乘以得到所述校正后差分特征矩阵。

9.根据权利要求8所述的用于门加工的来料合格检验系统，其特征在于，所述检验结果生成模块，包括：

展开单元，用于将所述校正后差分特征矩阵基于行向量或列向量展开为分类特征向量；

全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及

分类结果生成单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

10.一种用于门加工的来料合格检验方法，其特征在于，包括：

获取用于门加工的来料的文本描述说明和所述来料的检测图像；

将所述来料的检测图像通过基于自动编解码器的图像像素增强器以得到分辨率优化检测图像；

将所述分辨率优化检测图像通过包含深浅特征融合模块的卷积神经网络模型以得到来料图像特征矩阵；

将所述来料的文本描述说明通过包含嵌入层的上下文编码器以得到来料文本描述特征向量；

将所述来料文本描述特征向量通过基于对抗生成网络的文本理解模型以得到来料生成图像；

将所述来料生成图像通过所述包含深浅特征融合模块的卷积神经网络模型以得到来料生成图像特征矩阵；

计算所述来料生成图像特征矩阵和所述来料图像特征矩阵之间的差分特征矩阵；

基于所述来料生成图像特征矩阵和所述来料图像特征矩阵，对所述差分特征矩阵进行类中心偏移校正以得到校正后差分特征矩阵；以及

将所述校正后差分特征矩阵通过分类器以得到分类结果，所述分类结果用于表示来料是否合格。

Images