CN116091874B - 图像校验方法、训练方法、装置、介质、设备及程序产品 - Google Patents

Abstract

本申请的实施例公开了一种图像校验方法、训练方法、装置、介质、设备及程序产品，涉及图像处理技术领域，包括：将目标图像与若干预设图像分别输入已训练的孪生网络模型，获得若干相似度信息；根据相似度阈值与相似度信息，获得目标图像相对预设产品的归属结果，以完成图像校验。本申请通过目标图像与预设图像构建孪生网络模型，卷积神经网络准确提取图像的特征，孪生网络计算图像间的相似度，由于预设图像是用于训练缺陷检测模型，因此获得图像的相似度后，根据相似度阈值，能快速判断目标图像与训练检测模型的样本的相似情况，即可以提前判断出目标图像是否属于参与训练缺陷检测模型的图像，实现对目标图像相对预设产品是否为新产品的校验。

Description

图像校验方法、训练方法、装置、介质、设备及程序产品

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像校验方法、训练方法、装置、介质、设备及程序产品。

背景技术

面板制造过程中因工艺波动、机台差异等因素影响，会产生各种各样形态的缺陷。随着人工智能以及相应ADC自动检测系统的发展，面板自动检测已经成为了可能。由于检测模型的检测能力来源于对样本数据的学习，在特殊情况下，如出现了新产品，也即图片的背景、颜色、形状等发生改变，导致检测模型无法正常完成检出缺陷。而现目前缺乏一种检验手段，使得能够在图像输入检测模型之前，就获知其是否属于新产品。

发明内容

本申请的主要目的在于提供一种图像校验方法、训练方法、装置、介质、设备及程序产品，旨在解决现有技术中缺乏在图像输入检测模型之前就对其进行校验的手段的问题。

为实现上述目的，本申请的实施例采用的技术方案如下：

第一方面，本申请实施例提供一种图像校验方法，包括以下步骤：

将目标图像与若干预设图像分别输入已训练的孪生网络模型，获得若干相似度信息；其中，预设图像基于若干预设产品获得，预设图像用于训练缺陷检测模型，孪生网络基于卷积神经网络模型，分别对目标图像与预设图像进行特征提取后训练获得；

根据相似度阈值与相似度信息，获得目标图像相对预设产品的归属结果，以完成图像校验；

其中，根据相似度阈值与相似度信息，获得目标图像相对预设产品的归属结果，以完成图像校验，包括：

根据相似度阈值与相似度信息，判断相似度信息是否大于相似度阈值，获得判断结果；

根据判断结果，获得目标图像相对预设产品的归属结果，以完成图像校验；

在目标图像属于预设产品的情况下，将完成校验的目标图像输入缺陷检测模型；

在目标图像不属于预设产品的情况下，基于目标图像训练获得缺陷检测模型。

通过目标图像与预设图像构建孪生网络模型，以卷积神经网络准确提取图像的特征，以孪生网络计算图像之间的相似度，由于预设图像是用于训练缺陷检测模型，因此获得目标图像与预设图像的相似度后，根据相似度阈值，能够快速判断目标图像与训练检测模型的样本的相似情况，也即可以提前判断出目标图像是否属于参与训练缺陷检测模型的图像，至此实现对目标图像相对预设产品是否为新产品的校验。

在第一方面的一种可能实现方式中，将目标图像与若干预设图像分别输入已训练的孪生网络模型，获得若干相似度信息之前，图像校验方法还包括：

基于卷积神经网络模型，将目标图像与预设图像输入卷积神经网络模型的卷积层，分别提取目标图像与预设图像的特征区域；

将特征区域输入卷积神经网络模型的池化层，分别获得目标图像与预设图像的特征；

将目标图像与预设图像的特征，分别输入卷积神经网络模型的第一全连接层，获得第一目标特征与第一预设特征；

将第一目标特征与第一预设特征，输入卷积神经网络模型的第二全连接层，获得目标输出；

根据目标输出，利用训练样本训练获得孪生网络模型。

提前训练模型以便于反复使用，以及提升图像校验的效率。卷积神经网络模型的特征提取层可以分为卷积层与池化层，卷积层通过卷积核的过滤提取出图片中局部的特征，获得目标图像与预设图像的特征区域。池化即下采样，目的是减少特征图，将目标图像与预设图像的特征区域池化后获得目标图像与预设图像的特征。池化层夹在连续的卷积层中间，用于压缩数据和参数的量，减小过度拟合，简而言之，如果输入的是图像的话，那么池化层的最主要作用就是压缩图像。最后在通过全连接层把所有局部特征结合变成全局特征，经过卷积层和池化层降维过的数据，全连接层才能高效率处理，不然数据量太大，计算成本高，效率低下。

在第一方面的一种可能实现方式中，将目标图像与预设图像的特征，分别输入卷积神经网络模型的第一全连接层，获得第一目标特征与第一预设特征之后，图像校验方法还包括：

计算第一目标特征与第一预设特征的相似度；

将第一目标特征与第一预设特征，输入卷积神经网络模型的第二全连接层，获得目标输出，包括：

将计算了相似度的第一目标特征与第一预设特征，输入卷积神经网络模型的第二全连接层，获得目标输出。

在分别提取目标图像与预设图像的特征后，为了量化其相似度信息，配合神经网络提取特征后的输出形式，因此对第一目标特征与第一预设特征的相似度进行计算，相似度计算的方式包括有余弦相似度、杰卡德相似系数等，余弦相似度通过两向量之间夹角的余弦值来衡量相似度，杰卡德距离用两个集合中不同元素占所有元素的比例来衡量两个集合的区分度。

在第一方面的一种可能实现方式中，计算第一目标特征与第一预设特征的相似度，包括：

采用曼哈顿距离比对方法，计算第一目标特征与第一预设特征的相似度。

通过引入曼哈顿距离衡量两图片之间的相似性，曼哈顿距离是一种使用在几何度量空间的几何学用语，用以标明两个点在标准坐标系上的绝对轴距总和。相比其他的如欧氏距离、切比雪夫距离的手段，采用曼哈顿距离具有更快的计算速度，不论两个对象的相对位置如何，只需要计算加减法即可获得相对距离，能够提升运算速度，使得对图像的校验更快。

在第一方面的一种可能实现方式中，根据目标输出，利用训练样本训练获得孪生网络模型之前，图像校验方法还包括：

根据目标输出，确定损失函数；

根据目标输出，利用训练样本训练获得孪生网络模型，包括：

根据目标输出与损失函数，利用训练样本训练获得孪生网络模型。

损失函数是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型，例如在统计学和机器学习中被用于模型的参数估计。损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。

在第一方面的一种可能实现方式中，根据目标输出与损失函数，利用训练样本训练获得孪生网络模型，包括：

根据目标输出与二值交叉熵损失函数，利用训练样本训练获得孪生网络模型。

由于输出结果为相似与不相似两种，也就是常说的二分类情形，因此采用匹配二分类情形，刻画两个概率分布之间的距离的二值交叉熵损失函数。解决平方损失函数权重更新过慢的问题，具有误差大的时候，权重更新快；误差小的时候，权重更新慢的良好性质，能够优化得到最优权重信息，加速模型的收敛。

在第一方面的一种可能实现方式中，根据目标输出，利用训练样本训练获得孪生网络模型之后，图像校验方法还包括：

将测试图片输入孪生网络模型，获得测试结果；

根据测试结果，调整孪生网络模型的参数。

在模型训练好之后且在其应用之前，利用测试图片对模型的效果进行验证，测试图片也即产品的图像，利用测试图片输入孪生网络模型，与预设图像进行对比，得出相应的相似度，通过相似度以及设定的阈值，可以快速得出图片是否是属于预设产品的，如果测试的结果明显与实际情况不符合，那么可以根据测试结果对应调整模型参数对模型进行优化。

在第一方面的一种可能实现方式中，根据判断结果，获得目标图像相对预设产品的归属结果，以完成图像校验，包括：

根据为否的判断结果，获得目标图像不属于预设产品的归属结果，以完成图像校验。

在第一方面的一种可能实现方式中，根据为否的判断结果，获得目标图像不属于预设产品的归属结果，以完成图像校验之后，图像校验方法还包括：

将不属于预设产品的目标图像作为样本数据，训练获得缺陷检测模型。

在目标图像输入缺陷模型之前完成了图像的校验，校验为是属于预设产品的图像，则说明缺陷检测模型对其有检出的能力，而对于新产品的图像，则可以将该图像纳入缺陷检测模型的样本数据，反过来丰富检测模型的样本数据，进而使其学习到检出相关产品缺陷的能力，提升检测模型的检出能力、检测准确性，丰富了图像校验方法的应用范围。

第二方面，本申请实施例提供一种模型训练方法，用于训练获得如上述第一方面中任一项提供的孪生网络模型，包括以下步骤：

基于卷积神经网络模型，将第一产品图像与第二产品图像输入卷积神经网络模型的卷积层，分别提取第一产品图像与第二产品图像的特征区域；

将特征区域输入卷积神经网络模型的池化层，分别获得第一产品图像与第二产品图像的特征；

将第一产品图像与第二产品图像的特征，分别输入卷积神经网络模型的第一全连接层，获得第一特征与第二特征；

将第一特征与第一特征，输入卷积神经网络模型的第二全连接层，获得目标输出；

根据目标输出，利用训练样本训练获得孪生网络模型。

第三方面，本申请实施例提供一种图像校验装置，包括：

相似度获得模块，相似度获得模块用于将目标图像与若干预设图像分别输入已训练的孪生网络模型，获得若干相似度信息；其中，预设图像基于若干预设产品获得，预设图像用于训练缺陷检测模型，孪生网络基于卷积神经网络模型，分别对目标图像与预设图像进行特征提取后训练获得；

校验模块，校验模块用于根据相似度阈值与相似度信息，获得目标图像相对预设产品的归属结果，以完成图像校验；

其中，根据相似度阈值与相似度信息，获得目标图像相对预设产品的归属结果，以完成图像校验，包括：

根据相似度阈值与相似度信息，判断相似度信息是否大于相似度阈值，获得判断结果；

根据判断结果，获得目标图像相对预设产品的归属结果，以完成图像校验；

在目标图像属于预设产品的情况下，将完成校验的目标图像输入缺陷检测模型；

在目标图像不属于预设产品的情况下，基于目标图像训练获得缺陷检测模型。

第四方面，本申请实施例提供一种模型训练装置，用于训练获得如上述第一方面中任一项提供的孪生网络模型，包括：

卷积模块，卷积模块用于基于卷积神经网络模型，将第一产品图像与第二产品图像输入卷积神经网络模型的卷积层，分别提取第一产品图像与第二产品图像的特征区域；

池化模块，池化模块用于将特征区域输入卷积神经网络模型的池化层，分别获得第一产品图像与第二产品图像的特征；

第一全连接模块，第一全连接模块用于将第一产品图像与第二产品图像的特征，分别输入卷积神经网络模型的第一全连接层，获得第一特征与第二特征；

第二全连接模块，第二全连接模块用于将第一特征与第一特征，输入卷积神经网络模型的第二全连接层，获得目标输出；

训练模块，训练模块用于根据目标输出，利用训练样本训练获得孪生网络模型。

第五方面，本申请实施例提供一种计算机可读存储介质，储存有计算机程序，计算机程序被处理器加载执行时，实现如上述第一方面中任一项提供的图像校验方法或如上述第二方面中任一项提供的模型训练方法。

第六方面，本申请实施例提供一种电子设备，包括处理器及存储器，其中，

存储器用于存储计算机程序；

处理器用于加载执行计算机程序，以使电子设备执行如上述第一方面中任一项提供的图像校验方法或如上述第二方面中任一项提供的模型训练方法。

与现有技术相比，本申请的有益效果是：

本申请实施例提出的一种图像校验方法、训练方法、装置、介质、设备及程序产品，该图像校验方法包括：将目标图像与若干预设图像分别输入已训练的孪生网络模型，获得若干相似度信息；其中，预设图像基于若干预设产品获得，预设图像用于训练缺陷检测模型，孪生网络基于卷积神经网络模型，分别对目标图像与预设图像进行特征提取后训练获得；根据相似度阈值与相似度信息，获得目标图像相对预设产品的归属结果，以完成图像校验。本申请的方法通过目标图像与预设图像构建孪生网络模型，以卷积神经网络准确提取图像的特征，以孪生网络计算图像之间的相似度，由于预设图像是用于训练缺陷检测模型，因此获得目标图像与预设图像的相似度后，根据相似度阈值，能够快速判断目标图像与训练检测模型的样本的相似情况，也即可以提前判断出目标图像是否属于参与训练缺陷检测模型的图像，至此实现对目标图像相对预设产品是否为新产品的校验。

附图说明

图1为本申请实施例涉及的硬件运行环境的电子设备结构示意图；

图2为本申请实施例提供的图像校验方法的流程示意图；

图3为本申请实施例提供的图像校验方法中卷积神经网络的示意图；

图4为本申请实施例提供的图像校验方法中测试图片的示意图；

图5为本申请实施例提供的模型训练方法的流程示意图；

图6为本申请实施例提供的图像校验装置的模块示意图；

图7为本申请实施例提供的模型训练装置的模块示意图；

图中标记：101-处理器，102-通信总线，103-网络接口，104-用户接口，105-存储器。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例的主要解决方案是：提出一种图像校验方法、训练方法、装置、介质、设备及程序产品，该图像校验方法包括：将目标图像与若干预设图像分别输入已训练的孪生网络模型，获得若干相似度信息；其中，预设图像基于若干预设产品获得，预设图像用于训练缺陷检测模型，孪生网络基于卷积神经网络模型，分别对目标图像与预设图像进行特征提取后训练获得；根据相似度阈值与相似度信息，获得目标图像相对预设产品的归属结果，以完成图像校验。

面板制造过程中因工艺波动、机台差异等因素影响，会产生各种各样形态的缺陷。随着人工智能以及相应ADC自动检测系统的发展，面板自动检测已经成为了可能。通过对样本数据的学习，使得缺陷检测模型具有检出学习过的缺陷的能力，但是在特殊情况下出现了新产品，也即图片的背景、颜色、形状等发生改变，产生了模型没有学习过的样本，导致检测模型无法正常完成检出缺陷，导致缺陷检测模型的准确率、覆盖率降低以及过检增加。

出现上述情况时，由于输入检测模型之前并不知道图像的情况，一般要过一段时间发现模型的检出能力降低后，才能定位到是产品出现变化导致的，并且自动缺陷检测的工作量是巨大的，在检测之前对输入图像做逐一地排查又难以实现，因此，目前缺乏一种检验手段，使得能够在图像输入检测模型之前，就获知其是否属于新产品。

为此，本申请提供一种解决方案，通过目标图像与预设图像构建孪生网络模型，以卷积神经网络准确提取图像的特征，以孪生网络计算图像之间的相似度，由于预设图像是用于训练缺陷检测模型，因此获得目标图像与预设图像的相似度后，根据相似度阈值，能够快速判断目标图像与训练检测模型的样本的相似情况，也即可以提前判断出目标图像是否属于参与训练缺陷检测模型的图像，至此实现对目标图像相对预设产品是否为新产品的校验。

参照附图1，附图1为本申请实施例方案涉及的硬件运行环境的电子设备结构示意图，该电子设备可以包括：处理器101，例如中央处理器（Central Processing Unit，CPU），通信总线102、用户接口104，网络接口103，存储器105。其中，通信总线102用于实现这些组件之间的连接通信。用户接口104可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口104还可以包括标准的有线接口、无线接口。网络接口103可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器105可选的可以是独立于前述处理器101的存储装置，存储器105可能是高速的随机存取存储器（Random Access Memory，RAM）存储器，也可能是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器；处理器101可以是通用处理器，包括中央处理器、网络处理器等，还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本领域技术人员可以理解，附图1中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如附图1所示，作为一种存储介质的存储器105中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及电子程序。

在附图1所示的电子设备中，网络接口103主要用于与网络服务器进行数据通信；用户接口104主要用于与用户进行数据交互；本申请中的处理器101、存储器105可以设置在电子设备中，电子设备通过处理器101调用存储器105中存储的图像校验装置或模型训练方法，并执行本申请实施例提供的图像校验方法或模型训练方法。

参照附图2，基于前述实施例的硬件设备，本申请的实施例提供一种图像校验方法，包括以下步骤：

S60：将目标图像与若干预设图像分别输入已训练的孪生网络模型，获得若干相似度信息；其中，预设图像基于若干预设产品获得，预设图像用于训练缺陷检测模型，孪生网络基于卷积神经网络模型，分别对目标图像与预设图像进行特征提取后训练获得。

在具体实施过程中，目标图像为将要输入缺陷检测模型的图像，在输入之前需要对其进行校验，确定其是否为新产品的图像；预设产品为已有的未发生新变化的产品，本申请实施例中以各种类型的面板产品为例，预设图像为基于预设产品，通过相机、光学机台获取的图像，预设图像可以是无缺陷图像，也可以是带缺陷的图像。利用预设图像通过现有手段训练缺陷检测模型，使其能够针对预设产品的实拍图进行自动缺陷检测。

孪生网络模型，是基于孪生网络训练的模型，孪生网络模型的作用为，将两个图像分别输入同样的网络中，判断两个网络输出的距离，也就是两图像之间的相似度信息，本实施例中的目的就是为了校验目标图像是否为参与了缺陷检测模型训练的图像，因此输入孪生网络模型的图像为目标图像与预设图像，由于预设图像有很多，因此每次输入两张图像，一张为目标图像，一张为预设图像中的一张，以此来完成逐一对比。

而前述孪生网络模型中所说的同样的网络，在本实施例中采用卷积神经网络，卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。在图像的对比中，实质就是特征的对比，因此利用卷积神经网络分别对图像的特征进行提取，能够在保留图像特征的情况下有效针对大数据量进行降维，实现快速提取，几乎不需要人工参与。

S70：根据相似度阈值与相似度信息，获得目标图像相对预设产品的归属结果，以完成图像校验。

在具体实施过程中，相似度阈值，为根据实际情况设定的相似度的阈值，将情况多样的相似度信息以阈值划分为明确的两部分，即相似与不相似，将图像有多相似等不确定情况都统一规划。由于相似度信息来源于目标图像与每一个预设图像对比，而一个预设图像又对应一种预设产品，就可以判定目标图像相对预设产品的归属结果，也即目标图像是否来源于预设产品，如果不是则说明产生了新产品，目标图像为新产品图像，缺陷检测模型无法检出，反之目标图像为预设产品产生的，可以送检检测模型，至此在图像输入缺陷检测模型之前完成对图像的校验。

本实施例中，通过目标图像与预设图像构建孪生网络模型，以卷积神经网络准确提取图像的特征，以孪生网络计算图像之间的相似度，由于预设图像是用于训练缺陷检测模型，因此获得目标图像与预设图像的相似度后，根据相似度阈值，能够快速判断目标图像与训练检测模型的样本的相似情况，也即可以提前判断出目标图像是否属于参与训练缺陷检测模型的图像，至此实现对目标图像相对预设产品是否为新产品的校验。

在一种实施例中，提供一种孪生网络模型的获得方式，具体的：将目标图像与若干预设图像分别输入已训练的孪生网络模型，获得若干相似度信息之前，图像校验方法还包括：

S10：基于卷积神经网络模型，将目标图像与预设图像输入卷积神经网络模型的卷积层，分别提取目标图像与预设图像的特征区域；

S20：将特征区域输入卷积神经网络模型的池化层，分别获得目标图像与预设图像的特征；

S30：将目标图像与预设图像的特征，分别输入卷积神经网络模型的第一全连接层，获得第一目标特征与第一预设特征；

S40：将第一目标特征与第一预设特征，输入卷积神经网络模型的第二全连接层，获得目标输出；

S50：根据目标输出，利用训练样本训练获得孪生网络模型。

在具体实施过程中，提前训练模型以便于反复使用，以及提升图像校验的效率。卷积神经网络模型的简单结构如附图3所示，其特征提取层可以分为卷积层与池化层，卷积层通过卷积核的过滤提取出图片中局部的特征，获得目标图像与预设图像的特征区域。池化即下采样，目的是为了减少特征图，将目标图像与预设图像的特征区域池化后获得目标图像与预设图像的特征。池化层夹在连续的卷积层中间，用于压缩数据和参数的量，减小过度拟合，简而言之，如果输入的是图像的话，那么池化层的最主要作用就是压缩图像。最后在通过全连接层把所有局部特征结合变成全局特征，经过卷积层和池化层降维过的数据，全连接层才能高效率处理，不然数据量太大，计算成本高，效率低下，将目标图像与预设图像的特征通过第一全连接层进行压缩后，获得第一目标特征与第一预设特征，在输出时通过一个归一化函数调整压缩输出，使得输出范围在0-1之间即可。

由于需要构建出孪生网络，因此将第一目标特征与第一预设特征再通过一个全连接层，即第二全连接层，将目标图像与预设图像分别的输出进行同一，获得目标输出，然后再以目标输出配合训练样本训练获得孪生网络模型。此处的训练样本来源于历史产品，可利用各产品的产品号，将同类型的产品放入相同的产品号，每次取两张图像输入，相同的标签为1，不同的为0，以使其在训练中学习到判定产品相似与否的能力。

在一种实施例中，将目标图像与预设图像的特征，分别输入卷积神经网络模型的第一全连接层，获得第一目标特征与第一预设特征之后，图像校验方法还包括：

计算第一目标特征与第一预设特征的相似度。

在具体实施过程中，在分别提取目标图像与预设图像的特征后，为了量化其相似度信息，配合神经网络提取特征后的输出形式，因此对第一目标特征与第一预设特征的相似度进行计算，相似度计算的方式包括有余弦相似度、杰卡德相似系数等，余弦相似度通过两向量之间夹角的余弦值来衡量相似度，杰卡德距离用两个集合中不同元素占所有元素的比例来衡量两个集合的区分度。基于上述相似度计算的步骤，将第一目标特征与第一预设特征，输入卷积神经网络模型的第二全连接层，获得目标输出，包括：

将计算了相似度的第一目标特征与第一预设特征，输入卷积神经网络模型的第二全连接层，获得目标输出。

在一种实施例中，计算第一目标特征与第一预设特征的相似度，包括：

采用曼哈顿距离比对方法，计算第一目标特征与第一预设特征的相似度。

在具体实施过程中，通过引入曼哈顿距离衡量两图片之间的相似性，曼哈顿距离是一种使用在几何度量空间的几何学用语，用以标明两个点在标准坐标系上的绝对轴距总和。相比其他的如欧氏距离、切比雪夫距离的手段，采用曼哈顿距离具有更快的计算速度，不论两个对象的相对位置如何，只需要计算加减法即可获得相对距离，能够提升运算速度，使得对图像的校验更快。

在一种实施例中，根据目标输出，利用训练样本训练获得孪生网络模型之前，图像校验方法还包括：

根据目标输出，确定损失函数。

在具体实施过程中，损失函数是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型，例如在统计学和机器学习中被用于模型的参数估计。损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的模型用的损失函数一般也不一样。损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项。

基于上述步骤，根据目标输出，利用训练样本训练获得孪生网络模型，包括：

根据目标输出与损失函数，利用训练样本训练获得孪生网络模型。

在一种实施例中，根据目标输出与损失函数，利用训练样本训练获得孪生网络模型，包括：

根据目标输出与二值交叉熵损失函数，利用训练样本训练获得孪生网络模型。

在具体实施过程中，损失函数通常包括有对数损失函数、MSE平方损失函数、交叉熵损失函数等，对数损失函数通常用于逻辑回归，而MSE平方损失函数常用于线性回归，而本申请中由于输出结果为相似与不相似两种，也就是常说的二分类情形，因此采用匹配二分类情形，刻画两个概率分布之间的距离的二值交叉熵损失函数。解决平方损失函数权重更新过慢的问题，具有误差大的时候，权重更新快；误差小的时候，权重更新慢的良好性质，能够优化得到最优权重信息，加速模型的收敛。

在一种实施例中，根据目标输出，利用训练样本训练获得孪生网络模型之后，图像校验方法还包括：

将测试图片输入孪生网络模型，获得测试结果；

根据测试结果，调整孪生网络模型的参数。

在具体实施过程中，在模型训练好之后且在其应用之前，利用测试图片对模型的效果进行验证，测试图片也即产品的图像，利用测试图片输入孪生网络模型，与预设图像进行对比，得出相应的相似度，如附图4所示，为输入的测试图片与预设图片对比的示意图，输出结果相似度（similarity）的值为0.945。通过相似度以及设定的阈值，可以快速得出图片是否是属于预设产品的，如果测试的结果明显与实际情况不符合，那么可以根据测试结果对应调整模型参数对模型进行优化。

在一种实施例中，根据相似度阈值与相似度信息，获得目标图像相对预设产品的归属结果，以完成图像校验，包括：

根据相似度阈值与相似度信息，判断相似度信息是否大于相似度阈值，获得判断结果；

根据判断结果，获得目标图像相对预设产品的归属结果，以完成图像校验。

在具体实施过程中，对于图像的校验，虽然输出的是相似度信息，但是对于呈现的最终结果，能够直观反映相似与否为更好，今儿就可以直接确定目标图像是否是新产品，因此设置了相似度阈值，判断相似度信息与相似度阈值的大小关系，若其大于相似度阈值，说明相似度较高，目标图像是属于预设产品的。

而相似度不大于相似度阈值，则说明相似度较低，目标图像不属于预设产品，出现了新产品。也即，根据判断结果，获得目标图像相对预设产品的归属结果，以完成图像校验，包括：

根据为否的判断结果，获得目标图像不属于预设产品的归属结果，以完成图像校验。

在一种实施例中，根据为否的判断结果，获得目标图像不属于预设产品的归属结果，以完成图像校验之后，图像校验方法还包括：

将不属于预设产品的目标图像作为样本数据，训练获得缺陷检测模型。

在具体实施过程中，在目标图像输入缺陷模型之前完成了图像的校验，校验为是属于预设产品的图像，则说明缺陷检测模型对其有检出的能力，而对于新产品的图像，则可以将该图像纳入缺陷检测模型的样本数据，反过来丰富检测模型的样本数据，进而使其学习到检出相关产品缺陷的能力，提升检测模型的检出能力、检测准确性，丰富了图像校验方法的应用范围。

参照附图5，基于与前述实施例中同样的发明构思，本申请实施例还提供一种模型训练方法，用于训练获得本申请实施例提供的孪生网络模型，包括以下步骤：

S1：基于卷积神经网络模型，将第一产品图像与第二产品图像输入卷积神经网络模型的卷积层，分别提取第一产品图像与第二产品图像的特征区域；

S2：将特征区域输入卷积神经网络模型的池化层，分别获得第一产品图像与第二产品图像的特征；

S3：将第一产品图像与第二产品图像的特征，分别输入卷积神经网络模型的第一全连接层，获得第一特征与第二特征；

S4：将第一特征与第一特征，输入卷积神经网络模型的第二全连接层，获得目标输出；

S5：根据目标输出，利用训练样本训练获得孪生网络模型。

本实施例的具体实施方式可参照前述图像校验方法的实施方式，这里不再赘述。

参照附图6，基于与前述实施例中同样的发明构思，本申请实施例还提供一种图像校验装置，该装置包括：

相似度获得模块，相似度获得模块用于将目标图像与若干预设图像分别输入已训练的孪生网络模型，获得若干相似度信息；其中，预设图像基于若干预设产品获得，孪生网络基于卷积神经网络模型，分别对目标图像与预设图像进行特征提取后训练获得；

校验模块，校验模块用于根据相似度阈值与相似度信息，获得目标图像相对预设产品的归属结果，以完成图像校验。

参照附图7，基于与前述实施例中同样的发明构思，本申请实施例还提供一种模型训练装置，包括：

卷积模块，卷积模块用于基于卷积神经网络模型，将第一产品图像与第二产品图像输入卷积神经网络模型的卷积层，分别提取第一产品图像与第二产品图像的特征区域；

池化模块，池化模块用于将特征区域输入卷积神经网络模型的池化层，分别获得第一产品图像与第二产品图像的特征；

第一全连接模块，第一全连接模块用于将第一产品图像与第二产品图像的特征，分别输入卷积神经网络模型的第一全连接层，获得第一特征与第二特征；

第二全连接模块，第二全连接模块用于将第一特征与第一特征，输入卷积神经网络模型的第二全连接层，获得目标输出；

训练模块，训练模块用于根据目标输出，利用训练样本训练获得孪生网络模型。

本领域技术人员应当理解，实施例中的各个模块的划分仅仅是一种逻辑功能的划分，实际应用时可以全部或部分集成到一个或多个实际载体上，且这些模块可以全部以软件通过处理单元调用的形式实现，也可以全部以硬件的形式实现，或是以软件、硬件结合的形式实现，需要说明的是，本实施例中图像校验装置、模型训练装置中各模块是与前述实施例中的图像校验方法、模型训练方法中的各步骤一一对应，因此，本实施例的具体实施方式可参照前述图像校验方法、模型训练方法的实施方式，这里不再赘述。

基于与前述实施例中同样的发明构思，本申请的实施例还提供一种计算机可读存储介质，储存有计算机程序，计算机程序被处理器加载执行时，实现如本申请实施例提供的图像校验方法或如本申请实施例提供的模型训练方法。

基于与前述实施例中同样的发明构思，本申请的实施例还提供一种电子设备，包括处理器及存储器，其中，

存储器用于存储计算机程序；

处理器用于加载执行计算机程序，以使电子设备执行如本申请实施例提供的图像校验方法或如本申请实施例提供的模型训练方法。

此外，基于与前述实施例中同样的发明构思，本申请的实施例还提供一种计算机程序产品，包括计算机程序，当计算机程序被执行时，用于执行如本申请实施例提供的图像校验方法或如本申请实施例提供的模型训练方法。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光 盘）中，包括若干指令用以使得一台多媒体终端设备（可以是手机，计算机，电视接收机，或者网络设备等）执行本申请各个实施例所述的方法。

综上，本申请提供的一种图像校验方法、训练方法、装置、介质、设备及程序产品，包括：将目标图像与若干预设图像分别输入已训练的孪生网络模型，获得若干相似度信息；其中，预设图像基于若干预设产品获得，预设图像用于训练缺陷检测模型，孪生网络基于卷积神经网络模型，分别对目标图像与预设图像进行特征提取后训练获得；根据相似度阈值与相似度信息，获得目标图像相对预设产品的归属结果，以完成图像校验。本申请的方法通过目标图像与预设图像构建孪生网络模型，以卷积神经网络准确提取图像的特征，以孪生网络计算图像之间的相似度，由于预设图像是用于训练缺陷检测模型，因此获得目标图像与预设图像的相似度后，根据相似度阈值，能够快速判断目标图像与训练检测模型的样本的相似情况，也即可以提前判断出目标图像是否属于参与训练缺陷检测模型的图像，至此实现对目标图像相对预设产品是否为新产品的校验。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种图像校验方法，其特征在于，包括以下步骤：

将目标图像与若干预设图像分别输入已训练的孪生网络模型，获得若干相似度信息；其中，所述预设图像基于若干预设产品获得，所述预设图像用于训练缺陷检测模型，所述孪生网络基于卷积神经网络模型，分别对所述目标图像与所述预设图像进行特征提取后训练获得；

根据相似度阈值与所述相似度信息，获得所述目标图像相对所述预设产品的归属结果，以完成图像校验；

其中，所述根据相似度阈值与所述相似度信息，获得所述目标图像相对所述预设产品的归属结果，以完成图像校验，包括：

根据相似度阈值与所述相似度信息，判断所述相似度信息是否大于相似度阈值，获得判断结果；

根据所述判断结果，获得所述目标图像相对所述预设产品的归属结果，以完成图像校验；

在所述目标图像属于所述预设产品的情况下，将完成校验的所述目标图像输入所述缺陷检测模型；

在所述目标图像不属于所述预设产品的情况下，基于所述目标图像训练获得所述缺陷检测模型。

2.根据权利要求1所述的图像校验方法，其特征在于，所述将目标图像与若干预设图像分别输入已训练的孪生网络模型，获得若干相似度信息之前，所述图像校验方法还包括：

基于所述卷积神经网络模型，将所述目标图像与所述预设图像输入所述卷积神经网络模型的卷积层，分别提取所述目标图像与所述预设图像的特征区域；

将所述特征区域输入所述卷积神经网络模型的池化层，分别获得所述目标图像与所述预设图像的特征；

将所述目标图像与所述预设图像的特征，分别输入所述卷积神经网络模型的第一全连接层，获得第一目标特征与第一预设特征；

将所述第一目标特征与所述第一预设特征，输入所述卷积神经网络模型的第二全连接层，获得目标输出；

根据所述目标输出，利用训练样本训练获得所述孪生网络模型。

3.根据权利要求2所述的图像校验方法，其特征在于，所述将所述目标图像与所述预设图像的特征，分别输入所述卷积神经网络模型的第一全连接层，获得第一目标特征与第一预设特征之后，所述图像校验方法还包括：

计算所述第一目标特征与所述第一预设特征的相似度；

所述将所述第一目标特征与所述第一预设特征，输入所述卷积神经网络模型的第二全连接层，获得目标输出，包括：

将计算了相似度的所述第一目标特征与所述第一预设特征，输入所述卷积神经网络模型的第二全连接层，获得目标输出。

4.根据权利要求3所述的图像校验方法，其特征在于，所述计算所述第一目标特征与所述第一预设特征的相似度，包括：

采用曼哈顿距离比对方法，计算所述第一目标特征与所述第一预设特征的相似度。

5.根据权利要求2所述的图像校验方法，其特征在于，所述根据所述目标输出，利用训练样本训练获得所述孪生网络模型之前，所述图像校验方法还包括：

根据所述目标输出，确定损失函数；

所述根据所述目标输出，利用训练样本训练获得所述孪生网络模型，包括：

根据所述目标输出与所述损失函数，利用训练样本训练获得所述孪生网络模型。

6.根据权利要求5所述的图像校验方法，其特征在于，所述根据所述目标输出与所述损失函数，利用训练样本训练获得所述孪生网络模型，包括：

根据所述目标输出与二值交叉熵损失函数，利用训练样本训练获得所述孪生网络模型。

7.根据权利要求2所述的图像校验方法，其特征在于，所述根据所述目标输出，利用训练样本训练获得所述孪生网络模型之后，所述图像校验方法还包括：

将测试图片输入所述孪生网络模型，获得测试结果；

根据所述测试结果，调整所述孪生网络模型的参数。

8.根据权利要求1所述的图像校验方法，其特征在于，所述根据所述判断结果，获得所述目标图像相对所述预设产品的归属结果，以完成图像校验，包括：

根据为否的所述判断结果，获得所述目标图像不属于所述预设产品的归属结果，以完成图像校验。

9.根据权利要求8所述的图像校验方法，其特征在于，所述根据为否的所述判断结果，获得所述目标图像不属于所述预设产品的归属结果，以完成图像校验之后，所述图像校验方法还包括：

将不属于所述预设产品的所述目标图像作为样本数据，训练获得所述缺陷检测模型。

10.一种模型训练方法，其特征在于，用于训练获得如权利要求1-9中任一项所述的孪生网络模型，包括以下步骤：

基于卷积神经网络模型，将第一产品图像与第二产品图像输入所述卷积神经网络模型的卷积层，分别提取所述第一产品图像与所述第二产品图像的特征区域；

将所述特征区域输入所述卷积神经网络模型的池化层，分别获得所述第一产品图像与所述第二产品图像的特征；

将所述第一产品图像与所述第二产品图像的特征，分别输入所述卷积神经网络模型的第一全连接层，获得第一特征与第二特征；

将所述第一特征与所述第一特征，输入所述卷积神经网络模型的第二全连接层，获得目标输出；

根据所述目标输出，利用训练样本训练获得所述孪生网络模型。

11.一种图像校验装置，其特征在于，包括：

相似度获得模块，所述相似度获得模块用于将目标图像与若干预设图像分别输入已训练的孪生网络模型，获得若干相似度信息；其中，所述预设图像基于若干预设产品获得，所述预设图像用于训练缺陷检测模型，所述孪生网络基于卷积神经网络模型，分别对所述目标图像与所述预设图像进行特征提取后训练获得；

校验模块，所述校验模块用于根据相似度阈值与所述相似度信息，获得所述目标图像相对所述预设产品的归属结果，以完成图像校验；

其中，所述根据相似度阈值与所述相似度信息，获得所述目标图像相对所述预设产品的归属结果，以完成图像校验，包括：

根据相似度阈值与所述相似度信息，判断所述相似度信息是否大于相似度阈值，获得判断结果；

根据所述判断结果，获得所述目标图像相对所述预设产品的归属结果，以完成图像校验；

在所述目标图像属于所述预设产品的情况下，将完成校验的所述目标图像输入所述缺陷检测模型；

在所述目标图像不属于所述预设产品的情况下，基于所述目标图像训练获得所述缺陷检测模型。

12.一种模型训练装置，其特征在于，用于训练获得如权利要求1-9中任一项所述的孪生网络模型，包括：

卷积模块，所述卷积模块用于基于卷积神经网络模型，将第一产品图像与第二产品图像输入所述卷积神经网络模型的卷积层，分别提取所述第一产品图像与所述第二产品图像的特征区域；

池化模块，所述池化模块用于将所述特征区域输入所述卷积神经网络模型的池化层，分别获得所述第一产品图像与所述第二产品图像的特征；

第一全连接模块，所述第一全连接模块用于将所述第一产品图像与所述第二产品图像的特征，分别输入所述卷积神经网络模型的第一全连接层，获得第一特征与第二特征；

第二全连接模块，所述第二全连接模块用于将所述第一特征与所述第一特征，输入所述卷积神经网络模型的第二全连接层，获得目标输出；

训练模块，所述训练模块用于根据所述目标输出，利用训练样本训练获得所述孪生网络模型。

13.一种计算机可读存储介质，储存有计算机程序，其特征在于，所述计算机程序被处理器加载执行时，实现如权利要求1-9中任一项所述的图像校验方法或权利要求10所述的模型训练方法。

14.一种电子设备，其特征在于，包括处理器及存储器，其中，

所述存储器用于存储计算机程序；

所述处理器用于加载执行所述计算机程序，以使所述电子设备执行如权利要求1-9中任一项所述的图像校验方法或权利要求10所述的模型训练方法。