CN110298163B - 一种图像验证方法、装置及计算机可读存储介质 - Google Patents

Abstract

本发明实施例公开了一种图像验证方法，所述方法包括：获取待验证图像和预设图像；通过预设图像验证神经网络模型分别对所述待验证图像和预设图像进行特征提取，得到第一特征和第二特征；将所述第一特征与第二特征进行匹配，获取匹配值，若所述匹配值大于预设匹配值，则图像验证通过。采用本发明，可以提高图像验证的准确性。

Description

一种图像验证方法、装置及计算机可读存储介质

技术领域

本发明涉及验证领域，特别是涉及一种图像验证方法。

背景技术

随着互联网技术的迅速发展，通过图像验证来保障用户账号安全性也显得尤为重要。图像验证，是图像识别领域的一个分支，使用图像验证算法可全自动对两张图像进行验证，判别是否为同一图像。这种方式可用于互联网金融等多个场景下的用户身份核实。

目前，在对现有技术的研究和实践过程中，本发明的发明人发现，由于图像验证技术中，经常会用到在嵌入式设备上部署的图像验证神经网络模型，所述图像验证神经网络模型会给所述嵌入式设备带来存储和计算负载，因此，一些网络模型压缩及加速方法被提出，在这些方法中，二值化方法因其对网络性能的巨大提升展现出了一定的优越性。

虽然目前的二值化方法在小规模数据集上取得了不错的效果，但是在如ImageNet等的大数据集上却出现了明显的准确率下降的现象。因此，如何在尽可能保证二值化技术压缩率和加速比的情况下，提高图像验证的准确率成为一个亟待解决的问题。

发明内容

为了解决上述问题，本发明提供了一种图像验证方法，可以提高图像验证的准确率。

基于此，本发明提供了一种图像验证方法，所述方法包括：

获取待验证图像和预设图像；

通过预设图像验证神经网络模型分别对所述待验证图像和预设图像进行特征提取，得到第一特征和第二特征；

将所述第一特征与第二特征进行匹配，获取匹配值，若所述匹配值大于预设匹配值，则图像验证通过。

其中，获取待验证图像和预设图像之前包括：

获取至少两个第一图像，并根据所述第一图像构建第一数据集；

获取所述第一数据集对应的第二图像，并根据所述第二图像构建第二数据集；

根据所述第一数据集和第二数据集对图像验证神经网络进行训练，获取预设图像验证神经网络模型。

其中，所述图像验证神经网络模型包括二值化卷积神经网络和逐点卷积层。

其中，所述图像验证神经网络模型包括：

根据卷积神经网络各层的冗余性来判断所述卷积神经网络各层是否为待二值化卷积神经网络层；

对所述待二值化卷积神经网络层进行二值化，得到二值化卷积神经网络层，所述二值化卷积神经网络层用于加速神经网络；

计算所述二值化卷积神经网络层的全精度卷积核的缩放因子，将逐点卷积层的参数替换为one-hot向量，并以所述缩放因子替代one-hot向量中的非零值，使得所述逐点卷积层参数为零和缩放因子，将所述二值化卷积神经网络层的输出与所述逐点卷积层进行卷积运算，所述逐点卷积层用于提高所述图像验证神经网络模型的容量。

其中，所述根据卷积神经网络各层的冗余性来判断所述卷积神经网络各层是否为待二值化卷积神经网络层包括：

当所述J大于预设阈值时，所述卷积神经网络层为待二值化卷积神经网络层，其中，c_i>0.98时，

等于1，否则，

等于0；

λ_i为特征值向量，获取所述λ_i包括：

将所述

作为PCA算法的输入，进行协方差矩阵计算和特征值分解后得到特征值向量λ_i，其中，a⁽ⁱ⁾为所述卷积神经网络层对第i个样本x⁽ⁱ⁾的输出在h和w维度上的最大池化结果，

其中，获取所述缩放因子α^*包括：

B_i为第i个二值化卷积核，N_c和K为B_i的维度，W_i为第i个全精度卷积核。

其中，所述将所述第一特征与第二特征进行匹配，获取匹配值包括：利用欧式距离算法、余弦距离算法、联合贝叶斯算法以及度量学习算法中的任一种，对所述第一特征和所述第二特征之间的匹配值进行计算。

本发明还提供了一种图像验证装置，所述装置包括：

获取模块，用于获取待验证图像和预设图像；

特征提取模块，用于通过预设图像验证神经网络模型分别对所述待验证图像和预设图像进行特征提取，得到第一特征和第二特征；

匹配模块，用于将所述第一特征与第二特征进行匹配，获取匹配值，若所述匹配值大于预设匹配值，则图像验证通过。

本发明还提供了一种计算机装置，所述计算机装置包括：

存储器，用于存储计算机可读指令；

处理器，用于运行所述计算机可读指令，使得所述计算机装置执行上述方法。

本发明还提供了一种计算机可读存储介质，用于存储计算机可读指令，当所述计算机可读指令由计算机执行时，使得所述计算机执行上述方法。

本发明首先获取待验证图像和预设图像，然后通过预设图像验证神经网络模型分别对所述待验证图像和预设图像进行特征提取，所述图像验证神经网络模型首先根据卷积神经网络各层的冗余性来判断所述卷积神经网络各层是否为待二值化卷积神经网络层，因为去除所述卷积神经网络层中的冗余性可以在保证准确率不下降的情况下极大地压缩所述卷积神经网络层，冗余性较多的卷积神经层进行二值化对准确率影响较小。逐点卷积层的使用可以有效地提高网络容量，增强网络的表达能力，而所述缩放因子的使用可以有效地利用二值化卷积核来近似原始卷积核，从而减少两者计算结果的误差。通过引入one-hot向量可以防止引入逐点卷积层对后续卷积神经网络层的影响，导致图像验证的准确率高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的图像验证方法的流程图；

图2是本发明实施例提供的图像验证装置的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例提供的图像验证方法的流程图，所述方法包括：

S101、获取待验证图像和预设图像；

待验证图像包括用户自己拍摄的图像等，预设图像包括证件图像等。

S102、通过预设图像验证神经网络模型分别对所述待验证图像和预设图像进行特征提取，得到第一特征和第二特征；

其中，获取待验证图像和预设图像之前包括：

获取至少两个第一图像，并根据所述第一图像构建第一数据集；

获取所述第一数据集对应的第二图像，并根据所述第二图像构建第二数据集；

根据所述第一数据集和第二数据集对图像验证神经网络进行训练，获取预设图像验证神经网络模型。

所述预设图像验证神经网络模型包括：二值化卷积神经网络层和逐点卷积层。

a、首先根据所述图像验证神经网络模型中卷积神经网络各层的冗余性来判断所述卷积神经网络各层是否为待二值化卷积神经网络层；

卷积神经网络层存在大量的冗余性，这种冗余性源于网络架构的欠优化，大量的实验表明去除网络中的冗余性可以在保证准确率不下降的情况下极大地压缩神经网络。因此，为了有效地维持准确率，一个比较好的方案就是根据卷积神经网络各层的冗余性来判断所述卷积神经网络各层是否需要被二值化。若某卷积神经网络层的冗余性较多，则对所述某卷积神经网络层进行二值化的话，对准确率的影响较小。若某卷积神经网络层的冗余性较小，则对所述某卷积神经网络层进行二值化的话，对准确率影响较大，故所述某卷积神经网络层不适宜进行二值化。

所述卷积神经网络层的冗余性与所述卷积神经网络层输出的相关性有关，若所述卷积神经网络层的输出具有高度相关性，即卷积神经网络层的某些通道的输出可由其他通道来表示，则可认为所述卷积神经网络层的冗余性较大，即存在许多无用的卷积核。所述卷积神经网络层的通道一般指的是每个卷积神经网络层中卷积核的数量，进一步地，为了获得卷积神经网络层输出的相关性，可以预设大小为m的数据集{(x⁽¹⁾,y⁽¹⁾),(x⁽²⁾,y⁽²⁾),…,(x^(m),y^(m))}，O⁽ⁱ⁾为所述卷积神经网络层对第i个样本x⁽ⁱ⁾的输出，尺寸为N_K×h×w，α⁽ⁱ⁾为O⁽ⁱ⁾在h和w维度上的最大池化结果，表示式为：

其中，j＝1，2，…，N_k，m个样本x⁽ⁱ⁾分别作为α⁽ⁱ⁾的输入得到

并将所述

作为PCA算法的输入，进行协方差矩阵计算和特征值分解后得到的特征值向量λ，λ∈RN_K；

对所述λ归一化：

其中，i＝1，2，…，N_k。

根据下式判断所述卷积神经网络层是否为待二值化卷积神经网络层：

当所述J大于预设阈值时，所述卷积神经网络层为待二值化卷积神经网络层，其中，当c_i>0.98时，

等于1，否则，

等于0。

对所述λ归一化后还包括对所述λ进行排序并绘制累积分布函数图、PCA累积能量曲线图，在所述PCA累积能量曲线图中，当曲线的曲率越大时，输出的相关性越高，则所述卷积神经网络层的冗余大，当曲线的曲率越小时，输出的相关性越低，则所述卷积神经网络层的冗余小。

b、对所述待二值化卷积神经网络层进行二值化，得到二值化卷积神经网络层；

对所述待二值化卷积神经网络层进行的二值化方法包括Binary Connect(BC)、Binarized Neural Networks(BNN)、Binary Weight Networks(BWN)、XNOR-Networks(XNOR-Net)等。

c、计算所述二值化卷积神经网络层的全精度卷积核的缩放因子，将所述缩放因子替代one-hot向量中的非零值，并与逐点卷积层进行线性组合，使所述逐点卷积层参数为零和缩放因子，将所述二值化卷积神经网络层的输出与逐点卷积层进行卷积运算。

首先计算所述二值化卷积神经网络层的全精度卷积核的缩放因子包括：

I为二值化卷积神经网络层在使用全精度权重W时的输入，α_i为缩放因子，B_i为第i个二值化卷积核，W_i为第i个全精度卷积核；

其中，*表示卷积操作，

表示二值卷积操作；

在上式约等号的两边同时去掉输入I，则

W_i≈B_i×α_i

其中，获取所述W_i≈B_i×α_i之后，为获取近似误差最小的缩放因子α^*有：

由于

对所述L(α_i)进行求导得：

L'(α_i)＝2N_cK²α_i-2W_i ^TB_i

所述L'(α_i)等于零时有：

One-hot向量表示为一项属性的特征向量，也就是同一时间只有一个激活点(不为0)，这个向量只有一个特征是不为0的，其他都是0。

逐点卷积层即卷积核空间维度的尺寸为1×1的卷积层，它的使用主要基于以下几点原因：

(1)逐点卷积层可以为模型提供更多的网络容量，从而提升网络的表达能力。

(2)可以提高二值卷积层对原始卷积层的近似能力。

(3)相比于其他常用的卷积核如3×3、5×5，1×1的卷积核更加的高效，在卷积层的输出特征图大小不变的情况下，3×3和5×5的卷积核的计算量和存储空间消耗几乎是1×1的9倍和25倍。

(4)相比于3×3和5×5的卷积核，卷积核的尺寸为1×1时，imgtocol操作可以被跳过(imgtocol操作主要用于将卷积层的卷积运算转换为矩阵乘法运算)，从而进一步减少卷积层的开销。

将0和缩放因子初始化附加的逐点卷积层参数，即将所述缩放因子替代one-hot向量中的非零值，并与逐点卷积层进行线性组合，使所述逐点卷积层参数为零和缩放因子，对所述二值化卷积神经网络层的输出与所述逐点卷积层进行卷积运算，其中，逐点卷积层的卷积核个数等于核内通道数，这样做是为了保持最后的输出通道数与未与所述逐点卷积层进行卷积运算时的状态一致，从而不影响后续网络结构。将输入图像特征图与二值化卷积神经网络进行卷积运算替换为输出图像特征图与逐点卷积神经网络层进行卷积运算，提高了二值化卷积神经网络层对原始卷积层的近似能力并且防止所述逐点卷积神经网络层的引入对准确率的影响。

103、将所述第一特征与第二特征进行匹配，获取匹配值；

104、判断所述匹配值是否大于预设匹配值；

105、若所述匹配值不大于预设匹配值，则图像验证未通过；

106、若所述匹配值大于预设匹配值，则图像验证通过。

上述实施例首先获取待验证图像和预设图像，然后通过预设图像验证神经网络模型分别对所述待验证图像和预设图像进行特征提取，所述图像验证神经网络模型首先根据卷积神经网络各层的冗余性来判断所述卷积神经网络各层是否为待二值化卷积神经网络层，因为去除所述卷积神经网络层中的冗余性可以在保证准确率不下降的情况下极大地压缩所述卷积神经网络层，冗余性较多的卷积神经层进行二值化对准确率影响较小。逐点卷积层的使用可以有效地提高网络容量，增强网络的表达能力，而所述缩放因子的使用可以有效地利用二值化卷积核来近似原始卷积核，从而减少两者计算结果的误差。通过引入one-hot向量可以防止引入逐点卷积层对后续卷积神经网络层的影响，导致图像验证的准确率高。

在一个实施例中还提供了一种图像验证装置，所述装置包括：

获取模块201，用于获取待验证图像和预设图像；

特征提取模块202，用于通过预设图像验证神经网络模型分别对所述待验证图像和预设图像进行特征提取，得到第一特征和第二特征；

匹配模块203，用于将所述第一特征与第二特征进行匹配，获取匹配值，若所述匹配值大于预设匹配值，则图像验证通过。

在一个实施例中，提出了一种计算机装置，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行计算机可读指令时实现上述实施例中所述图像验证方法的步骤。

所述计算机装置还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。

此外，本发明的实施例还提出一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述图像验证方法的步骤。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (8)

1.一种图像验证方法，其特征在于，包括：

获取待验证图像和预设图像；

通过预设图像验证神经网络模型分别对所述待验证图像和预设图像进行特征提取，得到第一特征和第二特征；

将所述第一特征与第二特征进行匹配，获取匹配值，若所述匹配值大于预设匹配值，则图像验证通过；

所述预设图像验证神经网络模型包括：二值化卷积神经网络层和逐点卷积层；

其中，根据所述预设图像验证神经网络模型中卷积神经网络各层的冗余性来判断所述卷积神经网络各层是否为待二值化卷积神经网络层；

在所述待二值化卷积神经网络层的冗余性满足

所述J大于预设阈值时，对所述待二值化卷积神经网络层进行二值化，得到二值化卷积神经网络层，所述二值化卷积神经网络层用于加速神经网络；

计算所述二值化卷积神经网络层的全精度卷积核的缩放因子，将逐点卷积层的参数替换为one-hot向量，并将所述缩放因子替代one-hot向量中的非零值，使得所述逐点卷积层参数为零和缩放因子，将所述二值化卷积神经网络层的输出与所述逐点卷积层进行卷积运算，所述逐点卷积层用于提高所述图像验证神经网络模型的容量。

2.如权利要求1所述的图像验证方法，其特征在于，获取待验证图像和预设图像之前包括：

获取至少两个第一图像，并根据所述第一图像构建第一数据集；

获取所述第一数据集对应的第二图像，并根据所述第二图像构建第二数据集；

根据所述第一数据集和第二数据集对图像验证神经网络进行训练，获取预设图像验证神经网络模型。

3.如权利要求1所述的图像验证方法，其特征在于，所述根据卷积神经网络各层的冗余性来判断所述卷积神经网络各层是否为待二值化卷积神经网络层包括：

当所述J大于预设阈值时，所述卷积神经网络层为待二值化卷积神经网络层，其中，c_i>0.98时，

等于1，否则，

等于0；

λ_i为特征值向量，获取所述λ_i包括：

将

作为PCA算法的输入，进行协方差矩阵计算和特征值分解后得到特征值向量λ_i，其中，a⁽ⁱ⁾为所述卷积神经网络层对第i个样本x⁽ⁱ⁾的输出在h和w维度上的最大池化结果，

4.如权利要求1所述的图像验证方法，其特征在于，获取所述缩放因子α^*包括：

其中，B_i为第i个二值化卷积核，N_c和K为B_i的维度，W_i为第i个全精度卷积核。

5.如权利要求1所述的图像验证方法，其特征在于，将所述第一特征与第二特征进行匹配，获取匹配值包括：利用欧式距离算法、余弦距离算法、联合贝叶斯算法以及度量学习算法中的任一种，对所述第一特征和所述第二特征之间的匹配值进行计算。

6.一种图像验证装置，其特征在于，包括：

获取模块，用于获取待验证图像和预设图像；

特征提取模块，用于通过预设图像验证神经网络模型分别对所述待验证图像和预设图像进行特征提取，得到第一特征和第二特征；

匹配模块，用于将所述第一特征与第二特征进行匹配，获取匹配值，若所述匹配值大于预设匹配值，则图像验证通过；

所述预设图像验证神经网络模型包括：二值化卷积神经网络层和逐点卷积层；

其中，根据所述预设图像验证神经网络模型中卷积神经网络各层的冗余性来判断所述卷积神经网络各层是否为待二值化卷积神经网络层；

在所述待二值化卷积神经网络层的冗余性满足

所述J大于预设阈值时，对所述待二值化卷积神经网络层进行二值化，得到二值化卷积神经网络层，所述二值化卷积神经网络层用于加速神经网络；

计算所述二值化卷积神经网络层的全精度卷积核的缩放因子，将逐点卷积层的参数替换为one-hot向量，并将所述缩放因子替代one-hot向量中的非零值，使得所述逐点卷积层参数为零和缩放因子，将所述二值化卷积神经网络层的输出与所述逐点卷积层进行卷积运算，所述逐点卷积层用于提高所述图像验证神经网络模型的容量。

7.一种计算机装置，其特征在于，包括：

存储器，用于存储计算机可读指令；

处理器，用于运行所述计算机可读指令，使得所述计算机装置执行如权利要求1到5的任一项所述方法。

8.一种计算机可读存储介质，用于存储计算机可读指令，当所述计算机可读指令由计算机执行时，使得所述计算机执行如权利要求1到5的任一项所述方法。

Images