CN109344856A - 一种基于多层判别式特征学习的脱机签名鉴别方法 - Google Patents

Abstract

本发明公开了一种基于多层判别式特征学习的脱机签名鉴别方法，包括：采集签名图像并进行预处理；建立多层判别式特征学习神经网络模型并进行训练；进行签名图像的特征提取，并进行特征归一化；针对每位用户的签名数据，取其中的真签名特征作为正样本，除该用户之外的其他用户的真签名特征作为负样本，通过正样本加权，训练二分类SVM模型；对于待鉴定签名图像，进行特征提取并归一化，然后用SVM模型鉴定其真伪。本发明充分利用深度网络模型的特征学习能力，以及签名数据中不同层次、多尺度特征，基于深度网络模型和二分类SVM模型，实现了高精度的脱机签名鉴定方法，具有准确率高、适应性好等特点，具有较好的实用价值。

Description

一种基于多层判别式特征学习的脱机签名鉴别方法

技术领域

本发明涉及深度学习和人工智能技术领域，具体涉及一种基于多层判别式特 征学习的脱机签名鉴别方法。

背景技术

手写签名是个人身份认证与授权的重要方式，具有悠久的历史传统，在行政、 银行、商业等领域有着重要的使用。因此，基于计算机的自动签名鉴定具有重要 的应用价值。签名鉴定分为联机签名鉴定和脱机签名鉴定；相比于联机签名鉴定， 脱机签名鉴定不需依赖于定制的采集设备，具有更广泛的应用场景。

传统的脱机签名鉴定方法主要采用人工选择的特征，例如几何特征、纹理特 征等，对签名样本图像进行特征提取，鉴定性能往往依赖于设计者的先验知识， 且推广性能也不理想。近年来，随着大规模签名样本数据库的出现、以及深度神 经网络模型在特征学习中的成功应用，如何利用深度神经网络构建高性能脱机签 名鉴定系统，开始受到人们的关注。基于深度网络的方法，可以从大量数据中自 动地学习签名数据的有效描述特征，具有描述能力强、适应性好等特点。但是， 如何结合签名数据自身的特点，设计有效的深度神经网络模型，以及基于深度网 络模型的签名鉴定解决方案，目前还没有成熟的方法；特别是针对签名数据中不 同层次、不同尺度特征的深度网络模型及其签名鉴定方法，目前还没有相应解决 方案。

发明内容

为了克服现有脱机签名鉴定技术存在的不足，本发明充分利用深度网络模型 的特征学习能力以及签名数据中的不同层次、多尺度的特征，基于深度网络模型 和二分类SVM模型，提供一种基于多层级判别式特征学习的脱机签名鉴定方法， 该方法具有准确率高、适应性好的特点，具有较好的实用价值。

为了实现上述任务，本发明采用以下技术方案：

一种基于多层判别式特征学习的脱机签名鉴别方法，包括以下步骤：

步骤1，采集签名图像并进行预处理；

步骤2，建立多层判别式特征学习神经网络模型并进行训练；

步骤3，利用训练好的神经网络模型进行签名图像的特征提取，并进行特征 归一化，得到签名特征；

步骤4，将每位用户的签名特征作为正样本，除该用户之外的其他用户的签 名特征作为负样本，通过正样本加权，训练二分类SVM模型；

步骤5，对于待鉴定签名图像，利用步骤3的方法提取签名特征，然后利用 训练好的SVM模型鉴定其真伪。

进一步地，步骤1所述的预处理的步骤包括：

步骤1.1，对签名图像进行高斯平滑与OTSU二值化，使签名部分像素值为 255，背景部分像素值为0；

步骤1.2，将签名图像嵌入到固定尺寸全零矩阵的中心，图像质心与矩阵中 心对齐，并利用双线性插值法缩放至神经网络可以处理的合理尺寸。

进一步地，步骤2所述的建立多层判别式特征学习神经网络模型，包括：

所述的网络模型包括四个卷积层、一个多层级特征聚合层、一个softmax激 活的全连接层以及一个鉴定网络，其中每个卷积层后默认接有BatchNorm层以 及ReLu激活函数；其中：

所述的多层级特征聚合层包括依次连接的空间金字塔池化模块、L2归一化 模块以及全连接层；所述的空间金字塔池化模块用于在不同尺度下对特征图进行 分块和平均池化操作，得到多层级特征矩阵；L2归一化模块用于对所述多层级 特征矩阵进行L2归一化处理，全连接层用于签名图像的分类，鉴定网络用于判 定给定的两张签名图像是否都为同一书写者的真签名。

进一步地，所述的鉴定网络对于多层级特征融合层输出的来自于同一类别的 两个特征向量x₁、x₂均来自于同一个用户签名的概率p：

d＝|x₁-x₂|/2 式1

q＝(x₁+x₂)/2 式2

d'＝L₂(max(0,W_dd+b_d)) 式3

q'＝L₂(max(0,W_qq+b_q)) 式4

p＝sigm(W_pc+b_p) 式6

上面的公式中，W_d、W_q、W_c、W_p为鉴定网络的权值参数， b_d、b_q、b_c、b_p分别为所述的权值参数对应的偏置参数；表示L2归一 化，表示sigmoid激活函数。

进一步地，步骤3，所述的进行特征归一化，包括：

步骤3.1，幂次方归一化

记签名图像的特征及归一化特征分别为x、x′，则有:x′＝x^0.5；

步骤3.2，有效特征标准归一化

记签名图像的特征的分量中大于0的数值为有效特征，计算各维度有效特征 的标准差std，并利用该标准差进行归一化操作：：x″＝x′./std，其中./为点除操 作，x′为有效特征标准归一化前的特征，x″为归一化后的特征。

进一步地，步骤4中所述的SVM模型的目标函数为：

s.t:0≤α_i≤C⁺for y_i＝+1,

0≤α_i≤C^-for y_i＝-1,

其中，中k(·,·)为核函数，本发明中采用RBF核函数；α_i，α_j，α_k均为 模型参数，通过训练得到；i,j,k＝1,2,...,t表示索引号，t为样本总数；x_j,x_k表 示正样本或负样本，y_i＝+1表示当前样本为正样本，y_i＝-1表示当前样 本为负样本；C⁺、C^-分别为正样本、负样本的gap惩罚系数，由于样本不平 衡，本发明中采用C⁺＝N-1,C^-＝1进行正样本加权，其中N为用户数。

本发明具有以下技术特点：

1.本发明利用双重监督信息即类别信息、真伪信息，进行脱机签名判别式特 征学习，相对于传统人工选择的特征，具有更好的适应性，鉴定性能更好；

2.本发明采用多层级特征聚合，能够捕捉不同层次、不同尺度的签名特征， 相对于直接采用像素级别的浅层特征，能够有效提高鉴定性能；

3.本发明针对每位用户，在正负样本极不均衡的情形下，通过正样本加权， 可以有效训练二分类SVM作为鉴别器，避免了样本不均衡带来的过拟合等问题， 因此本发明可以有效地改善鉴定性能。实验结果表明，本发明方案可以大大改善 脱机签名鉴定的准确率。

附图说明

图1是本发明方法流程图。

图2是签名图像预处理示意图。

图3是多层级判别式特征学习神经网络模型示意图。

图4为多层级特征聚合示意图。

具体实施方式

本发明公开了一种基于多层判别式特征学习的脱机签名鉴别方法，流程图如 图1所示，包括两个阶段共五个步骤。其中第一阶段为训练阶段，包括步骤1 至步骤4，第二阶段为签名鉴定阶段，包括步骤5。

步骤1，采集签名图像并进行预处理

由于不同采集条件下得到的签名图像具有不同尺寸、不同背景、不同笔色， 因此需要对签名图像进行一系列预处理，如图2所示，具体包括：

步骤1.1，如图2左侧箭头所示，对签名图像进行高斯平滑与OTSU二值化， 使签名部分像素值为255，背景部分像素值为0，从而排除笔色、背景的影响。

步骤1.2，如图2右侧箭头所示，将签名图像嵌入到固定尺寸全零矩阵的中 心，图像质心与矩阵中心对齐，并利用双线性插值法缩放至神经网络可以处理的 合理尺寸，从而消除不同图像存在不同尺寸而对训练造成的影响。本发明实施例 中使用800×1260大小的全零矩阵，并缩放至150×220以便于神经网络的处理。

步骤2，建立多层判别式特征学习神经网络模型并进行训练

如图3所示，所述的网络模型包括四个卷积层、一个多层级特征聚合层、一 个softmax激活的全连接层以及一个鉴定网络，其中每个卷积层后默认接有 BatchNorm层以及ReLu激活函数；softmax激活的全连接层进行签名图像的分 类，利用了类别信息，而鉴定网络用于判定给定的两张签名图像是否都为同一书 写者的真签名，利用了真伪信息。

本发明中的多层级特征聚合层的结构如图4所示，包括依次连接的空间金字 塔池化模块、L2归一化模块以及全连接层，其中在全连接层后接有BatchNorm 层以及ReLu激活函数。对于签名图像经第n(n＝1，2，3，4)个卷积层提取特征 所得的特征图，其大小记为C_n×H_n×W_n，其中C_n表示特征图的通道数，H_n为特 征图的高度，W_n为特征图的宽度；空间金字塔池化模块在不同尺度下对特征图 进行分块和平均池化操作，得到大小为C_n×1×1、C_n×2×2、C_n×4×4等不同尺度 的特征。本发明的实施例中使用两个尺度，因此对第n个卷积层得到大小为C_n×5 的特征矩阵；同时引入可学习标量权重S_n，对第n个卷积层特征向量进行加权。

本方案中共使用四个卷积层，因此得到大小为(C₁+C₂+C₃+C₄)×5的多层级 特征矩阵[F₁；F₂；F₃；F₄]，对该矩阵的每一列通过L2归一化模块进行L2归一化 处理，并先后通过全连接层、BatchNorm层及ReLU激活函数，最终得到大小为 512维的特征向量。

对于上述得到的512维特征向量，本方案中采用softmax激活的全连接层进 行签名图像分类。为进一步改善分类性能，本方案采用一个鉴定网络，在局部特 征空间上对特征进行微调；通过鉴定网络的微调，使得学到的特征能够具有一定 的分布特性，而单独使用softmax达不到这种效果。微调所希望达到的分布特性， 可以使得伪造签名的特征与真签名的特征能够区分开来。

记两个来自同一类别的512维特征向量为x₁、x₂，其中一个来自用户A的 签名图像，即用户A的真签名，另外一个可能来自真签名(用户A的签名图像) 或伪造签名(除用户A之外的其他用户的签名图像)。在所述的鉴定网络中，对 这两个特征向量按照以下公式进行处理：

d＝|x₁-x₂|/2 式1

q＝(x₁+x₂)/2 式2

d'＝L₂(max(0,W_dd+b_d)) 式3

q'＝L₂(max(0,W_qq+b_q)) 式4

p＝sigm(W_pc+b_p) 式6

上面的公式中，p为x₁、x₂对应的签名图像均为真签名(即来自于用户A 的签名图像)的概率，用于鉴定两个样本(签名图像)是否均为真签名； W_d、W_q、W_c、W_p为鉴定网络的权值参数，b_d、b_q、b_c、b_p分别为所述的权值 参数对应的偏置参数；表示L2归一化，表示sigmoid激 活函数。

softmax激活的全连接层和鉴定网络两个支路均采用交叉熵函数作为损失函 数；整个神经网络模型采用随机梯度下降法进行训练，当神经网络在训练集上的 误差完全收敛时，终止训练，保存神经网络模型作为特征提取器。所述的可学习 标量权重S_n与其他网络参数，包括所述鉴定网络的权值参数、权值参数对应的 偏置参数均通过随机梯度下降算法训练得到。

步骤3，利用训练好的神经网络模型进行签名图像的特征提取，并进行特征 归一化，得到签名特征；所述的归一化的具体步骤包括：

步骤3.1，幂次方归一化

记签名图像的特征及归一化特征分别为x、x′，则有:x′＝x^0.5。归一化的 目的在于抑制较大的数值，提升较小的数值，从而更好地与SVM分类器的RBF 核函数相结合。

步骤3.2，有效特征标准归一化

由于神经网络模型使用了ReLU激活函数，因此签名图像的特征的分量中部 分数值为0。记大于0的数值为有效特征，计算各维度有效特征的标准差std， 并利用该标准差进行归一化操作，则有：x″＝x′./std，其中./为点除操作，x′为 有效特征标准归一化前的特征，x″为归一化后的特征，即签名特征。

将所有用户的签名图像均按照步骤3的方法提取签名特征。

步骤4，将每位用户的签名特征作为正样本，除该用户之外的其他用户的签 名特征作为负样本，通过正样本加权，训练二分类SVM模型，用于签名分类。

在步骤4中，例如对于用户A，将其签名特征作为正样本，除了A之外的其 他用户的签名特征作为负样本；然后对于用户B，也按照相同的方法提取正样本、 负样本，直至针对每一个用户都提取了正样本和负样本。

所述的SVM模型的目标函数如下：

s.t:0≤α_i≤C⁺for y_i＝+1,

0≤α_i≤C^-for y_i＝-1,

其中，中k(·,·)为核函数，本发明中采用RBF核函数；α_i，α_j，α_k均为 模型参数，通过训练得到；i,j,k＝1,2,...,t表示索引号，t为样本总数；x_j,x_k表 示正样本或负样本，y_i＝+1表示当前样本为正样本，y_i＝-1表示当前样 本为负样本；C⁺、C^-分别为正样本、负样本的gap惩罚系数，由于样本不平 衡，本发明中采用C⁺＝N-1,C^-＝1进行正样本加权，其中N为用户数。

步骤5，对于待鉴定签名图像，利用步骤3建立的神经网络模型进行特征提 取并归一化得到签名特征，然后利用步骤4训练好的SVM模型鉴定其真伪。

Claims (6)

1.一种基于多层判别式特征学习的脱机签名鉴别方法，其特征在于，包括以下步骤：

步骤1，采集签名图像并进行预处理；

步骤2，建立多层判别式特征学习神经网络模型并进行训练；

步骤3，利用训练好的神经网络模型进行签名图像的特征提取，并进行特征归一化，得到签名特征；

步骤4，将每位用户的签名特征作为正样本，除该用户之外的其他用户的签名特征作为负样本，通过正样本加权，训练二分类SVM模型；

步骤5，对于待鉴定签名图像，利用步骤3的方法提取签名特征，然后利用训练好的SVM模型鉴定其真伪。

2.如权利要求1所述的基于多层判别式特征学习的脱机签名鉴别方法，其特征在于，步骤1所述的预处理的步骤包括：

步骤1.1，对签名图像进行高斯平滑与OTSU二值化，使签名部分像素值为255，背景部分像素值为0；

步骤1.2，将签名图像嵌入到固定尺寸全零矩阵的中心，图像质心与矩阵中心对齐，并利用双线性插值法缩放至神经网络可以处理的合理尺寸。

3.如权利要求1所述的基于多层判别式特征学习的脱机签名鉴别方法，其特征在于，步骤2所述的建立多层判别式特征学习神经网络模型，包括：

所述的网络模型包括四个卷积层、一个多层级特征聚合层、一个softmax激活的全连接层以及一个鉴定网络，其中每个卷积层后默认接有BatchNorm层以及ReLu激活函数；其中：

所述的多层级特征聚合层包括依次连接的空间金字塔池化模块、L2归一化模块以及全连接层；所述的空间金字塔池化模块用于在不同尺度下对特征图进行分块和平均池化操作，得到多层级特征矩阵；L2归一化模块用于对所述多层级特征矩阵进行L2归一化处理，全连接层用于签名图像的分类，鉴定网络用于判定给定的两张签名图像是否都为同一书写者的真签名。

4.如权利要求1所述的基于多层判别式特征学习的脱机签名鉴别方法，其特征在于，所述的鉴定网络对于多层级特征融合层输出的来自于同一类别的两个特征向量x₁、x₂来自于同一个用户签名的概率p：

d＝|x₁-x₂|/2 式1

q＝(x₁+x₂)/2 式2

d'＝L₂(max(0,W_dd+b_d)) 式3

q'＝L₂(max(0,W_qq+b_q)) 式4

p＝sigm(W_pc+b_p) 式6

上面的公式中，W_d、W_q、W_c、W_p为鉴定网络的权值参数，b_d、b_q、b_c、b_p分别为所述的权值参数对应的偏置参数；表示L2归一化，表示sigmoid激活函数。

5.如权利要求1所述的基于多层判别式特征学习的脱机签名鉴别方法，其特征在于，步骤3所述的进行特征归一化，包括：

步骤3.1，幂次方归一化

记签名图像的特征及归一化特征分别为x、x′，则有:x′＝x^0.5；

步骤3.2，有效特征标准归一化

记签名图像的特征的分量中大于0的数值为有效特征，计算各维度有效特征的标准差std，并利用该标准差进行归一化操作：：x″＝x′./std，其中./为点除操作，x′为有效特征标准归一化前的特征，x″为归一化后的特征。

6.如权利要求1所述的基于多层判别式特征学习的脱机签名鉴别方法，其特征在于，步骤4中所述的SVM模型的目标函数为：

s.t:0≤α_i≤C⁺for y_i＝+1,

0≤α_i≤C^-for y_i＝-1,

其中，中k(·,·)为核函数，本发明中采用RBF核函数；α_i，α_j，α_k均为模型参数，通过训练得到；i,j,k＝1,2,...,t表示索引号，t为样本总数；x_j,x_k表示正样本或负样本，y_i＝+1表示当前样本为正样本，y_i＝-1表示当前样本为负样本；C⁺、C^-分别为正样本、负样本的gap惩罚系数。