CN109344856B - 一种基于多层判别式特征学习的脱机签名鉴别方法 - Google Patents
一种基于多层判别式特征学习的脱机签名鉴别方法 Download PDFInfo
- Publication number
- CN109344856B CN109344856B CN201810910833.XA CN201810910833A CN109344856B CN 109344856 B CN109344856 B CN 109344856B CN 201810910833 A CN201810910833 A CN 201810910833A CN 109344856 B CN109344856 B CN 109344856B
- Authority
- CN
- China
- Prior art keywords
- signature
- normalization
- feature
- image
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000010606 normalization Methods 0.000 claims abstract description 37
- 238000003062 neural network model Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 230000002776 aggregation Effects 0.000 claims description 8
- 238000004220 aggregation Methods 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 2
- 238000012706 support-vector machine Methods 0.000 abstract 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Character Discrimination (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明公开了一种基于多层判别式特征学习的脱机签名鉴别方法,包括:采集签名图像并进行预处理;建立多层判别式特征学习神经网络模型并进行训练;进行签名图像的特征提取,并进行特征归一化;针对每位用户的签名数据,取其中的真签名特征作为正样本,除该用户之外的其他用户的真签名特征作为负样本,通过正样本加权,训练二分类SVM模型;对于待鉴定签名图像,进行特征提取并归一化,然后用SVM模型鉴定其真伪。本发明充分利用深度网络模型的特征学习能力,以及签名数据中不同层次、多尺度特征,基于深度网络模型和二分类SVM模型,实现了高精度的脱机签名鉴定方法,具有准确率高、适应性好等特点,具有较好的实用价值。
Description
技术领域
本发明涉及深度学习和人工智能技术领域,具体涉及一种基于多层判别式特征学习的脱机签名鉴别方法。
背景技术
手写签名是个人身份认证与授权的重要方式,具有悠久的历史传统,在行政、银行、商业等领域有着重要的使用。因此,基于计算机的自动签名鉴定具有重要的应用价值。签名鉴定分为联机签名鉴定和脱机签名鉴定;相比于联机签名鉴定,脱机签名鉴定不需依赖于定制的采集设备,具有更广泛的应用场景。
传统的脱机签名鉴定方法主要采用人工选择的特征,例如几何特征、纹理特征等,对签名样本图像进行特征提取,鉴定性能往往依赖于设计者的先验知识,且推广性能也不理想。近年来,随着大规模签名样本数据库的出现、以及深度神经网络模型在特征学习中的成功应用,如何利用深度神经网络构建高性能脱机签名鉴定系统,开始受到人们的关注。基于深度网络的方法,可以从大量数据中自动地学习签名数据的有效描述特征,具有描述能力强、适应性好等特点。但是,如何结合签名数据自身的特点,设计有效的深度神经网络模型,以及基于深度网络模型的签名鉴定解决方案,目前还没有成熟的方法;特别是针对签名数据中不同层次、不同尺度特征的深度网络模型及其签名鉴定方法,目前还没有相应解决方案。
发明内容
为了克服现有脱机签名鉴定技术存在的不足,本发明充分利用深度网络模型的特征学习能力以及签名数据中的不同层次、多尺度的特征,基于深度网络模型和二分类SVM模型,提供一种基于多层级判别式特征学习的脱机签名鉴定方法,该方法具有准确率高、适应性好的特点,具有较好的实用价值。
为了实现上述任务,本发明采用以下技术方案:
一种基于多层判别式特征学习的脱机签名鉴别方法,包括以下步骤:
步骤1,采集签名图像并进行预处理;
步骤2,建立多层判别式特征学习神经网络模型并进行训练;
步骤3,利用训练好的神经网络模型进行签名图像的特征提取,并进行特征归一化,得到签名特征;
步骤4,将每位用户的签名特征作为正样本,除该用户之外的其他用户的签名特征作为负样本,通过正样本加权,训练二分类SVM模型;
步骤5,对于待鉴定签名图像,利用步骤3的方法提取签名特征,然后利用训练好的SVM模型鉴定其真伪。
进一步地,步骤1所述的预处理的步骤包括:
步骤1.1,对签名图像进行高斯平滑与OTSU二值化,使签名部分像素值为255,背景部分像素值为0;
步骤1.2,将签名图像嵌入到固定尺寸全零矩阵的中心,图像质心与矩阵中心对齐,并利用双线性插值法缩放至神经网络可以处理的合理尺寸。
进一步地,步骤2所述的建立多层判别式特征学习神经网络模型,包括:
所述的网络模型包括四个卷积层、一个多层级特征聚合层、一个softmax激活的全连接层以及一个鉴定网络,其中每个卷积层后默认接有BatchNorm层以及ReLu激活函数;其中:
所述的多层级特征聚合层包括依次连接的空间金字塔池化模块、L2归一化模块以及全连接层;所述的空间金字塔池化模块用于在不同尺度下对特征图进行分块和平均池化操作,得到多层级特征矩阵;L2归一化模块用于对所述多层级特征矩阵进行L2归一化处理,全连接层用于签名图像的分类,鉴定网络用于判定给定的两张签名图像是否都为同一书写者的真签名。
进一步地,所述的鉴定网络对于多层级特征融合层输出的来自于同一类别的两个特征向量x1、x2均来自于同一个用户签名的概率p:
d=|x1-x2|/2 式1
q=(x1+x2)/2 式2
d'=L2(max(0,Wdd+bd)) 式3
q'=L2(max(0,Wqq+bq)) 式4
p=sigm(Wpc+bp) 式6
进一步地,步骤3,所述的进行特征归一化,包括:
步骤3.1,幂次方归一化
记签名图像的特征及归一化特征分别为x、x′,则有:x′=x0.5;
步骤3.2,有效特征标准归一化
记签名图像的特征的分量中大于0的数值为有效特征,计算各维度有效特征的标准差std,并利用该标准差进行归一化操作::x″=x′./std,其中./为点除操作,x′为有效特征标准归一化前的特征,x″为归一化后的特征。
进一步地,步骤4中所述的SVM模型的目标函数为:
其中,中k(·,·)为核函数,本发明中采用RBF核函数;αi,αj,αk均为模型参数,通过训练得到;i,j,k=1,2,...,t表示索引号,t为样本总数;xj,xk表示正样本或负样本,yi=+1表示当前样本为正样本,yi=-1表示当前样本为负样本;C+、C-分别为正样本、负样本的gap惩罚系数,由于样本不平衡,本发明中采用C+=N-1,C-=1进行正样本加权,其中N为用户数。
本发明具有以下技术特点:
1.本发明利用双重监督信息即类别信息、真伪信息,进行脱机签名判别式特征学习,相对于传统人工选择的特征,具有更好的适应性,鉴定性能更好;
2.本发明采用多层级特征聚合,能够捕捉不同层次、不同尺度的签名特征,相对于直接采用像素级别的浅层特征,能够有效提高鉴定性能;
3.本发明针对每位用户,在正负样本极不均衡的情形下,通过正样本加权,可以有效训练二分类SVM作为鉴别器,避免了样本不均衡带来的过拟合等问题,因此本发明可以有效地改善鉴定性能。实验结果表明,本发明方案可以大大改善脱机签名鉴定的准确率。
附图说明
图1是本发明方法流程图。
图2是签名图像预处理示意图。
图3是多层级判别式特征学习神经网络模型示意图。
图4为多层级特征聚合示意图。
具体实施方式
本发明公开了一种基于多层判别式特征学习的脱机签名鉴别方法,流程图如图1所示,包括两个阶段共五个步骤。其中第一阶段为训练阶段,包括步骤1至步骤4,第二阶段为签名鉴定阶段,包括步骤5。
步骤1,采集签名图像并进行预处理
由于不同采集条件下得到的签名图像具有不同尺寸、不同背景、不同笔色,因此需要对签名图像进行一系列预处理,如图2所示,具体包括:
步骤1.1,如图2左侧箭头所示,对签名图像进行高斯平滑与OTSU二值化,使签名部分像素值为255,背景部分像素值为0,从而排除笔色、背景的影响。
步骤1.2,如图2右侧箭头所示,将签名图像嵌入到固定尺寸全零矩阵的中心,图像质心与矩阵中心对齐,并利用双线性插值法缩放至神经网络可以处理的合理尺寸,从而消除不同图像存在不同尺寸而对训练造成的影响。本发明实施例中使用800×1260大小的全零矩阵,并缩放至150×220以便于神经网络的处理。
步骤2,建立多层判别式特征学习神经网络模型并进行训练
如图3所示,所述的网络模型包括四个卷积层、一个多层级特征聚合层、一个softmax激活的全连接层以及一个鉴定网络,其中每个卷积层后默认接有BatchNorm层以及ReLu激活函数;softmax激活的全连接层进行签名图像的分类,利用了类别信息,而鉴定网络用于判定给定的两张签名图像是否都为同一书写者的真签名,利用了真伪信息。
本发明中的多层级特征聚合层的结构如图4所示,包括依次连接的空间金字塔池化模块、L2归一化模块以及全连接层,其中在全连接层后接有BatchNorm层以及ReLu激活函数。对于签名图像经第n(n=1,2,3,4)个卷积层提取特征所得的特征图,其大小记为Cn×Hn×Wn,其中Cn表示特征图的通道数,Hn为特征图的高度,Wn为特征图的宽度;空间金字塔池化模块在不同尺度下对特征图进行分块和平均池化操作,得到大小为Cn×1×1、Cn×2×2、Cn×4×4等不同尺度的特征。本发明的实施例中使用两个尺度,因此对第n个卷积层得到大小为Cn×5的特征矩阵;同时引入可学习标量权重Sn,对第n个卷积层特征向量进行加权。
本方案中共使用四个卷积层,因此得到大小为(C1+C2+C3+C4)×5的多层级特征矩阵[F1;F2;F3;F4],对该矩阵的每一列通过L2归一化模块进行L2归一化处理,并先后通过全连接层、BatchNorm层及ReLU激活函数,最终得到大小为512维的特征向量。
对于上述得到的512维特征向量,本方案中采用softmax激活的全连接层进行签名图像分类。为进一步改善分类性能,本方案采用一个鉴定网络,在局部特征空间上对特征进行微调;通过鉴定网络的微调,使得学到的特征能够具有一定的分布特性,而单独使用softmax达不到这种效果。微调所希望达到的分布特性,可以使得伪造签名的特征与真签名的特征能够区分开来。
记两个来自同一类别的512维特征向量为x1、x2,其中一个来自用户A的签名图像,即用户A的真签名,另外一个可能来自真签名(用户A的签名图像)或伪造签名(除用户A之外的其他用户的签名图像)。在所述的鉴定网络中,对这两个特征向量按照以下公式进行处理:
d=|x1-x2|/2 式1
q=(x1+x2)/2 式2
d'=L2(max(0,Wdd+bd)) 式3
q'=L2(max(0,Wqq+bq)) 式4
p=sigm(Wpc+bp) 式6
上面的公式中,p为x1、x2对应的签名图像均为真签名(即来自于用户A的签名图像)的概率,用于鉴定两个样本(签名图像)是否均为真签名;Wd、Wq、Wc、Wp为鉴定网络的权值参数,bd、bq、bc、bp分别为所述的权值参数对应的偏置参数;表示L2归一化,表示sigmoid激活函数。
softmax激活的全连接层和鉴定网络两个支路均采用交叉熵函数作为损失函数;整个神经网络模型采用随机梯度下降法进行训练,当神经网络在训练集上的误差完全收敛时,终止训练,保存神经网络模型作为特征提取器。所述的可学习标量权重Sn与其他网络参数,包括所述鉴定网络的权值参数、权值参数对应的偏置参数均通过随机梯度下降算法训练得到。
步骤3,利用训练好的神经网络模型进行签名图像的特征提取,并进行特征归一化,得到签名特征;所述的归一化的具体步骤包括:
步骤3.1,幂次方归一化
记签名图像的特征及归一化特征分别为x、x′,则有:x′=x0.5。归一化的目的在于抑制较大的数值,提升较小的数值,从而更好地与SVM分类器的RBF核函数相结合。
步骤3.2,有效特征标准归一化
由于神经网络模型使用了ReLU激活函数,因此签名图像的特征的分量中部分数值为0。记大于0的数值为有效特征,计算各维度有效特征的标准差std,并利用该标准差进行归一化操作,则有:x″=x′./std,其中./为点除操作,x′为有效特征标准归一化前的特征,x″为归一化后的特征,即签名特征。
将所有用户的签名图像均按照步骤3的方法提取签名特征。
步骤4,将每位用户的签名特征作为正样本,除该用户之外的其他用户的签名特征作为负样本,通过正样本加权,训练二分类SVM模型,用于签名分类。
在步骤4中,例如对于用户A,将其签名特征作为正样本,除了A之外的其他用户的签名特征作为负样本;然后对于用户B,也按照相同的方法提取正样本、负样本,直至针对每一个用户都提取了正样本和负样本。
所述的SVM模型的目标函数如下:
其中,中k(·,·)为核函数,本发明中采用RBF核函数;αi,αj,αk均为模型参数,通过训练得到;i,j,k=1,2,...,t表示索引号,t为样本总数;xj,xk表示正样本或负样本,yi=+1表示当前样本为正样本,yi=-1表示当前样本为负样本;C+、C-分别为正样本、负样本的gap惩罚系数,由于样本不平衡,本发明中采用C+=N-1,C-=1进行正样本加权,其中N为用户数。
步骤5,对于待鉴定签名图像,利用步骤3建立的神经网络模型进行特征提取并归一化得到签名特征,然后利用步骤4训练好的SVM模型鉴定其真伪。
Claims (5)
1.一种基于多层判别式特征学习的脱机签名鉴别方法,其特征在于,包括以下步骤:
步骤1,采集签名图像并进行预处理;
步骤2,建立多层判别式特征学习神经网络模型并进行训练;
所述的网络模型包括四个卷积层、一个多层级特征聚合层、一个softmax激活的全连接层以及一个鉴定网络,其中每个卷积层后默认接有BatchNorm层以及ReLu激活函数;其中:
所述的多层级特征聚合层包括依次连接的空间金字塔池化模块、L2归一化模块以及全连接层;所述的空间金字塔池化模块用于在不同尺度下对特征图进行分块和平均池化操作,得到多层级特征矩阵;L2归一化模块用于对所述多层级特征矩阵进行L2归一化处理,全连接层用于签名图像的分类,鉴定网络用于判定给定的两张签名图像是否都为同一书写者的真签名;
步骤3,利用训练好的神经网络模型进行签名图像的特征提取,并进行特征归一化,得到签名特征;
步骤4,将每位用户的签名特征作为正样本,除该用户之外的其他用户的签名特征作为负样本,通过正样本加权,训练二分类SVM模型;
步骤5,对于待鉴定签名图像,利用步骤3的方法提取签名特征,然后利用训练好的SVM模型鉴定其真伪。
2.如权利要求1所述的基于多层判别式特征学习的脱机签名鉴别方法,其特征在于,步骤1所述的预处理的步骤包括:
步骤1.1,对签名图像进行高斯平滑与OTSU二值化,使签名部分像素值为255,背景部分像素值为0;
步骤1.2,将签名图像嵌入到固定尺寸全零矩阵的中心,图像质心与矩阵中心对齐,并利用双线性插值法缩放至神经网络可以处理的合理尺寸。
4.如权利要求1所述的基于多层判别式特征学习的脱机签名鉴别方法,其特征在于,步骤3所述的进行特征归一化,包括:
步骤3.1,幂次方归一化
记签名图像的特征及归一化特征分别为x、x′,则有:x′=x0.5;
步骤3.2,有效特征标准归一化
记签名图像的特征的分量中大于0的数值为有效特征,计算各维度有效特征的标准差std,并利用该标准差进行归一化操作:x″=x′./std,其中./为点除操作,x′为有效特征标准归一化前的特征,x″为归一化后的特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810910833.XA CN109344856B (zh) | 2018-08-10 | 2018-08-10 | 一种基于多层判别式特征学习的脱机签名鉴别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810910833.XA CN109344856B (zh) | 2018-08-10 | 2018-08-10 | 一种基于多层判别式特征学习的脱机签名鉴别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109344856A CN109344856A (zh) | 2019-02-15 |
CN109344856B true CN109344856B (zh) | 2022-04-08 |
Family
ID=65296854
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810910833.XA Active CN109344856B (zh) | 2018-08-10 | 2018-08-10 | 一种基于多层判别式特征学习的脱机签名鉴别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109344856B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111950334A (zh) * | 2019-05-17 | 2020-11-17 | 重庆傲雄在线信息技术有限公司 | 一种基于svm电子手写签名识别的方法 |
CN111401372B (zh) * | 2019-12-20 | 2024-04-16 | 国家电网有限公司 | 一种扫描文档图文信息提取与鉴别的方法 |
CN111860672B (zh) * | 2020-07-28 | 2021-03-16 | 北京邮电大学 | 一种基于分块卷积神经网络的细粒度图像分类方法 |
CN113065414A (zh) * | 2021-03-15 | 2021-07-02 | 国网河北省电力有限公司 | 基于书写运动学理论的笔迹鉴别方法 |
CN115966029B (zh) * | 2023-03-09 | 2023-11-07 | 珠海金智维信息科技有限公司 | 一种基于注意力机制的离线签名认证方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106778586A (zh) * | 2016-12-08 | 2017-05-31 | 武汉理工大学 | 离线手写签名鉴别方法及系统 |
-
2018
- 2018-08-10 CN CN201810910833.XA patent/CN109344856B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106778586A (zh) * | 2016-12-08 | 2017-05-31 | 武汉理工大学 | 离线手写签名鉴别方法及系统 |
Non-Patent Citations (1)
Title |
---|
《Writer-independent Feature Learning for Offline Signature Verification using Deep Convolutional Neural Networks》;Luiz G. Hafemann;《2016 International Joint Conference on Neural Networks》;20161231;第2576-2583页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109344856A (zh) | 2019-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109344856B (zh) | 一种基于多层判别式特征学习的脱机签名鉴别方法 | |
CN113378632B (zh) | 一种基于伪标签优化的无监督域适应行人重识别方法 | |
CN111414862B (zh) | 基于神经网络融合关键点角度变化的表情识别方法 | |
CN106372581B (zh) | 构建及训练人脸识别特征提取网络的方法 | |
CN106096538B (zh) | 基于定序神经网络模型的人脸识别方法及装置 | |
CN103605972B (zh) | 一种基于分块深度神经网络的非限制环境人脸验证方法 | |
CN109359608B (zh) | 一种基于深度学习模型的人脸识别方法 | |
CN111639558B (zh) | 一种基于ArcFace Loss和改进残差网络的指静脉身份验证方法 | |
CN110321967B (zh) | 基于卷积神经网络的图像分类改进方法 | |
CN105718889B (zh) | 基于GB(2D)2PCANet深度卷积模型的人脸身份识别方法 | |
Zaibi et al. | A Lightweight Model for Traffic Sign Classification Based on Enhanced LeNet‐5 Network | |
CN102147858B (zh) | 车牌字符识别方法 | |
CN109063649B (zh) | 基于孪生行人对齐残差网络的行人重识别方法 | |
CN104504383B (zh) | 一种基于肤色和Adaboost算法的人脸检测方法 | |
CN113221655B (zh) | 基于特征空间约束的人脸欺骗检测方法 | |
CN113408605A (zh) | 基于小样本学习的高光谱图像半监督分类方法 | |
CN104834941A (zh) | 基于计算机输入下的稀疏自编码的脱机手写体识别方法 | |
CN111985581A (zh) | 一种基于样本级注意力网络的少样本学习方法 | |
CN105930792A (zh) | 一种基于视频局部特征字典的人体动作分类方法 | |
CN107220598A (zh) | 基于深度学习特征和Fisher Vector编码模型的虹膜图像分类方法 | |
CN108564040A (zh) | 一种基于深度卷积特征的指纹活性检测方法 | |
Sun et al. | Brushstroke based sparse hybrid convolutional neural networks for author classification of Chinese ink-wash paintings | |
CN110516526A (zh) | 一种基于特征原型度量学习的小样本目标识别方法 | |
CN106650798A (zh) | 一种结合深度学习与稀疏表示的室内场景识别方法 | |
CN106611156A (zh) | 一种自适应深度空间特征的行人识别方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |