CN111046774A - 一种基于卷积神经网络的中文签名笔迹鉴定方法 - Google Patents
一种基于卷积神经网络的中文签名笔迹鉴定方法 Download PDFInfo
- Publication number
- CN111046774A CN111046774A CN201911239266.0A CN201911239266A CN111046774A CN 111046774 A CN111046774 A CN 111046774A CN 201911239266 A CN201911239266 A CN 201911239266A CN 111046774 A CN111046774 A CN 111046774A
- Authority
- CN
- China
- Prior art keywords
- neural network
- signature
- convolutional neural
- layer
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 235000002566 Capsicum Nutrition 0.000 claims description 4
- 239000006002 Pepper Substances 0.000 claims description 4
- 235000016761 Piper aduncum Nutrition 0.000 claims description 4
- 235000017804 Piper guineense Nutrition 0.000 claims description 4
- 235000008184 Piper nigrum Nutrition 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 150000003839 salts Chemical class 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims 3
- 244000203593 Piper nigrum Species 0.000 claims 1
- 230000006870 function Effects 0.000 description 11
- 238000010606 normalization Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 241000722363 Piper Species 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 235000002639 sodium chloride Nutrition 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- FAPWRFPIFSIZLT-UHFFFAOYSA-M Sodium chloride Chemical compound [Na+].[Cl-] FAPWRFPIFSIZLT-UHFFFAOYSA-M 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 239000011780 sodium chloride Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/30—Writer recognition; Reading and verifying signatures
- G06V40/33—Writer recognition; Reading and verifying signatures based only on signature image, e.g. static signature recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于卷积神经网络的中文签名笔迹鉴定方法，首先采集本人重复签名和他人代签手写图片，得到签名图像，对签名图像两两组合形成数据集D和以及与数据集D对应的标签集T，其次对签名图像进行处理，包括改变签名图像的大小、灰度化处理、二值化处理和去噪处理后形成数据集D′，将数据集D′划分为训练集和测试集，然后构造多层卷积神经网络，通过构造适合识别签名笔迹差异的损失函数，利用数据集D′、标签集T、损失函数对多层卷积神经网络进行训练得到多层卷积神经网络模型，最终利用所述多层卷积神经网络模型实现对中文签名笔迹的鉴定。本发明可用来鉴定签名是否为本人笔迹，方法简单实用，可为电网行业各种工作票签名鉴定提供依据。
Description
技术领域
本发明涉及计算机视觉识别领域，具体是一种基于卷积神经网络的中文签名笔迹鉴定方法。
背景技术
中文签名笔迹鉴定是通过签名笔迹信息对签名人身份进行鉴别认证的一种文件检验技术。中文签名鉴定的任务是在给定的签名材料库中，随机输入一个签名图片，算法模型能够识别该笔迹是否为本人签名。
自1977年Arazi[1]首次提出笔迹鉴别方法以来，笔迹鉴别便成为了机器视觉与模式识别领域的研究热点之一，在最近几十年发展迅速，同时与指纹识别、语音识别、人脸识别等技术共同作为基于生物信息身份识别的研究范畴。1997年，刘成林等人[2]提出一种基于二值图像多通道分解的笔迹鉴别方法。该方法基于字符笔画的方向性，对笔迹方向分解，接着针对每个方向的图像进行频带分解，最后取分解后的采集信号值作为识别笔迹的敏感特征，运用特征匹配的方法进行识别书写者。2004年，L.Schomaker等人[3]提出一种基于轮廓连接成分 (COCOCOs)和边的联合特征方法，通过将图像统计方法和手工字母特征提取方法相结合，提高笔迹鉴别率。2007年M.Bulacu等人[4]运用将局部特征提取与全局特征提取相组合的方法，构建出更有效的敏感特征，提升了模型在笔迹鉴别的准确率。2009年，李昕等人[5]提出了一种基于网格窗口微结构特征的笔迹鉴别方法，该方法能够将笔迹中局部细微结构变化趋势作为敏感特征，结合加权距离度量的方法，进行相似性匹配，可以应用于各种不同文字语言(如汉字、英文、藏文等)的笔迹鉴别。随着深度学习的进一步发展，极大推动了人工智能的研究与实际应用，为人类带来了极大的便利和促进人类社会发展。2015年，Fiel等人[6]首次提出了基于文档行分割方式与深度多层卷积神经网络相结合的笔迹鉴别方法。2017年，邬向前等人[7]提出一种基于深度多层卷积神经网络和联合贝叶斯的方法提取手写文档的全局特征，运用全新的数据增强方式对数据扩充，在模型泛化能力上做出较大提升，同时也有效地解决数据不足的问题。笔迹鉴定作为人工智能的研究热点之一，在这次深度学习浪潮中得到进一步发展，并且部分技术已经应用于实际生活中。虽然当前中文签名笔迹鉴定方法取得了很大的突破，但是还存在诸多难题仍未解决，使其不能广泛地应用于人们的实际生活中。
中文签名鉴别的难点在于：其一，签名笔迹鉴定图片差异性较大，如纸张褶皱、反光、抖动拍摄、多签名距离过近的签名图片，书写人所用笔的不同，书写人书写环境变化，有效签名笔迹材料的不足等；其二，关于中文签名笔迹鉴定的研究还没有较长的研究历程，使得其并不像人脸识别一样取得很好的成果。
参考文献
[1]Arazi B.Handwriting Identification by Means of Run-LengthMeasurements[J].IEEE Transactions on Systems,Man and Cybernetics,1977,7(12):878-881.
[2]刘成林,刘迎建,戴汝为.基于多通道分解与匹配的笔迹鉴别研究[J].自动化学报,1997, 23(01):56-63.
[3]Schomaker L,Bulacu M.Automatic Writer Identification UsingConnected-Component Contours and Edge-based Features of Uppercase WesternScript[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2004,26(6):787-798.
[4]Bulacu M,Schomaker L.Text-independent Writer Identification andVerification Using Textural and Allographic Features[J].IEEE Transactions onPattern Analysis and Machine Intelligence,2007,29(4):701-717.
[5]李昕,丁晓青,彭良瑞.一种基于微结构特征的多文种文本无关笔迹鉴别方法[J].自动化学报,2009,35(9):1199-1208.
[6]Fiel S,Sablatnig R.Writer Identification and Retrieval Using aConvolutional Neural Network [C].In:Proceedings of the InternationalConference in Computer Analysis of Images and Patterns, 2015,pp.26-37.
[7]Tang Y,Wu X.Text-independent Writer Identification Via多层卷积神经网络Features and Joint Bayesian[C].In:Proceedings of the InternationalConference on Frontiers in Handwriting Recognition(ICFHR),2017,pp.566-571.
发明内容
针对现有技术存在的上述不足，本发明提供一种基于卷积神经网络的中文签名笔迹鉴定方法，可用来鉴定签名是否为本人笔迹，方法简单实用，可为电网行业各种工作票签名鉴定提供依据。
本发明采用如下技术方案：
一种基于卷积神经网络的中文签名笔迹鉴定方法，包括：
首先采集本人重复签名和他人代签手写图片，得到签名图像，对签名图像两两组合形成数据集D和以及与数据集D对应的标签集T，其中标签集T使用代码表示全为本人签字或不全为本人签字，其次对签名图像进行处理，包括改变签名图像的大小、灰度化处理、二值化处理和去噪处理后形成数据集D′，将数据集D′划分为训练集和测试集，然后构造多层卷积神经网络，通过构造适合识别签名笔迹差异的损失函数，利用数据集D′、标签集T、损失函数对多层卷积神经网络进行训练得到多层卷积神经网络模型，最终利用所述多层卷积神经网络模型实现对中文签名笔迹的鉴定。
进一步的，所述方法具体包括以下步骤：
(1)采集签名笔迹，得到签名图像：，本人重复签名N张图片，本人签名图片编号1至N，由他人代签N张图片，代签图片编号 N+1至2*N，将N张本人签名非重复两两组合，形成数据集 D1，组合数为
将N张本人签名依次与N张代签图片非重复两两组合，形成数据集D2，组合数为N2，将两个数据集D1和 D2组合成数据集D，样本数为
数据集D中每组图片的标签为0或1，标签0表示输入的两张图片全为本人签字，标签1表示输入的两张图片不全为本人签字，数据集D对应
个标签，形成标签集T；
(2)改变签名图像的大小：设置改变图像的最终分辨率大小为 S*S*3，当数据集中图片小于S*S*3，使用双线性插值方式放大图片；当数据集中图片大于S*S*3，使用区域插值方式缩小图片；
(3)图像的灰度化处理：为R、G、B的值赋予不同的权值；
(4)图像的二值化处理：运用局部阈值法中的Bernsen算法，通过图像局部的灰度值自适应的选择阈值，实现二值化处理；
(5)图像的去噪处理：针对常出现的椒盐噪声，运用中值滤波法，选取保护图像边缘效果较好的大小3×3窗口进行滤波去噪；
(6)划分数据集：将数据集D按照(1)-(5)步骤经过预处理，形成数据集D′，标签集为T，然后70％作为训练集，30％作为测试集；
(7)构造多层卷积神经网络：第一层为卷积层，卷积核大小为KK1，图像通道数为1，卷积核个数K1，步长为S1，边缘填充 (padding)为0，添加激活层为RELU，第二层为卷积层，卷积核大小为KK2，图像通道数为T2，卷积核个数K2，步长为S2，边缘填充(padding)为0，添加激活层为RELU，第三层为卷积层，卷积核大小为KK3，图像通道数为T3，卷积核个数K3，步长为S3，边缘填充(padding)为0，添加激活层为RELU，第四层为池化层(MaxPool)，尺寸KK4，步长为S4，第五层为卷积层，卷积核大小为KK5，图像通道数为T5，卷积核个数K5，步长为S5，边缘填充(padding)为0，添加激活层为RELU，第六层为卷积层，卷积核大小为KK6，图像通道数为T6，卷积核个数K6，步长为S6，边缘填充(padding) 为0，添加激活层为RELU，第七层为全连接层，添加激活层为RELU、Dropout层和batch_normalization，Dropout率设置为0.6，第八层全连接层，添加激活层为RELU、Dropout层和batch_normalization，Dropout率设置为0.6，第九层为全连接层，其中卷积核大小 KK1、KK2、KK3、KK4、KK5、KK6可选范围3×3、5×5，卷积核个数K1、K2、K3、K5、K6可选范围为16、32、 64、128等，步长S1、S2、S3、S4、S5、S6可选范围1、2、 3；
(8)构造损失函数：运用Adam算法的梯度下降训练多层卷积神经网络，引入识别签名笔迹差异的损失函数，
其中，Ew为输出值之间的欧氏距离，Ew(X1,X2)＝||GW(X1)- GW(X2)||，GW(X1)和GW(X2)为多层卷积神经网络模型的两个输出，Y值为1或0，如果多层卷积神经网络模型预测输入是相似的，那么Y的值为0，否则Y为1，m为阈值；
(9)训练、测试、优化多层卷积神经网络模型：将训练集中每对图片组合作为多层卷积神经网络输入，其多层卷积神经网络的输出结合标签集T作为损失函数输入，利用梯度下降实现从多层卷积神经网络输出层到输入层之间权值与偏置的梯度求解和更新，最终得到优化后的多层卷积神经网络模型；
(10)应用训练完成的多层卷积神经网络模型鉴定中文签名：将本人重复签名N张图片分别与待鉴别的一张签名图片作为N 组输入，代入已训练完成的多层卷积神经网络模型计算，根据模型输出计算N个输出值之间的欧氏距离Ew，如果N个Ew小于阈值m的占比大于阈值P，则待鉴别的签名图片为本人签名。
进一步的，步骤(3)中权值的大小分别为：WR＝0.299，WG＝0.587，WB＝0.114，即Vgray＝0.299R+0.587G+0.114B，Vgray为灰度值，R、G、B为图像的RGB值。
进一步的，步骤(8)中m初始值设置为0.5。
进一步的，步骤(10)中阈值P设置为90％。
本发明通过构造多层卷积神经网络，同时利用适合识别签名笔迹差异的损失函数结合对采集签名笔迹预处理后的数据集以及对应的标签集对多层卷积神经网络进行训练得到多层卷积神经网络模型，可用来鉴定签名是否为本人笔迹，方法简单实用，可为电网行业各种工作票签名鉴定提供依据。
附图说明
图1是本发明基于卷积神经网络的中文签名笔迹鉴定方法的流程示意图；
图2是本发明实施案例对15张签名照片进行识别的结果示意图。
具体实施方式
下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述。
请参考图1，本发明提供一种基于卷积神经网络的中文签名笔迹鉴定方法，包括如下步骤：
(1)采集签名笔迹。本人重复签名N张图片，本人签名图片编号1至N，由他人代签N张图片，代签图片编号N+1至2*N。将N张本人签名非重复两两组合，形成数据集D1，组合数为
将N张本人签名依次与N张代签图片非重复两两组合，形成数据集D2，组合数为N2。将两个数据集D1和D2组合成数据集D，样本数为
数据集D中每组图片的标签为0或1，标签0表示输入的两张图片全为本人签字，标签1表示输入的两张图片不全为本人签字，数据集D对应
个标签，形成标签集T。
(2)改变签名图像的大小。设置改变图像的最终分辨率大小为S*S*3，当数据集中图片小于S*S*3，使用双线性插值方式放大图片，当数据集中图片大于S*S*3，使用区域插值方式缩小图片。
(3)图像的灰度化处理。为R、G、B的值赋予不同的权值，权值的大小分别为：WR＝0.299，WG＝0.587，WB＝0.114，即Vgray＝0.299R+0.587G+0.114B。Vgray为灰度值，R、G、B为图像的RGB值。
(4)图像的二值化处理。运用局部阈值法中的Bernsen算法，通过图像局部的灰度值自适应的选择阈值，实现二值化处理。
(5)图像的去噪处理。针对常出现的椒盐噪声，运用中值滤波法，选取保护图像边缘效果较好的大小3×3窗口进行滤波去噪。
(6)划分数据集。将数据集D按照(1)—(5)步骤经过预处理，形成数据集D′，标签集为T，然后70％作为训练集，30％作为测试集。
(7)构造多层卷积神经网络。第一层为卷积层，卷积核大小为KK1，图像通道数为1，卷积核个数K1，步长为S1，边缘填充(padding) 为0，添加激活层为RELU。第二层为卷积层，卷积核大小为KK2，图像通道数为T2，卷积核个数K2，步长为S2，边缘填充(padding) 为0，添加激活层为RELU。第三层为卷积层，卷积核大小为KK3，图像通道数为T3，卷积核个数K3，步长为S3，边缘填充(padding) 为0，添加激活层为RELU。第四层为池化层(MaxPool)，尺寸KK4，步长为S4。第五层为卷积层，卷积核大小为KK5，图像通道数为T5，卷积核个数K5，步长为S5，边缘填充(padding)为0，添加激活层为RELU。第六层为卷积层，卷积核大小为KK6，图像通道数为T6，卷积核个数K6，步长为S6，边缘填充(padding)为0，添加激活层为RELU。第七层为全连接层，添加激活层为RELU、 Dropout层和batch_normalization，Dropout率设置为0.6。第八层全连接层，添加激活层为RELU、Dropout层和batch_normalization， Dropout率设置为0.6。第九层为全连接层。其中卷积核大小 KK1、KK2、KK3、KK4、KK5、KK6可选范围3×3、5×5，卷积核个数K1、K2、K3、K5、K6可选范围为16、32、64、128等，步长S1、S2、S3、S4、S5、S6可选范围1、2、3。
(8)构造损失函数，运用Adam算法的梯度下降训练多层卷积神经网络。引入识别签名笔迹差异的损失函数，
其中，Ew为输出值之间的欧氏距离，Ew(X1,X2)＝||GW(X1)- GW(X2)||。GW(X1)和GW(X2)为多层卷积神经网络模型的两个输出。 Y值为1或0，如果多层卷积神经网络模型预测输入是相似的，那么Y的值为0，否则Y为1。m为阈值，初始值可以设置为0.5。
(9)训练、测试、优化多层卷积神经网络模型。将训练集中每对图片组合作为多层卷积神经网络输入，其多层卷积神经网络的输出结合标签作为损失函数输入，利用梯度下降实现从多层卷积神经网络输出层到输入层之间权值与偏置的梯度求解和更新，最终得到优化后的多层卷积神经网络。针对该多层卷积神经网络，利用测试集预测，根据预测结果可以进一步调整多层卷积神经网络的参数，如卷积核大小KK1、KK2、KK3、KK4、KK5、KK6,卷积核个数K1、K2、K3、K4、K5，步长S1、S2、S3、S4、S5、S6。
(10)应用最终多层卷积神经网络模型鉴定中文签名。将本人重复签名N张图片分别与待鉴别的一张签名图片作为N组输入，代入已训练完成的多层卷积神经网络模型计算，根据模型输出计算N个输出值之间的欧氏距离Ew，如果N个Ew小于阈值m的占比大于阈值P，则待鉴别的签名图片为本人签名。其中，阈值P可设置为 90％。
本发明实施案例选用某地区涉及到签名的工作票图片来进行建模，但本发明内容的适用性及保护范围不局限于工作票图片。
1、挑选工作票中包含A工作人员签名的100张图片和100张他人代签图片，并剪切图片，仅保留签名部分。将本人签名图片标记为1-100，代签图片标记为101-200。将100张本人签名非重复两两组合，形成数据集D1。将100张本人签名依次与100张代签图片非重复两两组合，形成数据集 D2。将两个数据集D1和D2组合成数据集D，样本数为14950。数据集D中每组图片的标签为0或1，标签0表示输入的两张图片全为本人签字，标签1表示输入的两张图片不全为本人签字，数据集D对应14950个标签，形成标签集T。
2、改变签名图像的大小。设置改变图像的最终大小为 224*224*3，当数据集中图片小于224*224*3，使用双线性插值方式放大图片，当数据集中图片大于224*224*3，使用区域插值方式缩小图片。
3、图像的灰度化处理。为R、G、B的值赋予不同的权值，权值的大小分别为：W_R＝0.299，W_G＝0.587，W_B＝0.114，即V_gray＝0.299R+0.587G+0.114B。V_gray为灰度值，R、G、B为图像的RGB值。
4、图像的二值化处理。运用局部阈值法中的Bernsen算法，通过图像局部的灰度值自适应的选择阈值，实现二值化处理。
5、图像的去噪处理。针对常出现的椒盐噪声，运用中值滤波法，选取保护图像边缘效果较好的大小3×3窗口进行滤波去噪。
6、划分数据集。将数据集D按照(1)—(5)步骤经过预处理，形成数据集D′，标签集为T，然后70％作为训练集， 30％作为测试集。
7、构造多层卷积神经网络。第一层为卷积层，卷积核大小为 3×3，图像通道数为1，卷积核个数32，步长为1，边缘填充(padding)为0，添加激活层为RELU。第二层为卷积层，卷积核大小为3×3，图像通道数为32，卷积核个数 64，步长为2，边缘填充(padding)为0，添加激活层为 RELU。第三层为卷积层，卷积核大小为3×3，图像通道数为64，卷积核个数128，步长为2，边缘填充(padding) 为0，添加激活层为RELU。第四层为池化层(MaxPool)，尺寸3×3，步长为2。第五层为卷积层，卷积核大小为3×3，图像通道数为128，卷积核个数128，步长为2，边缘填充 (padding)为0，添加激活层为RELU。第六层为卷积层，卷积核大小为3×3，图像通道数为128，卷积核个数128，步长为2，边缘填充(padding)为0，添加激活层为RELU。第七层为全连接层，添加激活层为RELU、Dropout层和 batch_normalization，Dropout率设置为0.6。第八层全连接层，添加激活层为RELU、Dropout层和batch_normalization，Dropout率设置为0.6。第九层为全连接层。
8、构造损失函数，运用Adam算法的梯度下降训练多层卷积神经网络。引入识别签名笔迹差异的损失函数，
其中，Ew为输出值之间的欧氏距离，Ew(X1,X2)＝ ||GW(X1)-GW(X2)||。GW(X1)和GW(X2)为模型的两个输出。 Y值为1或0，如果模型预测输入是相似的，那么Y的值为 0，否则Y为1。m为阈值，初始值可以设置为0.5。
9、训练、测试、优化多层卷积神经网络模型。将训练集中每对图片组合作为多层卷积神经网络输入，其多层卷积神经网络的输出结合标签作为损失函数输入，利用梯度下降实现从多层卷积神经网络输出层到输入层之间权值与偏置的梯度求解和更新，最终得到优化后的多层卷积神经网络。
10、应用多层卷积神经网络模型。将A工作人员签名的100张图片分别与待鉴别的一张签名图片作为100组输入，代入已训练完成的多层卷积神经网络模型计算，根据模型输出 100组输出值，计算每组输出值之间的欧氏距离Ew，如果 100组Ew小于0.5的占比大于阈值90％，则待鉴别的签名图片为本人签名。
11、重新选择A工作人员的本人签名6张和他人代签9张照片，针对每张待鉴定的照片，按照步骤1至5对图片预处理，按照步骤10鉴定15张签名照片，最终成功鉴别出14张照片，鉴别准确率约93％，如图2所示。分别运用K最近邻 (KNN)、支持向量机、BP神经网络建模预测，准确率分别为60％、67％、73％。因此，本专利方法效果较好，可以满足实用化的要求。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (5)
1.一种基于卷积神经网络的中文签名笔迹鉴定方法，其特征在于：首先采集本人重复签名和他人代签手写图片，得到签名图像，对签名图像两两组合形成数据集D和以及与数据集D对应的标签集T，其中标签集T使用代码表示全为本人签字或不全为本人签字，其次对签名图像进行处理，包括改变签名图像的大小、灰度化处理、二值化处理和去噪处理后形成数据集D′，将数据集D′划分为训练集和测试集，然后构造多层卷积神经网络，通过构造适合识别签名笔迹差异的损失函数，利用数据集D′、标签集T、损失函数对多层卷积神经网络进行训练得到多层卷积神经网络模型，最终利用所述多层卷积神经网络模型实现对中文签名笔迹的鉴定。
2.如权利要求1所述的基于卷积神经网络的中文签名笔迹鉴定方法，其特征在于：所述方法具体包括如下步骤：
(1)采集签名笔迹，得到签名图像：本人重复签名N张图片，本人签名图片编号1至N，由他人代签N张图片，代签图片编号N+1至2*N，将N张本人签名非重复两两组合，形成数据集D1，组合数为
将N张本人签名依次与N张代签图片非重复两两组合，形成数据集D2，组合数为N2，将两个数据集D1和D2组合成数据集D，样本数为
数据集D中每组图片的标签为0或1，标签0表示输入的两张图片全为本人签字，标签1表示输入的两张图片不全为本人签字，数据集D对应
个标签，形成标签集T；
(2)改变签名图像的大小：设置改变图像的最终分辨率大小为S*S*3，当数据集中图片小于S*S*3，使用双线性插值方式放大图片；当数据集中图片大于S*S*3，使用区域插值方式缩小图片；
(3)图像的灰度化处理：为R、G、B的值赋予不同的权值；
(4)图像的二值化处理：运用局部阈值法中的Bernsen算法，通过图像局部的灰度值自适应的选择阈值，实现二值化处理；
(5)图像的去噪处理：针对常出现的椒盐噪声，运用中值滤波法，选取保护图像边缘效果较好的大小3×3窗口进行滤波去噪；
(6)划分数据集：将数据集D按照(1)-(5)步骤经过预处理，形成数据集D′，标签集为T，然后70％作为训练集，30％作为测试集；
(7)构造多层卷积神经网络：第一层为卷积层，卷积核大小为KK1，图像通道数为1，卷积核个数K1，步长为S1，边缘填充为0，添加激活层为RELU，第二层为卷积层，卷积核大小为KK2，图像通道数为T2，卷积核个数K2，步长为S2，边缘填充为0，添加激活层为RELU，第三层为卷积层，卷积核大小为KK3，图像通道数为T3，卷积核个数K3，步长为S3，边缘填充为0，添加激活层为RELU，第四层为池化层，尺寸KK4，步长为S4，第五层为卷积层，卷积核大小为KK5，图像通道数为T5，卷积核个数K5，步长为S5，边缘填充为0，添加激活层为RELU，第六层为卷积层，卷积核大小为KK6，图像通道数为T6，卷积核个数K6，步长为S6，边缘填充为0，添加激活层为RELU，第七层为全连接层，添加激活层为RELU、Dropout层和batch_norma1ization，Dropout率设置为0.6，第八层全连接层，添加激活层为RELU、Dropout层和batch_normalization，Dropout率设置为0.6，第九层为全连接层，其中卷积核大小KK1、KK2、KK3、KK4、KK5、KK6可选范围3×3、5×5，卷积核个数K1、K2、K3、K5、K6可选范围为16、32、64、128，步长S1、S2、S3、S4、S5、S6可选范围1、2、3；
(8)构造损失函数：运用Adam算法的梯度下降训练多层卷积神经网络，引入识别签名笔迹差异的损失函数，
其中，Ew为输出值之间的欧氏距离，Ew(X1，X2)＝||GW(X1)-GW(X2)||，GW(X1)和GW(X2)为多层卷积神经网络模型的两个输出，Y值为1或0，如果多层卷积神经网络模型预测输入是相似的，那么Y的值为0，否则Y为1，m为阈值；
(9)训练、测试、优化多层卷积神经网络模型：将训练集中每对图片组合作为多层卷积神经网络输入，其多层卷积神经网络的输出结合标签集T作为损失函数输入，利用梯度下降实现从多层卷积神经网络输出层到输入层之间权值与偏置的梯度求解和更新，最终得到优化后的多层卷积神经网络模型；
(10)应用训练完成的多层卷积神经网络模型鉴定中文签名：将本人重复签名N张图片分别与待鉴别的一张签名图片作为N 组输入，代入已训练完成的多层卷积神经网络模型计算，根据模型输出计算N个输出值之间的欧氏距离Ew，如果N个Ew小于阈值m的占比大于阈值P，则待鉴别的签名图片为本人签名。
3.如权利要求2所述的基于卷积神经网络的中文签名笔迹鉴定方法，其特征在于：步骤(3)中权值的大小分别为：WR＝0.299，WG＝0.587，WB＝0.114，即Vgray＝0.299R+0.587G+0.114B，Vgray为灰度值，R、G、B为图像的RGB值。
4.如权利要求2所述的基于卷积神经网络的中文签名笔迹鉴定方法，其特征在于：步骤(8)中m初始值设置为0.5。
5.如权利要求2所述的基于卷积神经网络的中文签名笔迹鉴定方法，其特征在于：步骤(10)中阈值P设置为90％。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911239266.0A CN111046774A (zh) | 2019-12-06 | 2019-12-06 | 一种基于卷积神经网络的中文签名笔迹鉴定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911239266.0A CN111046774A (zh) | 2019-12-06 | 2019-12-06 | 一种基于卷积神经网络的中文签名笔迹鉴定方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111046774A true CN111046774A (zh) | 2020-04-21 |
Family
ID=70235023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911239266.0A Withdrawn CN111046774A (zh) | 2019-12-06 | 2019-12-06 | 一种基于卷积神经网络的中文签名笔迹鉴定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111046774A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111461015A (zh) * | 2020-05-07 | 2020-07-28 | 中金金融认证中心有限公司 | 一种基于rnn模型的用户无关在线签名鉴定方法及装置 |
| CN111814743A (zh) * | 2020-07-30 | 2020-10-23 | 深圳壹账通智能科技有限公司 | 笔迹识别方法、装置及计算机可读存储介质 |
| CN112036323A (zh) * | 2020-09-01 | 2020-12-04 | 中国银行股份有限公司 | 签名笔迹鉴别方法、客户端及服务器 |
| CN112215076A (zh) * | 2020-09-11 | 2021-01-12 | 西安深信科创信息技术有限公司 | 一种基于双塔网络的深度笔迹鉴定方法及装置 |
| CN112507866A (zh) * | 2020-12-03 | 2021-03-16 | 润联软件系统(深圳)有限公司 | 一种汉字字向量生成方法、装置、计算机设备及存储介质 |
| CN113065414A (zh) * | 2021-03-15 | 2021-07-02 | 国网河北省电力有限公司 | 基于书写运动学理论的笔迹鉴别方法 |
| CN113095156A (zh) * | 2021-03-23 | 2021-07-09 | 西安深信科创信息技术有限公司 | 一种基于逆灰度方式的双流网络签名鉴定方法及装置 |
| CN113158887A (zh) * | 2021-04-19 | 2021-07-23 | 福建捷宇电脑科技有限公司 | 一种提高电子签名识别准率的电子签名认证方法及设备 |
| CN113610065A (zh) * | 2021-10-09 | 2021-11-05 | 北京世纪好未来教育科技有限公司 | 笔迹识别方法和装置 |
| CN114220178A (zh) * | 2021-12-16 | 2022-03-22 | 重庆傲雄在线信息技术有限公司 | 基于通道注意力机制的签名鉴别系统及方法 |
| CN114648813A (zh) * | 2022-04-01 | 2022-06-21 | 东云睿连(武汉)计算技术有限公司 | 一种基于深度学习的手写签名鉴别方法及装置 |
-
2019
- 2019-12-06 CN CN201911239266.0A patent/CN111046774A/zh not_active Withdrawn
Non-Patent Citations (2)
| Title |
|---|
| SOUNAK DE 等: "《SigNet:Convolutional Siamese Network for Writer Independent Offline SignatureVerification》", 《PATTERN RECOGNITION LETTERS》 * |
| 蔺潇榕: "《基于支持向量机的离线签名鉴别系统》", 《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111461015A (zh) * | 2020-05-07 | 2020-07-28 | 中金金融认证中心有限公司 | 一种基于rnn模型的用户无关在线签名鉴定方法及装置 |
| CN111461015B (zh) * | 2020-05-07 | 2023-10-13 | 中金金融认证中心有限公司 | 一种基于rnn模型的用户无关在线签名鉴定方法及装置 |
| CN111814743A (zh) * | 2020-07-30 | 2020-10-23 | 深圳壹账通智能科技有限公司 | 笔迹识别方法、装置及计算机可读存储介质 |
| CN112036323A (zh) * | 2020-09-01 | 2020-12-04 | 中国银行股份有限公司 | 签名笔迹鉴别方法、客户端及服务器 |
| CN112036323B (zh) * | 2020-09-01 | 2024-02-27 | 中国银行股份有限公司 | 签名笔迹鉴别方法、客户端及服务器 |
| CN112215076B (zh) * | 2020-09-11 | 2022-08-12 | 西安深信科创信息技术有限公司 | 一种基于双塔网络的深度笔迹鉴定方法及装置 |
| CN112215076A (zh) * | 2020-09-11 | 2021-01-12 | 西安深信科创信息技术有限公司 | 一种基于双塔网络的深度笔迹鉴定方法及装置 |
| CN112507866A (zh) * | 2020-12-03 | 2021-03-16 | 润联软件系统(深圳)有限公司 | 一种汉字字向量生成方法、装置、计算机设备及存储介质 |
| CN112507866B (zh) * | 2020-12-03 | 2021-07-13 | 润联软件系统(深圳)有限公司 | 一种汉字字向量生成方法、装置、计算机设备及存储介质 |
| CN113065414A (zh) * | 2021-03-15 | 2021-07-02 | 国网河北省电力有限公司 | 基于书写运动学理论的笔迹鉴别方法 |
| CN113095156A (zh) * | 2021-03-23 | 2021-07-09 | 西安深信科创信息技术有限公司 | 一种基于逆灰度方式的双流网络签名鉴定方法及装置 |
| CN113158887A (zh) * | 2021-04-19 | 2021-07-23 | 福建捷宇电脑科技有限公司 | 一种提高电子签名识别准率的电子签名认证方法及设备 |
| CN113610065A (zh) * | 2021-10-09 | 2021-11-05 | 北京世纪好未来教育科技有限公司 | 笔迹识别方法和装置 |
| CN114220178A (zh) * | 2021-12-16 | 2022-03-22 | 重庆傲雄在线信息技术有限公司 | 基于通道注意力机制的签名鉴别系统及方法 |
| CN114648813A (zh) * | 2022-04-01 | 2022-06-21 | 东云睿连(武汉)计算技术有限公司 | 一种基于深度学习的手写签名鉴别方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111046774A (zh) | 一种基于卷积神经网络的中文签名笔迹鉴定方法 | |
| Khan et al. | Deep unified model for face recognition based on convolution neural network and edge computing | |
| Taskiran et al. | A real-time system for recognition of American sign language by using deep learning | |
| Ban et al. | Face detection based on skin color likelihood | |
| Sun et al. | Gender classification based on boosting local binary pattern | |
| Özgündüz et al. | Off-line signature verification and recognition by support vector machine | |
| CN109993201B (zh) | 一种图像处理方法、装置和可读存储介质 | |
| CN107609549A (zh) | 一种自然场景下证件图像的文本检测方法 | |
| CN112464865A (zh) | 一种基于像素和几何混合特征的人脸表情识别方法 | |
| CN111222433B (zh) | 自动人脸稽核方法、系统、设备及可读存储介质 | |
| CN107491729B (zh) | 基于余弦相似度激活的卷积神经网络的手写数字识别方法 | |
| CN111414888A (zh) | 低分辨率人脸识别方法、系统、装置及存储介质 | |
| CN111860309A (zh) | 一种人脸识别方法及系统 | |
| CN111784665B (zh) | 基于傅里叶变换的oct图像质量评估方法、系统及装置 | |
| US11315358B1 (en) | Method and system for detection of altered fingerprints | |
| CN111951283A (zh) | 一种基于深度学习的医学图像识别方法及系统 | |
| CN111178310A (zh) | 手掌特征识别方法、装置、计算机设备和存储介质 | |
| Durnyak et al. | Applying the neuronetchic methodology to text images for their recognition | |
| Cho | Ensemble of structure-adaptive self-organizing maps for high performance classification | |
| CN114373218B (zh) | 一种用于检测活体对象的卷积网络的生成方法 | |
| CN114627534B (zh) | 活体判别方法及电子设备、存储介质 | |
| CN115601843A (zh) | 基于双流网络的多模态签名笔迹鉴别系统及方法 | |
| Korayem et al. | Solving avatar captchas automatically | |
| Baidyk et al. | Face recognition using a permutation coding neural classifier | |
| CN105760881A (zh) | 基于Haar分类器方法的人脸建模检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200421 |
|
| WW01 | Invention patent application withdrawn after publication |