CN111985319A - 签名识别方法及设备 - Google Patents

签名识别方法及设备 Download PDF

Info

Publication number
CN111985319A
CN111985319A CN202010671456.6A CN202010671456A CN111985319A CN 111985319 A CN111985319 A CN 111985319A CN 202010671456 A CN202010671456 A CN 202010671456A CN 111985319 A CN111985319 A CN 111985319A
Authority
CN
China
Prior art keywords
signature
stroke
data
image
single character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010671456.6A
Other languages
English (en)
Inventor
周康明
潘加豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN202010671456.6A priority Critical patent/CN111985319A/zh
Publication of CN111985319A publication Critical patent/CN111985319A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30—Writer recognition; Reading and verifying signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明的目的是提供一种签名识别方法及设备，本发明将动态数据采样点转化为静态图像，并且通过低二通道图像对单字符内的笔画顺序进行编码，通过第三通道图像笔画中数据点的顺序进行编码，通过将丰富的时序信息编码至静态图像，提高动态签名的分类准确率。本发明还提出的笔画预处理方式，坐标对齐可以减少因为签名风格，签名字体大小，硬件设备等外界因素对签名识别造成的影响，去除冗余点可以减少因为设备因为采样等原因带来的误差，去除部分噪声，保留更加有用的数据点，提高模型的泛化能力和鲁棒性。

Description

签名识别方法及设备
技术领域
本发明涉及计算机领域，尤其涉及一种签名识别方法及设备。
背景技术
动态签名是指依靠电子设备获取笔在机器上的书写顺序，根据设备采样得到每个时刻的坐标位置，将得到的坐标数据存入csv文件中。
现有技术大多基于英文签名识别，英文字母只有26个，便于识别，而中文常用字识别就有3755类，增加了识别难度。基于中文识别目前大多使用静态图像数据，但现有的采用静态图像数据的签名识别方式，会导致识别精度低的问题。
发明内容
本发明的一个目的是提供一种签名识别方法及设备。
根据本发明的一个方面，提供了一种签名识别方法，该方法包括：
对动态签名图像进行解析，以得到分割后的签名文字的每个单字符数据，其中，每个单字符数据包括序列时间信息；
对分割得到的单个字符的数据点进行预处理，得到预处理后的各个单字符数据；
将预处理得到的各个单字符数据转成对应的静态图像，并且将所述序列时间信息编码至所述静态图像中，以得到含有序列时间信息编码的字符图像；
对含有序列时间信息编码的各个字符图像进行分类，以识别得到签名文字的各个单字符的对应文字，将各个识别得到的文字组合成签名文字；
基于所述所述签名文字从数据库中查找对应的签名图像，将所述动态签名图像与数据库中查找到的签名图像进行比对，以判断签名是否来自于同一人。
进一步的，上述方法中，对动态签名图像进行解析，以得到分割后的签名文字的每个单字符数据，其中，每个单字符数据包括序列时间信息，包括：
对动态签名图像进行解析，以将所述动态签名图像转化为坐标点，根据转化得到的坐标点得到签名文字的每个笔画的起止点，基于所述签名文字的每个笔画的起止点并依据概率对各个笔画进行聚类，以得到分割后的签名文字的每个单字符数据，其中，每个单字符数据包括序列时间信息。
进一步的，上述方法中，基于所述签名文字的每个笔画的起止点并依据概率对各个笔画进行聚类，以得到分割后的签名文字的每个单字符数据，包括：
初始化高斯混合模型参数，聚类中心点个数为num_cluster，最大迭代次数300轮，将每个数据点所属笔画的索引stroken_index作为辅助的标签，得到初始化的高斯混合模型gmm_cluster；
基于每个笔画里的数据点的横纵坐标{x,y}，并用初始化的高斯混合模型gmm_cluster对每个笔画里的每个数据点进行聚类，得到每个数据点的聚类结果cluster_assignment；
根据单个笔画中多数数据点的聚类结果cluster_assignment，对部分数据点聚类结果进行纠正，以得到分割后的签名文字的每个单字符数据。
进一步的，上述方法中，对分割得到的单个字符的数据点进行预处理，得到预处理后的各个单字符数据，包括：
对分割得到的单个字符的数据点进行包括对坐标的对齐、重采样并去除笔画中的冗余的数据点的预处理，得到预处理后的各个单字符数据。
进一步的，上述方法中，对分割得到的单个字符的数据点进行包括对坐标的对齐、重采样，包括：
对分割得到的单个字符的数据点进行左上角对齐，其中，左上角的横纵坐标的最小值为0，对单个字符的笔画进行缩放，使单个字符的笔画的横纵坐标的最大值为255，以得到对齐后的数据点；
对所述对齐后的数据点的原坐标进行重采样，使得每个数据点的坐标都是整数，以得到重采样后的数据点的新坐标，基于重采样后的各数据点的新坐标得到对应的重采样后的单个字符的笔画。
进一步的，上述方法中，对所述对齐后的数据点的原坐标进行重采样，使得每个数据点的坐标都是整数，以得到重采样后的数据点的新坐标，包括：
采用如下公式得到重采样后的数据点的新坐标：
Figure BDA0002582449440000031
Figure BDA0002582449440000032
其中，(xold,yold)表示对齐后的数据点的原坐标，xmin表示对齐后的数据点组成的单个字符的横坐标的最小值、xmax表示重对齐后的数据点组成的单个字符的横坐标的最大值，ymin表示对齐后的数据点组成的单个字符的纵坐标的最小值，ymax表示重对齐后的数据点组成的单个字符的纵坐标的最大值，(xnew,ynew)表示重采样后得到各个数据点的新坐标。
进一步的，上述方法中，去除笔画中的冗余的数据点的预处理，得到预处理后的各个单字符数据，包括：
步骤S21，每次将重采样后的各个单字符的单个笔画作为当前的曲线；
步骤S22，将当前的曲线的首尾数据点相连得到直线AB，得到的直线AB为相对应的笔画的曲线的弦；
步骤S23，在当前的曲线上取距离直线AB最远的点C，得到当前曲线距离直线AB最大的距离d；
步骤S24，若d大于等于第一预设阈值，则将直线AC、BC分别作为当前的曲线后，对直线AC、BC分别重复步骤S22～步骤S24；若d小于所述第一预设阈值，则认为当前得到的直线AC和/或BC是当前的曲线的近似拟合折线。
步骤S25，基于得到的各段直线AC和/或BC，得到预处理后的该单个笔画的整个曲线的近似拟合折线，基于各个单字符的各单个笔画的整个曲线的近似拟合折线，得到预处理后的各个单字符数据。
进一步的，上述方法中，将预处理得到的各个单字符数据转成对应的静态图像，并且将所述序列时间信息编码至所述静态图像中，以得到含有序列时间信息编码的字符图像，包括：
建立第一个通道图像，包括：基于预处理得到的各个单字符数据，将数据点按照笔画顺序和笔画关系进行连接，得到单字符的字体的轮廓图像；
建立第二个通道图像，包括：基于预处理得到的各个单字符数据和所述序列时间信息，将单字符的初始笔画的像素值设置为0，后续的笔画数量每增加1各笔画，则该笔画对应的像素值增加20,像素值最大为240；
建立第三个通道图像，包括：基于预处理得到的各个单字符数据和所述序列时间信息，将每个笔画的初始数据点像素值设置为0，之后该笔画内后续的每个数据点的像素值逐渐增加，直到最大值255。
进一步的，上述方法中，将该笔画内后续的每个数据点的像素值逐渐增加，包括：
采用如下公式将该笔画内后续的每个数据点的像素值pixel逐渐增加：
Figure BDA0002582449440000041
n表示单个笔画中有多少个数据点，m则表示某个数据点在所属的单个笔画中的序列时间信息即序号，m的取值范围为大于等于1小于等于n，n为正整数。
进一步的，上述方法中，将所述动态签名图像与数据库中查找到的签名图像进行比对，以判断签名是否来自于同一人，包括：
将所述动态签名图像与数据库中查找到的签名图像，送入训练好的卷积神经网络中计算相似度，当计算得到的相似度小于预设第二阈值，则判断所述动态签名图像与数据库中查找到的签名图像是同一个人的签名，否则判断为不是同一个人的签名。
根据本发明的另一方面，还提供一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现上述任一项所述的方法。
与现有技术相比，本发明将动态数据采样点转化为静态图像，并且通过低二通道图像对单字符内的笔画顺序进行编码，通过第三通道图像笔画中数据点的顺序进行编码，通过将丰富的时序信息编码至静态图像，提高动态签名的分类准确率。
另外，本发明还提出的笔画预处理方式，坐标对齐可以减少因为签名风格，签名字体大小，硬件设备等外界因素对签名识别造成的影响，去除冗余点可以减少因为设备因为采样等原因带来的误差，去除部分噪声，保留更加有用的数据点，提高模型的泛化能力和鲁棒性。
此外，本发明提出使用高斯混合模型的聚类方法实现字符分割，该方法利用了单个字符内数据点分布的特性，将数据点进行聚类，然后再使用数据采样点与笔画的包含关系，对数据点的聚类结果进行纠正。该聚类方式可以缓解连笔，笔画粘连等对单字符分割的影响。
最后，本发明还使用卷积神经网络分别完成了分类和验证任务。首先使用分类网络对单字符进行分类，然后组合成签名识别结果。然后使用签名识别结果作为索引，在数据库中搜索相应签名，使用深度度量学习的方法，判断这两个签名是否来源于同一个人。分类识别任务中，相比于直接识别静态图像，将时序信息编码至图像中，提供了更加丰富的时序信息，所以提高了分类的准确率。相比于直接使用循环卷积神经网络，因为签名得到的字符串大多没有上下文的相关性，所以循环卷积神经网络分类结果也有限，分类准确率不高，本发明提供包含时序的图像信息可以提供更准确的结果。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示出本发明一实施例的一种签名识别方法的三通道图像的原理图；
图2示出本发明一实施例的一种签名识别方法的第一通道图像的示意图；
图3示出本发明一实施例的一种签名识别方法的第二通道图像的示意图；
图4示出本发明一实施例的一种签名识别方法的第三通道图像的示意图；
图5示出本发明一实施例的由图2的第一通道图像、图3的第二通道图像和图4的第三通道图像得到的三通道图像。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本发明作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本发明提供一种签名识别方法，所述方法包括：
步骤S01，对动态签名图像进行解析，以得到分割后的签名文字的每个单字符数据，其中，每个单字符数据包括序列时间信息；
步骤S02，对分割得到的单个字符的数据点进行预处理，得到预处理后的各个单字符数据；
步骤S03，将预处理得到的各个单字符数据转成对应的静态图像，并且将所述序列时间信息编码至所述静态图像中，以得到含有序列时间信息编码的字符图像；
步骤S04，对含有序列时间信息编码的各个字符图像进行分类，以识别得到签名文字的各个单字符的对应文字，将各个识别得到的文字组合成签名文字；
步骤S05，基于所述所述签名文字从数据库中查找对应的签名图像，将所述动态签名图像与数据库中查找到的签名图像进行比对，以判断签名是否来自于同一人。
本发明的签名识别方法一实施例中，包括：
步骤S1，对动态签名图像进行解析，以将所述动态签名图像转化为坐标点，根据转化得到的坐标点得到签名文字的每个笔画的起止点，基于所述签名文字的每个笔画的起止点并依据概率对各个笔画进行聚类，以得到分割后的签名文字的每个单字符数据，其中，每个单字符数据包括序列时间信息；
在此，步骤S1对应于上述步骤S01；
步骤S2，对分割得到的单个字符的数据点进行包括对坐标的对齐、重采样并去除笔画中的冗余的数据点的预处理，得到预处理后的各个单字符数据；
在此，对于分割后的单个字符，需要对数据进行对齐与归一化与重采样，并去除冗余数据；
步骤S2对应于上述步骤S02；
步骤S3，将预处理得到的各个单字符数据转成对应的静态图像，并且将所述序列时间信息编码至所述静态图像中，以得到含有序列时间信息编码的字符图像；
在此，步骤S3对应于上述步骤S03；
步骤S4，使用深度卷积神经网络对含有序列时间信息编码的各个字符图像进行分类，以识别得到签名文字的各个单字符的对应文字，将各个识别得到的文字组合成签名文字；
在此，使用卷积神经网络对字符图像进行分类，以得到各个单字符的对应文字的分类结果；
步骤S4对应于上述步骤S04；
可以将得到的256*256的含有序列时间信息编码的各个彩色字符图像送入训练后的卷积神经网络中进行预测，得到单字符的最终分类类别；
将每个字符分别采用上述编码方式编码并分类，便可以得到一系列预测结果，并且可以得到动态签名的识别分类结果；
步骤S5，基于所述所述签名文字从数据库中查找对应的签名图像，将所述动态签名图像与数据库中查找到的签名图像进行比对，以判断签名是否来自于同一人。
在此，步骤S5对应于上述步骤S05；
可以将分类结果组合成签名文字作为索引，与数据库中查找到的签名图像做比对，寻找数据库中对应的签名，然后使用卷积神经网络判断签名是否来自于同一人。
本申请中先进行签名识别，签名识别是对签名内容进行判别，识别出签名的具体内容，具体可以识别得到签名文字的各个单字符的对应文字，将各个识别得到的文字组合成签名文字；然后基于签名识别的结果进行动态签名验证，具体可以基于组合成的签名文字从数据库中查找对应的签名图像，将所述动态签名图像与数据库中查找到的签名图像进行比对，以判断签名是否来自于同一人。
本发明通过将预处理得到的各个单字符数据转成对应的静态图像，并且将所述序列时间信息编码至所述静态图像中，以得到含有序列时间信息编码的字符图像，可以提升最终的签名识别精度。
相比于直接使用静态图像数据，动态数据包含更多时序信息，相比于直接使用循环卷积神经网络，因为实际签名得到的字符串大多没有上下文相关性，训练难度较基于图像的方法更大，所以最终的结果精读也不高，本发明将动态签名转化成静态图像，并将动态签名的序列时间信息编码到静态图像中，并使用卷积神经网络对签名图像进行验证和识别，有助于精度的提升。
本发明的签名识别方法一实施例中，步骤S1，对动态签名图像进行解析，以将所述动态签名图像转化为坐标点，根据转化得到的坐标点得到签名文字的每个笔画的起止点，基于所述签名文字的每个笔画的起止点并依据概率对各个笔画进行聚类，以得到分割后的签名文字的每个单字符数据，其中，每个单字符数据包括序列时间信息中，
步骤S1可以包括：动态签名文件解析和字符分割两部分，其中，
在动态签名文件解析具体可如下：
动态签名图像，是签字笔在终端机器上签名后，设备采样得到的数据，文件格式为csv格式，文件中的数据即笔画数据，包含了每个采样点的坐标信息和顺序信息，采样点数据如下：
Figure BDA0002582449440000091
Figure BDA0002582449440000101
文件中包含了多组数据，其中，每一组数据代表签名中的一笔(指签名笔从接触采集设备到离开设备的这个时间段，签名笔在设备上移动的轨迹)，每个笔画都包含数个采样点，(xij,yij,tij),i∈1，2，...，m,j∈1，2，...，n，分别表示第i笔，第j个采样点在采样区域中的坐标位置。根据读取并解析动态签名文件，可以得到签名图像的长宽，以及笔画坐标，记作：
[[x1,y1,t1],[x2,y2,t2],…,[xj,yj,tj]] (1)
其中，xj和yj表示采样点在签名区域中的横、纵坐标值，tj表示采样点在签名区域中的序列时间信息，对于任意一点[xj,yj,tj]来说，假设tj＝tj-1＝tj+1，即表示j点在序列时间上能取到前1个点(-1)或能取到后1个点(+1)，则该j点是笔画采样点的非起点和终点，否则，j点表示笔画采样点的的起点或终点；
字符分割具体可如下：
通过解析动态签名文件，可以得到整个签名文字每个笔画的起止点，但是无法将签名文字中的多个字符分割开，并将笔画分类给某个单字符。通过分析动态签名数据，我们发现单字符笔画的每个数据点横坐标服从某种依概率分布的聚类关系，因此，字符分割问题就可以转化为，在已知聚类和聚类中心点个数的前提下，对若干个数据采样点的聚类问题，对应的聚类算法可以如下：
伪代码表格为：
Figure BDA0002582449440000111
其中，{x,y}表示一个笔画里的数据点的横纵坐标，stroken_index表示一个数据点所属笔画的索引，number_cluster表示聚类簇数。Cluster_assignment表示数据点经过聚类之后得到的聚类索引。根据聚类结果可以得到每个数据点所属的类别，然后再根据单个笔画中大部分数据点的聚类结果对一部分数据点的聚类进行纠正。
本发明的签名识别方法一实施例中，步骤S2，对分割得到的单个字符的数据点进行包括对坐标的对齐、重采样，包括：
对分割得到的单个字符的数据点进行左上角对齐，左上角的横纵坐标的最小值为0，对单个字符的字符笔画进行缩放，使单个字符的笔画的横纵坐标的最大值为255，以得到对齐后的数据点；
对所述对齐后的数据点的原坐标进行重采样，使得每个数据点的坐标都是整数，以得到重采样后的数据点的新坐标，基于重采样后的各数据点的新坐标得到对应的重采样后的单个字符的笔画。
具体的，单字符的分类精度会受到签名风格，字体大小，签名位置等因素的影响，因此需要对签名的结果进行坐标对齐。
需要对签名中的数据点进行对齐，将单个字符的数据点进行左上角对齐，左上角的横纵坐标的最小值为0，对单个字符的字符笔画进行缩放，使单个字符笔画坐标横纵坐标的最大值为255，以将图像数据缩放到256*256的坐标空间中。
对每个数据点点坐标进行重采样，使得每个数据点的坐标都是整数。
Figure BDA0002582449440000121
Figure BDA0002582449440000122
其中，(xold,yold)表示对齐后的数据点的原坐标，xmin表示对齐后的数据点组成的单个字符的横坐标的最小值、xmax表示重对齐后的数据点组成的单个字符的横坐标的最大值，ymin表示对齐后的数据点组成的单个字符的纵坐标的最小值，ymax表示重对齐后的数据点组成的单个字符的纵坐标的最大值，(xnew,ynew)表示重采样后得到各个数据点的新坐标。
本发明的签名识别方法一实施例中，步骤S2，去除笔画中的冗余的数据点的预处理，得到预处理后的各个单字符数据，包括：
步骤S21，每次将重采样后的各个单字符的单个笔画作为当前的曲线；
步骤S22，将当前的曲线的首尾数据点相连得到直线AB，得到的直线AB为相对应的笔画的曲线的弦；
步骤S23，在当前的曲线上取距离直线AB最远的点C，得到当前曲线距离直线AB最大的距离d；
步骤S24，若d大于等于第一预设阈值，则将直线AC、BC分别作为当前的曲线后，对直线AC、BC分别重复步骤S22～步骤S24；若d小于所述第一预设阈值，则认为当前得到的直线AC和/或BC是当前的曲线的近似拟合折线。
步骤S25，基于得到的各段直线AC和/或BC得到预处理后的该单个笔画的整个曲线的近似拟合折线，即简化数据，基于各个单字符的各单个笔画的整个曲线的近似拟合折线，得到预处理后的各个单字符数据。
本发明的签名识别方法一实施例中，步骤S3，将预处理得到的各个单字符数据转成对应的静态图像，并且将所述序列时间信息编码至所述静态图像中，以得到含有序列时间信息编码的字符图像中，
如图5所示，含有序列时间信息编码的字符图像为三通道图像图像，其中，
如图2所示，建立第一个通道图像，包括：基于预处理得到的各个单字符数据，将数据点按照笔画顺序和笔画关系进行连接，得到单字符的字体的轮廓图像；
如图3所示，建立第二个通道图像，包括：基于预处理得到的各个单字符数据和所述序列时间信息，将单字符的初始笔画的像素值设置为0，后续的笔画数量每增加1各笔画，则该笔画对应的像素值增加20,像素值最大为240，这种方式可以认为是对笔画的序列时间信息的编码，即实现不同的笔画依据顺序拥有不同的颜色；
如图4所示，建立第三个通道图像，包括：基于预处理得到的各个单字符数据和所述序列时间信息，将每个笔画的初始数据点像素值设置为0，然后之后将该笔画内后续的每个数据点的像素值逐渐增加，直到最大值255，像素值pixel增加幅度公式如下：
Figure BDA0002582449440000131
其中，n表示单个笔画中有多少个数据点，m则表示某个数据点在所属的单个笔画中的序列时间信息即序号，m的取值范围为大于等于1小于等于n，n为正整数，m表示该数据点处于第m-1和第m+1个数据点之间，第三个通道可以认为是单个笔画中数据点的顺序关系的编码，即书写速度与书写方向的编码。
本实施例中，可以对数据预处理得到的简化数据，依照笔画关系和笔画时间序列的顺序进行连线，得到单个字符的静态图像，并将序列时间编码进图像中。
上述三种编码方式，第二通道将笔画与笔画之间的时序关系编码至静态图像，第三通道将单个笔画之间的顺序关系即单个笔画的运动方向编码至静态图像，给图像提供了丰富的时间信息，有助于图像的分类。
本发明的签名识别方法一实施例中，步骤S5，将所述动态签名图像与数据库中查找到的签名图像进行比对，以判断签名是否来自于同一人，包括：
将所述动态签名图像与数据库中查找到的签名图像，送入训练好的卷积神经网络中计算相似度，当计算得到的相似度小于预设第二阈值，则判断所述动态签名图像与数据库中查找到的签名图像是同一个人的签名，否则认为不是同一个人的签名。
具体的，本实施例中，在验证时，使用数据库检索到的数据中的动态签名图像与需要验证的动态签名图像送入训练好的卷积神经网络中计算相似度，当计算得到的相似度小于预设第二阈值则认为是同一人的签名，否则认为不是同一个人的签名。
本实施例中，可以使用深度度量学习的方法，判断这两个签名是否来源于同一个人。
深度度量学习，使用深度学习的方式训练和学习，减小或限制同类样本之间的距离，同时增大不同类别样本之间的距离。
本发明的签名识别方法一实施例中，将所述动态签名图像与数据库中查找到的签名图像，送入训练好的卷积神经网络中计算相似度之前，还包括：
将来源于同一个人的签名图像作为正样本，来源于不同人的签名图像作为负样本，使用对比损失函数L作为目标函数训练卷积神经网络，
L＝[dp-mpos]++[mneg-dn]-
其中，dp表示来自于同一个人的签名对应的特征的距离，dn表示来自于不同人的签名对应的特征的距离，mpos为正样本，mneg为负样本。
具体的，本实施例中，相应卷积神经网络可以使用基础网络结构来实现特征提取。
根据本发明的另一方面，还提供一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现上述任一项所述的方法。
综上所述，本发明将动态数据采样点转化为静态图像，并且通过低二通道图像对单字符内的笔画顺序进行编码，通过第三通道图像笔画中数据点的顺序进行编码，通过将丰富的时序信息编码至静态图像，提高动态签名的分类准确率。
另外，本发明还提出的笔画预处理方式，坐标对齐可以减少因为签名风格，签名字体大小，硬件设备等外界因素对签名识别造成的影响，去除冗余点可以减少因为设备因为采样等原因带来的误差，去除部分噪声，保留更加有用的数据点，提高模型的泛化能力和鲁棒性。
此外，本发明提出使用高斯混合模型的聚类方法实现字符分割，该方法利用了单个字符内数据点分布的特性，将数据点进行聚类，然后再使用数据采样点与笔画的包含关系，对数据点的聚类结果进行纠正。该聚类方式可以缓解连笔，笔画粘连等对单字符分割的影响。
最后，本发明还使用卷积神经网络分别完成了分类和验证任务。首先使用分类网络对单字符进行分类，然后组合成签名识别结果。然后使用签名识别结果作为索引，在数据库中搜索相应签名，使用深度度量学习的方法，判断这两个签名是否来源于同一个人。分类识别任务中，相比于直接识别静态图像，将时序信息编码至图像中，提供了更加丰富的时序信息，所以提高了分类的准确率。相比于直接使用循环卷积神经网络，因为签名得到的字符串大多没有上下文的相关性，所以循环卷积神经网络分类结果也有限，分类准确率不高，本发明提供包含时序的图像信息可以提供更准确的结果。
本发明的各设备和存储介质实施例的详细内容，具体可参见各方法实施例的对应部分，在此，不再赘述。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (11)

1.一种签名识别方法，其中，该方法包括：
对动态签名图像进行解析，以得到分割后的签名文字的每个单字符数据，其中，每个单字符数据包括序列时间信息；
对分割得到的单个字符的数据点进行预处理，得到预处理后的各个单字符数据；
将预处理得到的各个单字符数据转成对应的静态图像，并且将所述序列时间信息编码至所述静态图像中，以得到含有序列时间信息编码的字符图像；
对含有序列时间信息编码的各个字符图像进行分类，以识别得到签名文字的各个单字符的对应文字，将各个识别得到的文字组合成签名文字；
基于所述所述签名文字从数据库中查找对应的签名图像，将所述动态签名图像与数据库中查找到的签名图像进行比对，以判断签名是否来自于同一人。
2.根据权利要求1所述的方法，其中，对动态签名图像进行解析，以得到分割后的签名文字的每个单字符数据，其中，每个单字符数据包括序列时间信息，包括：
对动态签名图像进行解析，以将所述动态签名图像转化为坐标点，根据转化得到的坐标点得到签名文字的每个笔画的起止点，基于所述签名文字的每个笔画的起止点并依据概率对各个笔画进行聚类，以得到分割后的签名文字的每个单字符数据，其中，每个单字符数据包括序列时间信息。
3.根据权利要求2所述的方法，其中，基于所述签名文字的每个笔画的起止点并依据概率对各个笔画进行聚类，以得到分割后的签名文字的每个单字符数据，包括：
初始化高斯混合模型参数，聚类中心点个数为num_cluster，最大迭代次数300轮，将每个数据点所属笔画的索引stroken_index作为辅助的标签，得到初始化的高斯混合模型gmm_cluster；
基于每个笔画里的数据点的横纵坐标{x,y}，并用初始化的高斯混合模型gmm_cluster对每个笔画里的每个数据点进行聚类，得到每个数据点的聚类结果cluster_assignment；
根据单个笔画中多数数据点的聚类结果cluster_assignment，对部分数据点聚类结果进行纠正，以得到分割后的签名文字的每个单字符数据。
4.根据权利要求1所述的方法，其中，对分割得到的单个字符的数据点进行预处理，得到预处理后的各个单字符数据，包括：
对分割得到的单个字符的数据点进行包括对坐标的对齐、重采样并去除笔画中的冗余的数据点的预处理，得到预处理后的各个单字符数据。
5.根据权利要求1所述的方法，其中，对分割得到的单个字符的数据点进行包括对坐标的对齐、重采样，包括：
对分割得到的单个字符的数据点进行左上角对齐，其中，左上角的横纵坐标的最小值为0，对单个字符的笔画进行缩放，使单个字符的笔画的横纵坐标的最大值为255，以得到对齐后的数据点；
对所述对齐后的数据点的原坐标进行重采样，使得每个数据点的坐标都是整数，以得到重采样后的数据点的新坐标，基于重采样后的各数据点的新坐标得到对应的重采样后的单个字符的笔画。
6.根据权利要求5所述的方法，其中，对所述对齐后的数据点的原坐标进行重采样，使得每个数据点的坐标都是整数，以得到重采样后的数据点的新坐标，包括：
采用如下公式得到重采样后的数据点的新坐标：
Figure RE-FDA0002735915610000031
Figure RE-FDA0002735915610000032
其中，(xold,yold)表示对齐后的数据点的原坐标，xmin表示对齐后的数据点组成的单个字符的横坐标的最小值、xmax表示重对齐后的数据点组成的单个字符的横坐标的最大值，ymin表示对齐后的数据点组成的单个字符的纵坐标的最小值，ymax表示重对齐后的数据点组成的单个字符的纵坐标的最大值，(xnew,ynew)表示重采样后得到各个数据点的新坐标。
7.根据权利要求4所述的方法，其中，去除笔画中的冗余的数据点的预处理，得到预处理后的各个单字符数据，包括：
步骤S21，每次将重采样后的各个单字符的单个笔画作为当前的曲线；
步骤S22，将当前的曲线的首尾数据点相连得到直线AB，得到的直线AB为相对应的笔画的曲线的弦；
步骤S23，在当前的曲线上取距离直线AB最远的点C，得到当前曲线距离直线AB最大的距离d；
步骤S24，若d大于等于第一预设阈值，则将直线AC、BC分别作为当前的曲线后，对直线AC、BC分别重复步骤S22～步骤S24；若d小于所述第一预设阈值，则认为当前得到的直线AC和/或BC是当前的曲线的近似拟合折线。
步骤S25，基于得到的各段直线AC和/或BC，得到预处理后的该单个笔画的整个曲线的近似拟合折线，基于各个单字符的各单个笔画的整个曲线的近似拟合折线，得到预处理后的各个单字符数据。
8.根据权利要求1所述的方法，其中，将预处理得到的各个单字符数据转成对应的静态图像，并且将所述序列时间信息编码至所述静态图像中，以得到含有序列时间信息编码的字符图像，包括：
建立第一个通道图像，包括：基于预处理得到的各个单字符数据，将数据点按照笔画顺序和笔画关系进行连接，得到单字符的字体的轮廓图像；
建立第二个通道图像，包括：基于预处理得到的各个单字符数据和所述序列时间信息，将单字符的初始笔画的像素值设置为0，后续的笔画数量每增加1各笔画，则该笔画对应的像素值增加20,像素值最大为240；
建立第三个通道图像，包括：基于预处理得到的各个单字符数据和所述序列时间信息，将每个笔画的初始数据点像素值设置为0，之后该笔画内后续的每个数据点的像素值逐渐增加，直到最大值255。
9.根据权利要求8所述的方法，其中，将该笔画内后续的每个数据点的像素值逐渐增加，包括：
采用如下公式将该笔画内后续的每个数据点的像素值pixel逐渐增加：
Figure RE-FDA0002735915610000041
n表示单个笔画中有多少个数据点，m则表示某个数据点在所属的单个笔画中的序列时间信息即序号，m的取值范围为大于等于1小于等于n，n为正整数。
10.根据权利要求1所述的方法，其中，将所述动态签名图像与数据库中查找到的签名图像进行比对，以判断签名是否来自于同一人，包括：
将所述动态签名图像与数据库中查找到的签名图像，送入训练好的卷积神经网络中计算相似度，当计算得到的相似度小于预设第二阈值，则判断所述动态签名图像与数据库中查找到的签名图像是同一个人的签名，否则判断为不是同一个人的签名。
11.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现权利要求1至10中任一项所述的方法。
CN202010671456.6A 2020-07-13 2020-07-13 签名识别方法及设备 Pending CN111985319A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010671456.6A CN111985319A (zh) 2020-07-13 2020-07-13 签名识别方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010671456.6A CN111985319A (zh) 2020-07-13 2020-07-13 签名识别方法及设备

Publications (1)

Publication Number Publication Date
CN111985319A true CN111985319A (zh) 2020-11-24

Family

ID=73437822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010671456.6A Pending CN111985319A (zh) 2020-07-13 2020-07-13 签名识别方法及设备

Country Status (1)

Country Link
CN (1) CN111985319A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800961A (zh) * 2021-01-28 2021-05-14 北京有竹居网络技术有限公司 笔画书写顺序检测方法、装置、介质和电子设备
CN113297892A (zh) * 2020-11-27 2021-08-24 上海交通大学 针对形近汉字的图像优化识别系统
CN114155613A (zh) * 2021-10-20 2022-03-08 杭州电子科技大学 一种基于便捷样本获取的离线签名比对方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593673A (zh) * 2013-10-27 2014-02-19 沈阳建筑大学 一种基于动态阈值的在线手写签名认证方法
CN105493073A (zh) * 2013-08-30 2016-04-13 三星电子株式会社 电子装置和电子装置的输入签名处理方法
CN109409058A (zh) * 2018-09-25 2019-03-01 中国平安人寿保险股份有限公司 基于电子签名的身份认证方法、装置和计算机设备
CN109472234A (zh) * 2018-11-01 2019-03-15 北京爱知之星科技股份有限公司 一种手写输入智能识别的方法
KR20200020107A (ko) * 2018-08-16 2020-02-26 한국과학기술원 기계학습을 이용한 획 기반 수기 서명 인증 방법 및 시스템
CN111160245A (zh) * 2019-12-27 2020-05-15 上海眼控科技股份有限公司 一种动态签名识别方法及设备
CN111178254A (zh) * 2019-12-27 2020-05-19 上海眼控科技股份有限公司 一种签名识别方法及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105493073A (zh) * 2013-08-30 2016-04-13 三星电子株式会社 电子装置和电子装置的输入签名处理方法
CN103593673A (zh) * 2013-10-27 2014-02-19 沈阳建筑大学 一种基于动态阈值的在线手写签名认证方法
KR20200020107A (ko) * 2018-08-16 2020-02-26 한국과학기술원 기계학습을 이용한 획 기반 수기 서명 인증 방법 및 시스템
CN109409058A (zh) * 2018-09-25 2019-03-01 中国平安人寿保险股份有限公司 基于电子签名的身份认证方法、装置和计算机设备
CN109472234A (zh) * 2018-11-01 2019-03-15 北京爱知之星科技股份有限公司 一种手写输入智能识别的方法
CN111160245A (zh) * 2019-12-27 2020-05-15 上海眼控科技股份有限公司 一种动态签名识别方法及设备
CN111178254A (zh) * 2019-12-27 2020-05-19 上海眼控科技股份有限公司 一种签名识别方法及设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297892A (zh) * 2020-11-27 2021-08-24 上海交通大学 针对形近汉字的图像优化识别系统
CN113297892B (zh) * 2020-11-27 2022-06-14 上海交通大学 针对形近汉字的图像优化识别系统
CN112800961A (zh) * 2021-01-28 2021-05-14 北京有竹居网络技术有限公司 笔画书写顺序检测方法、装置、介质和电子设备
CN112800961B (zh) * 2021-01-28 2023-02-24 北京有竹居网络技术有限公司 笔画书写顺序检测方法、装置、介质和电子设备
CN114155613A (zh) * 2021-10-20 2022-03-08 杭州电子科技大学 一种基于便捷样本获取的离线签名比对方法
CN114155613B (zh) * 2021-10-20 2023-09-15 杭州电子科技大学 一种基于便捷样本获取的离线签名比对方法

Similar Documents

Publication Publication Date Title
Borisyuk et al. Rosetta: Large scale system for text detection and recognition in images
CN111985319A (zh) 签名识别方法及设备
CN111160343B (zh) 一种基于Self-Attention的离线数学公式符号识别方法
US7336827B2 (en) System, process and software arrangement for recognizing handwritten characters
US9665768B2 (en) Process of handwriting recognition and related apparatus
CN104205126B (zh) 对手写字符的无旋转识别
CN114022882B (zh) 文本识别模型训练、文本识别方法、装置、设备及介质
US20060045337A1 (en) Spatial recognition and grouping of text and graphics
Boillet et al. Multiple document datasets pre-training improves text line detection with deep neural networks
CN113254654B (zh) 模型训练、文本识别方法、装置、设备和介质
CN113313022A (zh) 文字识别模型的训练方法和识别图像中文字的方法
CN108664975B (zh) 一种维吾尔文手写字母识别方法、系统及电子设备
CN113408574B (zh) 一种车牌分类方法、车牌分类装置和计算机可读存储介质
CN112215236B (zh) 文本识别方法、装置、电子设备及存储介质
CN112861842A (zh) 基于ocr的案件文本识别方法及电子设备
CN116343190A (zh) 自然场景文字识别方法、系统、设备及存储介质
CN114092931B (zh) 场景文字识别方法、装置、电子设备及存储介质
Roy et al. Word searching in scene image and video frame in multi-script scenario using dynamic shape coding
CN1209732C (zh) 基于小波分析和过零点描述的虹膜识别方法
Ghosh et al. R-phoc: segmentation-free word spotting using cnn
CN114973229A (zh) 文本识别模型训练、文本识别方法、装置、设备及介质
CN113342935A (zh) 语义识别方法、装置、电子设备及可读存储介质
CN110348023A (zh) 一种中文文本分词的方法、装置、存储介质及电子设备
Chaudhary et al. EASTER: Simplifying Text Recognition using only 1D Convolutions.
CN116798044A (zh) 文本识别方法、装置，以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201124