CN111191512B - 基于最长路径的在线手写笔迹笔画匹配方法 - Google Patents
基于最长路径的在线手写笔迹笔画匹配方法 Download PDFInfo
- Publication number
- CN111191512B CN111191512B CN201911224772.2A CN201911224772A CN111191512B CN 111191512 B CN111191512 B CN 111191512B CN 201911224772 A CN201911224772 A CN 201911224772A CN 111191512 B CN111191512 B CN 111191512B
- Authority
- CN
- China
- Prior art keywords
- node
- stroke
- handwriting
- strokes
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012360 testing method Methods 0.000 claims abstract description 103
- 238000005070 sampling Methods 0.000 claims description 45
- 230000009191 jumping Effects 0.000 claims description 39
- 150000001875 compounds Chemical class 0.000 claims description 27
- 239000002131 composite material Substances 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 7
- 108010076504 Protein Sorting Signals Proteins 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 description 5
- 238000005452 bending Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010046542 Urinary hesitation Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- LFYJSSARVMHQJB-QIXNEVBVSA-N bakuchiol Chemical compound CC(C)=CCC[C@@](C)(C=C)\C=C\C1=CC=C(O)C=C1 LFYJSSARVMHQJB-QIXNEVBVSA-N 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
- G06V30/333—Preprocessing; Feature extraction
- G06V30/347—Sampling; Contour coding; Stroke extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
- G06V30/36—Matching; Classification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Character Discrimination (AREA)
Abstract
本发明涉及信息安全领域，公开了一种基于最长路径的在线手写笔迹笔画匹配方法，包括如下步骤：将模板笔迹和测试笔迹按笔画进行分段，取得模板笔画序列和测试笔画序列，计算取得所有可能的笔画间相似值，进而组成有向图中的结点集合和结点之间的有向边集合，得到一个带权值的有向图，以节点中的笔画间相似值作为权值，采用经典的最长路径算法，计算从开始节点到结束节点的最长路径，最长路径中节点记录的笔画对应关系即为所求得的笔迹间笔画对应关系。本发明基于最长路径的在线手写笔迹笔画匹配方法，通过在有向图中寻找最长路径来自动实现笔迹中笔画的对应关系，避免了现有方法因为经验跳跃阈值设置不当而产生匹配错误的可能。
Description
技术领域
本发明涉及信息安全领域，具体涉及一种基于最长路径的在线手写笔迹笔画匹配方法。
背景技术
在线笔迹认证是指利用专门输入设备在线获取用户的手写笔迹，经比较其中所蕰涵的个性化特征从而实现用户身份鉴别的一项技术。
长久以来，手写签名作为一种授权方式，在司法、经济等活动中被人们广泛使用。但在计算机笔迹自动鉴别领域，目前准确率还有待提高。分析被系统误识的伪造样本后发现，准确率低的原因不是因为伪造得多么难以辨别，而是系统对反映个性书写习惯的局部笔画细节特征提取能力不足。
所述笔迹笔画细节特征包括整体布局、笔画的运笔方式、笔画起落笔方式、笔画间相对位置关系、书写用力、书写节奏等。在笔迹鉴定领域，笔迹专家无一不是依靠这些特征来进行鉴别。若要让系统像笔迹专家那样提取笔画细节特征，首先得鲁棒地建立起笔画对应关系。可是，实现上述功能的笔迹配准算法被公认为该领域最大的难题，其困难主要表现在以下几点：
1)由于微观上书写的不一致性(停笔、顿笔、抖笔、多笔、漏笔、异化笔、虚提笔等)，不论采用何种关键点提取方法(遗传算法、等长分割、极值点、小波过零点、视觉关键点、糊糊综合、模型特征点等)，均存在笔画分割不一致情况；
2)基于错误分割的笔画特征目标函数，无论采用怎样的寻优方法(动态规划、遗传算法、梯度下降、退火算法、模型匹配等)都难以克服多种书写不一致，难以得到正确的笔画对应关系。
有鉴于此，有学者试图绕过分割点提取，直接利用采样点来构造优化函数，在确立采样点对应关系之后，再来提取笔画特征。可是，由于采样点特征的有限可区分性以及采样噪声，此方法的鲁棒性可能更糟。
发明内容
本发明的目的就是针对上述技术的不足，提供一种基于最长路径的在线手写笔迹笔画匹配方法，通过在有向图中寻找最长路径来自动建立笔迹中笔画的对应关系，避免了现有方法因为经验跳跃阈值设置不当而产生匹配错误的可能。
为实现上述目的，本发明所设计的基于最长路径的在线手写笔迹笔画匹配方法，包括如下步骤：
A)采用关键点提取方法将模板笔迹和测试笔迹按笔画进行分段，取得模板笔画序列和测试笔画序列，笔迹是指通过专用的数据传感设备实时采集书写过程中笔尖运动产生的各种信息所获得的与时间相关的时序信号序列，数据传感设备在每个采样时刻采集的数据包括笔尖的二维位置信息；
B)计算所述步骤A)中取得的模板笔画序列和测试笔画序列中所有可能的笔画间相似值，以每个所度量的模板笔画和测试笔画的序号，以及与模板笔画和测试笔画序号相对应的笔画相似值组成有向图中的结点集合，所述模板笔画和测试笔画为所述步骤A)中取得的模板笔画序列和测试笔画序列中模板笔画和测试笔画；
C)以所述步骤B)中取得的结点集合中每个结点记录的对应所述模板笔画和测试笔画的序号的先后次序来构造所述结点之间的有向边集合，结合所述步骤B)中取得的有向图中的结点集合得到一个带权值的有向图；
D)以所述结点中的笔画间相似值作为权值，采用经典的最长路径算法，计算从开始结点到结束结点的最长路径，所述最长路径中结点所记录的笔画对应关系即为所求得的笔迹间笔画对应关系。
优选地，所述步骤A)中，所述关键点提取算法利用笔画在起止位置处显著弯曲、书写用力极小等数值特征将笔迹按笔画进行分段，设模板笔迹采样点时间序列Tt＝{t1，t2，...，tN1}，测试笔迹采样点时间序列St＝{s1，s2，...，sN2}，N1为所述模板笔迹采样点时间序列中的采样点个数，N2为所述测试笔迹采样点时间序列中的采样点个数，其中，模板笔迹T和测试笔迹S由专门的手写输入设备获取，每个采样点均包含笔尖所在书写平面的二维位置、书写用力信息，设由关键点提取算法得到的在模板笔迹采样点时间序列中的关键点序列KT＝{kt1，kt2，...，kti，...，ktN+1}和在测试笔迹采样点时间序列中的关键点序列KS＝{ks1，ks2...，ksj...，ksM+1}，其中，1≤kti≤N1，1≤i≤N+1，1≤ksj≤N2，1≤j≤M+1，N+1为模板笔迹采样点时间序列中关键点的个数，M+1为测试笔迹采样点时间序列中关键点的个数，关键点序列KT、KS均是单调增加序列，即kti＜kti+1，1≤i≤N，ksi＜ksj+1，1≤j≤M，取得关键点序列KT对模板笔迹采样点时间序列Tt分割得到的模板笔画序列BT＝{bt1，bt2，...，bti，...，btN}和关键点序列KS对测试笔迹采样点时间序列St分割得到的测试笔画序列BS＝{bs1，bs2，...，bsj，...，bsM}，其中，模板笔迹T中的第i段笔画bti的起止点由关键点kti、kti+1所定义，1≤i≤N，测试笔迹S中的第j段笔画bsi的起止点由关键点ksj，ksj+1定义，1≤j≤M。
优选地，所述步骤B)中，计算模板笔迹T和测试笔迹S中所有笔画之间的相似值，得到结点集合E＝{e1，...，ex，...，eN3}，1＜x＜N3，其中
dx表示模板笔迹T中由第
段至
段所定义的复合笔画与测试笔迹S中由第
段至
段所定义的复合笔画之间的相似值，其中，N3表示所述结点集合E中结点的个数，
N4为模板笔迹T中笔画的段数，N5为测试笔迹S中笔画的段数，同时，构造虚拟的开始结点e1＝(0，0，0，0，0)和结束结点eN3＝(N4+1，N4+1，N5+1，N5+1，0)，用于表示有向图中唯一的起点和终点。
优选地，所述步骤B)中，为了应对多笔、漏笔，以及犹豫顿笔、抖笔造成的分割点多提取，因弯曲不明显造成的分割点漏提取等一系列书写不一致现象，采用多种合并规则，计算各种复合模板笔画与各种复合测试笔画之间的相似值，复合笔画指合并笔画序列中相邻的一个或多个笔画后构成的笔画，所述合并规则，包括1对1规则、1对2规则、2对1规则、2对2规则，所述合并规则的数量与被匹配笔迹书写的不一致程度及计算量相对应。
优选地，多种所述合并规则之间是复选关系，在每条所述合并规则的边界条件允许情况下，执行所述合并规则，计算得到一个所述有向图的结点，所述边界条件为预合并的复合笔画应在可搜索的窗口范围内，所述可搜索的窗口范围定义为候选匹配笔画的搜索范围，搜索范围越大，算法适应书写不一致的能力越强，但计算量也越大，引入错误匹配的可能性越大。
优选地，所述步骤C)中，定义有向图G＝{E,D}，其中E为结点集合，D为有向边的集合，则：
若
为
的直接前趋，当且仅当不存在结点
使得条件
且
且
且
成立，则存在一条从结点ex开始到结点ey结束的有向边(ex,ey)∈D，1≤x,y≤N3，1＜z＜N3，
若
为
的直接后继，当且仅当不存在结点
使得条件
且
且
且
成立，则存在一条从结点en开始到结点em结束的有向边(en,em)∈D，1＜m,n＜N3，1≤l≤N3，
其中，N3表示所述结点集合E中结点的个数，N4为模板笔迹T中笔画的段数，N5为测试笔迹S中笔画的段数。
优选地，所述步骤D)中，以所述结点集合E中每个结点包含的复合笔画之间相似值dx作为每个结点的权值，1≤x≤N3，采用最长路径算法，在有向图G＝{E,D}中，寻找一条从结点e1开始到结点eN3结束的最长路径，设
为所求得的最长路径，其中iw表示最长路径P中的第w个结点在结点集合E中的下标，1≤w≤V，V表示最长路径P的长度，按结点
在最长路径中出现的先后顺序，合并每个结点
所定义的模板笔画与测试笔画之间对应关系，1≤w≤V，得到模板笔画序列BT＝{bt1,bt2,...,bti,...,btN}和测试笔画序列BS＝{bs1,bs2,...,bsj,...,bsM}间的笔画对应关系。
优选地，所述步骤B)中，设定结点集合E的初始值为空，初始结点的下标变量j＝2，设定可搜索的窗口范围长度阈值为K，所述步骤B)包括如下步骤：
B1)置模板笔画下标变量初值n＝1；
B2)置测试笔画下标变量初值
其中符号
表示取整；
B3)采用多种合并规则，计算各种复合模板笔画与各种复合测试笔画之间的相似值，具体地：
1对1规则：计算模板笔画序列BT中第n段模板笔画与测试笔画序列BS中第m段测试笔画间的相似值dj，得到结点ej＝(n,n,m,m,dj)，将结点ej添加到结点集合E，j＝j+1；
1对2规则：若m+1≤M且
则计算模板笔画序列BT中第n段笔画与测试笔画序列BS中由第m至m+1段笔画构成的复合测试笔画间相似值dj，得到结点ej＝(n,n,m,m+1,dj)，将结点ej添加到结点集合E，j＝j+1，否则不执行该规则；
2对1规则：若n+1≤N，则计算模板笔画序列BT中由第n至n+1段笔画构成的复合模板笔画与测试笔画序列BS中第m段测试笔画间的相似值dj，得到结点ej＝(n,n+1,m,m,dj)，将结点ej添加到结点集合E，j＝j+1，否则不执行该规则；
2对2规则：若n+1≤N且m+1≤M且
则计算模板笔画序列BT中由第n至n+1段笔画构成的复合模板笔画与测试笔画序列BS中由第m至m+1段笔画构成的复合测试笔画间的相似值dj，得到结点ej＝(n,n+1,m,m+1,dj)，将结点ej添加到结点集合E，j＝j+1，否则不执行该规则；
为了应对书写中存在的各种复杂运笔以及由此产生的各种笔画分割的不一致问题，可以引入更多的类似上述规则，例如1对3、3对1、2对3、3对2、1对4等等，来计算模板和测试笔迹间各种复合笔画间的相似值，但是，引入更多上述规则，一方面会增加计算开销，另一方面可能会面临由此产生的过匹配问题，因此，事先依据笔迹书写一致性程度，确定需要引入上述规则的种类数；
所述相似值dj是一个归一化后的数值，即dj∈[0，100]，这里0表示完全不相似，100表示完全一致；
B4)置m＝m+1，若m＞M或
则跳转到步骤B5)，否则，跳转到步骤B3)；
B5)置n＝n+1,若n＞N，则跳转到步骤B6)，否则，跳转到步骤B2)；
B6)构造虚拟开始和结束结点e1＝(0,0,0,0,0)，ej＝(N4+1,N4+1,N5+1,N5+1,0),添加到集合E，得到结点集合E＝{e1,...,ex,...,ej},1≤x≤j＝N3,其中，j＝N3表示最后得到的结点个数。
优选地，所述步骤D)中，包括如下步骤：
D1)初始化有向边的集合D为空；
D2)置结点下标变量n＝1；
D3)置结点下标变量m＝1；
D4)判断结点em是否位于结点en之后，具体地，设
所述结点em是否位于结点en之后，是指当且仅当条件
且
成立，若所述条件成立，则跳转至步骤D5)，否则，跳转至步骤D10；
D5)置结点下标变量k＝1；
D6)判断结点ek是否处于结点en和em之间，具体地，设
所述结点ek处于结点en和em之间，是指当且仅当条件
且
且
且
成立，若所述条件成立，则跳转至步骤D7)，否则，跳转至步骤D10；
D7)k＝k+1；
D8)判断k是否大于结点个数，具体地，判断k＞N3,若条件成立，跳转至步骤D9，否则，跳转至步骤D6；
D9)将有向边(en,em)添加到有向边的集合D中；
D10)m＝m+1；
D11)判断m是否大于结点个数，具体地，判断m＞N3，若条件成立，跳转至步骤D12，否则，跳转至步骤D5；
D12)n＝n+1；
D13)判断n是否大于结点个数，具体地，判断n＞N3，若条件成立，跳转至步骤D14，否则，跳转至步骤D3；
D14)结束，具体地，表示构造有向边的集合D过程的结束，得到有向边的集合D。
本发明与现有笔迹匹配算法显性地引入跳跃阈值来应对各种书写不一致相比，通过在有向图中寻找最长路径来自动实现上述功能，避免了现有方法因为经验跳跃阈值设置不当而产生匹配错误的可能。
附图说明
图1为本发明基于最长路径的在线手写笔迹笔画匹配方法的流程图；
图2为图1中步骤B)的具体流程图；
图3为图1中步骤D)的具体流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明。
一种基于最长路径的在线手写笔迹笔画匹配方法，如图1上述，包括如下步骤：
A)采用关键点提取方法将模板笔迹和测试笔迹按笔画进行分段，取得模板笔画序列和测试笔画序列，笔迹是指通过专用的数据传感设备实时采集书写过程中笔尖运动产生的各种信息所获得的与时间相关的时序信号序列，数据传感设备在每个采样时刻采集的数据包括笔尖的二维位置信息，关键点提取算法利用笔画在起止位置处显著弯曲、书写用力极小等数值特征将笔迹按笔画进行分段，现有文献已公开的关键点提取方法包括极值点、小波过零点、视觉关键点、糊糊综合等，由于关键点提取算法是现有技术，在本发明中不予介绍，详细说明请参见文献“Brault,Plamondon,R.Segmenting handwritten signaturesat their perceptually important points.IEEE Transactions on Pattern Analysisand Machine Intelligence.1993.15(9):953-957”，设模板笔迹采样点时间序列Tt＝{t1,t2,...,tN1}，测试笔迹采样点时间序列St＝{s1,s2,...,sN2}，N1为模板笔迹采样点时间序列中的采样点个数，N2为测试笔迹采样点时间序列中的采样点个数，其中，模板笔迹T和测试笔迹S由专门的手写输入设备获取，每个采样点均包含笔尖所在书写平面的二维位置、书写用力信息，设由关键点提取算法得到的在模板笔迹采样点时间序列中的关键点序列KT＝{kt1,kt2,...,kti,...,ktN+1}和在测试笔迹采样点时间序列中的关键点序列KS＝{ks1,ks2,...,ksj...,ksM+1}，其中，1≤kti≤N1，1≤i≤N+1，1≤ksj≤N2，1≤j≤M+1，N+1为模板笔迹采样点时间序列中关键点的个数，M+1为测试笔迹采样点时间序列中关键点的个数，关键点序列KT、KS均是单调增加序列，即kti＜kti+1，1≤i≤N，ksj＜ksj+1，1≤j≤M，取得关键点序列KT对模板笔迹采样点时间序列Tt分割得到的模板笔画序列BT＝{bt1,bt2,...,bti,...,btN}和关键点序列KS对测试笔迹采样点时间序列St分割得到的测试笔画序列BS＝{bs1,bs2,...,bsj,...,bsM}，其中，模板笔迹T中的第i段笔画bti的起止点由关键点kti、kti+1所定义，1≤i≤N，测试笔迹S中的第j段笔画bsj的起止点由关键点ksj,ksj+1定义，1≤j≤M；
B)计算步骤A)中取得的模板笔画序列和测试笔画序列中所有可能的笔画间相似值，以每个所度量的模板笔画和测试笔画的序号，以及与模板笔画和测试笔画序号相对应的笔画相似值组成有向图中的结点集合；模板笔画和测试笔画为步骤A)中取得的模板笔画序列和测试笔画序列中模板笔画和测试笔画；具体而言，采用多种合并规则，计算各种复合模板笔画与各种复合测试笔画之间的相似值，计算笔画间相似值是现有技术，在本专利申请文件中不予介绍，详细说明请参见文献“Sakoe,Chiba,Dynamic programming algorithmoptimization for spoken word recognition，IEEE TRANSACTIONS ON ACOUSTICS,SPEECH,AND SIGNAL PROCESSING,1979,26(1):43-49”，复合笔画指合并笔画序列中相邻的一个或多个笔画后构成的笔画，该合并规则包括1对1规则、1对2规则、2对1规则、2对2规则，合并规则的数量与被匹配笔迹书写的不一致程度及计算量相对应，多种合并规则之间是复选关系，在每条合并规则的边界条件允许情况下，执行合并规则，计算得到一个有向图的结点，边界条件为预合并的复合笔画应在可搜索的窗口范围内，可搜索的窗口范围定义为候选匹配笔画的搜索范围，通过计算各种复合模板笔画与各种复合测试笔画之间的相似值，得到结点集合E＝{e1,...,ex,...,eN3},1＜x＜N3,其中
dx表示模板笔迹T中由第
段至
段所定义的复合笔画与测试笔迹S中由第
段至
段所定义的复合笔画之间的相似值，复合笔画指合并笔画序列中相邻的一个或多个笔画后构成的笔画，其中，N3表示结点集合E中结点的个数，
N4为模板笔迹T中笔画的段数，N5为测试笔迹S中笔画的段数，同时，构造虚拟的开始结点e1＝(0,0,0,0,0)和结束结点eN3＝(N4+1,N4+1,N5+1,N5+1,0)，用于表示有向图中唯一的起点和终点，设定结点集合E的初始值为空，初始结点的下标变量j＝2，设定可搜索的窗口范围长度阈值为K，阈值K用来定义候选匹配笔画的搜索范围，K值越大搜索范围越大，算法适应书写不一致的能力越强，但计算量也越大，算法引入错误匹配的可能性越大，实验结果表明，将K设置为模板笔画段数的三分之一时，取得平衡的结果，本步骤如图2所示，包括如下步骤：
B1)置模板笔画下标变量初值n＝1；
B2)置测试笔画下标变量初值
其中符号
表示取整；
B3)采用多种合并规则，计算各种复合模板笔画与各种复合测试笔画之间的相似值，具体地：
1对1规则：计算模板笔画序列BT中第n段模板笔画与测试笔画序列BS中第m段测试笔画间的相似值dj，得到结点ej＝(n,n,m,m,dj)，将结点ej添加到结点集合E，j＝j+1；
1对2规则：若m+1≤M且
则计算模板笔画序列BT中第n段笔画与测试笔画序列BS中由第m至m+1段笔画构成的复合测试笔画间相似值dj，得到结点ej＝(n,n,m,m+1,dj)，将结点ej添加到结点集合E，j＝j+1，否则不执行该规则；
2对1规则：若n+1≤N，则计算模板笔画序列BT中由第n至n+1段笔画构成的复合模板笔画与测试笔画序列BS中第m段测试笔画间的相似值dj，得到结点ej＝(n,n+1,m,m,dj)，将结点ej添加到结点集合E，j＝j+1，否则不执行该规则；
2对2规则：若n+1≤N且m+1≤M且
则计算模板笔画序列BT中由第n至n+1段笔画构成的复合模板笔画与测试笔画序列BS中由第m至m+1段笔画构成的复合测试笔画间的相似值dj，得到结点ej＝(n,n+1,m,m+1,dj)，将结点ej添加到结点集合E，j＝j+1，否则不执行该规则；
为了应对书写中存在的各种复杂运笔以及由此产生的各种笔画分割的不一致问题，可以引入更多的类似上述规则，例如1对3、3对1、2对3、3对2、1对4等等，来计算模板和测试笔迹间各种复合笔画间的相似值，但是，引入更多上述规则，一方面会增加计算开销，另一方面可能会面临由此产生的过匹配问题，因此，事先依据笔迹书写一致性程度，确定需要引入上述规则的种类数；
相似值dj是一个归一化后的数值，即dj∈[0，100]，这里0表示完全不相似，100表示完全一致；
B4)置m＝m+1，若m＞M或
则跳转到步骤B5)，否则，跳转到步骤B3)；
B5)置n＝n+1,若n＞N，则跳转到步骤B6)，否则，跳转到步骤B2)；
B6)构造虚拟开始和结束结点e1＝(0,0,0,0,0)，ej＝(N4+1,N4+1,N5+1,N5+1,0),添加到集合E，得到结点集合E＝{e1,...,ex,...,ej},1≤x≤j＝N3,其中，j＝N3表示最后得到的结点个数。
C)以步骤B)中取得的结点集合中每个结点记录的对应模板笔画和测试笔画的序号的先后次序，即其位置信息，来构造结点之间的有向边集合，得到一个带权值的有向图，定义有向图G＝{E,D}，其中E为结点集合，D为有向边的集合，则：
若
为
的直接前趋，当且仅当不存在结点
使得条件
且
且
且
成立，则存在一条从结点ex开始到结点ey结束的有向边(ex,ey)∈D，1≤x,y≤N3，1＜z＜N3，
若
为
的直接后继，当且仅当不存在结点
使得条件
且
且
且
成立，则存在一条从结点en开始到结点em结束的有向边(en,em)∈D，1＜m,n＜N3，1≤l≤N3，
其中，N3表示结点集合E中结点的个数，N4为模板笔迹T中笔画的段数，N5为测试笔迹S中笔画的段数；
D)以结点中的笔画间相似值作为权值，采用经典的最长路径算法，计算从开始结点到结束结点的最长路径，最长路径算法是图论中的经典方法，在此不做具体介绍，以结点集合E中每个结点包含的复合笔画之间相似值dx作为每个结点的权值，1≤x≤N3，采用最长路径算法，在有向图G＝{E,D}中，寻找一条从结点e1开始到结点eN3结束的最长路径，设
为所求得的最长路径，其中iw表示最长路径P中的第w个结点在结点集合E中的下标，1≤w≤V，V表示最长路径P的长度，按结点eiw在最长路径中出现的先后顺序，合并每个结点eiw所定义的模板笔画与测试笔画之间对应关系，1≤w≤V，得到模板笔画序列BT＝{bt1,bt2,...,bti,...,btN}和测试笔画序列BS＝{bs1,bs2,...,bsj,...,bsM}间的笔画对应关系，最长路径中结点记录的笔画对应关系即为所求得的笔迹间笔画对应关系，步骤D)如图3所示，具体包括如下步骤：
D1)初始化有向边的集合D为空；
D2)置结点下标变量n＝1；
D3)置结点下标变量m＝1；
D4)判断结点em是否位于结点en之后，具体地，设
结点em是否位于结点en之后，是指当且仅当条件
且
成立，若条件成立，则跳转至步骤D5)，否则，跳转至步骤D10；
D5)置结点下标变量k＝1；
D6)判断结点ek是否处于结点en和em之间，具体地，设
结点ek处于结点en和em之间，是指当且仅当条件
且
且
且
成立，若条件成立，则跳转至步骤D7)，否则，跳转至步骤D10；
D7)k＝k+1；
D8)判断k是否大于结点个数，具体地，判断k＞N3,若条件成立，跳转至步骤D9，否则，跳转至步骤D6；
D9)将有向边(en,em)添加到有向边的集合D中；
D10)m＝m+1；
D11)判断m是否大于结点个数，具体地，判断m＞N3，若条件成立，跳转至步骤D12，否则，跳转至步骤D5；
D12)n＝n+1；
D13)判断n是否大于结点个数，具体地，判断n＞N3，若条件成立，跳转至步骤D14，否则，跳转至步骤D3；
D14)结束，具体地，表示构造有向边的集合D过程的结束，得到有向边的集合D。
Claims (7)
1.一种基于最长路径的在线手写笔迹笔画匹配方法，其特征在于：包括如下步骤：
A)采用关键点提取方法将模板笔迹和测试笔迹按笔画进行分段，取得模板笔画序列和测试笔画序列，笔迹是指通过专用的数据传感设备实时采集书写过程中笔尖运动产生的各种信息所获得的与时间相关的时序信号序列，数据传感设备在每个采样时刻采集的数据包括笔尖的二维位置信息；
B)计算所述步骤A)中取得的模板笔画序列和测试笔画序列中所有可能的笔画间相似值，以每个所度量的模板笔画和测试笔画的序号，以及与模板笔画和测试笔画序号相对应的笔画相似值组成有向图中的结点集合，所述模板笔画和测试笔画为步骤A)中取得的模板笔画序列和测试笔画序列中模板笔画和测试笔画，本步骤中，计算模板笔迹T和测试笔迹S中所有笔画之间的相似值，得到结点集合E＝{e1,...,ex,...,eN3},1＜x＜N3,其中
dx表示模板笔迹T中由第
段至
段所定义的复合笔画与测试笔迹S中由第
段至
段所定义的复合笔画之间的相似值，其中，N3表示所述结点集合E中结点的个数，
N4为模板笔迹T中笔画的段数，N5为测试笔迹S中笔画的段数，同时，构造虚拟的开始结点e1＝(0,0,0,0,0)和结束结点eN3＝(N4+1,N4+1,N5+1,N5+1,0)，用于表示有向图中唯一的起点和终点；
C)以所述步骤B)中取得的结点集合中每个结点记录的对应所述模板笔画和测试笔画的序号的先后次序来构造所述结点之间的有向边集合，结合所述步骤B)中取得的有向图中的结点集合得到一个带权值的有向图；
D)以所述结点中的笔画间相似值作为权值，采用经典的最长路径算法，计算从开始结点到结束结点的最长路径，所述最长路径中结点记录的笔画对应关系即为所求得的笔迹间笔画对应关系，具体包括如下步骤：
D1)初始化有向边的集合D为空；
D2)置结点下标变量n＝1；
D3)置结点下标变量m＝1；
D4)判断结点em是否位于结点en之后，具体地，设
所述结点em是否位于结点en之后，是指当且仅当条件
且
成立，若所述条件成立，则跳转至步骤D5)，否则，跳转至步骤D10；
D5)置结点下标变量k＝1；
D6)判断结点ek是否处于结点en和em之间，具体地，设
所述结点ek处于结点en和em之间，是指当且仅当条件
且
且
且
成立，若所述条件成立，则跳转至步骤D7)，否则，跳转至步骤D10；
D7)k＝k+1；
D8)判断k是否大于结点个数，具体地，判断k＞N3,若条件成立，跳转至步骤D9，否则，跳转至步骤D6；
D9)将有向边(en,em)添加到有向边的集合D中；
D10)m＝m+1；
D11)判断m是否大于结点个数，具体地，判断m＞N3，若条件成立，跳转至步骤D12，否则，跳转至步骤D5；
D12)n＝n+1；
D13)判断n是否大于结点个数，具体地，判断n＞N3，若条件成立，跳转至步骤D14，否则，跳转至步骤D3；
D14)结束，具体地，表示构造有向边的集合D过程的结束，得到有向边的集合D。
2.根据权利要求1所述基于最长路径的在线手写笔迹笔画匹配方法，其特征在于：所述步骤A)中，所述关键点提取算法利用笔画在起止位置处显著弯曲、书写用力极小数值特征将笔迹按笔画进行分段，设模板笔迹采样点时间序列Tt＝{t1,t2,...,tN1}，测试笔迹采样点时间序列St＝{s1,s2,...,sN2}，N1为所述模板笔迹采样点时间序列中的采样点个数，N2为所述测试笔迹采样点时间序列中的采样点个数，其中，模板笔迹T和测试笔迹S由专门的手写输入设备获取，每个采样点均包含笔尖所在书写平面的二维位置、书写用力信息，设由关键点提取算法得到的在模板笔迹采样点时间序列中的关键点序列KT＝{kt1,kt2,...,kti,...,ktN+1}和在测试笔迹采样点时间序列中的关键点序列KS＝{ks1,ks2,...,ksj...,ksM+1}，其中，1≤kti≤N1，1≤i≤N+1，1≤ksj≤N2，1≤j≤M+1，N+1为模板笔迹采样点时间序列中关键点的个数，M+1为测试笔迹采样点时间序列中关键点的个数，关键点序列KT、KS均是单调增加序列，即kti＜kti+1，1≤i≤N，ksj＜ksj+1，1≤j≤M，取得关键点序列KT对模板笔迹采样点时间序列Tt分割得到的模板笔画序列BT＝{bt1,bt2,...,bti,...,btN}和关键点序列KS对测试笔迹采样点时间序列St分割得到的测试笔画序列BS＝{bs1,bs2,...,bsj,...,bsM}，其中，模板笔迹T中的第i段笔画bti的起止点由关键点kti、kti+1所定义，1≤i≤N，测试笔迹S中的第j段笔画bsj的起止点由关键点ksj,ksj+1定义，1≤j≤M。
3.根据权利要求1所述基于最长路径的在线手写笔迹笔画匹配方法，其特征在于：所述步骤B)中，采用多种合并规则，计算各种复合模板笔画与各种复合测试笔画之间的相似值，复合笔画指合并笔画序列中相邻的一个或多个笔画后构成的笔画，所述合并规则，包括1对1规则、1对2规则、2对1规则、2对2规则，所述合并规则的数量与被匹配笔迹书写的不一致程度及计算量相对应。
4.根据权利要求3所述基于最长路径的在线手写笔迹笔画匹配方法，其特征在于：多种所述合并规则之间是复选关系，在每条所述合并规则的边界条件允许情况下，执行所述合并规则，计算得到一个所述有向图的结点，所述边界条件为预合并的复合笔画应在可搜索的窗口范围内，所述可搜索的窗口范围定义为候选匹配笔画的搜索范围。
5.根据权利要求2所述基于最长路径的在线手写笔迹笔画匹配方法，其特征在于：所述步骤C)中，定义有向图G＝{E,D}，其中E为结点集合，D为有向边的集合，则：
若
为
的直接前趋，当且仅当不存在结点
使得条件
且
且
且
成立，则存在一条从结点ex开始到结点ey结束的有向边(ex,ey)∈D，1≤x,y≤N3，1＜z＜N3，
若
为
的直接后继，当且仅当不存在结点
使得条件
且
且
且
成立，则存在一条从结点en开始到结点em结束的有向边(en,em)∈D，1＜m,n＜N3，1≤l≤N3，
其中，N3表示所述结点集合E中结点的个数，N4为模板笔迹T中笔画的段数，N5为测试笔迹S中笔画的段数。
6.根据权利要求5所述基于最长路径的在线手写笔迹笔画匹配方法，其特征在于：所述步骤D)中，以所述结点集合E中每个结点包含的复合笔画之间相似值dx作为每个结点的权值，1≤x≤N3，采用最长路径算法，在有向图G＝{E,D}中，寻找一条从结点e1开始到结点eN3结束的最长路径，设
为所求得的最长路径，其中iw表示最长路径P中的第w个结点在结点集合E中的下标，1≤w≤V，V表示最长路径P的长度，按结点
在最长路径中出现的先后顺序，合并每个结点
所定义的模板笔画与测试笔画之间对应关系，1≤w≤V，得到模板笔画序列BT＝{bt1,bt2,...,bti,...,btN}和测试笔画序列BS＝{bs1,bs2,...,bsj,...,bsM}间的笔画对应关系。
7.根据权利要求2所述基于最长路径的在线手写笔迹笔画匹配方法，其特征在于：所述步骤B)中，设定结点集合E的初始值为空，初始结点的下标变量j＝2，设定可搜索的窗口范围长度阈值为K，所述步骤B)包括如下步骤：
B1)置模板笔画下标变量初值n＝1；
B2)置测试笔画下标变量初值
其中符号
表示取整；
B3)采用多种合并规则，计算各种复合模板笔画与各种复合测试笔画之间的相似值，具体地：
1对1规则：计算模板笔画序列BT中第n段模板笔画与测试笔画序列BS中第m段测试笔画间的相似值dj，得到结点ej＝(n,n,m,m,dj)，将结点ej添加到结点集合E，j＝j+1；
1对2规则：若m+1≤M且
则计算模板笔画序列BT中第n段笔画与测试笔画序列BS中由第m至m+1段笔画构成的复合测试笔画间相似值dj，得到结点ej＝(n,n,m,m+1,dj)，将结点ej添加到结点集合E，j＝j+1，否则不执行该规则；
2对1规则：若n+1≤N，则计算模板笔画序列BT中由第n至n+1段笔画构成的复合模板笔画与测试笔画序列BS中第m段测试笔画间的相似值dj，得到结点ej＝(n,n+1,m,m,dj)，将结点ej添加到结点集合E，j＝j+1，否则不执行该规则；
2对2规则：若n+1≤N且m+1≤M且
则计算模板笔画序列BT中由第n至n+1段笔画构成的复合模板笔画与测试笔画序列BS中由第m至m+1段笔画构成的复合测试笔画间的相似值dj，得到结点ej＝(n,n+1,m,m+1,dj)，将结点ej添加到结点集合E，j＝j+1，否则不执行该规则；
所述相似值dj是一个归一化后的数值，即dj∈[0，100]，这里0表示完全不相似，100表示完全一致；
B4)置m＝m+1，若m＞M或
则跳转到步骤B5)，否则，跳转到步骤B3)；
B5)置n＝n+1,若n＞N，则跳转到步骤B6)，否则，跳转到步骤B2)；
B6)构造虚拟开始和结束结点e1＝(0,0,0,0,0)，ej＝(N4+1,N4+1,N5+1,N5+1,0),添加到集合E，得到结点集合E＝{e1,...,ex,...,ej},1≤x≤j＝N3,其中，j＝N3表示最后得到的结点个数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911224772.2A CN111191512B (zh) | 2019-12-04 | 2019-12-04 | 基于最长路径的在线手写笔迹笔画匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911224772.2A CN111191512B (zh) | 2019-12-04 | 2019-12-04 | 基于最长路径的在线手写笔迹笔画匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111191512A CN111191512A (zh) | 2020-05-22 |
| CN111191512B true CN111191512B (zh) | 2023-05-30 |
Family
ID=70707250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911224772.2A Active CN111191512B (zh) | 2019-12-04 | 2019-12-04 | 基于最长路径的在线手写笔迹笔画匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111191512B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112800904B (zh) * | 2021-01-19 | 2024-08-09 | 深圳市玩瞳科技有限公司 | 一种根据手指指向识别图片中字符串的方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6285786B1 (en) * | 1998-04-30 | 2001-09-04 | Motorola, Inc. | Text recognizer and method using non-cumulative character scoring in a forward search |
| JP2012048281A (ja) * | 2010-08-24 | 2012-03-08 | Nomura Research Institute Ltd | 手書き認証システム及び手書き認証プログラム |
| CN103927532A (zh) * | 2014-04-08 | 2014-07-16 | 武汉汉德瑞庭科技有限公司 | 基于笔画特征的笔迹配准方法 |
| CN104063705A (zh) * | 2014-06-05 | 2014-09-24 | 北京捷通华声语音技术有限公司 | 一种笔迹特征提取的方法和装置 |
| CN107341487A (zh) * | 2016-04-28 | 2017-11-10 | 科大讯飞股份有限公司 | 一种涂抹字符的检测方法及系统 |
-
2019
- 2019-12-04 CN CN201911224772.2A patent/CN111191512B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6285786B1 (en) * | 1998-04-30 | 2001-09-04 | Motorola, Inc. | Text recognizer and method using non-cumulative character scoring in a forward search |
| JP2012048281A (ja) * | 2010-08-24 | 2012-03-08 | Nomura Research Institute Ltd | 手書き認証システム及び手書き認証プログラム |
| CN103927532A (zh) * | 2014-04-08 | 2014-07-16 | 武汉汉德瑞庭科技有限公司 | 基于笔画特征的笔迹配准方法 |
| CN104063705A (zh) * | 2014-06-05 | 2014-09-24 | 北京捷通华声语音技术有限公司 | 一种笔迹特征提取的方法和装置 |
| CN107341487A (zh) * | 2016-04-28 | 2017-11-10 | 科大讯飞股份有限公司 | 一种涂抹字符的检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111191512A (zh) | 2020-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106326886B (zh) | 基于卷积神经网络的手指静脉图像质量评估方法 | |
| CN110147726B (zh) | 业务质检方法和装置、存储介质及电子装置 | |
| CN110032938B (zh) | 一种藏文识别方法、装置及电子设备 | |
| CN112036383B (zh) | 一种基于手静脉的身份识别方法及装置 | |
| CN102799899B (zh) | 基于svm和gmm的特定音频事件分层泛化识别方法 | |
| Pirlo et al. | Multidomain verification of dynamic signatures using local stability analysis | |
| US20200065573A1 (en) | Generating variations of a known shred | |
| CN103927532B (zh) | 基于笔画特征的笔迹配准方法 | |
| US20170076152A1 (en) | Determining a text string based on visual features of a shred | |
| CN104205126A (zh) | 对手写字符的无旋转识别 | |
| CN105469080B (zh) | 一种人脸表情识别方法 | |
| CN113361666B (zh) | 一种手写字符识别方法、系统及介质 | |
| Saba et al. | Online versus offline Arabic script classification | |
| CN115937873A (zh) | 一种基于可辨识单字字符的在线笔迹验证系统及方法 | |
| CN102592142A (zh) | 一种基于计算机系统的手写签名稳定性评估方法 | |
| CN111191512B (zh) | 基于最长路径的在线手写笔迹笔画匹配方法 | |
| CN102411712A (zh) | 基于笔迹的身份识别的方法及终端 | |
| WO2024051427A1 (zh) | 硬币识别方法、系统及存储介质 | |
| CN110298159B (zh) | 一种智能手机动态手势身份认证方法 | |
| CN111310548B (zh) | 一种在线手写笔迹中笔画类型的识别方法 | |
| CN105488493A (zh) | 一种快速虹膜识别方法 | |
| CN113948089A (zh) | 声纹模型训练和声纹识别方法、装置、设备及介质 | |
| CN118097793B (zh) | 一种自适应界面手势操作控制系统及其控制方法 | |
| CN114882600B (zh) | 基于元学习的在线手写签名认证方法 | |
| CN111310712B (zh) | 一种基于指纹词袋特征的快速搜索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201120 Address after: 702-14, floor 7, huofenghuang cloud computing base, No. 6, JiangWang Road, Jianghan District, Wuhan City, Hubei Province Applicant after: WUHAN HANDE RUITING TECHNOLOGY Co.,Ltd. Address before: 430068, No. 28, South Eru, Hongshan District, Hubei, Wuhan Applicant before: HUBEI University OF TECHNOLOGY |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |