CN111191512A - 基于最长路径的在线手写笔迹笔画匹配方法 - Google Patents

基于最长路径的在线手写笔迹笔画匹配方法 Download PDF

Info

Publication number
CN111191512A
CN111191512A CN201911224772.2A CN201911224772A CN111191512A CN 111191512 A CN111191512 A CN 111191512A CN 201911224772 A CN201911224772 A CN 201911224772A CN 111191512 A CN111191512 A CN 111191512A
Authority
CN
China
Prior art keywords
stroke
node
handwriting
template
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911224772.2A
Other languages
English (en)
Other versions
CN111191512B (zh
Inventor
邹杰
叶志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Hande Ruiting Technology Co ltd
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN201911224772.2A priority Critical patent/CN111191512B/zh
Publication of CN111191512A publication Critical patent/CN111191512A/zh
Application granted granted Critical
Publication of CN111191512B publication Critical patent/CN111191512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/333—Preprocessing; Feature extraction
    • G06V30/347—Sampling; Contour coding; Stroke extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明涉及信息安全领域，公开了一种基于最长路径的在线手写笔迹笔画匹配方法，包括如下步骤：将模板笔迹和测试笔迹按笔画进行分段，取得模板笔画序列和测试笔画序列，计算取得所有可能的笔画间相似值，进而组成有向图中的结点集合和结点之间的有向边集合，得到一个带权值的有向图，以节点中的笔画间相似值作为权值，采用经典的最长路径算法，计算从开始节点到结束节点的最长路径，最长路径中节点记录的笔画对应关系即为所求得的笔迹间笔画对应关系。本发明基于最长路径的在线手写笔迹笔画匹配方法，通过在有向图中寻找最长路径来自动实现笔迹中笔画的对应关系，避免了现有方法因为经验跳跃阈值设置不当而产生匹配错误的可能。

Description

基于最长路径的在线手写笔迹笔画匹配方法
技术领域
本发明涉及信息安全领域，具体涉及一种基于最长路径的在线 手写笔迹笔画匹配方法。
背景技术
在线笔迹认证是指利用专门输入设备在线获取用户的手写笔 迹，经比较其中所蕰涵的个性化特征从而实现用户身份鉴别的一项 技术。
长久以来，手写签名作为一种授权方式，在司法、经济等活动 中被人们广泛使用。但在计算机笔迹自动鉴别领域，目前准确率还 有待提高。分析被系统误识的伪造样本后发现，准确率低的原因不 是因为伪造得多么难以辨别，而是系统对反映个性书写习惯的局部笔画细节特征提取能力不足。
所述笔迹笔画细节特征包括整体布局、笔画的运笔方式、笔画 起落笔方式、笔画间相对位置关系、书写用力、书写节奏等。在笔 迹鉴定领域，笔迹专家无一不是依靠这些特征来进行鉴别。若要让 系统像笔迹专家那样提取笔画细节特征，首先得鲁棒地建立起笔画对应关系。可是，实现上述功能的笔迹配准算法被公认为该领域最 大的难题，其困难主要表现在以下几点：
1)由于微观上书写的不一致性(停笔、顿笔、抖笔、多笔、漏 笔、异化笔、虚提笔等)，不论采用何种关键点提取方法(遗传算法、 等长分割、极值点、小波过零点、视觉关键点、糊糊综合、模型特 征点等)，均存在笔画分割不一致情况；
2)基于错误分割的笔画特征目标函数，无论采用怎样的寻优方 法(动态规划、遗传算法、梯度下降、退火算法、模型匹配等)都 难以克服多种书写不一致，难以得到正确的笔画对应关系。
有鉴于此，有学者试图绕过分割点提取，直接利用采样点来构 造优化函数，在确立采样点对应关系之后，再来提取笔画特征。可 是，由于采样点特征的有限可区分性以及采样噪声，此方法的鲁棒 性可能更糟。
发明内容
本发明的目的就是针对上述技术的不足，提供一种基于最长路 径的在线手写笔迹笔画匹配方法，通过在有向图中寻找最长路径来 自动建立笔迹中笔画的对应关系，避免了现有方法因为经验跳跃阈 值设置不当而产生匹配错误的可能。
为实现上述目的，本发明所设计的基于最长路径的在线手写笔 迹笔画匹配方法，包括如下步骤：
A)采用关键点提取方法将模板笔迹和测试笔迹按笔画进行分 段，取得模板笔画序列和测试笔画序列，笔迹是指通过专用的数据 传感设备实时采集书写过程中笔尖运动产生的各种信息所获得的与 时间相关的时序信号序列，数据传感设备在每个采样时刻采集的数 据包括笔尖的二维位置信息；
B)计算所述步骤A)中取得的模板笔画序列和测试笔画序列中 所有可能的笔画间相似值，以每个所度量的模板笔画和测试笔画的 序号，以及与模板笔画和测试笔画序号相对应的笔画相似值组成有 向图中的结点集合，所述模板笔画和测试笔画为所述步骤A)中取 得的模板笔画序列和测试笔画序列中模板笔画和测试笔画；
C)以所述步骤B)中取得的结点集合中每个结点记录的对应所 述模板笔画和测试笔画的序号的先后次序来构造所述结点之间的有 向边集合，结合所述步骤B)中取得的有向图中的结点集合得到一 个带权值的有向图；
D)以所述节点中的笔画间相似值作为权值，采用经典的最长路 径算法，计算从开始节点到结束节点的最长路径，所述最长路径中 节点所记录的笔画对应关系即为所求得的笔迹间笔画对应关系。
优选地，所述步骤A)中，所述关键点提取算法利用笔画在起 止位置处显著弯曲、书写用力极小等数值特征将笔迹按笔画进行分 段，设模板笔迹采样点时间序列Tt＝{t1,t2,...,tN1}，测试笔迹采样点时间 序列St＝{s1,s2,...s,N2，N1为所述模板笔迹采样点时间序列中的采样点 个数，N2为所述测试笔迹采样点时间序列中的采样点个数，其中， 模板笔迹T和测试笔迹S由专门的手写输入设备获取，每个采样点均 包含笔尖所在书写平面的二维位置、书写用力信息，设由关键点提 取算法得到的在模板笔迹采样点时间序列中的关键点序列 KT＝{kt1,kt2,...,kti,...,ktN+1}和在测试笔迹采样点时间序列中的关键点序列KS＝{ks1,ks2,...,ksj...,ksM+1}，其中，1≤kti≤N1，1≤i≤N+1，1≤ksj≤N2， 1≤j≤M+1，N+1为模板笔迹采样点时间序列中关键点的个数，M+1为 测试笔迹采样点时间序列中关键点的个数，关键点序列KT、KS均是 单调增加序列，即kti＜kti+1，1≤i≤N，ksj＜ksj+1，1≤j≤M，取得关键点 序列KT对模板笔迹采样点时间序列Tt分割得到的模板笔画序列 BT＝{bt1,bt2,...,bti,...,btN}和关键点序列KS对测试笔迹采样点时间序列St分割得到的测试笔画序列BS＝{bs1,bs2,...,bsj,...,bsM}，其中，模板笔迹T中 的第i段笔画bti的起止点由关键点kti、kti+1所定义，1≤i≤N，测试笔迹 S中的第j段笔画bsj的起止点由关键点ksj,ksj+1定义，1≤j≤M。
优选地，所述步骤B)中，计算模板笔迹T和测试笔迹S中所有 笔画之间的相似值，得到结点集合E＝{e1,...,ex,...,eN3},1＜x＜N3,其中
Figure BDA0002301861760000031
dx表示模板笔迹T中由第
Figure BDA0002301861760000032
段至
Figure BDA0002301861760000033
段所定义的复合 笔画与测试笔迹S中由第
Figure BDA0002301861760000034
段至
Figure BDA0002301861760000035
段所定义的复合笔画之间的相似 值，其中，N3表示所述结点集合E中结点的个数，
Figure BDA0002301861760000036
Figure BDA0002301861760000037
N4为模板笔迹T中笔画的段数，N5为测试笔迹S中笔 画的段数，同时，构造虚拟的开始结点e1＝(0,0,0,0和结束结点 eN3＝(N4+1,N4+1,N5+1,N5+1,0)，用于表示有向图中唯一的起点和终点。
优选地，所述步骤B)中，为了应对多笔、漏笔，以及犹豫顿笔、 抖笔造成的分割点多提取，因弯曲不明显造成的分割点漏提取等一 系列书写不一致现象，采用多种合并规则，计算各种复合模板笔画 与各种复合测试笔画之间的相似值，复合笔画指合并笔画序列中相 邻的一个或多个笔画后构成的笔画，所述合并规则，包括1对1规 则、1对2规则、2对1规则、2对2规则，所述合并规则的数量与 被匹配笔迹书写的不一致程度及计算量相对应。
优选地，多种所述合并规则之间是复选关系，在每条所述合并 规则的边界条件允许情况下，执行所述合并规则，计算得到一个所 述有向图的节点，所述边界条件为预合并的复合笔画应在可搜索的 窗口范围内，所述可搜索的窗口范围定义为候选匹配笔画的搜索范 围，搜索范围越大，算法适应书写不一致的能力越强，但计算量也 越大，引入错误匹配的可能性越大。
优选地，所述步骤C)中，定义有向图G＝{E,D}，其中E为结点 集合，D为有向边的集合，则：
若
Figure BDA0002301861760000041
为
Figure BDA0002301861760000042
的直接前趋，当且仅当不存在结点
Figure BDA0002301861760000043
使得条件
Figure BDA0002301861760000044
且
Figure BDA0002301861760000045
且
Figure BDA0002301861760000046
且
Figure BDA0002301861760000047
成立， 则存在一条从结点ex开始到结点ey结束的有向边(ex,ey)∈D， 1≤x,y≤N3，1＜z＜N3，
Figure BDA0002301861760000048
Figure BDA0002301861760000049
若
Figure BDA00023018617600000410
为
Figure BDA00023018617600000411
的直接后继，当且仅当不 存在结点
Figure BDA00023018617600000412
使得条件
Figure BDA00023018617600000413
且
Figure BDA00023018617600000414
且
Figure BDA00023018617600000415
且
Figure BDA00023018617600000416
成立， 则存在一条从结点en开始到结点em结束的有向边(en,em)∈D， 1＜m,n＜N3，1≤l≤N3，
Figure BDA00023018617600000417
Figure BDA00023018617600000418
其中，N3表示所述结点集 合E中结点的个数，N4为模板笔迹T中笔画的段数，N5为测试笔迹S 中笔画的段数。
优选地，所述步骤D)中，以所述结点集合E中每个结点包含的 复合笔画之间相似值dx作为每个结点的权值，1≤x≤N3，采用最长路 径算法，在有向图G＝{E,D}中，寻找一条从结点e1开始到结点eN3结束 的最长路径，设
Figure BDA00023018617600000419
为所求得的最长路径，其中iw表示 最长路径P中的第w个结点在结点集合E中的下标，1≤w≤V，V表示 最长路径P的长度，按结点
Figure BDA0002301861760000051
在最长路径中出现的先后顺序，合并每 个结点
Figure BDA0002301861760000052
所定义的模板笔画与测试笔画之间对应关系，1≤w≤V，得 到模板笔画序列BT＝{bt1,bt2,...,bti,...,btN}和测试笔画序列 BS＝{bs1,bs2,...,bsj,...,bsM}间的笔画对应关系。
优选地，所述步骤B)中，设定结点集合E的初始值为空，初始 结点的下标变量j＝2，设定可搜索的窗口范围长度阈值为K，所述步 骤B)包括如下步骤：
B1)置模板笔画下标变量初值n＝1；
B2)置测试笔画下标变量初值
Figure BDA0002301861760000053
其中符号
Figure BDA0002301861760000054
表示取整；
B3)采用多种合并规则，计算各种复合模板笔画与各种复合测 试笔画之间的相似值，具体地：
1对1规则：计算模板笔画序列BT中第n段模板笔画与测试笔画 序列BS中第m段测试笔画间的相似值dj，得到结点ej＝(n,n,m,m,dj)， 将结点ej添加到结点集合E，j＝j+1；
1对2规则：若m+1≤M且
Figure BDA0002301861760000055
则计算模板笔 画序列BT中第n段笔画与测试笔画序列BS中由第m至m+1段笔画构 成的复合测试笔画间相似值dj，得到结点ej＝(n,n,m,m+1,dj)，将结点ej添加到结点集合E，j＝j+1，否则不执行该规则；
2对1规则：若n+1≤N，则计算模板笔画序列BT中由第n至n+1段 笔画构成的复合模板笔画与测试笔画序列BS中第m段测试笔画间的 相似值dj，得到结点ej＝(n,n+1,m,m,dj)，将结点ej添加到结点集合E， j＝j+1，否则不执行该规则；
2对2规则：若n+1≤N且m+1≤M且
Figure BDA0002301861760000056
则计 算模板笔画序列BT中由第n至n+1段笔画构成的复合模板笔画与测 试笔画序列BS中由第m至m+1段笔画构成的复合测试笔画间的相似 值dj，得到结点ej＝(n,n+1,m,m+1,dj)，将结点ej添加到结点集合E，j＝j+1，否则不执行该规则；
为了应对书写中存在的各种复杂运笔以及由此产生的各种笔画 分割的不一致问题，可以引入更多的类似上述规则，例如1对3、3 对1、2对3、3对2、1对4等等，来计算模板和测试笔迹间各种复 合笔画间的相似值，但是，引入更多上述规则，一方面会增加计算 开销，另一方面可能会面临由此产生的过匹配问题，因此，事先依 据笔迹书写一致性程度，确定需要引入上述规则的种类数；
所述相似值dj是一个归一化后的数值，即dj∈[0，100]，这里0表示 完全不相似，100表示完全一致；
B4)置m＝m+1，若m＞M或
Figure BDA0002301861760000061
则跳转到步骤B5)，否 则，跳转到步骤B3)；
B5)置n＝n+1,若n＞N，则跳转到步骤B6)，否则，跳转到步骤 B2)；
B6)构造虚拟开始和结束结点e1＝(0,0， ej＝(N4+1,N4+1,N5+1,N5+1,0),添加到集合E，得到结点集合
Figure BDA00023018617600000610
1≤x≤j＝N3,其中，j＝N3表示最后得到的结点个数。
优选地，所述步骤D)中，包括如下步骤：
D1)初始化有向边的集合D为空；
D2)置结点下标变量n＝1；
D3)置结点下标变量m＝1；
D4)判断结点em是否位于结点en之后，具体地，设
Figure BDA0002301861760000062
所述结点em是否位于结点en之 后，是指当且仅当条件
Figure BDA0002301861760000063
且
Figure BDA0002301861760000064
成立，若所述条件成立，则跳 转至步骤D5)，否则，跳转至步骤D10；
D5)置结点下标变量k＝1；
D6)判断结点ek是否处于结点en和em之间，具体地，设
Figure BDA0002301861760000065
所述结点ek处于结点en和em之间，是指当且仅当条件
Figure BDA0002301861760000066
且
Figure BDA0002301861760000067
且
Figure BDA0002301861760000068
且
Figure BDA0002301861760000069
成立，若所述条件成立，则跳转至步骤D7)，否则，跳转至步 骤D10；
D7)k＝k+1；
D8)判断k是否大于结点个数，具体地，判断k＞N3,若条件成立， 跳转至步骤D9，否则，跳转至步骤D6；
D9)将有向边(en,em)添加到有向边的集合D中；
D10)m＝m+1；
D11)判断m是否大于结点个数，具体地，判断m＞N3，若条件 成立，跳转至步骤D12，否则，跳转至步骤D5；
D12)n＝n+1；
D13)判断n是否大于结点个数，具体地，判断n＞N3，若条件成 立，跳转至步骤D14，否则，跳转至步骤D3；
D14)结束，具体地，表示构造有向边的集合D过程的结束，得 到有向边的集合D。
本发明与现有笔迹匹配算法显性地引入跳跃阈值来应对各种书 写不一致相比，通过在有向图中寻找最长路径来自动实现上述功能， 避免了现有方法因为经验跳跃阈值设置不当而产生匹配错误的可 能。
附图说明
图1为本发明基于最长路径的在线手写笔迹笔画匹配方法的流 程图；
图2为图1中步骤B)的具体流程图；
图3为图1中步骤D)的具体流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明。
一种基于最长路径的在线手写笔迹笔画匹配方法，如图1上述， 包括如下步骤：
A)采用关键点提取方法将模板笔迹和测试笔迹按笔画进行分 段，取得模板笔画序列和测试笔画序列，笔迹是指通过专用的数据 传感设备实时采集书写过程中笔尖运动产生的各种信息所获得的与 时间相关的时序信号序列，数据传感设备在每个采样时刻采集的数 据包括笔尖的二维位置信息，关键点提取算法利用笔画在起止位置 处显著弯曲、书写用力极小等数值特征将笔迹按笔画进行分段，现 有文献已公开的关键点提取方法包括极值点、小波过零点、视觉关 键点、糊糊综合等，由于关键点提取算法是现有技术，在本发明中 不予介绍，详细说明请参见文献“Brault,Plamondon,R.Segmenting handwrittensignatures at their perceptually important points.IEEE Transactions onPattern Analysis and Machine Intelligence.1993.15(9): 953-957”，设模板笔迹采样点时间序列
Figure BDA0002301861760000081
测试笔迹采样 点时间序列St＝{s1,s2,...,sN2}，N1为模板笔迹采样点时间序列中的采样 点个数，N2为测试笔迹采样点时间序列中的采样点个数，其中，模 板笔迹T和测试笔迹S由专门的手写输入设备获取，每个采样点均包 含笔尖所在书写平面的二维位置、书写用力信息，设由关键点提取 算法得到的在模板笔迹采样点时间序列中的关键点序列 KT＝{kt1,kt2,...,kti,...,ktN+1}和在测试笔迹采样点时间序列中的关键点序列 KS＝{ks1,ks2,...,ksj...,ksM+1}，其中，1≤kti≤N1，1≤i≤N+1，1≤ksj≤N2，1≤j≤M+1，N+1为模板笔迹采样点时间序列中关键点的个数，M+1为 测试笔迹采样点时间序列中关键点的个数，关键点序列KT、KS均是 单调增加序列，即kti＜kti+1，1≤i≤N，ksj＜ksj+1，1≤j≤M，取得关键点 序列KT对模板笔迹采样点时间序列Tt分割得到的模板笔画序列 BT＝{bt1,bt2,...,bti,...,btN}和关键点序列KS对测试笔迹采样点时间序列St分割得到的测试笔画序列BS＝{bs1,bs2,...,bsj,...,bsM}，其中，模板笔迹T中 的第i段笔画bti的起止点由关键点kti、kti+1所定义，1≤i≤N，测试笔迹 S中的第j段笔画bsj的起止点由关键点ksj,ksj+1定义，1≤j≤M；
B)计算步骤A)中取得的模板笔画序列和测试笔画序列中所有 可能的笔画间相似值，以每个所度量的模板笔画和测试笔画的序号， 以及与模板笔画和测试笔画序号相对应的笔画相似值组成有向图中的结点集合；模板笔画和测试笔画为步骤A)中取得的模板笔画序 列和测试笔画序列中模板笔画和测试笔画；具体而言，采用多种合 并规则，计算各种复合模板笔画与各种复合测试笔画之间的相似值， 计算笔画间相似值是现有技术，在本专利申请文件中不予介绍，详 细说明请参见文献“Sakoe,Chiba,Dynamic programmingalgorithm optimization for spoken word recognition，IEEE TRANSACTIONS ONACOUSTICS,SPEECH,AND SIGNAL PROCESSING,1979,26(1):43-49”，复合笔画指合并笔画序列中相邻的 一个或多个笔画后构成的笔画，该合并规则包括1对1规则、1对2 规则、2对1规则、2对2规则，合并规则的数量与被匹配笔迹书写 的不一致程度及计算量相对应，多种合并规则之间是复选关系，在 每条合并规则的边界条件允许情况下，执行合并规则，计算得到一 个有向图的节点，边界条件为预合并的复合笔画应在可搜索的窗口 范围内，可搜索的窗口范围定义为候选匹配笔画的搜索范围，通过 计算各种复合模板笔画与各种复合测试笔画之间的相似值，得到结 点集合E＝{e1,...,ex,...,eN3},1＜x＜N3,其中
Figure BDA0002301861760000091
dx表示模板笔 迹T中由第
Figure BDA0002301861760000092
段至
Figure BDA0002301861760000093
段所定义的复合笔画与测试笔迹S中由第
Figure BDA0002301861760000094
段至
Figure BDA0002301861760000095
段所定义的复合笔画之间的相似值，复合笔画指合并笔画序列中相 邻的一个或多个笔画后构成的笔画，其中，N3表示结点集合E中结 点的个数，
Figure BDA0002301861760000096
N4为模板笔迹T中笔画的段 数，N5为测试笔迹S中笔画的段数，同时，构造虚拟的开始结点e1＝(0,0,0,0和结束结点eN3＝(N4+1,N4+1,N5+1,N5+1,0)，用于表示有向 图中唯一的起点和终点，设定结点集合E的初始值为空，初始结点的 下标变量j＝2，设定可搜索的窗口范围长度阈值为K，阈值K用来定 义候选匹配笔画的搜索范围，K值越大搜索范围越大，算法适应书写 不一致的能力越强，但计算量也越大，算法引入错误匹配的可能性 越大，实验结果表明，将K设置为模板笔画段数的三分之一时，取得 平衡的结果，本步骤如图2所示，包括如下步骤：
B1)置模板笔画下标变量初值n＝1；
B2)置测试笔画下标变量初值
Figure BDA0002301861760000101
其中符号
Figure BDA0002301861760000102
表示取整；
B3)采用多种合并规则，计算各种复合模板笔画与各种复合测 试笔画之间的相似值，具体地：
1对1规则：计算模板笔画序列BT中第n段模板笔画与测试笔画 序列BS中第m段测试笔画间的相似值dj，得到结点ej＝(n,n,m,m,dj)， 将结点ej添加到结点集合E，j＝j+1；
1对2规则：若m+1≤M且
Figure BDA0002301861760000103
则计算模板笔 画序列BT中第n段笔画与测试笔画序列BS中由第m至m+1段笔画构 成的复合测试笔画间相似值dj，得到结点ej＝(n,n,m,m+1,dj)，将结点ej添加到结点集合E，j＝j+1，否则不执行该规则；
2对1规则：若n+1≤N，则计算模板笔画序列BT中由第n至n+1段 笔画构成的复合模板笔画与测试笔画序列BS中第m段测试笔画间的 相似值dj，得到结点ej＝(n,n+1,m,m,dj)，将结点ej添加到结点集合E， j＝j+1，否则不执行该规则；
2对2规则：若n+1≤N且m+1≤M且
Figure BDA0002301861760000104
则计 算模板笔画序列BT中由第n至n+1段笔画构成的复合模板笔画与测 试笔画序列BS中由第m至m+1段笔画构成的复合测试笔画间的相似 值dj，得到结点ej＝(n,n+1,m,m+1,dj)，将结点ej添加到结点集合E， j＝j+1，否则不执行该规则；
为了应对书写中存在的各种复杂运笔以及由此产生的各种笔画 分割的不一致问题，可以引入更多的类似上述规则，例如1对3、3 对1、2对3、3对2、1对4等等，来计算模板和测试笔迹间各种复 合笔画间的相似值，但是，引入更多上述规则，一方面会增加计算 开销，另一方面可能会面临由此产生的过匹配问题，因此，事先依 据笔迹书写一致性程度，确定需要引入上述规则的种类数；
相似值dj是一个归一化后的数值，即dj∈[0，100]，这里0表示完全 不相似，100表示完全一致；
B4)置m＝m+1，若m＞M或
Figure BDA0002301861760000111
则跳转到步骤B5)，否 则，跳转到步骤B3)；
B5)置n＝n+1,若n＞N，则跳转到步骤B6)，否则，跳转到步骤 B2)；
B6)构造虚拟开始和结束结点e1＝(0,0， ej＝(N4+1,N4+1,N5+1,N5+1,0),添加到集合E，得到结点集合
Figure BDA00023018617600001121
1≤x≤j＝N3,其中，j＝N3表示最后得到的结点个数。
C)以步骤B)中取得的结点集合中每个结点记录的对应模板笔 画和测试笔画的序号的先后次序，即其位置信息，来构造结点之间 的有向边集合，得到一个带权值的有向图，定义有向图G＝{E,D}，其 中E为结点集合，D为有向边的集合，则：
若
Figure BDA0002301861760000112
为
Figure BDA0002301861760000113
的直接前趋，当且仅当不存 在结点
Figure BDA0002301861760000114
使得条件
Figure BDA0002301861760000115
且
Figure BDA0002301861760000116
且
Figure BDA0002301861760000117
且
Figure BDA0002301861760000118
成立， 则存在一条从结点ex开始到结点ey结束的有向边(ex,ey)∈D， 1≤x,y≤N3，1＜z＜N3，
Figure BDA0002301861760000119
Figure BDA00023018617600001110
若
Figure BDA00023018617600001111
为
Figure BDA00023018617600001112
的直接后继，当且仅当不 存在结点
Figure BDA00023018617600001113
使得条件
Figure BDA00023018617600001114
且
Figure BDA00023018617600001115
且
Figure BDA00023018617600001116
且
Figure BDA00023018617600001117
成立， 则存在一条从结点en开始到结点em结束的有向边(en,em)∈D， 1＜m,n＜N3，1≤l≤N3，
Figure BDA00023018617600001118
Figure BDA00023018617600001119
其中，N3表示结点集合E 中结点的个数，N4为模板笔迹T中笔画的段数，N5为测试笔迹S中 笔画的段数；
D)以节点中的笔画间相似值作为权值，采用经典的最长路径算 法，计算从开始节点到结束节点的最长路径，最长路径算法是图论 中的经典方法，在此不做具体介绍，以结点集合E中每个结点包含的 复合笔画之间相似值dx作为每个结点的权值，1≤x≤N3，采用最长路 径算法，在有向图G＝{E,D}中，寻找一条从结点e1开始到结点eN3结束 的最长路径，设
Figure RE-GDA00024395729700001119
为所求得的最长路径，其中iw表示 最长路径P中的第w个结点在结点集合E中的下标，1≤w≤V，V表示 最长路径P的长度，按结点
Figure RE-GDA0002439572970000121
在最长路径中出现的先后顺序，合并每 个结点
Figure RE-GDA0002439572970000122
所定义的模板笔画与测试笔画之间对应关系，1≤w≤V，得 到模板笔画序列BT＝{bt1,bt2,...,bti,...,btN}和测试笔画序列 BS＝{bs1,bs2,...,bsj,...,bsM}间的笔画对应关系，最长路径中节点记录的笔 画对应关系即为所求得的笔迹间笔画对应关系，步骤D)如图3所 示，具体包括如下步骤：
D1)初始化有向边的集合D为空；
D2)置结点下标变量n＝1；
D3)置结点下标变量m＝1；
D4)判断结点em是否位于结点en之后，具体地，设
Figure BDA0002301861760000123
结点em是否位于结点en之后， 是指当且仅当条件
Figure BDA0002301861760000124
且
Figure BDA0002301861760000125
成立，若条件成立，则跳转至步骤 D5)，否则，跳转至步骤D10；
D5)置结点下标变量k＝1；
D6)判断结点ek是否处于结点en和em之间，具体地，设
Figure BDA0002301861760000126
结点ek处于 结点en和em之间，是指当且仅当条件
Figure BDA0002301861760000127
且
Figure BDA0002301861760000128
且
Figure BDA0002301861760000129
且
Figure BDA00023018617600001210
成 立，若条件成立，则跳转至步骤D7)，否则，跳转至步骤D10；
D7)k＝k+1；
D8)判断k是否大于结点个数，具体地，判断k＞N3,若条件成立， 跳转至步骤D9，否则，跳转至步骤D6；
D9)将有向边(en,em)添加到有向边的集合D中；
D10)m＝m+1；
D11)判断m是否大于结点个数，具体地，判断m＞N3，若条件 成立，跳转至步骤D12，否则，跳转至步骤D5；
D12)n＝n+1；
D13)判断n是否大于结点个数，具体地，判断n＞N3，若条件成 立，跳转至步骤D14，否则，跳转至步骤D3；
D14)结束，具体地，表示构造有向边的集合D过程的结束，得 到有向边的集合D。

Claims (9)

1.一种基于最长路径的在线手写笔迹笔画匹配方法，其特征在于：包括如下步骤：
A)采用关键点提取方法将模板笔迹和测试笔迹按笔画进行分段，取得模板笔画序列和测试笔画序列，笔迹是指通过专用的数据传感设备实时采集书写过程中笔尖运动产生的各种信息所获得的与时间相关的时序信号序列，数据传感设备在每个采样时刻采集的数据包括笔尖的二维位置信息；
B)计算所述步骤A)中取得的模板笔画序列和测试笔画序列中所有可能的笔画间相似值，以每个所度量的模板笔画和测试笔画的序号，以及与模板笔画和测试笔画序号相对应的笔画相似值组成有向图中的结点集合，所述模板笔画和测试笔画为步骤A)中取得的模板笔画序列和测试笔画序列中模板笔画和测试笔画；
C)以所述步骤B)中取得的结点集合中每个结点记录的对应所述模板笔画和测试笔画的序号的先后次序来构造所述结点之间的有向边集合，结合所述步骤B)中取得的有向图中的结点集合得到一个带权值的有向图；
D)以所述节点中的笔画间相似值作为权值，采用经典的最长路径算法，计算从开始节点到结束节点的最长路径，所述最长路径中节点所述记录的笔画对应关系即为所求得的笔迹间笔画对应关系。
2.根据权利要求1所述基于最长路径的在线手写笔迹笔画匹配方法，其特征在于：所述步骤A)中，所述关键点提取算法利用笔画在起止位置处显著弯曲、书写用力极小等数值特征将笔迹按笔画进行分段，设模板笔迹采样点时间序列Tt＝{t1,t2,...t,N1，测试笔迹采样点时间序列St＝{s1,s2,...,sN2}，N1为所述模板笔迹采样点时间序列中的采样点个数，N2为所述测试笔迹采样点时间序列中的采样点个数，其中，模板笔迹T和测试笔迹S由专门的手写输入设备获取，每个采样点均包含笔尖所在书写平面的二维位置、书写用力信息，设由关键点提取算法得到的在模板笔迹采样点时间序列中的关键点序列KT＝{kt1,kt2,...,kti,...,ktN+1}和在测试笔迹采样点时间序列中的关键点序列KS＝{ks1,ks2,...,ksj...,ksM+1}，其中，1≤kti≤N1，1≤i≤N+1，1≤ksj≤N2，1≤j≤M+1，N+1为模板笔迹采样点时间序列中关键点的个数，M+1为测试笔迹采样点时间序列中关键点的个数，关键点序列KT、KS均是单调增加序列，即kti＜kti+1，1≤i≤N，ksj＜ksj+1，1≤j≤M，取得关键点序列KT对模板笔迹采样点时间序列Tt分割得到的模板笔画序列BT＝{bt1,bt2,...,bti,...,btN}和关键点序列KS对测试笔迹采样点时间序列St分割得到的测试笔画序列BS＝{bs1,bs2,...,bsj,...,bsM}，其中，模板笔迹T中的第i段笔画bti的起止点由关键点kti、kti+1所定义，1≤i≤N，测试笔迹S中的第j段笔画bsj的起止点由关键点ksj,ksj+1定义，1≤j≤M。
3.根据权利要求2所述基于最长路径的在线手写笔迹笔画匹配方法，其特征在于：所述步骤B)中，计算模板笔迹T和测试笔迹S中所有笔画之间的相似值，得到结点集合E＝{e1,...,ex,...,eN3},1＜x＜N3,其中
Figure FDA0002301861750000021
dx表示模板笔迹T中由第
Figure FDA0002301861750000022
段至
Figure FDA0002301861750000023
段所定义的复合笔画与测试笔迹S中由第
Figure FDA0002301861750000024
段至
Figure FDA0002301861750000025
段所定义的复合笔画之间的相似值，其中，N3表示所述结点集合E中结点的个数，
Figure FDA0002301861750000026
Figure FDA0002301861750000027
N4为模板笔迹T中笔画的段数，N5为测试笔迹S中笔画的段数，同时，构造虚拟的开始结点e1＝(0,0,0,0和结束结点eN3＝(N4+1,N4+1,N5+1,N5+1,0)，用于表示有向图中唯一的起点和终点。
4.根据权利要求1所述基于最长路径的在线手写笔迹笔画匹配方法，其特征在于：所述步骤B)中，采用多种合并规则，计算各种复合模板笔画与各种复合测试笔画之间的相似值，复合笔画指合并笔画序列中相邻的一个或多个笔画后构成的笔画，所述合并规则，包括1对1规则、1对2规则、2对1规则、2对2规则，所述合并规则的数量与被匹配笔迹书写的不一致程度及计算量相对应。
5.根据权利要求4所述基于最长路径的在线手写笔迹笔画匹配方法，其特征在于：多种所述合并规则之间是复选关系，在每条所述合并规则的边界条件允许情况下，执行所述合并规则，计算得到一个所述有向图的节点，所述边界条件为预合并的复合笔画应在可搜索的窗口范围内，所述可搜索的窗口范围定义为候选匹配笔画的搜索范围。
6.根据权利要求3所述基于最长路径的在线手写笔迹笔画匹配方法，其特征在于：所述步骤C)中，定义有向图G＝{E,D}，其中E为结点集合，D为有向边的集合，则：
若
Figure FDA0002301861750000031
为
Figure FDA0002301861750000032
的直接前趋，当且仅当不存在结点
Figure FDA0002301861750000033
使得条件
Figure FDA0002301861750000034
且
Figure FDA0002301861750000035
且
Figure FDA0002301861750000036
且
Figure FDA0002301861750000037
成立，则存在一条从结点ex开始到结点ey结束的有向边(ex,ey)∈D，1≤x,y≤N3，1＜z＜N3，
Figure FDA0002301861750000038
Figure FDA0002301861750000039
若
Figure FDA00023018617500000310
为
Figure FDA00023018617500000311
的直接后继，当且仅当不存在结点
Figure FDA00023018617500000312
使得条件
Figure FDA00023018617500000313
且
Figure FDA00023018617500000314
且
Figure FDA00023018617500000315
且
Figure FDA00023018617500000316
成立，则存在一条从结点en开始到结点em结束的有向边(en,em)∈D，1＜m,n＜N3，1≤l≤N3，
Figure FDA00023018617500000317
Figure FDA00023018617500000318
其中，N3表示所述结点集合E中结点的个数，N4为模板笔迹T中笔画的段数，N5为测试笔迹S中笔画的段数；
7.根据权利要求6所述基于最长路径的在线手写笔迹笔画匹配方法，其特征在于：所述步骤D)中，以所述结点集合E中每个结点包含的复合笔画之间相似值dx作为每个结点的权值，1≤x≤N3，采用最长路径算法，在有向图G＝{E,D}中，寻找一条从结点e1开始到结点eN3结束的最长路径，设
Figure FDA00023018617500000319
为所求得的最长路径，其中iw表示最长路径P中的第w个结点在结点集合E中的下标，1≤w≤V，V表示最长路径P的长度，按结点
Figure FDA00023018617500000320
在最长路径中出现的先后顺序，合并每个结点
Figure FDA00023018617500000321
所定义的模板笔画与测试笔画之间对应关系，1≤w≤V，得到模板笔画序列BT＝{bt1,bt2,...,bti,...,btN}和测试笔画序列BS＝{bs1,bs2,...,bsj,...,bsM}间的笔画对应关系。
8.根据权利要求3所述基于最长路径的在线手写笔迹笔画匹配方法，其特征在于：所述步骤B)中，设定结点集合E的初始值为空，初始结点的下标变量j＝2，设定可搜索的窗口范围长度阈值为K，所述步骤B)包括如下步骤：
B1)置模板笔画下标变量初值n＝1；
B2)置测试笔画下标变量初值
Figure FDA0002301861750000041
其中符号
Figure FDA0002301861750000042
表示取整；
B3)采用多种合并规则，计算各种复合模板笔画与各种复合测试笔画之间的相似值，具体地：
1对1规则：计算模板笔画序列BT中第n段模板笔画与测试笔画序列BS中第m段测试笔画间的相似值dj，得到结点ej＝(n,n,m,m,dj)，将结点ej添加到结点集合E，j＝j+1；
1对2规则：若m+1≤M且
Figure FDA0002301861750000043
则计算模板笔画序列BT中第n段笔画与测试笔画序列BS中由第m至m+1段笔画构成的复合测试笔画间相似值dj，得到结点ej＝(n,n,m,m+1,dj)，将结点ej添加到结点集合E，j＝j+1，否则不执行该规则；
2对1规则：若n+1≤N，则计算模板笔画序列BT中由第n至n+1段笔画构成的复合模板笔画与测试笔画序列BS中第m段测试笔画间的相似值dj，得到结点ej＝(n,n+1,m,m,dj)，将结点ej添加到结点集合E，j＝j+1，否则不执行该规则；
2对2规则：若n+1≤N且m+1≤M且
Figure FDA0002301861750000044
则计算模板笔画序列BT中由第n至n+1段笔画构成的复合模板笔画与测试笔画序列BS中由第m至m+1段笔画构成的复合测试笔画间的相似值dj，得到结点ej＝(n,n+1,m,m+1,dj)，将结点ej添加到结点集合E，j＝j+1，否则不执行该规则；
所述相似值dj是一个归一化后的数值，即dj∈[0，100]，这里0表示完全不相似，100表示完全一致；
B4)置m＝m+1，若m＞M或
Figure FDA0002301861750000045
则跳转到步骤B5)，否则，跳转到步骤B3)；
B5)置n＝n+1,若n＞N，则跳转到步骤B6)，否则，跳转到步骤B2)；
B6)构造虚拟开始和结束结点e1＝(0,0，ej＝(N4+1,N4+1,N5+1,N5+1,0),添加到集合E，得到结点集合
Figure FDA0002301861750000059
1≤x≤j＝N3,其中，j＝N3表示最后得到的结点个数。
9.根据权利要求7所述基于最长路径的在线手写笔迹笔画匹配方法，其特征在于：所述步骤D)中，包括如下步骤：
D1)初始化有向边的集合D为空；
D2)置结点下标变量n＝1；
D3)置结点下标变量m＝1；
D4)判断结点em是否位于结点en之后，具体地，设
Figure FDA0002301861750000051
所述结点em是否位于结点en之后，是指当且仅当条件
Figure FDA0002301861750000052
且
Figure FDA0002301861750000053
成立，若所述条件成立，则跳转至步骤D5)，否则，跳转至步骤D10；
D5)置结点下标变量k＝1；
D6)判断结点ek是否处于结点en和em之间，具体地，设
Figure FDA0002301861750000054
所述结点ek处于结点en和em之间，是指当且仅当条件
Figure FDA0002301861750000055
且
Figure FDA0002301861750000056
且
Figure FDA0002301861750000057
且
Figure FDA0002301861750000058
成立，若所述条件成立，则跳转至步骤D7)，否则，跳转至步骤D10；
D7)k＝k+1；
D8)判断k是否大于结点个数，具体地，判断k＞N3,若条件成立，跳转至步骤D9，否则，跳转至步骤D6；
D9)将有向边(en,em)添加到有向边的集合D中；
D10)m＝m+1；
D11)判断m是否大于结点个数，具体地，判断m＞N3，若条件成立，跳转至步骤D12，否则，跳转至步骤D5；
D12)n＝n+1；
D13)判断n是否大于结点个数，具体地，判断n＞N3，若条件成立，跳转至步骤D14，否则，跳转至步骤D3；
D14)结束，具体地，表示构造有向边的集合D过程的结束，得到有向边的集合D。
CN201911224772.2A 2019-12-04 2019-12-04 基于最长路径的在线手写笔迹笔画匹配方法 Active CN111191512B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911224772.2A CN111191512B (zh) 2019-12-04 2019-12-04 基于最长路径的在线手写笔迹笔画匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911224772.2A CN111191512B (zh) 2019-12-04 2019-12-04 基于最长路径的在线手写笔迹笔画匹配方法

Publications (2)

Publication Number Publication Date
CN111191512A true CN111191512A (zh) 2020-05-22
CN111191512B CN111191512B (zh) 2023-05-30

Family

ID=70707250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911224772.2A Active CN111191512B (zh) 2019-12-04 2019-12-04 基于最长路径的在线手写笔迹笔画匹配方法

Country Status (1)

Country Link
CN (1) CN111191512B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285786B1 (en) * 1998-04-30 2001-09-04 Motorola, Inc. Text recognizer and method using non-cumulative character scoring in a forward search
JP2012048281A (ja) * 2010-08-24 2012-03-08 Nomura Research Institute Ltd 手書き認証システム及び手書き認証プログラム
CN103927532A (zh) * 2014-04-08 2014-07-16 武汉汉德瑞庭科技有限公司 基于笔画特征的笔迹配准方法
CN104063705A (zh) * 2014-06-05 2014-09-24 北京捷通华声语音技术有限公司 一种笔迹特征提取的方法和装置
CN107341487A (zh) * 2016-04-28 2017-11-10 科大讯飞股份有限公司 一种涂抹字符的检测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285786B1 (en) * 1998-04-30 2001-09-04 Motorola, Inc. Text recognizer and method using non-cumulative character scoring in a forward search
JP2012048281A (ja) * 2010-08-24 2012-03-08 Nomura Research Institute Ltd 手書き認証システム及び手書き認証プログラム
CN103927532A (zh) * 2014-04-08 2014-07-16 武汉汉德瑞庭科技有限公司 基于笔画特征的笔迹配准方法
CN104063705A (zh) * 2014-06-05 2014-09-24 北京捷通华声语音技术有限公司 一种笔迹特征提取的方法和装置
CN107341487A (zh) * 2016-04-28 2017-11-10 科大讯飞股份有限公司 一种涂抹字符的检测方法及系统

Also Published As

Publication number Publication date
CN111191512B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN110033018B (zh) 图形相似度判断方法、装置及计算机可读存储介质
CN109829467A (zh) 图像标注方法、电子装置及非暂态电脑可读取储存媒体
CN112036383B (zh) 一种基于手静脉的身份识别方法及装置
CN103415825A (zh) 用于手势识别的系统和方法
CN103927532B (zh) 基于笔画特征的笔迹配准方法
WO2020164278A1 (zh) 一种图像处理方法、装置、电子设备和可读存储介质
Jung et al. Noisy and incomplete fingerprint classification using local ridge distribution models
US20190205589A1 (en) Latent fingerprint ridge flow map improvement
CN110717154A (zh) 运动轨迹的特征处理方法、设备以及计算机存储介质
CN109033321B (zh) 一种图像与自然语言特征提取及基于关键词的语言指示图像分割方法
CN110659374A (zh) 一种基于神经网络提取车辆特征值及属性的以图搜图方法
CN102592142A (zh) 一种基于计算机系统的手写签名稳定性评估方法
Muzakir et al. Model for Identification and Prediction of Leaf Patterns: Preliminary Study for Improvement
CN109902690A (zh) 图像识别技术
CN108334800A (zh) 印章图像的处理装置、方法以及电子设备
CN111191512A (zh) 基于最长路径的在线手写笔迹笔画匹配方法
CN108345943B (zh) 一种基于嵌入编码与对比学习的机器学习识别方法
CN113361666B (zh) 一种手写字符识别方法、系统及介质
CN109460720A (zh) 基于卷积神经网络的选票识别方法
CN109344233A (zh) 一种中文人名识别方法
CN114898473A (zh) 手写签名比对方法、装置及电子设备
JP7347750B2 (ja) 照合装置、学習装置、方法、及びプログラム
CN111310548B (zh) 一种在线手写笔迹中笔画类型的识别方法
CN108882033B (zh) 一种基于视频语音的人物识别方法、装置、设备和介质
CN112651996A (zh) 目标检测跟踪方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201120

Address after: 702-14, floor 7, huofenghuang cloud computing base, No. 6, JiangWang Road, Jianghan District, Wuhan City, Hubei Province

Applicant after: WUHAN HANDE RUITING TECHNOLOGY Co.,Ltd.

Address before: 430068, No. 28, South Eru, Hongshan District, Hubei, Wuhan

Applicant before: HUBEI University OF TECHNOLOGY

GR01 Patent grant
GR01 Patent grant