CN111310547B - 在线笔迹认证中一种笔顺特征的提取及认证方法 - Google Patents

在线笔迹认证中一种笔顺特征的提取及认证方法 Download PDF

Info

Publication number
CN111310547B
CN111310547B CN201911224890.3A CN201911224890A CN111310547B CN 111310547 B CN111310547 B CN 111310547B CN 201911224890 A CN201911224890 A CN 201911224890A CN 111310547 B CN111310547 B CN 111310547B
Authority
CN
China
Prior art keywords
stroke
handwriting
matrix
state transition
handwriting sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911224890.3A
Other languages
English (en)
Other versions
CN111310547A (zh
Inventor
邹杰
徐志刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Hande Ruiting Technology Co ltd
Original Assignee
Wuhan Hande Ruiting Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Hande Ruiting Technology Co ltd filed Critical Wuhan Hande Ruiting Technology Co ltd
Priority to CN201911224890.3A priority Critical patent/CN111310547B/zh
Publication of CN111310547A publication Critical patent/CN111310547A/zh
Application granted granted Critical
Publication of CN111310547B publication Critical patent/CN111310547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30Writer recognition; Reading and verifying signatures
    • G06V40/37Writer recognition; Reading and verifying signatures based only on signature signals such as velocity or pressure, e.g. dynamic signature recognition
    • G06V40/382Preprocessing; Feature extraction
    • G06V40/388Sampling; Contour coding; Stroke extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/333Preprocessing; Feature extraction
    • G06V30/347Sampling; Contour coding; Stroke extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Character Discrimination (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及信息安全领域,公开了在线笔迹认证中一种笔顺特征的提取及认证方法,包括如下步骤:笔顺特征预学习,得到预学习笔迹样本集合的笔画状态转移概率矩阵;笔顺特征注册,计算注册手写笔迹样本集合的笔画状态转移矩阵;笔顺特征认证,根据所有概率值计算同时观测到测试手写笔迹样本中所有相同且稳定的一步状态转移笔顺的概率,依据概率,结合笔画特征,判断测试手写笔迹样本是否为真实笔迹。本发明在线笔迹认证中一种笔顺特征的提取及认证方法,能有效提取出笔顺特征,并估算稳定且一致笔画书写顺序特征在人群中出现的概率,在小样本约束条件下尽可能挖掘出注册笔迹中有鉴别价值的笔顺书写方式,提升了认证准确性。

Description

在线笔迹认证中一种笔顺特征的提取及认证方法
技术领域
本发明涉及信息安全领域,具体涉及在线笔迹认证中一种笔顺特征的提取及认证方法。
背景技术
在线笔迹认证是指利用专门输入设备在线获取用户的手写笔迹,经比较其中所蕰涵的个性化特征从而实现用户身份鉴别的一项技术。
所谓笔顺就是笔画在书写时间上表现出来的前后位置关系。笔迹学研究表明,笔顺是人们在习字书写初期最早需要关注的特征之一,一旦习得以后,相对于字形布局、书写速度、笔画用力等特征,笔顺具有高度一致性和稳定性,一般情况下难以改变。特别是那些违反标准书写规范规定的、在人群中罕有出现、具有高度个性化的笔顺,对提升笔迹认证系统的准确性,具有重要意义和作用。可是,在现有的在线笔迹认证系统中,笔迹数据以离散的采样点信息所表示,笔顺特征的提取涉及笔迹分割、笔画类型识别等一系列难题,导致现有技术对笔顺特征提取能力不足,且对特定笔顺特征稀有程度定量性分析缺失。
发明内容
本发明的目的就是针对上述技术的不足,提供在线笔迹认证中一种笔顺特征的提取及认证方法,能有效提取出笔顺特征,并估算稳定且一致笔画书写顺序特征在人群中出现的概率,在小样本约束条件下尽可能挖掘出注册笔迹中有鉴别价值的笔顺书写方式,提升了认证准确性。
为实现上述目的,本发明所设计的在线笔迹认证中一种笔顺特征的提取及认证方法,包括如下步骤:
A)笔顺特征预学习:收集人群关于标准汉字c的手写笔迹样本取得预学习笔迹样本集合,识别所有所述预学习笔迹样本集合中的笔画类型,依据每一个所述预学习笔迹样本集合中前后相邻的两段被识别的笔画类型,计算所述预学习笔迹样本集合的笔画状态转移矩阵,设每段笔画的状态为该笔画被识别的笔画类型,所述笔画状态转移矩阵是一个(O+2)×(O+2)的矩阵,其中O表示书写规范定义的标准汉字c中包含的所有笔画个数,其中的2表示引入的不包含在书写规范中的开始和结束状态,矩阵中第i行第j行元素表示所有所述预学习笔迹样本集合的任意两个相邻的笔画从被识别为第i个笔画类型的状态转移到被识别为第j个笔画类型的状态的样本个数,然后将所述预学习笔迹样本集合的笔画状态转移矩阵中第i行第j行元素与第i行所有元素之和相除,得到所述预学习笔迹样本集合的笔画状态转移概率矩阵,其中,所述第i行所有元素之和是指对所述预学习笔迹样本集合的笔画状态转移矩阵中第i行所有元素求和,所述手写笔迹样本的个数是能反映某一组织或某一地区人们关于标准汉字c 的笔顺特征统计分布的最低要求的样本个数;
所述手写笔迹是指通过专用的数据传感设备实时采集书写过程中笔尖运动产生的各种信息所获得的与时间相关的时序信号序列,专感器在每个采样时刻采集的数据包括但不限于笔尖的二维位置信息、笔尖施加在书定平面上的压力等信息;
所述标准汉字c的手写笔迹样本是指书写人手写的可被其他人正确辩识的或只能被少数人辩识的或只能被书写者自己辩识为标准汉字c的非标准手写体笔迹;所谓辩识是指建立手写体笔迹与标准汉字之间的对应关系;
所述标准汉字c是目前已被广泛使用的具有标准书写样式和表现形式的汉字;
B)笔顺特征注册:收集注册用户关于标准汉字c的若干个注册手写笔迹样本,组成注册手写笔迹样本集合,采用与所述步骤A) 中笔顺特征预学习相同的方法,计算所述注册手写笔迹样本集合的笔画状态转移矩阵,其中所述注册手写笔迹样本集合的笔画状态转移矩阵的大小、矩阵的构造方法、每个元素的含义及计算方法与笔顺特征预学习中所述预学习笔迹样本集合的笔画状态转移矩阵完全相同,然后根据注册手写笔迹样本集合的笔画状态转移矩阵中每个元素的大小与预先设定的阈值进行比较,若大于该阈值,则判定由该元素定义的两个相邻笔画笔顺是稳定的;所述注册手写笔迹样本是指在注册阶段注册用户书写并提交的用户身份已知的手写笔迹,所述用户身份已知是指手写笔迹书写者的身份是已知的;
C)笔顺特征认证:待认证用户提交一个关于标准汉字c的测试手写笔迹样本,根据所述测试手写笔迹样本中前后相邻的两段被识别的笔画类型,在所述注册手写笔迹样本集合的笔画状态转移矩阵中查找所有与注册手写笔迹样本相同且稳定的一步状态转移笔顺,并依据相同且稳定的一步状态转移笔顺的类型在所述预学习笔迹样本集合的笔画状态转移矩阵中取出所有相应的概率值,根据所有所述概率值计算同时观测到测试手写笔迹样本中所有相同且稳定的一步状态转移笔顺的概率,依据所述概率,结合笔画特征,判断测试手写笔迹样本是否为真实笔迹,其中,所述一步状态转移笔顺是指前后相邻的两段笔画,所述笔画的状态由前一段笔画被识别的笔画类型跳转到后一段笔画被识别的笔画类型,其中,笔画状态转移矩阵中每个元素对应一种一步状态变化笔顺;
所述笔画状态转移矩中元素的下标与被识别的笔画类型在由书写规范定义的标准笔画类型序列中的位置相对应,所述相同的一步状态转移笔顺是指注册手写笔迹样本一步状态转移笔顺和测试手写笔迹样本一步状态转移笔顺的前一段笔画被识别的笔画类型和后一段笔画被识别的笔画类型均是相同的,所述稳定的一步状态转移笔顺是指注册手写笔迹样本集合的笔画状态转移矩阵中相应元素值大于阈值的一步状态变化笔顺;用户所述测试手写笔迹样本是指在认证阶段待认证用户书写并提交的用户身份未知且有待确认的手写笔迹,所述用户身份未知是指还未确认书写手写笔迹的用户身份与模板笔迹的用户身份是否相一致,有待进一步确认;所述待认证用户是指真实身份未得到确认的用户。
优选地,所述步骤A)中,笔顺特征预学习包括如下步骤:
A1)设S={s1,s2,...,sN}表示海量的足够多书写者手写的关于标准汉字c的预学习笔迹样本集合,每位书写者提供1至3个样本,设 T={t1,t2,...,tO}表示标准汉字c包含的所有基本笔画集合,O表示标准汉字c包含的所有基本笔画数;所述足够多的书写者是指集合S中的手写笔迹样本所包含的笔顺特征具有广泛的代表性,涵盖了手写汉字c 各种笔顺特征的所有可能变化,N表示集合S中的笔迹个数;所述标准汉字是目前已被广泛使用的具有标准书写样式和表现形式的汉字;
A2)定义笔画状态转移图,设G=<V,E>表示笔画状态转移图,其中V={t0,t1,t2,...,tO,tO+1}表示图G的结点集合,其中ti∈T,1≤i≤O,t0,tO+1是两个虚拟的笔画类型,分别表示笔画的开始和结束状态,设
Figure SMS_1
表示图G中有向边的连接权值矩阵,ei,j表示从结点ti到tj有向边的权值,ei,j取值范围为大于0的非负整数,初始状态时ei,j=0, 0≤i≤O+1,0≤j≤O+1;
A3)初始化循环变量k=1;
A4)识别笔迹
Figure SMS_2
中各段笔画的类型,其中符号xm,ym,fm分别表示传感器在第m时刻获取笔尖二维位置信息和笔尖的正向压力信息,1≤m≤nk,nk表示手写笔迹样本sk∈S中包含的采样点个数,设/>
Figure SMS_3
表示笔画类型识别算法识别手写笔迹sk∈S中每一段笔画得到的笔画类型集合,xk表示手写笔迹 sk∈S中包含的笔画数,/>
Figure SMS_4
1≤oj≤O,1≤j≤xk,1≤k≤N,O表示标准汉字c包含的所有基本笔画数,N表示集合S中包含的笔迹个数;将虚拟的笔画类型t0和tO+1加入/>
Figure SMS_5
的第一和最后一位后,得到/>
Figure SMS_6
其中o0=0,/>
Figure SMS_7
A5)初始化循环变量l=0;
A6)读取l和l+1段的笔画类型并更新状态转移矩阵,读取
Figure SMS_8
的第 l和l+1两个笔画状态/>
Figure SMS_9
和/>
Figure SMS_10
依/>
Figure SMS_11
和/>
Figure SMS_12
在集合T中的序号ol和ol+1,使矩阵E中的元素/>
Figure SMS_13
A7)l=l+1,若l≤xk,则跳转至步骤A6),读下一个连续的两个笔画状态,否则,跳转至步骤A8),识别集合S中下一个笔迹,并更新矩阵E;
A8)k=k+1,若k≤N,则跳转至步骤A4),否则,集合S中的所有笔迹识别结束,跳转至步骤A9);
A9)计算笔画状态转移概率矩阵,对矩阵E中每一行元素进行求和,得到向量B=(b0,b1,b2,...,bO,bO+1),其中
Figure SMS_14
用矩阵E除以向量 B,得到笔画类型转移概率矩阵P(O+1)×(O+1),其中pi,j=ei,j/bi,0≤i≤O+1, 0≤j≤O+1;
A10)结束并返回笔画状态转移概率矩阵P(O+1)×(O+1)
优选地,所述步骤B)中,笔顺特征注册包括如下步骤:
B1)注册用户提交关于标准汉字c的注册手写笔迹样本集合 H={h1,h2,...,hq},q≥3;
B2)初始化所述注册手写笔迹样本集合的笔画状态转移图,设 G1=<V,A>表示笔画状态转移图,其中结点集合V的定义与所述笔顺特征预学习阶段中图G中的结点集合相同,图G中有向边连接权值矩阵A的定义与图G中的矩阵E的定义相同:
Figure SMS_15
初始状态时ai,j=0,0≤i≤O+1,0≤j≤O+1;
B3)初始化循环变量k=1;
B4)识别手写笔迹
Figure SMS_16
中各段笔画的类型,设/>
Figure SMS_17
表示手写笔迹hk∈H中每一段笔画得到的笔画类型集合,xk表示手写笔迹hk∈H中包含的笔画数,/>
Figure SMS_18
1≤oj≤O,1≤j≤xk,1≤k≤q,O表示标准汉字c包含的所有基本笔画数, q表示集合H中包含的笔迹个数,将虚拟的笔画类型t0和tO+1加入/>
Figure SMS_19
的第一和最后一位后,得到/>
Figure SMS_20
其中o0=0,/>
Figure SMS_21
B5)初始化循环变量l=0;
B6)读取l和l+1段的笔画类型并更新注册手写笔迹样本集合的笔画状态转移图,读取
Figure SMS_22
的第l和l+1两个笔画状态/>
Figure SMS_23
和/>
Figure SMS_24
依/>
Figure SMS_25
和/>
Figure SMS_26
在集合T中的序号ol和ol+1,使矩阵A中的元素/>
Figure SMS_27
B7)l=l+1,若l≤xk,则跳转至步骤B6),读下一个连续的两个笔画状态,否则,跳转至步骤B8),识别集合H中下一个笔迹,并更新矩阵A;
B8)k=k+1,若k≤N,则跳转至步骤B4),否则,集合H中的所有笔迹识别结束,跳转至步骤B9);
B9)结束并返回注册手写笔迹样本集合H中笔画类型转移次数矩阵A(O+1)×(O+1)
优选地,所述步骤C)中,笔顺特征认证包括如下步骤:
C1)待认证用户输入关于标准汉字c的测试手写笔迹样本W;
C2)识别测试手写笔迹样本W中的笔画类型,识别测试手写笔迹样本W={(x1,y1,f1),(x2,y2,f2),...,(xk,yk,fk)}中各段笔画的类型,设
Figure SMS_28
表示测试手写笔迹样本W中每一段笔画得到的笔画类型集合,x表示手写测试手写笔迹样本W中包含的笔画数,/>
Figure SMS_29
1≤oj≤O,1≤j≤x,O表示标准汉字c包含的所有基本笔画数,将虚拟的笔画类型t0和tO+1加入tw的第一和最后一位后,得到/>
Figure SMS_30
其中o0=0,ox+1=O+1;
C3)初始化循环变量l=0;
C4)读取注册手写笔迹样本集合中与测试手写笔迹样本稳定且一致的笔画状态转移概率,具体地,读取tw的第l和l+1两个笔画状态
Figure SMS_33
和/>
Figure SMS_34
依/>
Figure SMS_35
和/>
Figure SMS_32
在集合T中的序号ol和ol+1,读取在笔顺特征注册阶段获取的注册手写笔迹样本集合H中笔画类型转移次数矩阵A中的元素/>
Figure SMS_36
若/>
Figure SMS_37
则置/>
Figure SMS_38
否则置pl=1,其中/>
Figure SMS_31
表示在笔顺特征预学习阶段获取的人群中关于标准汉字c的笔画状态转移频率矩阵P中的元素;
C5)l=l+1,若l≤x,则跳转至步骤C4),读下一个连续的两个笔画状态,否则,跳转至步骤C6);
C6)计算观测到测试手写笔迹样本与注册手写笔迹样本稳定且一致笔顺的概率,具体地,计算观测到
Figure SMS_39
的笔顺概率/>
Figure SMS_40
C7)测试手写笔迹样本W与笔顺特征相关的判别,具体地,将所述步骤C6)提取的笔顺概率P(W),融合笔画的其它特征,包括笔顺、布局、书写节奏,综合判断该测试手写笔迹样本W是否为真实笔迹。
本发明与现有技术相比,具有以下优点:以笔迹分割、笔画匹配和笔画识别为基础,能有效提取出笔顺特征,并估算稳定且一致笔画书写顺序特征在人群中出现的概率,在小样本约束条件下尽可能挖掘出注册笔迹中有鉴别价值的笔顺书写方式,提升了认证准确性。
附图说明
图1为本发明在线笔迹认证中一种笔顺特征的提取及认证方法流程图;
图2为图1中步骤A)的具体流程图;
图3为图1中步骤B)的具体流程图;
图4为图1中步骤C)的具体流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明。
在线笔迹认证中一种笔顺特征的提取及认证方法,如图1所示,包括如下步骤:
A)笔顺特征预学习:收集人群关于标准汉字c的手写笔迹样本取得预学习笔迹样本集合,识别所有预学习笔迹样本集合中的笔画类型,依据每一个预学习笔迹样本集合中前后相邻的两段被识别的笔画类型,计算预学习笔迹样本集合的笔画状态转移矩阵,设每段笔画的状态为该笔画被识别的笔画类型,笔画状态转移矩阵是一个 (O+2)×(O+2)的矩阵,其中O表示书写规范定义的标准汉字c中包含的所有笔画个数,其中的2表示引入的不包含在书写规范中的开始和结束状态,矩阵中第i行第j行元素表示所有预学习笔迹样本集合的任意两个相邻的笔画从被识别为第i个笔画类型的状态转移到被识别为第j个笔画类型的状态的样本个数,然后将预学习笔迹样本集合的笔画状态转移矩阵中第i行第j行元素与第i行所有元素之和相除,得到预学习笔迹样本集合的笔画状态转移概率矩阵,其中,第i行所有元素之和是指对预学习笔迹样本集合的笔画状态转移矩阵中第i行所有元素求和,手写笔迹样本的个数是能反映某一组织或某一地区人们关于标准汉字c的笔顺特征统计分布的最低要求的样本个数;
手写笔迹是指通过专用的数据传感设备实时采集书写过程中笔尖运动产生的各种信息所获得的与时间相关的时序信号序列,专感器在每个采样时刻采集的数据包括但不限于笔尖的二维位置信息、笔尖施加在书定平面上的压力等信息;
标准汉字c的手写笔迹样本是指书写人手写的可被其他人正确辩识的或只能被少数人辩识的或只能被书写者自己辩识为标准汉字 c的非标准手写体笔迹;所谓辩识是指建立手写体笔迹与标准汉字之间的对应关系;
标准汉字c是目前已被广泛使用的具有标准书写样式和表现形式的汉字;
具体而言,如图2所示,笔顺特征预学习包括如下步骤:
A1)设S={s1,s2,...,sN}表示海量的足够多书写者手写的关于标准汉字c的预学习笔迹样本集合,每位书写者提供1至3个样本,设 T={t1,t2,...,tO}表示标准汉字c包含的所有基本笔画集合,O表示标准汉字c包含的所有基本笔画数;足够多的书写者是指集合S中的手写笔迹样本所包含的笔顺特征具有广泛的代表性,涵盖了手写汉字c各种笔顺特征的所有可能变化,N表示集合S中的笔迹个数;标准汉字是目前已被广泛使用的具有标准书写样式和表现形式的汉字;
A2)定义笔画状态转移图,设G=<V,E>表示笔画状态转移图,其中V={t0,t1,t2,...,tO,tO+1}表示图G的结点集合,其中ti∈T,1≤i≤O,t0,tO+1是两个虚拟的笔画类型,分别表示笔画的开始和结束状态,设
Figure SMS_41
表示图G中有向边的连接权值矩阵,ei,j表示从结点ti到tj有向边的权值,ei,j取值范围为大于0的非负整数,初始状态时ei,j=0, 0≤i≤O+1,0≤j≤O+1;
A3)初始化循环变量k=1;
A4)识别笔迹
Figure SMS_42
中各段笔画的类型,其中符号xm,ym,fm分别表示传感器在第m时刻获取笔尖二维位置信息和笔尖的正向压力信息,1≤m≤nk,nk表示手写笔迹样本sk∈S中包含的采样点个数,设/>
Figure SMS_43
表示笔画类型识别算法识别手写笔迹sk∈S中每一段笔画得到的笔画类型集合,xk表示手写笔迹sk∈S中包含的笔画数,/>
Figure SMS_44
1≤oj≤O,1≤j≤xk,1≤k≤N,O表示标准汉字c包含的所有基本笔画数,N表示集合S中包含的笔迹个数;将虚拟的笔画类型t0和tO+1加入/>
Figure SMS_45
的第一和最后一位后,得到/>
Figure SMS_46
其中o0=0,/>
Figure SMS_47
A5)初始化循环变量l=0;
A6)读取l和l+1段的笔画类型并更新状态转移矩阵,读取
Figure SMS_48
的第 l和l+1两个笔画状态/>
Figure SMS_49
和/>
Figure SMS_50
依/>
Figure SMS_51
和/>
Figure SMS_52
在集合T中的序号ol和ol+1,使矩阵E中的元素/>
Figure SMS_53
A7)l=l+1,若l≤xk,则跳转至步骤A6),读下一个连续的两个笔画状态,否则,跳转至步骤A8),识别集合S中下一个笔迹,并更新矩阵E;
A8)k=k+1,若k≤N,则跳转至步骤A4),否则,集合S中的所有笔迹识别结束,跳转至步骤A9);
A9)计算笔画状态转移概率矩阵,对矩阵E中每一行元素进行求和,得到向量B=(b0,b1,b2,...,bO,bO+1),其中
Figure SMS_54
用矩阵E除以向量 B,得到笔画类型转移概率矩阵P(O+1)×(O+1),其中pi,j=ei,j/bi,0≤i≤O+1, 0≤j≤O+1;
A10)结束并返回笔画状态转移概率矩阵P(O+1)×(O+1)
B)笔顺特征注册:收集注册用户关于标准汉字c的若干个注册手写笔迹样本,组成注册手写笔迹样本集合,采用与步骤A)中笔顺特征预学习相同的方法,计算注册手写笔迹样本集合的笔画状态转移矩阵,其中注册手写笔迹样本集合的笔画状态转移矩阵的大小、矩阵的构造方法、每个元素的含义及计算方法与笔顺特征预学习中预学习笔迹样本集合的笔画状态转移矩阵完全相同,然后根据注册手写笔迹样本集合的笔画状态转移矩阵中每个元素的大小与预先设定的阈值进行比较,若大于该阈值,则判定由该元素定义的两个相邻笔画笔顺是稳定的;注册手写笔迹样本是指在注册阶段注册用户书写并提交的用户身份已知的手写笔迹,用户身份已知是指手写笔迹书写者的身份是已知的;具体而言,如图3所示,笔顺特征注册包括如下步骤:
B1)注册用户提交关于标准汉字c的注册手写笔迹样本集合 H={h1,h2,...,hq},q≥3;
B2)初始化注册手写笔迹样本集合的笔画状态转移图,设G1=<V,A>表示笔画状态转移图,其中结点集合V的定义与笔顺特征预学习阶段中图G中的结点集合相同,图G中有向边连接权值矩阵A 的定义与图G中的矩阵E的定义相同:
Figure SMS_55
初始状态时ai,j=0,0≤i≤O+1,0≤j≤O+1;
B3)初始化循环变量k=1;
B4)识别手写笔迹
Figure SMS_56
中各段笔画的类型,设/>
Figure SMS_57
表示手写笔迹hk∈H中每一段笔画得到的笔画类型集合,xk表示手写笔迹hk∈H中包含的笔画数,/>
Figure SMS_58
1≤oj≤O,1≤j≤xk,1≤k≤q,O表示标准汉字c包含的所有基本笔画数, q表示集合H中包含的笔迹个数,将虚拟的笔画类型t0和tO+1加入/>
Figure SMS_59
的第一和最后一位后,得到/>
Figure SMS_60
其中o0=0,/>
Figure SMS_61
B5)初始化循环变量l=0;
B6)读取l和l+1段的笔画类型并更新注册手写笔迹样本集合的笔画状态转移图,读取
Figure SMS_62
的第l和l+1两个笔画状态/>
Figure SMS_63
和/>
Figure SMS_64
依/>
Figure SMS_65
和/>
Figure SMS_66
在集合T中的序号ol和ol+1,使矩阵A中的元素/>
Figure SMS_67
B7)l=l+1,若l≤xk,则跳转至步骤B6),读下一个连续的两个笔画状态,否则,跳转至步骤B8),识别集合H中下一个笔迹,并更新矩阵A;
B8)k=k+1,若k≤N,则跳转至步骤B4),否则,集合H中的所有笔迹识别结束,跳转至步骤B9);
B9)结束并返回注册手写笔迹样本集合H中笔画类型转移次数矩阵A(O+1)×(O+1)
C)笔顺特征认证:待认证用户提交一个关于标准汉字c的测试手写笔迹样本,根据测试手写笔迹样本中前后相邻的两段被识别的笔画类型,在注册手写笔迹样本集合的笔画状态转移矩阵中查找所有与注册手写笔迹样本相同且稳定的一步状态转移笔顺,并依据相同且稳定的一步状态转移笔顺的类型在预学习笔迹样本集合的笔画状态转移矩阵中取出所有相应的概率值,根据所有概率值计算同时观测到测试手写笔迹样本中所有相同且稳定的一步状态转移笔顺的概率,依据概率,结合笔画特征,判断测试手写笔迹样本是否为真实笔迹,其中,一步状态转移笔顺是指前后相邻的两段笔画,笔画的状态由前一段笔画被识别的笔画类型跳转到后一段笔画被识别的笔画类型,其中,笔画状态转移矩阵中每个元素对应一种一步状态变化笔顺,笔画状态转移矩中元素的下标与被识别的笔画类型在由书写规范定义的标准笔画类型序列中的位置相对应,相同的一步状态转移笔顺是指注册手写笔迹样本一步状态转移笔顺和测试手写笔迹样本一步状态转移笔顺的前一段笔画被识别的笔画类型和后一段笔画被识别的笔画类型均是相同的,稳定的一步状态转移笔顺是指注册手写笔迹样本集合的笔画状态转移矩阵中相应元素值大于阈值的一步状态变化笔顺,待认证用户是指真实身份未得到确认的用户;
测试手写笔迹样本是指在认证阶段待认证用户书写并提交的用户身份未知且有待确认的手写笔迹,用户身份未知是指还未确认书写手写笔迹的用户身份与模板笔迹的用户身份是否相一致,有待进一步确认;待认证用户是指真实身份未得到确认的用户;
具体而言,如图4所示,笔顺特征认证包括如下步骤:
C1)待认证用户输入关于标准汉字c的测试手写笔迹样本W;
C2)识别测试手写笔迹样本W中的笔画类型,识别测试手写笔迹样本W={(x1,y1,f1),(x2,y2,f2),...,(xk,yk,fk)}中各段笔画的类型,设
Figure SMS_68
表示测试手写笔迹样本W中每一段笔画得到的笔画类型集合,x表示手写测试手写笔迹样本W中包含的笔画数,/>
Figure SMS_69
1≤oj≤O,1≤j≤x,O表示标准汉字c包含的所有基本笔画数,将虚拟的笔画类型t0和tO+1加入tw的第一和最后一位后,得到/>
Figure SMS_70
其中o0=0,ox+1=O+1;
C3)初始化循环变量l=0;
C4)读取注册手写笔迹样本集合中与测试手写笔迹样本稳定且一致的笔画状态转移概率,具体地,读取tw的第l和l+1两个笔画状态
Figure SMS_72
和/>
Figure SMS_75
依/>
Figure SMS_77
和/>
Figure SMS_73
在集合T中的序号ol和ol+1,读取在笔顺特征注册阶段获取的注册手写笔迹样本集合H中笔画类型转移次数矩阵A中的元素/>
Figure SMS_74
若/>
Figure SMS_76
则置/>
Figure SMS_78
否则置pl=1,其中/>
Figure SMS_71
表示在笔顺特征预学习阶段获取的人群中关于标准汉字c的笔画状态转移频率矩阵P中的元素;
C5)l=l+1,若l≤x,则跳转至步骤C4),读下一个连续的两个笔画状态,否则,跳转至步骤C6);
C6)计算观测到测试手写笔迹样本与注册手写笔迹样本稳定且一致笔顺的概率,具体地,计算观测到
Figure SMS_79
的笔顺概率
Figure SMS_80
C7)测试手写笔迹样本W与笔顺特征相关的判别,具体地,将步骤C6)提取的笔顺概率P(W),融合笔画的其它特征,包括笔顺、布局、书写节奏,综合判断该测试手写笔迹样本W是否为真实笔迹。
本实施例中,手写笔迹是指通过专用的数据传感设备实时采集书写过程中笔尖运动产生的各种信息所获得的与时间相关的时序信号序列,专感器在每个采样时刻采集的数据包括但不限于笔尖的二维位置信息、笔尖施加在书定平面上的压力、笔杆与书写平面的转动角及夹角等信息,且汉字c的手写笔迹样本是指书写人手写的可被其他人正确辩识的或只能被少数人辩识的或只能被书写者自己辩识为标准汉字c的非标准手写体笔迹,所谓辩识是指建立手写体笔迹与标准汉字之间的对应关系;
本发明在线笔迹认证中一种笔顺特征的提取及认证方法,以笔迹分割、笔画匹配和笔画识别为基础,能有效提取出笔顺特征,并估算稳定且一致笔画书写顺序特征在人群中出现的概率,在小样本约束条件下尽可能挖掘出注册笔迹中有鉴别价值的笔顺书写方式,提升了认证准确性。

Claims (3)

1.在线笔迹认证中一种笔顺特征的提取及认证方法,其特征在于:包括如下步骤:
A)笔顺特征预学习:收集人群关于标准汉字c的手写笔迹样本取得预学习笔迹样本集合,识别所有所述预学习笔迹样本集合中的笔画类型,依据每一个所述预学习笔迹样本集合中前后相邻的两段被识别的笔画类型,计算所述预学习笔迹样本集合的笔画状态转移矩阵,设每段笔画的状态为该笔画被识别的笔画类型,所述笔画状态转移矩阵是一个(O+2)×(O+2)的矩阵,其中O表示书写规范定义的标准汉字c中包含的所有笔画个数,其中的2表示引入的不包含在书写规范中的开始和结束状态,矩阵中第i行第j行元素表示所有所述预学习笔迹样本集合的任意两个相邻的笔画从被识别为第i个笔画类型的状态转移到被识别为第j个笔画类型的状态的样本个数,然后将所述预学习笔迹样本集合的笔画状态转移矩阵中第i行第j行元素与第i行所有元素之和相除,得到所述预学习笔迹样本集合的笔画状态转移概率矩阵,其中,所述第i行所有元素之和是指对所述预学习笔迹样本集合的笔画状态转移矩阵中第i行所有元素求和,所述手写笔迹样本的个数是能反映某一组织或某一地区人们关于标准汉字c的笔顺特征统计分布的最低要求的样本个数;
所述手写笔迹是指通过专用的数据传感设备实时采集书写过程中笔尖运动产生的各种信息所获得的与时间相关的时序信号序列,专感器在每个采样时刻采集的数据包括但不限于笔尖的二维位置信息、笔尖施加在书定平面上的压力等信息;
所述标准汉字c的手写笔迹样本是指书写人手写的可被其他人正确辩识的或只能被少数人辩识的或只能被书写者自己辩识为标准汉字c的非标准手写体笔迹;所谓辩识是指建立手写体笔迹与标准汉字之间的对应关系;
所述标准汉字c是目前已被广泛使用的具有标准书写样式和表现形式的汉字;
B)笔顺特征注册:收集注册用户关于标准汉字c的若干个注册手写笔迹样本,组成注册手写笔迹样本集合,采用与所述步骤A)中笔顺特征预学习相同的方法,计算所述注册手写笔迹样本集合的笔画状态转移矩阵,其中所述注册手写笔迹样本集合的笔画状态转移矩阵的大小、矩阵的构造方法、每个元素的含义及计算方法与笔顺特征预学习中所述预学习笔迹样本集合的笔画状态转移矩阵完全相同,然后根据注册手写笔迹样本集合的笔画状态转移矩阵中每个元素的大小与预先设定的阈值进行比较,若大于该阈值,则判定由该元素定义的两个相邻笔画笔顺是稳定的;所述注册手写笔迹样本是指在注册阶段注册用户书写并提交的用户身份已知的手写笔迹,所述用户身份已知是指手写笔迹书写者的身份是已知的;
C)笔顺特征认证:待认证用户提交一个关于标准汉字c的测试手写笔迹样本,根据所述测试手写笔迹样本中前后相邻的两段被识别的笔画类型,在所述注册手写笔迹样本集合的笔画状态转移矩阵中查找所有与注册手写笔迹样本相同且稳定的一步状态转移笔顺,并依据相同且稳定的一步状态转移笔顺的类型在所述预学习笔迹样本集合的笔画状态转移矩阵中取出所有相应的概率值,根据所有所述概率值计算同时观测到测试手写笔迹样本中所有相同且稳定的一步状态转移笔顺的概率,依据所述概率,结合笔画特征,判断测试手写笔迹样本是否为真实笔迹,其中,所述一步状态转移笔顺是指前后相邻的两段笔画,所述笔画的状态由前一段笔画被识别的笔画类型跳转到后一段笔画被识别的笔画类型,其中,笔画状态转移矩阵中每个元素对应一种一步状态变化笔顺,所述笔画状态转移矩中元素的下标与被识别的笔画类型在由书写规范定义的标准笔画类型序列中的位置相对应,所述相同的一步状态转移笔顺是指注册手写笔迹样本一步状态转移笔顺和测试手写笔迹样本一步状态转移笔顺的前一段笔画被识别的笔画类型和后一段笔画被识别的笔画类型均是相同的,所述稳定的一步状态转移笔顺是指注册手写笔迹样本集合的笔画状态转移矩阵中相应元素值大于阈值的一步状态变化笔顺;
所述步骤C)中,笔顺特征认证包括如下步骤:
C1)待认证用户输入关于标准汉字c的测试手写笔迹样本W;
C2)识别测试手写笔迹样本W中的笔画类型,识别测试手写笔迹样本W={(x1,y1,f1),(x2,y2,f2),...,(xk,yk,fk)}中各段笔画的类型,设
Figure FDA0004136577000000031
表示测试手写笔迹样本W中每一段笔画得到的笔画类型集合,x表示手写测试手写笔迹样本W中包含的笔画数,
Figure FDA0004136577000000032
1≤oj≤O,1≤j≤x,O表示标准汉字c包含的所有基本笔画数,将虚拟的笔画类型t0和tO+1加入tw的第一和最后一位后,得到/>
Figure FDA0004136577000000033
其中o0=0,ox+1=O+1;
C3)初始化循环变量l=0;
C4)读取注册手写笔迹样本集合中与测试手写笔迹样本稳定且一致的笔画状态转移概率,具体地,读取tw的第l和l+1两个笔画状态
Figure FDA0004136577000000034
和/>
Figure FDA0004136577000000035
依/>
Figure FDA0004136577000000036
和/>
Figure FDA0004136577000000037
在集合T中的序号ol和ol+1,读取在笔顺特征注册阶段获取的注册手写笔迹样本集合H中笔画类型转移次数矩阵A中的元素/>
Figure FDA0004136577000000038
若/>
Figure FDA0004136577000000039
则置/>
Figure FDA00041365770000000310
否则置pl=1,其中/>
Figure FDA00041365770000000311
表示在笔顺特征预学习阶段获取的人群中关于标准汉字c的笔画状态转移频率矩阵P中的元素;
C5)l=l+1,若l≤x,则跳转至步骤C4),读下一个连续的两个笔画状态,否则,跳转至步骤C6);
C6)计算观测到测试手写笔迹样本与注册手写笔迹样本稳定且一致笔顺的概率,具体地,计算观测到
Figure FDA00041365770000000312
的笔顺概率
Figure FDA00041365770000000313
C7)测试手写笔迹样本W与笔顺特征相关的判别,具体地,将所述步骤C6)提取的笔顺概率P(W),融合笔画的其它特征,包括笔顺、布局、书写节奏,综合判断该测试手写笔迹样本W是否为真实笔迹;
所述测试手写笔迹样本是指在认证阶段待认证用户书写并提交的用户身份未知且有待确认的手写笔迹,所述用户身份未知是指还未确认书写手写笔迹的用户身份与模板笔迹的用户身份是否相一致,有待进一步确认;所述待认证用户是指真实身份未得到确认的用户。
2.根据权利要求1所述在线笔迹认证中一种笔顺特征的提取及认证方法,其特征在于:所述步骤A)中,笔顺特征预学习包括如下步骤:
A1)设S={s1,s2,...,sN}表示海量的足够多书写者手写的关于标准汉字c的预学习笔迹样本集合,每位书写者提供1至3个样本,设T={t1,t2,...,tO}表示标准汉字c包含的所有基本笔画集合,O表示标准汉字c包含的所有基本笔画数;所述足够多的书写者是指集合S中的手写笔迹样本所包含的笔顺特征具有广泛的代表性,涵盖了手写汉字c各种笔顺特征的所有可能变化,N表示集合S中的笔迹个数;所述标准汉字是目前已被广泛使用的具有标准书写样式和表现形式的汉字;
A2)定义笔画状态转移图,设G=<V,E>表示笔画状态转移图,其中V={t0,t1,t2,...,tO,tO+1}表示图G的结点集合,其中ti∈T,1≤i≤O,t0,tO+1是两个虚拟的笔画类型,分别表示笔画的开始和结束状态,设
Figure FDA0004136577000000041
表示图G中有向边的连接权值矩阵,ei,j表示从结点ti到tj有向边的权值,ei,j取值范围为大于0的非负整数,初始状态时ei,j=0,0≤i≤O+1,0≤j≤O+1;
A3)初始化循环变量k=1;
A4)识别笔迹
Figure FDA0004136577000000042
中各段笔画的类型,其中符号xm,ym,fm分别表示传感器在第m时刻获取笔尖二维位置信息和笔尖的正向压力信息,1≤m≤nk,nk表示手写笔迹样本sk∈S中包含的采样点个数,设/>
Figure FDA0004136577000000051
表示笔画类型识别算法识别手写笔迹sk∈S中每一段笔画得到的笔画类型集合,xk表示手写笔迹sk∈S中包含的笔画数,/>
Figure FDA0004136577000000052
1≤oj≤O,1≤j≤xk,1≤k≤N,O表示标准汉字c包含的所有基本笔画数,N表示集合S中包含的笔迹个数;将虚拟的笔画类型t0和tO+1加入/>
Figure FDA0004136577000000053
的第一和最后一位后,得到/>
Figure FDA0004136577000000054
其中o0=0,/>
Figure FDA0004136577000000055
A5)初始化循环变量l=0;
A6)读取l和l+1段的笔画类型并更新状态转移矩阵,读取
Figure FDA0004136577000000056
的第l和l+1两个笔画状态
Figure FDA0004136577000000057
和/>
Figure FDA0004136577000000058
依/>
Figure FDA0004136577000000059
和/>
Figure FDA00041365770000000510
在集合T中的序号ol和ol+1,使矩阵E中的元素/>
Figure FDA00041365770000000511
A7)l=l+1,若l≤xk,则跳转至步骤A6),读下一个连续的两个笔画状态,否则,跳转至步骤A8),识别集合S中下一个笔迹,并更新矩阵E;
A8)k=k+1,若k≤N,则跳转至步骤A4),否则,集合S中的所有笔迹识别结束,跳转至步骤A9);
A9)计算笔画状态转移概率矩阵,对矩阵E中每一行元素进行求和,得到向量B=(b0,b1,b2,...,bO,bO+1),其中
Figure FDA00041365770000000512
用矩阵E除以向量B,得到笔画类型转移概率矩阵P(O+1)×(O+1),其中pi,j=ei,j/bi,0≤i≤O+1,0≤j≤O+1;
A10)结束并返回笔画状态转移概率矩阵P(O+1)×(O+1)
3.根据权利要求2所述在线笔迹认证中一种笔顺特征的提取及认证方法,其特征在于:所述步骤B)中,笔顺特征注册包括如下步骤:
B1)注册用户提交关于标准汉字c的注册手写笔迹样本集合H={h1,h2,...,hq},q≥3;
B2)初始化所述注册手写笔迹样本集合的笔画状态转移图,设G1=<V,A>表示笔画状态转移图,其中结点集合V的定义与所述笔顺特征预学习阶段中图G中的结点集合相同,图G中有向边连接权值矩阵A的定义与图G中的矩阵E的定义相同:
Figure FDA0004136577000000061
初始状态时ai,j=0,0≤i≤O+1,0≤j≤O+1;
B3)初始化循环变量k=1;
B4)识别手写笔迹
Figure FDA0004136577000000062
中各段笔画的类型,设
Figure FDA0004136577000000063
表示手写笔迹hk∈H中每一段笔画得到的笔画类型集合,xk表示手写笔迹hk∈H中包含的笔画数,/>
Figure FDA0004136577000000064
1≤oj≤O,1≤j≤xk,1≤k≤q,O表示标准汉字c包含的所有基本笔画数,q表示集合H中包含的笔迹个数,将虚拟的笔画类型t0和tO+1加入/>
Figure FDA0004136577000000065
的第一和最后一位后,得到/>
Figure FDA0004136577000000066
其中o0=0,/>
Figure FDA0004136577000000067
B5)初始化循环变量l=0;
B6)读取l和l+1段的笔画类型并更新注册手写笔迹样本集合的笔画状态转移图,读取
Figure FDA0004136577000000068
的第l和l+1两个笔画状态/>
Figure FDA0004136577000000069
和/>
Figure FDA00041365770000000610
依/>
Figure FDA00041365770000000611
和/>
Figure FDA00041365770000000612
在集合T中的序号ol和ol+1,使矩阵A中的元素
Figure FDA00041365770000000613
B7)l=l+1,若l≤xk,则跳转至步骤B6),读下一个连续的两个笔画状态,否则,跳转至步骤B8),识别集合H中下一个笔迹,并更新矩阵A;
B8)k=k+1,若k≤N,则跳转至步骤B4),否则,集合H中的所有笔迹识别结束,跳转至步骤B9);
B9)结束并返回注册手写笔迹样本集合H中笔画类型转移次数矩阵A(O+1)×(O+1)
CN201911224890.3A 2019-12-04 2019-12-04 在线笔迹认证中一种笔顺特征的提取及认证方法 Active CN111310547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911224890.3A CN111310547B (zh) 2019-12-04 2019-12-04 在线笔迹认证中一种笔顺特征的提取及认证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911224890.3A CN111310547B (zh) 2019-12-04 2019-12-04 在线笔迹认证中一种笔顺特征的提取及认证方法

Publications (2)

Publication Number Publication Date
CN111310547A CN111310547A (zh) 2020-06-19
CN111310547B true CN111310547B (zh) 2023-05-30

Family

ID=71161787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911224890.3A Active CN111310547B (zh) 2019-12-04 2019-12-04 在线笔迹认证中一种笔顺特征的提取及认证方法

Country Status (1)

Country Link
CN (1) CN111310547B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113903045A (zh) * 2021-10-22 2022-01-07 华中师范大学 一种手写汉字图像的笔顺识别方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08315078A (ja) * 1995-05-15 1996-11-29 Nippon Telegr & Teleph Corp <Ntt> 日本語文字認識方法及び装置
CN1641686A (zh) * 2004-01-17 2005-07-20 中国科学院计算技术研究所 乱笔顺库建立方法及联机手写汉字识别评测系统
CN103455741A (zh) * 2013-09-06 2013-12-18 武汉汉德瑞庭科技有限公司 一种基于字符的在线笔迹认证的模板扩充方法
CN104182732A (zh) * 2014-08-12 2014-12-03 南京师范大学 基于特征矩阵进行相似度匹配的手写汉字笔画确认方法
CN109032383A (zh) * 2018-09-13 2018-12-18 广东工业大学 基于手写识别的输入方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08315078A (ja) * 1995-05-15 1996-11-29 Nippon Telegr & Teleph Corp <Ntt> 日本語文字認識方法及び装置
CN1641686A (zh) * 2004-01-17 2005-07-20 中国科学院计算技术研究所 乱笔顺库建立方法及联机手写汉字识别评测系统
CN103455741A (zh) * 2013-09-06 2013-12-18 武汉汉德瑞庭科技有限公司 一种基于字符的在线笔迹认证的模板扩充方法
CN104182732A (zh) * 2014-08-12 2014-12-03 南京师范大学 基于特征矩阵进行相似度匹配的手写汉字笔画确认方法
CN109032383A (zh) * 2018-09-13 2018-12-18 广东工业大学 基于手写识别的输入方法

Also Published As

Publication number Publication date
CN111310547A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
Tang et al. Text-independent writer identification via CNN features and joint Bayesian
US7529391B2 (en) Signature verification
Lee et al. Using geometric extrema for segment-to-segment characteristics comparison in online signature verification
Baecher et al. Breaking reCAPTCHA: a holistic approach via shape recognition
Du et al. Wavelet domain local binary pattern features for writer identification
Huang et al. Stability and style-variation modeling for on-line signature verification
CN109446905A (zh) 电子签名审核方法、装置、计算机设备和存储介质
US11416592B2 (en) Method for online signature verification using wrist-worn devices
Qiao et al. Offline signature verification using online handwriting registration
CN113361666B (zh) 一种手写字符识别方法、系统及介质
Hashim et al. A comparative study among handwritten signature verification methods using machine learning techniques
Elakkiya et al. Enhanced dynamic programming approach for subunit modelling to handle segmentation and recognition ambiguities in sign language
Sanchez-Reillo et al. Improving presentation attack detection in dynamic handwritten signature biometrics
Saraf et al. Devnagari script character recognition using genetic algorithm for get better efficiency
CN111310547B (zh) 在线笔迹认证中一种笔顺特征的提取及认证方法
EP4095749B1 (en) Method and system for verifying dynamic handwriting and signatures by means of deep learning
Schlapbach et al. Off-line writer identification and verification using Gaussian mixture models
CN111310543B (zh) 在线笔迹认证中笔画提连笔特征的提取及认证方法
CN111310548B (zh) 一种在线手写笔迹中笔画类型的识别方法
CN103440447A (zh) 具有攻击者身份识别能力的在线笔迹身份认证方法
CN111259726B (zh) 在线笔迹认证中一种笔画动态特征的提取及认证方法
CN111310546B (zh) 在线笔迹认证中一种书写节奏特征的提取及认证方法
Talreja Stochastically optimized handwritten character recognition system using Hidden Markov Model
Gurrala Online signature verification techniques
Soltane et al. State of the Art: Signature Biometrics Verification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201119

Address after: 702-14, floor 7, huofenghuang cloud computing base, No. 6, JiangWang Road, Jianghan District, Wuhan City, Hubei Province

Applicant after: WUHAN HANDE RUITING TECHNOLOGY Co.,Ltd.

Address before: 430068, No. 28, South Eru, Hongshan District, Hubei, Wuhan

Applicant before: HUBEI University OF TECHNOLOGY

GR01 Patent grant
GR01 Patent grant