CN102279927B - 拒识方法和拒识装置 - Google Patents

拒识方法和拒识装置 Download PDF

Info

Publication number
CN102279927B
CN102279927B CN 201010195920 CN201010195920A CN102279927B CN 102279927 B CN102279927 B CN 102279927B CN 201010195920 CN201010195920 CN 201010195920 CN 201010195920 A CN201010195920 A CN 201010195920A CN 102279927 B CN102279927 B CN 102279927B
Authority
CN
China
Prior art keywords
know
refusing
sample
threshold value
recognition result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 201010195920
Other languages
English (en)
Other versions
CN102279927A (zh
Inventor
朱远平
孙俊
堀田悦伸
直井聪
于浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN 201010195920 priority Critical patent/CN102279927B/zh
Publication of CN102279927A publication Critical patent/CN102279927A/zh
Application granted granted Critical
Publication of CN102279927B publication Critical patent/CN102279927B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于拒识阈值映射对拒识判决进行优化的拒识方法和拒识装置。根据本发明一个实施例的拒识方法包括:从样本集合中搜索与中间识别结果相匹配的样本组;使用与匹配的样本组相对应的拒识阈值映射函数计算拒识阈值;以及根据计算的拒识阈值对识别结果进行拒识处理。

Description

拒识方法和拒识装置
技术领域
本发明一般地涉及字符识别。具体而言,本发明涉及一种基于拒识阈值映射对拒识判决进行优化的拒识方法和拒识装置。
背景技术
在OCR(optical character recognition,光学字符识别)研究中,离线手写字符识别由于其大的类别数目和大量书写风格的变化或者变形而仍然是一个挑战。例如,对于汉字字符识别来说,最常用的字符包括在具有3755个字符的一级国标字符集中。而剩下还有超过几千个汉字不常使用。手写汉字识别的较高准确度,比如接近99%等在实际应用中难以获得。因此,在很多实际应用中,如果可以拒识字符识别装置的不可靠的识别结果而通过人工或者其他方式处理那些识别结果,则剩余部分将具有较高的准确度。总的来说这是一个拒识问题,由此如何作出好的拒识判断是至关重要的。
对于拒识,其目的是获得最低的错误比率同时拒识最少的识别结果。改善字符识别装置的识别能力可以获得更好的拒识,但是这不是这里要讨论的问题。在此,关注于拒识参数的优化,从而能够在不改变当前的识别技术和结果的同时而改善拒识性能。
在过去几年中已经提出了许多拒识策略。例如,J.Pitrelli和M.P.Perrone在“Confidence modeling for verification post-processing forhandwriting recognition,Proceedings of the 8th International Workshopon Frontiers in Handwriting Recognition(IWFHR2002),pp.30-35,2002”中以及R.Bertolami、M.Zimmermann和H.Bunke在“Rejectionstrategies for offline handwritten text line recognition,PatternRecognition Letters,27(16):pp.2005-2012,2006”中提出了几种有效的置信量度方法,从而可以通过置信变换来改善拒识性能。另外,在Xu-ChengYin、Hong-Wei Hao、Yun-Feng Tang、Jun Sun和Satoshi Naoi的“Rejection Strategies with Multiple Classifiers for HandwrittenCharacter Recognition,Proceedings of the 10th International Conferenceon Document Analysis and Recognition(ICDAR2009),pp.1126-1130,2009”中以及在L. P.Cordella、P.Foggia、C.Sansone、F. Tortorella和M.Vento的“Optimizing the Error/Reject Trade-Off for a Multi-ExpertSystem Using the Bayesian Combining Rule,Proceedings of the JointIAPR International Workshops on Advances in Pattern Recognition,LNCS Vol.1451,pp.716-725,1998”中,还将来自多个分类器系统的交叉验证能力用于对拒识性能进行改善。
此外,N.Gorski在“Optimizing error-reject trade off in recognitionsystems,Proceedings of the 4th International Conference on DocumentAnalysis and Recognition(ICDAR1997),pp.1092-1096,1997”中通过训练神经网络分类器来作出拒识判决。
除了上述N.Gorski的方法是基于分类的系统之外,大多数方法使用阈值来判决是否拒识识别结果。这些方法均使用阈值作为通用方式,并且针对所有的样本应用相同的拒识阈值。但是,对于具体样本来说这并不是最优的方式。实际上,单个样本的局部信息可能会对拒识参数的选择产生相当大的影响。
发明内容
有鉴于此,本发明提出了一种新的拒识方法和拒识装置用于光学字符识别,能够基于拒识阈值映射对拒识判决进行优化,从而能够在不改变当前的识别技术和结果的同时达到改善拒识性能的目的。
为了实现上述目的,根据本发明的一个方面,提供了一种拒识方法,包括:从样本集合中搜索与中间识别结果相匹配的样本组;使用与匹配的样本组相对应的拒识阈值映射函数计算拒识阈值;以及根据计算的拒识阈值对识别结果进行拒识处理。
根据本发明的另一个方面,提供了一种拒识装置,包括:搜索单元,配置为从样本集合中搜索与中间识别结果相匹配的样本组;拒识阈值计算单元,配置为使用与搜索单元搜索的匹配的样本组相对应的拒识阈值映射函数计算拒识阈值;拒识处理单元,配置为根据拒识阈值计算单元计算的拒识阈值对识别结果进行拒识处理;以及存储单元,配置为存储所述样本集合和所述拒识阈值映射函数。
优选地,如果没有搜索到与中间识别结果相匹配的样本组,则使用原始拒识阈值对识别结果进行拒识处理。
根据本发明的一个具体实施例,拒识阈值映射函数为满足下述条件的函数:
Figure GSA00000137130900031
其中,函数f()表示拒识后的错误拒识率,h()表示拒识率,
Figure GSA00000137130900032
表示拒识阈值映射函数,T表示原始拒识阈值,th_lb和th_ub为拒识阈值范围的下限和上限。
这里,拒识阈值映射函数为幂函数或分段线性函数,并且
f ( T ) = Er ( T ) = # error - # correct _ rejection ( T ) # sample - # rejection ( T )
h ( T ) = Rr ( T ) = # rejection ( T ) # sample
其中,#sample为样本的总数量,#rejection(T)为在拒识阈值T的情况下拒识的数量,#error为识别错误的数量,以及#correct_rejection(T)为在拒识阈值T的情况下正确拒识的数量。
根据本发明的另一个具体实施例,拒识阈值映射函数为满足下述条件的函数:
Figure GSA00000137130900035
其中,函数p()表示正确拒识率,h()表示拒识率,
Figure GSA00000137130900036
表示拒识阈值映射函数,T表示原始拒识阈值,th_lb和th_ub为拒识阈值范围的下限和上限。
这里,拒识阈值映射函数为幂函数或分段线性函数,并且
f ( T ) = Cr ( T ) = # correct _ rejection ( T ) # rejection ( T )
h ( T ) = Rr ( T ) = # rejection ( T ) # sample
其中,#sample为样本的总数量,#rejection(T)为在拒识阈值T的情况下拒识的数量,以及#correct rejection(T)为在拒识阈值T的情况下正确拒识的数量。
优选地,根据本发明的一个具体实施例,样本集合中的一个样本组包括两类样本;在从样本集合中搜索与中间识别结果相匹配的样本组时,从样本集合中搜索与中间识别结果的前两个候选类相匹配的样本组;以及在进行拒识处理时按照g2/g1>T’的规则来进行拒识处理,其中g2和g1分别为中间识别结果的前两个候选的置信度,T’为计算的拒识阈值或原始拒识阈值。
优选地,根据本发明的另一个具体实施例,样本集合中的一个样本组包括一类样本;在从样本集合中搜索与中间识别结果相匹配的样本组时,从样本集合中搜索与中间识别结果的第一个候选类相匹配的样本组;以及在进行拒识处理时按照g1<T’的规则来进行拒识处理,其中g1为中间识别结果的第一个候选的置信度,T’为计算的拒识阈值或原始拒识阈值。
另外,根据本发明的另一方面,还提供了一种存储介质。所述存储介质包括机器可读的程序代码,当在信息处理设备上执行所述程序代码时,所述程序代码使得所述信息处理设备执行根据本发明的上述拒识方法。
此外,根据本发明的再一方面,还提供了一种程序产品。所述程序产品包括机器可执行的指令,当在信息处理设备上执行所述指令时,所述指令使得所述信息处理设备执行根据本发明的上述拒识方法。
附图说明
参照下面结合附图对本发明实施例的说明,会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中,相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。附图中:
图1示出多类别识别存在的拒识问题;
图2示出基于幂函数的拒识阈值映射;
图3示出根据本发明的一个实施例的拒识方法的处理流程;
图4示出根据本发明的一个实施例的拒识装置的示意方框图;
图5示出不同情况下拒识率和错误拒识率之间的关系图;
图6示出不同情况下拒识阈值和拒识率之间的关系图;
图7示出具有不同优化参数的样本组的平均拒识分布方差;以及
图8示出可用于实施根据本发明实施例的方法和装置的计算机的示意性框图。
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行详细描述。为了清楚和简明起见,在说明书中并未描述实际实施方式的所有特征。然而,应该了解,在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定,以便实现开发人员的具体目标,例如,符合与系统及业务相关的那些限制条件,并且这些限制条件可能会随着实施方式的不同而有所改变。此外,还应该了解,虽然开发工作有可能是非常复杂和费时的,但对得益于本公开内容的本领域技术人员来说,这种开发工作仅仅是例行的任务。
在此,还需要说明的一点是,为了避免因不必要的细节而模糊了本发明,在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤,而省略了与本发明关系不大的其他细节。另外,还需要指出的是,在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。
在描述根据本发明实施例的拒识方法和拒识装置的细节之前,首先讨论拒识优化的问题。
对于字符识别引擎的识别结果,一般均是具有置信度或者距离的分级类列表。令G=(g1,g2,…,gK)为识别结果中的前K个候选置信度或者距离。在此,为了便于说明,仅使用置信度作为示例并且将其归一化为0到1的概率范围。
在拒识时,使用拒识阈值T对识别结果作出拒识判决。两种最常用的拒识规则对满足以下条件的识别结果进行拒识:
规则1:r=g1<T    (1)或者
规则2:r=g2/g1>T (2)
拒识后的错误拒识率以及拒识率分别定义为:
f ( T ) = Er ( T ) = # error - # correct _ rejection ( T ) # sample - # rejection ( T ) - - - ( 3 )
h ( T ) = Rr ( T ) = # rejection ( T ) # sample - - - ( 4 )
其中,#sample为样本的总数量,#rejection(T)为在拒识阈值T的情况下拒识的数量,#error为识别错误的数量,以及#correct rejection(T)为在拒识阈值T的情况下正确拒识的数量。
一个拒识阈值产生一个拒识率和一个对应的错误拒识率,错误拒识率与拒识率成反比。拒识阈值的值可以控制拒识率。对于规则1,拒识阈值越大,拒识率越大并且拒识后的错误拒识率越低。对于规则2则相反。由于前两个置信度越接近,拒识概率越高,因此较大的拒识阈值意味着较低的拒识率。
最优的拒识包括具有相同或更少拒识的更多正确的拒识。如果想要拒识更多错误样本,则拒识数目总是增加地远远快于它。为了解决这两个冲突的因素,需要一种更准确的拒识方法。
拒识率代表拒识水平而错误拒识率是对该拒识水平的拒识性能评价。在某种程度上,拒识阈值是对整个样本集合的拒识可靠性的量度,它不仅能够控制拒识水平,而且能够确定每个拒识判决的可靠性。但是,对于每个单独的样本,相同的识别置信度并不意味着其他样本的相同的拒识可靠性。而且,置信度估计还不够准确。因此,传统拒识方法对所有样本设置相同的拒识阈值并不是最优的方式。
如果将具有相同属性的样本看作一个组,则样本组的一些有用信息可以用于生成自适应阈值。
图1示出了多类识别拒识问题。为了简化,这里只给出了3个类。直线代表分割两个类别的分类面。曲线是各个类别对的拒识判决平面。符号‘x’表示要拒识的错误识别。
从图1中可以看出,不同的类别具有不同的置信分布。另外,正确拒识和拒识阈值之间的关系是类别相关的或者类别对相关的。也就是说,正确的拒识对不同的类别具有不同的分布,对于类别对也是如此。
此外,从图1中还可以发现,存在拒识安全/风险区域。大部分正确拒识的样本位于分类面周围的区域。从面到类别中心移动,正确的拒识变得越来越少同时拒识错误迅速增加。在类别中心和分类面之间存在软边界。它们将每个类别的样本区域划分成拒识安全或者风险区域。如果将相应的拒识阈值作为这一边界,则这一边界是类别相关的或者类别对相关的。
事实上,高拒识率对于实际应用是没有意义的。常用的实际应用的拒识阈值总是处于低拒识率区域。根据以上知识,可以将具有相同识别结果或者前两个识别候选的样本看作相同的样本组并且基于这些样本组生成自适应拒识阈值,尤其是在拒识安全区域中。另一方面,由于在拒识风险区域中只能够获得微小的拒识增益,因此避免或者降低常用的拒识阈值落入样本组的拒识风险区域的概率将对改善这些拒识阈值的拒识性能是有益的。需要一种样本组相关的拒识阈值映射机制来将原始拒识阈值变换为自适应拒识阈值。
这里以对规则2的优化为例详细说明根据本发明的解决方案。实际上,也不难将优化方法扩展到规则1。
为了优化规则2,样本组最好基于类别对构造。在前两个候选中具有相同类别对的所有样本被归入同一组中。
基于整个拒识阈值范围的拒识评价,针对各个样本组在训练数据上搜索拒识阈值映射函数的最优参数。
令函数
Figure GSA00000137130900071
代表阈值映射函数,最优目标为:
Figure GSA00000137130900072
在训练之后,最优阈值映射函数的参数存储在参数数据库中。当执行拒识时,在数据库中搜索前两个候选中的字符对。如果找到了匹配的字符对,则使用对应的映射函数将输入阈值变换为新的阈值。最终的拒识判决是针对新拒识阈值作出的。
对于中文识别,考虑到汉字集的规模,整个类别对空间具有几百万对,需要大量的计算时间和存储空间。由于大多数常见的前两个候选对是从类似的字符中找到的,因此选择类似的字符对空间而不是整个类别对空间以降低成本。
这里,从训练数据中所有的前两个候选对中选择类似的字符对。但是考虑到实际需要,只为各个字符选择10个最近似的字符进入到类似字符空间中以减少对的数目。以这种方式,在训练数据中剔除了重复对之外还余下大约例如30k左右的字符对。假定有M对,令{Pm|m=1,…,M}表示字符对空间。然后,在前两个候选中具有与Pm相同的字符对的样本被看作为第m个样本组。将基于这些样本组执行优化。
对于阈值映射函数,应该满足以下条件。
1)在变换后保持相同的阈值范围。例如,原始阈值范围为[0.1,1.0],变换之后的范围也是如此。
2)是单调函数。
3)能够针对不同的样本组调整(压缩或者拉伸)拒识安全/风险区域的阈值范围。
在公式(5)中,Er-Rr和Rr-T分别代表错误拒识率vs.拒识率的关系和拒识率vs.拒识阈值的关系。它们二者均具有单调性和比如像幂函数的形式。
阈值映射函数也可以采用幂函数。因此,针对第m对Pm的拒识阈值映射函数定义为:
Figure GSA00000137130900081
当γm=1时,阈值保持不变。因此,学习方案将试图找到最优参数γm。如图2所示,在阈值变换之后,原始阈值分布已经改变。一部分被压缩而另一部分被拉伸。γm将控制阈值范围的哪一部分被压缩或者拉伸及其改变比率。当γm=0.5和γm=2.0时,原始阈值0.5分别被变换为0.707和0.25。对于规则2,γm越大意味着对具有相同前二候选置信度比率的样本有更高的拒识概率。因此,当γm对属于不同Pm的样本给出不同内部阈值时,在相同外部拒识阈值下的实际拒识可靠性发生了改变。
拒识的直观评价是比较相同拒识率下的错误拒识率。错误拒识率越小,则可以获得越好的性能。如前所述,一个阈值产生一个(Er,Rr)点。难以确切预测一个拒识率的拒识阈值,因此可以只画出Er-Rr的整个曲线,然后比较它们,如图5所示。
函数Er-Rr的积分等于由曲线和x、y轴围绕的区域的面积,用于评价拒识阈值范围上的拒识。Er-Rr和Rr-T的关系由函数表示如下:
Er=f(Rr)                          (7)
Rr=h(T)                           (8)
它们两者均是单调函数。ROC曲线的积分A如下计算:
A = ∫ 0.0 1.0 Er ( Rr ) dRr
= ∫ 0.0 1.0 Er ( T ) · Rr ( T ) dT - - - ( 9 )
= ∫ 0.0 1.0 f ( h ( T ) ) · h ( T ) dT
基于拒识评价,对于第m个类别对的映射函数,优化映射函数应该满足:
其中,th_lb和th_ub是优化阈值范围的下限和上限,用于控制拒识率的优化范围。由于低拒识率部分是所感兴趣的,因此应该执行对低拒识率部分的优化。例如,诸如[0.5,1.0]的拒识阈值范围的上半部分是用于规则2的低拒识率部分。拒识率10%的对应的拒识阈值在0.9附近,因此将其设置为0.9和1.0,同时还将降低计算成本。
但是,训练数据的高精度使得Er接近于0,这使得易于导致不可用优化。考虑到(4)中的#error对具体样本组是固定值,因此将公式(10)的错误拒识率因子替换为正确拒识率Cr。正确拒识率Cr定义为:
Cr ( T ) = p ( T ) = # correct _ rejection ( T ) # rejection ( T ) - - - ( 11 )
它是错误拒识率的反向因子,因此优化目标函数修改为:
                           (12)
实际上,它满足在较少拒识情况下的较多正确拒识的原则。
为了保持稳定性,将γ限制在1.0附近的范围内,比如[1/2,2]。另外,为了进一步加速基于公式(12)的优化,搜索预定列表[1/2.0,1/1.8,1/1.6,1/1.4,1/1.2,1.0,1.2,1.4,1.6,1.8,2.0]中的值。
以上结合拒识中的常用规则详细分析了如何对拒识阈值映射函数进行优化,从而在不改变当前的识别技术和结果的同时改善拒识性能。下面将参照图3和图4描述根据本发明的实施例的拒识方法和拒识装置。
如图3所示,根据本发明的一个实施例的拒识方法首先在步骤步骤S310从数据库300存储的样本集合中搜索与中间识别结果向匹配的样本组。接着,在步骤S320中判断是否从样本集合中找到了与中间识别结果相匹配的样本组。
如果在步骤S320中确定从样本集合中找到了与中间识别结果相匹配的样本组,则在步骤S330中使用与匹配的样本组相对应的拒识阈值映射函数计算新的拒识阈值,并且在步骤S340中根据计算的新拒识阈值对识别结果进行拒识处理。
另一方面,如果在步骤S320中确定没有从样本集合中找到与中间识别结果相匹配的样本组,则处理流程跳过步骤S330,在步骤S340中使用原始拒识阈值对识别结果进行拒识处理。
这里,根据本发明的一个具体实施例,拒识阈值映射函数可以为满足下述条件的函数:
Figure GSA00000137130900101
其中,函数f()表示拒识后的错误拒识率,h()表示拒识率,
Figure GSA00000137130900102
表示拒识阈值映射函数,T表示原始拒识阈值,th_lb和th_ub为拒识阈值范围的下限和上限。
拒识阈值映射函数为幂函数或分段线性函数或其它合适的函数,并且在上面的公式中
f ( T ) = Er ( T ) = # error - # correct _ rejection ( T ) # sample - # rejection ( T )
h ( T ) = Rr ( T ) = # rejection ( T ) # sample
其中,#sample为样本的总数量,#rejection(T)为在拒识阈值T的情况下拒识的数量,#error为识别错误的数量,以及#correct rejection(T)为在拒识阈值T的情况下正确拒识的数量。
另外,根据本发明的另一个具体实施例,拒识阈值映射函数也可以为满足下述条件的函数:
Figure GSA00000137130900105
其中,函数p()表示正确拒识率,h()表示拒识率,
Figure GSA00000137130900106
表示拒识阈值映射函数,T表示原始拒识阈值,th_lb和th_ub为拒识阈值范围的下限和上限。
同样,拒识阈值映射函数为幂函数或分段线性函数或其它合适的函数,并且在上面的公式中
p ( T ) = Cr ( T ) = # correct _ rejection ( T ) # rejection ( T )
h ( T ) = Rr ( T ) = # rejection ( T ) # sample
其中,#sample为样本的总数量,#rejection(T)为在拒识阈值T的情况下拒识的数量,以及#correct rejection(T)为在拒识阈值T的情况下正确拒识的数量。
这样,根据本发明的一个具体实施例,在样本集合中的一个样本组包括两类样本的情况下,即对于上面所述的规则2,在从样本集合中搜索与中间识别结果相匹配的样本组时,从样本集合中搜索与中间识别结果的前两个候选类相匹配的样本组。然后,在进行拒识处理时按照g2/g1>T’的规则来进行拒识处理,其中g2和g1分别为中间识别结果的前两个候选的置信度,T’为计算的拒识阈值或原始拒识阈值。
另外,根据本发明的另一个具体实施例,在样本集合中的一个样本组包括一类样本的情况下,即对于上面所述的规则1在从样本集合中搜索与中间识别结果相匹配的样本组时,从样本集合中搜索与中间识别结果的第一个候选类相匹配的样本组。然后,在进行拒识处理时按照g1<T’的规则来进行拒识处理,其中g1为中间识别结果的第一个候选的置信度,T’为计算的拒识阈值或原始拒识阈值。
接下来将结合图4描述根据本发明的一个实施例的拒识装置的工作原理。如图4所示,根据该实施例的拒识装置包括:搜索单元410,配置为从样本集合中搜索与中间识别结果相匹配的样本组;拒识阈值计算单元420,配置为使用与搜索单元搜索的匹配的样本组相对应的拒识阈值映射函数计算拒识阈值;拒识处理单元430,配置为根据拒识阈值计算单元计算的拒识阈值对识别结果进行拒识处理;以及存储单元400,配置为存储所述样本集合和所述拒识阈值映射函数。
由于在根据本发明的拒识装置所包括的搜索单元410、拒识阈值计算单元420、以及拒识处理单元430中的处理分别与上面描述的拒识方法所包括的搜索匹配样本组步骤S310、计算新拒识阈值步骤S320、以及拒识处理步骤S340中的处理类似,因此为了简洁起见,在此省略这些单元中的详细描述。
利用本发明的实施例所述的拒识方法和拒识装置,在CASIA数据库上进行了实验,以用于评价本发明所提出的方案的拒识性能。CASIA数据库由中国科学院自动化所收集,具有一级国标字符集的3755个汉字,每个汉字300个样本。在所进行的实验中,数据集被划分为每个类别具有290个样本的训练集合、并且每个类别具有10个样本的测试集。
手写汉字识别系统建立如下。392个维度的轮廓方向特征被选择为汉字特征。在特征提取之前在图像预处理中使用非线性归一化。在识别中采用MQDF分类器。在将特征输入MQDF之前,LDA特征选择将特征投射到120维度的子空间中。应用基于Sigmoid的变换对置信度进行变换输出。
图5给出了有/没有优化时拒识的ROC(接收特性)曲线的比较。图5中,标签“规则1”表示拒识规则1,标签“规则2”表示拒识规则2,标签“规则2-优化”表示使用本发明所提出的优化方案的拒识规则2。可以看出,规则2比规则1性能好,并且具有优化的规则2是最好的。“规则2-优化”的曲线总是在“规则2”的曲线之下。也就是说,在应用最优阈值映射之后,与原始拒识相比在同样的拒识率下错误拒识率降低。这验证了优化的有效性。
图6示出了拒识率与拒识阈值之间的关系图。图5和图6中的曲线具有如上面所述的幂函数的形式。在图6中,在相同的阈值下,本发明所提出的方案具有比没有优化的拒识低的拒识率。虽然没有直接的证据来证实低拒识率更好,但是仍然能够表明更准确的拒识降低对拒识数量的要求。换言之,稳定且较低的拒识率是更好拒识的另一面。
另外,假定上面的公式(2)中的r针对第m个样本组为高斯分布(1.0,δm),δm是RSA(拒识安全区域)的宽度的一个指示。通常,δm越大,RSA宽度越大。在图7中,竖直轴是具有相同γ的平均δm。可以发现,当γ=1时很多是由于过大δm使得优化无效,除此之外,γ大致与RSA宽度成比例。这意味着基于本发明方案的优化根据RSA宽度在低拒识率阈值范围上具有归一化效应。大的RSA宽度具有宽的内部阈值范围,而小的RSA宽度具有小的内部阈值范围。从而在各样本组间获得了均衡的拒识性能。
此外,这里尚需指出的是,上述装置中各个组成模块、单元可以通过软件、固件、硬件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知,在此不再赘述。在通过软件或固件实现的情况下,从存储介质或网络向具有专用硬件结构的计算机(例如图8所示的通用计算机1100)安装构成该软件的程序,该计算机在安装有各种程序时,能够执行各种功能等。
在图8中,中央处理单元(CPU)1101根据只读存储器(ROM)1102中存储的程序或从存储部分1108加载到随机存取存储器(RAM)1103的程序执行各种处理。在RAM 1103中,还根据需要存储当CPU 1101执行各种处理等等时所需的数据。CPU 1101、ROM 1102和RAM 1103经由总线504彼此连接。输入/输出接口1105也连接到总线1104。
下述部件连接到输入/输出接口1105:输入部分1106(包括键盘、鼠标等等)、输出部分1107(包括显示器,比如阴极射线管(CRT)、液晶显示器(LCD)等,和扬声器等)、存储部分1108(包括硬盘等)、通信部分1109(包括网络接口卡比如LAN卡、调制解调器等)。通信部分1109经由网络比如因特网执行通信处理。根据需要,驱动器1110也可连接到输入/输出接口1105。可拆卸介质1111比如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器1110上,使得从中读出的计算机程序根据需要被安装到存储部分1108中。
在通过软件实现上述系列处理的情况下,从网络比如因特网或存储介质比如可拆卸介质1111安装构成软件的程序。
本领域的技术人员应当理解,这种存储介质不局限于图8所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1111。可拆卸介质1111的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者,存储介质可以是ROM 1102、存储部分1108中包含的硬盘等等,其中存有程序,并且与包含它们的设备一起被分发给用户。
本发明还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时,可执行上述根据本发明实施例的方法。
相应地,用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。
在上面对本发明具体实施例的描述中,针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
此外,本发明的方法不限于按照说明书中描述的时间顺序来执行,也可以按照其他的时间顺序地、并行地或独立地执行。因此,本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露,但是,应该理解,上述的所有实施例和示例均是示例性的,而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。
附记
附记1.一种拒识方法,包括:
从样本集合中搜索与中间识别结果相匹配的样本组;
使用与匹配的样本组相对应的拒识阈值映射函数计算拒识阈值;以及
根据计算的拒识阈值对识别结果进行拒识处理。
附记2.根据附记1所述的拒识方法,其中,如果没有搜索到与中间识别结果相匹配的样本组,则使用原始拒识阈值对识别结果进行拒识处理。
附记3.根据附记2所述的拒识方法,其中拒识阈值映射函数为满足下述条件的函数:
Figure GSA00000137130900141
其中,函数f()表示拒识后的错误拒识率,h()表示拒识率,
Figure GSA00000137130900142
表示拒识阈值映射函数,T表示原始拒识阈值,th_lb和th_ub为拒识阈值范围的下限和上限。
附记4.根据附记3所述的拒识方法,其中拒识阈值映射函数为幂函数或分段线性函数。
附记5.根据附记4所述的拒识方法,其中
f ( T ) = Er ( T ) = # error - # correct _ rejection ( T ) # sample - # rejection ( T )
h ( T ) = Rr ( T ) = # rejection ( T ) # sample
其中,#sample为样本的总数量,#rejection(T)为在拒识阈值T的情况下拒识的数量,#error为识别错误的数量,以及#correct_rejection(T)为在拒识阈值T的情况下正确拒识的数量。
附记6.根据附记2所述的拒识方法,其中拒识阈值映射函数为满足下述条件的函数:
Figure GSA00000137130900153
其中,函数p()表示正确拒识率,h()表示拒识率,
Figure GSA00000137130900154
表示拒识阈值映射函数,T表示原始拒识阈值,th_lb和th_ub为拒识阈值范围的下限和上限。
附记7.根据附记6所述的拒识方法,其中拒识阈值映射函数为幂函数或分段线性函数。
附记8.根据附记7所述的拒识方法,其中
p ( T ) = Cr ( T ) = # correct _ rejection ( T ) # rejection ( T )
h ( T ) = Rr ( T ) = # rejection ( T ) # sample
其中,#sample为样本的总数量,#rejection(T)为在拒识阈值T的情况下拒识的数量,以及#correct_rejection(T)为在拒识阈值T的情况下正确拒识的数量。
附记9.根据附记1至8任一所述的拒识方法,其中
样本集合中的一个样本组包括两类样本;
在从样本集合中搜索与中间识别结果相匹配的样本组时,从样本集合中搜索与中间识别结果的前两个候选类相匹配的样本组;以及
在进行拒识处理时按照g2/g1>T’的规则来进行拒识处理,其中g2和g1分别为中间识别结果的前两个候选的置信度,T’为计算的拒识阈值或原始拒识阈值。
附记10.根据附记1至8任一所述的拒识方法,其中
样本集合中的一个样本组包括一类样本;
在从样本集合中搜索与中间识别结果相匹配的样本组时,从样本集合中搜索与中间识别结果的第一个候选类相匹配的样本组;以及
在进行拒识处理时按照g1<T’的规则来进行拒识处理,其中g1为中间识别结果的第一个候选的置信度,T’为计算的拒识阈值或原始拒识阈值。
附记11.一种拒识装置,包括:
搜索单元,配置为从样本集合中搜索与中间识别结果相匹配的样本组;
拒识阈值计算单元,配置为使用与搜索单元搜索的匹配的样本组相对应的拒识阈值映射函数计算拒识阈值;
拒识处理单元,配置为根据拒识阈值计算单元计算的拒识阈值对识别结果进行拒识处理;以及
存储单元,配置为存储所述样本集合和所述拒识阈值映射函数。
附记12.根据附记11所述的拒识装置,其中,在搜索单元没有搜索到与中间识别结果相匹配的样本组时,拒识处理单元使用原始拒识阈值对识别结果进行拒识处理。
附记13.根据附记12所述的拒识装置,其中拒识阈值映射函数为满足下述条件的函数:
Figure GSA00000137130900161
其中,函数f()表示拒识后的错误拒识率,h()表示拒识率,
Figure GSA00000137130900162
表示拒识阈值映射函数,T表示原始拒识阈值,th_lb和th_ub为拒识阈值范围的下限和上限。
附记14.根据附记13所述的拒识装置,其中拒识阈值映射函数为幂函数或分段线性函数。
附记15.根据附记14所述的拒识装置,其中
f ( T ) = Er ( T ) = # error - # correct _ rejection ( T ) # sample - # rejection ( T )
h ( T ) = Rr ( T ) = # rejection ( T ) # sample
其中,#sample为样本的总数量,#rejection(T)为在拒识阈值T的情况下拒识的数量,#error为识别错误的数量,以及#correct_rejection(T)为在拒识阈值T的情况下正确拒识的数量。
附记16.根据附记12所述的拒识装置,其中拒识阈值映射函数为满足下述条件的函数:
Figure GSA00000137130900173
其中,函数p()表示正确拒识率,h()表示拒识率,表示拒识阈值映射函数,T表示原始拒识阈值,th_lb和th_ub为拒识阈值范围的下限和上限。
附记17.根据附记16所述的拒识装置,其中拒识阈值映射函数为幂函数或分段线性函数。
附记18.根据附记17所述的拒识装置,其中
p ( T ) = Cr ( T ) = # correct _ rejection ( T ) # rejection ( T )
h ( T ) = Rr ( T ) = # rejection ( T ) # sample
其中,#sample为样本的总数量,#rejection(T)为在拒识阈值T的情况下拒识的数量,以及#correct_rejection(T)为在拒识阈值T的情况下正确拒识的数量。
附记19.根据附记11至18任一所述的拒识装置,其中
样本集合中的一个样本组包括两类样本;
在搜索单元从样本集合中搜索与中间识别结果相匹配的样本组时,从样本集合中搜索与中间识别结果的前两个候选类相匹配的样本组;以及
在拒识处理单元进行拒识处理时按照g2/g1>T’的规则来进行拒识处理,其中g2和g1分别为中间识别结果的前两个候选的置信度,T’为计算的拒识阈值或原始拒识阈值。
附记20.根据附记11至18任一所述的拒识装置,其中
样本集合中的一个样本组包括一类样本;
在搜索单元从样本集合中搜索与中间识别结果相匹配的样本组时,从样本集合中搜索与中间识别结果的第一个候选类相匹配的样本组;以及
在拒识处理单元进行拒识处理时按照g1<T’的规则来进行拒识处理,其中g1为中间识别结果的第一个候选的置信度,T’为计算的拒识阈值或原始拒识阈值。

Claims (20)

1.一种拒识方法,包括:
从样本集合中搜索与中间识别结果相匹配的样本组;
使用与匹配的样本组相对应的拒识阈值映射函数计算拒识阈值;以及
根据计算的拒识阈值对识别结果进行拒识处理;
其中,如果没有搜索到与中间识别结果相匹配的样本组,则使用原始拒识阈值对识别结果进行拒识处理;
其中,拒识阈值映射函数为满足下述条件的函数:
Figure FSB00001101886900011
其中,函数f()表示拒识后的错误拒识率,h()表示拒识率,
Figure FSB00001101886900012
表示拒识阈值映射函数,T表示原始拒识阈值,th_lb和th_ub为拒识阈值范围的下限和上限。
2.根据权利要求1所述的拒识方法,其中拒识阈值映射函数为幂函数或分段线性函数。
3.根据权利要求2所述的拒识方法,其中
f ( T ) = Er ( T ) = # error - # correct _ rejection ( T ) # sample - # rejection ( T )
h ( T ) = Rr ( T ) = # rejection ( T ) # sample
其中,#sample为样本的总数量,#rejection(T)为在拒识阈值T的情况下拒识的数量,#error为识别错误的数量,以及#correct_rejection(T)为在拒识阈值T的情况下正确拒识的数量。
4.根据权利要求1至3任一所述的拒识方法,其中
样本集合中的一个样本组包括两类样本;
在从样本集合中搜索与中间识别结果相匹配的样本组时,从样本集合中搜索与中间识别结果的前两个候选类相匹配的样本组;以及
在进行拒识处理时按照g2/g1>T’的规则来进行拒识处理,其中g2和g1分别为中间识别结果的前两个候选的置信度,T’为计算的拒识阈值或原始拒识阈值。
5.根据权利要求1至3任一所述的拒识方法,其中
样本集合中的一个样本组包括一类样本;
在从样本集合中搜索与中间识别结果相匹配的样本组时,从样本集合中搜索与中间识别结果的第一个候选类相匹配的样本组;以及
在进行拒识处理时按照g1<T’的规则来进行拒识处理,其中g1为中间识别结果的第一个候选的置信度,T’为计算的拒识阈值或原始拒识阈值。
6.一种拒识方法,包括:
从样本集合中搜索与中间识别结果相匹配的样本组;
使用与匹配的样本组相对应的拒识阈值映射函数计算拒识阈值;以及
根据计算的拒识阈值对识别结果进行拒识处理;
其中,如果没有搜索到与中间识别结果相匹配的样本组,则使用原始拒识阈值对识别结果进行拒识处理;
其中,拒识阈值映射函数为满足下述条件的函数:
Figure FSB00001101886900021
其中,函数p()表示正确拒识率,h()表示拒识率,表示拒识阈值映射函数,T表示原始拒识阈值,th_lb和th_ub为拒识阈值范围的下限和上限。
7.根据权利要求6所述的拒识方法,其中拒识阈值映射函数为幂函数或分段线性函数。
8.根据权利要求7所述的拒识方法,其中
p ( T ) = Cr ( T ) = # correct _ rejection ( T ) # rejection ( T )
h ( T ) = Rr ( T ) # rejection ( T ) # sample
其中,#sample为样本的总数量,#rejection(T)为在拒识阈值T的情况下拒识的数量,以及#correct_rejection(T)为在拒识阈值T的情况下正确拒识的数量。
9.根据权利要求6至8任一所述的拒识方法,其中
样本集合中的一个样本组包括两类样本;
在从样本集合中搜索与中间识别结果相匹配的样本组时,从样本集合中搜索与中间识别结果的前两个候选类相匹配的样本组;以及
在进行拒识处理时按照g2/g1>T’的规则来进行拒识处理,其中g2和g1分别为中间识别结果的前两个候选的置信度,T’为计算的拒识阈值或原始拒识阈值。
10.根据权利要求6至8任一所述的拒识方法,其中
样本集合中的一个样本组包括一类样本;
在从样本集合中搜索与中间识别结果相匹配的样本组时,从样本集合中搜索与中间识别结果的第一个候选类相匹配的样本组;以及
在进行拒识处理时按照g1<T’的规则来进行拒识处理,其中g1为中间识别结果的第一个候选的置信度,T’为计算的拒识阈值或原始拒识阈值。
11.一种拒识装置,包括:
搜索单元,配置为从样本集合中搜索与中间识别结果相匹配的样本组;
拒识阈值计算单元,配置为使用与搜索单元搜索的匹配的样本组相对应的拒识阈值映射函数计算拒识阈值;
拒识处理单元,配置为根据拒识阈值计算单元计算的拒识阈值对识别结果进行拒识处理;以及
存储单元,配置为存储所述样本集合和所述拒识阈值映射函数;
其中,在搜索单元没有搜索到与中间识别结果相匹配的样本组时,拒识处理单元使用原始拒识阈值对识别结果进行拒识处理;
其中,拒识阈值映射函数为满足下述条件的函数:
Figure FSB00001101886900031
其中,函数f()表示拒识后的错误拒识率,h()表示拒识率,
Figure FSB00001101886900032
表示拒识阈值映射函数,T表示原始拒识阈值,th_lb和th_ub为拒识阈值范围的下限和上限。
12.根据权利要求11所述的拒识装置,其中拒识阈值映射函数为幂函数或分段线性函数。
13.根据权利要求12所述的拒识装置,其中
f ( T ) = Er ( T ) = # error - # correct _ rejection ( T ) # sample - # rejection ( T )
h ( T ) = Rr ( T ) = # rejection ( T ) # sample
其中,#sample为样本的总数量,#rejection(T)为在拒识阈值T的情况下拒识的数量,#error为识别错误的数量,以及#correct_rejection(T)为在拒识阈值T的情况下正确拒识的数量。
14.根据权利要求11至13任一所述的拒识装置,其中
样本集合中的一个样本组包括两类样本;
在搜索单元从样本集合中搜索与中间识别结果相匹配的样本组时,从样本集合中搜索与中间识别结果的前两个候选类相匹配的样本组;以及
在拒识处理单元进行拒识处理时按照g2/g1>T’的规则来进行拒识处理,其中g2和g1分别为中间识别结果的前两个候选的置信度,T’为计算的拒识阈值或原始拒识阈值。
15.根据权利要求11至13任一所述的拒识装置,其中
样本集合中的一个样本组包括一类样本;
在搜索单元从样本集合中搜索与中间识别结果相匹配的样本组时,从样本集合中搜索与中间识别结果的第一个候选类相匹配的样本组;以及
在拒识处理单元进行拒识处理时按照g1<T’的规则来进行拒识处理,其中g1为中间识别结果的第一个候选的置信度,T’为计算的拒识阈值或原始拒识阈值。
16.一种拒识装置,包括:
搜索单元,配置为从样本集合中搜索与中间识别结果相匹配的样本组;
拒识阈值计算单元,配置为使用与搜索单元搜索的匹配的样本组相对应的拒识阈值映射函数计算拒识阈值;
拒识处理单元,配置为根据拒识阈值计算单元计算的拒识阈值对识别结果进行拒识处理;以及
存储单元,配置为存储所述样本集合和所述拒识阈值映射函数;
其中,在搜索单元没有搜索到与中间识别结果相匹配的样本组时,拒识处理单元使用原始拒识阈值对识别结果进行拒识处理;
其中,拒识阈值映射函数为满足下述条件的函数:
Figure FSB00001101886900051
其中,函数p()表示正确拒识率,h()表示拒识率,表示拒识阈值映射函数,T表示原始拒识阈值,th_lb和th_ub为拒识阈值范围的下限和上限。
17.根据权利要求16所述的拒识装置,其中拒识阈值映射函数为幂函数或分段线性函数。
18.根据权利要求17所述的拒识装置,其中
p ( T ) = Cr ( T ) = # correct _ rejection ( T ) # rejection ( T )
h ( T ) = Rr ( T ) # rejection ( T ) # sample
其中,#sample为样本的总数量,#rejection(T)为在拒识阈值T的情况下拒识的数量,以及#correct_rejection(T)为在拒识阈值T的情况下正确拒识的数量。
19.根据权利要求16至18任一所述的拒识装置,其中
样本集合中的一个样本组包括两类样本;
在搜索单元从样本集合中搜索与中间识别结果相匹配的样本组时,从样本集合中搜索与中间识别结果的前两个候选类相匹配的样本组;以及
在拒识处理单元进行拒识处理时按照g2/g1>T’的规则来进行拒识处理,其中g2和g1分别为中间识别结果的前两个候选的置信度,T’为计算的拒识阈值或原始拒识阈值。
20.根据权利要求16至18任一所述的拒识装置,其中
样本集合中的一个样本组包括一类样本;
在搜索单元从样本集合中搜索与中间识别结果相匹配的样本组时,从样本集合中搜索与中间识别结果的第一个候选类相匹配的样本组;以及
在拒识处理单元进行拒识处理时按照g1<T’的规则来进行拒识处理,其中g1为中间识别结果的第一个候选的置信度,T’为计算的拒识阈值或原始拒识阈值。
CN 201010195920 2010-06-08 2010-06-08 拒识方法和拒识装置 Expired - Fee Related CN102279927B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010195920 CN102279927B (zh) 2010-06-08 2010-06-08 拒识方法和拒识装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010195920 CN102279927B (zh) 2010-06-08 2010-06-08 拒识方法和拒识装置

Publications (2)

Publication Number Publication Date
CN102279927A CN102279927A (zh) 2011-12-14
CN102279927B true CN102279927B (zh) 2013-10-23

Family

ID=45105365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010195920 Expired - Fee Related CN102279927B (zh) 2010-06-08 2010-06-08 拒识方法和拒识装置

Country Status (1)

Country Link
CN (1) CN102279927B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679505B (zh) * 2017-10-13 2020-04-21 林辉 一种实现对手写体字符拒识的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101630367A (zh) * 2009-07-31 2010-01-20 北京科技大学 基于多分类器的手写体字符识别拒识方法
CN101645134A (zh) * 2005-07-29 2010-02-10 富士通株式会社 整体地名识别方法和整体地名识别装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3979007B2 (ja) * 2000-12-22 2007-09-19 富士ゼロックス株式会社 パターン識別方法および装置
CN101477633B (zh) * 2009-01-21 2010-08-25 北京大学 自动估计图像和视频的视觉显著度的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101645134A (zh) * 2005-07-29 2010-02-10 富士通株式会社 整体地名识别方法和整体地名识别装置
CN101630367A (zh) * 2009-07-31 2010-01-20 北京科技大学 基于多分类器的手写体字符识别拒识方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JP特开2002-190025A 2002.07.05
印刷体汉字识别后处理方法的研究;张宏涛等;《中文信息学报》;20091130;第23卷(第06期);全文 *
张宏涛等.印刷体汉字识别后处理方法的研究.《中文信息学报》.2009,第23卷(第06期),全文.
手写中文地址识别后处理方法的研究;龙翀 等;《中文信息学报》;20061231;第20卷(第06期);全文 *
龙翀 等.手写中文地址识别后处理方法的研究.《中文信息学报》.2006,第20卷(第06期),全文.

Also Published As

Publication number Publication date
CN102279927A (zh) 2011-12-14

Similar Documents

Publication Publication Date Title
CN110532542B (zh) 一种基于正例与未标注学习的发票虚开识别方法及系统
Wang et al. Determination of the spread parameter in the Gaussian kernel for classification and regression
CN112765358B (zh) 一种基于噪声标签学习的纳税人行业分类方法
CN103366367B (zh) 基于像素数聚类的模糊c-均值灰度图像分割方法
CN103116744B (zh) 基于mrf和svm-knn分类的假指纹检测方法
CN100492392C (zh) 手写字符识别方法及识别装置
CN102663100A (zh) 一种两阶段混合粒子群优化聚类方法
Basu et al. Handwritten Bangla digit recognition using classifier combination through DS technique
CN112016605A (zh) 一种基于边界框角点对齐和边界匹配的目标检测方法
Samadiani et al. A neural network-based approach for recognizing multi-font printed English characters
CN105574213A (zh) 一种基于数据挖掘技术的微博推荐方法及装置
CN102262645A (zh) 信息处理装置、信息处理方法以及程序
CN110659367A (zh) 文本分类号的确定方法、装置以及电子设备
Sun et al. Financial distress prediction based on similarity weighted voting CBR
CN111859983A (zh) 基于人工智能的自然语言标注方法及相关设备
Singh et al. Feature selection based classifier combination approach for handwritten Devanagari numeral recognition
Chu et al. Co-training based on semi-supervised ensemble classification approach for multi-label data stream
CN114547301A (zh) 文档处理、识别模型训练方法、装置、设备及存储介质
CN106844596A (zh) 一种基于改进的svm中文文本分类方法
CN101894297A (zh) 判别设备、判别方法和计算机程序
CN102279927B (zh) 拒识方法和拒识装置
CN116629716A (zh) 一种智能交互系统工效分析方法
CN104778478A (zh) 一种手写数字识别方法
Gao et al. Handwritten text recognition with convolutional prototype network and most aligned frame based CTC training
EP3985529A1 (en) Labeling and data augmentation for graph data

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131023

Termination date: 20210608