CN111078821B - 字典设置方法、装置、介质及电子设备 - Google Patents
字典设置方法、装置、介质及电子设备 Download PDFInfo
- Publication number
- CN111078821B CN111078821B CN201911183938.0A CN201911183938A CN111078821B CN 111078821 B CN111078821 B CN 111078821B CN 201911183938 A CN201911183938 A CN 201911183938A CN 111078821 B CN111078821 B CN 111078821B
- Authority
- CN
- China
- Prior art keywords
- character
- dictionary
- index tag
- characters
- tag value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000004590 computer program Methods 0.000 claims description 10
- 230000001351 cycling effect Effects 0.000 claims description 8
- 102100032202 Cornulin Human genes 0.000 claims description 5
- 101000920981 Homo sapiens Cornulin Proteins 0.000 claims description 5
- 230000007547 defect Effects 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 14
- 240000007643 Phytolacca americana Species 0.000 description 11
- 238000000605 extraction Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000001965 increasing effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 210000000582 semen Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 241001494479 Pecora Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/316—Indexing structures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Character Discrimination (AREA)
Abstract
本发明提供了一种字典设置方法,包括:获取字典,所述字典中相似特征的字符的索引标签值连续;根据所述字典中每个字符的特征将所述字典中的字符分成N个字符集,每个字符集中字符的特征相似,N为正整数;基于所述字典中每个字符的索引标签值利用注意力模型对每个字符集中字符的索引标签值进行设置,以增大每个字符集中字符与字符之间的索引标签值的距离;基于设置后的字符集生成新字典,所述新字典中相似特征的字符的索引标签值不连续,提高利用字典识别字符的准确率,以及提升了对相似输入的泛化能力,而且有效地克服了输出的索引标签值相互错位的缺陷。
Description
技术领域
本发明涉及图像处理的技术领域,具体而言,涉及一种字典设置方法、装置、介质及电子设备。
背景技术
目前,字符识别系统在识别字符时需要利用字典对待识别字符进行识别,然后输出待识别字符的索引标签值。相关技术中的字典中的字符排列都是随机默认的。例如。将同音形近的字排列在一起,比如,“桶、诵、捅、俑、涌”在字典中的索引标签值分别为“225、226、227、228、229、230”。在这种情况下,如果利用该字典对待识别字符为“桶、诵、捅、俑、涌”进行识别时,输出的索引标签值容易与实际输出的索引标签值相互错位。例如,输出结果为228、225、227、230、229、226等,但是实际的索引标签值为225、226、227、228、229、230。因此导致字符识别系统对相似输入的泛化能力就会降低,容易产生误识别,从降低准确率。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明实施例的目的在于提供一种字典设置方法、装置、介质及电子设备,进而至少可以在一定程度上提高利用字典识别字符的准确率,以及提升了对相似输入的泛化能力,而且有效地克服了输出的索引标签值相互错位的缺陷。
本发明的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本发明的实践而习得。
根据本发明实施例的第一方面,提供了一种字典设置方法,包括:获取字典,所述字典中相似特征的字符的索引标签值连续;根据所述字典中每个字符的特征将所述字典中的字符分成N个字符集,每个字符集中字符的特征相似,N为正整数;基于所述字典中每个字符的索引标签值利用注意力模型对每个字符集中字符的索引标签值进行设置,以增大每个字符集中字符与字符之间的索引标签值的距离;基于设置后的字符集生成新字典,所述新字典中相似特征的字符的索引标签值不连续。
在本发明的一些实施例中,设所述字典中字符的个数为L,所述N个字符集分别为D1~DN,所述D1~DN中分别包括L1~LN个字符,L1+L2+……+LN=L,以及设k=i=j=1,k为所述字典的第k个字符,i为每个字符集的第i个字符,j为每个字符集D的下标和每个字符集所包含字符个数L的下标,其中,L、N、k、i、j分别为正整数,基于所述字典中每个字符的索引标签值利用注意力模型对每个字符集中字符的索引标签值进行设置包括:当j≤N且i≤Lj时,将字符集Dj中的第i个字符的索引标签值设置为所述字典中第k个字符的索引标签值;设置j=j+1,k=k+1;循环上述两个步骤,直到j>N停止设置。
在本发明的一些实施例中,基于所述字典中每个字符的索引标签值利用注意力模型对每个字符集中字符的索引标签值进行设置还包括:当j>N时,令i=i+1,j重置为1;当j≤N且i≤Lj时,将字符集Dj中的第i个字符的索引标签值设置为所述字典中第k个字符的索引标签值,设置j=j+1,k=k+1,循环该步骤,直到j>N停止设置;循环上述两个步骤,直到i>Lm停止设置,其中,Lm为L1~LN中的最大值。
在本发明的一些实施例中,所述新字典中相似特征的字符的索引标签值不连续包括:所述新字典中相似特征的字符的索引标签值距离为N。
在本发明的一些实施例中,该方法还包括:获取待识别字符图像,所述待识别图像中包含有相似特征的字符;对所述待识别图像进行特征提取,特征提取,得到所述待识别字符图像的特征序列;通过上述新字典对所述待识别字符图像的特征序列进行识别,得到相似特征的字符的索引标签值。
在本发明的一些实施例中,所述相似特征的字符的索引标签值的距离为N。
在本发明的一些实施例中,对所述待识别图像进行特征提取,得到所述待识别字符图像的特征序列包括:通过CRNN算法对所述待识别图像进行特征提取,得到所述待识别字符图像的特征序列。
根据本发明实施例的第二方面,提供了一种字典设置装置,包括:第一获取模块,用于获取字典,所述字典中相似特征的字符的索引标签值连续;划分模块,用于根据所述字典中每个字符的特征将所述字典中的字符划分成N个字符集,每个字符集中字符的特征相似,N为正整数;设置模块,基于所述字典中每个字符的索引标签值利用注意力模型对每个字符集中字符的索引标签值进行设置,以增大每个字符集中字符与字符之间的索引标签值的距离;生成模块,基于设置后的字符集生成新字典,所述新字典中相似特征的字符的索引标签值不连续。
在本发明的一些实施例中,设所述字典中字符的个数为L,所述N个字符集分别为D1~DN,所述D1~DN中分别包括L1~LN个字符,L1+L2+……+LN=L,以及设k=i=j=1,k为所述字典的第k个字符,i为每个字符集的第i个字符,j为每个字符集D的下标和每个字符集所包含字符个数L的下标,其中,L、N、k、i、j分别为正整数,上述设置模块配置为:当j≤N且i≤Lj时,将字符集Dj中的第i个字符的索引标签值设置为所述字典中第k个字符的索引标签值;设置j=j+1,k=k+1;循环上述两个步骤,直到j>N停止设置。
在本发明的一些实施例中,上述设置模块还可以配置为:当j>N时,令i=i+1,j重置为1;当j≤N且i≤Lj时,将字符集Dj中的第i个字符的索引标签值设置为所述字典中第k个字符的索引标签值,设置j=j+1,k=k+1,循环该步骤,直到j>N停止设置;循环上述两个步骤,直到i>Lm停止设置,其中,Lm为L1~LN中的最大值。
在本发明的一些实施例中,所述新字典中相似特征的字符的索引标签值不连续包括:所述新字典中相似特征的字符的索引标签值距离为N。
在本发明的一些实施例中,上述装置还包括:第二获取模块,用于获取待识别字符图像,所述待识别图像中包含有相似特征的字符;提取模块,用于对所述待识别图像进行特征提取;识别模块,用于通过上述新字典对提取的特征进行识别,得到相似特征的字符的索引标签值。
在本发明的一些实施例中,所述相似特征的字符的索引标签值的距离为N。
在本发明的一些实施例中,上述提取模块被配置为通过CRNN算法对所述待识别图像进行特征提取,得到所述待识别字符图像的特征序列。
根据本发明实施例的第三方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上述实施例中第一方面所述的字典设置方法。
根据本发明实施例的第四方面,提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现如上述实施例中第一方面所述的字典设置方法。
本发明实施例提供的技术方案可以包括以下有益效果:
在本发明的一些实施例所提供的技术方案中,基于字典中每个字符的索引标签值利用注意力模型对每个字符集中字符的索引标签值进行设置,以增大每个字符集中字符与字符之间的索引标签值的距离,基于设置后的字符集生成新字典,所述新字典中相似特征的字符的索引标签值不连续,以此方式设置的字典可以提高利用该字典识别字符的准确率,以及提升了对相似输入的泛化能力,而且有效地克服了输出的索引标签值相互错位的缺陷。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示出了可以应用本发明实施例的字典设置方法或字典设置装置的示例性系统架构的示意图;
图2示意性示出了根据本发明的实施例的字典设置方法的流程图;
图3示意性示出了根据本发明的另一个实施例的字典设置方法的流程图;
图4示意性示出了根据本发明的另一个实施例的字典设置方法的流程图;
图5示意性示出了根据本发明的另一个实施例的字典设置方法的流程图;
图6示意性示出了根据本发明的另一个实施例的字典设置方法的流程图;
图7示意性示出了根据本发明的实施例的字典设置装置的方框图;
图8示意性示出了根据本发明的另一个实施例的字典设置装置的方框图;
图9示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本发明将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本发明的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
图1示出了可以应用本发明实施例的字典设置方法或字典设置装置的示例性系统架构的示意图。
如图1所示,系统架构100可以包括终端设备101、102、103中的一种或多种,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103可以是具有显示屏的各种电子设备,包括但不限于智能手机、平板电脑、便携式计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器。例如用户利用终端设备103(也可以是终端设备101或102)向服务器105上传了字典,服务器105根据所述字典中每个字符的特征将所述字典中的字符分成N个字符集,每个字符集中字符的特征相似,N为正整数;基于所述字典中每个字符的索引标签值利用注意力模型对每个字符集中字符的索引标签值进行设置,以增大每个字符集中字符与字符之间的索引标签值的距离;基于设置后的字符集生成新字典,所述新字典中相似特征的字符的索引标签值不连续,以此方式设置的字典可以提高利用该字典识别字符的准确率,以及提升了对相似输入的泛化能力,而且有效地克服了输出的索引标签值相互错位的缺陷。
在一些实施例中,本发明实施例所提供的字典设置方法一般由服务器105执行,相应地,字典设置装置一般设置于服务器105中。在另一些实施例中,某些终端可以具有与服务器相似的功能从而执行本方法。因此,本发明实施例所提供的字典设置方法不限定在服务器端执行。
图2示意性示出了根据本发明的实施例的字典设置方法的流程图。
如图2所示,字典设置方法可以包括步骤S210~步骤S240。
在步骤S210中,获取字典,所述字典中相似特征的字符的索引标签值连续。
在步骤S220中,根据所述字典中每个字符的特征将所述字典中的字符分成N个字符集,每个字符集中字符的特征相似,N为正整数。
在步骤S230中,基于所述字典中每个字符的索引标签值利用注意力模型对每个字符集中字符的索引标签值进行设置,以增大每个字符集中字符与字符之间的索引标签值的距离。
在步骤S240中,基于设置后的字符集生成新字典,所述新字典中相似特征的字符的索引标签值不连续。
该方法可以基于字典中每个字符的索引标签值利用注意力模型对每个字符集中字符的索引标签值进行设置,以增大每个字符集中字符与字符之间的索引标签值的距离,基于设置后的字符集生成新字典,所述新字典中相似特征的字符的索引标签值不连续,以此方式设置的字典可以提高利用该字典识别字符的准确率,以及提升了对相似输入的泛化能力,而且有效地克服了输出的索引标签值相互错位的缺陷。
在本发明的一个实施例中,获取的字典可以是相关技术中的字典,该字典中的字符排列都是随机默认的。例如。将同音形近的字排列在一起,比如,“桶、诵、捅、俑、涌”在字典中的索引标签值分别为“225、226、227、228、229、230”。在这种情况下,如果利用该字典对待识别字符为“桶、诵、捅、俑、涌”进行识别时,输出的索引标签值容易与实际输出的索引标签值相互错位。例如,输出结果为228、225、227、230、229、226等,但是实际的索引标签值为225、226、227、228、229、230。因此导致字符识别系统对相似输入的泛化能力就会降低,容易产生误识别,从降低准确率。相反的,如果采用本发明的方法对相关技术中字典进行设置之后,可以增大相似特征的字符的索引标签值的距离。例如,相关技术中“桶、诵、捅、俑、涌”在字典中的索引标签值分别为“225、226、227、228、229、230”,通过上述方法设置可以增大“桶、诵、捅、俑、涌”的索引标签值,例如设置后的“桶、诵、捅、俑、涌”在字典中的索引标签值分别“1、101、201、301、401、501”等等。因此通过上述方法设置的字典可以提高利用该字典识别字符的准确率,以及提升了对相似输入的泛化能力,而且有效地克服了输出的索引标签值相互错位的缺陷。
在本发明的一个实施例中,根据字典中每个字符的特征将字典中的字符分成N个字符集,每个字符集中字符的特征相似,N为正整数。例如,字典中包含的字符为“桶、诵、捅、俑、涌、没、设、役、羊、详、样、洋、鲜、群、遥、摇、瑶、谣、译、择、泽、驿、绎”,此时可以根据该字典中每个字符的特征(例如,字符的特征可以为甬、殳、羊、等等)将其分为N(例如,N为5)个字符集。在本实施例中,不对字典中字符个数的多少和N的大小进行限定。
在本发明的一个实施例中,基于字典中每个字符的索引标签值利用注意力模型对每个字符集中字符的索引标签值进行设置,以增大每个字符集中字符与字符之间的索引标签值的距离。例如,假定N个字符中一个字符集中包含的字符为“桶、诵、捅、俑、涌”,这些字符在字典中的索引标签值分别为“225、226、227、228、229、230”,基于“桶、诵、捅、俑、涌”的索引标签值(即“225、226、227、228、229、230”)可以利用注意力模型对该字符集中字符的索引标签值进行设置,以增大该字符集中字符与字符之间的索引标签值的距离,例如设置后的“桶、诵、捅、俑、涌”的索引标签值分别为“1、101、201、301、401、501”。
在相关技术中,字典中相似特征的字符的索引标签值一般设置为连续的,例如,“桶、诵、捅、俑、涌”在字典中的索引标签值分别为“225、226、227、228、229、230”。通过上述方法生成的新字典中相似特征的字符的索引标签值不连续,例如,“桶、诵、捅、俑、涌”在新字典中的索引标签值分别为“1、101、201、301、401、501”。优选地,上述相似特征的字符的索引标签值的距离为N,这样最大程度的增大了相似特征的字符的索引标签值的距离,进一步优化索引标签值相互错位的缺陷,从而进一步提高了识别字符时的准确度。
在本发明的一个实施例中,在执行步骤S230时可以设字典中字符的个数为L,所述N个字符集分别为D1~DN,所述D1~DN中分别包括L1~LN个字符,L1+L2+……+LN=L,以及设k=i=j=1,k为所述字典的第k个字符,i为每个字符集的第i个字符,j为每个字符集D的下标和每个字符集所包含字符个数L的下标,其中,L、N、k、i、j分别为正整数。
图3示意性示出了根据本发明的另一个实施例的字典设置方法的流程图。
如图3所示,上述步骤S230可以包括步骤S310~步骤S330。
在步骤S310中,当j≤N且i≤Lj时,将字符集Dj中的第i个字符的索引标签值设置为所述字典中第k个字符的索引标签值。
在步骤S320中,设置j=j+1,k=k+1。
在步骤S330中,循环上述两个步骤,直到j>N停止设置。
该方法可以将字符集Dj中的第i个字符的索引标签值设置为字典中第k个字符的索引标签值来增大每个字符集中字符与字符之间的索引标签值的距离,有效地克服了输出的索引标签值相互错位的缺陷,从而提高利用该字典识别字符的准确率,以及提升了对相似输入的泛化能力。
基于前述方案,例如,L为1000,即L1+L2+……+LN=1000,其中,L1=120,L2=230。N为100,即可以将字典分成D1~D100。
在k=i=j=1时,即1≤100且1≤L1时,将字符集D1中的第1个字符的索引标签值设置为字典中第1个字符的索引标签值。例如,字典中第1个字符的索引标签值为1,D1中的第1个字符的索引标签值221,经过步骤S310之后,D1中的第1个字符的索引标签值221将设置为1,即字典中第1个字符的索引标签值。
在k=j=2时,即2≤100且1≤L1时,将字符集D2中的第1个字符的索引标签值设置为字典中第2个字符的索引标签值。例如,字典中第2个字符的索引标签值为2,D2中的第1个字符的索引标签值454,经过步骤S310之后,D2中的第1个字符的索引标签值454将设置为2,即字典中第2个字符的索引标签值。
在k=j=3时,即3≤100且1≤L1时,将字符集D3中的第1个字符的索引标签值设置为字典中第3个字符的索引标签值。例如,字典中第3个字符的索引标签值为3,D3中的第1个字符的索引标签值125,经过步骤S310之后,D3中的第1个字符的索引标签值125将设置为3,即字典中第3个字符的索引标签值。
循环步骤S310和步骤S320,可以将D1~D100中的每个字符集中的第1字符的索引标签值设置为字典中第k个字符的索引标签值,从而增大了D1~D100中的每个字符集中的第1个字符和第2个字符的索引标签值的距离。例如,在k=j=100时,即100≤100且1≤L1时,将字符集D100中的第1个字符的索引标签值设置为字典中第100个字符的索引标签值。例如,字典中第100个字符的索引标签值为100,D100中的第1个字符的索引标签值45,经过步骤S310之后,D100中的第1个字符的索引标签值45将设置为100,即字典中第100个字符的索引标签值。
基于前述方案,当j>N时停止设置,例如,j=101时停止设置。
图4示意性示出了根据本发明的另一个实施例的字典设置方法的流程图。
如图4所示,上述步骤S230还可以包括步骤S410~步骤S430。
在步骤S410中,当j>N时,令i=i+1,j重置为1。
在步骤S420中,当j≤N且i≤Lj时,将字符集Dj中的第i个字符的索引标签值设置为所述字典中第k个字符的索引标签值,设置j=j+1,k=k+1,循环该步骤,直到j>N停止设置。
在步骤S430中,循环上述两个步骤,直到i>Lm停止设置,其中,Lm为L1~LN中的最大值。
在该方法中,当j>N时,可以令i=i+1,j重置为1,然后再根据j≤N且i≤L将字符集Dj中的第i个字符的索引标签值设置为字典中第k个字符的索引标签值来增大每个字符集中字符与字符之间的索引标签值的距离,有效地克服了输出的索引标签值相互错位的缺陷,从而提高利用该字典识别字符的准确率,以及提升了对相似输入的泛化能力。
基于前述方案,在k=101,j=1时,即1≤100且2≤L2时,将字符集D1中的第2个字符的索引标签值设置为字典中第101个字符的索引标签值。例如,字典中第101个字符的索引标签值为101,D1中的第2个字符的索引标签值222,经过步骤S420之后,D1中的第2个字符的索引标签值222将设置为101,即字典中第101个字符的索引标签值。
在k=102,j=2时,即2≤100且2≤L2时,将字符集D2中的第2个字符的索引标签值设置为字典中第102个字符的索引标签值。例如,字典中第102个字符的索引标签值为102,D2中的第2个字符的索引标签值455,经过步骤S420之后,D2中的第2个字符的索引标签值455将设置为102,即字典中第102个字符的索引标签值。
在k=103,j=3时,即3≤100且2≤L2时,将字符集D3中的第2个字符的索引标签值设置为字典中第103个字符的索引标签值。例如,字典中第103个字符的索引标签值为103,D3中的第2个字符的索引标签值126,经过步骤S420之后,D3中的第2个字符的索引标签值126将设置为103,即字典中第103个字符的索引标签值。
循环步骤S410和步骤S420,可以将D1~D100中的每个字符集中的第2字符~第L1~L100个字符的索引标签值设置为字典中第k个字符的索引标签值,从而增大了D1~D100中的每个字符集中的第2字符~第L1~L100个字符的索引标签值的距离。例如,在k=1000,j可以为具体循环时的值,例如100时,即100≤100且i(即i为L1~L100中的最大值Lm)≤Lm时,将字符集D100中的第Lm个字符的索引标签值设置为字典中第1000个字符的索引标签值。例如,字典中第1000个字符的索引标签值为1000,D100中的第Lm个字符的索引标签值752,经过步骤S420之后,D100中的第Lm个字符的索引标签值752将设置为1000,即字典中第1000个字符的索引标签值。
基于前述方案,当i>Lm时停止设置,例如,i=1001时停止设置。
通过图3实施例和图4实施例可以对上述字典中每个字符的索引标签值进行重新设置,以生成新字典。以此方式设置的字典可以提高利用该字典识别字符的准确率,以及提升了对相似输入的泛化能力,而且有效地克服了输出的索引标签值相互错位的缺陷。
图5示意性示出了根据本发明的另一个实施例的字典设置方法的流程图。
基于上述方案,字典设置方法包括步骤S1~步骤S10,具体如图5所示。
在步骤S1中,确定用作字典的字符集D,基于为L,其中,L为字符集D含有字符的个数。
在步骤S2中,根据字符特征,将字符集D分成N个子类D1、D2、...、DN(基数分别为L1、L2、...、LN,L1+L2+...+LN=L)。
在步骤S3中,设置L_M=max(L1、L2、...、LN),i=j=k=1
在步骤S4中,如果i≤L_M执行S5,反之,如果i>L_M,转到S10。
在步骤S5中,如果j≤N执行S6,反之,如果j>N,转到S9。
在步骤S6中,如果i≤Lj执行S7,反之,如果i>Lj转到S8
在步骤S7中,将字符集Dj中的第i个字符的索引标签值设置为字典中第k个字符的索引标签值。
在步骤S8中,设置j=j+1。
在步骤S9中,设置i=i+1。
在步骤S10中,输出字典。
通过上述方法可以对字典的字符集D中每个字符的索引标签值进行重新设置,以输出新字典。以此方式设置的字典可以提高利用该字典识别字符的准确率,以及提升了对相似输入的泛化能力,而且有效地克服了输出的索引标签值相互错位的缺陷。
图6示意性示出了根据本发明的另一个实施例的字典设置方法的流程图。
如图6所示,上述方法还包括步骤S610~步骤S630。
在步骤S610中,获取待识别字符图像,所述待识别图像中包含有相似特征的字符。
在步骤S620中,对所述待识别图像进行特征提取,得到所述所述待识别字符图像的特征序列。
在步骤S630中,通过上述新字典对所述待识别字符图像的特征序列进行识别,得到相似特征的字符的索引标签值。
该方法可以通过上述新字典对提取的特征进行识别,得到相似特征的字符的索引标签值,以此方式得到的相似特征的字符的索引标签值更加准确,而且有效地克服了输出的索引标签值相互错位的缺陷。
在本发明的一个实施例中,上述相似特征的字符的索引标签值的距离为N,这样最大程度的增大了相似特征的字符的索引标签值的距离,进一步优化索引标签值相互错位的缺陷,从而进一步提高了识别字符时的准确度。
在本发明的一个实施例中,对所述待识别图像进行特征提取,得到所述待识别字符图像的特征序列包括:通过CRNN算法对所述待识别图像进行特征提取,得到所述待识别字符图像的特征序列,以此方式提取图像特征有助于后续利用新字典识别,进而提高了识别字符时的准确度。
图7示意性示出了根据本发明的实施例的字典设置装置的方框图。
如图7所示,字典设置装置700包括第一获取模块710、划分模块720、设置模块730和生成模块740。
具体地,第一获取模块710,用于获取字典,所述字典中相似特征的字符的索引标签值连续。
划分模块720,用于根据所述字典中每个字符的特征将所述字典中的字符划分成N个字符集,每个字符集中字符的特征相似,N为正整数。
设置模块730,基于所述字典中每个字符的索引标签值利用注意力模型对每个字符集中字符的索引标签值进行设置,以增大每个字符集中字符与字符之间的索引标签值的距离。
生成模块740,基于设置后的字符集生成新字典,所述新字典中相似特征的字符的索引标签值不连续。
该字典设置装置700可以基于字典中每个字符的索引标签值利用注意力模型对每个字符集中字符的索引标签值进行设置,以增大每个字符集中字符与字符之间的索引标签值的距离,基于设置后的字符集生成新字典,所述新字典中相似特征的字符的索引标签值不连续,以此方式设置的字典可以提高利用该字典识别字符的准确率,以及提升了对相似输入的泛化能力,而且有效地克服了输出的索引标签值相互错位的缺陷。
根据本发明的实施例,该字典设置装置700可以用于实现图2实施例描述的字典设置方法。
在本公开的一些实施例中,上述设置模块730配置为:当j≤N且i≤Lj时,将字符集Dj中的第i个字符的索引标签值设置为所述字典中第k个字符的索引标签值;设置j=j+1,k=k+1;循环上述两个步骤,直到j>N停止设置。
在本公开的一些实施例中,上述设置模块730还可以配置为:当j>N时,令i=i+1,j重置为1;当j≤N且i≤Lj时,将字符集Dj中的第i个字符的索引标签值设置为所述字典中第k个字符的索引标签值,设置j=j+1,k=k+1,循环该步骤,直到j>N停止设置;循环上述两个步骤,直到i>Lm停止设置,其中,Lm为L1~LN中的最大值。
图8示意性示出了根据本发明的另一个实施例的字典设置装置的方框图。
如图8所示,上述字典设置装置700还包括第二获取模块810、提取模块820和识别模块830。
具体地,第二获取模块810,用于获取待识别字符图像,所述待识别图像中包含有相似特征的字符。
提取模块820,用于对所述待识别图像进行特征提取。
识别模块830,用于通过上述新字典对提取的特征进行识别,得到相似特征的字符的索引标签值。
该字典设置装置700可以通过上述新字典对提取的特征进行识别,得到相似特征的字符的索引标签值,以此方式得到的相似特征的字符的索引标签值更加准确,而且有效地克服了输出的索引标签值相互错位的缺陷。
根据本发明的实施例,该字典设置装置700可以用于实现图6实施例描述的字典设置方法。
在本发明的一些实施例中,上述提取模块820被配置为通过CRNN算法对所述待识别图像进行特征提取,得到所述待识别字符图像的特征序列。
可以理解的是,第一获取模块710、划分模块720、设置模块730、生成模块740、第二获取模块810、提取模块820和识别模块830可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本发明的实施例,第一获取模块710、划分模块720、设置模块730、生成模块740、第二获取模块810、提取模块820和识别模块830中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式的适当组合来实现。或者,第一获取模块710、划分模块720、设置模块730、生成模块740、第二获取模块810、提取模块820和识别模块830中的至少一个可以至少被部分地实现为计算机程序模块,当该程序被计算机运行时,可以执行相应模块的功能。
由于本发明的示例实施例的字典设置装置700的各个模块可以用于实现上述2~图6描述的字典设置方法的示例实施例的步骤,因此对于本发明装置实施例中未披露的细节,请参照本发明上述的数据处理方法的实施例。
下面参考图9,其示出了适于用来实现本发明实施例的电子设备的计算机系统900的结构示意图。图9示出的电子设备的计算机系统900仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示,计算机系统900包括中央处理单元(CPU)901,其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中,还存储有系统操作所需的各种程序和数据。CPU901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905:包括键盘、鼠标等的输入部分906;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907;包括硬盘等的存储部分908;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器910上,以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地,根据本发明的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分909从网络上被下载和安装,和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时,执行本申请的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如上述实施例中所述的字典设置方法。
例如,所述的电子设备可以实现如图2中所示的:在步骤S210中,获取字典,所述字典中相似特征的字符的索引标签值连续。在步骤S220中,根据所述字典中每个字符的特征将所述字典中的字符分成N个字符集,每个字符集中字符的特征相似,N为正整数。在步骤S230中,基于所述字典中每个字符的索引标签值利用注意力模型对每个字符集中字符的索引标签值进行设置,以增大每个字符集中字符与字符之间的索引标签值的距离。在步骤S240中,基于设置后的字符集生成新字典,所述新字典中相似特征的字符的索引标签值不连续。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本发明实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (9)
1.一种字典设置方法,其特征在于,包括:
获取字典,所述字典中相似特征的字符的索引标签值连续;
根据所述字典中每个字符的特征将所述字典中的字符分成N个字符集,每个字符集中字符的特征相似,N为正整数;
基于所述字典中每个字符的索引标签值利用注意力模型对每个字符集中字符的索引标签值进行设置,以增大每个字符集中字符与字符之间的索引标签值的距离;
基于设置后的字符集生成新字典, 所述新字典中相似特征的字符的索引标签值不连续。
2.根据权利要求1所述的方法,其特征在于,设所述字典中字符的个数为L,所述N个字符集分别为D1~DN,所述D1~DN中分别包括L1~LN个字符,L1+L2+……+LN=L,以及设k=i=j=1,k为所述字典的第k个字符,i为每个字符集的第i个字符,j为每个字符集D的下标和每个字符集所包含字符个数L的下标,其中,L、N、k、i、j分别为正整数,
基于所述字典中每个字符的索引标签值利用注意力模型对每个字符集中字符的索引标签值进行设置包括:
当j≤N且i≤Lj时,将字符集Dj中的第i个字符的索引标签值设置为所述字典中第k个字符的索引标签值;
设置j=j+1,k=k+1;
循环上述两个步骤,直到j>N停止设置。
3.根据权利要求2所述的方法,其特征在于,基于所述字典中每个字符的索引标签值利用注意力模型对每个字符集中字符的索引标签值进行设置还包括:
当j>N时,令i=i+1,j重置为1;
当j≤N且i≤Lj时,将字符集Dj中的第i个字符的索引标签值设置为所述字典中第k个字符的索引标签值,设置j=j+1,k=k+1,循环该步骤,直到j>N停止设置;
循环上述两个步骤,直到i>Lm停止设置,其中,Lm为L1~LN中的最大值。
4.根据权利要求1~3任意一项所述的方法,其特征在于,该方法还包括:
获取待识别字符图像,所述待识别图像中包含有相似特征的字符;
对所述待识别图像进行特征提取,得到所述待识别字符图像的特征序列;
通过所述新字典对所述待识别字符图像的特征序列进行识别,得到所述相似特征的字符的索引标签值。
5.根据权利要求4所述的方法,其特征在于,所述相似特征的字符的索引标签值的距离为N。
6.根据权利要求4所述的方法,其特征在于,对所述待识别图像进行特征提取,得到所述待识别字符图像的特征序列包括:
通过CRNN算法对所述待识别图像进行特征提取,得到所述待识别字符图像的特征序列。
7.一种字典设置装置,其特征在于,包括:
获取模块,用于获取字典,所述字典中相似特征的字符的索引标签值连续;
划分模块,用于根据所述字典中每个字符的特征将所述字典中的字符划分成N个字符集,每个字符集中字符的特征相似,N为正整数;
设置模块,基于所述字典中每个字符的索引标签值利用注意力模型对每个字符集中字符的索引标签值进行设置,以增大每个字符集中字符与字符之间的索引标签值的距离;
生成模块,基于设置后的字符集生成新字典, 所述新字典中相似特征的字符的索引标签值不连续。
8.一种电子设备,包括:
一个或多个处理器;以及
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现根据权利要求1~6中任意一项所述的方法。
9.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现根据权利要求1~6中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911183938.0A CN111078821B (zh) | 2019-11-27 | 2019-11-27 | 字典设置方法、装置、介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911183938.0A CN111078821B (zh) | 2019-11-27 | 2019-11-27 | 字典设置方法、装置、介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111078821A CN111078821A (zh) | 2020-04-28 |
CN111078821B true CN111078821B (zh) | 2023-12-08 |
Family
ID=70311875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911183938.0A Active CN111078821B (zh) | 2019-11-27 | 2019-11-27 | 字典设置方法、装置、介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111078821B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111898424B (zh) * | 2020-06-19 | 2023-07-21 | 贝壳技术有限公司 | 文字识别模型训练方法、装置、电子设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0207037D0 (en) * | 2001-11-06 | 2002-05-08 | Fujitsu Ltd | Retrieval system and method using distance index |
JP2004185264A (ja) * | 2002-12-03 | 2004-07-02 | Canon Inc | 文字認識方法 |
CN1916940A (zh) * | 2005-08-18 | 2007-02-21 | 北大方正集团有限公司 | 模板优化的字符识别方法和系统 |
CN103365998A (zh) * | 2013-07-12 | 2013-10-23 | 华东师范大学 | 一种相似字符串检索方法 |
CN107784110A (zh) * | 2017-11-03 | 2018-03-09 | 北京锐安科技有限公司 | 一种索引建立方法及装置 |
CN108133012A (zh) * | 2017-12-22 | 2018-06-08 | 新奥(中国)燃气投资有限公司 | 一种标签设置方法及装置 |
CN110069753A (zh) * | 2018-01-24 | 2019-07-30 | 北京京东尚科信息技术有限公司 | 一种生成相似度信息的方法和装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005352888A (ja) * | 2004-06-11 | 2005-12-22 | Hitachi Ltd | 表記揺れ対応辞書作成システム |
CN107203567A (zh) * | 2016-03-18 | 2017-09-26 | 伊姆西公司 | 用于搜索字串的方法和设备 |
-
2019
- 2019-11-27 CN CN201911183938.0A patent/CN111078821B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0207037D0 (en) * | 2001-11-06 | 2002-05-08 | Fujitsu Ltd | Retrieval system and method using distance index |
JP2004185264A (ja) * | 2002-12-03 | 2004-07-02 | Canon Inc | 文字認識方法 |
CN1916940A (zh) * | 2005-08-18 | 2007-02-21 | 北大方正集团有限公司 | 模板优化的字符识别方法和系统 |
CN103365998A (zh) * | 2013-07-12 | 2013-10-23 | 华东师范大学 | 一种相似字符串检索方法 |
CN107784110A (zh) * | 2017-11-03 | 2018-03-09 | 北京锐安科技有限公司 | 一种索引建立方法及装置 |
CN108133012A (zh) * | 2017-12-22 | 2018-06-08 | 新奥(中国)燃气投资有限公司 | 一种标签设置方法及装置 |
CN110069753A (zh) * | 2018-01-24 | 2019-07-30 | 北京京东尚科信息技术有限公司 | 一种生成相似度信息的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111078821A (zh) | 2020-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110225366B (zh) | 视频数据处理及广告位确定方法、装置、介质及电子设备 | |
CN108985066B (zh) | 一种智能合约安全漏洞检测方法、装置、终端及存储介质 | |
US11282502B2 (en) | Method for utterance generation, smart device, and computer readable storage medium | |
CN108629414B (zh) | 深度哈希学习方法及装置 | |
CN110321958A (zh) | 神经网络模型的训练方法、视频相似度确定方法 | |
CN114047929B (zh) | 基于知识增强的用户定义函数识别方法、装置及介质 | |
CN110555334B (zh) | 人脸特征确定方法、装置、存储介质及电子设备 | |
US11915058B2 (en) | Video processing method and device, electronic equipment and storage medium | |
CN113158656B (zh) | 讽刺内容识别方法、装置、电子设备以及存储介质 | |
CN109714356A (zh) | 一种异常域名的识别方法、装置及电子设备 | |
CN113140012B (zh) | 图像处理方法、装置、介质及电子设备 | |
CN111310743B (zh) | 人脸识别方法、装置、电子设备及可读存储介质 | |
WO2024131406A1 (zh) | 模型构建方法、图像分割方法、装置、设备、介质 | |
CN108595211B (zh) | 用于输出数据的方法和装置 | |
CN114780701B (zh) | 自动问答匹配方法、装置、计算机设备及存储介质 | |
CN112256911A (zh) | 一种音频匹配方法、装置和设备 | |
CN111078821B (zh) | 字典设置方法、装置、介质及电子设备 | |
CN110472227B (zh) | 一种词汇掌握程度评估方法、装置、终端设备及存储介质 | |
CN109165723B (zh) | 用于处理数据的方法和装置 | |
CN111914987A (zh) | 基于神经网络的数据处理方法及装置、设备和可读介质 | |
CN114358023A (zh) | 智能问答召回方法、装置、计算机设备及存储介质 | |
CN116127925B (zh) | 基于对文本进行破坏处理的文本数据增强方法及装置 | |
CN115700845B (zh) | 人脸识别模型训练方法、人脸识别方法、装置及相关设备 | |
CN115512181A (zh) | 一种区域生成网络训练方法、装置及可读存储介质 | |
CN115618019A (zh) | 知识图谱构建方法、装置及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |