CN116778505B - 一种汉字识别方法、装置、电子设备及存储介质 - Google Patents
一种汉字识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116778505B CN116778505B CN202310837931.6A CN202310837931A CN116778505B CN 116778505 B CN116778505 B CN 116778505B CN 202310837931 A CN202310837931 A CN 202310837931A CN 116778505 B CN116778505 B CN 116778505B
- Authority
- CN
- China
- Prior art keywords
- radical
- stroke
- chinese character
- feature
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000000605 extraction Methods 0.000 claims description 87
- 238000010586 diagram Methods 0.000 claims description 48
- 230000004927 fusion Effects 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 20
- 238000004458 analytical method Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 description 22
- 239000013598 vector Substances 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Character Discrimination (AREA)
Abstract
本发明涉及一种汉字识别方法、装置、电子设备及存储介质,方法包括:确定汉字图像对应的第一笔画特征和预测笔画编码和汉字图像对应的第一部首特征和预测部首编码;对预测笔画编码与笔画编码集进行比对处理,将笔画编码集中满足笔画编码相似度条件的笔画编码对应的汉字,确定为第一目标汉字;对预测部首编码与部首编码集进行比对处理,将部首编码集中满足部首编码相似度条件的部首编码对应的汉字,确定为第二目标汉字;确定第一目标汉字对应的第二笔画特征和第二目标汉字对应的第二部首特征;根据第一笔画特征、第二笔画特征、第一部首特征和第二部首特征,确定汉字图像的识别结果。本发明能够提高汉字图像的识别结果的准确度。
Description
技术领域
本发明涉及汉字识别技术领域,特别涉及一种汉字识别方法、装置、电子设备及存储介质。
背景技术
汉字在日常生活中发挥了重要作用,对于汉字的识别已经研究了几十年。相关技术中,汉字的识别过程通常利用汉字的笔画信息对汉字进行识别,确定汉字的文本类型。但是,由于不同汉字的笔画组成存在相同或相近的情况,仅仅依靠汉字的笔画信息确定汉字的文本类型往往存在较大误差。因此,如何使汉字的识别更加准确,是一项重要而具有挑战性的任务。
发明内容
为了解决上述提出的至少一个技术问题,本公开提出了一种汉字识别方法、装置、电子设备及存储介质。
一方面,本公开提供了一种汉字识别方法,包括:
获取汉字图像、笔画编码集和部首编码集,笔画编码集包括至少一个汉字文本对应的笔画编码,部首编码集包括至少一个汉字文本对应的部首编码;
确定汉字图像对应的第一笔画特征和预测笔画编码,以及汉字图像对应的第一部首特征和预测部首编码,预测笔画编码表征预测出的汉字图像的各笔画所对应的序列号,预测部首编码表征预测出的汉字图像的各部首以及汉字结构所对应的序列号;
对预测笔画编码与笔画编码集进行比对处理,将笔画编码集中满足笔画编码相似度条件的至少一个笔画编码各自对应的汉字,确定为第一目标汉字;
对预测部首编码与部首编码集进行比对处理,将部首编码集中满足部首编码相似度条件的至少一个部首编码各自对应的汉字,确定为第二目标汉字;
确定第一目标汉字各自对应的第二笔画特征和第二目标汉字各自对应的第二部首特征;
根据第一笔画特征、第二笔画特征、第一部首特征和第二部首特征,确定汉字图像的识别结果。
在一个可选的实施例中,根据第一笔画特征、第二笔画特征、第一部首特征和第二部首特征,确定汉字图像的识别结果,包括:
对第二笔画特征和第一笔画特征进行比对处理,得到第三目标汉字以及第三目标汉字对应的相似度值,第三目标汉字为第二笔画特征中与第一笔画特征相似度最高的笔画特征所对应的汉字;
对第二部首特征和第一部首特征进行比对处理,得到第四目标汉字以及第四目标汉字对应的相似度值,第四目标汉字为第二部首特征中与第一部首特征相似度最高的部首特征所对应的汉字;
将第四目标汉字对应的相似度值除以第三目标汉字对应的相似度值,得到相似度比值;
在相似度比值小于预设比值的情况下,将汉字图像的识别结果确定为第三目标汉字;
在相似度比值大于预设比值的情况下,将汉字图像的识别结果确定为第四目标汉字。
在一个可选的实施例中,确定汉字图像对应的第一笔画特征和预测笔画编码,以及汉字图像对应的第一部首特征和预测部首编码,包括:
将汉字图像分别输入训练好的笔画特征提取模型和部首特征提取模型,分别得到第一笔画特征和第一部首特征;
确定第一笔画特征和第一部首特征各自对应的权重;
将第一笔画特征和第一部首特征分别与各自对应的权重相乘,得到笔画特征图和部首特征图;
将笔画特征图和部首特征图分别输入训练好的笔画编码模型和部首编码模型,分别得到预测笔画编码和预测部首编码。
在一个可选的实施例中,确定第一笔画特征和第一部首特征各自对应的权重,包括:
融合第一笔画特征和第一部首特征,得到融合特征;
对融合特征进行权值分析,得到第一笔画特征和第一部首特征各自对应的权重。
在一个可选的实施例中,确定第一目标汉字各自对应的第二笔画特征和第二目标汉字各自对应的第二部首特征,包括:
将第一目标汉字输入训练好的笔画特征提取模型,得到第一目标汉字各自对应的第二笔画特征;
将第二目标汉字输入训练好的部首特征提取模型,得到第二目标汉字各自对应的第二部首特征。
在一个可选的实施例中,方法还包括:得到训练好的笔画特征提取模型和部首特征提取模型,以及训练好的笔画编码模型和部首编码模型的训练过程,训练过程包括:
获取样本汉字图像,样本汉字图像携带有笔画标签和部首标签;
将样本汉字图像分别输入预设笔画特征提取模型和预设部首特征提取模型,分别得到样本笔画特征和样本部首特征;
确定样本笔画特征和样本部首特征各自对应的初始权重;
将样本笔画特征和样本部首特征分别与各自对应的初始权重相乘,得到样本笔画特征图和样本部首特征图;
将样本笔画特征图和样本部首特征图分别输入预设笔画编码模型和预设部首编码模型,分别得到样本笔画编码和样本部首编码;
根据样本笔画编码与笔画标签的差异,得到笔画损失值;
根据样本部首编码与部首标签的差异,得到部首损失值;
基于笔画损失值和部首损失值,训练预设笔画特征提取模型、预设部首特征提取模型、预设笔画编码模型和预设部首编码模型,得到训练好的笔画特征提取模型和部首特征提取模型,以及训练好的笔画编码模型和部首编码模型。
在一个可选的实施例中,确定样本笔画特征和样本部首特征各自对应的初始权重,包括:
融合样本笔画特征和样本部首特征,得到样本融合特征;
对样本融合特征进行权值分析,得到样本笔画特征和样本部首特征各自对应的初始权重。
第二方面,本发明还提供了一种汉字识别装置,包括:
获取模块,用于获取汉字图像、笔画编码集和部首编码集,笔画编码集包括至少一个汉字文本对应的笔画编码,部首编码集包括至少一个汉字文本对应的部首编码;
第一特征提取模块,用于确定汉字图像对应的第一笔画特征和预测笔画编码,以及汉字图像对应的第一部首特征和预测部首编码,预测笔画编码表征预测出的汉字图像的各笔画所对应的序列号,预测部首编码表征预测出的汉字图像的各部首以及汉字结构所对应的序列号;
第一比对模块,用于对预测笔画编码与笔画编码集进行比对处理,将笔画编码集中满足笔画编码相似度条件的至少一个笔画编码各自对应的汉字,确定为第一目标汉字;
第二比对模块,用于对预测部首编码与部首编码集进行比对处理,将部首编码集中满足部首编码相似度条件的至少一个部首编码各自对应的汉字,确定为第二目标汉字;
第二特征提取模块,用于确定第一目标汉字各自对应的第二笔画特征和第二目标汉字各自对应的第二部首特征;
识别模块,用于根据第一笔画特征、第二笔画特征、第一部首特征和第二部首特征,确定汉字图像的识别结果。
第三方面,本发明还提供了一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,处理器用于执行指令,以实现上述汉字识别方法。
第四方面,本发明还提供了一种存储介质,当存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述汉字识别方法。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。
实施本公开,具有以下有益效果:
获取汉字图像、笔画编码集和部首编码集,笔画编码集包括至少一个汉字文本对应的笔画编码,部首编码集包括至少一个汉字文本对应的部首编码;确定汉字图像对应的第一笔画特征和预测笔画编码,以及汉字图像对应的第一部首特征和预测部首编码,预测笔画编码表征预测出的汉字图像的各笔画所对应的序列号,预测部首编码表征预测出的汉字图像的各部首以及汉字结构所对应的序列号;对预测笔画编码与笔画编码集进行比对处理,将笔画编码集中满足笔画编码相似度条件的至少一个笔画编码各自对应的汉字,确定为第一目标汉字;对预测部首编码与部首编码集进行比对处理,将部首编码集中满足部首编码相似度条件的至少一个部首编码各自对应的汉字,确定为第二目标汉字;确定第一目标汉字各自对应的第二笔画特征和第二目标汉字各自对应的第二部首特征;根据第一笔画特征、第二笔画特征、第一部首特征和第二部首特征,确定汉字图像的识别结果。
本申请通过对预测笔画编码与笔画编码集的比对处理,以及对预测部首编码与部首编码集的比对处理,能够分别从笔画编码相似度及部首编码相似度的角度,分别确定出各自相似的汉字;根据第一笔画特征、第一目标汉字各自对应的第二笔画特征、第一部首特征和第二目标汉字各自对应的第二部首特征,确定汉字图像的识别结果,能够综合汉字图像的部首特征以及满足预设部首相似度条件的第二目标汉字的部首特征,使汉字图像的识别结果更加准确。
根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的实施环境示意图;
图2是根据一示例性实施例示出的一种汉字识别方法的流程图;
图3是根据一示例性实施例示出的一种笔画部首分解的示意图;
图4是根据一示例性实施例示出的一种汉字识别方法示意图;
图5是根据一示例性实施例示出的一种汉字识别装置框图;
图6是根据一示例性实施例示出的一种用于汉字识别的电子设备的框图。
具体实施方式
下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外,为了更好地说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
相关技术中,汉字的识别过程通常利用汉字的笔画信息对汉字进行识别,确定汉字的文本类型。但是,由于不同汉字的笔画组成存在相同或相近的情况,仅仅依靠汉字的笔画信息确定汉字的文本类型往往存在较大误差。
为了使汉字识别结果更加准确,本公开实施例提供一种汉字识别方法。
请参阅图1,图1是根据一示例性实施例示出的一种应用环境的示意图,如图1所示,该应用环境可以包括服务器01和终端02。
在一个可选的实施例中,服务器01可以用于汉字识别方法进行计算处理。具体的,服务器01可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一个可选的实施例中,终端02可以结合服务器01的汉字识别方法进行计算处理。具体的,终端02可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、智能可穿戴设备等类型的电子设备。可选的,电子设备上运行的操作系统可以包括但不限于安卓系统、IOS系统、Linux系统、Windows系统、Unix系统等。
例如,在终端02上输入汉字图像、笔画编码集和部首编码集,笔画编码集包括至少一个汉字文本对应的笔画编码,部首编码集包括至少一个汉字文本对应的部首编码;服务器01获取终端02上的汉字图像、笔画编码集和部首编码集;确定汉字图像对应的第一笔画特征和预测笔画编码,以及汉字图像对应的第一部首特征和预测部首编码,预测笔画编码表征预测出的汉字图像的各笔画所对应的序列号,预测部首编码表征预测出的汉字图像的各部首以及汉字结构所对应的序列号;对预测笔画编码与笔画编码集进行比对处理,将笔画编码集中满足笔画编码相似度条件的至少一个笔画编码各自对应的汉字,确定为第一目标汉字;对预测部首编码与部首编码集进行比对处理,将部首编码集中满足部首编码相似度条件的至少一个部首编码各自对应的汉字,确定为第二目标汉字;确定第一目标汉字各自对应的第二笔画特征和第二目标汉字各自对应的第二部首特征;根据第一笔画特征、第二笔画特征、第一部首特征和第二部首特征,确定汉字图像的识别结果;最后将识别结果传输到终端02上。
此外,需要说明的是,图1所示的仅仅是本公开提供的一种应用环境,在实际应用中,还可以包括其他应用环境。
本说明书实施例中,上述服务器01以及终端02可以通过有线或无线通信方式进行直接或间接地连接,本公开在此不做限制。
图2是根据一示例性实施例示出的一种汉字识别方法的流程图,如图2所示,汉字识别方法,包括以下:
步骤S201:获取汉字图像、笔画编码集和部首编码集,笔画编码集包括至少一个汉字文本对应的笔画编码,部首编码集包括至少一个汉字文本对应的部首编码。
本公开实施例中,汉字图像可以是任意汉字所对应的汉字图像。笔画编码集包括至少一个汉字文本及其对应的笔画编码,汉字全部由32个基本笔画组成,可分为五大类,即包括横、竖、左撇、右撇、折,如图3中的(b)所示。因此,对于每个汉字,可以使用作为其笔画数的维度的简单编码来编码其笔画级分解,具体来说,如果该汉字的第i个笔画属于图3中的(b)所示的第j种类别,则笔画编码的第i个分量为j ∈ {1,2,3,4,5}。图3中的(a)显示了一个具体的例子,汉字“炽”的笔画编码是“433425134”。部首编码集包括至少一个汉字文本及其对应的部首编码,部首编码表征组成汉字文本的各部首以及该汉字文本的结构所对应的序列号,汉字全部由394个部首组成,可表示为12种基本空间结构,如图3中的(c)所示包括:左右结构、上下结构,半包围结构等,所有汉字由3755个常用汉字的部首编码组成,每个汉字可以被唯一地分解成由这些部首和空间结构形成的表意描述序列。图3中的(a)显示了一个具体的例子,汉字“炽”为左右结构,由“火”、“只”组成,其中,“只”还可分解为上下结构,由“口”、“八”组成。
步骤S202:确定汉字图像对应的第一笔画特征和预测笔画编码,以及汉字图像对应的第一部首特征和预测部首编码,预测笔画编码表征预测出的汉字图像的各笔画所对应的序列号,预测部首编码表征预测出的汉字图像的各部首以及汉字结构所对应的序列号。
本公开实施例中,确定汉字图像对应的第一笔画特征和预测笔画编码,以及汉字图像对应的第一部首特征和预测部首编码,包括:
步骤S2021:将汉字图像分别输入训练好的笔画特征提取模型和部首特征提取模型,分别得到第一笔画特征和第一部首特征。
本公开实施例中,将同一汉字图像分别输入训练好的笔画特征提取模型和训练好的部首特征提取模型,由训练好的笔画特征提取模型提取该汉字图像的笔画特征,得到第一笔画特征,由训练好的部首特征提取模型提取该汉字图像的部首特征,得到第一部首特征。可选的,训练好的笔画特征提取模型和部首特征提取模型可以是笔画编码器和部首编码器。
步骤S2022:确定第一笔画特征和第一部首特征各自对应的权重。
本公开实施例中,确定第一笔画特征和第一部首特征各自对应的权重,包括:
融合第一笔画特征和第一部首特征,得到融合特征。
本公开实施例中,第一笔画特征和第一部首特征的维度相同,融合第一笔画特征和第一部首特征可以是将第一笔画特征和第一部首特征进行整合,并通过两个特征中的逐个元素相加来融合第一笔画特征和第一部首特征。具体计算过程如下式(1):
(1)
上式(1)中,为第一笔画特征,/>为第一部首特征,/>为融合特征。
对融合特征进行权值分析,得到第一笔画特征和第一部首特征各自对应的权重。
本公开实施例中,对融合特征进行权值分析可以是将融合特征输入训练好的权重计算模型,该权重计算模型由平均池(AvgPool)层、全连接(fc)层和softmax层组成,融合特征输入训练好的权重计算模型后,首先由平均池(AvgPool)层抑制噪声,提取主要信息,随后将主要信息送入全连接(fc)层,得到一个紧凑特征,将紧凑特征z再送入softmax层,由softmax函数根据紧凑特征/>分别计算第一笔画特征对应的软注意力向量/>,即第一笔画特征对应的权重,以及第一部首特征对应的软注意力向量/>,即第一部首特征对应的权重。
基于上述可知,本公开实施例通过融合第一笔画特征和第一部首特征,能够将汉字图像的笔画及部首特征相结合;通过对融合特征进行权值分析得到第一笔画特征和第一部首特征各自对应的初始权重,能够通过融合特征中的部首特征对笔画特征进行调整,通过融合特征中的笔画特征对部首特征进行调整,以使第一笔画特征和第一部首特征各自对应的初始权重更加准确。
步骤S2023:将第一笔画特征和第一部首特征分别与各自对应的权重相乘,得到笔画特征图和部首特征图。
本公开实施例中,将第一笔画特征和第一部首特征分别与各自对应的权重相乘,得到笔画特征图和部首特征图的具体计算过程如下式(2)所示:
(2)
上式(2)中,为笔画特征图,/>为第一笔画特征,/>为第一笔画特征对应的权重,/>为部首特征图,/>为第一部首特征,/>为第一部首特征对应的权重,/>表征逐元乘法。
步骤S2024:将笔画特征图和部首特征图分别输入训练好的笔画编码模型和部首编码模型,分别得到预测笔画编码和预测部首编码。
本公开实施例中,将笔画特征图输入训练好的笔画编码模型,由训练好的笔画编码模型输出笔画特征图对应的预测笔画编码,将部首特征图输入训练好的部首编码模型,由训练好的部首编码模型输出部首特征图对应的预测部首编码。可选的,训练好的笔画编码模型和部首编码模型可以是笔画解码器和部首解码器。
基于上述可知,本公开实施例通过将第一笔画特征和第一部首特征分别与各自对应的权重相乘得到笔画特征图和部首特征图,能够实现对第一笔画特征和第一部首特征的适应性调整;通过将笔画特征图和部首特征图分别输入训练好的笔画编码模型和部首编码模型,分别得到预测笔画编码和预测部首编码,能够使预测笔画编码和预测部首编码更加准确。
步骤S203:对预测笔画编码与笔画编码集进行比对处理,将笔画编码集中满足笔画编码相似度条件的至少一个笔画编码各自对应的汉字,确定为第一目标汉字。
本公开实施例中,由于存在预测笔画编码不在笔画编码集/>中的情况,所以很难直接推断出汉字图像的识别结果。因此,如果笔画编码集/>中存在与预测笔画编码相同的编码,则将汉字图像对应的修正笔画编码/>确定为预测笔画编码/>,将该预测笔画编码对应的汉字确定为第一目标汉字/>;如果笔画编码集/>中不存在与预测笔画编码/>相同的编码,则将汉字图像对应的修正笔画编码/>确定为笔画编码集/>中与预测笔画编码/>相近的各笔画编码,将笔画编码集/>中与预测笔画编码/>相近的各笔画编码所对应的汉字确定为第一目标汉字/>。可选的,确定笔画编码集/>中与预测笔画编码/>相近的各笔画编码包括:计算笔画编码集/>中的各笔画编码到预测笔画编码/>的编辑距离,将编辑距离小于笔画编码相似度条件所指示的编辑距离值的笔画编码确定为与预测笔画编码/>相近的笔画编码,编辑距离指,将笔画编码集/>中的某一笔画编码转换成预测笔画编码需要的最少编操作次数(比如增加一个字符、删除一个字符、替换一个字符)。上述修正笔画编码的确定过程如下式(3):
(3)
上式(3)中,为预测笔画编码,/>为笔画编码集,/>为笔画编码集/>中与预测笔画编码/>相近的各笔画编码,/>为修正笔画编码。
步骤S204:对预测部首编码与部首编码集进行比对处理,将部首编码集中满足部首编码相似度条件的至少一个部首编码各自对应的汉字,确定为第二目标汉字。
本公开实施例中,由于存在预测部首编码不在部首编码集/>中的情况,所以很难直接推断出汉字图像的识别结果。因此,如果部首编码集/>中存在与预测部首编码相同的编码,则将汉字图像对应的修正部首编码/>确定为预测部首编码/>,将该预测部首编码对应的汉字确定为第二目标汉字/>;如果部首编码集/>中不存在与预测部首编码/>相同的编码,则将汉字图像对应的修正部首编码/>确定为部首编码集/>中与预测部首编码/>相近的各部首编码,将部首编码集/>中与预测部首编码/>相近的各部首编码所对应的汉字确定为第二目标汉字/>。可选的,确定部首编码集/>中与预测部首编码/>相近的各部首编码包括:计算部首编码集/>中的各部首编码到预测部首编码/>的编辑距离,将编辑距离小于部首编码相似度条件所指示的编辑距离值的部首编码确定为与预测部首编码/>相近的部首编码。上述修正部首编码/>的确定过程如下式(4):
(4)
上式(4)中,为预测部首编码,/>为部首编码集,/>为部首编码集/>中与预测部首编码/>相近的各部首编码,/>为修正部首编码。
步骤S205:确定第一目标汉字各自对应的第二笔画特征和第二目标汉字各自对应的第二部首特征。
本公开实施例中,确定第一目标汉字各自对应的第二笔画特征和第二目标汉字各自对应的第二部首特征,包括:
步骤S2051:将第一目标汉字输入训练好的笔画特征提取模型,得到第一目标汉字各自对应的第二笔画特征。
本公开实施例中,将第一目标汉字输入训练好的笔画特征提取模型可以是将第一目标汉字输入训练好的笔画编码器,由训练好的笔画编码器提取各第一目标汉字各自对应的笔画特征,得到各第一目标汉字各自对应的第二笔画特征。
步骤S2052:将第二目标汉字输入训练好的部首特征提取模型,得到第二目标汉字各自对应的第二部首特征。
本公开实施例中,将第二目标汉字输入训练好的部首特征提取模型可以是将第二目标汉字输入训练好的部首编码器,由训练好的部首编码器提取各第二目标汉字各自对应的部首特征,得到各第二目标汉字各自对应的第二部首特征。
步骤S206:根据第一笔画特征、第二笔画特征、第一部首特征和第二部首特征,确定汉字图像的识别结果。
本公开实施例中,根据第一笔画特征、第二笔画特征、第一部首特征和第二部首特征,确定汉字图像的识别结果,包括:
步骤S2061:对第二笔画特征和第一笔画特征进行比对处理,得到第三目标汉字以及第三目标汉字对应的相似度值,第三目标汉字为第二笔画特征中与第一笔画特征相似度最高的笔画特征所对应的汉字。
本公开实施例中,在第一目标汉字为一个的情况下,第三目标汉字即为该第一目标汉字,将该第一目标汉字对应的第二笔画特征/>与第一笔画特征/>进行比对处理,即计算该第一目标汉字对应的第二笔画特征/>与第一笔画特征/>之间的欧氏距离,得到该第一目标汉字对应的第二笔画特征/>的相似度分值/>;在第一目标汉字/>为多个的情况下,将各第一目标汉字各自对应的第二笔画特征/>分别与第一笔画特征/>进行比对,即计算各第一目标汉字各自对应的第二笔画特征/>与第一笔画特征/>之间的欧氏距离,根据欧氏距离得到各第一目标汉字各自对应的相似度分值,将相似度分值最高的第一目标汉字确定为第三目标汉字,并将该相似度分值最高的第一目标汉字对应的相似度分值确定为第三目标汉字对应的相似度值。
步骤S2062:对第二部首特征和第一部首特征进行比对处理,得到第四目标汉字以及第四目标汉字对应的相似度值,第四目标汉字为第二部首特征中与第一部首特征相似度最高的部首特征所对应的汉字。
本公开实施例中,在第二目标汉字为一个的情况下,第四目标汉字即为该第二目标汉字,将该第二目标汉字对应的第二部首特征/>与第一部首特征/>进行比对处理,即计算该第二目标汉字对应的第二部首特征/>与第一部首特征/>之间的欧氏距离,得到该第二目标汉字对应的第二部首特征/>的相似度分值/>;在第二目标汉字/>为多个的情况下,将各第二目标汉字各自对应的第二部首特征/>分别与第一部首特征/>进行比对,即计算各第二目标汉字各自对应的第二部首特征/>与第一部首特征/>之间的欧氏距离,根据欧氏距离得到各第二目标汉字各自对应的相似度分值,将相似度分值最高的第二目标汉字确定为第四目标汉字,并将该相似度分值最高的第二目标汉字对应的相似度分值确定为第四目标汉字对应的相似度值。
步骤S2063:将第四目标汉字对应的相似度值除以第三目标汉字对应的相似度值,得到相似度比值。
本公开实施例中,将第四目标汉字对应的相似度值除以第三目标汉字对应的相似度值,得到相似度比值的计算过程如下式(5):
(5)
上式(5)中,K为相似度比值,为第四目标汉字对应的相似度值,/>为第三目标汉字对应的相似度值。
步骤S2064:在相似度比值小于预设比值的情况下,将汉字图像的识别结果确定为第三目标汉字。
本公开实施例中,预设比值可以根据实际需要进行设定,可选的,预设比值可设置为0.8,在相似度比值K小于0.8的情况下,将汉字图像的识别结果确定为第三目标汉字。
步骤S2065:在相似度比值大于预设比值的情况下,将汉字图像的识别结果确定为第四目标汉字。
本公开实施例中,预设比值可以根据实际需要进行设定,可选的,预设比值可设置为0.8,在相似度比值K大于0.8的情况下,将汉字图像的识别结果确定为第四目标汉字。
基于上述可知,本公开实施例通过对第二笔画特征和第一笔画特征进行比对处理得到第三目标汉字,以及对第二部首特征和第一部首特征进行比对处理得到第四目标汉字,能够从笔画特征及部首特征两个方面分别筛选出相似度高的汉字;通过计算相似度比值确定最终识别结果,能够将第三目标汉字和第四目标汉字中相似度最高的汉字确定为识别结果,使识别结果更加准确。
在一个可选的实施例中,上述方法还包括:得到训练好的笔画特征提取模型和部首特征提取模型,以及训练好的笔画编码模型和部首编码模型的训练过程,上述训练过程包括:
步骤S301:获取样本汉字图像,样本汉字图像携带有笔画标签和部首标签。
本公开实施例中,样本汉字图像可以是任意汉字的汉字图像,样本汉字图像携带的笔画标签可以是表征样本汉字图像实际对应的标准笔画编码,例如,在样本汉字图像为“叮”字对应的汉字图像时,其携带的笔画标签可以是“叮”字实际对应的标准笔画编码“25112”;样本汉字图像携带的部首标签/>可以是表征样本汉字图像实际对应的标准部首编码,例如,在样本汉字图像为“叮”字对应的汉字图像时,其携带的部首标签可以是“叮”字实际对应的标准部首编码“[332,401,39]”。
步骤S302:将样本汉字图像分别输入预设笔画特征提取模型和预设部首特征提取模型,分别得到样本笔画特征和样本部首特征。
本公开实施例中,将同一样本汉字图像分别输入预设笔画特征提取模型和预设部首特征提取模型,由预设笔画特征提取模型提取该样本汉字图像的笔画特征,得到样本笔画特征,由预设部首特征提取模型提取该样本汉字图像的部首特征,得到样本部首特征。可选的,预设笔画特征提取模型和预设部首特征提取模型可以是笔画编码器和部首编码器。
步骤S303:确定样本笔画特征和样本部首特征各自对应的初始权重。
本公开实施例中,确定样本笔画特征和样本部首特征各自对应的初始权重,包括:
步骤S3031:融合样本笔画特征和样本部首特征,得到样本融合特征。
本公开实施例中,样本笔画特征和样本部首特征的维度相同,融合样本笔画特征和样本部首特征可以是将样本笔画特征和样本部首特征进行整合,并通过两个特征中的逐个元素相加来融合样本笔画特征和样本部首特征。
步骤S3032:对样本融合特征进行权值分析,得到样本笔画特征和样本部首特征各自对应的初始权重。
本公开实施例中,对样本融合特征进行权值分析可以是将样本融合特征输入预设权重计算模型,该预设权重计算模型由平均池(AvgPool)层、全连接(fc)层和softmax层组成,样本融合特征输入预设权重计算模型后,首先由平均池(AvgPool)层抑制噪声,提取样本主要信息,随后将样本主要信息送入全连接(fc)层,得到一个样本紧凑特征,将样本紧凑特征再送入softmax层,由softmax函数根据样本紧凑特征分别计算样本笔画特征对应的软注意力向量,即样本笔画特征对应的权重,以及样本部首特征对应的软注意力向量,即样本部首特征对应的权重。
基于上述可知,本公开实施例通过融合样本笔画特征和样本部首特征,能够将样本汉字图像的笔画及部首特征相结合;通过对样本融合特征进行权值分析得到样本笔画特征和样本部首特征各自对应的初始权重,能够通过融合特征中的部首特征对笔画特征进行调整,通过融合特征中的笔画特征对部首特征进行调整,以使样本笔画特征和样本部首特征各自对应的初始权重更加准确。
步骤S304:将样本笔画特征和样本部首特征分别与各自对应的初始权重相乘,得到样本笔画特征图和样本部首特征图。
本公开实施例中,将样本笔画特征与样本笔画特征对应的权重相乘,得到样本笔画特征图,将样本部首特征与样本部首特征对应的权重相乘,得到样本部首特征图。
步骤S305:将样本笔画特征图和样本部首特征图分别输入预设笔画编码模型和预设部首编码模型,分别得到样本笔画编码和样本部首编码。
本公开实施例中,将样本笔画特征图输入预设笔画编码模型,由预设笔画编码模型输出样本笔画特征图对应的样本笔画编码,将部首特征图输入预设部首编码模型,由预设部首编码模型输出部首特征图对应的样本部首编码。可选的,预设笔画编码模型和预设部首编码模型可以是笔画解码器和部首解码器。
步骤S306:根据样本笔画编码与笔画标签的差异,得到笔画损失值。
本公开实施例中,根据样本笔画编码与笔画标签的差异,得到笔画损失值的计算过程具体如下式(6):
(6)
上式(6)中,为笔画损失值,/>为样本笔画编码,/>为笔画标签,/>()表示交叉熵损失计算。
步骤S307:根据样本部首编码与部首标签的差异,得到部首损失值。
本公开实施例中,根据样本部首编码与部首标签的差异,得到部首损失值的计算过程具体如下式(7):
(7)
上式(6)中,为部首损失值,/>为样本部首编码,/>为部首标签,/>()表示交叉熵损失计算。
步骤S308:基于笔画损失值和部首损失值,训练预设笔画特征提取模型、预设部首特征提取模型、预设笔画编码模型和预设部首编码模型,得到训练好的笔画特征提取模型和部首特征提取模型,以及训练好的笔画编码模型和部首编码模型。
本公开实施例中,基于笔画损失值和部首损失值,训练预设笔画特征提取模型、预设部首特征提取模型、预设笔画编码模型和预设部首编码模型可以是根据笔画损失值和部首损失值得到总损失值,根据总损失值调整预设笔画特征提取模型、预设部首特征提取模型、预设笔画编码模型和预设部首编码模型中的参数,直至总损失值满足预设条件。可选的,总损失值还同时用于调整预设权重计算模型中的参数,直至总损失值满足预设条件,得到训练好的预设权重计算模型。可选的,上述计算总损失值的过程如下式(8):
(8)
上式(8)中,为总损失值,/>为笔画损失值,/>为部首损失值。
基于上述可知,本公开实施例通过根据样本笔画编码与笔画标签的差异得到笔画损失值,能够确定通过预设笔画特征提取模型及预设笔画编码模型得到样本笔画编码过程中产生的损失;通过根据样本部首编码与部首标签的差异得到部首损失值,能够确定通过预设部首特征提取模型及预设部首编码模型得到样本部首编码过程中产生的损失;通过基于笔画损失值和部首损失值,训练各预设模型,可以使各预设模型提取到的结果更加准确。
在一个具体地实施方式中,上述汉字识别方法的实施过程如图4所示:
训练阶段,将样本汉字图像分别输入预设笔画特征提取模型和预设部首特征提取模型,分别得到样本笔画特征和样本部首特征。样本汉字图像携带有笔画标签和部首标签,笔画标签为表征样本汉字图像实际对应的标准笔画编码,部首标签为表征样本汉字图像实际对应的标准部首编码。融合样本笔画特征和样本部首特征,得到样本融合特征。将样本融合特征输入预设权重计算模型,该预设权重计算模型由平均池(AvgPool)层、全连接(fc)层和softmax层组成,样本融合特征输入预设权重计算模型后,首先由平均池(AvgPool)层抑制噪声,提取样本融合特征中的主要信息,随后将样本融合特征中的主要信息送入全连接(fc)层,得到一个样本紧凑特征,将样本紧凑特征再送入softmax层,由softmax函数根据样本紧凑特征分别计算样本笔画特征对应的软注意力向量,即样本笔画特征对应的权重,以及样本部首特征对应的软注意力向量,即样本部首特征对应的权重。将样本笔画特征和样本部首特征分别与各自对应的初始权重相乘,得到样本笔画特征图和样本部首特征图。将样本笔画特征图和样本部首特征图分别输入预设笔画编码模型和预设部首编码模型,分别得到样本笔画编码和样本部首编码。根据样本笔画编码与笔画标签的差异计算笔画损失值。根据样本部首编码与部首标签的差异计算部首损失值。基于笔画损失值和部首损失值,训练预设笔画特征提取模型、预设部首特征提取模型、预设权重计算模型、预设笔画编码模型和预设部首编码模型,得到训练好的各个模型。
推理阶段,将上述训练好的各个模型作为一个整体模型,首先将汉字图像分别得到第一笔画特征、第一部首特征、预测笔画编码和预测部首编码。对预测笔画编码与笔画编码集进行比对处理,将笔画编码集中满足笔画编码相似度条件的至少一个笔画编码各自对应的汉字,确定为第一目标汉字。对预测部首编码与部首编码集进行比对处理,将部首编码集中满足部首编码相似度条件的至少一个部首编码各自对应的汉字,确定为第二目标汉字。将第一目标汉字输入训练好的笔画特征提取模型,得到第一目标汉字各自对应的第二笔画特征。将第二目标汉字输入训练好的部首特征提取模型,得到第二目标汉字各自对应的第二部首特征。对第二笔画特征和第一笔画特征进行比对处理,得到第三目标汉字以及第三目标汉字对应的相似度值,第三目标汉字为第二笔画特征中与第一笔画特征相似度最高的笔画特征所对应的汉字。对第二部首特征和第一部首特征进行比对处理,得到第四目标汉字以及第四目标汉字对应的相似度值,第四目标汉字为第二部首特征中与第一部首特征相似度最高的部首特征所对应的汉字。将第四目标汉字对应的相似度值除以第三目标汉字对应的相似度值,得到相似度比值。在相似度比值小于预设比值的情况下,将汉字图像的识别结果确定为第三目标汉字。在相似度比值大于预设比值的情况下,将汉字图像的识别结果确定为第四目标汉字。当预设比值为0时,推理阶段简化为部首推理模块,即仅通过部首特征的比对确定识别结果;而当预设比值趋于足够大时,推理阶段简化为笔画推理模块,即仅通过笔画特征的比对确定识别结果。
图5是根据一示例性实施例示出的一种汉字识别装置框图,参照图5,该装置包括获取模块501、第一特征提取模块502、第一比对模块503、第二比对模块504、第二特征提取模块505和识别模块506,其中,
获取模块501,用于获取汉字图像、笔画编码集和部首编码集,笔画编码集包括至少一个汉字文本对应的笔画编码,部首编码集包括至少一个汉字文本对应的部首编码;
第一特征提取模块502,用于确定汉字图像对应的第一笔画特征和预测笔画编码,以及汉字图像对应的第一部首特征和预测部首编码,预测笔画编码表征预测出的汉字图像的各笔画所对应的序列号,预测部首编码表征预测出的汉字图像的各部首以及汉字结构所对应的序列号;
第一比对模块503,用于对预测笔画编码与笔画编码集进行比对处理,将笔画编码集中满足笔画编码相似度条件的至少一个笔画编码各自对应的汉字,确定为第一目标汉字;
第二比对模块504,用于对预测部首编码与部首编码集进行比对处理,将部首编码集中满足部首编码相似度条件的至少一个部首编码各自对应的汉字,确定为第二目标汉字;
第二特征提取模块505,用于确定第一目标汉字各自对应的第二笔画特征和第二目标汉字各自对应的第二部首特征;
识别模块506,用于根据第一笔画特征、第二笔画特征、第一部首特征和第二部首特征,确定汉字图像的识别结果。
在一个可选的实施例中,识别模块506,包括:
第三比对模块,用于对第二笔画特征和第一笔画特征进行比对处理,得到第三目标汉字以及第三目标汉字对应的相似度值,第三目标汉字为第二笔画特征中与第一笔画特征相似度最高的笔画特征所对应的汉字;
第四比对模块,用于对第二部首特征和第一部首特征进行比对处理,得到第四目标汉字以及第四目标汉字对应的相似度值,第四目标汉字为第二部首特征中与第一部首特征相似度最高的部首特征所对应的汉字;
第一计算模块,用于将第四目标汉字对应的相似度值除以第三目标汉字对应的相似度值,得到相似度比值;
第一结果确定模块,用于在相似度比值小于预设比值的情况下,将汉字图像的识别结果确定为第三目标汉字;
第二结果确定模块,用于在相似度比值大于预设比值的情况下,将汉字图像的识别结果确定为第四目标汉字。
在一个可选的实施例中,第一特征提取模块502,包括:
第一特征提取子模块,用于将汉字图像分别输入训练好的笔画特征提取模型和部首特征提取模型,分别得到第一笔画特征和第一部首特征;
权重模块,用于确定第一笔画特征和第一部首特征各自对应的权重;
第二计算模块,用于将第一笔画特征和第一部首特征分别与各自对应的权重相乘,得到笔画特征图和部首特征图;
编码模块,用于将笔画特征图和部首特征图分别输入训练好的笔画编码模型和部首编码模型,分别得到预测笔画编码和预测部首编码。
在一个可选的实施例中,权重模块,包括:
第一融合模块,用于融合第一笔画特征和第一样本部首特征,得到融合特征;
第一权值分析模块,用于对融合特征进行权值分析,得到第一笔画特征和第一部首特征各自对应的权重。
在一个可选的实施例中,第二特征提取模块505,包括:
第一目标汉字特征提取模块,用于将第一目标汉字输入训练好的笔画特征提取模型,得到第一目标汉字各自对应的第二笔画特征;
第二目标汉字特征提取模块,用于第二特征提取子模块,用于将第二目标汉字输入训练好的部首特征提取模型,得到第二目标汉字各自对应的第二部首特征。
在一个可选的实施例中,上述装置还包括:
样本获取模块,用于获取样本汉字图像,样本汉字图像携带有笔画标签和部首标签;
样本特征提取模块,用于将样本汉字图像分别输入预设笔画特征提取模型和预设部首特征提取模型,分别得到样本笔画特征和样本部首特征;
样本权重模块,用于确定样本笔画特征和样本部首特征各自对应的初始权重;
第三计算模块,用于将样本笔画特征和样本部首特征分别与各自对应的初始权重相乘,得到样本笔画特征图和样本部首特征图;
样本编码模块,用于将样本笔画特征图和样本部首特征图分别输入预设笔画编码模型和预设部首编码模型,分别得到样本笔画编码和样本部首编码;
第一损失模块,用于根据样本笔画编码与笔画标签的差异,得到笔画损失值;
第二损失模块,用于根据样本部首编码与部首标签的差异,得到部首损失值;
训练模块,用于基于笔画损失值和部首损失值,训练预设笔画特征提取模型、预设部首特征提取模型、预设笔画编码模型和预设部首编码模型,得到训练好的笔画特征提取模型和部首特征提取模型,以及训练好的笔画编码模型和部首编码模型。
在一个可选的实施例中,确定样本笔画特征和样本部首特征各自对应的初始权重,包括:
第二融合模块,用于融合样本笔画特征和样本部首特征,得到样本融合特征;
第二权值分析模块,用于对样本融合特征进行权值分析,得到样本笔画特征和样本部首特征各自对应的初始权重。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
在示例性实施例中,还提供了一种电子设备,包括:处理器;用于存储该处理器可执行指令的存储器;其中,该处理器用于该指令,以实现如本公开实施例中的汉字识别方法。
图6是根据一示例性实施例示出的一种用于汉字识别的电子设备的框图,该电子设备可以是终端,其内部结构图可以如图6所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种汉字识别方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该电子设备的输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本公开方案相关的部分结构的框图,并不构成对本公开方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在示例性实施例中,还提供了一种存储介质,当该存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行本公开实施例中的汉字识别方法。
在示例性实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行本公开实施例中的汉字识别方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本公开所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种汉字识别方法,其特征在于,所述方法包括:
获取汉字图像、笔画编码集和部首编码集,所述笔画编码集包括至少一个汉字文本对应的笔画编码,所述部首编码集包括至少一个汉字文本对应的部首编码;
确定所述汉字图像对应的第一笔画特征和预测笔画编码,以及所述汉字图像对应的第一部首特征和预测部首编码,所述预测笔画编码表征预测出的所述汉字图像的各笔画所对应的序列号,所述预测部首编码表征预测出的所述汉字图像的各部首以及汉字结构所对应的序列号;
对所述预测笔画编码与所述笔画编码集进行比对处理,将所述笔画编码集中满足笔画编码相似度条件的至少一个笔画编码各自对应的汉字,确定为第一目标汉字;
对所述预测部首编码与所述部首编码集进行比对处理,将所述部首编码集中满足部首编码相似度条件的至少一个部首编码各自对应的汉字,确定为第二目标汉字;
确定所述第一目标汉字各自对应的第二笔画特征和所述第二目标汉字各自对应的第二部首特征;
根据所述第一笔画特征、所述第二笔画特征、所述第一部首特征和所述第二部首特征,确定所述汉字图像的识别结果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一笔画特征、所述第二笔画特征、所述第一部首特征和所述第二部首特征,确定所述汉字图像的识别结果,包括:
对所述第二笔画特征和所述第一笔画特征进行比对处理,得到第三目标汉字以及所述第三目标汉字对应的相似度值,所述第三目标汉字为所述第二笔画特征中与所述第一笔画特征相似度最高的笔画特征所对应的汉字;
对所述第二部首特征和所述第一部首特征进行比对处理,得到第四目标汉字以及所述第四目标汉字对应的相似度值,所述第四目标汉字为所述第二部首特征中与所述第一部首特征相似度最高的部首特征所对应的汉字;
将所述第四目标汉字对应的相似度值除以所述第三目标汉字对应的相似度值,得到相似度比值;
在所述相似度比值小于预设比值的情况下,将所述汉字图像的识别结果确定为所述第三目标汉字;
在所述相似度比值大于预设比值的情况下,将所述汉字图像的识别结果确定为所述第四目标汉字。
3.根据权利要求1所述的方法,其特征在于,所述确定所述汉字图像对应的第一笔画特征和预测笔画编码,以及所述汉字图像对应的第一部首特征和预测部首编码,包括:
将所述汉字图像分别输入训练好的笔画特征提取模型和部首特征提取模型,分别得到所述第一笔画特征和所述第一部首特征;
确定所述第一笔画特征和所述第一部首特征各自对应的权重;
将所述第一笔画特征和所述第一部首特征分别与各自对应的权重相乘,得到笔画特征图和部首特征图;
将所述笔画特征图和所述部首特征图分别输入训练好的笔画编码模型和部首编码模型,分别得到所述预测笔画编码和所述预测部首编码。
4.根据权利要求3所述的方法,其特征在于,所述确定所述第一笔画特征和所述第一部首特征各自对应的权重,包括:
融合所述第一笔画特征和所述第一部首特征,得到融合特征;
对所述融合特征进行权值分析,得到所述第一笔画特征和所述第一部首特征各自对应的权重。
5.根据权利要求3所述的方法,其特征在于,所述确定所述第一目标汉字各自对应的第二笔画特征和所述第二目标汉字各自对应的第二部首特征,包括:
将所述第一目标汉字输入所述训练好的笔画特征提取模型,得到所述第一目标汉字各自对应的第二笔画特征;
将所述第二目标汉字输入所述训练好的部首特征提取模型,得到所述第二目标汉字各自对应的第二部首特征。
6.根据权利要求3所述的方法,其特征在于,所述方法还包括:得到所述训练好的笔画特征提取模型和部首特征提取模型,以及所述训练好的笔画编码模型和部首编码模型的训练过程,所述训练过程包括:
获取样本汉字图像,所述样本汉字图像携带有笔画标签和部首标签;
将所述样本汉字图像分别输入预设笔画特征提取模型和预设部首特征提取模型,分别得到样本笔画特征和样本部首特征;
确定所述样本笔画特征和所述样本部首特征各自对应的初始权重;
将所述样本笔画特征和所述样本部首特征分别与各自对应的初始权重相乘,得到样本笔画特征图和样本部首特征图;
将所述样本笔画特征图和所述样本部首特征图分别输入预设笔画编码模型和预设部首编码模型,分别得到样本笔画编码和样本部首编码;
根据所述样本笔画编码与所述笔画标签的差异,得到笔画损失值;
根据所述样本部首编码与所述部首标签的差异,得到部首损失值;
基于所述笔画损失值和所述部首损失值,训练所述预设笔画特征提取模型、所述预设部首特征提取模型、所述预设笔画编码模型和所述预设部首编码模型,得到所述训练好的笔画特征提取模型和部首特征提取模型,以及所述训练好的笔画编码模型和部首编码模型。
7.根据权利要求6所述的方法,其特征在于,所述确定所述样本笔画特征和所述样本部首特征各自对应的初始权重,包括:
融合所述样本笔画特征和所述样本部首特征,得到样本融合特征;
对所述样本融合特征进行权值分析,得到所述样本笔画特征和所述样本部首特征各自对应的初始权重。
8.一种汉字识别装置,其特征在于,包括:
获取模块,用于获取汉字图像、笔画编码集和部首编码集,所述笔画编码集包括至少一个汉字文本对应的笔画编码,所述部首编码集包括至少一个汉字文本对应的部首编码;
第一特征提取模块,用于确定所述汉字图像对应的第一笔画特征和预测笔画编码,以及所述汉字图像对应的第一部首特征和预测部首编码,所述预测笔画编码表征预测出的所述汉字图像的各笔画所对应的序列号,所述预测部首编码表征预测出的所述汉字图像的各部首以及汉字结构所对应的序列号;
第一比对模块,用于对所述预测笔画编码与所述笔画编码集进行比对处理,将所述笔画编码集中满足笔画编码相似度条件的至少一个笔画编码各自对应的汉字,确定为第一目标汉字;
第二比对模块,用于对所述预测部首编码与所述部首编码集进行比对处理,将所述部首编码集中满足部首编码相似度条件的至少一个部首编码各自对应的汉字,确定为第二目标汉字;
第二特征提取模块,用于确定所述第一目标汉字各自对应的第二笔画特征和所述第二目标汉字各自对应的第二部首特征;
识别模块,用于根据所述第一笔画特征、所述第二笔画特征、所述第一部首特征和所述第二部首特征,确定所述汉字图像的识别结果。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器用于所述指令,以实现如权利要求1至7中任一项所述的汉字识别方法。
10.一种存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至7中任一项所述的汉字识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310837931.6A CN116778505B (zh) | 2023-07-10 | 2023-07-10 | 一种汉字识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310837931.6A CN116778505B (zh) | 2023-07-10 | 2023-07-10 | 一种汉字识别方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116778505A CN116778505A (zh) | 2023-09-19 |
CN116778505B true CN116778505B (zh) | 2023-12-12 |
Family
ID=87991263
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310837931.6A Active CN116778505B (zh) | 2023-07-10 | 2023-07-10 | 一种汉字识别方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116778505B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1252584A (zh) * | 1998-10-26 | 2000-05-10 | 松下电器产业株式会社 | 在线手写中文字识别装置 |
CN112200216A (zh) * | 2020-09-03 | 2021-01-08 | 上海眼控科技股份有限公司 | 汉字识别方法、装置、计算机设备和存储介质 |
CN114155529A (zh) * | 2021-11-05 | 2022-03-08 | 深圳市标准技术研究院 | 结合文字视觉特征和文字内容特征的违规广告识别方法 |
CN115497107A (zh) * | 2022-09-30 | 2022-12-20 | 江西师范大学 | 一种基于笔画和部首分解的零样本汉字识别方法 |
-
2023
- 2023-07-10 CN CN202310837931.6A patent/CN116778505B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1252584A (zh) * | 1998-10-26 | 2000-05-10 | 松下电器产业株式会社 | 在线手写中文字识别装置 |
CN112200216A (zh) * | 2020-09-03 | 2021-01-08 | 上海眼控科技股份有限公司 | 汉字识别方法、装置、计算机设备和存储介质 |
CN114155529A (zh) * | 2021-11-05 | 2022-03-08 | 深圳市标准技术研究院 | 结合文字视觉特征和文字内容特征的违规广告识别方法 |
CN115497107A (zh) * | 2022-09-30 | 2022-12-20 | 江西师范大学 | 一种基于笔画和部首分解的零样本汉字识别方法 |
Non-Patent Citations (2)
Title |
---|
STAR: Zero-Shot Chinese Character Recognition with Stroke- and Radical-Level Decompositions;曾锦山 等;《arXiv》;第1-24页 * |
周丰.基于深度学习多特征融合的命名实体识别研究. * |
Also Published As
Publication number | Publication date |
---|---|
CN116778505A (zh) | 2023-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108228686B (zh) | 用于实现图文匹配的方法、装置和电子设备 | |
CN108776832B (zh) | 信息处理方法、装置、计算机设备和存储介质 | |
CN113792741B (zh) | 文字识别方法、装置、设备及存储介质 | |
CN113313022A (zh) | 文字识别模型的训练方法和识别图像中文字的方法 | |
CN112418292B (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
CN113792526B (zh) | 字符生成模型的训练方法、字符生成方法、装置和设备和介质 | |
CN111680480A (zh) | 基于模板的作业批改方法、装置、计算机设备及存储介质 | |
CN113886550A (zh) | 基于注意力机制的问答匹配方法、装置、设备及存储介质 | |
CN115063875A (zh) | 模型训练方法、图像处理方法、装置和电子设备 | |
CN111797611B (zh) | 对联生成模型、对联生成方法、装置、计算机设备及介质 | |
CN113204659A (zh) | 多媒体资源的标签分类方法、装置、电子设备及存储介质 | |
CN112632227A (zh) | 简历匹配方法、装置、电子设备、存储介质和程序产品 | |
CN113435210A (zh) | 社交图片文本识别方法、装置、计算机设备及存储介质 | |
CN116469111B (zh) | 一种文字生成模型训练方法及目标文字生成方法 | |
CN114445832A (zh) | 基于全局语义的文字图像识别方法、装置及计算机设备 | |
CN117290461B (zh) | 融合aspp模块与跨模态交互的多模态对话生成方法 | |
CN113435531A (zh) | 零样本图像分类方法、系统、电子设备及存储介质 | |
CN116778505B (zh) | 一种汉字识别方法、装置、电子设备及存储介质 | |
CN112307749A (zh) | 文本检错方法、装置、计算机设备和存储介质 | |
CN116956954A (zh) | 文本翻译方法、装置、电子设备及存储介质 | |
CN115273110A (zh) | 基于TensorRT的文本识别模型部署方法、装置、设备及存储介质 | |
CN115270792A (zh) | 一种医疗实体识别方法及装置 | |
CN114781359A (zh) | 文本纠错方法、装置、计算机设备及存储介质 | |
CN110222693B (zh) | 构建字符识别模型与识别字符的方法和装置 | |
CN113313127A (zh) | 文本图像识别方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |