CN115019309A - 基于图像的字符识别方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种基于图像的字符识别方法、装置、设备及存储介质，属于计算机技术领域。方法包括：对目标图像进行特征提取，得到视觉特征；对所述视觉特征进行识别，得到所述目标图像对应的多个候选识别结果，所述候选识别结果包括识别出的多个字符；确定所述多个候选识别结果中多个字符的语义相关性特征；基于所述多个候选识别结果中多个字符的语义相关性特征，从所述多个候选识别结果中确定所述目标图像的字符识别结果，该方法能够减少个别字符识别错误的情况，能够提高字符识别结果的准确率。

Description

基于图像的字符识别方法、装置、设备及存储介质

技术领域

本申请涉及计算机技术领域，特别涉及一种基于图像的字符识别方法、装置、设备及存储介质。

背景技术

光学字符识别(Optical Character Recognition，OCR)是指计算机设备将图像中的文字转换成文本格式，供文字处理软件进一步编辑加工的技术。目前，对于包含字符的图像，通常通过提取该图像的视觉特征，对该视觉特征进行识别，得到该图像的字符识别结果。但是，一些字符的视觉特征比较相似，容易出现个别字符识别错误的情况，通过这种方式确定的字符识别结果的准确率较低。

发明内容

本申请实施例提供了一种基于图像的字符识别方法、装置、设备及存储介质，能够提高字符识别结果的准确性。该技术方案如下：

一方面，提供了一种基于图像的字符识别方法，所述方法包括：

对目标图像进行特征提取，得到视觉特征；

对所述视觉特征进行识别，得到所述目标图像对应的多个候选识别结果，所述候选识别结果包括识别出的多个字符；

确定所述多个候选识别结果中多个字符的语义相关性特征；

基于所述多个候选识别结果中多个字符的语义相关性特征，从所述多个候选识别结果中确定所述目标图像的字符识别结果。

一方面，提供了一种基于图像的字符识别装置，所述装置包括：

特征提取模块，用于对目标图像进行特征提取，得到视觉特征；

识别模块，用于对所述视觉特征进行识别，得到所述目标图像对应的多个候选识别结果，所述候选识别结果包括识别出的多个字符；

特征确定模块，用于确定所述多个候选识别结果中多个字符的语义相关性特征；

结果确定模块，用于基于所述多个候选识别结果中多个字符的语义相关性特征，从所述多个候选识别结果中确定所述目标图像的字符识别结果。

在一种可能实现方式中，所述结果确定模块，包括：

参数值确定单元，用于基于所述多个候选识别结果中多个字符的语义相关性特征，确定所述多个候选识别结果的第一识别参数值，所述第一识别参数值用于表示所述候选识别结果中多个字符的语义相关程度；

结果确定单元，用于基于所述多个候选识别结果的第一识别参数值，从所述多个候选识别结果中确定所述目标图像的字符识别结果。

在一种可能实现方式中，所述视觉特征包括所述多个字符对应的视觉子特征；所述参数值确定单元，用于基于所述多个候选识别结果中多个字符的语义相关性特征和所述多个字符对应的视觉子特征，确定所述多个候选识别结果的第一识别参数值。

在一种可能实现方式中，所述参数值确定单元，用于对于所述候选识别结果中的第一个字符，基于所述第一个字符对应的视觉子特征，确定所述第一个字符对应的第一识别子参数值；对于所述候选识别结果中的第k+1个字符，基于前k个字符与所述第k+1个字符的语义相关性特征以及所述第k+1个字符对应的视觉子特征，确定所述第k+1个字符对应的第一识别子参数值，k≥1，且k为正整数；基于所述候选识别结果中多个字符对应的第一识别子参数值，确定所述候选识别结果对应的第一识别参数值。

在一种可能实现方式中，所述结果确定单元，用于获取所述多个候选识别结果的第二识别参数值，所述第二识别参数值用于表示所述候选识别结果与所述视觉特征的匹配程度；基于所述多个候选识别结果的第一识别参数值和第二识别参数值，确定所述多个候选识别结果的总识别参数值；将总识别参数值最高的候选识别结果确定为所述字符识别结果。

在一种可能实现方式中，所述第二识别参数值是对所述视觉特征进行识别，得到所述目标图像对应的多个候选识别结果的过程中确定的；所述识别模块，用于对所述视觉特征进行识别，得到所述目标图像对应的多个候选识别结果和所述多个候选识别结果的第二识别参数值；基于所述多个候选识别结果的第二识别参数值，从所述多个候选识别结果中选取满足识别参数值条件的候选识别结果。

在一种可能实现方式中，所述目标图像的视觉特征包括所述多个字符对应的视觉子特征；所述识别模块，用于对所述多个字符对应的视觉子特征进行并行识别，得到所述目标图像对应的多个候选识别结果。

在一种可能实现方式中，所述目标图像的视觉特征包括所述多个字符对应的视觉子特征；所述识别模块，用于对于任一字符对应的视觉子特征，对所述视觉子特征进行识别，得到所述视觉子特征对应多个第一候选字符的概率，基于所述视觉子特征对应多个第一候选字符的概率，从所述多个第一候选字符中选取满足概率要求条件的多个第二候选字符；在得到多个视觉子特征分别对应的多个第二候选字符之后，将所述多个视觉子特征分别对应的多个第二候选字符进行组合，得到所述多个候选识别结果。

在一种可能实现方式中，所述方法由字符识别模型执行，所述字符识别模型包括特征提取子模型、第一字符识别子模型和第二字符识别子模型，所述视觉特征是由所述特征提取子模型确定的，所述多个候选识别结果是由所述第一字符识别子模型确定的，所述语义相关性特征和所述字符识别结果是由所述第二字符识别子模型确定的。

在一种可能实现方式中，所述第一字符识别子模型为并行识别子模型，所述第二字符识别子模型为自回归字符识别子模型；所述字符识别模型用于对字符内容属于第一领域的图像进行识别；所述装置还包括：

样本数据获取模块，用于获取第二领域的样本数据，所述样本数据包括样本字符数据和包括所述样本字符数据的样本图像，所述样本字符数据的字符内容属于所述第二领域，所述第一领域与所述第二领域为不同的领域；

训练模块，用于通过所述字符识别模型，对所述样本图像进行识别，得到所述样本图像的预测字符数据；

所述训练模块，还用于基于所述预测字符数据和所述样本字符数据之间的差异，对所述字符识别模型中的自回归字符识别子模型进行训练，得到适用于所述第二领域的字符识别模型。

在一种可能实现方式中，所述样本数据获取模块，用于获取属于所述第二领域的字符数据作为样本字符数据；基于所述样本字符数据，合成包含所述样本字符数据对应的样本图像；将所述样本字符数据和所述样本图像作为所述样本数据。

一方面，提供了一种计算机设备，该计算机设备包括一个或多个处理器和一个或多个存储器，该一个或多个存储器中存储有至少一条程序代码，该至少一条程序代码由该一个或多个处理器加载并执行以实现如上述任一种可能实现方式的基于图像的字符识别方法所执行的操作。

一方面，提供了一种计算机可读存储介质，该存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行以实现如上述任一种可能实现方式的基于图像的字符识别方法所执行的操作。

一方面，提供了一种计算机程序或计算机程序产品，所述计算机程序或计算机程序产品包括：计算机程序代码，所述计算机程序代码被计算机执行时，使得所述计算机实现如上述任一种可能实现方式的基于图像的字符识别方法所执行的操作。

本申请实施例提供的基于图像的字符识别方法、装置、设备及存储介质，考虑到个别字符识别错误，会导致整句话不通顺，也即是，识别错误的字符与其他字符在语义上不具有相关性，因此，本申请实施例先通过视觉特征确定多个候选识别结果，再基于候选识别结果中多个字符的语义相关性特征，从多个候选识别结果中确定字符识别结果，保证了字符识别结果中多个字符的语义是相关的，能够减少个别字符识别错误的情况，能够提高字符识别结果的准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种实施环境的示意图；

图2是本申请实施例提供的一种基于图像的字符识别方法的流程图；

图3是本申请实施例提供的一种基于图像的字符识别方法的流程图；

图4是本申请实施例提供的一种字符识别模型的示意图；

图5是本申请实施例提供的一种基于图像的字符识别方法的流程图；

图6是本申请实施例提供的一种基于图像的字符识别装置的结构示意图；

图7是本申请实施例提供的另一种基于图像的字符识别装置的结构示意图；

图8是本申请实施例提供的终端的结构示意图；

图9是本申请实施例提供的服务器的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念，但除非特别说明，这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说，在不脱离本申请的范围的情况下，可以将第一订单称为第二订单，将第二订单称为第一订单。

本申请所使用的术语“至少一个”、“多个”、“每个”、“任一”，至少一个包括一个、两个或者两个以上，多个包括两个或者两个以上，而每个是指对应的多个中的每一个，任一是指多个中的任意一个，举例来说，多个订单包括3个订单，而每个是指这3个订单中的每一个订单，任一是指这3个订单中的任意一个，可以是第一个，也可以是第二个，还可以是第三个。

需要说明的是，本申请所涉及的信息(包括但不限于用户个人信息、用户设备信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本申请中涉及到的订单、成本参数等都是在充分授权的情况下获取的。

本申请实施例提供的基于图像的字符识别方法能够应用于文档转换、车牌识别、身份证识别等多种场景中，本申请实施例仅是文档转换场景为例进行示例性说明。

获取待识别的图像，该图像可以是设备本地存储的图像，也可以是从其他设备中获取的图像，还可以对字符进行拍摄得到的图像，本申请实施例对该图像不做限定。对该待识别的图像进行识别，得到该图像的字符识别结果。若采用本申请实施例提供的基于图像的字符识别方法，能够提高得到的字符识别结果的准确性。

本申请实施例提供的基于图像的字符识别方法由计算机设备执行。在一种可能实现方式中，该计算机设备为终端，例如，该终端为台式电脑、平板电脑或者手机等任一种类型的终端。在另一种可能实现方式中，该计算机设备为服务器。例如，该服务器可以为一台服务器，或者由若干服务器组成的服务器集群，或者是一个云计算服务中心。在另一种可能实现方式中，该计算机设备包括终端和服务器。

图1是本申请实施例提供的一种实施环境的示意图，如图1所示，该实施环境包括终端101和服务器102。终端101与服务器102之间通过无线或者有线网络连接。

终端101上安装由服务器102提供服务的目标应用，可选地，该目标应用为终端101操作系统中的应用，或者为第三方提供的应用。例如，该目标应用为图像处理应用，该图像处理应用具有图像处理功能，当然，该图像处理应用还能够具有其他功能，例如，点评功能、分享功能等。

在一些实施例中，终端101将目标图像发送给服务器102，由服务器102对该目标图像进行识别，得到该目标图像的字符识别结果，将该字符识别结果发送给终端101，由终端101展示该字符识别结果。

图2是本申请实施例提供的一种基于图像的字符识别方法的流程图。本申请实施例以执行主体为计算机设备为例进行示例性说明，该实施例包括：

201、计算机设备对目标图像进行特征提取，得到视觉特征。

其中，目标图像是任一包含字符的图像，该目标图像可以是计算机设备本地存储的图像，也可以是计算机设备从其他设备获取的图像，还可以是计算机设备拍摄得到的图像，还可以是计算机设备对文档扫描得到的图像，本申请实施例对目标图像不做限定。

由于不同字符的外形不同，因此，本申请实施例通过提取视觉特征来区分不同字符。在一些实施例中，该视觉特征为目标图像的特征图。

202、计算机设备对该视觉特征进行识别，得到该目标图像对应的多个候选识别结果，该候选识别结果包括识别出的多个字符。

其中，视觉特征是多个字符的视觉特征，对该视觉特征进行识别，可以识别出多个字符。需要说明的是，一些字符的外形比较相近，因此，在对一些字符的视觉特征进行识别的时候，会确定出多个可能的字符，从而得到多个候选识别结果。

203、计算机设备确定多个候选识别结果中多个字符的语义相关性特征。

目标图像中包括的多个字符可能是一句话、一个拼音单词、一个英文单词等，无论是一句话、一个拼音单词还是一个英文单词，目标图像中包括的多个字符之间存在语义相关性，使得该多个字符表示的含义。

例如，目标图像中包括的多个字符是一句话，计算机设备识别出前3个字符是“小明今”，在识别第4个字符的时候，识别出第4个字符可能是“天”，也可能是“大”，根据第四个字符与前3个字符的语义相关性，可以确定出第四个字符是“天”。

由此可见，目标图像中包括的多个字符存在语义相关性，因此，本申请实施例在得到多个候选识别结果之后，可以确定该候选识别结果中多个字符的语义相关性特征，来确定候选识别结果中多个字符是否存在较好的语义相关性。

204、计算机设备基于多个候选识别结果中多个字符的语义相关性特征，从多个候选识别结果中确定该目标图像的字符识别结果。

如果候选识别结果中多个字符的语义相关性特征表示该多个字符的语义相关性较差，则说明多个字符中存在识别错误的字符，该候选识别结果不准确。如果候选识别结果中多个字符的语义相关性特征表示该多个字符的语义相关性较高，则说明多个字符的识别准确率较高，该候选识别结果比较准确。

本申请实施例提供的基于图像的字符识别方法，考虑到个别字符识别错误，会导致整句话不通顺，也即是，识别错误的字符与其他字符在语义上不具有相关性，因此，本申请实施例先通过视觉特征确定多个候选识别结果，再基于候选识别结果中多个字符的语义相关性特征，从多个候选识别结果中确定字符识别结果，保证了字符识别结果中多个字符的语义是相关的，能够减少个别字符识别错误的情况，能够提高字符识别结果的准确率。

图3是本申请实施例提供的一种基于图像的字符识别方法的流程图。本申请实施例以执行主体为计算机设备为例进行示例性说明，该实施例包括：

301、计算机设备对目标图像进行特征提取，得到视觉特征，该视觉特征包括多个字符对应的视觉子特征。

在一些实施例中，计算机设备通过特征提取模型，对目标图像进行特征提取，得到视觉特征。其中，特征提取模型是用于进行特征提取的模型，该特征提取模型可以是CNN(Convolutional Neural Network，卷积神经网络)模型、RNN(Recurrent Neural Network，循环神经网络)模型、CNN与BLSTM(Bidirectional Long Short-Term Memory Network，长短期记忆网络)的组合模型或者CNN与Transformer的组合模型，其中，Transformer是一种基于注意力机制的神经网络。本申请实施例对特征提取模型不做限定。

在一些实施例中，计算机设备通过特征提取算法，对目标图像进行特征提取，得到视觉特征。本申请实施例对计算机设备进行特征提取的方式不做限定。

302、计算机设备对该视觉特征进行识别，得到该目标图像对应的多个候选识别结果，该候选识别结果包括识别出的多个字符。

在一些实施例中，目标图像的视觉特征包括多个字符对应的视觉子特征，计算机设备通过确定多个视觉子特征对应的候选字符来确定多个候选识别结果。计算机设备对视觉特征进行识别，得到目标图像对应的多个候选识别结果，包括：对于任一字符对应的视觉子特征，对该视觉子特征进行识别，得到该视觉子特征对应多个第一候选字符的概率，基于该视觉子特征对应多个第一候选字符的概率，从该多个第一候选字符中选取满足概率要求条件的多个第二候选字符；在得到多个视觉子特征分别对应的多个第二候选字符之后，将多个视觉子特征分别对应的多个第二候选字符进行组合，得到该多个候选识别结果。

其中，视觉子特征对应第一候选字符的概率越高，该视觉子特征是该第一候选字符的视觉特征的概率越高，该第一候选字符的准确率越高。可选地，第一候选字符是字符库中的字符，计算机设备通过视觉子特征，确定出字符库中各个字符的概率，来得到该视觉子特征的候选识别结果。

可选地，计算机设备对于任一字符对应的视觉子特征，对该视觉子特征进行识别，得到该视觉子特征对应多个第一候选字符的概率，包括：计算机设备对于任一字符对应的视觉子特征，基于该视觉子特征与字符库中各个字符的匹配程度，确定该视觉子特征对应各个字符的概率。

例如，字符库中包括900个字符，对该视觉子特征进行识别，可以得到该视觉子特征对应900个字符的概率，如，该视觉子特征对应字符“一”的概率为0.1％。对应字符“四”的概率为0.1％，对应字符“天”的概率为“80％”，对应字符“大”的概率为50％等。

可选地，第一候选字符是计算机设备基于视觉子特征确定的。例如，计算机设备对于任一字符对应的视觉子特征，对该视觉子特征进行识别，得到该视觉子特征对应多个第一候选字符的概率，包括：计算机设备对于任一字符对应的视觉子特征，基于该视觉子特征确定多个第一候选字符以及该视觉子特征对应该多个第一候选字符的概率。

另外，本申请实施例还对“基于该视觉子特征对应多个第一候选字符的概率，从该多个第一候选字符中选取满足概率要求条件的多个第二候选字符”进行示例性说明，如下所示：

可选地，第二候选字符是多个第一候选字符中概率最高的第一候选字符。计算机设备基于该视觉子特征对应多个第一候选字符的概率，从该多个第一候选字符中选取满足概率要求条件的多个第二候选字符，包括：计算机设备基于该视觉子特征对应多个第一候选字符的概率，从该多个第一候选字符中选取目标数量的第二候选字符，该第二候选字符的概率大于剩余的第一候选字符的概率。

其中，目标数量可以是大于1的任一整数，本申请实施例对目标数量不做限定。例如，目标数量为3，计算机设备确定视觉子特征对应多个第一候选字符的概率之后，选取概率前3的第一候选字符，得到满足概率要求条件的第二候选字符。

可选地，第二候选字符是概率超过目标概率阈值的第一候选字符。计算机设备基于该视觉子特征对应多个第一候选字符的概率，从该多个第一候选字符中选取概率超过目标概率阈值的第二候选字符。

其中，目标概率阈值为任一数值，本申请实施例对目标概率阈值不做限定。可选地，该目标概率阈值为一经验值；可选地，该目标概率阈值为技术人员设置的数值。

上述步骤302中，在确定视觉特征对应的多个候选识别结果时，是基于各个字符对应的视觉子特征来确定各个字符识别结果，以得到候选识别结果的。由此可见，每个字符的识别过程是互不干扰的，因此，计算机设备在确定视觉特征对应的多个候选识别结果时，可以对多个字符对应的视觉子特征进行依次识别，也可以进行并行识别。在一些实施例中，计算机设备对该视觉特征进行识别，得到该目标图像对应的多个候选识别结果，包括：对该多个字符对应的视觉子特征进行并行识别，得到目标图像对应的多个候选识别结果。

在一些实施例中，上述步骤302通过第一字符识别模型来实现。可选地，该第一字符识别模型为并行字符识别模型。并行字符识别模型的识别过程中，各个字符的识别过程是相互独立的，并行字符识别模型通过一次前向计算，即可得到多个字符的字符识别结果，计算速度较快，识别效率较高。

可选地，该第一字符识别模型包括特征提取层和识别层，该特征提取层用于对上述步骤401中的视觉特征进行进一步特征提取。该识别层用于对特征提取层提取的视觉特征进行识别，得到候选识别结果。

需要说明的是，本申请实施例对第一字符识别模型中的特征提取层的数量不做限定，对特征提取层和识别层的类型不做限定。可选地，该第一字符识别模型包括2层特征提取层和一层识别层。可选地，特征提取层为双向长短期记忆层，识别层为softmax(激活)层。

其中，识别层的目标函数为Connectionist temporal classification(CTC，有联结时序分类)函数，该方法能够通过局部最优的贪婪解码方式快速得到候选识别结果，或者通过beam search(集束搜索)得到多个候选识别结果。

303、计算机设备确定多个候选识别结果中多个字符的语义相关性特征。

本申请实施例中，多个字符的语义相关性特征用于表示该多个字符的语义是否存在相关性，或者，该多个字符的语义相关性特征用于表示该多个字符的语义的相关性的高低。

在一些实施例中，计算机设备确定多个候选识别结果中多个字符的语义相关性特征，包括：计算机设备通过因果语言模型，确定多个候选识别结果中多个字符的语义相关性特征。

在一些实施例中，计算机设备确定多个候选识别结果中多个字符的语义相关性特征，包括：计算机设备通过自注意力机制，确定多个候选识别结果中多个字符的语义相关性特征。其中，自注意力机制是通过已识别出的字符来确定下一字符的识别结果，因此，计算机设备通过自注意力机制，可以学习到多个字符的语义相关性特征。

304、计算机设备基于多个候选识别结果中多个字符的语义相关性特征，确定多个候选识别结果的识别参数值。

在一些实施例中，计算机设备基于多个候选识别结果中多个字符的语义相关性特征，确定多个候选识别结果的第一识别参数值，该第一识别参数值用于表示候选识别结果中多个字符的语义相关程度；基于该多个候选识别结果的第一识别参数值，从多个候选识别结果中确定目标图像的字符识别结果。

其中，多个字符的语义相关程度越高，第一识别参数值越高。可选地，计算机设备基于该多个候选识别结果的第一识别参数值，从多个候选识别结果中确定目标图像的字符识别结果，包括：计算机设备基于该多个候选识别结果的第一识别参数值，将最高第一识别参数值对应的候选识别结果确定为该目标图像的字符识别结果。

其中，基于多个候选识别结果中多个字符的语义相关性特征，确定多个候选识别结果的识别参数值的过程可以看做是计算机设备基于多个候选识别结果中多个字符的语义相关性特征，确定多个候选识别结果是否准确的过程。

而验证多个候选识别结果是否准确，不仅可以基于多个字符的语义相关性特征来验证，还可以从视觉角度来进行验证，也即是，基于多个字符对应的视觉子特征来验证。可选地，该视觉特征包括多个字符对应的视觉子特征。计算机设备基于多个候选识别结果中多个字符的语义相关性特征，确定多个候选识别结果的第一识别参数值，包括：基于多个候选识别结果中多个字符的语义相关性特征和多个字符对应的视觉子特征，确定该多个候选识别结果的第一识别参数值。

可选地，计算机设备基于多个候选识别结果中多个字符的语义相关性特征和多个字符对应的视觉子特征，确定该多个候选识别结果的第一识别参数值，包括：对于候选识别结果中的第一个字符，基于该第一个字符对应的视觉特征，确定该第一个字符对应的第一识别子参数值；对于候选识别结果中的第k+1个字符，基于前k个字符与第k+1个字符的语义相关性特征以及第k+1个字符对应的视觉子特征，确定该第k+1个字符对应的第一识别子参数值，其中，k≥1，且k为正整数；基于该候选识别结果中多个字符对应的第一识别子参数值，确定该候选识别结果对应的第一识别参数值。

在一些实施例中，第一识别参数值是计算机设备通过第二字符识别模型确定的。可选地，第二字符识别模型为自回归字符识别模型。第二字符识别模型能够基于目标图像的视觉特征确定目标图像的字符识别结果。例如，目标图像的视觉特征包括多个字符对应的视觉子特征；计算机设备对视觉图像进行识别，得到目标图像的字符识别结果，包括：计算机设备通过第二字符识别模型执行以下步骤：对第一个视觉子特征进行识别，识别出第一个字符；基于第二个视觉子特征和识别出的第一个字符，识别出第二个字符；依次类推，基于第k+1个视觉子特征和识别出的k个字符，识别出第k+1个字符。

其中，计算机设备基于第k+1个视觉子特征和识别出的k个字符，识别出第k+1个字符的过程可以是：计算机设备基于第k+1个视觉子特征和识别出的k个字符，确定字符库中各字符为第k+1个字符的概率，将最高概率对应的字符确定为第k+1个字符。

而在本申请实施例中，第二字符识别模型是对多个候选识别结果进行打分，因此，第二字符识别模型的处理过程可以是：对于候选识别结果中的第一个字符，基于该第一个字符对应的视觉特征，确定字符库中各字符为第一个字符的概率，将候选识别结果中第一个字符对应的概率，确定为第一个字符对应的第一识别子参数值；对于候选识别结果中的第k+1个字符，基于候选识别结果中的前k个字符和第k+1个字符对应的视觉特征，确定字符库中各字符为第k+1个字符的概率，将候选识别结果中第k+1个字符对应的概率，确定为该第k+1个字符对应的第一识别子参数值；基于该候选识别结果中多个字符对应的第一识别子参数值，确定该候选识别结果对应的第一识别参数值。

需要说明的是，第二字符识别模型包括编码层和解码层，其中，编码层用于对视觉特征进行进一步提取，得到进一步的视觉特征。解码层用于确定候选识别结果的第一识别参数值。其中，本申请实施例对第二字符识别模型中的编码层和解码层的数量不做限定，例如，第二字符识别模型包括2层编码层和一层解码层。其中，编码层可以是transformer-encoder层，解码层可以是transformer-decoder层。

需要说明的另一点是，本申请实施例中，候选识别结果中的多个字符是已知的，因此，第二字符识别模型无需在确定前k个字符之后，确定第k+1个字符的概率，第二字符识别模型可以并行确定候选识别结果中多个字符对应的识别子参数值，从而加快了识别速度。

可选地，计算机设备基于该候选识别结果中多个字符对应的第一识别子参值数，确定该候选识别结果对应的第一识别参数值，包括：计算机设备获取候选识别结果中多个字符对应的第一识别子参数值的乘积值，得到该候选识别结果对应的第一识别参数值。可选地，计算机设备基于该候选识别结果中多个字符对应的第一识别子参数值，确定该候选识别结果对应的第一识别参数值，包括：计算机设备获取候选识别结果中多个字符对应的第一识别子参数值的和值，得到该候选识别结果对应的第一识别参数值。可选地，计算机设备基于该候选识别结果中多个字符对应的第一识别子参数值，确定该候选识别结果对应的第一识别参数值，包括：计算机设备获取候选识别结果中多个字符对应的第一识别子参数值的平均值，得到该候选识别结果对应的第一识别参数值。

例如，候选识别结果对应的第一识别参数值为：

其中，p表示概率，表示候选识别结果的第一识别参数值，w表示候选识别结果，o表示视觉特征，表示候选识别结果中第t个字符，K表示候选识别结果中字符的数量，表示连乘函数。

在一些实施例中，计算机设备基于多个候选识别结果的识别结果参数值，从多个候选识别结果中确定目标图像的字符识别结果，包括：获取多个候选识别结果的第二识别参数值，该第二识别参数值用于表示该候选识别结果与视觉特征的匹配程度；基于该多个候选识别结果的第一识别参数值和第二识别参数值，确定多个候选识别结果的总识别参数值。

例如，获取候选识别结果的第一识别参数值和第二识别参数值之和，作为该候选识别结果的总识别参数值。又如，将候选识别结果的第一识别参数值和第二识别参数值进行加权平均，得到该候选识别结果的总识别参数值。

可选地，第二识别参数值是对视觉特征进行识别，得到目标图像对应的多个候选识别结果的过程中确定的。计算机设备对视觉特征进行识别，得到目标图像对应的多个候选识别结果，包括：对该视觉特征进行识别，得到目标图像对应的多个候选识别结果和多个候选识别结果的第二识别参数值，基于该多个候选识别结果的第二识别参数值，从多个候选识别结果中选取满足识别参数值条件的候选识别结果。

根据上述步骤302的记载可知，多个候选识别结果是基于候选识别结果中各个字符对应的概率确定的，也即是，多个候选识别结果的第二识别参数值是基于候选识别结果中多个字符对应的概率确定的。在一些实施例中，计算机设备确定多个候选识别结果的第二识别参数值，包括：计算机设备获取候选识别结果中多个字符对应的概率的乘积值、和值或者平均值，作为该候选识别结果的第二识别参数值。

也就是说，本申请实施例会综合第一字符识别模型和第二字符识别模型确定的识别参数值，来确定字符识别结果。

305、计算机设备将识别参数值最高的候选识别结果，确定为目标图像的字符识别结果。

在一些实施例中，计算机设备将识别参数值最高的候选识别结果，确定为目标图像的字符识别结果，包括：计算机设备基于多个候选识别结果的识别参数值，对该多个候选识别结果进行排序。如果该多个候选识别结果按照识别参数值从高到低的顺序排序，则选取第一个候选识别结果作为目标图像的字符识别结果。如果该多个候选识别结果按照识别参数从低到高的顺序排序，则选取最后一个候选识别结果作为目标图像的字符识别结果。

在一些实施例中，该基于图像的字符识别方法由字符识别模型执行，如图4所示，该字符识别模型包括特征提取子模型、第一字符识别模型和第二字符识别模型，该视觉特征是由特征提取子模型确定的，该多个候选识别结果是由第一字符识别子模型确定的，语义相关性特征和字符识别结果是由第二字符识别子模型确定的。可选地，如图5所示，特征提取子模型确定视觉特征之后，将该视觉特征分别输入到第一字符识别子模型和第二字符识别子模型，第一字符识别子模型基于该视觉特征，确定多个候选识别结果，将该多个候选识别结果输入到第二字符识别子模型，第二字符识别子模型基于输入的视觉特征和多个候选识别结果，确定目标图像的字符识别结果。

在一些实施例中，该第一字符识别子模型为并行识别子模型，第二字符识别子模型为自回归字符识别子模型。可选地，该字符识别模型用于对字符内容属于第一领域的图像进行识别。如果想要使用该字符识别模型对第二领域的图像进行识别，还需要基于第二领域的样本数据，对字符识别模型进行训练。

该训练方法如下：计算机设备获取第二领域的样本数据，该样本数据包括样本字符数据和包括该样本字符数据的样本图像，该样本字符数据的字符内容属于第二领域，该第一领域与第二领域为不同的领域；通过字符识别模型，对样本图像进行识别，得到样本图像的预测字符数据；基于该预测字符数据和样本字符数据之间的差异，对该字符识别模型中的自回归字符识别子模型进行训练，得到适用于第二领域的字符识别模型。

其中，由于特征提取子模型和第一字符识别子模型仅与视觉特征相关，而第二字符识别子模型不仅与视觉特征相关，还与语义特征相同，在将字符识别模型投入到第二领域时，无需再对视觉特征进行学习，只需要对第二领域的语义特征进行学习，因此，只需训练自回归字符识别子模型即可。

另外，由于在将字符识别模型投入到第二领域时，无需再对视觉特征进行学习，因此，在获取第二领域的样本数据时，只需获取到字符内容属于第二领域的字符数据，基于该字符数据合成样本图像即可，无需搜寻第二领域的图像来得到样本图像。

可选地，计算机设备获取第二领域的样本数据，包括：获取属于第二领域的字符数据作为样本字符数据；基于该样本字符数据，合成包含该样本字符数据对应的样本图像；将该样本字符数据和样本图像作为样本数据。

其中，基于该样本字符数据，合成包含该样本字符数据对应的样本图像时，可以按照固定的图片格式进行合成，无需关注样本图像的图像样式。

需要说明的是，本申请在商品和药品两个领域的数据集中进行了实验，实验结果如表1和表2所示。

表1错误率的比较

根据表1可知，本申请实施例提供的字符识别模型与并行字符识别模型相比，在识别准确率上有较大的提升，与自回归字符识别模型的准确率略高。另外，本申请实施例还提供了一种基于某一领域的样本数据调整字符识别模型的方法，根据表1可知，调整后的模型在准确率上有了进一步地提高。

表2

根据表2可知，本申请实施例提供的字符识别模型，在识别速度上比自回归字符识别模型的耗时减少了很多。

由此可见，本申请实施例提供的字符识别模型相比于相关技术中的并行字符识别模型，准确率提高了很多，相比于相关技术中的自回归字符识别模型，在识别速度上提高了很多。

本申请实施例提供的基于图像的字符识别方法，考虑到个别字符识别错误，会导致整句话不通顺，也即是，识别错误的字符与其他字符在语义上不具有相关性，因此，本申请实施例先通过视觉特征确定多个候选识别结果，再基于候选识别结果中多个字符的语义相关性特征，从多个候选识别结果中确定字符识别结果，保证了字符识别结果中多个字符的语义是相关的，能够减少个别字符识别错误的情况，能够提高字符识别结果的准确率。

另外，本申请实施例提供了字符识别模型，来完成该基于图像的字符识别方法，该字符识别模型包括特征提取子模型、并行字符识别子模型和自回归字符识别子模型，这样，可以通过并行字符识别子模型快速地得到多个候选识别结果，基于自回归字符识别子模型，从多个候选识别结果中直接选取较为准确的识别结果作为字符识别结果，在保证字符识别结果准确的基础上，提高了识别速度。

另外，由于特征提取子模型和第一字符识别子模型仅与视觉特征相关，而第二字符识别子模型不仅与视觉特征相关，还与语义特征相同，在将字符识别模型投入到第二领域时，无需再对视觉特征进行学习，只需要对第二领域的语义特征进行学习，因此，只需训练自回归字符识别子模型即可，提高了模型的训练效率，降低了模型的训练难度。

另外，由于在将字符识别模型投入到第二领域时，无需再对视觉特征进行学习，因此，在获取第二领域的样本数据时，只需获取到字符内容属于第二领域的字符数据，基于该字符数据合成样本图像即可，无需搜寻第二领域的图像来得到样本图像，会降低了获取样本数据的难度。

图6是本申请实施例提供的一种基于图像的字符识别装置结构示意图，参见图6，该装置包括：

特征提取模块601，用于对目标图像进行特征提取，得到视觉特征；

识别模块602，用于对所述视觉特征进行识别，得到所述目标图像对应的多个候选识别结果，所述候选识别结果包括识别出的多个字符；

特征确定模块603，用于确定所述多个候选识别结果中多个字符的语义相关性特征；

结果确定模块604，用于基于所述多个候选识别结果中多个字符的语义相关性特征，从所述多个候选识别结果中确定所述目标图像的字符识别结果。

如图7所示，在一种可能实现方式中，所述结果确定模块604，包括：

参数值确定单元6041，用于基于所述多个候选识别结果中多个字符的语义相关性特征，确定所述多个候选识别结果的第一识别参数值，所述第一识别参数值用于表示所述候选识别结果中多个字符的语义相关程度；

结果确定单元6042，用于基于所述多个候选识别结果的第一识别参数值，从所述多个候选识别结果中确定所述目标图像的字符识别结果。

在一种可能实现方式中，所述视觉特征包括所述多个字符对应的视觉子特征；所述参数值确定单元6041，用于基于所述多个候选识别结果中多个字符的语义相关性特征和所述多个字符对应的视觉子特征，确定所述多个候选识别结果的第一识别参数值。

在一种可能实现方式中，所述参数值确定单元6041，用于对于所述候选识别结果中的第一个字符，基于所述第一个字符对应的视觉子特征，确定所述第一个字符对应的第一识别子参数值；对于所述候选识别结果中的第k+1个字符，基于前k个字符与所述第k+1个字符的语义相关性特征以及所述第k+1个字符对应的视觉子特征，确定所述第k+1个字符对应的第一识别子参数值，k≥1，且k为正整数；基于所述候选识别结果中多个字符对应的第一识别子参数值，确定所述候选识别结果对应的第一识别参数值。

在一种可能实现方式中，所述结果确定单元6042，用于获取所述多个候选识别结果的第二识别参数值，所述第二识别参数值用于表示所述候选识别结果与所述视觉特征的匹配程度；基于所述多个候选识别结果的第一识别参数值和第二识别参数值，确定所述多个候选识别结果的总识别参数值；将总识别参数值最高的候选识别结果确定为所述字符识别结果。

在一种可能实现方式中，所述第二识别参数值是对所述视觉特征进行识别，得到所述目标图像对应的多个候选识别结果的过程中确定的；所述识别模块602，用于对所述视觉特征进行识别，得到所述目标图像对应的多个候选识别结果和所述多个候选识别结果的第二识别参数值；基于所述多个候选识别结果的第二识别参数值，从所述多个候选识别结果中选取满足识别参数值条件的候选识别结果。

在一种可能实现方式中，所述目标图像的视觉特征包括所述多个字符对应的视觉子特征；所述识别模块602，用于对所述多个字符对应的视觉子特征进行并行识别，得到所述目标图像对应的多个候选识别结果。

在一种可能实现方式中，所述目标图像的视觉特征包括所述多个字符对应的视觉子特征；所述识别模块602，用于对于任一字符对应的视觉子特征，对所述视觉子特征进行识别，得到所述视觉子特征对应多个第一候选字符的概率，基于所述视觉子特征对应多个第一候选字符的概率，从所述多个第一候选字符中选取满足概率要求条件的多个第二候选字符；在得到多个视觉子特征分别对应的多个第二候选字符之后，将所述多个视觉子特征分别对应的多个第二候选字符进行组合，得到所述多个候选识别结果。

在一种可能实现方式中，所述方法由字符识别模型执行，所述字符识别模型包括特征提取子模型、第一字符识别子模型和第二字符识别子模型，所述视觉特征是由所述特征提取子模型确定的，所述多个候选识别结果是由所述第一字符识别子模型确定的，所述语义相关性特征和所述字符识别结果是由所述第二字符识别子模型确定的。

在一种可能实现方式中，所述第一字符识别子模型为并行识别子模型，所述第二字符识别子模型为自回归字符识别子模型；所述字符识别模型用于对字符内容属于第一领域的图像进行识别；所述装置还包括：

样本数据获取模块605，用于获取第二领域的样本数据，所述样本数据包括样本字符数据和包括所述样本字符数据的样本图像，所述样本字符数据的字符内容属于所述第二领域，所述第一领域与所述第二领域为不同的领域；

训练模块606，用于通过所述字符识别模型，对所述样本图像进行识别，得到所述样本图像的预测字符数据；

所述训练模块606，还用于基于所述预测字符数据和所述样本字符数据之间的差异，对所述字符识别模型中的自回归字符识别子模型进行训练，得到适用于所述第二领域的字符识别模型。

在一种可能实现方式中，所述样本数据获取模块605，用于获取属于所述第二领域的字符数据作为样本字符数据；基于所述样本字符数据，合成包含所述样本字符数据对应的样本图像；将所述样本字符数据和所述样本图像作为所述样本数据。

需要说明的是：上述实施例提供的基于图像的字符识别装置在识别字符时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于图像的字符识别的装置与基于图像的字符识别的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

在示例性实施例中，提供了一种计算机设备，该计算机设备包括一个或多个处理器和一个或多个存储器，该一个或多个存储器中存储有至少一条程序代码，该至少一条程序代码由该一个或多个处理器加载并执行以实现如上述实施例中的基于图像的字符识别方法。

可选地，该计算机设备被提供为终端。图8示出了本申请一个示例性实施例提供的终端800的结构框图。该终端800可以是：智能手机、平板电脑、MP3播放器(Moving PictureExperts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPicture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

终端800包括有：处理器801和存储器802。

处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器801可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器801还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器801所执行以实现本申请中方法实施例提供的基于图像的字符识别方法。

在一些实施例中，终端800还可选包括有：外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地，外围设备包括：射频电路804、显示屏805、摄像头806、音频电路807、定位组件808和电源809中的至少一种。

外围设备接口803可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中，处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上；在一些其他实施例中，处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路804用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路804包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路804还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏805用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时，显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏805可以为一个，设置终端800的前面板；在另一些实施例中，显示屏805可以为至少两个，分别设置在终端800的不同表面或呈折叠设计；在再一些实施例中，显示屏805可以是柔性显示屏，设置在终端800的弯曲表面上或折叠面上。甚至，显示屏805还可以设置成非矩形的不规则图形，也即异形屏。显示屏805可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件806用于采集图像或视频。可选地，摄像头组件806包括前置摄像头和后置摄像头。前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器801进行处理，或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路807还可以包括耳机插孔。

定位组件808用于定位终端800的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件808可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源809用于为终端800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于：加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。

加速度传感器811可以检测以终端800建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号，控制显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器812可以检测终端800的机体方向及转动角度，陀螺仪传感器812可以与加速度传感器811协同采集用户对终端800的3D动作。处理器801根据陀螺仪传感器812采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器813可以设置在终端800的侧边框和/或显示屏805的下层。当压力传感器813设置在终端800的侧边框时，可以检测用户对终端800的握持信号，由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在显示屏805的下层时，由处理器801根据用户对显示屏805的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器814用于采集用户的指纹，由处理器801根据指纹传感器814采集到的指纹识别用户的身份，或者，由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器801授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置终端800的正面、背面或侧面。当终端800上设置有物理按键或厂商Logo时，指纹传感器814可以与物理按键或厂商Logo集成在一起。

光学传感器815用于采集环境光强度。在一个实施例中，处理器801可以根据光学传感器815采集的环境光强度，控制显示屏805的显示亮度。具体地，当环境光强度较高时，调高显示屏805的显示亮度；当环境光强度较低时，调低显示屏805的显示亮度。在另一个实施例中，处理器801还可以根据光学传感器815采集的环境光强度，动态调整摄像头组件806的拍摄参数。

接近传感器816，也称距离传感器，设置在终端800的前面板。接近传感器816用于采集用户与终端800的正面之间的距离。在一个实施例中，当接近传感器816检测到用户与终端800的正面之间的距离逐渐变小时，由处理器801控制显示屏805从亮屏状态切换为息屏状态；当接近传感器816检测到用户与终端800的正面之间的距离逐渐变大时，由处理器801控制显示屏805从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图8中示出的结构并不构成对终端800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

可选地，该计算机设备被提供为服务器。图9是本申请实施例提供的一种服务器的结构示意图，该服务器900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central Processing Units，CPU)901和一个或一个以上的存储器902，其中，该存储器902中存储有至少一条程序代码，该至少一条程序代码由该处理器901加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。

该服务器900用于执行上述方法实施例中服务器所执行的步骤。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括程序代码的存储器，上述程序代码可由计算机设备中的处理器执行以完成上述实施例中的基于图像的字符识别方法。例如，该计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括计算机程序代码，该计算机程序代码被计算机执行时，使得计算机实现上述实施例中的基于图像的字符识别方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种基于图像的字符识别方法，其特征在于，所述方法包括：

对目标图像进行特征提取，得到视觉特征；

对所述视觉特征进行识别，得到所述目标图像对应的多个候选识别结果，所述候选识别结果包括识别出的多个字符；

确定所述多个候选识别结果中多个字符的语义相关性特征；

基于所述多个候选识别结果中多个字符的语义相关性特征，从所述多个候选识别结果中确定所述目标图像的字符识别结果。

2.根据权利要求1所述的方法，其特征在于，所述基于所述多个候选识别结果中多个字符的语义相关性特征，从所述多个候选识别结果中确定所述目标图像的字符识别结果，包括：

基于所述多个候选识别结果中多个字符的语义相关性特征，确定所述多个候选识别结果的第一识别参数值，所述第一识别参数值用于表示所述候选识别结果中多个字符的语义相关程度；

基于所述多个候选识别结果的第一识别参数值，从所述多个候选识别结果中确定所述目标图像的字符识别结果。

3.根据权利要求2所述的方法，其特征在于，所述视觉特征包括所述多个字符对应的视觉子特征；所述基于所述多个候选识别结果中多个字符的语义相关性特征，确定所述多个候选识别结果的第一识别参数值，包括：

基于所述多个候选识别结果中多个字符的语义相关性特征和所述多个字符对应的视觉子特征，确定所述多个候选识别结果的第一识别参数值。

4.根据权利要求3所述的方法，其特征在于，所述基于所述多个候选识别结果中多个字符的语义相关性特征和所述多个字符对应的视觉子特征，确定所述多个候选识别结果的第一识别参数值，包括：

对于所述候选识别结果中的第一个字符，基于所述第一个字符对应的视觉子特征，确定所述第一个字符对应的第一识别子参数值；

对于所述候选识别结果中的第k+1个字符，基于前k个字符与所述第k+1个字符的语义相关性特征以及所述第k+1个字符对应的视觉子特征，确定所述第k+1个字符对应的第一识别子参数值，k≥1，且k为正整数；

基于所述候选识别结果中多个字符对应的第一识别子参数值，确定所述候选识别结果对应的第一识别参数值。

5.根据权利要求2所述的方法，其特征在于，所述基于所述多个候选识别结果的第一识别参数值，从所述多个候选识别结果中确定所述目标图像的字符识别结果，包括：

获取所述多个候选识别结果的第二识别参数值，所述第二识别参数值用于表示所述候选识别结果与所述视觉特征的匹配程度；

基于所述多个候选识别结果的第一识别参数值和第二识别参数值，确定所述多个候选识别结果的总识别参数值；

将总识别参数值最高的候选识别结果确定为所述字符识别结果。

6.根据权利要求5所述的方法，其特征在于，所述第二识别参数值是对所述视觉特征进行识别，得到所述目标图像对应的多个候选识别结果的过程中确定的；

所述对所述视觉特征进行识别，得到所述目标图像对应的多个候选识别结果，包括：

对所述视觉特征进行识别，得到所述目标图像对应的多个候选识别结果和所述多个候选识别结果的第二识别参数值；

基于所述多个候选识别结果的第二识别参数值，从所述多个候选识别结果中选取满足识别参数值条件的候选识别结果。

7.根据权利要求1所述的方法，其特征在于，所述目标图像的视觉特征包括所述多个字符对应的视觉子特征；所述对所述视觉特征进行识别，得到所述目标图像对应的多个候选识别结果，包括：

对所述多个字符对应的视觉子特征进行并行识别，得到所述目标图像对应的多个候选识别结果。

8.根据权利要求1所述的方法，其特征在于，所述目标图像的视觉特征包括所述多个字符对应的视觉子特征；所述对所述视觉特征进行识别，得到所述目标图像对应的多个候选识别结果，包括：

对于任一字符对应的视觉子特征，对所述视觉子特征进行识别，得到所述视觉子特征对应多个第一候选字符的概率，基于所述视觉子特征对应多个第一候选字符的概率，从所述多个第一候选字符中选取满足概率要求条件的多个第二候选字符；

在得到多个视觉子特征分别对应的多个第二候选字符之后，将所述多个视觉子特征分别对应的多个第二候选字符进行组合，得到所述多个候选识别结果。

9.根据权利要求1所述的方法，其特征在于，所述方法由字符识别模型执行，所述字符识别模型包括特征提取子模型、第一字符识别子模型和第二字符识别子模型，所述视觉特征是由所述特征提取子模型确定的，所述多个候选识别结果是由所述第一字符识别子模型确定的，所述语义相关性特征和所述字符识别结果是由所述第二字符识别子模型确定的。

10.根据权利要求9所述的方法，其特征在于，所述第一字符识别子模型为并行识别子模型，所述第二字符识别子模型为自回归字符识别子模型；所述字符识别模型用于对字符内容属于第一领域的图像进行识别；所述方法还包括：

获取第二领域的样本数据，所述样本数据包括样本字符数据和包括所述样本字符数据的样本图像，所述样本字符数据的字符内容属于所述第二领域，所述第一领域与所述第二领域为不同的领域；

通过所述字符识别模型，对所述样本图像进行识别，得到所述样本图像的预测字符数据；

基于所述预测字符数据和所述样本字符数据之间的差异，对所述字符识别模型中的自回归字符识别子模型进行训练，得到适用于所述第二领域的字符识别模型。

11.根据权利要求10所述的方法，其特征在于，所述获取第二领域的样本数据，包括：

获取属于所述第二领域的字符数据作为样本字符数据；

基于所述样本字符数据，合成包含所述样本字符数据对应的样本图像；

将所述样本字符数据和所述样本图像作为所述样本数据。

12.一种基于图像的字符识别装置，其特征在于，所述装置包括：

特征提取模块，用于对目标图像进行特征提取，得到视觉特征；

识别模块，用于对所述视觉特征进行识别，得到所述目标图像对应的多个候选识别结果，所述候选识别结果包括识别出的多个字符；

特征确定模块，用于确定所述多个候选识别结果中多个字符的语义相关性特征；

结果确定模块，用于基于所述多个候选识别结果中多个字符的语义相关性特征，从所述多个候选识别结果中确定所述目标图像的字符识别结果。

13.一种计算机设备，其特征在于，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述至少一条程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求11任一项所述的基于图像的字符识别方法所执行的操作。

14.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现如权利要求1至权利要求11任一项所述的基于图像的字符识别方法所执行的操作。

Images