CN106203425A - 字符识别方法及装置 - Google Patents

Abstract

本发明的实施例提供了一种字符识别方法及装置。所述字符识别方法包括：获取待识别字符区域的至少两帧图像；对所述至少两帧图像中的每一帧进行字符识别，以生成每一帧图像的字符识别结果；以及对所述至少两帧图像的字符识别结果进行融合，以生成所述待识别字符区域的最佳字符识别结果。根据本发明实施例的字符识别方法及装置利用图像的时空冗余和互补特性，基于至少两帧图像的融合进行字符识别，与基于单帧图像的字符识别相比，可以取得更高的识别精度，且在存在噪声、模糊以及光照不佳等情况下，具有更好的适应性。

Description

字符识别方法及装置

技术领域

本发明涉及字符识别技术领域，更具体地涉及一种字符识别方法及装置。

背景技术

随着电子商务的迅猛发展，网上的交易越来越多，商家与商家之间、商家与客户之间等等常常进行各种交易，在这样的交易中，网上支付成为一种重要的支付手段。在进行网上支付时，用户通常需要手动输入银行卡或信用卡等多达十几位的卡号，操作十分不便利，直接影响用户体验。

目前，可以采用字符识别方法或系统对银行卡或信用卡等卡号之类的字符串进行扫描和识别，以代替人工手动输入，但是其精度尚未达到非常令人满意的程度，特别是在光照条件不佳或待识别区域存在复杂花纹时，最终的识别精度可能会大幅降低，或者需要花费较长的时间才能给出识别结果。在这些情况下，用户仍不得不采取手动输入方式。

因此，需要较高精度的字符识别方法或系统以改善用户体验。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种字符识别方法及装置，其利用图像的时空冗余和互补特性，基于至少两帧图像的融合进行字符识别，可以提高字符识别的精度。

根据本发明一方面，提供了一种字符识别方法，所述字符识别方法包括：获取待识别字符区域的至少两帧图像；对所述至少两帧图像中的每一帧进行字符识别，以生成每一帧图像的字符识别结果；以及对所述至少两帧图像的字符识别结果进行融合，以生成所述待识别字符区域的最佳字符识别结果。

根据本发明的一个实施例，所述至少两帧图像为连续帧图像。

根据本发明的一个实施例，对每一帧图像的字符识别还包括生成每一帧图像的字符识别结果的置信度。

根据本发明的一个实施例，对所述至少两帧图像的字符识别结果的融合基于所述每一帧图像的字符识别结果以及所述每一帧图像的字符识别结果的置信度。

根据本发明的一个实施例，所述对所述至少两帧图像的字符识别结果进行融合，以生成所述待识别字符区域的最佳字符识别结果包括：对预设目标函数进行迭代计算，以得到所述预设目标函数的最小值，其中，所述预设目标函数是一个关于预设字符变量的函数，且该函数中包括所述至少两帧图像中各帧图像的字符识别结果与预设字符变量之间的编辑距离、以及对应帧图像的字符识别结果的置信度；将所述预设目标函数取得最小值时对应的所述预设字符变量的值作为所述最佳字符识别结果输出。

示例性地，所述最佳字符识别结果通过下式进行计算：

$s^{*}=\underset{s}{\mathrm{argmin}}\underset{j=1}{\overset{N}{\Σ}}{w}_{j}d(s,s_j)$

其中，s^*表示所述最佳字符识别结果，N表示所采集的图像的总帧数，s_j表示第j帧图像的字符识别结果，w_j表示第j帧图像的字符识别结果的置信度，并且d(s,s_j)定义为s_j到s的编辑距离，s为字符变量。

根据本发明的一个实施例，所述对预设目标函数进行迭代计算包括：通过梯度下降法对所述预设目标函数进行迭代计算。

根据本发明另一方面，提供了一种字符识别装置，所述字符识别装置包括：图像采集模块，用于获取待识别字符区域的至少两帧图像；字符识别模块，用于对所述至少两帧图像中的每一帧进行字符识别，以生成每一帧图像的字符识别结果；以及融合模块，用于对所述至少两帧图像的字符识别结果进行融合，以生成所述待识别字符区域的最佳字符识别结果。

根据本发明的一个实施例，所述至少两帧图像为连续帧图像。

根据本发明的一个实施例，所述字符识别模块还用于生成每一帧图像的字符识别结果的置信度。

根据本发明的一个实施例，所述融合模块基于所述每一帧图像的字符识别结果以及所述每一帧图像的字符识别结果的置信度对所述至少两帧图像的字符识别结果进行融合。

根据本发明的一个实施例，所述融合模块包括：计算单元，用于对预设目标函数进行迭代计算，以得到所述预设目标函数的最小值，其中，所述预设目标函数是一个关于预设字符变量的函数，且该函数中包括所述至少两帧图像中各帧图像的字符识别结果与预设字符变量之间的编辑距离、以及对应帧图像的字符识别结果的置信度；输出单元，用于将所述预设目标函数取得最小值时对应的所述预设字符变量的值作为所述最佳字符识别结果输出。

示例性地，所述融合模块用于通过下式计算所述最佳字符识别结果：

$s^{*}=\underset{s}{\mathrm{argmin}}\underset{j=1}{\overset{N}{\Σ}}{w}_{j}d(s,s_j)$

其中，s^*表示所述最佳字符识别结果，N表示所采集的图像的总帧数，s_j表示第j帧图像的字符识别结果，w_j表示第j帧图像的字符识别结果的置信度，并且d(s,s_j)定义为s_j到s的编辑距离，s为字符变量。

根据本发明的一个实施例，所述计算单元用于通过梯度下降法对所述预设目标函数进行迭代计算。

根据本发明实施例的字符识别方法及装置利用图像的时空冗余和互补特性，基于至少两帧图像的融合进行字符识别，与基于单帧图像的字符识别相比，可以取得更高的识别精度，且在存在噪声、模糊以及光照不佳等情况下，具有更好的适应性。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是用于实现根据本发明实施例的字符识别方法和装置的示例电子设备的示意性框图；

图2是根据本发明实施例的字符识别方法的示意性流程图；

图3是根据本发明实施例的字符识别装置的示意性框图；以及

图4是根据本发明实施例的字符识别系统的示意性框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

首先，参照图1来描述用于实现本发明实施例的字符识别方法和装置的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像传感器110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像传感器110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的字符识别方法和装置的示例电子设备可以被实现为诸如智能手机以及平板电脑等。

下面，将参考图2描述根据本发明实施例的字符识别方法200。

首先，在步骤S210，获取待识别字符区域的至少两帧图像。

待识别字符区域为包括待识别字符的区域。可以通过图像采集装置来获得待识别字符区域，例如银行卡卡号所在的区域。图像采集装置可以是例如智能手机、平板电脑等移动终端上的摄像头，也可以是数码相机等单独的摄像装置。例如，当需要对银行卡卡号进行识别时，该银行卡卡号在银行卡中所在的区域为待识别字符区域，在该示例中，可以对银行卡卡号区域采集至少两帧图像。所述至少两帧图像可以是在相同的条件下采集的至少两帧图像，也可以是在不同的条件下采集的至少两帧图像。所述条件例如可以包括光照/照明条件、拍摄角度等。需要说明的是，图像采集装置可以是其他任何合适的、能够采集待识别字符区域的装置。这些图像采集装置采集待识别字符区域的至少两帧图像之后，可以将该采集到的待识别字符区域的图像以有线或无线的方式传送到字符识别设备中，以通过字符识别方法200来识别该待识别字符区域中的字符，例如银行卡图像上的银行卡卡号。

其次，在步骤S220，对所述至少两帧图像中的每一帧进行字符识别，以生成每一帧图像的字符识别结果。

对于所采集的至少两帧图像中的每一帧图像，可以调用常用的字符识别算法/程序对其进行字符识别，以生成每一帧图像的字符识别结果，作为待识别字符区域的初步字符识别结果。字符识别是指将字符区域的图像内容转化为字符串(例如，银行卡卡号)的过程。字符识别可以通过多种识别方法来实现，例如可以通过二值化操作结合模板匹配或模式分类的方式等。示例性地，对待识别字符区域进行二值化操作，基于二值化操作的结果，利用字符模板来进行字符识别。这种字符识别方式是一种光学字符识别(OpticalCharacter Recognition,OCR)方式，即先利用二值化操作分割出待识别字符区域内的每个字符，然后利用模板匹配的方式识别出所有的字符(对于银行卡卡号来说，字符包括阿拉伯数字)。字符模板是已知的字符模板。这种通过二值化操作和模板匹配进行字符识别的方法简单易行，节约时间。另外，也可以在二值化操作之后，利用模式分类的方式来识别出所有的字符。

最后，在步骤S230，对所述至少两帧图像的字符识别结果进行融合，以生成待识别字符区域的最佳字符识别结果。

在本步骤中，对在步骤S220所生成的至少两个初步字符识别结果进行融合，消除至少两个初步字符识别结果之间可能存在的冗余和矛盾，以增强字符识别结果的可靠性和精度，生成待识别字符区域的最佳字符识别结果。

示例性地，根据本发明实施例的字符识别方法可以在具有存储器和处理器的设备、装置或者系统中实现。

根据本发明实施例的字符识别方法可以部署在个人终端处，诸如智能电话、平板电脑、个人计算机等，用于金融应用领域，例如用于网上支付时银行卡卡号的识别等。

替代地，根据本发明实施例的字符识别方法还可以分布地部署在服务器端(或云端)和个人终端处。例如，在金融应用领域，可以在个人终端进行图像采集和初步字符识别，并在服务器端(或云端)进行至少两帧图像的字符识别结果的融合。再例如，可以在个人终端仅进行图像采集，并在服务器端(或云端)进行每帧图像的字符识别以及至少两帧图像的字符识别结果的融合。

根据本发明实施例的字符识别方法利用图像的时空冗余和互补特性，基于至少两帧图像的融合进行字符识别，与基于单帧图像的字符识别相比，可以取得更高的识别精度，且在存在噪声、模糊以及光照不佳等情况下，具有更好的适应性。

根据本发明实施例的一个示例，所述至少两帧图像为连续帧图像。利用连续帧图像的字符识别结果融合得到最佳字符识别结果，连续帧图像的字符识别结果的互补特性可以最大限度地消除可能存在的冗余和矛盾，进而提高识别精度且适应性更强。

根据本发明实施例，所述对每一帧图像的字符识别还包括生成每一帧图像的字符识别结果的置信度。

根据本发明实施例，对于针对待识别字符区域所采集的每一帧图像，对其进行的字符识别除了生成字符识别结果之外，还生成该字符识别结果的置信度。置信度可以理解为字符识别结果的可信度或准确度。示例性地，对所述至少两帧图像的字符识别结果的融合可以基于所采集的所述至少两帧图像中每帧图像的字符识别结果及其相对应的置信度。

例如，在步骤S210中调用图像采集装置所采集的至少两帧图像可以为按时间顺序排列的图像序列。该图像序列例如可以表示为X＝{I₁,I₂,…,I_N}，其中N为所接收的图像的总帧数。可以根据需求对N的取值进行任意设置。例如，N的典型值为6、8、10、12等。

在步骤S220中，对于所采集的至少两帧图像X＝{I₁,I₂,…,I_N}中的每一帧图像I_j,j∈[1,N]进行字符识别，以生成每一帧图像的字符识别结果s_j，并生成每一帧图像的字符识别结果的置信度w_j，其中w_j可以为0到1之间的实数。

最后，在步骤S230中，可以基于至少两帧图像中每帧图像的字符识别结果s_j及其相对应的置信度w_j进行字符识别结果的融合，以生成待识别字符区域的最佳字符识别结果。

在一个示例中，对所述至少两帧图像的字符识别结果进行融合，以生成所述待识别字符区域的最佳字符识别结果可以通过如下步骤实现：(1)对预设目标函数进行迭代计算，以得到所述预设目标函数的最小值，其中，所述预设目标函数是一个关于预设字符变量的函数，且该函数中包括所述至少两帧图像中各帧图像的字符识别结果与预设字符变量之间的编辑距离、以及对应帧图像的字符识别结果的置信度；(2)将所述预设目标函数取得最小值时对应的所述预设字符变量的值作为所述最佳字符识别结果输出。示例性地，对预设目标函数进行迭代计算可以采用梯度下降法。本领域技术人员可以理解的是，也可以采用高斯牛顿法、最小二乘法等，其详细计算过程可以参考现有技术中高斯牛顿法及最小二乘法，在此不再赘述。但是较其他方法而言，梯度下降法具有简单、快速和有效等特点，优选梯度下降法对预设目标函数进行迭代计算，以有效地得到识别结果，且提高识别速度。

在一个示例中，假设最佳字符识别结果为s^*，则最佳字符识别结果s^*可以通过下式进行计算：

$s^{*}=\underset{s}{\mathrm{argmin}}\underset{j=1}{\overset{N}{\Σ}}{w}_{j}d(s,s_j)$

其中，N表示所采集的图像的总帧数，s_j表示第j帧图像的字符识别结果，w_j表示第j帧图像的字符识别结果的置信度，并且d(s,s_j)定义为s_j到s的编辑距离，s为字符变量。

编辑距离是指两个字符串之间，由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。一般来说，编辑距离越小，两个字符串的相似度越大。因此，d(s,s_j)表示s与s_j之间的编辑距离，即从s变为s_j或从s_j变为s所需要的最少编辑操作次数，即s与s_j之间(即字符识别结果之间)的相似度。

基于上式，可计算生成最终的最佳字符识别结果。

根据本发明实施例，最佳字符识别结果可以通过编辑距离空间下的梯度下降法以迭代的方式计算得出。

继续上面的示例，由于编辑距离d(s,s_j)为可微函数，因此可在编辑空间下实施梯度下降法以迭代的方式计算得出最佳字符识别结果。

示例性地，假设

$L\left(s\right)=\underset{j=1}{\overset{N}{\Σ}}{w}_{j}d(s,s_j)$

则迭代的目标是令函数L(s)最小化，示例性地，可以实施如下步骤：

首先，进行初始化，例如令s⁰＝s'，其中s'为N个初步字符识别结果中置信度最高的字符识别结果。

接着，可以按照下式执行迭代过程：

s^t+1＝s^t-γ·▽L(s^t)

其中，▽L(s^t)表示函数L(s)在s^t处的梯度，t为迭代的序号，γ为常数。可以根据需要对γ的数值进行设置。例如，典型地，可以将γ的数值设置为0.5或0.05。

在迭代过程中，如果经过T轮迭代之后，s^t+1与s^t完全相同，则终止迭代过程；如果经过2T轮迭代之后，s^t+1仍然不同于s^t，则强制终止迭代过程，并将s^t+1作为最佳字符识别结果输出，即s^*＝s^t+1。示例性地，T取值为N/2。

采用编辑距离空间下的梯度下降方法，可简单、快速和有效地得出最佳字符识别结果。

根据本发明一实施例，对最佳字符识别结果的求取过程还可以采用高斯牛顿法进行迭代计算。其详细计算过程可以参考现有技术中高斯牛顿法，在此不再赘述。

上述根据本发明实施例的字符识别方法利用图像的时空冗余和互补特性，基于至少两帧图像的融合进行字符识别，与基于单帧图像的字符识别相比，可以取得更高的识别精度，且在存在噪声、模糊以及光照不佳等情况下，具有更好的适应性。

图3示出了根据本发明实施例的字符识别装置300的示意性框图。

如图3所示，根据本发明实施例的字符识别装置300包括图像采集模块310、字符识别模块320以及融合模块330。

图像采集模块310用于获取待识别字符区域的至少两帧图像。图像采集模块310可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的字符识别方法中的步骤S210。

其中，待识别字符区域为包括待识别字符的区域。例如，当需要对银行卡卡号进行识别时，该银行卡卡号在银行卡中所在的区域为待识别字符区域。在该示例中，图像采集模块310可以调用图像传感器对银行卡卡号区域采集至少两帧图像。所述至少两帧图像可以是在相同的条件下采集的至少两帧图像，也可以是在不同的条件下采集的至少两帧图像。所述条件例如可以包括光照/照明条件、拍摄角度等。

字符识别模块320对所述至少两帧图像中的每一帧进行字符识别，以生成每一帧图像的字符识别结果。字符识别模块320可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的字符识别方法中的步骤S220。

对于所采集的至少两帧图像中的每一帧图像，字符识别模块320可以调用常用的字符识别算法/程序对其进行字符识别，以生成每一帧图像的字符识别结果，作为待识别字符区域的初步字符识别结果。

融合模块330用于对所述至少两帧图像的字符识别结果进行融合以生成待识别字符区域的最佳字符识别结果。融合模块330可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的字符识别方法中的步骤S230。

融合模块330可以对字符识别模块320所生成的多个初步字符识别结果进行融合，消除多个初步字符识别结果之间可能存在的冗余和矛盾，以增强字符识别结果的可靠性和精度，生成待识别字符区域的最佳字符识别结果。

根据本发明实施例，所述至少两帧图像为连续帧图像。

根据本发明实施例，字符识别模块320还用于生成每一帧图像的字符识别结果的置信度。融合模块330基于每一帧图像的字符识别结果以及每一帧图像的字符识别结果的置信度对至少两帧图像的字符识别结果进行融合。

对于针对待识别字符区域所采集的每一帧图像，字符识别模块320对其进行的字符识别除了生成字符识别结果之外，还可以生成该字符识别结果的置信度。置信度可以理解为字符识别结果的可信度或准确度。基于此，融合模块330用于对至少两帧图像的字符识别结果的融合可以基于所采集的至少两帧图像中每帧图像的字符识别结果及其相对应的置信度。

根据本发明一实施例，所述融合模块330包括计算单元(图中未示出)和输出单元(图中未示出)。计算单元用于对预设目标函数进行迭代计算，以得到所述预设目标函数的最小值，其中，所述预设目标函数是一个关于预设字符变量的函数，且该函数中包括所述至少两帧图像中各帧图像的字符识别结果与预设字符变量之间的编辑距离、以及对应帧图像的字符识别结果的置信度。输出单元用于将所述预设目标函数取得最小值时对应的所述预设字符变量的值作为所述最佳字符识别结果输出。示例性地，所述计算单元用于通过梯度下降法对所述预设目标函数进行迭代计算。

示例性地，融合模块330可以通过下式进行计算最佳字符识别结果：

$s^{*}=\underset{s}{\mathrm{argmin}}\underset{j=1}{\overset{N}{\Σ}}{w}_{j}d(s,s_j)$

其中，s^*表示最佳字符识别结果，N表示所采集的图像的总帧数，s_j表示第j帧图像的字符识别结果，w_j表示第j帧图像的字符识别结果的置信度，并且d(s,s_j)定义为s_j到s的编辑距离，s为字符变量。

编辑距离是指两个字串之间，由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。一般来说，编辑距离越小，两个串的相似度越大。因此，d(s,s_j)表示s与s_j之间的编辑距离，即从s变为s_j或从s_j变为s所需要的最少编辑操作次数，即s与s_j之间(即字符识别结果之间)的相似度。

进一步地，融合模块330可以通过编辑距离空间下的梯度下降法以迭代的方式计算得出最佳字符识别结果。

继续上面的示例，由于编辑距离d(s,s_j)为可微函数，因此融合模块330可在编辑空间下实施梯度下降法以迭代的方式计算得出最佳字符识别结果。

示例性地，假设

$L\left(s\right)=\underset{j=1}{\overset{N}{\Σ}}{w}_{j}d(s,s_j)$

则迭代的目标是令函数L(s)最小化，示例性地，融合模块330可以实施如下步骤：

首先，进行初始化，例如令s⁰＝s'，其中s'为N个初步字符识别结果中置信度最高的字符识别结果。

接着，可以按照下式执行迭代过程：

s^t+1＝s^t-γ·▽L(s^t)

其中，▽L(s^t)表示函数L(s)在s^t处的梯度，t为迭代的序号，γ为常数。可以根据需要对γ的数值进行设置。例如，典型地，可以将γ的数值设置为0.5或0.05。

在迭代过程中，如果经过T轮迭代之后，s^t+1与s^t完全相同，则融合模块330终止迭代过程；如果经过2T轮迭代之后，s^t+1仍然不同于s^t，则融合模块330强制终止迭代过程，并将s^t+1作为最佳字符识别结果输出，即s^*＝s^t+1。示例性地，T取值为N/2。

融合模块330采用编辑距离空间下的梯度下降方法，可简单、快速和有效地得出最佳字符识别结果。

上述根据本发明实施例的字符识别装置利用图像的时空冗余和互补特性，基于至少两帧图像的融合进行字符识别，与基于单帧图像的字符识别相比，可以取得更高的识别精度，且在存在噪声、模糊以及光照不佳等情况下，具有更好的适应性。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

图4示出了根据本发明实施例的字符识别系统400的示意性框图。字符识别系统400包括图像传感器410、存储装置420、以及处理器430。

其中，图像传感器410用于针对待识别字符区域采集至少两帧图像。存储装置420存储用于实现根据本发明实施例的字符识别方法中的相应步骤的程序代码。处理器430用于运行存储装置420中存储的程序代码，以执行根据本发明实施例的字符识别方法的相应步骤，并且用于实现根据本发明实施例的字符识别装置中的图像采集模块310、字符识别模块320以及融合模块330。

在一个实施例中，在所述程序代码被处理器430运行时执行以下步骤：获取待识别字符区域的至少两帧图像；对所述至少两帧图像中的每一帧进行字符识别，以生成每一帧图像的字符识别结果；以及对所述至少两帧图像的字符识别结果进行融合，以生成所述待识别字符区域的最佳字符识别结果。示例性地，所述至少两帧图像为连续帧图像。此外，在所述程序代码被处理器430运行时还执行以下步骤：生成每一帧图像的字符识别结果的置信度。基于所述每一帧图像的字符识别结果以及所述每一帧图像的字符识别结果的置信度对所述至少两帧图像的字符识别结果进行融合。其中，最佳字符识别结果的示例性计算过程参见前述根据本发明实施例的字符识别方法(或字符识别装置)中的计算过程。该计算过程作为程序代码存储在存储装置420中，由处理器430执行。

此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的字符识别方法的相应步骤，并且用于实现根据本发明实施例的字符识别装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含用于对所获取的至少两帧图像中的每一帧进行字符识别以生成每一帧图像的字符识别结果的计算机可读的程序代码，另一个计算机可读存储介质包含对所述至少两帧图像的字符识别结果进行融合以生成所述待识别字符区域的最佳字符识别结果的计算机可读的程序代码。

在一个实施例中，所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的字符识别装置的各个功能模块，并且/或者可以执行根据本发明实施例的字符识别方法。

在一个实施例中，所述计算机程序指令在被计算机运行时执行以下步骤：获取待识别字符区域的至少两帧图像；对所述至少两帧图像中的每一帧进行字符识别，以生成每一帧图像的字符识别结果；以及对所述至少两帧图像的字符识别结果进行融合，以生成所述待识别字符区域的最佳字符识别结果。示例性地，所述至少两帧图像为连续帧图像。

此外，所述计算机程序指令在被计算机运行时还执行以下步骤：生成每一帧图像的字符识别结果的置信度。基于所述每一帧图像的字符识别结果以及所述每一帧图像的字符识别结果的置信度对所述至少两帧图像的字符识别结果进行融合。其中，最佳字符识别结果的示例性计算过程参见前述根据本发明实施例的字符识别方法(或字符识别装置)中的计算过程。该计算过程作为计算机程序指令存储在存储介质中，由计算机运行。

根据本发明实施例的字符识别装置中的各模块可以通过根据本发明实施例的字符识别的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。

根据本发明实施例的字符识别方法及装置、字符识别系统以及存储介质，基于至少两帧图像的融合，利用图像的时空冗余和互补特性，与基于单帧图像的字符识别相比，可以取得更高的识别精度，且在存在噪声、模糊以及光照不佳等情况下，具有更好的适应性。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种字符识别方法，其特征在于，所述字符识别方法包括：

获取待识别字符区域的至少两帧图像；

对所述至少两帧图像中的每一帧进行字符识别，以生成每一帧图像的字符识别结果；以及

对所述至少两帧图像的字符识别结果进行融合，以生成所述待识别字符区域的最佳字符识别结果。

2.根据权利要求1所述的字符识别方法，其特征在于，所述至少两帧图像为连续帧图像。

3.根据权利要求1所述的字符识别方法，其特征在于，对每一帧图像的字符识别还包括生成每一帧图像的字符识别结果的置信度。

4.根据权利要求3所述的字符识别方法，其特征在于，对所述至少两帧图像的字符识别结果的融合基于所述每一帧图像的字符识别结果以及所述每一帧图像的字符识别结果的置信度。

5.根据权利要求3或4所述的字符识别方法，其特征在于，所述对所述至少两帧图像的字符识别结果进行融合，以生成所述待识别字符区域的最佳字符识别结果包括：

对预设目标函数进行迭代计算，以得到所述预设目标函数的最小值，其中，所述预设目标函数是一个关于预设字符变量的函数，且该函数中包括所述至少两帧图像中各帧图像的字符识别结果与预设字符变量之间的编辑距离、以及对应帧图像的字符识别结果的置信度；

将所述预设目标函数取得最小值时对应的所述预设字符变量的值作为所述最佳字符识别结果输出。

6.根据权利要求3或4所述的字符识别方法，其特征在于，所述最佳字符识别结果通过下式进行计算：

$s^{*}=\underset{s}{\mathrm{argmin}}\underset{j=1}{\overset{N}{\Σ}}{w}_{j}d(s,s_j)$

其中，s^*表示所述最佳字符识别结果，N表示所采集的图像的总帧数，s_j表示第j帧图像的字符识别结果，w_j表示第j帧图像的字符识别结果的置信度，并且d(s,s_j)定义为s_j到s的编辑距离，s为字符变量。

7.根据权利要求5所述的字符识别方法，其特征在于，所述对预设目标函数进行迭代计算包括：

通过梯度下降法对所述预设目标函数进行迭代计算。

8.一种字符识别装置，其特征在于，所述字符识别装置包括：

图像采集模块，用于获取待识别字符区域的至少两帧图像；

字符识别模块，用于对所述至少两帧图像中的每一帧进行字符识别，以生成每一帧图像的字符识别结果；以及

融合模块，用于对所述至少两帧图像的字符识别结果进行融合，以生成所述待识别字符区域的最佳字符识别结果。

9.根据权利要求8所述的字符识别装置，其特征在于，所述至少两帧图像为连续帧图像。

10.根据权利要求8所述的字符识别装置，其特征在于，所述字符识别模块还用于生成每一帧图像的字符识别结果的置信度。

11.根据权利要求10所述的字符识别装置，其特征在于，所述融合模块进一步用于基于所述每一帧图像的字符识别结果以及所述每一帧图像的字符识别结果的置信度对所述至少两帧图像的字符识别结果进行融合。

12.根据权利要求10或11所述的字符识别装置，其特征在于，所述融合模块包括：

计算单元，用于对预设目标函数进行迭代计算，以得到所述预设目标函数的最小值，其中，所述预设目标函数是一个关于预设字符变量的函数，且该函数中包括所述至少两帧图像中各帧图像的字符识别结果与预设字符变量之间的编辑距离、以及对应帧图像的字符识别结果的置信度；

输出单元，用于将所述预设目标函数取得最小值时对应的所述预设字符变量的值作为所述最佳字符识别结果输出。

13.根据权利要求10或11所述的字符识别装置，其特征在于，所述融合模块用于通过下式计算所述最佳字符识别结果：

$s^{*}=\underset{s}{\mathrm{argmin}}\underset{j=1}{\overset{N}{\Σ}}{w}_{j}d(s,s_j)$

其中，s*表示所述最佳字符识别结果，N表示所采集的图像的总帧数，s_j表示第j帧图像的字符识别结果，w_j表示第j帧图像的字符识别结果的置信度，并且d(s,s_j)定义为s_j到s的编辑距离，s为字符变量。

14.根据权利要求12所述的字符识别装置，其特征在于，所述计算单元用于通过梯度下降法对所述预设目标函数进行迭代计算。