CN112633243B - 信息识别方法、装置、设备及计算机存储介质 - Google Patents

Abstract

本申请公开了一种信息识别方法、装置、设备及计算机存储介质。该信息识别方法包括：在连续的信息输入过程中，获取当前输入笔画；获取所述当前输入笔画与所述信息输入过程中各个历史输入笔画之间的相关性特征；根据所述历史输入笔画、所述当前输入笔画和所述相关性特征，生成可允许分割集合；识别所述可允许分割集合的每个第一子集，得到至少一个所述第一子集对应的第一字符及其识别概率；根据所述第一字符及其识别概率以及所述历史输入笔画的历史识别信息，确定所述信息输入过程中所有笔画的识别结果。本申请能够有效利用了已有的历史识别信息进行信息识别，减少了识别输入信息的时间，提高了识别效率。

Description

信息识别方法、装置、设备及计算机存储介质

技术领域

本申请属于图像处理技术，尤其涉及一种信息识别方法、装置、设备及计算机存储介质。

背景技术

目前，用户借助人机交互式设备，例如交互式大屏设备等书写设备，将所要表达的内容通过手写的方式输入计算机设备中。如此，用户无需花费额外时间去学习输入计算机设备的方式。然而，对于计算机设备而言，需要花费较长时间来识别手写信息。因此，如何解决计算机设备快速识别手写信息的问题已成为当务之急。

发明内容

本申请实施例提供一种信息识别方法、装置、设备及计算机存储介质，能够利用历史输入笔画的历史识别信息，生成信息输入过程中所有笔画的识别结果，从而减少了识别手写信息的时间，提高了识别手写信息的效率。

第一方面，本申请实施例提供一种信息识别方法，方法包括：

在连续的信息输入过程中，获取当前输入笔画；

获取所述当前输入笔画与所述信息输入过程中各个历史输入笔画之间的相关性特征；

根据所述历史输入笔画、所述当前输入笔画和所述相关性特征，生成可允许分割集合；所述可允许分割集合中包括多个第一子集，所述多个第一子集包括所述当前输入笔画所组成的第一子集以及所述当前输入笔画和至少一个所述历史输入笔画所组成的第一子集；

识别所述可允许分割集合的每个第一子集，得到至少一个所述第一子集对应的第一字符及其识别概率；

根据所述第一字符及其识别概率以及所述历史输入笔画的历史识别信息，确定所述信息输入过程中所有笔画的识别结果，所述历史识别信息包括识别历史输入笔画的信息。

第二方面，本申请实施例提供了一种信息识别方法，装置包括：

笔画获取模块，用于在连续的信息输入过程中，获取当前输入笔画。

特征获取模块，用于获取所述当前输入笔画与所述信息输入过程中各个历史输入笔画之间的相关性特征。

分割模块，用于根据所述历史输入笔画、所述当前输入笔画和所述相关性特征，生成可允许分割集合；所述可允许分割集合中包括多个第一子集，所述多个第一子集包括所述当前输入笔画所组成的第一子集以及所述当前输入笔画和至少一个所述历史输入笔画所组成的第一子集。

识别模块，用于识别所述可允许分割集合的每个第一子集，得到至少一个所述第一子集对应的第一字符及其识别概率。

信息确定模块，用于根据所述第一字符及其识别概率以及所述历史输入笔画的历史识别信息，确定所述信息输入过程中所有笔画的识别结果，所述历史识别信息包括识别历史输入笔画的信息。

第三方面，本申请实施例提供了一种信息识别设备，设备包括：处理器以及存储有计算机程序指令的存储器。所述处理器执行所述计算机程序指令时实现本申请如本申请任一实施例所提供的信息识别方法。

第四方面，本申请实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现本申请实施例所提供的任一所述的信息识别方法。

本申请实施例的信息识别方法、装置、设备及计算机存储介质，可以在获取当前输入笔画输入后，利用历史输入笔画的历史识别信息，识别输入信息，从而有效利用了已有的历史识别信息，减少了识别输入信息的时间，提高了识别效率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一个实施例提供的信息识别方法的流程示意图；

图2为本申请另一个实施例提供的信息识别的方法流程图；

图3为本申请实施例中一种信息识别装置的组成结构示意图；

图4为本申请又一个实施例提供的信息识别装置的组成结构示意图；

图5为本申请又一个实施例提供的信息识别的方法流程图；

图6为本申请一个实施例提供的结构解析模块的结构示意图；

图7为本申请一个实施例提供的结构解析方法的流程示意图；

图8为本申请一个实施例提供的信息识别设备的结构示意图。

具体实施方式

下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在对本申请实施例提供一种信息识别方法进行详细描述之前，首先对本申请涉及的技术进行简要介绍。

人机交互设备通过输入接口获取输入信息，输入信息可以包括文字信息和数学公式等。对该输入信息进行切分输入的笔迹，形成单独的可识别单元。然后对可识别单元进行识别，识别成单个字符。在对单字符间的位置关系进行识别，获取单字符间的位置关系。结合位置关系和字符识别结果进行空间结构解析，形成最终的识别结果。

以输入信息为数学公式为例，目前的数学公式的识别算法大致分成两类。第一类是三段式识别方法，首先对输入的笔迹进行切分，形成单独的可识别单元。然后对可识别单元进行识别，识别成数学符号，比如加号、分数线、根号等。最后对数学符号的空间结构进行解析，形成最终的识别结果。第二类是通过深度学习的方式，端到端的从书写笔迹识别成排版系统Latex公式。

然而，为了保证识别的准确性，在用户书写笔迹的时候，都是全量的识别，即每次有新的笔迹输入，识别算法会将识别引擎初始化，重新进行识别。这种识别方式的逻辑比较清晰，但是删除了许多能够复用的识别数据，不可避免的带来了识别时间长的问题。

CYK算法(也称为Cocke–Younger–Kasami算法)是一种用来对上下文无关文法(Context Free Grammar，CFG)进行语法分析的算法。CYK算法的描述基于乔姆斯范式(Chomsky Normal Form，CNF)的CFG。由于任何一个CFG都可以转化成符合CNF。因此，CYK算法可以应用于任何一个上下文无关语法。

由于数学公式识别问题可以视为如何获得给定笔划序列最有可能的解析树问题。因此，可以基于概率上下文无关文法(Probabilistic Context Free Grammar，PCFG)的基本分析方法，构建生成模型，从而解决数学公式的识别问题。PCFG是CNF中的2型文法。PCFG由一个四元组和对应概率组成，四元组包括分别为非终结符集合，终结符集合，语法开始符号和规则。

目前，利用CYK算法识别数学公式方法如下：

将单字符的笔画顺序，最大笔画数和位置关系，输入到上下文无关的语法模型，在经过上下文无关的语法模型，选取概率最大的解析树，作为公式输出结果。

为了解决现有技术问题，本申请实施例提供了一种信息识别方法、装置、设备及计算机存储介质，能够利用历史输入笔画的历史识别信息，识别输入信息，从而减少了识别输入信息的所需时间，提高信息识别效率。

下面首先对本申请实施例所提供的信息识别方法进行介绍。

图1示出了本申请一实施例提供的信息识别方法的流程示意图。如图1所示，信息识别方法包括：

步骤S11，在连续的信息输入过程中，获取当前输入笔画。

这里，当前输入笔画可以为待识别的输入笔画。当前输入笔画可以包括在信息输入过程中输入的一个或者多个笔画。其中，笔画可以为一组有顺序的点序列。因此，当前输入笔画可以包括至少一组点序列。

在本申请实施中，可以采用多种方式获取当前输入笔画。例如，可以通过人机交互界面直接获取输入笔画。也可以通过图像数据来获取输入笔画。还可以通过其它格式的文件来获取输入笔画。这里，对获取当前输入笔画不做具体限制。

步骤S12，获取当前输入笔画与信息输入过程中各个历史输入笔画之间的相关性特征。

这里，历史输入笔画可以包括在信息输入过程中输入时间早于当前输入笔画的一个笔画。相关性特征表征当前输入笔画与各个历史输入笔画之间的相关性。相关性特征可以基于当前输入笔画的点序列与历史输入笔画的点序列计算得到。

例如，相关性特征可以包括第一距离，第一距离可以为两个笔画的欧式距离。根据当前输入笔画的点序列与历史输入笔画的点序列，计算当前输入笔画与历史输入笔画的第一距离。

例如，相关性特征还可以包括可见性，可见性可以是根据当前输入笔画和历史输入笔画之间是否存在信息输入过程中的其它输入笔画确定的。具体地，根据当前输入笔画的点序列与历史输入笔画的点序列，确定两个笔画的最近点之间的直线是否穿过任何其它笔画。若穿过其它笔画，可以认为两个笔画之间的可见性为不可见。若没有穿过其它笔画，可以认为这两个笔画之间的可见性为可见。

需要说明的是，相关性特征包括但不限于第一距离和可见性，还可以包括其它特征。

步骤S13，根据所述历史输入笔画、当前输入笔画和相关性特征，生成可允许分割集合。

这里，根据历史输入笔画与当前输入笔画之间的相关性特征，将历史输入笔画与当前输入笔画进行分割，搜索可以组合在一起的笔画组合，获取可允许分割集合。其中，可允许分割集合中包括多个第一子集，多个第一子集包括当前输入笔画所组成的第一子集以及当前输入笔画和至少一个历史输入笔画所组成的第一子集。第一子集为一个或多个笔画的组合方式。

例如，历史输入信息为“3-”，当前输入信息为“1”，从而历史输入笔画为2个，第一个历史输入笔画为“3”，第二历史输入笔画为“-”，当前输入笔画为“1”。根据相关性特征，将历史输入笔画和当前输入笔画进行分割，生成的分割集合为{{3}，{3，-}，{3,1}，{3，+}，{-}，{1}，{+}}。

步骤S14，识别可允许分割集合的每个第一子集，得到至少一个第一子集对应的第一字符及其识别概率。

这里，历史笔画和当前输入笔画存在多种分割和组合方式，形成多个第一子集。利用字符识别算法识别对可允许分割集合的每个第一子集进行识别，获取至少一个第一子集的对应的第一字符以及其识别概率。其中，识别概率是指第一子集识别成第一字符的概率。第一字符可以为单个字符或者多个字符。

需要说明的是，字符识别算法有很多种，例如模板匹配、结构分析方法、统计学方法以及基于神经网络。在本申请实施例中，对字符识别算法不做限定。

步骤S15，根据第一字符及其识别概率以及历史输入笔画的历史识别信息，确定信息输入过程中所有笔画的识别结果。

这里，根据第一字符及其识别概率，对当前输入笔画进行结构解析，获得当前输入笔画的识别信息。结合当前输入笔画的识别信息和历史识别信息，确定信息输入过程中所有笔画的识别结果。

其中，历史识别信息包括识别历史输入笔画的信息。例如历史结构信息，历史结构信息可以包括由历史输入笔画生成的字符以及识别概率、以及相邻字符结构及其结构概率。所有笔画的识别结果包括识别所有笔画的信息。结构信息可以包括由所有输入笔画生成的字符以及识别概率、以及相邻字符结构及其结构概率。

在上实施例中，可以在获取当前输入笔画后，利用历史输入笔画的历史识别信息，识别输入信息，从而有效利用了已有的历史识别信息，减少了识别输入信息的时间，提高了识别效率。。

在一些实施例中，为了减轻运算负担，在步骤S12，获取当前输入笔画与信息输入过程中各个历史输入笔画之间的相关性特征之前，信息识别方法还包括：

在未获取信息输入过程中各个历史输入笔画之间的相关性特征的情况下，缓存当前输入笔画。

这里，采集信息输入过程中每一个输入笔画。在检测正在计算各个历史输入笔画之间的相关性特征的情况下，将当前输入笔画缓存在缓冲区。在检测到获取各个历史输入笔画之间的相关性特征的情况下，从缓冲区读取当前输入笔画。如此，可以减轻运算负担，提高计算速度。

在一些实施例中，为了提高识别字符的准确率，步骤S14，识别可允许分割集合的每个第一子集，得到至少一个第一子集对应的第一字符及其识别概率，包括：

步骤S141，提取可允许分割集合的目标特征。

这里，提取可允许分割集合中每个第一子集的目标特征。其中，目标特征可以包括在线特征和/或离线特征。在线特征可以包括根据历史输入笔画的轨迹信息和当前输入笔画的轨迹信息计算得到的特征。例如标准化坐标、标准化一阶导、标准化二阶导和曲率等向量。

离线特征可以包括从历史输入笔画和当前输入笔画生成的图像提取的特征。具体地，离线特征从一个分割假设集生成的图像中提取的特征向量。例如列中黑色像素数、列的重心和列的二阶矩等向量。其中，分割假设集是指用一个假设分割边界将历史输入笔画和当前输入笔画进行分割形成的集合。

需要说明的是，步骤S141，提取可允许分割集合的目标特征的方式可以是在计算当前输入笔画和各个历史输入笔画组合的在线特征和/或离线特征，以及当前输入笔画在线特征和/或离线特征。然后根据可分割集合提取每一个第一子集的在线特征和/或离线特征。

为了减少运算量，步骤S141，提取可允许分割集合的目标特征也可以是在生成可分割集合后，计算可分割集合中每一个子集的在线特征和/或离线特征。

历史输入笔画和当前输入笔画的在线特征和/或离线特征可以在步骤S12得到，也可以在步骤S13之后得到。

步骤S142，基于目标特征，从分割集合中识别出对应的第一字符，并计算第一字符的识别概率。

这里，利用模式识别技术根据每个第一子集的目标特征识别每个第一子集，得到包含当前输入笔画第一子集对应的第一字符及其识别概率、以及包含当前输入笔画和至少一个历史输入笔画的第一子集对应的第一字符及其识别概率。其中，第一字符的识别概率可以为将第一子集识别成第一字符的概率。

例如，目标特征包括在线特征和离线特征，将第一子集的离线特征和在线特征分别输入到双向长短时记忆递归神经网络进行字符识别，得到第一子集对应的第一字符，以及第一字符的识别概率。

在一些实施例中，为了提高结构解析的效率，步骤S15，根据第一字符及其识别概率以及历史输入笔画的历史识别信息，确定信息输入过程中所有笔画的识别结果，包括：

步骤S151，根据第一字符、第一字符的识别概率以及历史识别信息中的历史结构信息，生成当前输入笔画的第一结构信息。

这里，历史结构信息包括由历史输入笔画生成的字符以及相邻字符结构。第一结构信息包括由当前输入笔画生成的字符以及相邻字符结构。

步骤S152，解析历史结构信息和第一结构信息，确定信息输入过程中所有笔画的识别结果。

这里，解析历史结构信息和第一结构信息，生成信息输入过程中所有笔画的识别集合。其中，识别集合包括M个第二子集以及与第二子集对应的识别概率，M个第二子集包括识别所有笔画生成的字符以及相邻字符结构所组成的第二子集，M为大于1的整数。将与M个识别概率中的最大识别概率对应的第二子集作为所有笔画的识别结果。

例如，利用上下文无关文法模型构建解析树，解析历史结构信息和第一结构信息，得到所有笔画生成的字符以及相邻字符结构的集合。将概率最大的解析树输出的结果作为所有笔画的识别结果

在上述实施例中，利用已有的历史结构信息，对输入信息进行结构解析，可以减少了结构解析的时间，提高信息识别效率。

在一些实施例中，为了提高字符识别的准确性，在步骤151，生成当前输入笔画的第一结构信息之前，信息识别方法还包括：

利用历史识别信息中的字符识别概率，更新第一字符的识别概率。这里，由于第一子集可以由当前输入笔画和至少一个历史输入笔画组成。因此，历史输入笔画的字符识别概率可以影响包含当前输入笔画和历史输入笔画的第一子集对应的字符概率。从而根据历史输入笔画的字符识别概率更新更新第一字符的识别概率，可以提高第一字符的准确性。

为了进一步提高识别效率，作为本申请的另一种实现方式，本申请还提供了信息识别的另一种实现方式，具体参见以下实施例。图2为本申请实施例另一种信息识别的方法流程图。请参见图2，本申请提供的信息识别方法的另一种实现方式包括以下步骤：

步骤21，在连续的信息输入过程中，获取当前输入笔画。

步骤22，获取当前输入笔画与信息输入过程中各个历史输入笔画之间的相关性特征。

步骤23，从各个历史输入笔画中，确定相关性特征满足预设条件的目标历史输入笔画。

这里，从各个输入笔画中选择出目标历史输入笔画。目标历史输入笔画与当前输入笔画之间的相关性特征满足预设条件。

在一些实施例中，在相关性特征包括第一距离的情况下，确定当前输入笔画与各个历史输入笔画之间的第一距离。从各个历史输入笔画中，确定所述第一距离小于预设距离阈值的目标历史输入笔画。

这里，预设距离阈值可以包括两个笔画可以组成一个字符的最大间隔。计算出当前输入笔画与各个历史输入笔画之间的第一距离。选择第一距离小于预设距离阈值的历史输入笔画作为目标历史输入笔画。

在一些实施例中，在相关性特征包括第一距离和可见性的情况下，确定当前输入笔画与各个历史输入笔画之间的可见性以及第一距离。从各个历史输入笔画中，确定第一距离小于预设距离阈值，且与当前输入笔画之间的可见性为可见的目标历史输入笔画。

这里，计算出当前输入笔画与各个历史输入笔画之间的第一距离和可见性。选择第一距离小于预设距离阈值，并且与当前输入笔画之间的可见性为可见的历史输入笔画作为目标历史输入笔画。

步骤24，根据目标历史输入笔画和当前输入笔画，生成可允许分割集合。

这里，将目标历史输入笔画与当前输入笔画进行分割，搜索可以组合在一起的笔画组合，获取可允许分割集合。其中，可允许分割集合中包括多个第一子集，多个第一子集包括当前输入笔画所组成的第一子集以及当前输入笔画和至少一个目标历史输入笔画所组成的第一子集。第一子集为一个或多个笔画的组合方式。

步骤25，识别可允许分割集合的每个第一子集，得到至少一个第一子集对应的第一字符及其识别概率。

步骤26，根据第一字符及其识别概率以及历史输入笔画的历史识别信息，确定信息输入过程中笔画的识别结果。

步骤S21，步骤S22，步骤S25，步骤S26，分别与上述实施例中步骤S11，步骤S14以及步骤S25相同，为简要起见，这里不再详细描述。

例如，历史输入笔画为“3+”，当前输入笔画为“2”。其中，“3”的笔画索引是1，“-”的笔画索引为2，“|”的笔画索引是3，“2”的笔画索引为4。笔画索引是指信息输入过程中按序自动生成的表示输入笔画的唯一识别号。根据笔画索引1，2和3的两两之间的第一距离和可见性，以及最大可允许分割笔画数量为3，在笔画索引1，2和3的两两之间的第一距离小于预设距离阈值的情况下，笔画索引1，2和3生成的可允许分割集合为{{3，-}，{3，1}，{3，+}，{-}，{+}，{+}}。在获取当前输入笔画为“2”时，计算笔画索引为4分别与笔画索引1，2和3之间的第一距离和可见性。选择第一距离小于预设距离阈值，并且与当前输入笔画之间的可见性为可见的历史输入笔画作为目标历史输入笔画。由目标历史输入笔画与当前输入笔画生成新的可允许分割集合{{1，2}，{-，2}，{+，2}，{2}}。识别可允许分割集合的每个第一子集，得到至少一个第一子集对应的第一字符及其识别概率。根据第一字符及其识别概率以及历史输入笔画的历史识别信息，得到所有笔画的识别结果“3+2”。

在上述实施例中，利用目标历史输入笔画与当前输入笔画，生成可分割集合，可以减少不可被识别成字符的可分割集合的数量，从而提高字符识别阶段的效率。

基于上述实施例提供的信息识别方法，相应地，本申请还提供了信息识别装置的具体实现方式。请参见以下实施例。

图3为本申请实施例中一种信息识别装置的组成结构示意图。

请参见图3，本申请实施例提供的信息识别装置30包括以下单元：

笔画获取模块31，用于在连续的信息输入过程中，获取当前输入笔画。

特征获取模块32，用于获取当前输入笔画与信息输入过程中各个历史输入笔画之间的相关性特征。

分割模块33，用于根据历史输入笔画、当前输入笔画和相关性特征，生成可允许分割集合。

其中，可允许分割集合中包括多个第一子集，多个第一子集包括当前输入笔画所组成的第一子集以及当前输入笔画和至少一个历史输入笔画所组成的第一子集。

识别模块34，用于识别可允许分割集合的每个第一子集，得到至少一个第一子集对应的第一字符及其识别概率。

信息确定模块35，用于根据第一字符及其识别概率以及历史输入笔画的历史识别信息，确定信息输入过程中所有笔画的识别结果，历史识别信息包括识别历史输入笔画的信息。

在上述实施例中，可以在获取当前输入笔画输入后，利用历史输入笔画的历史识别信息，识别输入信息，从而有效利用了已有的历史识别信息，减少了识别输入信息的时间，提高了识别效率。

在一些实施例中，为了提高字符识别效率，分割模块33可以包括：

目标笔画确定子模块，用于从历史输入笔画中，确定相关性特征满足预设条件的目标历史输入笔画。

分割集合生成子模块，用于根据目标历史输入笔画和当前输入笔画，生成可允许分割集合。

在一些实施例中，为了保证目标历史输入笔画的准确性，在相关性特征包括第一距离的情况下，特征获取模块32，具体用于确定所述当前输入笔画与所述信息输入过程中的任一历史输入笔画之间的第一距离。

目标笔画确定子模块，具体用于从所述历史输入笔画中，确定所述第一距离小于预设距离阈值的目标历史输入笔画。

在一些实施例中，为了进一步提高目标输入笔画的准确性，在相关性特征包括第一距离和可见性的情况下，特征获取模块32，还用于确定所述当前输入笔画与所述信息输入过程中的任一历史输入笔画之间的可见性。

其中，所述可见性是根据所述当前输入笔画和所述历史输入笔画之间是否存在所述信息输入过程中的其它输入笔画确定的；

目标笔画确定子模块，还用于从历史输入笔画中，确定第一距离小于预设距离阈值，且与当前输入笔画之间的可见性为可见的目标历史输入笔画。

在一些实施例中，为了保证字符识别的准确性，识别模块34可以包括：

特征提取子模块，用于提取所述可允许分割集合的目标特征。

其中，目标特征包括在线特征和/或离线特征中的至少一项，在线特征包括根据历史输入笔画的轨迹信息和当前输入笔画的轨迹信息计算得到的特征，离线特征包括从可允许分割集合生成的图像提取的特征。

识别子模块，用于基于所述目标特征，从分割集合中识别出对应的第一字符，并计算所述第一字符的识别概率。

在一些实施例中，为了减少结构解析的时间，信息确定模块25可以包括：

结构生成子模块，用于根据第一字符、第一字符的识别概率以及历史识别信息中的历史结构信息，生成当前输入笔画的第一结构信息。

其中，历史结构信息包括由历史输入笔画生成的字符以及相邻字符结构，第一结构信息包括由当前输入笔画生成的字符以及相邻字符结构。

解析子模块，用于解析历史结构信息和第一结构信息，确定信息输入过程中所有笔画的识别结果。

在一些实施例中，在结构生成子模块之前，信息识别装置还可以包括：

更新子模块，用于利用历史识别信息中的字符识别概率，更新第一字符的识别概率。

在一些实施例中，为了得到最优的识别结果，解析子模块具体用于解析历史结构信息和第一结构信息，生成信息输入过程中所有笔画的识别集合。将与M个识别概率中的最大识别概率对应的第二子集作为所有笔画的识别结果。

其中，识别集合包括M个第二子集以及与第二子集对应的识别概率，M个第二子集包括识别所有笔画生成的字符以及相邻字符结构所组成的第二子集，M为大于1的整数。

为能够理解本申请实施例所提供的信息识别方法的工作原理，以输入的信息为数学表达式，输入方式以书写方式为例，对书写的数学表达式的识别过程进行进一步说明。图4是本申请实施例提供的另一种信息识别装置的组成结构示意图。请参见图4，信息识别装置40包括输入模块41、特征计算模块42、笔迹分割模块43、符号识别模块44、结构解析模块45。其中，输入模块41对应前述实施例中笔画获取模块31。特征计算模块42对应前述实施例中特征获取模块32。笔迹分割模块43对应前述实施例中分割模块33。符号识别模块44对应前述实施例中识别模块34。结构解析模块45对应前述实施例中信息确定模块35。图5为本申请实施例提供的又一种信息识别的方法流程图。下面结合附图4和附图5详细描述本申请实施例提供的信息识别方法。信息识别方法包括：

步骤S51，在连续的信息输入过程中，输入模块41获取当前输入笔画。

这里，输入模块41用于采集在信息输入过程中的每一个输入笔画。

步骤S52，输入模块41检测特征计算模块42是否空闲。若不空闲，转入步骤S53。若空闲，转入步骤S55。

这里，为了减轻特征计算模块42的计算负担，输入模块41检测特征计算模块42是否空闲，以便特征计算模块42在空闲时计算新的输入笔画的特征，从而提高特征计算的速度。

步骤S53，输入模块41将当前输入笔画放到输入笔迹缓冲区中。

步骤S54，特征计算模块42接收输入模块41传输的当前输入笔画，并且增量式计算当前输入笔画的特征，生成特征集合。

这里，特征计算模块42可以接收输入模块41直接传输的当前输入笔画，也可以接收输入模块41从输入笔迹缓冲区中读取的当前输入笔画。

增量式计算当前输入笔画的特征是指计算当前输入笔画和历史输入笔画之间的相关性特征。具体地，相关性特征可以包括第一距离和可见性。相关性特征可以包括在线特征和/或离线特征。

步骤S54，特征计算模块42将特征集合送入笔迹分割模块43和符号识别模块44。步骤S55,笔迹分割模块43根据特征集合生成可允许分割集合。

这里，笔迹分割模块43根据当前输入笔画和各个历史输入笔画之间的第一距离和可见性，预设的最大距离阈值，以及最大可允许分割笔迹数量生成可允许分割集合。

步骤S56,符号识别模块44根据特征集合识别可允许分割集合，得到第一字符及其概率。

这里，符号识别模块44提取可允许分割集合的在线特征和/或离线特征，将在线特征和/或离线特征输入字符识别模型对可分割集合进行识别，生成第一字符及其识别概率，可分割集合中第一子集对应的第一字符及其识别概率。

步骤S57,结构解析模块45解析第一字符及其识别概率，以及历史识别信息，获得数学表达式的识别结果。

这里，结构解析模块45根据接收符号识别模块44的识别结果，进行两个相邻字符解析，并存储这两个字符对应的笔画索引。结构解析模块45接收第一字符及其概率，生成当前输入笔画的第一结构信息。解析历史识别信息中的历史结构信息和第一结构信息，获得数学表达式的识别结果。

在上述实施例中，能够有效利用了已有的历史识别信息进行信息识别，减少了识别输入信息的时间，提高了识别效率。

图6为本申请实施例提供的结构解析模块的结构示意图。

图7为本申请实施例提供的结构解析方法的流程示意图。

为能够理解本申请实施例中信息识别中的符号结构解析过程，以基于CYK算法对数学公式进行符号结构解析为例，对符号结构的解析采用增量式计算的过程进行进一步说明。请参见图6，结构解析模块45可以包括生成子模块451，选择子模块452，更新子模块453，推理子模块454。下面结合附图6和附图7详细描述本申请实施例提供的结构解析方法。结构解析方法包括：

步骤S61，生成子模块451接收符号识别模块44识别历史输入笔画的字符识别结果，生成CYK cell细胞。

这里，CYK cell包括识别包含历史输入笔画的可允许分割集合，生成的字符及识别概率。

步骤S62，生成子模块451接收由第一字符及其概率，对第一字符进行相邻字符解析，生成CYK cell集合

这里，CYK cell集合可以为信息输入过程中所有笔画的识别集合。CYK cell集合包括所有笔画识别的字符及其识别概率，相邻字符结构及其概率。

步骤S63，选择子模块452选择当前输入笔画的CYK cell集合。

这里，选择子模块452选择当前输入笔画的CYK cell集合。

步骤S64，更新子模块453根据目标历史输入笔画的CYK cell，更新当前输入笔画的CYK cell集合的结构概率。

这里，目标历史输入笔画可以为与当前输入笔画之间的第一距离小于预设距离阈值，且与当前输入笔画之间的可见性为可见的历史输入笔画。

更新子模块453根据目标历史输入笔画的CYK cell更新第一字符及其识别概率。根据更新后的第一字符及其识别概率，更新当前输入笔画的CYK cell集合的结构概率。

步骤S65，基于更新后的识别集合，推理模块454修改最优值，找到全局最优的结构。

在上实施例中，利用已有的目标历史输入笔画的字符识别概率更新当前输入笔画的字符概率，可以提高字符识别的准确率。

图8示出了本申请实施例提供的信息识别的硬件结构示意图。

在信息识别设备可以包括处理器71以及存储有计算机程序指令的存储器72。

具体地，上述处理器71可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

存储器72可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器72可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器72可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器72可在综合网关容灾设备的内部或外部。在特定实施例中，存储器72是非易失性固态存储器。

存储器可包括只读存储器(ROM)，随机存取存储器(RAM)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行参考根据本公开的一方面的方法所描述的操作。

处理器71通过读取并执行存储器72中存储的计算机程序指令，以实现上述实施例中的任意一种信息识别方法。

在一个示例中，信息识别设备还可包括通信接口73和总线74。其中，如图8所示，处理器71、存储器72、通信接口73通过总线74连接并完成相互间的通信。

通信接口73，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。

总线74包括硬件、软件或两者，将信息识别设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线310可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

该信息识别设备可以基于连续信息输入过程中历史输入笔画以及当前输入笔画，执行本申请实施例中的信息识别方法，从而实现结合图1和图2描述的信息识别方法和装置。

另外，结合上述实施例中的信息识别方法，本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种信息识别方法。

需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

上面参考根据本申请的实施例的方法、装置和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。

以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (9)

1.一种信息识别方法，其特征在于，所述方法包括：

在连续的信息输入过程中，获取当前输入笔画；

获取所述当前输入笔画与所述信息输入过程中各个历史输入笔画之间的相关性特征；

根据所述历史输入笔画、所述当前输入笔画和所述相关性特征，生成可允许分割集合；所述可允许分割集合中包括多个第一子集，所述多个第一子集包括所述当前输入笔画所组成的第一子集以及所述当前输入笔画和至少一个所述历史输入笔画所组成的第一子集；

识别所述可允许分割集合的每个第一子集，得到至少一个所述第一子集对应的第一字符及其识别概率；

根据所述第一字符及其识别概率以及所述历史输入笔画的历史识别信息，确定所述信息输入过程中所有笔画的识别结果，所述历史识别信息包括识别历史输入笔画的信息；

所述根据所述第一字符及其识别概率以及所述历史输入笔画的历史识别信息 ，确定所述信息输入 过程中所有笔画的识别结果，包括：

根据所述第一字符、所述第一字符的识别概率以及所述历史识别信息中的历史结构信息，生成所述当前输入笔画的第一结构信息，其中，历史结构信息包括由所述历史输入笔画生成的字符以及相邻字符结构，所述第一结构信息包括由所述当前输入笔画生成的字符以及相邻字符结构；

解析所述历史结构信息和所述第一结构信息，确定所述信息输入过程中所有笔画的识别结果；

所述解析所述历史结构信息和所述第一结构信息，确定所述信息输入过程中所有笔画的识别结果，包括：

解析所述历史结构信息和所述第一结构信息，生成所述信息输入过程中所有笔画的识别集合，其中，所述识别集合包括M个第二子集以及与第二子集对应的识别概率，所述M个第二子集包括识别所述所有笔画生成的字符以及相邻字符结构所组成的第二子集，所述M为大于1的整数；

将与所述M个识别概率中的最大识别概率对应的第二子集作为所有笔画的识别结果；

所述相关性特征包括第一距离，所述获取所述当前输入笔画与所述信息输入过程中各个历史输入笔画之间的相关性特征，包括：

确定所述当前输入笔画与所述各个历史输入笔画之间的第一距离。

2.根据权利要求1所述方法，其特征在于，根据所述历史输入笔画、和所述当前输入笔画和所述相关性特征，生成可允许分割集合，包括：

从所述各个历史输入笔画中，确定所述相关性特征满足预设条件的目标历史输入笔画；

根据所述目标历史输入笔画和所述当前输入笔画，生成可允许分割集合。

3.根据权利要求2所述方法，其特征在于，所述从所述各个历史输入笔画中，确定所述相关性特征满足预设条件的目标历史输入笔画，包括：

从所述各个历史输入笔画中，确定所述第一距离小于预设距离阈值的目标历史输入笔画。

4.根据权利要求3所述方法，其特征在于，所述相关性特征还包括可见性，所述获取所述当前输入笔画与所述信息输入过程中各个历史输入笔画之间的相关性特征，还包括：

确定所述当前输入笔画与所述各个历史输入笔画之间的可见性，其中，所述可见性是根据所述当前输入笔画和所述历史输入笔画之间是否存在所述信息输入过程中的其它输入笔画确定的；

所述从所述各个历史输入笔画中，确定所述相关性特征满足预设条件的目标历史输入笔画，包括：

从所述各个历史输入笔画中，确定所述第一距离小于预设距离阈值，且与所述当前输入笔画之间的可见性为可见的目标历史输入笔画。

5.根据权利要求1所述方法，其特征在于，从所述可允许分割集合中识别出对应的第一字符，并计算所述第一字符的识别概率，包括：

提取所述可允许分割集合的目标特征，其中，所述目标特征包括在线特征和离线特征中的至少一项，所述在线特征包括根据所述历史输入笔画的轨迹信息和所述当前输入笔画的轨迹信息计算得到的特征，所述离线特征包括从历史输入笔画和当前输入笔画生成的图像提取的特征；

基于所述目标特征，从所述分割集合中识别出对应的第一字符，并计算所述第一字符的识别概率。

6.根据权利要求1所述方法，其特征在于，在所述生成所述当前输入笔画的第一结构信息之前，所述方法还包括：

利用所述历史识别信息中的字符识别概率，更新所述第一字符的识别概率。

7.一种信息识别装置，其特征在于，所述装置包括：

笔画获取模块，用于在连续的信息输入过程中，获取当前输入笔画；

特征获取模块，用于获取所述当前输入笔画与所述信息输入过程中各个历史输入笔画之间的相关性特征；

分割模块，用于根据所述历史输入笔画、所述当前输入笔画和所述相关性特征，生成可允许分割集合；所述可允许分割集合中包括多个第一子集，所述多个第一子集包括所述当前输入笔画所组成的第一子集以及所述当前输入笔画和至少一个所述历史输入笔画所组成的第一子集；

识别模块，用于识别所述可允许分割集合的每个第一子集，得到至少一个所述第一子集对应的第一字符及其识别概率；

信息确定模块，用于根据所述第一字符及其识别概率以及所述历史输入笔画的历史识别信息，确定所述信息输入过程中所有笔画的识别结果，所述历史识别信息包括识别历史输入笔画的信息；

所述信息确定模块包括：

结构生成子模块，用于根据所述第一字符、所述第一字符的识别概率以及所述历史识别信息中的历史结构信息，生成所述当前输入笔画的第一结构信息，其中，历史结构信息包括由所述历史输入笔画生成的字符以及相邻字符结构，所述第一结构信息包括由所述当前输入笔画生成的字符以及相邻字符结构；

解析子模块，用于解析所述历史结构信息和所述第一结构信息，确定所述信息输入过程中所有笔画的识别结果；

所述解析子模块具体用于：

解析所述历史结构信息和所述第一结构信息，生成所述信息输入过程中所有笔画的识别集合，其中，所述识别集合包括M个第二子集以及与第二子集对应的识别概率，所述M个第二子集包括识别所述所有笔画生成的字符以及相邻字符结构所组成的第二子集，所述M为大于1的整数；

将与所述M个识别概率中的最大识别概率对应的第二子集作为所有笔画的识别结果；

所述相关性特征包括第一距离，所述特征获取模块具体用于：

确定所述当前输入笔画与所述各个历史输入笔画之间的第一距离。

8.一种信息识别设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；

所述处理器执行所述计算机程序指令时实现如权利要求1-6任意一项所述的信息识别方法。

9.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-6任意一项所述的信息识别方法。

Images