CN103810493A - 识别数学公式的方法和设备 - Google Patents

Abstract

本发明提出了一种识别数学公式的方法和设备。在对输入的公式或者公式图像进行符号和字符识别后，使用结构树来描述该公式。当对公式进行结构分析时，首先处理分数，然后在后续的位置关系判断中将处理过的分数作为一个新的字符组合。本发明的公式结构分析方法能够极大地改进复杂公式的识别正确率，尤其是公式中包含有多层分数函数的情况。此外，本发明的方法实现简单，并且应用前景好。

Description

识别数学公式的方法和设备

技术领域

本发明涉及模式识别技术，具体涉及一种识别输入的数学公式的方法和设备。

背景技术

现有技术中存在多种识别数学公式的技术。例如，用手写板输入数学公式或者将数学公式的图像输入到诸如计算机之类的电子设备中，对输入的数学公式进行字符和/或符号识别后，直接用树结构来分析输入的数学公式的结构，从而确定各个字符和/或符号之间的关系，并输出识别结果。

非专利文献1(Andreas Kosmala，Gerhard Rigoll and etc.“On-lineHandwritten Formula Recognition using Hidden Markov Models and ContextDependant Graph Grammars”.Proceedings of 5^th International Conference onDocument Analysis and Recognition(ICDAR’99)，1999，107-110)提出了一种基于语义方法的公式识别技术，该技术能够取得较好的语义识别性能。

非专利文献2(Masayuki Okamato and B.Miao.“Recognition ofMathematical Expressions by using the Layout Structure of Symbols”.Proceedingsof 1^st International Conference on Document Analysis and Recognition(ICDAR’91)，1991，242-250)提出了一种使用布局结构来识别公式的技术，其中利用符号的布局结构来对公式进行识别，比较容易实现。

非专利文献3(Richard Zabinni，Dorothea Blostein and etc.“RecognizingMathematical Expressions using Tree Transformation”.IEEE Transactions onPattern Analysis and Machine Intelligence，2002，24(11)：1455-1467)提出了一种基于树变换的识别公式的方法，该方法广泛应用于公式的识别，分析速度较快。

非专利文献4(姜寒、刘长松等，“一种联机手写算术表达式识别系统”，电子与信息学报，2010年5月，32(5)：1126-1130)提出了一种改进的基于树变换的识别公式的方法，用来对输入的公式进行识别。在非专利文献4中，提出了一种基于符号分级的结构分析算法，将识别结构存储为三叉树。该公式识别方法包括如下步骤：基于规则和阈值确定符号之间的位置关系；然后按照符号的统领能力对符号进行分类；接下来利用上述步骤中得到的信息确定符号之间的运算符统领关系；根据符号的统领关系对符号进行分级；最后产生公式的树结构并且计算公式的结果。针对较为复杂的公式，如果手写公式比较整齐，该方法能够取得较高的识别准确率。

但是上述的方法存在各种问题。例如，非专利文献1中提出的基于语义的方法在所识别的公式的种类方面有局限性，因为一些符号本身的含义就有二义性。

非专利文献2提出的使用符号的布局结构来识别公式的技术无法处理存在一个符号在两个或多个符号之上的情形的公式，例如多层分数函数。

非专利文献3提出的基于树变换的公式识别技术在公式较为复杂时鲁棒性较差。

非专利文献4的方法在计算复杂的公式时存在问题。例如，在计算包含多层分数函数的公式时，会在位置关系的确定过程中出现错误；并且因为多层分数函数中存在复杂的上下位置关系，所以其中的符号之间的运算符统领关系非常复杂，容易在计算统领关系时出现错误；上述两个步骤中产生的错误都将最终导致公式计算的失败。

发明内容

考虑到现有技术的一个或多个问题，本发明的目的是提供一种识别数学公式的方法和设备。

根据本发明的一个方面，提出了一种识别数学公式的方法，包括步骤：以手写或图像形式输入数学公式；识别输入的数学公式中的字符和/或符号；基于所述数学公式中字符和/或符号之间的位置关系识别所述数学公式中的分数函数和其他函数，其中将所识别的分数函数作为一个整体来看待；用结构树描述所述数学公式；输出识别的数学公式或者计算所述数学公式的结果。

根据本发明的另一方面，提出了一种识别数学公式的设备，包括：输入单元，以手写或图像形式输入数学公式；字符识别单元，识别输入的数学公式中的字符和/或符号；公式识别单元，基于所述数学公式中字符和/或符号之间的位置关系识别所述数学公式中的分数函数和其它函数，其中将所识别的分数函数作为一个整体来看待，并且用结构树描述所述数学公式；输出单元，输出识别的数学公式或者计算所述数学公式的结果。

利用本发明的上述方案，能够准确识别输入的数学公式，提高了识别的正确率和速度。

附图说明

从下面结合附图的详细描述中，本发明的上述特征和优点将更明显，其中：

图1是根据本发明实施例的数学公式识别系统的示意性框图；

图2是描述公式结构分析过程的示意性流程图；

图3是描述在公式结构分析过程中计算位置关系的示意性流程图；

图4示出了多层分数函数的一个例子；

图5示出了三级多层分数函数的一个例子；

图6示出了使用6个字母来代替6个分数函数的例子；

图7A是描述多层分数函数的循环处理中的第一循环的例子；

图7B是描述多层分数函数的循环处理中的第二循环的例子；

图7C是描述多层分数函数的循环处理中的第三循环的例子；

图8A示出了根据本发明实施例的数学公式识别系统的输出结果的例子；

图8B示出了根据本发明实施例的数学公式识别系统的输出结果的另一个例子；

图9A、图9B、图9C和图9D是根据本发明实施例的数学公式识别系统在电子白板中的应用例子；

图10示出了在如图9所示的电子白板中用来修改公式的笔划的例子；以及

图11A、11B、图11C、和图11D是根据本发明实施例的数学公式识别系统在公式计算器中的应用的例子。

具体实施方式

下面，参考附图详细说明本发明的优选实施方式。在附图中，虽然示于不同的附图中，但相同的附图标记用于表示相同的或相似的组件。为了清楚和简明，包含在这里的已知的功能和结构的详细描述将被省略，否则它们将使本发明的主题不清楚。

根据本发明的实施例，在电子设备中对输入的数学公式进行识别。例如，识别输入的数学公式中的字符和/或符号。然后，基于该数学公式中字符和/或符号之间的位置关系识别其中的分数函数和其他函数，其中将所识别的分数函数作为一个整体来看待；用结构树描述所述数学公式。最后，输出识别的数学公式或者计算所述数学公式的结果。

图1是根据本发明实施例的数学公式识别系统的示意性框图。根据本发明实施例的数学公式识别系统包括输入单元110、字符识别单元120、公式识别单元130、计算和转换单元140、输出单元150以及存储单元160。输入单元110接收用户手写输入的公式或者以图像形式输入的公式，然后字符识别单元120对输入的公式进行字符识别，例如用手写识别技术或OCR技术识别公式中的字符。根据本发明的另一实施例，字符识别单元120在对公式进行字符识别之前，还可以对输入的公式图像进行预处理，例如噪声消除或者归一化处理等等。

根据本发明的实施例，公式识别单元130基于公式中的字符之间的位置关系来识别分数函数和其他的函数，其中在计算公式的位置关系矩阵过程中将分数函数作为一个整体来看待，然后用树结构来描述该公式。

例如，在识别了分数函数的情况下，公式识别单元130确定了公式中的字符的位置关系，例如用位置关系矩阵来表示字符的位置关系，存储在存储单元160中。然后，公式识别单元130通过位置关系矩阵获得运算符统领关系，例如用统领关系矩阵来表示，存储在存储单元160中。在此基础上公式识别单元130进一步得到各个符号的分级，例如用分级矩阵来表示各个符号的分级，存储在存储单元160中。基于上述的位置关系矩阵、统领关系矩阵以及分级矩阵，该公式识别单元130用树结构来描述该公式。

此外，公式识别单元130输出用树结构描述的公式，然后计算和转换单元140计算该公式的结果或者将该公式转换成计算机格式的公式，通过输出单元150向用户输出，例如在屏幕上呈现计算结果或者转换结果。

在本发明的实施例中，输入单元110例如为手写板或者摄像头，以手写或图像形式输入数学公式。字符识别单元120例如根据系统的数据库中存储的手写识别模块或者用OCR的方式(在输入公式为图像的情况下)识别输入的数学公式中的字符和/或符号。

公式识别单元130，基于所述数学公式中字符和/或符号之间的位置关系(例如上下位置关系等)识别所述数学公式中的分数函数，其中在计算公式的位置关系矩阵过程中将所识别的分数函数作为一个整体来看待。并且该公式识别单元130然后用结构树描述所述数学公式。

图2是描述公式结构分析过程的示意性流程图。如图2所示，字符识别单元120对公式进行字符识别之后，公式识别单元130可以执行如图2所示的流程来得到该公式的树结构，其中准确地识别出了分数函数。

在步骤S21，向公式中的各个字符分配相应的序号作为索引。

在步骤S22，确定字符之间的多种位置关系，其中将分数函数作为一个整体来看待。例如，识别该数学公式中的所有分数线，然后确定单个分数函数内部的字符之间的位置关系，进而将单个分数函数作为一个整体来确定所述单个分数函数与其他字符之间的位置关系，以及计算其他字符之间的位置关系。所得到的位置关系可以用位置关系矩阵来表示。根据本发明的实施例，还可以确定其他的位置关系，例如上、下、左、右、左下、被包围关系等等。

根据本发明的实施例，可以用矩阵P来描述公式中字符的位置关系。例如，矩阵P的第k行的元素就是与第k个字符s_k有位置关系的字符，并且该矩阵的每一列表示每一种位置关系。

在步骤S23，确定每个字符的运算符统领关系。主要有两种运算符有统领关系，根号和分数线。根据本发明的实施例，可以用统领关系矩阵D来描述公式中字符的统领关系并且矩阵D的每个元素的默认值为0。矩阵D的第k行的元素是字符s_k和其他字符的直接统领关系，例如其中第k行第q列表示字符s_k与字符s_q的直接统领关系。如果D_ij＞0，表示字符s_i统领字符s_j。否则，如果D_ij＜0，表示字符s_i被字符s_j统领。这样，得到该公式的运算符统领矩阵。

在步骤S24，根据上述的运算符统领矩阵可以得到每个字符的分级，将各个字符的分级存储在矩阵里，表示为分级矩阵。例如，如果某个字符没有被其他运算所统领，则将该字符的分级置为0。如果一个符号被其他符号统领，且所有的这些统领运算符的最高分级为r，则该字符的分级为r+1。这样，就得到了各个字符的分级矩阵。

在步骤S25，基于上述的位置关系矩阵、运算符统领矩阵和分级矩阵来用树结构描述上述的公式。例如，可以用三叉树来描述该公式，该树结构的根节点的分级为0。对于分数线而言，分数线的左节点是分数的分子主基线中的第一个字符，右节点是分数的分母主基线的第一个字符。对于左括号而言，其下节点是相应的右括号，并且其左节点是被括号包围的第一个字符。对于指数运算而言，幂被设置为底数的左节点。对于除了左括号之外的任何其他字符，下节点是相同基线(右侧邻居)中的下一字符。

在上述的步骤中，尤其在步骤S22中需要准确确定各个字符的位置关系，尤其是分数函数中字符的位置关系。图3是描述在公式结构分析过程中计算分数函数的字符位置关系的示意性流程图。

在步骤S31，识别该数学公式中的所有分数线。在步骤S32，确定单个分数函数内部的字符之间的位置关系。在步骤S33，将单个分数函数作为一个整体来确定所述单个分数函数与其他字符之间的位置关系以及其他字符之间的位置关系。上述得到的位置关系可以用位置关系矩阵来表示。根据本发明的实施例，对于单层分数函数，如果在横线的上部有至少一个字符并且在所述横线的下部有至少一个字符，则将所述横线识别为分数线。

在分数的识别过程中需要准确识别多层分数，根据本发明的实施例，在数学公式中存在多层分数的情况下，要确定多层分数之间的父子关系。例如，首先确定横线(分数线)的上部父分数线和/或下部的父分数线，然后将所述横线和所述上部父分数线之间的字符记录为所述横线的上部成员；接下来将该横线和下部父分数线之间的字符记录为横线的下部成员。如果在该横线上部有多个候选父分数线，则将所述候选多个父分数线中最下部的那个父分数线确定为该横线的上部父分数线；如果所述横线下部有多个候选父分数线，则将所述多个候选父分数线中最上部的那个父分数线确定为该横线的下部父分数线。

图4示出了多层分数函数的一个例子。如图4所示，横线①和②在横线④的上方，因此较低的横线②是横线④的上部父分数线。类似地，横线⑥是横线④的下部父分数线。由于在横线②和④之间没有字符，因此当前的横线④的上部成员的数目是0。类似地，在横线④和⑥之间没有字符，因此当前的横线④的下部成员的数目是0。这样，当前的横线④(减号)不会被识别为分数线。

根据本发明的实施例，在数学公式包含多层分数函数的情况下，循环式地处理所述多层分数函数的每个分数函数内部的字符之间的位置关系，其中，在每个循环中仅仅处理没有任何子分数函数的分数函数。在每次循环的结束，将已经处理过的分数线用特定标记替代，然后执行下一循环，直到所述数学公式中没有分数线。

例如，当处理一个分数函数内部的位置关系时，使用循环来处理多层分数函数，仅当没有任何子分数函数的分数函数才在当前的循环中进行处理。在当前循环的结束处，所处理的分数线将被重新命名但是不再被当成分数线。这样针对不同层的分数一次一次循环进行，直到没有分数线可处理。为了描述父分数线和子分数线的状态，使用二维矩阵Idx[]来记录所有具有父分数线的分数线：Idx[][0]是子分数线，Idx[][1]是其上部父分数线，Idx[][2]是其下部父分数线。图5示出了三级多层分数函数的一个例子。如图5所示，确定了三层分数线，分别是Level1，Level2和Level3。

为了清楚地说明多层分数函数，使用6个字符A，B，C，D，E，F代表六个分数函数，如图6所示。分数函数A有三个子分数函数：C，D和E。分数函数E有一个子分数函数：F。分数函数B，C，D和F没有子分数函数。图7A是描述多层分数函数的循环处理中的第一循环的例子。如图7A所示，第一循环中处理分数函数B，C，D和F，循环结束时，将B，C，D和F中的分数线用特定标记替代而不再作为分数线。图7B是描述多层分数函数的循环处理中的第二循环的例子，在第二循环中处理分数函数E，循环结束时，将E中的分数线用特定标记替代。图7C是描述多层分数函数的循环处理中的第三循环的例子，在第三循环中处理分数函数A，循环结束时，将A中的分数线用特定标记替代。至此，所述数学公式中已经没有分数线了，整个循环过程结束。

图8A示出了根据本发明实施例的数学公式识别系统的输出结果的例子。在屏幕上，可以将识别的字符叠加显示在相应的手写字符上，方便用户确认。图8B示出了根据本发明实施例的数学公式识别系统的输出结果的另一个例子。从上述例子中可以看出，即使数学公式非常复杂，本发明实施例的方法也能够准确地识别并计算出结果。

本发明实施例的系统和方法可以具体实现为各种电子装置，例如电子白板、手机、PDA、平板电脑等。

图9A、图9B、图9C和图9D是根据本发明实施例的数学公式识别系统在电子白板中的应用例子。如图9A、9B和9C所示，在进行分数运算时，用户通过手写笔或者其他方式在计算区中输入分数公式，然后进行识别和计算，在回答区中输出答案。如图9D所示，还可以在电子白板中输出识别的公式的计算机可识别形式和答案。

图10示出了在如图9所示的电子白板中用来修改公式的笔划的例子。如图10所示，在书写公式的过程中，如果有涂改的话，可以用如图10所示的各种修改符号来修改相关的字符或者公式。根据本发明的实施例，可以通过判断输入的修改符号和相应的字符之间的位置关系，例如根据笔画交叉关系或者覆盖程度来确定该字符是否要被修改。图11A、11B、图11C、和图11D是根据本发明实施例的数学公式识别系统在公式计算器中的应用的例子。在该例子中，如图所示，用户用修改符号涂改0.15中的“15”，将其修改为“2”。

虽然在以上描述中对数学公式识别设备采用了分立模块的方式进行描述，但是本领域的技术人员应该意识到，可以将一些模块合并在一起来实现，例如将字符识别单元和公式识别单元形成为单一的检测单元。

以上的详细描述通过使用方框图、流程图和/或示例，已经阐述了识别数学公式的方法和/或设备的众多实施例。在这种方框图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种方框图、流程图或示例中的每一功能和/或操作可以通过各种硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本发明的实施例所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。此外，本领域技术人员将认识到，本公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于：可记录型介质，如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。

虽然已参照几个典型实施例描述了本发明，但应当理解，所用的术语是说明和示例性、而非限制性的术语。由于本发明能够以多种形式具体实施而不脱离发明的精神或实质，所以应当理解，上述实施例不限于任何前述的细节，而应在随附权利要求所限定的精神和范围内广泛地解释，因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。

Claims (17)

1.一种识别数学公式的方法，包括步骤：

以手写或图像形式输入数学公式；

识别输入的数学公式中的字符和/或符号；

基于所述数学公式中字符和/或符号之间的位置关系识别所述数学公式中的分数函数和其他函数，其中将所识别的分数函数作为一个整体来看待；

用结构树描述所述数学公式；

输出识别的数学公式或者计算所述数学公式的结果。

2.如权利要求1所述的方法，其中，基于所述数学公式中字符和/或符号之间的位置关系识别所述数学公式中的分数函数的步骤包括：

识别所述数学公式中的所有分数线；

确定单个分数函数内部的字符之间的位置关系；

将所述单个分数函数作为一个整体来确定所述单个分数函数与其他字符之间的位置关系。

3.如权利要求2所述的方法，其中，对于单层分数函数，如果在横线的上部有至少一个字符并且在所述横线的下部有至少一个字符，则将所述横线识别为分数线。

4.如权利要求3所述的方法，其中，在所述数学公式中存在多层分数的情况下，确定多层分数之间的父子关系，所述方法还包括：

确定所述横线的上部父分数线和/或下部的父分数线；

将所述横线和所述上部父分数线之间的字符记录为所述横线的上部成员；

将所述横线和所述下部父分数线之间的字符记录为所述横线的下部成员。

5.如权利要求4所述的方法，其中，如果在所述横线上部有多个候选父分数线，则将所述候选多个父分数线中最下部的那个父分数线确定为该横线的上部父分数线；如果所述横线下部有多个候选父分数线，则将所述多个候选父分数线中最上部的那个父分数线确定为该横线的下部父分数线。

6.如权利要求2所述的方法，其中，在所述数学公式包含多层分数函数的情况下，循环式地处理所述多层分数函数的每个分数函数内部的字符之间的位置关系，其中，在每个循环中仅仅处理没有任何子分数函数的分数函数。

7.如权利要求6所述的方法，其中，在每次循环的结束，将已经处理过的分数线用特定标记替代，然后执行下一循环，直到所述数学公式中没有分数线。

8.如权利要求1所述的方法，其中，将所识别的数学公式转换为以计算机可识别的字符表示的形式。

9.一种识别数学公式的设备，包括：

输入单元，以手写或图像形式输入数学公式；

字符识别单元，识别输入的数学公式中的字符和/或符号；

公式识别单元，基于所述数学公式中字符和/或符号之间的位置关系识别所述数学公式中的分数函数和其它函数，其中将所识别的分数函数作为一个整体来看待，并且用结构树描述所述数学公式；

输出单元，输出识别的数学公式或者计算所述数学公式的结果。

10.如权利要求9所述的设备，其中，公式识别单元识别所述数学公式中的所有分数线，确定单个分数函数内部的字符之间的位置关系，将所述单个分数函数作为一个整体来确定所述单个分数函数与其他字符之间的位置关系。

11.如权利要求10所述的设备，其中，对于单层分数函数，如果在横线的上部有至少一个字符并且在所述横线的下部有至少一个字符，则公式识别单元将所述横线识别为分数线。

12.如权利要求11所述的设备，其中，在所述数学公式中存在多层分数的情况下，确定多层分数之间的父子关系，所述公式识别单元确定所述横线的上部父分数线和/或下部的父分数线，将所述横线和所述上部父分数线之间的字符记录为所述横线的上部成员，将所述横线和所述下部父分数线之间的字符记录为所述横线的下部成员。

13.如权利要求12所述的设备，其中，如果在所述横线上部有多个候选父分数线，则公式识别单元将所述候选多个父分数线中最下部的那个父分数线确定为该横线的上部父分数线；如果所述横线下部有多个候选父分数线，则公式识别单元将所述多个候选父分数线中最上部的那个父分数线确定为该横线的下部父分数线。

14.如权利要求10所述的设备，其中，在所述数学公式包含多层分数函数的情况下，所述公式识别单元循环式地处理所述多层分数函数的每个分数函数内部的字符之间的位置关系，其中，在每个循环中仅仅处理没有任何子分数函数的分数函数。

15.如权利要求14所述的设备，其中，在每次循环的结束，所述公式识别单元将已经处理过的分数线用特定标记替代，然后执行下一循环，直到所述数学公式中没有分数线。

16.如权利要求9所述的设备，还包括输出单元，将所识别的数学公式转换为以计算机可识别的字符表示的形式。

17.如权利要求9所述的设备，所述设备包括如下之一：电子白板、计算器、手机、平板电脑或者其他有手写输入功能或图像输入功能的电子设备。

Images