CN109582972A - 一种基于自然语言识别的光学字符识别纠错方法 - Google Patents

Abstract

本发明公开一种基于自然语言识别的光学字符识别纠错方法，该纠错方法将词法分析模型和语义分析模型进行融合，得到融合模型，并用该融合模型获得高精度的光学字符识别结果。该模型考虑了中文字符在词法模型的特点，同时考虑了中文句法语义的上下文关系等显著特征来修正光学字符识别结果，提高了模型精度。

Description

一种基于自然语言识别的光学字符识别纠错方法

技术领域

本发明涉及图像文字识别领域，具体涉及一种基于自然语言识别的光学字符识别纠错方法。

背景技术

基于OCR的针对金融领域文字区域检测定位识别技术是指通过计算机等设备，利用OCR技术(光学字符识别)将纸质材料中的有效信息自动提取和识别出来，并进行相应处理。它是实现银行无纸化的计算机自动处理的关键技术之一。而传统的图像文字识别为光学文字识别(OCR)，光学文字识别在将待识别纸质文件扫描成电子图像的基础上进行识别。但是考虑到扫描效果的好坏、纸质文件本身的品质(别如印刷质量、字体清晰度，字体规范度等)、内容布局(文字的排列情况，比普通文本与表格文本和票据)的差异，OCR的实际效果不总是让人满意。而针对不同的纸质文档的识别准确率的要求有差异，比如票据的识别，对准确率的要求是非常高的，因为如果一个数字识别错误就可能导致致命的后果，传统的OCR识别不能满足这样高精度的识别要求。面对巨大的识别需要急需能够快速高效的图像文字识别方法。现有的技术方案都没有利用自身规律对错误数据实施检查和纠正。

发明内容

本发明根据所要识别OCR字符集的已知完整集合，针对OCR软件从图像中提取出的字符串提出一种检错与纠错的方法，目的在于辅助OCR软件检查出识别结果中的错误数据并对这些错误数据实施纠正，基于字典搜索的纠错策略，以提高文字识别精度，从而提高识别结果的准确率。OCR软件从图像中提取出的这些字符串的纠错修改结果记为OCR最终识别结果。

本发明的目的是通过下述技术方案来实现的:

一种基于自然语言识别的光学字符识别纠错方法，其特征在于，该方法包括如下步骤：

S1：获取文字图像；

S2：所述文字图像经过ocr识别获得初始的识别结果；

S3：构建语料库；

S4：将初始的识别结果通过基于自然语言识别的方法进行后处理，该方法分为词法匹配和语法匹配两个步骤，具体如下：

S4.1：将初始的识别结果以固定长度按双向最大匹配的方式进行切分，当进行正向最大匹配时，从左向右取待切分中文字串的4-2个字符作为匹配字段，查找语料库并进行匹配，若匹配成功，则将这个匹配字段作为一个词切割出来；若匹配不成功，记录相似度分数较大的前k个词和相似度分数，然后将这个匹配字段的最后一个字去掉，剩下的字符串作为新的匹配字段，进行再次匹配，重复以上过程，直到切割出全部词为止；当进行逆向最大匹配时，从右向左取待切分中文字串的4-2个字符作为匹配字段，查找语料库并进行匹配，若匹配成功，则将这个匹配字段作为一个词切割出来；若匹配不成功，记录最大相似度分数和对应的词，然后将这个匹配字段的最前一个字去掉，剩下的字符串作为新的匹配字段，进行再次匹配，重复以上过程，直到切割出全部词为止；当正反向切割结果相同时，则输出任意一种切割结果；当正反向切割结果不同时，则输出孤立字较少的那个切割结果，从而将初始的识别结果转化成一个等长的中文字串集合；

S4.2：计算S4.1得到的每个等长的中文字串集合的相似度分数，选取相似度分数最高的作为切割的结果，但当相似度分数最高的中文字串集合不止一个时，优选窗口长度大的字符串作为切割的位置；

S4.3：设置相似度分数阈值，当等长的中文字串集合的相似度分数小于或等于阈值时，不作处理；当等长的中文字串集合的相似度分数大于阈值时，比较匹配后的结果与初始的识别结果的长度，当匹配后的结果大于初始的识别结果时，则用长度最长的匹配后的结果覆盖初始的识别结果；当匹配后的结果部分重叠但未全部覆盖初始的识别结果时，则输出相似度最高的匹配后的结果；从而将初始的识别结果分割成一些确定的词、不确定的词和孤立的字三个部分，三者互不重叠，共同组成词法匹配后的识别结果；

S4.4：将所述的词法匹配后的识别结果进行语法匹配，使得满足must-link关系的中文字串大于该关系中设定的阈值，满足cannot-link关系的中文字串小于该关系中设定的阈值，则进行替换；相反，则不进行替换；

S5：对S4中已经被替换的词的位置进行标记，输出OCR识别结果。

进一步地，所述的S4.1和S4.4中的中文字串与语料库匹配时所检查的项目有数名、个体量词、度量词、容器量词、集体量词、种类量词、不定量词、动时量、前名、后名、前接、前代、后接、后代。

进一步地，所述的语料库来源于搜索引擎bing的常见词列表。

进一步地，所述的S4具体为：

文本行首先被划分为单独的单词ω_i，对于每一个ω_i，原始识别结果ξ(ω_i)，将ξ(ω_i)与语料库中的所有单词进行匹配，搜索与ξ(ω_i)相似度前k高的单词集合η(ω_i)，相似度分别记为s_η(ω_i)；

对单词不在字典中的情况，设置阈值τ；如果相似度s_η(ω_i)和小于τ，则η(ω_i)进行n元语法纠错之后的字符串取代，此时s_η(ω_i)设为常数；

对于一个由N个单词组成的文本行L，L＝{ω_i|i＝1，2，...，N},词法的总相似度S(L)定义为：

句法的总相似度ψ(L)定义为：

那么优化函数为F＝ψ(L)+S(L)，最大化F时对应的η(ω_i)即为目标所求，则最终的识别结果为：

S*＝argmax_ηF。

进一步地，所述的S4.1中相似度的定义具体为：

其中，ω为待查询词，为字典中的单词，为ω与之间的距离，为ω和在字典中的相对排名，λ为控制参数λ∈[0，1]，同样地，语义相关性的定义具体为：

其中，w，w′为句子中顺序前后两个单词，为w与w′在语料词典中的位置距离。

本发明的有益效果：

(1)本发明的纠错方法不仅与字典中的词进行对比，还利用单词在句子中的上下文关系来计算；

(2)该方法定义适应的字符替换代价，不是一次就确定最终结果，而是留下k个高概率候选词作为参考；

(3)该方法利用了输入语句的上下文语义关系，克服了孤立字符和单词难确定结果的问题。

附图说明

图1为本发明的基于自然语言识别的光学字符识别纠错方法的流程图。

具体实施方式

下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，一种基于字典的光学字符识别纠错方法，其特征在于，该方法包括如下步骤：

S1：获取文字图像；

S2：所述文字图像经过ocr识别获得初始的识别结果；

S3：构建字典；

这里的字典来源于搜索引擎bing的常见词列表，该列表包含搜索引擎的用户经常使用的1000000个关键词,由微软网络N语法服务项目提供。不同于传统的字典，该列表中的单词是按照用户搜索的频度从高到低排列的，这种排列顺序也包含额外的有用信息，可以用来提升纠错算法的性能。

S4：将初始的识别结果通过基于自然语言识别的方法进行后处理，该方法分为词法匹配和语法匹配两个步骤，具体如下：

S4.1：将初始的识别结果以固定长度按双向最大匹配的方式进行切分，当进行正向最大匹配时，从左向右取待切分中文字串的4-2个字符作为匹配字段，查找语料库并进行匹配，若匹配成功，则将这个匹配字段作为一个词切割出来；若匹配不成功，记录相似度分数较大的前k个词和相似度分数，然后将这个匹配字段的最后一个字去掉，剩下的字符串作为新的匹配字段，进行再次匹配，重复以上过程，直到切割出全部词为止；当进行逆向最大匹配时，从右向左取待切分中文字串的4-2个字符作为匹配字段，查找语料库并进行匹配，若匹配成功，则将这个匹配字段作为一个词切割出来；若匹配不成功，记录最大相似度分数和对应的词，然后将这个匹配字段的最前一个字去掉，剩下的字符串作为新的匹配字段，进行再次匹配，重复以上过程，直到切割出全部词为止；当正反向切割结果相同时，则输出任意一种切割结果；当正反向切割结果不同时，则输出孤立字较少的那个切割结果，从而将初始的识别结果转化成一个等长的中文字串集合；

所述的S4.1中相似度的定义具体为：

其中，ω为待查询词，为字典中的单词，为ω与之间的距离，为ω和在字典中的相对排名，λ为控制参数λ∈[0，1]；

S4.2：计算S4.1得到的每个等长的中文字串集合的相似度分数，选取相似度分数最高的作为切割的结果，但当相似度分数最高的中文字串集合不止一个时，优选窗口长度大的字符串作为切割的位置；

S4.3：设置相似度分数阈值，当等长的中文字串集合的相似度分数小于或等于阈值时，不作处理；当等长的中文字串集合的相似度分数大于阈值时，比较匹配后的结果与初始的识别结果的长度，当匹配后的结果大于初始的识别结果时，则用长度最长的匹配后的结果覆盖初始的识别结果；当匹配后的结果部分重叠但未全部覆盖初始的识别结果时，则输出相似度最高的匹配后的结果；从而将初始的识别结果分割成一些确定的词、不确定的词和孤立的字三个部分，三者互不重叠，共同组成词法匹配后的识别结果。

在完成词法分析后，语法匹配技术可以将孤立的字词进行处理。语法匹配技术需要相应的语料库作为基础，以待分析的词为中心，通过上下文进行语法匹配检查来识别待识别字词。句子越通顺，上下文关系越紧密，代价接近于0；相反，如果上下文语义出现跳变，则产生相应的代价。在这种情况下，需要权衡词法的结果与语义的结果。

S4.4：将所述的词法匹配后的识别结果进行语法匹配，使得满足must-link关系的中文字串大于该关系中设定的阈值，满足cannot-link关系的中文字串小于该关系中设定的阈值，则进行替换；相反，则不进行替换；

语义相关性的定义具体为：

其中，w，w′为句子中顺序前后两个单词，为w与w′在语料词典中的位置距离。

所述的S4具体为：

文本行首先被划分为单独的单词ω_i，对于每一个ω_i，原始识别结果ξ(ω_i)，将ξ(ω_i)与语料库中的所有单词进行匹配，搜索与ξ(ω_i)相似度前k高的单词集合η(ω_i)，相似度分别记为s_η(ω_i)；

对单词不在字典中的情况，设置阈值τ；如果相似度s_η(ω_i)和小于τ，则η(ω_i)进行n元语法纠错之后的字符串取代，此时s_η(ω_i)设为常数；

对于一个由N个单词组成的文本行L，L＝{ω_i|i＝1，2，...，N},词法的总相似度S(L)定义为：

句法的总相似度ψ(L)定义为：

那么优化函数为F＝ψ(L)+S(L)，最大化F时对应的η(ω_i)即为目标所求，则最终的识别结果为：

S^*＝argmax_ηF。

S5：对S4中已经被替换的词的位置进行标记，输出OCR识别结果。

优选地，所述的S4.1和S4.4中的中文字串与语料库匹配时所检查的项目有数名、个体量词、度量词、容器量词、集体量词、种类量词、不定量词、动时量、前名、后名、前接、前代、后接、后代。

本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (5)

1.一种基于自然语言识别的光学字符识别纠错方法，其特征在于，该方法包括如下步骤：

S1：获取文字图像；

S2：所述文字图像经过ocr识别获得初始的识别结果；

S3：构建语料库；

S4：将初始的识别结果通过基于自然语言识别的方法进行后处理，该方法分为词法匹配和语法匹配两个步骤，具体如下：

S4.1：将初始的识别结果以固定长度按双向最大匹配的方式进行切分，当进行正向最大匹配时，从左向右取待切分中文字串的4-2个字符作为匹配字段，查找语料库并进行匹配，若匹配成功，则将这个匹配字段作为一个词切割出来；若匹配不成功，记录相似度分数较大的前k个词和相似度分数，然后将这个匹配字段的最后一个字去掉，剩下的字符串作为新的匹配字段，进行再次匹配，重复以上过程，直到切割出全部词为止；当进行逆向最大匹配时，从右向左取待切分中文字串的4-2个字符作为匹配字段，查找语料库并进行匹配，若匹配成功，则将这个匹配字段作为一个词切割出来；若匹配不成功，记录最大相似度分数和对应的词，然后将这个匹配字段的最前一个字去掉，剩下的字符串作为新的匹配字段，进行再次匹配，重复以上过程，直到切割出全部词为止；当正反向切割结果相同时，则输出任意一种切割结果；当正反向切割结果不同时，则输出孤立字较少的那个切割结果，从而将初始的识别结果转化成一个等长的中文字串集合；

S4.2：计算S4.1得到的每个等长的中文字串集合的相似度分数，选取相似度分数最高的作为切割的结果，但当相似度分数最高的中文字串集合不止一个时，优选窗口长度大的字符串作为切割的位置；

S4.3：设置相似度分数阈值，当等长的中文字串集合的相似度分数小于或等于阈值时，不作处理；当等长的中文字串集合的相似度分数大于阈值时，比较匹配后的结果与初始的识别结果的长度，当匹配后的结果大于初始的识别结果时，则用长度最长的匹配后的结果覆盖初始的识别结果；当匹配后的结果部分重叠但未全部覆盖初始的识别结果时，则输出相似度最高的匹配后的结果；从而将初始的识别结果分割成一些确定的词、不确定的词和孤立的字三个部分，三者互不重叠，共同组成词法匹配后的识别结果；

S4.4：将所述的词法匹配后的识别结果进行语法匹配，使得满足must-link关系的中文字串大于该关系中设定的阈值，满足cannot-link关系的中文字串小于该关系中设定的阈值，则赋予权重后进行替换；相反，则不进行替换；

S5：对S4中已经被替换的词的位置进行标记，输出OCR识别结果。

2.根据权利要求1所述的方法，其特征在于，所述的S4.1和S4.4中的中文字串与语料库匹配时所检查的项目有数名、个体量词、度量词、容器量词、集体量词、种类量词、不定量词、动时量、前名、后名、前接、前代、后接、后代。

3.根据权利要求1所述的方法，其特征在于，所述的语料库来源于搜索引擎bing的常见词列表。

4.根据权利要求1所述的方法，其特征在于，所述的S4具体为：

文本行首先被划分为单独的单词ω_i，对于每一个ω_i，原始识别结果ξ(ω_i)，将ξ(ω_i)与语料库中的所有单词进行匹配，搜索与ξ(ω_i)相似度前k高的单词集合η(ω_i)，相似度分别记为s_η(ω_i)；

对单词不在字典中的情况，设置阈值τ；如果相似度s_η(ω_i)和小于τ，则η(ω_i)进行n元语法纠错之后的字符串取代，此时s_η(ω_i)设为常数；

对于一个由N个单词组成的文本行L，L＝{ω_i|i＝1，２，...，N},词法的总相似度S(L)定义为：

句法的总相似度ψ(L)定义为：

那么优化函数为F＝ψ(L)+S(L)，最大化F时对应的η(ω_i)即为目标所求，则最终的识别结果为：

S^*＝argmax_ηF。

5.根据权利要求1所述的方法，所述的S4.1中相似度的定义具体为：

其中，ω为待查询词，为字典中的单词，为ω与之间的距离，为ω和在字典中的相对排名，λ为控制参数λ∈[0，1]，同样地，语义相关性的定义具体为：

其中，w，w′为句子中顺序前后两个单词，为w与w′在语料词典中的位置距离。