CN107451582A - 一种图文识别系统及其识别方法 - Google Patents

Abstract

本发明公开了一种图文识别系统。包括用于图文采集、选取、上传的智能终端；用于图文‑文字转换的服务器。识别方法一种图文包括在显示屏的显示界面内采集一个画面；在画面中采集一个四角指标，通过调节四角指标的位置以选择需要被识别的文字或图像；对画面的范围选取，识别语言，执行图文识别；调整图文角度；上传图文；服务器识别；下载文字和显示文字。本发明通过智能设备与云端服务器进行图文识别的过程，通过智能设备进行图文采集、选取、上传的操作，通过云端服务器进行图文识别，具有实时性好，识别率高，针对性强。

Description

一种图文识别系统及其识别方法

技术领域

本发明属于图文识别技术领域，特别是涉及一种图文识别系统及其识别方法。

背景技术

要将图片或者扫描文件中的文字提取出来，保存在我们的文档中去。但是用了很多软件，效果都不是很理想，还是需要自己人工去核对，大大影响了我们的工作效率。

OCR(Optical Character Recognition，光学字符识别)是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程；即，针对印刷体字符，采用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件，并通过识别软件将图像中的文字转换成文本格式，供文字处理软件进一步编辑加工的技术。如何除错或利用辅助信息提高识别正确率，是OCR最重要的课题，ICR(Intelligent Character Recognition)的名词也因此而产生。衡量一个OCR系统性能好坏的主要指标有：拒识率、误识率、识别速度、用户界面的友好性，产品的稳定性，易用性及可行性等。

有人只要文本文件作部份文字的再使用之用，所以只要一般的文字文件、有人要漂漂亮亮的和输入文件一模一样，所以有原文重现的功能、有人注重表格内的文字，所以要和Excel等软件结合。无论怎么变化，都只是输出档案格式的变化而已。如果需要还原成原文一样格式，则在识别后，需要人工排版，耗时耗力。

现有专利ZL201210146093.X公开了《一种图文识别方法及图文识别装置》，该技术通过图文识别软件对点区域的图片文字进行选取识别的方式，但是该方式识别范围小，不易定点选取。

现有专利ZL201610562245.2公开了一种《图文识别方法及其装置》，该技术通过二值化图片像素点匹配识别技术，多用于验证码字符识别，对于图片文字阵列，无法实现实时准确的识别。

发明内容

本发明的目的在于提供一种图文识别系统及其识别方法，通过智能设备与云端服务器进行图文识别的过程，通过智能设备进行图文采集、选取、上传的操作，通过云端服务器进行图文识别，具有实时性好，识别率高。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种图文识别系统，包括用于图文采集、选取、上传的智能终端；用于图文-文字转换的服务器。

进一步地，所述智能终端包括智能手机、平板电脑；所述智能终端还包括图文识别模块和调整模块。

一种图文识别方法，包括如下步骤：

SS01在显示屏的显示界面内采集一个画面；

SS02在画面中采集一个四角指标，通过调节四角指标的位置以选择需要被识别的文字或图像；

SS03对画面的范围选取，识别语言，执行图文识别；

若图文识别成功，则进入步骤SS04；

若图文识别不成功，则返回SS03

SS04调整图文角度；

SS05上传图文，智能设备将选取的图文上传到服务器；

SS06服务器识别，云端服务器将图片文字进行识别生成文字信息；

SS07下载文字，智能设备从服务器下载识别的文字信息；

SS08显示文字，智能设备将下载的文字信息进行显示。

进一步地，所述SS03对画面的范围选取，识别语言，执行图文识别，具体通过图文识别模块对该画面位于四角指标处进行文字或图像识别，通过调整模块调整该画面位于四角指标处的图像改变四角指标的状态。

本发明具有以下有益效果：

本发明通过智能设备与云端服务器进行图文识别的过程，通过智能设备进行图文采集、选取、上传的操作，通过云端服务器进行图文识别，具有实时性好，识别率高，针对性强。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种图文识别系统图；

图2为本发明的一种图文识别方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1所示，本发明为一种图文识别系统，包括用于图文采集、选取、上传的智能终端；用于图文-文字转换的服务器。

其中，智能终端包括智能手机、平板电脑；所述智能终端还包括图文识别模块和调整模块。

如图2所示，一种图文识别方法，包括如下步骤：

SS01在显示屏的显示界面内采集一个画面；

SS02在画面中采集一个四角指标，通过调节四角指标的位置以选择需要被识别的文字或图像；

SS03对画面的范围选取，识别语言，执行图文识别；

若图文识别成功，则进入步骤SS04；

若图文识别不成功，则返回SS03

SS04调整图文角度；

SS05上传图文，智能设备将选取的图文上传到服务器；

SS06服务器识别，云端服务器将图片文字进行识别生成文字信息；

SS07下载文字，智能设备从服务器下载识别的文字信息；

SS08显示文字，智能设备将下载的文字信息进行显示。

其中，SS03对画面的范围选取，识别语言，执行图文识别，具体通过图文识别模块对该画面位于四角指标处进行文字或图像识别，通过调整模块调整该画面位于四角指标处的图像改变四角指标的状态。

服务器通过采用图文识别软件即可实现对图文识别。由于扫描仪的普及与广泛应用，OCR软件只需提供与扫描仪的接口，利用扫描仪驱动软件即可。因此，OCR软件主要是由下面几个部分组成。

图像输入：对于不同的图像格式，有着不同的存储格式，不同的压缩方式，目前有OpenCV,CxImage等开源项目。预处理：主要包括二值化，噪声去除，倾斜较正等

二值化：对摄像头拍摄的图片，大多数是彩色图像，彩色图像所含信息量巨大，对于图片的内容，我们可以简单的分为前景与背景，为了让计算机更快的，更好的识别文字，我们需要先对彩色图进行处理，使图片只前景信息与背景信息，可以简单的定义前景信息为黑色，背景信息为白色，这就是二值化图了。

噪声去除：对于不同的文档，我们对噪声的定义可以不同，根据噪声的特征进行去噪，就叫做噪声去除

倾斜较正：由于一般用户，在拍照文档时，都比较随意，因此拍照出来的图片不可避免的产生倾斜，这就需要文字识别软件进行较正。

版面分析：将文档图片分段落，分行的过程就叫做版面分析，由于实际文档的多样性，复杂性，因此，目前还没有一个固定的，最优的切割模型。

字符切割：由于拍照条件的限制，经常造成字符粘连，断笔，因此极大限制了识别系统的性能，这就需要文字识别软件有字符切割功能。

字符识别：这一研究，已经是很早的事情了，比较早有模板匹配，后来以特征提取为主，由于文字的位移，笔画的粗细，断笔，粘连，旋转等因素的影响，极大影响特征的提取的难度。

版面恢复：人们希望识别后的文字，仍然像原文档图片那样排列着，段落不变，位置不变，顺序不变，的输出到word文档,pdf文档等，这一过程就叫做版面恢复。

后处理、校对：根据特定的语言上下文的关系，对识别结果进行较正，就是后处理。

工作流程：一个OCR识别系统，其目的很简单，只是要把影像作一个转换，使影像内的图形继续保存、有表格则表格内资料及影像内的文字，一律变成计算机文字，使能达到影像资料的储存量减少、识别出的文字可再使用及分析，当然也可节省因键盘输入的人力与时间。

从影像到结果输出，须经过影像输入、影像前处理、文字特征抽取、比对识别、最后经人工校正将认错的文字更正，将结果输出

影像输入：欲经过OCR处理的标的物须透过光学仪器，如影像扫描仪、传真机或任何摄影器材，将影像转入计算机。科技的进步，扫描仪等的输入装置已制作的愈来愈精致，轻薄短小、品质也高，对OCR有相当大的帮助，扫描仪的分辨率使影像更清晰、扫除速度更增进OCR处理的效率。

影像预处理：影像预处理是OCR系统中，须解决问题最多的一个模块。影像须先将图片、表格及文字区域分离出来，甚至可将文章的编排方向、文章的提纲及内容主体区分开，而文字的大小及文字的字体亦可如原始文件一样的判断出来。

对待识别图像进行如下预处理，可以降低特征提取算法的难度，并能提高识别的精度。

二值化：由于彩色图像所含信息量过于巨大，在对图像中印刷体字符进行识别处理前，需要对图像进行二值化处理，使图像只包含黑色的前景信息和白色的背景信息，提升识别处理的效率和精确度。

图像降噪：由于待识别图像的品质受限于输入设备、环境、以及文档的印刷质量，在对图像中印刷体字符进行识别处理前，需要根据噪声的特征对待识别图像进行去噪处理，提升识别处理的精确度。

倾斜校正：由于扫描和拍摄过程涉及人工操作，输入计算机的待识别图像或多或少都会存在一些倾斜，在对图像中印刷体字符进行识别处理前，就需要进行图像方向检测，并校正图像方向。

文字特征抽取：单以识别率而言，特征抽取可说是OCR的核心，用什么特征、怎么抽取，直接影响识别的好坏，也所以在OCR研究初期，特征抽取的研究报告特别的多。而特征可说是识别的筹码，简易的区分可分为两类：一为统计的特征，如文字区域内的黑/白点数比，当文字区分成好几个区域时，这一个个区域黑/白点数比之联合，就成了空间的一个数值向量，在比对时，基本的数学理论就足以应付了。而另一类特征为结构的特征，如文字影像细线化后，取得字的笔划端点、交叉点之数量及位置，或以笔划段为特征，配合特殊的比对方法，进行比对，市面上的线上手写输入软件的识别方法多以此种结构的方法为主。

对比数据库：当输入文字算完特征后，不管是用统计或结构的特征，都须有一比对数据库或特征数据库来进行比对，数据库的内容应包含所有欲识别的字集文字，根据与输入文字一样的特征抽取方法所得的特征群组。

对比识别

这是可充分发挥数学运算理论的一个模块，根据不同的特征特性，选用不同的数学距离函数，较有名的比对方法有，欧式空间的比对方法、松弛比对法(Relaxation)、动态程序比对法(Dynamic Programming，DP)，以及类神经网络的数据库建立及比对、HMM(Hidden Markov Model)…等著名的方法，为了使识别的结果更稳定，也有所谓的专家系统(Experts System)被提出，利用各种特征比对方法的相异互补性，使识别出的结果，其信心度特别的高。

字词后处理：由于OCR的识别率并无法达到百分之百，或想加强比对的正确性及信心值，一些除错或甚至帮忙更正的功能，也成为OCR系统中必要的一个模块。字词后处理就是一例，利用比对后的识别文字与其可能的相似候选字群中，根据前后的识别文字找出最合乎逻辑的词，做更正的功能。

字词数据库：为字词后处理所建立的词库。

人工校正

OCR最后的关卡，在此之前，使用者可能只是拿支鼠标，跟着软件设计的节奏操作或仅是观看，而在此有可能须特别花使用者的精神及时间，去更正甚至找寻可能是OCR出错的地方。一个好的OCR软件，除了有一个稳定的影像处理及识别核心，以降低错误率外，人工校正的操作流程及其功能，亦影响OCR的处理效率，因此，文字影像与识别文字的对照，及其屏幕信息摆放的位置、还有每一识别文字的候选字功能、拒认字的功能、及字词后处理后特意标示出可能有问题的字词，都是为使用者设计尽量少使用键盘的一种功能，当然，不是说系统没显示出的文字就一定正确，就像完全由键盘输入的工作人员也会有出错的时候，这时要重新校正一次或能允许些许的错，就完全看使用单位的需求了。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (4)

1.一种图文识别系统，其特征在于，包括：

用于图文采集、选取、上传的智能终端；

用于图文-文字转换的服务器。

2.根据权利要求1所述的一种图文识别系统，其特征在于，所述智能终端包括智能手机、平板电脑；所述智能终端还包括图文识别模块和调整模块。

3.一种图文识别方法，其特征在于，包括如下步骤：

SS01在显示屏的显示界面内采集一个画面；

SS02在画面中采集一个四角指标，通过调节四角指标的位置以选择需要被识别的文字或图像；

SS03对画面的范围选取，识别语言，执行图文识别；

若图文识别成功，则进入步骤SS04；

若图文识别不成功，则返回SS03

SS04调整图文角度；

SS05上传图文，智能设备将选取的图文上传到服务器；

SS06服务器识别，云端服务器将图片文字进行识别生成文字信息；

SS07下载文字，智能设备从服务器下载识别的文字信息；

SS08显示文字，智能设备将下载的文字信息进行显示。

4.根据权利要求3所述的一种图文识别方法，其特征在于，所述SS03对画面的范围选取，识别语言，执行图文识别，具体通过图文识别模块对该画面位于四角指标处进行文字或图像识别，通过调整模块调整该画面位于四角指标处的图像改变四角指标的状态。