CN104636743B - 文字图像校正的方法和装置 - Google Patents

Abstract

提出了一种文字图像校正的方法，包括以下步骤：发射信息，并接收所述发射信息的反射信息获得视场内的景物信息，以及获取视场内的文字图像；根据景物信息，计算文字图像的畸变参数；根据文字图像的畸变参数，对文字图像进行畸变校正。本发明实施例另一方面还提出了一种文字图像校正的装置及一种文字识别设备。本发明提出的上述方案，通过在拍照过程中主动发射信息，然后接收反射信息获得视场内的景物信息，基于这种辅助的途径，能够获取更多有利于畸变参数估计的信息。在对文字图像进行校正时，能够动态、实时获取到文字图像的畸变信息，基于捕获到的反射信息，能够很好地完成参数估计，准确计算到文字图像的畸变参数，从而更好的解决文本图像畸变的问题。

Description

文字图像校正的方法和装置

技术领域

本发明涉及图像处理的技术领域，具体而言，本发明涉及文字图像校正的方法和装置。

背景技术

图像处理是指用计算机对图像进行分析，以达到所需结果的技术，又称影像处理。图像处理一般指数字图像处理。数字图像处理就是利用计算机对图像信息进行加工以满足人的视觉心理或者应用需求的行为。首先，数字图像处理技术可以帮助人们更客观、准确地认识世界，人的视觉系统可以帮助人类从外界获取3/4以上的信息，而图像、图形又是所有视觉信息的载体。尽管人眼的鉴别力很高，可以识别上千种颜色，但很多情况下，图像对于人眼来说是模糊的甚至是不可见的。通过图像处理技术，可以使模糊甚至不可见的图像变得清晰明亮。另一方面，通过数字图像处理中的模式识别技术，可以将人眼无法识别的图像进行分类处理。通过计算机模式识别技术可以快速准确的检索、匹配和识别出各种东西。

OCR（Optical Character Recognition，光学字符识别）是指电子设备（例如扫描仪或数码相机）检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程；即，对文本资料进行扫描，然后对图像文件进行分析处理，获取文字及版面信息的过程。如何纠错或利用辅助信息提高识别正确率，是OCR最重要的课题。衡量一个OCR系统性能好坏的主要指标有：拒识率、误识率、识别速度、用户界面的友好性，产品的稳定性，易用性及可行性等。

在对文中图像进行OCR之前，可能需要进行图像处理，这是因为通常文字图像会存在图像畸变。文本图像的畸变是指当成像平面与目标文档平面之间不完全平行时,或者目标文档本身不处于同一平面时,在获取的图像中,不同区域的文字图像及同一文字不同区域所对应的图像,在水平和垂直方向的尺度上,会出现不同程度的变形,这种变形会影响文本的阅读及相关的识别处理过程。

现有的文本图像畸变校正方法，例如，中国申请号为： 201110196399.1、201110460648.3、201010568404.2的现有技术中，其处理过程都是针对已拍照得到的文本图像，通过对文本图像进行分析，得到畸变信息并估计畸变参数，从而完成畸变校正。但是，基于这种思路的方法，受限于是否能够准确的提取出图像中隐含的畸变信息。这需要很强的图像处理能力及信息提取技术，同时需要建立复杂的畸变参数估计系统，这些都会影响畸变校正的效果。此外，有些畸变信息根本无法通过对已拍照得到的文本图像进行分析而获得。

因此，有必要提出有效的技术方案，解决文本图像畸变校正的难题。

发明内容

本发明的目的旨在至少解决上述技术缺陷之一，特别是在拍照过程中，通过其他途径获取更多有利于畸变参数估计的信息，并同时完成参数估计及畸变校正，从而更好的解决文本图像畸变的问题。

本发明实施例一方面提出了一种文字图像校正的方法，包括以下步骤：

发射信息，并接收所述发射信息的反射信息获得视场内的景物信息，以及获取所述视场内的文字图像；

根据所述景物信息，计算文字图像的畸变参数；

根据所述文字图像的畸变参数，对所述文字图像进行畸变校正。

本发明实施例另一方面提出了一种文字图像校正的装置，包括收发模块，计算模块和校正模块，

所述收发模块，用于发射信息，并接收所述发射信息的反射信息获得视场内的景物信息，以及获取所述视场内的文字图像；

所述计算模块，用于根据所述景物信息，计算文字图像的畸变参数；

所述校正模块，用于根据所述文字图像的畸变参数，对所述文字图像进行畸变校正。

本发明实施例另一方面还提出了一种文字识别设备，包括：校正装置和识别装置，

所述校正装置，为根据上述的文字图像校正的装置，用于对文字图像进行校正；

所述识别装置，用于对校正后的所述文字图像进行OCR光学字符识别。

本发明提出的上述方案，通过在拍照过程中主动发射信息，然后接收反射信息获得视场内的景物信息，基于这种辅助的途径，能够获取更多有利于畸变参数估计的信息。在对文字图像进行校正时，能够动态、实时获取到文字图像的畸变信息，基于捕获到的反射信息，能够很好地完成参数估计，准确计算到文字图像的畸变参数，从而更好的解决文本图像畸变的问题。

在实际应用中，本发明公开的解决文字图像的畸变的方案，会直接应用于文本识别技术领域。基于本发明提出的文字图像校正之后进行文字识别时，可以很好的解决文本图像的畸变校正问题，增强文本图像的可读性，提高文本识别的准确性。

本发明提出的上述方案，对现有设备的改动很小，不会影响设备的兼容性，而且实现简单、高效。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例文字图像校正的方法流程图；

图2为根据视场内的景物的深度信息进行畸变估计的示意图；

图3A为确定校正平面示意图一；

图3B为确定校正平面示意图二；

图4为确定其他点位于校正平面的示意图；

图5为根据视场内的景物的相对位置信息进行畸变估计的示意图；

图6为进行文字图像进行畸变校正的步骤；

图7为具有深度传感器校正设备的工作流程图；

图8为具有主动光源校正设备的工作流程图；

图9为网格线在校正平面上的位置；

图10为拍摄平面的网格线后获取反射图像的示意图；

图11为拍摄柱面的网格线后获取反射图像的示意图；

图12为本发明实施例公开的一种文字图像校正的装置；

图13为本发明实施例公开的又一种文字图像校正的装置。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语）具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括仅具备无发射能力的无线信号接收器的设备，又包括具有能够在双向通信链路上进行双向通信的接收和发射硬件的设备。这种设备可以包括：具有或没有多线路显示器的蜂窝或其他通信设备；可以组合语音和数据处理、传真和/或数据通信能力的个人通信系统（PCS）；可以包括射频接收器和寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或全球定位系统（GPS）接收器的个人数字助理（PDA）；和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具（航空、海运和/或陆地）中的，或者适合于和/或配置为在本地运行和/或以分布形式在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID和/或具有音乐/视频播放功能的移动电话，可以是智能电视、机顶盒等设备。

为了实现本发明之目的，如图1所示，为本发明实施例文字图像校正的方法流程图，包括以下步骤：

S110：发射信息，并接收发射信息的反射信息获得视场内的景物信息，以及获取视场内的文字图像；

S120：根据景物信息，计算文字图像的畸变参数；

S130：根据文字图像的畸变参数，对文字图像进行畸变校正。

本发明提出的上述方案，通过在拍照过程中主动发射信息，例如，发射特定的光信号，然后接收反射信息获得视场内的景物信息，基于这种辅助的途径，能够获取更多有利于畸变参数估计的信息。相对于现有的文本图像畸变校正方法，其处理过程都是针对已拍照得到的文本图像，通过对文本图像进行分析，得到畸变信息并估计畸变参数，从而完成畸变校正；有些畸变信息根本无法通过对已拍照得到的文本图像进行分析而获得。因此，本发明公开的技术方案，能够动态、实时获取到文字图像的畸变信息，基于捕获到的反射信息，能够很好地完成参数估计，准确计算到文字图像的畸变参数，从而更好的解决文本图像畸变的问题。

下面结合具体的示例，对上述步骤S110至步骤S130中涉及的细节作进一步介绍。

S110：发射信息，并接收所述发射信息的反射信息获得视场内的景物信息，以及获取视场内的文字图像。

在步骤S110中，摄像设备需要采集视场内的景物信息；此外，也需要获取视场内的文字图像。应当理解，视场内的景物信息与视场内的文字图像可以先后获得；当然，同时获得上述信息时，两者之间的对应性会更好。

因此，作为本发明的实施例，摄像设备接收发射信息的反射信息获得视场内的景物信息的同时，可以同时获取所述视场内的文字图像。

例如，相机、摄像头等设备对视场内的文字图像进行拍摄；同时，根据本发明公开的技术方案，需要主动对视场内发射信息，例如发射主动的光源，并接收反射信息获得视场内的景物信息。作为本发明的实施例，例如，通过深度传感器，发射规则的红外点阵信号，获取反射信号来分析并获得视场内的景物信息。其中，获得视场内的景物信息的采样点可以是均匀分布,也可以是预先设定好的分布方式。

作为本发明的实施例，获得视场内的景物信息，具体而言包括：获得视场内的景物的深度信息和/或视场内的景物的相对位置信息。

因此，在本发明中，视场内的景物信息指的是根据发射信息获得的反应视场内特定位置的深度信息和/或相对位置信息。例如，通过深度传感器发射红外点阵信号，获得反射信息：对于每一个点而言，都可以获得其反射信息，可知该点信息的尺寸，根据这个尺寸推算出该点位置的深度信息和/或点与点之间的相对位置信息，这些信息即属于本发明提到的景物信息。

S120：根据景物信息，计算文字图像的畸变参数。

在步骤S120中，根据获得视场内的景物的深度信息和/或视场内的景物的相对位置信息，计算文字图像的畸变参数。

作为本发明的实施例，根据景物信息，计算文字图像的畸变参数，包括以下步骤：

对视场进行区域划分；

获取区域对应的景物信息；

计算区域对应的景物的畸变参数。

具体而言，计算区域对应的景物的畸变参数，包括：

根据视场内的景物的深度信息和/或视场内的景物的相对位置信息，确定视场内的景物对应区域与校正平面的对应关系。

校正平面是指与摄像头平面平行，且与摄像头平面距离与该区域的深度相似的平面。在本发明中，对图像进行校正，也就是将有畸变的图像，以校正平面为基准进行校正，去除畸变的因素。

具体而言，作为本发明的实施例，确定视场内的景物对应区域与校正平面的对应关系，包括：

当获得区域对应的景物的深度信息时，计算视场每一个区域对应的校正平面；

对每一个区域对应的校正平面进行等比例缩小或放大，和/或对每一个区域对应的校正平面依据深度信息进行缩小或放大；

将每一个区域对应的校正平面进行拼接，得到视场内的景物对应区域与校正平面的对应关系。

如图2所示，为根据视场内的景物的深度信息进行畸变估计的示意图，图中，获取景物的深度信息以深度传感器为例进行说明。

首先是信息获取步骤210,信息获取步骤210通过深度传感器采集视场内景物深度信息，并保存视场内景物的深度信息。其中，采样点可以是均匀分布的，也可以是预先设定好的分布方式。

其次是畸变参数估计步骤220，畸变参数估计步骤220利用视场内景物深度信息，根据深度变化的连续性与跳变位置，将视场分割成多个区域，基于深度信息进行畸变参数估计。具体而言，对每个区域，利用区域内深度变化信息，计算每个区域与摄像头平面间的空间位置的对应关系，建立该区域与校正平面间的对应关系，并保存该区域与校正平面间的对应关系。

作为本发明的实施例，计算视场每一个区域对应的校正平面，包括：

在视场每一个区域中，以所对应的景物的深度差最小的一组相邻点的位置，作为视场每一个区域的校正平面的位置；

根据已经确定的区域的校正平面的位置，计算区域内其他点在区域的校正平面的位置。

下面结合附图，说明如何基于深度信息确定校正平面和如何将区域上的点映射到校正平面上的对应位置。

如图3A所示，为确定校正平面示意图一；如图3B所示，为确定校正平面示意图二。

如图3A所示，设在视场中的某一个区域中，所对应的景物的深度差最小的一组相邻点的位置为B，作为视场中点B所在区域的校正平面的位置。

作为本发明的实施例，计算区域内其他点在区域的校正平面的位置，包括：

以摄像头作为观察点A，已经确定的区域的校正平面的位置为点B，点B的深度信息为距离BA，校正平面为垂直于线段AB且穿过点B的平面；

计算区域内其他点O在区域的校正平面的位置O’，其中，点O’在校正平面的位置同时满足以下条件：

O’和O与已经确定位置的点的距离相等；

O O’的距离最小。

如图3A所示，以摄像头作为观察点A和点B的位置，能确定点B 所在区域的校正平面，也就是图3A中穿过点B且与纸平面垂直的平面（在图3A中体现为水平线，图中以“校正后平面”标记的位置）。

上述确定校正平面时，校正平面的深度信息也就是距离AB。此外，也可以由其他位置的点确定校正平面，具体如图3B所示。例如，当AB 不垂直校正平面时，由于点B所在点阵中的相对位置，通过主动发射信息设备是可以得到的，因此也可以通过主动发射信息设备的预先设定得到点 B与垂直方向的夹角α。假定通过A点与校正平面垂直的直线与校正平面相交于M点，利用三角函数关系AM=AB×cosα可以得到校正平面的深度信息AM。

确定校正平面之后，计算点B所在区域内的其他点在区域的校正平面的位置，例如，在图3B中，其他点也就是点C。点C在区域的校正平面的位置C’，其中，点C’在校正平面的位置同时满足以下条件：

C’和C与已经确定位置的点的距离相等，也就是C’B=CB；

CC’的距离最小。

假设观察点A观察到两个点B和点C，点B处于校正平面上。由于点B，点C所在点阵中的相对位置，通过主动发射信息设备是可以得到的，因此也可以通过主动发射信息设备的预先设定得到点B与点C的夹角β，且BA，CA的深度信息也已经得到，因此可以由三角函数关系

计算出BC的距离，如此就可以得到点C 校正后处于校正平面的点C’的位置。

具体而言，C’的位置可以通过以下方法获得：以B为圆心，以BC 为半径，位于BCA平面的圆与校正平面的交点，也就是图3A或图3B中的C’的所在位置。

如图4所示，基于已经在校正平面上确定了位置的点，可以进一步确定相邻的点在校正平面的位置。例如，利用已经确定的点，具体在图4中，也就是点B和点C,可以得到深度点阵中与其相邻的点D在校正平面的位置点D’。基于前面定于的方法，可以计算DB，DC间的距离，然后利用 DB，DC间的距离，计算点D校正后的位置点D’。具体而言，C’的位置可以通过以下方法获得：分别以点B,点C’为圆心,分别以DB和DC 为半径作圆，其交点的位置就是点D校正后的位置点D’。

如图5所示，为根据视场内的景物的相对位置信息进行畸变估计的示意图。具体而言，首先是信息获取步骤510,信息获取步骤510通过主动发射预先设定的网格状主动光源,并接收网格线所对应的位置信息及强度信息，并保存视场内景物的相对位置信息。其中，采样点可以是均匀分布的，也可以是预先设定好的分布方式。网格状主动光源可以是产生网格点或网格线的光源；处于一条直线上的网格点会形成一条网格线。通常，为了便于计算，其后的位置信息估计可以由网格点或网格线构成的区域边界点进行估计。其次是畸变参数估计步骤520，畸变参数估计步骤520包括:当获得区域对应的景物的相对位置信息时，计算区域边界点的位置；根据设备分辨率和区域边界点之间的夹角，计算区域边界点与摄像头的距离，以区域边界点与摄像头的平均距离作为校正平面的位置；根据设备分辨率、区域边界点的位置，得到区域边界点在校正平面的位置，具体而言也就是网格点或网格线在校正平面的位置；根据网格点或网格线在校正平面的位置，确定视场内的景物对应区域与校正平面的对应关系。

因此，作为本发明的实施例，确定视场内的景物对应区域与校正平面的对应关系，包括：

当获得区域对应的景物的相对位置信息时，计算区域边界点的位置；

根据设备分辨率和区域边界点之间的夹角，计算区域边界点与摄像头的距离，以区域边界点与摄像头的平均距离作为校正平面的位置；

根据设备分辨率、区域边界点的位置，得到区域边界点在校正平面的位置；

根据区域边界点在校正平面的位置，确定视场内的景物对应区域与校正平面的对应关系。

S130：根据文字图像的畸变参数，对文字图像进行畸变校正。

基于之前的步骤S110和步骤S120，可以得到文字图像的畸变参数，也就是视场内的景物对应区域与校正平面的对应关系。

在步骤S110中，获取视场内的景物信息的同时，也获取了视场内的文字图像，由于文字图像的获取与景物信息的获取是同时进行的，因此建立了完全的对应关系。基于之前各种方式得到的视场内的景物对应区域与校正平面的对应关系，可以基于这种对应关系，对文字图像进行校正，消除畸变。

如图6所示，为进行文字图像进行畸变校正的步骤。根据视场内的景物对应区域与校正平面的对应关系，将之前保存的文字图像数据进行校正处理；对处理后的文字图像，计算校正过程中存在的缝隙区域，利用缝隙区域所对应的相邻区域信息，可以对缝隙区域进行平滑处理，这里可以采用线性插值方法进行图像平滑。当然，如果这些缝隙区域对于后续的文字图像处理或文字识别没有影响，亦可以不进行平滑处理。全部处理结束后，得到校正后的文字图像。

因此，作为本发明的实施例，根据文字图像的畸变参数，对文字图像进行畸变校正，包括：

对对应位置的文字图像，根据视场内的景物对应区域与校正平面的对应关系进行校正。

进一步而言，还包括：对校正后的文字图像进行平滑处理。

本发明提出的上述方法，通过在拍照过程中主动发射信息，例如，发射特定的光信号，然后接收反射信息获得视场内的景物信息，基于这种辅助的途径，能够获取更多有利于畸变参数估计的信息。相对于现有的文本图像畸变校正方法，其处理过程都是针对已拍照得到的文本图像，通过对文本图像进行分析，得到畸变信息并估计畸变参数，从而完成畸变校正；有些畸变信息根本无法通过对已拍照得到的文本图像进行分析而获得。因此，本发明公开的技术方案，能够动态、实时获取到文字图像的畸变信息，基于捕获到的反射信息，能够很好地完成参数估计，准确计算到文字图像的畸变参数，从而更好的解决文本图像畸变的问题。

在实际应用中，文字图像校正的方法，也就是解决文字图像的畸变，会直接应用于文本识别技术领域。文本识别技术越来越多的被应用到智能终端上，也越来越被用户所接受。文本识别准确性会直接影响用户体验，而文本畸变问题是影响文本识别的一个重要的因素。本发明提出的上述方法，可以很好的解决文本图像的畸变校正问题，增强文本图像的可读性，提高文本识别的准确性，给智能终端带来更多的智能应用体验。

为了进一步说明本发明的应用，下面结合具体应用场景对本发明作进一步说明。

如图7所示，为具有深度传感器校正设备的工作流程图。具体工作流程如下:

S1.启动拍照装置。

S2.对准要拍照的文字目标，按拍照按钮，启动拍照过程。

S3.彩色摄像头获取视场内彩色的图像信息，包括文字图像。

S4.保存文字图像的数据。

S5.在S3模块启动的同时，启动深度传感器，产生规则的红外点阵信息并获取反射信号。

S6.根据S5反射信号点的大小强弱，可以计算出点阵中每个点的深度信息。

S7.划分区域：根据深度点阵，可将视场图像划分为多个区域；深度点阵中，处于同一连续面的点，其深度信息变化也具有连续性，因此，可以利用深度点阵中点与点之间的梯度信息，得到梯度信息的直方图，计算阈值，取梯度较大的位置作为区域划分的依据，从而可以将图像划分为多个区域，每个区域内的点处于同一连续面。

S8.用于判断是否还存在没有被校正处理的区域，区域是指S7中划分后得到的区域。

S9.获取一个没有被处理的区域，及深度点阵中处于该区域内的点信息。

S10.确定该区域对应的校正平面，校正平面与摄像头平面间的距离，会影响校正后图像上点与点间的像素距离，因此需要首先确定。当然，也可以根据校正后图像的情况，对校正后图像进行缩小或放大处理。这里采用选取深度差最小的一组相邻点作为基准，取其中一个深度作为校正平面的深度。

S11.确定校正平面后，对另一个点进行校正，校正方法如图3A或图 3B所示。假设观察点A观察到两个点B和点C，点B处于校正平面上。由于BA和CA间的夹角是设备已知的，且BA，CA的深度信息也已经得到，因此可以计算出BC的距离，如此就可以得到点C校正后处于校正平面的点C’的位置。

S12.利用已经确定的点，例如点B，点C，得到深度点阵中与其相邻的点D，利用S11中的方法，可以计算DB，DC间的距离，然后利用DB， DC间的距离，计算点D校正后的位置。校正方法如图4所示。分别以点B，点C’为圆心，以DB，DC为半径做圆，其交点的位置就是点D校正后的位置点D’。

S13.利用S12中的方法，利用已经确定的点，将其他点的位置逐一确定。

S14.当全部确定之后，便得到了该区域与校正平面间的对应关系。

S15.当所有区域都处理之后，保存区域划分结果，及每一个区域所对应的校正平面与区域内点之间的对应关系。

S16.根据S15中的区域划分结果，可以得到各区域间的重叠关系，若存在重叠关系，可以对其中的一个区域进行等比例缩小或放大，这里对于深度较大的区域进行缩小。通常，文字图像校正所关注的主题文字面一般距离摄像头平面更近。

S17.保存将经过S16调整后的对应区域与校正平面间的对应关系。

S18.根据S17得到的对应关系，将S4保存的文字图像数据进行校正处理。

S19.对S18处理后的图像，计算校正过程中存在的缝隙区域，利用缝隙所对应的相邻区域信息，对缝隙区域进行平滑处理，这里可以采用线性插值方法。当然，如果这些缝隙对于后续处理无用，亦可以不进行平滑处理。

S20.全部处理结束后，得到校正后的文字图像。

具有深度传感器的校正设备不仅可以适用于单个目标文字面的情况，同样也能够适用于视场内存在多个目标文字面，且各个文字面之间相对于摄像头平面存在一定的深度差的情况。因此，为确保每个文字面的文字图像都能够得到校正，S7步骤就可以利用深度差信息将各个文字面区域进行划分，以实现对每个文字面分别校正的目的。

如图8所示，为具有主动光源校正设备的工作流程图。校正设备通过主动发射预先设定的网格状主动光源，并接收区域对应的位置信息及强度信息。根据捕获的强度信息的连续性，将视场划分为多个区域，对每个区域利用获取的网格位置信息与预先设定的平面情况下获取的网格位置信息的关系，建立该区域与校正后平面间的对应关系，并保存这种对应关系，用于之后的文字图像校正。具体工作流程如下:

T1.启动拍照装置。

T2.对准要拍照的文字目标，按拍照按钮，启动拍照过程。

T3.彩色摄像头获取视场内彩色的图像信息，包括文字图像。

T4.保存文字图像的数据。

T5.发射特定的网格光源，例如规则的网格线、网格点，通过网格光源划分视场的区域。

T6.主动光源会在文本目标面上形成反射，通过获得反射信号，定位网格线、网格点在图像上的位置。

T7.利用网格线、网格点的位置，计算区域边界点的位置，区域边界点例如是网格交点。

T8.计算交点在图像上的像素距离。利用设备分辨率及区域边界点间的夹角，可以估计出交点所处位置与摄像头间的距离。通常，设备分辨率及区域边界点间的夹角是已知信息作为后继计算的前提条件。选取平均的交点距离作为校正平面的距离D。

T9.确定校正平面。利用已知网格信息及校正平面距离D，可以得到网格线、网格点在校正平面上的位置。

T10.确定交点的在图像与校正平面的对应关系。对比网格线、网格点在视场空间图像上的位置，及在校正平面上的位置，可以得到每条网格线、网格点的连线在两者之间的对应关系。例如，以网格线为例，如图9 所示，为网格线在校正平面上的位置。如果文本图像目标是处于同一平面的，被摄像设备拍摄后，文字图像会产生一定的畸变。例如，如图10所示，为拍摄平面的网格线后获取反射图像的示意图。其中，由于点A’和点B’离摄像设备更远，因此获取的反射图像被拉伸而显得更大。又例如，文本图像目标是处于柱面上时，被摄像设备拍摄后，文字图像也会产生一定的畸变。例如，如图11所示，为拍摄柱面的网格线后获取反射图像的示意图。同理，由于点A’、点B’、点C’和点D’离摄像设备更远，因此获取的反射图像被拉伸而显得更大。对比校正平面和具有畸变信息的平面，就可以得到每条网格线在两个平面上的位置对应关系，例如AB对应A’B’。同理，对于网格点光源，处于一条直线上的网格点光源会形成一条网格线，分析过程可以类似进行。

T11.根据这些对应关系，就可以得到具有畸变信息的图像的每个像素点与校正平面的对应关系。

T12.保存这种对应关系。

T13.利用这种对应关系，对文本图像进行校正处理。也就是根据T12 得到的对应关系，将T4保存的文字图像数据进行校正。要将文本图像校正，以拍摄平面的文本图像为例，文字图像的点A和点B的位置相对点C 和点D的位置，在实际拍摄中距离摄像设备更远，因此得到的文字图像在点A和点B的位置的像素会更小。因此，对文字图像就要进行从图9到图10的变化，采用线性插值的方法，即令处于远离摄像头平面的图像区域放大，较近的图像区域缩小，使得所有图像处于同一距离的平面上，从而得到实现校正了之后的目标。校正后的文字图像，将和图9类似。

T14.对T13处理后的图像，计算校正过程中存在的缝隙区域，利用缝隙所对应的相邻区域信息，对缝隙区域进行平滑处理，这里可以采用线性插值方法。当然，如果这些缝隙对于后续处理无用，亦可以不进行平滑处理。

T15.全部处理结束后，得到校正后的文字图像。

因此，具有主动光源的校正设备通常更适用于目标文字处于一个平面或文字平面的深度差较小的情况。

相应于上述方法，如图12所示，本发明实施例还公开了一种文字图像校正的装置100，包括收发模块110，计算模块120和校正模块130。

具体而言，收发模块110用于发射信息，并接收所述发射信息的反射信息获得视场内的景物信息，以及获取视场内的文字图像；

计算模块120用于根据景物信息，计算文字图像的畸变参数；

校正模块130用于根据文字图像的畸变参数，对文字图像进行畸变校正。

收发模块110需要采集视场内的景物信息；此外，也需要获取视场内的文字图像。应当理解，视场内的景物信息与视场内的文字图像可以先后获得；当然，同时获得上述信息时，两者之间的对应性会更好。

因此，作为上述文字图像校正的装置100的实施例，摄像设备接收发射信息的反射信息获得视场内的景物信息的同时，可以同时获取所述视场内的文字图像。

作为上述文字图像校正的装置100的实施例，收发模块110进一步用于获得视场内的景物的深度信息和/或视场内的景物的相对位置信息。

作为上述文字图像校正的装置100的实施例，计算模块120根据景物信息，计算文字图像的畸变参数，包括：

计算模块120进一步用于对视场进行区域划分；

计算模块120进一步用于获取区域对应的景物信息；

计算模块120进一步用于计算区域对应的景物的畸变参数。

具体而言，计算模块120进一步用于计算区域对应的景物的畸变参数，包括：

计算模块120进一步用于根据视场内的景物的深度信息和/或视场内的景物的相对位置信息，确定视场内的景物对应区域与校正平面的对应关系。

作为上述文字图像校正的装置100的实施例，计算模块120进一步用于确定视场内的景物对应区域与校正平面的对应关系，包括：

当获得区域对应的景物的深度信息时，计算模块120进一步用于计算视场每一个区域对应的校正平面；

计算模块120进一步用于对每一个区域对应的校正平面进行等比例缩小或放大，和/或对每一个区域对应的校正平面依据深度信息进行缩小或放大；

计算模块120进一步用于将每一个区域对应的校正平面进行拼接，得到视场内的景物对应区域与校正平面的对应关系。

具体而言，计算模块120进一步用于计算视场每一个区域对应的校正平面，包括：

计算模块120进一步用于在视场每一个区域中，以所对应的景物的深度差最小的一组相邻点的位置，作为视场每一个区域的校正平面的位置；

计算模块120进一步用于根据已经确定的区域的校正平面的位置，计算区域内其他点在区域的校正平面的位置。

在具体的计算过程中，计算模块120进一步用于计算区域内其他点在区域的校正平面的位置，包括：

计算模块120进一步用于以摄像头作为观察点A，已经确定的区域的校正平面的位置为点B，点B的深度信息为距离BA，校正平面为垂直于线段AB且穿过点B的平面；

计算模块120进一步用于计算区域内其他点O在区域的校正平面的位置O’，其中，点O’在校正平面的位置同时满足以下条件：

O’和O与已经确定位置的点的距离相等；

OO’的距离最小。

作为上述文字图像校正的装置100的实施例，计算模块120进一步用于确定视场内的景物对应区域与校正平面的对应关系，包括：

计算模块120进一步用于当获得区域对应的景物的相对位置信息时，计算区域边界点的位置；

计算模块120进一步用于根据设备分辨率和区域边界点之间的夹角，计算区域边界点与摄像头的距离，以区域边界点与摄像头的平均距离作为校正平面的位置；

计算模块120进一步用于根据设备分辨率、区域边界点的位置，得到区域边界点在校正平面的位置；

计算模块120进一步用于根据区域边界点在校正平面的位置，确定视场内的景物对应区域与校正平面的对应关系。

作为上述文字图像校正的装置100的实施例，获得了视场内的景物对应区域与校正平面的对应关系之后，校正模块130根据文字图像的畸变参数，对文字图像进行畸变校正，包括：

校正模块130用于对对应位置的文字图像，根据视场内的景物对应区域与校正平面的对应关系进行校正。

进一步而言，校正模块130进一步用于对校正后的文字图像进行平滑处理。

在实际应用中，本发明公开的上述装置可能会产生各种变化。

如图13所示，为本发明实施例公开的又一种文字图像校正的装置 200，包括：

信息获取模块210，用于通过主动发射信息并接收反射信息来获得视场内景物信息。信息获取模块210可以将视场内平面划分为网格区域，获取区域对应的景物的反馈信息，例如，包括网格点景物深度信息，和/或网格线相对位置信息，等等。网格区域的划分是预先设定的，可以是规则的正方形，也可以是不规则的多边形或曲边多边形，网格区域可以是覆盖全部视场内平面的，也可以只覆盖其一部分。

畸变参数估算模块220，用于根据获取的视场内景物反射信息，进行检测/估算文字图像的畸变参数，从而获得空间位置的对应关系。

图像获取模块230，用于获取视场内景物的图像，并存储图像数据。优选地，图像获取模块230的图像获取与信息获取模块210的信息获取是同时进行的，这样会更好地建立完全的对应关系。

图像畸变校正模块240，用于根据像素点位置计算，估算得到的畸变参数，对获取的图像进行畸变校正，如有必要，还可以进一步对校正后图像进行平滑处理，最后得到最终的图像数据。

作为本发明的实施例，本发明还公开了一种文字识别设备，包括：校正装置和识别装置。

具体而言，校正装置为根据本发明公开的上述文字图像校正的装置，用于对文字图像进行校正；

识别装置，用于对校正后的文字图像进行OCR光学字符识别。

本发明提出的上述文字图像校正的装置，通过在拍照过程中主动发射信息，例如，发射特定的光信号，然后接收反射信息获得视场内的景物信息，基于这种辅助的途径，能够获取更多有利于畸变参数估计的信息。本发明公开的上述文字图像校正的装置，能够动态、实时获取到文字图像的畸变信息，基于捕获到的反射信息，能够很好地完成参数估计，准确计算到文字图像的畸变参数，从而更好的解决文本图像畸变的问题。

在实际应用中，上述文字图像校正的装置，也就是解决文字图像的畸变，会直接应用于文本识别技术领域。文本识别技术越来越多的被应用到智能终端上，也越来越被用户所接受。文本识别准确性会直接影响用户体验，而文本畸变问题是影响文本识别的一个重要的因素。本发明提出的上述文字识别设备，可以很好的解决文本图像的畸变校正问题，增强文本图像的可读性，提高文本识别的准确性，给智能终端带来更多的智能应用体验。

本发明公开的上述方法，通常会在终端或终端设备中直接使用；或者，本发明公开的上述装置或设备，构成终端或终端设备的一个部分。

本技术领域技术人员可以理解，本发明可以涉及用于执行本申请中所述操作中的一项或多项操作的设备。所述设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备，所述通用计算机有存储在其内的程序选择性地激活或重构。这样的计算机程序可以被存储在设备（例如，计算机）可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘（包括软盘、硬盘、光盘、CD-ROM、和磁光盘）、随即存储器（RAM）、只读存储器（ROM）、电可编程ROM、电可擦ROM（EPROM）、电可擦除可编程ROM（EEPROM）、闪存、磁性卡片或光线卡片。可读介质包括用于以由设备（例如，计算机）可读的形式存储或传输信息的任何机构。例如，可读介质包括随即存储器（RAM）、只读存储器（ROM）、磁盘存储介质、光学存储介质、闪存装置、以电的、光的、声的或其他的形式传播的信号（例如载波、红外信号、数字信号）等。

本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来生成机器，从而通过计算机或其他可编程数据处理方法的处理器来执行的指令创建了用于实现结构图和/ 或框图和/或流图的框或多个框中指定的方法。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (25)

1.一种文字图像校正的方法，其特征在于，包括以下步骤：

发射信息，并接收所述发射信息的反射信息获得视场内的景物信息，以及获取所述视场内的文字图像；

根据所述景物信息，以校正平面为基准对所述文字图像进行畸变校正；

其中，所述景物信息包括所述视场内的景物的深度信息和/或所述视场内的景物的相对位置信息，所述校正平面是根据所述视场内的景物的深度信息和/或所述视场内的景物的相对位置信息确定的、与摄像头平面平行的基准平面。

2.根据权利要求1所述的文字图像校正的方法，其特征在于，接收所述发射信息的反射信息获得视场内的景物信息，同时获取所述视场内的文字图像。

3.根据权利要求1所述的方法，其特征在于，所述根据所述景物信息，以校正平面为基准对所述文字图像进行畸变校正，包括：

根据所述景物信息，计算文字图像的畸变参数；

根据所述文字图像的畸变参数，以校正平面为基准对所述文字图像进行畸变校正。

4.根据权利要求3所述的文字图像校正的方法，其特征在于，根据所述景物信息，计算文字图像的畸变参数，包括以下步骤：

对所述视场进行区域划分；

获取所述区域对应的景物信息；

计算所述区域对应的景物的畸变参数。

5.根据权利要求4所述的文字图像校正的方法，其特征在于，计算所述区域对应的景物的畸变参数，包括：

根据所述视场内的景物的深度信息和/或所述视场内的景物的相对位置信息，确定所述视场内的景物对应区域与校正平面的对应关系；

其中，所述视场内的景物对应区域与校正平面的对应关系，是指所述视场内的景物对应区域中的点在区域中和校正平面中的位置对应关系。

6.根据权利要求5所述的文字图像校正的方法，其特征在于，确定所述视场内的景物对应区域与校正平面的对应关系，包括：

当获得所述区域对应的景物的深度信息时，计算所述视场每一个区域对应的校正平面；

对所述每一个区域对应的校正平面进行等比例缩小或放大，和/或对所述每一个区域对应的校正平面依据深度信息进行缩小或放大；

将所述每一个区域对应的校正平面进行拼接，得到所述视场内的景物对应区域与校正平面的对应关系。

7.根据权利要求6所述的文字图像校正的方法，其特征在于，计算所述视场每一个区域对应的校正平面，包括：

在所述视场每一个区域中，以所对应的景物的深度差最小的一组相邻点的位置，作为所述视场每一个区域的校正平面的位置；

根据已经确定的所述区域的校正平面的位置，计算所述区域内其他点在所述区域的校正平面的位置。

8.根据权利要求7所述的文字图像校正的方法，其特征在于，计算所述区域内其他点在所述区域的校正平面的位置，包括：

以摄像头作为观察点A，已经确定的所述区域的校正平面的位置为点B，点B的深度信息为距离BA，校正平面为垂直于线段AB且穿过点B的平面；

计算所述区域内其他点O在所述区域的校正平面的位置O’，其中，点O’在校正平面的位置同时满足以下条件：

O’和O与已经确定位置的点的距离相等；

O O’的距离最小。

9.根据权利要求5所述的文字图像校正的方法，其特征在于，确定所述视场内的景物对应区域与校正平面的对应关系，包括：

当获得所述区域对应的景物的相对位置信息时，计算区域边界点的位置；

根据设备分辨率和所述区域边界点之间的夹角，计算所述区域边界点与摄像头的距离，以所述区域边界点与摄像头的平均距离作为校正平面的位置；

根据所述设备分辨率、所述区域边界点的位置，得到所述区域边界点在校正平面的位置；

根据所述区域边界点在校正平面的位置，确定所述视场内的景物对应区域与校正平面的对应关系。

10.根据权利要求5至9任意之一所述的文字图像校正的方法，其特征在于，根据所述文字图像的畸变参数，对所述文字图像进行畸变校正，包括：

对对应位置的所述文字图像，根据所述视场内的景物对应区域与校正平面的对应关系进行校正。

11.根据权利要求10所述的文字图像校正的方法，其特征在于，还包括：对校正后的所述文字图像进行平滑处理。

12.一种文字图像校正的装置，其特征在于，包括收发模块，计算模块和校正模块，

所述收发模块，用于发射信息，并接收所述发射信息的反射信息获得视场内的景物信息，以及获取所述视场内的文字图像；

所述校正模块，用于根据所述景物信息，以校正平面为基准对所述文字图像进行畸变校正；

其中，所述景物信息包括所述视场内的景物的深度信息和/或所述视场内的景物的相对位置信息，所述校正平面是根据所述视场内的景物的深度信息和/或所述视场内的景物的相对位置信息确定的、与摄像头平面平行的基准平面。

13.根据权利要求12所述的文字图像校正的装置，其特征在于，所述收发模块进一步用于接收所述发射信息的反射信息获得视场内的景物信息，同时获取所述视场内的文字图像。

14.根据权利要求12所述的文字图像校正的装置，其特征在于，还包括：

计算模块，用于根据所述景物信息，计算文字图像的畸变参数；

所述校正模块，具体用于根据所述畸变参数，以校正平面为基准对所述文字图像进行畸变校正。

15.根据权利要求14所述的文字图像校正的装置，其特征在于，所述计算模块根据所述景物信息，计算文字图像的畸变参数，包括：

所述计算模块进一步用于对所述视场进行区域划分；

所述计算模块进一步用于获取所述区域对应的景物信息；

所述计算模块进一步用于计算所述区域对应的景物的畸变参数。

16.根据权利要求15所述的文字图像校正的装置，其特征在于，所述计算模块进一步用于计算所述区域对应的景物的畸变参数，包括：

所述计算模块进一步用于根据所述视场内的景物的深度信息和/或所述视场内的景物的相对位置信息，确定所述视场内的景物对应区域与校正平面的对应关系；

其中，所述校正平面是根据所述视场内的景物的深度信息和/或所述视场内的景物的相对位置信息确定的、与摄像头平面平行的基准平面；所述视场内的景物对应区域与校正平面的对应关系，是指所述视场内的景物对应区域中的点在区域中和校正平面中的位置对应关系。

17.根据权利要求16所述的文字图像校正的装置，其特征在于，所述计算模块进一步用于确定所述视场内的景物对应区域与校正平面的对应关系，包括：

当获得所述区域对应的景物的深度信息时，所述计算模块进一步用于计算所述视场每一个区域对应的校正平面；

所述计算模块进一步用于对所述每一个区域对应的校正平面进行等比例缩小或放大，和/或对所述每一个区域对应的校正平面依据深度信息进行缩小或放大；

所述计算模块进一步用于将所述每一个区域对应的校正平面进行拼接，得到所述视场内的景物对应区域与校正平面的对应关系。

18.根据权利要求17所述的文字图像校正的装置，其特征在于，所述计算模块进一步用于计算所述视场每一个区域对应的校正平面，包括：

所述计算模块进一步用于在所述视场每一个区域中，以所对应的景物的深度差最小的一组相邻点的位置，作为所述视场每一个区域的校正平面的位置；

所述计算模块进一步用于根据已经确定的所述区域的校正平面的位置，计算所述区域内其他点在所述区域的校正平面的位置。

19.根据权利要求18所述的文字图像校正的装置，其特征在于，所述计算模块进一步用于计算所述区域内其他点在所述区域的校正平面的位置，包括：

所述计算模块进一步用于以摄像头作为观察点A，已经确定的所述区域的校正平面的位置为点B，点B的深度信息为距离BA，校正平面为垂直于线段AB且穿过点B的平面；

所述计算模块进一步用于计算所述区域内其他点O在所述区域的校正平面的位置O’，其中，点O’在校正平面的位置同时满足以下条件：

O’和O与已经确定位置的点的距离相等；

O O’的距离最小。

20.根据权利要求16所述的文字图像校正的装置，其特征在于，所述计算模块进一步用于确定所述视场内的景物对应区域与校正平面的对应关系，包括：

所述计算模块进一步用于当获得所述区域对应的景物的相对位置信息时，计算区域边界点的位置；

所述计算模块进一步用于根据设备分辨率和所述区域边界点之间的夹角，计算所述区域边界点与摄像头的距离，以所述区域边界点与摄像头的平均距离作为校正平面的位置；

所述计算模块进一步用于根据所述设备分辨率、所述区域边界点的位置，得到所述区域边界点在校正平面的位置；

所述计算模块进一步用于根据所述区域边界点在校正平面的位置，确定所述视场内的景物对应区域与校正平面的对应关系。

21.根据权利要求16至20任意之一所述的文字图像校正的装置，其特征在于，所述校正模块根据所述文字图像的畸变参数，对所述文字图像进行畸变校正，包括：

所述校正模块用于对对应位置的所述文字图像，根据所述视场内的景物对应区域与校正平面的对应关系进行校正。

22.根据权利要求21所述的文字图像校正的装置，其特征在于，所述校正模块进一步用于对校正后的所述文字图像进行平滑处理。

23.一种文字识别设备，其特征在于，包括：校正装置和识别装置，

所述校正装置，为根据权利要求12至22中任一项所述的文字图像校正的装置，用于对文字图像进行校正；

所述识别装置，用于对校正后的所述文字图像进行OCR光学字符识别。

24.一种电子设备，其特征在于，所述电子设备包括处理器和存储器：

所述存储器，用于存储机器可读指令；

所述处理器，用于在执行所述机器可读指令时，执行权利要求1至11中任一项所述的方法。

25.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机指令，所述计算机指令被处理器执行时实现权利要求1至11中任一项所述的方法。

Images