CN104239861A - 卷曲文本图像预处理方法和彩票扫描识别方法 - Google Patents

Abstract

本发明涉及卷曲文本图像预处理方法及其彩票扫描识别方法，卷曲文本图像预处理方法包括步骤：灰度拉伸文本图像，增强边缘效果；对灰度拉伸后的文本图像进行二值化；对二值化后的文本图像进行边缘提取；根据提取到的边缘对文本图像进行图形旋转、校正，对弯曲边缘进行拉直校正。而彩票扫描识别方法是在前述卷曲文本图像预处理方法基础上的，对彩票扫描后进行卷曲文本图像预处理，然后再通过OCR引擎识别技术，识别出预处理后的彩票扫描图片的字符信息，进而确定是否中奖等信息。本发明提高了彩票类卷曲文本图像的识别正确率，对同类不理想条件下卷曲文本图像的识别具有借鉴意义。

Description

卷曲文本图像预处理方法和彩票扫描识别方法

技术领域

本发明涉及图像处理技术，具体涉及卷曲文本图像预处理方法，以及基于前述卷曲文本图像预处理方法的彩票扫描识别方法。

背景技术

随着移动互联网的发展以及智能手机的普及，手机的硬件越来越强大，使得通过手机对文本信息载体(如印刷着文字的纸张，宣传手册、彩票、名片等)进行直接拍照、图形图像预处理以及OCR识别载体上的文字成为可能。

目前，对文本信息载体拍照后形成文本图像，然后对文本图像上的文字进行识别的技术，已经得到越来越广泛的应用；比如通过手机扫描名片，识别提取名片上的信息。一般来说，对文本信息载体进行拍摄后得到的文本图像，原本为矩形的文本区域会失真为不规则的四边形或曲四边形；现有技术对文本图像中文本区域进行文字识别之前，均需要对文本区域进行几何失真校正，摄取具有几何失真的文本图像进行区域自动识别或指定，得出文本区域的边界位置，再利用文本图像文字排列的固有矩形区域特性，将失真的文本区域还原为矩形形状的文本区域。

上述这类技术的难点之一是有些文本信息载体本身是弯曲变形的，例如彩票，彩票本身就是呈一定曲率的弯曲纸张；对这类文本信息载体摄像后，文本信息载体本身的曲率与其成像失真造成的曲率叠加后，文本图像中的文本区域将产生曲率更大的失真。对这类文本图像进行预处理时，仅对文本区域进行几何失真校正是远远不够的。

以彩票为代表的这一类文本信息载体，纸张的厚度、硬度及平直度远不如以名片为代表的另一类文本信息载体，因而彩票打印后往往呈一定曲率的卷曲状，还容易褶皱。由于现有文本图像预处理技术具有上述局限性，因此目前对名片类的文本图像信息的识别技术，运用到对彩票类的文本图像信息的识别时，效果并不理想。

发明内容

为了解决现有文本图像预处理技术难以校正卷曲文本图像进而识别出其文本信息的技术问题，本发明提供一种卷曲文本图像预处理方法。

为了解决现有技术文本图像信息识别技术无法对彩票进行识别的技术问题，本发明提供基于上述卷曲文本图像预处理方法的彩票扫描识别方法。

本发明卷曲文本图像预处理方法采用如下技术方案：卷曲文本图像预处理方法，包括以下步骤：

第1步、灰度拉伸文本图像，增强边缘效果；

第2步、对灰度拉伸后的文本图像进行二值化；

第3步、对二值化后的文本图像进行边缘提取；

第4步、根据提取到的边缘对文本图像进行图形旋转、校正，对弯曲边缘进行拉直校正。

优选地，所述第3步进行边缘提取时，通过连通区法、一阶求导或者二阶求导法来寻找文本图像的边缘。

优选地，所述第4步对弯曲边缘进行拉直校正时，先进行弯曲边缘检测，对检测出来的弯曲边缘采用平移或插值平衡方法进行拉直校正。其中，弯曲边缘检测通过边缘提取算法或椭圆拟合方法实现。

优选地，所述卷曲文本图像预处理方法还包括：第5步、根据拉直校正后的边缘进行图像切割，将整个图像切割出来。

优选地，所述卷曲文本图像预处理方法还包括：第6步、划分版面，分割各个区域，通过连通区法或者其他一二阶求导方法找到字符并框定，对字符中的行进行切割。

本发明彩票扫描识别方法采用如下技术方案：彩票扫描识别方法，包括以下步骤：

第一步、采用前述卷曲文本图像预处理方法，对拍照后的彩票图像进行预处理；

第二步、对预处理后的彩票图像中的字符进行OCR引擎识别；

第三步、输出识别信息，若识别不正确，则重新拍照返回第一步或者将预处理后的彩票图像传送到云端进行识别；若识别正确，则将正确识别的彩票信息、图片存储在客户端。

本发明彩票识别的原理如下：通过app或者pc机对彩票进行预览拍照，并进行预处理后进行OCR识别来将彩票的内容识别出来，可生成相应的数据传输到后端云服务进行存储，从而对彩票信息进行管理，同时在开奖之后服务器进行自动通知用户是否中奖等信息；如果彩票在手机端的识别效果不理想，也可以通过将图像上传到云端进行识别以及后续处理。

与现有技术相比，本发明具有如下技术效果：

1、对卷曲文本图像进行了灰度拉伸，以及平移或插值平衡的方式来拉直校正等预处理，提高了文本信息识别准确率，有效降低误识别率，对同类不理想条件下卷曲文本图像(如弯曲、变形及不规范图形中文字内容)的识别具有借鉴意义。

2、设置了云服务器，可对客户端无法正确识别的卷曲文本图像做更综合的识别，进一步提高了识别准确率。

附图说明

图1是本发明实施例中客户端的流程图；

图2是本发明实施例中客户端识别正确时云端的流程图；

图3是本发明实施例中客户端直接上传给云端识别时云端的流程图；

图4是本发明实施例中云端在彩票开奖时通知用户的流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不局限于此。

实施例

本实施例中，卷曲文本图像预处理是将拍摄到的文本图像转换成OCR识别引擎单元能够识别的图像，其过程包括如下步骤：

A、缩放文本图像，由于目前的摄像头像素比较高，通过缩放图像，减少像素，以增加处理速度；灰度化缩放后的文本图像，以提高处理速度。

B、灰度拉伸文本图像，增强边缘效果。

C、对灰度拉伸后的文本图像进行二值化，提高处理速度以及利于后续的边缘提取。

D、对二值化后的文本图像进行边缘提取。通过连通区法、一阶求导或者二阶求导法来寻找文本图像的边缘；例如可以采用robert算子、sobel算子、prewitt算子、kirsch算子、laplacian算子、canny算子、Log(laplacian of gassian)算法或者hough变换中的一种或几种算法来寻找边缘，若采用多种算法则可相互进行修正，获得更好的效果。

E、根据提取到的边缘对文本图像进行图形旋转、校正，对弯曲边缘进行拉直校正。本步骤通过边缘提取算法或椭圆拟合方法进行弯曲边缘检测，对于检测出来的弯曲边缘，进行平移或插值平衡等方法进行拉直校正，以增强后期OCR引擎识别准确度。

F、切割校正后的图像边缘，根据校正后的边缘进行图像切割，将整个图像切割出来。

G、版面分析：划分版面，分割各个区域，通过连通区法或者其他一二阶求导方法找到字符并框定，对图像字符中的行进行切割，通过版面分析与后期的OCR引擎识别联合增强识别率，因为部分版式相应的部分位置为固定字符或者固定信息。

参阅图1，本实施例彩票扫描识别方法首先通过手机内置摄像头或pc机外接摄像头对彩票进行拍摄，实时提供预览功能，同时提供取景框以利于彩票边缘校对，在有条件情况下，摄像头可以启用辅助曝光等。预览时，在相机取景框中有限定取景框定范围，辅助用户进行边缘对齐以及取景拍摄。详细一点来描述，彩票扫描识别方法包括以下步骤：

(s1)在用户取景认为ok的情况下，用户按下拍照键进行拍照，若失败，则弹窗提醒失败。

(s2)拍照完成后对所拍的图片进行灰度化处理。灰度化处理能够提高后续的图像处理速度。

(s3)将灰度化处理后的图片进行灰度拉伸，以便于边缘提取以及字符提取，去除噪点。

(s4)对灰度拉伸后的图片进行二值化处理。

(s5)对二值化之后的图片进行边缘提取。

(s6)根据提取到的边缘进行图片旋转以及弯曲边缘校正，以便于彩票边缘朝更真实的矩形靠近。

(s7)根据校正后的边缘切割校正后的图片，对图像进行缩放以加快处理速度，同时将处理后的图片展示给用户。

(s8)将切割后的图片进行版面分析，根据连通区法或者一二阶导数法框定字符，并分析版面，确定符合那几种彩票种类。

(s9)对框定的字符进行行切割、字符切割。

(s10)将切割后的行或者行中部分对应字符通过OCR引擎进行识别，或者单个字符进行识别。

OCR引擎识别过程中，将彩票中的字符图像转换成标准字符编码，通常是以行为单位进行识别或者以单个字符为单位进行，由于彩票经常是弯曲的，在拍照后边缘弯曲，经过校正后还可能有部分弯曲，字体图形呈现并非标准的，所以OCR引擎还对轻微弯曲字体进行识别，识别内容也会上传给云端进行运算以更新OCR引擎字库特征。

(s11)输出识别信息，显示给用户。

(s12)用户若认为识别不正确，可以选择重新拍照识别，返回s1。

(s13)用户若认为识别不正确，还可以选择直接传送到云端进行识别。

(s14)用户若认为识别正确，则将正确识别的彩票信息、图片存储在客户端。

(s15)将正确识别的彩票信息、图片上传到云端。

本实施例设有云服务器(云端)，用于存储用户各种信息，以及彩票相关信息，进行开奖过关算奖并通知用户，给客户端提供查询，同时也能对一些难以识别的图片直接在云端进行识别处理，同时修正客户端的识别参数等。由于云端的运算能力强，将对边框识别、图像提取、弯曲校正等进行多种参数尝试，同时在云端的样本量大，另外还可以人工辅助识别，最后对各个样本通过统计学进行运算，得到更符合客户端环境的各种参数，下发给客户端进行修正。请参阅图2，用户认为客户端识别正确，上传到云端进行存储，过程如下：

(a1)客户端通过通信接口上传给云端；

(a2)将用户的彩票识别信息在云端存储下来；

(a3)将本次识别过程加入到识别的模型参数运算池里面，进行模型参数运算，为以后对样本进行统计学特征分析进行模型修正提供基础；

(a4)将本次识别的字符放到字符库模型参数运算池中，为以后的修正提供元素。

请参阅图3，若用户认为客户端识别错误，选择直接上传到云端进行识别的过程如下：

(b1)客户端通过通信接口直接将图片上传到云端指定接口；

(b2)将用户信息与图片信息存储下来；

(b3)进行图像预处理，处理过程基本上同客户端预处理过程一致，而云端具有更强的运算能力，在参数测试方面可以多进行几次实验；

在云端识别过程中，首先存储客户端上传的图片并进行图形预处理以及识别，在必要时候可以人工辅助识别。由于客户端以及云端都有识别，在识别之后可以根据统计学相关方法对已经存在的模型进行修正，包括阈值等各种参数的修正；同时将修正后的模型推送(或者通过客户端主动拉取)给客户端，以提高识别率。

由于彩票具有弯曲特性，导致图像提取修正后还是有可能存在轻微弯曲，在OCR引擎识别后可在云端对字库字体进行修正或者将图形填充进字符库，对已经存在的模型进行运算，以提高识别率。

(b4)将预处理后的图片信息通过OCR引擎进行识别；

(b5)存储识别后的信息；

(b6)将识别后的信息返回给通信接口；

(b7)通信接口将信息返回给客户端，展示给用户，由用户确认；

(b8)用户上传确认结果；

(b9)如果用户认为结果正确，则将本次识别过程加入到识别的模型参数运算池里面，进行模型参数运算，为以后对样本进行统计学特征分析进行模型的修正提供基础；

(b10)将本次识别的字符放到字符库模型参数运算池中，为之后的修正提供元素；

(b11)如果用户认为识别错误，进入人工识别，由人工进行判别；

(b12)将(b5)存储的彩票识别信息使用人工识别的结果信息进行替换；

(b13)如果用户认为结果正确将本次识别过程加入到识别的模型参数运算池里面，进行模型参数运算，为之后的修正提供基础，之后继续(b10)。

请参考图4，完成识别后，对彩票信息的后续处理过程如下：

(c1)主动向第三方请求各种彩票开奖情况，也可以跟第三方协商由第三方主动推送；

(c2)对用户识别的彩票进行过关、算奖，标识每一张彩票有没有开奖，有没有中奖，中了什么奖，奖金状况等中奖信息；

(c3)将用户的中奖信息存储到用户彩票相关信息中去；

(c4)将中奖信息推送到通信接口；

(c5)云端通信接口推送消息到客户端通信接口；

(c6)将用户中奖信息进行存储；用户中奖信息包括未中奖的情形；

(c7)通知用户中奖信息；

(c8)客户端也可以主动查询用户中奖信息，防止推送失败，可以是用户主动查询，或者客户端程序根据逻辑设定主动查询，查询回来的结果返回到(c6)继续进行。

上述实施例为本发明的一种实施方式，但本发明的实施方式并不限定与此，从事该领域技术人员在未背离本发明精神和原则下所做的任何修改、替换、改进，均包含在本发明的保护范围内。

Claims (10)

1.卷曲文本图像预处理方法，其特征在于，包括以下步骤：

第1步、灰度拉伸文本图像，增强边缘效果；

第2步、对灰度拉伸后的文本图像进行二值化；

第3步、对二值化后的文本图像进行边缘提取；

第4步、根据提取到的边缘对文本图像进行图形旋转、校正，对弯曲边缘进行拉直校正。

2.根据权利要求1所述的卷曲文本图像预处理方法，其特征在于，所述第3步进行边缘提取时，通过连通区法、一阶求导或者二阶求导法来寻找文本图像的边缘。

3.根据权利要求1所述的卷曲文本图像预处理方法，其特征在于，所述第4步对弯曲边缘进行拉直校正时，先进行弯曲边缘检测，对检测出来的弯曲边缘采用平移或插值平衡方法进行拉直校正。

4.根据权利要求3所述的卷曲文本图像预处理方法，其特征在于，所述弯曲边缘检测通过边缘提取算法或椭圆拟合方法实现。

5.根据权利要求1所述的卷曲文本图像预处理方法，其特征在于，所述卷曲文本图像预处理方法还包括：

第5步、根据拉直校正后的边缘进行图像切割，将整个图像切割出来。

6.根据权利要求5所述的卷曲文本图像预处理方法，其特征在于，所述卷曲文本图像预处理方法还包括：

第6步、划分版面，分割各个区域，通过连通区法或者其他一二阶求导方法找到字符并框定，对字符中的行进行切割。

7.彩票扫描识别方法，其特征在于，包括以下步骤：

第一步、采用权利要求1-6中任一项所述的卷曲文本图像预处理方法，对拍照后的彩票图像进行预处理；

第二步、对预处理后的彩票图像中的字符进行OCR引擎识别；

第三步、输出识别信息，若识别不正确，则重新拍照返回第一步或者将预处理后的彩票图像传送到云端进行识别；若识别正确，则将正确识别的彩票信息、图片存储在客户端。

8.根据权利要求7所述的彩票扫描识别方法，其特征在于，所述彩票扫描识别方法还包括：

第四步、将正确识别的彩票信息、图片上传到云端；将本次识别过程加入到识别的模型参数运算池里面，进行模型参数运算，为以后对样本进行统计学特征分析进行模型修正提供基础；将本次识别的字符放到字符库模型参数运算池中，为以后的修正提供元素。

9.根据权利要求7所述的彩票扫描识别方法，其特征在于，所述OCR引擎识别，将彩票中的字符图像转换成标准字符编码，以行为单位或者以单个字符为单位进行识别。

10.根据权利要求7所述的彩票扫描识别方法，其特征在于，所述OCR引擎识别的字符为弯曲字体。