CN110554991A - 一种文本图片的矫正与管理方法 - Google Patents

Abstract

本发明公开了一种文本图片的矫正与管理方法，涉及文本图片的处理技术领域，其包括以下步骤：S100，用户上传单个或批量的文本图片；S200，对图片进行透视矫正，以输出文本图片的长度和宽度；S300，基于深度学习系统对文本图片进行处理，以提升文本图片的清晰度；S400，对文本图片中的文字进行识别和提取，且将识别和提取结果与对应的文本图片相关联；S500，对处理后的文本图片进行保存和管理，本发明的有益效果是：通过对文本图片进行透视矫正、超分辨率处理等，最终实现精确的文字识别和提取，其结果精确，特别对特文本图片的预先处理步骤，可有效提升文本图片的清晰度，并保证文本图片内字体的清洗，为文本图片的处理提供了指导。

Description

一种文本图片的矫正与管理方法

技术领域

本发明涉及一种文本图片处理方法，具体是一种文本图片的矫正与管理方法。

背景技术

随着信息技术的飞速发展，图片和视频数据量快速增长。对于海量图片或视频帧来说，根据画面中是否包含文本内容，可分类为文本图片和非文本图片。对于文本图片来讲，其包括的文本内容通常携带丰富的信息，是辅助理解和认知图片的重要信息来源，所以文本内容作为一个重要线索在诸如图片搜索、人机交互和盲人辅助系统等场景中被广泛挖掘和应用。而为了从海量的图片或视频帧中挖掘有价值的文本内容，一个大前提便是进行文本图片检测。

目前对于文本图片的处理或识别，大多集中在对识别算法方面的研究，而影响识别或处理结果准确性的关键因素在于文本图片的质量，其清晰度越好，那么文本图片的处理或识别精度就越高，基于此，本申请提出了一种文本图片的矫正与管理方法。

发明内容

本发明的目的在于提供一种文本图片的矫正与管理方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种文本图片的矫正与管理方法，包括以下步骤：

S100，用户上传单个或批量的文本图片；

S200，对图片进行透视矫正，以输出文本图片的长度和宽度；

S300，基于深度学习系统对文本图片进行处理，以提升文本图片的清晰度；

S400，对文本图片中的文字进行识别和提取，且将识别和提取结果与对应的文本图片相关联；

S500，对处理后的文本图片进行保存和管理。

作为本发明进一步的方案：步骤S100中，上传文本图片时可指定经过处理后图片的存储路径及图片名称和格式。

作为本发明进一步的方案：步骤S100中，若上传的文本图片曝光不均匀，则对文本图片进行预先曝光修正，以使文本图片在色相不受影响的前提下，阴影与高光被去除，字体边缘更明显。

作为本发明进一步的方案：所述曝光修正包括以下步骤：

S101，对文本图片进行复制得到文本图片副本；

S102，对文本图片副本进行双边模糊处理，使文本图片副本的亮部和暗部模糊而保持文字边缘图片不变；

S103，根据文本图片副本基色图层的色彩来判定使用正片叠底或滤色对混合色图层的像素进行处理，保留文本图片副本基色图层中大于50%灰度的背景以及大于50%灰度的文字部分的亮度细节，其余混合。

作为本发明再进一步的方案：步骤S200中，透视矫正包括以下步骤：

S201，对文本图片的像素高度进行调整，以加速文本图片的处理速度和提升边缘检测的准确性；

S202，对步骤S201所得文本图片依次进行灰度化、高斯模糊及边缘检测；

S203，基于直线霍夫探测文本图片轮廓，遍历所有闭合轮廓，直至获得最大的闭合轮廓，判定闭合轮廓是否具有四条近似直线的边，若有则认为闭合轮廓为纸张的轮廓；

S204，执行变换，传入图片，应用变换矩阵，输出图片的长度和宽度。

作为本发明再进一步的方案：步骤S203中，若遍历所有闭合轮廓后，所有闭合轮廓均不具有四条近似直线的边，则用户在文本图片上手动标定轮廓顶点。

作为本发明再进一步的方案：步骤S400中，在浏览对应文本图片的缩略图时，该文本图片中的文字可直接被显示；或通过关键字检索时，该识别和提取结果和与之相对应的文本图片可被检索出。

作为本发明再进一步的方案：步骤S400中，在对对文本图片中的文字进行识别和提取时，用户对识别和提取出的文字进行编辑，确认无误后，生成识别和提取结果。

与现有技术相比，本发明的有益效果是：通过对文本图片进行透视矫正、超分辨率处理等，最终实现精确的文字识别和提取，其结果精确，特别对特文本图片的预先处理步骤，可有效提升文本图片的清晰度，并保证文本图片内字体的清洗，为文本图片的处理提供了指导。

附图说明

图1为一种文本图片的矫正与管理方法的流程图。

图2为一种文本图片的矫正与管理方法中曝光修正的流程图。

图3为一种文本图片的矫正与管理方法中透视矫正的流程图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本实施例公开的一些方面相一致的装置和方法的例子。

实施例1

请参阅图1～3，本发明实施例中，一种文本图片的矫正与管理方法，包括以下步骤：

S100，用户上传单个或批量的文本图片，当然，文本图片应当是主体为文字的图片，图片的背景不限，可以为真实物理场景，也可以与文档文件混合难以区别；文本图片可能存在轻微卷曲、折叠、较大幅度的倾斜、光线照射不均匀等；文本图片本身颜色不限，纸张和文字都可能有多种颜色；

此外，在上传文本图片时，可以指定文本图片处理后的存储路径，也可以指定文本图片处理后保存的名称；此外，文本图片可以预先转化为黑白图片或者是按照预先设置的滤镜进行预处理；

S200，对图片进行透视矫正，此处是基于opencv对图片进行透视矫正，以输出文本图片的长度和宽度，为以后的变换提供数据基础，具体的来说：

为了加速文本图片的处理速度，以及使边缘检测更加准确，首先对文本图片的像素高度进行调整，本实施例中，将文本图片的大小调整为500像素的高度；

然后对文本图片依次进行灰度化、高斯模糊以消除噪声、执行Canny边缘检测；

再者基于直线霍夫探测寻找文本图片的轮廓，遍历所有闭合轮廓，直至获得最大的闭合轮廓，判定闭合轮廓是否具有四条近似直线的边，若有则认为闭合轮廓为纸张的轮廓；如无，则用户在文本图片上手动标定轮廓顶点；

之后执行变换：传入图像，应用变换矩阵，输出图像的长度和宽度。

由于闭合轮廓是近似矩形的结构，因而在为其顶点设定坐标后，很容易得到图像的长度和宽度。

S300，基于深度学习系统对文本图片进行处理，此处，深度学习系统为TensorFlow系统，对文本图片进行超分辨率处理，以提升文本图片的清晰度；

此处，由于文本图片在透视矫正后会出现不同程度的模糊现象，或是原图本身就不够清晰，因此进行基于Tensorflow的超分辨率处理，提升图片清晰度，将低分辨率的图像放大2倍或更多，同时保留足够的细节，使放大后的图像不会过于模糊或失真，具体的：

TensorFlow的网络是一个7层的vgg-style网络，这个7层网络更便于调整，效果也更好，网络前几层都仅仅对小尺寸的图片进行处理，将反卷积放在网络最后，以减少计算量；

训练集：大小不一的高分辨率图片，训练模型学习图像的细节纹理，例如不低于1080p的图像，同时排除jpg格式或其他有损压缩格式的图像，有损压缩会引入噪声。

预处理：先将这些文本图片分割，选择随机分割，在原图像中随机截取一定数量的块，最终产生了10万个块作为训练数据。

训练：

（1）色彩保真：loss函数使用均方误差（MSE），在求均方误差时，不同通道的误差乘以了不同的权值，BGR对应的权重分别为0.11448、0.58661、0.29891，这三个值来自彩色图像到灰度图像的转换公式，由于人眼对绿色是最为敏感的，因此G分量的权值最高；这样做能使重建后的图像在颜色上更友好，不会出现偏色。

（2）加入decay能使训练更稳定，防止出现后期训练发散的情况。

最终，利用训练好的TensorFlow模型处理进行透视矫正后的文本图片，保存。

S400，对文本图片中的文字进行识别和提取，且将识别和提取结果与对应的文本图片相关联；

利用Tesseract对文本图片中的文字进行提取，但是前提是要求文本图片中的字体使用一个标准字体（不包含手写体、草书，或者变形扭曲过度的艺术字体），排列整齐，不存在歪斜过度的行，没有超出文本图片的范围，也没有残缺不全或紧紧贴在文本图片边缘的现象；提取后，可对结果进行编辑修改，以保证准确性，确认无误后，生成识别和提取结果；

当在浏览对应文本图片的缩略图时，该文本图片中的文字可直接被显示，使用户可在不打开缩略图的情况下知晓图片内容；或通过关键字检索时，该识别和提取结果和与之相对应的文本图片可被检索出来。

S500，对处理后的文本图片进行保存和管理。

具体的来说，保存和管理可以包含如下操作：

（1）将结果保存在收藏夹/文件夹中，根据文本图片的隐私级别可对收藏夹/文件夹设置密码；

（2）批量选择图片存入收藏夹；

（3）对处理后的文本图片重命名或根据顺序批量命名；

（4）批量处理的处理后的文本图片在指定收藏夹/文件夹下以传入顺序作为页码，用户可根据页码查看图片；

（5）图片在收藏夹/文件夹内有序存放，用户可拖动图片更改顺序。

（6）如发现某张图片矫正有误，则进行调整，手动调整轮廓识别的步骤，以得到正确的图片来替代掉之前矫正有误的图片。

实施例3

请参阅图2，本发明实施例中，一种文本图片的矫正与管理方法，由于实际应用时上传的文本图片可能存在曝光不均匀的问题，影响后期的图片处理和文字识别等，因此在上传文本图片前，对需要处理的文本图片进行预先曝光修正，以使文本图片在色相不受影响的前提下，阴影与高光被去除，字体边缘更明显。

具体的来说，

（1）与文字的边缘差别相比，亮部与暗部的过渡会相对缓慢，针对这一特性，对文本图片进行双边模糊，即仅将纸张亮部和暗部模糊而保持文字边缘不变；

（2）在经过（1）的处理后，大多数纸张的阴影处于小于50%灰度的状态，而高光处于大于50%灰度的状态，因此选择根据基色图层的色彩来决定混合色图层的像素是进行正片叠底还是进行滤色，发生变化的都是中间色调，高色和暗色区域基本保持不变，像素取决于基色图层颜色混合，那么基色图层颜色的大于50%灰度的背景与大于50%灰度的文字部分的亮度细节就会被保留，其余混合。

其计算公式为：基色≤128：结果色=混合色*基色/128；

基色> 128：结果色=255-（255-混合色）* (255-基色)/128。

最终得到的文本图片色相不受影响，阴影与高光被去除，字体边缘更明显。

用户根据需要，还可以调整图片的亮度、对比度、饱和度，并可以将这一步设置的参数保存为自定义的滤镜，用于其他图片的批量处理。

需要特别说明的是，本技术方案中，通过对文本图片进行透视矫正、超分辨率处理等，最终实现精确的文字识别和提取，其结果精确，特别对特文本图片的预先处理步骤，可有效提升文本图片的清晰度，并保证文本图片内字体的清洗，为文本图片的处理提供了指导。

本领域技术人员在考虑说明书及实施例处的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (8)

1.一种文本图片的矫正与管理方法，其特征在于，包括以下步骤：

S100，用户上传单个或批量的文本图片；

S200，对图片进行透视矫正，以输出文本图片的长度和宽度；

S300，基于深度学习系统对文本图片进行处理，以提升文本图片的清晰度；

S400，对文本图片中的文字进行识别和提取，且将识别和提取结果与对应的文本图片相关联；

S500，对处理后的文本图片进行保存和管理。

2.根据权利要求1所述的一种文本图片的矫正与管理方法，其特征在于，步骤S100中，上传文本图片时可指定经过处理后图片的存储路径及图片名称和格式。

3.根据权利要求1所述的一种文本图片的矫正与管理方法，其特征在于，步骤S100中，若上传的文本图片曝光不均匀，则对文本图片进行预先曝光修正，以使文本图片在色相不受影响的前提下，阴影与高光被去除，字体边缘更明显。

4.根据权利要求3所述的一种文本图片的矫正与管理方法，其特征在于，所述曝光修正包括以下步骤：

S101，对文本图片进行复制得到文本图片副本；

S102，对文本图片副本进行双边模糊处理，使文本图片副本的亮部和暗部模糊而保持文字边缘图片不变；

S103，根据文本图片副本基色图层的色彩来判定使用正片叠底或滤色对混合色图层的像素进行处理，保留文本图片副本基色图层中大于50％灰度的背景以及大于50％灰度的文字部分的亮度细节被保留，其余混合。

5.根据权利要求1所述的一种文本图片的矫正与管理方法，其特征在于，步骤S200中，透视矫正包括以下步骤：

S201，对文本图片的像素高度进行调整，以加速文本图片的处理速度和提升边缘检测的准确性；

S202，对步骤S201所得文本图片依次进行灰度化、高斯模糊及边缘检测；

S203，基于直线霍夫探测文本图片轮廓，遍历所有闭合轮廓，直至获得最大的闭合轮廓，判定闭合轮廓是否具有四条近似直线的边，若有则认为闭合轮廓为纸张的轮廓；

S204，执行变换，传入图片，应用变换矩阵，输出图片的长度和宽度。

6.根据权利要求5所述的一种文本图片的矫正与管理方法，其特征在于，步骤S203中，若遍历所有闭合轮廓后，所有闭合轮廓均不具有四条近似直线的边，则用户在文本图片上手动标定轮廓顶点。

7.根据权利要求1所述的一种文本图片的矫正与管理方法，其特征在于，步骤S400中，在浏览对应文本图片的缩略图时，该文本图片中的文字可直接被显示；或通过关键字检索时，该识别和提取结果和与之相对应的文本图片可被检索出。

8.根据权利要求1所述的一种文本图片的矫正与管理方法，其特征在于，步骤S400中，在对对文本图片中的文字进行识别和提取时，用户对识别和提取出的文字进行编辑，确认无误后，生成识别和提取结果。