CN111127339B - 一种文档图像的梯形畸变矫正方法及装置 - Google Patents
一种文档图像的梯形畸变矫正方法及装置 Download PDFInfo
- Publication number
- CN111127339B CN111127339B CN201911229389.6A CN201911229389A CN111127339B CN 111127339 B CN111127339 B CN 111127339B CN 201911229389 A CN201911229389 A CN 201911229389A CN 111127339 B CN111127339 B CN 111127339B
- Authority
- CN
- China
- Prior art keywords
- document image
- line
- curve
- lines
- contour line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 238000012937 correction Methods 0.000 claims abstract description 22
- 230000009466 transformation Effects 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012805 post-processing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000008030 elimination Effects 0.000 claims description 5
- 238000003379 elimination reaction Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 10
- 239000011159 matrix material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/413—Classification of content, e.g. text, photographs or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种文档图像的梯形畸变矫正方法及装置，通过对文档图像预处理后，对文档图像进行分类得到文本类、表格类或图形类，针对不同的类型分别采用不同的方法获取其文档内容的上下左右四个轮廓线，并通过轮廓线的四个交点完成透视变换，最后对透视变换后的文档图像的四个边附近的背景像素值进行扩充边缘的填充，消除透视变换后黑边填充的突兀效果。本发明针对不同文档类型图像，采用不同的内容轮廓线检测和边缘点检测方法，能有效检测到文档图像的内容轮廓和边界点，提高透视变换的效果，可以更好的提高文档图像的畸变矫正效果。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种文档图像的梯形畸变矫正方法及装置。
背景技术
随着计算机技术的不断发展，电子版文档凭借其易于便于存储和查找、传播快捷简便等优势，被越来越多的人们所接受。在纸质文档转化为电子文档的过程中，需要借助于扫描仪、相机、智能手机等工具进行拍摄或扫描，在拍摄或扫描的过程中，不可避免的会出现扫描后的文档图像扭曲变形等问题，不利于后续的阅读、文字提取等一系列的后续操作。
中国专利申请公开号为CN1582459A，发明名称为“矫正梯形畸变的系统及方法”，其技术方案主要先获取投影参数，然后确定投影区域和适合于所述投影区域内部的最佳可视矩形区域，通过一个与存在于最佳可视矩形区域的顶点和投影区域的对应顶点之间的变换对应的畸变变换，特征化由投影引起的畸变。最后，翻转所述畸变变换并将其应用于输入图像，以获得无畸变的投影图像。该对比文件利用投影参数和设备来找到对应的转换顶点，对于没有设备信息的图像来说，这比较难以实现。
中国专利申请公开号为CN102522058A，发明名称为“基于显示的四点定位校正畸形的算法”，利用定位设备的显示系统中设定的四个定位点坐标，计算显示与所述四个定位点匹配映射的四个显示点时，对应的X轴和Y轴坐标是通过加入了相应的变形补偿量计算得到的。该对比文件对于不同种类的文档难以适用，如表格类与图形类文档效果不好，文档内容的定位点的计算也有一定的不准确等。
基于以上，现有的边线发现方法往往不能精确地发现文档内容的边界，因而找不到最能体现文档内容的4个边界点(左上边界点、右上边界点、左下边界点、右下边界点)，梯形畸变矫正效果不理想。
发明内容
有鉴于此，为了解决现有技术的问题，本发明提供一种文档图像的梯形畸变矫正方法及装置，基于文档内容的轮廓外的直线边的发现方法，通过相似曲线的拟合方法，可以发现最能体现文档内容方向的四条边线(上边线、下边线、左边线、右边线)，然后利用四条边的交点组成文档内容的轮廓外的四个点，通过透视变化，完成文档图像的梯形畸变矫正，可以明显提高文档梯形矫正的效果。
第一方面，本发明提供一种文档图像的梯形畸变矫正方法，包括以下步骤：
步骤S1、获取文档图像；
步骤S2、对文档图像做预处理；
步骤S3、将预处理后的文档图像分为文本类、表格类或图形类；
步骤S4、对不同类型的文档图像，采用不同的检测方法检测其内容的上下左右四个轮廓线；
步骤S5、对检测到的四个轮廓线进行交点计算，得到文档图像的内容的左上、右上、左下、右下四个边缘点；
步骤S6、以四个边缘点为远点，以新页面的四个端点为目标点，利用透视变换，完成梯形畸变的矫正。
进一步的，所述的文档图像的梯形畸变矫正方法还包括后处理的步骤：对矫正后的文档图像，每个边缘均采用背景采样的方法，取得邻近背景色，填充变换后的边缘。
进一步的，所述的预处理包括但不限于直方图均衡化、噪点过滤、黑边去除和背景消除。
进一步的，所述的步骤S3具体包括：
步骤S301、先利用文字检测模块，检测文档图像中所有文字行，如果文字行的个数超过设定的第一阈值，则判定该文档图像为文字类文档图像，否则转至步骤S302；
步骤S302、再利用表格检测模块，检测文档图像中所有横向和纵向表格线，如果横向和纵向的表格线个数之和超过第二阈值，则判定该文档图像为表格类文档图像；否则判定为图形类文档图像。
进一步的，所述的第一阈值和第二阈值为10。
进一步的，所述的步骤S4中，对文字类文档图像的内容轮廓线的检测方法包括：
步骤S401、首先查找所有文本行和列，计算得到每一行与每一列的首字位置和末尾字位置；
步骤S402、对于查找到的n行文字，连接任意两个行首字，连接任意两个行末尾字，分别形成n*(n-1)/2根竖直线，利用曲线相似度算法，分别完成行首字竖直线的相似曲线的拟合和行末尾字竖直线的相似曲线的拟合，用拟合的行首字曲线和行末尾字曲线分别作为纵向的左轮廓线和右轮廓线；
步骤S403、对于查找到的m列文字，连接任意两个列首字，连接任意两个列末尾字，分别形成m*(m-1)/2根横直线，利用曲线相似度算法，分别完成列首字横直线的相似曲线的拟合和列末尾字横直线的相似曲线的拟合，用拟合的列首字曲线和列末尾字曲线分别作为横向的上轮廓线和下轮廓线。
进一步的，所述的步骤S4中，对表格类文档图像的内容轮廓线的检测方法包括：
步骤S411、首先查找所有表格行和表格列；
步骤S412、对于查找到的n个表格行，利用曲线相似度算法，完成相似曲线的拟合，用拟合曲线代表上轮廓线和下轮廓线的方向，然后分别上移和下移到第一行与最后一行的位置，得到上轮廓线和下轮廓线；
步骤S413、对于查找到的m个表格列，利用曲线相似度算法，完成相似曲线的拟合，用拟合曲线代表左轮廓线和右轮廓线的方向，然后分别向左右两侧平移到最左侧与最右侧，得到左轮廓线和右轮廓线。
进一步的，所述的步骤S4中，对图形类文档图像的内容轮廓线的检测方法包括：
步骤S421、利用直方图投影，分别向水平和垂直方向投影，得到对应的行数和列数；
步骤S422、对于垂直方向的直方图，找到每一行的最左端点，将任意两行的最左端点连成直线，利用曲线相似度算法，完成相似曲线的拟合，得到拟合后的左轮廓线；找到每一行的最右端点，将任意两行的最右端点连成直线，利用曲线相似度算法，完成相似曲线的拟合，得到拟合后的右轮廓线；
步骤S423、对水平方向的直方图，找到每一列的最上端点，将任意两列的最上端点连成直线，利用曲线相似度算法，完成相似曲线的拟合，得到拟合后的上轮廓线；找到每一列的最下端点，将任意两列的最下端点连成直线，利曲线相似度算法，完成相似曲线的拟合，得到拟合后的下轮廓线。
第二方面，本发明提供一种文档图像的梯形畸变矫正装置，包括获取模块、分类模块、轮廓线检测模块、边缘点计算模块和矫正模块；
获取模块：用于获取文档图像，并将文档图像进行直方图均衡化、噪点过滤、黑边去除、背景消除预处理操作后传输给分类模块；
分类模块：用于将预处理后的文档图像分为文本类、表格类或图形类后传输给轮廓线检测模块；
轮廓线检测模块：对不同类型的文档图像，采用不同的检测方法检测其内容的轮廓线；
边缘点计算模块：根据检测到的轮廓线，计算得到文档图像的四个边缘点；
矫正模块：完成梯形畸变的矫正。
进一步的，所述的文档图像的梯形畸变矫正装置还包括后处理模块，对完成矫正的图像边缘，采用背景采样的方法，取得邻近背景色，填充变换后的边缘。
进一步的，所述的分类模块包括文字检测模块和表格检测模块，文字检测模块用于检测文档图像是否为文字类文档图像；表格检测模块用于检测文档图像是否为图形类文档图像。
本发明针对不同文档类型图像，采用不同的内容轮廓线检测和边缘点检测方法，能有效检测到文档图像的内容轮廓和边界点，提高透视变换的效果，可以更好的提高文档图像的畸变矫正效果。
附图说明
图1为本发明的文档图像的梯形畸变矫正方法流程示意图；
图2为本发明的文档图像的梯形畸变矫正装置结构示意图。
具体实施例
下面结合附图对本公开实施例进行详细描述。
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
实施例一
本实施例提供文档图像的梯形畸变矫正方法，通过对文档图像预处理后，对文档图像进行分类得到文本类、表格类和图形类三类文档，分别采用不同的方法获取其文档内容的上下左右四个轮廓线，并通过轮廓线的4个交点完成透视变换，最后对透视变换后的图像的四个边附近的背景像素值进行扩充边缘的填充，消除透视变换后黑边填充的突兀效果。具体如图1所示，具体步骤如下：
步骤S1、获取文档图像；
步骤S2、对文档图像做预处理；
所述的预处理包括但不限于直方图均衡化、噪点过滤、黑边去除、背景消除等预处理，消除对后期文档内容的四个轮廓边发现的影响，提高文档内容的四个边缘点的准确性。
步骤S3、对文档图像进行分类；
分类类别包括文本类、表格类、图形类三类，具体的分类方法如下：
步骤S301、先利用文字检测模块，检测文档图像中所有文字行，如果文字行的个数超过设定的第一阈值，则判定该文档图像为文字类文档图像，否则转至步骤S302；第一阈值默认为10，可根据实际情况设定为其他数值；
步骤S302、再利用表格检测模块，检测文档图像中所有横向和纵向表格线，如果横向和纵向的表格线个数之和超过第二阈值，则判定该文档图像为表格类文档图像；否则判定为图形类文档图像；第二阈值默认为10，可根据实际情况设定为其他数值。
步骤S4、对不同类型的文档图像，采用不同的检测方法检测其内容轮廓线，如下：
对文字类文档图像的内容轮廓线的检测方法包括：
步骤S401、首先查找所有文本行和列，计算得到每一行与每一列的首字位置和末尾字位置；
步骤S402、对于查找到的n行文字，连接任意两个行首字，连接任意两个行末尾字，分别形成n*(n-1)/2根竖直线，利用曲线相似度算法，分别完成行首字竖直线的相似曲线的拟合和行末尾字竖直线的相似曲线的拟合，用拟合的行首字曲线和行末尾字曲线分别作为纵向的左轮廓线和右轮廓线；
步骤S403、对于查找到的m列文字，连接任意两个列首字，连接任意两个列末尾字，分别形成m*(m-1)/2根横直线，利用曲线相似度算法，分别完成列首字横直线的相似曲线的拟合和列末尾字横直线的相似曲线的拟合，用拟合的列首字曲线和列末尾字曲线分别作为横向的上轮廓线和下轮廓线。
对表格类文档图像的内容轮廓线的检测方法包括：
步骤S411、首先查找所有表格行和表格列；
步骤S412、对于查找到的n个表格行，利用曲线相似度算法，完成相似曲线的拟合，用拟合曲线代表上轮廓线和下轮廓线的方向，然后分别上移与下移到第一行与最后一行的位置，得到上轮廓线和下轮廓线；
步骤S413、对于查找到的m个表格列，利用曲线相似度算法，完成相似曲线的拟合，用拟合曲线代表左轮廓线和右轮廓线的方向，然后分别向左右两侧平移到最左侧与最右侧，得到左轮廓线和右轮廓线。
对图形类文档图像的内容轮廓线的检测方法包括：
步骤S421、利用直方图投影，分别向水平和垂直方向投影，能够得到对应的行数和列数；
步骤S422、对于垂直方向的直方图，找到每一行的最左端点，将任意两行的最左端点连成直线，利用曲线相似度算法，完成相似曲线的拟合，得到拟合后的左轮廓线；找到每一行的最右端点，将任意两行的最右端点连成直线，利用曲线相似度算法，完成相似曲线的拟合，得到拟合后的右轮廓线；
步骤S423、对水平方向的直方图，找到每一列的最上端点，将任意两列的最上端点连成直线，利用曲线相似度算法，完成相似曲线的拟合，得到拟合后的上轮廓线；找到每一列的最下端点，将任意两列的最下端点连成直线，利曲线相似度算法，完成相似曲线的拟合，得到拟合后的下轮廓线。
步骤S5、对检测到的4个轮廓线进行交点计算，得到文档内容的左上、右上、左下、右下四个边缘点。
步骤S6、以文档内容的四个边缘点为远点，以新页面四个端点为目标点，利用透视变换，完成梯形畸变的矫正。新页面宽度不变，高度变成原来的2倍。
步骤S601、以检测到的文档内容的四个边缘点左边，计算得到这个文字块的高度h与宽度w；
步骤S602、以原文档内容的左上点(x，y)为基准，对应为变换后文档的左上点，然后再根据高度h和宽度w，计算得到变换后文档的新边缘点分别为右上点(x+w，y)、右下点(x+w，y+h)、左下点(x，y+h)；
步骤S603、根据文档内容的原四个边缘点(标记为src)，以及变换后文档的四个边缘点(标记为dst)，通过opencv提供的方法A＝cv2.getPerspectiveTransform(src,dst)，可以得到变换矩阵A；
步骤S604、通过变换矩阵A以及opencv提供的warpPerspective方法，就可以计算得到原图img(大小为img_size)对应的变换文档wrap中的所有对应点的坐标，即为warp＝cv2.warpPerspective(img,A,img_size,flags＝cv2.INTER_LINEAR)，其中flags标记了插值拟合的方式为INTER_LINEAR。
优选的，还包括步骤S7、对矫正后的图像，每个边缘均采用背景采样的方法，取得邻近背景色，填充变换后的边缘，消除变换后黑边的情况。
实施例二
本实施例提供一种文档图像的梯形畸变矫正装置，如图2所示，包括获取模块、分类模块、轮廓线检测模块、边缘点计算模块、矫正模块。
获取模块：用于获取文档图像，并将文档图像进行直方图均衡化、噪点过滤、黑边去除、背景消除等预处理操作后传输给分类模块。
分类模块：用于将预处理后的文档图像分为文本类、表格类或图形类后传输给轮廓线检测模块。
所述分类模块包括文字检测模块和表格检测模块，文字检测模块用于检测文档图像是否为文字类文档图像，首先检测文档图像中所有文字行，如果文字行的个数超过设定的第一阈值，则认为该文档图像为文字类文档图像，否则由表格检测模块执行检测操作。
文字检测模块由调用CTPN(Connectionist Text Proposal Network)开源包[Z.Tian，2016]，所提供的函数demo.py完成，CTPN包括检测小尺度文本框、循环连接文本框和文本行边细化三部分，使用VGG16作为基础网络提取特征，然后使用滑动窗口的方式对特征图进行特征向量提取，再把特征输入到一个双向的LSTM中，得到长度为W×256的输出，最后接一个512的全连接层，进行结果输出。输出结果包括矩形框的2k个坐标值以及对应的2k个打分score。
表格检测模块用于检测文档图像是否为图形类文档图像，首先检测文档图像中所有横向和纵向表格线，如果横向和纵向的表格线个数之和超过第二阈值，则判定该文档图像为表格类文档图像，否则判定为图形类文档图像。
表格检测主要是发现那些有很多的表格，而文字却很少的文档，利用了开源的包TableBank[Li,Minghao，2019]，表格检测旨在使用文档中的边框来定位表格。给定图像格式的文档页面，将生成几个边界框，这些边界框表示表在此页面中的位置。表格结构识别旨在识别表格的行和列布局结构。TableBank使用开源框架Detectron[Girshick et al.，2018]在TableBank上训练模型。Detectron是用于对象检测研究的高质量和高性能代码库，它支持许多最新算法。使用具有ResNeXt[Xie et al.，2016]的Faster R-CNN算法作为骨干网络架构，其中参数在ImageNet数据集上进行了预训练。使用4个P100NVIDIA GPU使用数据并行同步SGD训练所有基准。
上述第一阈值和第二阈值默认为10，可根据实际情况设定为其他数值。
轮廓线检测模块：对不同类型的文档图像，采用不同的检测方法检测其内容轮廓线。
边缘点计算模块：根据检测到的轮廓线，计算得到文档图像的四个边缘点。
矫正模块：用于完成梯形畸变的矫正。
优选的，还包括后处理模块：对完成矫正的图像边缘，采用背景采样的方法，取得邻近背景色，填充变换后的边缘，消除变换后黑边的情况。
以上仅为说明本发明的实施方式，并不用于限制本发明，对于本领域的技术人员来说，凡在本发明的精神和原则之内，不经过创造性劳动所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种文档图像的梯形畸变矫正方法，其特征在于，包括以下步骤：
步骤S1、获取文档图像；
步骤S2、对文档图像做预处理；
步骤S3、将预处理后的文档图像分为文本类、表格类或图形类；
步骤S4、对不同类型的文档图像，采用不同的检测方法检测其内容的上下左右四个轮廓线；
步骤S5、对检测到的四个轮廓线进行交点计算，得到文档图像的内容的左上、右上、左下、右下四个边缘点；
步骤S6、以四个边缘点为远点，以新页面的四个端点为目标点，利用透视变换，完成梯形畸变的矫正；
将预处理后的文档图像分类的方法包括：
步骤S301、先利用文字检测模块，检测文档图像中所有文字行，如果文字行的个数超过设定的第一阈值，则判定该文档图像为文字类文档图像，否则转至步骤S302；
步骤S302、再利用表格检测模块，检测文档图像中所有横向和纵向表格线，如果横向和纵向的表格线个数之和超过第二阈值，则判定该文档图像为表格类文档图像；否则判定为图形类文档图像。
2.根据权利要求1所述的一种文档图像的梯形畸变矫正方法，其特征在于，还包括后处理的步骤：对矫正后的文档图像，每个边缘均采用背景采样的方法，取得邻近背景色，填充变换后的边缘。
3.根据权利要求1或2所述的一种文档图像的梯形畸变矫正方法，其特征在于，所述的预处理包括但不限于直方图均衡化、噪点过滤、黑边去除和背景消除。
4.根据权利要求1所述的一种文档图像的梯形畸变矫正方法，其特征在于，所述的第一阈值和第二阈值为10。
5.根据权利要求1或2所述的一种文档图像的梯形畸变矫正方法，其特征在于，所述的步骤S4中，对文字类文档图像的内容轮廓线的检测方法包括：
步骤S401、首先查找所有文本行和列，计算得到每一行与每一列的首字位置和末尾字位置；
步骤S402、对于查找到的n行文字，连接任意两个行首字，连接任意两个行末尾字，分别形成n*(n-1)/2根竖直线，利用曲线相似度算法，分别完成行首字竖直线的相似曲线的拟合和行末尾字竖直线的相似曲线的拟合，用拟合的行首字曲线和行末尾字曲线分别作为纵向的左轮廓线和右轮廓线；
步骤S403、对于查找到的m列文字，连接任意两个列首字，连接任意两个列末尾字，分别形成m*(m-1)/2根横直线，利用曲线相似度算法，分别完成列首字横直线的相似曲线的拟合和列末尾字横直线的相似曲线的拟合，用拟合的列首字曲线和列末尾字曲线分别作为横向的上轮廓线和下轮廓线。
6.根据权利要求1或2所述的一种文档图像的梯形畸变矫正方法，其特征在于，所述的步骤S4中，对表格类文档图像的内容轮廓线的检测方法包括：
步骤S411、首先查找所有表格行和表格列；
步骤S412、对于查找到的n个表格行，利用曲线相似度算法，完成相似曲线的拟合，用拟合曲线代表上轮廓线和下轮廓线的方向，然后分别上移和下移到第一行与最后一行的位置，得到上轮廓线和下轮廓线；
步骤S413、对于查找到的m个表格列，利用曲线相似度算法，完成相似曲线的拟合，用拟合曲线代表左轮廓线和右轮廓线的方向，然后分别向左右两侧平移到最左侧与最右侧，得到左轮廓线和右轮廓线。
7.根据权利要求1或2所述的一种文档图像的梯形畸变矫正方法，其特征在于，所述的步骤S4中，对图形类文档图像的内容轮廓线的检测方法包括：
步骤S421、利用直方图投影，分别向水平和垂直方向投影，得到对应的行数和列数；
步骤S422、对于垂直方向的直方图，找到每一行的最左端点，将任意两行的最左端点连成直线，利用曲线相似度算法，完成相似曲线的拟合，得到拟合后的左轮廓线；找到每一行的最右端点，将任意两行的最右端点连成直线，利用曲线相似度算法，完成相似曲线的拟合，得到拟合后的右轮廓线；
步骤S423、对水平方向的直方图，找到每一列的最上端点，将任意两列的最上端点连成直线，利用曲线相似度算法，完成相似曲线的拟合，得到拟合后的上轮廓线；找到每一列的最下端点，将任意两列的最下端点连成直线，利曲线相似度算法，完成相似曲线的拟合，得到拟合后的下轮廓线。
8.一种文档图像的梯形畸变矫正装置，其特征在于，包括获取模块、分类模块、轮廓线检测模块、边缘点计算模块和矫正模块；
获取模块：用于获取文档图像，并将文档图像进行直方图均衡化、噪点过滤、黑边去除、背景消除预处理操作后传输给分类模块；
分类模块：用于将预处理后的文档图像分为文本类、表格类或图形类后传输给轮廓线检测模块；
轮廓线检测模块：对不同类型的文档图像，采用不同的检测方法检测其内容的轮廓线；
边缘点计算模块：根据检测到的轮廓线，计算得到文档图像的四个边缘点；
矫正模块：完成梯形畸变的矫正；
所述的分类模块包括文字检测模块和表格检测模块，首先由文字检测模块检测文档图像中所有文字行，如果文字行的个数超过设定的第一阈值，则认为该文档图像为文字类文档图像，否则由表格检测模块检测文档图像中所有横向和纵向表格线，如果横向和纵向的表格线个数之和超过第二阈值，则判定该文档图像为表格类文档图像，否则判定为图形类文档图像。
9.根据权利要求8所述的一种文档图像的梯形畸变矫正装置，其特征在于，还包括后处理模块，对完成矫正的图像边缘，采用背景采样的方法，取得邻近背景色，填充变换后的边缘。
10.根据权利要求8或9所述的一种文档图像的梯形畸变矫正装置，其特征在于，所述的文字检测模块用于检测文档图像是否为文字类文档图像；表格检测模块用于检测文档图像是否为图形类文档图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911229389.6A CN111127339B (zh) | 2019-12-04 | 2019-12-04 | 一种文档图像的梯形畸变矫正方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911229389.6A CN111127339B (zh) | 2019-12-04 | 2019-12-04 | 一种文档图像的梯形畸变矫正方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111127339A CN111127339A (zh) | 2020-05-08 |
| CN111127339B true CN111127339B (zh) | 2020-10-30 |
Family
ID=70497477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911229389.6A Active CN111127339B (zh) | 2019-12-04 | 2019-12-04 | 一种文档图像的梯形畸变矫正方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111127339B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112183322B (zh) * | 2020-09-27 | 2022-07-19 | 成都数之联科技股份有限公司 | 一种任意形状的文本检测和矫正方法 |
| CN112215192B (zh) * | 2020-10-22 | 2024-01-23 | 常州大学 | 一种基于机器视觉技术的快速录入试卷成绩的方法 |
| CN112801088B (zh) * | 2020-12-31 | 2024-05-31 | 科大讯飞股份有限公司 | 一种扭曲文本行图像矫正的方法和相关装置 |
| CN114419647A (zh) * | 2021-12-31 | 2022-04-29 | 北京译图智讯科技有限公司 | 一种表格信息提取方法及系统 |
| CN114155546B (zh) * | 2022-02-07 | 2022-05-20 | 北京世纪好未来教育科技有限公司 | 一种图像矫正方法、装置、电子设备和存储介质 |
| CN115063279B (zh) * | 2022-03-25 | 2023-03-14 | 北京国隐科技有限公司 | 一种文本水印图像的预处理方法和装置 |
| CN115409980B (zh) * | 2022-09-02 | 2023-12-22 | 重庆众仁科技有限公司 | 畸变图像的矫正方法及系统 |
| CN115471846B (zh) * | 2022-09-22 | 2023-06-27 | 中电金信软件有限公司 | 一种图像矫正方法、装置、电子设备及可读存储介质 |
| CN115908201B (zh) * | 2023-01-09 | 2023-11-28 | 武汉凡德智能科技有限公司 | 一种图像畸变的热区快速修正方法及装置 |
| CN117237957A (zh) * | 2023-11-16 | 2023-12-15 | 新视焰医疗科技(杭州)有限公司 | 用于检测文件方向并对倾斜或畸形文件矫正的方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7079265B2 (en) * | 2000-08-30 | 2006-07-18 | Minolta Co., Ltd. | Distortion correction device for correcting imaged object to produce plane image without distortion |
| CN102254171A (zh) * | 2011-07-13 | 2011-11-23 | 北京大学 | 一种基于文本边界的中文文档图像畸变校正方法 |
| CN106156761A (zh) * | 2016-08-10 | 2016-11-23 | 北京交通大学 | 面向移动终端拍摄的图像表格检测与识别方法 |
| CN108446264A (zh) * | 2018-03-26 | 2018-08-24 | 阿博茨德（北京）科技有限公司 | Pdf文档中的表格矢量解析方法及装置 |
| CN109685052A (zh) * | 2018-12-06 | 2019-04-26 | 泰康保险集团股份有限公司 | 文本图像处理方法、装置、电子设备及计算机可读介质 |
| CN110263682A (zh) * | 2019-06-04 | 2019-09-20 | 北京华宇信息技术有限公司 | 基于轮廓提取的表格识别方法和装置、设备及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4661921B2 (ja) * | 2008-08-26 | 2011-03-30 | 富士ゼロックス株式会社 | 文書処理装置およびプログラム |
| CN101840514B (zh) * | 2009-03-19 | 2014-12-31 | 株式会社理光 | 图像对象分类装置及方法 |
| CN104349095B (zh) * | 2013-08-09 | 2017-08-29 | 联想(北京)有限公司 | 一种图像调整方法、装置及电子设备 |
-
2019
- 2019-12-04 CN CN201911229389.6A patent/CN111127339B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7079265B2 (en) * | 2000-08-30 | 2006-07-18 | Minolta Co., Ltd. | Distortion correction device for correcting imaged object to produce plane image without distortion |
| CN102254171A (zh) * | 2011-07-13 | 2011-11-23 | 北京大学 | 一种基于文本边界的中文文档图像畸变校正方法 |
| CN106156761A (zh) * | 2016-08-10 | 2016-11-23 | 北京交通大学 | 面向移动终端拍摄的图像表格检测与识别方法 |
| CN108446264A (zh) * | 2018-03-26 | 2018-08-24 | 阿博茨德（北京）科技有限公司 | Pdf文档中的表格矢量解析方法及装置 |
| CN109685052A (zh) * | 2018-12-06 | 2019-04-26 | 泰康保险集团股份有限公司 | 文本图像处理方法、装置、电子设备及计算机可读介质 |
| CN110263682A (zh) * | 2019-06-04 | 2019-09-20 | 北京华宇信息技术有限公司 | 基于轮廓提取的表格识别方法和装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Perspective Correction Method for Chinese Document Images;Wangbo Zhang，and etc;《International Symposium on Intelligent Information Technology Application Workshops》;20081230;第467-470页 * |
| 基于矩形角点几何变换的畸变图像校正;吴柏雄;《计算机与数字工程》;20091130;第37卷(第11期);第152-154页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111127339A (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111127339B (zh) | 一种文档图像的梯形畸变矫正方法及装置 | |
| CN111814722B (zh) | 一种图像中的表格识别方法、装置、电子设备及存储介质 | |
| CN102790841B (zh) | 书籍的书脊区域中数字图像的检测和校正方法 | |
| US8472726B2 (en) | Document comparison and analysis | |
| JP4952625B2 (ja) | 透視変換歪み発生文書画像補正装置および方法 | |
| AU2012313148B2 (en) | Identification method for valuable file and identification device thereof | |
| JP2930612B2 (ja) | 画像形成装置 | |
| US8472727B2 (en) | Document comparison and analysis for improved OCR | |
| US7697776B2 (en) | Model-based dewarping method and apparatus | |
| CN112183038A (zh) | 一种表格识别套打方法、计算机设备及计算机可读存储介质 | |
| US8787671B2 (en) | Character recognition preprocessing method and apparatus | |
| JP5387193B2 (ja) | 画像処理システム、画像処理装置およびプログラム | |
| CN102737240B (zh) | 分析数字文档图像的方法 | |
| CN111626292B (zh) | 一种基于深度学习技术的楼宇指示标识的文字识别方法 | |
| CN111353961A (zh) | 一种文档曲面校正方法及装置 | |
| CN111145124A (zh) | 一种图像倾斜的校正方法及装置 | |
| CN108052955B (zh) | 一种高精度盲文识别方法及系统 | |
| CN114821620A (zh) | 基于行文本框纵向合并的文本内容提取识别方法 | |
| CN100363940C (zh) | 一种文稿图像几何畸变的校正方法 | |
| CN117496518A (zh) | 基于文本检测和表格检测的电子卷宗图像智能矫正方法 | |
| CN109359652A (zh) | 一种从数码照片中快速自动提取矩形扫描件的方法 | |
| JP2004228759A (ja) | 画像補正方法および画像補正装置 | |
| CN108062548B (zh) | 一种盲文方自适应定位方法及系统 | |
| JP4208520B2 (ja) | 画像処理装置および画像処理方法、プログラムおよび記憶媒体 | |
| KR101766787B1 (ko) | Gpu장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |