CN109409366B - 基于角点检测的畸变图像校正方法及装置 - Google Patents

Abstract

本发明涉及图像处理技术领域，针对矩形图像非平拍带来的图像畸变问题，提出了一种基于角点检测的畸变图像校正方法，包括如下步骤：提取待校正图像目标区域的边缘得到边缘图像；根据边缘图像提取候选角点得到候选角点集；过滤候选角点集里的候选角点得到四个目标角点；根据目标角点对待校正图像进行变换得到校正后图像，如此解决非平拍图像带来的图像畸变问题，进而可提高后续OCR识别的准确率，为下游OCR应用减少了人力物力的投入，本发明适用于目标区域为矩形区域的图像畸变的校正。

Description

基于角点检测的畸变图像校正方法及装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种畸变图像校正方法及装置。

背景技术

近几年，人工智能技术的发展突飞猛进，其应用领域也越来越广，如机器人、语音识别、图像识别、计算机视觉和自动驾驶等领域。在图像识别方面，基于深度学习的OCR(Optical Character Recognition，光学字符识别)识别以其识别精度高、识别速度快等优点被业界广泛采用。众所周知，OCR技术一般分为文本检测和文本识别两个技术分支，虽然近期也有推出基于神经网络的端到端OCR识别，但其在特定场景下的效果还不理想，因此，主流的OCR识别技术还是分为文本检测和文本识别两个方向。而OCR识别精度不仅受限于识别算法的好坏，文本检测的效果也起到了决定性的作用。而图像质量对文本检测效果的影响也较为显著。尤其是移动互联网时代下，移动设备的兴起使得普通用户对OCR应用的需求也日益增大，然而，由于用户行为的不可控性，各种场景下移动设备采集到的图像也千差万别。其中，图像非平拍对图像文字区域定位与识别的影响尤为明显，尤其是俯角较大时，一般的矩形图片被映射成了四边形，图片中的文字信息也发生了一定程度的畸变，这就给识别其中的文字信息带来了很大挑战。如果能在图像识别之前对采集到的图像进行校正，则能从源头有效提高文字识别的准确度。

发明内容

本发明所要解决的技术问题是：克服对矩形图像非平拍带来的图像畸变问题，提出一种基于角点检测的畸变图像校正方法及装置。

本发明解决上述技术问题，采用的技术方案是：

基于角点检测的畸变图像校正方法，包括如下步骤：

S1、提取待校正图像目标区域的边缘得到边缘图像；

S2、根据边缘图像提取候选角点得到候选角点集；

S3、过滤候选角点集里的候选角点得到四个目标角点；

S4、根据目标角点对待校正图像进行变换得到校正后图像。

优选的，所述步骤S2包括如下步骤：

S21、对所述边缘图像进行线条检测得到候选线条；

S22、将候选线条分类为横向线和竖向线，对横向线进行轮廓提取并根据轮廓的弧长进行排序，至少保留弧长最长的两条横向线并提取其两端的端点作为候选角点存入候选角点集；对竖线进行轮廓提取并根据轮廓的弧长进行排序，至少保留弧长最长的两条竖向线并提取其两端的端点作为候选角点存入候选角点集；计算横向线与竖向线的交点，将交点作为候选角点存入候选角点集。

优选的，所述步骤S22中将候选线条分类为横向线和竖向线时包括：将任意候选线条的两个端点坐标分别记为(x1，y1)和(x2，y2)，若|x2-x1|>|y2-y1|，则对应的候选线条为横向线，否则该候选线条为竖向线；

和/或，所述步骤S22中将候选线条分类为横向线和竖向线后，还包括：扩充横向线和竖向线的线长预定长度，扩充横向线和竖向线的线宽预定宽度。

优选的，所述步骤S22中计算横向线与竖向线的交点包括：将横向线和竖向线分别画在不同的画布上得到横向线图像和竖向线图像，选取横向线图像与竖向线图像中像素值非零的像素点的交集作为交点。

优选的，所述步骤S3包括如下步骤：

S31、若候选角点为横向线与竖向线的交点，则将该候选角点作为目标角点存入目标角点集，否则，删除候选角点集里与该目标角点的距离小于距离阈值的候选角点，进入步骤S32；

S32、计算候选角点与目标角点集里所有目标角点的距离，若所述距离的最小值大于距离阈值，则将该候选角点作为目标角点存入目标角点集，否则，从候选角点集删除该候选角点。

进一步的，若目标角点集里的目标角点数大于4个，则所述步骤S3还包括如下步骤：

S33、将目标角点集里的目标角点以四个一组进行排列组合成四边形，计算所有排列组合组成的四边形的面积，根据面积从大到小的顺序进行排序，取面积最大的预定个数的四边形作为候选组合；

S34、计算候选组合中各个组合对应的四边形的四个夹角，并计算各个四边形中四个夹角中最大夹角与最小夹角的差，记为夹角最大差，将四边形对应的夹角最大差按照大小进行排序，删除目标角点集里除夹角最大差最小的四边形中的目标角点外的其他目标角点。

进一步的，所述步骤S34之后还包括：

若目标角点集里的目标角点组成的四边形面积小于待校正图像的面积乘以面积阈值或四边形面积对应的夹角最大差大于夹角最大差阈值，则将待校正图像的四个顶点作为目标角点。

本发明解决上述技术问题，还提出了一种基于角点检测的畸变图像校正装置，包括边缘图像提取模块、候选角点提取模块、候选角点过滤模块和变换模块，

边缘图像提取模块，用于提取待校正图像目标区域的边缘得到边缘图像；

候选角点提取模块，用于根据边缘图像提取候选角点得到候选角点集；

候选角点过滤模块，用于过滤候选角点集里的候选角点得到四个目标角点；

变换模块，用于根据目标角点对待校正图像进行变换得到校正后图像。

优选的，所述候选角点提取模块包括线条检测单元和候选角点选择单元；

线条检测单元，用于对所述边缘图像进行线条检测得到候选线条；

候选角点选择单元，用于将候选线条分类为横向线和竖向线，对横向线进行轮廓提取并根据轮廓的弧长进行排序，至少保留弧长最长的两条横向线并提取其两端的端点作为候选角点存入候选角点集；对竖线进行轮廓提取并根据轮廓的弧长进行排序，至少保留弧长最长的两条竖向线并提取其两端的端点作为候选角点存入候选角点集；计算横向线与竖向线的交点，将交点作为候选角点存入候选角点集。

优选的，候选角点过滤模块包括交点提取单元和非交点判断单元；

所述交点提取单元用于判断候选角点为横向线与竖向线的交点，则将该候选角点作为目标角点存入目标角点集，否则，删除候选角点集里与该目标角点的距离小于距离阈值的候选角点；

所述非交点判断单元用于计算候选角点与目标角点集里所有目标角点的距离，若所述距离的最小值大于距离阈值，则将该候选角点作为目标角点存入目标角点集，否则，从候选角点集删除该候选角点。

本发明的有益效果是：

通过对待校正图像进行边缘提取后提取候选角点，进而筛选候选角点得到四个目标角点，根据四个目标角点计算出目标图像的尺寸对待校正图像进行变换得到校正后图像，解决非平拍图像带来的图像畸变问题，进而可提高后续OCR识别的准确率，为下游OCR应用减少了人力物力的投入。

附图说明

图1为本发明的方法流程图；

图2为本发明的装置示意图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明进行进一步详细说明。

如图1所示，基于角点检测的畸变图像校正方法，包括如下步骤：

S1、提取待校正图像目标区域的边缘得到边缘图像；

其中，待校正图像为对矩形的物品进行非平拍后得到的图像，目标区域指的是待校正图像中对应物品所在的区域，一般为四边形。

步骤S1可包括如下步骤：

S101、对待校正图像进行灰度变换得到灰度图像；

上述灰度变换的算法为现有算法，此处不赘述。

S102、采用高斯卷积核与灰度图像的像素值进行卷积运算得到高斯模糊后的图像；

如此可去除灰度图像中的干扰噪声达到滤波的功能，此算法为现有算法，卷积核的大小的选择可根据待校正图像的质量而灵活设置，本发明实施例中选取的卷积核的大小为7*7。

S103、对高斯模糊后的图像做膨胀操作；

此操作用于连通图像局部区域，减少小目标的干扰，此算法为现有算法，本发明实施例中采用9*9的矩形核对图像进行膨胀操作。

S104、采用canny算子对膨胀后的图像进行目标区域边缘提取得到边缘图像。

可采用opencv库中的cv::canny方法来实现目标区域边缘的提取。

S2、根据边缘图像提取候选角点得到候选角点集；

为从边缘图像中提取目标角点，经过实验分析，目标角点具备以下特征：

(1)在能准确提取目标区域外边缘的情况下，边缘图像的外边缘的横向线与竖向线的交

叉点即为目标角点；

(2)若提取到的目标区域外边缘横线与竖线不相交，则认为横线与竖线的端点为候选的

目标角点；

基于以上两个策略，可采用如下方法提取图像目标区域的候选角点。

S21、对所述边缘图像进行线条检测得到候选线条；

线条检测方法可采用如下现有的方法：霍夫变换方法、参见“Rafael GromponeVon Gioi,Jérémie Jakubowicz,Jean-Michel Morel,and Gregory Randall.Lsd:A fastline segment detector with a false detection control.IEEE Transactions onPattern Analysis and Machine Intelligence,32(4):722–732,2010.”的LSD(线段检测方法)和参见“Rafael Grompone von Gioi,Jérémie Jakubowicz,Jean-Michel Morel,andGregory Randall.Lsd:a line segment detector.Image Processing On Line.2(2012),pp.35-55.”的改进版的LSD(线条检测方法)。本发明实施例选用的是改进版的LSD进行线条的检测。

S22、将候选线条分类为横向线和竖向线，对横向线进行轮廓提取并根据轮廓的弧长进行排序，至少保留弧长最长的两条横向线并提取其两端的端点作为候选角点存入候选角点集；对竖线进行轮廓提取并根据轮廓的弧长进行排序，至少保留弧长最长的两条竖向线并提取其两端的端点作为候选角点存入候选角点集；计算横向线与竖向线的交点，将交点作为候选角点存入候选角点集。

其中，将候选线条分类为横向线和竖向线时可采用：将任意候选线条的两个端点坐标分别记为(x1，y1)和(x2，y2)，若|x2-x1|>|y2-y1|，则对应的候选线条为横向线，否则该候选线条为竖向线，需要说明的是，横向线和竖向线只是代表了候选线条的大致方向，并不一定就是完全水平和垂直的线条。

轮廓提取可采用opencv中的cv2.findCounters()方法，设置该方法中的mode参数和method参数值分为“cv2.RETR_EXTERNAL”和“cv2.CHAIN_APPROX_NONE”。

受光照或噪声影响，实际提取的横向线和竖向线在端点附近可能会存在误差例如线条稍短，横向线和竖向线没有交点，为了避免这种情况就需要将横向线和竖向线往外扩充，所述步骤S22中将候选线条分类为横向线和竖向线后，还可包括：扩充横向线和竖向线的线长预定长度。

实施例中预定长度选为10个像素长度，在线条的两端各扩充5个像素长度。

计算横向线与竖向线的交点可采用：将横向线和竖向线分别画在不同的画布上得到横向线图像和竖向线图像，选取横向线图像与竖向线图像中像素值非零的像素点的交集作为交点。

S3、过滤候选角点集里的候选角点得到四个目标角点；

步骤S3可包括如下步骤：

S31、若候选角点为横向线与竖向线的交点，则将该候选角点作为目标角点存入目标角点集，否则，删除候选角点集里与该目标角点的距离小于距离阈值的候选角点，进入步骤S32；

S32、计算候选角点与目标角点集里所有目标角点的距离，若所述距离的最小值大于距离阈值，则将该候选角点作为目标角点存入目标角点集，否则，从候选角点集删除该候选角点。

其中，本距离阈值优选为20个像素长度。

经过步骤S31和步骤S32的初步过滤后，可能还存在候选角点集中的候选角点的个数大于4个的情况，这时候就需要删除无效的候选角点，具体可为如下步骤：

S33、将目标角点集里的目标角点以四个一组进行排列组合成四边形，计算所有排列组合组成的四边形的面积，根据面积从大到小的顺序进行排序，取面积最大的预定个数的四边形作为候选组合。

其中，四边形的顶点为对应组合内的四个目标角点。考虑到候选角点的个数大于4个的情况下，至少有5个候选角点，其能组成的所有四边形个数为

个。在实际实验中，大多非目标角点都在目标区域的内部，主要受线条检质量影响，此时其与目标检点组成的四边形面积较小，选取过多的组合对角点过滤作用不大，因此预定个数优选为5个。

S34、计算候选组合中各个组合对应的四边形的四个夹角，并计算各个四边形中四个夹角中最大夹角与最小夹角的差，记为夹角最大差，将四边形对应的夹角最大差按照大小进行排序，删除目标角点集里除夹角最大差最小的四边形中的目标角点外的其他目标角点。

这是因为发生畸变不是太严重的情况下，四边形四个夹角也均接近90度，故认为夹角最大差小的组合对应的目标角点为最终的目标角点，目标角点集中的其他目标角点可删除。

在极端情况下例如无法有效提取图像目标区域边缘的情况下，得到的目标角点集是错误的。其表现为目标角点组成的四边形面积过小，或者其夹角最大差过大，此时认为目标角点提取失败。此种情况下，所述步骤S34之后还包括：

若目标角点集里的目标角点组成的四边形面积小于待校正图像的面积乘以面积阈值或四边形面积对应的夹角最大差大于夹角最大差阈值，则将待校正图像的四个顶点作为目标角点。

其中，这四个顶点由待校正图像的宽和高而得，加载待校正图像时可同步获取待校正图像的宽和高，分为记为W和H，对应的四个顶点就是(0,0)，(W,0)，(0,H)和(W,H)。

S4、根据目标角点对待校正图像进行变换得到校正后图像。

的个数为四个。透视变换是一种比较成熟的畸变图像校正方法，利用角点检测算法得到的目标角点集，计算输入图像目标区域变换后图像的尺寸，并计算出透视变换矩阵，对输入图像进行透视变换即可达到校正后的图像。具体方法如下：

S41、计算目标区域校正后图像的长宽

经过上述步骤S3后得到的四个目标角点坐标为((lt-x,lt-y)，(rt-x,rt-y)，(lb-x,lb-y)，(rb-x,rb-y)，可分别对应左上角点、右上角点、左下角点和右下角点的坐标，则校正后图像的宽和高可采用如下公式计算得出：

上述公式采用的欧式距离的方式进行计算，其中，destW为校正后图像的宽，destH为校正后图像的高，dstW取

和

中的最大值，dstH取

和

中的最大值。

S42、计算透视变换矩阵

记变换矩阵为M，目标角点坐标为src＝[[lt_x,lt_y],[rt_x,rt_y],[lb_x,lb_y],[rb_x,rb_y]]，变换后角点坐标为dst＝[[0,0],[dstW,0],[0,dstH],[dstW,dstH]]，利用cv2.getPerspectiveTransform(src,dst)计算出变换矩阵M，其中M为3*3的矩阵，M_αβ代表M矩阵中第α行第β列的元素的值。

S43、执行透视变换

透视变换本质上就是利用透视变换矩阵将原图投影到一个新的视平面得到目标区域的校正后图像。对于校正后图像中的每一个像素点，利用原图和透视变换矩阵采用如下公式计算其像素值。

其中，i和j分别为校正后图像中的像素点的横向索引和纵向索引，desImg(i,j)为校正后图像第i行第j列的像素点对应的像素值，

为待校正图像中第

行第

列的像素点对应的像素值。

如此本发明可以精准的定位图像目标区域的角点坐标，对文档图像、发票图像、证件图像等边缘清晰的图片均能取得较好的处理效果。针对极端情况例如图像边界不明显难以提取角点的情况下，可结合具体应用，保留调整目标角点为待校正图像的顶点的，增强了用户体验，提高了校正效果。

应用上述基于角点检测的畸变图像校正方法的图像校正装置，包括边缘图像提取模块、候选角点提取模块、候选角点过滤模块和变换模块，

边缘图像提取模块，用于提取待校正图像目标区域的边缘得到边缘图像；

候选角点提取模块，用于根据边缘图像提取候选角点得到候选角点集；

候选角点过滤模块，用于过滤候选角点集里的候选角点得到四个目标角点；

变换模块，用于根据目标角点对待校正图像进行变换得到校正后图像。

所述候选角点提取模块可包括线条检测单元和候选角点选择单元；

线条检测单元，用于对所述边缘图像进行线条检测得到候选线条；

候选角点选择单元，用于将候选线条分类为横向线和竖向线，对横向线进行轮廓提取并根据轮廓的弧长进行排序，至少保留弧长最长的两条横向线并提取其两端的端点作为候选角点存入候选角点集；对竖线进行轮廓提取并根据轮廓的弧长进行排序，至少保留弧长最长的两条竖向线并提取其两端的端点作为候选角点存入候选角点集；计算横向线与竖向线的交点，将交点作为候选角点存入候选角点集。

候选角点过滤模块可包括交点提取单元和非交点判断单元；

所述交点提取单元用于判断候选角点为横向线与竖向线的交点，则将该候选角点作为目标角点存入目标角点集，否则，删除候选角点集里与该目标角点的距离小于距离阈值的候选角点；

所述非交点判断单元用于计算候选角点与目标角点集里所有目标角点的距离，若所述距离的最小值大于距离阈值，则将该候选角点作为目标角点存入目标角点集，否则，从候选角点集删除该候选角点。

需要说明的是，针对不同分辨率的图像，考虑移动设备的拍照质量越来越高，拍摄的图像也越来越大，这样就会影响计算效率，实际执行时可先将待校正图片缩放到一定尺寸(比如1000*1500)，待计算出目标角点之后再变换回原有的待校正图片。

Claims (6)

1.基于角点检测的畸变图像校正方法，其特征在于，包括如下步骤：

S1、提取待校正图像目标区域的边缘得到边缘图像；

S2、根据边缘图像提取候选角点得到候选角点集；

S3、过滤候选角点集里的候选角点得到四个目标角点；

S4、根据目标角点对待校正图像进行变换得到校正后图像；

所述步骤S2包括如下步骤：

S21、对所述边缘图像进行线条检测得到候选线条；

S22、将候选线条分类为横向线和竖向线，对横向线进行轮廓提取并根据轮廓的弧长进行排序，至少保留弧长最长的两条横向线并提取其两端的端点作为候选角点存入候选角点集；对竖线进行轮廓提取并根据轮廓的弧长进行排序，至少保留弧长最长的两条竖向线并提取其两端的端点作为候选角点存入候选角点集；计算横向线与竖向线的交点，将交点作为候选角点存入候选角点集；

所述步骤S3包括如下步骤：

S31、若候选角点为横向线与竖向线的交点，则将该候选角点作为目标角点存入目标角点集，否则，删除候选角点集里与该目标角点的距离小于距离阈值的候选角点，进入步骤S32；

S32、计算候选角点与目标角点集里所有目标角点的距离，若所述距离的最小值大于距离阈值，则将该候选角点作为目标角点存入目标角点集，否则，从候选角点集删除该候选角点。

2.如权利要求1所述的基于角点检测的畸变图像校正方法，其特征在于，所述步骤S22中将候选线条分类为横向线和竖向线时包括：将任意候选线条的两个端点坐标分别记为(x1，y1)和(x2，y2)，若|x2-x1|＞|y2-y1|，则对应的候选线条为横向线，否则该候选线条为竖向线；

和/或，所述步骤S22中将候选线条分类为横向线和竖向线后，还包括：扩充横向线和竖向线的线长预定长度。

3.如权利要求1所述的基于角点检测的畸变图像校正方法，其特征在于，所述步骤S22中计算横向线与竖向线的交点包括：将横向线和竖向线分别画在不同的画布上得到横向线图像和竖向线图像，选取横向线图像与竖向线图像中像素值非零的像素点的交集作为交点。

4.如权利要求1所述的基于角点检测的畸变图像校正方法，其特征在于，若目标角点集里的目标角点数大于4个，则所述步骤S3还包括如下步骤：

S33、将目标角点集里的目标角点以四个一组进行排列组合成四边形，计算所有排列组合组成的四边形的面积，根据面积从大到小的顺序进行排序，取面积最大的预定个数的四边形作为候选组合；

S34、计算候选组合中各个组合对应的四边形的四个夹角，并计算各个四边形中四个夹角中最大夹角与最小夹角的差，记为夹角最大差，将四边形对应的夹角最大差按照大小进行排序，删除目标角点集里除夹角最大差最小的四边形中的目标角点外的其他目标角点。

5.如权利要求4所述的基于角点检测的畸变图像校正方法，其特征在于，所述步骤S34之后还包括：

若目标角点集里的目标角点组成的四边形面积小于待校正图像的面积乘以面积阈值或四边形对应的夹角最大差大于夹角最大差阈值，则将待校正图像的四个顶点作为目标角点。

6.基于角点检测的畸变图像校正装置，其特征在于，包括边缘图像提取模块、候选角点提取模块、候选角点过滤模块和变换模块，

边缘图像提取模块，用于提取待校正图像目标区域的边缘得到边缘图像；

候选角点提取模块，用于根据边缘图像提取候选角点得到候选角点集；

候选角点过滤模块，用于过滤候选角点集里的候选角点得到四个目标角点；

变换模块，用于根据目标角点对待校正图像进行变换得到校正后图像；

所述候选角点提取模块包括线条检测单元和候选角点选择单元；

线条检测单元，用于对所述边缘图像进行线条检测得到候选线条；

候选角点选择单元，用于将候选线条分类为横向线和竖向线，对横向线进行轮廓提取并根据轮廓的弧长进行排序，至少保留弧长最长的两条横向线并提取其两端的端点作为候选角点存入候选角点集；对竖线进行轮廓提取并根据轮廓的弧长进行排序，至少保留弧长最长的两条竖向线并提取其两端的端点作为候选角点存入候选角点集；计算横向线与竖向线的交点，将交点作为候选角点存入候选角点集；

候选角点过滤模块包括交点提取单元和非交点判断单元；

所述交点提取单元用于判断候选角点为横向线与竖向线的交点，则将该候选角点作为目标角点存入目标角点集，否则，删除候选角点集里与该目标角点的距离小于距离阈值的候选角点；

所述非交点判断单元用于计算候选角点与目标角点集里所有目标角点的距离，若所述距离的最小值大于距离阈值，则将该候选角点作为目标角点存入目标角点集，否则，从候选角点集删除该候选角点。

Images