CN109190617A - 一种图像的矩形检测方法、装置及存储介质 - Google Patents

Abstract

本发明实施例公开了一种图像的矩形检测方法、装置及存储介质，应用于信息处理技术领域。图像的矩形检测装置会检测待检测图像中包含的n条直线的信息，然后对n条直线进行分组得到多个直线组，使得将近似平行的直线划分到一个直线组；进而对多个直线组进行分组得到多个垂直组，使得将近似垂直的直线划分到一个垂直组；根据各个垂直组中直线的信息可以得到多个矩形的信息，最终选择至少一个矩形的信息作为待检测图像中矩形的信息。这样即使是待检测图像中矩形的角被遮挡、不完整或变形大时，只要是矩形中各条直线之间的夹角符合矩形的夹角特征，都能被检测到，不会受到限制；且计算过程比较简单，能广泛地应用于用户终端，实时地进行矩形的检测。

Description

一种图像的矩形检测方法、装置及存储介质

技术领域

本发明涉及信息处理技术领域，特别涉及一种图像的矩形检测方法、装置及存储介质。

背景技术

现在很多场景中都需要对图像中的矩形进行检测，比如在对身份证识别，或银行卡识别的应用中，都需要进行图像的矩形检测，从而方便对检测到的矩形框内的信息进行识别。

现有的一种图像的矩形检测方法包括：提取图像中的垂直角点，并将这些垂直角点进行组合后，结合投票、像素的领域信息等进行判断组合后的图形是否是图像包含的矩形，从而实现了矩形检测，但是，这种检测方法具有一定的限制性，比如图像的矩形的角被遮挡、不完整或者变形过大时，就不会检测到矩形。

现有的另一种图像的矩形检测方法包括：提取图像的特征信息信息，利用一些聚类算法根据图像的特征信息，将颜色、对比度和纹理等相近的像素点进行聚类，从而得到一个图像中的多个块，并得到各个块的轮廓，以实现图像中矩形的检测。这种方法不会有上述的限制性，但是这种方法的计算过程比较复杂，做不到实时性。

发明内容

本发明实施例提供一种图像的矩形检测方法、装置及存储介质，实现了根据待检测图像中所包含的n条直线，检测待检测图像中的矩形。

本发明实施例第一方面提供一种图像的矩形检测方法，包括：

检测待检测图像中所包含的n条直线的信息；

根据所述n条直线的信息，对所述n条直线进行分组得到多个直线组，每个直线组包括s条直线，且任意两条直线之间的第一夹角小于第一阈值；其中，所述n为大于s的整数，所述s为大于1的整数；

对所述多个直线组进行分组得到多个垂直组，每个垂直组包括一个直线组对，且直线组对中两个直线组之间直线的第二夹角与垂直角度的绝对差值小于第二阈值；

根据各个垂直组中直线的信息，分别得到多个矩形的信息；

从所述多个矩形中选择至少一个矩形，将所述至少一个矩形的信息作为所述待检测图像中矩形的信息。

本发明实施例第二方面提供一种图像的矩形检测装置，包括：

直线检测单元，用于检测待检测图像中所包含的n条直线的信息；

直线分组单元，用户根据所述n条直线的信息，对所述n条直线进行分组得到多个直线组，每个直线组包括s条直线，且任意两条直线之间的第一夹角小于第一阈值；其中，所述n为大于s的整数，所述s为大于1的整数；

垂直分组单元，用于对所述多个直线组进行分组得到多个垂直组，每个垂直组包括一个直线组对，且直线组对中两个直线组之间直线的第二夹角与垂直角度的绝对差值小于第二阈值；

矩形获取单元，用于根据各个垂直组中直线的信息，分别得到多个矩形的信息；

选择单元，用于从所述多个矩形中选择至少一个矩形，将所述至少一个矩形的信息作为所述待检测图像中矩形的信息。

本发明实施例第三方面提供一种存储介质，所述存储介质储存多条指令，所述指令适于由处理器加载并执行如本发明实施例第一方面所述的图像的矩形检测方法。

本发明实施例第四方面提供一种终端设备，包括处理器和存储介质，所述处理器，用于实现各个指令；

所述存储介质用于储存多条指令，所述指令用于由处理器加载并执行如本发明实施例第一方面所述的图像的矩形检测方法。

可见，在本实施例的方法中，图像的矩形检测装置会检测待检测图像中包含的n条直线的信息，然后对n条直线进行分组得到多个直线组，使得将近似平行的直线划分到一个直线组；进而对多个直线组进行分组得到多个垂直组，使得将近似垂直的直线划分到一个垂直组；这样根据各个垂直组中直线的信息就可以得到多个矩形的信息，最终选择其中的至少一个矩形的信息作为待检测图像中矩形的信息。本实施例中通过对待检测图像中直线的检测，并结合矩形中直线之间的夹角特征，可以将检测的直线聚合成矩形，从而实现了待检测图像中矩形的检测，这样，即使是待检测图像中矩形的角被遮挡、不完整或变形大时，只要是矩形中各条直线之间的夹角符合矩形的夹角特征，都能被检测到，不会受到限制；且本实施例中矩形检测方法主要是直线检测，并分组的步骤，计算过程比较简单，使得检测花费的时间较少，可以广泛地应用于用户终端，实时地进行矩形的检测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种图像的矩形检测的示意图；

图2是本发明一个实施例提供的一种图像的矩形检测方法的流程图；

图3是本发明一个实施例中划分n条直线的方法流程图；

图4是本发明应用实施例提供的一种图像的矩形检测方法的流程图；

图5是本发明应用实施例中用户终端显示的用户界面的示意图；

图6是本发明实施例提供的一种图像的矩形检测装置的逻辑结构示意图；

图7是本发明实施例提供的另一种图像的矩形检测装置的逻辑结构示意图；

图8是本发明实施例提供的一种终端设备的逻辑结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排它的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例提供一种图像的矩形检测方法，主要可以应用于图像的矩形检测装置(比如用户终端等)中，示意图如图1所示，本实施例中，图像的矩形检测装置可以通过如下步骤实现矩形检测：

检测待检测图像中所包含的多条直线(图1中以n条直线为例说明)的信息；根据所述n条直线的信息，对所述n条直线进行分组得到多个直线组(图1中以m个直线组为例说明)，每个直线组包括s条直线，且任意两条直线之间的第一夹角小于第一阈值，其中，n为大于s的整数，s为大于1的整数；对所述多个直线组进行分组得到多个垂直组(图1中以t个垂直组为例说明)，每个垂直组包括一个直线组对，且直线组对中两个直线组之间直线的第二夹角与垂直角度的绝对差值小于第二阈值；根据各个垂直组中直线的信息，分别得到多个矩形的信息；从所述多个矩形中选择至少一个矩形，将所述至少一个矩形的信息作为所述待检测图像中矩形的信息。

本实施例中通过对待检测图像中直线的检测，并结合矩形中直线之间的夹角特征，可以将检测的直线聚合成矩形，从而实现了待检测图像中矩形的检测，这样，即使是待检测图像中矩形的角被遮挡、不完整或变形大时，只要是矩形中各条直线之间的夹角符合矩形的夹角特征，都能被检测到，不会受到限制；且本实施例中矩形检测方法主要是直线检测，并分组的步骤，计算过程比较简单，使得检测花费的时间较少，可以广泛地应用于用户终端，实时地进行矩形的检测。

本发明一个实施例提供的一种图像的矩形检测方法，主要是上述的图像的矩形检测装置所执行的方法，流程图如图2所示，包括：

步骤101，检测待检测图像中所包含的n条直线的信息。

可以理解，用户可以操作图像的矩形检测装置，使得图像的矩形检测装置触发本实施例的流程，其中，用户的触发操作随着实际应用的不同而不同。例如，在银行卡识别的应用中，用户可以触发开启识别银行卡的功能，这样图像的矩形检测装置开启拍照功能，对用户手持的银行卡进行拍照，并将拍摄的图像作为待检测图像，以发起本实施例的流程。

当触发了本实施例的流程后，图像的矩形检测装置会先检测待检测图像中所包含的n条直线的信息，每条直线的信息可以包括该条直线上所有像素点在待检测图像中的坐标信息等。具体地，图像的矩形检测装置可以采用最小显著性差异(Least—SignificantDifference，LSD)算法，或霍夫变换算法等直线检测算法，检测待检测图像中包含的直线的信息。

步骤102，根据n条直线的信息，对n条直线进行分组，得到多个直线组，每个直线组包括s条直线，且任意两条直线之间的第一夹角小于第一阈值(比如20度)，这里n为大于s的整数，s为大于1的整数。

具体地，图像的矩形检测装置在对n条直线进行分组时，可以通过如下步骤来实现，流程图如图3所示，包括：

步骤A，根据n条直线的信息，确定n条直线中各条直线的角度。

具体地，图像的矩形检测装置在确定某一条直线的角度时，一种情况下，可以根据该条直线上每个像素点的坐标信息，确定该条直线中像素点的横坐标与纵坐标之间的对应关系，从而可以根据该对应关系得到该条直线的角度。例如，某一条直线中像素点的横坐标与纵坐标之间的对应关系为：y＝kx+b，则k为该条直线的角度。

在一种具体的实施例中，如果上述步骤101检测的每条直线的信息中各个像素点的坐标信息是直角坐标系中的信息，则图像的矩形检测装置可以直接将每条直线的信息转化为极坐标系下的信息，每条直线在极坐标系下的信息中就包括了该条直线的角度。

一般情况下，在平面内取一个定点O，叫极点，引一条射线Ox，叫做极轴，再选定一个长度单位和角度的正方向(通常取逆时针方向)，这样，对于平面内任何一点M，用ρ表示线段OM的长度，θ表示从Ox到OM的角度，ρ即为线段OM所在直线的极径，θ叫做点线段OM所在直线的角度，(ρ,θ)就叫线段OM所在直线的极坐标。可见，极坐标是相对于直线而言的，如果两条线段在同一延长线上，则这两条线段的极坐标是一样的。

然后图像的矩形检测装置会针对n条直线的中的每一条直线(比如第一条直线)，执行如下步骤B和C，或者执行步骤B和D。

步骤B，如果图像的矩形检测装置的本地已储存有至少一个第一直线组，即已有第一直线组，则计算第一条直线的角度，与已有的第一直线组中直线的平均角度之间的绝对差值，如果第一条直线的角度与第一直线组中直线的平均角度的绝对差值小于第一阈值，说明第一条直线与第一直线组中的直线近似平行，则执行步骤C；如果第一条直线的角度与任一个第一直线组中直线的平均角度的绝对差值都大于或等于第一阈值，说明第一条直线与第一直线组中的直线之间具有一定的角度，则执行步骤D。

可以理解，如果图像的矩形检测装置的本地未储存有任一第一直线组，即当前无已有的直线组，则可以直接执行步骤D。

步骤C，将第一条直线划分到第一直线组。

步骤D，将第一条直线划分到新的第二直线组中。

例如，假设n条直线为L1，L2，……，Ln，在划分这些直线的过程中，对于直线L1，先将直线L1划分到直线组group1，该直线组group1中直线的平均角度α1为直线L1的角度。

对于直线L2，计算直线L2的角度与已有的直线组group1中直线的平均角度α1之间的绝对差值Δα，如果该绝对差值Δα小于第一阈值，比如20度，则将直线L2划分到直线组group1中，并重新计算得到直线组group1中直线的平均角度α1为直线L1和L2的角度的平均值；如果绝对差值Δα大于或等于第一阈值，则将直线L2划分到新的直线组group2中，计算直线组group2中直线的平均角度α2为直线L2的角度。

对于直线L3，可以先按照上述划分直线L2的方法，确定是否将直线L3划分到已有的直线组group1或group2，如果未划分到上述任一已有的直线组，则将直线L3划分到新的直线组group3中，计算直线组group3中直线的平均角度α3为直线L3的角度。

对于直线L4，……，Ln中任一条直线，可以按照上述划分直线L3的方法进行分组，从而得到多个直线组group1，group2，……，group m。

需要说明的是，当图像的矩形检测装置在执行了上述步骤101后，为了简化计算过程，可以先按照待检测图像的大小，对检测到的n条直线进行过滤，将长度较短(比如小于预置长度)的直线过滤掉，然后再针对剩余的P条直线，执行本步骤102。

步骤103，对上述多个直线组进行分组得到多个垂直组，每个垂直组包括一个直线组对，且直线组对中两个直线组之间直线的第二夹角与垂直角度的绝对差值小于第二阈值(比如15度)。

例如，假设多个直线组为group1，group2，……，group m，每个直线组中包括至少一条直线，如果对于直线组groupi与直线组groupj，直线组groupi中直线的平均角度αi与直线组groupj中直线的平均角度αj之间夹角|αi-αj|，与垂直角度90度之间的绝对差值tmp小于第二阈值时，将直线组groupi与直线组groupj划分到同一垂直组VHGroup中，则该垂直组中的直线组对为直线组groupi与直线组groupj。其中，tmp＝||αi-αj|-90°|。

步骤104，根据各个垂直组中直线的信息，分别得到多个矩形的信息，其中，每个矩形的信息可以包括矩形中四个顶点的信息，比如四个顶点的坐标信息等。

对于任一垂直组VHGroup，其中包括的直线组groupi与直线组groupj，从每个直线组中分别选取两条直线进行组合，可以得到一个矩形，从而可以得到该矩形中四个顶点的信息。这样重复矩形组合的操作，则对于任一垂直组VHGroup，可以得到多个四顶点集合，对应多个矩形。

步骤105，从多个矩形中选择至少一个矩形，将至少一个矩形的信息作为待检测图像中矩形的信息。

具体地，图像的矩形检测装置在从多个矩形中选择至少一个矩形时，可以直接过滤掉多个矩形中满足如下任一预置条件的矩形，并将剩余的矩形作为至少一个矩形：矩形面积小于预置面积，矩形的形变量大于或等于预置形变量等。

其中，矩形的形变量可以用矩形的四个角度与垂直角(90度)的方差来衡量，而矩形的四个角度具体可以从该矩形的信息中得到。

进一步地，图像的矩形检测装置可以根据至少一个矩形的信息，对待检测图像进行透视变换得到变换后图像，然后对变换后图像进行矫正，使得矩形内的图像更清晰，便于之后对矩形内图像所包含信息的识别。具体地，图像的矩形检测装置可以根据一个矩形的信息，即四个顶点的信息，计算出四个顶点对应的映射矩阵(即单应性矩阵)，再利用插值算法对映射矩阵中某些元素的值进行矫正，从而可以得到矫正后图像。

可见，在本实施例的方法中，图像的矩形检测装置会检测待检测图像中包含的n条直线的信息，然后对n条直线进行分组得到多个直线组，使得将近似平行的直线划分到一个直线组；进而对多个直线组进行分组得到多个垂直组，使得将近似垂直的直线划分到一个垂直组；这样根据各个垂直组中直线的信息就可以得到多个矩形的信息，最终选择其中的至少一个矩形的信息作为待检测图像中矩形的信息。本实施例中通过对待检测图像中直线的检测，并结合矩形中直线之间的夹角特征，可以将检测的直线聚合成矩形，从而实现了待检测图像中矩形的检测，这样，即使是待检测图像中矩形的角被遮挡、不完整或变形大时，只要是矩形中各条直线之间的夹角符合矩形的夹角特征，都能被检测到，不会受到限制；且本实施例中矩形检测方法主要是直线检测，并分组的步骤，计算过程比较简单，使得检测花费的时间较少，可以广泛地应用于用户终端，实时地进行矩形的检测。

需要说明的是，上述步骤101到105的方法是在获取到待检测的原始图像后，直接对原始图像进行的处理。而在实际应用中，图像的矩形检测装置在执行上述步骤101之前，当发起矩形检测的流程后，可以先获取待检测的原始图像，并对待检测的原始图像进行如下至少一种预处理，得到待检测图像；然后再对待检测图像执行上述的步骤101到105：归一化处理，降噪处理，锐化处理，双边滤波处理，灰度处理，高斯拉伸处理等。

其中，归一化处理是指将图像缩放到一定尺寸范围，这样在之后对图像的处理，都是对一定尺寸范围内的图像进行处理，简化了计算过程；锐化处理是补偿图像的轮廓，增强图像的边缘及灰度跳变的部分，使图像变得清晰；高斯拉伸处理是指将图像中像素点的像素值乘一个高斯系数，做平滑的拉伸，这样可以增加边缘信息的对比度；双边滤波处理是一种非线性的滤波方法，可以达到对图像保边去噪的目的；灰度处理是指将图像中每个像素点的像素值设置到0到225的范围内。

在一个具体的实施例中，图像的矩形检测装置在执行上述步骤105之前，可以获取待检测图像所包含的边缘图像，并确定获取的边缘图像分别与上述步骤104得到的多个矩形之间的重合度，这样每个矩形会得到一个对应的重合度。

其中，图像的矩形检测装置在获取边缘图像时，可以通过Canny边缘检测算子、模板匹配的边缘检测、或色相、饱和度和明度(Hue,Saturation,Value，HSV)颜色空间检测边缘等算法，获取到待检测图像的边缘图像。

在计算边缘图像与一个矩形之间的重合度时，具体地，可以定义两个二维数组，数组1存储边缘图像信息的矩阵，数组2存储检测出的矩形的四个顶点连线信息的矩阵，两个矩阵求交运算后，即可得到边缘图像与矩形相互重叠的部分；然后将重叠部分的信息量占数组1的信息总量的比例作为边缘图像与一个矩形的重合度。

当图像的矩形检测装置在执行步骤105中的选择时，可以选择与边缘图像之间的重合度大于预置值的至少一个矩形，这样，将通过上述步骤101到105得到的矩形，与通过其它方法得到边缘图像进行对比，选择出待检测图像所包含的矩形，结合了两种矩形检测方式得到的结果，使得最终检测到的待检测图像的矩形更为准确。

进一步地，为了使得获取的边缘图像更为准确，图像的矩形检测装置可以在获取待检测图像所包含的边缘图像之前，如果待检测图像中像素的对比度小于预置对比度，对待检测图像进行高斯拉伸，使得高斯拉伸后的图像中像素的对比度大于预置对比度；这样，在获取待检测图像的边缘图像时，主要是获取高斯拉伸后的图像所包含的边缘图像。

具体地，图像的矩形检测装置需要获取待检测图像的三个色彩通道图像，即红色通道图像imgR，绿色通道图像imgG和蓝色通道图像imgB，且计算这三个色彩通道图像分别对应的像素均值；还需要获取待检测图像的灰度图像，及计算灰度图像的像素方差。

如果上述计算的像素方差小于某一阈值，则说明待检测图像中像素的对比度较低，小于预置对比度，需要对待检测图像进行高斯拉伸，具体地，分别将上述将三个色彩通道图像中第一像素值与对应的像素均值之间的差值进行拉伸，得到三个拉伸后的色彩通道图像；然后再合并三个拉伸后的色彩通道图像得到拉伸后的待检测图像，从而实现了对待检测图像的高斯拉伸。其中，某一色彩通道图像中的第一像素值是与对应的像素均值之间的差值在一定范围内的像素值，即像素均值周围的像素值。

其中，将某个色彩通道图像中第一像素值与像素均值之间的差值进行拉伸时，主要是将该色彩通道图像中的像素均值作为像素峰值，对该像素均值周围的第一像素值进行递减，增加了像素均值与第一像素值之间的差距，从而提升该色彩通道图像中边缘轮廓与背景的对比度，进而突出图像的轮廓特征。

以下以一个具体的应用实例来说明本发明的矩形检测方法，本实施例的方法所应用于的图像的图形检测装置具体为用户终端，参考图4所示，本实施例的矩形检测方法包括如下步骤：

步骤201，用户可以操作用户终端，使得用户终端开启识别图像的功能，这样用户终端启动图像拍摄的功能，拍摄用户手持卡片的图像，得到原始图像imgSrc。

例如，在某一应用程序(比如微信)中具有“识别银行卡”的功能，当用户操作装载该应用程序的用户终端，使得该用户终端启动“识别银行卡”，用户终端可以启动图像拍摄的功能，且显示如图5所示的用户界面，该用户界面上显示：框的四个边角及“请将银行卡正面对齐框边缘”，且还可以包括“手电筒”按钮等。这样，用户可以将银行卡正面对准用户终端的图像拍摄装置，且置于用户界面上显示的框四个边角所限定的区域，而用户终端会在该区域内显示所拍摄的图像；进一步地，如果用户终端所处环境中的光线比较暗，用户可以点击“手电筒”按钮，使得用户终端开启照明功能，使得用户终端拍摄到的图像更为清晰。

步骤202，用户终端对原始图像imgSrc进行预处理，得到预处理后图像img1。其中，预处理具体可以包括：将该原始图像缩放到一定尺寸，且还可以进行降噪处理，双边滤波处理和锐化处理等。

步骤203，用户终端将预处理后图像img1转化为灰度图像imgGray，且计算灰度图像imgGray的像素方差Val；且用户终端还需要获取到预处理后图像img1对应的三个色彩通道图像，即imgR，imgG，imgB，并计算三个色彩通道图像分别对应的像素均值，即mR，mG，mB。

用户终端在执行了步骤203后，会针对三个色彩通道图像，执行如下步骤204到206；且同时会针对灰度图像imgGray，执行步骤207到211；然后再结合步骤206中得到的结果及步骤211中得到的结果，最终得到步骤201中原始图像所包含的矩形的信息。

步骤204，用户终端判断是否要对预处理后图像img1进行高斯拉伸，具体地，用户终端可以判断上述计算的像素方差val是否小于某一阈值(threshold)，如果小于，说明预处理后图像img1的对比度较低，需要进行高斯拉伸，则执行步骤205和206；如果大于或等于，则不需要进行高斯拉伸，直接执行步骤206。

步骤205，用户终端对预处理后图像img1进行高斯拉伸，具体地，将三个色彩通道图像中对应像素均值周围的第一像素值，与对应像素均值之间的差值进行拉伸，得到三个拉伸后的色彩通道图像，即imgR’＝enhance(imgR,mR)，imgG’＝enhance(imgG,mG)，imgB’＝enhance(imgB,mB)。

步骤206，用户终端获取预处理后图像img1(或者高斯拉伸后图像)的边缘图像，具体地，用户终端可以检测三个色彩通道图像(或高斯拉伸后的三个色彩通道图像)分别对应的边缘特征，并分别得到二值化边缘图像cannyR，cannyG，cannyB；然后将二值化边缘图像cannyR，cannyG，cannyB进行合并，得到预处理后图像img1(或者高斯拉伸后图像)的边缘图像cannyIm。

步骤207，用户终端检测上述步骤203得到的灰度图像imgGray所包含的n条直线的信息，即lines1。

步骤208，用户终端对n条直线的信息lines1进行预处理，得到预处理后直线的信息lines2。具体地，用户终端可以按照灰度图像imgGray的大小过滤掉长度较短的直线，比如，将其长度L1与灰度图像imgGray中短边长度L2的比值小于某一预置值的直线过滤掉，最终得到P条直线。

用户终端还可以得到P条直线分别对应的极坐标信息，每条直线的极坐标信息中包括直线的角度；还可以按照直线的长度，将过滤后的P条直线进行排序，从而得到预处理后直线的信息lines2，其中包括n条直线的信息。

步骤209，用户终端根据预处理后直线的信息lines2，对P条直线进行分组得到m个直线组group1，group2，……，group m。

步骤210，用户终端对m个直线组进行分组，得到t个垂直组VHgroup1，VHgroup2，……，VHgroup t。

步骤211，用户终端根据t个垂直组中每个垂直组中直线的信息，可以得到多个矩形的信息，具体为每个矩形中四个顶点的信息。这样，根据t个垂直组中直线的信息可以得到多个四顶点集合pointsList1。

步骤212，用户终端可以结合上述步骤206中得到的边缘图像，从多个矩形中选择至少一个矩形，将这至少一个矩形的信息作为上述步骤201得到的图像中包含的矩形的信息。

具体地，用户终端可以将多个矩形中面积较小，及形变量超过某一阈值的矩形过滤掉，得到过滤后的矩形；且用户终端会从过滤后的矩形中，选出与上述边缘图像之间的重合度大于预置值的至少一个矩形。

步骤213，用户终端还可以根据至少一个矩形的信息，对待检测图像进行透视变换得到变换后图像；对变换后图像进行矫正。

本发明实施例还提供一种图像的矩形检测装置，其结构示意图如图6所示，具体可以包括：

直线检测单元10，用于检测待检测图像中所包含的n条直线的信息；

直线分组单元11，用户根据所述直线检测单元10检测的n条直线的信息，对所述n条直线进行分组得到多个直线组，每个直线组包括s条直线，且任意两条直线之间的第一夹角小于第一阈值，其中，所述n为大于s的整数，所述s为大于1的整数；。

所述直线分组单元11，具体用于根据所述n条直线的信息确定各条直线的角度；针对所述n条直线中的第一条直线，如果所述第一条直线的角度与已有的第一直线组中直线的平均角度的绝对差值小于所述第一阈值，将所述第一条直线划分到所述第一直线组；其中，所述第一条直线为所述n条直线中的任一条直线；如果所述第一条直线的角度与任一个第一直线组中直线的平均角度的绝对差值都大于或等于所述第一阈值，或当前无已有的直线组，将所述第一条直线划分到新的第二直线组中。

垂直分组单元12，用于对所述直线分组单元11得到的多个直线组进行分组得到多个垂直组，每个垂直组包括一个直线组对，且直线组对中两个直线组之间直线的第二夹角与垂直角度的绝对差值小于第二阈值；

矩形获取单元13，用于根据所述垂直分组单元12得到的各个垂直组中直线的信息，分别得到多个矩形的信息；

选择单元14，用于从所述矩形获取单元13获取的多个矩形中选择至少一个矩形，将所述至少一个矩形的信息作为所述待检测图像中矩形的信息。

该选择单元14，具体用于过滤掉所述多个矩形中满足如下任一预置条件的矩形，将剩余的矩形作为所述至少一个矩形：矩形面积小于预置面积，矩形的形变量大于或等于预置形变量。

可见，在本实施例的图像的矩形检测装置中，直线检测单元10会检测待检测图像中包含的n条直线的信息，然后直线分组单元11对n条直线进行分组得到多个直线组，使得将近似平行的直线划分到一个直线组；进而垂直分组单元12对多个直线组进行分组得到多个垂直组，使得将近似垂直的直线划分到一个垂直组；这样矩形获取单元13根据各个垂直组中直线的信息就可以得到多个矩形的信息，最终选择单元14选择其中的至少一个矩形的信息作为待检测图像中矩形的信息。本实施例中通过对待检测图像中直线的检测，并结合矩形中直线之间的夹角特征，可以将检测的直线聚合成矩形，从而实现了待检测图像中矩形的检测，这样，即使是待检测图像中矩形的角被遮挡、不完整或变形大时，只要是矩形中各条直线之间的夹角符合矩形的夹角特征，都能被检测到，不会受到限制；且本实施例中矩形检测方法主要是直线检测，并分组的步骤，计算过程比较简单，使得检测花费的时间较少，可以广泛地应用于用户终端，实时地进行矩形的检测。

参考图7所示，在一个具体的实施例中，图像的矩形检测装置除了可以包括如图6所示的结构外，还可以包括：预处理单元15，边缘图像单元16，高斯拉伸单元17和矫正单元18，具体地：

预处理单元15，用于获取待检测的原始图像，对所述待检测的原始图像进行如下至少一种预处理，得到待检测图像：归一化处理，降噪处理，锐化处理，双边滤波处理，灰度处理，高斯拉伸处理。这样，直线检测单元10会针对预处理单元15预处理后得到的待检测图像，检测直线的信息。

边缘图像单元16，用于获取所述待检测图像所包含的边缘图像，确定所述获取的边缘图像分别与所述多个矩形之间的重合度；这样，所述选择单元14，具体用于选择与所述边缘图像单元16获取的边缘图像之间的重合度大于预置值的至少一个矩形。

高斯拉伸单元17，用于如果所述待检测图像中像素的对比度小于预置对比度，对所述待检测图像进行高斯拉伸，使得高斯拉伸后的图像中像素的对比度大于所述预置对比度；则边缘图像单元16，用于获取所述高斯拉伸单元17进行高斯拉伸后的图像所包含的边缘图像。

具体地，高斯拉伸单元17可以通过图像参数获取单元171和拉伸单元172，其中：

图像参数获取单元171，用于获取所述待检测图像的三个色彩通道图像，及计算所述三个色彩通道图像分别对应的像素均值；获取所述待检测图像的灰度图像，及计算所述灰度图像的像素方差；

拉伸单元172，用于如果所述图像参数获取单元171获取的像素方差小于某一阈值，则分别将所述三个色彩通道图像中第一像素值与对应的像素均值之间的差值进行拉伸，得到三个拉伸后的色彩通道图像；合并所述三个拉伸后的色彩通道图像得到拉伸后的待检测图像，其中，某一色彩通道图像中的第一像素值是与对应的像素均值之间的差值在一定范围内的像素值。这样，边缘图像单元16，用于获取所述高斯拉伸单元17中拉伸单元172进行高斯拉伸后的图像所包含的边缘图像。

矫正单元18，用于根据所述选择单元14选择的至少一个矩形的信息，对所述待检测图像进行透视变换得到变换后图像；对所述变换后图像进行矫正。

本发明实施例还提供一种终端设备，其结构示意图如图8所示，该终端设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessing units，CPU)20(例如，一个或一个以上处理器)和存储器21，一个或一个以上存储应用程序221或数据222的存储介质22(例如一个或一个以上海量存储设备)。其中，存储器21和存储介质22可以是短暂存储或持久存储。存储在存储介质22的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对终端设备中的一系列指令操作。更进一步地，中央处理器20可以设置为与存储介质22通信，在终端设备上执行存储介质22中的一系列指令操作。

具体地，在存储介质22中储存的应用程序221包括图像的矩形检测的应用程序，且该程序可以包括上述图像的矩形检测装置中的直线检测单元10，直线分组单元11，垂直分组单元12，矩形获取单元13和选择单元14，及预处理单元15，边缘图像单元16，高斯拉伸单元17和矫正单元18，及高斯拉伸单元17所包括的图像参数获取单元171和拉伸单元172，在此不进行赘述。更进一步地，中央处理器20可以设置为与存储介质22通信，在终端设备上执行存储介质22中储存的图像的矩形检测的应用程序对应的一系列操作。

终端设备还可以包括一个或一个以上电源23，一个或一个以上有线或无线网络接口24，一个或一个以上输入输出接口25，和/或，一个或一个以上操作系统223，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上述方法实施例中所述的由图像的矩形检测装置所执行的步骤可以基于该图8所示的终端设备的结构。

本发明实施例还提供一种存储介质，所述存储介质储存多条指令，所述指令适于由处理器加载并执行如上述图像的矩形检测装置所执行的图像的矩形检测方法。

本发明实施例还提供一种终端设备，包括处理器和存储介质，所述处理器，用于实现各个指令；

所述存储介质用于储存多条指令，所述指令用于由处理器加载并执行如上述图像的矩形检测装置所执行的图像的矩形检测方法。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM)、随机存取存储器RAM)、磁盘或光盘等。

以上对本发明实施例所提供的图像的矩形检测方法、装置及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种图像的矩形检测方法，其特征在于，包括：

检测待检测图像中所包含的n条直线的信息；

根据所述n条直线的信息，对所述n条直线进行分组得到多个直线组，每个直线组包括s条直线，且任意两条直线之间的第一夹角小于第一阈值；其中，所述n为大于s的整数，所述s为大于1的整数；

对所述多个直线组进行分组得到多个垂直组，每个垂直组包括一个直线组对，且直线组对中两个直线组之间直线的第二夹角与垂直角度的绝对差值小于第二阈值；

根据各个垂直组中直线的信息，分别得到多个矩形的信息；

从所述多个矩形中选择至少一个矩形，将所述至少一个矩形的信息作为所述待检测图像中矩形的信息。

2.如权利要求1所述的方法，其特征在于，所述检测待检测图像中所包含的n条直线的信息之前，所述方法还包括：

获取待检测的原始图像，对所述待检测的原始图像进行如下至少一种预处理，得到待检测图像：归一化处理，降噪处理，锐化处理，双边滤波处理，灰度处理，高斯拉伸处理。

3.如权利要求1所述的方法，其特征在于，所述根据所述n条直线的信息，将所述n条直线进行分组到多个直线组，具体包括：

根据所述n条直线的信息确定各条直线的角度；

针对所述n条直线中的第一条直线，如果所述第一条直线的角度与已有的第一直线组中直线的平均角度的绝对差值小于所述第一阈值，将所述第一条直线划分到所述第一直线组；其中，所述第一条直线为所述n条直线中的任一条直线；

如果所述第一条直线的角度与任一个第一直线组中直线的平均角度的绝对差值都大于或等于所述第一阈值，或当前无已有的直线组，将所述第一条直线划分到新的第二直线组中。

4.如权利要求1至3任一项所述的方法，其特征在于，所述从所述多个矩形中选择至少一个矩形，具体包括：

过滤掉所述多个矩形中满足如下任一预置条件的矩形，将剩余的矩形作为所述至少一个矩形：矩形面积小于预置面积，矩形的形变量大于或等于预置形变量。

5.如权利要求1至3任一项所述的方法，其特征在于，所述从所述多个矩形中选择至少一个矩形之前，所述方法还包括：

获取所述待检测图像所包含的边缘图像，确定所述获取的边缘图像分别与所述多个矩形之间的重合度；

所述从所述多个矩形中选择至少一个矩形，具体包括：

选择与所述边缘图像之间的重合度大于预置值的至少一个矩形。

6.如权利要求5所述的方法，其特征在于，所述获取所述待检测图像所包含的边缘图像之前，所述方法还包括：

如果所述待检测图像中像素的对比度小于预置对比度，对所述待检测图像进行高斯拉伸，使得高斯拉伸后的图像中像素的对比度大于所述预置对比度；

所述获取所述待检测图像所包含的边缘图像，具体包括：获取所述高斯拉伸后的图像所包含的边缘图像。

7.如权利要求6所述的方法，其特征在于，所述对所述待检测像进行高斯拉伸之前，所述方法还包括：

获取所述待检测图像的三个色彩通道图像，及计算所述三个色彩通道图像分别对应的像素均值；

获取所述待检测图像的灰度图像，及计算所述灰度图像的像素方差；

如果所述像素方差小于某一阈值，则所述待检测图像中像素的对比度小于预置对比度，所述对所述待检测图像进行高斯拉伸，具体包括：

分别将所述三个色彩通道图像中第一像素值与对应的像素均值之间的差值进行拉伸，得到三个拉伸后的色彩通道图像；合并所述三个拉伸后的色彩通道图像得到拉伸后的待检测图像，其中，某一色彩通道图像中的第一像素值是与对应的像素均值之间的差值在一定范围内的像素值。

8.如权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

根据所述至少一个矩形的信息，对所述待检测图像进行透视变换得到变换后图像；对所述变换后图像进行矫正。

9.一种图像的矩形检测装置，其特征在于，包括：

直线检测单元，用于检测待检测图像中所包含的n条直线的信息；

直线分组单元，用户根据所述n条直线的信息，对所述n条直线进行分组得到多个直线组，每个直线组包括s条直线，且任意两条直线之间的第一夹角小于第一阈值；其中，所述n为大于s的整数，所述s为大于1的整数；

垂直分组单元，用于对所述多个直线组进行分组得到多个垂直组，每个垂直组包括一个直线组对，且直线组对中两个直线组之间直线的第二夹角与垂直角度的绝对差值小于第二阈值；

矩形获取单元，用于根据各个垂直组中直线的信息，分别得到多个矩形的信息；

选择单元，用于从所述多个矩形中选择至少一个矩形，将所述至少一个矩形的信息作为所述待检测图像中矩形的信息。

10.如权利要求9所述的装置，其特征在于，

所述直线分组单元，具体用于根据所述n条直线的信息确定各条直线的角度；针对所述n条直线中的第一条直线，如果所述第一条直线的角度与已有的第一直线组中直线的平均角度的绝对差值小于所述第一阈值，将所述第一条直线划分到所述第一直线组；其中，所述第一条直线为所述n条直线中的任一条直线；如果所述第一条直线的角度与任一个第一直线组中直线的平均角度的绝对差值都大于或等于所述第一阈值，或当前无已有的直线组，将所述第一条直线划分到新的第二直线组中。

11.如权利要求9或10所述的装置，其特征在于，还包括：

边缘图像单元，用于获取所述待检测图像所包含的边缘图像，确定所述获取的边缘图像分别与所述多个矩形之间的重合度；

所述选择单元，具体用于选择与所述边缘图像之间的重合度大于预置值的至少一个矩形。

12.如权利要求11所述的装置，其特征在于，

图像参数获取单元，用于获取所述待检测图像的三个色彩通道图像，及计算所述三个色彩通道图像分别对应的像素均值；获取所述待检测图像的灰度图像，及计算所述灰度图像的像素方差；

拉伸单元，用于如果所述像素方差小于某一阈值，则分别将所述三个色彩通道图像中与对应的像素均值之间的差值在预置范围内的像素进行拉伸，得到三个拉伸后的色彩通道图像；合并所述三个拉伸后的色彩通道图像得到拉伸后的待检测图像。

13.如权利要求9或10所述的装置，其特征在于，还包括：

矫正单元，用于根据所述至少一个矩形的信息，对所述待检测图像进行透视变换得到变换后图像；对所述变换后图像进行矫正。

14.一种存储介质，其特征在于，所述存储介质储存多条指令，所述指令适于由处理器加载并执行如权利要求1至8任一项所述的图像的矩形检测方法。

15.一种终端设备，其特征在于，包括处理器和存储介质，所述处理器，用于实现各个指令；

所述存储介质用于储存多条指令，所述指令用于由处理器加载并执行如权利要求1至8任一项所述的图像的矩形检测方法。