CN102289810B

CN102289810B - 高分辨率大数量级图像的快速矩形检测方法

Info

Publication number: CN102289810B
Application number: CN2011102239117A
Authority: CN
Inventors: 吴哲; 赵杰; 孔庆杰; 刘欢喜; 刘允才
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2011-08-05
Filing date: 2011-08-05
Publication date: 2013-02-27
Anticipated expiration: 2031-08-05
Also published as: CN102289810A

Abstract

本发明涉及一种高分辨率大数量级图像的快速矩形检测方法，包括步骤：首先预处理每个边界像素点集得到以边界像素为中心的十字点集；之后利用PPHT算法并通过和周围Hough参数比较得到一条直线；然后向直线两边搜索，删除在直线上的边界点像素所属于的整个十字点集。循环此过程直到剩余少量的像素。在提取的直线的基础上，利用建立的矩形规则（先检测一对精确匹配的平行线，然后再检测出不需完全匹配的直角边），检测出图像中的矩形。本发明对于背景区域的灰尘所造成的虚假边界和透镜畸变带来的干扰有很好的鲁棒性，不受不同矩形尺寸的限制，为现代化大尺寸矩形板材工业生产提供了一种可靠的矩形检测方法。

Description

高分辨率大数量级图像的快速矩形检测方法

技术领域

本发明涉及一种利用机器视觉和图像处理技术，具体地涉及一种高分辨率大数量级图像的快速矩形检测方法。

背景技术

矩形检测在计算机视觉领域有很广泛的应用，如遥感图像中楼房的检测，车牌的检测等方面。在实际的工业生产中，超大尺寸玻璃的流水线作业需要我们精确的检测出矩形玻璃的位置。工厂使用高分辨率的扫描摄像机获取玻璃等板材边界点的二维坐标，需要一种实时并且精确的矩形检测算法来检测出像素坐标中的矩形位置，以便于后续的生产流程。通常，由于背景区域的灰尘等因素，导致背景有许多错误边界被提取出来，这些错误边界的像素与正确边界的像素混在一起，对矩形的识别造成干扰。面对多种的矩形板材的尺寸，需要一种对多种矩形尺寸具有鲁棒性的检测方法。此外，对于获取的高分辨率的大数量级的数据，边界像素由于透镜畸变等因素并不是一条直线，而是有细微的弯曲，在高分辨率大数量级的图像中，这种弯曲很容易导致传统的直线检测方法（如Galambos等人于1999提出的Progressive Probabilistic Hough Transform方法）失效。因此要求矩形检测方法能够有效率的快速检测矩形的位置，同时不能影响精确性，这样才能应用到实际生产中。

经过对现有技术文献的查找发现，大部分的现有的矩形检测算法都是基于直线检测的方法。Tao等人于2002发表在International Conference on Signal Processing上的论文A new approach of extract rectangle building from aerial urban images（一种从城市遥感图像提取矩形的新方法）提出一种基于参数的提取遥感图像中矩形建筑的方法。在他们的方法中，首先用分割数学的方法提取线。然后用起始点、终止点和方向找出平行线，再用找出的平行线对合成矩形结构。这种方法效率不高，而且面对透镜畸变等容易受到干扰。Jung等人于2004年发表在Computer Graphicsand Image Processing的论文Rectangle detection based on a windowed HoughTransform（基于窗口Hough变换的矩形检测方法）提出了一种基于窗口Hough变换的举行检测方法。这种算法利用在Hough域内的几何特征直接在Hough空间内进行矩形检测。这种方法可以适用于未知矩形尺寸和方向的问题，但在面对含有由灰尘导致的大量虚假边界的时候，得不到希望的结果。此外，以上的这些算法应用的领域主要是遥感图像和车牌识别等方向。而这些领域针对的图像均为正常分辨率的密集矩阵，当应用这些算法到我们要研究的实际工业生产中的大尺寸矩形板材（如玻璃）检测问题时，面对高分辨率的大数量级稀疏矩阵，算法的检测效果和效率都会很差。

发明内容

本发明的目的在于针对实际工业生产中大尺寸矩形板材（如玻璃）检测问题中现有技术的不足，提出一种基于改进的渐进概率Hough变换直线提取方法的矩形检测方法。该方法能在含有大量虚假边界点和透镜畸变等干扰条件下，从高分辨率大数量级的稀疏矩阵中快速检测出不同尺寸的大矩形。

为实现上述目的，本发明首先对每一个边界像素坐标处理得到一个十字点集；然后通过PPHT算法提取出Hough的峰值，然后找到峰值对应的最长直线；然后沿直线搜索每一个非零边界像素，将该点属于的十字点集从边界点集合中删除；循环搜索提取出所有的满足条件的直线；然后从提取的直线中找出一对精确匹配的平行线对；再找到两条一端点精确匹配的垂直边，最后计算得到矩形的四个端点，完成矩形检测。

具体地，根据本发明的一个方面，一种高分辨率大数量级图像的快速矩形检测方法，包括如下步骤：

步骤S1：缩小坐标的数量级，将每个边界点的n个4邻域像素坐标像素的像素值置为第一数值以得到一个十字点集，其中，n的值通过先验知识得到；将得到的所述十字点集中的像素存入边界点像素集合，并将不属于所述十字点集的像素置为第二数值；

步骤S2：利用渐进概率霍夫变换算法检测到霍夫的峰值，得到与所述边界点像素集合中的点对应的直线；

步骤S3：从所述边界点像素集合中的点初始点像得到的斜率正负方向搜索，每找到一个非零像素，查询计算该像素对应的十字点集包括的所有像素，将它们从所述边界点像素集合中删除，直到达到端点像素；回到所述步骤S2，进行循环直到剩余像素数少于原所有像素的一个比值；

步骤S4：计算由所述步骤S2以及步骤S3得到的直线的欧氏长度和斜率；从中找出一对平行且长度相等的直线；计算这对平行线的中点连线的斜率和欧氏长度，如果中点连线与平行线垂直，且长度大于最小距离阈值，则进行步骤S5，否则在本步骤中循环搜索；

步骤S5：从直线集合里边找到一条两端点精确匹配的垂直边，如果有则继续找一条一端点精确匹配的垂直边，找到则计算矩形端点完成矩形检测，否则则判断所述边界点像素集合内不含一个相对完整的矩形，其中，所述直线集合包括在所述步骤S2中所储存的直线。

优选地，在所述步骤S1中，根据透镜畸变带来的弯曲程度确定所述n。优选地，所述步骤S2包括如下步骤S20：

找到与所述边界点像素集合中的点对应的十字点集的中心像素，在得到的斜率的正负方向进行搜索得到一条直线的端点像素，并且计算该直线的曼哈顿长度，同时，在得到斜率的邻近斜率上进行相同的处理，对得到的距离进行相比并将最大长度的直线确定为与所述边界点像素集合中的点对应的直线；如果该直线长度大于一个最小长度阈值，则储存该直线。

优选地，所述步骤S20包括如下步骤：

步骤S201：从所述边界点像素集合中随机选出一点p_i(x_i，y_i)，利用公式ρ_i=x_icosθ_i+y_isinθ_i将p_i投影到霍夫平面，其中，ρ_i为原点O到p_i属于直线的距离，θ_i为连线O-p_i与x轴夹角；从像素集合N中删除p_i；

步骤S202：更新霍夫平面坐标H(ρ_i，θ_i)=H(ρ_i，θ_i)+1；如果H(ρ_i，θ_i)>阈值Threshold，进入步骤S203，否则回到所述步骤S201；

步骤S203：通过建立的映射关系得到p_i对应的十字点集C_j的中心像素p_i0；从p_i0开始，沿着±θ_i方向搜索，每到达一个属于图像的非零像素，如果步长n_step＞最大间隔MaxGap，到达端点，否则继续搜索；得到直线的端点像素，计算直线的曼哈顿长度并存储；同时，对于θ_i±k_angle的方向做相同的搜索，k_angle为搜索的邻域；通过比较得到拥有最大长度的直线，如果直线的长度大于最小的长度阈值，即为检测出的一条有效直线，存入所述直线集合。

本发明采用改进的渐进概率Hough变换算法（PPHT），通过其处理高分辨率大尺寸的边界点像素集，将得到的直线通过矩形合成算法，检测出图像中的矩形。可广泛应用于超大尺寸玻璃等板材的实时生产过程，具有较好的鲁棒性，属于模式识别中的目标检测领域。

本发明与现有的矩形检测方法的显著效果在于，实现了高分辨率大数量级图像的快速矩形检测，可将本技术应用到实际的大尺寸矩形板材（如玻璃）工业生产中，具有思路简单，精确度高，鲁棒性强，耗时很少等优点。本方法对于背景区域的灰尘所造成的虚假边界带来的干扰有很好的鲁棒性，并且可在透镜畸变使得边界直线弯曲的情况下很好的完成直线检测，不受不同矩形尺寸的限制，消除了实际大尺寸矩形板材工业生产中矩形检测的主要障碍，克服了以往技术难以克服的难点，真正做到了自动生产和实时检测，为现代化大尺寸矩形板材工业生产提供了一种可靠的矩形检测方法。

附图说明

图1本问题的一些典型图例；

图2本发明方法流程图；

图3边界点十字生长后效果图；

图4映射关系示意图。

图5直线提取结果。

图6矩形检测结果。

具体实施方式

以下结合附图以及实施例对本发明的技术方案作进一步详细说明。以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

本发明所解决问题中的一些典型图例如图1所示，本发明方法流程如图2所示，在本发明的第一实施例中，所述高分辨率大数量级图像的快速矩形检测方法包括如下步骤（优选地在本发明的实现过程中可以使用C++语言进行编程）：

步骤S1：预处理边界点像素得到十字点集

首先处理大尺寸的边界点数据，在不影响精确性的情况下缩小坐标的数量级N＝{P_i/k}，将每个边界点的n个4邻域像素坐标{(x_i+n，y_i)，(x_i，y_i+n)，(x_i-n，y_i)，(x_i，y_i-n)}像素的像素值置为第一数值，在本实施例中，所述第一数值优选地为1，n值通过先验知识得到。这样得到一个十字点集C_i，不同的n可以针对不同的透镜畸变带来的弯曲程度，本例中n取6。将得到的像素存入边界点像素集合N，把剩余区域的像素值置为第二数值，优选地，所述第二数值为0，得到边界点十字生长后的图像，效果可见图3。在一个变化例中，还可以将每个边界点的n个4邻域像素坐标{(x_i+n，y_i)，(x_i，y_i+n)，(x_i-n，y_i)，(x_i，y_i-n)}置为255，n值通过先验知识得到。

步骤S2：从图像中检测出有效直线。找到与所述边界点像素集合中的点对应的十字点集的中心像素，在得到的斜率的正负方向进行搜索得到一条直线的端点像素，并且计算该直线的曼哈顿长度，同时，在得到斜率的邻近斜率上进行相同的处理，对得到的距离进行相比并将最大长度的直线确定为与所述边界点像素集合中的点对应的直线；如果该直线长度大于一个最小长度阈值，则储存该直线。

具体地，从点集中随机取出一个边界点投影到Hough平面，在Hough矩阵中收集每个边界点的Hough参数。循环取点，直到某个Hough坐标值达到了设定的阈值Threshold，本例中Threshold=80。然后得到该Hough参数对应的直线参数，这个参数对应的一条最长的直线。更为具体地通过执行如下步骤从图像中检测出有效直线：

步骤S21：从N中随机选出一点p_i(x_i，y_i)，利用公式ρ_i=x_icosθ_i+y_isinθ_i将p_i投影到霍夫平面，其中ρ_i为原点O到pi属于直线的距离，θ_i为连线O-p_i与x轴夹角。从像素集合N中删除p_i。

步骤S22：更新霍夫平面坐标H(ρ_i，θ_i)=H(ρ_i，θ_i)+1。如果H(ρ_i，θ_i)>阈值Threshold，进入步骤S23，否则回到所述步骤S21。

步骤S23：通过建立的映射关系得到p_i对应的十字点集C_j的中心像素p_i0。从p_i0开始，沿着±θ_i方向搜索，每到达一个属于图像的非零像素，如果步长n_step>最大间隔MaxGap，到达端点，否则继续搜索；得到直线的端点像素，计算直线的曼哈顿长度并存储；同时，对于θ_i±k_angle的方向做相同的搜索，k_angle为搜索的邻域；通过比较得到拥有最大长度的直线，如果直线的长度大于最小的长度阈值，即为检测出的一条有效直线，存入所述直线集合。

步骤S3：删除直线通过的像素及其十字点集的所有像素

重复所述步骤S2中搜索端点的过程，每到达一个属于图像的非零像素，通过建立的映射表查找该像素对应的十字点集包括的所有像素，将其从像素集合中删除，直到达到端点像素，然后回到第二步，循环直到剩余像素数少于原所有像素的一个比值r，本例中r=0.1。这样可以使检测出一条直线时，可以将所有的在直线附近的像素全删除掉，从而提高效率。

我们需要建立这样一个映射关系，即通过一个像素p_i(x_i，y_i)，可以通过映射快速度找到这个像素属于的十字点集C_j，进而找到所有属于这个十字点集的像素。由于之前拓展边界点像素到十字点集的过程是顺序进行的，我们只需要通过映射获得该像素p_i(x_i，y_i)在像素集合N的序号即可。由于像素的数量级很大，建立一个Hash表，映射关系为M_i＝(x_i+y_i)％1999，在M_i中存储该像素在N中的序号，当序号数量超过建立表的大小时存储到公共区域P。然后可以得到十字点集的序号j，j＝i％((n-1)*4+1)。这样可以得到属于C_i的每个像素。映射关系如图4所示。

当通过映射表查找p_i(x_i，y_i)对应的C_i时，首先计算得到M_i，然后对每个M_i内的序号i进行访问并验证，这样才能保证i是该像素所对应的正确的序号。

步骤S4：找出一对精确的平行直线

提取的直线集合为L，如图5所示。计算由第2、3步得到的直线的欧氏长度和斜率。从中找出一对平行且长度相等的直线。计算这对平行线的中点连线的斜率和欧氏长度，如果中点连线与平行线垂直，且长度大于最小距离阈值，则进行第5步，否则循环搜索。

步骤S5：从直线集合里边找到一条一端点精确匹配的垂直边，如果有则继续找一条一端点精确匹配的垂直边，找到则计算矩形端点完成矩形检测，否则该点集内不含一个相对完整的矩形。

所述步骤S4和S5的具体算法为：

a)对L中每条直线l_i＝{(x_i1，y_i1)，(x_i2，y_i2)}，计算欧氏长度Length_i和角度Angle_i，并对Angle_i进行标准化。

b)对L进行搜索，搜索一对直线和l_j，使得|Length_i-Length_j|<Th_L，且|Angle_i-Angle_j|<Th_A，Th_L和Th_A分别为直线和角度匹配阈值，本例中为10和1。如找到，考察其中点p_m1和p_m2连线斜率，如果连线与平行线垂直，则找到平行线对，进入下一步。如果没有找到，矩形检测失败，源数据中不含完整的矩形。

c)对L进行搜索，找到直线l_o，使得||Angle_o-Angle_p|-90|<Th_A，其中Angle_p为平行线的角度，且要求l_o的两个端点与平行线的一组端点距离均小于Th_L，这样找到了一条完全匹配的垂直线，进入下一步，否则，矩形检测失败，回到b)。

d)对L进行搜索，找到直线l_o，使得||Angle_o-Angle_p|-90|<Th_A，其中Angle_p为平行线的角度，且要求l_o的一个端点与平行线的一组端点距离均小于Th_L，这样找到了一条不需完全匹配的垂直线，进入下一步，否则，矩形检测失败，回到b)。

e)将矩形标准化，得到四个端点坐标，算法结束。

如图6以及如下的表1所示，

表1

Table.计算耗时

本实施例中参数固定，在有大量虚假边界线干扰的情况下，所有样例矩形均已精确检出，计算时间均小于25ms。

在本发明的第二实施例中，所述高分辨率大数量级图像的快速矩形检测方法包括如下步骤：

步骤S1：处理大尺寸的边界点像素集合，在不影响精确性的情况下缩小坐标的数量级，将每个边界点的n个4邻域像素坐标置为255，n值通过先验知识得到。每个边界点像素通过这种方式处理得到一个十字点集。将得到的像素存入边界点像素集合；

步骤S2：利用渐进概率霍夫变换算法（PPHT）检测到霍夫的峰值，得到该点对应的直线参数。找到此像素对应的十字点集的中心像素，在得到的斜率的正负方向进行搜索得到一条直线的端点像素，并且计算此直线的曼哈顿长度。同时，在得到斜率的邻近斜率上进行相同的处理，将得到的距离相比得到最大距离的直线，即为该点对应的直线。如果此直线长度大于一个最小长度阈值，储存这条直线。

步骤S3：从该点初始点像得到的斜率正负方向搜索，每找到一个非零像素，查询计算该像素对应的十字点集包括的所有像素，将它们从边界点像素集合中删除，直到达到端点像素。回到第2步，进行循环直到剩余像素数少于原所有像素的一个比值。

步骤S4：计算由所述步骤S3、步骤S4得到的直线的欧氏长度和斜率。从中找出一对平行且长度相等的直线。计算这对平行线的中点连线的斜率和欧氏长度，如果中点连线与平行线垂直，且长度大于最小距离阈值，则进行第5步，否则循环搜索。

步骤S5：从直线集合里边找到一条两端点精确匹配的垂直边，如果有则继续找一条一端点精确匹配的垂直边，找到则计算矩形端点完成矩形检测，否则该点集内不含一个相对完整的矩形。

所述第二实施例也可以被理解为所述第一实施例的一个具体实施方式或者优选例。

Claims

1.一种高分辨率大数量级图像的快速矩形检测方法，其特征在于，包括如下步骤：

步骤S5：从直线集合里边找到一条两端点精确匹配的垂直边，如果有则继续找一条一端点精确匹配的垂直边，找到则计算矩形端点完成矩形检测，否则则判断所述边界点像素集合内不含一个相对完整的矩形，其中，所述直线集合包括在所述步骤S2中所储存的直线；

所述步骤S2包括如下步骤S20：

找到与所述边界点像素集合中的点对应的十字点集的中心像素，在得到的斜率的正负方向进行搜索得到一条直线的端点像素，并且计算该直线的曼哈顿长度，同时，在得到斜率的邻近斜率上进行相同的处理，对得到的距离进行相比并将最大长度的直线确定为与所述边界点像素集合中的点对应的直线；如果该直线长度大于一个最小长度阈值，则储存该直线；

所述步骤S20包括如下步骤：

步骤S203：通过建立的映射关系得到p_i对应的十字点集C_j的中心像素p_i0；从p_i0开始，沿着±θ_i方向搜索，每到达一个属于图像的非零像素，如果步长n_step>最大间隔MaxGap，到达端点，否则继续搜索；得到直线的端点像素，计算直线的曼哈顿长度并存储；同时，对于θ_i±k_angle的方向做相同的搜索，k_angle为搜索的邻域；通过比较得到拥有最大长度的直线，如果直线的长度大于最小的长度阈值，即为检测出的一条有效直线，存入所述直线集合。

2.根据权利要求1所述的高分辨率大数量级图像的快速矩形检测方法，其特征在于，在所述步骤S1中，根据透镜畸变带来的弯曲程度确定所述n。