CN1979528A

CN1979528A - 线检测方法及设备

Info

Publication number: CN1979528A
Application number: CN 200510128784
Authority: CN
Inventors: 游亚军; 胥立丰; 马小勇
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-12-02
Filing date: 2005-12-02
Publication date: 2007-06-13
Anticipated expiration: 2025-12-02
Also published as: CN100428270C

Abstract

本发明的一个目的是提供一种比常规方法比如Hough Transform Method更加有效且精确地检测线的新颖的方法和设备。本方法和设备基于边缘方向的分类，具体地，边缘被分为水平和垂直边缘，由此导致了在每个含方向边缘图中，实线形成了长连通元素，而文本或其它目标形成了一些分离的元素。根据本发明的一方面，线检测方法包括：含方向边缘图计算步骤，用于基于输入图像计算水平边缘图和垂直边缘图；候选线确定步骤，用于基于每一个所计算的水平边缘图和所计算的垂直边缘图确定候选线；以及线确定步骤，用于基于所述候选线确定线的位置。

Description

线检测方法及设备

技术领域

本发明涉及线检测方法和设备、检测线的程序和记录该程序的存储媒体。

背景技术

线检测是图像处理的基本问题，更一般地说，涉及曲线检测问题。已有多种应用需要线检测。比如：

·在预扫描图像中，线可能被检测以确定纸张的边缘。

·在金融数据图像处理中线位置可提供参考以查找表格、重要的数字和签名。

·在用于数字照相机图像的OCR(光学字符识别)中，图像边缘线检测可用于检测位置和倾斜角以用于图像校正。

对于线检测人们已经做出了许多努力。如在US6292583和US6111993中描述的Hough Transform可能是最重要并且最广泛使用的线检测方法。但如每个人所知，这种方法对于复杂的图像并不十分稳固。此外，如果期望获取线的精确位置则它具有较大的计算量。而数字图像通常都非常大，且具有复杂的内容。

此外，US6654495通过使用行程分析处理检测线，但这种使用垂直和水平行程的行程分析只可能检测垂直和水平线。

考虑到已有技术的上述缺陷，要求找到其它更有效且简单的方法。

发明内容

本发明的一个目的是提供一种比常规方法比如Hough变换方法更加有效且精确地检测线的新颖的方法和设备。本方法和设备基于边缘方向的分类，具体地，边缘被分为水平或垂直边缘，由此导致了在每个含方向边缘图中，实线形成了长连通元素，而文本或其它对象形成了一些分离的元素。

根据本发明的一方面，一种线检测方法，包括：

含方向边缘图计算步骤，用于基于输入图像计算水平边缘图和垂直边缘图；

候选线确定步骤，用于基于每一个所计算的水平边缘图和所计算的垂直边缘图中的边缘像素确定候选线；以及

线确定步骤，用于基于所述候选线确定线的位置。

本发明将边缘图分类为两个含方向边缘图，即水平边缘图和垂直边缘图，由此可以比传统方法更简单准确地进行线检测。具体地，

(1)同一条线的边缘像素仅会出现在一种含方向边缘图中，因此本发明对该含方向边缘图中的候选线进行合并，而无需影响其它方向的候选线。

(2)第二，边缘分类对识别候选线非常有利。对于许多交叉线例如表格线，在边缘图中水平线与垂直线彼此交叉。连通元素分析方法并不能识别哪个连通元素是实线边缘的连通元素。然而，本发明在边缘分类之后将垂直线和水平线分离到不同的边缘图中，因此垂直线和水平线不会彼此交叉，并且在每个含方向边缘图中更容易识别线，因此可由本发明准确地识别出。

(3)另外边缘分类同样对合并候选线十分有利，这是因为在每个含方向边缘图中搜索区域将变少，候选线的数量也变少。

优选的，所述含方向边缘图计算步骤包括如下步骤：计算所述输入图像的梯度图；和基于所计算的梯度图计算水平边缘图和垂直边缘图。

优选的，使用Sobel算子计算所述输入图像的梯度图。

优选的，所述含方向边缘图计算步骤包括如下步骤：

使用如下的等式计算水平梯度和垂直梯度：

gradX(i，j)＝grad(i，j+1)-grad(i，j-1)

gradY(i，j)＝grad(i+1，j)-grad(i-1，j)

这里gradX(i，j)指目标像素(i，j)的水平梯度，gradY(i，i)指目标像素(i，j)的垂直梯度，grad(i，j+1)指像素(i，j+1)的梯度，grad(i，j-1)指像素(i，j-1)的梯度，grad(i+1，j)指像素(i+1，j)的梯度，和grad(i-1，j)指像素(i-1，j)的梯度；

使用如下表达式计算水平边缘图和垂直边缘图：

和

这里，EdgeX(i，j)意味着水平边缘图的目标像素(i，j)，EdgeY(i，j)意味着垂直边缘图的目标像素(i，j)。

优选的，其中所述候选线确定步骤包括如下步骤：通过连接每一个所计算的水平边缘图和垂直边缘图中的边缘像素搜索线片断；合并搜索到的线片断作为候选线。

优选的，所述候选线确定步骤包括清除其长度小于预定像素范围的线片断。优选的，该预定像素范围是6-10个像素。

优选的，所述合并步骤基于线片断之间的位置关系及其倾斜角合并线片断。

优选的，如果相邻的线片断具有小于预定像素范围的间隙并具有相同的倾斜角，则合并相邻的线片断。优选的，预定像素范围是4-8个像素。

对于每个含方向边缘图本发明也引入了根据位置和倾斜角搜索并合并属于相同线的线片段的处理。这个处理能够消除线断点、倾斜、弯曲和交叉的难点。

具体地，边缘像素连接步骤包括基于候选线之间的位置关系及其倾斜角合并线片断。如果相邻的线片断具有小于预定像素范围的间隙并具有相同的倾斜角，则合并相邻的线片断，预定像素范围是4-8个像素。

使用这些措施容易非常精确地定位线，特别适合于线断开、倾斜、小弯曲和交叉。

在另一方面，本发明提供一种线检测设备，包括：

含方向边缘图计算装置，用于基于输入图像计算水平边缘图和垂直边缘图；

候选线确定装置，用于基于每一个所计算的水平边缘图和所计算的垂直边缘图中的边缘像素确定候选线；以及

线确定装置，用于所述候选线确定线的位置。

优选的，所述含方向边缘图计算装置被配置成：计算所述输入图像的梯度图；和基于所计算的梯度图计算水平边缘图和垂直边缘图。

优选的，使用Sobel算子计算所述输入图像的梯度图。

优选的，所述含方向边缘图计算装置被配置成：

使用如下的等式计算水平梯度和垂直梯度：

gradX(i，j)＝grad(i，j+1)-grad(i，j-1)，和

gradY(i，j)＝grad(i+1，j)-grad(i-1，j)

这里gradX(i，j)指目标像素(i，j)的水平梯度，gradY(i，j)指目标像素(i，j)的垂直梯度，grad(i，j+1)指像素(i，j+1)的梯度，grad(i，j-1)指像素(i，j-1)的梯度，grad(i+1，j)指像素(i+1，j)的梯度，和grad(i-1，j)指像素(i-1，j)的梯度；以及

使用如下表达式计算水平边缘图和垂直边缘图：

和

优选的，所述候选线确定装置被配置为：通过连接每一个所计算的水平边缘图和垂直边缘图中的边缘像素搜索线片断；和合并搜索到的线片断作为候选线。

优选的，所述候选线确定装置被进一步被配置为清除其长度小于预定像素范围的线片断。优选的，预定像素范围是6-10个像素。

优选的，所述合并装置基于线片断之间的位置关系及其倾斜角合并线片断。

优选的，如果相邻的线片断具有小于预定像素范围的间隙并具有相同的倾斜角，则合并相邻的线片断。优选的，预定的像素范围是4-8个像素。

本发明也提供一种执行线检测方法的程序和存储用于执行上述线检测方法的步骤的程序的存储媒体。

通过下文结合附图的描述将会清楚本发明的其它特征和优点。

附图说明

并入在本说明书中并构成它的一部分的附图示出了本发明的实施例，并连同描述一起用于解释本发明的原理。

附图1所示为根据本发明检测在输入图像中的线的流程图。

附图2a和2b分别所示为形成水平边缘的垂直梯度像素和形成垂直边缘的水平梯度像素。

附图3所示为由原始表格图像形成的垂直和水平边缘图。

附图4所示为由模拟图像形成的垂直和水平边缘图。

附图5a-5d分别所示为由4种实际图像产生的线片断。

附图6所示为基于候选线之间的位置关系及其倾斜角合并候选线的一个实例。

附图7所示为片断合并处理。

附图8a-8c所示为在使用根据本发明的线检测方法之后表格线、名片图像和分离线的轮廓和条形码线的一些检测结果。

附图9所示为本发明的应用。

附图10所示为实施根据本发明的线检测方法的线检测设备。

具体实施方式

现在下文参考附图详细地描述本发明的优先实施例。

附图1所示为根据本发明的最佳实施例检测线的流程图，它的主要步骤如下：

步骤1：计算输入图像的梯度图。

步骤2：计算含方向边缘图。

步骤3：在每个边缘图中搜索候选线的连通元素。

步骤4：基于位置和倾斜角合并候选线。

步骤5：判断候选线是否是实线。

附图1的步骤1涉及计算输入图像的梯度图。

各种边缘检测算子可用于检查每个像素的相邻关系并限定其灰度级的变化率以计算边缘图，这些是一般知识，因此在此不再详细描述。本最佳实施例使用Sobel算子计算输入图形的梯度图，使用Otsu’s方法计算阈值，以及根据梯度图和阈值获得边缘图。可存储梯度图以备后来使用，这将在下文描述。

附图1的步骤2涉及计算含方向边缘图。

边缘像素可根据梯度方向分为两类：水平边缘像素和垂直边缘像素，如附图2a和2b所示。一般地，几个规则地设置的垂直边缘像素出现在水平线的位置上，而水平边缘像素出现在垂直线位置上。

基于上述的知识，本发明可以从梯度图中获得水平边缘图和垂直边缘图。

2.1)使用不同的算子计算水平梯度图“gradX”和垂直梯度图“gradY”：

gradX(i，j)＝grad(i，j+1)-grad(i，j-1)

gradY(i，j)＝grad(i+1，j)-grad(i-1，j)

这里gradX(i，j)指目标像素(i，j)的水平梯度，

gradY(i，j)指目标像素(i，j)的垂直梯度，

grad(i，j+1)指像素(i，j+1)的梯度，

grad(i，j-1)指像素(i，j-1)的梯度，

grad(i+1，j)指像素(i+1，j)的梯度，和

grad(i-1，j)指像素(i-1，j)的梯度。

2.2)使用如下表达式将梯度图划分为水平边缘图“EdgeX”和垂直边缘图“EdgeY”；

这里，EdgeX(i，j)意味着目标像素(i，j)被确定为水平边缘像素，以及EdgeY(i，j)意味着目标像素(i，j)被确定为垂直边缘像素。

因此，如果gradX(i，j)的绝对值大于gradY(i，j)的绝对值，则可知像素(i，j)是水平边缘像素，并且Edge(i，j)＝1，而EdgeY(i，j)＝0，反之亦然。

然后，获得两个二值化的含方向边缘图，其中搜索出规则地设置的像素作为后面的候选线。附图3所示为实际的数字照相机图像的垂直和水平边缘图，其中白点是边缘像素。附图4所示为模拟图像的垂直和水平边缘图。

在此，本发明提供使用边缘梯度界定水平或垂直边缘，它不要求水平或垂直边缘是绝对水平或垂直。在本实施例中，具有相对于参考水平线小于45°的角度的这些边缘被定义为水平边缘，而具有大于45°的角度的这些边缘被定义为垂直边缘，如附图4所示。因此，本发明不仅可检测几乎垂直和水平的线，而且可以容易地检测各种角度的所有的线。

附图1的步骤3涉及分别在两个含方向边缘图中搜索候选线的连通元素。在本实施例中搜索区被选择为8邻域。对于本领域普通技术人员显然的是，除了在此使用的连通元素定位方法之外，形成闭合的连通边界的其它的边缘像素连接处理也可使用。

作为最佳的步骤，附图1的步骤4是将作为候选线的这些线片断合并。

从上述的边缘图中，可以看出仅仅线的边缘像素位于连通区域中，而那些文本边缘分散在不同的区域中。因此，一般地通过搜索连通元素足够定位这些线。

但在应用中，我们必须考虑如下的实际因素：

·在线中可能有一些断点。

·线通常是倾斜的，倾斜的线造成了锯齿形。

·一些小的曲线可能存在于线中。

·表格线是交叉并且连接的。

线的上述这些特征可能导致线作为一些分离的短线出现，即在此所说的线片断，这些仅可能出现在线中。附图5a所示为位于边缘上的线的一些断点；附图5b所示为锯齿形的两条线；附图5c所示为与其它的大致垂直的线交叉并连接的两条大致水平线。

因此需要解决这些难点的方法，在此本实施例提出了新的处理作为最佳的步骤4以根据这些特征将这些短线片断合并到长线中。

·位置关系

属于相同线的两个线片断彼此靠近，并且一个的后端必须接近另一个前端。

·倾斜角

属于相同线的两个线片断必须具有大致倾斜的角度(在附图6中的θ1和θ2)，并且合并的片断也具有相同的倾斜角(附图6中的θ)。

附图7所示为在附图1中的合并步骤4的详细处理。

整个处理包括：

步骤1：对其长度小于8个像素的那些片断(连通元素)进行滤去或清除；

步骤2：判断两个片断中的任何片断是否满足上文描述的两个合并条件，即；

片断间隙＜6(像素)；

θ1＝θ2＝θ；

步骤3：如果两个线片断满足这两个条件，则本发明将认为它们位于相同线上并将它们合并到一个中，如附图6所示。

步骤4：判断所有的片断是否都被合并了。

要清除的片断的像素和在线片断之间的片断间隙都可根据实际的要求(比如图像是否清楚，以及图像是否包含表格等)改变。通常，要清除的片断(连通元素)的长度被选择为小于6-10个像素，优选小于8个像素。片断间隙被选择小于4-8个像素，优选小于6个像素。

这种新颖的片断合并处理可解决线断点、倾斜、弯曲和交叉的难点。

在合并了所有的线片断之后，在附图1的步骤5中，通过其长度可以确定在水平边缘图或垂直边缘图中合并的片断是否是实际的线。如果判断合并的片断是实线，则我们获得了线位置。否则，根据当前的线检测方法将扔掉合并后的片断。

请注意，用于判断实线的实际长度的参考长度可通过本领域普通技术人员根据经验和/或其它应用要求确定，在本发明中将不再描述。

结果

附图8a-8c所示为使用上述线检测方法的一些检测结果，从附图8a-8c中可分别看出表格线、名片图像和分离线的轮廓和条形码线被满意地检测出。

应用

本发明可用于例如在投影如附图9所示的DC-Bina(数字照相机图像二值化)中定位不同的线或表格线，并且这些不同的线或表格线可能干扰文本检测或文本合并，在此可通过使用本发明将其删除。

在上述的描述中，本发明已经描述了在作为方法或软件程序的优选实施例中。关于本发明，容易理解的是本发明优选用于任何公知的计算机系统比如个人计算机上。因此，计算机系统将不再详细讨论。还要指出的是图像可以直接输入到计算机系统(例如通过数字照相机)或在输入到计算机系统之前数字化(例如通过扫描)。

此外，正如在此所使用，具有在其中存储用于执行上述方法的计算机程序的计算机可读存储媒体例如可以包括磁性存储媒体比如磁盘(比如软盘)或磁带；光存储媒体比如光盘、光带或机器可读的条形码；固态电子存储器件比如随机存取存储器(RAM)；或用于存储计算机程序的任何其它物理器件或媒体。

此外，本领域普通技术人员容易认识到也可以以硬件设计上述的软件的等同物。

附图10所示为实施上述方法的线检测设备，包括：

含方向边缘图计算装置100，用于基于输入图像计算水平边缘图和垂直边缘图；

候选线确定装置101，用于基于每一个所计算的水平边缘图和所计算的垂直边缘图确定候选线；以及

线确定装置102，用于基于所述候选线确定线的位置。

含方向边缘图计算装置100可利用Sobel滤波器计算梯度图和计算阈值，由此根据梯度图和阈值获得边缘图。线确定装置102包括和通过连接每一个所计算的水平边缘图和垂直边缘图中的边缘像素搜索线片断的搜索装置和合并搜索到的线片断作为候选线的合并装置。

参考特定的实施例已经描述了本发明。应该理解的是本发明并不限于上文的描述，本领域普通技术人员在不脱离本发明的精神和范围的前提下可对本发明进行各种改变和修改。

Claims

1.一种线检测方法，包括：

候选线确定步骤，用于基于每一个所计算的水平边缘图和垂直边缘图中的边缘像素确定候选线；以及

线确定步骤，用于基于所述候选线确定线的位置。

2.根据权利要求1所述的线检测方法，其中所述含方向边缘图计算步骤包括如下步骤：

计算所述输入图像的梯度图；和

基于所计算的梯度图计算水平边缘图和垂直边缘图。

3.根据权利要求2所述的线检测方法，其中使用Sobel算子计算所述输入图像的梯度图。

4.根据权利要求2所述的线检测方法，其中所述含方向边缘图计算步骤包括如下步骤：

使用如下的等式计算水平梯度和垂直梯度：

gradX(i，j)＝grad(i，j+1)-grad(i，j-1)，和

gradY(i，j)＝grad(i+1，j)-grad(i-1，j)

使用如下表达式计算水平边缘图和垂直边缘图：

和

这里，EdgeX(i，j)指水平边缘图的目标像素(i，j)，EdgeY(i，j)指垂直边缘图的目标像素(i，j)。

5.根据权利要求1所述的线检测方法，其中所述候选线确定步骤包括如下步骤：

通过连接每一个所计算的水平边缘图和垂直边缘图中的边缘像素搜索线片断；和

合并搜索到的线片断作为候选线。

6.根据权利要求5所述的线检测方法，其中所述候选线确定步骤还包括清除其长度小于预定像素范围的线片断。

7.根据权利要求6所述的线检测方法，其中预定像素范围是6-10个像素。

8.根据权利要求5所述的线检测方法，其中所述合并步骤基于线片断之间的位置关系及其倾斜角合并线片断。

9.根据权利要求8所述的线检测方法，其中如果相邻的线片断具有小于预定像素范围的间隙并具有相同的倾斜角，则合并相邻的线片断。

10.根据权利要求9所述的线检测方法，其中所述预定像素范围是4-8个像素。

11.一种线检测设备，包括：

候选线确定装置，用于基于每一个所计算的水平边缘图和垂直边缘图中的边缘像素确定候选线；以及

线确定装置，用于基于所述候选线确定线的位置。

12.根据权利要求11所述的线检测设备，其中所述含方向边缘图计算装置被配置成：

计算所述输入图像的梯度图；和

基于所计算的梯度图计算水平边缘图和垂直边缘图。

13.根据权利要求12所述的线检测设备，其中使用Sobel算子计算所述输入图像的梯度图。

14.根据权利要求12所述的线检测设备，其中所述含方向边缘图计算装置被配置成：

使用如下的等式计算水平梯度和垂直梯度：

gradX(i，j)＝grad(i，j+1)-grad(i，j-1)，和

gradY(i，j)＝grad(i+1，j)-grad(i-1，j)

使用如下表达式计算水平边缘图和垂直边缘图：

和

15.根据权利要求11所述的线检测设备，其中所述候选线确定装置被配置为：

合并搜索到的线片断作为候选线。

16.根据权利要求15所述的线检测设备，其中所述候选线确定装置被进一步被配置为清除其长度小于预定像素范围的线片断。

17.根据权利要求16所述的线检测设备，其中预定像素范围是6-10个像素。

18.根据权利要求15所述的线检测设备，其中所述合并装置基于线片断之间的位置关系及其倾斜角合并线片断。

19.根据权利要求18所述的线检测设备，其中如果相邻的线片断具有小于预定像素范围的间隙并具有相同的倾斜角，则合并相邻的线片断。

20.根据权利要求19所述的线检测设备，其中预定像素范围是4-8个像素。

21.一种执行检测线的如下步骤的程序，包括：

线确定步骤，用于基于所述候选线确定线的位置。

22.一种存储执行检测线的如下步骤的程序的存储媒体，包括：

线确定步骤，用于基于所述候选线确定线的位置。