CN101436254A - 图像处理方法和图像处理设备 - Google Patents

Abstract

本发明提供一种图像处理方法和图像处理设备。该图像处理方法用于检测输入图像中的线段，包括：边缘检测步骤，用于检测所述输入图像中的边缘，并获得边缘图；连接分量分析步骤，用于在所述边缘图上搜索连接分量，并去除所述连接分量中长度小于预定长度的小连接分量；曲线拟合步骤，用于利用线段对各剩余连接分量进行拟合，并获得短线段；以及线段合并步骤，用于将所述短线段合并成较长线段。

Description

图像处理方法和图像处理设备

技术领域

本发明涉及一种图像处理方法和图像处理设备，尤其涉及一种用于检测图像中的线段的图像处理方法和图像处理设备。

背景技术

直线检测(或线段检测)是文档图像处理、财务数据图像处理和牌照检测等图像处理中的基本问题。提出了几种直线检测方法，如美国6,026,186号专利：“Line and curvedetection using local information(使用局部信息的直线和曲线检测)”中的方法。

霍夫变换(Hough Transform，以下有时称之为“HT”)可能是直线检测最广泛使用的算法。但是，众所周知，霍夫变换具有巨大的计算开销，并且仅可以检测到直线。为了检测线段，即，确定直线的两个端点，需要耗时的后处理。

发明内容

考虑到以上情况做出了本发明，本发明解决了霍夫变换的不足，并使得能够快速进行线段的鲁棒检测。

本发明提供一种用于检测输入图像中的线段的图像处理方法，该方法包括：边缘检测步骤，用于检测所述输入图像中的边缘，并获得边缘图(edge map)；连接分量(connected component)分析步骤，用于在所述边缘图上搜索连接分量，并去除所述连接分量中长度小于预定长度的小连接分量；曲线拟合步骤，用于利用线段对各剩余连接分量进行拟合，并获得短线段；以及线段合并步骤，用于将所述短线段合并成较长线段。

本发明还提供一种用于检测输入图像中的线段的图像处理设备，该设备包括：边缘检测部件，用于检测所述输入图像中的边缘，并获得边缘图；连接分量分析部件，用于在所述边缘图上搜索连接分量，并去除所述连接分量中长度小于预定长度的小连接分量；曲线拟合部件，用于利用线段对各剩余连接分量进行拟合，并获得短线段；以及线段合并部件，用于将所述短线段合并成较长线段。

通过以下(参考附图)对典型实施例的说明，本发明的其它特征将显而易见。

附图说明

图1是示出根据本发明实施例的用于检测线段的总体处理的流程图；

图2是示出根据本发明实施例的用于将连接分量(connectedcomponents，CC)切割成较小曲线的例子的图；

图3是示出根据本发明实施例的利用线段拟合CC的例子的图；

图4是示出根据本发明实施例的用于合并短线段的例子的流程图；

图5是示出根据本发明实施例的线段的霍夫变换(HT)的例子的图；

图6是示出根据本发明实施例如何在HT空间中搜索局部最大值的例子的图；

图7是示出根据本发明实施例的用于将短线段合并成长线段的例子的图；

图8是示出可应用本发明的名片读取系统的例子的图；

图9是示出可应用本发明的牌照识别系统的例子的图；以及

图10是示出根据本发明实施例的用于检测线段的图像处理设备的例子的框图。

具体实施方式

将根据附图详细说明本发明的优选实施例。

图1是示出根据本发明实施例的用于检测线段的总体处理的流程图。在检测前，输入待检测的图像。然后，在步骤S100，检测输入图像的边缘。用于检测输入图像的边缘的方法可以是Sobel算子和Canny算子等通用边缘检测技术。在本实施例中，使用Canny算子。由此在步骤S100中获得边缘图(edge map)。

接着，在步骤S200，在边缘图上找出连接分量(CC)。然后，由于本实施例的目标是搜索长线段，并且小CC属于长线段的机会小，因而丢弃短于预定长度(例如，小于10个像素)的小CC。由于丢失了短于预定长度的小CC，因而可以降低计算开销。

在边缘图上，直线边缘可能与其它对象的边缘重叠。因此，步骤S200中所获得的检测到的CC可能包含直线和其它非直线对象。为了获得线段，在步骤S300，必须将线段从非直线对象中分离。

为了进行上面的分离，采用被称为“曲线拟合”算法的方法，如图2所示。图2是示出根据本发明实施例的用于将连接分量(CC)切割成较小曲线的例子的图。

在图2中，首先，选择距离由CC的两个端点所形成的直线(直线AB)最远的点(点C)，如果从点C到直线AB的距离大于预定阈值(例如，5个像素)，则在该点处将CC切割成两个较小曲线，如图2的上部所示。在本领域中，用于选择距离由CC的两个端点所形成的直线最远的点(例如，该情况下的点C)的方法众所周知，因此省略对其的说明。

然后，将作为结果得到的曲线进一步切割成较小曲线，直到不能再切割曲线为止，如图2的下部所示。例如，将曲线AC进一步切割成曲线AD和DC。由于从作为结果得到的曲线AD上的任一点到直线AD的距离小于或等于预定阈值，因而可以不再切割曲线AD。

接着，对于每一作为结果得到的小曲线，通过使用以下步骤，利用线段对其进行拟合：

1)按照从左到右和从上到下的顺序对曲线上的点进行排序；

2)找出开头五分之一位置和结尾五分之一位置作为两个控制点；

3)根据这两个控制点计算线段的直线参数；以及

4)通过直线参数和曲线端点的坐标计算线段的两个端点。

图3示出利用线段拟合CC的例子。

返回参考图1，由于照明不好和噪声等原因，可能将长线段折断成几个片段(fragment)。在步骤S400，将这些片段分组成较长线段，在图4中详细示出该分组的流程图。

图4是示出根据本发明实施例的用于将短线段合并(或分组)成较长线段的例子的流程图。

在图4的步骤S410，使用霍夫变换找出长线段的位置。通过以下步骤实现该变换：

1)通过将霍夫参数空间量化成有限区间(finite interval)或累积单元(accumulator cell)而获得2D阵列H(ρ，θ)。其中，θ在[-90°，+90°]范围内，ρ在[ρ_min，ρ_max]范围内，ρ_min＝-h，以及 ${\mathrm{\ρ}}_{\max }=\sqrt{w^2+h^2}.$ 其中，w和h为图像大小。

2)对于各短线段(以下有时称之为“SLS”)L_k，如下将其上的所有点累积在霍夫参数空间中：

$\∀\mathrm{\θ}|{\mathrm{\θ}}_k-\mathrm{\Δ\θ}\≤\mathrm{\θ}\≤{\mathrm{\θ}}_k+\mathrm{\Δ\θ},$

ρ_c＝x_ccosθ+y_csinθ

H(ρ_c，θ)＝H(ρ_c，θ)+M

其中，θ_k为L_k的法线角(normal angle)，Δθ定义θ的小变化范围，以允许在计算θ_k时的某些特定误差，(x_c，y_c)为L_k的中点，M为L_k上的像素数量。从下面的公式得出上面的公式：

$\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\ρ}}_i=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}(x_i\cos \mathrm{\θ}+y_i\sin \mathrm{\θ})$

$=\cos \mathrm{\θ}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{x}_i+\sin \mathrm{\θ}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{y}_i$

$=M(x_c\cos \mathrm{\θ}+y_c\sin \mathrm{\θ})$

$={\mathrm{M\ρ}}_c$

其中，(x_i，y_i)为线段上的各点。

由于对于各线段仅需要计算ρ_c，因而可以节省许多计算时间。在该变换后，可以通过HT空间中的点表示图像空间中的线段，该点具有与SLS的长度相关的值。除累积计数以外，还可以保持属于各单元的SLS的链接表。

图5是示出根据本发明实施例的线段的霍夫变换(HT)的例子的图。作为结果得到的累积阵列中的峰值强烈表示在图像中存在相应的直线。

接着，在图4的步骤S420，分组并合并HT空间的同一累积单元中的短线段，以获得较长线段。并且可以以以下步骤确定线段的位置。

1)选择那些足够长的SLS作为种子。

2)对于各种子，在HT空间内的对应点的邻域中，找出局部最大值点。图6是示出根据本发明实施例如何在HT空间中搜索局部最大值的例子的图。如图6所示，在种子P0的邻域中，P1是局部最大值点。也就是说，在以P0为中心的预定范围内，P1的值大于该范围内的任何其它点的值。选择邻域为半径约2个单元(cell)的圆。

3)局部最大值P1形成小的新邻域P1，逆变换邻域P1中的点，从而可以获得图像空间中的一组线段。

4)将这组线段投影在与局部最大值点P1相对应的直线上。然后在投影面(projection profile)上寻找两个端点和间隙(gap)。如果间隙小于预定阈值(可以选择该阈值为待检测的最短线段的长度)，则忽略该间隙。这样可以将同一直线上的折断后的线段合并成一个线段，如图7所示。图7是示出根据本发明实施例的用于将短线段合并成长线段的例子的图。

5)重复步骤2)～4)，直到找出所有期望的线段为止。

返回参考图1，在完成了步骤S400后，可以获得输出线段。

在本实施例中，如上所述，由于丢弃了短于预定长度的小CC，并且对于各线段仅需要计算ρ_c，因而可以节省计算开销和时间。

图8是示出可以应用本发明的名片读取系统的例子的图。

如图8所示，可以通过名片读取系统的数字照相机捕获名片以获得输入图像。在获得输入图像后，利用本发明的方法检测输入图像中的线段。接着，形成名片的四个边界，基于这四个边界对透视变形(perspective distortion)进行矫正。然后，可以进行文本提取和OCR，从而可以获得印刷在名片上的文本。

图9是示出可以应用本发明的牌照识别系统的例子的图。

如图9所示，与图8类似，可以通过牌照识别系统的数字照相机捕获安装在车辆上的牌照以获得输入图像。在获得输入图像后，利用本发明的方法检测输入图像中的线段。接着，形成牌照的四个边界，基于这四个边界对牌照进行二值化，并执行OCR。因此，可以获得牌照上的文本。

图10是示出根据本发明实施例的用于检测线段的图像处理设备的例子的框图。

图10中的图像处理设备包括：边缘检测部件1，用于检测所述输入图像中的边缘，并获得边缘图；连接分量分析部件2，用于在所述边缘图上搜索连接分量，并去除所述连接分量中长度小于预定长度的小连接分量；曲线拟合部件3，用于利用线段对各剩余连接分量进行拟合，并获得短线段；以及线段合并部件4，用于将所述短线段合并成较长线段。

可以通过向计算机系统或设备提供存储有实现上述功能的软件的程序代码的存储介质，来实现上述方法。通过利用该系统或设备的计算机(或CPU或MPU)读取存储在该存储介质中的程序代码并执行所述程序代码，可以实现上述实施例的功能。在这种情况下，从存储介质读取的程序代码实现根据实施例的功能，并且存储程序代码的存储介质构成本发明。可以使用软盘、硬盘、光盘和磁光盘等存储介质来提供所述程序代码。还可以使用CD-ROM、CD-R、磁带、非易失性存储卡和ROM等。

而且，不仅可以通过执行由计算机读取的程序代码来实现上述功能。本发明还包括如下情况：运行在计算机上的OS(操作系统)等根据程序代码的指示，进行部分或全部处理，并实现根据以上实施例的功能。

而且，可以将从存储介质读取的程序代码写到插入计算机中的功能扩展卡中、或写到与计算机连接的功能扩展单元内所设置的存储器中。之后，该功能扩展卡或单元中所包含的CPU等可以根据程序代码的指示，进行部分或全部处理，并可以实现以上实施例的功能。

尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改和等同结构及功能。

Claims (10)

1.一种图像处理方法，用于检测输入图像中的线段，包括：

边缘检测步骤，用于检测所述输入图像中的边缘，并获得边缘图；

连接分量分析步骤，用于在所述边缘图上搜索连接分量，并去除所述连接分量中长度小于预定长度的小连接分量；

曲线拟合步骤，用于利用线段对各剩余连接分量进行拟合，并获得短线段；以及

线段合并步骤，用于将所述短线段合并成较长线段。

2.根据权利要求1所述的图像处理方法，其特征在于，所述曲线拟合步骤还包括：

将各所述剩余连接分量切割成较小曲线；以及

利用线段对各所述较小曲线进行拟合。

3.根据权利要求2所述的图像处理方法，其特征在于，所述切割还包括：

选择所述剩余连接分量上的、距离由所述剩余连接分量的两个端点所形成的直线最远的点；以及

如果从所述点到所述直线的距离大于预定阈值，则在所述点处将所述剩余连接分量分割成两个较小曲线。

4.根据权利要求3所述的图像处理方法，其特征在于，对于各所述较小曲线重复进行所述选择和分割，直到在各所述较小曲线中不能找出所述最远的点为止。

5.根据权利要求1所述的图像处理方法，其特征在于，所述线段合并步骤还包括：

将所述短线段变换成霍夫变换空间，其中，将具有相似直线方程的所述短线段变换成霍夫变换空间中的相同累积单元；以及

对霍夫变换空间中的局部最大值点的相同累积单元中的所述短线段进行分组，并合并所述短线段以获得所述较长线段。

6.一种图像处理设备，用于检测输入图像中的线段，包括：

边缘检测部件，用于检测所述输入图像中的边缘，并获得边缘图；

连接分量分析部件，用于在所述边缘图上搜索连接分量，并去除所述连接分量中长度小于预定长度的小连接分量；

曲线拟合部件，用于利用线段对各剩余连接分量进行拟合，并获得短线段；以及

线段合并部件，用于将所述短线段合并成较长线段。

7.根据权利要求6所述的图像处理设备，其特征在于，所述曲线拟合部件还包括：

切割部件，用于将各所述剩余连接分量切割成较小曲线；以及

拟合部件，用于利用线段对各所述较小曲线进行拟合。

8.根据权利要求7所述的图像处理设备，其特征在于，所述切割部件还包括：

选择部件，用于选择所述剩余连接分量上的、距离由所述剩余连接分量的两个端点所形成的直线最远的点；以及

分割部件，用于如果从所述点到所述直线的距离大于预定阈值，则在所述点处将所述剩余连接分量分割成两个较小曲线。

9.根据权利要求8所述的图像处理设备，其特征在于，对于各所述较小曲线重复进行所述选择和分割，直到在各所述较小曲线中不能找出所述最远的点为止。

10.根据权利要求6所述的图像处理设备，其特征在于，所述线段合并部件还包括：

变换部件，用于将所述短线段变换成霍夫变换空间，其中，将具有相似直线方程的所述短线段变换成霍夫变换空间中的相同累积单元；以及

分组部件，用于对霍夫变换空间中的局部最大值点的相同累积单元中的所述短线段进行分组，并合并所述短线段以获得所述较长线段。

Images