CN101458814B - 一种用于从图像中分割对象感兴趣区域的方法和装置 - Google Patents

Abstract

本发明涉及一种用于从图像中分割对象感兴趣区域的方法和装置，该方法包括步骤：检测所摄取的图像中的各个角点；基于所述检测的角点，从所述摄取的图像中获取对象的边缘；以在所述获取的边缘上的角点为基础，对所述检测的角点进行聚类；以及，把所述摄取的图像中由所述聚类的角点形成的图像区域分割为可能包含所述对象的感兴趣区域。利用该方法和装置，不需利用阴影和边缘这样的特征就能够从图像中分割出对象感兴趣区域。

Description

一种用于从图像中分割对象感兴趣区域的方法和装置

技术领域

本发明涉及基于计算机视觉的对象检测，尤其涉及一种用于从图像中分割对象感兴趣区域的方法和装置。

背景技术

现有的基于计算机视觉进行车辆检测的方法，根据车辆的车底阴影和边缘这样的特征，从诸如摄像机这样的摄像设备所摄取的图像中分割可能包含有车辆的图像区域作为车辆感兴趣区域。

然而，在雨、雾、雪等这样的低对比度的恶劣环境中，车辆的车底阴影和边缘这样的特征会遭到很大程度的破坏(如图1a所示)，甚至已经消失(如图1b所示)。在这种情况下，根据车辆的车底阴影和边缘来从图像中分割车辆感兴趣区域通常难以成功。

发明内容

考虑到上述问题，本发明的目的在于提出一种用于从图像中分割对象感兴趣区域的方法和装置，其不利用阴影和边缘这样的特征就能够从图像中分割出对象感兴趣区域。

为了实现本发明的目的，按照本发明的一种用于从图像中分割对象感兴趣区域的方法，包括步骤：

检测所摄取的图像中的各个角点；

基于所述检测的角点，从所述摄取的图像中获取对象的边缘；

以在所述获取的边缘上的角点为基础，对所述检测的角点进行聚类；以及

把所述摄取的图像中由所述聚类的角点形成的图像区域分割为可能包含所述对象的感兴趣区域。

为了实现本发明的目的，按照本发明的一种用于从图像中分割对象感兴趣区域的装置，包括：

检测模块，用于检测所摄取的图像中的各个角点；

获取模块，用于基于所述检测的角点，从所述摄取的图像中获取对象的边缘；

聚类模块，用于以在所述获取的边缘上的角点为基础，对所述检测的角点进行聚类；以及

分割模块，用于把所述摄取的图像中由所述聚类的角点形成的图像区域分割为可能包含所述对象的感兴趣区域。

附图说明

通过参考下面结合附图的详细描述，本发明的其它特征、特点和优点将变得更加显而易见。其中：

图1a和1b示出了恶劣环境中所摄取的图像的示意图；

图2a示出了角点的示意图；

图2b示出了边缘的示意图；

图3示出了本发明第一实施例的用于从图像中分割车辆感兴趣区域的方法的流程图；

图4示出了本发明一个实施例的所检测的角点的示意图；

图5示出了本发明一个实施例的图像中的列的示意图；

图6示出了本发明一个实施例的角点统计直方图的示意图；

图7示出了本发明一个实施例的聚类得到的角点所形成的图像区域的外接矩形的示意图；

图8示出了本发明一个实施例的聚类得到的角点所形成的图像区域与外接矩形的示意图；

图9示出了本发明一个实施例的调整后的外接矩形的示意图；

图10示出了本发明一个实施例的提取包含车辆边缘的线段的过程流程图；

图11示出了示出了本发明第二实施例的用于从图像中分割车辆感兴趣区域的方法的流程图；

图12示出了本发明一个实施例的感兴趣区域的扩展示意图；

图13示出了本发明一个实施例的用于从图像中分割车辆感兴趣区域的装置的示意图。

具体实施方式

按照本发明的一个方面，首先，从所摄取的图像中检测出角点(corner)，其中，角点指与任意方向(水平方向、垂直方向或任意角度上的方向)上的其它点相比亮度(Intensity)变化都显著的点(如图2a所示)，其与边缘不同，因为边缘只是与垂直于其的方向上的其它点相比亮度有变化(如图2b所示)；然后，利用所述检测的角点从所述摄取的图像中获取对象的边缘；接着，以在所述获取的边缘上的角点为基础，对所述检测的角点进行聚类；最后，把所述摄取的图像中由所述聚类的角点形成的图像区域分割为可能包含所述对象的感兴趣区域。

下面将结合附图，以车辆作为对象的例子，详细描述按照本发明各个实施例的用于从图像中分割对象感兴趣区域的方法和装置。

(第一实施例)

图3示出了本发明第一实施例的用于从图像中分割车辆感兴趣区域的方法的流程图。如图3所示，首先，在步骤S10，利用角点检测方法检测在诸如摄像机等这样的摄像装置所摄取的图像中的消失线以下部分中的角点(如图4所示)。角点检测方法可以是现有的或将来出现的各种角点检测方法，诸如Harris角点检测方法、SUSAN角点检测算法等。

然后，在步骤S20，计算该摄取的图像的各个列(如图5所示)所包含的角点数量，以得到该图像的角点统计直方图(如图6所示)。图像的各个列的宽度ΔT可以根据实际需要进行设置，在本实施中ΔT＝2。

在步骤S30中，根据该角点统计直方图找出该摄取的图像中包含角点数量最多的列。根据角点检测方法的原理可知，一般在图像中车辆边缘处角点数量较多，车身位置处角点数量较少，而均匀的道路面等平面物体中角点数量最少，所以，该摄取的图像中包含角点数量最多的列一般包含有车辆边缘。

在步骤S40中，从该包含角点数量最多的列中提取出包含车辆边缘的线段。后面将结合图9详细说明本发明一个实施例的提取包含车辆边缘的线段的过程。

在步骤S50中，以所提取的线段上的角点为基础，按照预定的聚类半径对该摄取的图像中的角点进行聚类。

具体地，聚类的过程如下：假设图像上检测到N个角点，该N个角点组成集合C_S，C_S＝{C₁，C₂，...，C_N}。选取所提取线段上的任意角点C_i作为聚类原点，以T为聚类半径开始聚类，那么落在以C_i为聚类原点，以T为半径所构成的圆内的角点C_j(j≠i，C_j∈C_s)构成类Z。接着，再分别以类Z中除C_i之外的所有角点C_j为聚类原点，T为聚类半径重复上述过程，直到没有符合条件的角点加入到类Z为止。至此，就形成了类Z。在本实施例中，聚类半径等于该提取的线段的长度。然而，本发明并不局限于此，在其它实施例中根据实际需要聚类半径可以是其它的取值。

在步骤S60中，从该摄取的图像中确定所聚类得到的角点所形成的图像区域并计算该图像区域的外接矩形。如图7所示。

外接矩形的计算方法如下：

外接矩形的上边 ${\mathrm{BoundingBox}}_{\mathrm{top}}=\underset{i=1}{\overset{N}{\min }}{y}_i,$ (x_i，y_i)∈C

外接矩形的下边 ${\mathrm{BoundingBox}}_{\mathrm{bottom}}=\underset{i=1}{\overset{N}{\max }}{y}_i,$ (x_i，y_i)∈C

外接矩形的左边 ${\mathrm{BoundingBox}}_{\mathrm{left}}=\underset{i=1}{\overset{N}{\min }}{x}_i,$ (x_i，y_i)∈C

外接矩形的右边 ${\mathrm{BoundingBox}}_{\mathrm{right}}=\underset{i=1}{\overset{N}{\max }}{x}_i,$ (x_i，y_i)∈C

C是所聚类得到的角点所形成的图像区域，x_i，y_i是C内角点的坐标，BoundingBox为得到外接矩形，如图8所示。

在步骤S70中，根据实际车辆的纵横比调整所述外接矩形的高度，如图9所示。

在步骤S80中，从该摄取的图像中把该调整后的外接矩形分割为可能包含车辆的感兴趣区域。

在步骤S90中，判断是否已经从该摄取的图像中分割出所有可能包含车辆的感兴趣区域。

如果判断结果为否，则返回到步骤S30，以基于该摄取的图像中在先前已分割为感兴趣区域的图像区域所覆盖的列之外的各个列，确定出其它可能包含车辆的感兴趣区域。

如果判断结果为是，则结束该流程。

图10示出了本发明一个实施例的提取包含车辆边缘的线段的过程流程图。

首先，在步骤S402，根据包含角点数量最多的列中的各个角点在图像中的坐标信息，计算该列中最上面角点的纵坐标Y_min和最下面角点的纵坐标Y_max。

$Y_{\min }=\underset{i=1}{\overset{\mathrm{CN}}{\min }}{y}_i,x_i\∈E_x,$ $Y_{\max }=\underset{i=1}{\overset{\mathrm{CN}}{\max }}{y}_i,x_i\∈E_x,$

这里，x_i，y_i为该包含角点数量最多的列中第i个角点C(x_i，y_i)的横坐标和纵坐标，CN为该列中的角点数量，E_x为该包含角点数量最多的列。

然后，在步骤S404，根据Y_min和Y_max，计算线段Y_min Y_max的中点Y_mid＝(Y_min+Y_max)/2。其中，该中点Y_mid将线段[Y_min，Y_max]均分两个线段Sub_A＝[Y_min，Y_mid]和Sub_B＝[Y_mid，Y_max]。

接着，在步骤S406，分别计算线段Sub_A和Sub_B的角点密度。角点密度定义如下：

$D_A=\frac{\underset{i=1}{\overset{\mathrm{CN}}{\mathrm{\Σ}}}{s}_A\left(i\right)}{{\mathrm{Len}}_A},$ $D_B=\frac{\underset{i=1}{\overset{\mathrm{CN}}{\mathrm{\Σ}}}{s}_B\left(i\right)}{{\mathrm{Len}}_B}$

其中，Len_A和Len_B分别为线段Sub_A和Sub_B的长度，D_A和D_B为线段Sub_A和Sub_B的角点密度。

Len_A＝Y_mid-Y_min+1，Len_B＝Y_max-Y_mid

然后，在步骤S408，从此时计算得到的线段Sub_A和Sub_B中选出角点密度较大者。如果线段Sub_A和Sub_B密度相同，选出线段Sub_A。

如果选出的角点密度较大者为线段Sub_A，则在步骤S410，判断其密度D_A是否大于D_max(初始值为0)。如果判断结果为肯定，则在步骤S412，D_max＝D_A和Y_max＝Y_mid，然后返回到步骤S404。如果判断结果为否定，则在步骤S414，提取此时的线段Sub_A作为包含车辆边缘的线段。

如果选出的角点密度较大者为线段Sub_B，则在步骤S416，判断其密度D_B是否大于D_max。如果判断结果为肯定，则在步骤S418，D_max＝D_B和Y_min＝Y_mid+1，然后返回到步骤S404。如果判断结果为否定，则在步骤S420，提取此时的线段Sub_A作为包含车辆边缘的线段。

(第二实施例)

在第二实施例中，在按照第一实施例的步骤分割得到感兴趣区域之后，对该分割得到的感兴趣区域执行进一步处理，以得到更加准确的感兴趣区域。

图11示出了本发明第二实施例的用于从图像中分割车辆感兴趣区域的方法的流程图。其中，为了避免重复说明，图11中仅示出与第一实施例不相同的步骤。

如图11所示，在步骤S100，在所摄取的图像中把步骤S80分割得到的感兴趣区域的左边和右边向内和向外分别扩展一定宽度以及把该感兴趣区域的顶边和底边向内和向外分别扩展一定高度，以得到左扩展区域、右扩展区域、顶扩展区域和底扩展区域这四个扩展区域。在这里，该一定宽度为ΔW＝0.1×感兴趣区域的宽度，该一定高度为ΔH＝0.1×感兴趣区域的高度。图12示出了本发明一个实施例的感兴趣区域的扩展示意图，其中，abcd表示扩展前的感兴趣区域，ABIJ表示左扩展区域，CDGH表示右扩展区域，ADEL表示顶扩展区域和FGJK表示底扩展区域。

在步骤S110，利用角点检测方法检测左扩展区域、右扩展区域、顶扩展区域和底扩展区域中的角点。

在步骤S120，计算左扩展区域和右扩展区域中每一个列的角点数量以及顶扩展区域和底扩展区域中每一个行的角点数量。

在步骤S130，找出左扩展区域中角点数量最多的列、右扩展区域中角点数量最多的列、顶扩展区域中角点数量最多的行和底扩展区域中角点数量最多的行。

在步骤S140，调整该感兴趣区域的四边的位置，即：把该感兴趣区域的左边调整到该左扩展区域中角点数量最多的列，把该感兴趣区域的右边调整到该右扩展区域中角点数量最多的列，把该感兴趣区域的顶边调整到该顶扩展区域中角点数量最多的行和把该感兴趣区域的底边调整到该底扩展区域中角点数量最多的行。

虽然在第一实施例中，检测所述摄取的图像的消失线以下部分图像中的角点，然而，本发明并不局限于此。在本发明的其它实施例中，可以检测所摄取的图像的整个图像中的角点。

此外，虽然在第一实施例中，在步骤S70，根据实际车辆的纵横比来调整所述外接矩形的高度，然而，本发明并不局限于此。在本发明的其它实施例中，也可以不调整所述外接矩形的高度。

此外，虽然在上述第二实施例中，同时调整感兴趣区域的四边，然而在本发明的其它实施例中，可以仅调整感兴趣区域的一个边、两个边或三个边。

此外，虽然在上述第二实施例中，把感兴趣区域的边同时向内和向外分别扩展预定宽度以得到扩展区域，然而，本发明并不局限于此。在本发明的其它实施例中，也可以把感兴趣区域的边仅向内或向外扩展预定宽度以得到扩展区域。

此外，虽然在上述第二实施例中，重新检测感兴趣区域的四个扩展区域的每一个中的角点，然而，在本发明的其它实施例中，如果这四个扩展区域的任意一个中的角点以前已经检测出，则也可以直接使用该以前已经检测的角点来计算该扩展区域中每一个列或行的角点数量。

此外，虽然在上述第一和第二实施例中，从图像中分割可能包含有车辆的感兴趣区域，然而在本发明其它实施例中，也可以分割可能包含有诸如行人等这样对象的感兴趣区域。

本发明的用于从图像中分割对象感兴趣区域的方法既可用软件的方式来实现，也可用硬件或软硬件结合的方式来实现。

图13示出了本发明一个实施例的用于从图像中分割车辆感兴趣区域的装置的示意图。其中仅示出了与本发明相关的模块。

如图13所示，用于从图像中分割车辆感兴趣区域的装置100包括以下模块：

检测模块101，用于检测所摄取的图像中的各个角点，具体的，检测所摄取的图像的消失线以下部分图像中的各个角点。

获取模块103，用于基于所述检测的角点，从所述摄取的图像中获取对象的边缘。其中，获取模块103进一步包括：提取单元1031，用于从所述摄取的图像中在先前已分割为所述感兴趣区域的图像区域所覆盖的列之外的各个列中，提取所述角点数量最多的所述列；以及，确定单元1033，用于从所述提取的列中确定出所述角点密度大于预定值的线段，作为所述对象的边缘。

聚类模块105，用于以在所述获取的边缘上的角点为基础，对所述检测的角点进行聚类。

计算模块107，用于计算所述图像区域的外接矩形，

第一调整模块109，用于根据所述对象的纵横比调整所述外接矩形的高度。

分割模块111，用于从所述摄取的图像中分割所述外接矩形作为所述感兴趣区域。

第一扩展模块113，用于从所述感兴趣区域的左边和右边的至少一边向内和/或向外分别扩展预定宽度；

第二扩展模块115，用于从所述感兴趣区域的顶边和底边的至少一边向内和/或向外分别扩展预定高度，以得到扩展区域；

第一查找模块117，用于找出在第一扩展模块113所扩展得到的扩展区域中包含所述角点数量最多的列；

第二查找模块119，用于找出在第二扩展模块115所扩展得到的扩展区域中包含所述角点数量最多的行；

第二调整模块121，用于把所述感兴趣区域的左边和右边中的相应边调整到第一查找模块117所找出的列；以及

第三调整模块123，用于把所述感兴趣区域的顶边和底边中的相应边调整到第二查找模块119所找出的行。

本领域技术人员应当理解，本发明所公开的用于从图像中分割对象感兴趣区域的方法和装置可以在不脱离发明实质的基础上做出各种变形和改变，这些变形和改变都落在本发明的范围内。因此，本发明的保护范围由所附的权利要求书来限定。

Claims (14)

1.一种用于从图像中分割对象感兴趣区域的方法，包括步骤：

检测所摄取的图像中的各个角点；

基于所述检测的角点，从所述摄取的图像中获取对象的边缘；

以在所述获取的边缘上的角点为基础，对所述检测的角点进行聚类；以及

把所述摄取的图像中由所述聚类的角点形成的图像区域分割为可能包含所述对象的感兴趣区域，

其中，所述获取步骤进一步包括：

从所述摄取的图像中提取所述角点数量最多的一个列；以及

从所述提取的列中确定出所述角点密度大于预定值的线段，作为所述对象的边缘。

2.如权利要求1所述的方法，其中，还包括：

计算所述图像区域的外接矩形；以及

从所述摄取的图像中分割所述外接矩形作为所述感兴趣区域。

3.如权利要求2所述的方法，其中，还包括：

在分割所述外接矩形之前，根据所述对象的纵横比调整所述外接矩形的高度。

4.如权利要求1-3中任意一个所述的方法，其中，还包括：

从所述感兴趣区域的左边和右边的至少一边向内和/或向外分别扩展预定宽度，以得到扩展区域；

找出在所述扩展区域中包含所述角点数量最多的列；以及

把所述感兴趣区域的左边和右边中的相应边调整到所述找出的列。

5.如权利要求1-3中任意一个所述的方法，其中，还包括：

从所述感兴趣区域的顶边和底边的至少一边向内和/或向外分别扩展预定高度，以得到扩展区域；

找出在所述扩展区域中包含所述角点数量最多的行；以及

把所述感兴趣区域的顶边和底边中的相应边调整到所述找出的行。

6.如权利要求1所述的方法，其中，所述提取步骤进一步包括：

从所述摄取的图像中在先前已分割为所述感兴趣区域的图像区域所覆盖的列之外的各个列中，提取所述角点数量最多的所述列。

7.如权利要求1所述的方法，其中，所述检测的各个角点是从所述摄取的图像的消失线以下部分图像中检测的。

8.一种用于从图像中分割对象感兴趣区域的装置，包括：

检测模块，用于检测所摄取的图像中的各个角点；

获取模块，用于基于所述检测的角点，从所述摄取的图像中获取对象的边缘；

聚类模块，用于以在所述获取的边缘上的角点为基础，对所述检测的角点进行聚类；以及

分割模块，用于把所述摄取的图像中由所述聚类的角点形成的图像区域分割为可能包含所述对象的感兴趣区域，

其中，所述获取模块进一步包括：

提取单元，用于从所述摄取的图像中提取所述角点数量最多的一个列；以及

确定单元，用于从所述提取的列中确定出所述角点密度大于预定值的线段，作为所述对象的边缘。

9.如权利要求8所述的装置，其中，还包括：

计算模块，用于计算所述图像区域的外接矩形，

其中，所述分割模块从所述摄取的图像中分割所述外接矩形作为所述感兴趣区域。

10.如权利要求9所述的装置，其中，还包括：

第一调整模块，用于在分割所述外接矩形之前，根据所述对象的纵横比调整所述外接矩形的高度。

11.如权利要求8-10中任意一个所述的装置，其中，还包括：

第一扩展模块，用于从所述感兴趣区域的左边和右边的至少一边向内和/或向外分别扩展预定宽度，以得到扩展区域；

第一查找模块，用于找出在所述扩展区域中包含所述角点数量最多的列；以及

第二调整模块，用于把所述感兴趣区域的左边和右边中的相应边调整到所述找出的列。

12.如权利要求8-10中任意一个所述的装置，其中，还包括：

第二扩展模块，用于从所述感兴趣区域的顶边和底边的至少一边向内和/或向外分别扩展预定高度，以得到扩展区域；

第二查找模块，用于找出在所述扩展区域中包含所述角点数量最多的行；以及

第三调整模块，用于把所述感兴趣区域的顶边和底边中的相应边调整到所述找出的行。

13.如权利要求9所述的装置，其中，所述提取单元进一步包括：

从所述摄取的图像中在先前已分割为所述感兴趣区域的图像区域所覆盖的列之外的各个列中，提取所述角点数量最多的所述列。

14.如权利要求8所述的装置，其中，所述检测的各个角点是从所述摄取的图像的消失线以下部分图像中检测的。

Images