CN101414355A

CN101414355A - 从图像中分割车辆感兴趣区域的方法和装置

Info

Publication number: CN101414355A
Application number: CNA2007101818489A
Authority: CN
Inventors: 傅鹏宇; 刘威; 袁淮
Original assignee: Neusoft Corp; Alpine Electronics Inc
Current assignee: Neusoft Corp; Alpine Electronics Inc
Priority date: 2007-10-19
Filing date: 2007-10-19
Publication date: 2009-04-22
Anticipated expiration: 2027-10-19
Also published as: CN101414355B

Abstract

本发明涉及一种从图像中分割车辆感兴趣区域的方法和装置，该方法包括：从摄取的图像中确定出满足第一条件的各个像素，其中所述第一条件是所述像素的亮度小于一个类U形区域在所述摄取的图像中形成的所述像素位于其内的图像区域的左、右和下边界上的像素的亮度；从由所述确定的各个像素所形成的各个像素形成区域中，选择其形状与在其位置处车辆车轮所形成的图像区域的形状相似的像素形成区域；以及，从所述摄取的图像中分割所述选择的像素形成区域作为车辆感兴趣区域。本发明通过利用在图像中车辆的车轮具有局部相对较暗的这一稳定特征来从图像中分割出车辆感兴趣区域，从而不需利用车灯就能从图像中分割出车辆感兴趣区域。

Description

从图像中分割车辆感兴趣区域的方法和装置

技术领域

本发明涉及图像处理领域，尤其涉及一种从图像中分割车辆感兴趣区域的方法和装置。

背景技术

在基于机器视觉的车辆识别系统中，当从安装在自身车辆或其它移动/固定的物体上的摄像机这样的图像拾取装置所拾取的图像中识别车辆时，首先需要从该拾取的图像中分割出包含车辆的区域(也称为ROI(感兴趣区域))，然后再根据该分割的区域来识别车辆。

在阳光或其它光源的照射下，对于不同形状的车辆而言，底部存在阴影是其共同特征，因此，车底阴影是基于机器视觉的车辆图像分割技术中从图像中分割出包含车辆的区域时所依据的一个主要特征。这种方法在特开2003-76987的日本专利文献和2006年3月17日提交的申请号为200610009379.8、发明名称为“车辆图像分割方法和装置”的中国专利申请中有详细描述。

此外，在车辆打开车灯时，车灯也是基于机器视觉的车辆图像分割技术中从图像中分割出包含车辆的区域时所依据的一个主要特征。特别对摩托车这种识别对象而言，车灯是基于机器视觉的车辆图像分割技术中从图像中分割出包含摩托车的区域时现有技术中所依据的一个主要特征。

分割出摩托车感兴趣区域的方法是基于摩托车车灯区域具有高亮度像素的特征来实现从图像中分割摩托车感兴趣区域。这种摩托车感兴趣区域分割技术在特许公开2000-314620和特开平09-73529中有详细描述，其中特开平09-73529所公开的技术还需要先检测车道线，然后利用车道线的限制来提取摩托车车灯区域，进而分割摩托车感兴趣区域。

然而，只有车辆打开车灯的情况，才会在所摄取的图像中形成高亮度像素区域。而如图1所示的，在车辆(图1示例为摩托车)车灯没有打开的情况下，在所摄取的图像中并没有形成高亮度像素区域。

因此，现有的基于车灯分割车辆感兴趣区域的方法只有在车辆打开车灯的情况下才能使用。

发明内容

考虑到上述问题，本发明的目的在于提出一种从图像中分割车辆感兴趣区域的方法和装置，其不需借助车灯就能从图像中分割出车辆感兴趣区域。

为了实现本发明的发明目的，按照本发明的一种从图像中分割车辆感兴趣区域的方法，包括步骤：

从摄取的图像中确定出满足第一条件的各个像素，其中所述第一条件是所述像素的亮度小于一个类U形区域在所述摄取的图像中形成的所述像素位于其内的图像区域的左、右和下边界上的像素的亮度；

从由所述确定的各个像素所形成的各个像素形成区域中，选择其形状与在其位置处车辆车轮所形成的图像区域的形状相似的像素形成区域；以及

从所述摄取的图像中分割所述选择的像素形成区域作为车辆感兴趣区域。

为了实现本发明的发明目的，按照本发明的一种从图像中分割车辆感兴趣区域的装置，包括：

确定模块，用于从摄取的图像中确定出满足第一条件的各个像素，其中所述第一条件是所述像素的亮度小于一个类U形区域在所述摄取的图像中形成的所述像素位于其内的图像区域的左、右和下边界上的像素的亮度；

选择模块，用于从由所述确定的各个像素所形成的各个像素形成区域中，选择其形状与在其位置处车辆车轮所形成的图像区域的形状相似的像素形成区域；以及

分割模块，用于从所述摄取的图像中分割所述选择的像素形成区域作为车辆感兴趣区域。

由上述可见，本发明通过利用在图像中车辆的车轮具有局部相对较暗的这一稳定特征来从图像中分割出车辆感兴趣区域，从而不需利用车灯就能从图像中分割出车辆感兴趣区域。

附图说明

图1示出了其中摩托车没有打开车灯的图像的示意图。

图2示出了本发明一个实施例的从图像中分割摩托车感兴趣区域的方法的流程图。

图3示出了本发明一个实施例的所摄取的图像的例子。

图4示出了本发明一个实施例的确定满足条件的像素的示意图。

图5示出了本发明一个实施例的像素形成区域的示意图。

图6示出了本发明一个实施例的摩托车感兴趣候选区域的一个例子。

图7示出了本发明一个实施例的图6中的摩托车感兴趣候选区域的左扩展区域LR和右扩展区域RR的示意图。

图8示出了本发明一个实施例的从图7的左扩展区域LR和右扩展区域RR提取的左垂直边缘和右垂直边缘的示意图。

图9A和9B示出了本发明一个实施例的分割的摩托车感兴趣区域的例子。

图10示出了本发明一个实施例的从图像中分割车辆感兴趣区域的装置的示意图。

发明详述

下面结合附图，以摩托车为例，详细描述本发明的从图像中分割车辆感兴趣区域的方法和装置。

图2示出了本发明一个实施例的从图像中分割摩托车感兴趣区域的方法的流程图。如图2所示，首先，预先计算一个摩托车车轮H在摄像装置所摄取的图像中不同位置处所形成的图像区域(步骤S10)。下面为了便于描述，将该摩托车车轮H在所摄取的图像中不同位置处所形成的图像区域称为车轮图像区域。

接着，从所摄取的图像(例如，图3所示出的图像)中确定出符合以下条件的各个像素：其亮度小于一个类U形区域“

”在所摄取的图像中所形成的其位于其中的图像区域的左、右和下边界上的每一个像素的亮度(步骤S14)。优选的，该类U形区域“

的宽度等于或大于实际摩托车车轮的最大宽度的两倍，而其高度等于其宽度的1/2。

图4示出了本发明一个实施例的确定满足条件的像素的示意图。如图4所示，如果像素P0的亮度小于类U形区域“

”在所摄取的图像中所形成的像素P0位于其内的图像区域的左、右和下边界上的像素P1、P2、P3、P4、P5、P6、P7、P8、P9、P10、P11、P12、P13、P14和P15的每一个的亮度，则确定像素P0为符合条件的像素，否则，确定像素P0为不符合条件的像素。

然后，把所确定的满足条件的各个像素中每一组聚集在一起的像素形成一个像素形成区域(步骤S16)。图5示出了本发明一个实施例的像素形成区域的示意图。如图5所示，像素A、B、C、D、E和F聚集在一起，所以它们形成了像素形成区域R1，同理，像素1、2、3和4形成了像素形成区域R2，像素H、I、J和K形成了像素形成区域R3。此外，由于像素A、B、C、D、E、F与像素1、2、3、4没有聚集在一起，所以它们不能形成一个像素形成区域，同理，像素A、B、C、D、E、F与像素H、I、J、K，以及像素1、2、3、4与像素H、I、J、K没有聚集在一起，所以它们都不能形成像素形成区域。

接着，对于每一个像素形成区域，计算其高度和宽度分别与在该像素形成区域的位置处的该预先计算的车轮图像区域的高度和宽度的比值(步骤S20)。为了便于描述，下面将像素形成区域的高度与在该像素形成区域的位置处的该预先计算的车轮图像区域的高度的比值称为该像素形成区域的高度比值，而将该像素形成区域的宽度与在该像素形成区域的位置处的该预先计算的车轮图像区域的宽度的比值称为像素形成区域的宽度比值。

接下来，将各个像素形成区域中其高度比值和宽度比值分别位于预定高度比值范围RH0和预定宽度比值范围RW0的像素形成区域选为摩托车感兴趣候选区域(步骤S30)。换言之，选取各个像素形成区域中其形状与在其位置处预先计算的车轮图像区域相似的像素形成区域，作为摩托车感兴趣候选区域。在本实施例中，预定高度比值范围RH0>0.4和预定宽度比值范围RW0>0.6。图6示出了本发明一个实施例的摩托车感兴趣候选区域的一个例子。

然后，从每一个摩托车感兴趣候选区域的左边和右边分别向外扩展预定宽度W0和预定高度H0，获得每一个摩托车感兴趣候选区域的左扩展区域LR和右扩展区域RR(步骤S40)。其中，在本实施例中，预定宽度W0等于0.3米的宽度在该摄取的图像中摩托车感兴趣候选区域的位置处所形成的图像宽度，而预定高度H0等于0.8米的高度在该摄取的图像中摩托车感兴趣候选区域的位置处所形成的图像高度，然而，本发明的预定宽度W0和预定高度H0并不局限于此，它们也可以根据实际需要来确定。图7示出了本发明一个实施例的图6中的摩托车感兴趣候选区域的左扩展区域LR和右扩展区域RR的示意图。

接着，尝试从每一个摩托车感兴趣候选区域左扩展区域LR和右扩展区域RR中分别提取左垂直边缘和右垂直边缘(步骤S50)。这里，提取垂直边缘的方法可以采用本领域的各种公知方法，例如sobel和canny等。图8示出了本发明一个实施例的从图7的左扩展区域LR和右扩展区域RR提取的左垂直边缘和右垂直边缘的示意图。

最后，将能够提取出左垂直边缘和右垂直边缘的各个摩托车感兴趣候选区域分割为摩托车感兴趣区域(步骤S60)。图9A和9B示出了本发明一个实施例的分割的摩托车感兴趣区域的例子。

虽然在上面的实施例中，使用形状为

的类U形区域来确定所摄取的图像中满足条件的各个像素，但是本发明的类U形区域并不局限于

事实上，在本发明中，类U形区域还可以是诸如“U”等这样的形状。

此外，虽然在上面的实施例中，预先计算摩托车车轮H在所摄取的图像中不同位置处所形成的车轮图像区域，但是本发明并不局限于此。在本发明中，也可以在需要时，例如在计算各个像素形成区域的高度比值和宽度比值时，才计算摩托车车轮H在所摄取的图像中各个像素形成区域的位置处所形成的车轮图像区域。

此外，虽然在上面的实施例中，基于高度和宽度来确定像素形成区域与在其位置处摩托车车轮H所形成的车轮图像区域是否相似，但是本发明并不局限于此。实际上，本发明也可以通过判断像素形成区域和在其位置处摩托车车轮H所形成的车轮图像区域的不变距、矩形度、圆形度或者傅立叶描述子的差异是否在预定范围内，来确定像素形成区域与在其位置处摩托车车轮H所形成的车轮图像区域是否相似。其中，“利用不变距、矩形度、圆形度和傅立叶描述子等方法判断图像区域是否相似”对于图像处理领域的普通技术人员来说是公知的，在此不再赘述。

此外，虽然在上面的实施例中，能提取出左右垂直边缘的摩托车感兴趣候选区域才被选为摩托车感兴趣区域，然而本发明并不局限于此。在本发明中，也可以把摩托车感兴趣候选区域直接选为摩托车感兴趣区域。

此外，虽然在上面的实施例中，以摩托车为例子来描述本发明，但是本发明并不仅局限用于摩托车。其实，本发明也可以用于从图像中获取具有车轮的除了摩托车之外的其它车辆的感兴趣区域。

本发明的上述从图像中分割车辆感兴趣区域的方法，可以采用软件方式实现，亦可以采用硬件方式实现，还可以采用软硬件结合的方式实现。

图10示出了本发明一个实施例的从图像中分割车辆感兴趣区域的装置的示意图。如图10所示，从图像中分割车辆感兴趣区域的装置100，包括：确定模块101，用于从摄取的图像中确定出满足第一条件的各个像素，其中所述第一条件是所述像素的亮度小于一个类U形区域在所述摄取的图像中形成的所述像素位于其内的图像区域的左、右和下边界上的像素的亮度；选择模块103，用于从由所述确定的各个像素所形成的各个像素形成区域中，选择其形状与在其位置处车辆车轮所形成的图像区域的形状相似的像素形成区域；扩展模块105，用于将所述选择的像素形成区域的每一个的左边和右边分别向外扩展预定宽度和预定高度，以获得所述选择的像素形成区域的每一个的左扩展区域和右扩展区域；提取模块107，用于尝试从所述选择的像素形成区域的每一个的左扩展区域和右扩展区域中分别提取所述左垂直边缘和所述右垂直边缘；选择模块103从所述选择的像素形成区域中，进一步选择能提取出左垂直边缘和右垂直边缘的像素形成区域；以及，分割模块109，用于从所述摄取的图像中分割所述进一步选择的像素形成区域作为车辆感兴趣区域。

本领域技术人员应当理解，本发明所公开的从图像中分割车辆感兴趣区域的方法和装置以及从图像中确定出摩托车感兴趣区域的方法和装置，可以在不偏离本发明的实质的情况下，做出各种变形和修改。因此，本发明的保护范围由所附的权利要求书来确定。

Claims

1、一种从图像中分割车辆感兴趣区域的方法，包括步骤：

2、如权利要求1所述的方法，其中，还包括步骤：

从所述选择的像素形成区域中，进一步选择能提取出左垂直边缘和右垂直边缘的像素形成区域；以及

从所述摄取的图像中分割所述进一步选择的像素形成区域作为所述车辆感兴趣区域。

3、如权利要求2所述的方法，其中，所述进一步选择步骤包括：

将所述选择的像素形成区域的每一个的左边和右边分别向外扩展预定宽度，以获得所述选择的像素形成区域的每一个的左扩展区域和右扩展区域；

尝试从所述选择的像素形成区域的每一个的左扩展区域和右扩展区域中分别提取所述左垂直边缘和所述右垂直边缘；以及

确定出所述选择的像素形成区域中能提取出所述左垂直边缘和所述右垂直边缘的像素形成区域。

4、如权利要求3所述的方法，其中，所述扩展步骤还包括：

将所述选择的像素形成区域的每一个的左扩展区域和右扩展区域分别扩展预定高度。

5、如权利要求1-4中任意一个所述的方法，其中，所述相似是所述像素形成区域的高度和宽度分别与在其位置处所述车辆车轮所形成的图像区域的高度和宽度的比值都在预定比值范围内。

6、如权利要求1-4中任意一个所述的方法，其中，所述相似是所述像素形成区域的不变矩、矩形度、圆形度或傅立叶描述子与在其位置处所述车辆车轮所形成的图像区域的不变矩、矩形度、圆形度或傅立叶描述子的差异在预定范围内。

7、如权利要求1-4中任意一个所述的方法，其中，在所述像素形成区域位置处所述车辆车轮所形成的图像区域是预先计算的或需要时计算的。

8、如权利要求1-4中任意一个所述的方法，其中，所述类U形区域的形状为

或U。

9、如权利要求1-4中任意一个所述的方法，其中，所述各个像素形成区域的每一个由所述确定的各个像素中的其中一组聚集在一起的像素形成。

10、如权利要求1-4中任意一个所述的方法，其中，所述类U形区域的宽度大于或等于实际车辆车轮的最大宽度的两倍，而其高度是其宽度的1/2。

11、一种从图像中分割车辆感兴趣区域的装置，包括：

12、如权利要求11所述的装置，其中，还包括：

所述选择模块从所述选择的像素形成区域中，进一步选择能提取出左垂直边缘和右垂直边缘的像素形成区域；以及

所述分割模块从所述摄取的图像中分割所述进一步选择的像素形成区域作为所述车辆感兴趣区域。

13、如权利要求12所述的装置，其中，还包括：

扩展模块，用于将所述选择的像素形成区域的每一个的左边和右边分别向外扩展预定宽度，以获得所述选择的像素形成区域的每一个的左扩展区域和右扩展区域；

提取模块，用于尝试从所述选择的像素形成区域的每一个的左扩展区域和右扩展区域中分别提取所述左垂直边缘和所述右垂直边缘；以及

所述选择模块从所述选择的像素形成区域中进一步选择能提取出所述左垂直边缘和所述右垂直边缘的像素形成区域。

14、如权利要求13所述的装置，其中，所述扩展模块还用于将所述选择的像素形成区域的每一个的左扩展区域和右扩展区域分别扩展预定高度。

15、如权利要求11-14中任意一个所述的装置，其中，所述相似是所述像素形成区域的高度和宽度分别与在其位置处所述车辆车轮所形成的图像区域的高度和宽度的比值都在预定比值范围内。

16、如权利要求11-14中任意一个所述的装置，其中，所述相似是所述像素形成区域的不变矩、矩形度、圆形度或傅立叶描述子与在其位置处所述车辆车轮所形成的图像区域的不变矩、矩形度、圆形度或傅立叶描述子的差异在预定范围内。

17、如权利要求11-14中任意一个所述的装置，其中，在所述像素形成区域位置处所述车辆车轮所形成的图像区域是预先计算的或需要时计算的。

18、如权利要求11-14中任意一个所述的装置，其中，所述类U形区域的形状为

或U。

19、如权利要求11-14中任意一个所述的装置，其中，所述各个像素形成区域的每一个由所述确定的各个像素中的其中一组聚集在一起的像素形成。

20、如权利要求11-14中任意一个所述的装置，其中，所述类U形区域的宽度大于或等于实际车辆车轮的最大宽度的两倍，而其高度是其宽度的1/2。