CN101477629A - 车道线的感兴趣区域提取方法和装置 - Google Patents

Abstract

本发明公开了一种车道线的感兴趣区域提取方法及装置，包括：对图像划行分割得到多个局部图像；根据所述每个局部图像的亮度分布得到该局部图像内车道线的感兴趣片断；对所述所有局部图像内车道线的感兴趣片断进行连接处理后得到车道线的感兴趣区域。本发明利用车道线在局部相对周围路面亮的特征，分割出完整的车道线区域，由此可以得到车道线的全部信息，为后续车道线识别提供了全面的信息，并且由于不受车道线模型的限制，提高了车道线定位的精度。

Description

车道线的感兴趣区域提取方法和装置

技术领域

本发明涉及智能信息领域，特别涉及车道线的感兴趣区域提取方法和装置。

背景技术

基于机器视觉的车道线识别系统，通过安装在车辆或其它物体上的摄像机等图像获取装置获取图像，并从获取的图像中分割出可能的车道线区域，然后根据该分割出的区域识别车道线。车道线在图像中通常成像为一个区域(即我们在公路上通常所见的白色或黄色区域)，现有技术中在进行车道线提取时，主要通过边缘算子提取图像的边缘点，然后按照预先设置的车道线模型(例如，直线模型或曲线模型)对边缘点进行拟合，根据拟合结果提取出可能的车道线。

发明人在对现有技术的研究过程中发现，由于现有车道线提取基于边缘信息，而车道线本身是具有一定面积的区域，因此现有方式仅能提取出车道线区域的边缘信息(通常为一条直线或曲线)，而无法提取到完整的车道线区域，因此无法获取车道线区域的残缺度、区域面积、区域宽度等信息，使得在后续车道线的识别过程中，难以判别车道线区域的完整性；另外，如果假设的车道线模型与实际的车道线形状不符时，则会导致提取出的车道线位置的精度较差。

发明内容

本发明的目的在于提供车道线的感兴趣区域提取方法和装置，以解决现有技术中无法提取完整车道线区域，且提取出的车道线位置的精度较差问题。

为解决上述技术问题，本发明提供如下技术方案：

一种车道线的感兴趣区域提取方法，包括：

对图像划行分割得到多个局部图像；

根据所述每个局部图像的亮度分布得到该局部图像内车道线的感兴趣片断；

对所述所有局部图像内车道线的感兴趣片断进行连接处理后得到车道线的感兴趣区域。

所述对图像划行分割得到多个局部图像包括：

接收图像获取装置获取的图像；

对所述图像按照预设的间隔横向划行后提取所述多个局部图像。

所述根据所述每个局部图像的亮度分布得到该局部图像内车道线的感兴趣片断包括：

根据每个所述局部图像的亮度分布生成波形图；

对所述波形图进行滤波处理；

根据滤波结果得到车道线的感兴趣片断。

所述对波形图进行滤波处理包括：

获得所述波形图中的所有左端点和右端点；

对所述左端点和右端点进行配对，所述配对的左端点和右端点的水平间距在与真实世界的车道线宽度范围对应的图像宽度范围内；

从所述配对的端点中提取匹配度大于预先设置的阈值的配对端点；

滤出所述配对端点的波峰间的平均亮度高于其它区域亮度的车道线的感兴趣片断。

所述对所述所有局部图像内车道线的感兴趣片断进行连接处理后得到车道线的感兴趣区域包括：

按照预设的带状区域定义将所述车道线的感兴趣片断连接生成对应的带状区域；

将所述带状区域进行过滤连接得到所述车道线的感兴趣区域。

所述将车道线的感兴趣片断连接生成对应的带状区域包括：

顺序扫描所述车道线的感兴趣片断；

将满足预设条件的感兴趣片断加入已生成的带状区域，以及将不满足预设条件的感兴趣片断生成新的带状区域，作为所述新的带状区域的起始片断。

所述预设条件包括：

所述感兴趣片断的宽度与所述已生成的带状区域的最后一个片断的宽度的差在预设范围内；和

所述感兴趣片断与所述已生成的带状区域的最后一个片断相交；和

所述感兴趣片断加入所述已生成的带状区域后所述带状区域仍然满足所述带状区域定义。

一种车道线的感兴趣区域提取装置，包括：

划分单元，用于对图像划行分割得到多个局部图像；

获得单元，用于根据所述每个局部图像的亮度分布得到该局部图像内车道线的感兴趣片断；

处理单元，用于对所述所有局部图像内车道线的感兴趣片断进行连接处理后得到车道线的感兴趣区域。

所述划分单元包括：

接收单元，用于接收图像获取装置获取的图像；

提取单元，用于对所述图像按照预设的间隔横向划行后提取所述多个局部图像。

所述获得单元包括：

波形生成单元，用于根据每个所述局部图像的亮度分布生成波形图；

滤波单元，用于对所述波形图进行滤波处理；

结果获取单元，用于根据滤波结果得到车道线的感兴趣片断。

所述滤波单元包括：

端点获取单元，用于获得所述波形图中的所有左端点和右端点；

端点配对单元，用于对所述左端点和右端点进行配对，所述配对的左端点和右端点的水平间距在与真实世界的车道线宽度范围对应的图像宽度范围内；

端点提取单元，用于从所述配对的端点中提取匹配度大于预先设置的阈值的配对端点；

端点滤出单元，用于滤出所述配对端点的波峰间的平均亮度高于其它区域亮度的车道线的感兴趣片断。

所述处理单元包括：

带状区域生成单元，用于按照预设的带状区域定义将所述车道线的感兴趣片断连接生成对应的带状区域；

区域过滤单元，用于将所述带状区域进行过滤得到所述车道线的感兴趣区域。

所述带状区域生成单元包括：

区域扫描单元，用于顺序扫描所述车道线的感兴趣片断；

条件匹配单元，用于将满足预设条件的感兴趣片断加入已生成的带状区域，以及将不满足预设条件的感兴趣片断生成新的带状区域，作为所述新的带状区域的起始片断。

由以上本发明提供的技术方案可见，本发明对图像划行分割得到多个局部图像，根据每个局部图像的亮度分布得到该局部图像内车道线的感兴趣片断，对所有局部图像内车道线的感兴趣片断进行连接处理后得到车道线的感兴趣区域。本发明利用车道线在局部相对周围路面亮的特征，分割出完整的车道线区域，由此可以得到车道线的全部信息，为后续车道线识别提供了全面的信息，并且由于不受车道线模型的限制，提高了车道线定位的精度。

附图说明

图1为本发明车道线的感兴趣区域提取方法的第一实施例流程图；

图2为本发明车道线的感兴趣区域提取方法的第二实施例流程图；

图3为本发明车道线的感兴趣区域提取方法的第三实施例流程图；

图4为本发明实施例中滤波生成的波形示意图；

图5为本发明车道线的感兴趣区域提取装置的第一实施例框图；

图6为本发明车道线的感兴趣区域提取装置的第二实施例框图。

具体实施方式

本发明的核心是提供车道线的感兴趣区域提取方法和装置，对图像划行分割得到多个局部图像，根据每个局部图像的亮度分布得到该局部图像内车道线的感兴趣片断，对所有局部图像内车道线的感兴趣片断进行连接处理后得到车道线的感兴趣区域。

为了使本技术领域的人员更好地理解本发明方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明车道线的感兴趣区域提取方法的第一实施例流程如图1所示：

步骤101：对图像划行分割得到多个局部图像。

具体的，接收图像获取装置获取的图像，对该图像按照预设的间隔横向划行后提取多个局部图像。

步骤102：根据每个局部图像的亮度分布得到该局部图像内车道线的感兴趣片断。

具体的，根据每个所述局部图像的亮度分布生成波形图，对波形图进行滤波处理，根据滤波结果得到车道线的感兴趣片断。

步骤103：对所有局部图像内车道线的感兴趣片断进行连接处理后得到车道线的感兴趣区域。

具体的，按照预设的带状区域定义将车道线的感兴趣片断连接生成对应的带状区域，将带状区域进行过滤连接得到车道线的感兴趣区域。

本发明车道线的感兴趣区域提取方法的第二实施例流程如图2所示，该实施例详细示出了车道线提取的过程，提取过程可以由具有信息处理能力的装置完成：

步骤201：接收图像获取装置获取的图像。

图像获取装置通常为安装在行驶车辆上的摄像机，该摄像机可以实时摄取道路上的车道线图像，然后将车道线图像传输给车道线的感兴趣区域提取装置进行后续处理。本发明实施例中所说的车道线通常指道路上用于标识车道的白色和/或黄色带状区域。

步骤202：对图像按照预设的间隔横向划行后提取多个局部图像。

车道线具有一定的宽度，而其长度通常根据道路的长度而定，在对由该长度和宽度组成的带状车道线进行处理时，沿该车道线的宽度方向按照一定的间距划分车道线图像，划分后得到多个车道线的横向局部图像。

步骤203：根据每个局部图像的亮度分布生成波形图。

由于对车道线图像进行了划行，因此对划行得到的多个局部图像分别生成亮度波形图，由于车道线的亮度相对于周围道路的亮度高，因此生成的波形图中车道线所在的区域会产生凸起的波形。

步骤204：对所述波形图进行滤波处理，根据滤波结果得到车道线的感兴趣片断。

在对生成的波形图进行滤波处理时，获得所述波形图中的所有左端点和右端点，对左端点和右端点进行配对，配对的左端点和右端点的水平间距在与真实世界的车道线宽度范围对应的图像宽度范围内，从配对的端点中提取匹配度大于预先设置的阈值的配对端点，滤出配对端点的波峰间的平均亮度高于其它区域亮度的车道线的感兴趣片断。

其中，感兴趣片段特别指在局部图像内组成候选车道线的区域。

步骤205：按照预设的带状区域定义将车道线的感兴趣片断连接生成对应的带状区域。

按照车道线的形状预先对带状区域进行定义，然后顺序扫描车道线的感兴趣片断，将满足预设条件的感兴趣片断加入已生成的带状区域，以及将不满足预设条件的感兴趣片断生成新的带状区域，作为新的带状区域的起始片断。

步骤206：将带状区域进行过滤得到车道线的感兴趣区域。

所有的配对端点均加入了对应的带状区域后，对带状区域进行过滤即可得到车道线的感兴趣区域。

本发明车道线的感兴趣区域提取方法的第三实施例流程如图3所示，该实施例结合实际应用对车道线信息的提取过程进行描述：

步骤301：接收图像获取装置获取的图像，对图像按照预设的间隔横向划行后提取多个局部图像。

步骤302：根据每个局部图像的亮度分布生成波形图。

如图4所示，为本发明中对划分出的一个局部图像的滤波结果的示意图，为了后续描述方便，对该滤波结果进行描述，同时对后续处理波形图需要使用的点进行定义说明。

其中，左波谷是当前点的亮度大于等于左边相邻像素的亮度，小于右边相邻点的亮度的点；左波峰是位于左波谷右侧，第一个大于左边相邻像素亮度，小于等于右边相邻像素亮度的点；右波谷是当前点的亮度大于等于右边相邻像素的亮度，小于左边相邻点的亮度的点；右波峰是位于右波谷左侧，第一个大于右边相邻像素亮度，小于等于左边相邻像素亮度的点；左端点是由左波谷、左波峰及左波谷和左波峰间的亮度差振幅组成的部分；右端点是由右波谷、右波峰及右波谷和右波峰间的亮度差振幅组成的部分。

步骤303：获得波形图中的所有左端点和右端点。

根据车道线的数量的不同，生成的每个波形图中可能包含多个左端点和右端点。

步骤304：对左端点和右端点进行配对，配对的左端点和右端点的水平间距在与真实世界的车道线宽度范围对应的图像宽度范围内。

步骤305：从配对的端点中提取匹配度大于预先设置的阈值的配对端点。

阈值可以预先根据车道线样本进行统计得到一个经验值，当配对端点的匹配度大于该阈值时，将配对端点及配对端点间的部分记录下来。

在计算左右端点的匹配度时，可以采用如下公式：

$\left\{\begin{array}{c}{\mathrm{Value}}_m=w_1\×S_t+w_2\×S_a+w_3\×V_c\\ S_a=1-{\mathrm{Diff}}_a/\mathrm{Swing}\\ S_t=1-{\mathrm{Diff}}_t/\mathrm{Swing}\\ V_c=1-{\mathrm{Diff}}_i/{\mathrm{Diff}}_{\mathrm{at}}\\ {\mathrm{Diff}}_{\mathrm{at}}=\min (A_l,A_r)-\max (T_l,T_r)\end{array}\right.$

其中，w₁、w₂、w₃为权重，S_t为波谷对称性，S_a为波峰对称性，V_c为波峰间亮度变化，Diff_a为左右波峰亮度差，Diff_t为左右波谷亮度差，Swing为左右振幅的最大值，A_l、A_r、T_l、T_r分别为左右波峰波谷值。

步骤306：滤出配对端点的波峰间的平均亮度高于其它区域亮度的车道线的感兴趣片断。

波峰间的平均亮度指波峰间像素亮度的平均值，其它区域亮度指分别从左波谷向左，以及从右波谷向右取与车道线的宽度一致的像素求得的平均值。

步骤307：顺序扫描车道线的感兴趣片断。

在本实施例中，可以预先对带状区域进行定义，设P为区域R任意一侧n个边界点的集合，其中3≤n≤10，

当满足： $\∀p_i,p_j\∈P,$ 其中p_i(x_i，y_i)、p_j(x_j，y_j)，当|x_i-x_j|≤1成立，必有|y_i-y_j|≤1成立，且存在一条直线l，使得 $\∀p_k\∈P$ 到直线l的像素距离d≤T(其中T＝3)，则区域R为带状区域。

在生成带状区域时，采用从下至上、从左至右的顺序扫描滤波结果。

步骤308：判断配对端点是否满足预设条件，若是，则执行步骤309；否则，执行步骤310。

本实施例中，假设预设条件为三个，分别如下所示：

条件1

配对端点的宽度与生成的带状区域的最后一个配对端点的宽度的差在预设范围内，可以通过如下公式判断：

(1)y(纵坐标)方向上两配对端点的像素间距小于d：

|y₁-y₂|<d，其中，d在3D空间中值为0.1m

(2)相似值SimilarValue≥T_w，SimilarValue＝min(w₁，w₂)/max(w₁，w₂)，其中，w为配对端点x(横坐标)方向上的宽度，w＝|x_i-x_j|，T_w为相似度阈值，T_w＝0.8。

条件2

配对端点与已生成的带状区域的最后一个配对端点相交，可以通过如下公式判断是否相交：

min(x_ri，x_rj)-max(x_li，x_lj)≥Tp，其中，x_ri，x_rj分别为两配对端点右端x方向上坐标，x_li，x_lj分别为两配对端点左端x方向上坐标，T_p为阈值，T_p＝0。

条件3

配对端点加入已生成的带状区域后该带状区域仍然满足前述带状区域的定义。

步骤309：将满足预设条件的感兴趣片断加入已生成的带状区域，执行步骤311。

步骤310：将不满足预设条件的感兴趣片断生成新的带状区域，作为新的带状区域的起始片断。

步骤311：判断所有的配对端点是否处理完，若是，则执行步骤312；否则，返回步骤308。

步骤312：将带状区域进行过滤得到车道线的感兴趣区域。

在过滤带状区域时，可以预先设置一个阈值，当带状区域的下端点与上端点之间的像素距离大于该阈值时，则该带状区域为符合过滤条件的带状区域，对所有的带状区域进行过滤后，将符合条件的带状区域作为车道线的感兴趣区域。

与本发明车道线的感兴趣区域提取方法相对应，本发明还提供了车道线的感兴趣区域提取装置。

本发明车道线的感兴趣区域提取装置的第一实施例框图如图5所示，该装置包括：划分单元510、获得单元520和处理单元530。

其中，划分单元510用于对图像划行分割得到多个局部图像；获得单元520用于根据所述每个局部图像的亮度分布得到该局部图像内车道线的感兴趣片断；处理单元530用于对所述所有局部图像内车道线的感兴趣片断进行连接处理后得到车道线的感兴趣区域。

本发明车道线的感兴趣区域提取装置的第二实施例框图如图6所示，该装置包括：划分单元610、获得单元620和处理单元630。

其中，划分单元610用于对图像划行分割得到多个局部图像；获得单元620用于根据所述每个局部图像的亮度分布得到该局部图像内车道线的感兴趣片断；处理单元630用于对所述所有局部图像内车道线的感兴趣片断进行连接处理后得到车道线的感兴趣区域。

其中，划分单元610包括：接收单元611，用于接收图像获取装置获取的图像；提取单元612，用于对所述图像按照预设的间隔横向划行后提取所述多个局部图像。

其中，获得单元620包括：波形生成单元621，用于根据每个所述局部图像的亮度分布生成波形图；滤波单元622，用于对所述波形图进行滤波处理；结果获取单元623，用于根据滤波结果得到车道线的感兴趣片断。

进一步，滤波单元622可以包括(图6中未示出)：端点获取单元，用于获得所述波形图中的所有左端点和右端点；端点配对单元，用于对所述左端点和右端点进行配对，所述配对的左端点和右端点的水平间距在与真实世界的车道线宽度范围对应的图像宽度范围内；端点提取单元，用于从所述配对的端点中提取匹配度大于预先设置的阈值的配对端点；端点滤出单元，用于滤出所述配对端点的波峰间的平均亮度高于其它区域亮度的车道线的感兴趣片断。

其中，处理单元630包括：带状区域生成单元631，用于按照预设的带状区域定义将所述车道线的感兴趣片断连接生成对应的带状区域；区域过滤单元632，用于将所述带状区域进行过滤得到所述车道线的感兴趣区域。

进一步，带状区域生成单元631可以包括(图6中未示出)：区域扫描单元，用于顺序扫描所述车道线的感兴趣片断；条件匹配单元，用于将满足预设条件的感兴趣片断加入已生成的带状区域，以及将不满足预设条件的感兴趣片断生成新的带状区域，作为所述新的带状区域的起始片断。

通过以上的实施方式的描述可知，本发明对图像划行分割得到多个局部图像，根据每个局部图像的亮度分布得到该局部图像内车道线的感兴趣片断，对所有局部图像内车道线的感兴趣片断进行连接处理后得到车道线的感兴趣区域。本发明利用车道线在局部相对周围路面亮的特征，分割出完整的车道线区域，由此可以得到车道线的全部信息，为后续车道线识别提供了全面的信息，并且由于不受车道线模型的限制，提高了车道线定位的精度。

本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (13)

1、一种车道线的感兴趣区域提取方法，其特征在于，包括：

对图像划行分割得到多个局部图像；

根据所述每个局部图像的亮度分布得到该局部图像内车道线的感兴趣片断；

对所述所有局部图像内车道线的感兴趣片断进行连接处理后得到车道线的感兴趣区域。

2、根据权利要求1所述的方法，其特征在于，所述对图像划行分割得到多个局部图像包括：

接收图像获取装置获取的图像；

对所述图像按照预设的间隔横向划行后提取所述多个局部图像。

3、根据权利要求1所述的方法，其特征在于，所述根据所述每个局部图像的亮度分布得到该局部图像内车道线的感兴趣片断包括：

根据每个所述局部图像的亮度分布生成波形图；

对所述波形图进行滤波处理；

根据滤波结果得到车道线的感兴趣片断。

4、根据权利要求3所述的方法，其特征在于，所述对波形图进行滤波处理包括：

获得所述波形图中的所有左端点和右端点；

对所述左端点和右端点进行配对，所述配对的左端点和右端点的水平间距在与真实世界的车道线宽度范围对应的图像宽度范围内；

从所述配对的端点中提取匹配度大于预先设置的阈值的配对端点；

滤出所述配对端点的波峰间的平均亮度高于其它区域亮度的车道线的感兴趣片断。

5、根据权利要求4所述的方法，其特征在于，所述对所述所有局部图像内车道线的感兴趣片断进行连接处理后得到车道线的感兴趣区域包括：

按照预设的带状区域定义将所述车道线的感兴趣片断连接生成对应的带状区域；

将所述带状区域进行过滤得到所述车道线的感兴趣区域。

6、根据权利要求5所述的方法，其特征在于，所述将车道线的感兴趣片断连接生成对应的带状区域包括：

顺序扫描所述车道线的感兴趣片断；

将满足预设条件的感兴趣片断加入已生成的带状区域，以及将不满足预设条件的感兴趣片断生成新的带状区域，作为所述新的带状区域的起始片断。

7、根据权利要求6所述的方法，其特征在于，所述预设条件包括：

所述感兴趣片断的宽度与所述已生成的带状区域的最后一个片断的宽度的差在预设范围内；和

所述感兴趣片断与所述已生成的带状区域的最后一个片断相交；和

所述感兴趣片断加入所述已生成的带状区域后所述带状区域仍然满足所述带状区域定义。

8、一种车道线的感兴趣区域提取装置，其特征在于，包括：

划分单元，用于对图像划行分割得到多个局部图像；

获得单元，用于根据所述每个局部图像的亮度分布得到该局部图像内车道线的感兴趣片断；

处理单元，用于对所述所有局部图像内车道线的感兴趣片断进行连接处理后得到车道线的感兴趣区域。

9、根据权利要求8所述的装置，其特征在于，所述划分单元包括：

接收单元，用于接收图像获取装置获取的图像；

提取单元，用于对所述图像按照预设的间隔横向划行后提取所述多个局部图像。

10、根据权利要求8所述的装置，其特征在于，所述获得单元包括：

波形生成单元，用于根据每个所述局部图像的亮度分布生成波形图；

滤波单元，用于对所述波形图进行滤波处理；

结果获取单元，用于根据滤波结果得到车道线的感兴趣片断。

11、根据权利要求10所述的装置，其特征在于，所述滤波单元包括：

端点获取单元，用于获得所述波形图中的所有左端点和右端点；

端点配对单元，用于对所述左端点和右端点进行配对，所述配对的左端点和右端点的水平间距在与真实世界的车道线宽度范围对应的图像宽度范围内；

端点提取单元，用于从所述配对的端点中提取匹配度大于预先设置的阈值的配对端点；

端点滤出单元，用于滤出所述配对端点的波峰间的平均亮度高于其它区域亮度的车道线的感兴趣片断。

12、根据权利要求10所述的装置，其特征在于，所述处理单元包括：

带状区域生成单元，用于按照预设的带状区域定义将所述车道线的感兴趣片断连接生成对应的带状区域；

区域过滤单元，用于将所述带状区域进行过滤得到所述车道线的感兴趣区域。

13、根据权利要求12所述的装置，其特征在于，所述带状区域生成单元包括：

区域扫描单元，用于顺序扫描所述车道线的感兴趣片断；

条件匹配单元，用于将满足预设条件的感兴趣片断加入已生成的带状区域，以及将不满足预设条件的感兴趣片断生成新的带状区域，作为所述新的带状区域的起始片断。

Images