CN104309606A - 基于360度全景的车道偏离预警方法 - Google Patents

Abstract

本发明公开了一种基于360度全景的车道偏离预警方法，包括：S1、在车辆的四周安装若干广角摄像头，使广角摄像头覆盖车辆周围360°的视场区域；S2、由摄像头标定工具箱对广角摄像头采集到的图像进行校正畸变，并实时将图像投影到地面生成360度全景俯视图；S3、利用全景车道线检测二值化算子对360度全景俯视图二值化，利用区域生长法在二值化图像中识别车道线；S4、实时计算车道线与车辆之间的位置关系并预警。本发明算法稳定，不易受环境影响，可用性强；车道线检测结果更准确，误检、漏检减少，提高了报警准确性。

Description

基于360度全景的车道偏离预警方法

技术领域

本发明涉及汽车电子技术领域，特别是涉及一种基于360度全景的车道偏离预警方法。

背景技术

随着社会经济的快速发展，汽车保有量大大增加，但随之而来的是大量交通事故，根据美国联邦公路局估计，美国所有致命的公路交通事故中大约有44％与车辆偏离车道有关。为了有效减少和避免车道偏离交通事故的发生，各大厂商都越来越重视车道偏离预警系统的研究。

常见的汽车主动安全系统有全景泊车辅助系统、车道偏离预警系统等。全景泊车辅助系统能够实时提供驾驶员车辆周围360度的全景俯视图像。车道偏离预警系统可以通过报警的方式辅助驾驶员，减少汽车因偏离行驶车道而发生的交通事故。将车道偏离预警系统集成到360度全景系统中，能够大量减少硬件、软件成本，显然更有竞争力。

现有技术中公开了一种基于环视的道路偏离预警方法和装置(专利申请号：201310095289.5，公开号：103192829A)，基于多个鱼眼摄像头，拼接多个摄像头采集到的图像得到车辆360度全景图，同时利用360度全景图像进行车道线检测并预警。然而现有技术中使用边缘检测算法识别车道线，而边缘检测算法往往易受环境影响导致结果不稳定、计算量大导致难以实时运行，此外，对一条车道线进行边缘检测时，往往返回多个边缘结果，导致最终车道线结果不准确。

因此，针对上述技术问题，有必要提供一种基于360度全景的车道偏离预警方法。

发明内容

有鉴于此，本发明针对现有技术边缘检测算法识别车道线结果不准确的问题，提出了一种基于360度全景的车道偏离预警方法。

为了实现上述目的，本发明实施例提供的技术方案如下：

一种基于360度全景的车道偏离预警方法，所述方法包括：

S1、在车辆的四周安装若干广角摄像头，使广角摄像头覆盖车辆周围360°的视场区域；

S2、由摄像头标定工具箱对广角摄像头采集到的图像进行校正畸变，并实时将图像投影到地面生成360度全景俯视图；

S3、利用全景车道线检测二值化算子对360度全景俯视图二值化，利用区域生长法在二值化图像中识别车道线；

S4、实时计算车道线与车辆之间的位置关系并预警。

作为本发明的进一步改进，所述广角摄像头数量为4个，包括前摄像头、后摄像头、左摄像头和右摄像头。

作为本发明的进一步改进，所述步骤S2具体为：

S21、由摄像头标定工具对广角摄像头分别进行标定，将原始的畸变图像校正成没有畸变的图像；

S22、由已校正畸变的图像上特征点的位置与对应的在地面坐标系的位置，计算特征点的位置与地面坐标系的透视变换；

S23、生成一张原始的畸变图像到地面俯视图之间的映射关系表，实时将广角摄像头采集到的图像转化成车身周围的360度全景俯视图。

作为本发明的进一步改进，所述步骤S23还包括：

将360度全景俯视图中间盲区部分填充与真车比例相同的车型图像。

作为本发明的进一步改进，所述步骤S3具体为：

S31、设定亮度最小值阈值L_min，提取360度全景俯视图的亮度分量，并将360度全景俯视图中间盲区部分的亮度值设为L_min；

S32、由360度全景俯视图的真实视野范围及其像素分辨率，设定车道线的最大像素宽度W_lane及360度全景俯视图中车道线的检测区域；

S33、利用全景车道线检测二值化算子对360度全景俯视图中车道线的检测区域中任一点进行二值化；

S34、利用区域生长法在二值化图像中识别车道线。

作为本发明的进一步改进，所述步骤S33具体为：

令360度全景俯视图的车道线检测区域中任意一点竖直方向坐标为i，水平方向坐标为j的像素亮度值为b(i，j)；

当满足b(i，j)＞B_thresh且b(i，j)-b(i，j-W_lane)＞D_thresh且b(i，j)-b(i，j+W_lane)＞D_thresh时，判定点(i，j)为车道线候选点，否则为无效点，其中B_thresh为车道线最低亮度阈值，D_thresh为车道线与两侧图像亮度差阈值。

作为本发明的进一步改进，所述步骤S34具体为：

利用区域生长法，将所有车道线候选点中相邻接的点组织成车道线候选点块，根据360度全景俯视图的真实视野范围及像素分辨率，设定车道线点块的竖直方向高度阈值、水平方向宽度阈值、包含像素点数阈值，并排除不符合车道线特征的候选点块，剩余点块由其包含的所有点坐标拟合直线或曲线方程，并最终确定车道线。

作为本发明的进一步改进，所述步骤S4具体为：

由实时得到的车道线所有点坐标、直线或曲线方程、及车辆在360度全景俯视图中的覆盖范围，计算车辆与车道线的最近距离、车辆按目前行驶方向偏离当前车道的时间，分别设定相应阈值并在满足条件时进行报警。

本发明具有以下有益效果：

1、算法稳定，不易受环境影响，可用性强；

2、降低了计算量，提高了系统的实时性，降低了硬件和软件的成本；

3、车道线检测结果更准确，误检、漏检减少，提高了报警准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于360度全景的车道偏离预警方法的流程图；

图2为本发明一具体实施方式中广角摄像头的安装示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

参图1所示，本发明的一种基于360度全景的车道偏离预警方法，该方法包括：

S1、在车辆的四周安装若干广角摄像头，使广角摄像头覆盖车辆周围360°的视场区域；

S2、由摄像头标定工具箱对广角摄像头采集到的图像进行校正畸变，并实时将图像投影到地面生成360度全景俯视图；

S3、利用全景车道线检测二值化算子对360度全景俯视图二值化，利用区域生长法在二值化图像中识别车道线；

S4、实时计算车道线与车辆之间的位置关系并预警。

以下结合具体实施方式对本发明基于360度全景的车道偏离预警方法的各步骤作进一步说明。

S1、在车辆的四周安装若干广角摄像头，使广角摄像头覆盖车辆周围360°的视场区域。

广角摄像头安装位置及视野覆盖范围说明：

广角摄像头数量为4个，包括前摄像头、后摄像头、左摄像头和右摄像头。四个摄像头的安装位置如图2所示，具体为：

前摄像头11，安装于车标附近且位于车辆宽度方向的中间位置，前摄像头11的拍摄角度为斜向下向车身外场景；

右摄像头12，安装于右后视镜的下方，右摄像头12的拍摄角度为斜向下向车身外；

左摄像头13，安装于左后视镜的下方，左摄像头13的拍摄角度为斜向下向车身外；

后摄像头14，安装于车牌附近位置且位于车辆宽度方向的中间位置，后摄像头14的拍摄角度为斜向下向车身外场景。

由于所采用的摄像头均为视野大于180°的广角摄像头，因此，上述安装方法可以确保摄像头采集到的场景能够有效覆盖车身周围360°的视场区域，为后续的360度全景俯视图提供了保障。当然，在其他实施方式中摄像头数量及安装位置也可以改变，只要满足摄像头覆盖车身周围360°的视场区域即可。

S2、由摄像头标定工具箱对广角摄像头采集到的图像进行校正畸变，并实时将图像投影到地面生成360度全景俯视图。

具体步骤如下：

S21、由摄像头标定工具对4个广角摄像头分别进行标定，将原始的畸变图像校正成没有畸变的图像。

S22、由已校正畸变的图像上特征点的位置与对应的在地面坐标系的位置，计算特征点的位置与地面坐标系的透视变换。其中，透视变换是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面(透视面)绕迹线(透视轴)旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。

S23、由步骤S21和S22的结果生成一张原始的畸变图像到地面俯视图之间的映射关系表，通过该映射关系表可实时将广角摄像头采集到的图像转化成车身周围的360度全景俯视图。

进一步地，本实施方式中步骤S23还包括：

将360度全景俯视图中间盲区部分(即车身部分)填充与真车比例相同的车型图像。

S3、利用全景车道线检测二值化算子对360度全景俯视图二值化，利用区域生长法在二值化图像中识别车道线。

具体步骤如下：

S31、设定亮度最小值阈值L_min，提取360度全景俯视图的亮度分量，并将360度全景俯视图中间盲区部分的亮度值设为L_min。

S32、由360度全景俯视图的真实视野范围及其像素分辨率，设定车道线的最大像素宽度W_lane及360度全景俯视图中车道线的检测区域。

S33、利用全景车道线检测二值化算子对360度全景俯视图中车道线的检测区域中任一点进行二值化：

令360度全景俯视图的车道线检测区域中任意一点竖直方向坐标为i，水平方向坐标为j的像素亮度值为b(i，j)；

当满足b(i，j)＞B_thresh且b(i，j)-b(i，j-W_lane)＞D_thresh且b(i，j)-b(i，j+W_lane)＞D_thresh时，判定点(i，j)为车道线候选点，否则为无效点，其中B_thresh为车道线最低亮度阈值，D_thresh为车道线与两侧图像亮度差阈值。

进一步地，本实施方式中采用亮度分量进行车道线候选点的判定，在其他实施方式中还可以使用灰度分量进行判定，其判定方法与亮度分量类似，在此不再进行赘述。

S34、利用区域生长法在二值化图像中识别车道线：

利用区域生长法，将所有车道线候选点中相邻接的点组织成车道线候选点块，根据360度全景俯视图的真实视野范围及像素分辨率，设定车道线点块的竖直方向高度阈值、水平方向宽度阈值、包含像素点数阈值等，并排除不符合车道线特征的候选点块，剩余点块由其包含的所有点坐标拟合直线或曲线方程，并最终确定车道线。其中，本实施方式中车道线信息包括其包含的所有点坐标及相应的直线或曲线方程。

S4、实时计算车道线与车辆之间的位置关系并预警。

由实时得到的车道线所有点坐标、直线或曲线方程、及车辆在360度全景俯视图中的覆盖范围，计算车辆与车道线的最近距离、车辆按目前行驶方向偏离当前车道的时间，分别设定相应阈值并在满足条件时进行报警。报警形式可以为声音或震动等。

本发明在实时生成车身周围360度全景俯视图的基础上，给出一个全景车道线检测二值化算子对360度全景俯视图二值化，利用区域生长法在二值化图像中识别候选车道线，并车道线位置实时计算与车辆之间的位置关系并预警，与现有技术相比，具有以下优点：

1、算法稳定，不易受环境影响，可用性强；

2、降低了计算量，提高了系统的实时性，降低了硬件和软件的成本；

3、车道线检测结果更准确，误检、漏检减少，提高了报警准确性。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (8)

1.一种基于360度全景的车道偏离预警方法，其特征在于，所述方法包括：

S1、在车辆的四周安装若干广角摄像头，使广角摄像头覆盖车辆周围360°的视场区域；

S2、由摄像头标定工具箱对广角摄像头采集到的图像进行校正畸变，并实时将图像投影到地面生成360度全景俯视图；

S3、利用全景车道线检测二值化算子对360度全景俯视图二值化，利用区域生长法在二值化图像中识别车道线；

S4、实时计算车道线与车辆之间的位置关系并预警。

2.根据权利要求1所述的方法，其特征在于，所述广角摄像头数量为4个，包括前摄像头、后摄像头、左摄像头和右摄像头。

3.根据权利要求1所述的方法，其特征在于，所述步骤S2具体为：

S21、由摄像头标定工具对广角摄像头分别进行标定，将原始的畸变图像校正成没有畸变的图像；

S22、由已校正畸变的图像上特征点的位置与对应的在地面坐标系的位置，计算特征点的位置与地面坐标系的透视变换；

S23、生成一张原始的畸变图像到地面俯视图之间的映射关系表，实时将广角摄像头采集到的图像转化成车身周围的360度全景俯视图。

4.根据权利要求3所述的方法，其特征在于，所述步骤S23还包括：

将360度全景俯视图中间盲区部分填充与真车比例相同的车型图像。

5.根据权利要求1所述的方法，其特征在于，所述步骤S3具体为：

S31、设定亮度最小值阈值L_min，提取360度全景俯视图的亮度分量，并将360度全景俯视图中间盲区部分的亮度值设为L_min；

S32、由360度全景俯视图的真实视野范围及其像素分辨率，设定车道线的最大像素宽度W_lane及360度全景俯视图中车道线的检测区域；

S33、利用全景车道线检测二值化算子对360度全景俯视图中车道线的检测区域中任一点进行二值化；

S34、利用区域生长法在二值化图像中识别车道线。

6.根据权利要求5所述的方法，其特征在于，所述步骤S33具体为：

令360度全景俯视图的车道线检测区域中任意一点竖直方向坐标为i，水平方向坐标为j的像素亮度值为b(i，j)；

当满足b(i，j)＞B_thresh且b(i，j)-b(i，j-W_lane)＞D_thresh且b(i，j)-b(i，j+W_lane)＞D_thresh时，判定点(i，j)为车道线候选点，否则为无效点，其中B_thresh为车道线最低亮度阈值，D_thrdsh为车道线与两侧图像亮度差阈值。

7.根据权利要求6所述的方法，其特征在于，所述步骤S34具体为：

利用区域生长法，将所有车道线候选点中相邻接的点组织成车道线候选点块，根据360度全景俯视图的真实视野范围及像素分辨率，设定车道线点块的竖直方向高度阈值、水平方向宽度阈值、包含像素点数阈值，并排除不符合车道线特征的候选点块，剩余点块由其包含的所有点坐标拟合直线或曲线方程，并最终确定车道线。

8.根据权利要求7所述的方法，其特征在于，所述步骤S4具体为：

由实时得到的车道线所有点坐标、直线或曲线方程、及车辆在360度全景俯视图中的覆盖范围，计算车辆与车道线的最近距离、车辆按目前行驶方向偏离当前车道的时间，分别设定相应阈值并在满足条件时进行报警。