CN106256606B - 一种基于车载双目相机的车道偏离预警方法 - Google Patents

一种基于车载双目相机的车道偏离预警方法 Download PDF

Info

Publication number
CN106256606B
CN106256606B CN201610648528.9A CN201610648528A CN106256606B CN 106256606 B CN106256606 B CN 106256606B CN 201610648528 A CN201610648528 A CN 201610648528A CN 106256606 B CN106256606 B CN 106256606B
Authority
CN
China
Prior art keywords
vehicle
lane
deviation
binocular camera
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610648528.9A
Other languages
English (en)
Other versions
CN106256606A (zh
Inventor
缪其恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Zero Run Technology Co Ltd
Original Assignee
Zhejiang Zero Run Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Zero Run Technology Co Ltd filed Critical Zhejiang Zero Run Technology Co Ltd
Priority to CN201610648528.9A priority Critical patent/CN106256606B/zh
Publication of CN106256606A publication Critical patent/CN106256606A/zh
Application granted granted Critical
Publication of CN106256606B publication Critical patent/CN106256606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于车载双目相机的车道偏离预警方法：基于车载双目相机估算车辆可通行区域；在估算出的车辆可通行区域内进行车道线检测和跟踪；计算车道偏离距离D；计算车辆侧偏角β；计算改进车道偏离时间TLC；综合考虑车道偏离距离和改进车道偏离时间，相应地发出视觉预警和听觉预警相结合的车道偏离分级预警信号，以提醒驾驶员及时作出相应措施。本发明检测准确率高，大大提高车道偏离预警的准确性和可靠性，预警信号具有梯度性，发生不突然，驾驶员响应程度更好，便于准确地采取相应的措施，从而提高行车的安全性。

Description

一种基于车载双目相机的车道偏离预警方法
技术领域
本发明涉及车辆控制领域，尤其涉及一种基于车载双目相机的车道偏离预警方法。
背景技术
车道偏离预警是车辆主要的辅助驾驶功能之一，对驾驶员无变道意图的情况下的车道偏离现象作出预警，以避免潜在变道交通事故或违规驾驶行为(实线变道)的发生。现有车道偏离预警系统主要基于单目相机的图像分析与处理，提取车道线信息、计算预警指标并做出预警决策。但现有的车道偏离预警存在如下缺点：车道线检测易受光照、阴影等影响；基于平面、直线标识等假设，应用范围受限；车道线检测范围为图像固定区域，检测结果易受该区域内出现的其它车辆影响；预警参考指标单一，且未考虑驾驶员操纵修正，误报率高；运动估计未考虑车辆转向操作；采用单级预警信号，预警信号无渐变梯度，发生较为突然，使用舒适性较差，驾驶员反馈差。
发明内容
本发明为了解决上述技术问题，提供一种基于车载双目相机的车道偏离预警方法，其根据双目视差匹配代价信息动态更新车道线检测区域，应用车道线距离、宽度和角度阈值滤波，显著提升检测准确率，同时综合考虑车道偏离距离和改进车道偏离时间，考虑驾驶员操纵补偿，提高预警准确性和可靠性。
本发明另一目的是提供一种基于车载双目相机的车道偏离预警方法，采用视觉预警和听觉预警相结合的分级预警，预警信号具有梯度性，发生不突然，驾驶员响应程度更好，便于准确地采取相应的措施，从而提高行车的安全性。
本发明的上述技术问题主要是通过下述技术方案得以解决的：本发明采用车道偏离预警系统，车道偏离预警系统包括车载双目相机、车速传感器、报警装置及控制单元，车载双目相机、车速传感器分别和控制单元的输入端相连，控制单元的输出端和报警装置相连；车道偏离预警方法包括如下步骤：
①基于车载双目相机估算车辆可通行区域；
②在估算出的车辆可通行区域内进行车道线检测和跟踪；
③计算车道偏离距离D；
④计算车辆侧偏角β；
⑤计算改进车道偏离时间TLC；
⑥综合考虑车道偏离距离和改进车道偏离时间，发出相应车道偏离报警信号，以提醒驾驶员及时作出相应措施。
本发明车道偏离预警系统中的控制单元，可以采用单片机实现，也可以采用车辆现成的ECU系统实现。本发明利用车载双目相机对图像进行分析和处理，根据双目视差匹配代价信息动态更新车道线检测区域，应用车道线距离、宽度和角度阈值滤波，显著提升检测准确率，同时综合考虑车道偏离距离和改进车道偏离时间，考虑驾驶员操纵补偿，再发出相应车道偏离预警信号，提高预警准确性和可靠性。
作为优选，所述的步骤①为：所述的控制单元获取所述的车载双目相机送来的信息，利用双目视差匹配代价逐行求和获得v-视差图，将v-视差图中点集拟合成B-样条曲线获得纵向道路模型；根据纵向道路模型，利用动态规划双目视差匹配代价的方法检测车辆前方可通行区域范围，即车道检测的感兴趣图像区域，计算障碍物与道路交线，交线以下部分即为车辆可通行区域。纵向道路 模型就是道路高度随距离变化关系，车辆可通行区域就是车道检测的感兴趣图像区域。根据双目视差匹配代价信息动态更新车道线检测区域，显著提升检测准确率。
作为优选，所述的步骤②为：在估算出的车辆可通行区域内提取二次化边缘特征，设定车道线宽度、距离及角度阈值，过滤掉不符合车道线几何特征的二次化边缘特征，利用固定长度多段直线拟合车道线特征点，通过车道线长度阈值设定，确定车道线类型，利用卡尔曼滤波，对已检测出的车道线进行跟踪。在车辆可通行区域内进行车道线检测和跟踪，主要调用的函数有：图像去噪、canny特征提取、车道线阈值过滤(间距、宽度以及方向)、霍夫直线拟合以及卡尔曼滤波。区分车道线类型，实线或虚线，应用车道线距离、宽度和角度阈值滤波，可有效提升检测准确率。
车载双目相机，基于双目视差信息，确定前方潜在障碍物区域与距离。其采用的方法包括以下步骤：通过双目相机拍摄RGB格式的图像，所得到的图像为双目图像；对图像进行预处理；计算图像中每个像素点的最终匹配代价；图像坐标系中，u为像素点的横轴坐标，v为像素点的纵轴坐标；通过最终匹配代价计算得到纵向道路平面对应的v-视差图；利用v-视差图确定地平线和路面范围；在路面范围内，计算得到障碍物-道路交线；在障碍物-道路交线以下部分，进行车道线检测，对图像进行二次处理，提取霍夫直线，确定当前车道与最外侧车道范围；在障碍物-道路交线以上部分，计算得到障碍物高度；设置障碍物宽度、高度和深度的阈值模块，过滤图像中相邻的障碍物区域，确定属于同一障碍物的图像区域；输出经过阈值过滤之后的道路区域信息与障碍物信息。
作为优选，所述的步骤③为：根据车道线检测结果，利用从车载双目相机获得的参数，将车道线拟合结果投影坐标变换到车辆图像坐标系下，车辆图像 坐标系的原点为车辆前轴中点，X方向为车辆前进方向，Y方向为车辆左侧向或右侧向，将车道线延伸至与Y轴相交，计算最近侧车道线和车辆该侧前车轮之间的距离：D＝YO-W/2，D即为车道偏离距离，YO为最近侧车道线和Y轴的交点到原点的距离，W为车辆前轴长度。车道偏离距离定义为车辆与最近侧车道线之间的距离。当左车道线离车辆最近时，Y方向为车辆左侧向，D为左车道线和车辆左前轮之间的距离，YO为左车道线和Y轴的交点到原点的距离；当右车道线离车辆最近时，Y方向为车辆右侧向，D为右车道线和车辆右前轮之间的距离，YO为右车道线和Y轴的交点到原点的距离。
作为优选，所述的步骤④为：在所提取的左侧车道线和右侧车道线区域内，提取FAST特征，并进行SURF特征描述，利用FLANN对相邻两帧图片的对应区域进行特征匹配，得到Homography矩阵，进行奇异值分解，得到车辆图像坐标系下的平动信息，平动信息的x与y分量的比值即为车辆侧偏角β。车辆侧偏角定义为车辆行驶方向和车辆朝向的夹角。具体测量方法如下：
步骤一：通过车载下视相机持续获取道路图像；
步骤二：对获取的所有道路图像进行预处理；
步骤三：预估时间轴相邻帧图片中重合部分作为ROI区域进行提取；
步骤四：对ROI区域进行FAST特征点提取；
步骤五：基于所提取的FAST特征点生成SURF特征向量；
步骤六：根据步骤五中提取的SURF特征向量，利用FLANN特征匹配库对时间轴相邻帧图片进行特征匹配；
步骤七：利用RANSAC算法选取时间轴相邻帧图片进行特征匹配后的匹配样本，通过匹配样本计算得出Homography矩阵；
步骤八：对计算所得的Homography矩阵进行奇异值分解，获取车载下视相 机的平动信息T；执行步骤九并同时执行步骤一；
步骤九：通过公式：计算得出车辆的实时侧偏角β；
公式中：Tx为X轴方向车载下视相机的实时平动速度；Ty为y轴方向车载下视相机的实时平动速度；
FAST：此特征检测算法来源于corner的定义，采用机器学习的方法，按如下标准定义特征点：对于某像素点p，以其为中心的16个像素点，若其中有n个连续的像素点亮度值均大于p点亮度加上某阈值t(或小于p点亮度减去某阈值t)，则p为特征点；可设置参数为像素点数n，亮度阈值t以及是否使用非极大值抑制(Non-Maximum Suppression)。该方法多用于角点检测。
SURF：一种具有尺度与旋转特征不变性的特征描述算法，描述性强，速度快。过程包括基于上述特征圆的特征向量方向分配以及基于4*4子集的二维哈尔小波求和的特征值分配。
FLANN：一种快速近似最近邻搜索函数库，能够自动选择两个近似最近邻算法(K-d决策树以及优先搜索K-均值决策树)中最优的算法。
RANSAC：一种鲁棒的回归方法，用于排除误匹配特征。
Homography：两张图像中对应匹配特征点的投影变换矩阵。
作为优选，所述的步骤⑤为：根据车速V和车辆侧偏角β，利用平面单车运动学模型，计算车辆超出最近侧车道线的距离为设定值D2所需的时间，即为改进车道偏离时间TLC，公式如下：
其中，D2为车道偏离预警中的紧急车道偏离距离，YO为最近侧车道线和Y轴的交点到原点的距离，θ为最近侧车道线和Y轴的夹角。
改进车道偏离时间，定义为车辆按当前航向角与转向行驶，超出最近侧车道线的距离为设定值D2所需的时间。本技术方案相比于传统TLC算法，考虑了车辆侧偏角及车道偏离阈值的影响，确保预警更为准确。
作为优选，所述的报警装置包括蜂鸣报警器和视觉报警器；所述的步骤⑥为：设定车道偏离距离阈值D1和D2，D1为非紧急车道偏离距离，D2为紧急车道偏离距离，设定改进车道偏离时间阈值为T1和T2，T1为非紧急改进车道偏离时间，T2为紧急改进车道偏离时间；如果D≤D2，则所述的控制单元启动蜂鸣报警器和视觉报警器，发出声音报警信号和显示报警信号；如果D＞D1，则控制单元不启动蜂鸣报警器和视觉报警器，既不发出声音报警信号也不发出显示报警信号；如果D2＜D≤D1，则控制单元将计算出的改进车道偏离时间TLC和设定值T1及T2进行比对，如果TLC≤T2，则控制单元启动蜂鸣报警器和视觉报警器，发出声音报警信号和显示报警信号；如果T2＜TLC≤T1，则控制单元只启动视觉报警器，只发出显示报警信号；如果TLC＞T1，则控制单元不启动蜂鸣报警器和视觉报警器，既不发出声音报警信号也不发出显示报警信号。
蜂鸣报警器发出蜂鸣声音报警信号时，根据需要可以调整蜂鸣的频率，越紧急蜂鸣频率越高。视觉报警器，可以通过在显示屏上显示报警图标实现，也可以采用LED灯或其它报警指示灯实现。根据车道线类型检测结果，区分实线和虚线，对实线、虚线设置不同的预警阈值。采用视觉预警和听觉预警相结合的分级预警，根据不同情况发出紧急、非紧急的预警信号，预警信号具有梯度性，一方面不会使驾驶员感受特别突然，另一方面使驾驶员能清楚地区分紧急和非紧急情况，确保驾驶员有很好的响应，便于准确地采取相应的措施，从而提高行车的安全性。
本发明的有益效果是：适用于直线和转弯不同工况，利用车载双目相机， 根据双目视差匹配代价信息动态更新车道线检测区域，应用车道线距离、宽度和角度阈值滤波，显著提升检测准确率，并且综合考虑车道偏离距离和改进车道偏离时间，考虑驾驶员操纵补偿，大大提高预警准确性和可靠性。同时采用视觉预警和听觉预警相结合的分级预警，预警信号具有梯度性，发生不突然，驾驶员响应程度更好，便于准确地采取相应的措施，从而提高行车的安全性。
附图说明
图1是本发明车道偏离预警系统的一种系统连接结构框图。
图2是本发明中车辆图像坐标系的一种示意图。
图3是本发明车道偏离预警方法的一种处理流程图。
图中1.车载双目相机，2.车速传感器，3.方向盘扭矩传感器，4.控制单元，5.蜂鸣报警器，6.视觉报警器，7.左车道线，8.右车道线，9.前车轮。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例：本实施例的一种基于车载双目相机的车道偏离预警方法，采用车道偏离预警系统，如图1所示，车道偏离预警系统包括车载双目相机1、车速传感器2、方向盘扭矩传感器3、报警装置及控制单元4，本实施例中，报警装置采用蜂鸣报警器5和视觉报警器6，车载双目相机1、车速传感器2及方向盘扭矩传感器3分别和控制单元4的输入端相连，控制单元4的输出端分别和蜂鸣报警器5及视觉报警器6相连。
控制单元首先根据车速传感器所测得的当前车速V及方向盘扭矩传感器所测得的扭力信号判断是否开启车辆偏离预警功能。如果车速V高于某一设定阈值VO并且驾驶员无变道操作(方向盘扭矩传感器的扭力信号小于某一设定值) 时，则车辆偏离预警功能开启，反之则关闭。
当然判断驾驶员是否有变道操作，也可通过采集转向灯组合开关信号实现。
车道偏离预警方法，以双目相机、车速传感器及方向盘扭矩传感器为输入，车道偏离预警信号为输出，处理流程如图3所示，包括如下步骤：
①基于车载双目相机估算车辆可通行区域：控制单元获取车载双目相机送来的信息，利用双目视差匹配代价逐行求和获得v-视差图，将v-视差图中点集拟合成B-样条曲线获得纵向道路模型；根据纵向道路模型，利用动态规划双目视差匹配代价的方法检测车辆前方可通行区域范围，即车道检测的感兴趣图像区域，计算障碍物与道路交线，交线以下部分即为车辆可通行区域；
②在估算出的车辆可通行区域内进行车道线检测和跟踪：在估算出的车辆可通行区域内提取二次化边缘特征，设定车道线宽度、距离及角度阈值，过滤掉不符合车道线几何特征的二次化边缘特征，利用固定长度多段直线拟合车道线特征点，通过车道线长度阈值设定，确定车道线类型，利用卡尔曼滤波，对已检测出的车道线进行跟踪；
③计算车道偏离距离D：根据车道线检测结果，利用从车载双目相机获得的参数，将车道线拟合结果投影坐标变换到车辆图像坐标系下，车辆图像坐标系的原点为车辆前轴中点，X方向为车辆前进方向，Y方向为车辆左侧向或右侧向，将车道线延伸至与Y轴相交，计算最近侧车道线和车辆该侧前车轮之间的距离：D＝YO-W/2，D即为车道偏离距离，YO为最近侧车道线和Y轴的交点到原点的距离，W为车辆前轴长度；(图2中，车辆行驶在左车道线7和右车道线8之间，图中只画出了车辆的前车轮9，Y方向为车辆左侧向，D为左车道线和车辆左前轮之间的距离，YO为左车道线和Y轴的交点到原点的距离)；
④计算车辆侧偏角β：在所提取的左侧车道线和右侧车道线区域内，提取FAST特征，并进行SURF特征描述，利用FLANN对相邻两帧图片的对应区域进行特征匹配，得到Homography矩阵，进行奇异值分解，得到车辆图像坐标系下的平动信息，平动信息的x与y分量的比值即为车辆侧偏角β；
⑤计算改进车道偏离时间TLC：根据车速V和车辆侧偏角β，利用平面单车运动学模型，计算车辆超出最近侧车道线的距离为设定值D2所需的时间，即为改进车道偏离时间TLC，公式如下：
其中，D2为车道偏离预警中的紧急车道偏离距离，YO为最近侧车道线和Y轴的交点到原点的距离，θ为最近侧车道线和Y轴的夹角；
⑥设定车道偏离距离阈值D1和D2，D1为非紧急车道偏离距离，D2为紧急车道偏离距离，设定改进车道偏离时间阈值为T1和T2，T1为非紧急改进车道偏离时间，T2为紧急改进车道偏离时间；如果D≤D2，则控制单元启动蜂鸣报警器和视觉报警器，发出声音报警信号和显示报警信号，并且蜂鸣频率和(D2-D)成正比；如果D＞D1，则控制单元不启动蜂鸣报警器和视觉报警器，既不发出声音报警信号也不发出显示报警信号；如果D2＜D≤D1，则控制单元将计算出的改进车道偏离时间TLC和设定值T1及T2进行比对，如果TLC≤T2，则控制单元启动蜂鸣报警器和视觉报警器，发出声音报警信号和显示报警信号，并且蜂鸣频率和(T2-TLC)成正比；如果T2＜TLC≤T1，则控制单元只启动视觉报警器，只发出显示报警信号；如果TLC＞T1，则控制单元不启动蜂鸣报警器和视觉报警器，既不发出声音报警信号也不发出显示报警信号。
车载前向双目相机，基于双目视差信息，确定前方潜在障碍物区域与距离。具体方法如下：
1.获取RGB格式双目图像。
2.对图像进行预处理，主要包括灰度化，除畸变以及立体矫正。
3.对预处理后的图片中每个像素点(u，v)对应的视差d，计算基于灰度值绝对值之差(SAD)的匹配代价Cv(ui，vi，di)，计算方法如下：
Cv(ui，vi，di)＝imgleft(ui，vi)-imgright(ui-di，vi)
其中，ui为图像坐标系下像素点i的横坐标，vi为图像坐标系下像素点i的纵坐标，imgleft(ui，vi)为像素点i在左图上的灰度值绝对值，imgright(ui-di，vi)为坐标为(ui-di，vi)的像素点在右图上的灰度值绝对值，di为像素点i对应的视差；其中u，v，d的范围均为可设定参数。双目视差匹配代价的计算还可以采用基于平方差和(SSD)或其他计算方法。
4.对所计算的匹配代价进行n×n的滑窗卷积滤波，获得最终匹配代价Cm(u，v，d)，其中n为可设定参数。
5.对最终视差匹配代价向图像纵轴(v轴)投影求和，并计算图像每一行v对应视差代价之和的最小值Cv，min：
Cv，min＝min(Cv(vi，di))
通过设定视差代价阈值Td，找出每行对应视差代价之和小于Cv，min+Td所对应的视差值d，从而得到v-视差图(v-d映射)。
6.将v-视差图投影到现实坐标系高度与深度的映射，利用B-样条曲线拟合路面高度与深度关系，最后逆映射回v-视差图平面，即可获得纵向道路平面对应的v-视差图。除了B-样条曲线，也可以采用其他形式的样条曲线，如分段直线或单一直线等。
7.利用v-视差图，确定地平线(视差d＝0)以及路面范围(视差d＞0对应的图像区域)。
8.在步骤7确定的路面范围内，利用v-视差图中每一行v与对应路面视差d的双向映射关系，计算障碍物-道路交线匹配代价CBoundary。该障碍物-道路交线匹配代价由道路匹配代价与物体匹配代价两部分组成，其中道路匹配代价v与d符合v-视差图的映射关系(f：v＜->d)而物体匹配代价每一行则对应相同的视差d。其具体计算公式如下：
障碍物-道路交线匹配代价还可以采用路面匹配代价(忽略物体匹配代价)近似取代等算法计算。
9.利用二维动态规划方法确定障碍物-道路交线匹配代价CBoundary最小值所对应的像素值(ubot，vbot)集合即为障碍物与道路的交线，每一列u对应的视差值为dBoundary(u)。
10.在障碍物-道路交线以下部分，车道线检测，对图像进行二次化处理，提取霍夫直线，确定当前车道与最外侧车道范围。
11.在障碍物-道路交线以上部分，计算障碍物高度匹配代价CHeight。首先通过概率函数m(u，v)计算Cm(u，v，dBoundary(u))为区域极值的可能性，该值介于-1与1之间。最终，障碍物高度匹配代价计算公式如下：
计算障碍物高度匹配代价所使用的概率函数m(u，v)可以有多种输出范围在O到1或-1到1之间的函数形式来表示。
12.利用2维动态规划方法确定障碍物高度匹配代价cHeight最小值所对应的像素值(ui，vi)集合即为与障碍物与道路的交线对应的障碍物高度信息。
选取优化障碍物-道路交线，障碍物高度的方法不唯一，如可以采用贪婪算法等其他全局优化方法。
13.设置障碍物宽度，高度，深度阈值模块，过滤图像中相邻的障碍物区域，确定属于同一障碍物的图像区域。
14.输出经阈值过滤后的道路信息与障碍物信息。
步骤④中，车辆侧偏角β的计算方法，具体包括以下步骤：
步骤一：通过车载下视相机持续获取道路图像；
步骤二：对获取的所有道路图像进行预处理；对获取的所有道路图像依次进行灰度化处理和除畸变处理，在除畸变处理中，所用参数为预定参数，获取道路图像的单位时间步长和图像参数均为预定参数。
步骤三：预估时间轴相邻帧图片中重合部分作为ROI区域进行提取；预估时间轴相邻帧图片中重合部分作为ROI区域进行提取的方法包括初次提取方法和常态提取方法，若拍摄图像为车辆起步阶段，即需要比较的图像为重置后时间轴上的第一帧图像和第二帧图像则执行初次提取方法，否则执行常态提取方法；
初次提取方法：通过延时时间计算和调正，预先设定重置后时间轴第二帧图片中区域作为重合部分直接进行提取；
常态提取方法：根据步骤九中获取的实时车速V和设定的获取道路图像的单位时间步长通过积分计算得出时间轴相邻帧图片中重合部分。具体的说，根据步骤九中获取的实时车速V和设定的获取道路图像的单位时间步长通过积分计算预估移动距离，根据预估移动距离和相机本身参数可以获得图片的移动速 度，取景时尚未移除的部分就是图像重叠部分。
步骤四：对ROI区域进行FAST特征点提取；
步骤五：基于所提取的FAST特征点生成SURF特征向量；
步骤六：根据步骤五中提取的SURF特征向量，利用FLANN特征匹配库对时间轴相邻帧图片进行特征匹配；
步骤七：利用RANSAC算法选取时间轴相邻帧图片进行特征匹配后的匹配样本，通过匹配样本计算得出Homography矩阵；利用RANSAC算法选取正确匹配样本，计算Homography矩阵：通过m个循环，随机选取4个匹配特征，计算Homography矩阵，对剩余特征按该矩阵匹配结果进行打分，像素点匹配距离小于某阈值M，则视为正确匹配，选取打分最高的Homography矩阵，利用其对应的所有正确匹配特征对，重新计算得到最终Homography矩阵；在步骤七中循环数m与距离阈值M均为预设值。
步骤八：对计算所得的Homography矩阵进行奇异值分解，获取车载下视相机的平动信息T与转动信息R；
所述Homography矩阵表示为：其中，R为相机平动信息、T为相机转动信息、d为图像平面对应的深度、N为图像平面对应的法向信息、K为相机内部参数矩阵，对计算所得Homography矩阵进行奇异值分解，获得相机平动信息T与转动信息R；令：
∑＝diag(σ1，σ2，σ3)，V＝[V1，v2，v3]
上述奇异值分解理论上有四组解，如下所示：
解1：
解2：
解3：
R3＝R1，N3＝-N1，
解4：
R4＝R2，N4＝-N2，
选择方向最接近于[0，0，1]的法向量N对应的该组解。
根据实际相机几何投影限制，图像平面深度必须为正，因此对应法向量N必须为正值，由相机安装几何角度确定(垂直于地面)，选择接近于[0，0，1]的法向量N对应的该组解。
本实施例在执行步骤九并同时执行步骤一；
步骤九：通过公式：计算得出实时车速V的绝对值；
通过公式：计算得出车辆的实时侧偏角β；
通过公式：计算车辆横摆角速度
公式中：Tx为X轴方向车载下视相机的实时平动速度；Ty为y轴方向车载下视相机的实时平动速度；Rz为相机绕z轴的转动分量，ts为单位时间步长。
如果计算资源丰富，计算速度极快的情况下，选用通过时间轴相邻帧图片直接比较，计算得出时间轴相邻帧图片中重合部分作为ROI区域进行提取，采用此种技术，能够获得最为准确的数据。
本发明利用车载前向双目相机检测前方车道线信息，并根据车辆与车道线 的相对位置与运动关系，发出梯度预警信号。本发明的优势在于可适用于直线和转弯等不同工况。根据双目视差匹配代价信息动态更新车道线检测区域，显著提升检测准确率。本发明可区分虚线与实线，并对二者应用不同的预警阈值。预警算法综合考虑车道偏离距离以及改进车道偏离时间，鲁棒性更好。预警信号采用视觉预警与听觉预警相结合的方式，具有梯度性，驾驶员响应程度更好。

Claims (6)

1.一种基于车载双目相机的车道偏离预警方法，其特征在于采用车道偏离预警系统，车道偏离预警系统包括车载双目相机、车速传感器、报警装置及控制单元，车载双目相机、车速传感器分别和控制单元的输入端相连，控制单元的输出端和报警装置相连；车道偏离预警方法包括如下步骤：
①基于车载双目相机估算车辆可通行区域：所述的控制单元获取所述的车载双目相机送来的信息，利用双目视差匹配代价逐行求和获得v-视差图，将v-视差图中点集拟合成B-样条曲线获得纵向道路模型；根据纵向道路模型，利用动态规划双目视差匹配代价的方法检测车辆前方可通行区域范围，即车道检测的感兴趣图像区域，计算障碍物与道路交线，交线以下部分即为车辆可通行区域。
②在估算出的车辆可通行区域内进行车道线检测和跟踪；
③计算车道偏离距离D；
④计算车辆侧偏角β；
⑤计算改进车道偏离时间TLC；
⑥综合考虑车道偏离距离和改进车道偏离时间，发出相应车道偏离报警信号，以提醒驾驶员及时作出相应措施。
2.根据权利要求1所述的一种基于车载双目相机的车道偏离预警方法，其特征在于所述的步骤②为：在估算出的车辆可通行区域内提取二次化边缘特征，设定车道线宽度、距离及角度阈值，过滤掉不符合车道线几何特征的二次化边缘特征，利用固定长度多段直线拟合车道线特征点，通过车道线长度阈值设定，确定车道线类型，利用卡尔曼滤波，对已检测出的车道线进行跟踪。
3.根据权利要求1所述的一种基于车载双目相机的车道偏离预警方法，其特征在于所述的步骤③为：根据车道线检测结果，利用从车载双目相机获得的参数，将车道线拟合结果投影坐标变换到车辆图像坐标系下，车辆图像坐标系的原点为车辆前轴中点，X方向为车辆前进方向，Y方向为车辆左侧向或右侧向，将车道线延伸至与Y轴相交，计算最近侧车道线和车辆该侧前车轮之间的距离：D＝Y0-W/2，D即为车道偏离距离，Y0为最近侧车道线和Y轴的交点到原点的距离，W为车辆前轴长度。
4.根据权利要求1所述的一种基于车载双目相机的车道偏离预警方法，其特征在于所述的步骤④为：在所提取的左侧车道线和右侧车道线区域内，提取FAST特征，并进行SURF特征描述，利用FLANN对相邻两帧图片的对应区域进行特征匹配，得到Homography矩阵，进行奇异值分解，得到车辆图像坐标系下的平动信息，平动信息的x与y分量的比值即为车辆侧偏角β。
5.根据权利要求1所述的一种基于车载双目相机的车道偏离预警方法，其特征在于所述的步骤⑤为：根据车速V和车辆侧偏角β，利用平面单车运动学模型，计算车辆超出最近侧车道线的距离为设定值D2所需的时间，即为改进车道偏离时间TLC，公式如下：
<mrow> <mi>T</mi> <mi>L</mi> <mi>C</mi> <mo>=</mo> <mfrac> <mrow> <mo>(</mo> <mi>D</mi> <mn>2</mn> <mo>+</mo> <mi>Y</mi> <mn>0</mn> <mo>)</mo> <mo>*</mo> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mo>(</mo> <mi>&amp;theta;</mi> <mo>)</mo> <mo>*</mo> <mo>(</mo> <mn>1</mn> <mo>+</mo> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mo>(</mo> <mi>&amp;beta;</mi> <mo>)</mo> <mo>*</mo> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mo>(</mo> <mi>&amp;theta;</mi> <mo>)</mo> <mo>)</mo> </mrow> <mi>V</mi> </mfrac> </mrow>
其中，D2为车道偏离预警中的紧急车道偏离距离，Y0为最近侧车道线和Y轴的交点到原点的距离，θ为最近侧车道线和Y轴的夹角。
6.根据权利要求1或2或3或4或5所述的一种基于车载双目相机的车道偏离预警方法，其特征在于所述的报警装置包括蜂鸣报警器和视觉报警器；所述的步骤⑥为：设定车道偏离距离阈值D1和D2，D1为非紧急车道偏离距离，D2为紧急车道偏离距离，设定改进车道偏离时间阈值为T1和T2，T1为非紧急改进车道偏离时间，T2为紧急改进车道偏离时间；如果D≤D2，则所述的控制单元启动蜂鸣报警器和视觉报警器，发出声音报警信号和显示报警信号；如果D＞D1，则控制单元不启动蜂鸣报警器和视觉报警器，既不发出声音报警信号也不发出显示报警信号；如果D2＜D≤D1，则控制单元将计算出的改进车道偏离时间TLC和设定值T1及T2进行比对，如果TLC≤T2，则控制单元启动蜂鸣报警器和视觉报警器，发出声音报警信号和显示报警信号；如果T2＜TLC≤T1，则控制单元只启动视觉报警器，只发出显示报警信号；如果TLC＞T1，则控制单元不启动蜂鸣报警器和视觉报警器，既不发出声音报警信号也不发出显示报警信号。
CN201610648528.9A 2016-08-09 2016-08-09 一种基于车载双目相机的车道偏离预警方法 Active CN106256606B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610648528.9A CN106256606B (zh) 2016-08-09 2016-08-09 一种基于车载双目相机的车道偏离预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610648528.9A CN106256606B (zh) 2016-08-09 2016-08-09 一种基于车载双目相机的车道偏离预警方法

Publications (2)

Publication Number Publication Date
CN106256606A CN106256606A (zh) 2016-12-28
CN106256606B true CN106256606B (zh) 2017-11-03

Family

ID=57714149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610648528.9A Active CN106256606B (zh) 2016-08-09 2016-08-09 一种基于车载双目相机的车道偏离预警方法

Country Status (1)

Country Link
CN (1) CN106256606B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107031661A (zh) * 2017-03-16 2017-08-11 浙江零跑科技有限公司 一种基于盲区相机输入的变道预警方法及系统
CN107031623B (zh) * 2017-03-16 2019-09-20 浙江零跑科技有限公司 一种基于车载盲区相机的道路预警方法
CN107255826A (zh) * 2017-04-26 2017-10-17 国家电网公司 基于大数据下的物流货车修正gps定位分析方法
CN107273816B (zh) * 2017-05-24 2019-11-05 浙江零跑科技有限公司 基于车载前视单目相机的交通限速标识检测识别方法
CN107389081A (zh) * 2017-07-15 2017-11-24 东莞市华睿电子科技有限公司 一种无人驾驶车辆的智能导航方法及系统
CN109398355A (zh) * 2017-08-18 2019-03-01 郑州宇通客车股份有限公司 一种用于基于分布式电机驱动车辆的车道保持方法及车辆
CN107480646B (zh) * 2017-08-22 2020-09-25 北京工业大学 一种基于双目视觉的车载视频异常运动检测方法
CN107672593A (zh) * 2017-08-26 2018-02-09 圣码智能科技（深圳）有限公司 防止车辆偏离导航的方法
CN107719368A (zh) * 2017-09-20 2018-02-23 杭州奥腾电子股份有限公司 一种车道偏离预警系统及其控制方法
CN109591694B (zh) * 2017-09-30 2021-09-28 上海欧菲智能车联科技有限公司 车道偏离预警系统、车道偏离预警方法和车辆
CN108256487B (zh) * 2018-01-19 2021-09-17 北京工业大学 一种基于反向双目的驾驶状态检测装置和方法
US10878709B2 (en) * 2018-07-19 2020-12-29 The Boeing Company System, method, and computer readable medium for autonomous airport runway navigation
CN109147368A (zh) * 2018-08-22 2019-01-04 北京市商汤科技开发有限公司 基于车道线的智能驾驶控制方法装置与电子设备
FR3085746B1 (fr) * 2018-09-06 2021-04-30 Renault Sas Procede de detection de faux positifs d’un dispositif de traitement d’image d’une camera
CN108983791A (zh) * 2018-09-10 2018-12-11 贵州大学 一种智能车控制系统
CN109263660A (zh) * 2018-11-12 2019-01-25 江铃汽车股份有限公司 一种基于360°环视影像系统的车道偏移预警控制方法
CN109624976B (zh) * 2018-12-25 2020-10-16 广州小鹏汽车科技有限公司 一种车辆的车道保持控制方法及系统
CN111380538B (zh) * 2018-12-28 2023-01-24 沈阳美行科技股份有限公司 一种车辆定位方法、导航方法及相关装置
CN111660928B (zh) * 2019-03-06 2021-11-23 杭州海康威视数字技术股份有限公司 车道偏离预警方法、装置和电子设备
CN110203210A (zh) * 2019-06-19 2019-09-06 厦门金龙联合汽车工业有限公司 一种车道偏离预警方法、终端设备及存储介质
CN112406884B (zh) * 2019-08-20 2022-03-15 北京地平线机器人技术研发有限公司 车辆行驶状态的识别方法和装置、存储介质、电子设备
CN110733416B (zh) * 2019-09-16 2022-09-16 江苏大学 一种基于逆透视变换的车道偏离预警方法
CN113223313B (zh) * 2020-01-21 2022-09-16 华为技术有限公司 车道推荐方法、装置及车载通信设备
CN111444778B (zh) * 2020-03-04 2023-10-17 武汉理工大学 一种车道线检测方法
CN111469860B (zh) * 2020-06-28 2020-10-30 江铃汽车股份有限公司 一种车道偏离预警方法、装置、存储介质及行车记录仪
CN112683281B (zh) * 2021-03-11 2021-06-04 之江实验室 一种基于车辆运动学的自动驾驶车辆联合定位方法
CN113469133A (zh) * 2021-07-26 2021-10-01 奥特酷智能科技(南京)有限公司 一种基于深度学习的车道线检测方法
CN114863707A (zh) * 2022-05-07 2022-08-05 中国第一汽车股份有限公司 车辆信息的处理方法、装置、存储介质和车辆
CN115294767B (zh) * 2022-08-02 2023-06-27 山西省智慧交通研究院有限公司 一种高速公路车道线实时检测与交通安全预警方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3006602B1 (ja) * 1998-10-14 2000-02-07 日本電気株式会社 道路白線検出方法及び装置
KR101035761B1 (ko) * 2006-07-06 2011-05-20 포항공과대학교 산학협력단 차선 인식을 위한 영상 처리 방법 및 시스템
CN102320298B (zh) * 2011-06-09 2014-05-21 中国人民解放军国防科学技术大学 一种基于单芯片的车道偏离提醒装置
CN102303609B (zh) * 2011-06-16 2013-11-06 广东铁将军防盗设备有限公司 车道偏离预警系统及方法
CN104129389B (zh) * 2014-08-06 2017-02-01 中电海康集团有限公司 一种有效判别车辆行驶状态的方法及其装置

Also Published As

Publication number Publication date
CN106256606A (zh) 2016-12-28

Similar Documents

Publication Publication Date Title
CN106256606B (zh) 一种基于车载双目相机的车道偏离预警方法
CN106295560B (zh) 基于车载双目相机和分段式pid控制的车道保持方法
US11216673B2 (en) Direct vehicle detection as 3D bounding boxes using neural network image processing
CN110745140B (zh) 一种基于连续图像约束位姿估计的车辆换道预警方法
CN107031623B (zh) 一种基于车载盲区相机的道路预警方法
CN106156723B (zh) 一种基于视觉的路口精定位方法
CN104700414B (zh) 一种基于车载双目相机的前方道路行人快速测距方法
CN108638999B (zh) 一种基于360度环视输入的防碰撞预警系统及方法
Gandhi et al. Vehicle surround capture: Survey of techniques and a novel omni-video-based approach for dynamic panoramic surround maps
CN109460709A (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN106225723B (zh) 一种基于后视双目相机的多列车铰接角测量方法
Zhang et al. Robust inverse perspective mapping based on vanishing point
CN102999759A (zh) 一种基于光流的车辆运动状态估计方法
CN105574552A (zh) 一种基于单目视觉的车辆测距与碰撞预警方法
CN105300403A (zh) 一种基于双目视觉的车辆里程计算法
CN107463890A (zh) 一种基于单目前视相机的前车检测与跟踪方法
CN105976402A (zh) 一种单目视觉里程计的真实尺度获取方法
CN108944668A (zh) 一种基于车载360度环视输入的辅助驾驶预警方法
CN107021104A (zh) 一种车道识别补偿方法和装置
CN107284455A (zh) 一种基于图像处理的adas系统
CN106327433B (zh) 一种基于单俯视相机与后轴转向的车辆路径跟随方法
CN106295651B (zh) 一种基于双俯视相机与后轴转向的车辆路径跟随方法
CN106601076B (zh) 一种基于捷联惯导和面阵相机的汽车自助训练装置及方法
Damon et al. Inverse perspective mapping roll angle estimation for motorcycles
CN108399357A (zh) 一种人脸定位方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 6 / F, Xintu building, 451 Internet of things street, Binjiang District, Hangzhou City, Zhejiang Province, 310051

Patentee after: Zhejiang Zero run Technology Co.,Ltd.

Address before: 6 / F, Xintu building, 451 Internet of things street, Binjiang District, Hangzhou City, Zhejiang Province, 310051

Patentee before: ZHEJIANG LEAPMOTOR TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder