CN109398356A - 车道保持系统及方法 - Google Patents

Abstract

本发明公开了一种车道保持系统及方法，该系统包括车辆状态获取组件、单目摄像头和车辆状态矫正组件，单目摄像头设置在前挡风玻璃上、并位于后视镜的正后方，并与车辆状态获取组件和车辆状态矫正组件连接；车辆状态获取组件，用于获取车辆状态信息；单目摄像头，用于获取车道图像和车辆状态信息，并根据车道图像依次进行车道标识线特征点的提取、车道标识线的跟踪和车辆与车道标识线之间数学模型的构建，根据车道图像和车辆状态信息确认车辆状态是否需要矫正，当确认车辆状态需要矫正时，向车辆状态矫正组件发送车辆状态矫正信号；车辆状态矫正组件，用于根据车辆状态矫正信号矫正车辆状态。该系统实现对驾驶员在无意识下车辆偏离车道行为的矫正。

Description

车道保持系统及方法

技术领域

本发明涉及安全辅助驾驶技术领域，特别涉及一种车道保持系统及方法。

背景技术

随着车辆数量的急剧增长，道路事故高居不下。驾驶人超速行驶、未保持在当前车道行驶、操作不当等行为都是导致道路交通事故的因素。根据相关报道显示，车辆没有保持在合适的车道或驶离车道导致的道路交通事故占总道路交通事故的比例仅次于超速行驶，由此可见，如何保证车辆安全行驶在当前车道是亟待解决的问题。

相关技术中，车辆在行驶过程中，通过采集车道线的图像，根据车道线的图像确定车道宽度以及车辆是否偏离车道中心线，当驾驶人员驾驶车辆行驶偏离车道中心线时，车辆发出报警，驾驶员可以根据报警调整车辆的方向盘，使得车辆保持在车道内行驶。

然而，由于现有车道图像的采集精度和灵敏度欠佳，因而基于该车道图像判断车道宽度以及车辆是否偏离车道中心线的结果不准确，不能很好地实现对于驾驶员在无意识下车辆偏离车道行为的判别及校正。

发明内容

鉴于此，本发明提供一种基于单目摄像头获取车道图像信息的车道保持系统及方法，以实现对驾驶员在无意识下车辆偏离车道行为的矫正。

具体而言，包括以下的技术方案：

一方面，提供了一种车道保持系统，所述系统包括：车辆状态获取组件、单目摄像头和车辆状态矫正组件，所述单目摄像头设置在前挡风玻璃上、并位于后视镜的正后方，并分别与所述车辆状态获取组件和所述车辆状态矫正组件连接，其中，

所述车辆状态获取组件，用于获取车辆状态信息；

所述单目摄像头，用于获取车道图像和所述车辆状态信息，并根据所述车道图像依次进行车道标识线特征点的提取、车道标识线的跟踪和车辆与车道标识线之间数学模型的构建，根据所述车道图像和所述车辆状态信息确认车辆状态是否需要矫正以及当确认所述车辆状态需要矫正时，向所述车辆状态矫正组件发送车辆状态矫正信号；

所述车辆状态矫正组件，用于接收所述车辆状态矫正信号，并根据所述车辆状态矫正信号矫正车辆状态。

可选的，所述车辆状态信息包括方向盘转角度数、车辆行驶速度、转向指示灯信息及侧向加速度。

可选的，所述车辆状态矫正信号包括车辆转向信号。

可选的，所述车道图像为黑白图像。

可选的，所述系统还包括风险提示组件，用于接收所述车辆状态矫正信号，并根据所述车辆状态矫正信号发送风险提示信息。

另一方面，还提供了一种车道保持方法，所述方法包括：

从车辆状态获取组件中获取车辆状态信息，从单目摄像头中获取车道图像；

根据所述车道图像，依次对车道标识线特征点进行提取、对车道标识线进行跟踪以及构建车辆与车道标识线之间的数学模型；

根据所述车道图像和所述车辆状态信息，确认车辆状态是否需要矫正；

当确认所述车辆状态需要矫正时，控制车辆状态矫正组件对车辆状态进行矫正。

可选的，所述对车道标识线特征点进行提取具体包括：

将获取到的第一帧所述车道图像拉灰，通过边缘检测获取车道标识线特征点；

根据已经获取的所述车道标识线特征点，提取一系列车道线特征点；

根据所述一系列车道线特征点，利用线性回归技术，得到车道标识线参数。

可选的，所述对车道标识线进行跟踪具体包括：

当进行下一帧所述车道图像中车道标识线识别时，将上一帧图像中已经得到的所述车道标识线参数作为先验知识，对预设区域内的车道标识线进行识别。

可选的，所述车辆与车道标识线之间的数学模型以与车道线的延伸方向平行且与两侧车道线距离相等的直线作为Y轴，以与车道线的延伸方向垂直的直线为X轴。

可选的，所述当确认所述车辆状态需要矫正时，控制车辆状态矫正组件对车辆状态进行矫正具体包括：

确认方向盘转角度数、车辆行驶速度、侧向加速度及车辆位置参数都达到设定的阈值，且转向指示灯信息显示转向指示灯为未工作状态，控制所述车辆状态矫正组件进行车辆转向。

本发明实施例提供的技术方案的有益效果至少包括：

1、由于设置在前挡风玻璃上、并位于后视镜的正后方的单目摄像头本身具有可以获取较远视野和更大动态范围的特点，使得车道图像的采集精度更高、灵敏度更好；

2、利用获取的车道图像，在单目摄像头内依次进行车道标识线特征点的提取、车道标识线的跟踪和车辆与车道标识线之间数学模型的构建，继而通过获取由车辆状态获取组件获取的车辆状态信息，单目摄像头还可以实现对车辆状态是否需要矫正的确认，当确认车辆状态需要矫正时，向车辆状态矫正组件发送车辆状态矫正信号，车辆状态矫正组件可以根据接收到的车辆状态矫正信号实现对车辆状态的矫正，以实现对驾驶员在无意识下车辆偏离车道行为的矫正。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种车道保持系统的一种结构示意图；

图2为本发明实施例提供的一种车道保持系统的另一种结构示意图；

图3为本发明实施例提供的一种车道保持方法的流程图；

图4为本发明实施例提供的一种车道保持方法中车辆与车道标识线之间的数学模型的示意图。

通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。

具体实施方式

为使本发明的技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本发明实施例提供了一种车道保持系统01，其结构示意图如图1所示，该系统包括：、车辆状态获取组件11、单目摄像头12和车辆状态矫正组件13，单目摄像头12设置在前挡风玻璃上、并位于后视镜的正后方，并分别与车辆状态获取组件11和车辆状态矫正组件13连接；

其中，车辆状态获取组件11，用于获取车辆状态信息；

单目摄像头12，用于获取车道图像和车辆状态信息，并根据车道图像依次进行车道标识线特征点的提取、车道标识线的跟踪和车辆与车道标识线之间数学模型的构建，根据车道图像和车辆状态信息确认车辆状态是否需要矫正以及当确认车辆状态需要矫正时，向车辆状态矫正组件13发送车辆状态矫正信号；

车辆状态矫正组件13，用于接收车辆状态矫正信号，并根据车辆状态矫正信号矫正车辆状态。

本领域技术人员可以理解的是，单目摄像头12与车辆状态获取组件11和车辆状态矫正组件13之间通过CAN总线连接通信。

本发明实施例提供的车道保持系统01的工作原理为：

利用单目摄像头12获取车道图像，车辆状态获取组件11中获取车辆状态信息；

在单目摄像头12内，根据车道图像依次进行车道标识线特征点的提取、车道标识线的跟踪和车辆与车道标识线之间数学模型的构建，继而通过获取由车辆状态获取组件11获取的车辆状态信息，实现对车辆状态是否需要矫正的确认，当确认车辆状态需要矫正时，向车辆状态矫正组件13发送车辆状态矫正信号；

当确认车辆状态需要矫正时，车辆状态矫正组件13根据接收到的车辆状态矫正信号实现对车辆状态的矫正。

因此，本发明实施例的车道保持系统01，利用车辆状态获取组件11、单目摄像头12和车辆状态矫正组件13，不仅可以实现对驾驶员在无意识下车辆偏离车道行为的矫正，而且由于设置在前挡风玻璃上、并位于后视镜的正后方的单目摄像头12本身具有可以获取较远视野和更大动态范围的特点，使得车道图像的采集精度更高、灵敏度更好。

下面对本发明实施例的车道保持系统01进行进一步地描述说明：

由于单纯获取车道图像不能完全判断车辆状态是否需要矫正，需要结合车辆的实际状态信息进行综合判断，而利用车辆状态获取组件11可以实现对车辆状态信息的获取。

其中，车辆状态信息包括方向盘转角度数、车辆行驶速度、转向指示灯信息及侧向加速度。

具体地，可以通过方向盘转角传感器(SAS,Steering Wheel Sensor)获取方向盘转角度数，通过汽车仪表获取车辆行驶速度、转向指示灯信息，通过电子稳定程序系统(ESP,Electronic Stability Program)获取侧向加速度。其中，转向指示灯信息包括指示灯启用状态信息和指示灯未启用状态信息。

本领域技术人员可以理解的是，当转向指示灯信息为指示灯启用状态信息时，说明驾驶员正在进行主动地转向操作；当转向指示灯信息为指示灯未启动状态信息时，说明驾驶员未进行主动地转向操作，需要结合其他车辆状态信息与车道图像一同判断是否需要矫正车辆状态。

由于单目摄像头12可以实现图像的获取、处理以及车辆是否需要矫正的确认，因而，单目摄像头12属于本发明实施例的车道保持系统01的关键性部件。

在结构设置上，具体地，单目摄像头12包括镜头、图像传感器、图像采集卡以及第一控制器。

具体地，通过镜头可以实现车道图像的获取。例如，为了实现车道图像的精确获取，可以选用定焦镜头，由于对焦非常准确，使得拍摄的图像清晰而稳定，画面细腻；为了获取较远视野，可以选用广角镜头，视角范围大，可以涵盖较大的视野范围。在实际应用时，可以在满足经济成本要求的基础上，选用合适的镜头，以满足使用需求。

可选的，车道图像为黑白图像，更有利于寻找车道标识线特征点。

通过图像传感器将镜头获取的光学图像转换为模拟信号。一般而言，图像传感器包括CMOS和CCD，其中，CCD具有低照度效果好、信噪比高、通透感强、色彩还原能力佳等优点，在交通、医疗等高端领域中广泛应用，但是其成本高、功耗大；CMOS与CCD相比，其信号输出的一致性较差，但其功耗较小。

通过图像采集卡可以将图像传感器转换得到的模拟信号转化为数字信号，并将数字化后的图像信息存储或输出。在这里，图像采集卡是连接图像处理与图像采集的纽带。

通过第一控制器可以获取数字化的车道图像、车辆状态信息，并根据车道图像和车辆状态信息确认车辆状态是否需要矫正以及当确认车辆状态需要矫正时，向车辆状态矫正组件13发送车辆状态矫正信号。

在第一控制器内可以预先设定方向盘转角度数的阈值、车辆行驶速度的阈值以及侧向加速度的阈值等，第一控制器结合转向指示灯信息，处理判断车辆状态是否需要矫正。

而在单目摄像头12内根据车道图像依次进行车道线特征点的提取、车道标识线的跟踪和车辆与车道标识线之间数学模型的构建，是需要单目摄像头11内各个组件配合完成的，不完全由第一控制器完成。

本领域技术人员可以理解的是，单目摄像头12包括上述结构组成部分，但是不限于上述结构组成部分。

因而，本发明实施例的车道保持系统01中的单目摄像头12相对于普通的摄像头而言，具有的优点如下：(1)获取的视野较远；(2)获取的动态范围大；(3)对环境光的适应性更强；(4)硬件结构较小，易于整车布置。

当确认车辆状态需要矫正时，需要通过控制车辆状态矫正组件13接收来自单目摄像头12的车辆状态矫正信号，并根据车辆状态矫正信号实现车辆状态的矫正。

其中，车辆状态矫正信号包括车辆转向信号，通过控制车辆的转向以实现对车辆状态的矫正。

具体地，转向信号可以包括转向角度信息。

车辆状态矫正组件13包括电动助力转向系统(EPS,Electric Power Steering)和方向盘，具体地，在接收到车辆状态矫正信号后，电动助力转向系统可以依靠电机提供辅助扭矩的动力转向，由于方向盘自身也设置有第二控制器，第二控制器在接收到车辆状态矫正信号后实现与电动助力转向系统联动。

基于上述结构，为了实现对驾驶员偏离车道的提醒，如图2所示，本发明实施例的车道保持系统01还包括风险提示组件14，用于接收车辆状态矫正信号，并根据车辆状态矫正信号发送风险提示信息。

具体地，风险提示组件14可以包括仪表和音控设备，通过仪表上指示灯的闪烁或者是风险提示语的显示，可以向驾驶员发出偏离车道的提醒。

例如，在仪表上显示“注意：车辆有偏离车道的风险！”，以便于驾驶员及时发现车辆偏离车道的状态；通过音控设备可以发出预警提示音或者提示语，例如，“请您注意车辆有偏离车道的风险”，同时也可以提醒驾驶员及时发现车辆偏离车道的状态，便于驾驶员及时调整车辆的行驶方向、行驶速度等。

综上所述，本发明实施例的车道保持系统01，利用单目摄像头12获取的车道图像，在单目摄像头12内依次进行车道标识线特征点的提取、车道标识线的跟踪和车辆与车道标识线之间数学模型的构建，继而通过获取由车辆状态获取组件11获取的车辆状态信息，单目摄像头12还可以实现对车辆状态是否需要矫正的确认，当确认车辆状态需要矫正时，向车辆状态矫正组件13发送车辆状态矫正信号，车辆状态矫正组件13可以根据接收到的车辆状态矫正信号实现对车辆状态的矫正，以实现对驾驶员在无意识下车辆偏离车道行为的矫正。

下述为本发明方法实施例，可以用于本发明装置实施例。对于本发明方法实施例中未披露的细节，请参照本发明装置实施例。

图3示出了本发明实施例提供的一种车道保持方法的流程图，该方法可以应用于图1或图2所示的车道保持系统中，该车道保持方法可以包括如下几个步骤：

步骤301、从车辆状态获取组件中获取车辆状态信息，从单目摄像头中获取车道图像。

具体地，在从车辆状态获取组件中获取车辆状态信息的同时，从单目摄像头中获取车道图像。

其中，车辆状态信息包括方向盘转角度数、车辆行驶速度、转向指示灯信息及侧向加速度。

车道图像是由多帧图像构成，其中，每一帧都是一副静止的画面，而连续的帧就形成车辆行驶轨迹。

可以理解的是，每秒钟帧数愈多，所显示的动作就会愈流畅。

步骤302、根据车道图像，依次对车道标识线特征点进行提取、对车道标识线进行跟踪以及构建车辆与车道标识线之间的数学模型。

由于车道图像不能直接作为确认车辆状态是否需要矫正的依据，因而需要对车道图像进行处理，具体地，步骤302可以包括如下子步骤：

S1、对车道标识线特征点进行提取。

具体地，对车道标识线特征点进行提取可以使用灰度特征值的识别方法，具体包括：

将获取到的第一帧车道图像拉灰，通过边缘检测获取车道标识线特征点；根据已经获取的车道标识线特征点，提取一系列车道线特征点；根据一系列车道线特征点，利用线性回归技术，得到车道标识线参数。

得到的车道标识线参数不仅可以作为一个可供参考的数据，应用到其它帧车道图像中识别车道标识线，而且通过每一帧车道图像中的车道标识线参数可以确定车辆的位置、方向以及车道宽度等信息。

S2、对车道标识线进行跟踪。

在提取到了第一帧车道图像的车道标识线参数后，由于车道图像是序列图像，包含有若干帧图像，因而需要对每一帧车道图像进行处理，也就是说，需要对车道标识线进行跟踪。对车道标识线进行跟踪具体包括：

当进行下一帧车道图像中车道标识线识别时，将上一帧图像中已经得到的车道标识线参数作为先验知识，对预设区域内的车道标识线进行识别。

通过限定预设区域，为车道标识线的识别划定区域范围，可以达到减少识别时间，提高识别效率的目的。

S3、构建车辆与车道标识线之间的数学模型。

图4为本发明实施例提供的一种车道保持方法中车辆与车道标识线之间的数学模型的示意图。其中，该数学模型以与车道线的延伸方向平行且与两侧车道线距离相等的直线作为Y轴，以与车道线的延伸方向垂直的直线为X轴，便于计算车辆方向角度，车道宽度、车辆位置等，图中MN为单目摄像头有效视野，QM为有效视野的1/2，θ为车辆方向角度，d为车辆前轮轴距，p为前轮轴中心点，x₀为车辆前轮轴中心点P的x坐标值。

利用该数学模型，可以根据以下计算公式获取车辆方向角度参数：

θ＝[-arctan(kn×(k₁+k₂/2))]×180/π

式中：θ为车辆方向角度；kn为得到的车道图像中纵坐标与横坐标的比例参数；k₁为得到的车道图像中左侧车道标识线的斜率；k₂为得到的车道图像中右侧车道标识线的斜率。

根据以下计算公式获取道路宽度：

w＝λ×|b₁/k₁-b₂/k₂|×cosθ

式中：w为车道宽度；λ为得到的车道图像中车道的宽度与实际道路宽度之间的比例参数；b₁为得到的车道图像中左侧车道标识线在Y轴上的截距，b₂为得到的车道图像中右侧车道标识线在Y轴上的截距。

根据以下计算公式车辆位置参数：

x₀＝|QM|×cosθ-h×sinθ

式中：x₀为车辆前轮轴中心点P的x坐标值；QM为有效视野的1/2；h为摄像头安装高度。

步骤303、根据车道图像和车辆状态信息，确认车辆状态是否需要矫正。

根据车道图像和车辆状态信息，确认车辆行驶状态是否达到设定的阈值且满足约束条件，若车辆行驶状态达到设定的阈值且满足约束条件，则确认车辆状态需要矫正；若车辆行驶状态未达到设定的阈值或不满足约束条件，则车辆状态不需要矫正。

其中，车辆行驶状态包括方向盘转角度数、车辆行驶速度、侧向加速度、车辆位置参数等；约束条件包括转向指示灯信息显示转向指示灯为未工作状态等。

步骤304、当确认车辆状态需要矫正时，控制车辆状态矫正组件对车辆状态进行矫正。

具体地，确认方向盘转角度数、车辆行驶速度、侧向加速度及车辆位置参数都达到设定的阈值，且转向指示灯信息显示转向指示灯为未工作状态，控制车辆状态矫正组件进行车辆转向，实现车辆状态的矫正。

同时，当确认车辆状态需要矫正时，也可以向风险提示组件发送车辆状态矫正信号，风险提示组件向驾驶员发送风险提示信息，以便于驾驶员及时发现车辆偏离车道的行为。

综上所述，本发明实施例的车道保持方法，通过从车辆状态获取组件中获取车辆状态信息，从单目摄像头中获取车道图像，根据车道图像，依次对车道标识线特征点进行提取、对车道标识线进行跟踪以及构建车辆与车道标识线之间的数学模型，根据车道图像和车辆状态信息，确认车辆是否需要矫正，当确认车辆状态需要矫正时，控制车辆状态矫正组件对车辆状态进行矫正，以实现对驾驶员在无意识下车辆偏离车道行为的矫正。

在本发明中，术语“第一”、“第二”、“第三”和“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。

以上所述仅是为了便于本领域的技术人员理解本发明的技术方案，并不用以限制本发明。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种车道保持系统，其特征在于，所述系统包括：车辆状态获取组件、单目摄像头和车辆状态矫正组件，所述单目摄像头设置在前挡风玻璃上、并位于后视镜的正后方，并分别与所述车辆状态获取组件和所述车辆状态矫正组件连接，其中，

所述车辆状态获取组件，用于获取车辆状态信息；

所述单目摄像头，用于获取车道图像和所述车辆状态信息，并根据所述车道图像依次进行车道标识线特征点的提取、车道标识线的跟踪和车辆与车道标识线之间数学模型的构建，根据所述车道图像和所述车辆状态信息确认车辆状态是否需要矫正以及当确认所述车辆状态需要矫正时，向所述车辆状态矫正组件发送车辆状态矫正信号；

所述车辆状态矫正组件，用于接收所述车辆状态矫正信号，并根据所述车辆状态矫正信号矫正车辆状态。

2.根据权利要求1所述的车道保持系统，其特征在于，所述车辆状态信息包括方向盘转角度数、车辆行驶速度、转向指示灯信息及侧向加速度。

3.根据权利要求1所述的车道保持系统，其特征在于，所述车辆状态矫正信号包括车辆转向信号。

4.根据权利要求1所述的车道保持系统，其特征在于，所述车道图像为黑白图像。

5.根据权利要求1所述的车道保持系统，其特征在于，所述系统还包括风险提示组件，用于接收所述车辆状态矫正信号，并根据所述车辆状态矫正信号发送风险提示信息。

6.一种车道保持方法，其特征在于，所述方法包括：

从车辆状态获取组件中获取车辆状态信息，从单目摄像头中获取车道图像；

根据所述车道图像，依次对车道标识线特征点进行提取、对车道标识线进行跟踪以及构建车辆与车道标识线之间的数学模型；

根据所述车道图像和所述车辆状态信息，确认车辆状态是否需要矫正；

当确认所述车辆状态需要矫正时，控制车辆状态矫正组件对车辆状态进行矫正。

7.根据权利要求6所述的车道保持方法，其特征在于，所述对车道标识线特征点进行提取具体包括：

将获取到的第一帧所述车道图像拉灰，通过边缘检测获取车道标识线特征点；

根据已经获取的所述车道标识线特征点，提取一系列车道线特征点；

根据所述一系列车道线特征点，利用线性回归技术，得到车道标识线参数。

8.根据权利要求7所述的车道保持方法，其特征在于，所述对车道标识线进行跟踪具体包括：

当进行下一帧所述车道图像中车道标识线识别时，将上一帧图像中已经得到的所述车道标识线参数作为先验知识，对预设区域内的车道标识线进行识别。

9.根据权利要求8所述的车道保持方法，其特征在于，所述车辆与车道标识线之间的数学模型以与车道线的延伸方向平行且与两侧车道线距离相等的直线作为Y轴，以与车道线的延伸方向垂直的直线为X轴。

10.根据权利要求6所述的车道保持方法，其特征在于，所述当确认所述车辆状态需要矫正时，控制车辆状态矫正组件对车辆状态进行矫正具体包括：

确认方向盘转角度数、车辆行驶速度、侧向加速度及车辆位置参数都达到设定的阈值，且转向指示灯信息显示转向指示灯为未工作状态，控制所述车辆状态矫正组件进行车辆转向。