CN105059287A

CN105059287A - 一种车道保持方法和装置

Info

Publication number: CN105059287A
Application number: CN201510465986.4A
Authority: CN
Inventors: 方啸; 高红博; 王继贞; 张绍勇; 陈效华
Original assignee: Chery Automobile Co Ltd
Current assignee: Dazhuo Intelligent Technology Co ltd; Dazhuo Quxing Intelligent Technology Shanghai Co ltd
Priority date: 2015-07-31
Filing date: 2015-07-31
Publication date: 2015-11-18
Anticipated expiration: 2035-07-31
Also published as: CN105059287B

Abstract

本发明公开了一种车道保持方法和装置，属于安全辅助驾驶技术领域。所述方法包括：获取车辆到两条车道边线的距离；计算增强信号；根据获取的所述车辆到两条车道边线的距离和所述增强信号，采用预设的强化学习算法确定调节策略；按照所述调节策略，调节所述车辆的行驶轨迹。本发明的车道保持方法可以适用于各种路况，工作状体稳定，而且车辆再次遇到相同条件时，可以依据存储的调节策略来调节车辆的行驶轨迹，使得车辆能更加迅速地行驶至车道中线，进而减少调节次数，提高调节效率。

Description

一种车道保持方法和装置

技术领域

本发明涉及安全辅助驾驶技术领域，特别涉及一种车道保持方法和装置。

背景技术

随着社会的发展和人们生活水平的不断提高，汽车已经成为人们不可或缺的交通工具。但是随着汽车使用率的不断提高，交通事故率也呈现逐年上升的趋势，其中，由于车道偏离而造成的交通事故占有一定量的比例。为此，车道保持技术被应用到车辆中，以辅助驾驶员在长时间驾车过程中保持车辆不偏离车道。

传统的车车道保技术持采用了监督学习算法，即人为设定了各种路况下的最佳车道保持轨迹，并根据测量的实际轨迹与设定的最佳车道保持轨迹之间的偏差，来调节车辆在车道中的行车轨迹。

但是，由于实际路况的复杂多变，当车辆遇到并未设定路况时，行车轨迹容易出现偏差，车辆的车道保持会出现不稳定的情况。

发明内容

为了解决现有车道保持技术在行车过程中出现不稳定的问题，本发明实施例提供了一种车道保持方法和装置。所述技术方案如下：

一方面，提供了一种车道保持方法，所述方法包括：

获取车辆到两条车道边线的距离，所述两条车道边线为所述车辆所处车道的边线；

根据获取的所述车辆到两条车道边线的距离，计算增强信号，所述增强信号用于表示所述车辆偏离所述车辆所处车道的中线的程度；

根据获取的所述车辆到两条车道边线的距离和所述增强信号，采用预设的强化学习算法确定调节策略，所述调节策略包括调节方向和调节幅度；

按照所述调节策略，调节所述车辆的行驶轨迹。

具体地，所述根据获取的所述车辆到两条车道边线的距离，计算增强信号，包括：

根据以下公式，计算车道中线距离偏移量归一化处理数值M，

M＝(D1-D2)/(D1+D2)，

其中，D1和D2分别为所述车辆到两条车道边线的距离；

根据以下公式，计算所述增强信号R，

R＝-|M|；

其中，M为车道中线距离偏移量归一化处理数值。

进一步地，所述根据获取的所述车辆到两条车道边线的距离和所述增强信号，确定调节策略，包括：

判断所述R是否等于-1；

当所述R等于-1时，所述调节策略为控制所述车辆刹车。

更进一步地，所述根据获取的所述车辆到两条车道边线的距离和所述增强信号，确定调节策略还包括：

判断所述R是否大于设定值，所述设定值大于-1且小于-0.5；

当所述R小于或者等于所述设定值时，所述调节策略为根据所述M的正负确定调节方向，并按照预设的最大调节幅度来调节所述车辆的行驶轨迹。

更进一步地，所述根据获取的所述车辆到两条车道边线的距离和所述增强信号，确定调节策略，还包括：

当所述R大于所述设定值时，采用所述强化学习算法，根据获取的所述车辆到两条车道边线的距离和所述增强信号，确定调节策略。

另一方面，提供了一种车道保持装置，所述装置包括：

获取模块，用于获取车辆到两条车道边线的距离，所述两条车道边线为所述车辆所处车道的边线；

计算模块，用于根据所述获取模块获取的所述车辆到两条车道边线的距离，计算增强信号，所述增强信号用于表示所述车辆偏离所述车辆所处车道的中线的程度；

确定模块，用于根据获取的所述车辆到两条车道边线的距离和所述增强信号，采用预设的强化学习算法确定调节策略，所述调节策略包括调节方向和调节幅度；

调节模块，用于按照所述调节策略，调节所述车辆的行驶轨迹。

进一步地，所述计算模块包括：

第一计算单元，用于根据以下公式，计算车道中线距离偏移量归一化处理数值M，

M＝(D1-D2)/(D1+D2)，

其中，D1和D2分别为所述车辆到两条车道边线的距离；

第二计算单元，用于根据以下公式，计算所述增强信号R，

R＝-|M|；

其中，M为车道中线距离偏移量归一化处理数值。

进一步地，所述装置还包括：

判断模块，用于判断所述R是否等于-1；

所述确定模块，还用于当所述R等于-1时，确定所述调节策略为控制所述车辆刹车。

进一步地，所述判断模块，还用于判断所述R是否大于设定值，所述设定值大于-1且小于-0.5；

所述确定模块，还用于当所述R小于或者等于所述设定值时，确定所述调节策略为根据所述M的正负确定调节方向，并按照预设的最大调节幅度来调节所述车辆的行驶轨迹。

更进一步地，所述确定模块，还用于当所述R大于所述设定值时，采用所述强化学习算法，根据获取的所述车辆到两条车道边线的距离和所述增强信号，确定调节策略。

本发明实施例提供的技术方案带来的有益效果是：

通过获取的车辆到两条车道边线的距离和预设的强化学习算法，来做出与该距离对应的调节策略，使得该车道保持方法可以适用于各种路况，而不会出现因未储存路况而无法做出行驶轨迹调节的情况。同时，根据比较调节前后增强信号，来判断该经过调节策略调节后的该车辆是否更靠近车道中线，如果更靠近车道中线，则储存该调节策略和与该调节策略对应的车辆到两条车道边线的距离，这样当车辆再次遇到相同条件(即车辆到两条车道边线的距离与储存的车辆到两条车道边线的距离相同)，可以依据存储的调节策略来调节车辆的行驶轨迹，使得车辆能更加迅速地行驶至车道中线，进而减少调节次数，提高调节效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种应用场景示意图；

图2是本发明实施例一提供的一种车道保持方法流程图；

图3是本发明实施例二提供的一种车道保持方法流程图；

图4是本发明实施例三提供的一种车道保持装置结构示意图；

图5是本发明实施例四提供的一种车道保持装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

为了便于理解本发明的方案，下面结合图1，介绍一下本发明的应用场景。参见图1，车辆1行驶在车道2上，箭头表示的是车辆1的行驶方向，车辆1与车道2的两条车道边线的距离分别为D1和D2。在本应用场景中，当D1大于D2时，车辆1位于车道2的中线的右边，反之，D1小于D2时，车辆1位于车道2中线的左边，当D1等于D2时，车辆1位于车道2的中线上。可以知道，以上举例仅为示例性的，并不作为对本发明的限制。

实施例一

本发明实施例提供了一种车道保持方法，该方法可以应用于车辆控制系统，参见图2，该方法包括：

步骤S11，获取车辆到两条车道边线的距离，该两条车道边线为车辆所处车道的边线。

在本实施例中，可以通过设置在车辆上的摄像机或者雷达来获取车辆与两条之间的距离。

步骤S12，根据获取的车辆到两条车道边线的距离，计算增强信号，该增强信号用于表示车辆偏离该车辆所处车道的中线的程度。

步骤S13，根据获取的车辆到两条车道边线的距离和增强信号，采用强化学习算法确定调节策略。

在本实施例中，该调节策略可以包括调节方向和调节幅度。强化学习算法可以为Q学习算法、TD(λ)学习算法等。

可以理解的是，强化学习是通过一个能感知环境的自治代理(agent)，自主学习选择能达到其目标的最优动作。具体自主学习的过程是代理在其环境中做出动作，环境会给予反馈，代理根据环境的反馈(成功给予奖励、失败给予惩罚)，对动作进行认识和学习，从而在后续的动作中优先考虑正确的行为和避免错误的行为发生，如此不断学习，最终可以确定出最优动作。

在本实施例中，获取的车辆到两条车道边线的距离可以作为输入量，车辆可以根据强化学习算法和上述输入量，做出一个与上述输入量对应的调节策略，在学习过程中，做出的调节策略有可能指示车辆在接下来的行驶中偏向中线，也有可能指示车辆在接下来的行驶中远离中线。

步骤S14，按照调节策略，调节车辆的行驶轨迹。

在本实施例中，由于采用强化学习算法来确定调节策略，则该方法还可以包括：根据调节前后增强信号的变化情况，来判断该车辆在执行调节策略后，是趋向于靠近中线行驶还是趋向于远离中线行驶。当车辆在执行调节策略后，调节后的增强信号表示该车辆靠近车辆所处车道的中线(说明该调节策略为正确的调节策略)，则以奖励的方式记录该调节策略，这样，当车辆再次处理相同位置时(即车辆与两边线的距离与存储的相同)，可以采用存储的调节策略，以加快车辆做出正确的调节策略，提高车辆车道保持的效率。

在本实施例中，当车辆在执行调节策略后，如果调节后的增强信号表示该车辆远离该车辆所处车道的中线，则以惩罚的方式记录该调节策略，以便车辆在以后做调节策略时，依据这些错误的调节策略，对将要做出的调节策略进行修正和调整。

本发明实施例通过获取的车辆到两条车道边线的距离和预设的强化学习算法，来做出与该距离对应的调节策略，使得该车道保持方法可以适用于各种路况，而不会出现因未储存路况而无法做出行驶轨迹调节的情况。同时，根据比较调节前后增强信号，来判断该经过调节策略调节后的该车辆是否更靠近车道中线，如果更靠近车道中线，则储存该调节策略和与该调节策略对应的车辆到两条车道边线的距离，这样当车辆再次遇到相同条件(即车辆到两条车道边线的距离与储存的车辆到两条车道边线的距离相同)，可以依据存储的调节策略来调节车辆的行驶轨迹，使得车辆能更加迅速地行驶至车道中线，进而减少调节次数，提高调节效率。

实施例二

本发明实施例提供了一种车道保持方法，该方法可以应用于车辆控制系统，参见图3，该方法包括：

步骤S21，获取车辆到两条车道边线的距离，该两条车道边线为车辆所处车道的边线。

具体地，上述步骤S21可以通过如下方式实现：

通过设置在车辆上的摄像机或者雷达，来获取车辆到两条车道边线的距离。

在本实施例中，通过摄像机并利用图像处理技术可以获取车辆与两条边车道线的距离。如果车道的两边边线并非为油漆线，而是凸起的障碍边沿的话，可以利用雷达获取车辆到两条车道边线的距离，这样可以使得该方法能适用于更多复杂的路况条件。

步骤S22，根据获取的车辆到两条车道边线的距离，计算增强信号，该增强信号用于表示车辆偏离该车辆所处车道的中线的程度。

具体地，上述步骤S22可以通过如下方式实现：

首先，根据公式(1)，计算车道中线距离偏移量归一化处理数值M，

M＝(D1-D2)/(D1+D2)，(1)

其中，D1和D2分别为车辆到两条车道边线的距离；

然后，根据公式(2)，计算增强信号R，

R＝-|M|；(2)

其中，M为车道中线距离偏移量归一化处理数值。

在本实施例中，M的取值范围为-1～1，R的取值范围为-1～0，其中，当M为1或者-1时，车辆压到了车道的边线；当M为0时，车辆在车道的中线行驶。当R的取值偏向于-1时，车辆偏向于远离车道中线，当R的取值偏向于0时，车辆偏向于靠近车道中线。

步骤S23，判断增强信号是否等于-1。如果增强信号等于-1，则执行步骤S24；如果增强信号不等于-1，则执行步骤S25。

步骤S24，确定调节策略为控制该车辆刹车。

在本实施例中，当增强信号R等于-1时，车辆已经压到了车道的边线，车辆有超出车道的危险，此时应该控制车辆紧急刹车，以避免出现交通事故。

步骤S25，判断增强信号是否大于设定值，该设定值大于-1且小于-0.5。如果增强信号不大于该设定值，则执行步骤S26；如果增强信号大于该设定值，则执行步骤S27。

步骤S26，确定调节策略为根据M的正负确定调节方向，并按照预设的最大调节幅度来调节车辆的行驶轨迹。

在本实施例中，设定值优选为-0.8。当增强信号R小于或者等于-0.8时，车辆已经处于比较靠近车道边线的位置了，且有超出车道的危险。此时应该控制车辆偏向车道中线行驶，具体地，根据M的正负来确定调节方向，例如：当M为正时，车辆应向左边调节，当M为负时，车辆应向右边调节。控制车辆偏向车道中线行驶时的调节幅度为预设的最大调节幅度，从而可以保证行驶安全。该最大调节幅度可以根据实际情况来设定，也可以直接设定为车辆最大转向扭矩对应的幅度。

步骤S27，采用强化学习算法，根据获取的车辆到两条车道边线的距离和增强信号，确定调节策略。

在本实施例中，当增强信号大于-0.8时，才允许车辆采用预设的强化学习算法来做出调节策略，并依据该调节策略来自行控制车辆的行驶轨迹，这样可以避免在强化学习过程中，车辆脱离车道。

在本实施例中，该调节策略可以包括调节方向和调节幅度。强化学习算法可以为Q学习算法、TD(λ)学习算法等。在本实施例中，获取的车辆到两条车道边线的距离可以作为输入量，车辆可以根据强化学习算法和上述输入量，做出一个与上述输入量对应的调节策略，在学习过程中，做出的调节策略有可能指示车辆在接下来的行驶中偏向中线，也有可能指示车辆在接下来的行驶中远离中线。

具体地，在实施例中，由于采用强化学习算法来确定调节策略，则该方法还包括：

步骤S28，获取调节后的车辆与两条车道边线的距离。

步骤S29，根据调节后的车辆到两条车道边线的距离，计算调节后的增强信号。

步骤S30，比较调节前的增强信号和调节后的增强信号。

在本实施例中，通过比较调节前该增强信号和调节后增强信号，可以判断该车辆经过调节策略的调节后，车辆是更靠近车道中线，还是远离车道中线，进而可以判断该调节策略的好坏。

步骤S31，如果调节后的增强信号表示该车辆靠近车辆所处车道的中线，则以奖励的方式对应存储调节策略和与该调节策略对应的车辆到两条车道边线的距离；如果调节后的增强信号表示车辆远离该车辆所处车道的中线，则以惩罚的方式对应存储调节策略和与该调节策略对应的车辆到两条车道边线的距离。

具体地，上述步骤S31还可以通过如下方式实现：

如果调节后增强信号大于调节前增强信号，则以奖励的方式对应存储调节策略和与该调节策略对应的车辆到两条车道边线的距离；如果调节后增强信号小于调节前增强信号，则以惩罚的方式对应存储调节策略和与该调节策略对应的车辆到两条车道边线的距离。

在本实施例中，可以根据调节前后增强信号的变化情况，来判断该车辆在执行调节策略后，是趋向于靠近中线行驶还是趋向于远离中线行驶。当车辆在执行调节策略后，调节后的增强信号表示该车辆靠近车辆所处车道的中线，则说明该调节策略为正确的调节策略，此时，车辆存储该调节策略和与调节策略对应的车辆到两条车道边线的距离，这样，当车辆再次处理相同位置时(即车辆与两边线的距离与存储的相同)，可以采用存储的调节策略，以加快车辆做出正确的调节策略，提高车辆车道保持的效率。

在本实施例中，如果调节后的增强信号表示该车辆远离该车辆所处车道的中线，则以惩罚的方式记录该调节策略，以便车辆在以后做调节策略时，依据这些错误的调节策略，对将要做出的调节策略进行修正和调整。

需要说明的是，通过重复上述步骤，可以使得该车辆储存到许多不同条件(该条件为车辆到两条边线的距离)下，正确的调节策略，这样，车辆在以后做出调节策略时，会越来越快，越来越准确，车辆的车道保持会更加稳定可靠。

实施例三

本发明实施例提供了一种车道保持装置，该装置适用于实施例一种提供的方法，参见图4，该装置包括：获取模块301、计算模块302、确定模块303和调节模块304。

其中，获取模块301用于获取车辆到两条车道边线的距离，该两条车道边线为车辆所处车道的边线。计算模块302用于根据获取模块301获取的车辆到两条车道边线的距离，计算增强信号，该增强信号用于表示车辆偏离该车辆所处车道的中线的程度。确定模块303用于根据获取的车辆到两条车道边线的距离和增强信号，采用强化学习算法确定调节策略，所述调节策略包括调节方向和调节幅度。调节模块304用于按照确定模块303确定的调节策略，调节车辆的行驶轨迹。

在本实施例中，强化学习算法可以为Q学习算法、TD(λ)学习算法等。

在本实施例中，由于采用强化学习算法来确定调节策略，则该调节模块304还用于根据调节前后增强信号的变化情况，来判断该车辆在执行调节策略后，是趋向于靠近中线行驶还是趋向于远离中线行驶。当车辆在执行调节策略后，调节后的增强信号表示该车辆靠近车辆所处车道的中线(说明该调节策略为正确的调节策略)，则以奖励的方式记录该调节策略，这样，当车辆再次处理相同位置时(即车辆与两边线的距离与存储的相同)，可以采用存储的调节策略，以加快车辆做出正确的调节策略，提高车辆车道保持的效率。

实施例四

本发明实施例提供了一种车道保持装置，该装置适用于实施例二提供的方法，参见图5，该装置包括：获取模块401、计算模块402、确定模块403和调节模块404。

其中，获取模块401用于获取车辆到两条车道边线的距离，该两条车道边线为车辆所处车道的边线。计算模块402用于根据获取模块401获取的车辆到两条车道边线的距离，计算增强信号，该增强信号用于表示车辆偏离该车辆所处车道的中线的程度。确定模块403用于根据获取的车辆到两条车道边线的距离和增强信号，采用强化学习算法确定调节策略，所述调节策略包括调节方向和调节幅度。调节模块404用于按照确定模块403确定的调节策略，调节车辆的行驶轨迹。

可选地，获取模块401包括：

设置在车辆上的摄像机，用于获取车辆到两条车道边线的距离；

设置在车辆上的雷达，用于获取车辆到两条车道边线的距离。

在本实施例中，当车道的两边边线为油漆线时，可以利用设置在车辆上的摄像机并利用图像处理技术，来获取车辆与两条边车道线的距离。如果车道的两边边线并非为油漆线，而是凸起的障碍边沿的话，可以利用设置在车辆上的雷达，来获取车辆到两条车道边线的距离，这样可以使得该装置能适用于更多复杂的路况条件。

具体地，计算模块402包括：第一计算单元412和第二计算单元422。

第一计算单元412，用于根据前述公式(1)，计算车道中线距离偏移量归一化处理数值M，第二计算单元422，用于根据前述公式(2)，计算增强信号R。

进一步地，该装置还包括：判断模块405，该判断模块405用于判断R是否等于-1。相应地，确定模块403，还用于当R等于-1时，确定调节策略为控制车辆刹车。

判断模块405还用于判断R是否大于设定值，该设定值大于-1且小于-0.5。

确定模块403，还用于当R小于或者等于该设定值时，确定调节策略为根据M的正负确定调节方向，并按照预设的最大调节幅度来调节所述车辆的行驶轨迹。

确定模块403，还用于当增强信号大于前述设定值且小于0时，采用所述强化学习算法，根据获取的所述车辆到两条车道边线的距离和所述增强信号，确定调节策略。

进一步地，确定模块403，还用于当调节后的增强信号大于调节前增强信号时，储存调节策略和与调节策略对应的车辆到两条车道边线的距离。

在本实施例中，当调节后的增强信号大于调节前增强信号时，表明该车辆在经过调节策略调节后更靠近车道中线。

具体地，在实施例中，由于采用强化学习算法来确定调节策略，则：

获取模块401还用于获取调节后的车辆到两条车道边线的距离。

计算模块402还用于根据调节后的车辆到两条车道边线的距离，计算调节后增强信号。

确定模块403还用于比较调节前该增强信号和调节后该增强信号；如果调节后的增强信号表示该车辆靠近车辆所处车道的中线，则以奖励的方式对应存储调节策略和与该调节策略对应的车辆到两条车道边线的距离；如果调节后的增强信号表示车辆远离该车辆所处车道的中线，则以惩罚的方式对应存储调节策略和与该调节策略对应的车辆到两条车道边线的距离。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是：上述实施例提供的车道保持装置在实现车道保持方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的车道保持装置与车道保持方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种车道保持方法，其特征在于，所述方法包括：

根据获取的所述车辆到两条车道边线的距离和所述增强信号，采用强化学习算法确定调节策略，所述调节策略包括调节方向和调节幅度；

按照所述调节策略，调节所述车辆的行驶轨迹。

2.根据权利要求1所述的方法，其特征在于，所述根据获取的所述车辆到两条车道边线的距离，计算增强信号，包括：

根据以下公式，计算车道中线距离偏移量归一化处理数值M，

M＝(D1-D2)/(D1+D2)，

其中，D1和D2分别为所述车辆到两条车道边线的距离；

根据以下公式，计算所述增强信号R，

R＝-|M|；

其中，M为车道中线距离偏移量归一化处理数值。

3.根据权利要求2所述的方法，其特征在于，所述根据获取的所述车辆到两条车道边线的距离和所述增强信号，采用强化学习算法确定调节策略，包括：

判断所述R是否等于-1；

当所述R等于-1时，所述调节策略为控制所述车辆刹车。

4.根据权利要求3所述的方法，其特征在于，所述根据获取的所述车辆到两条车道边线的距离和所述增强信号，采用强化学习算法确定调节策略，还包括：

判断所述R是否大于设定值，所述设定值大于-1且小于-0.5；

5.根据权利要求3所述的方法，其特征在于，所述根据获取的所述车辆到两条车道边线的距离和所述增强信号，采用强化学习算法确定调节策略，还包括：

6.一种车道保持装置，其特征在于，所述装置包括：

确定模块，用于根据获取的所述车辆到两条车道边线的距离和所述增强信号，采用强化学习算法确定调节策略，所述调节策略包括调节方向和调节幅度；

7.根据权利要求6所述的装置，其特征在于，所述计算模块包括：

M＝(D1-D2)/(D1+D2)，

其中，D1和D2分别为所述车辆到两条车道边线的距离；

第二计算单元，用于根据以下公式，计算所述增强信号R，

R＝-|M|；

其中，M为车道中线距离偏移量归一化处理数值。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

判断模块，用于判断所述R是否等于-1；

9.根据权利要求8所述的装置，其特征在于，

所述判断模块，还用于判断所述R是否大于设定值，所述设定值大于-1且小于-0.5；

10.根据权利要求8所述的装置，其特征在于，所述确定模块，还用于当所述R大于所述设定值时，采用所述强化学习算法，根据获取的所述车辆到两条车道边线的距离和所述增强信号，确定调节策略。