CN116331206A - 一种智能汽车安全行驶的决策方法及系统 - Google Patents
一种智能汽车安全行驶的决策方法及系统 Download PDFInfo
- Publication number
- CN116331206A CN116331206A CN202310363022.3A CN202310363022A CN116331206A CN 116331206 A CN116331206 A CN 116331206A CN 202310363022 A CN202310363022 A CN 202310363022A CN 116331206 A CN116331206 A CN 116331206A
- Authority
- CN
- China
- Prior art keywords
- overtaking
- decision
- reinforcement learning
- vehicle
- intelligent automobile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000006870 function Effects 0.000 claims abstract description 65
- 230000002787 reinforcement Effects 0.000 claims abstract description 59
- 230000008859 change Effects 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 28
- 230000009471 action Effects 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims description 39
- 230000004913 activation Effects 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 description 17
- 230000006399 behavior Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18163—Lane change; Overtaking manoeuvres
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/06—Direction of travel
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开一种智能汽车安全行驶的决策方法及系统,涉及智能汽车决策技术领域。所述方法包括:采集目标智能汽车在高速路的行驶参数;所述行驶参数包括车辆速度、车头角度、位置信息和车道情况;所述车道情况为与相邻车辆的时距变化;根据所述行驶参数和合规性强化学习决策模型,确定最优换道超车动作;所述合规性强化学习决策模型是根据深度强化学习网络和回报函数构建的;所述回报函数是根据超车判断条件和预设最小安全距离确定的;所述回报函数为在超车过程中车辆违规的事故程度。本发明能够提高智能汽车安全行驶的决策准确率。
Description
技术领域
本发明涉及智能汽车决策技术领域,特别是涉及一种智能汽车安全行驶的决策方法及系统。
背景技术
道路法规不仅是安全的重要保障,也是交通事故责任划定的关键凭证。因此,道路法规数字化基础上的合规性决策,对保障道路安全非常重要。道路法规数字化是合规性决策的基础,但面临一系列问题:交通标志与标线繁多复杂,对机器而言理解困难;道路法规主要面向人类驾驶员,充斥大量模糊语言,无法准确对应车辆驾驶行为。因此,目前的研究存在无法将复杂模糊的道路法规转变成机器可识别的语言,从而导致现有技术对智能汽车安全行驶的决策准确率不高。
发明内容
本发明的目的是提供一种智能汽车安全行驶的决策方法及系统,能够提高智能汽车安全行驶的决策准确率。
为实现上述目的,本发明提供了如下方案:
一种智能汽车安全行驶的决策方法,包括:
采集目标智能汽车在高速路的行驶参数;所述行驶参数包括车辆速度、车头角度、位置信息和车道情况;所述车道情况为与相邻车辆的时距变化;
根据所述行驶参数和合规性强化学习决策模型,确定最优换道超车动作;所述合规性强化学习决策模型是根据深度强化学习网络和回报函数构建的;所述回报函数是根据超车判断条件和预设最小安全距离确定的;所述回报函数为在超车过程中车辆违规的事故程度。
可选地,所述超车判断条件包括超车触发判断条件、超车换道前判断条件、超车判断条件和回归车道前判断条件。
可选地,根据所述行驶参数和合规性强化学习决策模型,确定最优换道超车动作,具体包括:
根据预设道路规定确定超车判断条件;
根据所述行驶参数、所述超车判断条件和所述预设最小安全距离,确定所述行驶参数对应的回报函数;
根据所述行驶参数及对应的回报函数确定最优换道超车动作。
可选地,根据预设道路规定确定超车判断条件,具体包括:
对所述预设道路规定进行关键流程和语义定义提取,得到关键条件;
对所述关键条件进行逻辑提取,得到条件逻辑;所述条件逻辑包括原子命题、逻辑算子和时序逻辑;
对所述条件逻辑进行抽象编码,得到线性时序逻辑公式,并将所述线性时序逻辑公式确定为超车判断条件。
可选地,根据所述行驶参数、所述超车判断条件和所述预设最小安全距离,确定所述行驶参数对应的回报函数,具体包括:
根据所述行驶参数判断所述目标智能汽车是否满足所述超车判断条件,得到超车判断结果;
根据所述超车判断结果和所述预设最小安全距离确定所述行驶参数对应的回报函数。
可选地,所述合规性强化学习决策模型的训练过程具体为:
获取训练数据;所述训练数据包括训练智能汽车的行驶状态及对应的换道超车动作和回报函数;
构建基于前馈神经网络的深度强化学习网络;
将所述训练数据输入所述深度强化学习网络,并根据损失函数、预设迭代模式和预设迭代次数进行训练,将训练好的深度强化学习网络确定为合规性强化学习决策模型。
可选地,所述预设迭代模式包括第一训练模式和第二训练模式;所述第一训练模式为他车在被自车超过之后加速行驶;所述第二训练模式为他车在被自车超过之后保持原速行驶。
可选地,所述深度强化学习网络包括依次连接的卷积层和全连接层;所述卷积层的非线性激活函数为relu函数;所述全连接层的非线性激活函数为tanh函数。
可选地,所述超车判断条件将超车过程划分为超车前、超车中和超车完成三个阶段。
本发明还提供了一种智能汽车安全行驶的决策系统,包括:
数据采集模块,用于采集目标智能汽车在高速路的行驶参数;所述行驶参数包括车辆速度、车头角度、位置信息和车道情况;所述车道情况为与相邻车辆的时距变化;
行驶决策模块,用于根据所述行驶参数和合规性强化学习决策模型,确定最优换道超车动作;所述合规性强化学习决策模型是根据深度强化学习网络和回报函数构建的;所述回报函数是根据超车判断条件和预设最小安全距离确定的;所述回报函数为在超车过程中车辆违规的事故程度。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明公开了一种智能汽车安全行驶的决策方法及系统,所述方法包括利用合规性强化学习决策模型对采集的目标智能汽车在高速路的行驶参数进行决策判断,得到最优换道超车动作,其中,合规性强化学习决策模型是根据深度强化学习网络和回报函数构建的,通过将深度强化学习网络结合回报函数,能够实现使模型输出的结果结合车辆违规的事故程度的影响因素,提高了智能汽车在换道超车时的决策准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明智能汽车安全行驶的决策方法的流程示意图;
图2为本实施例中合规性监测模块的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种智能汽车安全行驶的决策方法及系统,能够提高智能汽车安全行驶的决策准确率。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示,本发明提供了一种智能汽车安全行驶的决策方法,包括:
步骤100:采集目标智能汽车在高速路的行驶参数;所述行驶参数包括车辆速度、车头角度、位置信息和车道情况;所述车道情况为与相邻车辆的时距变化。其中,所述超车判断条件包括超车触发判断条件、超车换道前判断条件、超车判断条件和回归车道前判断条件。
步骤200:根据所述行驶参数和合规性强化学习决策模型,确定最优换道超车动作;所述合规性强化学习决策模型是根据深度强化学习网络和回报函数构建的;所述回报函数是根据超车判断条件和预设最小安全距离确定的;所述回报函数为在超车过程中车辆违规的事故程度。
作为步骤200的一种具体实施方式,包括:
步骤110:根据预设道路规定确定超车判断条件。具体过程为:
对所述预设道路规定进行关键流程和语义定义提取,得到关键条件;对所述关键条件进行逻辑提取,得到条件逻辑;所述条件逻辑包括原子命题、逻辑算子和时序逻辑;对所述条件逻辑进行抽象编码,得到线性时序逻辑公式,并将所述线性时序逻辑公式确定为超车判断条件。
步骤120:根据所述行驶参数、所述超车判断条件和所述预设最小安全距离,确定所述行驶参数对应的回报函数。具体过程为:
根据所述行驶参数判断所述目标智能汽车是否满足所述超车判断条件,得到超车判断结果;根据所述超车判断结果和所述预设最小安全距离确定所述行驶参数对应的回报函数。所述超车判断条件将超车过程划分为超车前、超车中和超车完成三个阶段。
步骤130:根据所述行驶参数及对应的回报函数确定最优换道超车动作。
其中,所述合规性强化学习决策模型的训练过程具体为:
获取训练数据;所述训练数据包括训练智能汽车的行驶状态及对应的换道超车动作和回报函数;构建基于前馈神经网络的深度强化学习网络;将所述训练数据输入所述深度强化学习网络,并根据损失函数、预设迭代模式和预设迭代次数进行训练,将训练好的深度强化学习网络确定为合规性强化学习决策模型。
在本实施例中,所述预设迭代模式包括第一训练模式和第二训练模式;所述第一训练模式为他车在被自车超过之后加速行驶;所述第二训练模式为他车在被自车超过之后保持原速行驶。所述深度强化学习网络包括依次连接的卷积层和全连接层;所述卷积层的非线性激活函数为relu函数;所述全连接层的非线性激活函数为tanh函数。
在上述方案的基础上,提供如下实施例:
本实施例将车辆违规程度加入强化学习的回报函数中进行训练,得到合规性强化学习决策模型。该发明将法规数字化融入合规性监测和决策,并结合强化学习进行训练,提高了智能汽车在换道超车时的决策安全性。
S1:道路法规数字化;选取与超车相关的道路法规,进行道路法规数字化,具体内容如表1所示。
表1道路法规数字化表
所述S1步骤中,道路法规数字化包括提取条件逻辑,利用线性时序逻辑公式对该道路法规进行抽象编码,翻译出原子命题和条件逻辑,具体为:提取关键流程和语义定义后,进行逻辑分析,提取条件逻辑,将所选道路法规拆分为原子命题、逻辑算子和时序逻辑,得到线性时序逻辑公式,从而能够对车辆驾驶行为进行约束和限制。
所述S1步骤中得到的线性时序逻辑公式如下:
actOvertake指超车触发条件,st代指自车的状态:stBehind指自车在后,stAhead指自车在前,stLeft指自车在左,stProperDistance指自车与其他道路参与者保持合适距离。
该公式的意义为:满足超车触发条件actOvertake后,整个超车过程中需要满足:自车从左侧车道(即超车道)进行超车;全过程中,自车需要与其他车辆保持合适距离。
S2:搭建高速路场景;使用Carla搭建高速路场景,设定场景中的物体和参数,具体参数如表2所示。
所述高速路场景的物体包括在原始车道行驶的自车与他车。
所述自车的参数包括初始位置和朝向,超车完成前直行时油门开度,换道时油门开度,超车完成后油门开度。
所述他车的参数包括初始位置和朝向,自车向左换道前的油门开度,自车向左换道后的油门开度。
初始条件下,自车在后,他车在前,同在原车道行驶。原车道左侧的车道为超车道。自车需要换道至超车道后,从左侧超越他车,并在超车结束后回到原车道,在y方向到达指定位置。
表2设定场景具体参数表
S3:设计合规性监测模块;设计合规性监测模块,监测超车过程中车辆的违规程度。
所述合规性监测模块包括条件判断和监测模块:
所述条件判断包括:超车触发条件判断,超车换道前条件判断,超车条件判断,回归车道前条件判断。所述条件判断将超车划分为三个阶段:超车前、超车中、超车完成。所述划分标准为自车的车辆速度、车头角度、位置信息和车道情况。
将所述自车在所述S2步骤中的场景中当前时刻的速度大小值作为所述车辆速度;将所述自车在所述S2步骤中的场景中当前时刻的车头角度作为所述车头角度值;将所述自车在所述S2步骤中的场景中当前时刻所在位置的横坐标和纵坐标作为所述位置信息;将所述自车在所述S2步骤中的场景中当前时刻自车的车道作为所述车道情况。
所述合规性监测模块包括向左换道监测,超车中过程检测,回归原车道监测。所述合规性监测模块的具体流程如2所示:
1.首先判断是否满足超车触发条件,若自车速度大于前车速度,则进入合规性监测。
2.超车前,判断是否满足超车换道前条件:是否与被超车辆保持纵向安全距离、超车道后方是否安全、超车道前方是否安全。若满足换道条件,则进入向左换道的合规性监测。
3.超车时,判断是否满足超车条件:是否与被超车辆保持侧向安全距离。若满足超车条件,进行超车中过程的合规性监测。
4.超过前车后,进行回归原车道前条件判断:原车道内后方是否安全、原车道内前方是否安全。若满足回归原车道前条件,则进行回归原车道监测。
当S3步骤中的合规性监测模块监测自车自车在行驶过程中是否与周围车辆保持一定的时距,最终输出超车过程中车辆的违规程度,判断阈值一般由数据集和经验值给出。
S4:建立合规性强化学习决策模型;所述S4步骤中,所述建立合规性强化学习决策模型步骤包括:定义和设定所述建立合规性强化学习决策模型的状态集、动作集和回报函数。
所述状态集表示为:
s=[yother-yego,vego-vother,l]=[Δd,Δv]
其中,y代表纵向坐标,下标other代表他车,ego代表自车,由于车辆行驶过程中纵坐标不断减小,Δd=yother-yego代表自车领先他车的距离,而Δv=vego-vother代表自车与他车的速度差,l代表自车车道情况。
所述动作集表示为:
所述回报函数表示为:
其中,rlaw=sgn(Δd-max(mind,Δv×TTC))代表车辆违规程度,mind为最小安全距离,TTC为碰撞时间。yego代表自车完成超车后回到原车道时的y坐标。自车行驶过程中y坐标一直在减小,故yego越大,自车换道完成时间越早。若自车未完成超车任务,回报函数置为-20。若自车与他车发生碰,回报函数置为-100。比起未完成超车任务,更不希望发生碰撞事故,故碰撞事故的回报函数比未完成超车任务的回报函数更小。
S5:训练合规性强化学习决策模型得到安全决策;通过迭代训练合规性强化学习决策模型,获得所述智能汽车的安全决策。所述迭代过程如下:自车根据当前状态做出决策,执行动作命令与环境交互后产生新的状态,并返回新状态以及动作相应的回报函数(由合规性监测模块给出),通过损失函数来更新模型的参数,使得模型不断学习得到最优策略。
所述通过迭代训练获得所述自动驾驶车辆智能体模型的最优行为的步骤满足公式:
其中,Rt表示时刻的最大化预期的回报;rt+k表示t+k时刻的回报,t、k为自然数;π表示驾驶策略;γ为折扣因子,γt表示时刻的回报折扣;st表示t时刻的状态;at表示t时刻的动作;使用前馈神经网络实现深度强化学习网络(DQN网络)以优化Rt;分析迭代足够次数后的学习曲线,判断对所述合规性强化学习决策模型的训练是否充分。内置卷积网络的非线性激活函数为relu函数,全连接网络的非线性激活函数为tanh函数。训练迭代次数为500,学习率为1e-5。
所述S5步骤中的迭代训练有两种他车行为模式:
acc episode:他车在被自车超过之后加速行驶;
normal episode:他车在被自车超过之后保持原速行驶。
S6:分析得到所述合规性强化学习决策模型对智能汽车决策安全性的影响;使用所述S3步骤中用Carla搭建的高速路场景中进行测试,分从自车超车过程中与他车的距离分析合规性强化学习决策模型对决策安全性的影响。
测试地图选择了Carla车辆仿真平台的Town05地图,测试过程中,所述合规性强化学习模型运行情况下,自车换道超车时与他车间的纵向、横向距离较大,比对照组更安全。
综合分析得到的结论是:本实施例将法规数字化融入合规性监测和决策,并结合强化学习进行训练,采用基于道路法规数字化的智能汽车安全决策方法可以保证超车换道场景下的安全距离,避免了碰撞的发生,有效提高了智能汽车在换道超车时的决策安全性。
此外,本发明还提供了一种智能汽车安全行驶的决策系统,包括:
数据采集模块,用于采集目标智能汽车在高速路的行驶参数;所述行驶参数包括车辆速度、车头角度、位置信息和车道情况;所述车道情况为与相邻车辆的时距变化;
行驶决策模块,用于根据所述行驶参数和合规性强化学习决策模型,确定最优换道超车动作;所述合规性强化学习决策模型是根据深度强化学习网络和回报函数构建的;所述回报函数是根据超车判断条件和预设最小安全距离确定的;所述回报函数为在超车过程中车辆违规的事故程度。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种智能汽车安全行驶的决策方法,其特征在于,包括:
采集目标智能汽车在高速路的行驶参数;所述行驶参数包括车辆速度、车头角度、位置信息和车道情况;所述车道情况为与相邻车辆的时距变化;
根据所述行驶参数和合规性强化学习决策模型,确定最优换道超车动作;所述合规性强化学习决策模型是根据深度强化学习网络和回报函数构建的;所述回报函数是根据超车判断条件和预设最小安全距离确定的;所述回报函数为在超车过程中车辆违规的事故程度。
2.根据权利要求1所述的智能汽车安全行驶的决策方法,其特征在于,所述超车判断条件包括超车触发判断条件、超车换道前判断条件、超车判断条件和回归车道前判断条件。
3.根据权利要求1所述的智能汽车安全行驶的决策方法,其特征在于,根据所述行驶参数和合规性强化学习决策模型,确定最优换道超车动作,具体包括:
根据预设道路规定确定超车判断条件;
根据所述行驶参数、所述超车判断条件和所述预设最小安全距离,确定所述行驶参数对应的回报函数;
根据所述行驶参数及对应的回报函数确定最优换道超车动作。
4.根据权利要求3所述的智能汽车安全行驶的决策方法,其特征在于,根据预设道路规定确定超车判断条件,具体包括:
对所述预设道路规定进行关键流程和语义定义提取,得到关键条件;
对所述关键条件进行逻辑提取,得到条件逻辑;所述条件逻辑包括原子命题、逻辑算子和时序逻辑;
对所述条件逻辑进行抽象编码,得到线性时序逻辑公式,并将所述线性时序逻辑公式确定为超车判断条件。
5.根据权利要求3所述的智能汽车安全行驶的决策方法,其特征在于,根据所述行驶参数、所述超车判断条件和所述预设最小安全距离,确定所述行驶参数对应的回报函数,具体包括:
根据所述行驶参数判断所述目标智能汽车是否满足所述超车判断条件,得到超车判断结果;
根据所述超车判断结果和所述预设最小安全距离确定所述行驶参数对应的回报函数。
6.根据权利要求1所述的智能汽车安全行驶的决策方法,其特征在于,所述合规性强化学习决策模型的训练过程具体为:
获取训练数据;所述训练数据包括训练智能汽车的行驶状态及对应的换道超车动作和回报函数;
构建基于前馈神经网络的深度强化学习网络;
将所述训练数据输入所述深度强化学习网络,并根据损失函数、预设迭代模式和预设迭代次数进行训练,将训练好的深度强化学习网络确定为合规性强化学习决策模型。
7.根据权利要求6所述的智能汽车安全行驶的决策方法,其特征在于,所述预设迭代模式包括第一训练模式和第二训练模式;所述第一训练模式为他车在被自车超过之后加速行驶;所述第二训练模式为他车在被自车超过之后保持原速行驶。
8.根据权利要求6所述的智能汽车安全行驶的决策方法,其特征在于,所述深度强化学习网络包括依次连接的卷积层和全连接层;所述卷积层的非线性激活函数为relu函数;所述全连接层的非线性激活函数为tanh函数。
9.根据权利要求1所述的智能汽车安全行驶的决策方法,其特征在于,所述超车判断条件将超车过程划分为超车前、超车中和超车完成三个阶段。
10.一种智能汽车安全行驶的决策系统,其特征在于,包括:
数据采集模块,用于采集目标智能汽车在高速路的行驶参数;所述行驶参数包括车辆速度、车头角度、位置信息和车道情况;所述车道情况为与相邻车辆的时距变化;
行驶决策模块,用于根据所述行驶参数和合规性强化学习决策模型,确定最优换道超车动作;所述合规性强化学习决策模型是根据深度强化学习网络和回报函数构建的;所述回报函数是根据超车判断条件和预设最小安全距离确定的;所述回报函数为在超车过程中车辆违规的事故程度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310363022.3A CN116331206B (zh) | 2023-04-06 | 2023-04-06 | 一种智能汽车安全行驶的决策方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310363022.3A CN116331206B (zh) | 2023-04-06 | 2023-04-06 | 一种智能汽车安全行驶的决策方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116331206A true CN116331206A (zh) | 2023-06-27 |
CN116331206B CN116331206B (zh) | 2023-10-20 |
Family
ID=86894843
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310363022.3A Active CN116331206B (zh) | 2023-04-06 | 2023-04-06 | 一种智能汽车安全行驶的决策方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116331206B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106874597A (zh) * | 2017-02-16 | 2017-06-20 | 北理慧动(常熟)车辆科技有限公司 | 一种应用于自动驾驶车辆的高速公路超车行为决策方法 |
JP2017518913A (ja) * | 2014-05-22 | 2017-07-13 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH | 車両の追越プロセス中の安全性を向上するための方法、及び、装置 |
CN107507408A (zh) * | 2017-07-24 | 2017-12-22 | 重庆大学 | 一种考虑前车换道汇入过程的跟驰加速度及跟驰行为建模方法 |
CN108986473A (zh) * | 2017-05-31 | 2018-12-11 | 蔚来汽车有限公司 | 车载交通违规行为识别与处理系统和方法 |
WO2019063352A1 (en) * | 2017-09-28 | 2019-04-04 | Connaught Electronics Ltd. | METHOD FOR ASSISTING DRIVER OF MOTOR VEHICLE WHEN OVERPASSING OBJECT AND DRIVER ASSISTANCE SYSTEM |
CN112793576A (zh) * | 2021-01-26 | 2021-05-14 | 北京理工大学 | 一种基于规则与机器学习融合的换道决策方法及系统 |
CN113581182A (zh) * | 2021-09-07 | 2021-11-02 | 上海交通大学 | 基于强化学习的自动驾驶车辆换道轨迹规划方法及系统 |
CN114559940A (zh) * | 2022-02-17 | 2022-05-31 | 北京经纬恒润科技股份有限公司 | 车辆换道方法、装置及车辆 |
CN115140091A (zh) * | 2022-06-29 | 2022-10-04 | 中国第一汽车股份有限公司 | 自动驾驶决策方法、装置、车辆及存储介质 |
CN115457757A (zh) * | 2021-06-09 | 2022-12-09 | 华为技术有限公司 | 判定交通行为合规性的方法和装置 |
-
2023
- 2023-04-06 CN CN202310363022.3A patent/CN116331206B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017518913A (ja) * | 2014-05-22 | 2017-07-13 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH | 車両の追越プロセス中の安全性を向上するための方法、及び、装置 |
CN106874597A (zh) * | 2017-02-16 | 2017-06-20 | 北理慧动(常熟)车辆科技有限公司 | 一种应用于自动驾驶车辆的高速公路超车行为决策方法 |
CN108986473A (zh) * | 2017-05-31 | 2018-12-11 | 蔚来汽车有限公司 | 车载交通违规行为识别与处理系统和方法 |
CN107507408A (zh) * | 2017-07-24 | 2017-12-22 | 重庆大学 | 一种考虑前车换道汇入过程的跟驰加速度及跟驰行为建模方法 |
WO2019063352A1 (en) * | 2017-09-28 | 2019-04-04 | Connaught Electronics Ltd. | METHOD FOR ASSISTING DRIVER OF MOTOR VEHICLE WHEN OVERPASSING OBJECT AND DRIVER ASSISTANCE SYSTEM |
CN112793576A (zh) * | 2021-01-26 | 2021-05-14 | 北京理工大学 | 一种基于规则与机器学习融合的换道决策方法及系统 |
CN115457757A (zh) * | 2021-06-09 | 2022-12-09 | 华为技术有限公司 | 判定交通行为合规性的方法和装置 |
CN113581182A (zh) * | 2021-09-07 | 2021-11-02 | 上海交通大学 | 基于强化学习的自动驾驶车辆换道轨迹规划方法及系统 |
CN114559940A (zh) * | 2022-02-17 | 2022-05-31 | 北京经纬恒润科技股份有限公司 | 车辆换道方法、装置及车辆 |
CN115140091A (zh) * | 2022-06-29 | 2022-10-04 | 中国第一汽车股份有限公司 | 自动驾驶决策方法、装置、车辆及存储介质 |
Non-Patent Citations (1)
Title |
---|
雅丝米娜•贝斯塔维•塞巴纳: "《计算机视觉实战基于TensorFlow 2》", 机械工业出版社, pages: 160 - 164 * |
Also Published As
Publication number | Publication date |
---|---|
CN116331206B (zh) | 2023-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113291308B (zh) | 一种考虑驾驶行为特性的车辆自学习换道决策系统及方法 | |
CN108313054B (zh) | 自动驾驶自主换道决策方法和装置及自动驾驶车辆 | |
CN111775949B (zh) | 一种人机共驾控制系统的个性化驾驶员转向行为辅助方法 | |
EP2657921B1 (de) | Verfahren und Vorrichtung zum Nothalt eines Kraftfahrzeugs | |
CN109242251A (zh) | 行车行为安全性检测方法、装置、设备及存储介质 | |
CN106874597A (zh) | 一种应用于自动驾驶车辆的高速公路超车行为决策方法 | |
CN110077398B (zh) | 一种用于智能驾驶的危险处理方法 | |
Zhu et al. | Combined hierarchical learning framework for personalized automatic lane-changing | |
CN112249008B (zh) | 针对复杂动态环境的无人驾驶汽车预警方法 | |
CN112793576B (zh) | 一种基于规则与机器学习融合的换道决策方法及系统 | |
CN107291972A (zh) | 基于多源数据挖掘的汽车智能驾驶系统有效性评价方法 | |
WO2016096330A1 (de) | Unterstützung beim führen eines fahrzeugs | |
CN110989568B (zh) | 一种基于模糊控制器的自动驾驶车辆安全通行方法及系统 | |
CN106777776A (zh) | 一种基于支持向量机模型的车辆换道决策方法 | |
DE102012000724A1 (de) | Verfahren und Vorrichtung zum teilautomatisierten Fahren eines Kraftfahrzeugs | |
EP4052178A1 (de) | Verfahren zum trainieren wenigstens eines algorithmus für ein steuergerät eines kraftfahrzeugs, computerprogrammprodukt sowie kraftfahrzeug | |
DE102020106207A1 (de) | Computergestütztes Fahrverfahren und -vorrichtung mit automatischer Minderung potenzieller Notfälle | |
DE102015223481A1 (de) | Verfahren zur Anpassung einer Lenkunterstützung eines Fahrzeugs | |
CN115782905B (zh) | 一种自动驾驶车辆驾驶安全度量化系统 | |
CN110320916A (zh) | 考虑乘员感受的自动驾驶汽车轨迹规划方法及系统 | |
CN101327795A (zh) | 一种车辆行驶智能预警系统 | |
CN108711285A (zh) | 一种基于道路路口的混合交通模拟方法 | |
CN112896166A (zh) | 车辆换道方法、装置和电子设备 | |
CN116331206B (zh) | 一种智能汽车安全行驶的决策方法及系统 | |
DE102022108677B3 (de) | Verfahren, System und Computerprogrammprodukt zur Ermittlung von objektiven Kenngrößen für die Prädiktion einer subjektiven Bewertung eines Fahrassistenzsystems und/oder einer automatisierten Fahrassistenzfunktion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |