CN108803609B - 基于约束在线规划的部分可观察自动驾驶决策方法 - Google Patents
基于约束在线规划的部分可观察自动驾驶决策方法 Download PDFInfo
- Publication number
- CN108803609B CN108803609B CN201810595164.1A CN201810595164A CN108803609B CN 108803609 B CN108803609 B CN 108803609B CN 201810595164 A CN201810595164 A CN 201810595164A CN 108803609 B CN108803609 B CN 108803609B
- Authority
- CN
- China
- Prior art keywords
- state
- simulation
- history
- action
- driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000004088 simulation Methods 0.000 claims abstract description 112
- 239000002245 particle Substances 0.000 claims description 35
- 230000007613 environmental effect Effects 0.000 claims description 19
- 238000005457 optimization Methods 0.000 claims description 16
- 238000000342 Monte Carlo simulation Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 5
- 235000000332 black box Nutrition 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 238000010187 selection method Methods 0.000 claims description 3
- 230000007812 deficiency Effects 0.000 abstract description 2
- 230000000452 restraining effect Effects 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 6
- 235000014277 Clidemia hirta Nutrition 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 241000069219 Henriettea Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于约束在线规划的部分可观察自动驾驶决策方法及系统。该决策方法主要用于自动驾驶中,使得车辆拥有多种驾驶模式。本发明包括:驾驶环境状态单元单元、搜索单元、模拟单元、成本约束单元。该决策方法不仅能够针对当前驾驶环境产生驾驶方案,还可以根据实时的路况车况来实时的调整方案,以增强其灵活性。该方法构建了一个基于历史的蒙特卡罗搜索树,使得模拟解决方案是在真实情况的基础上进行的,增强了可靠性。同时,该方法满足一定的最优选择条件,以确保得到的策略是随机策略,弥补了确定性策略的不足。该决策方法完全满足目前一般用户的驾驶需求,尤其是提供了多种模式可以选择,极大的提升了用户体验。
Description
技术领域
本发明涉及自动驾驶技术领域,特别是涉及基于约束在线规划的部分可观察自动驾驶决策方法。
背景技术
目前来说,自动驾驶包含有三个问题:第一个是我在哪?第二个是我要去哪?第三个是怎么去?真正的自动驾驶需要完美的解决这三个问题。第一个问题指的是定位问题,在现实中,驾驶的路况通常都会比较复杂,所以我们需要厘米级的定位。第二个问题是路径规划问题,也就是本专利所要解决的问题。第三个问题是车辆执行结构,也就是线控系统,主要执行的操作包括线控制动、转向以及油门,即根据规划模块所得出的方案来操控车辆。
传统技术存在以下技术问题:
在目前的无人驾驶领域中,常用的决策模型是POMDP(PartiallyObservableMarkovDecisionProcess,部分可观测马尔科夫决策过程)。POMDP将驾驶过程看作是一个决策过程,将驾驶过程中可能出现的情况视为一个状态,即驾驶环境状态单元。在驾驶过程中,我们假设驾驶环境状态单元是无法完全获取的,即状态是部分可观察的。在每个状态下,我们需要对其后可能出现的状态进行奖赏设定,并通过特定的动作选择策略来选择一个动作,再使用值更新或策略更新等方法来寻找一个能够获取最大累积奖赏的驾驶策略。对于POMDP来说,直接求解它是比较困难的,所以通常的做法是使用信念状态将POMDP问题转化为MDP问题来求解。信念状态b是关于状态s的一个概率分布,在每一次决策并执行动作a之后,系统都会获得一个观察o,然后使用贝叶斯更新方法对信念状态进行更新:
其中p(o|s′,a)和p(o|b,a)分别是由模型参数T和O决定的,并且:
这是一个标准化常量。这种方法的缺点是计算量较大,无法适用于规模较大的自动驾驶场景。因为POMDP的运算量会随着状态维度以及历史数据的增加而增加,即会产生维度诅咒(curse ofdimensionality)与历史诅咒(curse of history)。
发明内容
基于此,有必要针对上述技术问题,提供一种基于约束在线规划的部分可观察自动驾驶决策方法,基于部分可观察蒙特卡罗规划的,可以同时考虑主要目标与次要目标约束条件来进行策略规划的方法,解决了驾驶模式单一,用户只能被动接受驾驶方案的问题,提升了用户体验,该方法具有驾驶方案灵活、可靠性高、考虑全面等优点,在自动驾驶领域具有广泛的应用场景。
一种基于约束在线规划的部分可观察自动驾驶决策方法,包括:
接收用户选择的驾驶模式;
根据用户所选的驾驶模式来规划驾驶方案,规划决策过程具体为:
从给定初始状态分布I或者历史h的信念状态B(h)中选择模拟规划的起始状态s,用以构建蒙特卡罗搜索树,进行模拟规划:
根据成本约束贪心动作选择策略,从所构建的蒙特卡罗搜索树中选择满足约束条件的,同时还要使VR(ha)最大的动作a;
将所述动作a输入到线控系统中来驾驶车辆,同时系统的感知模块获得一个新的环境状态观察o,将新的历史hao加入历史h中,所述历史hao是指在所述历史h下采取动作a获得观察o;
重复上述步骤直至到达目的地。
在另外的一个实施例中,所述驾驶模式包括以下至少之一:快速模式、平缓模式、节能模式。
在另外的一个实施例中,在步骤“从给定初始状态分布或者历史的信念状态中选择模拟规划的起始状态,用以构建蒙特卡罗搜索树,进行模拟规划:”中,所述模拟规划包括:
选取模拟起始状态s,若历史为空,则从给定初始状态分布I中进行选择;若历史不为空,则从历史h的信念状态分布中进行选择;
模拟过程的输入是粒子起始状态s,历史h,以及深度depth,当满足γdepth<ε时,模拟结束,否则继续模拟;
从起始状态s开始根据约束贪心动作选择策略选取模拟动作a;
将状态s以及动作a输入到环境状态黑盒模拟器中,得到下一模拟状态s′以及相应的环境状态观察o,将hao作为蒙特卡罗搜索树的新节点;
使用蒙特卡罗方法更新模型中历史h的信念状态B(h)以及其它相关参数,然后返回本轮模拟规划的奖赏R以及成本C。
在另外的一个实施例中,步骤“根据成本约束贪心动作选择策略,从所构建的蒙特卡罗搜索树中选择满足约束条件的,同时还要使VR(ha)最大的动作a;”中,所述成本约束贪心动作选择策略包括:
(1)加入了条件约束的UCB1动作选择方法:
(2)对于次要目标约束条件的凸优化:
输入一个状态s以及探索系数k,系统会根据UCB1来评估动作值Q(s,a),并从中选取Q值最高的动作,同时,还要求解成本的凸优化问题以确保满足成本约束,最后得到的最优策略π即为GREEDYPOLICY的输出。
在另外的一个实施例中,在步骤“使用蒙特卡罗方法更新模型中历史h的信念状态B(h)以及其它相关参数,然后返回本轮模拟规划的奖赏R以及成本C。”中,
在信念状态更新时,首先从初始状态分布中抽取K个粒子,每个粒子都对应着一个抽样状态,而信念状态B(h)就是所有粒子的集合。在执行过一个动作a并且获得一个观察o之后,就使用蒙特卡罗模拟来更新粒子。通过随机的选取一个粒子的方式从当前信念状态B(s,h)中抽取一个状态,这个粒子作为输入传进一个黑盒模拟器中,可以获得一个连续的状态s′,观察o以及对应的奖赏和成本,如果模拟的观察o与真实的观察相匹配,那么就将粒子s′加入信念状态B(h)中,重复上述步骤直到所有的粒子都已被加入信念状态B(h)。
在另外的一个实施例中,在步骤“将状态s以及动作a输入到环境状态黑盒模拟器中,得到下一模拟状态s′以及相应的环境状态观察o,将hao作为蒙特卡罗搜索树的新节点;”中,
环境的状态观察o由感知模块采集过滤并进行预处理,然后输入到决策模型中,决策模型再根据输入的环境状态进行模拟以及决策。
在另外的一个实施例中,在步骤“将状态以及动作输入到环境状态黑盒模拟器中,得到下一模拟状态以及相应的环境状态观察,将作为蒙特卡罗搜索树的新节点;”中,基于历史的搜索树中每个节点都会使用蒙特卡罗(MC)模拟来估计历史的奖赏值以及成本值;模型中包含一个关于驾驶环境的黑盒模拟器,而不需要明确的关于状态的概率分布。
在另外的一个实施例中,在步骤“使用蒙特卡罗方法更新模型中历史h的信念状态B(h)以及其它相关参数,然后返回本轮模拟规划的奖赏R以及成本C。”中,状态的模拟分为两层,第一层是指当处于搜索树中时,使用UCB1方法来进行动作选择,第二层是指超出搜索树范围时,使用一个基于历史的rollout策略来进行动作选择。
一种基于约束在线规划的部分可观察自动驾驶决策系统,包括:
驾驶环境状态单元,用于接收感知模块所获取的实时驾驶环境,并由感知模块进行过滤以及预处理,输出决策模块所需要的状态;
模拟单元,用于根据当前历史进行驾驶轨迹模拟,构建基于历史的蒙特卡罗搜索树;模拟分为两个阶段,在第一阶段中,所有的孩子都不存在子节点,此时使用UCB1算法选择动作,在第二阶段中,使用基于历史的回滚(rollout)算法选择动作;
搜索单元,用于从历史的信念状态中选取模拟单元的起始状态,然后根据模拟单元所得出的结果,从中选择最优的,同时还满足用户选择的约束条件的动作作为实际的驾驶动作,并将选择的结果输出至自动驾驶系统中的线控系统;以及
成本约束单元,用于约束驾驶过程中所产生的各种成本,不同的约束条件即对应着不同的驾驶模式,所述决策模型在给出最优决策的同时还需要满足用户所提出的约束条件;
其中,所述模拟单元的输入是当前历史h、模拟的起始状态s以及当前搜索树的深度depth,以此在模拟中构建基于历史h的搜索树T(h),所述模拟单元会根据模型的动作选择策略选取一个最优动作a,然后以(s,a)作为驾驶环境黑盒模拟器的输入,输出新的状态s′、采取动作a后的观察o、奖赏R、成本C,下一轮模拟的输入为新状态s′、新历史hao、深度depth+1;输出为本轮模拟的奖赏R、成本C;所述搜索单元的输入是当前历史h,输出为在当前情况下能够获得最大累积奖赏并满足次要目标约束条件的最优策略π;所述成本约束单元输入为状态s、动作a,然后由此求解关于约束条件的一个凸优化问题。
一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现任一项所述方法的步骤。
上述基于约束在线规划的部分可观察自动驾驶决策方法,具有下列有益效果:(1)本发明公开的基于部分可观察蒙特卡罗规划的策略规划方法,适用于大规模的有条件约束的部分可观察马尔科夫过程中,能够很好的解决传统贝叶斯更新方法计算困难的问题,大大的减轻了系统对于设备的过分依赖。(2)决策模型能够做到实时规划,通过蒙特卡罗规划能够及时的调整驾驶策略,极具灵活性。(3)模型中所求解的成本约束的凸优化问题能够确保得到的策略为随机策略,可以考虑到大部分可能遇到的问题,不会忽视各种故障的发生,使得系统更加的安全可靠。(4)该决策模型不需要关于驾驶环境的显式模型,而只需要一个黑盒模拟器,增加了驾驶策略的可行性。(5)系统感知的状态具有马尔科夫性质,具有马尔科夫性质的状态的未来状态只与当前状态有关,与之前的状态没有关系,因此无需保存过去的信息,节约了成本。
附图说明
图1为本申请实施例提供的一种基于约束在线规划的部分可观察自动驾驶决策方法的系统架构图。
图2为本申请实施例提供的一种基于约束在线规划的部分可观察自动驾驶决策方法的流程图。
图3为本申请实施例提供的一种基于约束在线规划的部分可观察自动驾驶决策方法中模拟规划过程的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参阅图1到图3,一种基于约束在线规划的部分可观察自动驾驶决策方法,包括:
接收用户选择的驾驶模式;
根据用户所选的驾驶模式来规划驾驶方案,规划决策过程具体为:
从给定初始状态分布I或者历史h的信念状态B(h)中选择模拟规划的起始状态s,用以构建蒙特卡罗搜索树,进行模拟规划:
根据成本约束贪心动作选择策略,从所构建的蒙特卡罗搜索树中选择满足约束条件的,同时还要使VR(ha)最大的动作a;
将所述动作a输入到线控系统中来驾驶车辆,同时系统的感知模块获得一个新的环境状态观察o,将新的历史hao加入历史h中,所述历史hao是指在所述历史h下采取动作a获得观察o;
重复上述步骤直至到达目的地。
在另外的一个实施例中,所述驾驶模式包括以下至少之一:快速模式、平缓模式、节能模式。
在另外的一个实施例中,在步骤“从给定初始状态分布或者历史的信念状态中选择模拟规划的起始状态,用以构建蒙特卡罗搜索树,进行模拟规划:”中,所述模拟规划包括:
选取模拟起始状态s,若历史为空,则从给定初始状态分布I中进行选择;若历史不为空,则从历史h的信念状态分布中进行选择;
模拟过程的输入是粒子起始状态s,历史h,以及深度depth,当满足γdepth<ε时,模拟结束,否则继续模拟;
从起始状态s开始根据约束贪心动作选择策略选取模拟动作a;
将状态s以及动作a输入到环境状态黑盒模拟器中,得到下一模拟状态s′以及相应的环境状态观察o,将hao作为蒙特卡罗搜索树的新节点;
使用蒙特卡罗方法更新模型中历史h的信念状态B(h)以及其它相关参数,然后返回本轮模拟规划的奖赏R以及成本C。
在另外的一个实施例中,步骤“根据成本约束贪心动作选择策略,从所构建的蒙特卡罗搜索树中选择满足约束条件的,同时还要使VR(ha)最大的动作a;”中,所述成本约束贪心动作选择策略包括:
(1)加入了条件约束的UCB1动作选择方法:
(2)对于次要目标约束条件的凸优化:
输入一个状态s以及探索系数k,系统会根据UCB1来评估动作值Q(s,a),并从中选取Q值最高的动作,同时,还要求解成本的凸优化问题以确保满足成本约束,最后得到的最优策略π即为GREEDYPOLICY的输出。
在另外的一个实施例中,在步骤“使用蒙特卡罗方法更新模型中历史h的信念状态B(h)以及其它相关参数,然后返回本轮模拟规划的奖赏R以及成本C。”中,
在信念状态更新时,首先从初始状态分布中抽取K个粒子,每个粒子都对应着一个抽样状态,而信念状态B(h)就是所有粒子的集合。在执行过一个动作a并且获得一个观察o之后,就使用蒙特卡罗模拟来更新粒子。通过随机的选取一个粒子的方式从当前信念状态B(s,h)中抽取一个状态,这个粒子作为输入传进一个黑盒模拟器中,可以获得一个连续的状态s′,观察o以及对应的奖赏和成本,如果模拟的观察o与真实的观察相匹配,那么就将粒子s′加入信念状态B(h)中,重复上述步骤直到所有的粒子都已被加入信念状态B(h)。
在另外的一个实施例中,在步骤“将状态s以及动作a输入到环境状态黑盒模拟器中,得到下一模拟状态s′以及相应的环境状态观察o,将hao作为蒙特卡罗搜索树的新节点;”中,
环境的状态观察o由感知模块采集过滤并进行预处理,然后输入到决策模型中,决策模型再根据输入的环境状态进行模拟以及决策。
在另外的一个实施例中,在步骤“将状态以及动作输入到环境状态黑盒模拟器中,得到下一模拟状态以及相应的环境状态观察,将作为蒙特卡罗搜索树的新节点;”中,基于历史的搜索树中每个节点都会使用蒙特卡罗(MC)模拟来估计历史的奖赏值以及成本值;模型中包含一个关于驾驶环境的黑盒模拟器,而不需要明确的关于状态的概率分布。
在另外的一个实施例中,在步骤“使用蒙特卡罗方法更新模型中历史h的信念状态B(h)以及其它相关参数,然后返回本轮模拟规划的奖赏R以及成本C。”中,状态的模拟分为两层,第一层是指当处于搜索树中时,使用UCB1方法来进行动作选择,第二层是指超出搜索树范围时,使用一个基于历史的rollout策略来进行动作选择。
一种基于约束在线规划的部分可观察自动驾驶决策系统,包括:
驾驶环境状态单元,用于接收感知模块所获取的实时驾驶环境,并由感知模块进行过滤以及预处理,输出决策模块所需要的状态;
模拟单元,用于根据当前历史进行驾驶轨迹模拟,构建基于历史的蒙特卡罗搜索树;模拟分为两个阶段,在第一阶段中,所有的孩子(children)都不存在子节点,此时使用UCB1算法选择动作,在第二阶段中,使用基于历史的回滚(rollout)算法选择动作;
搜索单元,用于从历史的信念状态中选取模拟单元的起始状态,然后根据模拟单元所得出的结果,从中选择最优的,同时还满足用户选择的约束条件的动作作为实际的驾驶动作,并将选择的结果输出至自动驾驶系统中的线控系统;以及
成本约束单元,用于约束驾驶过程中所产生的各种成本,不同的约束条件即对应着不同的驾驶模式,所述决策模型在给出最优决策的同时还需要满足用户所提出的约束条件;
其中,所述模拟单元的输入是当前历史h、模拟的起始状态s以及当前搜索树的深度depth,以此在模拟中构建基于历史h的搜索树T(h),所述模拟单元会根据模型的动作选择策略选取一个最优动作a,然后以(s,a)作为驾驶环境黑盒模拟器的输入,输出新的状态s′、采取动作a后的观察o、奖赏R、成本C,下一轮模拟的输入为新状态s′、新历史hao、深度depth+1;输出为本轮模拟的奖赏R、成本C;所述搜索单元的输入是当前历史h,输出为在当前情况下能够获得最大累积奖赏并满足次要目标约束条件的最优策略π;所述成本约束单元输入为状态s、动作a,然后由此求解关于约束条件的一个凸优化问题。
一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现任一项所述方法的步骤。
上述基于约束在线规划的部分可观察自动驾驶决策方法,具有下列有益效果:(1)本发明公开的基于部分可观察蒙特卡罗规划的策略规划方法,适用于大规模的有条件约束的部分可观察马尔科夫过程中,能够很好的解决传统贝叶斯更新方法计算困难的问题,大大的减轻了系统对于设备的过分依赖。(2)决策模型能够做到实时规划,通过蒙特卡罗规划能够及时的调整驾驶策略,极具灵活性。(3)模型中所求解的成本约束的凸优化问题能够确保得到的策略为随机策略,可以考虑到大部分可能遇到的问题,不会忽视各种故障的发生,使得系统更加的安全可靠。(4)该决策模型不需要关于驾驶环境的显式模型,而只需要一个黑盒模拟器,增加了驾驶策略的可行性。(5)系统感知的状态具有马尔科夫性质,具有马尔科夫性质的状态的未来状态只与当前状态有关,与之前的状态没有关系,因此无需保存过去的信息,节约了成本。
下面介绍一个本发明具体的应用场景:
S1、在所述模型需构建基于历史的蒙特卡罗搜索树,而非基于状态的搜索树。
S2、用户选定驾驶模式之后,历史h的初值为空,此时模型会根据一个初始状态分布来选取起始状态,当执行过一系列决策之后,历史不再为空,此时的模拟需要从历史h的信念状态B(h)中抽取一个起始状态s。选定起始状态之后,从这个起始状态s开始向后模拟出一系列的决策轨迹。每次模拟都使用一个GREEDYPOLICY动作选择策略来选择一个动作a,然后将状态s与动作a输入到一个黑盒模拟器中,得到下一个模拟状态s′以及一个观察o,使用hao来构建搜索树的下一节点并将s加入到关于历史h的信念状态B(h)中,最后用蒙特卡罗方法更新状态和状态动作对的奖赏值VR以及成本值VC。
S3、GREEDYPOLICY动作选择策略中包含了UCB1动作选择以及对于次要目标约束条件的凸优化,输入一个状态s以及探索系数k,系统会根据UCB1来评估动作值Q(s,a),并从中选取Q值最高的动作,同时,还要求解成本的凸优化问题以确保满足成本约束,最后得到的最优策略π即为GREEDYPOLICY的输出。
S4、状态的模拟分为两层,第一层是指当处于搜索树中时,使用UCB1方法来进行动作选择,第二层是指超出搜索树范围时,使用一个基于历史的rollout策略来进行动作选择。
S5、在信念状态更新时,首先从初始状态分布中抽取K个粒子,每个粒子都对应着一个抽样状态,而信念状态B(h)就是所有粒子的集合。在执行过一个动作a并且获得一个观察o之后,就使用蒙特卡罗模拟来更新粒子。通过随机的选取一个粒子的方式从当前信念状态B(s,h)中抽取一个状态,这个粒子作为输入传进一个黑盒模拟器中,可以获得一个连续的状态s′,观察o以及对应的奖赏和成本,如果模拟的观察o与真实的观察相匹配,那么就将粒子s′加入信念状态B(h)中,重复上述步骤直到所有的粒子都已被加入信念状态B(h)。
S6、模拟过程的输入是粒子起始状态s,历史h,以及深度depth,当满足γdepth<ε时,模拟结束最终模拟过程的输出是一个奖赏成本对[R,C]。
S7、该决策模型最终从所有模拟中挑选出满足约束条件的,同时还要使VR(hb)最大的动作b作为实际执行的动作。
本发明中利用了UCB1动作选择以及无权重粒子过滤器,在驾驶过程中,系统根据历史h实时的进行模拟规划来调整驾驶策略,先根据当前历史的信念状态B(h)来初始化模拟规划的起始状态s,其后从s开始进行模拟,初始模拟的深度为0,随着模拟的进行,深度会逐步的增加,当满足γdepth<ε时,模拟规划终止,否则继续进行。如果当前历史h不在搜索树中,那么在搜索树中新增一个节点,其中包括该历史的访问次数N(h),奖赏值VR(h),成本值Vc(h)以及其信念分布B(h),初始时B(h)为空,将新节点加入之后,采用rollout策略来选择动作。如果当前历史在搜索树中,那么就使用UCB1并求解条件约束的凸优化问题来进行动作选择,将得到的动作a以及当前状态s放入黑盒模拟器,可以得到连续的下一状态s′以及观察o,然后将s′用于下一轮模拟,下一轮模拟的深度加1。最后将状态s归并到信念状态B(h)中并且使用蒙特卡罗方法更新信念状态。在驾驶过程中,用户只需要选择驾驶的模式,决策模型可以自动的选择相应的驾驶策略,不需要过多的操作,具有很好的用户体验;同时决策模型会实时的根据驾驶环境调整驾驶策略,所以具有很强的灵活性与可靠性;这个模型可以通过不断的驾驶训练来调整优化,对于新遇到的驾驶环境,只需要将其加入历史搜索树并更新历史,即可完成模型的升级,所以具有可持续使用性。
为达到上述发明目的,本发明基于约束在线规划的部分可观察自动驾驶决策模型及系统,包括:搜索单元、模拟单元、成本约束单元、驾驶环境状态。
驾驶环境状态,用于接收感知模块所获取的实时驾驶环境,并由感知模块进行过滤以及预处理,输出决策模块所需要的状态。
模拟单元,用于根据当前历史进行驾驶轨迹模拟,构建基于历史的蒙特卡罗搜索树。模拟分为两个阶段,在第一阶段中,所有的孩子都不存在子节点,此时使用UCB1算法选择动作,在第二阶段中,使用基于历史的回滚(rollout)算法选择动作。
搜索单元,用于从历史的信念状态中选取模拟单元的起始状态,然后根据模拟单元所得出的结果,从中选择最优的,同时还满足用户选择的约束条件的动作作为实际的驾驶动作,并将选择的结果输出至自动驾驶系统中的线控系统。
成本约束单元,用于约束驾驶过程中所产生的各种成本,不同的约束条件即对应着不同的驾驶模式。如,本专利所提出的油耗、时间、车辆平稳度,就对应着节能模式、快速模式、平缓模式。所述决策模型在给出最优决策的同时还需要满足用户所提出的约束条件。
所述模拟单元的输入是当前历史h、模拟的起始状态s以及当前搜索树的深度depth,以此在模拟中构建基于历史h的搜索树T(h)。所述模拟单元会根据模型的动作选择策略选取一个最优动作a,然后以(s,a)作为驾驶环境黑盒模拟器的输入,输出新的状态s′、采取动作a后的观察o、奖赏R、成本C。下一轮模拟的输入为新状态s′、新历史hao、深度depth+1。输出为本轮模拟的奖赏R、成本C。
所述搜索单元的输入是当前历史h,输出为在当前情况下能够获得最大累积奖赏并满足次要目标约束条件的最优策略π。
所述成本约束单元输入为状态s、动作a,然后由此求解关于约束条件的一个凸优化问题。
其中,模拟的起始状态是从历史h的信念状态中抽样得到,若历史h为空,则从一个初始状态分布I中进行抽样。
其中,在当前驾驶环境中执行驾驶动作a后得到一个观察o,下一时刻的历史即为hao,重复上述模拟过程。
本发明中利用了UCB1动作选择以及无权重粒子过滤器,在驾驶过程中,系统根据历史h实时的进行模拟规划来调整驾驶策略,先根据当前历史的信念状态B(h)来初始化模拟规划的起始状态s,其后从s开始进行模拟,初始模拟的深度为0,随着模拟的进行,深度会逐步的增加,当满足γdepth<ε时,模拟规划终止,否则继续进行。如果当前历史h不在搜索树中,那么在搜索树中新增一个节点,其中包括该历史的访问次数N(h),奖赏值VR(h),成本值VC(h)以及其信念分布B(h),初始时B(h)为空,将新节点加入之后,采用rollout策略来选择动作。如果当前历史在搜索树中,那么就使用UCB1并求解条件约束的凸优化问题来进行动作选择,将得到的动作a以及当前状态s放入黑盒模拟器,可以得到连续的下一状态s′以及观察o,然后将s′用于下一轮模拟,下一轮模拟的深度加1。最后将状态s归并到信念状态B(h)中并且使用蒙特卡罗方法更新信念状态。在驾驶过程中,用户只需要选择驾驶的模式,决策模型可以自动的选择相应的驾驶策略,不需要过多的操作,具有很好的用户体验;同时决策模型会实时的根据驾驶环境调整驾驶策略,所以具有很强的灵活性与可靠性;这个模型可以通过不断的驾驶训练来调整优化,对于新遇到的驾驶环境,只需要将其加入历史搜索树并更新历史,即可完成模型的升级,所以具有可持续使用性。
本发明基于约束在线规划的部分可观察自动驾驶决策模型及系统的优点在于:(1)本发明公开的基于部分可观察蒙特卡罗规划的策略规划方法,适用于大规模的有条件约束的部分可观察马尔科夫过程中,能够很好的解决传统贝叶斯更新方法计算困难的问题,大大的减轻了系统对于设备的过分依赖。(2)决策模型能够做到实时规划,通过蒙特卡罗规划能够及时的调整驾驶策略,极具灵活性。(3)模型中所求解的成本约束的凸优化问题能够确保得到的策略为随机策略,可以考虑到大部分可能遇到的问题,不会忽视各种故障的发生,使得系统更加的安全可靠。(4)该决策模型不需要关于驾驶环境的显式模型,而只需要一个黑盒模拟器,增加了驾驶策略的可行性。(5)系统感知的状态具有马尔科夫性质,具有马尔科夫性质的状态的未来状态只与当前状态有关,与之前的状态没有关系,因此无需保存过去的信息,节约了成本。
本专利的创新点之一在于,传统的POMDP模型由于维度诅咒与历史诅咒导致计算量过大而无法很好的适用于自动驾驶领域,而本专利应用了POMCP方法,打破了维度诅咒,解决了计算量过大的问题。本专利的创新点之二在于,在POMCP的基础上添加了成本约束的概念,使得驾驶系统在决策时可以选择多种驾驶模式,解决了普通驾驶系统驾驶模式单一的问题,更加的灵活多变,能在很大的程度上提升用户体验。
本发明公开了一种基于约束在线规划的部分可观察自动驾驶决策模型及系统。该决策模型主要用于自动驾驶中,车辆在启动前,用户可以从快速、平缓、节能三种模式中进行选择。根据选定的模式,模型会选择相应的最优驾驶策略,如果选择了快速模式,系统会选择能够使汽车尽可能快速的到达目的地,此时主要的受限因素就是时间;如果选择了平缓模式,系统会选择使用户感觉最舒适平缓的驾驶策略,此时主要的受限因素就是车辆的颠簸程度;如果选择了节能模式,模型会选择最节省油耗的方式,尽量减少频繁的启动、熄火、刹车等操作,此时主要的受限因素就是耗油量。该决策模型不仅能够针对当前驾驶环境产生驾驶方案,还可以根据实时的路况车况来实时的调整方案,以增强其灵活性。该模型构建了一个基于历史的蒙特卡罗搜索树,使得模拟解决方案是在真实情况的基础上进行的,增强了可靠性。同时,该模型满足一定的最优选择条件,以确保得到的策略是随机策略,弥补了确定性策略的不足。该决策模型完全满足目前一般用户的驾驶需求,尤其是提供了多种模式可以选择,极大的提升了用户体验。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种基于约束在线规划的部分可观察自动驾驶决策方法,其特征在于,包括:
接收用户选择的驾驶模式;
根据用户所选的驾驶模式来规划驾驶方案,规划决策过程具体为:
从给定初始状态分布I或者历史h的信念状态B(h)中选择模拟规划的起始状态s,用以构建蒙特卡罗搜索树,进行模拟规划:
根据成本约束贪心动作选择策略,从所构建的蒙特卡罗搜索树中选择满足约束条件的,同时还要使VR(ha)最大的动作a;
将所述动作a输入到线控系统中来驾驶车辆,同时系统的感知模块获得一个新的环境状态观察o,将新的历史hao加入历史h中,所述历史hao是指在历史h下采取动作a获得观察o;
重复上述步骤直至到达目的地;
在步骤“从给定初始状态分布或者历史的信念状态中选择模拟规划的起始状态,用以构建蒙特卡罗搜索树,进行模拟规划”中,所述模拟规划包括:
选取模拟起始状态s,若历史为空,则从给定初始状态分布I中进行选择;若历史不为空,则从历史h的信念状态分布中进行选择;
模拟过程的输入是粒子起始状态s,历史h,以及深度depth,当满足γdepth<ε时,模拟结束,否则继续模拟;
从起始状态s开始根据约束贪心动作选择策略选取模拟动作a;
将状态s以及动作a输入到环境状态黑盒模拟器中,得到下一模拟状态s′以及相应的环境状态观察o,将hao作为蒙特卡罗搜索树的新节点;
使用蒙特卡罗方法更新模型中历史h的信念状态B(h)以及其它相关参数,然后返回本轮模拟规划的奖赏R以及成本C;
步骤“根据成本约束贪心动作选择策略,从所构建的蒙特卡罗搜索树中选择满足约束条件的,同时还要使VR(ha)最大的动作a”中,所述成本约束贪心动作选择策略包括:
(1)加入了条件约束的UCB1动作选择方法:
(2)对于次要目标约束条件的凸优化:
输入一个状态s以及探索系数k,系统会根据UCB1来评估动作值Q(s,a),并从中选取Q值最高的动作,同时,还要求解成本的凸优化问题以确保满足成本约束,最后得到的最优策略π即为GREEDYPOLICY的输出。
2.根据权利要求1所述的基于约束在线规划的部分可观察自动驾驶决策方法,其特征在于,所述驾驶模式包括以下至少之一:快速模式、平缓模式、节能模式。
3.根据权利要求1所述的基于约束在线规划的部分可观察自动驾驶决策方法,其特征在于,在步骤“使用蒙特卡罗方法更新模型中历史h的信念状态B(h)以及其它相关参数,然后返回本轮模拟规划的奖赏R以及成本C”中,
4.根据权利要求1所述的基于约束在线规划的部分可观察自动驾驶决策方法,其特征在于,在步骤“将状态s以及动作a输入到环境状态黑盒模拟器中,得到下一模拟状态s′以及相应的环境状态观察o,将hao作为蒙特卡罗搜索树的新节点”中,
环境的状态观察o由感知模块采集过滤并进行预处理,然后输入到决策模型中,决策模型再根据输入的环境状态进行模拟以及决策。
5.根据权利要求1所述的基于约束在线规划的部分可观察自动驾驶决策方法,其特征在于,在步骤“将状态以及动作输入到环境状态黑盒模拟器中,得到下一模拟状态以及相应的环境状态观察,将作为蒙特卡罗搜索树的新节点”中,基于历史的搜索树中每个节点都会使用蒙特卡罗(MC)模拟来估计历史的奖赏值以及成本值;模型中包含一个关于驾驶环境的黑盒模拟器,而不需要明确的关于状态的概率分布。
6.根据权利要求1所述的基于约束在线规划的部分可观察自动驾驶决策方法,其特征在于,在步骤“使用蒙特卡罗方法更新模型中历史h的信念状态B(h)以及其它相关参数,然后返回本轮模拟规划的奖赏R以及成本C”中,状态的模拟分为两层,第一层是指当处于搜索树中时,使用UCB1方法来进行动作选择,第二层是指超出搜索树范围时,使用一个基于历史的rollout策略来进行动作选择。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1到6任一项所述方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810595164.1A CN108803609B (zh) | 2018-06-11 | 2018-06-11 | 基于约束在线规划的部分可观察自动驾驶决策方法 |
PCT/CN2018/098899 WO2019237474A1 (zh) | 2018-06-11 | 2018-08-06 | 基于约束在线规划的部分可观察自动驾驶决策方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810595164.1A CN108803609B (zh) | 2018-06-11 | 2018-06-11 | 基于约束在线规划的部分可观察自动驾驶决策方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108803609A CN108803609A (zh) | 2018-11-13 |
CN108803609B true CN108803609B (zh) | 2020-05-01 |
Family
ID=64089043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810595164.1A Active CN108803609B (zh) | 2018-06-11 | 2018-06-11 | 基于约束在线规划的部分可观察自动驾驶决策方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN108803609B (zh) |
WO (1) | WO2019237474A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109778939B (zh) * | 2019-03-04 | 2021-07-09 | 江苏徐工工程机械研究院有限公司 | 一种可自主规划轨迹的挖掘机臂智能控制系统及方法 |
US20200363800A1 (en) * | 2019-05-13 | 2020-11-19 | Great Wall Motor Company Limited | Decision Making Methods and Systems for Automated Vehicle |
CN111026110B (zh) * | 2019-11-20 | 2021-04-30 | 北京理工大学 | 面向含软、硬约束线性时序逻辑的不确定动作规划方法 |
CN110837258B (zh) * | 2019-11-29 | 2024-03-08 | 商汤集团有限公司 | 自动驾驶控制方法及装置、系统、电子设备和存储介质 |
CN111240318A (zh) * | 2019-12-24 | 2020-06-05 | 华中农业大学 | 一种机器人的人员发现算法 |
CN111026127B (zh) * | 2019-12-27 | 2021-09-28 | 南京大学 | 基于部分可观测迁移强化学习的自动驾驶决策方法及系统 |
CN113189986B (zh) * | 2021-04-16 | 2023-03-14 | 中国人民解放军国防科技大学 | 一种自主机器人的二阶段自适应行为规划方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103528587A (zh) * | 2013-10-15 | 2014-01-22 | 西北工业大学 | 自主组合导航系统 |
CN107038477A (zh) * | 2016-08-10 | 2017-08-11 | 哈尔滨工业大学深圳研究生院 | 一种非完备信息下的神经网络与q学习结合的估值方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106169188B (zh) * | 2016-07-11 | 2019-01-15 | 西南交通大学 | 一种基于蒙特卡洛树搜索的对象跟踪方法 |
CN115343947A (zh) * | 2016-09-23 | 2022-11-15 | 苹果公司 | 自主车辆的运动控制决策 |
CN107063280B (zh) * | 2017-03-24 | 2019-12-31 | 重庆邮电大学 | 一种基于控制采样的智能车辆路径规划系统及方法 |
CN107292344B (zh) * | 2017-06-26 | 2020-09-18 | 苏州大学 | 一种基于环境交互的机器人实时控制方法 |
CN107544516A (zh) * | 2017-10-11 | 2018-01-05 | 苏州大学 | 基于相对熵深度逆强化学习的自动驾驶系统及方法 |
-
2018
- 2018-06-11 CN CN201810595164.1A patent/CN108803609B/zh active Active
- 2018-08-06 WO PCT/CN2018/098899 patent/WO2019237474A1/zh active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103528587A (zh) * | 2013-10-15 | 2014-01-22 | 西北工业大学 | 自主组合导航系统 |
CN107038477A (zh) * | 2016-08-10 | 2017-08-11 | 哈尔滨工业大学深圳研究生院 | 一种非完备信息下的神经网络与q学习结合的估值方法 |
Non-Patent Citations (2)
Title |
---|
双人博弈问题中的蒙特卡洛树搜索算法的改进;季辉;《计算机科学》;20180131;全文 * |
基于蒙特卡罗树搜索的_2048_游戏优化算法;刘子正,卢超,张瑞友;《控制工程》;20160430;全文 * |
Also Published As
Publication number | Publication date |
---|---|
WO2019237474A1 (zh) | 2019-12-19 |
CN108803609A (zh) | 2018-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108803609B (zh) | 基于约束在线规划的部分可观察自动驾驶决策方法 | |
Ye et al. | Automated vehicle’s behavior decision making using deep reinforcement learning and high-fidelity simulation environment | |
CN112162564B (zh) | 基于模仿学习和强化学习算法的无人机飞行控制方法 | |
Bhattacharyya et al. | Simulating emergent properties of human driving behavior using multi-agent reward augmented imitation learning | |
Wang et al. | Decision making for autonomous driving via augmented adversarial inverse reinforcement learning | |
CN108021754A (zh) | 一种无人机自主空战决策框架及方法 | |
US7062333B2 (en) | Optimal solution search device, device for controlling controlled object by optimizing algorithm, and optimal solution search program | |
CN110481536B (zh) | 一种应用于混合动力汽车的控制方法及设备 | |
CN114261400B (zh) | 一种自动驾驶决策方法、装置、设备和存储介质 | |
CN109740741B (zh) | 一种结合知识转移的强化学习方法及其应用于无人车自主技能的学习方法 | |
CN114194211A (zh) | 一种自动驾驶方法、装置及电子设备和存储介质 | |
CN109726676B (zh) | 自动驾驶系统的规划方法 | |
CN111159489B (zh) | 一种搜索方法 | |
CN114861368B (zh) | 一种基于近端策略的铁路纵断面设计学习模型的构建方法 | |
Huang et al. | An efficient self-evolution method of autonomous driving for any given algorithm | |
Wu et al. | Recent advances in reinforcement learning-based autonomous driving behavior planning: A survey | |
CN111507499B (zh) | 预测用模型的构建方法、测试方法、装置及系统 | |
CN116662815A (zh) | 时间预测模型的训练方法以及相关设备 | |
CN111781920A (zh) | 自动驾驶方法、装置和存储介质 | |
CN116620327A (zh) | 基于PPO和Lattice实现自动驾驶的高速场景的变道决策方法 | |
CN115453880A (zh) | 基于对抗神经网络的用于状态预测的生成模型的训练方法 | |
Dell’Orco et al. | Simulation of users decision in transport mode choice using neuro-fuzzy approach | |
Youssef et al. | Optimal Combination of Imitation and Reinforcement Learning for Self-driving Cars. | |
Karagulle et al. | Incorporating Logic in Online Preference Learning for Safe Personalization of Autonomous Vehicles | |
Wu et al. | CenLight: Centralized traffic grid signal optimization via action and state decomposition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20201224 Address after: 210034 building C4, Hongfeng Science Park, Nanjing Economic and Technological Development Zone, Jiangsu Province Patentee after: NANQI XIANCE (NANJING) TECHNOLOGY Co.,Ltd. Address before: 215131 8 Ji Xue Road, Xiangcheng District, Suzhou, Jiangsu. Patentee before: Suzhou University |