CN112977412A - 一种车辆控制方法、装置、设备及计算机存储介质 - Google Patents
一种车辆控制方法、装置、设备及计算机存储介质 Download PDFInfo
- Publication number
- CN112977412A CN112977412A CN202110163450.2A CN202110163450A CN112977412A CN 112977412 A CN112977412 A CN 112977412A CN 202110163450 A CN202110163450 A CN 202110163450A CN 112977412 A CN112977412 A CN 112977412A
- Authority
- CN
- China
- Prior art keywords
- preset
- sequence
- predicted
- vehicle
- acceleration sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000001133 acceleration Effects 0.000 claims abstract description 190
- 239000011159 matrix material Substances 0.000 claims abstract description 103
- 230000007704 transition Effects 0.000 claims abstract description 66
- 238000005265 energy consumption Methods 0.000 claims abstract description 26
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 24
- 238000012546 transfer Methods 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims abstract description 19
- 230000006698 induction Effects 0.000 claims abstract description 18
- 230000002787 reinforcement Effects 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 3
- 239000000446 fuel Substances 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 9
- 230000009471 action Effects 0.000 description 7
- 238000011217 control strategy Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/02—Control of vehicle driving stability
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/107—Longitudinal acceleration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
- B60W2520/105—Longitudinal acceleration
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
本发明公开了一种车辆控制方法、装置、设备及计算机存储介质。车辆控制方法包括：获取车辆在预设时间段的预测加速度序列；根据预设驾驶员模型，确定预测加速度序列的第一转移概率矩阵；根据预设诱导矩阵范数，计算第一转移概率矩阵与历史加速度序列数据集的差异值；当差异值小于预设阈值时，根据第一转移概率矩阵、预设能源约束函数和预设强化学习算法，确定能源消耗策略。根据本发明实施例，能够基于预测得到加速度序列，生成可靠的决策和路径规划和车辆的燃料消耗约束，从而控制车辆平稳运行，降低车辆的能源消耗。
Description
技术领域
本发明属于自动驾驶领域，尤其涉及一种车辆控制方法、装置、设备及计算机存储介质。
背景技术
道路上车辆越来越多，道路运输系统变得越来越繁忙。为了使交通和移动更加智能化和高效，自动驾驶汽车被认为是有前途的解决方案。随着外部传感、运动规划和车辆控制等方面取得显著的成果，自动驾驶汽车的自主创新能够很好地帮助车辆在预先设定的场景下独立运行。
通常，自动驾驶车辆中的系统架构主要由感知和定位模块、运动规划模块和轨迹控制器模块三个处理模块组成。其中，运动规划模块生成的决策和路径规划不仅是控制车辆安全和舒适的运行的关建，也是降低车辆在运行过程中能源消耗的关建。
目前，生成的决策和路径规划需要结合未来一段时间的加速度序列，当预测得到的加速序列不存在于历史加速度序列数据库中时，无法生成有效可靠的决策和路径规划，导致车辆运行不平稳。因此，如何获取准确的未来一段时间的加速度序列，并基于加速度序列生成可靠的决策和路径规划是亟需解决的问题。
发明内容
本发明实施例提供一种车辆控制方法、装置、设备及计算机存储介质，能够基于预测得到加速度序列，生成可靠的决策和路径规划和车辆的燃料消耗约束，从而控制车辆平稳运行，降低车辆的能源消耗。
第一方面，本发明实施例提供一种车辆控制方法，方法包括：
获取车辆在预设时间段的预测加速度序列；
根据预设驾驶员模型，确定预测加速度序列的第一转移概率矩阵；
根据预设诱导矩阵范数，计算第一转移概率矩阵与历史加速度序列数据集的差异值；
当差异值小于预设阈值时，根据第一转移概率矩阵、预设能源约束函数和预设强化学习算法，确定能源消耗策略。
在第一方面的一些可实现方式中，获取车辆在预设时间段的预测加速度序列，包括：
获取车辆在目标时刻的目标加速度，其中，目标时刻为预设时间段之前的时刻；
根据预设加速度预测算法和目标加速度，计算预设时间段内多个加速度，得到预测加速度序列。
在第一方面的一些可实现方式中，根据预设驾驶员模型，确定预测加速度序列的第一转移概率矩阵，包括：
获取车辆在目标时刻的速度；
根据预测加速度序列和速度，确定预测加速度序列对应的第一预测速度序列；以及，
根据预设驾驶员模型，生成预测加速度序列的预测车辆控制数据序列；
基于预测车辆控制数据序列、预测加速度序列和第一预测速度序列，计算预测加速度序列的第一转移概率矩阵。
在第一方面的一些可实现方式中，历史加速度序列数据集包括多个历史加速度序列；根据预设诱导矩阵范数，计算第一转移概率矩阵与历史加速度序列数据集的差异值，包括：
获取每个历史加速度序列的第二转移概率矩阵；
基于预设诱导矩阵范数计算第一转移概率矩阵与每个第二转移概率矩阵，得到多个差异值；
将多个差异值中最小的差异值确定为第一转移概率矩阵与历史加速度序列数据集的差异值。
在第一方面的一些可实现方式中，方法还包括：
当差异值大于或等与预设阈值时，将预测加速度序列加入历史加速度序列数据集中，以扩展历史加速度序列数据集。
在第一方面的一些可实现方式中，在根据预设驾驶员模型，确定预测加速度序列的第一转移概率矩阵之前，方法还包括：
获取历史加速度序列集，以及对应历史加速度序列集的历史车辆控制数据序列集；
基于历史加速度序列集和历史车辆控制数据序列集，训练预设隐马尔可夫分类器，以得到预设驾驶员模型。
第二方面，本发明实施例提供一种车辆控制装置，装置包括：
获取模块，用于获取车辆在预设时间段的预测加速度序列；
预测模块，用于根据预设驾驶员模型，确定预测加速度序列的第一转移概率矩阵；
处理模块，用于根据预设诱导矩阵范数，计算第一转移概率矩阵与历史加速度序列数据集的差异值；
处理模块，还用于当差异值小于预设阈值时，根据第一转移概率矩阵、预设能源约束函数和预设强化学习算法，确定能源消耗策略。
在第二方面的一些可实现方式中，获取车辆在目标时刻的目标加速度，其中，目标时刻为预设时间段之前的时刻；
根据预设加速度预测算法和目标加速度，计算预设时间段内多个加速度，得到预测加速度序列。
第三方面，本发明提供一种车辆控制设备，该设备包括：处理器以及存储有计算机程序指令的存储器；处理器执行计算机程序指令时实现第一方面或者第一方面任一可实现方式中的车辆控制方法。
第四方面，本发明提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现第一方面或者第一方面任一可实现方式中的车辆控制方法。
本发明实施例提供了一种车辆控制方法，获取预设时间段的预测加速度序列，之后根据预设驾驶员模型确定预测加速度序列的第一转移概率矩阵，以提高生成预测加速度序列的第一转移概率矩阵的准确性，并确保车辆平稳运行；接下来，基于预设诱导矩阵范数确定第一转移概率矩阵与历史加速度序列数据集的差异值，并判断差异值与预设阈值的关系，从而确保使用准确的第一转移概率矩阵确定能源消耗策略；最后，结合预设强化学习算法和预设能源约束函数，从而有效降低车辆的能源消耗，提高燃料经济性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种车辆控制方法的流程示意图；
图2是本发明实施例提供的一种车辆控制装置的结构示意图；
图3是本发明实施例提供的一种车辆控制设备的结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本发明，而不是限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
道路上车辆越来越多，道路运输系统变得越来越繁忙。为了使交通和移动更加智能化和高效，自动驾驶汽车被认为是有前途的解决方案。随着外部传感、运动规划和车辆控制等方面取得显著的成果，自动驾驶汽车的自主创新能够很好地帮助车辆在预先设定的场景下独立运行。
通常，自动驾驶车辆中的系统架构主要由感知和定位模块、运动规划模块和轨迹控制器模块三个处理模块组成。其中，运动规划模块生成的决策和路径规划不仅是控制车辆安全和舒适的运行的关建，也是降低车辆在运行过程中能源消耗的关建。具体例如，传感器和数字地图提供的数据在感知和定位模块中进行，以呈现驾驶情况的代表性特征；运动规划模块旨在根据给定的传感器和地图信息生成适当的决策策略并得出最佳轨迹；轨迹控制器模块的目的是计算处理加速和转向的具体控制动作，以维持现有的轨迹。
目前，生成的决策和路径规划需要结合未来一段时间的加速度序列，当预测得到的加速序列不存在于历史加速度序列数据库中时，无法生成有效可靠的决策和路径规划，导致车辆运行不平稳。因此，如何获取准确的未来一段时间的加速度序列，并基于加速度序列生成可靠的决策和路径规划是亟需解决的问题。
下面结合附图对本发明实施例所提供的车辆控制方法进行介绍。
为了解决现有技术问题，本发明实施例提供了一种车辆控制方法。在获取预设时间段的预测加速度序列，之后根据预设驾驶员模型确定预测加速度序列的第一转移概率矩阵，以提高生成预测加速度序列的第一转移概率矩阵的准确性，并确保车辆平稳运行；接下来，基于预设诱导矩阵范数确定第一转移概率矩阵与历史加速度序列数据集的差异值，并判断差异值与预设阈值的关系，从而确保使用准确的第一转移概率矩阵确定能源消耗策略；最后，结合预设强化学习算法和预设能源约束函数，从而有效降低车辆的能源消耗，提高燃料经济性。
图1示出了本发明一个实施例提供的车辆控制方法的流程示意图。如图1所示，该方法可以包括S110-S130。
S110、获取车辆在预设时间段的预测加速度序列。
在本发明实施例中，通过获取车辆在预设时间段的预测加速度序列，可以指导车辆运行。示例性的，加速度序列例如At＝[at，at+1，at+2，…，at+N-1]，其中，T为预测的时间间隔，N＝T/ΔT表示总时间步长，ΔT为加速的采样时间间隔，即目标时刻与下一时刻的时间间隔。
在一些实施例中，获取车辆在预设时间段的预测加速度序列，可以包括以下步骤：首先，获取车辆在目标时刻的目标加速度，其中，目标时刻为预设时间段之前的时刻；然后，根据预设加速度预测算法和目标加速度，计算预设时间段内多个加速度，得到预测加速度序列。
在一些实施例中，目标时刻可以是车辆在运行时的当前时刻，车辆控制系统可以根据车辆的当前运行状态确定车辆在目标时刻的目标加速度。示例性的，车辆的运行状况可以表示为
其中，t表示当前的目标时刻，
为车辆在目标时刻与前方车辆的相对距离，
为车辆在目标时刻与前方车辆的相对速，vt为车辆在目标时刻的速度。
在一些实施例中，车辆在目标时刻与前方车辆的相对距离可以根据前方车辆的纵向位置
和车辆在目标时刻的纵向位置dt确定，示例性的，
车辆在目标时刻与前方车辆的相对速，可以根据前方车辆的速度
和车辆在目标时刻的速度确定，示例性的，
可以理解的是，车辆在目标时刻的状态可以表示为δt＝[dt，vt]，前方车辆在目标时刻的状态可以表示为
在一些实施例中，可选地，可以设置目标时刻为t＝1，目标时刻的目标加速度可以根据公式(1)确定。
at＝E[at|ω1,…,ωt] (1)
加速度at还可以如公式(2)所示。
其中，ωt为车辆的运行状况，
表示混合系数，并且被计算为处于模式mt＝k的概率。
在一些实施例中，混合系数可以根据公式(3)的计算的到。
在得到计算得到目标时刻的目标加速度之后，接下来可以根据预设加速度预测算法，计算得到预设时间段内多个加速度，得到预测加速度序列。在本发明实施例中，车辆的运行状况可以表示为
因此，根据目标加速度和车辆的运行状况，可以根据预设加速度预测算法计算得到预测加速度序列，其中，预设加速度预测算法可以如公式(4)所示
ωt+1＝Cωt+Dat (4)
其中，C和D均为预设系数矩阵。可以依据公式(5)得到。
在本发明实施例中，通过迭代获得下一时刻的车辆运行状况ωt+1，当设置目标时刻t＝1时，可以得到预测加速度序列At＝[a1，a2，…，aN]。
在得到车辆在预设时间段的预测加速度序列后，接下来可以执行S120。
S120、根据预设驾驶员模型，确定预测加速度序列的第一转移概率矩阵。
在一些实施例中，预设驾驶员模型是预先基于历史加速度序列集和历史车辆控制数据序列集训练好的，也就是说，在执行S120之前，可以先获取历史加速度序列集，以及对应历史加速度序列集的历史车辆控制数据序列集；然后，基于历史加速度序列集和历史车辆控制数据序列集，训练预设隐马尔可夫分类器(Hidden Markov Classifier，HMC)，以得到预设驾驶员模型。
示例性的，为了预测接近人类驾驶员实际操作的运行状况，对于真实的驾驶数据，基于人类驾驶员的控制策略的车辆的运行状况可以建模为隐马尔科夫链(HMC)。
其中，隐马尔科夫链(HMC)的参数包括历史车辆控制数据序列集M、历史加速度序列集、输出矩阵、隐藏状态间的转移概率矩阵和初始分布P(1)。
在一些实施例中，历史车辆控制数据序列集M，历史车辆控制数据序列集M可以包括人类驾驶员的控制策略。人类驾驶员的控制策略是对应加速的多个隐藏模式，例如从第i模式到第j模式的转移，即隐藏状态间的转移概率可以用πi,j表示，也就是说，由隐藏状态间的转移概率组成隐藏状态间的转移概率矩阵。输出矩阵是指隐藏状态到输出状态的概率。初始分布可以预先设置，在此不作具体限定。
在建模建立后，可以基于期望最大化算法和贝叶斯信息准则使得隐马尔科夫链可以从历史加速度序列集和历史车辆控制数据序列集学习到参数，例如输出矩阵、隐藏状态间的转移概率矩阵，得到预设驾驶员模型，从而使预设驾驶员模型可以准确的基于隐马尔科夫链预能够根据预测加速度序列生成预测车辆控制数据序列。
根据本发明实施例所提供的预设驾驶员模型，接下来获取预测加速度序列的第一转移概率矩阵可以包括以下步骤：首先，获取车辆在目标时刻的速度；接下来，根据预测加速度序列和速度，确定预测加速度序列对应的第一预测速度序列；以及，根据预设驾驶员模型，生成预测加速度序列的预测车辆控制数据序列；最后，基于预测车辆控制数据序列、预测加速度序列和第一预测速度序列，计算预测加速度序列的第一转移概率矩阵。
示例性的，预测加速度序列可以视为有限马尔可夫链(Markov Chain,MC)，可以依据公式(6)计算的到预测加速度序列的第一转移概率矩阵(Transition ProbabilityMatrix，TPM)。
其中，其中Nik,j是车辆在目标时刻的速度vk发生从ai到aj的转换的次数，Nik是车辆在目标时刻的速度vk的ai开始的总转换计数，k是离散时间步长，N是离散加速指数，
在本发明实施例中，预测加速度序列的第一转移概率矩阵P1填充有元素pik,j。
在得到第一转移概率矩阵P1之后，接下来，可以执行S130。
S130、根据预设诱导矩阵范数，计算第一转移概率矩阵与历史加速度序列数据集的差异值。
为了确保使用准确的第一转移概率矩阵确定能源消耗策略，在本发明实施例中，可以通过判断第一转移概率矩阵与历史加速度序列数据集的差异值，确定第一转移概率矩阵是否准确。
在一些实施例中，历史加速度序列数据集可以包括多个历史加速度序列。作为一个具体的实施例，可以通过诱导矩阵范数(IMN)来量化历史加速度序列数据集和第一转移概率矩阵差异。因此，获取第一转移概率矩阵与历史加速度序列数据集的差异值具体可以包括以下步骤：获取每个历史加速度序列的第二转移概率矩阵；基于预设诱导矩阵范数计算第一转移概率矩阵与每个第二转移概率矩阵，得到多个差异值；将多个差异值中最小的差异值确定为第一转移概率矩阵与历史加速度序列数据集的差异值。
作为一个具体的示例，诱导矩阵范数可以如公式(7)所示。
其中，P1为第一转移概率矩阵，P2为第二转移概率矩阵，PT表示矩阵P的转置，λi(P)表示i＝1，...，N的P的特征值。
在本发明实施例中，IMN越接近零，第一转移概率矩阵P1与第二转移概率矩阵P2越相似。
在得到差异值后，接下可以来执行S140。
S140、当差异值小于预设阈值时，根据第一转移概率矩阵、预设能源约束函数和预设强化学习算法，确定能源消耗策略。
在一些实施例中，为了搜索最优能源消耗策略，提高燃料经济性，同时保持有限预测范围内的电荷维持，因此，在本发明实施例中，结合预设能源约束函数确定能源消耗策略。其中，预设能源约束函数可以如公式(8)所示。
其中，mf是燃料消耗率，SOC是电池的充电状态，θ是限制SOC终端值的大的正加权因子，而SOCref是满足电荷维持约束的预定因子
作为一个具体的示例，对于自动驾驶汽车(Hybrid Electric Vehicle，HEV)的主要部件参数可以如表1所示。
TABLEI
PARAMETERS OF MAIN COMPONENTSIN AUTONOMOUS HEV
在一些实施例中，车辆的预测加速度序列和预测加速度序列的第一转移概率矩阵，以及预设能源约束函数可以作为预设强化学习算法的输入。预设强化学习算法在构建过程中，可以学习代理与随机环境交互，为了得到预测加速度序列中对应每个加速的最佳控制动作，可以根据公式(8)计算的到能源消耗策略。
其中，r为奖励集合，β∈(0，1)为折扣因子，其中s为状态变量，a为控制动作集，控制策略ψ为加速度a的分布。
通过有限预期折现和累积奖励，可以确定最优值函，为了预测加速度系列中对应每个加速度的能源消耗策略，公式(8)还可以变换为如公式(9)所示。
其中，其中psa,s'表示使用动作a从状态s到状态s'的转换概率。
在一些实施例中，能源消耗策略及其相应的最优度量描述可以如公式(10)所示。
其中，预设强化学习算法的能源消耗策略的更新标准可以如下述标准表示：
在一些实施例中，当差异值大于或等与预设阈值时，将预测加速度序列加入历史加速度序列数据集中，以扩展历史加速度序列数据集。当差异值大于或等与预设阈值时，可以认为，历史加速度序列集中没有与预测加速度序列相似的加速度序列，因此，将预测加速度序列加入历史加速度序列数据集中，可以扩展历史加速度序列数据集，从而提高为了预测的准确性。
本发明实施例提供了一种车辆控制方法，获取预设时间段的预测加速度序列，之后根据预设驾驶员模型确定预测加速度序列的第一转移概率矩阵，以提高生成预测加速度序列的第一转移概率矩阵的准确性，并确保车辆平稳运行；接下来，基于预设诱导矩阵范数确定第一转移概率矩阵与历史加速度序列数据集的差异值，并判断差异值与预设阈值的关系，从而确保使用准确的第一转移概率矩阵确定能源消耗策略；最后，结合预设强化学习算法和预设能源约束函数，从而有效降低车辆的能源消耗，提高燃料经济性。
图3是本发明实施例提供的一种车辆控制装置的结构示意图，如图3所示，该车辆控制装置200可以包括：获取模块210、预测模块220、处理模块230。
获取模块210，用于获取车辆在预设时间段的预测加速度序列；
预测模块220，用于根据预设驾驶员模型，确定预测加速度序列的第一转移概率矩阵；
处理模块230，用于根据预设诱导矩阵范数，计算第一转移概率矩阵与历史加速度序列数据集的差异值；
处理模块230还用于当差异值小于预设阈值时，根据第一转移概率矩阵、预设能源约束函数和预设强化学习算法，确定能源消耗策略。
在一些实施例中，获取模块210还用于获取车辆在目标时刻的目标加速度，其中，目标时刻为预设时间段之前的时刻；以及，根据预设加速度预测算法和目标加速度，计算预设时间段内多个加速度，得到预测加速度序列。
在一些实施例中，预测模块220还用于获取车辆在目标时刻的速度；根据预测加速度序列和速度，确定预测加速度序列对应的第一预测速度序列；以及，根据预设驾驶员模型，生成预测加速度序列的预测车辆控制数据序列；基于预测车辆控制数据序列、预测加速度序列和第一预测速度序列，计算预测加速度序列的第一转移概率矩阵。
在一些实施例中，历史加速度序列数据集包括多个历史加速度序列；处理模块230还用于获取每个历史加速度序列的第二转移概率矩阵；基于预设诱导矩阵范数计算第一转移概率矩阵与每个第二转移概率矩阵，得到多个差异值；以及，将多个差异值中最小的差异值确定为第一转移概率矩阵与历史加速度序列数据集的差异值。
在一些实施例中，处理模块230还用于当差异值大于或等与预设阈值时，将预测加速度序列加入历史加速度序列数据集中，以扩展历史加速度序列数据集。
在一些实施例中，获取模块210还用于获取历史加速度序列集，以及对应历史加速度序列集的历史车辆控制数据序列集；
基于历史加速度序列集和历史车辆控制数据序列集，训练预设隐马尔可夫分类器，以得到预设驾驶员模型。
可以理解的是，本发明实施例的车辆控制装置200，可以对应于本发明实施例图1中的车辆控制方法的执行主体，车辆控制装置200的各个模块/单元的操作和/或功能的具体细节可以参见上述本发明实施例图1的车辆控制方法中的相应部分的描述，为了简洁，在此不再赘述。
本发明实施例的车辆控制装置，获取预设时间段的预测加速度序列，之后根据预设驾驶员模型确定预测加速度序列的第一转移概率矩阵，以提高生成预测加速度序列的第一转移概率矩阵的准确性，并确保车辆平稳运行；接下来，基于预设诱导矩阵范数确定第一转移概率矩阵与历史加速度序列数据集的差异值，并判断差异值与预设阈值的关系，从而确保使用准确的第一转移概率矩阵确定能源消耗策略；最后，结合预设强化学习算法和预设能源约束函数，从而有效降低车辆的能源消耗，提高燃料经济性。
图3是本发明实施例提供的一种车辆控制设备的硬件结构示意图。
如图3所示，本实施例中的车辆控制设备300包括输入设备301、输入接口302、中央处理器303、存储器304、输出接口305、以及输出设备306。其中，输入接口302、中央处理器303、存储器304、以及输出接口305通过总线310相互连接，输入设备301和输出设备306分别通过输入接口302和输出接口305与总线310连接，进而与车辆控制设备300的其他组件连接。
具体地，输入设备301接收来自外部的输入信息，并通过输入接口302将输入信息传送到中央处理器303；中央处理器303基于存储器304中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器304中，然后通过输出接口305将输出信息传送到输出设备306；输出设备306将输出信息输出到车辆控制设备300的外部供用户使用。
也就是说，图3所示的车辆控制设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及处理器，该处理器在执行计算机可执行指令时可以实现结合图1所示实例描述的车辆控制方法。
在一个实施例中，图3所示的车辆控制设备300包括：存储器304，用于存储程序；处理器303，用于运行存储器中存储的程序，以执行本发明实施例提供的车辆控制方法。
本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现本发明实施例提供的车辆控制方法。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，做出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、只读存储器(Read-Only Memory，ROM)、闪存、可擦除只读存储器(Erasable ReadOnly Memory，EROM)、软盘、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、光盘、硬盘、光纤介质、射频(Radio Frequency，RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种车辆控制方法，其特征在于，所述方法包括：
获取车辆在预设时间段的预测加速度序列；
根据预设驾驶员模型，确定所述预测加速度序列的第一转移概率矩阵；
根据预设诱导矩阵范数，计算所述第一转移概率矩阵与历史加速度序列数据集的差异值；
当所述差异值小于预设阈值时，根据所述第一转移概率矩阵、预设能源约束函数和预设强化学习算法，确定能源消耗策略。
2.根据权利要求1所述的方法，其特征在于，所述获取车辆在预设时间段的预测加速度序列，包括：
获取所述车辆在目标时刻的目标加速度，其中，所述目标时刻为所述预设时间段之前的时刻；
根据预设加速度预测算法和所述目标加速度，计算所述预设时间段内多个加速度，得到所述预测加速度序列。
3.根据权利要求1所述的方法，其特征在于，所述根据预设驾驶员模型，确定所述预测加速度序列的第一转移概率矩阵，包括：
获取所述车辆在目标时刻的速度；
根据所述预测加速度序列和所述速度，确定所述预测加速度序列对应的第一预测速度序列；以及，
根据所述预设驾驶员模型，生成所述预测加速度序列的预测车辆控制数据序列；
基于所述预测车辆控制数据序列、所述预测加速度序列和所述第一预测速度序列，计算所述预测加速度序列的第一转移概率矩阵。
4.根据权利要求1所述的方法，其特征在于，所述历史加速度序列数据集包括多个历史加速度序列；所述根据预设诱导矩阵范数，计算所述第一转移概率矩阵与历史加速度序列数据集的差异值，包括：
获取每个所述历史加速度序列的第二转移概率矩阵；
基于所述预设诱导矩阵范数计算所述第一转移概率矩阵与每个所述第二转移概率矩阵，得到多个差异值；
将所述多个差异值中最小的差异值确定为所述第一转移概率矩阵与历史加速度序列数据集的差异值。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述差异值大于或等与所述预设阈值时，将所述预测加速度序列加入所述历史加速度序列数据集中，以扩展所述历史加速度序列数据集。
6.根据权利要求1或3所述的方法，其特征在于，在所述根据预设驾驶员模型，确定所述预测加速度序列的第一转移概率矩阵之前，所述方法还包括：
获取历史加速度序列集，以及对应所述历史加速度序列集的历史车辆控制数据序列集；
基于所述历史加速度序列集和历史车辆控制数据序列集，训练预设隐马尔可夫分类器，以得到预设驾驶员模型。
7.一种车辆控制装置，其特征在于，所述装置包括：
获取模块，用于获取车辆在预设时间段的预测加速度序列；
预测模块，用于根据预设驾驶员模型，确定所述预测加速度序列的第一转移概率矩阵；
处理模块，用于根据预设诱导矩阵范数，计算所述第一转移概率矩阵与历史加速度序列数据集的差异值；
所述处理模块，还用于当所述差异值小于预设阈值时，根据所述第一转移概率矩阵、预设能源约束函数和预设强化学习算法，确定能源消耗策略。
8.根据权利要求1所述的装置，其特征在于，所述获取车辆在预设时间段的预测加速度序列，包括：
获取所述车辆在目标时刻的目标加速度，其中，所述目标时刻为所述预设时间段之前的时刻；
根据预设加速度预测算法和所述目标加速度，计算所述预设时间段内多个加速度，得到所述预测加速度序列。
9.一种车辆控制设备，其特征在于，所述设备包括：处理器，以及存储有计算机程序指令的存储器；
所述处理器读取并执行所述计算机程序指令，以实现如权利要求1-6任意一项所述的车辆控制方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-6任意一项所述的车辆控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110163450.2A CN112977412A (zh) | 2021-02-05 | 2021-02-05 | 一种车辆控制方法、装置、设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110163450.2A CN112977412A (zh) | 2021-02-05 | 2021-02-05 | 一种车辆控制方法、装置、设备及计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112977412A true CN112977412A (zh) | 2021-06-18 |
Family
ID=76348391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110163450.2A Pending CN112977412A (zh) | 2021-02-05 | 2021-02-05 | 一种车辆控制方法、装置、设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112977412A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113312711A (zh) * | 2021-07-28 | 2021-08-27 | 成都运达科技股份有限公司 | 列车动力学下平稳驾驶分析方法、系统、终端及介质 |
| CN113335311A (zh) * | 2021-07-22 | 2021-09-03 | 中国第一汽车股份有限公司 | 一种车辆碰撞检测方法、装置、车辆及存储介质 |
| CN113703024A (zh) * | 2021-07-16 | 2021-11-26 | 交通运输部水运科学研究所 | 一种基于北斗的小型船舶动态管理系统及管理方法 |
| CN113859236A (zh) * | 2021-09-07 | 2021-12-31 | 中汽创智科技有限公司 | 一种跟车控制系统、车辆、方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190016312A1 (en) * | 2017-07-14 | 2019-01-17 | Nio Usa, Inc. | Control and coordination of driverless fuel replenishment for autonomous vehicles |
| US20190135286A1 (en) * | 2017-09-20 | 2019-05-09 | Sebastian Domingo | Apparatus and method for an acceleration control system |
| WO2019097896A1 (ja) * | 2017-11-17 | 2019-05-23 | 株式会社デンソー | 車両制御装置 |
| US20200050920A1 (en) * | 2018-08-09 | 2020-02-13 | Nvidia Corporation | Techniques for efficiently operating a processing system based on energy characteristics of instructions and machine learning |
| CN111267827A (zh) * | 2020-02-13 | 2020-06-12 | 山东中科先进技术研究院有限公司 | 一种混合动力汽车能量管理方法和系统 |
| CN111559383A (zh) * | 2019-02-13 | 2020-08-21 | 通用汽车环球科技运作有限责任公司 | 用于基于车辆和边缘传感器数据确定自主车辆（av）动作的方法和系统 |
-
2021
- 2021-02-05 CN CN202110163450.2A patent/CN112977412A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190016312A1 (en) * | 2017-07-14 | 2019-01-17 | Nio Usa, Inc. | Control and coordination of driverless fuel replenishment for autonomous vehicles |
| US20190135286A1 (en) * | 2017-09-20 | 2019-05-09 | Sebastian Domingo | Apparatus and method for an acceleration control system |
| WO2019097896A1 (ja) * | 2017-11-17 | 2019-05-23 | 株式会社デンソー | 車両制御装置 |
| US20200050920A1 (en) * | 2018-08-09 | 2020-02-13 | Nvidia Corporation | Techniques for efficiently operating a processing system based on energy characteristics of instructions and machine learning |
| CN111559383A (zh) * | 2019-02-13 | 2020-08-21 | 通用汽车环球科技运作有限责任公司 | 用于基于车辆和边缘传感器数据确定自主车辆（av）动作的方法和系统 |
| CN111267827A (zh) * | 2020-02-13 | 2020-06-12 | 山东中科先进技术研究院有限公司 | 一种混合动力汽车能量管理方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| TENG LIU ET AL.: "Reinforcement Learning-Based Predictive Control for Autonomous Electrified Vehicles", 《2018 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV)》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113703024A (zh) * | 2021-07-16 | 2021-11-26 | 交通运输部水运科学研究所 | 一种基于北斗的小型船舶动态管理系统及管理方法 |
| CN113335311A (zh) * | 2021-07-22 | 2021-09-03 | 中国第一汽车股份有限公司 | 一种车辆碰撞检测方法、装置、车辆及存储介质 |
| CN113312711A (zh) * | 2021-07-28 | 2021-08-27 | 成都运达科技股份有限公司 | 列车动力学下平稳驾驶分析方法、系统、终端及介质 |
| CN113859236A (zh) * | 2021-09-07 | 2021-12-31 | 中汽创智科技有限公司 | 一种跟车控制系统、车辆、方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112977412A (zh) | 一种车辆控制方法、装置、设备及计算机存储介质 | |
| Yuan et al. | Intelligent energy management strategy based on hierarchical approximate global optimization for plug-in fuel cell hybrid electric vehicles | |
| CN110834644B (zh) | 一种车辆控制方法、装置、待控制车辆及存储介质 | |
| Liu et al. | Online Markov Chain-based energy management for a hybrid tracked vehicle with speedy Q-learning | |
| Shin et al. | Vehicle speed prediction using a Markov chain with speed constraints | |
| Cutler et al. | Autonomous drifting using simulation-aided reinforcement learning | |
| CN111009134A (zh) | 一种基于前车与自车互动的短期车速工况实时预测方法 | |
| Rhode et al. | Power prediction for electric vehicles using online machine learning | |
| Zhang et al. | Data-driven based cruise control of connected and automated vehicles under cyber-physical system framework | |
| Liniger et al. | Racing miniature cars: Enhancing performance using stochastic MPC and disturbance feedback | |
| US11887009B2 (en) | Autonomous driving control method, apparatus and device, and readable storage medium | |
| CN115303297B (zh) | 基于注意力机制与图模型强化学习的城市场景下端到端自动驾驶控制方法及装置 | |
| US20210263526A1 (en) | Method and device for supporting maneuver planning for an automated driving vehicle or a robot | |
| CN110481536A (zh) | 一种应用于混合动力汽车的控制方法及设备 | |
| Hua et al. | Energy management of multi-mode plug-in hybrid electric vehicle using multi-agent deep reinforcement learning | |
| CN111830962A (zh) | 强化学习代理控制器的解释数据 | |
| Zhu et al. | A gaussian process model for opponent prediction in autonomous racing | |
| Liu et al. | Reinforcement learning-based predictive control for autonomous electrified vehicles | |
| Ren et al. | Intelligent path planning and obstacle avoidance algorithms for autonomous vehicles based on enhanced rrt algorithm | |
| Schmidt et al. | How to learn from risk: Explicit risk-utility reinforcement learning for efficient and safe driving strategies | |
| Coppola et al. | Adaptive cruise control for autonomous electric vehicles based on q-learning algorithm | |
| CN116572993A (zh) | 智能车辆风险敏感型序贯行为决策方法、装置及设备 | |
| US12085399B2 (en) | Modular machine-learning based system for predicting vehicle energy consumption during a trip | |
| US20230376832A1 (en) | Calibrating parameters within a virtual environment using reinforcement learning | |
| WO2020200433A1 (en) | An on-board control system for operating a vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210618 |