CN115303290B - 车辆混合关键级系统的系统关键级切换方法及系统 - Google Patents

车辆混合关键级系统的系统关键级切换方法及系统 Download PDF

Info

Publication number
CN115303290B
CN115303290B CN202211223802.XA CN202211223802A CN115303290B CN 115303290 B CN115303290 B CN 115303290B CN 202211223802 A CN202211223802 A CN 202211223802A CN 115303290 B CN115303290 B CN 115303290B
Authority
CN
China
Prior art keywords
vehicle
key level
state
state value
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211223802.XA
Other languages
English (en)
Other versions
CN115303290A (zh
Inventor
邹渊
张旭东
王天予
孙逢春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202211223802.XA priority Critical patent/CN115303290B/zh
Publication of CN115303290A publication Critical patent/CN115303290A/zh
Application granted granted Critical
Publication of CN115303290B publication Critical patent/CN115303290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00—Input parameters relating to a particular sub-units
    • B60W2510/24—Energy storage means
    • B60W2510/242—Energy storage means for electrical energy
    • B60W2510/244—Charge state
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)

Abstract

本发明涉及一种车辆混合关键级系统的系统关键级切换方法及系统，属于混合关键级系统技术领域，先根据车辆的驾驶主体确定驾驶主体状态值，对车辆的内部环境数据进行处理，得到车辆内部状态值，对车辆的外部环境数据进行处理，得到车辆外部状态值，然后以驾驶主体状态值、车辆内部状态值和车辆外部状态值作为输入，利用强化学习模型确定待切换的目标系统关键级，最后执行目标系统关键级对应的功能集，使车辆处于目标系统关键级，从而结合多种因素进行系统关键级切换的综合判断，通过强化学习的方法确定系统关键级的最佳切换点，提高车辆的整体安全性和计算资源的利用效率。

Description

车辆混合关键级系统的系统关键级切换方法及系统
技术领域
本发明涉及混合关键级系统技术领域，特别是涉及一种车辆混合关键级系统的系统关键级切换方法及系统。
背景技术
把具有不同关键等级的多个功能集成于同一嵌入式计算平台，以平衡系统中越来越复杂的功能与受限的计算资源、硬件尺寸、功耗以及成本等资源之间的矛盾，是当代嵌入式系统发展的重要趋势，这种系统被称为混合关键级系统。在混合关键级系统的调度中，一方面需要充分考虑功能的关键等级，通过保证具有较高关键等级的功能的及时完成，以满足系统的安全性和可靠性要求，另一方面需要通过对系统资源的有效配置，优化具有低关键等级的功能调度，以提升系统的整体性能。
车辆的混合关键级系统具有多个系统关键级，每一系统关键级对应多个不同的功能，车辆需要按照实际需求处于不同的系统关键级。但目前，车辆的混合关键级系统的系统提升和降落机制存在不足，无法确定系统关键级的最佳切换点。基于此，亟需一种车辆混合关键级系统的系统关键级切换技术。
发明内容
本发明的目的是提供一种车辆混合关键级系统的系统关键级切换方法及系统，通过强化学习的方法确定系统关键级的最佳切换点，提高车辆的整体安全性和计算资源的利用效率。
为实现上述目的，本发明提供了如下方案：
一种车辆混合关键级系统的系统关键级切换方法，所述系统关键级切换方法包括：
根据车辆的驾驶主体确定驾驶主体状态值；
对所述车辆的内部环境数据进行处理，得到车辆内部状态值；所述车辆内部状态值包括电池荷电状态和处理器平均负载；
对所述车辆的外部环境数据进行处理，得到车辆外部状态值；所述车辆外部状态值包括前后方车辆数目、前后方行人数目、道路类型和天气类别；
以所述驾驶主体状态值、所述车辆内部状态值和所述车辆外部状态值作为输入，利用强化学习模型确定待切换的目标系统关键级；
执行所述目标系统关键级对应的功能集，使所述车辆处于所述目标系统关键级。
一种车辆混合关键级系统的系统关键级切换系统，所述系统关键级切换系统包括：
状态确定模块，用于根据车辆的驾驶主体确定驾驶主体状态值；对所述车辆的内部环境数据进行处理，得到车辆内部状态值；所述车辆内部状态值包括电池荷电状态和处理器平均负载；对所述车辆的外部环境数据进行处理，得到车辆外部状态值；所述车辆外部状态值包括前后方车辆数目、前后方行人数目、道路类型和天气类别；
关键级确定模块，用于以所述驾驶主体状态值、所述车辆内部状态值和所述车辆外部状态值作为输入，利用强化学习模型确定待切换的目标系统关键级；
关键级切换模块，用于执行所述目标系统关键级对应的功能集，使所述车辆处于所述目标系统关键级。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明用于提供一种车辆混合关键级系统的系统关键级切换方法及系统，先根据车辆的驾驶主体确定驾驶主体状态值，对车辆的内部环境数据进行处理，得到车辆内部状态值，对车辆的外部环境数据进行处理，得到车辆外部状态值，然后以驾驶主体状态值、车辆内部状态值和车辆外部状态值作为输入，利用强化学习模型确定待切换的目标系统关键级，最后执行目标系统关键级对应的功能集，使车辆处于目标系统关键级，从而结合多种因素进行系统关键级切换的综合判断，通过强化学习的方法确定系统关键级的最佳切换点，提高车辆的整体安全性和计算资源的利用效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1所提供的系统关键级切换方法的方法流程图；
图2为本发明实施例1所提供的系统关键级切换方法的原理框图；
图3为本发明实施例1所提供的Q表训练过程的流程示意图；
图4为本发明实施例2所提供的系统关键级切换系统的系统框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种车辆混合关键级系统的系统关键级切换方法及系统，通过强化学习的方法确定系统关键级的最佳切换点，提高车辆的整体安全性和计算资源的利用效率。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1：
本实施例用于提供一种车辆混合关键级系统的系统关键级切换方法，如图1和图2所示，所述系统关键级切换方法包括：
S1：根据车辆的驾驶主体确定驾驶主体状态值；
驾驶主体判断是进行系统关键级切换的首要依据，如自适应巡航、自动泊车等高级别自动驾驶功能应在无人驾驶状态下被赋予更高的执行保障。本实施例通过判断车辆的驾驶主体，得到驾驶主体状态值。具体的，获取车辆的驾驶主体，若车辆的驾驶主体为车辆，即此时车辆处于无人驾驶状态，则驾驶主体状态值drive-state为1；若车辆的驾驶主体为人，即此时车辆处于人工驾驶状态，则驾驶主体状态值drive-state为0。
目前一般是通过选择模式的方式，来令人驾驶车辆或者令车辆处于无人驾驶状态，故本实施例可以通过获取所选择的模式，来确定车辆的驾驶主体。
S2：对所述车辆的内部环境数据进行处理，得到车辆内部状态值；所述车辆内部状态值包括电池荷电状态和处理器平均负载；
本实施例中的车辆的内部环境数据是指安全攸关的属于车辆自身范畴的相关数据，如车辆的各个硬件组件的诊断状态值、车辆的高低压电池的荷电状态、处理器的工作参数等，这些数据反映了车辆本身是否安全和稳定，当车辆处于诊断异常、电量低下或是处理器负荷过高等状态时，应当给予安全相关的功能所对应的任务更多的计算资源预算，即最坏执行时间。本实施例通过处理车辆的内部环境数据，具体将所关注的车辆的内部环境数据进行获取或二次处理，得到安全相关的车辆内部状态值。
具体的，S2可以包括：获取车辆的内部环境数据，内部环境数据包括高压电池的荷电状态、低压电池的荷电状态和各个处理器的工作参数，工作参数包括忙碌时间、闲置时间、平均频率和最大主频。以高压电池的荷电状态和低压电池的荷电状态组成电池荷电状态。以各个处理器的工作参数作为输入，利用平均负载计算公式计算得到处理器平均负载，电池荷电状态和处理器平均负载组成车辆内部状态值。
平均负载计算公式为：
Figure 742108DEST_PATH_IMAGE001
；
其中，
Figure 393669DEST_PATH_IMAGE002
为处理器i在一个公式计算周期内的忙碌时间；
Figure 845510DEST_PATH_IMAGE003
为处理器i在一个公式计算周期内的闲置时间；
Figure 975140DEST_PATH_IMAGE004
为处理器i在该公式计算周期内的平均频率；
Figure 461616DEST_PATH_IMAGE005
为处理器i的最大主频，m为处理器的总个数。
S3：对所述车辆的外部环境数据进行处理，得到车辆外部状态值；所述车辆外部状态值包括前后方车辆数目、前后方行人数目、道路类型和天气类别；
本实施例中的车辆的外部环境数据是指直接影响车辆安全的外部环境数据，即可能会导致车辆发生碰撞、侧翻等安全事故的数据，如前后方车辆数目、前后方行人数目、道路类型、天气类别等，这些数据反映了车辆外部环境是否“恶劣”，在多大程度上影响车辆发生安全事件的可能性。本实施例通过处理车辆的外部环境数据，具体将所关注的车辆的外部环境数据进行获取或二次处理，得到安全相关的车辆外部状态值。
具体的，S3可以包括：获取车辆的外部环境数据，外部环境数据包括安装于车辆上的激光雷达采集的激光雷达点云数据、安装于车辆上的摄像头采集的图像数据以及天气信息。根据激光雷达点云数据和图像数据进行车辆识别，得到前后方车辆数目，可通过双传感器特征级数据融合方法进行车辆识别。对图像数据进行行人识别，得到前后方行人数目，可基于深度学习的行人识别与定位方法进行行人识别。对图像数据进行道路识别，得到道路类型，可通过道路识别算法进行道路识别。根据天气信息确定天气类别。前后方车辆数目、前后方行人数目、道路类型和天气类别组成车辆外部状态值。
需要说明的是，本实施例所用的车辆识别、行人识别和道路识别的方法均可采用现有的任意一种方法，在此不再赘述。
S4：以所述驾驶主体状态值、所述车辆内部状态值和所述车辆外部状态值作为输入，利用强化学习模型确定待切换的目标系统关键级；
以S1、S2和S3所得到的三类状态值（三类状态值即强化学习模型中的状态）作为强化学习模型的输入，通过强化学习模型决定应当切换的目标系统关键级（系统关键级即强化学习模型中的动作），从而进行决策。具体而言，在确定了输入强化学习模型的状态后，根据Q表遍历动作，找到使得Q值最大的动作，将该动作作为决策得到应当切换的目标系统关键级。若系统关键级不变，则继续执行原系统关键级对应的功能集；若系统关键级提升，则仅保障提升后的系统关键级对应的功能集的服务质量；若系统关键级下降，则保障下降后的系统关键级对应的功能集的服务质量。
具体的，S4可以包括：以驾驶主体状态值、车辆内部状态值和车辆外部状态值作为输入，利用强化学习模型中的训练好的Q表确定每一系统关键级所对应的Q值，训练好的Q表包括在不同状态下选择每一系统关键级分别对应的Q值。选取Q值最大的系统关键级作为待切换的目标系统关键级。
本实施例的强化学习模型是车辆在前期研发过程中预先研制的完善成熟的强化学习模型，而非车辆投入使用后所形成的，训练好的Q表则通过预先研制的训练过程得到，具体的，如图3所示，在S4之前，对初始Q表进行迭代训练，得到训练好的Q表可以包括：
（1）定义强化学习模型中的智慧体、状态、动作、奖励值和Q表。
本实施例的智慧体（agent）为当前的系统调度器，即控制系统关键级切换的决策体，决定哪些功能可被保证服务质量。状态（state）和动作（action）的定义如下：t时刻的状态为驾驶主体状态值、安全相关的车辆内部状态值、安全相关的车辆外部状态值的集合，使用矢量s t 来表征这一集合，s t =[drive-state，in-state 1，in-state 2，…，ex-state 1，ex- state 2，…]T，in-state 1为第一个车辆内部状态值，in-state 2为第二个车辆内部状态值，ex-state 1为第一个车辆外部状态值，ex-state 2为第二个车辆外部状态值。t时刻的动作a t 代表切换关键级的行为，a t
Figure 720297DEST_PATH_IMAGE006
，当a t
Figure 721751DEST_PATH_IMAGE007
时，意味着决策将系统关键级切换至第k个系统关键级
Figure 999279DEST_PATH_IMAGE008
。
定义在状态s t 下选择动作a t 的奖励值（reward）为R（s t ，a t ），动作引发系统关键级切换后，若没有功能错失其截止期限要求，则R（s t ，a t ）为正数，代表奖励；若有功能错失其截止期限要求，则R（s t ，a t ）为负数，代表惩罚。Q表为一张二维表，横坐标为状态，纵坐标为动作，Q表存储的内容是在状态s t 下选择动作a t 的Q值，即Q（s t ，a t ），运用Q学习训练时，最终目的就是要得到一张收敛的Q表（也即训练好的Q表），使智能体到达某个状态时，能根据训练好的Q表选择对自己最有利的动作。
Q表的更新公式如下：
Figure 901114DEST_PATH_IMAGE009
其中，Q（s t ，a t ）表示t时刻在状态s t 下选择动作a t 的Q值；α是学习效率，其值位于0-1之间；γ是折扣因子，其值位于0-1之间，表示下一时刻最大Q值对当前时刻的影响，取值越高，说明未来时刻对当前时刻的影响越大；Q（s t+1，a t+1）表示t+1时刻在状态s t+1下选择动作a t+1的Q值；maxQ（s t+1，a t+1）表示t+1时刻智能体能取得的最大Q值。
（2）确定训练场景，并初始化Q表和状态。
训练场景可以为纯软件模拟仿真环境，也可以为基于样车实测的真实场景，在确定训练场景后，对Q表进行初始化操作，得到初始Q表，初始Q表内的初始值可取随机数，也可均置为0。状态的初值取决于训练环境，在训练环境和训练开始时间确定后，初始状态即确定下来。
（3）迭代训练，更新Q表。
从初始时间开始，系统调度器不断根据Q表做出动作。具体而言，在t时刻时，由于状态s t 可以得到，于是根据Q表，遍历动作，选择使得Q值最大的动作a t ，将其作为决策，即本轮决定切换的目标系统关键级，动作做出后，可根据反馈得到奖励值R（s t ，a t ）。t时刻的流程结束后，进行到t+1时刻，可得状态s t+1，于是可根据Q表更新公式，得到
Figure 35423DEST_PATH_IMAGE010
，此时完成Q表的第t次迭代。
更为具体的，一次迭代过程可以包括：获取样本状态，样本状态包括驾驶主体状态值样本、车辆内部状态值样本和车辆外部状态值样本，第一次迭代的样本状态为（2）中确定的初始状态，后续迭代的样本状态即为训练场景下所采集的车辆状态。以样本状态作为输入，利用初始Q表选择待切换的目标系统关键级样本，即选择Q值最大的系统关键级作为目标系统关键级样本。执行目标系统关键级样本对应的功能集样本，根据车辆反馈得到奖励值，若车辆反馈为功能集样本中的每一功能样本均未错失截止期限，则奖励值为第一预设值；若车辆反馈为功能集样本中的任一功能样本错失截止期限，则奖励值为第二预设值，第一预设值为正数，第二预设值为负数。根据奖励值对初始Q表进行更新，得到更新后Q表，即采用（1）中的Q表更新公式对Q表进行更新。
（4）Q表收敛，完成训练。
当Q表数据连续1000次的变化均小于可接受阈值，说明Q表已经收敛，停止训练。此时最优策略已经生成，车辆在每一个状态下，都可通过选择使Q值能取得最大值的动作来完成决策。
具体的，迭代过程可以包括：判断是否达到迭代停止条件，迭代停止条件包括：更新后Q表相对于初始Q表的变化连续N次小于预设阈值。若是，则以更新后Q表作为训练好的Q表；若否，则以更新后Q表作为下一迭代的初始Q表，返回“获取样本状态”的步骤。
S5：执行所述目标系统关键级对应的功能集，使所述车辆处于所述目标系统关键级。
在确定目标系统关键级后，本实施例会执行该目标系统关键级对应的功能集，并返回S1继续下一轮决策。本实施例会预先定义允许执行的功能集与系统关键级的映射关系，系统关键级发生改变后，仅保障切换后的系统关键级对应的功能集中的功能的服务质量，至此本轮决策结束，并开始下一轮决策。
本实施例预先定义允许执行的功能集与系统关键级的映射关系的步骤可以包括：
（1）自动驾驶车辆混合关键级系统中功能集和功能模型的建立；
本实施例的功能集包括多个功能，每一功能均对应一功能模型，功能模型包括功能的释放周期、功能的相对截止时间、功能在不同系统关键级下的执行时间预算和功能的功能关键级。
功能集可表示为：
Figure 881763DEST_PATH_IMAGE011
；
其中，n表示车辆系统中功能的个数；F i 代表一项独立的功能。本实施例中的单个功能指的是车辆完成某一实际用途的任务。
每一功能对应一功能模型，对于单个的功能模型，使用一个元组（tuple）进行描述。功能模型可表示为：
Figure 290879DEST_PATH_IMAGE012
；
其中，T i 代表功能F i 的释放周期，即从开始释放功能F i 后，每经过T i 进行下一次功能F i 的释放；D i 代表功能F i 的相对截止时间，假设功能F i 于时间t 1释放，则功能F i 需要在时间[t 1，t 1+D i ]内完成执行；
Figure 220789DEST_PATH_IMAGE013
为一个矢量，代表功能F i 在不同系统关键级下的执行时间预算；
Figure 119475DEST_PATH_IMAGE014
代表功能F i 自身的功能关键级，功能关键级和其对安全的影响直接相关，越安全攸关的功能则其功能关键级越高，且
Figure 328477DEST_PATH_IMAGE015
。
（2）定义允许执行的功能集与系统关键级的映射关系；
自动驾驶车辆混合关键级系统的系统关键级模型的表示如下：
Figure 72442DEST_PATH_IMAGE016
；
其中，S代表当前系统的系统关键级（system criticality），系统关键级代表当前系统的操作模式，在低的系统关键级下，在功能的调度上倾向于保证所有功能的实现，以提供更好的车辆整体表现；在高的系统关键级下，在功能的调度上则倾向于保证高关键级功能（更加安全攸关的功能）的实现，以保证车辆的安全性。对于
Figure 388017DEST_PATH_IMAGE017
，有
Figure 192025DEST_PATH_IMAGE018
。
不同系统关键级的级别不同，系统关键级的级别越高，系统关键级所对应的功能集所包括的功能的个数越少。定义允许执行的功能集
Figure 389788DEST_PATH_IMAGE019
与系统关键级
Figure 937444DEST_PATH_IMAGE020
的映射关系，即当系统关键级为
Figure 904263DEST_PATH_IMAGE021
时，车辆只保障其对应的功能集E k 中包含的功能的服务质量。
各个系统关键级对应的允许执行的功能集均包含有不同数量的功能，
Figure 643287DEST_PATH_IMAGE022
，
Figure 328346DEST_PATH_IMAGE023
。具体的在何种系统关键级下选取哪些功能可以根据实际需求而定。
本实施例预先定义了每个系统关键级所对应的允许执行的功能集，当决策动作产生后，会将系统关键级调整，这时仅保证调整后的系统关键级所对应的允许执行的功能集所包含的各个功能的服务质量。
本实施例针对现有混合关键级系统中系统提升和降落机制的不足，提供一种面向L4级别自动驾驶汽车的系统关键级切换方法，针对自动驾驶车辆的真实使用场合，结合车辆内部和外部的各种影响因素进行关键级切换的综合判断，通过强化学习的方法得到车辆系统关键级切换的最佳点，以提高车辆的整体安全性和计算资源的利用效率。本实施例的方法实质上是一种关键级提升/回落机制，在更高的系统关键级下保障和安全攸关的功能的服务质量，在较低的系统关键级下尽量保障所有功能的服务质量。
以下给出一具体示例来对本实施例的系统关键级切换方法进行进一步的介绍：
（1）自动驾驶车辆混合关键级系统中功能模型的建立；
（1.1）自动驾驶车辆混合关键级系统的功能集的建立：
Figure 414114DEST_PATH_IMAGE024
；
该示例中，自动驾驶车辆混合关键级系统的功能集共包括9个功能，F代表所有功能的全集合，F i （i=1，2，...，9）代表单个独立的功能，F 1代表加速控制任务，F 2代表制动控制任务，F 3代表转向控制任务，F 4代表激光雷达感知任务，F 5代表毫米波雷达感知任务，F 6代表摄像头感知任务，F 7代表自动驾驶决策任务，F 8代表V2X任务，F 9代表车载娱乐任务。
（1.2）自动驾驶车辆混合关键级系统的功能模型的建立：
Figure 235439DEST_PATH_IMAGE025
；
对于单个的功能模型F i ，使用一个元组（tuple）进行描述。该元组中，T i 代表功能F i 的释放周期，即从开始释放功能F i 后，每经过T i 进行下一次功能F i 的释放；D i 代表功能F i 的相对截止时间，假设功能F i 于时间t 1释放，则在此释放的示例中，功能F i 需要在时间[t 1，t 1+D i ]内完成执行；
Figure 912408DEST_PATH_IMAGE026
为一个矢量，代表功能F i 在不同系统关键级下的执行时间预算；
Figure 819184DEST_PATH_IMAGE027
代表功能F i 自身的功能关键级，功能关键级和其对安全的影响直接相关，越安全攸关的功能则其功能的关键级越高，且
Figure 708643DEST_PATH_IMAGE028
。
此处所定义的功能模型用于（2），在（2）中定义了各个系统关键级下对应的允许执行的功能集，每个功能集均包含有不同数量的功能，每一功能均对应一个功能模型。
（2）定义允许执行的功能集与系统关键级的映射关系；
（2.1）自动驾驶车辆混合关键级系统的系统关键级模型的建立：
Figure 650054DEST_PATH_IMAGE029
；
S代表当前系统的系统关键级（system criticality），系统关键级代表当前系统的操作模式，在低的系统关键级下，在功能的调度上倾向于保证所有功能的实现，以提供更好的车辆整体表现；在高的系统关键级下，在功能的调度上则倾向于保证高关键级功能（更加安全攸关的功能）的实现。对于
Figure 934142DEST_PATH_IMAGE030
，有
Figure 124952DEST_PATH_IMAGE031
，即本示例中有三个系统关键级，
Figure 21364DEST_PATH_IMAGE032
表示当前系统处于低关键级，
Figure 551703DEST_PATH_IMAGE033
表示当前系统处于中关键级，
Figure 304895DEST_PATH_IMAGE034
表示当前系统处于高关键级。
（2.2）定义允许执行的功能集与系统关键级的映射关系：
定义允许执行的功能集E1，E2，E3与系统关键级
Figure 186263DEST_PATH_IMAGE035
的映射关系，即当系统关键级为
Figure 683104DEST_PATH_IMAGE036
时，车辆只保障该系统关键级对应的功能集E k 中包含的功能的服务质量。
Figure 855501DEST_PATH_IMAGE037
，
Figure 514015DEST_PATH_IMAGE038
。
作为具体实施方式，可设置各个功能集如下：
Figure 882680DEST_PATH_IMAGE039
；
Figure 917632DEST_PATH_IMAGE040
；
Figure 953721DEST_PATH_IMAGE041
；
在此定义了每个系统关键级所对应的允许执行的功能集，当决策动作产生后，会将系统关键级调整，这时仅保证调整后的系统关键级所对应的允许执行的功能集所包含的各个功能的服务质量。如：若经过决策，系统关键级切换至
Figure 783136DEST_PATH_IMAGE042
，则仅保障最高关键级的功能F 1，F 2，F 3，F 4，F 5，F 6，F 7的服务质量。
（3）判断车辆的驾驶主体，得到驾驶主体状态值；
驾驶主体判断是进行系统关键级切换的首要依据，如自适应巡航、自动泊车等高级别自动驾驶功能应在无人驾驶状态下被赋予更高的执行保障。通过判断车辆的驾驶主体，得到驾驶主体状态值drive-state，当驾驶主体为车辆本身，即无人驾驶，则驾驶主体状态值drive-state为1；当驾驶主体为人，则驾驶主体状态值drive-state为0。
（4）处理车辆的内部环境数据，得到安全相关的车辆内部状态值；
车辆的内部环境数据指安全攸关的属于车辆自身范畴的相关数据，如车辆的各个硬件组件的诊断状态值、车辆的高低压电池的荷电状态、处理器的工作参数等，这些数据反映了车辆本身是否安全和稳定，当车辆处于诊断异常、电量低下或是处理器负荷过高等状态时，应当给予安全相关的功能的任务更多的计算资源预算，即最坏执行时间。该步骤的操作为，将所关注的车辆的内部环境数据进行获取或二次处理，得到安全相关的车辆内部状态值集in-state。在本示例中选取车辆低压电池的荷电状态和车内处理器的平均负载作为所关注的车辆内部状态值。
（4.1）获取车辆低压电池的荷电状态，得到内部状态值1：
从车辆低压电池的电池管理系统（Battery Management System）读取低压电池的荷电状态（State of Charge），将其作为内部状态值1。
Figure 639097DEST_PATH_IMAGE043
；
（4.2）获取车内处理器的平均负载，得到内部状态值2：
设车内共有m个处理器，其集合可表达为
Figure 477740DEST_PATH_IMAGE044
，车内处理器的平均负载
Figure 335712DEST_PATH_IMAGE045
可表达为如下：
Figure 336029DEST_PATH_IMAGE001
；
上式中，
Figure 413707DEST_PATH_IMAGE002
为处理器i在一个公式计算周期内的忙碌时间，
Figure 56041DEST_PATH_IMAGE003
为处理器i在一个公式计算周期内的闲置时间，
Figure 535564DEST_PATH_IMAGE004
为处理器i在该公式计算周期内的平均频率，
Figure 972361DEST_PATH_IMAGE005
为处理器i的最大主频。将计算得到的处理器的平均负载
Figure 334072DEST_PATH_IMAGE045
作为内部状态值2。
Figure 514518DEST_PATH_IMAGE046
。
（5）处理车辆的外部环境数据，得到安全相关的车辆外部状态值；
车辆的外部环境数据是指直接影响车辆安全的外部环境数据，即可能会导致车辆发生碰撞、侧翻等安全事故的数据，如前后方车辆数目、前后方行人数目、道路类型、天气类别等，这些数据反映了车辆外部环境是否“恶劣”，在多大程度上影响车辆发生安全事件的可能性。该步骤的操作为，将所关注的车辆外部环境数据进行获取或二次处理，得到安全相关的车辆外部状态值集ex-state。本示例选取前后方车辆数目、前后方行人数目、道路类型、天气类别作为所关注的外部状态值。
（5.1）获取车辆前后方车辆数目，得到外部状态值1：
收集激光雷达的激光雷达点云数据和摄像头获取的图像数据，通过双传感器特征级数据融合方法进行车辆识别，从而得到车辆数目，并将其作为外部状态值1。
Figure 848547DEST_PATH_IMAGE047
。
（5.2）获取车辆潜在行驶轨迹内的行人数目，得到外部状态值2：
收集摄像头获取的图像数据，通过基于深度学习的行人识别与定位，得到潜在行驶轨迹内的行人数目，并将其作为外部状态值2。
Figure 954781DEST_PATH_IMAGE048
。
（5.3）获取道路类型，得到外部状态值3：
收集摄像头获取的图像数据，通过道路识别算法，得到道路类型，并将其作为外部状态值3。
Figure 741472DEST_PATH_IMAGE049
。
（5.4）获取天气类别，得到外部状态值4：
根据车辆收到的网络天气相关信息，得到此时车辆所在区域的天气类别，并将其作为外部状态值4。
Figure 460029DEST_PATH_IMAGE050
。
（6）根据得到的三类状态值，通过预先研制的成熟的强化学习模型决定应当切换的系统关键级，从而进行决策；
（6.1）根据（3）、（4）和（5）得到的三类状态值，将其作为强化学习模型的输入，即强化学习模型中的状态，通过强化学习模型决定应当切换的系统关键级，即强化学习模型中的动作，从而进行决策。
具体而言，即在确定了输入强化学习模型的状态后，根据Q表（Q表通过预先研制的训练过程得到）遍历动作，找到使得Q值最大的动作，将该动作作为决策，该动作即为应当切换的系统关键级。若系统关键级不变，则维持原系统关键级中对应的功能集；若系统关键级提升，则仅保障提升后的系统关键级下的功能集的服务质量；若系统关键级下降，则保障下降后的系统关键级下的所有功能集的服务质量。
值得指出的是，该步骤所用到的强化学习模型应当是车辆在前期研发过程中预先研制完善成熟的，而非车辆投入使用后所形成的。
（6.2）定义强化学习模型中的智慧体、状态、动作、奖励值和Q表。
智慧体（agent）为当前的系统调度器，即系统关键级的切换的决策体，决定哪些功能可被保证服务质量。状态（state）和动作（action）的定义如下。t时刻时的状态为驾驶主体状态值、安全相关的车辆内部状态值、安全相关的车辆外部状态值的集合，使用矢量s t 来表征这一集合，s t
Figure 914144DEST_PATH_IMAGE051
Figure 489482DEST_PATH_IMAGE052
Figure 29048DEST_PATH_IMAGE053
，动作a t 代表切换关键级的行为，a t
Figure 551296DEST_PATH_IMAGE054
。如当a t
Figure 859918DEST_PATH_IMAGE055
时，意味着决策为切换系统关键级至
Figure 543840DEST_PATH_IMAGE056
。
奖励值和Q表的定义如S4所述，在此不再赘述。
（6.3）确定训练场景，并初始化Q表和状态。
（6.4）迭代训练，更新Q表。
（6.5）Q表收敛，完成训练。
上述训练过程与S4指出的训练过程相同，在此不再赘述。
（7）执行该系统关键级对应的功能集，并转到（3）继续下一轮决策。
根据（6）得到的动作，决定系统应当切换至的系统关键级。（2）定义了允许执行的功能集与系统关键级的映射关系，系统关键级发生改变后，仅保障切换后的系统关键级对应的功能集中的功能的服务质量。至此本轮决策结束，并转至（3）开始下一轮决策。
实施例2：
本实施例用于提供一种车辆混合关键级系统的系统关键级切换系统，如图4所示，所述系统关键级切换系统包括：
状态确定模块M1，用于根据车辆的驾驶主体确定驾驶主体状态值；对所述车辆的内部环境数据进行处理，得到车辆内部状态值；所述车辆内部状态值包括电池荷电状态和处理器平均负载；对所述车辆的外部环境数据进行处理，得到车辆外部状态值；所述车辆外部状态值包括前后方车辆数目、前后方行人数目、道路类型和天气类别；
关键级确定模块M2，用于以所述驾驶主体状态值、所述车辆内部状态值和所述车辆外部状态值作为输入，利用强化学习模型确定待切换的目标系统关键级；
关键级切换模块M3，用于执行所述目标系统关键级对应的功能集，使所述车辆处于所述目标系统关键级。
本说明书中每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种车辆混合关键级系统的系统关键级切换方法，其特征在于，所述系统关键级切换方法包括：
根据车辆的驾驶主体确定驾驶主体状态值；
对所述车辆的内部环境数据进行处理，得到车辆内部状态值；所述车辆内部状态值包括电池荷电状态和处理器平均负载；
对所述车辆的外部环境数据进行处理，得到车辆外部状态值；所述车辆外部状态值包括前后方车辆数目、前后方行人数目、道路类型和天气类别；
以所述驾驶主体状态值、所述车辆内部状态值和所述车辆外部状态值作为输入，利用强化学习模型确定待切换的目标系统关键级；
执行所述目标系统关键级对应的功能集，使所述车辆处于所述目标系统关键级。
2.根据权利要求1所述的车辆混合关键级系统的系统关键级切换方法，其特征在于，所述根据车辆的驾驶主体确定驾驶主体状态值具体包括：
获取车辆的驾驶主体；
若所述车辆的驾驶主体为车辆，则驾驶主体状态值为1；
若所述车辆的驾驶主体为人，则所述驾驶主体状态值为0。
3.根据权利要求1所述的车辆混合关键级系统的系统关键级切换方法，其特征在于，所述对所述车辆的内部环境数据进行处理，得到车辆内部状态值具体包括：
获取所述车辆的内部环境数据；所述内部环境数据包括高压电池的荷电状态、低压电池的荷电状态和各个处理器的工作参数；所述工作参数包括忙碌时间、闲置时间、平均频率和最大主频；
以所述高压电池的荷电状态和所述低压电池的荷电状态组成电池荷电状态；
以所述各个处理器的工作参数作为输入，利用平均负载计算公式计算得到处理器平均负载；所述电池荷电状态和所述处理器平均负载组成车辆内部状态值。
4.根据权利要求1所述的车辆混合关键级系统的系统关键级切换方法，其特征在于，所述对所述车辆的外部环境数据进行处理，得到车辆外部状态值具体包括：
获取所述车辆的外部环境数据；所述外部环境数据包括安装于所述车辆上的激光雷达采集的激光雷达点云数据、安装于所述车辆上的摄像头采集的图像数据以及天气信息；
根据所述激光雷达点云数据和所述图像数据进行车辆识别，得到前后方车辆数目；
对所述图像数据进行行人识别，得到前后方行人数目；
对所述图像数据进行道路识别，得到道路类型；
根据所述天气信息确定天气类别；所述前后方车辆数目、所述前后方行人数目、所述道路类型和所述天气类别组成车辆外部状态值。
5.根据权利要求1所述的车辆混合关键级系统的系统关键级切换方法，其特征在于，所述以所述驾驶主体状态值、所述车辆内部状态值和所述车辆外部状态值作为输入，利用强化学习模型确定待切换的目标系统关键级具体包括：
以所述驾驶主体状态值、所述车辆内部状态值和所述车辆外部状态值作为输入，利用强化学习模型中的训练好的Q表确定每一系统关键级所对应的Q值；所述训练好的Q表包括在不同状态下选择每一系统关键级分别对应的Q值；
选取所述Q值最大的系统关键级作为待切换的目标系统关键级。
6.根据权利要求5所述的车辆混合关键级系统的系统关键级切换方法，其特征在于，在以所述驾驶主体状态值、所述车辆内部状态值和所述车辆外部状态值作为输入，利用强化学习模型确定待切换的目标系统关键级之前，所述系统关键级切换方法还包括：对初始Q表进行迭代训练，得到训练好的Q表；
对Q表进行初始化，得到初始Q表；
获取样本状态；所述样本状态包括驾驶主体状态值样本、车辆内部状态值样本和车辆外部状态值样本；
以所述样本状态作为输入，利用初始Q表选择待切换的目标系统关键级样本；
执行所述目标系统关键级样本对应的功能集样本，根据车辆反馈得到奖励值；若所述车辆反馈为所述功能集样本中的每一功能样本均未错失截止期限，则所述奖励值为第一预设值；若所述车辆反馈为所述功能集样本中的任一功能样本错失截止期限，则所述奖励值为第二预设值；所述第一预设值为正数；所述第二预设值为负数；
根据所述奖励值对所述初始Q表进行更新，得到更新后Q表；
判断是否达到迭代停止条件；
若是，则以所述更新后Q表作为训练好的Q表；
若否，则以所述更新后Q表作为下一迭代的初始Q表，返回“获取样本状态”的步骤。
7.根据权利要求6所述的车辆混合关键级系统的系统关键级切换方法，其特征在于，所述迭代停止条件包括：所述更新后Q表相对于所述初始Q表的变化连续N次小于预设阈值。
8.根据权利要求1所述的车辆混合关键级系统的系统关键级切换方法，其特征在于，所述功能集包括多个功能；每一所述功能均对应一功能模型；所述功能模型包括所述功能的释放周期、所述功能的相对截止时间、所述功能在不同系统关键级下的执行时间预算和所述功能的功能关键级。
9.根据权利要求1所述的车辆混合关键级系统的系统关键级切换方法，其特征在于，不同系统关键级的级别不同；所述系统关键级的级别越高，所述系统关键级所对应的功能集所包括的功能的个数越少。
10.一种车辆混合关键级系统的系统关键级切换系统，其特征在于，所述系统关键级切换系统包括：
状态确定模块，用于根据车辆的驾驶主体确定驾驶主体状态值；对所述车辆的内部环境数据进行处理，得到车辆内部状态值；所述车辆内部状态值包括电池荷电状态和处理器平均负载；对所述车辆的外部环境数据进行处理，得到车辆外部状态值；所述车辆外部状态值包括前后方车辆数目、前后方行人数目、道路类型和天气类别；
关键级确定模块，用于以所述驾驶主体状态值、所述车辆内部状态值和所述车辆外部状态值作为输入，利用强化学习模型确定待切换的目标系统关键级；
关键级切换模块，用于执行所述目标系统关键级对应的功能集，使所述车辆处于所述目标系统关键级。
CN202211223802.XA 2022-10-09 2022-10-09 车辆混合关键级系统的系统关键级切换方法及系统 Active CN115303290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211223802.XA CN115303290B (zh) 2022-10-09 2022-10-09 车辆混合关键级系统的系统关键级切换方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211223802.XA CN115303290B (zh) 2022-10-09 2022-10-09 车辆混合关键级系统的系统关键级切换方法及系统

Publications (2)

Publication Number Publication Date
CN115303290A CN115303290A (zh) 2022-11-08
CN115303290B true CN115303290B (zh) 2022-12-06

Family

ID=83867313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211223802.XA Active CN115303290B (zh) 2022-10-09 2022-10-09 车辆混合关键级系统的系统关键级切换方法及系统

Country Status (1)

Country Link
CN (1) CN115303290B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115793623B (zh) * 2023-02-08 2023-05-16 北京理工大学 一种车辆混合关键系统的硬件在环测试装置及方法
CN115878294B (zh) * 2023-02-28 2023-05-12 北京理工大学 基于边缘计算的车辆混合关键系统的任务联合调度方法
CN116755865B (zh) * 2023-08-15 2023-11-10 北京理工大学 一种基于汽车嵌入式平台的混合关键系统部署方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109799805A (zh) * 2019-01-17 2019-05-24 湖南大学 一种可靠性感知的高性能汽车电子调度算法
CN110147492A (zh) * 2019-04-12 2019-08-20 北京梧桐车联科技有限责任公司 一种信息处理方法、交通工具及存储介质
WO2020109136A1 (de) * 2018-11-30 2020-06-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren, computerprogramm und vorrichtung zur bewertung der kritikalität einer menschlichen steuerungsmöglichkeit eines fahrzeugs, das über ein automatisiertes steuerungssystem verfügt
CN112861269A (zh) * 2021-03-11 2021-05-28 合肥工业大学 一种基于深度强化学习优先提取的汽车纵向多态控制方法
WO2022043625A1 (fr) * 2020-08-27 2022-03-03 Psa Automobiles Sa Réseau de flux priorisés de données embarqué dans un vehicule
WO2022096187A1 (de) * 2020-11-04 2022-05-12 Robert Bosch Gmbh Verfahren zur durchführung von regelvorgängen in einem fahrzeug

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810806B2 (en) * 2017-03-13 2020-10-20 Renovo Motors, Inc. Systems and methods for processing vehicle sensor data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020109136A1 (de) * 2018-11-30 2020-06-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren, computerprogramm und vorrichtung zur bewertung der kritikalität einer menschlichen steuerungsmöglichkeit eines fahrzeugs, das über ein automatisiertes steuerungssystem verfügt
CN109799805A (zh) * 2019-01-17 2019-05-24 湖南大学 一种可靠性感知的高性能汽车电子调度算法
CN110147492A (zh) * 2019-04-12 2019-08-20 北京梧桐车联科技有限责任公司 一种信息处理方法、交通工具及存储介质
WO2022043625A1 (fr) * 2020-08-27 2022-03-03 Psa Automobiles Sa Réseau de flux priorisés de données embarqué dans un vehicule
WO2022096187A1 (de) * 2020-11-04 2022-05-12 Robert Bosch Gmbh Verfahren zur durchführung von regelvorgängen in einem fahrzeug
CN112861269A (zh) * 2021-03-11 2021-05-28 合肥工业大学 一种基于深度强化学习优先提取的汽车纵向多态控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一类面向汽车电子系统的混合关键级任务协同调度研究;唐宇晴;《中国优秀硕士学位论文全文数据库 工程科技II辑》;20200715(第7期);全文 *

Also Published As

Publication number Publication date
CN115303290A (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
CN115303290B (zh) 车辆混合关键级系统的系统关键级切换方法及系统
Ganesh et al. A review of reinforcement learning based energy management systems for electrified powertrains: Progress, challenge, and potential solution
US11181913B2 (en) Autonomous vehicle fleet model training and testing
CN107169567B (zh) 一种用于车辆自动驾驶的决策网络模型的生成方法及装置
CN109991987B (zh) 自动驾驶决策方法及装置
CN106143490B (zh) 车辆自适应巡航控制方法及装置
CN111696370A (zh) 基于启发式深度q网络的交通灯控制方法
CN113665593B (zh) 一种车辆智能驾驶纵向控制方法、系统及存储介质
CN114901536A (zh) 智能汽车的控制方法、装置和控制系统
CN111890873A (zh) 智能启动车内空调和/或空气净化设备的方法和系统
CN115056798A (zh) 一种基于贝叶斯博弈的自动驾驶车辆换道行为车路协同决策算法
Li et al. Energy-efficient autonomous vehicle control using reinforcement learning and interactive traffic simulations
CN110780663A (zh) 一种自动驾驶状态切换方法、装置、设备及存储介质
CN115782880A (zh) 智能汽车换道决策方法、装置、电子设备和存储介质
CN110866996A (zh) 一种发动机起停频次控制方法、系统、车辆和存储介质
Typaldos et al. Modified dynamic programming algorithms for GLOSA systems with stochastic signal switching times
CN114399107A (zh) 一种交通状态感知信息的预测方法及系统
CN115571108A (zh) 一种节油控制方法
Valenti et al. Battery Aging-Aware Online Optimal Control: An Energy Management System for Hybrid Electric Vehicles Supported by a Bio-Inspired Velocity Prediction
CN113246958A (zh) 基于td3多目标hev能量管理方法及系统
Li et al. Energy-Efficient Autonomous Driving Using Cognitive Driver Behavioral Models and Reinforcement Learning
JP2020069840A (ja) 車両認識装置および車両制御装置
CN114407892B (zh) 车辆的加速度控制方法、装置、设备和存储介质
CN116560241B (zh) 面向铰接车的显式循环模型预测控制轨迹跟踪方法和装置
CN113485300B (zh) 一种基于强化学习的自动驾驶车辆碰撞测试方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant