CN118061968A - 基于强化学习的制动压力控制方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例公开了一种基于强化学习的制动压力控制方法、装置、设备及介质，包括：获取目标车辆的当前传感信息；将当前传感信息输入至目标决策网络模型进行制动系统电子部件的动作决策，其中，目标决策网络模型是根据奖励函数进行强化学习获得的，奖励函数是基于车辆的制动压力构建的；基于目标决策网络模型输出的目标动作，对制动系统电子部件的当前动作进行调整，以控制目标车辆的制动压力。本发明实施例的技术方案，将车辆的传感信息输入目标决策模型，通过目标决策网络模型进行制动系统电子部件的动作决策，得到最优的的动作组合，基于动作组合实现对目标车辆制动压力的精准控制。

Description

基于强化学习的制动压力控制方法、装置、设备及介质

技术领域

本发明涉及制动压力控制技术领域，尤其涉及一种基于强化学习的制动压力控制方法、装置及电子设备。

背景技术

线控制动系统是自动驾驶车辆在自动紧急制动工况下的核心部件，决定汽车在行驶过程中的安全，也是汽车驾驶员在车辆失控情况下重要的主动安全器件，会自动在各个车轮上应用制动器，并允许驾驶员保持对车辆的控制。

目前，量产车辆的线控制动系统多数是基于现有的车身电子稳定控制系统(Electronic Stability Control，ESC)产品上做开发，ESC部件串联连接了车辆制动踏板和四轮制动轮缸，主要组成有：电机、柱塞泵、电磁阀、蓄能器。线控制动的核心就是通过ESC阀体内部电机和阀体的组合逻辑，实现对制动轮缸的控制。

当前，市面上ESC阀体控制主要是基于规则控制逻辑实现的，所谓规则控制，即按照各个阀体的开关组合逻辑以及电机的转动，对四个车轮的轮缸实现增压、保压、泄压三种压力控制方式。该类型控制方式稳定，但受制于电磁阀的硬件条件，当前阀体有效开度较低(国产一般为30％-55％)，在执行时阀芯比较容易出现全开或全闭的情况，导致其压力分辨范围较小，无法实现精准压力控制，从而无法精准控制车辆姿态。

同时，面向乘用车市场，由于车重、车尺寸、车重心等参数不同，在开发时，通常选择不同功率大小、不同参数电磁阀、不同体积大小蓄能器进行实验标定和道路模拟，选择合适的阀体参数，但所需投入的开发周期长，人力资源投入大。

面向制动系的控制，由于存在液压滞后等问题，目前在实际控制中，确定了增压、保压、泄压组合后，通过观测组合所持续的时间对车身姿态的影响，评估车辆刹车距离、车轮滑移率、车辆航向偏角等数据，来确定阀体和电机组合所持续的工作时间，但其所能控制的压力精度、范围、分辨率有限。

发明内容

本发明提供了一种基于强化学习的制动压力控制方法、装置及电子设备，以实现对车辆制动压力的精准控制。

根据本发明的一方面，提供了一种基于强化学习的制动压力控制方法，包括：

获取目标车辆的当前传感信息，其中，所述当前传感信息包括所述目标车辆的状态信息和外部工况信息；

将所述当前传感信息输入至目标决策网络模型进行制动系统电子部件的动作决策，其中，所述目标决策网络模型是根据奖励函数进行强化学习获得的，所述奖励函数是基于车辆的制动压力构建的；

基于所述目标决策网络模型输出的目标动作，对所述制动系统电子部件的当前动作进行调整，以控制所述目标车辆的制动压力。

根据本发明的另一方面，提供了一种基于强化学习的制动压力控制装置，包括：

传感信息获取模块，用于获取目标车辆的当前传感信息，其中，所述当前传感信息包括所述目标车辆的状态信息和外部工况信息；

动作决策模块，用于将所述当前传感信息输入至目标决策网络模型进行制动系统电子部件的动作决策，其中，所述目标决策网络模型是根据奖励函数进行强化学习获得的，所述奖励函数是基于车辆的制动压力构建的；

动作调整模块，用于基于所述目标决策网络模型输出的目标动作，对所述制动系统电子部件的当前动作进行调整，以控制所述目标车辆的制动压力。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；

以及与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的基于强化学习的制动压力控制方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的基于强化学习的制动压力控制方法。

本发明实施例的技术方案，通过将目标车辆的当前传感信息输入至目标决策网络模型进行制动系统电子部件的动作决策；然后基于目标决策网络模型输出的目标动作，对制动系统电子部件的当前动作进行调整，以控制目标车辆的制动压力。解决了目前车辆制动方式对制动压力控制不精确的技术问题，通过将车辆的传感信息输入目标决策模型，目标决策网络模型进行制动系统电子部件的动作决策，得到最优的动作组合，基于动作组合实现对目标车辆制动压力的精准控制。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于强化学习的制动压力控制方法的流程图；

图2为本发明又一实施例提供的一种基于强化学习的制动压力控制方法的流程图；

图3为本发明实施例提供的一种基于强化学习的制动压力控制装置的结构示意图；

图4为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1为本发明实施例提供的一种基于强化学习的制动压力控制方法的流程图，本实施例可适用于通过强化学习确定出ESC阀体的最优动作组合，以实现对车辆的制动压力进行精确控制的情况，该方法可以由基于强化学习的制动压力控制装置来执行，该装置可以采用硬件和/或软件的形式实现，该装置可配置于车辆中。如图1所示，该方法包括：

S110、获取目标车辆的当前传感信息。

在本发明实施例中，目标车辆的当前传感信息包括目标车辆的状态信息和外部工况信息；目标车辆可以是安装ESC制动阀体系统且有制动压力紧急控制需求的车辆。目标车辆的状态信息指的是反映目标车辆状态的数据信息，例如，车辆对应的速度、加速度、转角和轮速信息；外部工况信息可以是车辆所处的路况相关的信息，如车辆所行驶的道路的类型等。

在上述方案基础上，通过各种传感器获取目标车辆的状态信息，传感器选择如下：选用速度传感器、加速度计、陀螺仪、轮速传感器和转角传感器等，确保准确感知车辆当前状态和外部环境信息。

还需要说明的是，目标车辆的当前传感信息以数据形式存在，为了保证数据的准确性、可靠性和对目标车辆制动压力控制的精确性，在获取到目标车辆的当前传感信息对应的数据后，还可以对数据预处理：对传感器数据进行滤波、去噪和校准。

S120、将所述当前传感信息输入至目标决策网络模型进行制动系统电子部件的动作决策。

在本发明实施例中，目标决策模型可以理解为预先训练好的机器学习模型，例如，目标决策模型可以是强化学习模型；制动系统可以是ESC系统，相应的电子部件可以包括电磁阀、柱塞泵、电机和蓄能器，以及必要的控制电路。

其中，电磁阀能够根据控制信号进行开关动作，电机能够根据控制信号调整柱塞泵的输出液压油液，蓄能器能够根据阀体动作存储油液。

ESC系统组成主要有：控制系统单元、传感器单元、执行器单元、电源模块。其中控制系统单元包括：MCU计算单元、NPU计算单元、存储单元等。传感器单元包括：压力传感器，主要安装在四个车轮和脚踩制动主缸位置。执行器单元包括：电磁阀、电机。电源模块包括：可以稳定供应12V电压、60A电流的稳压器件。

在本发明实施例中，目标决策网络模型是根据奖励函数进行强化学习获得的，奖励函数是基于车辆的制动压力构建的。

具体的，强化学习基本思想是通过与环境的交互，让智能体学习到如何在给定情况下采取最优的行动，以最大化奖励函数。在汽车制动压力控制中，智能体是汽车的制动系统，环境是汽车使用的ESC系统和制动压力，动作则是通过电磁阀的阀体和电机的组合动作实现制动压力的调整，奖励则是目标制动压力和实际制动压力直接的差值，奖励函数用于表示目标制动压力和实际制动压力之间差异的函数。

为了实现这一目标，需要构建一个深度强化学习模型。首先，通过在各种驾驶条件、路况下、不同阀体组合下进行制动压力控制实验，智能体可以收集到状态、行动和奖励的数据。然后，利用这些数据训练深度强化学习模型，以学习到在不同情况下如何调电机和阀体的组合动作以达到目标制动压力。

S130、基于所述目标决策网络模型输出的目标动作，对所述制动系统电子部件的当前动作进行调整，以控制所述目标车辆的制动压力。

在本实施例中，目标决策网络模型能够基于目标车辆的当前传感信息进行决策，输出相应的决策结果，决策结果即为输出的目标动作；目标动作可以是制动系统中各电子部件所需执行的动作，例如，电磁阀需要开启或者关闭，电机的转速需要调整为多少。

进一步，制动系统会分析制动系统中各电子部件的当前状态，判断电子部件当前的动作是否与目标动作一致。如果发现当前动作与目标动作存在差异，系统会根据这些差异生成调整指令。这些指令可能是对电子部件的驱动电流、驱动电压或驱动频率等进行调整。制动系统电子部件接收到调整指令后，会执行相应的动作，以实现对制动压力的精确控制。

通过目标决策网络模型输出的目标动作，制动系统能够实现对目标车辆制动压力的精确、快速和智能控制，有助于提高车辆的制动性能和安全性。

在本发明实施例中，所述制动系统的电子部件包括电磁阀和电机，所述基于所述目标决策网络模型输出的目标动作，对所述制动系统电子部件的当前动作进行调整，包括：基于所述目标动作对所述制动系统中所述电机的转速和所述电磁阀的阀体动作进行调整。

其中，电磁阀包括增压阀、泄压阀、限压阀和吸入阀中的至少一种，阀体动作包括所述电磁阀的开度和开启时间。

在制动系统中，电子部件如电磁阀和电机是实现制动压力控制的关键部分。根据目标决策网络模型输出的目标动作，对电子部件的当前动作进行调整，可以确保制动压力与目标值一致。电机的转速对于制动压力的调节至关重要，通过调整电机的转速，可以改变制动系统的响应速度和制动压力的增长或减小速率。系统会根据目标决策网络模型输出的目标动作，计算出所需的电机转速，并对其进行调整。

电磁阀在制动系统中起着控制制动液流动的作用，从而调节制动压力。根据目标动作，系统可以对电磁阀的开度和开启时间进行调整，以实现制动压力的精确控制。例如，通过调整增压阀的开度，可以控制制动压力的增长；通过调整泄压阀的开度，可以控制制动压力的减小。限压阀和吸入阀也具有类似的作用。

通过同时调整电机的转速和电磁阀的阀体动作，制动系统能够快速、准确地响应目标决策网络模型输出的目标动作，确保制动压力与目标值一致。这种方法有助于提高车辆的制动性能和安全性，并增强制动系统的智能化水平。

在上述实施例的基础上，所述对所述制动系统电子部件的当前动作进行调整，以控制所述目标车辆的制动压力，包括：通过所述电机的转速和所述电磁阀的阀体动作进行调整，以改变所述制动系统中液压油液的压力，并通过液压油液的压力控制所述目标车辆的制动压力。

在一优选的实施例中，在所述对所述制动系统电子部件的当前动作进行调整之前，还包括：基于所述目标车辆的当前传感信息和预设规则控制逻辑，确定所述目标车辆的压力控制范围；根据所述目标动作确定与所述目标动作对应的制动压力，在所述制动压力处于所述压力制动范围时，以基于所述目标动作对所述制动系统电子部件的当前动作进行调整。

可以理解的是，为了实现更精准的汽车制动压力控制，结合强化学习和传统的控制规则，形成一种双冗余的控制策略。在这种策略中，强化学习主要用于处理复杂的驾驶环境，而传统的控制规则则作为基础的控制逻辑，确保在各种工况下能提供基本的制动压力控制。其中，预设规则控制逻辑即为传统的控制规则。

具体来说，当汽车行驶过程中遇到突发情况ESC介入时，目标决策网络模型会快速地根据当前的环境和车辆状态调整制动压力，以实现最佳的制动效果或驾驶安全。而传统的控制规则则提供了一个基础的压力调整范围，在保证各工况下都可以实现制动，并且使得制动压力不会因为强化学习的快速调整而超出安全范围。

在一种较优的实施例中，通过设置双冗余决策机制车辆的制动压力控制，双冗余决策机制中有两个主要的决策单元：强化学习控制器和规则控制器。这两个单元在制动压力控制系统中协同工作，以确保在各种情况下都能做出正确的决策。

强化学习控制器通过与环境的交互进行学习，并基于奖励信号来优化其策略。利用强化学习算法来不断更新阀体和电机之间的控制策略，以便在给定状态下选择最优的动作。控制器能够处理不确定性和非线性问题，并适应各种动态变化。

规则控制器基于预定义的增压、保压、泄压规则和逻辑进行决策。这些规则基于标定数据，用于处理一些常见和确定的场景。规则控制器在强化学习控制器无法处理的情况下提供备用决策方案，从而提高了系统的可靠性和安全性。

在运行过程中，双冗余决策机制首先使用强化学习控制器进行决策。如果强化学习控制器无法做出决策或其决策被视为不可靠，则规则控制器将介入并做出决策。这样可以确保系统在任何情况下都能做出正确的决策，同时减少了对单一控制器的依赖，进一步提高了系统的可靠性和安全性。

本发明实施例的技术方案，通过将目标车辆的当前传感信息输入至目标决策网络模型进行制动系统电子部件的动作决策；然后基于目标决策网络模型输出的目标动作，对制动系统电子部件的当前动作进行调整，以控制目标车辆的制动压力。解决了目前车辆制动方式对制动压力控制不精确的技术问题，通过将车辆的传感信息输入目标决策模型，目标决策网络模型进行制动系统电子部件的动作决策，得到最优的动作组合，基于动作组合实现对目标车辆制动压力的精准控制。

图2为本发明又一实施例提供的一种基于强化学习的制动压力控制方法的流程图，本实施例是在上述实施例的基础上，对目标决策网路模型的训练过程进一步说明，其具体的实施方式可以参见本实施例技术方案。其中，与上述实施例相同或者相应的技术术语在此不再赘述。如图2所示，该方法包括：

S210、获取样本车辆的样本传感信息和样本制动压力，将所述样本传感信息输入至待训练决策网络模型进行所述制动系统电子部件的动作决策。

在本实施例中，样本车辆可以是用于采集训练样本数据的车辆，即获取样本车辆的传感信息作为样本传感信息，样本制动压力可以是预先设置的，当车辆处于样本传感信息的状态下所需要的制动压力。待训练决策网络模型可以是未经过训练和学习的强化学习模型。

进而，基于样本传感信息和样本制动压力训练待训练决策网络模型，可以先将样本传感信息输入至待训练决策网络模型进行制动系统电子部件的动作决策，根据决策结果调整电子部件的动作，进而检测制动压力以判断当前的动作决策所能达到制动压力是否满足预期。

S220、基于所述待训练决策网络模型输出的待调整动作，根据所述待调整动作对所述样本车辆的制动系统电子部件的当前动作进行调整，并获取所述样本车辆的当前制动压力。

在本实施例中，待调整动作可以是待训练决策模型根据样本传感信息决策后输出的动作，根据待调整动作判断样本车辆的制动系统的各电子部件对应的当前动作是否与待调整动作一致，如果不一致则需要按照待调整动作对各电子部件的当前动作进行调整，进而通过传感器获取样本车辆的当前制动压力。

S230、基于所述当前制动压力、所述样本制动压力和所述奖励函数，调整所述待训练决策网络模型的网络参数，得到所述目标决策网络模型。

其中，奖励函数可以是用于评估制动效果的函数，奖励函数可以体现当前制动压力与样本制动压力之间的差异，判断待训练决策模型输出的待调整动作是否可以使制动系统输出的当前制动压力和样本制动压力之间偏差较小，实现较好的制动效果。

可以理解的是，可能当前制动压力和理想的样本制动压力之间存在偏差，可以通过奖励函数评价两者之间的偏差程度，进而调整待训练决策网络模型的网络参数，重复进行迭代训练过程，直至待训练决策模型能够输出较优的动作决策结果，并将训练结束时对应的待训练决策网络模型作为目标决策网络模型。

为了进一步明确本发明实施例的方案，对强化学习模型的详细设计作如下说明：

首先，对制动系统进行建模。根据电磁阀和柱塞泵的工作原理，建立数学模型来描述制动压力控制的过程。使用系统状态空间模型来描述制动系统的动态行为。

涉及定义状态空间、动作空间和奖励函数。状态空间是系统状态的集合，包括增压阀x4、泄压阀x4、限压阀x2、吸入阀x2、电机x1在内，控制的维度共有13维，13维度的控制意味着有13个独立的控制参数或变量。要计算这13个维度所有可能的组合方式，需要考虑每一个维度都有其独立的状态或值。其中，上述4、4、2、2、1代表各种阀体数量。

动作空间是智能体可以采取的动作的集合，阀体的每一个维度都有两个状态(开/关)，那么组合数量将是2的12次方。这是因为对于每一个维度，都有两种选择，所以12个阀的维度将会有2的12次方种组合方式。组合数量4096种组合方式。加上电机控制的柱塞泵在内，电机是可调转速0-3000r/min的器件，组合方式多达上万种，状态空间的维度极高。如果直接进行全组合验证，不仅实验成本高昂，而且在实际操作中也是非常困难的。因此，为了简化验证过程并提高效率，采取了一种分步验证的方法。第一步使用单侧回路进行初步验证，包括增压阀x2、泄压阀x1、限压阀x1、吸入阀x1、电机x1。单侧回路验证简化了验证方法，只考虑控制系统的单侧行为，即只关注系统在某些特定条件下的表现。通过单侧回路验证，可以快速排除一些明显不合理的组合方式，从而缩小后续验证的范围。通过选取关键的维度和特征，将高维度的状态空间简化为低维度的子空间。降维后的状态空间更加易于处理和分析，同时也能够保留系统的主要特征和行为。接下来，将这64种组合泛化至其他三个回路中进行进一步的验证。通过将模型在某一数据集上的表现推广到其他数据集上，以检验模型的泛化能力。在本控制系统，泛化将一种控制策略应用于不同的回路中，以验证其普适性和鲁棒性。

在可选的实施例方式中，奖励函数用于评估不同动作的效果，包括:与目标压力偏差、压力控制稳定性和压力优化目标。通过设计奖励函数，引导智能体实现这三个目标。奖励函数是强化学习中的关键组成部分，它定义了智能体在不同状态下所获得的奖励信号。通过调整奖励函数的设计，可以使智能体更好地实现这些目标。

在本发明实施例中，所述目标奖励函数包括压力偏差函数，所述基于所述当前制动压力、所述样本制动压力和所述奖励函数，调整所述待训练决策网络模型的网络参数，包括：

将所述当前制动压力和所述样本制动压力代入至所述压力偏差函数得到压力偏差值，基于所述压力偏差值确定目标奖励值，并根据所述目标奖励值调整所述待训练决策模型的网络参数。

其中，压力偏差函数即为表示当前制动压力和样本制动压力之间差值的函数。

具体的，与目标压力偏差是评估压力控制效果的重要指标。如果智能体所采取的动作能够使实际压力迅速接近目标压力，那么它应该获得较高的奖励值。相反，如果实际压力与目标压力偏差较大，智能体应获得较低的奖励值。通过这种方式，奖励函数可以鼓励智能体采取能够减小压力偏差的动作。

在一种优选的实施例中，所述目标奖励函数包括压力控制稳定性函数，所述基于所述当前制动压力、所述样本制动压力和所述奖励函数，调整所述待训练决策网络模型的网络参数，包括：将所述当前制动压力、所述样本制动压力代入至所述压力控制稳定性函数，得到压力波动范围；基于所述压力波动范围确定目标奖励值，并根据所述目标奖励值调整所述待训练决策模型的网络参数。

其中，压力控制稳定性函数为用于表示制动压力控制稳定性的函数。

具体的，与目标压力偏差是评估压力控制效果的重要指标。如果智能体所采取的动作能够使实际压力迅速接近目标压力，那么它应该获得较高的奖励值。相反，如果实际压力与目标压力偏差较大，智能体应获得较低的奖励值。通过这种方式，奖励函数可以鼓励智能体采取能够减小压力偏差的动作。

S240、获取目标车辆的当前传感信息，其中，所述当前传感信息包括所述目标车辆的状态信息和外部工况信息。

S250、将所述当前传感信息输入至目标决策网络模型进行制动系统电子部件的动作决策。

S260、基于所述目标决策网络模型输出的目标动作，对所述制动系统电子部件的当前动作进行调整，以控制所述目标车辆的制动压力。

本发明实施例的技术方案，通过将目标车辆的当前传感信息输入至目标决策网络模型进行制动系统电子部件的动作决策；然后基于目标决策网络模型输出的目标动作，对制动系统电子部件的当前动作进行调整，以控制目标车辆的制动压力。解决了目前车辆制动方式对制动压力控制不精确的技术问题，通过将车辆的传感信息输入目标决策模型，目标决策网络模型进行制动系统电子部件的动作决策，得到最优的动作组合，基于动作组合实现对目标车辆制动压力的精准控制。

本发明实施例的技术方案，通过目标决策网络模型决策出最优的动作组合，提高制动性能，精准控制制动压力，可以确保四个车轮达到所需的制动力，从而缩短制动距离，提高制动性能，提高行车的安全性。保持车辆稳定性，通过精准控制制动压力，可以避免制动过程中出现车轮抱死或制动力不足的情况，从而保持车辆的稳定性，减少制动时发生侧滑或翻车的风险。提高乘坐舒适性：精准控制制动压力可以减少制动过程中车辆的晃动和颠簸，提高乘坐舒适性。延长制动系统寿命：通过精准控制制动压力，可以减少制动系统的磨损，从而延长制动系统各部件的寿命，降低维修成本。

此外，还可以根据场景需求设置相应的奖励函数，以奖励值最高为目标迭代待训练决策网络模型，在保证制动压力的前提下，提高行车经济性，精准控制制动压力可以减少不必要的制动，从而减少轮胎磨损和制动系统的损耗，提高行车经济性。

本发明实现了在控制器内部实现高效率的寻优控制策略，可以让控制模型自动高频次优化迭代，通过调节系统模型参数和设计更复杂的测试用例，实现测试场景的全覆盖以及控制参数的最优化，可以达到降本增效效果，降低开发和标定成本，更好适配不同品牌和型号的车型。

图3为本发明实施例提供的一种基于强化学习的制动压力控制装置的结构示意图。如图3所示，该装置包括：

传感信息获取模块，用于获取目标车辆的当前传感信息，其中，所述当前传感信息包括所述目标车辆的状态信息和外部工况信息；

动作决策模块，用于将所述当前传感信息输入至目标决策网络模型进行制动系统电子部件的动作决策，其中，所述目标决策网络模型是根据奖励函数进行强化学习获得的，所述奖励函数是基于车辆的制动压力构建的；

动作调整模块，用于基于所述目标决策网络模型输出的目标动作，对所述制动系统电子部件的当前动作进行调整，以控制所述目标车辆的制动压力。

本发明实施例的技术方案，通过将目标车辆的当前传感信息输入至目标决策网络模型进行制动系统电子部件的动作决策；然后基于目标决策网络模型输出的目标动作，对制动系统电子部件的当前动作进行调整，以控制目标车辆的制动压力。解决了目前车辆制动方式对制动压力控制不精确的技术问题，通过将车辆的传感信息输入目标决策模型，目标决策网络模型进行制动系统电子部件的动作决策，得到最优的动作组合，基于动作组合实现对目标车辆制动压力的精准控制。

在上述技术方案的基础上，还包括模型训练模块，所述模型训练模块包括：

样本获取子模块，用于在将所述当前传感信息输入至目标决策网络模型进行制动系统电子部件的动作决策之前，

获取样本车辆的样本传感信息和样本制动压力，将所述样本传感信息输入至待训练决策网络模型进行所述制动系统电子部件的动作决策；

当前动作调整子模块，用于基于所述待训练决策网络模型输出的待调整动作，根据所述待调整动作对所述样本车辆的制动系统电子部件的当前动作进行调整，并获取所述样本车辆的当前制动压力；

网络参数调整子模块，用于基于所述当前制动压力、所述样本制动压力和所述奖励函数，调整所述待训练决策网络模型的网络参数，得到所述目标决策网络模型。

在上述技术方案的基础上，所述目标奖励函数包括压力偏差函数，所述网络参数调整子模块，包括：

第一调整单元，用于将所述当前制动压力和所述样本制动压力代入至所述压力偏差函数得到压力偏差值，基于所述压力偏差值确定目标奖励值，并根据所述目标奖励值调整所述待训练决策模型的网络参数。

在上述技术方案的基础上，所述目标奖励函数包括压力控制稳定性函数，所述网络参数调整子模块，包括：

第二调整单元，用于将所述当前制动压力、所述样本制动压力代入至所述压力控制稳定性函数，得到压力波动范围；

基于所述压力波动范围确定目标奖励值，并根据所述目标奖励值调整所述待训练决策模型的网络参数。

在上述技术方案的基础上，所述制动系统的电子部件包括电磁阀和电机，所述动作调整模块，用于基于所述目标动作对所述制动系统中所述电机的转速和所述电磁阀的阀体动作进行调整；

其中，所述电磁阀包括增压阀、泄压阀、限压阀和吸入阀中的至少一种，所述阀体动作包括所述电磁阀的开度和开启时间。

在上述技术方案的基础上，所述动作调整模块，具体用于：

通过所述电机的转速和所述电磁阀的阀体动作进行调整，以改变所述制动系统中液压油液的压力，并通过液压油液的压力控制所述目标车辆的制动压力。

在上述技术方案的基础上，还包括调整子模块，用于在所述对所述制动系统电子部件的当前动作进行调整之前，基于所述目标车辆的当前传感信息和预设规则控制逻辑，确定所述目标车辆的压力控制范围；

根据所述目标动作确定与所述目标动作对应的制动压力，在所述制动压力处于所述压力制动范围时，以基于所述目标动作对所述制动系统电子部件的当前动作进行调整。

本发明实施例所提供的基于强化学习的制动压力控制装置可执行本发明任意实施例所提供的基于强化学习的制动压力控制方法，具备执行方法相应的功能模块和有益效果。

图4为本发明实施例提供的一种电子设备的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图4所示，电子设备40包括至少一个处理器41，以及与至少一个处理器41通信连接的存储器，如只读存储器(ROM)42、随机访问存储器(RAM)43等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器41可以根据存储在只读存储器(ROM)42中的计算机程序或者从存储单元48加载到随机访问存储器(RAM)43中的计算机程序，来执行各种适当的动作和处理。在RAM 43中，还可存储电子设备40操作所需的各种程序和数据。处理器41、ROM 42以及RAM 43通过总线44彼此相连。输入/输出(I/O)接口45也连接至总线44。

电子设备40中的多个部件连接至I/O接口45，包括：输入单元46，例如键盘、鼠标等；输出单元47，例如各种类型的显示器、扬声器等；存储单元48，例如磁盘、光盘等；以及通信单元49，例如网卡、调制解调器、无线通信收发机等。通信单元49允许电子设备40通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器41可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器41的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器41执行上文所描述的各个方法和处理，例如基于强化学习的制动压力控制方法。

在一些实施例中，基于强化学习的制动压力控制方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元48。在一些实施例中，计算机程序的部分或者全部可以经由ROM 42和/或通信单元49而被载入和/或安装到电子设备40上。当计算机程序加载到RAM 43并由处理器41执行时，可以执行上文描述的基于强化学习的制动压力控制方法的一个或多个步骤。备选地，在其他实施例中，处理器41可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于强化学习的制动压力控制方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种基于强化学习的制动压力控制方法，其特征在于，包括：

获取目标车辆的当前传感信息，其中，所述当前传感信息包括所述目标车辆的状态信息和外部工况信息；

将所述当前传感信息输入至目标决策网络模型进行制动系统电子部件的动作决策，其中，所述目标决策网络模型是根据奖励函数进行强化学习获得的，所述奖励函数是基于车辆的制动压力构建的；

基于所述目标决策网络模型输出的目标动作，对所述制动系统电子部件的当前动作进行调整，以控制所述目标车辆的制动压力。

2.根据权利要求1所述的方法，其特征在于，在将所述当前传感信息输入至目标决策网络模型进行制动系统电子部件的动作决策之前，还包括：

获取样本车辆的样本传感信息和样本制动压力，将所述样本传感信息输入至待训练决策网络模型进行所述制动系统电子部件的动作决策；

基于所述待训练决策网络模型输出的待调整动作，根据所述待调整动作对所述样本车辆的制动系统电子部件的当前动作进行调整，并获取所述样本车辆的当前制动压力；

基于所述当前制动压力、所述样本制动压力和所述奖励函数，调整所述待训练决策网络模型的网络参数，得到所述目标决策网络模型。

3.根据权利要求2所述的方法，其特征在于，所述目标奖励函数包括压力偏差函数，所述基于所述当前制动压力、所述样本制动压力和所述奖励函数，调整所述待训练决策网络模型的网络参数，包括：

将所述当前制动压力和所述样本制动压力代入至所述压力偏差函数得到压力偏差值，基于所述压力偏差值确定目标奖励值，并根据所述目标奖励值调整所述待训练决策模型的网络参数。

4.根据权利要求2所述的方法，其特征在于，所述目标奖励函数包括压力控制稳定性函数，所述基于所述当前制动压力、所述样本制动压力和所述奖励函数，调整所述待训练决策网络模型的网络参数，包括：

将所述当前制动压力、所述样本制动压力代入至所述压力控制稳定性函数，得到压力波动范围；

基于所述压力波动范围确定目标奖励值，并根据所述目标奖励值调整所述待训练决策模型的网络参数。

5.根据权利要求1所述的方法，其特征在于，所述制动系统的电子部件包括电磁阀和电机，所述基于所述目标决策网络模型输出的目标动作，对所述制动系统电子部件的当前动作进行调整，包括：

基于所述目标动作对所述制动系统中所述电机的转速和所述电磁阀的阀体动作进行调整；

其中，所述电磁阀包括增压阀、泄压阀、限压阀和吸入阀中的至少一种，所述阀体动作包括所述电磁阀的开度和开启时间。

6.根据权利要求5所述的方法，其特征在于，所述对所述制动系统电子部件的当前动作进行调整，以控制所述目标车辆的制动压力，包括：

通过所述电机的转速和所述电磁阀的阀体动作进行调整，以改变所述制动系统中液压油液的压力，并通过液压油液的压力控制所述目标车辆的制动压力。

7.根据权利要求1所述的方法，其特征在于，在所述对所述制动系统电子部件的当前动作进行调整之前，还包括：

基于所述目标车辆的当前传感信息和预设规则控制逻辑，确定所述目标车辆的压力控制范围；

根据所述目标动作确定与所述目标动作对应的制动压力，在所述制动压力处于所述压力制动范围时，以基于所述目标动作对所述制动系统电子部件的当前动作进行调整。

8.一种基于强化学习的制动压力控制装置，其特征在于，包括：

传感信息获取模块，用于获取目标车辆的当前传感信息，其中，所述当前传感信息包括所述目标车辆的状态信息和外部工况信息；

动作决策模块，用于将所述当前传感信息输入至目标决策网络模型进行制动系统电子部件的动作决策，其中，所述目标决策网络模型是根据奖励函数进行强化学习获得的，所述奖励函数是基于车辆的制动压力构建的；

动作调整模块，用于基于所述目标决策网络模型输出的目标动作，对所述制动系统电子部件的当前动作进行调整，以控制所述目标车辆的制动压力。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的基于强化学习的制动压力控制方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的基于强化学习的制动压力控制方法。