CN117863969B - 一种考虑电池损耗的电动汽车充放电控制方法及系统 - Google Patents
一种考虑电池损耗的电动汽车充放电控制方法及系统 Download PDFInfo
- Publication number
- CN117863969B CN117863969B CN202410285603.4A CN202410285603A CN117863969B CN 117863969 B CN117863969 B CN 117863969B CN 202410285603 A CN202410285603 A CN 202410285603A CN 117863969 B CN117863969 B CN 117863969B
- Authority
- CN
- China
- Prior art keywords
- battery
- historical
- discharge
- value
- health degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000036541 health Effects 0.000 claims abstract description 180
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 238000007599 discharging Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 18
- 230000002787 reinforcement Effects 0.000 claims abstract description 17
- 230000005611 electricity Effects 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 230000008901 benefit Effects 0.000 abstract description 11
- 238000005457 optimization Methods 0.000 abstract description 10
- 230000007547 defect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 6
- 229910052744 lithium Inorganic materials 0.000 description 6
- 238000009826 distribution Methods 0.000 description 4
- 239000007789 gas Substances 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000157 electrochemical-induced impedance spectroscopy Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000003915 air pollution Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002803 fossil fuel Substances 0.000 description 1
- 239000005431 greenhouse gas Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Landscapes
- Secondary Cells (AREA)
- Charge And Discharge Circuits For Batteries Or The Like (AREA)
Abstract
本发明属于电动汽车充放电控制技术领域，具体涉及一种考虑电池损耗的电动汽车充放电控制方法及系统。首先获取电动汽车状态数据，包括电价、用户设定的充电完毕时间、当前周期的电池电量预测值和用户期望充电完毕时的电池电量；当前周期的电池电量预测值由电池电量百分比和电池健康度预测模型获得的电池健康度预测值计算获得；将电动汽车状态数据输入强化学习模型，得到电动汽车充放电功率。本发明提供方法基于强化学习算法，提升了用户在充放电过程中的收益；与未考虑电池损耗影响的算法相比，提出的方法造成的电池健康度损耗较小；克服了现有技术中的基于模型的优化方法在实际应用中的缺陷，且动态环境工况有着更好的适用性。
Description
技术领域
本发明属于电动汽车充放电控制技术领域，具体涉及一种考虑电池损耗的电动汽车充放电控制方法及系统。
背景技术
电动汽车（electric vehicle, EV）作为传统化石燃料驱动汽车的有力替代方案，具备减少温室气体排放和空气污染的潜力。然而，电动汽车的迅猛增长也为电力网络带来了新的诸多挑战，包括电力负荷的增加以及峰值电力需求的扩大。相关研究指出，即便电动汽车仅增加10%，也可能会导致电力网络电压曲线出现显著波动。
车辆到电网（vehicle-to-grid, V2G）和电网到车辆（grid-to-vehicle, G2V）被认为是解决这一问题的有效技术。车辆可以在电力低谷时充电，在电力高峰时放电，参与到电网的电力调控。然而，动态电价、电池健康度以及人类行为等不确定性因素，增加了制定充电策略的复杂性。
目前，电动汽车充放电控制算法在用户侧考虑充放电的收益问题，却忽略了电动汽车电池的寿命限制，过多的电池循环次数会显著降低电池寿命，提升用户的使用隐性开销。然而，电池健康度受到电压、电流和温度等因素的影响，其预测是一项难题。目前，电动汽车充放电控制算法可以分为两类，即基于模型的优化方法和基于无模型的强化学习方法。其中，基于模型的方法假设环境完全可观察，需要保持明确的优化模型，在实际应用中不可满足。
发明内容
本发明的目的在于提供一种考虑电池损耗的电动汽车充放电控制方法及系统，以解决现有技术中存在的未考虑到电池损耗，用户隐形开销高，且基于模型的方法在实际应用中条件难以达到的问题。
为了解决上述技术问题，本发明采用如下技术方案：
第一方面，本发明提供一种考虑电池损耗的电动汽车充放电控制方法，包括：
获取电动汽车状态数据，所述电动汽车状态数据包括电价、用户设定的充电完毕时间、当前周期的电池电量预测值和用户期望充电完毕时的电池电量；
将电动汽车状态数据输入强化学习模型，得到电动汽车充放电功率；
输出电动汽车的充放电功率；
其中，当前周期的电池电量预测值通过以下步骤获得：
获取当前周期放电数据、电池历史健康度真实值和累计容量损失，所述当前周期放电数据包括当前周期的电池放电电压、电池放电电流和电池工作温度；将当前周期放电数据、电池历史健康度真实值和累计容量损失带入训练好的电池健康度预测模型得到当前周期电池健康度预测值；通过当前周期电池健康度预测值获得当前周期的电池电量预测值；
所述训练好的电池健康度预测模型通过以下步骤获得：
获取电池历史放电数据和每个周期放电结束后的电池最大容量值，所述电池历史放电数据包括每一周期的电池历史平均放电电压、电池历史平均放电电流和电池历史平均工作温度；
根据每个周期放电结束后的电池最大容量值计算电池历史健康度真实值和历史累计容量损失；
通过电池历史放电数据、电池历史健康度真实值和历史累计容量损失，获得电池健康度预测模型；
对电池健康度预测模型进行训练，得到训练好的电池健康度预测模型。
可选的，所述获取当前周期放电数据、电池历史健康度真实值和累计容量损失的步骤，具体包括：
获取每个周期放电结束后的电池最大容量值，通过每个周期放电结束后的电池最大容量值获得每个周期的电池健康度真实值，电池历史健康度真实值包括每个周期的电池健康度真实值；
获取上一周期的电池健康度真实值，根据上一周期的电池健康度真实值计算累计容量损失。
可选的，电池健康度真实值的计算公式如下：
式中：代表电池健康度真实值；/>表示第t个周期放电结束后电池最大容量值；/>代表第t个周期电池初始容量值。
可选的，累计容量损失的计算公式如下：
式中：为累计容量损失；/>为上一周期的电池健康度真实值。
可选的，所述通过当前周期电池健康度预测值获得当前周期的电池电量预测值的步骤如下：
获取电池的电量百分比，电池电量预测值的计算公式如下：
式中，为电池健康度预测值。
可选的，所述通过电池历史放电数据、电池历史健康度真实值和历史累计容量损失，获得电池健康度预测模型的步骤，具体包括：
根据电池历史放电数据和历史累计容量损失计算电池预测容量损失值：
其中：表示电池历史平均放电电压；/>表示电池历史平均放电电流；/>表示电池历史平均工作温度；/>表示神经网络；
参数、/>和/>的公式如下：
其中：A是常数；表示反应活化能；R表示通用气体常数；z表示幂律系数；
将m个周期的电池历史健康度真实值输入LSTM网络算法，获得非受迫动态系统状态值/>，公式如下：
获得的电池健康度预测模型如下：
。
可选的，所述对电池健康度预测模型进行训练，得到训练好的电池健康度预测模型的步骤，具体包括：
计算均方误差作为损失值，将得到的损失值在模型中进行反向传播，并使用随机梯度下降法对电池健康度预测模型参数进行优化，得到训练好的电池健康度预测模型；
其中，均方误差的计算公式如下：
其中：为一个训练批次的大小；/>表示一个训练批次中第i个数据批次的电池健康度预测值；/>表示一个训练批次中第i个数据批次的电池健康度真实值。
第二方面，本发明提供一种考虑电池损耗的电动汽车充放电控制系统，包括：
数据获取模块，用于获取电动汽车状态数据，所述电动汽车状态数据包括电价、用户设定的充电完毕时间、当前周期的电池电量预测值和用户期望充电完毕时的电池电量；
数据处理模块，用于将电动汽车状态数据输入强化学习模型，得到电动汽车充放电功率；
输出模块，用于输出电动汽车充放电功率；
其中，数据处理模块中当前周期的电池电量预测值通过以下步骤获得：
获取当前周期放电数据、电池历史健康度真实值和累计容量损失，所述当前周期放电数据包括当前周期的电池放电电压、电池放电电流和电池工作温度；将当前周期放电数据、电池历史健康度真实值和累计容量损失带入训练好的电池健康度预测模型得到当前周期电池健康度预测值；通过当前周期电池健康度预测值获得当前周期的电池电量预测值；
所述训练好的电池健康度预测模型通过以下步骤获得：
获取电池历史放电数据和每个周期放电结束后的电池最大容量值，所述电池历史放电数据包括每一周期的电池历史平均放电电压、电池历史平均放电电流和电池历史平均工作温度；
根据每个周期放电结束后的电池最大容量值计算电池历史健康度真实值和历史累计容量损失；
通过电池历史放电数据、电池历史健康度真实值和历史累计容量损失，获得电池健康度预测模型；
对电池健康度预测模型进行训练，得到训练好的电池健康度预测模型。
第三方面，本发明提供一种电子设备，包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现所述的一种考虑电池损耗的电动汽车充放电控制方法。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现所述的一种考虑电池损耗的电动汽车充放电控制方法。
与现有技术相比，本发明具有以下有益效果：
本发明提供一种考虑电池损耗的电动汽车充放电控制方法及系统，所述方法包括：
获取电动汽车状态数据，所述电动汽车状态数据包括电价、用户设定的充电完毕时间、当前周期的电池电量预测值和用户期望充电完毕时的电池电量；将电动汽车状态数据输入强化学习模型，得到电动汽车充放电功率；输出电动汽车的充放电功率。
其中，当前周期的电池电量预测值通过以下步骤获得：
获取当前周期放电数据、电池历史健康度真实值和累计容量损失，所述当前周期放电数据包括当前周期的电池放电电压、电池放电电流和电池工作温度；将当前周期放电数据、电池历史健康度真实值和累计容量损失带入训练好的电池健康度预测模型得到当前周期电池健康度预测值；通过当前周期电池健康度预测值获得当前周期的电池电量预测值。
所述训练好的电池健康度预测模型通过以下步骤获得：
获取电池历史放电数据和每个周期放电结束后的电池最大容量值，所述电池历史放电数据包括每一周期的电池历史平均放电电压、电池历史平均放电电流和电池历史平均工作温度；根据每个周期放电结束后的电池最大容量值计算电池历史健康度真实值和历史累计容量损失；通过电池历史放电数据、电池历史健康度真实值和历史累计容量损失，获得电池健康度预测模型；对电池健康度预测模型进行训练，得到训练好的电池健康度预测模型。
本发明提供方法基于强化学习算法，将电动汽车的充放电控制建模为一个马尔科夫决策过程，将电网中的不确定因素抽象为状态和奖励，利用SAC（ Soft Actor-Critic ）算法优化电动汽车的充放电过程，提升用户在充放电过程中的收益；采用了物理增强的混合神经网络模型预测电池损耗，结合了神经网络和传统模型算法优点，具有更准确的预测精度；与未考虑电池损耗影响的算法相比，提出的方法造成的电池健康度损耗较小；克服了现有技术中的基于模型的优化方法在实际应用中的缺陷，且动态环境工况有着更好的适用性。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明一种考虑电池损耗的电动汽车充放电控制方法流程图；
图2为本发明一种考虑电池损耗的电动汽车充放电控制系统结构图；
图3为本发明一种电子设备的结构框图；
图4为本发明提出的电池健康度预测模型结构图；
图5为本发明提出的强化学习模型在电动汽车充放电时的应用方法图；
图6为本发明提出的电池健康度预测模型在美国国家航空航天局所提供的公开锂电池实验数据集下的测试结果；
图7为本发明提出的强化学习模型在电动汽车充放电时的模拟情况；
图8为本发明提出的方法与未考虑电池损耗的方法工作时电池健康度下降情况对比图。
具体实施方式
下面将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
以下详细说明均是示例性的说明，旨在对本发明提供进一步的详细说明。除非另有指明，本发明所采用的所有技术术语与本发明所属领域的一般技术人员的通常理解的含义相同。本发明所使用的术语仅是为了描述具体实施方式，而并非意图限制根据本发明的示例性实施方式。
实施例1
请参阅图1所示，本发明提供一种考虑电池损耗的电动汽车充放电控制方法，包括：
步骤1：
收集汽车锂电池在每一周期中的放电数据，包括电池放电电压、电池放电电流和电池工作温度，以矩阵表示。其中，/>表示第t个周期中电池的平均放电电压，/>表示第t个周期中电池的平均放电电流，/>表示第t个周期中电池的平均电池温度。共对3个物理量分别进行了/>次采样。在每一周期放电结束后，通过扫频进行电化学阻抗光谱（EIS），以获得当前电池最大容量值/>。
使用电池最大容量值获得电池健康度真实值，计算公式为：
其中，代表第t个周期放电结束时的电池健康度真实值，/>代表第t个周期的电池初始容量值。
步骤2：
建立电池健康度预测模型并对模型进行本地训练，具体过程如下：
请参阅附图4所示，本发明所述电池健康度预测模型基于物理混合神经网络模型（Physical Hybrid Neural Network，PHNN）；
模型建立步骤包括：长短期记忆（Long Short-Term Memory，LSTM）网络算法获得输入，代表m个周期的历史健康状态值，通过LSTM网络算法获得锂电池当前非受迫动态系统状态值/>。其过程可以表示为：
其中，LSTM网络算法的计算过程可以表示为：
其中f表示遗忘门输出，W表示连接权重参数，表示t周期的隐藏层输出，/>表示t周期的输入，i表示输入门输出，o表示输出门输出，b表示偏移参数，/>表示中间变量，与输入门结果相乘后送入状态空间，/>表示sigmoid激活函数，其具体计算公式为：
物理启发模块获得输入四元组，数据依次通过所设计的网络结构后获得在此工作条件下电池当前周期的预测容量损失值/>，具体包括：
的计算公式为：
其中：A是常数；表示反应活化能；R表示通用气体常数；z表示幂律系数；/>表示神经网络；
为累计容量损失值，计算公式如下：
式中：为t-1周期的电池健康度真实值；
通过引入以下参数：
可将的计算公式化简为：
使用电池健康度预测模型对锂电池健康度进行预测，电池健康度预测值的计算公式如下：
式中：为电池非受迫动态系统状态值，表示电池当前可能的状态；
在电池健康度预测模型中，使用均方误差（MSE）作为损失值，并对计算得到的损失值在模型中进行反向传播，损失值通过电池健康度预测值和电池健康度真实值计算获得，计算过程表示为：
其中为一个训练批次的大小，/>表示一个训练批次中第/>个数据批次的电池健康度预测值，/>表示第/>个数据批次的电池健康度真实值。之后，采用随机梯度下降法对神经网络模型参数进行优化，得到训练好的电池健康度预测模型。
步骤3：
利用SAC或者其他算法生成t周期内的电动汽车充放电功率，同时测量锂电池的放电电压/>和电流/>。同时，测量环境温度/>和电池历史健康度真实值数据，收集到的所有电池历史健康度真实值构成/>；计算累计容量损失/>。
将获得的、/>、/>、累计容量损失/>和/>作为参数输入步骤2中得到的训练好的电池健康度预测模型，得到t周期的电池健康度预测值/>。根据t周期的电池健康度预测值/>可计算得到t周期的电池电量预测值/>，计算过程为：
其中，为电池的电量百分比。
电价的数据采用新英格兰的小时电价数据，采用过去48小时的小时电价，最后当前时刻下车辆的状态表示为：
其中，为t周期内的电价，/>和/>分别为用户设定的充电完毕时间和用户期望充电完毕时的电池电量。
重复这一过程，收集各个周期内的和/>存入一个经验回放缓存/>。
步骤4：
为了衡量用户在电动汽车充放电过程中的收益，引入了一个回报函数。回报函数的输入为、/>、/>和/>，输出为/>。/>表示t周期内采用的充放电策略会给用户带来的收益。电动汽车的充放电控制的优化目标即为对充放电策略进行优化，使得用户在此期间获得的收益最大化。
基于以上目标，采用SAC算法的强化学习模型的优化充放电策略的过程为：从步骤3的经验回放缓存中随机抽样/>和/>，输入Q神经网络中，得到/>，其中/>为神经网络参数。Q网络的训练作为一个回归任务通过最小化贝尔曼残差来实现，可表示为：
其中为额外维护的一个目标Q网络，存储了一些较老的Q参数信息，专门用于优化Q网络。目标Q网络通过移动平均算法更新/>。
策略网络也通过神经网络（参数为）来近似，其优化依赖于Q网络当前周期的输出结果/>，通过最小化KL（ Kullback-Leibler ）散度来优化：
其中，是温度系数，用于控制累计奖励的和策略熵之间的权重。/>的选择影响策略网络的最终效果，而手动确认需要大量的经验与尝试，因此，SAC通过最小化来自动调节，此处的为/>最小期望目标熵。
由于电动汽车的充电率在充电控制过程中是连续的，策略设置为高斯分布，即：
其中和/>分别表示均值和方差，也是策略网络的两个输出参数。为了支持策略网络的反向传播，SAC引入了一种重参数化的技巧，策略函数可以写作，/>从标准正态分布中随机采样。
将以上步骤重复多轮，回报函数的增长曲线趋于平稳时说明此时策略网络收敛完毕，强化学习模型得到稳定的充放电策略。
步骤5：考虑电池损耗的电动汽车充放电控制方法工作时，电动汽车的充电控制器根据车辆当前的状态生成，输入强化学习模型中得到充放电功率/>。仪器采集锂电池电压电流以及温度等数据，通过电池健康度预测模型计算下一周期的/>。根据/>可计算出/>，将/>和电价等数据组合得到下一个周期的/>。如此循环，可接管电动汽车的充放电。
实施例2
一种考虑电池损耗的电动汽车充放电控制系统，包括：
数据获取模块，用于获取电动汽车状态数据，所述电动汽车状态数据包括电价、用户设定的充电完毕时间、当前周期的电池电量预测值和用户期望充电完毕时的电池电量。
其中，数据处理模块中当前周期的电池电量预测值通过以下步骤获得：
获取当前周期放电数据、电池历史健康度真实值和累计容量损失，所述当前周期放电数据包括当前周期的电池放电电压、电池放电电流和电池工作温度；将当前周期放电数据、电池历史健康度真实值和累计容量损失带入训练好的电池健康度预测模型得到当前周期电池健康度预测值；通过当前周期电池健康度预测值获得当前周期的电池电量预测值。
所述获取当前周期放电数据、电池历史健康度真实值和累计容量损失的步骤，具体包括：
获取每个周期放电结束后的电池最大容量值，通过每个周期放电结束后的电池最大容量值获得每个周期的电池健康度真实值，电池历史健康度真实值包括每个周期的电池健康度真实值；
电池健康度真实值的计算公式如下：
式中：代表电池健康度真实值；/>表示第t个周期放电结束后电池最大容量值；/>代表第t个周期电池初始容量值；
获取上一周期的电池健康度真实值，根据上一周期的电池健康度真实值计算累计容量损失；
累计容量损失的计算公式如下：
式中：为累计容量损失；/>为上一周期的电池健康度真实值。
所述通过当前周期电池健康度预测值获得当前周期的电池电量预测值的步骤如下：
获取电池的电量百分比，电池电量预测值的计算公式如下：
式中，为电池健康度预测值。
所述训练好的电池健康度预测模型通过以下步骤获得：
获取电池历史放电数据和每个周期放电结束后的电池最大容量值，所述电池历史放电数据包括每一周期的电池历史平均放电电压、电池历史平均放电电流和电池历史平均工作温度。
根据每个周期放电结束后的电池最大容量值计算电池历史健康度真实值和历史累计容量损失。
通过电池历史放电数据、电池历史健康度真实值和历史累计容量损失，获得电池健康度预测模型，具体包括：
根据电池历史放电数据和历史累计容量损失计算电池预测容量损失值：
其中：表示电池历史平均放电电压；/>表示电池历史平均放电电流；/>表示电池历史平均工作温度；/>表示神经网络；
参数、/>和/>的公式如下：
其中：A是常数；表示反应活化能；R表示通用气体常数；z表示幂律系数；
将m个周期的电池历史健康度真实值输入LSTM网络算法，获得非受迫动态系统状态值/>，公式如下：
获得的电池健康度预测模型如下：
。
对电池健康度预测模型进行训练，得到训练好的电池健康度预测模型，具体包括以下步骤：计算均方误差作为损失值，将得到的损失值在模型中进行反向传播，并使用随机梯度下降法对电池健康度预测模型参数进行优化，得到训练好的电池健康度预测模型；
其中，均方误差的计算公式如下：
其中：为一个训练批次的大小；/>表示一个训练批次中第i个数据批次的电池健康度预测值；/>表示一个训练批次中第i个数据批次的电池健康度真实值。
数据处理模块，用于将电动汽车状态数据输入强化学习模型，得到电动汽车充放电功率；所述强化学习模型采用SAC算法，收集电动汽车历史周期内的电动汽车状态数据和电动汽车充放电功率/>存入一个经验回放缓存/>。
为了衡量用户在电动汽车充放电过程中的收益，引入了一个回报函数。回报函数的输入为、/>、/>和/>，输出为/>。/>表示t周期内采用的充放电策略会给用户带来的收益。电动汽车的充放电控制的优化目标即为对充放电策略进行优化，使得用户在此期间获得的收益最大化。
基于以上目标，采用SAC算法的强化学习模型的优化充放电策略的过程为：从步骤3的经验回放缓存中随机抽样/>和/>，输入Q神经网络中，得到/>，其中/>为神经网络参数。Q网络的训练作为一个回归任务通过最小化贝尔曼残差来实现，可表示为：
其中为额外维护的一个目标Q网络，存储了一些较老的Q参数信息，专门用于优化Q网络。目标Q网络通过移动平均算法更新/>。
策略网络也通过神经网络（参数为）来近似，其优化依赖于Q网络当前周期的输出结果/>，通过最小化KL（ Kullback-Leibler ）散度来优化：
其中，是温度系数，用于控制累计奖励的和策略熵之间的权重。/>的选择影响策略网络的最终效果，而手动确认需要大量的经验与尝试，因此，SAC通过最小化来自动调节，此处的为/>最小期望目标熵。
由于电动汽车的充电率在充电控制过程中是连续的，策略设置为高斯分布，即：
其中和/>分别表示均值和方差，也是策略网络的两个输出参数。为了支持策略网络的反向传播，SAC引入了一种重参数化的技巧，策略函数可以写作，/>从标准正态分布中随机采样。
将以上步骤重复多轮，回报函数的增长曲线趋于平稳时说明此时策略网络收敛完毕，强化学习模型得到稳定的充放电策略。
输出模块，用于输出电动汽车充放电功率。
实施例3
请参阅图3所示，本发明还提供一种实现一种考虑电池损耗的电动汽车充放电控制方法的电子设备100；所述电子设备100包括存储器101、至少一个处理器102、存储在所述存储器101中并可在所述至少一个处理器102上运行的计算机程序103及至少一条通讯总线104。
存储器101可用于存储所述计算机程序103，所述处理器102通过运行或执行存储在所述存储器101内的计算机程序，以及调用存储在存储器101内的数据，实现实施例1所述的一种考虑电池损耗的电动汽车充放电控制方法步骤。所述存储器101可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备100的使用所创建的数据(比如音频数据)等。此外，存储器101可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
所述至少一个处理器102可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器102可以是微处理器或者该处理器102也可以是任何常规的处理器等，所述处理器102是所述电子设备100的控制中心，利用各种接口和线路连接整个电子设备100的各个部分。
所述电子设备100中的所述存储器101存储多个指令以实现一种考虑电池损耗的电动汽车充放电控制方法，所述处理器102可执行所述多个指令从而实现：
获取电动汽车状态数据，所述电动汽车状态数据包括电价、用户设定的充电完毕时间、当前周期的电池电量预测值和用户期望充电完毕时的电池电量；
将电动汽车状态数据输入强化学习模型，得到电动汽车充放电功率；
输出电动汽车的充放电功率；
其中，当前周期的电池电量预测值通过以下步骤获得：
获取当前周期放电数据、电池历史健康度真实值和累计容量损失，所述当前周期放电数据包括当前周期的电池放电电压、电池放电电流和电池工作温度；将当前周期放电数据、电池历史健康度真实值和累计容量损失带入训练好的电池健康度预测模型得到当前周期电池健康度预测值；通过当前周期电池健康度预测值获得当前周期的电池电量预测值；
所述训练好的电池健康度预测模型通过以下步骤获得：
获取电池历史放电数据和每个周期放电结束后的电池最大容量值，所述电池历史放电数据包括每一周期的电池历史平均放电电压、电池历史平均放电电流和电池历史平均工作温度；
根据每个周期放电结束后的电池最大容量值计算电池历史健康度真实值和历史累计容量损失；
通过电池历史放电数据、电池历史健康度真实值和历史累计容量损失，获得电池健康度预测模型；
对电池健康度预测模型进行训练，得到训练好的电池健康度预测模型。
实施例4
所述电子设备100集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器及只读存储器(ROM，Read-Only Memory)。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (6)
1.一种考虑电池损耗的电动汽车充放电控制方法，其特征在于，包括：
获取电动汽车状态数据，所述电动汽车状态数据包括电价、用户设定的充电完毕时间、当前周期的电池电量预测值和用户期望充电完毕时的电池电量；
将电动汽车状态数据输入强化学习模型，得到电动汽车充放电功率；
输出电动汽车的充放电功率；
其中，当前周期的电池电量预测值通过以下步骤获得：
获取当前周期放电数据、电池历史健康度真实值和累计容量损失，所述当前周期放电数据包括当前周期的电池放电电压、电池放电电流和电池工作温度；将当前周期放电数据、电池历史健康度真实值和累计容量损失带入训练好的电池健康度预测模型得到当前周期电池健康度预测值；通过当前周期电池健康度预测值获得当前周期的电池电量预测值；
所述获取当前周期放电数据、电池历史健康度真实值和累计容量损失的步骤，具体包括：
获取每个周期放电结束后的电池最大容量值，通过每个周期放电结束后的电池最大容量值获得每个周期的电池健康度真实值，电池历史健康度真实值包括每个周期的电池健康度真实值；
电池健康度真实值的计算公式如下：
式中：代表电池健康度真实值；/>表示第t个周期放电结束后电池最大容量值；代表第t个周期电池初始容量值；
获取上一周期的电池健康度真实值，根据上一周期的电池健康度真实值计算累计容量损失；
累计容量损失的计算公式如下：
式中：为累计容量损失；/>为上一周期的电池健康度真实值；
所述训练好的电池健康度预测模型通过以下步骤获得：
获取电池历史放电数据和每个周期放电结束后的电池最大容量值，所述电池历史放电数据包括每一周期的电池历史平均放电电压、电池历史平均放电电流和电池历史平均工作温度；
根据每个周期放电结束后的电池最大容量值计算电池历史健康度真实值和历史累计容量损失；
通过电池历史放电数据、电池历史健康度真实值和历史累计容量损失，获得电池健康度预测模型；
对电池健康度预测模型进行训练，得到训练好的电池健康度预测模型；
所述通过电池历史放电数据、电池历史健康度真实值和历史累计容量损失，获得电池健康度预测模型的步骤，具体包括：
根据电池历史放电数据和历史累计容量损失计算电池预测容量损失值：
其中：表示电池历史平均放电电压；/>表示电池历史平均放电电流；/>表示电池历史平均工作温度；/>表示神经网络；
参数、/>和/>的公式如下：
其中：A是常数；表示反应活化能；R表示通用气体常数；z表示幂律系数；
将m个周期的电池历史健康度真实值输入LSTM网络算法，获得非受迫动态系统状态值/>，公式如下：
获得的电池健康度预测模型如下：
。
2.根据权利要求1所述的一种考虑电池损耗的电动汽车充放电控制方法，其特征在于：所述通过当前周期电池健康度预测值获得当前周期的电池电量预测值的步骤如下：
获取电池的电量百分比，电池电量预测值的计算公式如下：
式中，为电池健康度预测值。
3.根据权利要求1所述的一种考虑电池损耗的电动汽车充放电控制方法，其特征在于：所述对电池健康度预测模型进行训练，得到训练好的电池健康度预测模型的步骤，具体包括：
计算均方误差作为损失值，将得到的损失值在模型中进行反向传播，并使用随机梯度下降法对电池健康度预测模型参数进行优化，得到训练好的电池健康度预测模型；
其中，均方误差的计算公式如下：
其中：为一个训练批次的大小；/>表示一个训练批次中第i个数据批次的电池健康度预测值；/>表示一个训练批次中第i个数据批次的电池健康度真实值。
4.一种考虑电池损耗的电动汽车充放电控制系统，其特征在于，包括：
数据获取模块，用于获取电动汽车状态数据，所述电动汽车状态数据包括电价、用户设定的充电完毕时间、当前周期的电池电量预测值和用户期望充电完毕时的电池电量；
数据处理模块，用于将电动汽车状态数据输入强化学习模型，得到电动汽车充放电功率；
输出模块，用于输出电动汽车充放电功率；
其中，数据处理模块中当前周期的电池电量预测值通过以下步骤获得：
获取当前周期放电数据、电池历史健康度真实值和累计容量损失，所述当前周期放电数据包括当前周期的电池放电电压、电池放电电流和电池工作温度；将当前周期放电数据、电池历史健康度真实值和累计容量损失带入训练好的电池健康度预测模型得到当前周期电池健康度预测值；通过当前周期电池健康度预测值获得当前周期的电池电量预测值；
所述获取当前周期放电数据、电池历史健康度真实值和累计容量损失的步骤，具体包括：
获取每个周期放电结束后的电池最大容量值，通过每个周期放电结束后的电池最大容量值获得每个周期的电池健康度真实值，电池历史健康度真实值包括每个周期的电池健康度真实值；
电池健康度真实值的计算公式如下：
式中：代表电池健康度真实值；/>表示第t个周期放电结束后电池最大容量值；代表第t个周期电池初始容量值；
获取上一周期的电池健康度真实值，根据上一周期的电池健康度真实值计算累计容量损失；
累计容量损失的计算公式如下：
式中：为累计容量损失；/>为上一周期的电池健康度真实值；
所述训练好的电池健康度预测模型通过以下步骤获得：
获取电池历史放电数据和每个周期放电结束后的电池最大容量值，所述电池历史放电数据包括每一周期的电池历史平均放电电压、电池历史平均放电电流和电池历史平均工作温度；
根据每个周期放电结束后的电池最大容量值计算电池历史健康度真实值和历史累计容量损失；
通过电池历史放电数据、电池历史健康度真实值和历史累计容量损失，获得电池健康度预测模型；
对电池健康度预测模型进行训练，得到训练好的电池健康度预测模型；
所述通过电池历史放电数据、电池历史健康度真实值和历史累计容量损失，获得电池健康度预测模型的步骤，具体包括：
根据电池历史放电数据和历史累计容量损失计算电池预测容量损失值：
其中：表示电池历史平均放电电压；/>表示电池历史平均放电电流；/>表示电池历史平均工作温度；/>表示神经网络；
参数、/>和/>的公式如下：
其中：A是常数；表示反应活化能；R表示通用气体常数；z表示幂律系数；
将m个周期的电池历史健康度真实值输入LSTM网络算法，获得非受迫动态系统状态值/>，公式如下：
获得的电池健康度预测模型如下：
。
5.一种电子设备，其特征在于，包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至3中任意一项所述的一种考虑电池损耗的电动汽车充放电控制方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至3中任意一项所述的一种考虑电池损耗的电动汽车充放电控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410285603.4A CN117863969B (zh) | 2024-03-13 | 2024-03-13 | 一种考虑电池损耗的电动汽车充放电控制方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410285603.4A CN117863969B (zh) | 2024-03-13 | 2024-03-13 | 一种考虑电池损耗的电动汽车充放电控制方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117863969A CN117863969A (zh) | 2024-04-12 |
| CN117863969B true CN117863969B (zh) | 2024-05-17 |
Family
ID=90590520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410285603.4A Active CN117863969B (zh) | 2024-03-13 | 2024-03-13 | 一种考虑电池损耗的电动汽车充放电控制方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117863969B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105024432A (zh) * | 2015-07-30 | 2015-11-04 | 浙江工业大学 | 一种基于虚拟电价的电动汽车充放电优化调度方法 |
| CN110609233A (zh) * | 2019-10-25 | 2019-12-24 | 沃特威（广州）电子科技有限公司 | 一种基于大数据进行储能电池soh预测的方法 |
| CN111431198A (zh) * | 2020-03-20 | 2020-07-17 | 东南大学 | 峰谷电价下考虑电动汽车v2g能力的配电网储能调峰方法 |
| CN112083345A (zh) * | 2020-08-27 | 2020-12-15 | 欣旺达电动汽车电池有限公司 | 电池状态检测方法、装置及存储介质 |
| CN112782591A (zh) * | 2021-03-22 | 2021-05-11 | 浙江大学 | 基于多电池数据融合的锂电池soh长期预测方法 |
| CN113428049A (zh) * | 2021-08-26 | 2021-09-24 | 北京理工大学 | 一种考虑电池老化抑制的燃料电池混动汽车能量管理方法 |
| CN114744662A (zh) * | 2022-06-13 | 2022-07-12 | 华北电力大学 | 一种基于多类型电动汽车的电网调峰方法及系统 |
| CN114997935A (zh) * | 2022-07-19 | 2022-09-02 | 东南大学溧阳研究院 | 一种基于内点策略优化的电动汽车充放电策略优化方法 |
| CN116087809A (zh) * | 2023-03-17 | 2023-05-09 | 成都赛力斯科技有限公司 | 汽车电池的荷电状态值预测方法、装置、设备及存储介质 |
| WO2023130659A1 (zh) * | 2022-01-07 | 2023-07-13 | 宁德时代新能源科技股份有限公司 | 商用电动车辆能耗预测方法、装置和计算机设备 |
-
2024
- 2024-03-13 CN CN202410285603.4A patent/CN117863969B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105024432A (zh) * | 2015-07-30 | 2015-11-04 | 浙江工业大学 | 一种基于虚拟电价的电动汽车充放电优化调度方法 |
| CN110609233A (zh) * | 2019-10-25 | 2019-12-24 | 沃特威（广州）电子科技有限公司 | 一种基于大数据进行储能电池soh预测的方法 |
| CN111431198A (zh) * | 2020-03-20 | 2020-07-17 | 东南大学 | 峰谷电价下考虑电动汽车v2g能力的配电网储能调峰方法 |
| CN112083345A (zh) * | 2020-08-27 | 2020-12-15 | 欣旺达电动汽车电池有限公司 | 电池状态检测方法、装置及存储介质 |
| CN112782591A (zh) * | 2021-03-22 | 2021-05-11 | 浙江大学 | 基于多电池数据融合的锂电池soh长期预测方法 |
| CN113428049A (zh) * | 2021-08-26 | 2021-09-24 | 北京理工大学 | 一种考虑电池老化抑制的燃料电池混动汽车能量管理方法 |
| WO2023130659A1 (zh) * | 2022-01-07 | 2023-07-13 | 宁德时代新能源科技股份有限公司 | 商用电动车辆能耗预测方法、装置和计算机设备 |
| CN114744662A (zh) * | 2022-06-13 | 2022-07-12 | 华北电力大学 | 一种基于多类型电动汽车的电网调峰方法及系统 |
| CN114997935A (zh) * | 2022-07-19 | 2022-09-02 | 东南大学溧阳研究院 | 一种基于内点策略优化的电动汽车充放电策略优化方法 |
| CN116087809A (zh) * | 2023-03-17 | 2023-05-09 | 成都赛力斯科技有限公司 | 汽车电池的荷电状态值预测方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117863969A (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110341690B (zh) | 一种基于确定性策略梯度学习的phev能量管理方法 | |
| CN113515884A (zh) | 分散式电动汽车实时优化调度方法、系统、终端及介质 | |
| CN110658460B (zh) | 一种电池包的电池寿命预测方法及装置 | |
| CN112491094B (zh) | 一种混合驱动的微电网能量管理方法、系统及装置 | |
| CN113627993A (zh) | 一种基于深度强化学习的智能电动汽车充放电决策方法 | |
| Wang et al. | A comparative study of 13 deep reinforcement learning based energy management methods for a hybrid electric vehicle | |
| CN116436019B (zh) | 一种多资源协调优化方法、装置及存储介质 | |
| CN111532150A (zh) | 基于自学习的电动汽车充电控制策略优化方法及系统 | |
| CN115587645A (zh) | 一种考虑充电行为随机性的电动汽车充电管理方法及系统 | |
| CN115817183A (zh) | 一种纯电动汽车续驶里程预测方法及预测装置 | |
| CN113715669B (zh) | 电动汽车有序充电控制方法、系统、设备及可读存储介质 | |
| CN113011101B (zh) | 一种储能参与调频辅助服务优化的控制方法及其系统 | |
| Wu et al. | Confidence-aware reinforcement learning for energy management of electrified vehicles | |
| CN117863969B (zh) | 一种考虑电池损耗的电动汽车充放电控制方法及系统 | |
| CN113435663A (zh) | 一种考虑电动汽车充电负荷影响的cnn-lstm联合负荷预测方法 | |
| US20230305073A1 (en) | Method and apparatus for providing a predicted aging state of a device battery based on a predicted usage pattern | |
| CN114619907A (zh) | 基于分布式深度强化学习的协调充电方法及协调充电系统 | |
| CN114611811B (zh) | 基于ev负荷参与度的低碳园区优化调度方法及系统 | |
| CN115360741A (zh) | 现货场景下基于深度强化学习的风储灵活控制方法和装置 | |
| CN115001002A (zh) | 一种求解储能参与削峰填谷的优化调度方法和系统 | |
| CN114580251A (zh) | 一种配电台区电动汽车充电负荷分析方法及装置 | |
| CN115619441B (zh) | 一种储能电站参与日前电力交易的申报方法、介质和设备 | |
| CN112488383B (zh) | 基于电动公交车行为特性概率的储能潜力分析方法及系统 | |
| CN115730529B (zh) | 基于工况识别的phet能量管理策略生成方法及系统 | |
| CN113949084B (zh) | 一种基于非线性分位数区间预测的充放电优化调度方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |