CN112018465B - 一种多物理场约束的锂离子电池智能快速充电方法 - Google Patents

一种多物理场约束的锂离子电池智能快速充电方法 Download PDF

Info

Publication number
CN112018465B
CN112018465B CN202011087624.3A CN202011087624A CN112018465B CN 112018465 B CN112018465 B CN 112018465B CN 202011087624 A CN202011087624 A CN 202011087624A CN 112018465 B CN112018465 B CN 112018465B
Authority
CN
China
Prior art keywords
network
state
variable
strategy
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011087624.3A
Other languages
English (en)
Other versions
CN112018465A (zh
Inventor
魏中宝
吴京达
何洪文
李建威
钟浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202011087624.3A priority Critical patent/CN112018465B/zh
Publication of CN112018465A publication Critical patent/CN112018465A/zh
Application granted granted Critical
Publication of CN112018465B publication Critical patent/CN112018465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01M—PROCESSES OR MEANS, e.g. BATTERIES, FOR THE DIRECT CONVERSION OF CHEMICAL ENERGY INTO ELECTRICAL ENERGY
    • H01M10/00—Secondary cells; Manufacture thereof
    • H01M10/42—Methods or arrangements for servicing or maintenance of secondary cells or secondary half-cells
    • H01M10/44—Methods for charging or discharging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J7/00—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries
    • H02J7/007—Regulation of charging or discharging current or voltage
    • H02J7/0071—Regulation of charging or discharging current or voltage with a programmable schedule
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B40/00—Technologies aiming at improving the efficiency of home appliances, e.g. induction cooking or efficient technologies for refrigerators, freezers or dish washers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02E60/10—Energy storage using batteries

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Pure & Applied Mathematics (AREA)
  • Neurology (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Electrochemistry (AREA)
  • General Chemical & Material Sciences (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Operations Research (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Power Engineering (AREA)
  • Secondary Cells (AREA)
  • Charge And Discharge Circuits For Batteries Or The Like (AREA)

Abstract

本发明公开了一种多物理场约束的锂离子电池智能快速充电方法，包括以下步骤：S1.开展锂离子电池测试，建立锂离子电池电热耦合模型和老化模型；S2.定义动作空间和奖励函数，定义优先经验回放池；S3.设定离线训练场景，获取初始时刻状态变量，利用策略网络获取当前状态下的动作变量，并扩大动作选取范围；S4.生成充电动作、电池状态转移、奖励值并记录于经验池，进行DDPG网络的同步更新；S5.循环执行S3‑S4，直至策略网络和价值网络收敛，导出策略网络成为深度强化学习（DRL）快速充电策略；S6.估计强化学习状态空间内的各个变量；S7.确定当前时刻的最优充电动作。本发明兼顾充电速度、电池安全与寿命衰减抑制，训练后策略计算复杂度低，实时应用具有优势。

Description

一种多物理场约束的锂离子电池智能快速充电方法
技术领域
本发明涉及一种多物理场约束的锂离子电池智能快速充电方法，具体是涉及基于多物理场耦合建模与深度强化学习的锂离子电池智能快速充电方法。
背景技术
锂离子电池在电动汽车领域应用最为广泛，其快速充电技术对电动汽车的进一步普及具有重要意义。然而，现阶段快速充电技术依然面临多方面瓶颈，盲目追求充电速度可能引发锂离子电池内部过热、过应力、析锂等过程，严重影响锂离子电池的耐久性与安全性，甚至将直接导致起火、爆炸等灾难性事故。
基于经验的充电方法简单易行，应用广泛，代表性的如恒流-恒压（CCCV）法、多阶段恒流法等，但这类方法鲁棒性差，难以考虑锂离子电池内部多理化过程及其约束意义，难以保证充电的综合最优性。相比而言，基于模型的充电优化控制方法采用等效电路-热耦合模型、电化学机理模型等对锂离子电池内部多物理过程进行描述，并采用模型预测控制（MPC）等优化控制算法实现快速充电，能够有效保证充电的多目标最优性，且具有更高的鲁棒性。但是，这类方法需要对高维、强耦合、非线性问题进行多约束、多目标优化求解，计算复杂度高，在线应用具有挑战性。
综上所述，现阶段仍然缺少一种兼具多约束、多目标最优性与低计算复杂度的锂离子电池快速充电方法。
发明内容
本发明的目的在于克服现有技术的不足，提出一种多物理场约束的锂离子电池智能快速充电方法，通过建立多目标优化问题，采用具有优先级经验重播的改进DDPG算法进行求解，实现遵从离子锂电池理化极限与老化抑制的快速充电，该方法将多约束、多目标最优化求解导致的复杂计算迁移到离线训练环节，从而保证算法的实时性。
本发明的目的是通过以下技术方案来实现的：一种多物理场约束的锂离子电池智能快速充电方法，包括以下步骤：
S1. 开展锂离子电池测试，建立锂离子电池电热耦合模型和老化模型；
S2. 将S1中确定的关键状态归入强化学习状态空间，定义动作空间和奖励函数，搭建深度确定性策略梯度（DDPG）算法的策略网络、价值网络并进行初始化，定义优先经验回放池；
S3. 设定离线训练场景，获取初始时刻状态变量，利用策略网络获取当前状态下的动作变量，采用基于随机变换的噪声探索机制扩大动作选取范围；
S4. 依据S1中电池模型，生成充电动作、电池状态转移、奖励值并记录于经验池，通过选择经验记录进行DDPG网络的同步更新；
S5. 循环执行S3-S4，直至策略网络和价值网络收敛，导出策略网络成为深度强化学习（DRL）快速充电策略；
S6. 实时采集充电电流、端电压、环境温度、电池表面温度，设计基于模型的状态观测器，实时估计强化学习状态空间内的各个变量；
S7. 依据S6中的测量值与估计值，使用S5中训练成熟的DRL控制策略确定当前时刻的最优充电动作。
本发明的有益效果是：本发明能够实现兼顾充电速度、理化极限约束与老化抑制等若干冲突目标的综合最优化，实现具有安全与健康主动意识的快速充电，将多约束、多目标最优化求解导致的复杂计算迁移到离线训练环节，显著降低了在线应用的计算复杂度。
附图说明
图1为本发明的方法流程图。
图2为实施例中锂离子电池的SOC-OCV函数关系。
图3为实施例中锂离子电池的电热耦合模型。
图4为实施例中DDPG-DRL快速充电策略的训练过程。
图5为实施例中所述的DDPG-DRL充电方法与CCCV方法的对比。
图6为实施例中所述的DDPG-DRL充电方法与MPC方法的对比。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
如图1所示，一种多物理场约束的锂离子电池智能快速充电方法，包括以下步骤：
S1. 开展锂离子电池测试，建立锂离子电池电热耦合模型和老化模型。
在本申请的实施例中，选择锂离子电池端电压、SOC和电芯温度作为状态，开展电池测试，包含SOC-OCV函数关系测试、HPPC阻抗参数测试、热力学测试、老化测试，确定关键模型参数。
建立锂离子电池电热耦合模型，其中电气部分采用二阶RC等效电路模型，状态空间方程为：
Figure DEST_PATH_IMAGE001
式中，t是时间，R s 是欧姆内阻，I和V是电流和端电压，C n 是容量，V p1 和V p2 是极化电压。该实施例中，V oc 与SOC的函数关系采用5阶多项式拟合，拟合结果如图2所示。
热模型采用如下公式描述：
Figure 316296DEST_PATH_IMAGE002
式中，T s 、T a 、T c 和T f 分别是电池表面、内部平均、电芯和环境温度，R c 和R u 是电池内部热阻和电池表面热阻，C c 和C s 分别是电池芯部和表面的等效热容，H是产热率，计算方法为：
Figure 561332DEST_PATH_IMAGE004
式中，E n 表示电化学反应过程中的熵变。本实施例中所用的等效电路模型和热模型相互耦合，如图3所示。
随后建立电池老化模型，基于Arrhenius方程的建立容量损失表达式：
Figure 419698DEST_PATH_IMAGE006
式中，
Figure DEST_PATH_IMAGE007
C n 是容量损失的百分比，B是取决于充放电倍率的指数因子，R是理想气 体常数，z幂律因子取值为0.55，Ah是累积安时通量，E a 是活化能（J / mol），定义为：
Figure DEST_PATH_IMAGE009
当C n 下降20%时，电池到达寿命终止条件。因此Ah由下式计算：
Figure DEST_PATH_IMAGE011
定义N为达到达寿命终止条件之前的循环总数，计算方法为：
Figure DEST_PATH_IMAGE013
最后计算多应力下电池健康状态（SOH）的衰减量：
Figure 237744DEST_PATH_IMAGE014
式中，Δt是电流的持续时间。至此完成了锂离子电池的电热耦合建模和老化建模。
S2. 将S1中确定的关键状态归入强化学习状态空间，定义动作空间和奖励函数，搭建深度确定性策略梯度（DDPG）算法的策略网络、价值网络并进行初始化，定义优先经验回放池。所述步骤S2中包括以下子步骤：
S201. 确定锂离子电池快速充电过程中的约束变量，作为状态向量空间s的组成变量，选择充电电流或充电功率作为动作变量a。本实例中，选取荷电状态SoC，电芯温度T c 和端电压V作为约束变量，充电电流cr作为控制动作，状态空间S、时变状态变量s t 、动作空间A和时变动作变量a t 分别定义如下：
Figure 396324DEST_PATH_IMAGE016
其中，下标t代表时刻t，为物理量的时序表达，具体地：
Figure 297415DEST_PATH_IMAGE017
为t时刻锂离子电池荷电状态；
Figure 892344DEST_PATH_IMAGE018
为t时刻锂离子电池电芯温度；
Figure 435452DEST_PATH_IMAGE019
为t时刻 端电压；
Figure 448538DEST_PATH_IMAGE020
为充电倍率，是充电电流
Figure 520531DEST_PATH_IMAGE021
的单位；
Figure 337177DEST_PATH_IMAGE022
为t时刻动作变量；
Figure 887238DEST_PATH_IMAGE023
即t时刻充电电流；
该实施例中充电电流上限为6C。
S202. 根据预期控制目标选择奖励函数的参考指标，建立归一化奖励函数。该实施例中，首先定义如下成本函数：
Figure 738520DEST_PATH_IMAGE025
其中，ω 1, ω 2, ω 3, ω 4和 ω 5是描述不同目标重要性的权重，C soc , C volt ,C heat , C soh 和C smooth 分别用于体现充电时间、过压保护、过热保护、老化抑制和充电电流平稳性，计算方法如下：
Figure DEST_PATH_IMAGE027
式中，SoC tar 表示目标SOC；V tar_upp 和V tar_low 是端电压的上限值和下限值，T a,t , T tar 是电池内部温度的实时值和上限值；ΔSoH t 表示执行当前控制动作导致的SOH下降；τ 1, τ 2和 τ 3是转换系数。该实施例中，SoC tar , V tar_upp , V tar_low ,和T tar 的取值分别为0.95，3.6V，2.0V和45℃。
基于成本函数J t 建立深度强化学习策略奖励函数r t ：
Figure DEST_PATH_IMAGE029
式中，
Figure 122359DEST_PATH_IMAGE030
为自定义偏差，
Figure DEST_PATH_IMAGE031
为基于sigmoid的归一化函数。
S203. 建立用于策略选择的全连接深度神经网络作为策略网络
Figure 770509DEST_PATH_IMAGE032
，
Figure DEST_PATH_IMAGE033
表示该 网络参数；建立用于评估策略价值的全连接深度神经网络作为价值网络Q，
Figure 920999DEST_PATH_IMAGE034
表示该网络 参数；对策略网络和价值网络的权重和偏置进行初始化赋值；复制策略网络作为目标策略 网络，复制价值网络作为目标价值网络。
该实施例中，采用He初始化方法对策略网络和价值网络参数进行初始化，产生全 连接深度神经网络的初始权重和偏置，具体地，产生区间
Figure 377519DEST_PATH_IMAGE036
中均匀分布的权 重和偏置，其中fan in 为所需初始化网络层的输入神经元数量。复制
Figure DEST_PATH_IMAGE037
网络的结构和初始参 数作为目标策略网络
Figure 853631DEST_PATH_IMAGE038
，记作
Figure DEST_PATH_IMAGE039
，复制q网络的结构和初始参数作为目标价值网 络
Figure 723498DEST_PATH_IMAGE040
，记作
Figure DEST_PATH_IMAGE041
。
S204. 选择经验回放池最大容量值，建立经验回放池，用于储存训练过程每一时刻的信息组，该信息组包括：状态变量，动作变量，奖励函数，和状态转移后的状态变量。
S3. 设定离线训练场景，获取初始时刻状态变量，利用策略网络获取当前状态下的动作变量，采用基于随机变换的噪声探索机制扩大动作选取范围。所述步骤S3包括以下子步骤：
S301. 对于当前训练回合数i(初始i= 1)，开启经验储存池，对锂离子电池模型进行状态初始化，设定时间t = 0。
S302. 获取初始时刻状态变量
Figure 677678DEST_PATH_IMAGE042
。将状态变量输入策略网络获得动作变量
Figure DEST_PATH_IMAGE043
，为该动作附加一均值为0，标准差为1倍动作变量定义域的随机噪声。
假设处于状态s，则原本策略网络的输出是固定值a，而增加随机噪声能够将动作变量变为a1=a+噪声1。若下一次重新面临状态s，则对于未更新过的策略网络，其输出仍是固定值a，但增加噪声后a2=a+噪声2。此时，完成了不改变网络的前提下，扩大动作变量选择范围的目的。
S4. 依据S1中电池模型，生成充电动作、电池状态转移、奖励值并记录于经验池，通过选择经验记录进行DDPG网络的同步更新。所述步骤S4包括以下子步骤：
S401. 基于S1中建立的电池模型，输入所选择的当前状态下的动作变量，计算更新状态变量空间和实时奖励函数值，将该时间步长内的a t ，s t ，s t+1 和奖励函数值r t 组成经验元组。
S402. 计算t时刻优先度：
Figure 316601DEST_PATH_IMAGE045
式中，
Figure 166877DEST_PATH_IMAGE046
为折扣因子。
Figure 179832DEST_PATH_IMAGE047
代表策略网络，
Figure 875387DEST_PATH_IMAGE048
代表价值网络；
Figure 290188DEST_PATH_IMAGE049
和
Figure 311364DEST_PATH_IMAGE050
分 别代表目标策略网络，和目标价值网络；
Figure 811616DEST_PATH_IMAGE051
和
Figure 310861DEST_PATH_IMAGE052
分别代表策略网络的参数和价值网络的 参数；具体地：
Figure 845748DEST_PATH_IMAGE053
代表以
Figure 37826DEST_PATH_IMAGE054
为参数的策略网络，对输入的状态变量
Figure 25374DEST_PATH_IMAGE055
的响应；
Figure 62731DEST_PATH_IMAGE056
代表以
Figure 202856DEST_PATH_IMAGE057
为参数的价值网络，对
Figure 549524DEST_PATH_IMAGE058
时刻输入的状态变量
Figure 40679DEST_PATH_IMAGE059
和动 作变量
Figure 130995DEST_PATH_IMAGE060
的响应；
Figure 125627DEST_PATH_IMAGE061
代表以
Figure 643196DEST_PATH_IMAGE062
为参数的目标价值网络，对
Figure 598210DEST_PATH_IMAGE063
时刻输 入的状态变量
Figure 226637DEST_PATH_IMAGE064
和动作变量
Figure 341355DEST_PATH_IMAGE065
的响应；
将S401中的经验元组和优先度（rank t ）作为t时刻的数据储存于经验回放池中，表示如下：
Figure 764246DEST_PATH_IMAGE067
其中，
Figure 229994DEST_PATH_IMAGE068
即经验回放池；
S403. 对于D中任一经验d j ，定义其被选择的概率为
Figure 412844DEST_PATH_IMAGE069
，其中
Figure 631336DEST_PATH_IMAGE070
， 选择得到的一组经验可以表示为
Figure 507019DEST_PATH_IMAGE071
。
Figure DEST_PATH_IMAGE072
为调整因子，用于调整概率
Figure 991221DEST_PATH_IMAGE073
的具体数值；
S404. 以d j 中数据为依据，进行价值网络、策略网络及其对应目标网络的更新。具体的，确定价值网络q的评估方程：
Figure DEST_PATH_IMAGE074
式中，
Figure 305659DEST_PATH_IMAGE075
为
Figure DEST_PATH_IMAGE076
为索引值的奖励值，
Figure 457286DEST_PATH_IMAGE077
代表选取最大使得
Figure DEST_PATH_IMAGE078
最大化的动作变量
Figure 300608DEST_PATH_IMAGE079
，并生成此价值网络对该选定动作变量和状态变量的 响应；
Figure DEST_PATH_IMAGE080
表示最优值函数。随后建立价值网络的更新误差计算公式：
Figure 537686DEST_PATH_IMAGE081
进而确定策略网络
Figure DEST_PATH_IMAGE082
的评估方程：
Figure 390235DEST_PATH_IMAGE084
式中，
Figure DEST_PATH_IMAGE085
表示求取数学期望。依据目标相对于策略网络
Figure 130789DEST_PATH_IMAGE086
的梯度，策略网络
Figure DEST_PATH_IMAGE087
的更新误差为：
Figure 410592DEST_PATH_IMAGE088
S405. 对目标网络
Figure DEST_PATH_IMAGE089
和
Figure 885698DEST_PATH_IMAGE090
采用如下软更新策略：
Figure DEST_PATH_IMAGE091
S406. 将时间t增加1个步长，重新回到S401，S401-S406循环执行直至达到定义的最大持续时间步长t L (t = t L )，则结束本回合，该实施例中t L = 2000s。
S5. 循环执行S3-S4，直至策略网络和价值网络收敛，导出策略网络成为DRL快速 充电策略。所述步骤S5中，将训练回合数i增加1，重新回到S3，S3-S4循环执行直至达到回合 数上限L，终止并视为收敛，收敛后导出策略网络
Figure 276359DEST_PATH_IMAGE092
即为DRL快速充电策略。该实施例中，L = 50。
至此完成了DRL策略的训练，训练示意图如图4所示。
S6. 实时采集充电电流、端电压、环境温度、电池表面温度，设计基于模型的状态观测器，实时估计强化学习状态空间内的各个变量。所述步骤S6包括以下子步骤：
S601. 采集锂离子电池在充电过程中的电流、端电压、表面温度、环境温度等数据。
S602. 设计基于模型的状态观察器，依据S601中所采集数据，对状态变量空间s中的状态变量进行实时估计。
该实施例中，采用扩展卡尔曼滤波算法进行状态估计。定义u为系统输入，x为待观测状态向量，y为可测量的系统输出向量，如下所示：
Figure DEST_PATH_IMAGE093
图3所示电热耦合模型可表述为如下离散状态空间方程：
Figure 668157DEST_PATH_IMAGE094
其中，w k 和u k 分别是过程噪声和测量噪声。采用如下步骤实时估计SOC和电芯温度：
初始化
Figure DEST_PATH_IMAGE095
；
Figure 650020DEST_PATH_IMAGE096
状态前验估计：
Figure DEST_PATH_IMAGE097
误差协方差前验估计：
Figure 861689DEST_PATH_IMAGE098
计算卡尔曼增益矩阵：
Figure DEST_PATH_IMAGE099
状态反馈修正：
Figure 790462DEST_PATH_IMAGE100
误差协方差观测反馈修正：
Figure DEST_PATH_IMAGE101
其中，
Figure 521920DEST_PATH_IMAGE102
是卡尔曼增益；I为单位矩阵；Q和R分别为输入、输出测量噪声的协方差 矩阵，P是状态估计误差协方差矩阵，
Figure DEST_PATH_IMAGE103
是待观测状态向量在k时刻的后验估计（也是k时 刻待观测状态向量的最终估计）。其他相关系数矩阵计算方法为：
定义：
Figure 143525DEST_PATH_IMAGE104
，
Figure DEST_PATH_IMAGE105
，可得下式：
Figure DEST_PATH_IMAGE107
Figure DEST_PATH_IMAGE109
至此完成了待观测向量x的估计，提取其中的SoC、T c 和T s ，结合测量的端电压，即可实现对s t 的更新。
S7. 依据S6中的测量值与估计值，使用S5中训练成熟的DRL控制策略确定当前时刻的最优充电动作。
按照上述步骤，通过基于DDPG-DRL的快速充电策略，对电池的充电电流进行实时计算；对充电速度进行奖励，对过电压和过热进行软性惩罚，通过对多个冲突目标进行智能优化，实现具备热安全意识和健康主动意识的快速充电最优控制。
在本专利的实施例中，对所述基于DDPG-DRL的快速充电方法进行验证，并与广泛应用的CCCV方法（包括2C CCCV、4C CCCV、6C CCCV）对比，结果如图5所示，图5中，（a）为不同方法下充电倍率与时间的关系，（b）为不同方法下荷电状态与时间的关系，（c）为不同方法下终端电压与时间的关系，（d）为不同方法下电池核心温度与时间的关系。结果表明所述方法在最大化充电速度的同时保持电池内部平均温度不超过设定的45℃，而传统的CCCV策略难以实现充电速度与过热保护的智能兼顾。
将所述基于DDPG-DRL的快速充电方法与模型预测控制（MPC）方法对比，结果如图6所示，图6中，（a）为不同方法下充电倍率与时间的关系，（b）为不同方法下荷电状态与时间的关系，（c）为不同方法下终端电压与时间的关系，（d）为不同方法下电池核心温度与时间的关系。结果表明两种方法在充电速度和过热保护方面表现相似，均能实现热安全意义下的快速充电控制。
综合对比6C CCCV方法、MPC方法与所述方法的充电速度与1000次充电SOH下降量，结果如表1所示。结果表明，所述方法能达到与MPC方法等同的效果，但在线应用仅包含代数运算，计算复杂度显著低于MPC的高维矩阵运算（三次方等级计算复杂度），实时性能大幅提高；相比之下CCCV方法虽然计算简单，但难以实现最优充电。综合来看，本专利所述基于DDPG-DRL的快速充电策略能兼顾最优性与实时性。
表1 6C CCCV方法、MPC方法与所述方法的充电速度与1000次充电SOH下降量对比
Figure DEST_PATH_IMAGE111
综上所述，本发明通过状态观测器估计电池内部状态，通过建立多目标优化问题，采用具有优先级经验重播的改进DDPG算法进行求解，实现遵从离子锂电池理化极限与老化抑制的快速充电。相较于传统的CCCV充电方法，本发明能够本发明能够实现兼顾充电速度、理化极限约束与老化抑制等若干冲突目标的综合最优化；相较于MPC充电方法，本发明将多约束、多目标最优化求解导致的复杂计算迁移到离线训练环节，在保证优化性能的同时大幅降低了计算复杂度。
以上所述是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应该看作是对其他实施例的排除，而可用于其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (6)

1.一种多物理场约束的锂离子电池智能快速充电方法，其特征在于包括以下步骤：
S1.开展锂离子电池测试，建立锂离子电池电热耦合模型和老化模型；
S2.将S1中确定的关键状态归入强化学习状态空间，定义动作空间和奖励函数，搭建深度确定性策略梯度算法的策略网络、价值网络并进行初始化，定义优先经验回放池；
所述步骤S2包括以下子步骤：
S201.确定锂离子电池快速充电过程中的约束变量，作为状态向量空间s的组成变量，选择充电电流或充电功率作为动作变量，作为动作空间A的组成变量；
选取荷电状态SoC，电芯温度Tc和端电压V作为约束变量，充电电流cr作为控制动作，状态空间S、时变状态变量st、动作空间A和时变动作变量at分别定义如下：
S＝{SoC,Tc,V}
st＝[SoCt,Tc,t,Vt],st∈S
A＝{cr|cr∈(0,6C)}
at＝crt,at∈A
其中，下标t代表时刻t，为物理量的时序表达，具体地：
SoCt为t时刻锂离子电池荷电状态；Tc，t为t时刻锂离子电池电芯温度；Vt为t时刻端电压；C为充电倍率，是充电电流cr的单位；at为t时刻动作变量；crt即t时刻充电电流；
S202.根据预期控制目标选择奖励函数的参考指标，建立归一化奖励函数；
S203.建立用于策略选择的全连接深度神经网络作为策略网络μ，θμ表示策略网络的参数；建立用于评估策略价值的全连接深度神经网络作为价值网络Q，θQ表示价值网络的参数；对策略网络和价值网络的权重和偏置进行初始化赋值；复制策略网络作为目标策略网络，复制价值网络作为目标价值网络；
S204.选择经验回放池最大容量值，建立经验回放池，用于储存训练过程每一时刻的信息组，该信息组包括：状态变量，动作变量，奖励函数和状态转移后的状态变量；
S3.设定离线训练场景，获取初始时刻状态变量，利用策略网络获取当前状态下的动作变量，采用基于随机变换的噪声探索机制扩大动作选取范围；
所述步骤S3包括以下子步骤：
S301.对于当前训练回合数i，初始i＝1，开启经验储存池，对锂离子电池模型进行状态初始化，设定时间t＝0；
S302.获取初始时刻状态变量s0，将状态变量输入策略网络获得动作变量a＝μ(s|θμ)，为该动作附加一均值为0，标准差为1倍动作变量定义域的随机噪声；
S4.依据S1中电池模型，生成充电动作、电池状态转移、奖励值并记录于经验池，通过选择经验记录进行深度确定性策略梯度网络的同步更新；
所述步骤S4包括以下子步骤：
S401.基于S1中建立的电池模型，输入所选择的当前状态下的动作变量，计算更新状态变量空间和实时奖励函数值，将时间步长内的at，st，st+1和奖励函数值rt组成经验元组；
S402.计算t时刻优先度：
LQ(t)＝[rt+γQ'(st+1,μ(st+1)|θQ')-Q(st,at|θQ)]2
Figure FDA0002841681460000021
式中，γ为折扣因子；μ(·)代表策略网络，Q(·)代表价值网络；Q′(·)代表目标价值网络；θμ和θQ分别代表策略网络的参数和价值网络的参数；具体地：
μ(s|θμ)代表以θμ为参数的策略网络，对输入的状态变量s的响应；
Q(st，at|θQ)代表以θQ为参数的价值网络，对t时刻输入的状态变量st和动作变量at的响应；
Q′(st+1，μ(st+1)|θQ′)代表以θQ′为参数的目标价值网络，对t+1时刻输入的状态变量st+1和动作变量μ(st+1)的响应；
将S401中的经验元组和优先度ranzkt作为t时刻的数据储存于经验回放池中，表示如下：
D＝{rankt,dt＝[st,at,rt,st+1]|t＝1,2,...}
其中，D即经验回放池；
S403.对于D中任一经验dj，定义其被选择的概率为
Figure FDA0002841681460000022
其中
Figure FDA0002841681460000023
选择得到的一组经验表示为dj＝[st,at,rt,st+1]；α为调整因子，用于调整概率Pj的具体数值；
S404.以dj中数据为依据，进行价值网络、策略网络及其对应目标网络的更新，具体的，确定价值网络q的评估方程：
Figure FDA0002841681460000024
式中，rj表示以j为索引值的奖励值；
Figure FDA0002841681460000025
代表选取最大使得Q(sj+1，aj+1)最大化的动作变量aj，并生成此价值网络对选定动作变量和状态变量的响应；
随后建立价值网络的更新误差计算公式：
LQ(j)＝[rj+γQ'(sj+1,μ(sj+1)|θQ')-Q(sj,aj|θQ)]2
进而确定策略网络μ的评估方程：
Φ(θμ)＝E[Q(sj,μ(sj))]
式中，E(·)表示求取数学期望；依据目标相对于策略网络μ的梯度，策略网络μ的更新误差为：
Figure FDA0002841681460000031
S405.对目标网络Q'和μ'采用如下软更新策略：
θQ′←τθQ+(1-τ)θQ′
θμ'←τθμ+(1-τ)θμ'
S406.将时间t增加1个步长，重新回到S401，S401-S406循环执行直至达到定义的最大持续时间步长tL，即t＝tL时，则结束本回合；
S5.循环执行S3-S4，直至策略网络和价值网络收敛，导出策略网络成为深度强化学习快速充电策略；
S6.实时采集充电电流、端电压、环境温度、电池表面温度，设计基于模型的状态观测器，实时估计强化学习状态空间内的各个变量；
S7.依据S6中的测量值与估计值，使用S5中训练成熟的深度强化学习控制策略确定当前时刻的最优充电动作。
2.根据权利要求1所述的一种多物理场约束的锂离子电池智能快速充电方法，其特征在于：所述步骤S1中，建立的电池模型包括电池电热耦合模型和电池老化模型；所述电池电热耦合模型由等效电路模型和热模型相互耦合而成。
3.根据权利要求1所述的一种多物理场约束的锂离子电池智能快速充电方法，其特征在于：所述步骤S5中，将训练回合数i增加1，重新回到S3，循环执行S3-S4直至达到回合数上限L，终止并视为收敛，收敛后导出策略网络μ即为深度强化学习快速充电策略。
4.根据权利要求1所述的一种多物理场约束的锂离子电池智能快速充电方法，其特征在于：所述步骤S6包括以下子步骤：
S601.采集锂离子电池在充电过程中的电流、端电压、表面温度和环境温度数据；
S602.设计基于模型的状态观察器，依据S601中所采集数据，对状态变量空间s中的状态变量进行实时估计。
5.根据权利要求4所述的一种多物理场约束的锂离子电池智能快速充电方法，其特征在于：所述状态观测器包括龙伯格观测器、扩展卡尔曼滤波、无际卡尔曼滤波、粒子滤波、滑膜观测器中的一种。
6.根据权利要求1所述的一种多物理场约束的锂离子电池智能快速充电方法，其特征在于：所述步骤S7中，先依据S6计算更新状态变量空间，然后采用S5中训练所得的深度强化学习快速充电策略，决策确定当前时刻的充电电流或充电功率。
CN202011087624.3A 2020-10-13 2020-10-13 一种多物理场约束的锂离子电池智能快速充电方法 Active CN112018465B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011087624.3A CN112018465B (zh) 2020-10-13 2020-10-13 一种多物理场约束的锂离子电池智能快速充电方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011087624.3A CN112018465B (zh) 2020-10-13 2020-10-13 一种多物理场约束的锂离子电池智能快速充电方法

Publications (2)

Publication Number Publication Date
CN112018465A CN112018465A (zh) 2020-12-01
CN112018465B true CN112018465B (zh) 2021-01-29

Family

ID=73527433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011087624.3A Active CN112018465B (zh) 2020-10-13 2020-10-13 一种多物理场约束的锂离子电池智能快速充电方法

Country Status (1)

Country Link
CN (1) CN112018465B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112578283B (zh) * 2020-12-14 2022-03-11 北汽福田汽车股份有限公司 一种电池系统参数确定方法、装置及车辆
CN113013509A (zh) * 2021-02-25 2021-06-22 华中科技大学 一种基于动态规划的锂离子电池快速充电方法及系统
CN113554166A (zh) * 2021-06-16 2021-10-26 中国人民解放军国防科技大学 认知行为模型加速的深度q网络强化学习方法及设备
CN113702855B (zh) * 2021-08-31 2022-06-03 北京航空航天大学 一种基于多物理场仿真与神经网络方法的锂电池组健康状态在线预测方法
CN113895276A (zh) * 2021-09-03 2022-01-07 国网北京市电力公司 电动汽车充电网络调整方法、装置及非易失性存储介质
CN114084026B (zh) * 2021-11-29 2023-06-02 重庆长安新能源汽车科技有限公司 电动汽车最优充电路径的动态规划方法及系统
CN116526617B (zh) * 2023-04-26 2024-02-02 广芯微电子（广州）股份有限公司 一种基于强化学习的锂电池充电控制方法及装置
CN117578679B (zh) * 2024-01-15 2024-03-22 太原理工大学 基于强化学习的锂电池智能充电控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103472397A (zh) * 2013-08-09 2013-12-25 江苏欧力特能源科技有限公司 铅酸电池模型经验公式法中关键参数抗差辨识方法
CN106842045A (zh) * 2017-01-20 2017-06-13 北京理工大学 一种基于自适应权重方法的电池多模型融合建模方法和电池管理系统
CN108872866A (zh) * 2018-06-04 2018-11-23 桂林电子科技大学 一种锂离子电池荷电状态动态评估与长效预测融合方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT512003A3 (de) * 2013-01-23 2014-05-15 Avl List Gmbh Verfahren zur Ermittlung eines regelungstechnischen Beobachters für den SoC
CN103995464B (zh) * 2014-05-26 2016-04-13 北京理工大学 一种估计电动车辆的动力系统的参数和状态的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103472397A (zh) * 2013-08-09 2013-12-25 江苏欧力特能源科技有限公司 铅酸电池模型经验公式法中关键参数抗差辨识方法
CN106842045A (zh) * 2017-01-20 2017-06-13 北京理工大学 一种基于自适应权重方法的电池多模型融合建模方法和电池管理系统
CN108872866A (zh) * 2018-06-04 2018-11-23 桂林电子科技大学 一种锂离子电池荷电状态动态评估与长效预测融合方法

Also Published As

Publication number Publication date
CN112018465A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN112018465B (zh) 一种多物理场约束的锂离子电池智能快速充电方法
Dai et al. A novel estimation method for the state of health of lithium-ion battery using prior knowledge-based neural network and Markov chain
Meng et al. Lithium polymer battery state-of-charge estimation based on adaptive unscented Kalman filter and support vector machine
CN111948560A (zh) 基于多因子评估模型的锂电池健康状态估算方法
CN115632179B (zh) 一种锂离子电池智能快速充电方法及系统
CN113406521B (zh) 一种基于特征分析的锂电池健康状态在线估计方法
CN111007399A (zh) 基于改进生成对抗网络的锂电池荷电状态预测方法
Takyi-Aninakwa et al. An optimized relevant long short-term memory-squared gain extended Kalman filter for the state of charge estimation of lithium-ion batteries
CN112147514B (zh) 基于rls的锂电池全工况自适应等效电路模型
CN112684363A (zh) 一种基于放电过程的锂离子电池健康状态估计方法
CN114114038A (zh) 一种全寿命全温度下锂电池soc及可用容量联合估计方法
CN112526354A (zh) 一种锂电池健康状态估计方法
CN117096984A (zh) 基于强化学习的电池组均衡感知快充控制方法和系统
CN115656848A (zh) 一种基于容量修正的锂电池soc估算方法
Liu et al. Multi-state joint estimation of series battery pack based on multi-model fusion
CN115308606A (zh) 一种基于邻近特征的锂离子电池健康状态估计方法
CN113608126B (zh) 一种不同温度下的锂电池soc在线预估方法
Hu et al. State-of-charge estimation for lithium-ion batteries of electric vehicle based on sensor random error compensation
Zhang et al. Estimation of state‐of‐energy for lithium batteries based on dual adaptive particle filters considering variable current and noise effects
CN114397578A (zh) 一种锂离子电池剩余电量估计方法
CN114720881A (zh) 一种基于改进初值带遗忘因子递推最小二乘法的锂电池参数辨识方法
Liu et al. Online state of charge estimation for lithium‐ion battery by combining incremental autoregressive and moving average modeling with adaptive H‐infinity filter
CN117799495A (zh) 一种锂离子电池荷电状态估算与均衡控制方法
CN111563576A (zh) 一种基于蝙蝠探测-极限学习机的锂电池容量估计方法
CN116718920A (zh) 基于rnn优化扩展卡尔曼滤波的锂电池soc估算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant