CN115632179A - 一种锂离子电池智能快速充电方法及系统 - Google Patents

一种锂离子电池智能快速充电方法及系统 Download PDF

Info

Publication number
CN115632179A
CN115632179A CN202211635957.4A CN202211635957A CN115632179A CN 115632179 A CN115632179 A CN 115632179A CN 202211635957 A CN202211635957 A CN 202211635957A CN 115632179 A CN115632179 A CN 115632179A
Authority
CN
China
Prior art keywords
charging
network
battery
lithium ion
actor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211635957.4A
Other languages
English (en)
Other versions
CN115632179B (zh
Inventor
赵越
徐科
刘晓楠
祖国强
魏中宝
戚艳
谢秦
赵长伟
钟浩
王坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Tianjin Electric Power Co Ltd
Electric Power Research Institute of State Grid Tianjin Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Tianjin Electric Power Co Ltd
Electric Power Research Institute of State Grid Tianjin Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Tianjin Electric Power Co Ltd, Electric Power Research Institute of State Grid Tianjin Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202211635957.4A priority Critical patent/CN115632179B/zh
Publication of CN115632179A publication Critical patent/CN115632179A/zh
Application granted granted Critical
Publication of CN115632179B publication Critical patent/CN115632179B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01M—PROCESSES OR MEANS, e.g. BATTERIES, FOR THE DIRECT CONVERSION OF CHEMICAL ENERGY INTO ELECTRICAL ENERGY
    • H01M10/00—Secondary cells; Manufacture thereof
    • H01M10/42—Methods or arrangements for servicing or maintenance of secondary cells or secondary half-cells
    • H01M10/44—Methods for charging or discharging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01M—PROCESSES OR MEANS, e.g. BATTERIES, FOR THE DIRECT CONVERSION OF CHEMICAL ENERGY INTO ELECTRICAL ENERGY
    • H01M10/00—Secondary cells; Manufacture thereof
    • H01M10/42—Methods or arrangements for servicing or maintenance of secondary cells or secondary half-cells
    • H01M10/4285—Testing apparatus
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J7/00—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries
    • H02J7/007—Regulation of charging or discharging current or voltage
    • H02J7/00712—Regulation of charging or discharging current or voltage the cycle being controlled or terminated in response to electric parameters
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J7/00—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries
    • H02J7/007—Regulation of charging or discharging current or voltage
    • H02J7/00712—Regulation of charging or discharging current or voltage the cycle being controlled or terminated in response to electric parameters
    • H02J7/00714—Regulation of charging or discharging current or voltage the cycle being controlled or terminated in response to electric parameters in response to battery charging or discharging current
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J7/00—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries
    • H02J7/007—Regulation of charging or discharging current or voltage
    • H02J7/00712—Regulation of charging or discharging current or voltage the cycle being controlled or terminated in response to electric parameters
    • H02J7/007182—Regulation of charging or discharging current or voltage the cycle being controlled or terminated in response to electric parameters in response to battery voltage
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J7/00—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries
    • H02J7/007—Regulation of charging or discharging current or voltage
    • H02J7/007188—Regulation of charging or discharging current or voltage the charge cycle being controlled or terminated in response to non-electric parameters
    • H02J7/007192—Regulation of charging or discharging current or voltage the charge cycle being controlled or terminated in response to non-electric parameters in response to temperature
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J7/00—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries
    • H02J7/007—Regulation of charging or discharging current or voltage
    • H02J7/007188—Regulation of charging or discharging current or voltage the charge cycle being controlled or terminated in response to non-electric parameters
    • H02J7/007192—Regulation of charging or discharging current or voltage the charge cycle being controlled or terminated in response to non-electric parameters in response to temperature
    • H02J7/007194—Regulation of charging or discharging current or voltage the charge cycle being controlled or terminated in response to non-electric parameters in response to temperature of the battery
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02E60/10—Energy storage using batteries

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Manufacturing & Machinery (AREA)
  • Chemical & Material Sciences (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Electrochemistry (AREA)
  • General Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Secondary Cells (AREA)

Abstract

本发明提供了一种锂离子电池智能快速充电方法及系统，属于锂电池充电技术领域，其中方法包括：确定锂离子电池关键参数，并基于关键参数构建电池电化学‑热老化模型；基于电池电化学‑热老化模型构建充电准则，对充电准则进行训练；构建元组，元组包括状态变量、动作变量和奖励函数；构建柔性行动者‑批评家网络；基于元组对柔性行动者‑批评家网络进行训练。本发明通过构建充电准则，然后通过强化学习得到元组，随后通过元组对柔性行动者‑批评家网络进行训练，得到第一充电策略的行动者网络；本发明通过简化电化学‑热老化模型，从电流、电压、荷电状态、温度、副反应五个部分进行优化，快速寻找到智能快速充电方法中的关键参数。

Description

一种锂离子电池智能快速充电方法及系统
技术领域
本发明属于锂电池充电技术领域，特别涉及一种锂离子电池智能快速充电方法及系统。
背景技术
锂离子电池是一类由锂金属或锂合金为正/负极材料、使用非水电解质溶液的电池锂离子电池，广泛应用于新能源汽车，目前锂离子电池的问题在于降低充电时间，而且要保证其安全性。
基于锂离子电池模型，模拟预测充电过程中的电池状态，基于关键状态构建优化充电的目标函数和相应约束，是加快充电速度、提升快充安全性和减缓电池老化的有效手段。在众多锂离子电池模型中，等效电路模型以其较高的精度和极低的计算复杂度，被广泛应用于基于模型的充电方法中。但是等效电路模型难以反应充电过程中电池内部的多物理过程，对于析锂、热失控等常见威胁充电安全的机理过程缺少模拟预测能力。此外，常见的基于模型的充电方法都严重依赖模型精度，且受限于计算效率，其在线应用的可行性差。
因此，面向锂离子电池复杂机理过程，如何实现电池智能快速充电仍是现阶段亟待解决的技术问题。
发明内容
针对上述问题，本发明提出一种锂离子电池智能快速充电方法及系统。
为了实现上述目的，本发明采用以下技术方案：
一种锂离子电池智能快速充电方法，包括以下步骤：
确定锂离子电池关键参数，并基于关键参数构建电池电化学-热老化模型；
基于电池电化学-热老化模型构建充电准则，对充电准则进行训练，构建元组，元组包括状态变量、动作变量和奖励函数；
构建柔性行动者-批评家网络；
基于元组对柔性行动者-批评家网络进行训练，获得第一充电策略对应的行动者网络；
实时采集充电电流、端电压、环境温度、电池表面温度，通过状态观测器将采集的充电电流、端电压、环境温度、电池表面温度转换为行动者网络对应的状态变量，通过将行动者网络对应的状态变量输入第一充电策略对应的行动者网络，实时输出充电动作；
将第一充电策略对应的行动者网络移植至车载充电控制单元或充电桩控制单元。
优选地，电池电化学-热老化模型包括：
固相扩散方程中的锂离子扩散浓度，公式如下：
Figure 613280DEST_PATH_IMAGE001
；
Figure 70938DEST_PATH_IMAGE002
；
Figure 933851DEST_PATH_IMAGE003
；
式中，c s,avg 、c s,surf 、q avg 分别为体积平均浓度、表面浓度和体积平均浓度通量；j n （t）表示t时刻颗粒表面的孔壁通量；D s 为锂离子固相有效扩散系数；R s 为固相粒子半径；上标±表示电极的极性；t为时间；
电极边界处的电解质浓度，公式如下：
Figure 627001DEST_PATH_IMAGE004
；
式中，δ为常数；j f 表示体积电流密度；ε e 表示每个电极/分离器中的电解质体积分数；F为法拉第常数；D eff 为锂离子液相有效扩散系数；c e 为液相的锂离子浓度；c e0为液相初始的锂离子浓度；t c 为离子的迁移数；上标±表示电极的极性；
电极边界处的电势，公式如下：
Figure 767126DEST_PATH_IMAGE005
；
式中，R为理想气体常数；T a （t）为电池t时刻的内部平均温度；A、L为电极/隔膜的面积和厚度；κ eff 为电解质中的有效离子电导率；上标sep表示电极的隔膜；I（t）为t时刻的电流；
锂离子插锂/脱锂反应的电极活化极化过电位，公式如下：
Figure 254739DEST_PATH_IMAGE006
；
Figure 870529DEST_PATH_IMAGE007
；
Figure 55784DEST_PATH_IMAGE008
；
式中，k为电极中的反应速率；c s,max为最大锂离子浓度；a s 表示固体颗粒表面的界面面积；j 0和ξ为中间变量；η表示电极活化极过电位；
电池内部和表面温度，公式如下：
Figure 440629DEST_PATH_IMAGE009
；
Figure 567985DEST_PATH_IMAGE010
；
Figure 671071DEST_PATH_IMAGE011
；
Figure 440444DEST_PATH_IMAGE012
；
式中，T c 、T s 、T f 为电池内部温度、表面温度以及环境温度；R c ，R u 分别表示电池内部的热传导热阻和电池表面的对流热阻；C c ，C s 分别表示等效内部热容和表面热容；H为的电池热生成，包括欧姆热和可逆熵热；E n 为电化学反应引起的可逆熵变；SoC表示荷电量；E（t）为t时刻的电动势；V t 为的锂离子电池的终端电压；t为时间；I（t）为t时刻的电流；
锂离子电池的电动势、荷电量、终端电压和副反应过电势，公式如下：
Figure 679795DEST_PATH_IMAGE013
；
Figure 118998DEST_PATH_IMAGE014
；
Figure 709379DEST_PATH_IMAGE015
；
Figure 298754DEST_PATH_IMAGE016
；
式中，U +（·）和U - （·）是固体颗粒表面浓度的函数，表示相应电极的开路电位；R f 表示固体电解质界面膜电阻；c s,min，c s,max为粒子中最小和最大锂离子浓度；U side 表示副反应的平衡电位，η side （t）为t时刻的副反应过电势。
优选地，基于电池电化学-热老化模型构建充电准则，对充电准则进行训练，构建元组，包括以下步骤：
确定充电目标，将电池电量充至100%；
基于充电目标选择端电压、内部温度和副反应过电势为关键参数，构建充电准则；
基于充电准则进行强化学习，确定元组中的状态变量、动作变量和奖励函数。
优选地，充电准则的关系式为：
Figure 127033DEST_PATH_IMAGE017
；
式中，SoC tar 为目标SoC；I(t)，V(t)，T c (t)和η side (t)分别是t时刻的电流，电压，内部温度和副反应过电势；I max 为电池可允许的最大电流；V t,min ，V t,max 分别为电池可允许最小和最大电压；T min ，T max 分别为电池正常工作的最小和最大温度。
优选地，状态变量的关系式如下：
Figure 2716DEST_PATH_IMAGE018
；
式中，s t 为状态变量，f nor [·]为标准化函数，用于将变量转换为[-1,1]的统一范围；η side 为副反应过电势，SoC为荷电量，V t为的锂离子电池的终端电压；T c为电池内部温度；t为时间。
优选地，动作变量的关系式如下：
Figure 549235DEST_PATH_IMAGE019
；
式中，a t 为动作变量；I(t)为t时刻的电流；I max 为电池可允许的最大电流。
优选地，奖励函数的关系式如下：
Figure 925990DEST_PATH_IMAGE020
；
式中，r为奖励函数；λ是奖励比例因子；ω i 是权重，i=1～5；C volt （t）、C temp （t）和C side （t）分别表征对电压、温度和副反应的约束函数；C soc （t）为对荷电量的约束函数，用来保证充电快速性；C smooth （t）为平滑项函数，用于抑制充电过程中电流的剧烈波动。
优选地，行动者网络包括两个256节点的完全连接层和激活函数tanh（·）的输出层，公式如下：
Figure 874355DEST_PATH_IMAGE021
；
式中，W output 、W hidden1 、W hidden2 、b hidden1 、b hidden2 和b output 为网络各层的具体参数，其中output为输出层，hidden1和hidden2为第一个和第二个隐藏层，用φ代指行动者全部网络参数；μ，σ为行动者网络输出层参数；relu（·）为完全连接层的激活函数。
优选地，批评家网络为双函数结构，公式如下：
Figure 45573DEST_PATH_IMAGE022
；
式中，Q 1，Q 2为批评家网络的输出层参数；θ 1，θ 2分别代指批评家两个网络的全部网络参数；W output 、W hidden1 、W hidden2 、b hidden1 、b hidden2 和b output 为网络各层的具体参数，其中output为输出层，hidden1和hidden2为第一个和第二个隐藏层；relu（·）为完全连接层的激活函数；s t 为状态变量；a t 为动作变量。
优选地，基于元组对柔性行动者-批评家网络进行训练，获得第一充电策略对应的行动者网络，包括以下步骤：
初始化柔性行动者-批评家网络的网络参数，并设定经验池，然后初始化经验池，设定当前时刻t=0；
获取当前时刻状态值s t ，基于行动者网络的输出参数构造正态分布函数π φ (·|s t )，然后基于所述正态分布函数选择动作a t ~π φ (·|s t )，并将动作转换为实际充电电流，将其作用于电池电化学-热老化模型，获得环境反馈的下一状态值s t+1和奖励值r t ；
基于状态值s t+1和奖励值r t 判断下一状态是否为充电结束状态，若充电结束，给标志位d t 置1，重新初始化电池电化学-热老化模型，反之，给标志位d t 置0，将元组[s t ,a t ,s t+1,d t ]作为一条经验存储至经验池中；
判断是否到达训练开始标志，若没有，将当前时刻加1，记为t=t+1，直至达到训练开始标志；
若到达训练开始标志，则从经验池中随机抽取一组元组；
基于从经验池抽取的元组进行批评家网络更新、行动者网络更新和目标网络参数更新；
将时间t增加1个步长，直至达到定义的最大持续时间步长t e 或充电结束标志d t =1；
设定回合数M，直至达到最大回合数Mmax，然后终止并视为策略网络和价值网络收敛，同时导出第一充电策略对应的行动者网络。
优选地，更新批评家网络，用于梯度更新的损失函数公式如下：
Figure 79388DEST_PATH_IMAGE023
；
式中，D表示经验池，其中包含大量经验元组[s t 、a t 、s t+1、r t ]；
Figure 728675DEST_PATH_IMAGE024
t+1表示从π φ （·|s t ） 分布中获取的t+1时刻的动作；γ为奖励的折扣系数；O表示数学期望；Q为批评家网络的输 送层参数；θ为批评家网络的网络参数；
Figure 938071DEST_PATH_IMAGE026
为目标网络参数；α是熵项的权重因子；r t 为奖励 值。
优选地，更新行动者网络，用于梯度更新的损失函数公式如下：
Figure 280190DEST_PATH_IMAGE027
；
式中，α是熵项的权重因子，Z(s t )是对分布进行归一化的配分函数；
Figure 66881DEST_PATH_IMAGE024
t 表示从π φ （· |s t ）分布中获取的t时刻的动作。
优选地，更新目标网络参数，公式如下：
Figure 254280DEST_PATH_IMAGE028
；
式中，τ为软更新的系数。
一种锂离子电池智能快速充电系统，包括测试模块、定义模块、构建模块、训练模块、获取模块和执行模块：
测试模块，用于确定锂离子电池关键参数，并基于关键参数构建电池电化学-热老化模型；
定义模块，基于电池电化学-热老化模型构建充电准则，对充电准则进行训练，构建元组，元组包括状态变量、动作变量和奖励函数；
构建模块，用于构建柔性行动者-批评家网络；
训练模块，用于基于元组对柔性行动者-批评家网络进行训练，获得第一充电策略对应的行动者网络；
获取模块，用于实时采集充电电流、端电压、环境温度、电池表面温度，通过状态观测器将采集的充电电流、端电压、环境温度、电池表面温度转换为行动者网络对应的状态变量，通过将行动者网络对应的状态变量输入第一充电策略对应的行动者网络，实时输出充电动作；
执行模块，用于将第一充电策略对应的行动者网络移植至车载充电控制单元或充电桩控制单元。
优选地，定义模块包括目标子模块、构建子模块和定义子模块；
目标子模块，用于确定充电目标，将电池电量充至100%；
构建子模块，用于基于充电目标选择端电压、内部温度和副反应过电势为关键参数，构建充电准则；
定义子模块，用于基于充电准则进行强化学习，确定元组中的状态变量、动作变量和奖励函数。
优选地，训练模块包括初始化子模块、反馈子模块、第一判断子模块、第二判断子模块、更新子模块、第一循环子模块和第二循环子模块；
初始化子模块，用于初始化柔性行动者-批评家网络的网络参数，并设定经验池，然后初始化经验池，设定当前时刻t=0；
反馈子模块，用于获取当前时刻状态值s t ，基于行动者网络的输出参数构造正态分布函数π φ (·|s t )，然后基于所述正态分布函数选择动作a t ~π φ (·|s t )，并将动作转换为实际充电电流，将其作用于电池电化学-热老化模型，获得环境反馈的下一状态值s t+1和奖励值r t ；
第一判断子模块，用于基于状态值s t+1和奖励值r t 判断下一状态是否为充电结束状态，若充电结束，给标志位d t =1，重新初始化电池电化学-热老化模型，反之，给标志位d t =0，将元组[s t ,a t ,s t+1,d t ]作为一条经验存储至经验池中；
第二判断子模块，用于判断是否到达训练开始标志，若没有，将当前时刻加1，记为t=t+1，直至到达训练开始标志；若到达训练开始标志，则从经验池中随机抽取一组元组；
更新子模块，用于基于从经验池抽取的元组进行批评家网络更新、行动者网络更新和目标网络参数更新；
第一循环子模块，用于将时间t增加1个步长，直至达到定义的最大持续时间步长t e 或充电结束标志d t =1；
第二循环子模块，用于设定回合数M，直至达到最大回合数Mmax，然后终止并视为策略网络和价值网络收敛，同时导出第一充电策略对应的行动者网络。
优选地，状态观测器为粒子滤波观测器、扩展卡尔曼滤波观测器、龙贝格观测器和滑膜观测器中的一种。
本发明的有益效果：
1、本发明通过构建充电准则，然后通过强化学习得到元组，随后通过元组对柔性行动者-批评家网络进行训练，得到第一充电策略的行动者网络，提供了一种锂离子电池智能快速充电的方法；
2、本发明通过简化电化学-热老化模型，从电流、电压、荷电状态、温度、副反应五个部分进行优化，快速寻找到智能快速充电方法中的关键参数；
3、本发明能够智能兼顾锂离子电池充电过程的快速性、安全性与寿命预期，实现安全及耐久性快速充电，在离线训练环节中求解强非线性电池模型和快速充电的多目标优化问题，提升了充电策略的在线应用能力。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书以及附图中所指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种锂离子电池智能快速充电方法的流程图；
图2为本发明的锂离子电池的物理机理模型；
图3为本发明的基于柔性行动者-批评家的快速充电策略的实际执行过程；
图4为本发明实的基于柔性行动者-批评家充电方法的验证结果；
图5为本发明的实施例一中的锂离子电池快速充电系统的结构示意图；
图6为本发明的实施例二中的锂离子电池快速充电系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种锂离子电池智能快速充电方法，包括以下步骤：
S1：开展锂离子电池测试，确定锂离子电池的关键参数，基于关键参数构建电池电化学-热老化模型；其中，电池电化学-热老化模型为了表征电池内部详细状态，开展多倍率下恒流充放电、混合功率脉冲特性测试、动态应力测试及联邦城市行驶工况测试、电化学阻抗等电池测试，确定电化学中关键模型参数（详见图2）；模型中的电参数和热参数是相互耦合的关系，一方面充放电过程中伴随着吸热和放热反应，因此电池的温度会发生变化，另一方面电池的温度变化还会作用于电参数，引起电参数的改变。
需要说明的是，电池电化学-热老化模型是通过关键参数来表达的，即关键参数的集合构成了电池电化学-热老化模型。
需要进一步说明的是，全阶的伪二维形式电化学-热老化模型具有较高的计算复杂度，为充分适应充电控制场景，本实施例中采用了模型的降阶简化处理，简化主要包含以下五部分内容：
简化1：固相扩散方程中的锂离子扩散浓度用三参数多项式曲线近似：
Figure 442815DEST_PATH_IMAGE029
；
Figure 690257DEST_PATH_IMAGE030
；
Figure 698664DEST_PATH_IMAGE031
；
式中，c s,avg 、c s,surf 、q avg 分别为代表体积平均浓度、表面浓度和体积平均浓度通量，j n （t）表示t时刻的颗粒表面的孔壁通量，D s 为锂离子固相有效扩散系数；R s 为固相粒子半径；上标±表示电极的极性；t为时间。
简化2：液相扩散方程中的锂离子扩散解用二阶或二阶以下的多项式曲线近似。因此，两个电极任意位置处的电解质浓度可表示为：
Figure 72841DEST_PATH_IMAGE032
；
式中，P 1 和P 2 是常数；f为待定的函数；A为电极/隔膜的面积；c e 为锂离子浓度；I（t）为t时刻的电流。
对于充电控制问题，仅在电极x=0±边界处的电解质浓度是必须的，因此，电池边界处的电解质浓度为：
Figure 991250DEST_PATH_IMAGE033
；
式中，δ为常数，δ=P 1 /P 2 =-37.74，j f 表示体积电流密度；ε e 表示每个电极/分离器中的电解质体积分数；F为法拉第常数；D eff 为锂离子液相有效扩散系数；c e0为液相初始的锂离子浓度；t c 为离子的迁移数；c e 为液相的锂离子浓度。
简化3：局部体积转移电流密度j f 是一个常数，等于所在电极的平均值j f，avg 。在此假设下，局部体积转移电流密度j f 可通过以下公式从施加电流I直接计算得出：
Figure 675172DEST_PATH_IMAGE034
；
式中，L为电极/隔膜的厚度。
在简化3作用下，固相欧姆定律和液相欧姆定律可以表示为：
Figure 905296DEST_PATH_IMAGE035
；
Figure 841022DEST_PATH_IMAGE036
；
式中，SGN为符号函数，当x位于阳极区域时，SGN=0，当x位于阴极区域时，SGN=1，上标sep表示隔膜区域，R为理想气体常数；σ eff 为电极中的有效电子电导率；κ eff 为电解质中的有效离子电导率；上标sep表示电极的隔膜；T a （t）为电池t时刻的内部平均温度；R为理想气体常数；A、L为电极/隔膜的面积和厚度。
考虑到固相的电子电导率远大于液相的离子电导率，因此仅需要计算电极边界处的电势x=0±：
Figure 286041DEST_PATH_IMAGE037
；
简化4：根据Butler-Volmer方程，锂离子插锂/脱锂反应的电极活化极化过电位η可利用反函数计算得到：
Figure 140865DEST_PATH_IMAGE038
；
Figure 123864DEST_PATH_IMAGE039
；
Figure 456757DEST_PATH_IMAGE040
；
k为电极中的反应速率；T a 为电池t时刻的内部平均温度；c s,max为最大锂离子浓度；a s 表示固体颗粒表面的界面面积；j 0和ξ为中间变量；F为法拉第常数；η表示电极活化极过电位。
需要说明的是j 0和ξ为简化公式的中间变量，不具备真实物理含义。
简化5：忽略电池的轴向分布，采用一系列热阻和热容来近似传导和对流过程，因此内部和表面温度可以通过径向能量平衡方程来表示：
Figure 208812DEST_PATH_IMAGE041
；
Figure 500116DEST_PATH_IMAGE042
；
Figure 845778DEST_PATH_IMAGE043
；
Figure 982361DEST_PATH_IMAGE044
；
式中，T c 、T s 、T f 为电池内部温度、表面温度以及环境温度；R c ，R u 分别表示电池内部的热传导热阻和电池表面的对流热阻；C c ，C s 分别表示等效内部热容和表面热容；H为电池热生成，包括欧姆热和可逆熵热；E n 为电化学反应引起的可逆熵变；SoC表示荷电量；E（t）为t时刻的电动势；V t 为锂离子电池的终端电压；t为时间；I（t）为t时刻的电流。
根据上述简化，电动势、荷电状态和锂离子电池的终端电压可计算为：
Figure 588923DEST_PATH_IMAGE045
；
Figure 51129DEST_PATH_IMAGE046
；
Figure 743141DEST_PATH_IMAGE047
；
式中，U +（·）和U - （·）是固体颗粒表面浓度的函数，表示相应电极的开路电位；R f 表示固体电解质界面膜电阻；c s,min，c s,max为粒子中最小和最大锂离子浓度。
最后，为了获得快速充电对电池老化的影响，在模型中考虑了副反应的阳极过电位。副反应过电位η side 由下式给出：
Figure 683415DEST_PATH_IMAGE048
；
式中，U side 表示副反应的平衡电位，η side 为副反应过电势；η表示电极活化极过电位。
S2：基于电池电化学-热老化模型构建充电准则（即通过关键参数构建充电准则），通过充电准则进行强化学习，构建元组，元组包括状态变量、动作变量和奖励函数；其中充电准则为在满足安全和健康要求的前提下对电池充电，下面对S2的具体步骤进行说明：
S201：确定充电目标，将电池电量充至100%；
S202：基于充电目标选择端电压、内部温度和副反应过电势为关键参数，构建充电准则，其满足的关系式如下：
Figure 285429DEST_PATH_IMAGE049
；
Figure 918536DEST_PATH_IMAGE050
；
Figure 97844DEST_PATH_IMAGE051
；
Figure 576230DEST_PATH_IMAGE052
；
Figure 422963DEST_PATH_IMAGE053
；
式中，SoC tar 为目标SoC；I(t)，V(t)，T c (t)和η side (t)分别是t时刻的电流，电压，内部温度和副反应过电势；I max 为电池可允许的最大电流；V t,min ，V t,max 分别为电池可允许最小和最大电压；T min ，T max 分别为电池正常工作的最小和最大温度。
副反应过电势主要用于限制快速充电过程中潜在的析锂危险，一般认为，η side ≤0时，析锂等一系列副反应将会发生，进而因此锂离子电池的容量损失和衰退，甚至出现热失控等危险；
S203：基于充电准则进行强化学习，确定元组中的状态变量、动作变量和奖励函数。
需要说明的是，在强化学习的基本框架中，需要根据环境反馈的状态变量决定下一步的动作，对应于最优充电控制问题，需要获取的是快速充电过程中电池需要约束的当前状态，而提供给环境的动作为电流，因此，状态变量和动作变量分别被设置为：
Figure 836758DEST_PATH_IMAGE054
；
式中，s t 为状态变量，a t 为动作变量，f nor [·]为标准化函数，用于将变量转换为[-1,1]的统一范围；SoC为荷电量，V t为的锂离子电池的终端电压；T c为电池内部温度；t为时间。
强化学习的主体网络通过与环境的不断交互来获取最大化长期累积奖励，而充电准则的优化目标是在保证约束的前提下使目标函数最小化，因此，可以将奖励函数设置为如下形式：
Figure 768942DEST_PATH_IMAGE055
；
式中，r为奖励函数，λ是奖励比例因子，ω i 是权重，i=1～5，C volt （t）、C temp （t）和C side （t）分别表征对电压、温度和副反应的约束函数；C soc （t）为对荷电量的约束函数，用来保证充电快速性；C smooth （t）为平滑项函数，用于抑制充电过程中电流的剧烈波动。
需要说明的是，λ是确保最大熵项和累积奖励项的反向梯度存在相对较小差异的奖励比例因子。ωi（i=1～5）是评估每个约束关注程度的权重。
另外，在奖励函数中，第一项表示要最小化的目标函数：
Figure 51019DEST_PATH_IMAGE056
；
C volt （t）、C temp （t）和C side （t）表征对电压、温度和副反应的约束函数；SoC tar表示设定的荷电量。为简单起见，C volt （t）、C temp （t）和C side （t）可以表示为：
Figure 486679DEST_PATH_IMAGE057
；
Figure 196010DEST_PATH_IMAGE058
；
Figure 490856DEST_PATH_IMAGE059
；
最后，还需要在奖励中引入了一个附加项C smooth （t），以抑制充电过程中电流的剧烈波动：
Figure 576623DEST_PATH_IMAGE060
；
式中，I(t-1)为t-1时刻的电流。
S3：构建柔性行动者-批评家网络，包括构建一个行动者网络和两个批评家网络；其中，行动者网络由两个256节点的完全连接层组成，然后是一个包含激活函数tanh（·）的输出层，公式如下：
Figure 837097DEST_PATH_IMAGE061
；
式中W output 、W hidden1 、W hidden2 、b hidden1 、b hidden2 和b output 为网络各层的具体参数，其中output为输出层，hidden1和hidden2为第一个和第二个隐藏层，用φ代指行动者全部网络参数；μ，σ为行动者网络输出层参数；relu（·）为完全连接层的激活函数；T表示矩阵的转置。
批评家采用双函数网络来增强鲁棒性。其隐含层结构同行动者，不同的是输出层需要同时获得高斯分布的平均值和偏差，公式如下：
Figure 717328DEST_PATH_IMAGE062
；
式中，Q 1,Q 2为批评家网络的输出层参数；θ 1,θ 2分别代指批评家两个网络的全部网络参数；W output 、W hidden1 、W hidden2 、b hidden1 、b hidden2 和b output 为网络各层的具体参数，其中output为输出层，hidden1和hidden2为第一个和第二个隐藏层；relu（·）为完全连接层的激活函数；s t 为状态变量；a t 为动作变量。
为了满足网络的训练需求，需设置批评家网络对应的目标网络，其结构与上述批 评家网络相同，并用
Figure 92946DEST_PATH_IMAGE063
1，
Figure 592191DEST_PATH_IMAGE063
2分别代指目标网络的全部网络参数。
S4：基于元组对柔性行动者-批评家网络进行训练，获得第一充电策略对应的行动者网络，其中，第一充电策略指最优的快速充电策略，S4的具体步骤如下：
S401：初始化柔性行动者-批评家网络的网络参数，并设定经验池，然后初始化经验池，设定当前时刻t=0；
S402：获取当前时刻状态值s t （t时刻状态变量对应的值），基于行动者网络的输出参数（μ和σ），构造正态分布函数π φ (·|s t )，然后基于正态分布函数选择动作a t ~π φ (·|s t )，并将动作转换为实际充电电流 t ，将其作用于电池电化学-热老化模型，获得环境反馈的下一状态值s t+1和奖励值r t ；
S403：基于状态值s t+1（t+1时刻状态变量对应的值）和奖励值r t 判断下一状态是否为充电结束状态，其判断规则为：从s t+1中解析出变量SoC，与设定的SoC tar 进行对比，当SoC不小于SoC tar 时，认为充电结束，给标志位d t 置1，重新初始化电池电化学-热老化模型，反之，给标志位d t 置0，将元组[s t ,a t ,s t+1,d t ]作为一条经验存储至经验池中；
S404：判断是否到达训练开始标志，判断的准则为经验数量是否达到设定的经验池最大值N，若没有，将当前时刻加1，记为t=t+1，直至达到训练开始标志；若到达训练开始标志，则从经验池中随机抽取一组数据，在本实施例中每组数据包含128个经验。
S405：基于从经验池抽取的元组进行批评家网络更新、行动者网络更新和目标网络参数更新；其中，首先更新批评家网络，执行最小化柔性贝尔曼残差的操作：
Figure 268023DEST_PATH_IMAGE064
；
式中，D表示经验池，其中包含大量经验元组[s t 、a t 、s t+1、r t ]；
Figure 148517DEST_PATH_IMAGE024
t+1表示从π φ （·|s t ） 分布中获取的t+1时刻的动作；γ为奖励的折扣系数；O表示数学期望；Q为批评家网络的输 送层参数；θ为批评家网络的网络参数；
Figure 11431DEST_PATH_IMAGE026
为目标网络参数；α是熵项的权重因子；rt为奖励 值。最小化过程采用的优化器为Adam，后续的更新中同样采用相同的优化器。
然后执行行动者网络的参数更新，同样基于经验池获取的一组经验，执行最小化的KL差异的操作：
Figure 337805DEST_PATH_IMAGE065
；
式中，α是熵项的权重因子，本实施例中采用固定的值，Z(s t )是对分布进行归一化 的配分函数，其对梯度没有贡献，可以忽略；
Figure 868143DEST_PATH_IMAGE024
t 表示从π φ （·|s t ）分布中获取的t时刻的动作。
为了通过梯度下降达到J π 的最小值，需要采用重新参数化技巧来确保梯度的反向传播，因此：
Figure 355756DEST_PATH_IMAGE066
；
式中，
Figure 971546DEST_PATH_IMAGE067
表示表示经过重新参数化后的动作；
Figure 671648DEST_PATH_IMAGE068
和
Figure 931859DEST_PATH_IMAGE069
对应于行动者 网络π φ 的平均值和标准偏差。ε t 表示从标准正态分布中采样的噪声，
Figure 324795DEST_PATH_IMAGE070
表示对应位置元素相 乘的运算符。
最后，更新目标网络参数，公式如下：
Figure 427880DEST_PATH_IMAGE071
；
式中，τ为软更新的系数。
S406：将时间t增加1个步长，循环执行S402~S405，直至达到定义的最大持续时间步长t e 或充电结束标志d t =1；而在本实施例中，该实例中t e =3000s。
S407：当S406结束后，则视为训练执行了一个回合，重复训练这个过程，设定回合数M，直至达到最大回合数Mmax，然后终止并视为策略网络和价值网络收敛，同时导出第一充电策略对应的行动者网络。
需要说明的是，该实施例中，M=600，至此完成了策略网络的训练。
S5：实际运行的示意图如图3所示，其中左上展示的为导出第一充电策略对应的行动者网络，右上侧展示了一种电池状态估计模块的示意图，其作用为估计电池内部不可测状态，左下侧展示的为状态的状态的离差标准化操作，右下侧则代表真实的物理电池。通过电压、电流、温度等真实电池端传感器实时采集充电电流、端电压、环境温度、电池表面温度等物理量，结合状态观测器将采集的充电电流、端电压、环境温度、电池表面温度转换为行动者网络对应的状态变量，利用行动者网络对应的状态变量输入第一充电策略对应的行动者网络，通过网络计算获得实时输出的充电动作，该充电动作将被继续作用于正式电池上，重复上述过程直至完成全部充电过程；
需要说明的是，基于上述步骤，通过基于柔性行动者-批评家的第一（最优）充电策略，对电池的充电电流进行实时计算，对充电速度进行奖励，对过电压、过热以及析锂等多种危险因素进行软性惩罚，通过对多个冲突目标进行智能优化，实现具备安全意识和健康主动意识的快速充电最优控制。
S6：将第一充电策略对应的行动者网络，移植到车载充电控制单元，实现该车辆的实时最优充电控制操作，也可以将其移植到充电桩控制单元，在充电桩控制单元中建立起多种电池的此类充电策略数据库，通过与车辆的充电前通讯，选择对应的最优充电控制策略，满足为同一类车充电的需求。
需要说明的是，对基于柔性行动者-批评家的快速充电方法进行验证，结果如图4所示，图4中，（a）为充电倍率与时间的关系，（b）为终端电压与时间的关系，（c）为电池内部温度与时间的关系，（d）为副反应过电势与时间的关系，（e）为荷电状态与时间的关系。结果表明方法在最大化充电速度的同时保持电池端电压不超过4.2V，内部温度不超过设定的45℃以及副反应电势不低于0V，实现充电速度与过压、过热和副反应保护的智能兼顾。
另外，如图2所示，其左侧展示了电化学模型的示意图，其中锂离子电池的正负极固相部分采用球状粒子进行模拟，两端是集流体，中间由隔膜隔开。充电时锂离子由正极脱嵌，并通过隔膜嵌入负极活性材料中。右侧展示了一种圆柱电池的两状态热模型示意图，模拟了电池表面和核心之间的导热过程，以及电池表面和环境之间的换热过程。
实施例一
如图5所示，一种锂离子电池智能快速充电系统，包括测试模块、定义模块、构建模块、训练模块、获取模块和执行模块：
测试模块，用于确定锂离子电池关键参数，并基于关键参数构建电池电化学-热老化模型；
定义模块，基于电池电化学-热老化模型构建充电准则，对充电准则进行训练，构建元组，元组包括状态变量、动作变量和奖励函数；
构建模块，用于构建柔性行动者-批评家网络；
训练模块，用于基于元组对柔性行动者-批评家网络进行训练，获得第一充电策略对应的行动者网络；
获取模块，用于实时采集充电电流、端电压、环境温度、电池表面温度，通过状态观测器将采集的充电电流、端电压、环境温度、电池表面温度转换为行动者网络对应的状态变量，通过将行动者网络对应的状态变量输入第一充电策略对应的行动者网络，实时输出充电动作；
执行模块，用于将第一充电策略对应的行动者网络移植至车载充电控制单元或充电桩控制单元。
进一步地，定义模块包括目标子模块、构建子模块和定义子模块；
目标子模块，用于确定充电目标，将电池电量充至100%；
构建子模块，用于基于充电目标选择端电压、内部温度和副反应过电势为关键参数，构建充电准则；
定义子模块，用于基于充电准则进行强化学习，确定元组中的状态变量、动作变量和奖励函数。
进一步地，训练模块包括初始化子模块、反馈子模块、第一判断子模块、第二判断子模块、更新子模块、第一循环子模块和第二循环子模块；
初始化子模块，用于初始化柔性行动者-批评家网络的网络参数，并设定经验池，然后初始化经验池，设定当前时刻t=0；
反馈子模块，用于获取当前时刻状态值s t ，基于行动者网络的输出参数μ，σ构造正态分布函数π φ (·|s t )，然后基于正态分布函数选择动作a t ~π φ (·|s t )，并将动作转换为实际充电电流 t ，将其作用于电池电化学-热老化模型，获得环境反馈的下一状态值s t+1和奖励值r t ；
第一判断子模块，用于基于状态值s t+1和奖励值r t 判断下一状态是否为充电结束状态，若充电结束，给标志位d t =1，重新初始化电池电化学-热老化模型，反之，给标志位d t =0，将元组[s t ,a t ,s t+1,d t ]作为一条经验存储至经验池中；
第二判断子模块，用于判断是否到达训练开始标志，若没有，将当前时刻加1，记为t=t+1，直至到达训练开始标志；若到达训练开始标志，则从经验池中随机抽取一组元组；
更新子模块，用于基于从经验池抽取的元组进行批评家网络更新、行动者网络更新和目标网络参数更新；
第一循环子模块，用于将时间t增加1个步长，直至达到定义的最大持续时间步长t e 或充电结束标志d t =1；
第二循环子模块，用于设定回合数M，直至达到最大回合数Mmax，然后终止并视为策略网络和价值网络收敛，同时导出第一充电策略对应的行动者网络。
进一步地，状态观测器为粒子滤波观测器、扩展卡尔曼滤波观测器、龙贝格观测器和滑膜观测器中的一种。
实施例二
图6是本发明的锂离子电池快速充电系统的另一种实施方式，该快速充电系统包括：模型参数辨识模块、电池状态估计模块、智能充电控制模块、阈值判断模块；
模型参数辨识模块用于对电化学模型的关键参数进行筛选并辨识，得到辨识值；
电池状态估计模块利用粒子滤波、扩展卡尔曼滤波、龙贝格观测器、滑膜观测器中的一中状态估计方法，得到估计结果；
智能充电控制模块，基于状态估计结果对锂离子电池进行快速充电，并通过深度强化学习算法对快速充电阶段进行智能优化处理；
阈值判断模块用于判断锂离子电池端电压是否达到预设电压阈值，若未达到，则继续以基于模型的智能优化电流对电池进行充电，否则采用恒压充电规则对电池进行充电。
需要说明的是，锂离子电池充电电流大小包括0C-2C，其中，C为电池一小时完全放电时的电流强度；恒压充电规则的截止条件为充电电流降至0.05C，或人为干预停止充电。
需要说明的是，本发明实施例一和二所提供的电池快速充电系统可执行本发明任意实施例所提供的锂离子电池快速充电方法，具备执行方法相应的功能模块和有益效果，可用于电动车辆电池管理系统或直流充电桩。值得注意的是，上述电池快速充电系统的实施例中，所包括的各个模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (17)

1.一种锂离子电池智能快速充电方法，其特征在于，包括以下步骤：
确定锂离子电池关键参数，并基于关键参数构建电池电化学-热老化模型；
基于电池电化学-热老化模型构建充电准则，对充电准则进行训练，构建元组，元组包括状态变量、动作变量和奖励函数；
构建柔性行动者-批评家网络；
基于元组对柔性行动者-批评家网络进行训练，获得第一充电策略对应的行动者网络；
实时采集充电电流、端电压、环境温度、电池表面温度，通过状态观测器将采集的充电电流、端电压、环境温度、电池表面温度转换为行动者网络对应的状态变量，通过将行动者网络对应的状态变量输入第一充电策略对应的行动者网络，实时输出充电动作；
将第一充电策略对应的行动者网络移植至车载充电控制单元或充电桩控制单元。
2.根据权利要求1所述的一种锂离子电池智能快速充电方法，其特征在于，电池电化学-热老化模型包括：
固相扩散方程中的锂离子扩散浓度，公式如下：
Figure 869518DEST_PATH_IMAGE001
；
Figure 317817DEST_PATH_IMAGE002
；
Figure 793096DEST_PATH_IMAGE003
；
式中，c s,avg 、c s,surf 、q avg 分别为体积平均浓度、表面浓度和体积平均浓度通量；j n （t）表示t时刻颗粒表面的孔壁通量；D s 为锂离子固相有效扩散系数；R s 为固相粒子半径；上标±表示电极的极性；t为时间；
电极边界处的电解质浓度，公式如下：
Figure 735775DEST_PATH_IMAGE004
；
式中，δ为常数；j f 表示体积电流密度；ε e 表示每个电极/分离器中的电解质体积分数；F为法拉第常数；D eff 为锂离子液相有效扩散系数；c e 为液相的锂离子浓度；c e0为液相初始的锂离子浓度；t c 为离子的迁移数；上标±表示电极的极性；
电极边界处的电势，公式如下：
Figure 612464DEST_PATH_IMAGE005
；
式中，R为理想气体常数；T a （t）为电池t时刻的内部平均温度；A、L为电极/隔膜的面积和厚度；κ eff 为电解质中的有效离子电导率；上标sep表示电极的隔膜；I（t）为t时刻的电流；
锂离子插锂/脱锂反应的电极活化极化过电位，公式如下：
Figure 982397DEST_PATH_IMAGE006
；
Figure 163DEST_PATH_IMAGE007
；
Figure 995800DEST_PATH_IMAGE008
；
式中，k为电极中的反应速率；c s,max为最大锂离子浓度；a s 表示固体颗粒表面的界面面积；j 0和ξ为中间变量；η表示电极活化极过电位；
电池内部和表面温度，公式如下：
Figure 71204DEST_PATH_IMAGE009
；
Figure 612038DEST_PATH_IMAGE010
；
Figure 163105DEST_PATH_IMAGE011
；
Figure 572221DEST_PATH_IMAGE012
；
式中，T c 、T s 、T f 为电池内部温度、表面温度以及环境温度；R c ，R u 分别表示电池内部的热传导热阻和电池表面的对流热阻；C c ，C s 分别表示等效内部热容和表面热容；H为的电池热生成，包括欧姆热和可逆熵热；E n 为电化学反应引起的可逆熵变；SoC表示荷电量；E（t）为t时刻的电动势；V t 为的锂离子电池的终端电压；t为时间；I（t）为t时刻的电流；
锂离子电池的电动势、荷电量、终端电压和副反应过电势，公式如下：
Figure 643076DEST_PATH_IMAGE013
；
Figure 869658DEST_PATH_IMAGE014
；
Figure 658753DEST_PATH_IMAGE015
；
Figure 605981DEST_PATH_IMAGE016
；
式中，U +（·）和U - （·）是固体颗粒表面浓度的函数，表示相应电极的开路电位；R f 表示固体电解质界面膜电阻；c s,min，c s,max为粒子中最小和最大锂离子浓度；U side 表示副反应的平衡电位，η side （t）为t时刻的副反应过电势。
3.根据权利要求1所述的一种锂离子电池智能快速充电方法，其特征在于，基于电池电化学-热老化模型构建充电准则，对充电准则进行训练，构建元组，包括以下步骤：
确定充电目标，将电池电量充至100%；
基于充电目标选择端电压、内部温度和副反应过电势为关键参数，构建充电准则；
基于充电准则进行强化学习，确定元组中的状态变量、动作变量和奖励函数。
4.根据权利要求3所述的一种锂离子电池智能快速充电方法，其特征在于，充电准则的关系式为：
Figure 780610DEST_PATH_IMAGE017
；
式中，SoC tar 为目标SoC；I(t)，V(t)，T c (t)和η side (t)分别是t时刻的电流，电压，内部温度和副反应过电势；I max 为电池可允许的最大电流；V t,min ，V t,max 分别为电池可允许最小和最大电压；T min ，T max 分别为电池正常工作的最小和最大温度。
5.根据权利要求3所述的一种锂离子电池智能快速充电方法，其特征在于，状态变量的关系式如下：
Figure 928826DEST_PATH_IMAGE018
；
式中，s t 为状态变量，f nor [·]为标准化函数，用于将变量转换为[-1,1]的统一范围；η side 为副反应过电势，SoC为荷电量，V t为的锂离子电池的终端电压；T c为电池内部温度；t为时间。
6.根据权利要求5所述的一种锂离子电池智能快速充电方法，其特征在于，动作变量的关系式如下：
Figure 454485DEST_PATH_IMAGE019
；
式中，a t 为动作变量；I(t)为t时刻的电流；I max 为电池可允许的最大电流。
7.根据权利要求6所述的一种锂离子电池智能快速充电方法，其特征在于，奖励函数的关系式如下：
Figure 205404DEST_PATH_IMAGE020
；
式中，r为奖励函数；λ是奖励比例因子；ω i 是权重，i=1～5；C volt （t）、C temp （t）和C side （t）分别表征对电压、温度和副反应的约束函数；C soc （t）为对荷电量的约束函数，用来保证充电快速性；C smooth （t）为平滑项函数，用于抑制充电过程中电流的剧烈波动。
8.根据权利要求1所述的一种锂离子电池智能快速充电方法，其特征在于，行动者网络包括两个256节点的完全连接层和激活函数tanh（·）的输出层，公式如下：
Figure 516430DEST_PATH_IMAGE021
；
式中，W output 、W hidden1 、W hidden2 、b hidden1 、b hidden2 和b output 为网络各层的具体参数，其中output为输出层，hidden1和hidden2为第一个和第二个隐藏层，用φ代指行动者全部网络参数；μ，σ为行动者网络输出层参数；relu（·）为完全连接层的激活函数。
9.根据权利要求1所述的一种锂离子电池智能快速充电方法，其特征在于，批评家网络为双函数结构，公式如下：
Figure 819236DEST_PATH_IMAGE022
；
式中，Q 1，Q 2为批评家网络的输出层参数；θ 1，θ 2分别代指批评家两个网络的全部网络参数；W output 、W hidden1 、W hidden2 、b hidden1 、b hidden2 和b output 为网络各层的具体参数，其中output为输出层，hidden1和hidden2为第一个和第二个隐藏层；relu（·）为完全连接层的激活函数；s t 为状态变量；a t 为动作变量。
10.根据权利要求7所述的一种锂离子电池智能快速充电方法，其特征在于，基于元组对柔性行动者-批评家网络进行训练，获得第一充电策略对应的行动者网络，包括以下步骤：
初始化柔性行动者-批评家网络的网络参数，并设定经验池，然后初始化经验池，设定当前时刻t=0；
获取当前时刻状态值s t ，基于行动者网络的输出参数构造正态分布函数π φ (·|s t )，然后基于所述正态分布函数选择动作a t ~π φ (·|s t )，并将动作转换为实际充电电流，将其作用于电池电化学-热老化模型，获得环境反馈的下一状态值s t+1和奖励值r t ；
基于状态值s t+1和奖励值r t 判断下一状态是否为充电结束状态，若充电结束，给标志位d t 置1，重新初始化电池电化学-热老化模型，反之，给标志位d t 置0，将元组[s t ,a t ,s t+1,d t ]作为一条经验存储至经验池中；
判断是否到达训练开始标志，若没有，将当前时刻加1，记为t=t+1，直至达到训练开始标志；
若到达训练开始标志，则从经验池中随机抽取一组元组；
基于从经验池抽取的元组进行批评家网络更新、行动者网络更新和目标网络参数更新；
将时间t增加1个步长，直至达到定义的最大持续时间步长t e 或充电结束标志d t =1；
设定回合数M，直至达到最大回合数Mmax，然后终止并视为策略网络和价值网络收敛，同时导出第一充电策略对应的行动者网络。
11.根据权利要求10所述的一种锂离子电池智能快速充电方法，其特征在于，更新批评家网络，用于梯度更新的损失函数公式如下：
Figure 582923DEST_PATH_IMAGE023
；
式中，D表示经验池，其中包含大量经验元组[s t 、a t 、s t+1、r t ]；
Figure 262167DEST_PATH_IMAGE024
t+1表示从π φ （·|s t ）分布 中获取的t+1时刻的动作；γ为奖励的折扣系数；O表示数学期望；Q为批评家网络的输送层 参数；θ为批评家网络的网络参数；
Figure 21175DEST_PATH_IMAGE025
为目标网络参数；α是熵项的权重因子；r t 为奖励值。
12.根据权利要求11所述的一种锂离子电池智能快速充电方法，其特征在于，更新行动者网络，用于梯度更新的损失函数公式如下：
Figure 511193DEST_PATH_IMAGE026
；
式中，α是熵项的权重因子，Z(s t )是对分布进行归一化的配分函数；
Figure 745866DEST_PATH_IMAGE024
t 表示从π φ （·|s t ） 分布中获取的t时刻的动作。
13.根据权利要求10所述的一种锂离子电池智能快速充电方法，其特征在于，更新目标网络参数，公式如下：
Figure 838587DEST_PATH_IMAGE027
；
式中，τ为软更新的系数。
14.一种锂离子电池智能快速充电系统，其特征在于，包括测试模块、定义模块、构建模块、训练模块、获取模块和执行模块：
测试模块，用于确定锂离子电池关键参数，并基于关键参数构建电池电化学-热老化模型；
定义模块，基于电池电化学-热老化模型构建充电准则，对充电准则进行训练，构建元组，元组包括状态变量、动作变量和奖励函数；
构建模块，用于构建柔性行动者-批评家网络；
训练模块，用于基于元组对柔性行动者-批评家网络进行训练，获得第一充电策略对应的行动者网络；
获取模块，用于实时采集充电电流、端电压、环境温度、电池表面温度，通过状态观测器将采集的充电电流、端电压、环境温度、电池表面温度转换为行动者网络对应的状态变量，通过将行动者网络对应的状态变量输入第一充电策略对应的行动者网络，实时输出充电动作；
执行模块，用于将第一充电策略对应的行动者网络移植至车载充电控制单元或充电桩控制单元。
15.根据权利要求14所述的一种锂离子电池智能快速充电系统，其特征在于，定义模块包括目标子模块、构建子模块和定义子模块；
目标子模块，用于确定充电目标，将电池电量充至100%；
构建子模块，用于基于充电目标选择端电压、内部温度和副反应过电势为关键参数，构建充电准则；
定义子模块，用于基于充电准则进行强化学习，确定元组中的状态变量、动作变量和奖励函数。
16.根据权利要求15所述的一种锂离子电池智能快速充电系统，其特征在于，训练模块包括初始化子模块、反馈子模块、第一判断子模块、第二判断子模块、更新子模块、第一循环子模块和第二循环子模块；
初始化子模块，用于初始化柔性行动者-批评家网络的网络参数，并设定经验池，然后初始化经验池，设定当前时刻t=0；
反馈子模块，用于获取当前时刻状态值s t ，基于行动者网络的输出参数构造正态分布函数π φ (·|s t )，然后基于所述正态分布函数选择动作a t ~π φ (·|s t )，并将动作转换为实际充电电流，将其作用于电池电化学-热老化模型，获得环境反馈的下一状态值s t+1和奖励值r t ；
第一判断子模块，用于基于状态值s t+1和奖励值r t 判断下一状态是否为充电结束状态，若充电结束，给标志位d t =1，重新初始化电池电化学-热老化模型，反之，给标志位d t =0，将元组[s t ,a t ,s t+1,d t ]作为一条经验存储至经验池中；
第二判断子模块，用于判断是否到达训练开始标志，若没有，将当前时刻加1，记为t=t+1，直至到达训练开始标志；若到达训练开始标志，则从经验池中随机抽取一组元组；
更新子模块，用于基于从经验池抽取的元组进行批评家网络更新、行动者网络更新和目标网络参数更新；
第一循环子模块，用于将时间t增加1个步长，直至达到定义的最大持续时间步长t e 或充电结束标志d t =1；
第二循环子模块，用于设定回合数M，直至达到最大回合数Mmax，然后终止并视为策略网络和价值网络收敛，同时导出第一充电策略对应的行动者网络。
17.根据权利要求14-16任一项所述的一种锂离子电池智能快速充电系统，其特征在于，状态观测器为粒子滤波观测器、扩展卡尔曼滤波观测器、龙贝格观测器和滑膜观测器中的一种。
CN202211635957.4A 2022-12-20 2022-12-20 一种锂离子电池智能快速充电方法及系统 Active CN115632179B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211635957.4A CN115632179B (zh) 2022-12-20 2022-12-20 一种锂离子电池智能快速充电方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211635957.4A CN115632179B (zh) 2022-12-20 2022-12-20 一种锂离子电池智能快速充电方法及系统

Publications (2)

Publication Number Publication Date
CN115632179A true CN115632179A (zh) 2023-01-20
CN115632179B CN115632179B (zh) 2023-04-07

Family

ID=84910883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211635957.4A Active CN115632179B (zh) 2022-12-20 2022-12-20 一种锂离子电池智能快速充电方法及系统

Country Status (1)

Country Link
CN (1) CN115632179B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116526617A (zh) * 2023-04-26 2023-08-01 广芯微电子（广州）股份有限公司 一种基于强化学习的锂电池充电控制方法及装置
CN116699297A (zh) * 2023-08-08 2023-09-05 江西驴充充充电技术有限公司 充电桩检测系统及其方法
CN116865400A (zh) * 2023-07-17 2023-10-10 湖州顺为能源科技有限公司 一种智能锂电池充电机及其控制系统
CN117293975A (zh) * 2023-11-22 2023-12-26 云南华尔贝光电技术有限公司 一种锂电池的充放电调节方法、装置、设备及存储介质
CN117578679A (zh) * 2024-01-15 2024-02-20 太原理工大学 基于强化学习的锂电池智能充电控制方法
CN117637044A (zh) * 2023-10-07 2024-03-01 武汉理工大学 一种电池电压预测方法、装置、电子设备及存储介质
CN118017655A (zh) * 2024-03-27 2024-05-10 东莞市嘉佰达电子科技有限公司 一种锂电池充放电过程监控方法、系统、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299237A (zh) * 2018-09-26 2019-02-01 苏州大学 基于行动者评论家强化学习算法的循环网络人机对话方法
CN112117760A (zh) * 2020-08-13 2020-12-22 国网浙江省电力有限公司台州供电公司 基于双q值网络深度强化学习的微电网能量调度方法
CN114312845A (zh) * 2022-01-06 2022-04-12 重庆大学 基于地图数据的深度强化学习型混合动力汽车控制方法
US20220126725A1 (en) * 2020-10-22 2022-04-28 Harbin Engineering University Method for scheduling multi agent and unmanned electric vehicle battery swap based on internet of vehicles
CN115082845A (zh) * 2022-04-26 2022-09-20 北京理工大学 一种基于深度强化学习的监控视频目标检测任务调度方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299237A (zh) * 2018-09-26 2019-02-01 苏州大学 基于行动者评论家强化学习算法的循环网络人机对话方法
CN112117760A (zh) * 2020-08-13 2020-12-22 国网浙江省电力有限公司台州供电公司 基于双q值网络深度强化学习的微电网能量调度方法
US20220126725A1 (en) * 2020-10-22 2022-04-28 Harbin Engineering University Method for scheduling multi agent and unmanned electric vehicle battery swap based on internet of vehicles
CN114312845A (zh) * 2022-01-06 2022-04-12 重庆大学 基于地图数据的深度强化学习型混合动力汽车控制方法
CN115082845A (zh) * 2022-04-26 2022-09-20 北京理工大学 一种基于深度强化学习的监控视频目标检测任务调度方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116526617B (zh) * 2023-04-26 2024-02-02 广芯微电子（广州）股份有限公司 一种基于强化学习的锂电池充电控制方法及装置
CN116526617A (zh) * 2023-04-26 2023-08-01 广芯微电子（广州）股份有限公司 一种基于强化学习的锂电池充电控制方法及装置
CN116865400A (zh) * 2023-07-17 2023-10-10 湖州顺为能源科技有限公司 一种智能锂电池充电机及其控制系统
CN116865400B (zh) * 2023-07-17 2024-05-24 湖州顺为能源科技有限公司 一种智能锂电池充电机及其控制系统
CN116699297A (zh) * 2023-08-08 2023-09-05 江西驴充充充电技术有限公司 充电桩检测系统及其方法
CN116699297B (zh) * 2023-08-08 2023-10-27 江西驴充充充电技术有限公司 充电桩检测系统及其方法
CN117637044A (zh) * 2023-10-07 2024-03-01 武汉理工大学 一种电池电压预测方法、装置、电子设备及存储介质
CN117293975B (zh) * 2023-11-22 2024-02-02 云南华尔贝光电技术有限公司 一种锂电池的充放电调节方法、装置、设备及存储介质
CN117293975A (zh) * 2023-11-22 2023-12-26 云南华尔贝光电技术有限公司 一种锂电池的充放电调节方法、装置、设备及存储介质
CN117578679A (zh) * 2024-01-15 2024-02-20 太原理工大学 基于强化学习的锂电池智能充电控制方法
CN117578679B (zh) * 2024-01-15 2024-03-22 太原理工大学 基于强化学习的锂电池智能充电控制方法
CN118017655A (zh) * 2024-03-27 2024-05-10 东莞市嘉佰达电子科技有限公司 一种锂电池充放电过程监控方法、系统、设备及介质
CN118017655B (zh) * 2024-03-27 2024-06-11 东莞市嘉佰达电子科技有限公司 一种锂电池充放电过程监控方法、系统、设备及介质

Also Published As

Publication number Publication date
CN115632179B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN115632179B (zh) 一种锂离子电池智能快速充电方法及系统
CN110568361B (zh) 一种动力电池健康状态的预测方法
CN111007399B (zh) 基于改进生成对抗网络的锂电池荷电状态预测方法
CN107957562A (zh) 一种锂离子电池剩余寿命在线预测方法
CN112464571B (zh) 基于多约束条件粒子群优化算法的锂电池组参数辨识方法
CN110941929A (zh) 一种基于ARMA和Elman神经网络联合建模的电池健康状态评估方法
CN114970376B (zh) 锂电池的健康度和剩余寿命预测模型的构建方法及装置
CN106777786A (zh) 一种锂离子电池soc估算方法
CN114781176B (zh) 一种锂离子电池储能系统集总参数的等效电路参数辨识方法
Shi et al. Combining physicochemical model with the equivalent circuit model for performance prediction and optimization of lead-acid batteries
CN113255205B (zh) 基于电动汽车电池的生命周期成本和电池温度优化方法
CN113868934A (zh) 一种并联锂离子电池电化学参数辨识方法
Chen et al. State of health estimation of lithium-ion batteries based on equivalent circuit model and data-driven method
CN117096984A (zh) 基于强化学习的电池组均衡感知快充控制方法和系统
CN116643196A (zh) 一种融合机理与数据驱动模型的电池健康状态估计方法
CN116973756A (zh) 用于估计电池的健康状态的方法及设备以及计算机程序
Guo et al. Parameter identification of fractional‐order model with transfer learning for aging lithium‐ion batteries
CN117236200B (zh) 基于数据驱动降阶模型的飞行汽车电池快充策略优化方法
CN110232432B (zh) 一种基于人工生命模型的锂电池组soc预测方法
Xiong et al. Improved cooperative competitive particle swarm optimization and nonlinear coefficient temperature decreasing simulated annealing-back propagation methods for state of health estimation of energy storage batteries
CN117799495A (zh) 一种锂离子电池荷电状态估算与均衡控制方法
CN117169743A (zh) 基于部分数据和模型融合的电池健康状态估计方法及设备
Torchio et al. Optimal charging of a Li-ion cell: A hybrid model predictive control approach
CN118156549A (zh) 基于人工神经网络的全钒液流电池soc预测方法
Udeogu et al. Remaining useful life prediction for supercapacitors using an optimized end-to-end deep learning approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant