CN116638914A - 基于td3算法的多控制器协同控制整车热管理控制方法 - Google Patents
基于td3算法的多控制器协同控制整车热管理控制方法 Download PDFInfo
- Publication number
- CN116638914A CN116638914A CN202310591348.1A CN202310591348A CN116638914A CN 116638914 A CN116638914 A CN 116638914A CN 202310591348 A CN202310591348 A CN 202310591348A CN 116638914 A CN116638914 A CN 116638914A
- Authority
- CN
- China
- Prior art keywords
- battery
- representing
- refrigerant
- air
- evaporator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 33
- 238000001816 cooling Methods 0.000 claims abstract description 44
- 238000004088 simulation Methods 0.000 claims abstract description 41
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 claims abstract description 31
- 229910001416 lithium ion Inorganic materials 0.000 claims abstract description 31
- 230000008878 coupling Effects 0.000 claims abstract description 13
- 238000010168 coupling process Methods 0.000 claims abstract description 13
- 238000005859 coupling reaction Methods 0.000 claims abstract description 13
- 239000003507 refrigerant Substances 0.000 claims description 160
- 239000003570 air Substances 0.000 claims description 140
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 47
- 238000012549 training Methods 0.000 claims description 23
- 239000007788 liquid Substances 0.000 claims description 22
- 238000004378 air conditioning Methods 0.000 claims description 21
- 239000003795 chemical substances by application Substances 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 14
- 230000009471 action Effects 0.000 claims description 13
- 238000002156 mixing Methods 0.000 claims description 10
- 239000000110 cooling liquid Substances 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 9
- 239000000203 mixture Substances 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 8
- 238000007906 compression Methods 0.000 claims description 8
- 238000011217 control strategy Methods 0.000 claims description 8
- 238000012546 transfer Methods 0.000 claims description 8
- 238000001704 evaporation Methods 0.000 claims description 7
- 230000020169 heat generation Effects 0.000 claims description 7
- 239000002826 coolant Substances 0.000 claims description 5
- 230000008020 evaporation Effects 0.000 claims description 5
- 238000005057 refrigeration Methods 0.000 claims description 5
- 239000012080 ambient air Substances 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 239000000463 material Substances 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 229920006395 saturated elastomer Polymers 0.000 claims description 4
- 238000009834 vaporization Methods 0.000 claims description 4
- 230000008016 vaporization Effects 0.000 claims description 4
- 239000011800 void material Substances 0.000 claims description 4
- 150000002500 ions Chemical class 0.000 claims description 3
- 230000002427 irreversible effect Effects 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 230000005855 radiation Effects 0.000 claims description 3
- 230000002441 reversible effect Effects 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 238000009423 ventilation Methods 0.000 claims description 3
- 238000005265 energy consumption Methods 0.000 abstract description 7
- 230000002829 reductive effect Effects 0.000 abstract description 3
- 230000001276 controlling effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 229910002092 carbon dioxide Inorganic materials 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000007086 side reaction Methods 0.000 description 2
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 239000012809 cooling fluid Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005485 electric heating Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
- B60H1/00—Heating, cooling or ventilating [HVAC] devices
- B60H1/00271—HVAC devices specially adapted for particular vehicle parts or components and being connected to the vehicle HVAC unit
- B60H1/00278—HVAC devices specially adapted for particular vehicle parts or components and being connected to the vehicle HVAC unit for the battery
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
- B60H1/00—Heating, cooling or ventilating [HVAC] devices
- B60H1/00357—Air-conditioning arrangements specially adapted for particular vehicles
- B60H1/00385—Air-conditioning arrangements specially adapted for particular vehicles for vehicles having an electrical drive, e.g. hybrid or fuel cell
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
- B60H1/00—Heating, cooling or ventilating [HVAC] devices
- B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
- B60H1/0073—Control systems or circuits characterised by particular algorithms or computational models, e.g. fuzzy logic or dynamic models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
- B60H1/00—Heating, cooling or ventilating [HVAC] devices
- B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
- B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
- B60H1/00—Heating, cooling or ventilating [HVAC] devices
- B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
- B60H1/00814—Control systems or circuits characterised by their output, for controlling particular components of the heating, cooling or ventilating installation
- B60H1/00878—Control systems or circuits characterised by their output, for controlling particular components of the heating, cooling or ventilating installation the components being temperature regulating devices
- B60H1/00885—Controlling the flow of heating or cooling liquid, e.g. valves or pumps
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
- B60H1/00—Heating, cooling or ventilating [HVAC] devices
- B60H1/32—Cooling devices
- B60H1/3204—Cooling devices using compression
- B60H1/3205—Control means therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
- B60H1/00—Heating, cooling or ventilating [HVAC] devices
- B60H1/00271—HVAC devices specially adapted for particular vehicle parts or components and being connected to the vehicle HVAC unit
- B60H2001/00307—Component temperature regulation using a liquid flow
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Thermal Sciences (AREA)
- Mechanical Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Sustainable Development (AREA)
- Sustainable Energy (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Air-Conditioning For Vehicles (AREA)
Abstract
本发明涉及基于TD3算法的多控制器协同控制的整车热管理控制方法，属于整车热管理领域。包括步骤：S1：建立汽车空调与乘客舱的热耦合模型；S2：建立锂离子电池电热模型和冷却回路模型；S3：建立电动汽车整车热管理系统仿真模型；S4：结合PID控制和逻辑控制，建立关于整车热管理系统仿真模型相匹配的整车热管理智能控制方法。本方案针对不同的控制目标合理采用不同的控制器进行协同控制以对电动汽车热管理系统进行高效、准确的控制，使电池温度控制在合理的工作范围内的前提下，保证乘客舱的热舒适度并降低空调能耗。
Description
技术领域
本发明属于整车热管理领域，涉及基于TD3算法的多控制器协同控制整车热管理控制方法。
背景技术
目前，电动汽车的热管理系统不再单纯地追求能耗的降低，更多的是考虑电池安全问题、人体舒适度以及空气健康循环问题。
在电动汽车的热管理系统中，电池热管理和空调、乘客舱耦合系统的热管理是电动汽车热管理的核心部分。由于各部分的热管理对参数的采集、反馈和控制的时效性要求以及准确度要求均存在差异性，因此通常需要针对电池和乘客舱分别设置热管理系统，缺乏同一的管理，导致控制效率较低，且能耗增大。
为解决该问题，现有技术提出了一些整车热管理系统，强调对电池、乘客舱和发动机等部分进行同一的管理，但在实际应用中，由于整车热管理系统过于复杂，从信号采集、处理、反馈到执行的过程中存在较多的不同系统耦合问题，且缺乏行之有效的联动控制策略，难以实现高效、准确的控制。
因此，如何使电池温度控制在合理的工作范围内，以及在此前提下保证乘客舱的热舒适度并降低空调能耗是亟需解决的问题。
发明内容
有鉴于此，本发明的目的在于提供基于TD3算法的多控制器协同控制整车热管理控制方法，通过TD3算法解决不同系统的耦合问题，并针对电池和乘客舱分别采用不同控制器，通过多控制器的联动控制策略进行协同控制，实现整车的热管理控制。
为达到上述目的，本发明提供如下技术方案：
基于TD3算法的多控制器协同控制整车热管理控制方法，包括以下步骤：
S1、分别建立汽车空调系统的一维仿真模型以及汽车乘客舱系统的动态热模型，并将所述一维仿真模型和所述动态热模型耦合为电动汽车空调与乘客舱热耦合模型；
S2、建立锂离子电池电热模型和冷却回路模型；
S21、建立锂离子电池电热模型具体包括：
采用等效电路Rint模型建立电池电特性模型
Ubat＝UOCV-IR
在Rint模型中，开路电压、电阻、电流参数的变化通过锂离子电池的SOC实时反映，锂离子电池SOC的计算方式为
其中SOCi代表锂离子电池的初始荷电状态值，C0代表锂离子电池的容量，其中C0在电池的使用过程中会逐渐衰减；
离子电池内部的产热源方式包括电池内部的由电池内阻引起的焦耳热和反应热，则锂离子电池的产热计算模型为
其中，T代表电池当前的温度，则表示电池的温熵系数，I(Uocv-Ubat)代表不可逆热部分，/>表示可逆热部分；
电池与其接触的冷板之间存在温度差，发生热传递的导热量计算方式为
其中，dis1代表电池到二者接触面的距离，dis2代表冷板到二者接触面的距离，λ1代表电池的导热率，λ2代表冷板的导热率，A代表电池与冷板的接触面积，ctr代表电池与冷板间的接触热阻，Tp代表冷板的温度，Tbat代表电池的温度；
基于集总参数法所建立的电池热模型如下所示：
其中，mbat代表电池的质量大小，Cbat代表电池的比热容大小；
S22、建立锂离子电池冷却回路模型具体包括：
根据水泵的输入电流随其占空比的变化得到水泵启动时所需功率为
Pppump＝U0Ip
其中，U0代表水泵的额定电压，Ip代表此时流经水泵的电流大小；
同一个占空比下的水泵功率和冷却液流量的仿真模型为
代表冷却液质量流量，P(i)为多项式系数；
对于电池冷却器，采用移动边界的方式来进行建模，制冷剂与电池冷却器的换热计算为
其中，ρl,bat代表制冷剂密度，hlg,bat代表制冷剂在蒸发时所需的相变潜焓值，Abat代表冷却器板面中制冷剂侧的横截面积，和lbat分别代表在蒸发两相区中的蒸气平均比例以及两相区换热阶段的长度，/>代表冷却器入口处的制冷剂质量流量，hi,bat代表制冷剂在两相区进口处的焓值，hg,bat代表制冷剂在两相区出口处的焓值，ai,bat代表制冷剂与电池冷却器之间的对流换热系数，Di,bat代表制冷剂流经的管道水力直径，Tw,bat代表冷却器板面温度，Tr,bat代表制冷剂温度；
S3、建立电动汽车整车热管理系统仿真模型；
S4、结合PID控制和逻辑控制，建立与整车热管理系统仿真模型相匹配的整车热管理控制方法。
进一步，在所述S1中，汽车空调系统的一维仿真模型包括：
S11、建立压缩机内制冷剂一维动态模型，表示如下：
ηv＝f1(Ncomp,Pc/Pe)
ηis＝f2(Ncomp,Pc/Pe)
其中，ηv代表压缩机的容积效率，ρr代表压缩机入口处制冷剂的密度，Ncomp代表压缩机的转速；Vd代表压缩机的排量；hc,o代表压缩机出口处的比焓，hc,i代表压缩机入口处的比焓，his,o代表在等熵压缩下的制冷剂的出口比焓，ηis代表压缩机在等熵压缩条件下的等熵效率；f1代表压缩机容积效率和等熵效率对压缩机进口压差的拟合函数，f2代表压缩机容积效率和等熵效率对压缩机出口压差的拟合函数，Pc/Pe代表压缩机出入口的压比，其中Pc代表冷凝器的压力，Pe代表蒸发器的压力；
S12、蒸发器建模，对于蒸发器的两相区长度le的变化由下式得到：
其中，ρle代表制冷剂的密度，hlge代表制冷剂发生相变吸收的潜热，Ae代表蒸发器扁管结构的截面面积，代表制冷剂在蒸发器的两相阶段中平均蒸气比例,/>代表蒸发器入口的制冷剂质量流量，hge代表制冷剂在蒸发器出口处的焓值，hie则代表制冷剂在蒸发器进口处的焓值，aie代表蒸发器壁面与制冷剂的换热系数，Die代表蒸发器管内直径，Twe代表蒸发器壁面的温度，Tre代表目前压力状态下的制冷剂温度；
蒸发器中制冷剂蒸气密度用如下公式表示：
其中，Le代表蒸发器所有扁管的总长度，ρge代表气体状态下饱和制冷剂的密度，Pe代表制冷剂的当下压力，代表蒸发器出口的制冷剂质量流量，蒸发器壁面的温度变化为：
aoe＝fp2(Nfan)
其中，Cp代表蒸发器的比热容，m代表蒸发器的质量，aish代表在蒸发器过热阶段中的制冷剂与壁面的换热系数，Tie代表入口制冷剂温度，aoe代表蒸发器在空气侧换热系数，其中fp2、Nfan分别表示多项式拟合公式和蒸发器风扇的转速，Aoe代表蒸发器空气侧的迎风面积，Tae代表蒸发器入口周围的环境空气温度，代表空气侧的空气质量流量，Cp,air,mix代表空气的比热容，Tair,mix代表在混合风门作用后的进入蒸发器的空气的温度，代表乘客舱中的以前的空气质量流量，/>代表外界环境中的新的空气质量流量，Cp,air,cab和Cp,air,amb则是二者对应的空气比热；/>和/>的和为混合后的总的空气质量流量/> 的计算方式如下：
其中，γcycle代表旧风在混合风中所占的循环比例，ρair,cab代表旧风的密度，ρair,amb代表新风的密度，Vair代表混合风门的进风总量，其大小受风扇转速影响；
S13、冷凝器建模：
假定空调系统制冷剂在整个制冷循环管路中没有泄露，则系统中总的制冷剂的质量保持不变，则蒸发器和冷凝器中制冷剂总的质量视为常数，故有：
其中，ρlc为冷凝器中液体制冷剂的密度，hlgc为冷凝器中制冷剂的气化潜热，Ac为冷凝器的扁管微通道总的截面积，为冷凝器两相区的平均空隙率，hgc、hlc和hic分别表示在当前压力下冷凝器中气体、液体以及进口制冷剂的比焓值，aic是两相区中冷凝器内壁与制冷剂间的换热系数，Dic冷凝器扁管内部的直径，Twc为冷凝器壁面温度，Trc是冷凝器当前压力下制冷剂的饱和温度，Lc是冷凝器扁管的总长度，(Cpm)wc表示冷凝器材料的比热和的质量，aoc是空气与冷凝器壁面间的换热系数，Aoc为冷凝器的迎风面积，Tac是当前冷凝器周围的环境温度，∑表示常数；
在汽车行驶中，冷凝器外部风速受车速影响，aoc与车速的关系为：
aoc＝fp2(Vcar)
其中，Vcar为车速，为仅受驾驶员操作控制的扰动输入；
S14、膨胀阀建模，动态过程中，通过膨胀阀制冷剂质量流量与其膨胀阀压降ΔP的关系为：
其中，Cq为膨胀阀的流量系数，ρv为通过膨胀阀入口处的制冷剂密度，Av为膨胀阀的流通面积，ΔP为膨胀阀入口与出口压差。
进一步，在所述S1中，建立动态热模型并与一维仿真模型耦合具体为：
汽车乘客舱的总热负荷表示为：
在行车期间，车舱与外界对流换热量受车速Vcar和环境温度Tac影响，且不受控制器控制的输入扰动，在换热模型中，/>由下式计算：
其中Ts为乘员舱外围的结构的温度，基于能量守恒定律，外围结构的温度的动态变化为：
乘员舱的空气温度动态变化表示为：
其中，为车身表面结构的换热，/>为太阳辐射热负荷，/>为通风引起的热负荷，/>为人体热负荷，/>为机械和仪表热负荷，Tcab为乘客舱的温度，/>为单位时间空调系统传入客舱的制冷量，Ma为乘客舱体积范围内的空气质量，cpa为空气比热，ho是外部车舱外围结构外侧与空气侧的换热系数，由车速决定，S为乘客舱外表面结构的总的表面积，hi为乘客舱内表面与空气的换热系数，Ms和Cps分别是车舱外围封闭结构的质量和比热。
进一步，在所述S22中，所述电池冷却回路由水泵、电池液冷模块和电池冷却器依次闭环连接组成；水泵的入口端连接电池冷却器的出口端，水泵的出口端连接电池液冷模块，电池液冷模块连接电池冷却器的入口端；所述电池液冷模块包括动力电池和水冷板；所述动力电池由24个电池包串联组成，每个电池包里的单体锂离子电池采用3并4串的形式连接。
进一步，所述步骤S3具体包括以下步骤：
S31：建立汽车传动模型；
汽车的牵引力与其所受阻力平衡，汽车受力公式及各阻力表达式为：
Ft＝Ff+Fi+Fj+Fw
Ff＝mcargfcosθ
Fi＝mcargsinθ
Fw＝0.5ρairAcarCwvcar 2
其中，f代表汽车的滚动阻力系数，θ代表坡度角，δ代表旋转质量换算系数，vcar代表当前车速，ρair代表空气密度，Acar代表汽车迎风面积，Cw代表空气阻力系数；
汽车的牵引功率Pt计算如下，
Pt＝Ftvcar＝(Ff+Fi+Fj+Fw)vcar
除牵引功率外，汽车动力电池给车内的其他部件进行供能消耗的功率近似为冷却系统中压缩机、鼓风机以及水泵所消耗的功率，公式如下：
Pothe≈Pco+Pfan+Ppump
其中，Pcomp、Pfan、Ppump分别代表压缩机、鼓风机以及水泵的功率；
此时，动力电池提供的总功率为：
Pbat＝(Pt+Pothe)/ηtrans
其中，ηtrans代表汽车传动系统的机械效率；
电动汽车整个电池系统的电压为Ubat，则其对应的放电输出电流计算如下，
S32：根据所述汽车传动模型建立电动汽车整车热管理系统仿真模型；
所述电动汽车整车热管理系统仿真模型由制冷剂循环回路和所述电池冷却回路组成，所述制冷剂循环回路由压缩机、冷凝器、第一膨胀阀、第二膨胀阀和蒸发器组成；
压缩机的入口端连接蒸发器的出口端，压缩机的出口端连接冷凝器的入口端；冷凝器的出口端通过所述第一膨胀阀连接蒸发器的入口端，冷凝器的出口端依次通过所述第二膨胀阀和所述电池冷却器连接压缩机的入口端；
所述冷凝器和所述蒸发器均设有风扇。
进一步，在行驶状态下，所述第一膨胀阀和第二膨胀阀均呈开启状态；制冷剂流过第一膨胀阀进入蒸发器，通过蒸发器对应风扇吹冷风降低乘客舱温度；制冷剂流过第二膨胀阀进入电池冷却器，与所述电池冷却回路协同为电池降温。
进一步，所述步骤S4具体包括以下步骤：
S41：采用PID控制器控制制冷剂流量分配比例；
S42：采用逻辑控制器控制循环风比例；
S43：基于TD3算法，建立与整车热管理系统仿真模型相匹配的控制方法。
进一步，在所述S41中，通过流量传感器检测当前制冷剂流量分配的状态值，然后将目标值r(t)与当前状态值y(t)的差值e(t)作为输入传递给控制器，此时控制器根据e(t)求出具体的输出值：
e(t)＝r(t)-y(t)
其中，Kp,Ki,Kd分别代表控制器各单元的系数，分别是比例系数、积分系数、微分系数。
进一步，在所述S42中，包括第一逻辑控制器和第二逻辑控制器；
所述第一逻辑控制器根据CO2浓度选择不同的循环风比例γcycle，具体包括：
初始状态下，γcycle为1，在1s后对当前车舱内的CO2浓度进行监测；
当ρCO2小于第一预设浓度阈值时，判定此时的γcycle为1，进入状态二；若状态二持续100s不变，则进入状态一，并判定此时γcycle等于上一秒的γcycle；
当大于第一预设浓度阈值，但小于第二预设浓度阈值，则判定γcycle为0.8，进入状态三；若状态三持续100s不变，则进入状态一，γcycle等于上一秒的γcycle；
当大于第二预设浓度阈值，判定此时γcycle为0.6，进入状态四；若持续100s不变则进入一；
所述第二逻辑控制器根据当前电池的平均温度Tmean_bat选择不同的冷却液流量mwater，具体包括：
设初始状态下，mwater为15L/min；每10s判定一次电池包的平均温度，当判定Tmean_bat大于预设温度阈值时，结果记为1，当判定Tmean_bat小于预设温度阈值时，结果记为0；
若相邻两次的判定结果均为1，则综合判定结果为2，进入状态一，mwater为15L/min；
若相邻两次的判定结果均为0，则综合判定结果为0，进入状态二，mwater为10L/min。
进一步，在所述S43中，通过TD3算法训练智能体学习使回报最大化的控制策略；通过训练完成的智能体获取整车热管理系统仿真模型的状态信息，并根据所述状态信息选择压缩机转速和风扇转速执行所述控制策略。
本发明的有益效果在于：基于TD3算法的多控制器协同控制整车热管理控制方法将强化学习算法应用到整车热管理控制中，通过智能体与环境的不断交互可以实时地做到对电池温度、乘客舱舒适度以及能耗的控制和修正。该策略在面对复杂环境时，通过奖励反馈等智能体可以学习到更为灵活有效的策略，利于整车热管理的智能化发展。
本方案针对不同的控制目标合理采用不同的控制器进行协同控制以对电动汽车热管理系统进行高效、准确的控制，使电池温度控制在合理的工作范围内的前提下，保证乘客舱的热舒适度并降低空调能耗。采用PID控制器可以通过调节制冷剂流量的分配从而保证电池温度始终在安全的工作温度范围内，有效保证了汽车的行车安全；采用逻辑控制器来监测二氧化碳浓度变化从而控制循环风比例、冷却液流量，有效实现了车内空气质量的良好，避免乘客出现不适；在对强化学习智能体设计中，采用了多奖励结合的奖励函数，通过训练学习、验证分析后的TD3控制策略可以随外界环境变化根据乘客热舒适性计算的PMV值自动地调节乘客舱温度以保证人体的热舒适性，有效保护了乘客和驾驶员的热舒适性。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明的智能控制策略的整体控制逻辑简图；
图2为汽车空调与乘客舱系统的动态耦合热模型结构简图；
图3为锂离子电池电特性模型与热模型结合框架图；
图4为锂离子电池冷却回路示意图；
图5为多换热器的整车热管理仿真模型结构图；
图6为基于TD3算法的多控制器协同工作的整车热管理控制智能控制逻辑简图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
请参阅图1～图6，为基于TD3算法的多控制器协同控制整车热管理控制方法，该方法具体包括以下步骤：
S1、分别建立汽车空调系统的一维仿真模型以及汽车乘客舱系统的动态热模型，并将所述一维仿真模型和所述动态热模型耦合为电动汽车空调与乘客舱热耦合模型。
汽车空调系统的一维仿真模型包括：
S11、建立压缩机内制冷剂一维动态模型，表示如下：
ηv＝f1(Ncomp,Pc/Pe)
ηis＝f2(Nconp,Pc/Pe)
其中，ηv代表压缩机的容积效率，ρr代表压缩机入口处制冷剂的密度，Ncomp代表压缩机的转速；Vd代表压缩机的排量。hc,o代表压缩机出口处的比焓，hc,i代表压缩机入口处的比焓，his,o代表在等熵压缩下的制冷剂的出口比焓，ηis代表压缩机在等熵压缩条件下的等熵效率；f1代表压缩机容积效率和等熵效率对压缩机进口压差的拟合函数，f2代表压缩机容积效率和等熵效率对压缩机出口压差的拟合函数，Pc/Pe代表压缩机出入口的压比，其中pc代表冷凝器的压力，pe代表蒸发器的压力；
S12、蒸发器建模，对于蒸发器的两相区长度le的变化由下式得到：
其中，ρle代表制冷剂的密度，hlge代表制冷剂发生相变吸收的潜热，Ae代表蒸发器扁管结构的截面面积，代表制冷剂在蒸发器的两相阶段中平均蒸气比例,/>代表蒸发器入口的制冷剂质量流量，hge代表制冷剂在蒸发器出口处的焓值，hie则代表制冷剂在蒸发器进口处的焓值，aie代表蒸发器壁面与制冷剂的换热系数，Die代表蒸发器管内直径，Twe代表蒸发器壁面的温度，Tre代表目前压力状态下的制冷剂温度；
蒸发器中制冷剂蒸气密度用如下公式表示：
其中，Le代表蒸发器所有扁管的总长度，ρge代表气体状态下饱和制冷剂的密度，Pe代表制冷剂的当下压力，代表蒸发器出口的制冷剂质量流量，蒸发器壁面的温度变化为：
aoe＝fp2(Nfan)
其中，Cp代表蒸发器的比热容，m代表蒸发器的质量，ais代表在蒸发器过热阶段中的制冷剂与壁面的换热系数，Tie代表入口制冷剂温度，aoe代表蒸发器在空气侧换热系数，其中fp2、Nfan分别表示多项式拟合公式和蒸发器风扇的转速，Aoe代表蒸发器空气侧的迎风面积，Tae代表蒸发器入口周围的环境空气温度，代表空气侧的空气质量流量，Cp,air,mix代表空气的比热容，Tair,mi代表在混合风门作用后的进入蒸发器的空气的温度，代表乘客舱中的以前的空气质量流量，/>代表外界环境中的新的空气质量流量，Cp,air,cab和Cp,air,amb则是二者对应的空气比热；/>和/>的和为混合后的总的空气质量流量/> 的计算方式如下：
其中，γcycle代表旧风在混合风中所占的循环比例，ρair,cab代表旧风的密度，ρair,amb代表新风的密度，Vair代表混合风门的进风总量，其大小受风扇转速影响。
S13、冷凝器建模：
假定空调系统制冷剂在整个制冷循环管路中没有泄露，则系统中总的制冷剂的质量保持不变，则蒸发器和冷凝器中制冷剂总的质量视为常数，故有：
其中，ρlc为冷凝器中液体制冷剂的密度，hlgc为冷凝器中制冷剂的气化潜热，Ac为冷凝器的扁管微通道总的截面积，为冷凝器两相区的平均空隙率，hgc、hlc和hic分别表示在当前压力下冷凝器中气体、液体以及进口制冷剂的比焓值，aic是两相区中冷凝器内壁与制冷剂间的换热系数，Dic冷凝器扁管内部的直径，Twc为冷凝器壁面温度，Trc是冷凝器当前压力下制冷剂的饱和温度，Lc是冷凝器扁管的总长度，(Cpm)wc表示冷凝器材料的比热和的质量，aoc是空气与冷凝器壁面间的换热系数，Aoc为冷凝器的迎风面积，Tac是当前冷凝器周围的环境温度，∑表示常数；
在汽车行驶中，冷凝器外部风速受车速影响，aoc与车速的关系为：
aoc＝fp2(Vcar)
其中，Vcar为车速，为仅受驾驶员操作控制的扰动输入。
S14、膨胀阀建模，动态过程中，通过膨胀阀制冷剂质量流量与其膨胀阀压降ΔP的关系为：
其中，Cq为膨胀阀的流量系数，ρv为通过膨胀阀入口处的制冷剂密度，Av为膨胀阀的流通面积，ΔP为膨胀阀入口与出口压差。
S11、建立压缩机内制冷剂一维动态模型，表示如下：
ηv代表压缩机的容积效率，ρr代表压缩机入口处制冷剂的密度，Ncomp代表压缩机的转速，其主要是通过驱动电机进行控制的；Vd代表压缩机的排量。hc,o代表压缩机出口处的比焓，hc,i代表压缩机入口处的比焓，his,o代表在等熵压缩下的制冷剂的出口比焓，ηis代表压缩机在等熵压缩条件下的等熵效率。其中，压缩机的出口、入口处焓值与本文R134a制冷剂的状态有关。压缩机的容积效率和等熵效率则与压缩机的出口压比、入口压比、压缩机转速有关。其具体的计算公式如下所示：
ηv＝f1)Ncomp,Pc/Pe)
ηis＝f2(Ncomp,Pc/Pe)
上述计算公式中，f1代表压缩机容积效率和等熵效率对压缩机进口压差的拟合函数，f2代表压缩机容积效率和等熵效率对压缩机出口压差的拟合函数，Pc/Pe代表压缩机出入口的压比，其中Pc代表冷凝器的压力，Pe代表蒸发器的压力。
S12、蒸发器建模，其内部的气体和液体制冷剂满足质量守恒定律，故对于蒸发器的两相区长度le的变化由下式得到：
其中，ρle代表制冷剂的密度，hlge代表制冷剂发生相变吸收的潜热，Ae代表蒸发器扁管结构的截面面积，代表制冷剂在蒸发器的两相阶段中平均蒸气比例,/>代表蒸发器入口的制冷剂质量流量，hge代表制冷剂在蒸发器出口处的焓值，hie则代表制冷剂在蒸发器进口处的焓值，aie代表蒸发器壁面与制冷剂的换热系数，Die代表蒸发器管内直径，Twe代表蒸发器壁面的温度，Tre代表目前压力状态下的R134a温度。
对于蒸发器中制冷剂蒸气密度的描述可以用如下公式表示：
该公式中，Le代表蒸发器所有扁管的总长度，ρge代表气体状态下饱和制冷剂的密度，Pe代表制冷剂的当下压力，代表蒸发器出口的制冷剂质量流量。从质量守恒角度分析，该式说明了蒸发器内制冷剂蒸气质量的变化可以看作是制冷剂在蒸发器入口的质量流量以及出口的质量流量和蒸气制冷剂生成量的总和。
由于过热阶段在整个蒸发过程中的占比是较小的，在忽略该阶段的热量之后，蒸发器壁面的热交换或是说温度变化可以由以下公式描述：
aoe＝fp2(Nfan)
上述公式里Cp代表蒸发器的比热容，m代表蒸发器的质量，aish代表在蒸发器过热阶段中的制冷剂与壁面的换热系数，Tie代表入口制冷剂温度，aoe代表蒸发器在空气侧换热系数，其中fp2、Nfan分别表示多项式拟合公式和蒸发器风扇的转速，Aoe代表蒸发器空气侧的迎风面积，Tae代表蒸发器入口周围的环境空气温度，其计算方式如下：
公式里代表空气侧的空气质量流量，Cp,air,mix代表空气的比热容，Tair,mix代表在混合风门作用后的进入蒸发器的空气的温度，它与蒸发器空气侧的比热容存在函数对应关系。/>代表乘客舱中的以前的空气质量流量，/>代表外界环境中的新的空气质量流量，Cp,air,cab和Cp,air,amb则是二者对应的空气比热。/>和/>的和就是混合后的总的空气质量流量/>计算如下：
其中，γcycle代表旧风在混合风中所占的循环比例，ρair,cab代表旧风的密度，ρair,amb代表新风的密度，二者都受空气温度影响，Vair代表混合风门的进风总量，其大小受风扇转速影响。
S13、对于冷凝器，其换热原理与蒸发器相似，利用质量守恒和能量守恒定律，故有：
为简化模型，假定空调系统制冷剂在整个制冷循环管路中没有泄露，则系统中总的制冷剂的质量保持不变，则蒸发器和冷凝器中制冷剂总的质量视为常数，故有：
其中，ρlc是冷凝器中液体制冷剂的密度，hlgc为冷凝器中制冷剂的气化潜热，Ac为冷凝器的扁管微通道总的截面积，为冷凝器两相区的平均空隙率，hgc、hlc和hic分别表示在当前压力下冷凝器中气体、液体以及进口制冷剂的比焓值，aic是两相区中冷凝器内壁与制冷剂间的换热系数，Dic冷凝器扁管内部的直径，Twc为冷凝器壁面温度，Trc是冷凝器当前压力下制冷剂的饱和温度，Lc是冷凝器扁管的总长度，(Cpm)wc表示冷凝器材料的比热和的质量，aoc是空气与冷凝器壁面间的换热系数，Aoc为冷凝器的迎风面积，Tac是当前冷凝器周围空气的温度，即环境温度，∑表示常数。
冷凝器空气侧换热系数aoc主要由外部风速影响，在汽车行驶中，冷凝器外部风速主要由车速影响，故aoc与车速的关系由实验拟合出，表示为：
aoc＝fp2(Vcar)
其中，车速Vcar由驾驶员决定，而非空调系统控制器调节，在空调系统控制中，车速可看作为扰动输入。
S14、对于膨胀阀建模，其工作过程其可以看作是一个压力下降，但焓值不发生改变的过程，因此其制冷剂质量流量可以由该公式描述：
公式中，Cv代表电子膨胀阀的流量系数，av代表阀的当前开度大小，ρv代表膨胀阀入口制冷剂密度的大小。其中，Cv可由冷凝器和蒸发器压差的拟合函数fc来表示：
Cv＝fc(Pc-Pe)
S15、建立汽车乘客舱系统的动态热模型，并与汽车空调系统的一维仿真模型耦合为电动汽车空调与乘客舱热耦合模型包括：
汽车乘客舱的总热负荷表示为：
在行车期间，车舱与外界对流换热量主要受车速Vcar和环境温度Tac影响，并且这两个变量是不受控制器控制的输入扰动，在换热模型中，/>由下式计算：/>
其中Ts为乘员舱外围的结构的温度，基于能量守恒定律，外围结构的温度的动态变化由下式表达：
由能量守恒定律可知，乘员舱的空气温度动态变化表示为：
其中，为车身表面结构的换热，/>为太阳辐射热负荷，/>为通风引起的热负荷，/>为人体热负荷，/>为机械和仪表热负荷，Tcab为乘客舱的温度，/>为单位时间空调系统传入客舱的制冷量，Ma为乘客舱体积范围内的空气质量，cpa为空气比热，ho是外部车舱外围结构外侧与空气侧的换热系数，主要由车速决定，S为乘客舱外表面结构的总的表面积，hi为乘客舱内表面与空气的换热系数，Ms和Cps分别是车舱外围封闭结构的质量和比热。
S2、建立锂离子电池电热模型和冷却回路模型。
S21：建立如图3所示的锂离子电池电热模型；
等效电路方法主要是采用集总参数进行建模，其所需参数较少并且计算较为简单、精度较好，更适于应用在电池仿真和控制领域。所以，采用等效电路Rint模型建立电池电特性模型。
Ubat＝UOCV-IR
在Rint模型中，锂离子电池的SOC可以实时地反映其开路电压、电阻、电流等参数的变化，锂离子电池SOC的计算方式如下所示：
公式里采用的安时积分法进行计算，其中SOCi代表锂离子电池的初始荷电状态值，C0代表锂离子电池的容量，其中C0在电池的使用过程中会逐渐衰减。
离子电池内部的产热源方式不是单一的，包括电池内部的极化反应热、副反应热，以及由电池内阻引起的焦耳热和反应热。由于电池的极化反应和副反应所产生的热量占总热量的比重很小，故此处忽略不考虑。锂离子电池的产热计算模型如下所示：
公式里等式右边第一项代表不可逆热部分，第二项代表可逆热部分；其中，T代表电池当前的温度，则表示电池的温熵系数。
电池与其接触的冷板之间存在温度差，因而发生热交换的现象就是热传导。电池和冷板之间的具体导热量计算方式如下：
其中，dis1代表电池到二者接触面的距离，dis2代表冷板到二者接触面的距离，λ1代表电池的导热率，λ2代表冷板的导热率，A代表电池与冷板的接触面积，ctr代表电池与冷板间的接触热阻，Tp代表冷板的温度，Tbat代表电池的温度。
电池与流经其自身表面的冷却液或是冷空气之间发生热量的交换过程就是热对流。这一过程中的换热量计算如下：
Qbat,conv＝hA(Ta-Tbat)
公式里h代表电池与冷空气或冷却液二者之间的对流换热系数，A代表二者之间的对流换热面积，Ta代表冷空气或冷却液的温度，Tbat代表电池的温度。
电池基于集总参数法所建立的热模型如下所示：
其中，mbat代表电池的质量大小，Cbzt代表电池的比热容大小。
电池的产热与电池对应的等效电阻和端电压有关，模型间存在着不可忽视的耦合关系，故锂离子电池的电热模型将共有参数作为桥梁，使其电特性模型与热模型有机地结合成一个整体。
S22：建立锂离子电池冷却回路模型；
水泵的占空比一般为20％到100％，通过分析水泵的输入电流随其占空比的变化可以进而求得水泵启动时所需功率的大小，公式如下：
Ppump＝U0Ip
公式里，U0代表水泵的额定电压，Ip代表此时流经水泵的电流大小。同一个占空比下的水泵功率和冷却液流量的仿真模型，具体如下：
代表冷却液质量流量，其中多项式系数P(i)的大小为[0.0651 -1.15138.5959]。
对于电池冷却器即板式换热器，采用移动边界的方式来进行建模。其中，制冷剂与电池冷却器的换热计算如下所示。
公式里ρl,bat代表制冷剂密度，hlg,bat代表制冷剂在蒸发时所需的相变潜焓值，Abat代表冷却器板面中制冷剂侧的横截面积大小，和lbat分别代表在蒸发两相区中的蒸气平均比例以及两相区换热阶段的长度大小，/>代表冷却器入口处的制冷剂质量流量，hi,bat代表制冷剂在两相区进口处的焓值大小，hg,bat代表制冷剂在两相区出口处的焓值，ai,bat代表制冷剂与电池冷却器之间的对流换热系数，Di,bat代表制冷剂流经的管道水力直径，Tw,bat代表冷却器板面温度，Tr,bat代表制冷剂温度大小。
另外，所使用的水冷板为口琴管式，为了使电池冷却效果更好，将根据电池包结构和冷板结构共同布置电池液冷模块。如图4所示，所述电池冷却回路由水泵、电池液冷模块和电池冷却器依次闭环连接组成；水泵的入口端连接电池冷却器的出口端，水泵的出口端连接电池液冷模块，电池液冷模块连接电池冷却器的入口端；所述电池液冷模块包括动力电池和水冷板；所述动力电池由24个电池包串联组成，每个电池包里的单体锂离子电池采用3并4串的形式连接。
S3、建立电动汽车整车热管理系统仿真模型；
S31：建立汽车传动模型；
汽车的牵引力与其所受阻力平衡，汽车受力公式及各阻力表达式如下列公式所示：
Ft＝Ff+Fi+Fj+Fw
Ff＝mcargfcosθ
Fi＝mcargsinθ
Fw＝0.5ρairAcarCwvcar 2
公式里，f代表汽车的滚动阻力系数，θ代表坡度角，δ代表旋转质量换算系数，vcar代表当前车速，ρair代表空气密度，Acar代表汽车迎风面积，Cw代表空气阻力系数。汽车的牵引功率Pt计算如下，
Pt＝Ftvcar＝(Ff+Fi+Fj+Fw)vcar
除了牵引功率外，汽车动力电池还需给车内的其他部件进行供能，将把其他部件消耗的功率近似为冷却系统中压缩机、鼓风机以及水泵所消耗的功率，公式如下：
Pother≈Pcomp+Pfan+Ppump
其中，Pcomp、Pfan、Ppump分别代表压缩机、鼓风机以及水泵的功率。此时，动力电池提供的总功率为：
Pbat＝(Pt+Pothe)/ηtrans
公式里，ηtrans代表汽车传动系统的机械效率。电动汽车整个电池系统的电压Ubat，那么其对应的放电输出电流计算如下，
S32：建立电动汽车整车热管理系统仿真模型；
结合电池冷却结构和空调、乘客舱制冷结构，建立了多换热器的整车热管理仿真模型，其具体架构如图5所示，所述电动汽车整车热管理系统仿真模型由制冷剂循环回路和所述电池冷却回路组成，所述制冷剂循环回路由压缩机、冷凝器、第一膨胀阀、第二膨胀阀和蒸发器组成；压缩机的入口端连接蒸发器的出口端，压缩机的出口端连接冷凝器的入口端；冷凝器的出口端通过所述第一膨胀阀连接蒸发器的入口端，冷凝器的出口端依次通过所述第二膨胀阀和所述电池冷却器连接压缩机的入口端；所述冷凝器和所述蒸发器均设有风扇。
整个系统包含三种工作模式，即仅电池制冷、仅乘客舱制冷以及二者同时制冷。在行驶状态下，所述第一膨胀阀和第二膨胀阀均呈开启状态；制冷剂流过第一膨胀阀进入蒸发器，通过蒸发器对应风扇吹冷风降低乘客舱温度；制冷剂流过第二膨胀阀进入电池冷却器，与所述电池冷却回路协同为电池降温。
S4、结合PID控制和逻辑控制，建立与整车热管理系统仿真模型相匹配的整车热管理控制方法。
具体包括：
S41：PID控制设计；
PID控制器会先通过传感器检测当前被控制的对象的状态值，然后将目标值r(t)与当前状态值y(t)的差值e(t)作为输入传递给控制器，此时控制器就可以根据e(t)求出具体的输出值，如下述公式所示：
e(t)＝r(t)-y(t)
公式里，Kp,Ki,Kd分别代表控制器各单元的系数，分别是比例系数、积分系数、微分系数。此处，PID控制器以当前电池温度与目标温度的温差作为控制输入对制冷剂流量分配比例进行控制。
S42：逻辑控制设计；
对于逻辑控制器：逻辑控制器A根据当前CO2浓度的高低来选择不同的循环风比例，其具体控制逻辑如下：以/>大小作为判定条件，初始状态s0里循环风比例γcycle为1，在1s后对当前车舱内的CO2浓度进行监测，当/>小于1500ppm时，判定此时的γcycle应等于1进入状态s2，然后等100s后再次监测/>若其仍小于1500ppm，则进入状态s1，并判定此时γcycle等于上一秒的γcycle；间隔1s后，监测/>若大于1500ppm但小于2000ppm，则判定γcycle应等于0.8进入状态s3，100s后数值不变，则进入状态s1，γcycle等于上一秒的γcycle；同理，若下一秒的/>超过了2000ppm，此时γcycle将判定为0.6进入状态s4，持续100s不变则进入s1。逻辑控制器B根据当前电池包的平均温度Tmean_bat大小来选择不同的冷却液流量mwater，初始状态s0设置mwater为15L/min，为确保能及时冷却电池包，每10s判定一次电池包的平均温度，当判定Tmean_bat大于27℃时，将结果记为1，为了确保对电池包温度的准确监测，在间隔10s后再次进行判定，若判定结果仍为1，则判定总和为2，说明此时电池处在高温工作环境，此时进入状态s1，mwater为15L/min；当判定Tmean_bat小于27℃时，结果记为0，若两次判定结果的和为0，则说明电池处于安全工作温度，此时进入状态s2，mwater为10L/min。
S43：建立关于整车热管理系统仿真模型相匹配的基于TD3算法的多控制器协同控制整车热管理控制方法；
TD3算法，全称为双延迟深度确定性策略，是在DQN算法的基础上引入了双重Critic网络来对动作价值函数进行估计，然后对二者计算出的目标值进行比较并取最小值来对下一个状态动作的动作价值进行估计，如下面公式所示：
/>
其中，y1和y2分别表示对/>进行优化，/>对/>进行优化，由于在强化学习中的某些状态下/>还会大于已经过估计的/>为避免这种情况，就会通过/>来对/>进行限制，有效解决了由高方差引起的过估计问题。
对于确定性策略来说其会限制Agent探索策略空间，并在更新Critic网络、计算动作价值函数时容易陷入局部最优，所以为了避免这些问题，在训练时TD3算法还引入了目标策略平滑机制，添加了随机噪声以使Q值函数更加光滑，提高训练稳定性，目标策略更新公式如下所示：
其中，∈～clip(N(0,σ)代表所添加的噪声服从高斯分布，且对其进行了限制，噪声的绝对值不能大于超参数c(一般取1)，这样也可以使动作更时不会超出允许范围，有效提高了网络训练过程的稳定性。TD3算法采用类似DDPG的梯度更新Critic网络参数θi，并在d步后延迟更新Actor网络参数
考虑到电池、乘客舱的温度控制以及整车制冷能耗，TD3算法的控制状态信息、动作以及奖励函数的设计如下面公式所示：
State＝{|Tmean_bat-25℃|,Tcab,PMV,Tevap,wall}
action＝{Ncomp,Nfan}
R＝R0+R1+R2
其中，α,β,γ为目标权重系数，考虑到电池安全温度、乘客舱舒适度为主要控制目标，故α,β,γ设置为4000，2000，1000，比例系数m,n,i,j,p,q的设置分别为2000，2000，-2000，2000，2000，-2000。
同时，为了保证智能体能有较大的动作探索空间，在训练期间将加入高斯动作探索噪声模型，将噪声的标准偏差设置为100，并以1e-5的速率衰减直到至最小值0.005。在训练期间目标网络的更新频率为每10个Agent step更新一次，平滑因子为0.005。关于智能体的其他主要参数设置如表1所示。
表1智能体参数
关于TD3算法的训练验证过程如下：首先设置智能体的训练代码，每间隔10秒执行一次策略，一次训练的总模拟时间为6000秒，其中采样时间和模拟时间可根据实际训练过程做出调整，训练次数设置为3000。对于训练的智能体，将通过回报动态曲线图观察其每一步的实际回报、平均回报以及预测回报的变化；然后选取实际回报最高的智能体训练算例，关闭训练模式再将所选算例加载到环境中去；在仿真测试后进行分析，评估结果是否符合预期内容，即是否达到策略控制目标。若符合预期内，则评定此次智能体的训练合格，若不在预期内，则评定此次智能体训练不合格；之后，会根据训练不合格的智能体及相关训练结果进行分析，重新调整控制动作、观测状态、奖励函数等，并在此基础上进行超参数调优，然后重新训练。其中，对于智能体是否训练合格的评定标准如下：训练过程中的累加折扣奖励和是否有收敛趋势；控制动作是否有变化过程；PMV值是否能始终处在人体舒适区间，即1到-1之间。乘客舱温度、电池包平均温度是否能逐渐降到目标温度左右。
TD3控制算法的智能体与环境不断交互并从中得到状态信息s，这些信息传输到智能体后，智能体会选择动作(压缩机转速、风扇转速)来执行，总之在与环境不断地交互过程中智能体要学习到使回报最大化的策略从而使乘客舱温度、电池温度在不同工况下能得到有效控制。PID控制器以当前电池温度与目标温度的温差作为控制输入对制冷剂流量分配比例进行控制；逻辑控制包含两个控制器，控制器A分析当前车内CO2浓度从而控制循环风比例，控制器B通过控制冷却液流量进一步实现车内空气质量的良好。根据S41和S42的控制设计，最终可建立如图6所示的基于TD3算法的多控制器协同工作的整车热管理控制智能控制方法。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.基于TD3算法的多控制器协同控制整车热管理控制方法，其特征在于，包括以下步骤：
S1、分别建立汽车空调系统的一维仿真模型以及汽车乘客舱系统的动态热模型，并将所述一维仿真模型和所述动态热模型耦合为电动汽车空调与乘客舱热耦合模型；
S2、建立锂离子电池电热模型和冷却回路模型；
S21、建立锂离子电池电热模型具体包括：
采用等效电路Rint模型建立电池电特性模型
Ubat＝UOCV-IR
在Rint模型中，开路电压、电阻、电流参数的变化通过锂离子电池的SOC实时反映，锂离子电池SOC的计算方式为
其中SOCi代表锂离子电池的初始荷电状态值，C0代表锂离子电池的容量，其中C0在电池的使用过程中会逐渐衰减；
离子电池内部的产热源方式包括电池内部的由电池内阻引起的焦耳热和反应热，则锂离子电池的产热计算模型为
其中，T代表电池当前的温度，则表示电池的温熵系数，I(Uocv-Ubat)代表不可逆热部分，/>表示可逆热部分；
电池与其接触的冷板之间存在温度差，发生热传递的导热量计算方式为
其中，dis1代表电池到二者接触面的距离，dis2代表冷板到二者接触面的距离，λ1代表电池的导热率，λ2代表冷板的导热率，A代表电池与冷板的接触面积，ctr代表电池与冷板间的接触热阻，Tp代表冷板的温度，Tbat代表电池的温度；
基于集总参数法所建立的电池热模型如下所示：
其中，mbat代表电池的质量大小，Cbat代表电池的比热容大小；
S22、建立锂离子电池冷却回路模型具体包括：
根据水泵的输入电流随其占空比的变化得到水泵启动时所需功率为Ppump＝U0Ip
其中，U0代表水泵的额定电压，Ip代表此时流经水泵的电流大小；
同一个占空比下的水泵功率和冷却液流量的仿真模型为
代表冷却液质量流量，P(i)为多项式系数；
对于电池冷却器，采用移动边界的方式来进行建模，制冷剂与电池冷却器的换热计算为
其中，ρl,bat代表制冷剂密度，hlg,bat代表制冷剂在蒸发时所需的相变潜焓值，Abat代表冷却器板面中制冷剂侧的横截面积，和lbat分别代表在蒸发两相区中的蒸气平均比例以及两相区换热阶段的长度，/>代表冷却器入口处的制冷剂质量流量，hi,bat代表制冷剂在两相区进口处的焓值，hg,bat代表制冷剂在两相区出口处的焓值，ai,bay代表制冷剂与电池冷却器之间的对流换热系数，Di,bat代表制冷剂流经的管道水力直径，Tw,bat代表冷却器板面温度，Tr,bat代表制冷剂温度；
S3、建立电动汽车整车热管理系统仿真模型；
S4、结合PID控制和逻辑控制，建立与整车热管理系统仿真模型相匹配的整车热管理控制方法。
2.根据权利要求1所述的基于TD3算法的多控制器协同控制整车热管理控制方法，其特征在于，在所述S1中，汽车空调系统的一维仿真模型包括：
S11、建立压缩机内制冷剂一维动态模型，表示如下：
ηv＝f1(Ncomp,Pc/Pe)
ηis＝f2(Ncomp,Pc/Pe)
其中，ηv代表压缩机的容积效率，ρr代表压缩机入口处制冷剂的密度，Ncomp代表压缩机的转速；Vd代表压缩机的排量；hc,o代表压缩机出口处的比焓，hc,i代表压缩机入口处的比焓，his,o代表在等熵压缩下的制冷剂的出口比焓，ηis代表压缩机在等熵压缩条件下的等熵效率；f1代表压缩机容积效率和等熵效率对压缩机进口压差的拟合函数，f2代表压缩机容积效率和等熵效率对压缩机出口压差的拟合函数，Pc/Pe代表压缩机出入口的压比，其中Pc代表冷凝器的压力，Pe代表蒸发器的压力；
S12、蒸发器建模，对于蒸发器的两相区长度le的变化由下式得到：
其中，ρle代表制冷剂的密度，hlge代表制冷剂发生相变吸收的潜热，Ae代表蒸发器扁管结构的截面面积，代表制冷剂在蒸发器的两相阶段中平均蒸气比例,/>代表蒸发器入口的制冷剂质量流量，hge代表制冷剂在蒸发器出口处的焓值，hie则代表制冷剂在蒸发器进口处的焓值，aie代表蒸发器壁面与制冷剂的换热系数，Die代表蒸发器管内直径，Twe代表蒸发器壁面的温度，Tre代表目前压力状态下的制冷剂温度；
蒸发器中制冷剂蒸气密度用如下公式表示：
其中，Le代表蒸发器所有扁管的总长度，ρge代表气体状态下饱和制冷剂的密度，Pe代表制冷剂的当下压力，代表蒸发器出口的制冷剂质量流量，蒸发器壁面的温度变化为：
aoe＝fp2(Nfan)
其中，Cp代表蒸发器的比热容，m代表蒸发器的质量，ais代表在蒸发器过热阶段中的制冷剂与壁面的换热系数，Tie代表入口制冷剂温度，aoe代表蒸发器在空气侧换热系数，其中fp2、Nfan分别表示多项式拟合公式和蒸发器风扇的转速，Aoe代表蒸发器空气侧的迎风面积，Tae代表蒸发器入口周围的环境空气温度，代表空气侧的空气质量流量，Cp,air,mix代表空气的比热容，Tair,mix代表在混合风门作用后的进入蒸发器的空气的温度，/>代表乘客舱中的以前的空气质量流量，/>代表外界环境中的新的空气质量流量，Cp,air,cab和Cp,air,amb则是二者对应的空气比热；/>和/>的和为混合后的总的空气质量流量/> 的计算方式如下：
其中，γcycle代表旧风在混合风中所占的循环比例，ρair,cab代表旧风的密度，ρair,amb代表新风的密度，Vair代表混合风门的进风总量，其大小受风扇转速影响；
S13、冷凝器建模：
假定空调系统制冷剂在整个制冷循环管路中没有泄露，则系统中总的制冷剂的质量保持不变，则蒸发器和冷凝器中制冷剂总的质量视为常数，故有：
其中，ρlc为冷凝器中液体制冷剂的密度，hlgc为冷凝器中制冷剂的气化潜热，Ac为冷凝器的扁管微通道总的截面积，为冷凝器两相区的平均空隙率，hgc、hlc和hic分别表示在当前压力下冷凝器中气体、液体以及进口制冷剂的比焓值，aic是两相区中冷凝器内壁与制冷剂间的换热系数，Dic冷凝器扁管内部的直径，Twc为冷凝器壁面温度，Trc是冷凝器当前压力下制冷剂的饱和温度，Lc是冷凝器扁管的总长度，(Cpm)wc表示冷凝器材料的比热和的质量，aoc是空气与冷凝器壁面间的换热系数，Aoc为冷凝器的迎风面积，Tac是当前冷凝器周围的环境温度，∑表示常数；
在汽车行驶中，冷凝器外部风速受车速影响，aoc与车速的关系为：
aoc＝fp2(Vcar)
其中，Vcar为车速，为仅受驾驶员操作控制的扰动输入；
S14、膨胀阀建模，动态过程中，通过膨胀阀制冷剂质量流量与其膨胀阀压降ΔP的关系为：
其中，Cq为膨胀阀的流量系数，ρv为通过膨胀阀入口处的制冷剂密度，Av为膨胀阀的流通面积，ΔP为膨胀阀入口与出口压差。
3.根据权利要求1所述的基于TD3算法的多控制器协同控制整车热管理控制方法，其特征在于，在所述S1中，建立动态热模型并与一维仿真模型耦合具体为：
汽车乘客舱的总热负荷表示为：
在行车期间，车舱与外界对流换热量受车速Vcar和环境温度Tac影响，且不受控制器控制的输入扰动，在换热模型中，/>由下式计算：
其中Ts为乘员舱外围的结构的温度，基于能量守恒定律，外围结构的温度的动态变化为：
乘员舱的空气温度动态变化表示为：
其中，为车身表面结构的换热，/>为太阳辐射热负荷，/>为通风引起的热负荷，/>为人体热负荷，/>为机械和仪表热负荷，Tcab为乘客舱的温度，/>为单位时间空调系统传入客舱的制冷量，Ma为乘客舱体积范围内的空气质量，cpa为空气比热，ho是外部车舱外围结构外侧与空气侧的换热系数，由车速决定，S为乘客舱外表面结构的总的表面积，hi为乘客舱内表面与空气的换热系数，Ms和Cps分别是车舱外围封闭结构的质量和比热。
4.根据权利要求1所述的基于TD3算法的多控制器协同控制整车热管理控制方法，其特征在于，在所述S22中，所述电池冷却回路由水泵、电池液冷模块和电池冷却器依次闭环连接组成；水泵的入口端连接电池冷却器的出口端，水泵的出口端连接电池液冷模块，电池液冷模块连接电池冷却器的入口端；所述电池液冷模块包括动力电池和水冷板；所述动力电池由24个电池包串联组成，每个电池包里的单体锂离子电池采用3并4串的形式连接。
5.根据权利要求4所述的基于TD3算法的多控制器协同控制整车热管理控制方法，其特征在于，所述步骤S3具体包括以下步骤：
S31：建立汽车传动模型；
汽车的牵引力与其所受阻力平衡，汽车受力公式及各阻力表达式为：
Ft＝Ff+Fi+Fj+Fw
Ff＝mcargfcosθ
Fi＝mcargsinθ
Fw＝0.5ρairAcarCwvcar 2
其中，f代表汽车的滚动阻力系数，θ代表坡度角，δ代表旋转质量换算系数，vcar代表当前车速，ρair代表空气密度，Acar代表汽车迎风面积，Cw代表空气阻力系数；
汽车的牵引功率Pt计算如下，
Pt＝Ftvcar＝(Ff+Fi+Fj+Fw)vcar
除牵引功率外，汽车动力电池给车内的其他部件进行供能消耗的功率近似为冷却系统中压缩机、鼓风机以及水泵所消耗的功率，公式如下：
Pother≈Pcomp+Pfan+Ppump
其中，Pcomp、Pfan、Ppump分别代表压缩机、鼓风机以及水泵的功率；
此时，动力电池提供的总功率为：
Pbat＝(Pt+Poth)/ηtrans
其中，ηtrans代表汽车传动系统的机械效率；
电动汽车整个电池系统的电压为Ubat，则其对应的放电输出电流计算如下，
S32：根据所述汽车传动模型建立电动汽车整车热管理系统仿真模型；
所述电动汽车整车热管理系统仿真模型由制冷剂循环回路和所述电池冷却回路组成，所述制冷剂循环回路由压缩机、冷凝器、第一膨胀阀、第二膨胀阀和蒸发器组成；
压缩机的入口端连接蒸发器的出口端，压缩机的出口端连接冷凝器的入口端；冷凝器的出口端通过所述第一膨胀阀连接蒸发器的入口端，冷凝器的出口端依次通过所述第二膨胀阀和所述电池冷却器连接压缩机的入口端；
所述冷凝器和所述蒸发器均设有风扇。
6.根据权利要求5所述的基于TD3算法的多控制器协同控制整车热管理控制方法，其特征在于：在行驶状态下，所述第一膨胀阀和第二膨胀阀均呈开启状态；制冷剂流过第一膨胀阀进入蒸发器，通过蒸发器对应风扇吹冷风降低乘客舱温度；制冷剂流过第二膨胀阀进入电池冷却器，与所述电池冷却回路协同为电池降温。
7.根据权利要求1所述的基于TD3算法的多控制器协同控制整车热管理控制方法，其特征在于：所述步骤S4具体包括以下步骤：
S41：采用PID控制器控制制冷剂流量分配比例；
S42：采用逻辑控制器控制循环风比例；
S43：基于TD3算法，建立与整车热管理系统仿真模型相匹配的控制方法。
8.根据权利要求7所述的基于TD3算法的多控制器协同控制整车热管理控制方法，其特征在于，在所述S41中，通过流量传感器检测当前制冷剂流量分配的状态值，然后将目标值r(t)与当前状态值y(t)的差值e(t)作为输入传递给控制器，此时控制器根据e(t)求出具体的输出值：
e(t)＝r(t)-y(t)
其中，Kp,Ki,Kd分别代表控制器各单元的系数，分别是比例系数、积分系数、微分系数。
9.根据权利要求7所述的基于TD3算法的多控制器协同控制整车热管理控制方法，其特征在于，在所述S42中，包括第一逻辑控制器和第二逻辑控制器；
所述第一逻辑控制器根据CO2浓度选择不同的循环风比例γcycle，具体包括：
初始状态下，γcycle为1，在1s后对当前车舱内的CO2浓度进行监测；
当小于第一预设浓度阈值时，判定此时的γcycle为1，进入状态二；若状态二持续100s不变，则进入状态一，并判定此时γcycle等于上一秒的γcycle；
当大于第一预设浓度阈值，但小于第二预设浓度阈值，则判定γcycle为0.8，进入状态三；若状态三持续100s不变，则进入状态一，γcycle等于上一秒的γcycle；
当大于第二预设浓度阈值，判定此时γcycle为0.6，进入状态四；若持续100s不变则进入一；
所述第二逻辑控制器根据当前电池的平均温度Tmean_bat选择不同的冷却液流量mwater，具体包括：
设初始状态下，mwater为15L/min；每10s判定一次电池包的平均温度，当判定Tmean_bat大于预设温度阈值时，结果记为1，当判定Tmean_bat小于预设温度阈值时，结果记为0；
若相邻两次的判定结果均为1，则综合判定结果为2，进入状态一，mwater为15L/min；
若相邻两次的判定结果均为0，则综合判定结果为0，进入状态二，mwater为10L/min。
10.根据权利要求7所述的基于TD3算法的多控制器协同控制整车热管理控制方法，其特征在于，在所述S43中，通过TD3算法训练智能体学习使回报最大化的控制策略；通过训练完成的智能体获取整车热管理系统仿真模型的状态信息，并根据所述状态信息选择压缩机转速和风扇转速执行所述控制策略。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310591348.1A CN116638914A (zh) | 2023-05-24 | 2023-05-24 | 基于td3算法的多控制器协同控制整车热管理控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310591348.1A CN116638914A (zh) | 2023-05-24 | 2023-05-24 | 基于td3算法的多控制器协同控制整车热管理控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116638914A true CN116638914A (zh) | 2023-08-25 |
Family
ID=87614798
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310591348.1A Pending CN116638914A (zh) | 2023-05-24 | 2023-05-24 | 基于td3算法的多控制器协同控制整车热管理控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116638914A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117250873A (zh) * | 2023-11-20 | 2023-12-19 | 北京英沣特能源技术有限公司 | 一种数据中心液冷系统参数优化方法 |
-
2023
- 2023-05-24 CN CN202310591348.1A patent/CN116638914A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117250873A (zh) * | 2023-11-20 | 2023-12-19 | 北京英沣特能源技术有限公司 | 一种数据中心液冷系统参数优化方法 |
| CN117250873B (zh) * | 2023-11-20 | 2024-02-02 | 北京英沣特能源技术有限公司 | 一种数据中心液冷系统参数优化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11309559B2 (en) | Multi-environment integrative thermal management method for fuel cell vehicle | |
| CN110641250B (zh) | 基于人体热舒适理论和模糊pid控制的电动汽车空调系统智能控制方法 | |
| CN105916711A (zh) | 车辆用热管理系统 | |
| CN116638914A (zh) | 基于td3算法的多控制器协同控制整车热管理控制方法 | |
| Huang et al. | A novel multistage constant compressor speed control strategy of electric vehicle air conditioning system based on genetic algorithm | |
| CN115230433B (zh) | 电动汽车乘员舱与动力电池协同加热控制方法及装置 | |
| CN111079316B (zh) | 低温续驶里程衰减整车热管理设计目标分解模型与分析方法 | |
| Zhao et al. | A two-stage eco-cooling control strategy for electric vehicle thermal management system considering multi-source information fusion | |
| Yang et al. | Modeling and simulation of vehicle integrated thermal management system for a fuel cell hybrid vehicle | |
| CN112428781A (zh) | 基于热舒适和低病毒感染风险的电动汽车空调控制方法 | |
| CN113128110A (zh) | 智能网联电动汽车高寒地区动力电池热管理优化方法 | |
| CN109599605A (zh) | 车载电池的温度调节方法和温度调节系统 | |
| Torregrosa-Jaime et al. | Design of efficient air-conditioning systems for electric vehicles | |
| CN115577454A (zh) | 电动车热管理系统虚拟标定方法及系统 | |
| Kwak et al. | Thermal comfort-conscious eco-climate control for electric vehicles using model predictive control | |
| Lian et al. | Thermal management optimization strategy of electric vehicle based on dynamic programming | |
| Wang et al. | Data-driven model predictive control of transcritical CO2 systems for cabin thermal management in cooling mode | |
| CN110398082A (zh) | 热管理系统及其控制方法 | |
| CN116432313A (zh) | 一种电动汽车热管理系统的数字孪生架构及智能控制方法 | |
| Zhang et al. | Co-regulation of integrated thermal management based on refrigerant cooling for electric vehicles | |
| CN114872557A (zh) | 电动汽车续航里程的测试方法、装置、设备和存储介质 | |
| CN116714411A (zh) | 基于td3算法的电动汽车空调与乘客舱热管理控制方法 | |
| Zhang et al. | Reinforcement learning-based control for the thermal management of the battery and occupant compartments of electric vehicles | |
| CN107757299A (zh) | 一种使用三层套管式中间换热器的汽车空调及其控制方法 | |
| Miao | Intelligent control system for the electric vehicle heat pump air conditioner based on machine learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |