CN115408948A - 一种氢气加注的最优策略确定方法、系统及电子设备 - Google Patents

一种氢气加注的最优策略确定方法、系统及电子设备 Download PDF

Info

Publication number
CN115408948A
CN115408948A CN202211269394.1A CN202211269394A CN115408948A CN 115408948 A CN115408948 A CN 115408948A CN 202211269394 A CN202211269394 A CN 202211269394A CN 115408948 A CN115408948 A CN 115408948A
Authority
CN
China
Prior art keywords
hydrogen storage
storage bottle
hydrogen
filling
temperature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211269394.1A
Other languages
English (en)
Other versions
CN115408948B (zh
Inventor
李建威
王天赐
贾博文
张大鹏
万鑫铭
吕洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202211269394.1A priority Critical patent/CN115408948B/zh
Publication of CN115408948A publication Critical patent/CN115408948A/zh
Application granted granted Critical
Publication of CN115408948B publication Critical patent/CN115408948B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/28—Design optimisation, verification or simulation using fluid dynamics, e.g. using Navier-Stokes equations or computational fluid dynamics [CFD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/08—Thermal analysis or thermal optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/14—Force analysis or force optimisation, e.g. static or dynamic forces
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02E60/30—Hydrogen technology
    • Y02E60/32—Hydrogen storage

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Optimization (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Fluid Mechanics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Filling Or Discharging Of Gas Storage Vessels (AREA)

Abstract

本发明涉及一种氢气加注的最优策略确定方法、系统及电子设备，属于氢气加注技术领域。本发明利用评估网络模型选取加注速度最快且引起储氢瓶内氢气区的温度及储氢瓶的铝内胆内壁的温度的变化最小的加注动作，作为最优加注动作；利用热力学模型，进行状态更新，利用目标网络模型对评估网络模型进行训练，直到达到加注终点，获得1条加注策略，此时将训练后的评估网络模型的参数复制给目标网络模型，采用上述步骤获取N条加注策略，从中选取最优加注策略。本发明结合储氢瓶的热力学模型与深度强化学习方法实时设计出最优加注策略，实现不同的初始储氢瓶压强、温度与固定加注时间条件下，使储氢瓶内温度上升尽可能小。

Description

一种氢气加注的最优策略确定方法、系统及电子设备
技术领域
本发明涉及氢气加注技术领域，特别是涉及一种氢气加注的最优策略确定方法、系统及电子设备。
背景技术
随着与日俱增的化石能源消耗，温室气体的排放对全球气候的影响不断加剧。氢能，作为替代石油和天然气最有潜力的能源之一，备受研究人员关注。燃料电池汽车作为氢能在交通运输领域的主要应用载体也成为汽车行业的下一片蓝海。燃料电池电动汽车相比起动力电池汽车，具有高效率、低噪声、无污染、加注速度快等优势。燃料电池汽车的加注速度和续航里程是由加注过程车载储氢瓶内的压强、温度变化情况决定的。一方面储氢瓶的加注过程中的温升现象引起储氢密度降低，减小燃料电池汽车的续驶里程。另一方面，车载储氢瓶的温度和压强变化对储氢瓶的疲劳损伤有直接关系，所以对储氢瓶的安全性有重要影响。如何针对储氢瓶的不同状态制定加注策略，以提高加注速度，并减小加注过程中引起的储氢瓶内的温度的变化。
发明内容
有鉴于此，本发明提供了一种氢气加注的最优策略确定方法、系统及电子设备，以实现针对储氢瓶的不同状态制定加注策略，提高加注速度，并减小加注过程中引起的储氢瓶内的温度的变化。
为实现上述目的，本发明提供了如下方案：
一种氢气加注的最优策略确定方法，所述方法包括如下步骤：
构建储氢瓶的热力学模型，并将储氢瓶的初始的状态设置为储氢瓶的当前状态；所述状态包括储氢瓶内氢气区的温度、储氢瓶的铝内胆内壁的温度和储氢瓶内氢气的压强；
基于储氢瓶的当前状态，利用评估网络模型选取下一个最优加注动作；所述加注动作包括加注氢气的质量流量，所述最优加注动作为加注速度最快且引起储氢瓶内氢气区的温度及储氢瓶的铝内胆内壁的温度的变化最小的加注动作；
基于所述热力学模型，确定执行所述最优加注动作后所述储氢瓶的状态，作为储氢瓶的当前状态，并根据目标网络模型对评估网络模型进行训练；
返回步骤“基于储氢瓶的当前状态，利用深度强化学习模型选取下一个最优加注动作”，直到达到加注终点，获得第j条加注策略，并将训练后的评估网络模型的参数复制给所述目标网络模型，令j的数值增加1，并将储氢瓶的初始的状态作为储氢瓶的当前状态，返回步骤“基于储氢瓶的当前状态，利用评估网络模型选取下一个最优加注动作”，直到获得N条加注策略；
在N条加注策略中选取最优加注策略；所述最优加注策略为加注速度最快且引起储氢瓶内氢气区的温度及储氢瓶的铝内胆内壁的温度的变化最小的加注策略。
可选的，所述基于所述热力学模型，确定执行所述最优加注动作后所述储氢瓶的状态，具体包括：
基于所述热力学模型，确定执行所述最优加注动作后的储氢瓶内氢气区的温度；
根据储氢瓶内氢气区的温度，基于所述热力学模型，计算储氢瓶的铝内胆内壁的温度和储氢瓶内氢气的压强。
可选的，所述基于所述热力学模型，确定执行所述最优加注动作后的储氢瓶内氢气区的温度，具体包括：
基于所述热力学模型，计算储氢瓶的总等效阻值为：
Figure 376587DEST_PATH_IMAGE001
；
其中，R all 为储氢瓶的总等效阻值，
Figure 297008DEST_PATH_IMAGE002
为储气瓶的氢气区与铝内胆内壁的热对流热阻，
Figure 532817DEST_PATH_IMAGE003
为储气瓶的铝内胆的热阻，R C_re 为储气瓶的碳纤维层的热阻，
Figure 622127DEST_PATH_IMAGE004
为大气区与储氢瓶的碳纤维层外壁的热对流内阻；
根据储氢瓶的总等效阻值，确定执行所述最优加注动作后的储氢瓶内氢气区的温度为：
Figure 121241DEST_PATH_IMAGE005
；
Figure 528958DEST_PATH_IMAGE006
；
Figure 37299DEST_PATH_IMAGE007
；
Figure 715537DEST_PATH_IMAGE008
；
Figure 916711DEST_PATH_IMAGE009
；
Figure 608461DEST_PATH_IMAGE010
；
其中，
Figure 654914DEST_PATH_IMAGE011
为储氢瓶内氢气区的温度，
Figure 374609DEST_PATH_IMAGE012
、
Figure 28575DEST_PATH_IMAGE013
和
Figure 896037DEST_PATH_IMAGE014
分别为特征温度、转化系数和特征时间；
Figure 683864DEST_PATH_IMAGE015
为计算系数，
Figure 569650DEST_PATH_IMAGE016
为动能转换系数，γ为比热容比；
Figure 643785DEST_PATH_IMAGE017
为加注氢气的温度，T 4为储氢瓶外部大气区的温度，
Figure 670647DEST_PATH_IMAGE018
为加注氢气的质量流量，
Figure 871952DEST_PATH_IMAGE019
为气体常数，
Figure 628555DEST_PATH_IMAGE020
为氢气的等容比热容，
Figure 326122DEST_PATH_IMAGE021
为加注氢气的压强，
Figure 840280DEST_PATH_IMAGE022
表示数值为
Figure 94544DEST_PATH_IMAGE023
的常数，
Figure 190807DEST_PATH_IMAGE024
为加注孔的面积，
Figure 13269DEST_PATH_IMAGE025
为氢气的等压比热容；
Figure 77040DEST_PATH_IMAGE026
为储气瓶内初始的氢气质量，
Figure 407700DEST_PATH_IMAGE027
为加注时间。
可选的，所述根据储氢瓶内氢气区的温度，基于所述热力学模型，计算储氢瓶的铝内胆内壁的温度和储氢瓶内氢气的压强，具体包括：
根据所述热力学模型，确定储氢瓶的氢气区与铝内胆内壁的热对流热阻；
根据储氢瓶内氢气区的温度和储氢瓶的氢气区与铝内胆内壁的热对流热阻，计算储氢瓶的铝内胆内壁的温度为：
Figure 279841DEST_PATH_IMAGE028
；
其中，T 2_in 为储氢瓶的铝内胆内壁的温度，
Figure 335522DEST_PATH_IMAGE029
为储氢瓶的氢气区与铝内胆内壁的热对流热阻，R all 为储氢瓶的总等效阻值，T 4为储氢瓶外部大气区的温度，T 1为储氢瓶内氢气区的温度；
根据储氢瓶内氢气区的温度，计算储氢瓶内氢气的压强为：
Figure 699638DEST_PATH_IMAGE030
；
其中，P 1为储氢瓶内氢气的压强，ρ为储氢瓶内氢气的密度，
Figure 233388DEST_PATH_IMAGE031
为气体常数，
Figure 491194DEST_PATH_IMAGE022
表示数值为
Figure 967043DEST_PATH_IMAGE032
的常数。
可选的，所述根据目标网络模型对评估网络模型进行训练，具体包括：
根据执行所述最优加注动作后所述储氢瓶的状态计算执行所述最优加注动作的第一奖励值；
将执行所述最优加注动作之前的储氢瓶的状态、所述最优加注动作、所述第一奖励值及执行所述最优加注动作之后的储氢瓶的状态作为经验条，加入经验池；
从所述经验池中选取多个经验条，作为训练经验条；
利用所述目标网络模型，计算执行每个所述训练经验条中的最优加注动作的第二奖励值；
以所述训练经验条中的执行最优加注动作之前的储氢瓶的状态、最优加注动为输入，以所述训练经验条的第二奖励值为输出期望值，训练所述评估网络模型。
可选的，所述第一奖励值的计算公式为：
Figure 802144DEST_PATH_IMAGE033
；
其中，R 1为第一奖励值，
Figure 890317DEST_PATH_IMAGE034
和
Figure 596105DEST_PATH_IMAGE035
分别为执行最优加注动作后所述储氢瓶的状态中的储氢瓶内氢气区的温度和储氢瓶的铝内胆内壁的温度，k 1和k 2分别为储氢瓶内氢气区的温度和储氢瓶的铝内胆内壁的温度的重要性系数，
Figure 665692DEST_PATH_IMAGE036
为加注氢气的质量流量。
可选的，所述第二奖励值的计算公式为：
Figure 440619DEST_PATH_IMAGE037
；
其中，R 2为第二奖励值，f为折扣因子，
Figure 378488DEST_PATH_IMAGE038
为输入为
Figure 423935DEST_PATH_IMAGE039
和
Figure 664424DEST_PATH_IMAGE040
时目标神经网络模型的输出，
Figure 677379DEST_PATH_IMAGE039
为执行最优加注动作之后的储氢瓶的状态，
Figure 871469DEST_PATH_IMAGE041
为最优加注动作。
可选的，在N条加注策略中选取最优加注策略，具体包括：
利用如下公式计算每条加注策略的总奖励值；
Figure 286270DEST_PATH_IMAGE042
；
其中，R total 表示加注策略的总奖励值，K表示加注策略中包含的加注动作的个数，
Figure 573026DEST_PATH_IMAGE043
表示执行第k个加注动作的第一奖励值；
选取总奖励值最大的加注策略作为最优加注策略。
一种氢气加注的最优策略确定系统，所述系统应用于上述的方法，所述系统包括：
初始化模块，用于构建储氢瓶的热力学模型，并将储氢瓶的初始的状态设置为储氢瓶的当前状态；所述状态包括储氢瓶内氢气区的温度、储氢瓶的铝内胆内壁的温度和储氢瓶内氢气的压强；
最优加注动作选取模块，用于基于储氢瓶的当前状态，利用评估网络模型选取下一个最优加注动作；所述加注动作包括加注氢气的质量流量，所述最优加注动作为加注速度最快且引起储氢瓶内氢气区的温度及储氢瓶的铝内胆内壁的温度的变化最小的加注动作；
训练模块，用于基于所述热力学模型，确定执行所述最优加注动作后所述储氢瓶的状态，作为储氢瓶的当前状态，并根据目标网络模型对评估网络模型进行训练；
返回模块，用于返回步骤“基于储氢瓶的当前状态，利用深度强化学习模型选取下一个最优加注动作”，直到达到加注终点，获得第j条加注策略，并将训练后的评估网络模型的参数复制给所述目标网络模型，令j的数值增加1，并将储氢瓶的初始的状态作为储氢瓶的当前状态，返回步骤“基于储氢瓶的当前状态，利用评估网络模型选取下一个最优加注动作”，直到获得N条加注策略；
最优加注策略选取模块，用于在N条加注策略中选取最优加注策略所述最优加注策略为加注速度最快且引起储氢瓶内氢气区的温度及储氢瓶的铝内胆内壁的温度的变化最小的加注策略。
一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被执行时实现上述的方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开一种氢气加注的最优策略确定方法、系统及电子设备，所述方法包括如下步骤：构建储氢瓶的热力学模型，并将储氢瓶的初始的状态设置为储氢瓶的当前状态；基于储氢瓶的当前状态，利用评估网络模型选取下一个最优加注动作；基于所述热力学模型，确定执行所述最优加注动作后所述储氢瓶的状态，作为储氢瓶的当前状态，并根据目标网络模型对评估网络模型进行训练；返回步骤“基于储氢瓶的当前状态，利用深度强化学习模型选取下一个最优加注动作”，直到达到加注终点，获得第j条加注策略，并将训练后的评估网络模型的参数复制给所述目标网络模型，令j的数值增加1，并将储氢瓶的初始的状态作为储氢瓶的当前状态，返回步骤“基于储氢瓶的当前状态，利用评估网络模型选取下一个最优加注动作”，直到获得N条加注策略；在N条加注策略中选取最优加注策略。本发明结合储氢瓶的热力学模型与深度强化学习方法（评估网络模型和目标网络模型）实时设计出最优加注策略，进而实现在不同的初始储氢瓶压强、温度与固定加注时间条件下，使氢气加注量最多、温度上升尽可能小。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种氢气加注的最优策略确定方法的流程图；
图2为本发明实施例提供的储氢瓶的结构示意图；
图3为本发明实施例提供的储氢瓶传热示意图；
图4为本发明实施例提供的最优加注策略获取的原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种氢气加注的最优策略确定方法、系统及电子设备，以实现针对储氢瓶的不同状态制定加注策略，提高加注速度，并减小加注过程中引起的储氢瓶内的温度的变化。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
目前，氢气加注策略的研究还停留在在加注过程中给出一系列的氢气质量流量的限制条件，不能为初始压强、温度不同的储氢瓶制定最优的加注策略，保证在给定的时间内加注最多的氢气，同时满足压强和温度的限制条件。
武汉理工大学的周鑫在论文车载储氢罐加注过程的模拟与性能预测中，建立了简易储氢瓶热力学模型，给出了在恒质量流量下储氢瓶内氢气温度、压强的变化。但是文中并未给出最优的加注策略，同时忽略储氢瓶壁之间的热传导。
浙江大学的郭进兴在论文高压氢循环试验系统温度控制与能耗优化设计方法研究中，建立了氢循环储氢瓶热力学模型，考虑了高压过程中氢气关键物性参数的变化，给出了恒质量流量下储氢瓶内气体、气瓶外壁温度变化，并设计了氢循环试验系统。但是其复杂的热力学模型不能实时为不同温度、压强下的储氢瓶设计最优的加注策略。
本发明提出一种氢气加注的最优策略确定方法、系统及电子设备，旨在结合储氢瓶热力学模型与深度强化学习方法实时设计出最优加注策略，进而实现在不同的初始储氢瓶压强、温度与固定加注时间条件下，氢气加注量最多、温度上升尽可能小。
实施例1
如图1所示，本发明实施例1提供一种氢气加注的最优策略确定方法，所述方法包括如下步骤：
步骤101，构建储氢瓶的热力学模型，并将储氢瓶的初始的状态设置为储氢瓶的当前状态；所述状态包括储氢瓶内氢气区的温度、储氢瓶的铝内胆内壁的温度和储氢瓶内氢气的压强；
构建储氢瓶的热力学模型具体包括如下步骤：
1、储氢瓶特征参数设计
本发明实施例中采用的储氢瓶的结构如图2所示，整个储氢瓶分为四个区域。区域①为储氢瓶内部氢气区，存储氢气；区域②为铝内胆层，主要起气体密封和缠绕芯模的作用，基本不承受载荷；区域③为碳纤维层，采用碳纤维浸渍树脂，主要为储氢瓶提供强度，满足承载要求；区域④是大气区。储氢瓶的具体参数如表1所示。
表1 储氢瓶尺寸参数(mm)
铝内胆公称外径 234
铝内胆壁厚 5
碳纤维层公称外径 270
碳纤维层壁厚 13
公称总长度 875
2、储氢瓶的热力学建模
在热力学模型中，为了方便计算传热面积和储氢瓶体积，储氢瓶可视为两个半球壳加一个圆筒。由于储氢瓶长度比厚度大得多，所以其传热是沿着壁厚方向。并且在氢气加注开始时，这四个区域的温度都相同，为20℃。假设整个过程是一维稳态导热，并且无内热源。换热过程如图3所示，图3中，T 1为储氢瓶内氢气区的温度，T 2_in 为储氢瓶的铝内胆内壁的温度，T mid 为铝内胆与碳纤维层交界处的温度，T 3_out 为大气区与碳纤维层外壁的交界处的温度，T 4为大气区的温度，两个气体区会与相接触的固体层进行对流换热，固体层之间存在热传导，各区域热传导率如表2所示。
表2 储氢瓶材料热传导率(W/m*K)
铝 238
碳纤维 5.95
树脂 0.3
由于碳纤维层是由体积分数为65%的碳纤维与体积分数为35%的树脂组成，该层的热传导率需要用复合材料热传导率计算公式计算。
Figure 73277DEST_PATH_IMAGE044
；
其中
Figure 228315DEST_PATH_IMAGE045
是碳纤维层的热传导率，单位为
Figure 746890DEST_PATH_IMAGE046
，
Figure 657077DEST_PATH_IMAGE047
是碳纤维材料的热传导率，单位为
Figure 926516DEST_PATH_IMAGE048
，
Figure 213140DEST_PATH_IMAGE049
是树脂材料的热传导率，单位为
Figure 274637DEST_PATH_IMAGE050
，
Figure 401731DEST_PATH_IMAGE051
是碳纤维材料的体积分数，
Figure 610996DEST_PATH_IMAGE052
是树脂材料的体积分数。
氢气区的热对流以强制对流为主，氢气区的对流换热系数
Figure 107836DEST_PATH_IMAGE053
在25-100
Figure 836889DEST_PATH_IMAGE054
之间。大气区的热对流以自然换热为主，并且在实际情况下储氢瓶置于燃料电池汽车内部，空气的换热效率更低，大气区的对流换热系数
Figure 885616DEST_PATH_IMAGE055
可设置为8
Figure 519860DEST_PATH_IMAGE056
。
氢气区与铝内胆内壁的热对流热阻：
Figure 131976DEST_PATH_IMAGE057
；
Figure 27119DEST_PATH_IMAGE058
；
其中，r为铝内胆内壁半径，单位为m，H为圆筒的长，单位为m，
Figure 200743DEST_PATH_IMAGE059
为氢气区与铝内胆内壁的换热面积，单位为
Figure 56703DEST_PATH_IMAGE060
，
Figure 19980DEST_PATH_IMAGE061
为氢气区与铝内胆内壁的热对流热阻，单位为
Figure 222160DEST_PATH_IMAGE062
。
铝内胆内壁与铝内胆外壁的热传导热阻分为两个部分，第一个是中间圆筒壁热阻，第二个是两个半球壳热阻：
Figure 753636DEST_PATH_IMAGE063
；
Figure 955947DEST_PATH_IMAGE064
；
Figure 942489DEST_PATH_IMAGE065
；
其中，
Figure 422012DEST_PATH_IMAGE066
是铝内胆与碳纤维层交界处的半径，单位为
Figure 186705DEST_PATH_IMAGE067
，
Figure 391159DEST_PATH_IMAGE068
是铝内胆层圆筒壁的热阻，单位为
Figure 633922DEST_PATH_IMAGE062
，
Figure 233530DEST_PATH_IMAGE069
是铝内胆层两个半球壳的热阻，单位为
Figure 982175DEST_PATH_IMAGE062
，
Figure 362341DEST_PATH_IMAGE070
是铝内胆的热阻，单位为
Figure 923641DEST_PATH_IMAGE062
，
Figure 377756DEST_PATH_IMAGE071
是铝内胆层的热传导率，单位为
Figure 546569DEST_PATH_IMAGE072
，
Figure 164763DEST_PATH_IMAGE073
为铝内胆与碳纤维层交界处的半径。
碳纤维层热阻计算与铝内胆层类似：
Figure 952591DEST_PATH_IMAGE074
；
Figure 589108DEST_PATH_IMAGE075
；
Figure 178090DEST_PATH_IMAGE076
；
其中，R是碳纤维层外壁的半径，单位为
Figure 939373DEST_PATH_IMAGE067
，
Figure 593208DEST_PATH_IMAGE077
是碳纤维层圆筒壁的热阻，
Figure 897282DEST_PATH_IMAGE078
是碳纤维层两个半球壳的热阻，单位为
Figure 345581DEST_PATH_IMAGE062
，
Figure 125318DEST_PATH_IMAGE079
是碳纤维层的热阻，单位为
Figure 566532DEST_PATH_IMAGE062
。
大气区与碳纤维层外壁的热对流内阻：
Figure 974380DEST_PATH_IMAGE080
；
Figure 609892DEST_PATH_IMAGE081
；
其中，
Figure 345767DEST_PATH_IMAGE082
为大气区与碳纤维层外壁的换热面积，单位为
Figure 138142DEST_PATH_IMAGE060
，
Figure 853026DEST_PATH_IMAGE083
是大气区与碳纤维层外壁的热对流内阻，单位为
Figure 846390DEST_PATH_IMAGE062
。
氢气在高压过程中不满足理想气体条件，建立的实际气体状态方程：
Figure 131878DEST_PATH_IMAGE084
；
其中，
Figure 947518DEST_PATH_IMAGE085
是氢气的密度，单位为
Figure 798799DEST_PATH_IMAGE086
，
Figure 9070DEST_PATH_IMAGE087
是气体常数，单位为
Figure 313012DEST_PATH_IMAGE088
，α是一个值为
Figure 463502DEST_PATH_IMAGE089
的常数，单位为
Figure 638131DEST_PATH_IMAGE090
，P为氢气的压强，T为氢气的温度。
将储氢瓶视为一个整体，注入储氢瓶的氢气温度和压强分别为
Figure 973298DEST_PATH_IMAGE091
，
Figure 482645DEST_PATH_IMAGE092
，此时应注意注入储氢瓶的氢气比焓是一个常数。则可以得到能量守恒和质量守恒方程：
Figure 686094DEST_PATH_IMAGE093
；
Figure 731541DEST_PATH_IMAGE094
；
Figure 706450DEST_PATH_IMAGE095
；
Figure 984985DEST_PATH_IMAGE096
；
Figure 975812DEST_PATH_IMAGE097
；
Figure 125034DEST_PATH_IMAGE098
；
Figure 615052DEST_PATH_IMAGE099
；
其中，
Figure 787408DEST_PATH_IMAGE100
为储氢瓶内氢气的质量，单位为kg，
Figure 270342DEST_PATH_IMAGE101
是储氢瓶初始氢气质量，单位为kg，
Figure 343512DEST_PATH_IMAGE102
为加注氢气的质量流量，即采取的动作，单位为
Figure 191383DEST_PATH_IMAGE103
，t为加注时间，
Figure 913351DEST_PATH_IMAGE104
是加注孔的面积，单位为
Figure 747446DEST_PATH_IMAGE060
，c是氢气加注的速度，单位为m/s，
Figure 136839DEST_PATH_IMAGE105
是储氢瓶的容积，单位为
Figure 467195DEST_PATH_IMAGE106
，
Figure 348563DEST_PATH_IMAGE020
是氢气的等容比热容，单位为J/kg*K，
Figure 173300DEST_PATH_IMAGE025
是氢气的等压比热容，单位为J/kg*K，
Figure 964670DEST_PATH_IMAGE107
为储氢瓶的总等效阻值，
Figure 216659DEST_PATH_IMAGE108
为储氢瓶的氢气区与铝内胆内壁的热对流热阻，
Figure 850903DEST_PATH_IMAGE109
为储氢瓶的铝内胆的热阻，
Figure 463019DEST_PATH_IMAGE110
为储氢瓶的碳纤维层的热阻，
Figure 92583DEST_PATH_IMAGE111
为大气区与储氢瓶的碳纤维层外壁的热对流内阻，
Figure 453158DEST_PATH_IMAGE112
为氢气区氢气的比内能，
Figure 122167DEST_PATH_IMAGE113
为加注氢气的比焓。
令：
Figure 554286DEST_PATH_IMAGE114
；
Figure 553204DEST_PATH_IMAGE115
；
Figure 84679DEST_PATH_IMAGE116
；
Figure 490253DEST_PATH_IMAGE117
；
Figure 7953DEST_PATH_IMAGE118
；
展开式如下：
Figure 80951DEST_PATH_IMAGE119
；
Figure 94912DEST_PATH_IMAGE120
；
其中，
Figure 925465DEST_PATH_IMAGE011
为储氢瓶内氢气区的温度，
Figure 433807DEST_PATH_IMAGE012
、
Figure 174361DEST_PATH_IMAGE013
和
Figure 109956DEST_PATH_IMAGE014
分别为特征温度、转化系数和特征时间；
Figure 162225DEST_PATH_IMAGE015
为计算系数，
Figure 723526DEST_PATH_IMAGE016
为动能转换系数，γ为比热容比；
Figure 567854DEST_PATH_IMAGE017
为加注氢气的温度，T 4为储氢瓶外部大气区的温度，
Figure 425082DEST_PATH_IMAGE018
为加注氢气的质量流量，
Figure 699069DEST_PATH_IMAGE019
为气体常数，
Figure 611530DEST_PATH_IMAGE121
为氢气的等容比热容，
Figure 762895DEST_PATH_IMAGE021
为加注氢气的压强，
Figure 712396DEST_PATH_IMAGE022
表示数值为
Figure 67154DEST_PATH_IMAGE023
的常数，
Figure 471722DEST_PATH_IMAGE024
为加注孔的面积，
Figure 290642DEST_PATH_IMAGE025
为氢气的等压比热容；
Figure 988208DEST_PATH_IMAGE026
为储气瓶内初始的氢气质量，
Figure 502366DEST_PATH_IMAGE027
为加注时间。
t小于等于5，是因为每5秒钟，采取一个动作。更新状态时，将t=5代入，获得新的T 1。
其中n是一个常数，需要初始条件确定。第一步的初始条件为t=0，T 1=293.15K。第二步的初始条件t=0，T 1是第一步的结果。
同时由于该储氢瓶热力学模型是一维稳态导热模型，各部分传热速率相等，只要求解出储氢瓶氢气的温度，就可以获取同时刻下铝内胆内壁温度。
Figure 694313DEST_PATH_IMAGE122
；
Figure 118473DEST_PATH_IMAGE123
；
每一步更新T 1之后，就可以更新T 2_in 。
Figure 3252DEST_PATH_IMAGE124
；
Figure 581870DEST_PATH_IMAGE125
。
步骤102，基于储氢瓶的当前状态，利用评估网络模型选取下一个最优加注动作；所述加注动作包括加注氢气的质量流量，所述最优加注动作为加注速度最快且引起储氢瓶内氢气区的温度及储氢瓶的铝内胆内壁的温度的变化最小的加注动作。
步骤103，基于所述热力学模型，确定执行所述最优加注动作后所述储氢瓶的状态，作为储氢瓶的当前状态，并根据目标网络模型对评估网络模型进行训练。
步骤104，返回步骤“基于储氢瓶的当前状态，利用深度强化学习模型选取下一个最优加注动作”，直到达到加注终点，获得第j条加注策略，并将训练后的评估网络模型的参数复制给所述目标网络模型，令j的数值增加1，并将储氢瓶的初始的状态作为储氢瓶的当前状态，返回步骤“基于储氢瓶的当前状态，利用评估网络模型选取下一个最优加注动作”，直到获得N条加注策略。
步骤105，在N条加注策略中选取最优加注策略；所述最优加注策略为加注速度最快且引起储氢瓶内氢气区的温度及储氢瓶的铝内胆内壁的温度的变化最小的加注策略。
示例性的，如图4所示，步骤102-105具体包括如下步骤：
将整个储氢瓶视为一个智能体(Agent)，其状态空间为储氢瓶内氢气区的温度、压强和铝内胆内壁的温度。因为氢气加注过程是一个升温过程，而材料的最高温度出现在铝内胆内壁。加氢速度每五秒钟更新一次，动作空间则设置加氢速度0.5g/s-4g/s，公差为0.5g/s，共8个动作。奖励函数需要同时考虑加氢速度和温度变化，温度的上升过大会导致材料的热疲劳，加氢速度则影响到加氢用时。加注的终点则是储氢瓶内部的压强达到70MP。
求解最优策略需要的参数设置：设置气加注氢气的温度
Figure 577507DEST_PATH_IMAGE126
，气加注氢气的压强
Figure 980807DEST_PATH_IMAGE021
，储氢瓶的初始状态（储氢瓶内氢气区的温度T 1、储氢瓶内氢气的压强P 1的初始值），迭代总次数N和两个神经网络(评价网络模型
Figure 787220DEST_PATH_IMAGE127
和目标网络模型
Figure 603866DEST_PATH_IMAGE128
)。
状态初始化：在每一次迭代中，初始化储氢瓶的状态
Figure 918042DEST_PATH_IMAGE129
、
Figure 503744DEST_PATH_IMAGE130
，并设置总奖励值
Figure 215479DEST_PATH_IMAGE131
。
动作选择：输入当前的状态值到评估网络模型
Figure 519422DEST_PATH_IMAGE132
，评估网络模型
Figure 371709DEST_PATH_IMAGE132
给出当前状态下采取每个动作的预估奖励，选取预估奖励值最大的动作，即为最优加注动作
Figure 608655DEST_PATH_IMAGE041
，基于上述热力学模型获得执行该最优加注动作后到达新的状态
Figure 22450DEST_PATH_IMAGE133
，
Figure 282530DEST_PATH_IMAGE134
和
Figure 361345DEST_PATH_IMAGE135
分别为执行最优加注动作后所述储氢瓶的状态中的储氢瓶内氢气区的温度和储氢瓶的铝内胆内壁的温度，
Figure 639748DEST_PATH_IMAGE136
为执行最优加注动作之后储氢瓶内氢气的压强，根据
Figure 473712DEST_PATH_IMAGE137
、
Figure 768558DEST_PATH_IMAGE138
以及加注氢气的质量流量
Figure 385484DEST_PATH_IMAGE139
，计算出一个真实奖励值，即第一奖励值，其计算公式为：
Figure 534706DEST_PATH_IMAGE140
;
其中，
Figure 585576DEST_PATH_IMAGE141
为第一奖励值，
Figure 85828DEST_PATH_IMAGE142
和
Figure 319494DEST_PATH_IMAGE143
分别为储氢瓶内氢气区的温度和储氢瓶的铝内胆内壁的温度的重要性系数（可以根据实际情况赋值），
Figure 588801DEST_PATH_IMAGE139
为加注氢气的质量流量。
记忆储存：将该步生成的经验条
Figure 436672DEST_PATH_IMAGE144
存入经验池，如果存储的经验条超出了经验池的容量，就删除早期的经验条，存入新经验条，其中，
Figure 407908DEST_PATH_IMAGE145
为执行最优加注动作之前的储氢瓶的状态，
Figure 491270DEST_PATH_IMAGE146
为执行最优加注动作之后的储氢瓶的状态。
经验回放：抽取一批个数为I的经验条
Figure 365816DEST_PATH_IMAGE147
，作为训练经验条，i表示第i个训练经验条，其取值范围为1至I之间的整数，
Figure 853429DEST_PATH_IMAGE148
为第i个训练经验条中的执行最优加注动作之前的储氢瓶的状态，
Figure 125011DEST_PATH_IMAGE149
为行第i个训练经验条中的最优加注动作，
Figure 199015DEST_PATH_IMAGE150
为第i个训练经验条中执行最优加注动作的第一奖励值、
Figure 115018DEST_PATH_IMAGE151
为第i个训练经验条中执行最优加注动作之后的储氢瓶的状态。
训练网络：利用目标网络模型
Figure 367008DEST_PATH_IMAGE152
获取训练经验条的奖励估计值，即第二奖励值：
Figure 611039DEST_PATH_IMAGE153
。训练评价网络模型
Figure 239466DEST_PATH_IMAGE154
，使评价网络模型
Figure 9976DEST_PATH_IMAGE127
输出的预估奖励更接近该第二奖励值。
判断是否到达加注终点，如果
Figure 947714DEST_PATH_IMAGE155
中
Figure 865991DEST_PATH_IMAGE156
，则表示达到加注终点，
Figure 845580DEST_PATH_IMAGE136
为执行最优加注动作之后储氢瓶内氢气的压强，将评价网络模型
Figure 798492DEST_PATH_IMAGE154
的权重参数复制给目标网络模型
Figure 329968DEST_PATH_IMAGE152
，否则就更新当前状态为
Figure 8246DEST_PATH_IMAGE155
，记录该步采取的动作，并进行总奖励更新
Figure 509635DEST_PATH_IMAGE157
，重复进行动作选择、记忆储存、经验回放、训练网络步骤。
本发明实施例引入目标网络模型主要的作用是增加了学习的稳定性。在权重更新(训练评估网络模型)的过程中，只更新评估网络模型的权重，而不更新目标网络模型的权重。这样，更新权重时的
Figure 254737DEST_PATH_IMAGE158
不会在每次训练中变化，是一个固定的目标。
判断迭代次数是否达到规定的总迭代次数（即加注策略的数量达到N，其中N为加注策略的条数阈值，其中加注策略的条数与迭代次数一一对应，因为每一次迭代过程中均可获得一条加注策略），如果超出总迭代次数，则选取历次迭代中最大的
Figure 770163DEST_PATH_IMAGE159
对应的加注策略（即多个加注动作组成的动作序列）作为最优的加注策略。
实施例2
本发明实施例2提供一种氢气加注的最优策略确定系统，所述系统应用于实施例1中的方法，所述系统包括：
初始化模块，用于构建储氢瓶的热力学模型，并将储氢瓶的初始的状态设置为储氢瓶的当前状态；所述状态包括储氢瓶内氢气区的温度、储氢瓶的铝内胆内壁的温度和储氢瓶内氢气的压强。
最优加注动作选取模块，用于基于储氢瓶的当前状态，利用评估网络模型选取下一个最优加注动作；所述加注动作包括加注氢气的质量流量，所述最优加注动作为加注速度最快且引起储氢瓶内氢气区的温度及储氢瓶的铝内胆内壁的温度的变化最小的加注动作。
训练模块，用于基于所述热力学模型，确定执行所述最优加注动作后所述储氢瓶的状态，作为储氢瓶的当前状态，并根据目标网络模型对评估网络模型进行训练。
返回模块，用于返回步骤“基于储氢瓶的当前状态，利用深度强化学习模型选取下一个最优加注动作”，直到达到加注终点，获得第j条加注策略，并将训练后的评估网络模型的参数复制给所述目标网络模型，令j的数值增加1，并将储氢瓶的初始的状态作为储氢瓶的当前状态，返回步骤“基于储氢瓶的当前状态，利用评估网络模型选取下一个最优加注动作”，直到获得N条加注策略。
最优加注策略选取模块，用于在N条加注策略中选取最优加注策略所述最优加注策略为加注速度最快且引起储氢瓶内氢气区的温度及储氢瓶的铝内胆内壁的温度的变化最小的加注策略。
实施例3
本发明实施例3提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例1中的方法。
实施例4
本发明实施例4提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被执行时实现实施例1中的方法。
基于上述实施例本发明的技术方案的优点如下：
本发明实施例在建立储氢瓶的热力学模型时考虑了储氢瓶固体层的热传导，同时根据实际情况简化储氢瓶传热模型为一维稳态传热且无内热源。该模型贴合实际，而且计算简单，实时性好。
对于任何的储氢瓶初始状态以及加注的氢气温度
Figure 928612DEST_PATH_IMAGE126
，压强
Figure 748538DEST_PATH_IMAGE160
，都能制定一个最优的加注策略，适用性强。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本发明实施例中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种氢气加注的最优策略确定方法，其特征在于，所述方法包括如下步骤：
构建储氢瓶的热力学模型，并将储氢瓶的初始的状态设置为储氢瓶的当前状态；所述状态包括储氢瓶内氢气区的温度、储氢瓶的铝内胆内壁的温度和储氢瓶内氢气的压强；
基于储氢瓶的当前状态，利用评估网络模型选取下一个最优加注动作；所述加注动作包括加注氢气的质量流量；所述最优加注动作为加注速度最快且引起储氢瓶内氢气区的温度及储氢瓶的铝内胆内壁的温度的变化最小的加注动作；
基于所述热力学模型，确定执行所述最优加注动作后所述储氢瓶的状态，作为储氢瓶的当前状态，并根据目标网络模型对评估网络模型进行训练；
返回步骤“基于储氢瓶的当前状态，利用深度强化学习模型选取下一个最优加注动作”，直到达到加注终点，获得第j条加注策略，将训练后的评估网络模型的参数复制给所述目标网络模型，令j的数值增加1，并将储氢瓶的初始的状态作为储氢瓶的当前状态，返回步骤“基于储氢瓶的当前状态，利用评估网络模型选取下一个最优加注动作”，直到获得N条加注策略；
在N条加注策略中选取最优加注策略；所述最优加注策略为加注速度最快且引起储氢瓶内氢气区的温度及储氢瓶的铝内胆内壁的温度的变化最小的加注策略。
2.根据权利要求1所述的氢气加注的最优策略确定方法，其特征在于，所述基于所述热力学模型，确定执行所述最优加注动作后所述储氢瓶的状态，具体包括：
基于所述热力学模型，确定执行所述最优加注动作后的储氢瓶内氢气区的温度；
根据储氢瓶内氢气区的温度，基于所述热力学模型，计算储氢瓶的铝内胆内壁的温度和储氢瓶内氢气的压强。
3.根据权利要求2所述的氢气加注的最优策略确定方法，其特征在于，所述基于所述热力学模型，确定执行所述最优加注动作后的储氢瓶内氢气区的温度，具体包括：
基于所述热力学模型，计算储氢瓶的总等效阻值为：
Figure 952816DEST_PATH_IMAGE001
；
其中，R all 为储氢瓶的总等效阻值，
Figure 932274DEST_PATH_IMAGE002
为储氢瓶的氢气区与铝内胆内壁的热对流热阻，
Figure 554754DEST_PATH_IMAGE003
为储氢瓶的铝内胆的热阻，R C_re 为储氢瓶的碳纤维层的热阻，
Figure 746701DEST_PATH_IMAGE004
为大气区与储氢瓶的碳纤维层外壁的热对流内阻；
根据储氢瓶的总等效阻值，确定执行所述最优加注动作后的储氢瓶内氢气区的温度为：
Figure 29914DEST_PATH_IMAGE005
；
Figure 462164DEST_PATH_IMAGE006
；
Figure 525935DEST_PATH_IMAGE007
；
Figure 193676DEST_PATH_IMAGE008
；
Figure 970877DEST_PATH_IMAGE009
；
Figure 433083DEST_PATH_IMAGE010
；
其中，
Figure 984150DEST_PATH_IMAGE011
为储氢瓶内氢气区的温度，
Figure 330949DEST_PATH_IMAGE012
、
Figure 323175DEST_PATH_IMAGE013
和
Figure 549757DEST_PATH_IMAGE014
分别为特征温度、转化系数和特征时间；
Figure 899705DEST_PATH_IMAGE015
为计算系数，
Figure 643670DEST_PATH_IMAGE016
为动能转换系数，γ为比热容比；
Figure 83879DEST_PATH_IMAGE017
为加注氢气的温度，T 4为储氢瓶外部大气区的温度，
Figure 28832DEST_PATH_IMAGE018
为加注氢气的质量流量，
Figure 226595DEST_PATH_IMAGE019
为气体常数，
Figure 102147DEST_PATH_IMAGE020
为氢气的等容比热容，
Figure 708447DEST_PATH_IMAGE021
为加注氢气的压强，
Figure 948935DEST_PATH_IMAGE022
表示数值为
Figure 696312DEST_PATH_IMAGE023
的常数，
Figure 188604DEST_PATH_IMAGE024
为加注孔的面积，
Figure 9929DEST_PATH_IMAGE025
为氢气的等压比热容；
Figure 749215DEST_PATH_IMAGE026
为储气瓶内初始的氢气质量，
Figure 29893DEST_PATH_IMAGE027
为加注时间。
4.根据权利要求2所述的氢气加注的最优策略确定方法，其特征在于，所述根据储氢瓶内氢气区的温度，基于所述热力学模型，计算储氢瓶的铝内胆内壁的温度和储氢瓶内氢气的压强，具体包括：
根据所述热力学模型，确定储氢瓶的氢气区与铝内胆内壁的热对流热阻；
根据储氢瓶内氢气区的温度和储氢瓶的氢气区与铝内胆内壁的热对流热阻，计算储氢瓶的铝内胆内壁的温度为：
Figure 184931DEST_PATH_IMAGE028
；
其中，T 2_in 为储氢瓶的铝内胆内壁的温度，
Figure 454238DEST_PATH_IMAGE029
为储氢瓶的氢气区与铝内胆内壁的热对流热阻；R all 为储氢瓶的总等效阻值，T 4为储氢瓶外部大气区的温度，T 1为储氢瓶内氢气区的温度；
根据储氢瓶内氢气区的温度，计算储氢瓶内氢气的压强为：
Figure 911895DEST_PATH_IMAGE030
；
其中，P 1为储氢瓶内氢气的压强，ρ为储氢瓶内氢气的密度，
Figure 571547DEST_PATH_IMAGE031
为气体常数，
Figure 592592DEST_PATH_IMAGE022
表示数值为
Figure 496832DEST_PATH_IMAGE032
的常数。
5.根据权利要求1所述的氢气加注的最优策略确定方法，其特征在于，所述根据目标网络模型对评估网络模型进行训练，具体包括：
根据执行所述最优加注动作后所述储氢瓶的状态计算执行所述最优加注动作的第一奖励值；
将执行所述最优加注动作之前的储氢瓶的状态、所述最优加注动作、所述第一奖励值及执行所述最优加注动作之后的储氢瓶的状态作为经验条，加入经验池；
从所述经验池中选取多个经验条，作为训练经验条；
利用所述目标网络模型，计算执行每个所述训练经验条中的最优加注动作的第二奖励值；
以所述训练经验条中的执行最优加注动作之前的储氢瓶的状态、最优加注动为输入，以所述训练经验条的第二奖励值为输出期望值，训练所述评估网络模型。
6.根据权利要求5所述的氢气加注的最优策略确定方法，其特征在于，所述第一奖励值的计算公式为：
Figure 515604DEST_PATH_IMAGE033
；
其中，R 1为第一奖励值，
Figure 724868DEST_PATH_IMAGE034
和
Figure 97075DEST_PATH_IMAGE035
分别为执行最优加注动作后所述储氢瓶的状态中的储氢瓶内氢气区的温度和储氢瓶的铝内胆内壁的温度，k 1和k 2分别为储氢瓶内氢气区的温度和储氢瓶的铝内胆内壁的温度的重要性系数，
Figure 13078DEST_PATH_IMAGE036
为加注氢气的质量流量;
所述第二奖励值的计算公式为：
Figure 796226DEST_PATH_IMAGE037
；
其中，R 2为第二奖励值，f为折扣因子，
Figure 765492DEST_PATH_IMAGE038
为输入为
Figure 66023DEST_PATH_IMAGE039
和
Figure 961167DEST_PATH_IMAGE040
时目标神经网络模型的输出，
Figure 869211DEST_PATH_IMAGE039
为执行最优加注动作之后的储氢瓶的状态，
Figure 725172DEST_PATH_IMAGE041
为最优加注动作。
7.根据权利要求5所述的氢气加注的最优策略确定方法，其特征在于，在N条加注策略中选取最优加注策略，具体包括：
利用如下公式计算每条加注策略的总奖励值；
Figure 954028DEST_PATH_IMAGE042
；
其中，R total 表示加注策略的总奖励值，K表示加注策略中包含的加注动作的个数，
Figure 313465DEST_PATH_IMAGE043
表示执行第k个加注动作的第一奖励值；
选取总奖励值最大的加注策略作为最优加注策略。
8.一种氢气加注的最优策略确定系统，其特征在于，所述系统应用于权利要求1-7任一项所述的方法，所述系统包括：
初始化模块，用于构建储氢瓶的热力学模型，并将储氢瓶的初始的状态设置为储氢瓶的当前状态；所述状态包括储氢瓶内氢气区的温度、储氢瓶的铝内胆内壁的温度和储氢瓶内氢气的压强；
最优加注动作选取模块，用于基于储氢瓶的当前状态，利用评估网络模型选取下一个最优加注动作；所述加注动作包括加注氢气的质量流量，所述最优加注动作为加注速度最快且引起储氢瓶内氢气区的温度及储氢瓶的铝内胆内壁的温度的变化最小的加注动作；
训练模块，用于基于所述热力学模型，确定执行所述最优加注动作后所述储氢瓶的状态，作为储氢瓶的当前状态，并根据目标网络模型对评估网络模型进行训练；
返回模块，用于返回步骤“基于储氢瓶的当前状态，利用深度强化学习模型选取下一个最优加注动作”，直到达到加注终点，获得第j条加注策略，并将训练后的评估网络模型的参数复制给所述目标网络模型，令j的数值增加1，并将储氢瓶的初始的状态作为储氢瓶的当前状态，返回步骤“基于储氢瓶的当前状态，利用评估网络模型选取下一个最优加注动作”，直到获得N条加注策略；
最优加注策略选取模块，用于在N条加注策略中选取最优加注策略；所述最优加注策略为加注速度最快且引起储氢瓶内氢气区的温度及储氢瓶的铝内胆内壁的温度的变化最小的加注策略。
9.一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被执行时实现如权利要求1至7中任一项所述的方法。
CN202211269394.1A 2022-10-18 2022-10-18 一种氢气加注的最优策略确定方法、系统及电子设备 Active CN115408948B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211269394.1A CN115408948B (zh) 2022-10-18 2022-10-18 一种氢气加注的最优策略确定方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211269394.1A CN115408948B (zh) 2022-10-18 2022-10-18 一种氢气加注的最优策略确定方法、系统及电子设备

Publications (2)

Publication Number Publication Date
CN115408948A true CN115408948A (zh) 2022-11-29
CN115408948B CN115408948B (zh) 2023-01-10

Family

ID=84167772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211269394.1A Active CN115408948B (zh) 2022-10-18 2022-10-18 一种氢气加注的最优策略确定方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN115408948B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116293418A (zh) * 2023-04-20 2023-06-23 西南交通大学 一种基于能耗控制的加氢站设备压力优化配置方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120267002A1 (en) * 2009-10-21 2012-10-25 Nel Hydrogen As Method for the operation and control of gas filling
CN110939859A (zh) * 2018-09-21 2020-03-31 国家能源投资集团有限责任公司 加氢控制装置及方法
CN112765907A (zh) * 2021-01-12 2021-05-07 同济大学 一种车载储氢瓶快速加注方案的优化方法和系统
CN114509951A (zh) * 2022-04-21 2022-05-17 浙江浙能航天氢能技术有限公司 一种基于神经网络的加氢自适应控制方法及装置
CN115169088A (zh) * 2022-06-21 2022-10-11 张家港氢云新能源研究院有限公司 一种针对深冷高压储氢瓶的疲劳寿命预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120267002A1 (en) * 2009-10-21 2012-10-25 Nel Hydrogen As Method for the operation and control of gas filling
CN110939859A (zh) * 2018-09-21 2020-03-31 国家能源投资集团有限责任公司 加氢控制装置及方法
CN112765907A (zh) * 2021-01-12 2021-05-07 同济大学 一种车载储氢瓶快速加注方案的优化方法和系统
CN114509951A (zh) * 2022-04-21 2022-05-17 浙江浙能航天氢能技术有限公司 一种基于神经网络的加氢自适应控制方法及装置
CN115169088A (zh) * 2022-06-21 2022-10-11 张家港氢云新能源研究院有限公司 一种针对深冷高压储氢瓶的疲劳寿命预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何广利等: "基于国产三型瓶的氢气加注技术开发", 《储能科学与技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116293418A (zh) * 2023-04-20 2023-06-23 西南交通大学 一种基于能耗控制的加氢站设备压力优化配置方法
CN116293418B (zh) * 2023-04-20 2024-10-11 西南交通大学 一种基于能耗控制的加氢站设备压力优化配置方法

Also Published As

Publication number Publication date
CN115408948B (zh) 2023-01-10

Similar Documents

Publication Publication Date Title
CN109606137B (zh) 融合成本寿命因素的多源电驱动系统经济性优化方法
CN107785935B (zh) 计及风险及机组组合的电网风电消纳能力评估方法
Guo et al. Investigations on temperature variation within a type III cylinder during the hydrogen gas cycling test
CN115408948B (zh) 一种氢气加注的最优策略确定方法、系统及电子设备
CN105930901A (zh) 一种基于rbpnn的变压器故障诊断方法
CN111798111B (zh) 一种综合能源系统供能可靠性评估方法及计算机系统
CN110194172A (zh) 基于增强型神经网络插电式混合动力乘用车能量管理方法
Li et al. Optimization of hybrid energy management system based on high-energy solid-state lithium batteries and reversible fuel cells
CN105140958A (zh) 含光伏电源的配电网规划方法
CN115840987A (zh) 一种基于深度强化学习的混动汽车热管理策略生成方法
CN115423161A (zh) 基于数字孪生的多能耦合优化调度方法及系统
CN117227700B (zh) 串联混合动力无人履带车辆的能量管理方法及系统
CN112150024A (zh) 一种综合能源系统多场景能效评估方法
Karaoğlan et al. Investigation of the effects of battery types and power management algorithms on drive cycle simulation for a range-extended electric vehicle powertrain
CN112989699B (zh) 基于深度强化学习的新能源汽车性能评价方法
Cao et al. Optimization of battery energy storage system size and power allocation strategy for fuel cell ship
CN107977741A (zh) 冷热电联供微网系统的能量调度优化方法
CN114444803A (zh) 电动汽车充电站充电负荷预测方法、系统、终端及介质
CN113465221A (zh) 一种低碳排放的冷热电联产系统及其控制方法
CN115423297A (zh) 基于拉格朗日乘子的园区综合能源系统可靠性评估方法
CN116294286A (zh) 一种新型化工企业废水回收的高效制冷调节器
CN113836840A (zh) 一种考虑不均匀温升的ⅳ型管束瓶充氢膨胀量预测方法
Luo et al. Optimal estimation of MC parameter in SAE J2601 hydrogen refuelling protocol based on modified formula and artificial neural networks
Nnaemeka et al. Application of Low-Temperature Phase Change Materials to Enable the Cold Weather Operability of B100 Biodiesel in Diesel Trucks
Bäumler et al. A Reinforcement Learning Based Energy Management Strategy for Fuel Cell/Battery Hybrid System: A Novel Reward Function Approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant