CN114169593A - 基于负荷预测和深度强化学习的台区电动汽车有序充电方法 - Google Patents

基于负荷预测和深度强化学习的台区电动汽车有序充电方法 Download PDF

Info

Publication number
CN114169593A
CN114169593A CN202111410243.9A CN202111410243A CN114169593A CN 114169593 A CN114169593 A CN 114169593A CN 202111410243 A CN202111410243 A CN 202111410243A CN 114169593 A CN114169593 A CN 114169593A
Authority
CN
China
Prior art keywords
charging
model
capacity
current
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111410243.9A
Other languages
English (en)
Inventor
胡筱曼
潘斌
陈旗展
崔益国
陈浩河
董芝春
王干军
黄宇行
陆靖宇
麦涵
何欣欣
蔡田田
邓清唐
陈波
彭勇刚
莫浩杰
胡丹尔
孙静
翁楚迪
韦巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Zhongshan Power Supply Bureau of Guangdong Power Grid Co Ltd
Southern Power Grid Digital Grid Research Institute Co Ltd
Original Assignee
Zhejiang University ZJU
Zhongshan Power Supply Bureau of Guangdong Power Grid Co Ltd
Southern Power Grid Digital Grid Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Zhongshan Power Supply Bureau of Guangdong Power Grid Co Ltd, Southern Power Grid Digital Grid Research Institute Co Ltd filed Critical Zhejiang University ZJU
Priority to CN202111410243.9A priority Critical patent/CN114169593A/zh
Publication of CN114169593A publication Critical patent/CN114169593A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L53/00—Methods of charging batteries, specially adapted for electric vehicles; Charging stations or on-board charging equipment therefor; Exchange of energy storage elements in electric vehicles
    • B60L53/60—Monitoring or controlling charging stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0283—Price estimation or determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/70—Energy storage systems for electromobility, e.g. batteries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/7072—Electromobility specific charging systems or methods for batteries, ultracapacitors, supercapacitors or double-layer capacitors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10—Technologies relating to charging of electric vehicles
    • Y02T90/12—Electric charging stations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S50/00—Market activities related to the operation of systems integrating technologies related to power network operation or related to communication or information technologies
    • Y04S50/14—Marketing, i.e. market research and analysis, surveying, promotions, advertising, buyer profiling, customer management or rewards

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Health & Medical Sciences (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Game Theory and Decision Science (AREA)
  • Tourism & Hospitality (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Power Engineering (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Charge And Discharge Circuits For Batteries Or The Like (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)

Abstract

本发明涉及电动汽车充电技术，旨在提供一种基于负荷预测和深度强化学习的台区电动汽车有序充电方法。包括：根据变电站历史充电剩余容量信息，使用全连接前馈神经网络预测未来剩余充电容量；根据弹性电价机制和预测的未来剩余充电容量，使用基于DQN的深度强化学习算法调整电动汽车充电策略，控制电动汽车接入充电桩的数量。本发明将负荷预测方法引入到电动汽车有序充电运算中，将预测的未来剩余充电容量作为电动汽车充电调度的依据，比传统方法更具实时性、超前性。通过引入深度强化学习到电动汽车有序充电运算中，利用预测到的未来信息超前调度电动汽车有序充电，且具有实时自学习更新能力，比传统算法更灵活有效，进一步提高了经济性和高效性。

Description

基于负荷预测和深度强化学习的台区电动汽车有序充电方法
技术领域
本发明涉及电动汽车充电技术，具体涉及一种基于负荷预测和深度强化学习的台区电动汽车有序充电方法。
背景技术
随着环境污染的日益严重，电动汽车因其清洁环保的特性在近几年里得到快速发展，与其相关的内容也越来越成为研究重点。越来越多的电动汽车因充电接入电网，无疑提高了电网优化配置的难度，通过有序充电运算，将有益于进一步提高电网的经济性和环保性。
作为电力系统经济调度中的重要内容，准确的负荷预测可为发电机出力控制和负荷接入调度提供有效的参考，有益于保持电网运行稳定和提高电网经济性。而现有的有序充电运算大多依赖于历史充电数据，实时性较差，且不具备超前调度能力。本发明将负荷预测方法引入到电动汽车有序充电运算中，将预测的未来剩余充电容量作为电动汽车充电调度的依据，同时使用深度强化学习完成电动汽车充电调度，相对于传统方法更具实时性和超前性。
发明内容
本发明要解决的技术问题是，克服现有技术中的不足，提供一种基于负荷预测和深度强化学习的台区电动汽车有序充电方法，是一种具有超前调度能力的电动汽车有序充电智能调度方法。
为解决技术问题，本发明的解决方案是：
提供一种基于负荷预测和深度强化学习的台区电动汽车有序充电方法，包括以下步骤：
(1)根据变电站历史充电剩余容量信息，使用全连接前馈神经网络(FFN)预测未来剩余充电容量；
(2)根据弹性电价机制和步骤(1)中预测的未来剩余充电容量，使用基于DQN(DeepQ Network)的深度强化学习算法调整电动汽车充电策略，控制电动汽车接入充电桩的数量。
作为本发明的优选方案，所述步骤(1)具体包括：
(1.1)获取变电站台区历史剩余充电容量数据并分割数据样本，形成训练和输入用的数据，其输出数据为未来剩余充电容量数据；
(1.2)搭建包括一个卷积层和两个线性层的FFN模型；所用FFN模型输出公式为：
Out(X)＝Tanh(conv(X)W1+b1)W2+b2
式中：out(X)为FFN模型的输出；Tanh(.)为激活函数；conv(.)为卷积网络；(Wi，bi)为网络参数；X为网络输入；
(1.3)确定训练用损失函数为：
Figure BDA0003373257710000021
式中
Figure BDA0003373257710000022
为损失函数；T为时间步长；xi和
Figure BDA0003373257710000023
分别代表模型预测值与真实标签值；
(1.4)使用梯度下降算法训练全连接前馈神经网络(FFN)模型；
(1.5)将变电站台区历史剩余充电容量输入训练后的模型，得到预测的未来剩余充电容量。
作为本发明的优选方案，所述步骤(2)具体包括：
(2.1)将步骤(1)所得的未来剩余充电容量作为DQN模型的状态，具体为st＝{Et，Et+1，…，ET}，表示从当前时刻t到未来时刻T的剩余充电容量；
(2.2)确定DQN模型的动作，表示为at＝{0，1，..，N}，即当前时刻t接入充电桩的电动汽车数量；其中，N表示可接入的最大电动汽车数；
(2.3)假定每辆电动汽车的充电功率λ恒定且相同，将DQN模型的奖励表示为：
rt＝-Ptatλ-α(N-at)2
其中，α为满意度参数，Pt为当前时刻的电动车充电电价；
(2.4)确定DQN模型的目标函数为：
Figure BDA0003373257710000024
其中，π表示动作策略；Eπ为在当前动作策略下的期望；γ∈[0，1]为折扣因子，表示未来奖励对当前奖励的相对重要性；γk为考虑第k步奖励对当前奖励的影响；K为考虑的总动作步长数；k为单步动作步长；rt+1为采取相应动作在下一时刻能获取的奖励值；st为当前时刻的状态；at为当前时刻的动作；
(2.5)训练迭代DQN模型，得到最优动作策略
Figure BDA0003373257710000025
即每一时刻允许接入充电桩的电动汽车数量。
与现有技术相比，本发明的有益效果是：
1、本发明将负荷预测方法引入到电动汽车有序充电运算中，将预测的未来剩余充电容量作为电动汽车充电调度的依据，比传统方法更具实时性、超前性。
2、本发明引入深度强化学习到电动汽车有序充电运算中，利用预测到的未来信息，超前调度电动汽车有序充电，且具有实时自学习更新能力，比传统算法更灵活有效，进一步提高了经济性和高效性。
附图说明
图1为全连接前馈神经网络(FFN)预测模型结构图；
图2为基于DQN的电动汽车有序充电运算流程图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步的说明。
本实例的具体实施场景为建有电动汽车充电桩的变电站台区。首先基于台区充电桩历史剩余充电容量，使用全连接前馈神经网络(FFN)预测未来剩余充电容量。然后基于预测到的未来剩余充电容量和弹性电价机制，使用基于DQN的电动汽车有序充电运算来调整电动汽车的充电策略，即接入充电桩的电动汽车数量。当变电站台区接入充电桩的电动汽车数量过多，导致超过台区变压器最大容量，则优先调节台区储能放电，缓解充电压力，若储能同样不足时，则通过直接负荷控制关闭充电桩工作。具体步骤如下：
步骤一：搭建并训练用于预测未来剩余充电容量的全连接前馈神经网络(FFN)，包括以下步骤：
(1)搭建FFN模型，如图1所示，该模型包括一个卷积层和两个线性层；FFN模型输出公式为：
Out(X)＝Tanh(conv(X)W1+b1)W2+b2
式中：out(X)为FFN模型的输出；Tanh(.)为激活函数；conv(.)为卷积网络；(Wi，bi)为网络参数；X为网络输入。
FFN模型训练所用的训练及输入数据样本，来自变电站台区历史剩余充电容量数据的分割数据；FFN模型的输出，即为未来剩余充电容量数据；
(2)确定训练用损失函数，为：
Figure BDA0003373257710000031
式中
Figure BDA0003373257710000032
为损失函数；T为时间步长；xi和
Figure BDA0003373257710000033
分别代表模型预测值与真实标签值；
(3)使用梯度下降算法训练模型，具体步骤如下：
a.随机初始化模型参数，即权重wi和偏差bi；
b.把输入数据传入模型，得到输出；
c.根据损失函数计算得损失L；
d.对每一个产生误差的神经元，依据下式调整模型参数以减小误差：
Figure BDA0003373257710000041
式中，L为损失函数；wi和bi为模型的神经元权重和偏差；α为学习率；
e.重复步骤ab c d直到损失收敛。
步骤二：搭建并训练电动汽车有序充电运算的DQN模型，算法流程如图2所示，包括以下步骤：
(1)将由步骤一所得的未来剩余充电容量作为DQN模型的状态，具体表示为st＝{Et，Et+1，...，ET，即从当前时刻t到未来时刻T的剩余充电容量；
(2)确定DQN模型的动作，表示为at＝{0，1，...，N}，即当前时刻t接入充电桩的电动汽车数量；其中，N表示可接入的最大电动汽车数；
(3)假定每辆电动汽车的充电功率λ恒定且相同，将DQN模型的奖励定义为：
rt＝-Ptatλ-α(N-at)2
其中，α为满意度参数，Pt为当前时刻的电动车充电电价；
电动车充电电价采用弹性电价机制，其计算公式为：
Figure BDA0003373257710000042
其中，A∈[0.2，0.6]为电价调整系数，
Figure BDA0003373257710000043
为充电桩占用率；
(4)确定DQN模型的目标函数为：
Figure BDA0003373257710000044
其中，π表示动作策略；Eπ为在当前动作策略下的期望；γ∈[0，1]为折扣因子，表示未来奖励对当前奖励的相对重要性；γk为考虑第k步奖励对当前奖励的影响；K为考虑的总动作步长数；k为单步动作步长；rt+1为采取相应动作在下一时刻能获取的奖励值；st为当前时刻的状态；at为当前时刻的动作；
(5)按以下步骤训练迭代DQN模型：
a.根据当前环境st，使用ε贪婪算法选择当前状态下的动作at；
b.计算当前的奖励rt；
c.通过下式更新目标函数Q(st，at)：
Figure BDA0003373257710000051
式中，r(st，at)为当前奖励即rt；max(Q(st+1，at+1))为下一时刻的采取动作所能得到的最大的Q值；θ∈[0，1]为目标函数学习率，表示Q函数更新时保留先验数据的多少，即权衡上个Q值对当前Q值的相对重要性；
d.重复步骤a、b、c直到|Q(σ)-Q(σ-1)|≤τ，其中σ为当前步，τ为阈值。
(6)得到最优动作策略
Figure BDA0003373257710000052
即每一时刻允许接入充电桩的电动汽车数量。
步骤三：将训练好的FFN模型和DQN模型部署到用户端，实时读取变电站台区历史充电剩余容量，将数据输入到FFN模型，用于预测到当前时刻后一定时间段内的未来剩余充电容量。
步骤四：将步骤三预测到的未来剩余充电容量作为训练好的DQN模型的状态，由基于DQN的深度强化学习算法实现有序充电运算，以调整未来每一时刻接入电动车的数量。通过该方式，实时得到当前时刻之后一定时间段内固定时间步长的电动汽车充电调取策略，即每一时刻接入充电桩的电动汽车数量。
步骤五：当变电站台区接入充电桩的电动汽车数量过多，导致超过台区变压器最大容量，则优先调节台区储能放电直至充电桩负荷小于变压器最大容量与释放的储能容量之和，以缓解充电压力；若储能同样不足时，则通过直接负荷控制关闭充电桩工作。

Claims (7)

1.一种基于负荷预测和深度强化学习的台区电动汽车有序充电方法，其特征在于，包括以下步骤：
(1)根据变电站历史充电剩余容量信息，使用全连接前馈神经网络预测未来剩余充电容量；
(2)根据弹性电价机制和步骤(1)中预测的未来剩余充电容量，使用基于DQN的深度强化学习算法调整电动汽车充电策略，控制电动汽车接入充电桩的数量。
2.根据权利要求1所述的方法，其特征在于，所述步骤(1)具体包括：
(1.1)获取变电站台区历史剩余充电容量数据并分割数据样本，形成训练和输入用的数据，其输出数据为未来剩余充电容量数据；
(1.2)搭建包括一个卷积层和两个线性层的FFN模型；所用FFN模型输出计算公式为：
Out(X)＝Tanh(conv(X)W1+b1)W2+b2
式中：out(X)为FFN模型的输出；Tanh(.)为激活函数；conv(.)为卷积网络；(Wi，bi)为网络参数；X为网络输入；
(1.3)确定训练用损失函数为：
Figure FDA0003373257700000011
式中
Figure FDA0003373257700000012
为损失函数；T为时间步长；xi和
Figure FDA0003373257700000013
分别代表模型预测值与真实标签值；
(1.4)使用梯度下降算法训练全连接前馈神经网络模型；
(1.5)将变电站台区历史剩余充电容量输入训练后的模型，得到预测的未来剩余充电容量。
3.根据权利要求1所述的方法，其特征在于，所述步骤(1.4)，使用梯度下降算法训练的具体步骤包括：
(a)随机初始化模型参数，即权重wi和偏差bi；
(b)把输入数据传入模型，得到输出；
(c)根据损失函数计算得损失上；
(d)对每一个产生误差的神经元，依据下式调整模型参数以减小误差：
Figure FDA0003373257700000014
式中，L为损失函数；wi和bi为模型的神经元权重和偏差；α为学习率；
(e)重复步骤(a)-(d)直到损失收敛。
4.根据权利要求1所述的方法，其特征在于，所述步骤(2)具体包括：
(2.1)将步骤(1)所得的未来剩余充电容量作为DQN模型的状态，具体为st＝{Et，Et+1，…，ET}，表示从当前时刻t到未来时刻T的剩余充电容量；
(2.2)确定DQN模型的动作，表示为at＝{0，1，…，N}，即当前时刻t接入充电桩的电动汽车数量；其中，N表示可接入的最大电动汽车数；
(2.3)假定每辆电动汽车的充电功率λ恒定且相同，将DQN模型的奖励表示为：rt＝-Ptatλ-α(V-at)2
其中，α为满意度参数；Pt为当前时刻的电动车充电电价；
(2.4)确定DQN模型的目标函数为：
Figure FDA0003373257700000021
其中，π表示动作策略；Eπ为在当前动作策略下的期望；γ∈[0，1]为折扣因子，表示未来奖励对当前奖励的相对重要性；γk为考虑第k步奖励对当前奖励的影响；K为考虑的总动作步长数；k为单步动作步长；rt+1为采取相应动作在下一时刻能获取的奖励值；st为当前时刻的状态；at为当前时刻的动作；
(2.5)训练迭代DQN模型，得到最优动作策略
Figure FDA0003373257700000022
即每一时刻允许接入充电桩的电动汽车数量。
5.根据权利要求4所述的方法，其特征在于，所述步骤(2.3)中，Pt采用弹性电价机制时，其公式为：
Figure FDA0003373257700000023
其中，A∈[0.2，0.6]，为电价调整系数；
Figure FDA0003373257700000024
为充电桩占用率。
6.根据权利要求4所述的方法，其特征在于，所述步骤(2.5)中，训练迭代DQN模型时的具体步骤包括：
(a)根据当前环境st，使用ε贪婪算法选择当前状态下的动作at；
(b)计算当前的奖励rt；
(c)通过下式更新目标函数Q(st，at)：
Figure FDA0003373257700000025
式中，r(st，at)为当前奖励即rt；max(Q(st+1，at+1))为下一时刻的采取动作所能得到的最大的Q值；θ∈[0，1]为目标函数学习率，表示Q函数更新时保留先验数据的多少，即权衡上个Q值对当前Q值的相对重要性；
(d)重复步骤(a)-(c)直到|Q(σ)-Q(σ-1)|≤τ，其中σ为当前步，τ为阈值。
7.根据权利要求1所述的方法，其特征在于，当变电站台区接入充电桩的电动汽车数量过多，导致超过台区变压器最大容量时：优先调节台区储能放电直至充电桩负荷小于变压器最大容量与释放的储能容量之和，缓解充电压力；若储能同样不足时，则通过直接负荷控制关闭充电桩工作。
CN202111410243.9A 2021-11-24 2021-11-24 基于负荷预测和深度强化学习的台区电动汽车有序充电方法 Pending CN114169593A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111410243.9A CN114169593A (zh) 2021-11-24 2021-11-24 基于负荷预测和深度强化学习的台区电动汽车有序充电方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111410243.9A CN114169593A (zh) 2021-11-24 2021-11-24 基于负荷预测和深度强化学习的台区电动汽车有序充电方法

Publications (1)

Publication Number Publication Date
CN114169593A true CN114169593A (zh) 2022-03-11

Family

ID=80481047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111410243.9A Pending CN114169593A (zh) 2021-11-24 2021-11-24 基于负荷预测和深度强化学习的台区电动汽车有序充电方法

Country Status (1)

Country Link
CN (1) CN114169593A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113131584A (zh) * 2021-04-26 2021-07-16 国家电网有限公司信息通信分公司 一种数据中心电池充放电优化控制方法及装置
CN114844083A (zh) * 2022-05-27 2022-08-02 深圳先进技术研究院 一种提高储能系统稳定性的电动汽车集群充放电管理方法
CN115713326A (zh) * 2023-01-10 2023-02-24 佰聆数据股份有限公司 数据驱动的供电服务渠道能效分析方法及装置
CN116029468A (zh) * 2023-03-30 2023-04-28 国网江苏省电力有限公司苏州供电分公司 考虑电动汽车接入的电网风险评估和超前调度方法及系统
CN117621898A (zh) * 2023-12-08 2024-03-01 杭州育恩科技有限公司 考虑电网电价的智慧停车场充电桩充电控制方法及系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113131584A (zh) * 2021-04-26 2021-07-16 国家电网有限公司信息通信分公司 一种数据中心电池充放电优化控制方法及装置
CN114844083A (zh) * 2022-05-27 2022-08-02 深圳先进技术研究院 一种提高储能系统稳定性的电动汽车集群充放电管理方法
CN114844083B (zh) * 2022-05-27 2023-02-17 深圳先进技术研究院 一种提高储能系统稳定性的电动汽车集群充放电管理方法
CN115713326A (zh) * 2023-01-10 2023-02-24 佰聆数据股份有限公司 数据驱动的供电服务渠道能效分析方法及装置
CN115713326B (zh) * 2023-01-10 2023-04-18 佰聆数据股份有限公司 数据驱动的供电服务渠道能效分析方法及装置
CN116029468A (zh) * 2023-03-30 2023-04-28 国网江苏省电力有限公司苏州供电分公司 考虑电动汽车接入的电网风险评估和超前调度方法及系统
CN117621898A (zh) * 2023-12-08 2024-03-01 杭州育恩科技有限公司 考虑电网电价的智慧停车场充电桩充电控制方法及系统
CN117621898B (zh) * 2023-12-08 2024-05-24 杭州育恩科技有限公司 考虑电网电价的智慧停车场充电桩充电控制方法及系统

Similar Documents

Publication Publication Date Title
CN114169593A (zh) 基于负荷预测和深度强化学习的台区电动汽车有序充电方法
Sun et al. A customized voltage control strategy for electric vehicles in distribution networks with reinforcement learning method
CN112614009B (zh) 一种基于深度期望q-学习的电网能量管理方法及系统
CN112117760A (zh) 基于双q值网络深度强化学习的微电网能量调度方法
CN112186743A (zh) 一种基于深度强化学习的动态电力系统经济调度方法
CN112713618B (zh) 基于多场景技术的主动配电网源网荷储协同优化运行方法
CN112134300A (zh) 基于预约的电动汽车光储充电站滚动优化运行方法及系统
CN113515884A (zh) 分散式电动汽车实时优化调度方法、系统、终端及介质
CN106096773A (zh) 一种电动汽车充当储能的多目标优化调度方法
CN116001624A (zh) 基于深度强化学习的一桩多联电动汽车有序充电方法
CN112488452B (zh) 一种基于深度强化学习的能源系统管理多时间尺度最优决策方法
CN112418496B (zh) 一种基于深度学习的配电台区储能配置方法
CN117057553A (zh) 一种基于深度强化学习的家庭能源需求响应优化方法及系统
CN111680413B (zh) 基于双层算法的有轨电车定时节能运行优化方法及其系统
CN116436019A (zh) 一种多资源协调优化方法、装置及存储介质
CN116231689A (zh) 一种电能量分类预储及动态调整的微电网集群协同策略
CN116031923A (zh) 基于分层强化学习的电动汽车充电场站协同调峰方法
CN114619907B (zh) 基于分布式深度强化学习的协调充电方法及协调充电系统
CN114462854A (zh) 含新能源和电动汽车并网的分层调度方法及其系统
CN111799820B (zh) 一种电力系统双层智能混合零星云储能对抗调控方法
CN117207803A (zh) 一种基于经济调度的电动汽车智能充电策略选择方法
CN113872213A (zh) 一种配电网电压自主优化控制方法及装置
CN113224747A (zh) 计及电动汽车需求响应的电力资源协调调度方法及系统
CN116683513A (zh) 移动式微电网能量补充策略优化方法及系统
CN117117878A (zh) 基于人工神经网络和多智能体强化学习的电网需求侧响应潜力评估及负荷调控方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination