CN114881688A - 一种考虑分散式资源互动响应的配电网智能化定价方法 - Google Patents
一种考虑分散式资源互动响应的配电网智能化定价方法 Download PDFInfo
- Publication number
- CN114881688A CN114881688A CN202210443209.XA CN202210443209A CN114881688A CN 114881688 A CN114881688 A CN 114881688A CN 202210443209 A CN202210443209 A CN 202210443209A CN 114881688 A CN114881688 A CN 114881688A
- Authority
- CN
- China
- Prior art keywords
- response
- peak
- price
- resource
- deviation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004044 response Effects 0.000 title claims abstract description 236
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 14
- 230000006870 function Effects 0.000 claims abstract description 38
- 230000002787 reinforcement Effects 0.000 claims abstract description 26
- 230000006399 behavior Effects 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 238000009472 formulation Methods 0.000 claims abstract description 12
- 239000000203 mixture Substances 0.000 claims abstract description 12
- 230000007246 mechanism Effects 0.000 claims abstract description 9
- 230000009471 action Effects 0.000 claims description 52
- 238000004146 energy storage Methods 0.000 claims description 41
- 150000001875 compounds Chemical class 0.000 claims description 28
- 230000003993 interaction Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 12
- 230000005611 electricity Effects 0.000 claims description 11
- 230000008901 benefit Effects 0.000 claims description 9
- 230000007704 transition Effects 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 239000003795 chemical substances by application Substances 0.000 claims description 7
- 238000004378 air conditioning Methods 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 6
- 230000005284 excitation Effects 0.000 claims description 5
- 230000006872 improvement Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012423 maintenance Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000002829 reductive effect Effects 0.000 claims description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 claims description 3
- 239000006185 dispersion Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000004043 responsiveness Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 230000000670 limiting effect Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 4
- 238000013507 mapping Methods 0.000 abstract description 4
- 230000000306 recurrent effect Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 6
- 230000036961 partial effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000010485 coping Effects 0.000 description 3
- 238000007599 discharging Methods 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0206—Price or cost determination based on market factors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0202—Market predictions or forecasting for commercial activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S50/00—Market activities related to the operation of systems integrating technologies related to power network operation or related to communication or information technologies
- Y04S50/14—Marketing, i.e. market research and analysis, surveying, promotions, advertising, buyer profiling, customer management or rewards
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Game Theory and Decision Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Tourism & Hospitality (AREA)
- Water Supply & Treatment (AREA)
- Primary Health Care (AREA)
- Human Resources & Organizations (AREA)
- Public Health (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明涉及一种考虑分散式资源互动响应的配电网智能化定价方法，属于配电网定价技术领域，该方法基于配电网与分散式资源互动框架，具体分析考虑调峰容量、响应速度、响应诚信度的分散式资源差异化补偿机制；建立基于循环神经网络(RNN)的分散式资源响应行为预测模型，通过特征映射将资源在次日外部环境中的价格响应具体化；建立以配电网运营收益最大化和调峰偏差量最小化为目标函数的响应价格制定模型；所提模型采用针对定价模型更新改进的强化学习智能化算法求解，加速训练快速收敛，最终得到响应价格制定方案。
Description
技术领域
本发明属于配电网定价技术领域，具体涉及一种考虑分散式资源互动响应的配电网智能化定价方法。
背景技术
大规模清洁能源接入带来高度的不确定性，源荷不平衡问题凸显，社会经济快速发展下电力系统峰值负荷亦日渐升高，现有灵活性调节资源难以满足未来的调峰需求。用户侧分散式资源的响应潜力是解决新型电力系统调峰需求的一种思路。分散式资源协调方式灵活多样，目前调峰相关研究大多直接调控分散式资源参与辅助服务，针对某一调峰任务进行单方电力调度，尚未深入挖掘分散式资源的互动行为与响应特性。部分研究对价格响应进行了一定探讨，而不同分散式资源用能行为存在差异性，对各类分散式资源响应进行差异化定价将有利于提高分散式资源的响应综合性能和参与积极性。
如何通过价格引导分散式资源响应调峰，并制定有效的分散式资源调峰定价策略，对于提升经济性和风险应对能力有着重要影响。同时，分散式资源响应行为不确定性增加了传统数值方法求解难度，分散式资源数量庞大时模型运算压力巨大。
因此，现阶段需设计一种考虑分散式资源互动响应的配电网智能化定价方法，来解决以上问题。
发明内容
本发明目的在于提供一种考虑分散式资源互动响应的配电网智能化定价方法，用于解决上述现有技术中存在的技术问题，如何通过价格引导分散式资源响应调峰，并制定有效的分散式资源调峰定价策略，对于提升经济性和风险应对能力有着重要影响。同时，分散式资源响应行为不确定性增加了传统数值方法求解难度，分散式资源数量庞大时模型运算压力巨大。
为实现上述目的，本发明的技术方案是：
一种考虑分散式资源互动响应的配电网智能化定价方法，包括以下步骤：
S1：针对有意参与调峰服务并具有调峰潜力的分散式资源，具体分析包含响应容量、响应速度、响应诚信度的分散式资源参与响应的补偿机制；
S2：采集历史用电信息数据集，并对历史用电信息进行数据预处理；建立基于RNN的分散式资源响应行为预测模型，获得在次日预测外部环境中补偿价格下的响应量；
S3：建立以配电网运营收益最大化和调峰偏差量最小化为目标函数的响应价格制定模型，同时配置储能设备进行调峰偏差弥补；
S4：引入强化学习智能化算法求解问题，设置动作空间与奖励函数，分析运行环境信息并做出最优定价决策；采用深层Q网络算法，针对最优定价决策进行更新改进，加快训练速度和结果收敛。
进一步的，步骤S1中分散式资源参与响应的补偿机制，根据响应容量进行补偿，同时分散式资源响应结算价格与资源调峰响应速度、响应诚信度和制定基础响应价格三个部分相关。
进一步的，资源响应结算价格：
式中，
为资源i的响应结算价格；
为制定的响应价格；ki为资源i的响应速度激励系数；αi为资源i的响应诚信系数。
进一步的，资源响应速度激励系数：
式中，vi为资源调峰速度；vN为资源调峰速度考核标准。
进一步的，资源响应诚信系数：
式中，
为分散式资源i的异常次数；nHN为异常容限次数；kD、nD为诚信度扣减系数；tanh为双曲正切函数。
进一步的，步骤S1中分散式资源为可调节负荷。
进一步的，步骤S3中，响应价格制定模型的目标函数为：
式中，F1为调峰总收益；F2为调峰偏差；TR为调峰时段数；Rt为分散式资源参与调峰市场获得的应调峰量；
为调峰市场出清价格；
为对分散式资源的总响应补偿费用；
为储能设备运行成本；
为响应偏差惩罚；Pt UB为调峰偏差功率；
分散式资源总响应补偿费用：
Nall＝NAC+NWH+NDR
式中，Nall为参与响应的资源总数量；
为对资源i的响应补偿；NAC、NWH、NDR分别为参与响应的各类资源数量；
为资源i的响应结算价格；
为资源i的调峰响应量，由RNN响应行为预测获得；Δt为单位时间；
响应偏差惩罚：当日实际响应量不能满足调峰市场要求时，结算阶段需要承担一定响应偏差惩罚费用；将偏差惩罚费用分段设置，当偏差小于某一设定值时惩罚费用按二次方快速减小，促使调峰性能提升：
Wt UB＝Pt UBΔt
式中，
为调峰响应的偏差惩罚成本系数；Wt UB为调峰偏差电量；
为偏差考核分段设定值；uUB为响应偏差考核比例；
储能设备运行成本：配置储能设备进行调峰偏差弥补，减少偏差惩罚费用，储能设备的运行成本为：
式中，
为储能设备与电网交互的实时购售电价；ΔPt ESS为储能设备的弥补量；λESS为储能运维系数；
调峰功率平衡约束：响应结果需要维持与市场交互和分散式资源响应的功率平衡，实际响应与调峰目标之间的不平衡量即为响应偏差值：
Pt UB＝|ΔPt all-Rt|
ΔPt all＝ΔPt AC+ΔPt WH+ΔPt DR+ΔPt ESS
式中，ΔPt all为分散式资源的实际调峰功率；ΔPt AC、ΔPt WH、ΔPt DR分别为各类资源的实际响应功率；
响应价格调整约束需考虑响应价格制定的合理区间范围：
式中，
分别为t时段最小、最大调峰响应价格；
储能设备响应偏差弥补约束：
储能设备在弥补响应偏差时充放电功率受到以下运行约束限制，
式中，
分别储能设备偏差弥补时充放电的最小、最大限制；
调峰容量约束：
分散式资源参与调峰的容量受基本用电情况和可响应能力限制，
式中，
为资源i的最大响应功率；
为资源基本用电功率；
分别为资源用电功率最小、最大限制。
进一步的，步骤S4的强化学习智能化算法能自适应不确定环境，智能体在与环境空间的不断交互、数据反馈的过程中学习和改进动作策略，避免对不确定性的直接建模；在强化学习中，马尔可夫决策过程表示为一个元组：
M＝<S,A,P,R>
其中，S表示状态空间；A表示动作策略集合；P表示状态转移概率；R表示奖励函数；
所述状态空间S：
状态空间向量s为智能体关于其行为选择对环境状态影响的反馈信号，具体包含：
式中，
分别为制定响应价格后空调系统、电热水器、其他可调负荷的用电功率改变量以及储能设备的响应弥补量；
为动作选择的调峰收益；
为调峰偏差量；tR为当前调峰时段；
动作策略集合A：
包含两部分：调峰目标量R的动作集合A1、制定响应价格priceC所有可能的动作集合A2；将响应价格动作空间A2均匀离散为K个动作选择：
式中，
为均匀离散动作空间的第k个价格制定动作；
为响应价格最小值；
为响应价格最大值；
状态转移概率P：
由当前状态s采取动作a后转移到下一个状态s′的概率表示为：
奖励函数R：
基于动作选择前后的经济特性，以调峰收益为奖励计算值r1，并考虑响应量与调峰目标量的偏差情况r2，将控制分散式资源的响应精度在合理的范围之内：
式中，F1,a、F2,a分别为在响应价格策略a下的调峰收益以及调峰偏差；
将r1、r2作归一化处理，综合得到强化学习训练目标：
式中，αr1、αr2为奖励权重系数；
为归一化的奖励函数；M为一个正实数，将综合奖励函数进行放大处理；
DQN算法及改进：
通过构建DQN模型适应强化学习的无标签样本数据，从环境信息中不断调整自身参数，在线寻求最优策略以满足最大回报；强化学习采用状态-动作对值函数Q(st,at)进行迭代更新得到最优解，在状态st经过动作a转移到状态st+1时对值函数Q进行更新；设置每训练回合存储目前探索获得的最大奖励，对每次动作值对进行更新判断：
式中，
分别为更新前后的奖励值；
为目前探索回合获得的最大奖励，初始值设定为0；kd为缩放比例。
与现有技术相比，本发明所具有的有益效果为：
本方案其中一个有益效果在于，本发明考虑分散式资源用电特性和调峰市场要求，以RNN预测模型映射分散式资源响应行为特征，建立以收益最大化和调峰偏差量最小化为目标函数的响应价格制定模型，采用更新改进的强化学习智能化算法能较快获取价格制定结果，可以充分调动分散式资源的调峰潜力，缓解调峰压力。
附图说明
图1为本发明配电网智能化定价方法流程示意图。
图2为本发明配电网与分散式资源互动机理示意图。
图3为本发明响应价格求解流程。
图4为本发明分散式资源响应预测网络结构。
图5为本发明强化学习训练过程。
图6为本发明调峰时段各类资源响应情况。
具体实施方式
为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
而且，术语“包括”，“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程，方法，物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程，方法，物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程，方法，物品或者设备中还存在另外的相同要素。
以下结合实施例对本发明的特征和性能作进一步的详细描述。
如何通过价格引导分散式资源响应调峰，并制定有效的分散式资源调峰定价策略，对于提升经济性和风险应对能力有着重要影响。同时，分散式资源响应行为不确定性增加了传统数值方法求解难度，分散式资源数量庞大时模型运算压力巨大。
实施例：
如图1所示，图1为配电网智能化定价方法流程示意图，针对有意参与调峰服务并具有调峰潜力的分散式资源，建立基于资源用能特性与调峰市场要求构建与分散式资源互动框架；采集大量历史用电信息并进行数据预处理，建立基于RNN的资源响应行为预测模型，将资源在次日外部环境中的价格响应具体化；基于以上互动机理和响应预测，以经济收益最大化和调峰偏差最小化为目标函数建立定价模型；引入强化学习智能化算法求解问题，采用DQN算法，针对定价策略进行更新改进，并通过仿真分析和对比验证所提方法的有效性。
如图2所示，分散式资源依据所制定价格响应调峰，并以实际用电行为反过来影响整体调峰效果，配电网与分散式资源之间存在信息流、业务流、电力流的双向交互，其间互动机理具体如下所示：
1)次日用电曲线上报。资源上报次日基本用电曲线，根据汇总的用电曲线数据集预计能在调峰市场获得的最佳响应量，以参与投标报价。
2)用电行为异常提醒。对每日上报情况进行审查并与历史数据对比，数据多次异常则会影响资源的响应诚信系数。
3)对内响应价格下发。在市场获得次日目标响应量和市场价格后，考虑资源响应行为，制定响应价格并通过智能交互终端下发以激励响应。
4)运行储能设备弥补偏差。响应结果与目标响应量存在偏差时，可调控储能进行偏差弥补，以减少结算时的惩罚费用。
5)每日响应收益计算与结果储存。资源参与调峰所得收益在每日结束后进行结算，并将响应结果存入交互信息记忆库中，用于响应预测更新。
所述分散式资源响应补偿机制：以响应容量为基础进行补偿，响应量越大获得补偿越多，同时分散式资源响应结算价格与资源调峰响应速度、响应诚信度和制定基础响应价格三个部分相关，不同资源的调峰响应速度和响应诚信度存在差异。
所述资源响应结算价格：
式中，
为资源i的响应结算价格；
为制定的响应价格；ki为资源i的响应速度激励系数；αi为资源i的响应诚信系数。
所述资源响应速度激励系数：
式中，vi为资源调峰速度；vN为资源调峰速度考核标准。
所述资源响应诚信系数：
式中，
为分散式资源i的异常次数；nHN为异常容限次数；kD、nD为诚信度扣减系数；tanh为双曲正切函数。
所述响应价格制定模型：
建立以配电网运营收益最大化和调峰偏差量最小化为目标函数的响应价格制定模型。
调峰收益最大化：
式中，F1为调峰总收益；F2为调峰偏差；TR为调峰时段数；Rt为分散式资源参与调峰市场获得的应调峰量；
为调峰市场出清价格；
为对分散式资源的总响应补偿费用；
为储能设备运行成本；
为响应偏差惩罚。
其中，分散式资源总响应补偿费用：
Nall＝NAC+NWH+NDR
式中，Nall为参与响应的资源总数量；
为对资源i的响应补偿；NAC、NWH、NDR分别为参与响应的各类资源数量；
为资源i的响应结算价格；ΔPt i为资源i的调峰响应量，由RNN响应行为预测获得；Δt为单位时间。
其中，储能设备运行成本：配置储能设备进行调峰偏差弥补，储能设备的运行成本为：
式中，
为储能设备与电网交互的实时购售电价；ΔPt ESS为储能设备的弥补量；λESS为储能运维系数。
其中，响应偏差惩罚：当实际响应量不能满足调峰市场要求时，需要支付一定的响应偏差惩罚费用。将偏差惩罚费用分段设置，当偏差小于某一设定值时惩罚费用按二次方快速减小：
Wt UB＝Pt UBΔt
式中，
为调峰响应的偏差惩罚成本系数；Wt UB为调峰偏差电量；
为偏差考核分段设定值；uUB为响应偏差考核比例。
调峰偏差最小化：
式中，Pt UB为调峰偏差功率。
调峰功率平衡约束：响应结果需要维持与市场交互和分散式资源响应的功率平衡，实际响应与调峰目标之间的不平衡量即为响应偏差值：
Pt UB＝|ΔPt all-Rt|
ΔPt all＝ΔPt AC+ΔPt WH+ΔPt DR+ΔPt ESS
式中，ΔPt all为分散式资源的实际调峰功率；ΔPt AC、ΔPt WH、ΔPt DR分别为各类资源的实际响应功率。
响应价格调整约束：为了限制响应价格过度调整，需要考虑响应价格制定区间：
式中，
分别为t时段最小、最大调峰响应价格。
储能设备响应偏差弥补约束：为了更接近实际情况，对储能的弥补作用进行限制，储能设备在弥补响应偏差时充放电功率受到以下运行约束限制：
式中，
分别储能设备偏差弥补时充放电的最小、最大限制。
调峰容量约束：分散式资源参与调峰的容量受可响应能力限制：
式中，
为资源i的最大响应功率；
为资源基本用电功率；
分别为资源用电功率最小、最大限制。
如图3所示，RNN响应行为预测网络考虑多类环境影响因素，以日期标签、响应价格、分散式资源初始用电情况以及各类环境信息为输入，通过训练输出给定响应价格信号下分散式资源的调峰响应量。
RNN模型结构：在RNN结构中，输入层和输出层之间存在多个隐藏层，每个隐藏层由神经元联结组成，模型从输入数据中提取足够的相关特征，构造输入输出之间的映射变换：
式中，ys,k,l、xs,l,j分别为输出和输入；ωk,l,j、bk.l分别为输入的权重值和偏斜值。
RNN训练算法：在RNN中采用反向传播算法计算求解网络参数ω和b，设定损失函数作为RNN训练目标，以衡量RNN训练输出准确性，在响应价格制定问题中采用均方误差作为损失函数：
式中，NS为神经网络训练样本数量；TR为参与调峰的时段数；
为在第t个时间间隔内的响应量；Ps,t为在第t个时间间隔内通过神经网络获得的响应估计量。
配电网分散式资源中存在负荷变化、响应波动等不确定性，直接影响调峰结果，训练集中这类异常值会导致过拟合问题，失去模型的泛化能力。因此，对损失函数正则化处理，以此得到损失函数对权重比和偏斜量的一阶偏导数，用于变量更新：
式中，α为正则化系数，且α大于零；ω为偏导数。新增的惩罚项对权重比参数进行限制，不会因适应异常值或噪声而过快增长。
如图4所示，响应价格制定策略采用强化学习方法进行求解，对定价策略不断修改更新以达到最优。获取资源历史用电数据，数据包含不同价格和不同环境信息下用户响应行为，并对数据进行预处理形成样本集，以提高模型泛化能力；选取样本数据进行离线训练，建立内部资源调峰响应模型；根据在调峰市场中所获得目标调峰量以及当日环境信息制定响应价格，对选择动作进行越限判断，并确定回报值函数，完成强化学习价格制定策略；保存运行的最终数据，并进行结果分析。
所述强化学习方法求解：
进一步的，所述步骤(4)的强化学习智能化算法能自适应不确定环境，智能体在与环境空间的不断交互、数据反馈的过程中学习和改进动作策略，避免对不确定性的直接建模，由此得到响应价格制定策略。在强化学习中，马尔可夫决策过程(MDP)是一个智能体采取行动从而改变自己的状态获得奖励、与环境发生交互的循环过程，MDP的策略完全取决于当前状态，可以简单表示为一个元组：
M＝<S,A,P,R>
其中，S表示状态空间；A表示动作策略集合；P表示状态转移概率；R表示奖励函数。
所述状态空间S：
状态空间向量s为智能体关于其行为选择对环境状态影响的反馈信号，具体包含：
式中，
分别为制定响应价格后空调系统、电热水器、其他可调负荷的用电功率改变量以及储能设备的响应弥补量；
为动作选择的调峰收益；
为调峰偏差量；tR为当前调峰时段。
所述动作策略集合A：
动作包含两部分：调峰目标量R的动作集合A1、制定响应价格priceC所有可能的动作集合A2。为简化分析，将响应价格动作空间A2均匀离散为K个动作选择：
式中，
为均匀离散动作空间的第k个价格制定动作；
为响应价格最小值；
为响应价格最大值。
所述状态转移概率P：
由当前状态s采取动作a后转移到下一个状态s′的概率表示为：
所述奖励函数R：
基于动作选择前后的经济特性，以调峰收益为奖励计算值r1，并考虑响应量与调峰目标量的偏差情况r2，以控制分散式资源的响应精度在合理的范围之内：
式中，F1,a、F2,a分别为在响应价格策略a下的调峰收益以及调峰偏差。
将r1、r2作归一化处理，综合得到强化学习训练目标：
式中，αr1、αr2为奖励权重系数；
为归一化的奖励函数；M为一个较大的正实数，为了达到更好的学习效果，将综合奖励函数进行放大处理。
所述DQN算法及改进：
通过构建DQN模型适应强化学习的无标签样本数据，从环境信息中不断调整自身参数，在线寻求最优策略以满足最大回报。强化学习采用状态-动作对值函数Q(st,at)进行迭代更新得到最优解，在状态st经过动作a转移到状态st+1时对值函数Q进行更新。
为了加快训练速度和结果收敛，储存并更新每训练回合中当前探索所得最大奖励，并对每次动作值对进行比较，若所得奖励值大于或等于所储存最大值，则修改储存值并按所得值进行后续步骤；反之，则按照既定比例缩放，以此对每次动作值对进行对比和更新判断：
式中，rt i、rt n分别为更新前后的奖励值；rt s为目前探索回合获得的最大奖励，初始值设定为0；kd为缩放比例。
所述算例验证分析：
本发明以空调系统、电热水器，以及其他多类可调节资源(总称为其他可调负荷)参与调峰响应为例进行验证。
如图5所示，为调峰时段的强化学习训练过程。基于所获得基本调峰信息，开始强化学习训练，软更新因子设定为0.01，梯度下降优化器采用Adam Optimizer，模型训练2000个回合。基于不同动作网络的学习效率和贪婪度组合，对模型分别进行了6次训练。训练初期的智能体探索性较强，曲线波动相对较大，在训练中段训练效果迅速上升，最后达到收敛。
调峰时段响应结果具体如表1所示，各类分散式资源响应情况具体如图6所示。
表1调峰时段总响应结果
如表1和图6所示，在该日下午时段，调峰响应主要由空调系统和其他可调负荷完成，晚间时段的调峰响应主要由空调系统完成。在各调峰时段内，资源响应量与在市场获取的目标值略有偏差，储能设备进行了充放电的双向弥补，最终结果各时段内偏差较小，结算时惩罚费用较低。相比下午调峰时段，晚间调峰所制定的响应价格较高，甚至高过了同时段的储能设备运维成本，故倾向于运行储能设备至较大响应状态，再进行分散式资源的调峰。在此次调峰中，晚间时段调峰需求量整体相对较大，而响应意愿较低，为了激励分散式资源参与响应制定了较高的响应价格，此时段市场价格也相对高，因此晚间时段获得了较大的调峰收益。
同时设置以下场景进行对比分析：场景1直接调控，按照固定价格对分散式资源进行补偿；场景2直接调控，按照阶梯式调峰价格对分散式资源进行补偿；场景3与分散式资源进行互动，制定响应价格仅考虑调峰收益；场景4与分散式资源进行互动，偏差制定响应价格考虑调峰收益和调峰偏差。不同场景下的调峰结果具体如表2所示：
表2不同场景下调峰结果
如表2所示，场景1不考虑互动而直接调控，调峰不存在偏差，但调峰收益较低；场景2按照阶梯式调峰价格进行补偿，在此场景中市场调峰成本较低，调峰收益不高；场景3中能获得最大调峰收益，而调峰偏差相对较大；场景4中总收益虽然相较场景3下降，但调峰偏差大幅减小，总体调峰效果最佳。
为了验证本发明所提方法有效性，同时采用遗传算法(GA)、粒子群优化算法(PSO)和商业软件CPLEX对模型进行求解计算响应价格，将四种计算方法进行对比分析。其中所建立模型并不能由CPLEX直接求解，为此将响应行为通过预测模型转为价格与外部环境因素的神经网络映射，进而将模型转为价格的高阶非线性函数，再通过微分增量分段化，分段函数线性化，以此实现模型转化。最终结果对比具体如表3所示。
表3方法对比结果
由表3所示，四种方法求解结果略有差异。在RL、GA和PSO三种智能算法中，RL所得结果最好，且耗费时间最少。CPLEX求解过程中模型转换时间较长，且存在精度损失，模型转换后求解所得的结果为近似最优解，CPLEX求解结果与RL的数值相近。由四种方法分别对模型进行计算求解，通过对比验证了本发明所采用的强化学习方法对求解本发明响应价格制定问题的有效性。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
Claims (8)
1.一种考虑分散式资源互动响应的配电网智能化定价方法，其特征在于，包括以下步骤：
S1：针对有意参与调峰服务并具有调峰潜力的分散式资源，具体分析包含响应容量、响应速度、响应诚信度的分散式资源参与响应的补偿机制；
S2：采集历史用电信息数据集，并对历史用电信息进行数据预处理；建立基于RNN的分散式资源响应行为预测模型，获得在次日预测外部环境中补偿价格下的响应量；
S3：建立以配电网运营收益最大化和调峰偏差量最小化为目标函数的响应价格制定模型，同时配置储能设备进行调峰偏差弥补；
S4：引入强化学习智能化算法求解问题，设置动作空间与奖励函数，分析运行环境信息并做出最优定价决策；采用深层Q网络算法，针对最优定价决策进行更新改进，加快训练速度和结果收敛。
2.如权利要求1所述的一种考虑分散式资源互动响应的配电网智能化定价方法，其特征在于，步骤S1中分散式资源参与响应的补偿机制，根据响应容量进行补偿，同时分散式资源响应结算价格与资源调峰响应速度、响应诚信度和制定基础响应价格三个部分相关。
3.如权利要求2所述的一种考虑分散式资源互动响应的配电网智能化定价方法，其特征在于，资源响应结算价格：
式中，
为资源i的响应结算价格；
为制定的响应价格；ki为资源i的响应速度激励系数；αi为资源i的响应诚信系数。
4.如权利要求3所述的一种考虑分散式资源互动响应的配电网智能化定价方法，其特征在于，资源响应速度激励系数：
式中，vi为资源调峰速度；vN为资源调峰速度考核标准。
5.如权利要求4所述的一种考虑分散式资源互动响应的配电网智能化定价方法，其特征在于，资源响应诚信系数：
式中，
为分散式资源i的异常次数；nHN为异常容限次数；kD、nD为诚信度扣减系数；tanh为双曲正切函数。
6.如权利要求1-5任一项所述的一种考虑分散式资源互动响应的配电网智能化定价方法，其特征在于，步骤S1中分散式资源为可调节负荷。
7.如权利要求5所述的一种考虑分散式资源互动响应的配电网智能化定价方法，其特征在于，步骤S3中，响应价格制定模型的目标函数为：
式中，F1为调峰总收益；F2为调峰偏差；TR为调峰时段数；Rt为分散式资源参与调峰市场获得的应调峰量；
为调峰市场出清价格；
为对分散式资源的总响应补偿费用；
为储能设备运行成本；
为响应偏差惩罚；Pt UB为调峰偏差功率；
分散式资源总响应补偿费用：
Nall＝NAC+NWH+NDR
式中，Nall为参与响应的资源总数量；
为对资源i的响应补偿；NAC、NWH、NDR分别为参与响应的各类资源数量；
为资源i的响应结算价格；ΔPt i为资源i的调峰响应量，由RNN响应行为预测获得；Δt为单位时间；
响应偏差惩罚：当日实际响应量不能满足调峰市场要求时，结算阶段需要承担一定响应偏差惩罚费用；将偏差惩罚费用分段设置，当偏差小于某一设定值时惩罚费用按二次方快速减小，促使调峰性能提升：
Wt UB＝Pt UBΔt
Rt UB＝uUBRt
式中，
为调峰响应的偏差惩罚成本系数；Wt UB为调峰偏差电量；
为偏差考核分段设定值；uUB为响应偏差考核比例；
储能设备运行成本：配置储能设备进行调峰偏差弥补，减少偏差惩罚费用，储能设备的运行成本为：
式中，
为储能设备与电网交互的实时购售电价；ΔPt ESS为储能设备的弥补量；λESS为储能运维系数；
调峰功率平衡约束：响应结果需要维持与市场交互和分散式资源响应的功率平衡，实际响应与调峰目标之间的不平衡量即为响应偏差值：
Pt UB＝|ΔPt all-Rt|
ΔPt all＝ΔPt AC+ΔPt WH+ΔPt DR+ΔPt ESS
式中，ΔPt all为分散式资源的实际调峰功率；ΔPt AC、ΔPt WH、ΔPt DR分别为各类资源的实际响应功率；
响应价格调整约束需考虑响应价格制定的合理区间范围：
式中，
分别为t时段最小、最大调峰响应价格；
储能设备响应偏差弥补约束：
储能设备在弥补响应偏差时充放电功率受到以下运行约束限制，
式中，
分别储能设备偏差弥补时充放电的最小、最大限制；
调峰容量约束：
分散式资源参与调峰的容量受基本用电情况和可响应能力限制，
式中，
为资源i的最大响应功率；
为资源基本用电功率；
分别为资源用电功率最小、最大限制。
8.如权利要求7所述的一种考虑分散式资源互动响应的配电网智能化定价方法，其特征在于，步骤S4的强化学习智能化算法能自适应不确定环境，智能体在与环境空间的不断交互、数据反馈的过程中学习和改进动作策略，避免对不确定性的直接建模；在强化学习中，马尔可夫决策过程表示为一个元组：
M＝<S,A,P,R>
其中，S表示状态空间；A表示动作策略集合；P表示状态转移概率；R表示奖励函数；
所述状态空间S：
状态空间向量s为智能体关于其行为选择对环境状态影响的反馈信号，具体包含：
式中，
分别为制定响应价格后空调系统、电热水器、其他可调负荷的用电功率改变量以及储能设备的响应弥补量；
为动作选择的调峰收益；
为调峰偏差量；tR为当前调峰时段；
动作策略集合A：
包含两部分：调峰目标量R的动作集合A1、制定响应价格priceC所有可能的动作集合A2；将响应价格动作空间A2均匀离散为K个动作选择：
式中，
为均匀离散动作空间的第k个价格制定动作；
为响应价格最小值；
为响应价格最大值；
状态转移概率P：
由当前状态s采取动作a后转移到下一个状态s′的概率表示为：
奖励函数R：
基于动作选择前后的经济特性，以调峰收益为奖励计算值r1，并考虑响应量与调峰目标量的偏差情况r2，将控制分散式资源的响应精度在合理的范围之内：
式中，F1,a、F2,a分别为在响应价格策略a下的调峰收益以及调峰偏差；
将r1、r2作归一化处理，综合得到强化学习训练目标：
式中，αr1、αr2为奖励权重系数；
为归一化的奖励函数；M为一个正实数，将综合奖励函数进行放大处理；
DQN算法及改进：
通过构建DQN模型适应强化学习的无标签样本数据，从环境信息中不断调整自身参数，在线寻求最优策略以满足最大回报；强化学习采用状态-动作对值函数Q(st,at)进行迭代更新得到最优解，在状态st经过动作a转移到状态st+1时对值函数Q进行更新；设置每训练回合存储目前探索获得的最大奖励，对每次动作值对进行更新判断：
式中，rt i、rt n分别为更新前后的奖励值；rt s为目前探索回合获得的最大奖励，初始值设定为0；kd为缩放比例。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210443209.XA CN114881688B (zh) | 2022-04-25 | 2022-04-25 | 一种考虑分散式资源互动响应的配电网智能化定价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210443209.XA CN114881688B (zh) | 2022-04-25 | 2022-04-25 | 一种考虑分散式资源互动响应的配电网智能化定价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114881688A true CN114881688A (zh) | 2022-08-09 |
| CN114881688B CN114881688B (zh) | 2023-09-22 |
Family
ID=82672228
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210443209.XA Active CN114881688B (zh) | 2022-04-25 | 2022-04-25 | 一种考虑分散式资源互动响应的配电网智能化定价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114881688B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109461019A (zh) * | 2018-09-21 | 2019-03-12 | 华南理工大学 | 一种基于模糊强化学习的动态需求响应定价方法 |
| WO2020000399A1 (zh) * | 2018-06-29 | 2020-01-02 | 东莞理工学院 | 一种基于智能电网的多智能体深度强化学习代理方法 |
| CN111222713A (zh) * | 2020-01-17 | 2020-06-02 | 上海电力大学 | 考虑响应行为不确定性的园区能源互联网优化运行方法 |
-
2022
- 2022-04-25 CN CN202210443209.XA patent/CN114881688B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020000399A1 (zh) * | 2018-06-29 | 2020-01-02 | 东莞理工学院 | 一种基于智能电网的多智能体深度强化学习代理方法 |
| CN109461019A (zh) * | 2018-09-21 | 2019-03-12 | 华南理工大学 | 一种基于模糊强化学习的动态需求响应定价方法 |
| CN111222713A (zh) * | 2020-01-17 | 2020-06-02 | 上海电力大学 | 考虑响应行为不确定性的园区能源互联网优化运行方法 |
Non-Patent Citations (1)
| Title |
|---|
| SHUAIJIA HE等: "Distribution system planning considering peak shaving of energy station", 《APPLIED ENERGY》, no. 312, pages 1 - 14 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114881688B (zh) | 2023-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112614009B (zh) | 一种基于深度期望q-学习的电网能量管理方法及系统 | |
| CN112232980B (zh) | 一种区域能源供热系统热泵机组调控方法 | |
| CN111353656B (zh) | 一种基于生产计划的钢铁企业氧气负荷预测方法 | |
| CN104598986A (zh) | 基于大数据的电力负荷预测方法 | |
| CN112217195B (zh) | 一种基于gru多步预测技术的云储能充放电策略形成方法 | |
| CN113326994A (zh) | 一种考虑源荷储互动的虚拟电厂能量协同优化方法 | |
| CN109919658A (zh) | 一种基于博弈论的负荷控制方法及系统 | |
| CN115018198A (zh) | 一种考虑差异化需求响应方案的居民用户用电优化策略 | |
| CN114676941B (zh) | 园区综合能源系统电-热负荷联合自适应预测方法及装置 | |
| Li et al. | Forecasting of short-term photovoltaic power generation using combined interval type-2 Takagi-Sugeno-Kang fuzzy systems | |
| CN115759336A (zh) | 一种面向短期电力负荷预测的预测方法及存储介质 | |
| CN116862551A (zh) | 一种考虑用户隐私保护的新能源消纳电价决策方法 | |
| CN111815026A (zh) | 一种基于特征聚类的多能源系统负荷预测方法 | |
| CN110807490A (zh) | 一种基于单基塔的输电线路工程造价智能预测方法 | |
| CN114723230A (zh) | 面向新能源发电和储能的微电网双层调度方法及系统 | |
| Dong et al. | Short-term building cooling load prediction model based on DwdAdam-ILSTM algorithm: A case study of a commercial building | |
| Simonović et al. | Heat load prediction of small district heating system using artificial neural networks | |
| CN114819395A (zh) | 一种基于长短期记忆神经网络和支持向量回归组合模型的行业中长期负荷预测方法 | |
| CN115169957A (zh) | 一种基于深度强化学习的配电网调度方法、装置及介质 | |
| CN117057491B (zh) | 基于mpc与储能系统结合的农村地区电力供应优化管理方法 | |
| CN114123256A (zh) | 一种适应随机优化决策的分布式储能配置方法及系统 | |
| CN110570091A (zh) | 基于改进F-score特征选择及粒子群BP神经网络的负荷辨识方法 | |
| CN117621898A (zh) | 考虑电网电价的智慧停车场充电桩充电控制方法及系统 | |
| CN116865343B (zh) | 分布式光伏配电网的无模型自适应控制方法、装置及介质 | |
| Zhang et al. | A deep learning based real-time load forecasting method in electricity spot market |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |