CN112510719B - 一种基于深度强化学习的智能电热水器保温档负荷控制方法 - Google Patents

一种基于深度强化学习的智能电热水器保温档负荷控制方法 Download PDF

Info

Publication number
CN112510719B
CN112510719B CN202011408553.2A CN202011408553A CN112510719B CN 112510719 B CN112510719 B CN 112510719B CN 202011408553 A CN202011408553 A CN 202011408553A CN 112510719 B CN112510719 B CN 112510719B
Authority
CN
China
Prior art keywords
electricity price
water heater
electric water
load control
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011408553.2A
Other languages
English (en)
Other versions
CN112510719A (zh
Inventor
操菁瑜
孙长银
陆科林
徐乐玏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202011408553.2A priority Critical patent/CN112510719B/zh
Publication of CN112510719A publication Critical patent/CN112510719A/zh
Application granted granted Critical
Publication of CN112510719B publication Critical patent/CN112510719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for AC mains or AC distribution networks
    • H02J3/12—Circuit arrangements for AC mains or AC distribution networks for adjusting voltage in AC networks by changing a characteristic of the network load
    • H02J3/14—Circuit arrangements for AC mains or AC distribution networks for adjusting voltage in AC networks by changing a characteristic of the network load by switching loads on to, or off from, network, e.g. progressively balanced loading
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24H—FLUID HEATERS, e.g. WATER OR AIR HEATERS, HAVING HEAT-GENERATING MEANS, e.g. HEAT PUMPS, IN GENERAL
    • F24H9/00—Details
    • F24H9/20—Arrangement or mounting of control or safety devices
    • F24H9/2007—Arrangement or mounting of control or safety devices for water heaters
    • F24H9/2014—Arrangement or mounting of control or safety devices for water heaters using electrical energy supply
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2310/00—The network for supplying or distributing electric power characterised by its spatial reach or by the load
    • H02J2310/10—The network having a local or delimited stationary reach
    • H02J2310/12—The local stationary network supplying a household or a building
    • H02J2310/14—The load or loads being home appliances
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2310/00—The network for supplying or distributing electric power characterised by its spatial reach or by the load
    • H02J2310/50—The network for supplying or distributing electric power characterised by its spatial reach or by the load for selectively controlling the operation of the loads
    • H02J2310/56—The network for supplying or distributing electric power characterised by its spatial reach or by the load for selectively controlling the operation of the loads characterised by the condition upon which the selective controlling is based
    • H02J2310/58—The condition being electrical
    • H02J2310/60—Limiting power consumption in the network or in one section of the network, e.g. load shedding or peak shaving
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2310/00—The network for supplying or distributing electric power characterised by its spatial reach or by the load
    • H02J2310/50—The network for supplying or distributing electric power characterised by its spatial reach or by the load for selectively controlling the operation of the loads
    • H02J2310/56—The network for supplying or distributing electric power characterised by its spatial reach or by the load for selectively controlling the operation of the loads characterised by the condition upon which the selective controlling is based
    • H02J2310/62—The condition being non-electrical, e.g. temperature
    • H02J2310/64—The condition being economic, e.g. tariff based load management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S20/00—Management or operation of end-user stationary applications or the last stages of power distribution; Controlling, monitoring or operating thereof
    • Y04S20/20—End-user application control systems
    • Y04S20/242—Home appliances
    • Y04S20/244—Home appliances the home appliances being or involving heating ventilating and air conditioning [HVAC] units

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Thermal Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Feedback Control In General (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于深度强化学习的智能电热水器保温档负荷控制方法，包括以下步骤：采用LSTM网络利用过去48小时电价预测未来24小时电价；采用基于DQN的深度强化学习算法，将电力消耗和用户满意度同时作为好策略的衡量标准，并根据用户自身的需求调节二者所占比重。根据所预测的电价训练电热水器保温档负荷控制智能体学习得到使得奖励值最高的策略，使其在高电价时选择较低功率，低电价时选择较高功率，在尽可能保证用户满意度的同时节省更多电力消耗，以获得一个性能优良且适用性较高的电热水器负荷控制智能体。

Description

一种基于深度强化学习的智能电热水器保温档负荷控制方法
技术领域
本发明涉及一种控制方法，具体涉及一种基于深度强化学习的智能电热水器保温档负荷控制方法，属于智能家居控制技术领域。
背景技术
随着居民生活水平和家用电器智能化水平的提高，人们在选择使用家用电器时就会考虑更多的因素，例如电力消耗和用户满意度。对于许多有电热水器的家庭来说，热水器是24小时一直通电进行保温还是在使用之前打开进行加热是一个值得考虑的问题。如果选择24小时进行通电使热水器的温度一直保持在用户即开即用的状态，虽然用户满意度比较高，但同时会带来较大的电力消耗；如果选择在使用之前打开进行加热，虽然可以省去部分电力消耗，但是用户等待加热的时间太长会减小用户满意度。
为了解决这个问题，电热水器的保温档被设置为多个档位，用户可以根据自身需要在电力消耗和用户满意度之间权衡进而选择合适的档位，但是这样的电热水器负荷控制方法属于手动控制方法，用户早上出门后一天之内档位不会发生变化，缺少一定的灵活度。为了实现自动控制且有效避开电价高峰以节省更多的电力消耗，前人提出了一些基于实际电价的智能电热水器保温档负荷控制方法，但实际应用普遍存在以下局限性：1.以小时为单位波动的电价具有一定的灵活性，将实际电价传至电热水器再进行控制存在很大的延迟。2.大多数负荷控制方法需要对电热水器进行准确地建模，由于内部结构不同，不同种类的电热水器具有不同的模型，分别建模难度较大。因此设计一种基于预测电价且适用于不同种类电热水器的无模型智能电热水器保温档负荷控制方法对于解决电价灵活性高和不同种类电热水器适用性差的问题具有重要的意义。
发明内容
本发明针对前述电热水器保温档负荷控制方法中存在的电价灵活性高和不同种类电热水器适用性差带来的控制问题，实现一种基于预测电价且适用于不同电热水器的无模型智能电热水器保温档负荷控制方法。
为了实现上述目的，本发明的技术方案如下，一种基于深度强化学习的智能电热水器保温档负荷控制方法，主要包括LSTM时序预测技术和基于DQN(DeepQNetwork，深度Q网络)的深度强化学习技术。首先使用LSTM网络根据过去48小时的电价预测未来24小时的电价，之后引入强化学习的方法，基于神经网络训练控制电热水器负荷的智能体，通过对于当前小时预测电价和电热水器水温的观测以及得到的奖励，自动学习电热水器保温档负荷控制的优化过程，得到最优的控制决策，其具体的技术方案包括以下步骤：
步骤S1：采用LSTM时序预测技术预测未来24小时电价；
步骤S2：采用基于DQN的深度强化学习方法训练电热水器保温档负荷控制智能体，最大化长期回报。
其中步骤S1所述的采用LSTM网络预测未来电价，具体方法是：
步骤S11：将当日的电价信息作为输出，所在小时的前48小时电价信息作为输入训练LSTM网络参数；
步骤S12：将最近48小时的电价数据输入LSTM网络预测未来24小时每小时的电价，记为Pi。
其中，步骤S2所述的采用DQN训练智能体控制电热水器保温档负荷以最大化长期回报，具体方法是：
步骤S2具体如下：
步骤S201，初始化经验池D，估计动作值网络Qθ和目标动作值网络
Figure BDA0002819189940000021
初始化电热水器状态P0为零时电价，t0为65℃；
步骤S202，电热水器保温档负荷控制智能体有5种功率可以选取，动作空间记为A＝{0.2Kwh，0.45Kwh，0.7Kwh，1.0Kwh，1.5Kwh}，电热水器以ε的概率采取贪婪算法选取动作argmaxaQ(si，a；θ)，以(1-ε)的概率随机选取动作ai；
步骤S203，i小时的状态观测值为si＝[Pi，ti]，其中参数Pi代表第i小时的电价，是与时间相关的变量；参数ti代表第i小时的电热水器水温，是与智能体选取的控制动作相关的变量；
步骤S204，状态转移si+1＝∫(si，ai)，其中Pi转换至Pi+1，Pi+1为预测电价信息中第i+1小时的电价；ti转换至ti+1，ti+1＝ti+Δti，Δti为智能体控制动作ai带来的第i小时电热水器水温的变化；
步骤S205，奖励函数r＝-(β*0.001*(Pi-4.6)*PR+2*(65-ti))。其中，0.001*Pi*PR表示电力的消耗，-4.6是为了让智能体在电价低于4.6EUR/Mwh时选择较大功率避免水温下降太快，2*(65-ti)表示当用户需要用水时加热到65℃所需要等待的时间，用它来衡量用户满意度的大小，β表示电力消耗和用户满意度之间的平衡系数。电热水器负荷控制智能体执行动作ai，观测奖励值和下一时刻的状态si+1；
步骤S206，将(si，ai，ri，si+1)记录进经验池D中；
步骤S207，从经验池D中随机抽取迷你批样本(sj，aj，rj，sj+1)；
步骤S208，根据目标动作值网络参数
Figure BDA0002819189940000022
计算目标动作值，与估计值网络参数θ无关，公式
Figure BDA0002819189940000031
其中θ-为目标网络的参数；
步骤S209，最小化损失函数J(θ)＝E[(yj-Q(sj，aj；θ))2]，通过梯度下降法进行反向传播更新估计值网络θ的参数；
步骤S210，重复步骤S202-S209，每隔N步将估计动作值网络参数复制给目标动作值网络参数以更新目标动作值网络参数；
步骤S211，重复步骤S201-S210，直到学习出使得奖励值最大的策略π。
相对于现有技术，本发明具有如下优点，1)LSTM网络解决了RNN中长序列依赖问题，在长时间序列预测中依然可以保持比较高的准确率；根据过去48小时的电价可以比较准确地预测未来24小时电价，解决了电价灵活性为智能体带来的控制问题；2)DQN是一种无模型的仅仅依靠智能体与环境交互完成训练的深度强化学习技术，解决了不同种类电热水器控制方法适用性问题；3)该方法将预测得到的结果提前输入电热水器再而控制水温，可以解决电热水器控制的时延问题。4)该方法设置了电力消耗和用户满意度之间的平衡系数并可由用户自行调节，可以满足不同用户的不同需求。
附图说明
图1为LSTM网络结构图。
图2为DQN算法主要流程图。
图3为基于深度强化学习的智能电热水器保温档负荷控制方法流程图。
具体实施方式：
为了加深对本发明的理解，下面结合附图对本实施例做详细的说明。
实施例1：本发明所提出的智能电热水器保温档负荷控制方法的具体实施方式，分为两个阶段，第一阶段为LSTM网络预测电价阶段，第二阶段为DQN方法训练智能体得到最优策略阶段。下面根据说明书附图分别进行介绍。
本实施例将以一台即用温度为65℃的家用电热水器保温档的负荷控制为例进行说明。
如图1所示，本发明给出的LSTM网络结构图，采用它来预测未来电价的具体步骤如下：
步骤S11，根据https://www.nordpoolgroup.com/网站上的电价数据。将2020年4月19日的电价信息作为输出，所在小时的前48小时电价信息作为输入训练LSTM网络参数；
步骤S12，将2020年4月18日和19日这48小时的电价数据输入LSTM网络预测4月20日这24小时的电价，记为Pi。
如图2所示，本发明给出的DQN模型框架，使用它来训练智能体控制电热水器保温档负荷的具体步骤如下：
步骤S201，初始化经验池D，估计动作值网络Qθ和目标动作值网络
Figure BDA0002819189940000041
初始化电热水器状态P0为零时电价，t0为65℃；
步骤S202，电热水器保温档负荷控制智能体有5种功率可以选取，动作空间记为A＝{0.2Kwh，0.45Kwh，0.7Kwh，1.0Kwh，1.5Kwh}，电热水器以ε的概率采取贪婪算法选取动作argmaxaQ(si，a；θ)，以(1-ε)的概率随机选取动作ai；
步骤S203，i小时的状态观测值为si＝[Pi，ti]，其中参数Pi代表第i小时的电价，是与时间相关的变量；参数ti代表第i小时的电热水器水温，是与智能体选取的控制动作相关的变量；
步骤S204，状态转移si+1＝∫(si，ai)，其中Pi转换至Pi+1，Pi+1为预测电价信息中第i+1小时的电价；ti转换至ti+1，ti+1＝ti+Δti，Δti为智能体控制动作ai带来的第i小时电热水器水温的变化；
步骤S205，奖励函数r＝-(β*0.001*(Pi-4.6)*PR+2*(65-ti))。其中，0.001*Pi*PR表示电力的消耗，-4.6是为了让智能体在电价低于4.6EUR/Mwh时选择较大功率避免水温下降太快，2*(65-ti)表示当用户需要用水时加热到65℃所需要等待的时间，用它来衡量用户满意度的大小，β表示电力消耗和用户满意度之间的平衡系数。电热水器负荷控制智能体执行动作ai，观测奖励值和下一时刻的状态si+1；
步骤S206，将(si，ai，ri，si+1)记录进经验池D中；
步骤S207，从经验池D中随机抽取迷你批样本(sj，aj，rj，sj+1)；
步骤S208，根据目标动作值网络参数
Figure BDA0002819189940000042
计算目标动作值，与估计值网络参数θ无关，公式
Figure BDA0002819189940000043
其中θ-为目标网络的参数；
步骤S209，最小化损失函数J(θ)＝E[(yj-Q(sj，aj；θ))2]，通过梯度下降法进行反向传播更新估计值网络θ的参数；
步骤S210，重复步骤S202-S209，每隔N步将估计动作值网络参数复制给目标动作值网络参数以更新目标动作值网络参数；
步骤S211，重复步骤S201-S210，直到学习出使得奖励值最大的策略π。
需要说明的是上述实施例，并非用来限定本发明的保护范围，在上述技术方案的基础上所作出的等同变换或替代均落入本发明权利要求所保护的范围。

Claims (2)

1.一种基于深度强化学习的智能电热水器保温档负荷控制方法，其特征在于，所述方法包括以下步骤：
步骤S1：采用LSTM时序预测技术预测未来24小时电价；
步骤S2：采用基于DQN的深度强化学习方法训练电热水器保温档负荷控制智能体，最大化长期回报；
步骤S2具体如下：
步骤S201，初始化经验池D，估计动作值网络Qθ和目标动作值网络
Figure FDA0003574073820000011
初始化电热水器状态P0为零时电价，t0为65℃；
步骤S202，电热水器保温档负荷控制智能体有5种功率可以选取，动作空间记为A＝{0.2Kwh，0.45Kwh，0.7Kwh，1.0Kwh，1.5Kwh}，电热水器以ε的概率采取贪婪算法选取动作argmaxaQ(si,a；θ)，以(1-ε)的概率随机选取动作ai；
步骤S203，i小时的状态观测值为si＝[Pi,ti]，其中参数Pi代表第i小时的电价，是与时间相关的变量；参数ti代表第i小时的电热水器水温，是与智能体选取的控制动作相关的变量；
步骤S204，状态转移si+1＝f(si,ai)，其中Pi转换至Pi+1，Pi+1为预测电价信息中第i+1小时的电价；ti转换至ti+1,ti+1＝ti+Δti,Δti为智能体控制动作ai带来的第i小时电热水器水温的变化；
步骤S205，奖励函数r＝-(β*0.001*(Pi-4.6)*PR+2*(65-ti))，其中，0.001*Pi*PR表示电力的消耗，-4.6是为了让智能体在电价低于4.6EUR/Mwh时选择较大功率避免水温下降太快，2*(65-ti)表示当用户需要用水时加热到65℃所需要等待的时间，用它来衡量用户满意度的大小,β表示电力消耗和用户满意度之间的平衡系数，电热水器负荷控制智能体执行动作ai，观测奖励值和下一时刻的状态si+1；
步骤S206，将(si,ai,ri,si+1)记录进经验池D中；
步骤S207，从经验池D中随机抽取迷你批样本(sj,aj,rj,sj+1)；
步骤S208，根据目标动作值网络参数
Figure FDA0003574073820000012
计算目标动作值，与估计值网络参数θ无关，公式
Figure FDA0003574073820000013
其中θ-为目标网络的参数；
步骤S209，最小化损失函数J(θ)＝E[(yj-Q(sj,aj；θ))2]，通过梯度下降法进行反向传播更新估计值网络θ的参数；
步骤S210，重复步骤S202-S209，每隔N步将估计动作值网络参数复制给目标动作值网络参数以更新目标动作值网络参数；
步骤S211，重复步骤S201-S210，直到学习出使得奖励值最大的策略π。
2.根据权利要求1所述的基于深度强化学习的智能电热水器保温档负荷控制方法，其特征在于，步骤S1所述的采用LSTM网络预测未来电价，具体方法是：步骤S11：将当日的电价信息作为输出，所在小时的前48小时电价信息作为输入训练LSTM时序参数；
步骤S12：将最近48小时的电价数据输入LSTM网络预测未来24小时每小时的电价，记为Pi。
CN202011408553.2A 2020-12-05 2020-12-05 一种基于深度强化学习的智能电热水器保温档负荷控制方法 Active CN112510719B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011408553.2A CN112510719B (zh) 2020-12-05 2020-12-05 一种基于深度强化学习的智能电热水器保温档负荷控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011408553.2A CN112510719B (zh) 2020-12-05 2020-12-05 一种基于深度强化学习的智能电热水器保温档负荷控制方法

Publications (2)

Publication Number Publication Date
CN112510719A CN112510719A (zh) 2021-03-16
CN112510719B true CN112510719B (zh) 2022-06-21

Family

ID=74971695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011408553.2A Active CN112510719B (zh) 2020-12-05 2020-12-05 一种基于深度强化学习的智能电热水器保温档负荷控制方法

Country Status (1)

Country Link
CN (1) CN112510719B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907232B (zh) * 2021-04-16 2023-05-30 广东电网有限责任公司清远供电局 电网业务端到端传输可靠性保障方法、装置、设备及存储介质
CN113850503B (zh) * 2021-09-24 2024-10-18 广东电网有限责任公司 一种电热水器需求响应优化方法、设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111934335A (zh) * 2020-08-18 2020-11-13 华北电力大学 一种基于深度强化学习的集群电动汽车充电行为优化方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111934335A (zh) * 2020-08-18 2020-11-13 华北电力大学 一种基于深度强化学习的集群电动汽车充电行为优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多智能体深度强化学习的若干关键科学问题;孙长银等;《自动化学报》;20200731;第46卷(第7期);第1301-1312页 *

Also Published As

Publication number Publication date
CN112510719A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN112510719B (zh) 一种基于深度强化学习的智能电热水器保温档负荷控制方法
CN113112077B (zh) 基于多步预测深度强化学习算法的hvac控制系统
Peirelinck et al. Domain randomization for demand response of an electric water heater
JP6328283B2 (ja) コントローラ、スケジュール作成方法、及びプログラム
CN102375443A (zh) 需求响应应用的热时间约束
Zhang et al. Optimal scheduling model for smart home energy management system based on the fusion algorithm of harmony search algorithm and particle swarm optimization algorithm
CN110007613B (zh) 用于储热式电暖器的用暖预测方法、系统及存储介质
CN113572157A (zh) 一种基于近端策略优化的用户实时自治能量管理优化方法
JP2020054214A (ja) 蓄電池管理装置および蓄電池管理方法
CN111598721B (zh) 一种基于强化学习和lstm网络的负荷实时调度方法
Kodama et al. Home energy management algorithm based on deep reinforcement learning using multistep prediction
Saleh et al. Developing and testing a unit-commitment-based controller of bus-split aggregated residential electric water heaters
CN106326996B (zh) 一种基于电量信息的用户负荷预测方法
CN115994627B (zh) 住宅建筑柔性负荷日前优化调度方法、装置、设备、介质
JP6513257B2 (ja) コントローラ、スケジュール作成方法、及びプログラム
CN114879770B (zh) 一种基于线性回归预测的恒温控制方法
KR20190020496A (ko) 전력사용을 예측하고 능동적으로 수요반응 및 에너지 절감을 제공하는 전력관리 방법 및 장치
JP6628831B2 (ja) コントローラ、スケジュール作成方法、及びプログラム
JP2013053805A (ja) ハイブリッドシステム
CN113361890A (zh) 适用于智能电网终端用户的用电零售套餐决策方法及系统
CN113850503B (zh) 一种电热水器需求响应优化方法、设备及介质
Cao et al. Load scheduling for an electric water heater with forecasted price using deep reinforcement learning
CN117748514A (zh) 一种基于交互式模仿学习的微电网能源管理实时调度方法
JP2016092961A (ja) コントローラ、スケジュール作成方法、及びプログラム
JP6189508B1 (ja) 家電機器の使用ガイドシステムおよび家電機器の使用ガイド方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant