CN115355604B - 一种基于区块链和强化学习的空调控制方法及其系统 - Google Patents

一种基于区块链和强化学习的空调控制方法及其系统 Download PDF

Info

Publication number
CN115355604B
CN115355604B CN202211276401.0A CN202211276401A CN115355604B CN 115355604 B CN115355604 B CN 115355604B CN 202211276401 A CN202211276401 A CN 202211276401A CN 115355604 B CN115355604 B CN 115355604B
Authority
CN
China
Prior art keywords
task
reinforcement learning
block chain
calculation
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211276401.0A
Other languages
English (en)
Other versions
CN115355604A (zh
Inventor
祁红波
赵丰年
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202211276401.0A priority Critical patent/CN115355604B/zh
Publication of CN115355604A publication Critical patent/CN115355604A/zh
Application granted granted Critical
Publication of CN115355604B publication Critical patent/CN115355604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63—Electronic processing
    • F24F11/64—Electronic processing using pre-stored data
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/30—Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring
    • F24F11/46—Improving electric energy efficiency or saving
    • F24F11/47—Responding to energy costs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Fuzzy Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

本发明提供一种基于区块链和强化学习的空调控制方法及其系统，该方法包括在空调启动或正常运行时，基于接收到的控制指令和状态参数s，根据奖励机制产生在当前状态下的执行奖励；设定时间窗口Ti，判断当前时间是否在时间窗口Ti内，若判断结果为是，则直接启动强化学习的计算任务，并输出预测动作a；若判断结果为否，则判断是否有其他Master节点发送的计算任务，如是，则启动计算任务；由区块链节点记录当前状态、奖励和动作，并将动作传递给空调，至此完成一轮计算任务。该系统应用于上述的方法。本发明应用于空调的节能控制领域，用以解决目前现有技术中存在的训练困难、稳定性差、浪费计算资源、消耗电力等各种问题。

Description

一种基于区块链和强化学习的空调控制方法及其系统
技术领域
本发明涉及空调智能控制技术领域，具体涉及一种基于区块链和强化学习的空调控制方法以及应用该方法的系统。
背景技术
建筑运行能耗为我国能源消耗重要方面，而建筑运行中，空调能耗占较大比重。但是由于建筑系统对于外界气象条件响应有延迟与衰减，这对空调系统控制增加了复杂性。以致空调运行策略多基于运行人员经验制定策略，即运行人员根据当前气象条件、天气预报、以往经验、运行经济等因素，调节空调运行策略。对于人员舒适度、节能状况仅有主观判断，无法保证室内人员舒适度与降低能源消耗。
目前有很多针对建筑空调系统自动控制的方法，如深度强化学习。深度强化学习可以分为与环境交互的在线强化学习和不与环境交互的离线强化学习，但两者均存在不同程度的训练困难、稳定性差的问题。
另外，将区块链技术引入到空调控制系统中，便可利用区块链的不可篡改特点，使得追溯系统的可靠性大大提升。区块链中应用广泛的工作量证明机制POW通过计算一个目标难度的Hash值而达成共识策略，进而确定交易的先后顺序和有效性等。然而，此种计算存在浪费计算资源、消耗电力的缺点。
发明内容
本发明提供一种基于区块链和强化学习的空调控制方法及其系统，应用于空调的节能控制领域，用以解决目前现有技术中存在的训练困难、稳定性差、浪费计算资源、消耗电力等各种问题。
第一方面，本发明提供的一种基于区块链和强化学习的空调控制方法，该方法包括：
在空调启动或正常运行时，基于接收到的控制指令和状态参数s，根据奖励机制产生在当前状态下的执行奖励；
设定时间窗口Ti，判断当前时间是否在时间窗口Ti内，若判断结果为是，则直接启动强化学习的计算任务，并输出预测动作a；若判断结果为否，则判断是否有其他Master节点发送的计算任务，如是，则启动计算任务；
由区块链节点记录当前状态、奖励和动作，并将动作传递给空调，至此完成一轮计算任务；
其中，强化学习的计算任务由智能体Agent执行完成，表示为更新网络计算损失度loss，若轮次达到预定次数n或者损失度loss<常数e，则计算终止，输出预测动作a。
根据本发明提供的一种基于区块链和强化学习的空调控制方法，所述计算任务的强化学习算法包括：利用每个空调机组的历史数据训练离线强化学习算法；
当预测的动作a不满足要求时，利用区块链共享数据的特点分配计算任务到拥有相近状态的其他Slave节点；
若某个Slave节点存在相近的状态，且该Slave节点空闲，则接收该计算任务，在完成计算后并将计算结果通过区块链反馈给Master节点，由Master节点来验证任务的完成效果。
根据本发明提供的一种基于区块链和强化学习的空调控制方法，当Master节点的当前状态s由于分布偏移造成的训练不准确时，通过区块链发布计算任务给其他Slave节点，Slave节点从自身的区块链历史数据中查找与所发布的计算任务中状态s相近的状态s’。
根据本发明提供的一种基于区块链和强化学习的空调控制方法，所述强化学习的计算任务执行包括：计算时间窗口，若当前时间到达时间窗口，则获取状态参数s数据；
调用神经网络预测器预测下一个时间片的耗电量w0，同时通过Agent预测动作，并通过网络与云端虚拟的建筑环境模型Env进行交互获取下个时间片的耗电量w1；
将w0和w1进行比较，若w0和w1的误差值小于一个常数e，则发送该动作至空调。
根据本发明提供的一种基于区块链和强化学习的空调控制方法，若w0和w1的误差值不小于常数e，则存在分布偏移导致计算失败；
发布计算任务到区块链，由智能模块节点Slave来完成计算；
当确定当前Slave节点为空闲后，从任务链中获取一个未完成的计算任务，从区块链历史状态中搜索与状态s相近的状态s’，当其历史状态中存在与状态s相近的状态s’时，则调用Slave自身的Agent’预测动作a’并与建筑环境模型Env交互产生下一时间片的耗电量w’；
将w0和w’进行比较，若w0和w’的误差值小于常数e，则发布任务完成的交易请求到区块链，由Master节点来验证任务的完成效果。
根据本发明提供的一种基于区块链和强化学习的空调控制方法，所述Master节点验证的内容包括当前Slave节点的状态以及其维护结构是否与Master节点具有相似性，计算结果是否准确、是否到达最大计算时间；
若Master节点校验通过后，则分配一定奖励给该Slave节点，记录该交易到区块链并全网广播；若校验不通过，则交易不上区块链，同时等待其他Slave节点的计算结果。
根据本发明提供的一种基于区块链和强化学习的空调控制方法，系统在运行过程中，通过区块链节点记录每个空调机组在时间片内准确的耗电量和制冷/制热量，进而计算出COP，其中，所有记录对于所有节点为公开可访问且通过hash函数防篡改。
根据本发明提供的一种基于区块链和强化学习的空调控制方法，所述计算任务的强化学习模型包括：采用建筑仿真模型软件在云端构建虚拟的建筑环境模型Env，智能体Agent通过网络与建筑环境模型Env进行交互从而训练强化学习模型；
其中，通过测量获得每台空调机组所在的建筑参数，从而使用建筑仿真模型软件构建对应的建筑环境模型。
根据本发明提供的一种基于区块链和强化学习的空调控制方法，在执行强化学习算法时，每个智能模块Master均包括有执行自身任务的时间片Ti，表示为公式（1）：
Ti=Th+hash(ip_v6_addr)%(60-t_max) （1）
其中，Th表示当前整点时间，hash表示哈希函数，ip_v6_addr表示当前智能模块的ipv6地址。
第二方面，本发明还提供一种基于区块链和强化学习的空调控制系统，包括：
奖励单元，用于在空调启动或正常运行时，基于接收到的控制指令和状态参数s，根据奖励机制产生在当前状态下的执行奖励；
计算单元，设定时间窗口Ti，判断当前时间是否在时间窗口Ti内，若判断结果为是，则直接启动强化学习的计算任务，并输出预测动作a；若判断结果为否，则判断是否有其他Master节点发送的计算任务，如是，则启动计算任务；
动作单元，由区块链节点记录当前状态、奖励和动作，并将动作传递给空调，至此完成一轮计算任务；
其中，强化学习的计算任务由智能体Agent执行完成，表示为更新网络计算损失度loss，若轮次达到预定次数n或者损失度loss<常数e，则计算终止，输出预测动作a。
与现有技术相比，本发明的有益效果为：
（1）本发明结合建筑仿真技术及深度强化学习算法，可以实现空调的节能控制方法，能够在保证用户使用舒适性的前提下节约机组的耗电量。
（2）由于空调能耗占建筑能耗比例较大，本发明通过使用强化学习算法的网络训练和计算来取代POW作为共识机制，从而产生有意义的节能效果，运用本发明产生的节能效果具有巨大的潜在经济效益和社会效益。
（3）本发明通过验证评估机组的实时能耗指标，利用区块链的可信任性，达到不依赖于第三方机构的机组能耗等级的权威认证，推动低能效指标机组的淘汰和高能效指标机组的推广。
（4）本发明通过结合在线强化学习和离线强化学习的特点，可以降低训练难度和提高稳定性。
第三方面，本发明还提供一种电子设备，包括：
存储器，存储有计算机可执行指令；
处理器，配置为运行所述计算机可执行指令，
其中，所述计算机可执行指令被所述处理器运行时实现上述任一种的基于区块链和强化学习的空调控制方法的步骤。
第四方面，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述任一种的基于区块链和强化学习的空调控制方法的步骤。
由此可见，本发明提供了一种基于区块链和强化学习的空调控制的电子设备以及存储介质，其包括：一个或多个存储器，一个或多个处理器。存储器用于存储程序代码和程序运行过程中产生的中间数据、模型输出结果的储存和模型及模型参数的储存；处理器用于代码运行所占用的处理器资源和训练模型时占用的多个处理器资源。
下面结合附图和具体实施方式对本发明作进一步详细说明。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本发明一种基于区块链和强化学习的空调控制方法实施例的流程图。
图2是本发明一种基于区块链和强化学习的空调控制方法实施例中所应用系统结构的原理图。
图3是本发明一种基于区块链和强化学习的空调控制方法实施例中关于任务链的示意图。
图4是本发明一种基于区块链和强化学习的空调控制方法实施例中关于交易链的示意图。
图5是本发明一种基于区块链和强化学习的空调控制方法实施例中所实现方法的具体流程图。
图6是本发明一种基于区块链和强化学习的空调控制方法实施例中关于任务计算与分配的的流程图。
图7是本发明一种基于区块链和强化学习的空调控制方法实施例中关于空调马尔可夫模型的示意图。
图8是本发明一种基于区块链和强化学习的空调控制系统实施例的原理图。
具体实施方式
下面结合附图对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
首先，结合附图对本申请中所涉及的部分用语和相关技术进行解释说明，以便于本领域技术人员理解。
AC：空调机组，实现制冷、制热等功能的空气调节器.
Predictor：预测器，由大量历史数据训练用来预测耗电量的神经网络模型。
Block：区块链节点。
Agent：强化学习模块。
智能模块：Predictor,Block和Agent的合称，与AC通过通讯线连接，智能模块之间通过IPv6网络连接。
a：强化学习模块生成的动作，即控制指令。
s,r,s’：分别表示空调的当前状态向量s、奖励值r、执行动作a之后下一个时刻的状态向量s’。其中，状态是由(室内温度、室内湿度、室外温度、室外湿度、太阳辐射量)等参数组成的表示室内外环境参数的向量。
Master：一个智能模块，当其自身的强化学习算法所生成的动作不能满足目标时，其发布计算任务到任务链，由其他智能模块完成此任务。
Slave：一个智能模块，当其自身没有计算任务时，即有机会从任务链中领取一个没有被完成的任务。计算任务完成并获得Master认可后，即可获取一定的Coin(虚拟币)作为奖励。拥有越多Coin的智能模块所发布的任务有机会被被分配到更多的Slave。
Task：表示由某个智能模块Master发布的强化学习计算任务，当某个候选的智能模块Slave完成此任务并返回结果后所达成的一次计算分配过程成为一个任务。
Trade：交易记录，即一次计算。
Trade_Block：区块链交易节点。
一种基于区块链和强化学习的空调控制方法实施例：
参见图1至图7，一种基于区块链和强化学习的空调控制方法，包括以下步骤：
步骤S1，在空调启动或正常运行时，基于接收到的控制指令和状态参数s，根据奖励机制产生在当前状态下的执行奖励。
步骤S2，设定时间窗口Ti，通过区块链节点Block判断当前时间是否在时间窗口Ti内，若判断结果为是，则直接启动强化学习的计算任务，并输出预测动作a；若判断结果为否，则判断是否有其他Master节点发送的计算任务，如是，则启动计算任务。
步骤S3，由区块链节点记录当前状态、奖励和动作，并将动作传递给空调，至此完成一轮计算任务。
其中，强化学习的计算任务由智能体Agent执行完成，表示为更新网络计算损失度loss，若轮次达到预定次数n或者损失度loss<常数e，则计算终止，输出预测动作a。
在本实施例中，计算任务的强化学习算法包括：
利用每个空调机组的历史数据训练离线强化学习算法。
当预测的动作a不满足要求时，利用区块链共享数据的特点分配计算任务到拥有相近状态的其他Slave节点。
若某个Slave节点存在相近的状态，且该Slave节点空闲，则接收该计算任务，在完成计算后并将计算结果通过区块链反馈给Master节点，由Master节点来验证任务的完成效果。
当Master节点的当前状态s由于分布偏移造成的训练不准确时，通过区块链发布计算任务给其他Slave节点，Slave节点从自身的区块链历史数据中查找与所发布的计算任务中状态s相近的状态s’。
在本实施例中，强化学习的计算任务执行包括：
计算时间窗口，若当前时间到达时间窗口，则获取状态参数s数据。
调用神经网络预测器预测下一个时间片的耗电量w0，同时通过Agent预测动作，并通过网络与云端虚拟的建筑环境模型Env进行交互获取下个时间片的耗电量w1。
将w0和w1进行比较，若w0和w1的误差值小于一个常数e，则发送该动作至空调。
若w0和w1的误差值不小于常数e，则存在分布偏移导致计算失败。
然后，发布计算任务到区块链，由智能模块节点Slave来完成计算。
当确定当前Slave节点为空闲后，从任务链中获取一个未完成的计算任务，从区块链历史状态中搜索与状态s相近的状态s’，当其历史状态中存在与状态s相近的状态s’时，则调用Slave自身的Agent’预测动作a’并与建筑环境模型Env交互产生下一时间片的耗电量w’。
然后，将w0和w’进行比较，若w0和w’的误差值小于常数e，则发布任务完成的交易请求到区块链，由Master节点来验证任务的完成效果。
在本实施例中，Master节点验证的内容包括：
当前Slave节点的状态以及其维护结构是否与Master节点具有相似性，计算结果是否准确、是否到达最大计算时间。
若Master节点校验通过后，则分配一定奖励给该Slave节点，记录该交易到区块链并全网广播；若校验不通过，则交易不上区块链，同时等待其他Slave节点的计算结果。
系统在运行过程中，通过区块链节点记录每个空调机组在时间片内准确的耗电量和制冷/制热量，进而计算出COP，其中，所有记录对于所有节点为公开可访问且通过hash函数防篡改。
在本实施例中，计算任务的强化学习模型包括：采用建筑仿真模型软件在云端构建虚拟的建筑环境模型Env，智能体Agent通过网络与建筑环境模型Env进行交互从而训练强化学习模型。
其中，通过测量获得每台空调机组所在的建筑参数，从而使用建筑仿真模型软件构建对应的建筑环境模型。
在本实施例中，在执行强化学习算法时，每个智能模块Master均包括有执行自身任务的时间片Ti，表示为公式（1）：
Ti=Th+hash(ip_v6_addr)%(60-t_max) （1）
其中，Th表示当前整点时间，hash表示哈希函数，ip_v6_addr表示当前智能模块的ipv6地址。
具体的，从系统结构方面来说，本发明主要包括空调机组和智能模块，其中，智能模块包含耗电量预测器Predictor、强化学习模块Agent和区块链节点Block，如图2所示。下面分别对这三个模块进行描述：
为了保证预测的准确性，每台空调机组的耗电量预测器Predictor需要单独训练。耗电量的影响因素主要是室内外环境因素，如房屋维护结构、室内温湿度、室外温湿度、太阳辐射量等。室外因素可以通过气象网站获取，室内因素数据可以从空调历史运行数据中获取。得益于物联网的发展，在机组的运行过程中积累了大量的历史数据，包括实时耗电量。因此，可以通过气象数据和历史运行数据针对每台空调训练出一个耗电量预测器，相对准确地预测未来某个时间段内的机组耗电量。根据经验，天气预报未来2小时的预测比较准确，本实施例仅预测最长未来2小时的耗电量。
强化学习是一种人工智能算法，智能体通过不断与环境探索交互，来获得最多的期望回报。智能体与环境的交互过程可以抽象为马尔可夫模型，如图6所示。在当前状态St下，强化学习智能体会产生一个动作a，然后反馈到空调系统，从而得到下一个状态St+1，并产生一个奖励值r。
其中，r由奖励函数计算得到，表示为公式（2）：
R = - PowerConsumption +λ* T体感（2）
其中，PowerConsumption表示耗电量(kW·h)，T体感是基于炎热指数的体感温度模 型，即体感温度与室内温、湿度的关系，T体感=
Figure 932624DEST_PATH_IMAGE001
，T是室内温度(℃)， RH是相对湿度(%)，Cij是拟合系数，λ是用于平衡耗电量和体感温度的系数。Cij和λ针对不 同空调而有所不同，可通过多次实验计算获得。通过运用R函数作为优化目标，强化学习在 多次训练过程中即可在保证舒适性的前提下减少耗电量。
区块链本质上是去中心化的分布式账本，在本实施例中，区块链节点Block用来存储机组的历史运行数据，以及Master和Slave进行任务分配的交易记录。由于每个区块链节点都保存了所有的区块数据，因此其天然具有数据共享的功能，可以作为强化学习算法中的经验回放缓存即图6所示的Memory，存储(s,a,r,s’)用来训练强化学习算法。
在本实施例中，由于强化学习算法不能仅仅通过历史数据训练出准确的模型，容易出现分布偏移的现象，即未来的状态数据不存在于历史数据中而导致分布不一致的现象。
另外，由于空调安装在用户家中，不可能让智能体实时与空调交互训练强化学习模型。
对于上述第一个问题，本发明利用区块链共享数据的特点作为强化学习的经验回放池Memory。同时，当Master的当前状态s由于分布偏移造成的训练不准确的情况，可以借助区块链发布计算任务给其他Slave节点，Slave节点从自身的历史数据中查找与所发布的任务中状态s相近的状态s’。如果存在相近的状态，且Slave空闲，则接受此计算任务，完成计算并将计算结果通过区块链反馈给Master，后者验证误差满足要求后给予奖励Coin，并打包交易到区块链。
对于上述第二个问题，本实施例可采用建筑仿真模型（如DeST或EnergyPlus等软件）在云端构建虚拟的建筑环境模型Env，智能体Agent通过网络与建筑环境模型Env进行交互从而训练强化学习模型。每台空调机组所在的建筑参数，如面积、高度、房间数量、维护结构材料、材料的换热效率都可以通过测量获得，从而使用建筑仿真软件构建对应的建筑模型。由于仿真软件综合考虑了太阳辐射、建筑传热、室内人员和设备散热、作息时间等众多因素并集成了准确的热传递算法，非常成熟，所以在给定状态下，其仿真出来的结果(主要是耗电量)相对准确。
在具体应用中，本实施例所提供的方法每小时进行一次预测，即提前一小时输出下一个小时的控制动作。假设强化学习算法每次预测的最大耗时为t_max，在此时间内大部分预测算法都能执行完毕，若超时，则沿用上一时刻的预测动作，其中，t_max<60min。
其中，为了避免所有智能模块在同一时刻(比如整点)执行预测算法，而其他时刻空闲，每个模块都有执行自身任务的时间片Ti，计算公式如公式（1）：
Ti=Th+Hash(ip_v6_addr)%(60-t_max) （1）
其中，Th表示当前时间整点时间， Hash表示哈希函数，如SHA，ip_v6_addr表示当前智能模块的ipv6地址。此公式能够保证每个智能体在特定的时间段内执行计算任务，且在(60-t_max)分钟的时间内大致均匀分布。而在当前小时的Ti的其他时间，该智能模块空闲，可接收其他模块发布的计算任务，从而赚取奖励Coin。
在实际应用中，如图5所示，当空调启动运行后，会根据接收到控制指令a(初始状态下可能是用户设置的或者Agent给出的默认值)和天气状况输出状态s，并根据奖励函数产生奖励r。
接着，通过区块链节点BlockNode判断当前时间是否在时间窗口Ti内，如果在则直接启动计算任务，否则判断是否有其他Master节点发送的计算任务，如果有则启动计算流程，否则进入等待状态。其中，强化学习的计算任务则是由Agent完成的，其简单过程可以描述为更新网络计算loss，如果轮次达到n或者loss<e则计算终止，输出预测动作。区块链节点记录当前状态，奖励和动作并将动作传递给空调，至此完成一轮计算任务。
然后，执行与分配强化学习计算任务：
如图6所示，智能模块首先会根据自身的IPv6地址计算其时间窗口，若到达时间窗口，则获取状态数据s，随后调用神经网络预测器预测下一个时间片(1h)的耗电量w0，同时Agent预测动作a，并通过网络与建筑环境模型Env进行交互获取下个时间片的耗电量w1，若w0和w1的误差小于一个小常数e，则发送动作a到空调。否则说明存在分布偏移导致计算失败，此时亟需发布计算任务到区块链，由其他智能模块节点Slave来完成计算。当Slave空闲，且其历史状态中存在与s相近的状态s’时，则调用自身的Agent’预测动作a’并与Env交互产生下一时间片耗电量w’。其中，状态s和s’的相似度由余弦相似度cos(s,s’)来衡量。
同理，若loss(w0,w’)<e，则发布任务完成的交易请求到区块链，由Master来验证任务的完成效果，若Master校验通过，则分配一定奖励Coin给Slave，并记录此交易到区块链并全网广播。若校验不通过，则交易不上链，同时等待其他Slave节点的计算结果。
因此，本实施例通过任务分配的方式，在一定程度上解决了分布偏移的问题，也充分利用了其他节点计算资源。
一种基于区块链和强化学习的空调控制系统实施例：
在本实施例中，如图8所示，本发明还提供一种基于区块链和强化学习的空调控制系统，包括：
奖励单元10，用于在空调启动或正常运行时，基于接收到的控制指令和状态参数s，根据奖励机制产生在当前状态下的执行奖励；
计算单元20，设定时间窗口Ti，判断当前时间是否在时间窗口Ti内，若判断结果为是，则直接启动强化学习的计算任务，并输出预测动作a；若判断结果为否，则判断是否有其他Master节点发送的计算任务，如是，则启动计算任务；
动作单元30，由区块链节点记录当前状态、奖励和动作，并将动作传递给空调，至此完成一轮计算任务；
其中，强化学习的计算任务由智能体Agent执行完成，表示为更新网络计算损失度loss，若轮次达到预定次数n或者损失度loss<常数e，则计算终止，输出预测动作a。
在本实施例中，计算任务的强化学习算法包括：
利用每个空调机组的历史数据训练离线强化学习算法。
当预测的动作a不满足要求时，利用区块链共享数据的特点分配计算任务到拥有相近状态的其他Slave节点。
若某个Slave节点存在相近的状态，且该Slave节点空闲，则接收该计算任务，在完成计算后并将计算结果通过区块链反馈给Master节点，由Master节点来验证任务的完成效果。
当Master节点的当前状态s由于分布偏移造成的训练不准确时，通过区块链发布计算任务给其他Slave节点，Slave节点从自身的区块链历史数据中查找与所发布的计算任务中状态s相近的状态s’。
在本实施例中，强化学习的计算任务执行包括：
计算时间窗口，若当前时间到达时间窗口，则获取状态参数s数据。
调用神经网络预测器预测下一个时间片的耗电量w0，同时通过Agent预测动作，并通过网络与云端虚拟的建筑环境模型Env进行交互获取下个时间片的耗电量w1。
将w0和w1进行比较，若w0和w1的误差值小于一个常数e，则发送该动作至空调。
若w0和w1的误差值不小于常数e，则存在分布偏移导致计算失败。
然后，发布计算任务到区块链，由智能模块节点Slave来完成计算。
当确定当前Slave节点为空闲后，从任务链中获取一个未完成的计算任务，从区块链历史状态中搜索与状态s相近的状态s’，当其历史状态中存在与状态s相近的状态s’时，则调用Slave自身的Agent’预测动作a’并与建筑环境模型Env交互产生下一时间片的耗电量w’。
然后，将w0和w’进行比较，若w0和w’的误差值小于常数e，则发布任务完成的交易请求到区块链，由Master节点来验证任务的完成效果。
在本实施例中，Master节点验证的内容包括：
当前Slave节点的状态以及其维护结构是否与Master节点具有相似性，计算结果是否准确、是否到达最大计算时间。
若Master节点校验通过后，则分配一定奖励给该Slave节点，记录该交易到区块链并全网广播；若校验不通过，则交易不上区块链，同时等待其他Slave节点的计算结果。
系统在运行过程中，通过区块链节点记录每个空调机组在时间片内准确的耗电量和制冷/制热量，进而计算出COP，其中，所有记录对于所有节点为公开可访问且通过hash函数防篡改。
在本实施例中，计算任务的强化学习模型包括：采用建筑仿真模型软件在云端构建虚拟的建筑环境模型Env，智能体Agent通过网络与建筑环境模型Env进行交互从而训练强化学习模型。
其中，通过测量获得每台空调机组所在的建筑参数，从而使用建筑仿真模型软件构建对应的建筑环境模型。
在本实施例中，在执行强化学习算法时，每个智能模块Master均包括有执行自身任务的时间片Ti，表示为公式（1）：
Ti=Th+hash(ip_v6_addr)%(60-t_max) （1）
其中，Th表示当前整点时间，hash表示哈希函数，ip_v6_addr表示当前智能模块的ipv6地址。
在一个实施例中，提供了一种电子设备，该电子设备可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的数据库用于存储数据。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于区块链和强化学习的空调控制方法。
本领域技术人员可以理解，本实施例示出的电子设备结构，仅仅是与本申请方案相关的部分结构，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比本实施例中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
由此可见，本发明提供了一种基于区块链和强化学习的空调控制的电子设备以及存储介质，其包括：一个或多个存储器，一个或多个处理器。存储器用于存储程序代码和程序运行过程中产生的中间数据、模型输出结果的储存和模型及模型参数的储存；处理器用于代码运行所占用的处理器资源和训练模型时占用的多个处理器资源。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.一种基于区块链和强化学习的空调控制方法，其特征在于，包括：
在空调启动或正常运行时，基于接收到的控制指令和状态参数s，根据奖励机制产生在当前状态下的执行奖励；
设定时间窗口Ti，判断当前时间是否在时间窗口Ti内，若判断结果为是，则直接启动强化学习的计算任务，并输出预测动作a；若判断结果为否，则判断是否有其他Master节点发送的计算任务，如是，则启动计算任务；
由区块链节点记录当前状态、奖励和动作，并将动作传递给空调，至此完成一轮计算任务；
其中，强化学习的计算任务由智能体Agent执行完成，表示为更新网络计算损失度loss，若轮次达到预定次数n或者损失度loss<常数e，则计算终止，输出预测动作a。
2.根据权利要求1所述的方法，其特征在于，所述计算任务的强化学习算法包括：
利用每个空调机组的历史数据训练离线强化学习算法；
当预测的动作a不满足要求时，利用区块链共享数据的特点分配计算任务到拥有相近状态的其他Slave节点；
若某个Slave节点存在相近的状态，且该Slave节点空闲，则接收该计算任务，在完成计算后并将计算结果通过区块链反馈给Master节点，由Master节点来验证任务的完成效果。
3.根据权利要求2所述的方法，其特征在于：
当Master节点的当前状态s由于分布偏移造成的训练不准确时，通过区块链发布计算任务给其他Slave节点，Slave节点从自身的区块链历史数据中查找与所发布的计算任务中状态s相近的状态s’。
4.根据权利要求1所述的方法，其特征在于，所述强化学习的计算任务执行包括：
计算时间窗口，若当前时间到达时间窗口，则获取状态参数s数据；
调用神经网络预测器预测下一个时间片的耗电量w0，同时通过Agent预测动作，并通过网络与云端虚拟的建筑环境模型Env进行交互获取下个时间片的耗电量w1；
将w0和w1进行比较，若w0和w1的误差值小于一个常数e，则发送该动作至空调。
5.根据权利要求4所述的方法，其特征在于：
若w0和w1的误差值不小于常数e，则存在分布偏移导致计算失败；
发布计算任务到区块链，由智能模块节点Slave来完成计算；
当确定当前Slave节点为空闲后，从任务链中获取一个未完成的计算任务，从区块链历史状态中搜索与状态s相近的状态s’，当其历史状态中存在与状态s相近的状态s’时，则调用Slave自身的Agent’预测动作a’并与建筑环境模型Env交互产生下一时间片的耗电量w’；
将w0和w’进行比较，若w0和w’的误差值小于常数e，则发布任务完成的交易请求到区块链，由Master节点来验证任务的完成效果。
6.根据权利要求5所述的方法，其特征在于：
所述Master节点验证的内容包括当前Slave节点的状态以及其维护结构是否与Master节点具有相似性，计算结果是否准确、是否到达最大计算时间；
若Master节点校验通过后，则分配一定奖励给该Slave节点，记录该交易到区块链并全网广播；若校验不通过，则交易不上区块链，同时等待其他Slave节点的计算结果。
7.根据权利要求1至6任一项所述的方法，其特征在于：
系统在运行过程中，通过区块链节点记录每个空调机组在时间片内准确的耗电量和制冷/制热量，进而计算出COP，其中，所有记录对于所有节点为公开可访问且通过hash函数防篡改。
8.根据权利要求1至6任一项所述的方法，其特征在于，所述计算任务的强化学习模型包括：
采用建筑仿真模型软件在云端构建虚拟的建筑环境模型Env，智能体Agent通过网络与建筑环境模型Env进行交互从而训练强化学习模型；
其中，通过测量获得每台空调机组所在的建筑参数，从而使用建筑仿真模型软件构建对应的建筑环境模型。
9.根据权利要求1至6任一项所述的方法，其特征在于：
在执行强化学习算法时，每个智能模块Master均包括有执行自身任务的时间片Ti，表示为公式（1）：
Ti=Th+hash(ip_v6_addr)%(60-t_max) （1）
其中，Th表示当前整点时间，hash表示哈希函数，ip_v6_addr表示当前智能模块的ipv6地址，t_max为强化学习算法每次预测的最大耗时。
10.一种基于区块链和强化学习的空调控制系统，其特征在于，包括：
奖励单元，用于在空调启动或正常运行时，基于接收到的控制指令和状态参数s，根据奖励机制产生在当前状态下的执行奖励；
计算单元，设定时间窗口Ti，判断当前时间是否在时间窗口Ti内，若判断结果为是，则直接启动强化学习的计算任务，并输出预测动作a；若判断结果为否，则判断是否有其他Master节点发送的计算任务，如是，则启动计算任务；
动作单元，由区块链节点记录当前状态、奖励和动作，并将动作传递给空调，至此完成一轮计算任务；
其中，强化学习的计算任务由智能体Agent执行完成，表示为更新网络计算损失度loss，若轮次达到预定次数n或者损失度loss<常数e，则计算终止，输出预测动作a。
CN202211276401.0A 2022-10-19 2022-10-19 一种基于区块链和强化学习的空调控制方法及其系统 Active CN115355604B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211276401.0A CN115355604B (zh) 2022-10-19 2022-10-19 一种基于区块链和强化学习的空调控制方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211276401.0A CN115355604B (zh) 2022-10-19 2022-10-19 一种基于区块链和强化学习的空调控制方法及其系统

Publications (2)

Publication Number Publication Date
CN115355604A CN115355604A (zh) 2022-11-18
CN115355604B true CN115355604B (zh) 2022-12-23

Family

ID=84007698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211276401.0A Active CN115355604B (zh) 2022-10-19 2022-10-19 一种基于区块链和强化学习的空调控制方法及其系统

Country Status (1)

Country Link
CN (1) CN115355604B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101963969A (zh) * 2009-07-22 2011-02-02 阿里巴巴集团控股有限公司 Oracle RAC系统中实现负载均衡的方法和数据库服务器
CN110213796A (zh) * 2019-05-28 2019-09-06 大连理工大学 一种车联网中的智能资源分配方法
CN114375066A (zh) * 2022-01-08 2022-04-19 山东大学 一种基于多智能体强化学习的分布式信道竞争方法
CN115082845A (zh) * 2022-04-26 2022-09-20 北京理工大学 一种基于深度强化学习的监控视频目标检测任务调度方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140278718A1 (en) * 2013-03-15 2014-09-18 International Business Machines Corporation Enhanced time-management and recommendation system
US11886153B2 (en) * 2020-07-23 2024-01-30 Johnson Controls Tyco IP Holdings LLP Building control system using reinforcement learning
CN114490057B (zh) * 2022-01-24 2023-04-25 电子科技大学 一种基于深度强化学习的mec已卸载任务资源分配方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101963969A (zh) * 2009-07-22 2011-02-02 阿里巴巴集团控股有限公司 Oracle RAC系统中实现负载均衡的方法和数据库服务器
CN110213796A (zh) * 2019-05-28 2019-09-06 大连理工大学 一种车联网中的智能资源分配方法
CN114375066A (zh) * 2022-01-08 2022-04-19 山东大学 一种基于多智能体强化学习的分布式信道竞争方法
CN115082845A (zh) * 2022-04-26 2022-09-20 北京理工大学 一种基于深度强化学习的监控视频目标检测任务调度方法

Also Published As

Publication number Publication date
CN115355604A (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
CN111765604B (zh) 空调的控制方法和装置
Vazquez-Canteli et al. MARLISA: Multi-agent reinforcement learning with iterative sequential action selection for load shaping of grid-interactive connected buildings
Reynders et al. Energy flexible buildings: An evaluation of definitions and quantification methodologies applied to thermal storage
US9429921B2 (en) Method and system for energy control management
Xie et al. Multi-agent attention-based deep reinforcement learning for demand response in grid-responsive buildings
Hossain et al. Identifying grey-box thermal models with Bayesian neural networks
CN112950098B (zh) 基于综合能源系统的能源规划方法、装置及终端设备
CN108595757A (zh) 能源设备建模、能源站调度方法、装置以及设备
WO2023024213A1 (zh) 基于众包的温度预测方法、装置、设备和存储介质
US20160283844A1 (en) Load predictor for a cooling system
CN112560160B (zh) 模型和数据驱动的暖通空调最优设定温度获取方法及设备
Shann et al. Adaptive home heating under weather and price uncertainty using GPs and MDPs
WO2018098562A1 (en) Methods and systems for managing and predicting utility consumption
Shin et al. Development of an HVAC system control method using weather forecasting data with deep reinforcement learning algorithms
CN115545579A (zh) 一种用于用户柔性资源的聚合智控方法和系统
Li et al. Load prediction-based automatic scaling cloud computing
CN115355604B (zh) 一种基于区块链和强化学习的空调控制方法及其系统
Biemann et al. Data Center HVAC Control Harnessing Flexibility Potential via Real-Time Pricing Cost Optimization Using Reinforcement Learning
Li et al. Commercial building cooling energy forecasting using proactive system identification: A whole building experiment study
Sayegh et al. Computational time reduction using detailed building models with Typical Short Sequences
CN116995659B (zh) 一种考虑可再生能源消纳的热泵系统柔性运行方法
CN116128543B (zh) 一种售电公司负荷申报与出清的综合模拟运行方法及系统
Pandiyan et al. Recursive training based physics-inspired neural network for electric water heater modeling
CN110266770A (zh) 基于博弈论的闲置云资源调度方法和装置
Moglen et al. Optimal thermostatically-controlled residential demand response for retail electric providers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant