CN117073170A - 控制方法、装置、设备及存储介质 - Google Patents

控制方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117073170A
CN117073170A CN202311214919.6A CN202311214919A CN117073170A CN 117073170 A CN117073170 A CN 117073170A CN 202311214919 A CN202311214919 A CN 202311214919A CN 117073170 A CN117073170 A CN 117073170A
Authority
CN
China
Prior art keywords
temperature
temperature difference
determining
current
reward function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311214919.6A
Other languages
English (en)
Inventor
李素洁
陈高
齐建阳
田乐乐
马雅奇
陈彦宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Lianyun Technology Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN202311214919.6A priority Critical patent/CN117073170A/zh
Publication of CN117073170A publication Critical patent/CN117073170A/zh
Pending legal-status Critical Current

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63—Electronic processing
    • F24F11/64—Electronic processing using pre-stored data
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/30—Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring
    • F24F11/46—Improving electric energy efficiency or saving
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/89—Arrangement or mounting of control or safety devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2110/00—Control inputs relating to air properties
    • F24F2110/10—Temperature
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B30/00—Energy efficient heating, ventilation or air conditioning [HVAC]
    • Y02B30/70—Efficient control or regulation technologies, e.g. for control of refrigerant flow, motor or heating

Abstract

本申请提供的一种控制方法、装置、设备及存储介质，通过获取温度调节设备的设置温度、所述温度调节设备的调节区域的当前温度和所述温度调节设备的目标部件的当前动作参数；基于所述设置温度和所述当前温度确定温差；基于所述温差确定对应的奖励函数，其中，所述奖励函数包括：温差、功率之间的对应关系；将所述奖励函数、当前动作参数输入至预先建立的智能算法模型中，得到所述目标部件的目标动作参数；基于所述目标动作参数控制所述温度调节设备的目标部件运行，通过温差来确定对应的奖励函数，能够精确指导空调的朝着舒适性与节能的方向进行优化，从而能够高效地满足空调舒适性与节能的需求。

Description

控制方法、装置、设备及存储介质
技术领域
本申请涉及空调技术领域，特别地涉及一种控制方法、装置、设备及存储介质。
背景技术
空调的节能与舒适性是空调控制领域非常关心的一个问题，温差及功率是影响空调舒适度及能耗的关键因素，在空调强化学习控制方法中，奖励函数极大的影响空调智能控制的效果，而现有的技术方案中，大多是通过简单的固定惩罚值或奖励值来作为奖励函数，导致无法精确指导空调的策略优化方向，无法高效地满足空调舒适型及节能的需求。
发明内容
针对上述问题，本申请提供一种控制方法、装置、设备及存储介质，通过温差来确定对应的奖励函数，能够精确指导空调的朝着舒适性与节能的方向进行优化，从而能够高效地满足空调舒适性与节能的需求。
本申请实施例提供一种控制方法，包括：
获取温度调节设备的设置温度、所述温度调节设备的调节区域的当前温度和所述温度调节设备的目标部件的当前动作参数；
基于所述设置温度和所述当前温度确定温差；
基于所述温差确定对应的奖励函数，其中，所述奖励函数包括：温差、功率之间的对应关系；
将所述奖励函数、当前动作参数输入至预先建立的智能算法模型中，得到所述目标部件的目标动作参数；
基于所述目标动作参数控制所述温度调节设备的目标部件运行。
在一些实施例中，所述基于所述温差确定对应的奖励函数，包括：
在所述当前温度减去设置温度得到的温差在第一温度区间的情况下，确定奖励函数包括：其中，所述-表示惩罚，ΔT为温差、P0表征在所述奖励函数中所述温差与功率所占的权重，P为温度调节设备的当前功率，在温差在第一温度区间的情况下，温差对用户的舒适性的影响程度为第一影响程度，所述第一影响程度大于影响程度阈值。
在一些实施例中，所述基于所述温差确定对应的奖励函数，还包括：
在所述当前温度减去所述设置温度得到的温差在第二温度区间的情况下，确定所述所述奖励函数包括：其中，P1表征在所述奖励函数中所述温差与功率所占的权重，所述第一温度区间大于所述第二温度区间，所述温差在第二温度区间的情况下，温差对用户的舒适性的影响程度为第二影响程度，所述第二影响程度大于所述影响程度阈值，且所述第二影响程度小于所述第一影响程度。
在一些实施例中，所述基于所述温差确定对应的奖励函数，包括：
在所述当前温度减去所述设置温度得到的温差在第三温度区间的情况下，确定所述奖励函数包括：其中，所述第三温度区间小于所述第二温度区间，其中，在温差在第三温度区间的情况下，所述温差对用户的舒适性的影响程度为第三影响程度，所述第三影响程度小于所述影响程度阈值。
在一些实施例中，所述基于所述温差确定对应的奖励函数，还包括：
在所述设置温度减去当前温度得到的温差在所述第三温度区间的情况下，确定所述奖励函数包括：
在一些实施例中，所述基于所述温差确定对应的奖励函数，还包括：
在所述设置温度减去当前温度得到的温差在所述第二温度区间的情况下，确定所述奖励函数包括：其中，P2表征在所述奖励函数中所述温差与功率所占的权重。
在一些实施例中，所述基于所述温差确定对应的奖励函数，还包括：
在所述设置温度减去当前温度得到的温差在所述第三温度区间的情况下，确定所述建立函数为：其中，P3表征在所述奖励函数中所述温差与功率所占的权重。
在一些实施例中，所述智能算法模型包括：DDQN算法，所述DDQN算法中包括自注意力机制层，所述温度调节设备包括空调，目标部件的当前动作参数，包括：压缩机频率、外风机转速、膨胀阀开度。
本申请实施例提供一种控制装置，包括：
获取模块，用于获取温度调节设备的设置温度、所述温度调节设备的调节区域的当前温度和所述温度调节设备的目标部件的当前动作参数；
第一确定模块，用于基于所述设置温度和所述当前温度确定温差；
第二确定模块，用于基于所述温差确定对应的奖励函数，其中，所述奖励函数包括：温差、功率之间的对应关系；
智能算法模块，用于将所述奖励函数、当前动作参数输入至预先建立的智能算法模型中，得到所述目标部件的目标动作参数；
控制模块，用于基于所述目标动作参数控制所述温度调节设备的目标部件运行。
本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，该计算机程序被所述处理器执行时，执行如上述任意一项所述控制方法。
本申请实施例提供的温度调节设备，包括：上述所述的电子设备。
本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质存储的计算机程序，能够被一个或多个处理器执行，能够用来实现上述所述控制方法。
本申请提供的一种控制方法、装置、设备及存储介质，通过获取温度调节设备的设置温度、所述温度调节设备的调节区域的当前温度和所述温度调节设备的目标部件的当前动作参数；基于所述设置温度和所述当前温度确定温差；基于所述温差确定对应的奖励函数，其中，所述奖励函数包括：温差、功率之间的对应关系；将所述奖励函数、当前动作参数输入至预先建立的智能算法模型中，得到所述目标部件的目标动作参数；基于所述目标动作参数控制所述温度调节设备的目标部件运行，通过温差来确定对应的奖励函数，能够精确指导空调的朝着舒适性与节能的方向进行优化，从而能够高效地满足空调舒适性与节能的需求。
附图说明
在下文中将基于实施例并参考附图来对本申请进行更详细的描述。
图1为本申请实施例提供的一种控制方法的流程示意图；
图2为本申请实施例提供的一种温度随时间的变化曲线示意图；
图3为本申请实施例提供的电子设备的组成结构示意图。
在附图中，相同的部件使用相同的附图标记，附图并未按照实际的比例绘制。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
如果申请文件中出现“第一\第二\第三”的类似描述则增加以下的说明，在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
基于相关技术中存在的问题，本申请实施例提供一种控制方法，所述方法应用于电子设备，所述电子设备可以是：计算机、移动终端、温度调节设备等，所述移动终端可以包括手机、平板电脑等。所述温度调节设备可以包括：空调、冰箱等。所述电子设备可以是温度调节设备的控制器。
本申请实施例提供的控制方法所实现的功能可以通过电子设备的处理器调用程序代码来实现，其中，程序代码可以保存在计算机存储介质中。
本申请实施例提供一种控制方法，图1为本申请实施例提供的一种控制方法的实现流程示意图，如图1所示，包括：
步骤S101，获取温度调节设备的设置温度、所述温度调节设备的调节区域的当前温度和所述温度调节设备的目标部件的当前动作参数。
本申请实施例中，用户可以通过遥控器、移动终端、温度调节设备上的按键等来设置温度调节设备的设置温度，从而使得电子设备获取到温度调节设备的设置温度。
本申请实施例中，温度调节设备不同，则调节区域不同，示例性地，以空调为例，调节区域可以是空调所在的房间，以冰箱为例，调节区域可以是冰箱中的各个存储层。
本申请实施例中，电子设备可以和温度传感器通信连接，通过温度传感器来获取所述调节区域的当前温度。通信连接对应的通信方式包括以下通信方式中的多种：局域网、直连通信、互联网通信。其中，局域网可包括无线局域网和有线局域网，无线局域网的包括：无线保真(Wireless Fidelity，WiFi)、紫蜂(zigbee)等；直连通信包括：蓝牙、声波通信、基于移动网络的设备到设备通信(Device-to-Device，D2D)等，互联网通信可为采用消息队列遥测传输(Message Queuing Telemetry Transport，MQTT)、超文本传输协议(Hyper TextTransfer Protocol，HTTP)等协议实现数据通信。
本申请实施例中，不同的温度调节设备的目标部件可以不同，示例性地，以空调为例，目标部件可以是压缩机、外风机、膨胀阀等。
本申请实施例中，电子设备可以直接获取温度调节设备的目标部件的当前动作参数，承接上面的示例，可以获取压缩机频率、外风机转速、膨胀阀开度。
步骤S102，基于所述设置温度和所述当前温度确定温差。
本申请实施例中，可以用设置温度减去当前温度得到温差，也可以用当前温度减去设置温度得到温差。
步骤S103，基于所述温差确定对应的奖励函数，其中，所述奖励函数包括：温差、功率之间的对应关系。
本申请实施例中，可以预先建立不同温差与建立函数之间的对应关系，在确定了温差后，则可以确定对应的奖励函数。
本申请实施例中，通过奖励函数可以得到惩罚值和奖励值。
步骤S104，将所述奖励函数、当前动作参数输入至预先建立的智能算法模型中，得到所述目标部件的目标动作参数。
本申请实施例中，所述智能算法模型可以包括：DDQN算法，所述DDQN算法中包括自注意力机制层。
本申请实施例中，可以通过样本数据来训练DDQN算法，从而得到智能算法模型。样本数据包括奖励函数和当前动作参数及对应的目标动作参数。
本申请实施例中，所述智能算法模型的输入为奖励函数、当前动作参数，所述智能算法模型的输出为目标部件的目标动作参数。
承接上面的示例，将奖励函数、压缩机频率、外风机转速、膨胀阀开度输出到智能算法模型输出调整后的压缩机频率、外风机转速、膨胀阀开度。
本申请实施例中，在进行调整时可以是分别减小或增大压缩机频率、外风机转速、膨胀阀开度。
步骤S105，基于所述目标动作参数控制所述温度调节设备的目标部件运行。
本申请实施例中，电子设备可以基于目标动作参数生成控制指令，并将控制指令发送给各个目标部件，从而控制各个目标部件运行。
承接上面的示例，可以基于调整后的压缩机频率、外风机转速、膨胀阀开度分别控制压缩机、外风机、膨胀阀运行。
本申请提供的一种控制方法，通过获取温度调节设备的设置温度、所述温度调节设备的调节区域的当前温度和所述温度调节设备的目标部件的当前动作参数；基于所述设置温度和所述当前温度确定温差；基于所述温差确定对应的奖励函数，其中，所述奖励函数包括：温差、功率之间的对应关系；将所述奖励函数、当前动作参数输入至预先建立的智能算法模型中，得到所述目标部件的目标动作参数；基于所述目标动作参数控制所述温度调节设备的目标部件运行，通过温差来确定对应的奖励函数，能够精确指导空调的朝着舒适性与节能的方向进行优化，从而能够高效地满足空调舒适性与节能的需求。
在一些实施例中，以空调为例，使用当前温度(Tin)与设置温度(Tset)的差值(|Tin-Tset|)作为舒适性的评估指标，当温差超出某个分界点，如0.5℃时，认为会对室内人员的舒适度造成影响，此时，反馈给智能体一个合适的惩罚值，当温差在0.5℃之内时，认为对人体舒适度影响不大，可以在此基础上尽可能节能，并反馈给智能体一个合适的奖励值。这里的分界点可以是一个或多个，这些分界点用来刻画在不同的温差区间内对人体舒适度的影响大小及对应的惩罚或奖励程度。
本申请实施例中，基于人体舒适度和空调系统的考虑，将温差以三个分界点：0.5℃、1℃和1.5℃分为不同区间，分别讨论不同区间奖励函数的具体表达形式。Tin代表当前室内温度，Tset表示设置温度，ΔT来表示温差的绝对值|Tin-Tset|，用P来表示空调运行功率。
在一些实施例中，步骤S103所述基于所述温差确定对应的奖励函数，包括：
在所述当前温度减去设置温度得到的温差在第一温度区间的情况下，确定奖励函数包括：其中，所述-表示惩罚，ΔT为温差、P0表征在所述奖励函数中所述温差与功率所占的权重，P为温度调节设备的当前功率，在温差在第一温度区间的情况下，温差对用户的舒适性的影响程度为第一影响程度，所述第一影响程度大于影响程度阈值。
本申请实施例中，第一影响程度可以认为会较大程度影响用户的舒适度。
本申请实施例中，以制冷工况为例，在制冷工况中，空调开机后室内温度随时间的变化曲线理想情况下大致如图2所示，室内温度会先降至设置温度附近，然后在设置温度附近波动，以下以制冷工况为例进行示例性说明：
第一温度区间可以为1度至1.5度，在所述当前温度减去设置温度得到的温差在第一温度区间的情况下可以表示为：1<(Tin-Tset)≤1.5。
本申请实施例中，1<(Tin-Tset)≤1.5区间代表室内温度还没有下降至设置温度，且温差大于1℃，较大程度影响室内用户的舒适度体验，此时应给予惩罚，且惩罚力度应与具体的温差和功率值相关。在还没有下降到设置温度时，空调应以大功率运行，因此，此时功率越小惩罚越大，温差越大，惩罚也越大，奖励函数可以表达为：其中-表示为惩罚，P0的大小决定了在所述奖励函数中所述温差与功率所占的权重，即舒适性与节能性在奖励函数中的比重，P0需要根据这个温差区间内功率的平均值来设定，保证两者在同等量级。
在一些实施例中，步骤S103所述基于所述温差确定对应的奖励函数可以包括：
在所述当前温度减去所述设置温度得到的温差在第二温度区间的情况下，确定所述所述奖励函数包括：其中，P1表征在所述奖励函数中所述温差与功率所占的权重，所述第一温度区间大于所述第二温度区间。所述温差在第二温度区间的情况下，温差对用户的舒适性的影响程度为第二影响程度，所述第二影响程度大于所述影响程度阈值，且所述第二影响程度小于所述第一影响程度。
本申请实施例中，第二温度区间可以为0.5至1。在所述当前温度减去所述设置温度得到的温差在第二温度区间的情况下可以表示为0.5<(Tin-Tset)≤1。
本申请实施例中，以制冷工况为例，0.5<(Tin-Tset)≤1区间代表室内温度还没有下降至设置温度，且温差大于0.5℃，一定程度影响室内用户的舒适度体验，此时应给予惩罚，且惩罚力度应与具体的温差和功率值相关。在还没有下降到设置温度时，空调应以大功率运行，因此，此时功率越小惩罚越大，温差越大，惩罚也越大，但是由于不同温度区间空调功率值差别较大，使得不同区间需分开考虑奖励函数，奖励函数可以表达为：其中负号表示为惩罚，P1的大小决定了在所述奖励函数中所述温差与功率所占的权重，即舒适性与节能性在奖励函数中的比重，P1需要根据这个温差区间内功率的平均值来设定，保证两者在同等量级。
在一些实施例中，步骤S103所述基于所述温差确定对应的奖励函数可以包括：
在所述当前温度减去所述设置温度得到的温差在第三温度区间的情况下，确定所述奖励函数包括：其中，所述第三温度区间小于所述第二温度区间，其中，在温差在第三温度区间的情况下，所述温差对用户的舒适性的影响程度为第三影响程度，所述第三影响程度小于所述影响程度阈值。
本申请实施例中，第三温度区间可以为0至0.5，在所述当前温度减去所述设置温度得到的温差在第二温度区间的情况下可以表示为0<(Tin-Tset)≤0.5。
本申请实施例中，以制冷工况为例，温差在0<(Tin-Tset)≤0.5区间，可以认为对室内人员的舒适性影响不大，根据温差和功率的大小给予智能体不同程度的奖励，具体的关系为：温差越小，奖励越大，功率越小，奖励也越大，因此，温差和功率与奖励函数的大小均为反比关系。另一方面，由于温差在0.5数量级，而功率在100数量级，因此需要适当的比例系数来权衡两者的比重。同时，由于希望温差尽可能稳定在该区间，使得人体舒适度体验达到最佳，因此，采用指数函数因子来体现温差变化对奖励的影响。该区间范围奖励函数的具体表达式为：该式中的(ΔT×100×1.5ΔT)因子，保证在ΔT＝0时，温差项可以给出最大奖励，在ΔT＝0.5偏离时，给出指数级的压制，向智能体传递希望室温尽量保持在该区间的信息；分子中的1000因子保证奖励值在一个合适的值范围内，因为奖励函数值在智能体与环境的交互过程中会不断累积，如果每次的奖励值过大，在长时间的累积后，可能会溢出计算机可处理的数值范围，奖励值过小，可能会影响计算精度。由于此时的温差已经满足了舒适性要求，所以在该区间中，没有惩罚，只有奖励。
在一些实施例中，步骤S103所述基于所述温差确定对应的奖励函数可以包括：
在所述设置温度减去当前温度得到的温差在所述第三温度区间的情况下，确定所述奖励函数包括：
本申请实施例中，在所述设置温度减去当前温度得到的温差在所述第三温度区间的情况下可以表示为：0<(Tset-Tin)≤0.5。
本申请实施例中，以制冷工况为例，可以认为对室内人员的舒适性基本没有影响，根据温差和功率的大小给予智能体不同程度的奖励，具体的关系为：温差越小，奖励越大，功率越小，奖励也越大，因此，温差和功率与奖励函数的大小均为反比关系。另一方面，由于温差在0.5数量级，而功率在100数量级，因此需要适当的比例系数来权衡两者的比重。由于室内温度低于设置温度，即制冷程度过大，已造成不必要的浪费，但是温差还在可接受的舒适度范围内，因此这个区间给予奖励，但是指数底会选择一个更大的值，来体现该区间内室内温度降的越大，越浪费，需要对奖励值压制越大，因此表达式为：
在一些实施例中，步骤S103所述基于所述温差确定对应的奖励函数可以包括：
在所述设置温度减去当前温度得到的温差在所述第二温度区间的情况下，确定所述奖励函数包括：其中，P2表征在所述奖励函数中所述温差与功率所占的权重。
本申请实施例中，在所述设置温度减去当前温度得到的温差在所述第二温度区间的情况下可以表示为：0.5<(Tset-Tin)≤1。
本申请实施例中，以制冷工况为例，在温差大于0.5℃时，认为已经影响了人体的舒适度体验，在该区间内给予惩罚，且在该区间中室内温度已降至设置温度以下，能源已造成浪费，所以，功率越大，惩罚越大，温差越大，惩罚越大，奖励函数具体表达为：P2的大小决定了在所述奖励函数中所述温差与功率所占的权重，即舒适性与节能性在奖励函数中的比重，P2由在该温差区间内空调的平均功率值确定，该值的大小影响了舒适性(温差)与节能性(功率)因素对策略优化的权重大小。
在一些实施例中，步骤S103所述基于所述温差确定对应的奖励函数可以包括：
在所述设置温度减去当前温度得到的温差在所述第三温度区间的情况下，确定所述建立函数为：其中，P3表征在所述奖励函数中所述温差与功率所占的权重。
本申请实施例中，以制冷工况为例，在温差大于1℃时，认为已经较大程度地影响了人体的舒适度体验，在该区间内给予惩罚，且在该区间中室内温度已降至设置温度以下，能源已造成浪费，所以，功率越大，惩罚越大，温差越大，惩罚越大，具体表达式为：P3表征在所述奖励函数中所述温差与功率所占的权重，P3由在该温差区间内空调的平均功率值确定，该值的大小影响了舒适性(温差)与节能性(功率)因素对策略优化的权重大小。
本申请实施例提供的方法，利用深度强化学习DDQN算法与自注意力机制的结合，鉴于自注意力机制对输入变量之间关联特征的充分有效提取，以温差及功率作为设计因素，根据节能性与舒适性的调控目标，结合空调运行特性，依据功率与温差的平衡策略，根据数理设计中的权重及灵敏性设计，针对设置温度与实际温度的阈值及实际的温差分段需求，设计了多场景下，温差因素及功率因素平衡的奖励函数，提升策略优化效果和模型收敛速度，实现节能与舒适性相统一的空调智能控制方法。
本申请实施例提供的方法，将空调的压缩机频率、外风机转速、膨胀阀开度以及当前的室内温度作为状态参数，将对压缩机频率、外风机转速、膨胀阀开度的调节(增加、较小或保持不变)作为动作参数，将评估舒适性的参数温差，与评估能耗的参数功率共同作为奖励函数的变量，指导智能体朝着舒适性与节能相统一的方向进行优化，实现空调系统的节能与舒适性的统一。
本申请实施例提供的方法，针对温差及功率因素，完成强化学习奖励函数的特异设计，以节能与舒适性为控制目标，将室内温度与设置温度的差值(温差)与当前空调的功率值作为奖励函数的变量，将两者做非线性组合作为奖惩值，并考虑空调不同运行阶段具体特性，将奖励函数设计为分段函数，充分发挥奖励函数的奖惩作用，加速模型的收敛。
基于前述的实施例，本申请实施例提供一种控制装置，该装置包括的各模块、以及各模块包括的各单元，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU，Central Processing Unit)、微处理器(MPU，Microprocessor Unit)、数字信号处理器(DSP，Digital SignalProcessing)或现场可编程门阵列(FPGA，Field Programmable Gate Array)等。
本申请实施例提供一种控制装置，包括：
获取模块，用于获取温度调节设备的设置温度、所述温度调节设备的调节区域的当前温度和所述温度调节设备的目标部件的当前动作参数；
第一确定模块，用于基于所述设置温度和所述当前温度确定温差；
第二确定模块，用于基于所述温差确定对应的奖励函数，其中，所述奖励函数包括：温差、功率之间的对应关系；
智能算法模块，用于将所述奖励函数、当前动作参数输入至预先建立的智能算法模型中，得到所述目标部件的目标动作参数；
控制模块，用于基于所述目标动作参数控制所述温度调节设备的目标部件运行。
在一些实施例中，所述基于所述温差确定对应的奖励函数，包括：
在所述当前温度减去设置温度得到的温差在第一温度区间的情况下，确定奖励函数包括：其中，所述-表示惩罚，ΔT为温差、P0表征在所述奖励函数中所述温差与功率所占的权重，P为温度调节设备的当前功率，在温差在第一温度区间的情况下，温差对用户的舒适性的影响程度为第一影响程度，所述第一影响程度大于影响程度阈值。
在一些实施例中，所述基于所述温差确定对应的奖励函数，还包括：
在所述当前温度减去所述设置温度得到的温差在第二温度区间的情况下，确定所述所述奖励函数包括：其中，P1表征在所述奖励函数中所述温差与功率所占的权重，所述第一温度区间大于所述第二温度区间，所述温差在第二温度区间的情况下，温差对用户的舒适性的影响程度为第二影响程度，所述第二影响程度大于所述影响程度阈值，且所述第二影响程度小于所述第一影响程度。
在一些实施例中，所述基于所述温差确定对应的奖励函数，包括：
在所述当前温度减去所述设置温度得到的温差在第三温度区间的情况下，确定所述奖励函数包括：其中，所述第三温度区间小于所述第二温度区间，在温差在第三温度区间的情况下，所述温差对用户的舒适性的影响程度为第三影响程度，所述第三影响程度小于所述影响程度阈值。
在一些实施例中，所述基于所述温差确定对应的奖励函数，还包括：
在所述设置温度减去当前温度得到的温差在所述第三温度区间的情况下，确定所述奖励函数包括：
在一些实施例中，所述基于所述温差确定对应的奖励函数，还包括：
在所述设置温度减去当前温度得到的温差在所述第二温度区间的情况下，确定所述奖励函数包括：其中，P2表征在所述奖励函数中所述温差与功率所占的权重。
在一些实施例中，所述基于所述温差确定对应的奖励函数，还包括：
在所述设置温度减去当前温度得到的温差在所述第三温度区间的情况下，确定所述建立函数为：其中，P3表征在所述奖励函数中所述温差与功率所占的权重。
在一些实施例中，所述智能算法模型包括：DDQN算法，所述DDQN算法中包括自注意力机制层，所述温度调节设备包括空调，目标部件的当前动作参数，包括：压缩机频率、外风机转速、膨胀阀开度。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的控制方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read OnlyMemory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
相应地，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现上述实施例中提供的控制方法中的步骤。
本申请实施例提供一种电子设备；图3为本申请实施例提供的电子设备的组成结构示意图，如图3所示，所述电子设备500包括：一个处理器501、至少一个通信总线502、用户接口503、至少一个外部通信接口504、存储器505。其中，通信总线502配置为实现这些组件之间的连接通信。其中，用户接口503可以包括控制屏，外部通信接口504可以包括标准的有线接口和无线接口。所述处理器501配置为执行存储器中存储的控制方法的程序，以实现控制方法中的步骤。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所控制或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元控制的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台控制器执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种控制方法，其特征在于，包括：
获取温度调节设备的设置温度、所述温度调节设备的调节区域的当前温度和所述温度调节设备的目标部件的当前动作参数；
基于所述设置温度和所述当前温度确定温差；
基于所述温差确定对应的奖励函数，其中，所述奖励函数包括：温差、功率之间的对应关系；
将所述奖励函数、当前动作参数输入至预先建立的智能算法模型中，得到所述目标部件的目标动作参数；
基于所述目标动作参数控制所述温度调节设备的目标部件运行。
2.根据权利要求1所述的方法，其特征在于，所述基于所述温差确定对应的奖励函数，包括：
在所述当前温度减去设置温度得到的温差在第一温度区间的情况下，确定奖励函数包括：其中，-表示惩罚，ΔT为温差、P0表征在所述奖励函数中所述温差与功率所占的权重，P为温度调节设备的当前功率，在温差在第一温度区间的情况下，温差对用户的舒适性的影响程度为第一影响程度，所述第一影响程度大于影响程度阈值。
3.根据权利要求2所述的方法，其特征在在于，所述基于所述温差确定对应的奖励函数，还包括：
在所述当前温度减去所述设置温度得到的温差在第二温度区间的情况下，确定所述所述奖励函数包括：其中，P1表征在所述奖励函数中所述温差与功率所占的权重，所述第一温度区间大于所述第二温度区间，所述温差在第二温度区间的情况下，温差对用户的舒适性的影响程度为第二影响程度，所述第二影响程度大于所述影响程度阈值，且所述第二影响程度小于所述第一影响程度。
4.根据权利要求3所述的方法，其特征在于，所述基于所述温差确定对应的奖励函数，包括：
在所述当前温度减去所述设置温度得到的温差在第三温度区间的情况下，确定所述奖励函数包括：其中，所述第三温度区间小于所述第二温度区间，在温差在第三温度区间的情况下，所述温差对用户的舒适性的影响程度为第三影响程度，所述第三影响程度小于所述影响程度阈值。
5.根据权利要求4所述的方法，其特征在于，所述基于所述温差确定对应的奖励函数，还包括：
在所述设置温度减去当前温度得到的温差在所述第三温度区间的情况下，确定所述奖励函数包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述温差确定对应的奖励函数，还包括：
在所述设置温度减去当前温度得到的温差在所述第二温度区间的情况下，确定所述奖励函数包括：其中，P2表征在所述奖励函数中所述温差与功率所占的权重。
7.根据权利要求6所述的方法，其特征在于，所述基于所述温差确定对应的奖励函数，还包括：
在所述设置温度减去当前温度得到的温差在所述第三温度区间的情况下，确定所述建立函数为：其中，P3表征在所述奖励函数中所述温差与功率所占的权重。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述智能算法模型包括：DDQN算法，所述DDQN算法中包括自注意力机制层，所述温度调节设备包括空调，目标部件的当前动作参数，包括：压缩机频率、外风机转速、膨胀阀开度。
9.一种控制装置，其特征在于，包括：
获取模块，用于获取温度调节设备的设置温度、所述温度调节设备的调节区域的当前温度和所述温度调节设备的目标部件的当前动作参数；
第一确定模块，用于基于所述设置温度和所述当前温度确定温差；
第二确定模块，用于基于所述温差确定对应的奖励函数，其中，所述奖励函数包括：温差、功率之间的对应关系；
智能算法模块，用于将所述奖励函数、当前动作参数输入至预先建立的智能算法模型中，得到所述目标部件的目标动作参数；
控制模块，用于基于所述目标动作参数控制所述温度调节设备的目标部件运行。
10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有计算机程序，该计算机程序被所述处理器执行时，执行如权利要求1至8任意一项所述控制方法。
11.一种温度调节设备，其特征在于，包括：权利要求10所述的电子设备。
12.一种存储介质，其特征在于，该存储介质存储的计算机程序，能够被一个或多个处理器执行，能够用来实现如权利要求1至8任意一项所述控制方法。
CN202311214919.6A 2023-09-19 2023-09-19 控制方法、装置、设备及存储介质 Pending CN117073170A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311214919.6A CN117073170A (zh) 2023-09-19 2023-09-19 控制方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311214919.6A CN117073170A (zh) 2023-09-19 2023-09-19 控制方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117073170A true CN117073170A (zh) 2023-11-17

Family

ID=88702488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311214919.6A Pending CN117073170A (zh) 2023-09-19 2023-09-19 控制方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117073170A (zh)

Similar Documents

Publication Publication Date Title
KR102553299B1 (ko) 데이터 학습 서버 및 이의 학습 모델 생성 및 이용 방법
US10584892B2 (en) Air-conditioning control method, air-conditioning control apparatus, and storage medium
CN110578999B (zh) 空调器及其控制方法、装置和计算机可读存储介质
CN107702282A (zh) 多联机空调系统的通信方法、装置及计算机可读存储介质
JP6885497B2 (ja) 情報処理方法、情報処理装置、及びプログラム
CN108725136A (zh) 车载空调调节方法、系统、设备及存储介质
CN109140660B (zh) 用于空调的智能控温方法及装置、空调、存储介质
CN109883010B (zh) 一种空调的温度控制方法、装置、存储介质及空调
CN113587401B (zh) 基于运动数据检测的空调控制方法及装置、空调、存储介质
JP2020154785A (ja) 予測方法、予測プログラムおよびモデル学習方法
CN108063701B (zh) 一种控制智能设备的方法及装置
CN108401247A (zh) 控制蓝牙设备的方法及电子设备
CN109780685B (zh) 一种设备节能控制方法、装置及家用电器
CN117073170A (zh) 控制方法、装置、设备及存储介质
CN115985323B (zh) 语音唤醒方法、装置、电子设备及可读存储介质
CN112577157B (zh) 空调器及其节电控制方法、终端和存储介质
CN113494756A (zh) 终端及室内空气调节方法
CN107894076B (zh) 多联机空调系统及其节能控制方法、装置及存储介质
EP3604959A1 (en) Automatic wind-free control method and device, and computer readable storage medium
CN115076762B (zh) 功率调节方法、功率调节装置及温度调节设备
JP2021002776A (ja) 情報処理方法、情報処理装置、及びプログラム
CN117824092A (zh) 基于能源管理的运行状态调节方法、装置、设备和介质
CN114777289B (zh) 空调节能效果的评价方法及装置
CN115265036B (zh) 一种智能冰箱的配电方法、装置、存储介质及电子设备
CN117647938A (zh) 控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination