CN113536660A - 用于暖通云边协同的智能系统训练方法、模型及存储介质 - Google Patents

Abstract

本发明涉及暖通智能控制领域，公开了一种用于暖通云边协同的智能系统训练方法、模型及存储介质。该方法包括：通过模拟运行模型将模拟运行模型在运行过程中产生模拟环境参数传输至调控网络中；根据模拟环境参数，通过调控网络计算模拟运行模型的模拟调控策略，并根据模拟调控策略对模拟运行模型中的暖通设备进行调控；通过模拟运行模型将模拟环境参数和对应的模拟调控策略更新至预置的训练数据集；采用训练数据集，在真实运行模型中对调控网络进行微调，得到智能系统中的智能调控网络。通过软件搭建的模拟运行模型先对智能系统进行预训练，再通过真实运行系统对预训练智能系统进行微调，提升智能系统的训练效率和智能控制效果。

Description

用于暖通云边协同的智能系统训练方法、模型及存储介质

技术领域

本发明涉及暖通智能控制领域，尤其涉及一种用于暖通云边协同的智能系统训练方法、模型及存储介质。

背景技术

随着住宅产业的发展，建筑使用能耗快速增长，建筑节能越来越受到社会的重视。暖通系统作为各型建筑运维的耗能大户，对整个建筑物的能耗有着直接的影响。因此，暖通设备的发展受到社会各方的关注，在节能环保的大背景下，低碳环保的生活方式对暖通市场影响深远。随着暖通行业不断发展，产品布局正在悄然发生变化。低碳节能已经成为暖通产品的基本诉求，各企业不仅通过降低暖通产品自身的能效等级达到节能的目的，还通过智能控制方法使得相同暖通产品在维持正常运作的同时，降低能耗。

工业上现有的调控方式都偏向传统，基于现有的训练数据库对暖通云边协同的智能系统训练进行建模，而现有的训练数据库中数据量有限，通常无法与实际应用场景高度吻合，在针对不同的环境变化进行训练时，无法适应环境改变，数据再利用能力差，不同项目间同设备的数据无法相互辅助，数据可视化差。

发明内容

本发明的主要目的在于解决暖通云边协同的智能系统训练方法存在训练数据场景针对性较弱的技术问题。

本发明第一方面提供了一种用于暖通云边协同的智能系统训练方法，应用于暖通云边协同的智能系统训练模型，所述训练模型包括暖通设备的模拟运行模型、所述暖通设备的真实运行模型和所述智能系统对应的调控网络，其中，所述模拟运行模型由暖通模拟软件参照所述真实运行模型搭建，所述智能系统训练方法包括：

通过所述模拟运行模型将所述模拟运行模型在运行过程中产生模拟环境参数传输至所述调控网络中；

根据所述模拟环境参数，通过所述调控网络计算所述模拟运行模型的模拟调控策略，并根据所述模拟调控策略对所述模拟运行模型中的模拟暖通设备进行调控；

通过所述模拟运行模型将所述模拟环境参数和对应的模拟调控策略更新至预置的训练数据集；

采用所述训练数据集，在所述真实运行模型中对所述调控网络进行微调，得到所述智能系统中的智能调控网络。

可选的，在本发明第一方面的第一种实现方式中，所述训练模型还包括经验池，在所述采用所述训练数据集，在所述真实运行模型中对所述调控网络进行微调，得到所述智能系统中的智能调控网络之后，还包括：

通过所述真实运行模型监测运行过程中产生的真实环境参数，以及收集所述智能调控网络根据所述真实环境参数计算得到的真实调控策略，并将所述真实环境参数和所述真实调控策略发送至所述经验池进行存储；

采用所述经验池，对所述智能调控网络进行迭代处理。

可选的，在本发明第一方面的第二种实现方式中，所述模拟运行模型包括模拟暖通设备、模拟监测流道、模拟环境舱、模拟边缘服务器和模拟交互模块，其中，所述模拟暖通设备和所述模拟监测流道连接部署在所述模拟环境舱中，所述模拟监测流道中包含多个模拟传感单元，所述模拟环境舱中包含多个模拟环境传感器，所述通过所述模拟运行模型将所述模拟运行模型在运行过程中产生模拟环境参数传输至所述调控网络中包括：

通过所述模拟传感单元监测所述模拟暖通设备运行过程中所述模拟监测流道中的模拟环境参数，以及通过所述模拟环境传感器监测所述模拟暖通设备启动过程中所述模拟环境舱中的模拟环境参数；

通过所述模拟传感单元和所述模拟环境传感器将所述模拟环境参数发送至所述模拟边缘服务器中进行存储；

通过所述模拟交互模块将所述模拟边缘服务器存储的模拟环境参数发送至所述调控网络中。

可选的，在本发明第一方面的第三种实现方式中，所述模拟暖通设备中包含多个模拟控制元器件，所述模拟运行模型还包括模拟采集控制单元，在所述通过所述模拟传感单元和所述模拟环境传感器将所述模拟环境参数发送至所述模拟边缘服务器中进行存储之后，还包括：

根据存储的模拟环境参数，通过所述模拟边缘服务器采用预置控制算法生成控制指令；

通过所述模拟采集控制单元将所述控制指令发送至所述模拟暖通设备中对应的模拟控制元器件中，并通过所述控制指令调整所述模拟控制元器件中的控制参数，以对所述模拟暖通设备进行调控；

通过所述模拟传感单元监测所述模拟监测流道中当前的模拟环境参数，以及通过所述模拟环境传感器监测所述模拟环境舱中当前的模拟环境参数；

通过所述模拟传感单元和所述模拟环境传感器将当前的模拟环境参数发送至所述模拟边缘服务器中进行存储。

可选的，在本发明第一方面的第四种实现方式中，所述模拟传感单元和所述模拟环境传感器包括模拟无线通信模块，所述模拟无线通信模块与所述模拟边缘服务器无线连接，所述通过所述模拟传感单元和所述模拟环境传感器将所述模拟环境参数发送至所述模拟边缘服务器中进行存储包括：

通过所述模拟传感单元和所述模拟环境传感器的模拟无线通信模块，将所述模拟传感单元和所述模拟环境传感器与所述模拟边缘服务器进行通信，并通过所述模拟无线通信模块将所述模拟环境参数发送至所述模拟边缘服务器中进行存储。

可选的，在本发明第一方面的第五种实现方式中，所述根据所述模拟调控策略对所述模拟运行模型中的模拟暖通设备进行调控包括：

通过所述调控网络将所述模拟调控策略经所述模拟无线通信模块发送至所述模拟边缘服务器中；

根据所述模拟调控策略，通过所述模拟边缘服务器其调整对应控制算法中的算法参数，并采用调整算法参数后的控制算法对所述模拟暖通设备进行调控。

可选的，在本发明第一方面的第六种实现方式中，所述调控网络包括生成模块和评估模块，所述根据所述模拟环境参数，通过所述调控网络计算所述模拟运行模型的模拟调控策略包括：

根据所述模拟环境参数，通过所述生成模块，采用预置策略函数计算所述模拟运行模型对应的多个模拟调控动作；

通过所述评估模块，采用预置价值评估函数计算各所述模拟调控动作对所述模拟运行模型的调控价值，并将最大调控价值对应的模拟调控动作作为所述模拟运行模型的模拟调控策略。

可选的，在本发明第一方面的第七种实现方式中，所述智能系统训练方法还包括：

根据所述模拟调控策略和所述真实调控策略，通过所述调控网络计算所述模拟运行模型和所述真实运行模型之间的损失值；

根据所述损失值，通过所述调控网络调整所述模拟运行模型。

本发明第二方面提供了一种用于暖通云边协同的智能系统训练模型，所述训练模型包括暖通设备的模拟运行模型、所述暖通设备的真实运行模型和所述智能系统对应的调控网络，所述模拟运行模型由暖通模拟软件参照所述真实运行模型搭建，其中，

所述模拟运行模型用于将所述模拟运行模型在运行过程中产生模拟环境参数传输至所述调控网络中；

所述调控网络用于根据所述模拟环境参数，计算所述模拟运行模型的模拟调控策略，并根据所述模拟调控策略对所述模拟运行模型中的模拟暖通设备进行调控；

所述模拟运行模型还用于将所述模拟环境参数和对应的模拟调控策略更新至预置的训练数据集；

所述真实运行模型用于采用所述训练数据集，对所述调控网络进行微调，得到所述智能系统中的智能调控网络。

可选的，在本发明第二方面的第一种实现方式中，所述训练模型还包括经验池，所述真实运行模型还用于监测运行过程中产生的真实环境参数，以及收集所述智能调控网络根据所述真实环境参数计算得到的真实调控策略，并将所述真实环境参数和所述真实调控策略发送至所述经验池进行存储；采用所述经验池，对所述智能调控网络进行迭代处理。

可选的，在本发明第二方面的第二种实现方式中，所述模拟运行模型包括模拟暖通设备、模拟监测流道、模拟环境舱、模拟边缘服务器和模拟交互模块，所述模拟暖通设备和所述模拟监测流道连接部署在所述模拟环境舱中，所述模拟监测流道中包含多个模拟传感单元，所述模拟环境舱中包含多个模拟环境传感器，其中，

所述模拟传感单元用于监测所述模拟暖通设备运行过程中所述模拟监测流道中的模拟环境参数；将所述模拟环境参数发送至所述模拟边缘服务器中进行存储；

所述模拟环境传感器用于监测所述模拟暖通设备启动过程中所述模拟环境舱中的模拟环境参数；将所述模拟环境参数发送至所述模拟边缘服务器中进行存储；

所述模拟交互模块用于将所述模拟边缘服务器存储的模拟环境参数发送至所述调控网络中。

可选的，在本发明第二方面的第三种实现方式中，所述模拟暖通设备中包含多个模拟控制元器件，所述模拟运行模型还包括模拟采集控制单元，其中：

所述模拟边缘服务器还用于根据存储的模拟环境参数，采用预置控制算法生成控制指令；

所述模拟采集控制单元用于将所述控制指令发送至所述模拟暖通设备中对应的模拟控制元器件中，并通过所述控制指令调整所述模拟控制元器件中的控制参数，以对所述模拟暖通设备进行调控；

所述模拟传感单元还用于监测所述模拟监测流道中当前的模拟环境参数；将当前的模拟环境参数发送至所述模拟边缘服务器中进行存储

所述模拟环境传感器还用于监测所述模拟环境舱中当前的模拟环境参数；将当前的模拟环境参数发送至所述模拟边缘服务器中进行存储

可选的，在本发明第二方面的第四种实现方式中，所述模拟传感单元和所述模拟环境传感器包括模拟无线通信模块，所述模拟无线通信模块与所述模拟边缘服务器无线连接，其中：

所述模拟无线通信模块，用于将所述模拟传感单元和所述模拟环境传感器与所述模拟边缘服务器进行通信，并将所述模拟环境参数发送至所述模拟边缘服务器中进行存储。

可选的，在本发明第二方面的第五种实现方式中，所述调控网络还用于：将所述模拟调控策略经所述模拟无线通信模块发送至所述模拟边缘服务器中；

所述模拟边缘服务器还用于根据所述模拟调控策略，调整对应控制算法中的算法参数，并采用调整算法参数后的控制算法对所述模拟暖通设备进行调控。

可选的，在本发明第二方面的第六种实现方式中，所述调控网络包括生成模块和评估模块，其中，

所述生成模块用于根据所述模拟环境参数，采用预置策略函数计算所述模拟运行模型对应的多个模拟调控动作；

所述评估模块用于采用预置价值评估函数计算各所述模拟调控动作对所述模拟运行模型的调控价值，并将最大调控价值对应的模拟调控动作作为所述模拟运行模型的模拟调控策略。

可选的，在本发明第二方面的第七种实现方式中，所述调控网络还用于根据所述模拟调控策略和所述真实调控策略，计算所述模拟运行模型和所述真实运行模型之间的损失值；根据所述损失值，调整所述模拟运行模型。

本发明的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的用于暖通云边协同的智能系统训练方法。

本发明提供的技术方案中，参照真实运行模型采用暖通模拟软件搭建模拟运行模型，然后通过调节模拟运行模型的模拟环境参数，对调控网络进行预训练，并将模拟环境参数和对应的模拟调控策略作为训练数据集，在真实运行环境中对调控网络进行微调，即可得到暖通云边协同的智能系统的智能调控网络，其中，进行真实运行环境的调控网络微调时，采用的是与真实运行环境相同的模拟运行环境下产生的训练数据集进行训练，其训练数据集更具场景针对性，在面对不同的真实运行环境时，可以搭建对应的模拟运行环境产生训练数据以适应环境改变，数据再利用能力强，不同项目间相同暖通设备的数据可以相互辅助。

附图说明

图1为本发明实施例中用于暖通云边协同的智能系统训练方法的第一个实施例示意图；

图2为本发明实施例中用于暖通云边协同的智能系统训练方法的第二个实施例示意图；

图3为本发明实施例中用于暖通云边协同的智能系统训练方法的第三个实施例示意图；

图4为本发明实施例中用于暖通云边协同的智能系统训练模型的第一个实施例示意图；

图5为本发明实施例中用于暖通云边协同的智能系统训练模型的第二个实施例示意图。

具体实施方式

本发明实施例提供了一种用于暖通云边协同的智能系统训练方法、装置、设备及存储介质，通过模拟运行模型将模拟运行模型在运行过程中产生模拟环境参数传输至调控网络中；根据模拟环境参数，通过调控网络计算模拟运行模型的模拟调控策略，并根据模拟调控策略对模拟运行模型中的暖通设备进行调控；通过模拟运行模型将模拟环境参数和对应的模拟调控策略更新至预置的训练数据集；采用训练数据集，在真实运行模型中对调控网络进行微调，得到智能系统中的智能调控网络。通过软件搭建的模拟运行模型先对智能系统进行预训练，再通过真实运行系统对预训练智能系统进行微调，提升智能系统的训练效率和智能控制效果。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中用于暖通云边协同的智能系统训练方法的第一个实施例包括：

101、通过模拟运行模型将模拟运行模型在运行过程中产生模拟环境参数传输至调控网络中；

本实施例中，智能系统训练方法可以采用相应用的智能系统训练模型进行训练，智能系统训练模型包括三部分：真实运行模型、参照真实运行模型搭建的模拟运行模型和调控网络，其中，调控网络是用于暖通云边协同的智能系统的AI智能体，部署在云端，根据耗能条件对暖通运行过程进行调控；通过模拟运行模型模拟出各种暖通系统结构，迭代训练调控网络以对调控网络进行预训练，并同时产生训练数据集，用于后续真实运行模型的微调；真实运行模型用于预训练后调控网络的验证，包括暖通云边协同控制方式的效果、以及模拟运行模型预训练得到的调控网络的智能调控效果。

其中，在真实暖通项目运作前，针对该真实暖通项目对应的真实运行模型，可以通过专业的暖通模拟软件搭建与真实暖通项目相同的模拟运行模型，先在模拟运行模型上对智能系统中的调控网络进行预训练，并产生用于辅助训练的训练数据集，后续再在真实运行模型中对调控网络进行微调。

具体的，专业的暖通模拟软件可以采用DEST(Designer'sSimulation Toolkit，建筑热环境设计模拟工具包)，建筑耗能模拟软件Energy，Trnsys(Transient SystemSimulationProgram，瞬时系统模拟程序)等，比如通过trnsys搭建模块化的模拟运行模型，通过不同的模块表示暖通设备、流道、传感器、通信模块、空间、环境等，以搭建一个与暖通真实运行模型相同的模拟运行模型。

另外，在模拟运行模型启动时，可以输入目标环境参数，并运行模拟运行模型中的模拟暖通设备，收集当前模拟运行模型中的模拟环境参数，可以包括温度、湿度、气压、水压等，将模拟环境参数传输到调控网络中，由调控网络根据实时的模拟环境参数持续对模拟运行环境做出智能调控动作。

102、根据模拟环境参数，通过调控网络计算模拟运行模型的模拟调控策略，并根据模拟调控策略对模拟运行模型中的模拟暖通设备进行调控；

本实施例中，调控网络根据收集到的模拟运行环境的模拟环境参数，对模拟运行环境给出调控动作，其中，调控网络包括两部分：第一部分根据当前模拟运行环境的模拟环境参数，给出多个调控动作；第二部分根据第一部分给出的调控动作，评估其对当前模拟运行环境的适用程度，并给出评分，以确定哪个/哪些调控动作更适用于调控当前的模拟运行环境，并根据调控动作制定模拟调控策略，对模拟运行模型中的暖通设备进行调控。

具体的，调控网络可以采用Actor-Critic网络，即调控网络中的第一部分可以采用Actor网络，第二部分采用Critic网络，Actor网络负责根据模拟环境参数给出调控动作，而Critic网络负责评估Actor网络给出调控动作的得分，根据各调控动作的得分制定虚拟调控策略。其中，Actor网络可以采用策略梯度，比如Reinforce算法生成调控动作；Critic网络可以采用DQN(Deep QNetwork，深度Q网络)对调控动作进行进行评分。

另外，采用生成的模拟调控策略对模拟暖通设备进行调控时，并非直接下达调控指令至暖通设备进行直接控制，在用于云端协同的智能系统中，调控网络部署在云端服务器，边缘服务器则包含在模拟运行模型中，边缘服务器中部署有对暖通设备的控制算法，直接对暖通设备进行控制，云端服务器仅负责调整控制算法中的算法参数，间接对暖通设备进行调控，以保证整个暖通项目的节能率，故此处调控网络对虚拟暖通设备的调控，实际上是通过调控策略调整模拟运行模型中边缘服务器部署控制算法的算法参数，边缘服务器根据调整后的控制算法对虚拟暖通设备进行调控。

103、通过模拟运行模型将模拟环境参数和对应的模拟调控策略更新至预置的训练数据集；

本实施例中，将模拟运行环境运行过程中产生的模拟环境参数和模拟调控策略作为对应真实运行环境的训练数据集，该训练数据集相对于常规的训练数据具有场景针对性，而对于真实需要调控的物理环境，也可以预先通过模拟运行模型进行训练，再在真实运行模型中进行微调，以对调控网络中的智能调控算法进行验证。

其中，模拟环境参数和模拟调控策略可以具有时序性，以相应时间戳表示，后一模拟环境参数可以作为前一调控策略的调控结果，在模拟运行模型的一个运行周期中，若顺序收集到模拟环境参数C：{c₁，c₂，……，c_i}和模拟调控策略P：{p₁，p₂，……，p_i}，可以将模拟环境参数c₂作为模拟调控策略p₁的调控结果，以此类推。

104、采用训练数据集，在真实运行模型中对调控网络进行微调，得到智能系统中的智能调控网络。

本实施例中，通过真实运行模型基本将调控网络训练好，此时调控网络完成了真实暖通项目下的智能调控学习，此处通过真实运行模型对调控网络进行验证，以对调控网络进行微调，在真实环境参数中，通过调控网络给出的真实调控策略对真实运行模型调控的影响，与真实预期的差距，以此对调控网络进行微调。

请参阅图2，本发明实施例中用于暖通云边协同的智能系统训练方法的第二个实施例包括：

201、通过模拟传感单元监测模拟暖通设备运行过程中模拟监测流道中的模拟环境参数，以及通过模拟环境传感器监测模拟暖通设备启动过程中模拟环境舱中的模拟环境参数；

202、通过模拟传感单元和模拟环境传感器将模拟环境参数发送至模拟边缘服务器中进行存储；

203、通过模拟交互模块将模拟边缘服务器存储的模拟环境参数发送至调控网络中；

本实施例中，模拟运行模型包括模拟暖通设备、模拟监测流道、模拟环境舱、模拟边缘服务器和模拟交互模块，其中，模拟暖通设备和模拟监测流道连接部署在模拟环境舱中，模拟监测流道中包含多个模拟传感单元，模拟环境舱中包含多个模拟环境传感器。此处仅描述模拟运行模型的一个搭建实施例，并不限制具体的模拟运行模型，具体的模拟运行模型可以在上述的模块上进行增加、减少或者细化。

具体的，真实暖通项目主要包括水冷和风冷两大类，此处在模拟运行模型上搭建一条模拟监测流道作为主路，在模拟监测流道上搭建两条支路，一条为风冷模拟流道，连接风冷类别的模拟暖通设备，一条为水冷模拟流道，连接水冷类别的模拟暖通设备；在模拟暖通设备工作时，通过模拟监测流道中的模拟传感单元对支路上流回到模拟监测流道中的水和空气的各项模拟环境参数进行监测，并上传至模拟边缘服务器中，模拟边缘服务器进一步将各项模拟环境参数上传至云边服务器的调控网络中，由调控网络对模拟运行模型进行调整。

其中，由边缘服务器对模拟运行环境中各模拟暖通设备进行直接控制。由边缘服务器根据项目需求优化并调控虚拟暖通设备的调控动作，使模拟运行模型能够自行拟合环境时序变化，比如，可跟随季节等时间变化来实时调整最优策略，从而可以根据所进行的项目获得大量对应的数据传输至智能系统，为智能系统提供训练数据，进一步完善智能系统，并且此模拟运行模型搭建简单。

进一步的，风冷类别的模拟暖通设备还可以包括一个风冷支路电动阀、多个风冷模块和一个风冷支路开关，风冷支路电动阀、风冷模块和风冷支路开关依次连接，风冷支路电动阀设置于风冷模拟流道的入水端，风冷支路开关设置于风冷模拟流道的出水端。

进一步的，水冷类别的模拟暖通设备则还可以包括一个水冷支路电动阀、多个水冷模块和一个水冷支路开关，水冷支路电动阀、水冷模块和水冷支路开关依次连接，所述水冷支路电动阀设置于水冷模拟流道的入水端，水冷支路开关设置于水冷模拟流道的出水端。

风冷支路开关和水冷支路开关通过第二三通管接通于模拟监测流道。其中，风冷模块可以为加热片，水冷模块可以为加热棒。通过加热片来模拟风冷类型暖通设备的风冷主机，通过加热棒来模拟水冷类型暖通设备的水冷主机。

204、根据模拟环境参数，通过生成模块，采用预置策略函数计算模拟运行模型对应的多个模拟调控动作；

205、通过评估模块，采用预置价值评估函数计算各模拟调控动作对模拟运行模型的调控价值，并将最大调控价值对应的模拟调控动作作为模拟运行模型的模拟调控策略；

本实施例中，调控网络可以采用Actor-Critic网络，包括Actor网络的生成模块和Critic网络的评估模块，首先将模拟环境参数作为Actor网络的输入，在Actor网络中通过预置的策略函数参数计算适用于当前模拟环境参数的模拟调控动作。然后将Actor的输出作为Critic网络的输入，在Critic网络中通过预置的价值评估函数计算各模拟调控动作对当前模拟运行函数的调控价值。

具体的，Actor网络作为生成模块，可以采用以下策略函数计算模拟运行模型对应的模拟调控动作：

其中，

为模拟调控动作的分值函数，v_t为模拟状态参数，θ为模拟调控动作的策略参数，α为调控系数。

具体的，Critic网络作为生成模块，可以采用以下价值评估函数计算各模拟调控动作对模拟运行模型的调控价值：γ＝R_t+1+λQ(S_t+1,A_t+1)-Q(S_t,A_t)，其中，γ为调控价值，R_t+1为第t+1个模拟调控动作的即时奖励，λ为衰减因子，S_t+1为第t+1个模拟调控动作对应的模拟状态参数，A_t+1为第t+1个模拟调控动作，Q(S_t+1,A_t+1)和Q(S_t,A_t)为动作价值函数。

另外，采用调控价值最高的模拟调控动作作为模拟运行模型的模拟调控策略，其中，模拟调控策略用于调整边缘服务器中各控制算法的算法参数。

206、根据模拟调控策略，通过调控网络对模拟运行模型中的模拟暖通设备进行调控；

207、通过模拟运行模型将模拟环境参数和对应的模拟调控策略更新至预置的训练数据集；

208、采用训练数据集，在真实运行模型中对调控网络进行微调，得到智能系统中的智能调控网络；

209、通过真实运行模型监测运行过程中产生的真实环境参数，以及收集智能调控网络根据真实环境参数计算得到的真实调控策略，并将真实环境参数和真实调控策略发送至经验池进行存储；

210、采用经验池，对智能调控网络进行迭代处理；

本实施例中，训练模型还包括经验池，通过经验池记录真实运行模型运行过程中产生的真实环境参数和对应的真实调控策略，使得智能调控网络在离线模式，还能继续迭代升级，保持计算，避免因云端服务器与真实运行环境的边缘服务器断开连接，无法接收到实时的真实运行模型对应的真实环境参数和真实调控策略时而停止迭代。

其中，经验池与智能调控网络一样部署在云端服务器中，可以是数据库，并与智能调控网络有线连接或者无线连接，智能调控网络直接从经验池中获取真实环境参数和对应的真实调控策略进行训练，故经验池中存储的是智能调控网络的另一个训练数据集。

211、根据模拟调控策略和真实调控策略，通过调控网络计算模拟运行模型和真实运行模型之间的损失值；

212、根据损失值，通过调控网络调整模拟运行模型。

本发明实施例中，具体说明了模拟运行模型中一个真实暖通项目包含的基本模块，比如模拟暖通设备、模拟边缘服务器等，参照真实运行模型运行模拟运行模型，对调控网络进行预训练，得到更适用于对应真实暖通项目的智能调控网络，并在智能系统中对暖通设备进行智能调控，提升智能系统的调控准确度；同时通过经验池存储真实运行模型的真实环境参数和对应的真实调控策略，在与真实运行模型断开连接的情况下，也能持续迭代，提升智能调控网络的迭代效率；另外，通过调控网络中的损失函数不断减少模拟运行模型和真实运行模型之间的差异，使得采用模拟运行模型训练出来的智能调控网络更适用于对应的真实运行模型。

请参阅图3，本发明实施例中用于暖通云边协同的智能系统训练方法的第三个实施例包括：

301、通过模拟传感单元监测模拟暖通设备运行过程中模拟监测流道中的模拟环境参数，以及通过模拟环境传感器监测模拟暖通设备启动过程中模拟环境舱中的模拟环境参数；

本实施例中，模拟传感单元包括水泵入口压力传感器、水泵出口压力传感器、供水压力传感器、回水压力传感器、出水温度传感器、回水温度传感器、流量计和流量温度显示器，水泵入口压力传感器设置于水泵的入口端，水泵出口压力传感器设置于水泵的出口端，供水压力传感器设置于散热器的入口端，回水压力传感器设置于散热器的出口端，出水温度传感器设置于第二三通管与供水压力传感器之间，回水温度传感器设置于水泵入口压力传感器的另一端，流量计设置于回水温度传感器的另一端，流量温度显示器设置于流量计与回水压力传感器之间，各个传感器都连接于低功耗数据采集终端，通过低功耗数据采集终端将监测到的数据通过LoRa无线网络发送到边缘服务器中。

分别设置于水泵的入口端和出口端，以及散热器的入口端和出口端的压力传感器，分别监测水泵和散热器两端的压力值，保证整个水路中的压力值在预定的范围内，其次还可以精确的调整水压到某一个预设值，再通过各个温度传感器监测各个节点的水温情况，以供远程采集控制器、通讯网关和边缘服务器调整各个节点的元器件的参数；通过流量计模拟监测流道中水的流速，进而调整水泵的参数；再通过流量温度显示器实时显示模拟监测流道中水的流量和温度，提供更为直观的观察效果。

模拟传感单元还包括无线温度传感器，设置于散热器的一侧，与边缘服务器无线连接。无线温度传感器获取散热器处的温度，通过LoRa无线信号将获取的温度传输到边缘服务器，从而监测散热器与外界环境进行热量交换的情况。

模拟监测流道还包括两个手动阀和一个排水阀，分别设置于供水压力传感器与散热器之间，以及回水压力传感器与散热器之间，排水阀设置于水冷支路开关和第二三通管之间。一方面，通过调节手动阀的开度来调节管道不同的阻力，控制水的流速和压力等，通过手动操作结合模拟训练模型自身的调节，进一步提高模拟训练模型与真实项目的拟合度，使得模拟训练模型得出的数据更为准确，另一方面，通过关闭手动阀，方便于元器件的更换。水冷模拟流道位于风冷模拟流道的下方，排水阀设置在位置最靠下的水冷模拟流道上，排水口位于水冷模拟流道的下方，方便于将流道中的水完全排干净。

302、通过模拟传感单元和模拟环境传感器的模拟无线通信模块，将模拟传感单元和模拟环境传感器与模拟边缘服务器进行通信，并通过模拟无线通信模块将模拟环境参数发送至模拟边缘服务器中进行存储；

本实施例中，模拟传感单元和模拟环境传感器中各包含一个模拟无线通信模块，模拟传感单元和模拟环境传感器通过模拟无线通信模块分别与模拟边缘服务器无线连接，具体的，模拟无线通信模块为低功耗数据采集终端，由电池供电，通过LoRa无线信号将模拟传感单元和模拟环境传感器收集的模拟环境参数传输到模拟边缘服务器中，以供模拟边缘服务器进行记录、储存并优化处理。

303、根据存储的模拟环境参数，通过模拟边缘服务器采用预置控制算法生成控制指令；

304、通过模拟采集控制单元将控制指令发送至模拟暖通设备中对应的模拟控制元器件中，并通过控制指令调整模拟控制元器件中的控制参数，以对模拟暖通设备进行调控；

305、通过模拟传感单元监测模拟监测流道中当前的模拟环境参数，以及通过模拟环境传感器监测模拟环境舱中当前的模拟环境参数；

306、通过模拟传感单元和模拟环境传感器将当前的模拟环境参数发送至模拟边缘服务器中进行存储；

本实施例中，在模拟暖通设备中包含多个模拟控制元器件，模拟运行模型还包括模拟采集控制单元，其中，所述模拟采集控制单元还包括远程采集控制器和通讯网关，远程采集控制器用于模拟暖通设备中的模拟控制元器件的开启或关闭，通讯网关用于调整模拟暖通设备中的模拟控制元器件的参数，远程采集控制器和通讯网关分别与边缘服务器无线连接，远程采集控制器、通讯网关和边缘服务器之间可以通过LoRa无线信号通信，所述边缘服务器将收集到的模拟环境参数优化处理后发送信号和参数到远程采集控制器和通讯网关中，进而调控模拟训练模型中模拟暖通设备中的各个模拟控制元器件。通过远程采集控制器和通讯网关分别执行控制开启或关闭的任务和调整参数的任务，分工合作，使得对模拟暖通设备中的各个模拟控制元器件调控更为准确，降低错误率。

具体的，控制算法部署在模拟边缘服务器中，通过采集的模拟环境参数，直接由边缘服务器采用部署的控制算法生成控制指令，直接模拟暖通设备进行控制。其中，当边缘服务器与云端服务器断开连接时，即调控网络和模拟运行模型断开连接时，模拟运行模型可以按照自身部署的控制算法对模拟暖通设备进行控制。

具体的，当模拟运行模型中存在多个模拟边缘服务器时，各模拟边缘服务器通过LoRa组成的VPN网络进行连接，形成模拟边缘服务器集群，对各个模拟暖通设备进行分布式控制，各模拟边缘服务器存储有全部的模拟环境参数和部署有全部的控制算法，以防当其中一个模拟边缘服务器故障时，剩下的模拟边缘服务依然可以对各模拟暖通设备进行控制。

另外，在风冷和水冷的模拟暖通设备中，先通过分别控制风冷支路电动阀和水冷支路电动阀的开启关闭，即可实现风冷模拟流道和水冷模拟流道的选择，然后通过控制风冷支路开关或水冷支路开关的关闭，从而防止未工作的风冷模拟流道或水冷模拟流道中的水流出，防止流入到模拟监测流道中与加热后的水混合降低水温，影响模拟环境参数的准确性。设置多个风冷模块和多个水冷模块可以增加调整的精度，分级调整，得到更为精确的模拟环境参数。

具体的，风冷支路电动阀、风冷模块、风冷支路开关、水冷支路电动阀、水冷模块和水冷支路开关分别与远程采集控制器和通讯网关无线连通，通过LoRa无线信号通信。

307、通过模拟交互模块将模拟边缘服务器存储的模拟环境参数发送至调控网络中；

308、根据模拟环境参数，通过调控网络计算模拟运行模型的模拟调控策略，并通过调控网络将模拟调控策略经模拟无线通信模块发送至模拟边缘服务器中；

309、根据模拟调控策略，通过模拟边缘服务器其调整对应控制算法中的算法参数，并采用调整算法参数后的控制算法对模拟暖通设备进行调控；

本实施例中，调控网络用于调整边缘服务器中控制算法的算法参数，间接对模拟暖通设备进行调控，以符合预置的节能率，在调控网络和边缘服务器断开连接后，模拟边缘服务器亦可以应用上一轮更新的算法参数，采用控制算法对模拟暖通设备进行控制。

310、通过模拟运行模型将模拟环境参数和对应的模拟调控策略更新至预置的训练数据集；

311、采用训练数据集，在真实运行模型中对调控网络进行微调，得到智能系统中的智能调控网络。

本发明实施例中，参照真实运行模型采用暖通模拟软件搭建模拟运行模型，然后通过调节模拟运行模型的模拟环境参数，对调控网络进行预训练，并将模拟环境参数和对应的模拟调控策略作为训练数据集，在真实运行环境中对调控网络进行微调，即可得到暖通云边协同的智能系统的智能调控网络，其中，进行真实运行环境的调控网络微调时，采用的是与真实运行环境相同的模拟运行环境下产生的训练数据集进行训练，其训练数据集更具场景针对性，在面对不同的真实运行环境时，可以搭建对应的模拟运行环境产生训练数据以适应环境改变，数据再利用能力强，不同项目间相同暖通设备的数据可以相互辅助。

上面对本发明实施例中智能系统训练方法进行了描述，下面对本发明实施例中用于暖通云边协同的智能系统训练模型进行描述，请参阅图4，本发明实施例中用于暖通云边协同的智能系统训练模型的一个实施例包括：

所述用于暖通云边协同的智能系统训练模型包括暖通设备的模拟运行模型10、所述暖通设备的真实运行模型20和所述智能系统对应的调控网络30，所述模拟运行模型10由暖通模拟软件参照所述真实运行模型20搭建，其中，

所述模拟运行模型10用于将所述模拟运行模型10在运行过程中产生模拟环境参数传输至所述调控网络30中；

所述调控网络30用于根据所述模拟环境参数，计算所述模拟运行模型10的模拟调控策略，并根据所述模拟调控策略对所述模拟运行模型10中的模拟暖通设备进行调控；

所述模拟运行模型10还用于将所述模拟环境参数和对应的模拟调控策略更新至预置的训练数据集；

所述真实运行模型20用于采用所述训练数据集，对所述调控网络30进行微调，得到所述智能系统中的智能调控网络30。

请参阅图5，本发明实施例中用于暖通云边协同的智能系统训练模型的另一个实施例包括：

所述用于暖通云边协同的智能系统训练模型包括暖通设备的模拟运行模型10、所述暖通设备的真实运行模型20和所述智能系统对应的调控网络30，所述模拟运行模型10由暖通模拟软件参照所述真实运行模型20搭建，其中，

所述模拟运行模型10用于将所述模拟运行模型10在运行过程中产生模拟环境参数传输至所述调控网络30中；

所述调控网络30用于根据所述模拟环境参数，计算所述模拟运行模型10的模拟调控策略，并根据所述模拟调控策略对所述模拟运行模型10中的模拟暖通设备进行调控；

所述模拟运行模型10还用于将所述模拟环境参数和对应的模拟调控策略更新至预置的训练数据集；

所述真实运行模型20用于采用所述训练数据集，对所述调控网络30进行微调，得到所述智能系统中的智能调控网络30。

具体的，所述训练模型还包括经验池40，所述真实运行模型20还用于监测运行过程中产生的真实环境参数，以及收集所述智能调控网络30根据所述真实环境参数计算得到的真实调控策略，并将所述真实环境参数和所述真实调控策略发送至所述经验池40进行存储；采用所述经验池40，对所述智能调控网络30进行迭代处理。

具体的，所述模拟运行模型10包括模拟暖通设备11、模拟监测流道12、模拟环境舱13、模拟边缘服务器14和模拟交互模块15，所述模拟暖通设备11和所述模拟监测流道12连接部署在所述模拟环境舱13中，所述模拟监测流道12中包含多个模拟传感单元121，所述模拟环境舱13中包含多个模拟环境传感器122，其中，

所述模拟传感单元121用于监测所述模拟暖通设备11运行过程中所述模拟监测流道12中的模拟环境参数；将所述模拟环境参数发送至所述模拟边缘服务器14中进行存储；

所述模拟环境传感器122用于监测所述模拟暖通设备11启动过程中所述模拟环境舱13中的模拟环境参数；将所述模拟环境参数发送至所述模拟边缘服务器14中进行存储；

所述模拟交互模块15用于将所述模拟边缘服务器14存储的模拟环境参数发送至所述调控网络30中。

具体的，所述模拟暖通设备11中包含多个模拟控制元器件111，所述模拟运行模型10还包括模拟采集控制单元16，其中：

所述模拟边缘服务器14还用于根据存储的模拟环境参数，采用预置控制算法生成控制指令；

所述模拟采集控制单元16用于将所述控制指令发送至所述模拟暖通设备11中对应的模拟控制元器件111中，并通过所述控制指令调整所述模拟控制元器件111中的控制参数，以对所述模拟暖通设备11进行调控；

所述模拟传感单元121还用于监测所述模拟监测流道12中当前的模拟环境参数；将当前的模拟环境参数发送至所述模拟边缘服务器14中进行存储

所述模拟环境传感器122还用于监测所述模拟环境舱13中当前的模拟环境参数；将当前的模拟环境参数发送至所述模拟边缘服务器14中进行存储

具体的，所述模拟传感单元121和所述模拟环境传感器122包括模拟无线通信模块1221，所述模拟无线通信模块1221与所述模拟边缘服务器14无线连接，其中：

所述模拟无线通信模块1221，用于将所述模拟传感单元121和所述模拟环境传感器122与所述模拟边缘服务器14进行通信，并将所述模拟环境参数发送至所述模拟边缘服务器14中进行存储。

具体的，所述调控网络30还用于：将所述模拟调控策略经所述模拟无线通信模块1221发送至所述模拟边缘服务器14中；

所述模拟边缘服务器14还用于根据所述模拟调控策略，调整对应控制算法中的算法参数，并采用调整算法参数后的控制算法对所述模拟暖通设备11进行调控。

具体的，所述调控网络30包括生成模块31和评估模块32，其中，

所述生成模块31用于根据所述模拟环境参数，采用预置策略函数计算所述模拟运行模型10对应的多个模拟调控动作；

所述评估模块32用于采用预置价值评估函数计算各所述模拟调控动作对所述模拟运行模型10的调控价值，并将最大调控价值对应的模拟调控动作作为所述模拟运行模型10的模拟调控策略。

具体的，所述调控网络30还用于根据所述模拟调控策略和所述真实调控策略，计算所述模拟运行模型10和所述真实运行模型20之间的损失值；根据所述损失值，调整所述模拟运行模型10。

本发明实施例中，参照真实运行模型采用暖通模拟软件搭建模拟运行模型，然后通过调节模拟运行模型的模拟环境参数，对调控网络进行预训练，并将模拟环境参数和对应的模拟调控策略作为训练数据集，在真实运行环境中对调控网络进行微调，即可得到暖通云边协同的智能系统的智能调控网络，其中，进行真实运行环境的调控网络微调时，采用的是与真实运行环境相同的模拟运行环境下产生的训练数据集进行训练，其训练数据集更具场景针对性，在面对不同的真实运行环境时，可以搭建对应的模拟运行环境产生训练数据以适应环境改变，数据再利用能力强，不同项目间相同暖通设备的数据可以相互辅助。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述用于暖通云边协同的智能系统训练方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的模型，装置和单元等的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种用于暖通云边协同的智能系统训练方法，应用于暖通云边协同的智能系统训练模型，其特征在于，所述训练模型包括暖通设备的模拟运行模型、所述暖通设备的真实运行模型和所述智能系统对应的调控网络，其中，所述模拟运行模型由暖通模拟软件参照所述真实运行模型搭建，所述智能系统训练方法包括：

通过所述模拟运行模型将所述模拟运行模型在运行过程中产生模拟环境参数传输至所述调控网络中；

根据所述模拟环境参数，通过所述调控网络计算所述模拟运行模型的模拟调控策略，并根据所述模拟调控策略对所述模拟运行模型中的模拟暖通设备进行调控；

通过所述模拟运行模型将所述模拟环境参数和对应的模拟调控策略更新至预置的训练数据集；

采用所述训练数据集，在所述真实运行模型中对所述调控网络进行微调，得到所述智能系统中的智能调控网络。

2.根据权利要求1所述的用于暖通云边协同的智能系统训练方法，其特征在于，所述训练模型还包括经验池，在所述采用所述训练数据集，在所述真实运行模型中对所述调控网络进行微调，得到所述智能系统中的智能调控网络之后，还包括：

通过所述真实运行模型监测运行过程中产生的真实环境参数，以及收集所述智能调控网络根据所述真实环境参数计算得到的真实调控策略，并将所述真实环境参数和所述真实调控策略发送至所述经验池进行存储；

采用所述经验池，对所述智能调控网络进行迭代处理。

3.根据权利要求1所述的用于暖通云边协同的智能系统训练方法，其特征在于，所述模拟运行模型包括模拟暖通设备、模拟监测流道、模拟环境舱、模拟边缘服务器和模拟交互模块，其中，所述模拟暖通设备和所述模拟监测流道连接部署在所述模拟环境舱中，所述模拟监测流道中包含多个模拟传感单元，所述模拟环境舱中包含多个模拟环境传感器，所述通过所述模拟运行模型将所述模拟运行模型在运行过程中产生模拟环境参数传输至所述调控网络中包括：

通过所述模拟传感单元监测所述模拟暖通设备运行过程中所述模拟监测流道中的模拟环境参数，以及通过所述模拟环境传感器监测所述模拟暖通设备启动过程中所述模拟环境舱中的模拟环境参数；

通过所述模拟传感单元和所述模拟环境传感器将所述模拟环境参数发送至所述模拟边缘服务器中进行存储；

通过所述模拟交互模块将所述模拟边缘服务器存储的模拟环境参数发送至所述调控网络中。

4.根据权利要求3所述的用于暖通云边协同的智能系统训练方法，其特征在于，所述模拟暖通设备中包含多个模拟控制元器件，所述模拟运行模型还包括模拟采集控制单元，在所述通过所述模拟传感单元和所述模拟环境传感器将所述模拟环境参数发送至所述模拟边缘服务器中进行存储之后，还包括：

根据存储的模拟环境参数，通过所述模拟边缘服务器采用预置控制算法生成控制指令；

通过所述模拟采集控制单元将所述控制指令发送至所述模拟暖通设备中对应的模拟控制元器件中，并通过所述控制指令调整所述模拟控制元器件中的控制参数，以对所述模拟暖通设备进行调控；

通过所述模拟传感单元监测所述模拟监测流道中当前的模拟环境参数，以及通过所述模拟环境传感器监测所述模拟环境舱中当前的模拟环境参数；

通过所述模拟传感单元和所述模拟环境传感器将当前的模拟环境参数发送至所述模拟边缘服务器中进行存储。

5.根据权利要求4所述的用于暖通云边协同的智能系统训练方法，其特征在于，所述模拟传感单元和所述模拟环境传感器包括模拟无线通信模块，所述模拟无线通信模块与所述模拟边缘服务器无线连接，所述通过所述模拟传感单元和所述模拟环境传感器将所述模拟环境参数发送至所述模拟边缘服务器中进行存储包括：

通过所述模拟传感单元和所述模拟环境传感器的模拟无线通信模块，将所述模拟传感单元和所述模拟环境传感器与所述模拟边缘服务器进行通信，并通过所述模拟无线通信模块将所述模拟环境参数发送至所述模拟边缘服务器中进行存储。

6.根据权利要求5所述的用于暖通云边协同的智能系统训练方法，其特征在于，所述根据所述模拟调控策略对所述模拟运行模型中的模拟暖通设备进行调控包括：

通过所述调控网络将所述模拟调控策略经所述模拟无线通信模块发送至所述模拟边缘服务器中；

根据所述模拟调控策略，通过所述模拟边缘服务器其调整对应控制算法中的算法参数，并采用调整算法参数后的控制算法对所述模拟暖通设备进行调控。

7.根据权利要求1所述的用于暖通云边协同的智能系统训练方法，其特征在于，所述调控网络包括生成模块和评估模块，所述根据所述模拟环境参数，通过所述调控网络计算所述模拟运行模型的模拟调控策略包括：

根据所述模拟环境参数，通过所述生成模块，采用预置策略函数计算所述模拟运行模型对应的多个模拟调控动作；

通过所述评估模块，采用预置价值评估函数计算各所述模拟调控动作对所述模拟运行模型的调控价值，并将最大调控价值对应的模拟调控动作作为所述模拟运行模型的模拟调控策略。

8.根据权利要求1-7中任一项所述的用于暖通云边协同的智能系统训练方法，其特征在于，所述智能系统训练方法还包括：

根据所述模拟调控策略和所述真实调控策略，通过所述调控网络计算所述模拟运行模型和所述真实运行模型之间的损失值；

根据所述损失值，通过所述调控网络调整所述模拟运行模型。

9.一种用于暖通云边协同的智能系统训练模型，其特征在于，所述训练模型包括暖通设备的模拟运行模型、所述暖通设备的真实运行模型和所述智能系统对应的调控网络，所述模拟运行模型由暖通模拟软件参照所述真实运行模型搭建，其中，

所述模拟运行模型用于将所述模拟运行模型在运行过程中产生模拟环境参数传输至所述调控网络中；

所述调控网络用于根据所述模拟环境参数，计算所述模拟运行模型的模拟调控策略，并根据所述模拟调控策略对所述模拟运行模型中的模拟暖通设备进行调控；

所述模拟运行模型还用于将所述模拟环境参数和对应的模拟调控策略更新至预置的训练数据集；

所述真实运行模型用于采用所述训练数据集，对所述调控网络进行微调，得到所述智能系统中的智能调控网络。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被执行时实现如权利要求1-8中任一项所述的用于暖通云边协同的智能系统训练方法。

Images