CN115099115A - 一种户内变电站通风降噪深度强化学习设计方法 - Google Patents

一种户内变电站通风降噪深度强化学习设计方法 Download PDF

Info

Publication number
CN115099115A
CN115099115A CN202211017105.9A CN202211017105A CN115099115A CN 115099115 A CN115099115 A CN 115099115A CN 202211017105 A CN202211017105 A CN 202211017105A CN 115099115 A CN115099115 A CN 115099115A
Authority
CN
China
Prior art keywords
noise
temperature
air inlet
indoor
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211017105.9A
Other languages
English (en)
Other versions
CN115099115B (zh
Inventor
伍发元
汤锦慧
钱志永
代小敏
毛梦婷
罗益辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Jiangxi Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Jiangxi Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Jiangxi Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202211017105.9A priority Critical patent/CN115099115B/zh
Publication of CN115099115A publication Critical patent/CN115099115A/zh
Application granted granted Critical
Publication of CN115099115B publication Critical patent/CN115099115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/23—Design optimisation, verification or simulation using finite element methods [FEM] or finite difference methods [FDM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01F—MAGNETS; INDUCTANCES; TRANSFORMERS; SELECTION OF MATERIALS FOR THEIR MAGNETIC PROPERTIES
    • H01F27/00—Details of transformers or inductances, in general
    • H01F27/08—Cooling; Ventilating
    • H01F27/085—Cooling by ambient air
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01F—MAGNETS; INDUCTANCES; TRANSFORMERS; SELECTION OF MATERIALS FOR THEIR MAGNETIC PROPERTIES
    • H01F27/00—Details of transformers or inductances, in general
    • H01F27/33—Arrangements for noise damping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/10—Noise analysis or noise optimisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

本发明属于变电站通风系统设计技术领域，公开了一种户内变电站通风降噪深度强化学习设计方法，基于有限元仿真软件建立户内变电站的温度场、空气流场和噪声场的仿真模型；利用仿真模型对不同进风口设计参数组合的通风降噪效果进行仿真计算得到样本数据集；基于获得的样本数据集对卷积神经网络进行学习训练，构造出户内变电站监测点处温度预测模型和噪声预测模型；在户内变电站噪声满足约束前提下，以户内变电站监测点平均温度最低为目标，构建进风口参数优化模型并采用基于最大熵的SAC深度强化算法求解，实现对变电站进风口参数的优化设计。本发明可利用温度预测模型和噪声预测模型和SAC深度强化算法对进风口参数优化设计。

Description

一种户内变电站通风降噪深度强化学习设计方法
技术领域
本发明属于变电站通风系统设计技术领域，具体涉及一种户内变电站通风降噪深度强化学习设计方法。
背景技术
户内变电站在当今城市电力系统中被广泛使用。然而，由于其内部空间小、环境封闭的特性，通风散热效果较差，造成其内部运行的主变产生的焦耳热无法有效散出。从而出现变压器油温升高、绝缘材料加速老化和变压器寿命缩短等问题，甚至威胁到电网的运行安全。同时，变压器在运行时也会产生噪声污染，给附近居民的日常生活造成影响。因此，对户内变电站进行合理的通风降噪规划设计具有重要意义。
目前针对户内变电站的通风降噪规划设计已有广泛研究。有文献研究了进风口和排风口位置、风口压力等因素对自然通风量的影响。还有文献研究通过不断调整进风口和排风口布置方案，并对其通风效果进行模拟分析，获得了最佳的进风口和出风口位置，有效地降低了主变压器的温度。但是，现有研究均未将户内变电站的噪声排放水平考虑在内。事实上，户内变电站一般都建在居民区附近，其噪声排放水平也需满足一定的运行指标。现有技术还缺乏对进风口设计参数与通风降噪效果之间映射关系的探究，且该映射关系具有多维非线性的特征，较难建立准确的数学模型。若采用传统经验法或通过大量的枚举实验来优选进风口设计方案，不仅需要花费大量的时间和成本，还不能保证获得最优的通风降噪效果。卷积神经网络CNN具有无需构建数学模型、直接从数据中提取精确关系特征的能力，可有效解决该问题。
图1所示变电站内部的变压器在工作时会产生大量焦耳热，需通过变压器油为介质，利用传导和对流的方式将热量传至变压器表面和散热器表面。位于变压器表面的热量，一部分通过辐射散热的方式散出；另一部分与进风口吸入的冷空气充分接触后，从顶部的排风口排出。顶部排风口安装有轴流风机，其作用是使变压器室内部形成负压，利用压差使外界冷空气从进风口不断流入，带走热量后从顶部排出，形成强制对流的散热方式。
对于户内变电站，改善其通风散热的措施主要是对进、出风口进行优化设计。但由于户内变电站出风口处一般安装有排风机，若对出风口设计方案进行变动则原先配套的风机将无法继续使用。
CN103166133A公开了一种户内变电站主变压器室通风换热优化控制方法，根据最大发热量和最大理论冷却风量构建户内变电站主变压器室通风换热物理模型，然后优化主变压器室通风换热物理模型的参数，来调节户内变电站主变压器室通风换热效率。该方法也未考虑进风口设计参数与通风降噪效果的关系。
发明内容
针对户内变电站运行发热导致温度过高引发安全风险，以及采取相关散热措施可能导致噪声扰民的问题，本发明提出一种户内变电站通风降噪深度强化学习设计方法。采用有限元法对户内变电站室内的温度场、空气场和声场进行数值模拟，获得大量模拟数据并与实测数据进行对比验证，对户内变电站通风系统进风口位置大小进行优化设计，使其获得最优通风降噪效果。首先，通过有限元分析法对其温度场、流体场和声场进行仿真建模；然后基于大量仿真数据，采用卷积神经网络建立温度预测模型和噪声预测模型；最后考虑噪声约束，利用基于最大熵的强化学习算法以变电站室内温度最低为目标对进风口设计参数进行优化求解。
本发明通过下述技术方案来实现。一种户内变电站通风降噪深度强化学习设计方法，步骤如下：
S1：基于有限元仿真软件建立户内变电站的温度场、空气流场和噪声场的仿真模型；
S2：利用仿真模型对不同进风口设计参数组合的通风降噪效果进行仿真计算，得到样本数据集；
S3：基于获得的样本数据集对卷积神经网络进行学习训练，构造出户内变电站监测点处温度预测模型和噪声预测模型；
S4：基于温度预测模型和噪声预测模型，在户内变电站噪声满足约束前提下，以户内变电站监测点平均温度最低为目标，构建进风口参数优化模型；
S5: 采用基于最大熵的SAC深度强化算法对进风口参数优化模型进行求解，实现对变电站进风口参数的优化设计。
进一步优选，步骤S1中建立户内变电站的温度场、空气流场和噪声场的仿真模型的过程如下：
首先建立户内变电站温度场、空气流场的仿真模型：在Design Modeler软件中建立户内变电站的三维模型，并将主变压器、散热器与各墙体之间的可填充气体区域作为风速流动和温度传递的计算区域；将建立好的三维模型导入Meshing软件，采用四面体网格对计算区域进行网格划分；将划分好的三维模型导入Fluent软件中，采用有限体积法建立离散方程；设置进风口为风速入口，并设置风速，设置出风口为压强出口，并设置压强，设置环境温度；
然后在户内变电站温度场、空气流场的仿真模型的基础上建立噪声场仿真模型：对户内变电站进行近场测量得到噪声频谱，将噪声频谱作为有限元仿真时变压器的激励频谱，并利用Comsol软件对噪声场进行建模仿真；将Fluent软件中建立的户内变电站温度场、空气流场的仿真模型导入Comsol软件；在室外距进、出风口内设置笛卡尔完美匹配层，模拟声波在远离声源传播过程中的衰减情况；采用四面体网格对Comsol软件所得仿真模型进行网格划分，最终形成户内变电站的温度场、空气流场和噪声场的仿真模型。
进一步优选，基于步骤S1构建的仿真模型，使用有限元仿真软件对随机生成的不同进风口设计参数进行仿真计算，以获得进风口设计参数与监测点温度、噪声对应关系的样本数据集，并采用z-score函数对输入的样本数据集进行标准化预处理；然后将标准化预处理后的样本数据集随机分成训练集和测试集。
进一步优选，步骤S3中，通过样本数据集对卷积神经网络进行训练，构造出温度预测模型和噪声预测模型，以此表述进风口设计参数与监测点温度和噪声之间的映射关系；
温度预测模型如下：
Figure 131527DEST_PATH_IMAGE001
（1）
Figure 484886DEST_PATH_IMAGE002
（2）
噪声预测模型如下：
Figure 530202DEST_PATH_IMAGE003
（3）
式中：X in、Z in分别为进风口左下角X轴坐标、Z轴坐标；L in、H in分别为进风口宽度和 高度；T 1、T 2、T 3、T 4、T 5分别为变压器表面第1、2、3、4、5个监测点处的温度，T average 为基于温度 预测模型所得的变压器表面预测平均温度；N in为基于噪声预测模型所得的进风口噪声监测 点处的预测A声压级；
Figure 863095DEST_PATH_IMAGE004
表示温度预测神经网络模型；
Figure 880729DEST_PATH_IMAGE005
表示噪声预测神 经网络模型。
进一步优选，构建的卷积神经网络由数据输入层、卷积层、池化层、全连接层和数据输出层组成；其中数据输入层的神经元个数由输入数据的特征数量决定，输入数据的特征包括进风口左下角的位置坐标、尺寸大小；数据输出层的神经元个数由标签数量决定，标签为监测点的温度和噪声；对于卷积神经网络其余的超参数，均由贝叶斯优化算法自动寻优得到。
进一步优选，采用步骤S3所训练出的温度预测模型和噪声预模型建立进风口参数优化模型如下：
Figure 375296DEST_PATH_IMAGE006
（4）
Figure 344126DEST_PATH_IMAGE007
（5）
Figure 215130DEST_PATH_IMAGE008
（6）
式中
Figure 87271DEST_PATH_IMAGE009
、
Figure 18318DEST_PATH_IMAGE010
、
Figure 412128DEST_PATH_IMAGE011
、
Figure 86823DEST_PATH_IMAGE012
和
Figure 813471DEST_PATH_IMAGE013
、
Figure 508894DEST_PATH_IMAGE014
、
Figure 688203DEST_PATH_IMAGE015
、
Figure 399545DEST_PATH_IMAGE016
分别为X in、Z in、L in、H in的取值范围上下限；
Figure 980699DEST_PATH_IMAGE017
为进风口监测点处的最大允许A声压级。
进一步优选，步骤 S5的过程如下：强化学习环境中的动作空间由环境中的控制变量组成，可控变量为进风口左下角的位置坐标和尺寸大小；强化学习环境的动作空间A表示为：
Figure 519127DEST_PATH_IMAGE018
（7）
强化学习环境中的状态空间S如下：
Figure 185732DEST_PATH_IMAGE019
（8）
式中，f 1表示温度；f 2表示噪声；
Figure 904027DEST_PATH_IMAGE020
、
Figure 605267DEST_PATH_IMAGE021
分别为大门左下角X轴和Z轴坐标；
Figure 642493DEST_PATH_IMAGE022
、
Figure 530815DEST_PATH_IMAGE023
分别为大门的宽度和高度；
Figure 616582DEST_PATH_IMAGE024
、
Figure 405285DEST_PATH_IMAGE025
分别为主变室墙壁的宽度和高度；
构造的强化学习奖励函数如下：
Figure 488778DEST_PATH_IMAGE026
（9）
采用SAC算法在强化学习的基础上，增加可调整熵值项H，深度强化学习智能体更 新最优控制策略的目标函数
Figure 864396DEST_PATH_IMAGE027
公式如下所示：
Figure 222696DEST_PATH_IMAGE028
（10）
Figure 131484DEST_PATH_IMAGE029
（11）
式中，
Figure 448196DEST_PATH_IMAGE030
表示状态动作
Figure 639006DEST_PATH_IMAGE031
对概率分布为
Figure 800997DEST_PATH_IMAGE032
时的期望奖励值；
Figure 800177DEST_PATH_IMAGE033
和
Figure 786325DEST_PATH_IMAGE034
分别表示t时刻下的状态和动作，T表示总时间；
Figure 870956DEST_PATH_IMAGE035
表示在状态
Figure 102217DEST_PATH_IMAGE033
下进行动作
Figure 424745DEST_PATH_IMAGE034
得到的 奖励值；
Figure 50636DEST_PATH_IMAGE036
表示状态
Figure 153721DEST_PATH_IMAGE033
时控制策略
Figure 985411DEST_PATH_IMAGE037
的熵值；
Figure 490342DEST_PATH_IMAGE038
为正则化系数；
Figure 788599DEST_PATH_IMAGE037
和
Figure 611936DEST_PATH_IMAGE039
分别表示控制 策略和最优的控制策略。
与现有技术相比，本发明的有益效果是：通过有限元分析法对其温度场、流体场和声场进行仿真建模；采用卷积神经网络建立温度预测模型和噪声预测模型；鉴于现有参数优化问题所使用的启发式算法存在优化时间长，容易陷入局部最优的问题。本发明引入优化时间短且寻优能力强的基于最大熵的强化学习优化算法，对进风口设计参数进行优化。通过将进出风口位置设计参数作为强化学习动作空间，输入预测模型中得到的监测点温度和噪声，并将这两个参数作为强化学习状态空间，在满足噪声约束和位置约束的条件下将温度作为奖励函数进行学习训练。训练好的智能体无需建立精准的数学模型，可在线对进出风口位置给出最优方案。
附图说明
图1为户内变电站通风散热结构示意图。
图2为本发明流程图。
图3为温度预测误差分析图。
图4为噪声预测误差分析图。
图5为SAC算法整体框架图。
图中：1-排风口、2-大门、3-进风口、4-坐标原点、5-散热器、6-主变压器。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
户内变电站通风散热结构如图1所示，以进风口3一侧的一角为坐标原点4，户内变电站通风散热结构内部安装有主变压器6，主变压器6旁设有散热器5，户内变电站通风散热结构正面设有进风口3和大门2，户内变电站通风散热结构顶部设有排风口1。
参照图2，一种户内变电站通风降噪深度强化学习设计方法，步骤如下：
S1：基于有限元仿真软件建立户内变电站的温度场、空气流场和噪声场的仿真模型；
首先建立户内变电站温度场、空气流场的仿真模型。在Design Modeler软件中建立户内变电站的三维模型，并将主变压器、散热器与各墙体之间的可填充气体区域作为风速流动和温度传递的计算区域。将建立好的三维模型导入Meshing软件，采用四面体网格对计算区域进行网格划分，网格尺寸为2mm。将划分好的网格模型导入Fluent软件中，采用有限体积法建立离散方程；设置进风口为风速入口，风速为3.8m/s，设置出风口为压强出口，压强为0，环境温度设置为33.2℃；采用标准的k-ε湍流模型和SIMPLE求解算法设置Fluent软件的参数；计算收敛标准均为默认值，能量收敛残差值为10-6，速度、质量、湍流参数收敛残差值为10-3。
变电站室内距变压器越近温度越高；由于进风口附近风速较快，变压器和散热器靠近进风口侧温度也比较低，接近于环境温度33.2℃；而远离进风口侧的温度较高；表明空气流动越快的地方，降温效果越好。仿真得到的温度场基本符合变电站室内通风散热的实际情况。
为进一步验证温度场的有效性，在上述环境条件下，在坐标（x=0，y=5）位置处以及坐标（x=2.5，y=0）位置处截取几个不同高度值z的监测点，获得监测点的温度数值模拟计算结果与实测结果。在同一环境条件下数值模拟计算结果与实测结果趋势基本吻合，两个位置处的温度随着高度的增加而升高；温度仿真值与温度实测值的最大温度差为1.57℃，最大相对误差为4.21%，数值计算结果基本符合实际状况。
然后在户内变电站温度场、空气流场的仿真模型的基础上建立噪声场仿真模型。通过对该户内变电站进行近场测量，可得距变压器1m处25Hz-4000Hz的1/3倍频程噪声频谱。该户内变压器的噪声源主要以中低频为主，经计算噪声源各频率分量的平均值为69.94dB。将该频谱信号作为有限元仿真时变压器的激励频谱，并利用Comsol软件对噪声场进行建模仿真。将Fluent软件中建立的内变电站温度场、空气流场的仿真模型导入Comsol软件；在室外距进、出风口0.5m范围内设置笛卡尔完美匹配层（此处假设户外声场进行无反射传播，在完美匹配层内，声波以无反射的方式通过），以便模拟声波在远离声源传播过程中的衰减情况；采用四面体网格对Comsol软件所得仿真模型进行网格划分，最终形成户内变电站的温度场、空气流场和噪声场的仿真模型。
噪声声压级在该频段的分布呈现出一种区域性变化的情况，最大为86.4dB,最小为21.3dB。变压器和散热器附近噪声较大，远离变压器和散热器的上方噪声逐渐变小，这与实际情况基本吻合。为进一步验证仿真模型中噪声场的有效性，分别在进风口处（距进风口外侧0.5m）、排风口处（距排风口外侧0.5m）、变压器顶部距变压器上表面0.5m、人活动域（变压器朝北方向，高度约为1.75m），设置四个噪声监测点，并计算A声压级以实现对监测点噪声大小的评估，A声压级实测值与A声压级仿真值对照结果如表1所示。
Figure 122683DEST_PATH_IMAGE040
由表1可知：A声压级实测值与A声压级仿真值之间的最大相对误差为3.42%，小于5%，所构建的噪声场仿真模型具有较高的拟合性，该噪声场仿真模型可后续样本数据生成提供基础，且噪声仿真值和噪声实测值均表明该变电站向室外排放的噪声已超过国家声环境质量标准45dB。
S2：利用仿真模型对不同进风口设计参数组合的通风降噪效果进行仿真计算，得到样本数据集；
基于步骤S1构建的仿真模型，使用有限元仿真软件对随机生成的1200组不同进风口设计参数进行仿真计算，以获得进风口设计参数与监测点温度、噪声对应关系的样本数据集，并采用z-score函数对输入的样本数据集进行标准化预处理。然后按照8：2的比例将标准化预处理后的样本数据集随机分成训练集和测试集。
S3：基于获得的样本数据集对卷积神经网络（CNN，Convolutional NeuralNetwork）进行学习训练，构造出温度预测模型和噪声预测模型，以此表述进风口设计参数与监测点温度和噪声之间的映射关系；
温度预测模型如下：
Figure 950962DEST_PATH_IMAGE001
（1）
Figure 951279DEST_PATH_IMAGE002
（2）
噪声预测模型如下：
Figure 825694DEST_PATH_IMAGE003
（3）
式中：X in、Z in分别为进风口左下角X轴坐标、Z轴坐标；L in、H in分别为进风口宽度和 高度；T 1、T 2、T 3、T 4、T 5分别为变压器表面第1、2、3、4、5个监测点处的温度，T average 为基于温度 预测模型所得的变压器表面预测平均温度；N in为基于噪声预测模型所得的进风口噪声监测 点处的预测A声压级；
Figure 724422DEST_PATH_IMAGE041
表示温度预测神经网络模型；
Figure 672786DEST_PATH_IMAGE005
表示噪声预测神 经网络模型。
采用卷积神经网络（CNN）算法，通过样本数据集对卷积神经网络进行训练，并构造出温度预测模型和噪声预测模型，以此表述进风口设计参数与监测点温度和噪声之间的映射关系。构建的卷积神经网络（CNN）主要由数据输入层、卷积层、池化层、全连接层和数据输出层组成。其中数据输入层的神经元个数由输入数据的特征数量决定，输入数据的特征包括进风口左下角的位置坐标(X in，Z in）、尺寸大小（L in，H in），因此数据输入层的神经元个数为4个；数据输出层的神经元个数主要由标签数量决定，所设计的数据输出层的神经元个数为2个，对应的标签分别为监测点的温度和噪声。对于卷积神经网络（CNN）其余的超参数，均由贝叶斯优化算法自动寻优得到。
步骤S2所得训练集用来训练卷积神经网络的进风口位置与温度预测模型、噪声预测模型，训练结束后，使用步骤S2所得测试集预测温度和噪声参数。最终可得温度预测模型和噪声预测模型的相对误差如图3和图4所示。图3中温度预测模型的平均相对误差为2.036%。图4中噪声预测模型的平均相对误差为2.537%。综上分析，利用基于CNN算法的温度、噪声预测模型建立X in、Z in、L in、H in与T average 和N in之间的映射关系是可行的。
S4：基于温度预测模型和噪声预测模型，在户内变电站噪声满足约束前提下，以户内变电站监测点平均温度最低为目标，构建进风口参数优化模型。
为了最大限度地改善户内变电站的散热降噪效果，在对进风口参数进行优化设计时将噪声作为约束条件，在满足该约束的前提下，使变压器表面平均温度最低，采用步骤S3所训练出的温度预测模型和噪声预模型建立进风口参数优化模型如下：
Figure 578425DEST_PATH_IMAGE042
（4）
Figure 815502DEST_PATH_IMAGE007
（5）
Figure 963325DEST_PATH_IMAGE043
（6）
式中
Figure 31775DEST_PATH_IMAGE009
、
Figure 108315DEST_PATH_IMAGE010
、
Figure 957323DEST_PATH_IMAGE011
、
Figure 144722DEST_PATH_IMAGE012
和
Figure 831793DEST_PATH_IMAGE013
、
Figure 282497DEST_PATH_IMAGE044
、
Figure 290904DEST_PATH_IMAGE045
、
Figure 281994DEST_PATH_IMAGE016
分别为X in、Z in、L in、H in的取值范围上下限；
Figure 823571DEST_PATH_IMAGE017
为进风口监测点处的最大允许A声压级。
S5：采用基于最大熵的SAC（Soft Actor-critic，柔性行动-评价）深度强化算法进风口设计参数优化模型进行求解，实现对变电站进风口参数的优化设计。
强化学习环境中的动作空间由环境中的控制变量组成，可控变量为进风口左下角的位置坐标和尺寸大小；强化学习环境的动作空间A表示为：
Figure 569810DEST_PATH_IMAGE018
（7）
强化学习环境中的状态空间S如下：
Figure 65514DEST_PATH_IMAGE046
（8）
式中，f 1表示温度；f 2表示噪声；
Figure 860294DEST_PATH_IMAGE020
、
Figure 492264DEST_PATH_IMAGE021
分别为大门左下角X轴和Z轴坐标；
Figure 783306DEST_PATH_IMAGE022
、
Figure 766305DEST_PATH_IMAGE023
分别为大门的宽度和高度；
Figure 364777DEST_PATH_IMAGE024
、
Figure 851253DEST_PATH_IMAGE025
分别为主变室墙壁的宽度和高度；
构造的强化学习奖励函数如下：
Figure 204874DEST_PATH_IMAGE026
（9）
采用SAC算法在强化学习的基础上，增加可调整熵值项H，这样学习的目标就不只 是最大化累计奖励，而且增加了最大化熵值，从而鼓励更多的探索。深度强化学习智能体更 新最优控制策略的目标函数
Figure 908125DEST_PATH_IMAGE027
公式如下所示：
Figure 44709DEST_PATH_IMAGE047
（10）
Figure 651271DEST_PATH_IMAGE029
（11）
式中，
Figure 847897DEST_PATH_IMAGE048
表示状态动作
Figure 38444DEST_PATH_IMAGE049
对概率分布为
Figure 916402DEST_PATH_IMAGE050
时的期望奖励 值；
Figure 643049DEST_PATH_IMAGE051
和
Figure 10577DEST_PATH_IMAGE052
分别表示t时刻下的状态和动作，T表示总时间；
Figure 252202DEST_PATH_IMAGE053
表示在状态
Figure 494702DEST_PATH_IMAGE054
下进 行动作
Figure 75856DEST_PATH_IMAGE052
得到的奖励值；
Figure 348706DEST_PATH_IMAGE036
表示状态
Figure 218573DEST_PATH_IMAGE055
时控制策略π的熵值；
Figure 733606DEST_PATH_IMAGE056
为正则化系数， 用以鼓励更多探索的同时防止过拟合；π和
Figure 434845DEST_PATH_IMAGE057
分别表示控制策略和最优的控制策略。
SAC算法整体框架如图5所示，它主要由3个网络组成，分别是价值网络(V网络)、动作-价值网络(Q网络)、控制策略网络(π网络)。其中，V网络和Q网络负责计算价值函数值和动作-价值函数值，而策略网络则输出策略值，用于指导深度强化学习智能体行动。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种户内变电站通风降噪深度强化学习设计方法，其特征是，步骤如下：
S1：基于有限元仿真软件建立户内变电站的温度场、空气流场和噪声场的仿真模型；
S2：利用仿真模型对不同进风口设计参数组合的通风降噪效果进行仿真计算，得到样本数据集；
S3：基于获得的样本数据集对卷积神经网络进行学习训练，构造出户内变电站监测点处温度预测模型和噪声预测模型；
S4：基于温度预测模型和噪声预测模型，在户内变电站噪声满足约束前提下，以户内变电站监测点平均温度最低为目标，构建进风口参数优化模型；
S5: 采用基于最大熵的SAC深度强化算法对进风口参数优化模型进行求解，实现对变电站进风口参数的优化设计。
2.根据权利要求1所述的一种户内变电站通风降噪深度强化学习设计方法，其特征是，步骤S1中建立户内变电站的温度场、空气流场和噪声场的仿真模型的过程如下：
首先建立户内变电站温度场、空气流场的仿真模型：在Design Modeler软件中建立户内变电站的三维模型，并将主变压器、散热器与各墙体之间的可填充气体区域作为风速流动和温度传递的计算区域；将建立好的三维模型导入Meshing软件，采用四面体网格对计算区域进行网格划分；将划分好的三维模型导入Fluent软件中，采用有限体积法建立离散方程；设置进风口为风速入口，并设置风速，设置出风口为压强出口，并设置压强，设置环境温度；
然后在户内变电站温度场、空气流场的仿真模型的基础上建立噪声场仿真模型：对户内变电站进行近场测量得到噪声频谱，将噪声频谱作为有限元仿真时变压器的激励频谱，并利用Comsol软件对噪声场进行建模仿真；将Fluent软件中建立的户内变电站温度场、空气流场的仿真模型导入Comsol软件；在室外距进、出风口内设置笛卡尔完美匹配层，模拟声波在远离声源传播过程中的衰减情况；采用四面体网格对Comsol软件所得仿真模型进行网格划分，最终形成户内变电站的温度场、空气流场和噪声场的仿真模型。
3.根据权利要求1所述的一种户内变电站通风降噪深度强化学习设计方法，其特征是，步骤S2中，基于步骤S1构建的仿真模型，使用有限元仿真软件对随机生成的不同进风口设计参数进行仿真计算，以获得进风口设计参数与监测点温度、噪声对应关系的样本数据集，并采用z-score函数对输入的样本数据集进行标准化预处理；然后将标准化预处理后的样本数据集随机分成训练集和测试集。
4.根据权利要求1所述的一种户内变电站通风降噪深度强化学习设计方法，其特征是，步骤S3中，通过样本数据集对卷积神经网络进行训练，构造出温度预测模型和噪声预测模型，以温度预测模型和噪声预测模型表述进风口设计参数与监测点温度和噪声之间的映射关系；
温度预测模型如下：
Figure 772456DEST_PATH_IMAGE001
（1）
Figure 129619DEST_PATH_IMAGE002
（2）
噪声预测模型如下：
Figure 448343DEST_PATH_IMAGE003
（3）
式中：X in、Z in分别为进风口左下角X轴坐标、Z轴坐标；L in、H in分别为进风口宽度和高度；T 1、T 2、T 3、T 4、T 5分别为变压器表面第1、2、3、4、5个监测点处的温度，T average 为基于温度预测 模型所得的变压器表面预测平均温度；N in为基于噪声预测模型所得的进风口噪声监测点处 的预测A声压级；
Figure 738510DEST_PATH_IMAGE004
表示温度预测神经网络模型；
Figure 618741DEST_PATH_IMAGE005
表示噪声预测神经网 络模型。
5.根据权利要求4所述的一种户内变电站通风降噪深度强化学习设计方法，其特征是，构建的卷积神经网络由数据输入层、卷积层、池化层、全连接层和数据输出层组成；其中数据输入层的神经元个数由输入数据的特征数量决定，输入数据的特征包括进风口左下角的位置坐标、尺寸大小；数据输出层的神经元个数由标签数量决定，标签为监测点的温度和噪声；对于卷积神经网络其余的超参数，均由贝叶斯优化算法自动寻优得到。
6.根据权利要求4所述的一种户内变电站通风降噪深度强化学习设计方法，其特征是，采用步骤S3所训练出的温度预测模型和噪声预模型建立进风口参数优化模型如下：
Figure 994359DEST_PATH_IMAGE006
（4）
Figure 874632DEST_PATH_IMAGE007
（5）
Figure 284884DEST_PATH_IMAGE008
（6）
式中
Figure 867175DEST_PATH_IMAGE009
、
Figure 730089DEST_PATH_IMAGE010
、
Figure 593878DEST_PATH_IMAGE011
、
Figure 327479DEST_PATH_IMAGE012
和
Figure 815092DEST_PATH_IMAGE013
、
Figure 132678DEST_PATH_IMAGE014
、
Figure 832781DEST_PATH_IMAGE015
、
Figure 952047DEST_PATH_IMAGE016
分别为X in、Z in、L in、H in的 取值范围上下限；
Figure 344982DEST_PATH_IMAGE017
为进风口监测点处的最大允许A声压级。
7.根据权利要求4所述的一种户内变电站通风降噪深度强化学习设计方法，其特征是，步骤S5的过程如下：强化学习环境中的动作空间由环境中的控制变量组成，可控变量为进风口左下角的位置坐标和尺寸大小；强化学习环境的动作空间A表示为：
Figure 681023DEST_PATH_IMAGE018
（7）
强化学习环境中的状态空间S如下：
Figure 184817DEST_PATH_IMAGE019
（8）
式中，f 1表示温度；f 2表示噪声；
Figure 158589DEST_PATH_IMAGE020
、
Figure 456846DEST_PATH_IMAGE021
分别为大门左下角X轴和Z轴坐标；
Figure 578386DEST_PATH_IMAGE022
、
Figure 118827DEST_PATH_IMAGE023
分别为大门的宽度和高度；
Figure 947105DEST_PATH_IMAGE024
、
Figure 681843DEST_PATH_IMAGE025
分别为主变室墙壁的宽度和高度；
构造的强化学习奖励函数如下：
Figure 228362DEST_PATH_IMAGE026
（9）
采用SAC算法在强化学习的基础上，增加可调整熵值项H，深度强化学习智能体更新最 优控制策略的目标函数
Figure 634810DEST_PATH_IMAGE027
公式如下所示：
Figure 317596DEST_PATH_IMAGE028
（10）
Figure 223235DEST_PATH_IMAGE029
（11）
式中，
Figure 53788DEST_PATH_IMAGE030
表示状态动作
Figure 437495DEST_PATH_IMAGE031
对概率分布为
Figure 4481DEST_PATH_IMAGE032
时的期望奖励值；
Figure 81021DEST_PATH_IMAGE033
和
Figure 336553DEST_PATH_IMAGE034
分 别表示t时刻下的状态和动作，T表示总时间；
Figure 523952DEST_PATH_IMAGE035
表示在状态
Figure 742181DEST_PATH_IMAGE033
下进行动作
Figure 989623DEST_PATH_IMAGE034
得到的奖 励值；
Figure 998030DEST_PATH_IMAGE036
表示状态
Figure 723541DEST_PATH_IMAGE033
时控制策略
Figure 297742DEST_PATH_IMAGE037
的熵值；
Figure 949041DEST_PATH_IMAGE038
为正则化系数；
Figure 179165DEST_PATH_IMAGE037
和
Figure 973946DEST_PATH_IMAGE039
分别表示控制策 略和最优的控制策略。
CN202211017105.9A 2022-08-24 2022-08-24 一种户内变电站通风降噪深度强化学习设计方法 Active CN115099115B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211017105.9A CN115099115B (zh) 2022-08-24 2022-08-24 一种户内变电站通风降噪深度强化学习设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211017105.9A CN115099115B (zh) 2022-08-24 2022-08-24 一种户内变电站通风降噪深度强化学习设计方法

Publications (2)

Publication Number Publication Date
CN115099115A true CN115099115A (zh) 2022-09-23
CN115099115B CN115099115B (zh) 2022-12-30

Family

ID=83301605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211017105.9A Active CN115099115B (zh) 2022-08-24 2022-08-24 一种户内变电站通风降噪深度强化学习设计方法

Country Status (1)

Country Link
CN (1) CN115099115B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117610416A (zh) * 2023-11-24 2024-02-27 四川大学 一种基于有限差分无监督学习的噪声传播快速预测方法
CN117951968A (zh) * 2024-03-27 2024-04-30 国网山西省电力公司电力科学研究院 基于环境因素分析的电力设备受灾影响评估方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002059497A2 (en) * 2000-12-29 2002-08-01 General Dynamics Advanced Technology Systems, Inc. Neural net controller for noise and vibration reduction
CN106873359A (zh) * 2015-12-11 2017-06-20 中国电力科学研究院 一种基于聚类分析和神经网络的风电噪声评价方法
US10032256B1 (en) * 2016-11-18 2018-07-24 The Florida State University Research Foundation, Inc. System and method for image processing using automatically estimated tuning parameters
CN110110780A (zh) * 2019-04-30 2019-08-09 南开大学 一种基于对抗神经网络和海量噪声数据的图片分类方法
CN110514957A (zh) * 2019-08-19 2019-11-29 深圳供电局有限公司 变电站自动巡检方法和平台
CN111209958A (zh) * 2020-01-03 2020-05-29 南方电网科学研究院有限责任公司 基于深度学习的变电站设备检测方法及装置
CN112347705A (zh) * 2021-01-07 2021-02-09 中国电力科学研究院有限公司 一种建立变电站厂界噪声模型的方法和系统
CN113048086A (zh) * 2021-03-18 2021-06-29 江苏大学 一种基于径向基神经网络模型的低噪声不等距离心风扇优化设计方法
CN113109794A (zh) * 2020-01-13 2021-07-13 中国科学院声学研究所 一种强噪声环境下基于深度神经网络的深海声源定深方法
CN113221413A (zh) * 2021-05-10 2021-08-06 国网湖北省电力有限公司电力科学研究院 一种变电站可听噪声预测的声波干涉修正方法及系统
CN114091538A (zh) * 2021-11-23 2022-02-25 吉林大学 一种基于信号特征的判别损失卷积神经网络智能降噪方法
CN114116061A (zh) * 2021-11-26 2022-03-01 内蒙古大学 一种移动边缘计算环境下的工作流任务卸载方法及系统
CN114297335A (zh) * 2022-03-09 2022-04-08 华东交通大学 基于自集成学习的高度噪声数据处理方法与系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002059497A2 (en) * 2000-12-29 2002-08-01 General Dynamics Advanced Technology Systems, Inc. Neural net controller for noise and vibration reduction
CN106873359A (zh) * 2015-12-11 2017-06-20 中国电力科学研究院 一种基于聚类分析和神经网络的风电噪声评价方法
US10032256B1 (en) * 2016-11-18 2018-07-24 The Florida State University Research Foundation, Inc. System and method for image processing using automatically estimated tuning parameters
CN110110780A (zh) * 2019-04-30 2019-08-09 南开大学 一种基于对抗神经网络和海量噪声数据的图片分类方法
CN110514957A (zh) * 2019-08-19 2019-11-29 深圳供电局有限公司 变电站自动巡检方法和平台
CN111209958A (zh) * 2020-01-03 2020-05-29 南方电网科学研究院有限责任公司 基于深度学习的变电站设备检测方法及装置
CN113109794A (zh) * 2020-01-13 2021-07-13 中国科学院声学研究所 一种强噪声环境下基于深度神经网络的深海声源定深方法
CN112347705A (zh) * 2021-01-07 2021-02-09 中国电力科学研究院有限公司 一种建立变电站厂界噪声模型的方法和系统
CN113048086A (zh) * 2021-03-18 2021-06-29 江苏大学 一种基于径向基神经网络模型的低噪声不等距离心风扇优化设计方法
CN113221413A (zh) * 2021-05-10 2021-08-06 国网湖北省电力有限公司电力科学研究院 一种变电站可听噪声预测的声波干涉修正方法及系统
CN114091538A (zh) * 2021-11-23 2022-02-25 吉林大学 一种基于信号特征的判别损失卷积神经网络智能降噪方法
CN114116061A (zh) * 2021-11-26 2022-03-01 内蒙古大学 一种移动边缘计算环境下的工作流任务卸载方法及系统
CN114297335A (zh) * 2022-03-09 2022-04-08 华东交通大学 基于自集成学习的高度噪声数据处理方法与系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
徐少平等: "基于CNN噪声分离模型的噪声水平估计算法", 《计算机研究与发展》 *
徐强，吴望冰，毛西吟，吴妃，曾添: "城市变电站中变压器噪声的来源、检测方法及降噪措施", 《自动化应用》 *
李斌等: "小波神经网络阈值自学习在信号去噪中的应用", 《中国测试技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117610416A (zh) * 2023-11-24 2024-02-27 四川大学 一种基于有限差分无监督学习的噪声传播快速预测方法
CN117610416B (zh) * 2023-11-24 2024-08-02 四川大学 一种基于有限差分无监督学习的噪声传播快速预测方法
CN117951968A (zh) * 2024-03-27 2024-04-30 国网山西省电力公司电力科学研究院 基于环境因素分析的电力设备受灾影响评估方法及系统

Also Published As

Publication number Publication date
CN115099115B (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
CN115099115B (zh) 一种户内变电站通风降噪深度强化学习设计方法
Zhang et al. Optimal design of building environment with hybrid genetic algorithm, artificial neural network, multivariate regression analysis and fuzzy logic controller
CN111881505B (zh) 一种基于ga-rbf算法的既有建筑多目标优化改造决策方法
CN110097217B (zh) 一种基于等效rc模型的建筑动态室温预测方法
CN102663251A (zh) 基于计算流体力学模型的风电场功率物理预测方法
CN114322199B (zh) 基于数字孪生的通风系统自主优化运行调控平台及方法
CN102510059A (zh) 基于bp神经网络的超短期风电功率预测方法
CN106779071A (zh) 一种用于矿井通风机的神经网络自适应调速方法
CN114662201B (zh) 一种自然通风智能调控的寻优方法
Song et al. An indoor temperature prediction framework based on hierarchical attention gated recurrent unit model for energy efficient buildings
Chan et al. Application of artificial neural network and genetic algorithm to the optimization of load distribution for a multiple-type-chiller plant
CN106650977A (zh) 应用于新建风电场的短期功率预测方法
CN112016754A (zh) 基于神经网络的电站锅炉排烟温度超前预测系统及方法
CN115983438A (zh) 数据中心末端空调系统运行策略确定方法及装置
CN113435042B (zh) 一种建筑空调系统需求响应的强化学习建模方法
CN113158593B (zh) 一种基于人工智能的医院病房通风系统智能设计方法
CN117760063A (zh) 一种基于空气焓值的地铁空调负荷预测方法
CN117113553A (zh) 一种基于cfd的齿轮箱散热模拟仿真方法
CN116910956A (zh) 一种大型建筑内部球形风口位置确定方法、介质及系统
CN116360266A (zh) 一种基于多目标优化算法的猪舍温度节能控制方法
CN116796406A (zh) 基于人工神经网络和bim的建筑能耗优化方法
CN114543273B (zh) 一种集中空调供冷系统自适应深度学习优化节能控制算法
CN115034033A (zh) 一种空调选型方法
CN113312773B (zh) 一种地源热泵设备的能效精细化方法
Lückehe et al. Simulated Annealing With Parameter Tuning for Wind Turbine Placement Optimization.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant