CN116796168A - 一种基于多头注意力机制的CNN-BiLSTM高海拔多因素输电线路可听噪声预测方法 - Google Patents

一种基于多头注意力机制的CNN-BiLSTM高海拔多因素输电线路可听噪声预测方法 Download PDF

Info

Publication number
CN116796168A
CN116796168A CN202310550858.4A CN202310550858A CN116796168A CN 116796168 A CN116796168 A CN 116796168A CN 202310550858 A CN202310550858 A CN 202310550858A CN 116796168 A CN116796168 A CN 116796168A
Authority
CN
China
Prior art keywords
audible noise
bilstm
data
cnn
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310550858.4A
Other languages
English (en)
Inventor
黄悦华
张子豪
陈庆
刘兴韬
涂金童
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Three Gorges University CTGU
Original Assignee
China Three Gorges University CTGU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Three Gorges University CTGU filed Critical China Three Gorges University CTGU
Priority to CN202310550858.4A priority Critical patent/CN116796168A/zh
Publication of CN116796168A publication Critical patent/CN116796168A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2123/00—Data types
    • G06F2123/02—Data types in the time domain, e.g. time-series data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Water Supply & Treatment (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于多头注意力机制的CNN‑BiLSTM高海拔多因素输电线路可听噪声预测方法，包括以下步骤：步骤一、在输电线路下搭建可听噪声观测站，同时利用气象站进行多环境因素指标的数据采集；步骤二、采用皮尔逊相关性分析对多种环境因素数据进行相关程度计算比较与剔除；步骤三、使用CNN对多环境因素数据进行特征提取；步骤四、将提取的特征向量输入到BiLSTM中进行训练，并通过在BiLSTM端引入多头注意力机制，使模型学习权重更高的数据特征，从而提升模型预测精度；步骤五、利用该组合模型对可听噪声实测数据集进行预测。本发明提供一种基于多头注意力机制的CNN‑BiLSTM高海拔多因素输电线路可听噪声预测方法，能够有效提升可听噪声的预测精度。

Description

一种基于多头注意力机制的CNN-BiLSTM高海拔多因素输电线 路可听噪声预测方法
技术领域
本发明涉及输电线路技术领域，特别是一种基于多头注意力机制的CNN-BiLSTM高海拔多因素输电线路可听噪声预测方法。
背景技术
高压输电走廊呈现覆盖地域广、海拔跨度大、气候环境多变等特征，其中高海拔极端差异化环境因素影响是发展输电技术面临的不可避免地问题。一方面，相较于平原地区，高海拔地区的输电线路可听噪声受多环境因素影响。在线路参数相同的情况下，空气密度较低的高海拔输电线路的电晕放电现象更为严重，将会影响线路架设区域电磁环境，特别是可听噪声问题。另一方面，电晕放电产生的可听噪声水平是高海拔超、特高压输电线路结构设计、导线选型、运行维护和线路走廊拆迁范围的主要考虑因素之一。因此，深入开展高海拔电磁环境特性研究，合理预测与控制高海拔地区输电线路的可听噪声水平，对于减小环境影响、提高高压输电实际工程设计水平、推动我国能源远距离输送意义重大。
在考虑海拔对输电线路可听噪声特性影响与预测的研究方面，现有研究提出了交流输电线路1dB/300m修正系数的线性关系海拔修正方法，但不同导线电晕特性不同，该方法的场景适用性存在较大争议；现有研究开展了多个海拔高度点的输电线路可听噪声试验研究工作，通过分析可听噪声数据随海拔变化的规律，分别提出了超高压直流与交流线路可听噪声计算的海拔修正公式；针对某特定海拔高度的特高压直流输电线路展开试验研究，得到了海拔2100m条件下可听噪声分布规律和水平计算海拔修正系数，提出了考虑气象参数的直流线路无线电干扰和可听噪声的预测式。但现有研究往往以低海拔数据简单外推获得高海拔参数或者采用简单的线性拟合方法计算修正，完全忽视了高海拔地区风速、湿度、太阳辐射、紫外线等气象因素的影响，这种简单外推的预测式未经实测数据检验，工程应用会造成电磁环境参数超标或经济性差的问题。
目前，可听噪声预测方法主要包含模拟计算软件预测方法和经验公式预测方法。但软件预测缺少可听噪声的差异化频谱数据库，会导致预测精度无法满足不同场景输电线路的实际需求；基于传统数学公式的经验公式预测虽然计算简单，但对于数据具有较强随机性和波动性的预测场景并不适用。输电线路可听噪声预测依赖的历史数据体量较大、时序性强，受多维因素影响使其具有非线性和非平稳性等特征，上述预测方法往往难以满足考虑多维因素特征数据预测的需求。在风电功率预测、变压器故障预测、短期电力负荷预测等的时序数据场景中采用了LSTM或BiLSTM模型进行预测，结果表明该深度神经网络比其他方法预测精度更高，且BiLSTM对强调顺序的数据表达能力更强。该类模型也适用于同样具备时序特征的输电线路可听噪声数据预测，但模型复杂的网络结构往往导致训练时间较长，且缺乏对影响因素历史数据中的多维特征的预处理，难以完全描述可听噪声受多因素影响的数据变化规律。而提出一种基于CNN-BiLSTM的组合模型，利用CNN的卷积核逐层挖掘相邻数据间的共性规律并进行多个特征提取后，再使用BiLSTM对应用场景数据进行预测，相较于单一的BiLSTM模型，预测精度有明显提升。但在模型训练过程中由于权重分配不均的问题，会造成输入特征中的重要信息丢失，故提出了一种基于CNN-BiLSTM-Attention的预测模型，并验证了该模型具有更高的预测精度。注意力机制通过合理的权重分配提高特征提取能力，可作为一种有效提升可听噪声预测精度的方法。
发明内容
本发明所要解决的技术问题是提供一种基于多头注意力机制的CNN-BiLSTM高海拔多因素输电线路可听噪声预测方法，能够有效提升可听噪声的预测精度。
为解决上述技术问题，本发明所采用的技术方案是：一种基于多头注意力机制的CNN-BiLSTM高海拔多因素输电线路可听噪声预测方法，包括以下步骤：
步骤一、在输电线路下搭建可听噪声观测站，同时利用气象站进行多环境因素指标的数据采集；
步骤二、采用皮尔逊相关性分析对多种环境因素数据进行相关程度计算比较与剔除；
步骤三、使用CNN对多环境因素数据进行特征提取；
步骤四、将提取的特征向量输入到BiLSTM中进行训练，并通过在BiLSTM端引入多头注意力机制，使模型学习权重更高的数据特征，从而提升模型预测精度；
步骤五、利用该组合模型对可听噪声实测数据集进行预测。
优选的，所述步骤一中，分别在边相导线投影外20m、30m、35m处布置可听噪声传声器及相关监测设备，气象站和天气现象仪分别布置在边相导线投影外30m、35m处，用来获取所处环境的监测数据。
优选的，所述步骤二包括以下步骤，
设可听噪声数据p和某环境影响因素数据q的数据集形式分别为：p＝{p1,p2,…，pt，…，pn}，q＝{q1，q2，…，qt，…，qn}，n为时间序列长度，两组数据集之间的皮尔逊相关系数计算为：
式中，和/>分别为两组数据集的数值均值；r为皮尔逊相关系数，取值为[-1，1]。
优选的，所述步骤三，将输入影响因素数据X的时间序列分别输入CNN：
式中，xa为温度，xb为湿度，xc为露点、xd为风速、xe为风向、xf为风寒指数、xg为炎热指数、xh为太阳辐射、xi为紫外线指数、xj为天气现象、xk为1min雨量。
通过一维卷积对时间序列的特征提取：
式中，Y为卷积层输出状态；Wc为卷积层权重矩阵；X为11种影响因素数据的时间序列；bc为卷积层偏置向量；为ReLU激活函数；
选取最大池化方式进行池化操作，通过滑动窗口计算得到矩阵的最大值：
K＝max(Y)+bk (4)
式中，K为池化层的输出状态，bk为池化层的权重矩阵；
通过全连接层输出CNN所提取的特征向量：
F＝σ(K×ws+bs) (5)
式中，F为CNN输出的特征向量，ws为全连接层的权重矩阵，bs为全连接层的偏置向量，σ为sigmoid激活函数。
优选的，所述步骤四包括先建立LSTM模型，LSTM网络计算过程如式(6)-(11)所示。
ft＝σ(Wf·[ht-1，xt]+bf) (6)
it＝σ(Wi·[ht-1，xt]+bi) (7)
Ot＝σ(Wo·[ht-1，xt]+bo) (10)
式中，xt为输入序列；ht-1为t-1时刻的隐藏层状态；ft、it、Ot分别为t时刻遗忘门、输入门、输出门的状态；Ct-1为t-1时刻的细胞状态；为输入门t时刻记忆单元的临时状态；Ct为得到新细胞状态；Wf、Wi、Wx、Wo分别为遗忘门、输入门、细胞状态、输出门的权重矩阵；bf、bi、bc、bo分别为遗忘门、输入门、细胞状态、输出门的偏置项；ht为输出值；σ(·)为sigmoid激活函数；tanh为双曲正切激活函数；/>为Hadamard乘法；
前向LSTM、后向LSTM的隐藏层更新状态以及BiLSTM最终输出过程如式(12)所示：
式中，分别为t时刻的前向传播层、后向传播层的输出；ω1、ω3分别为输入层到前向和后向传播层的权值矩阵；ω2、ω5分别为前向、后向传播层到自身传播层的权值矩阵；ω4、ω6分别为前向和后向传播层到输出层的权值矩阵；yt为最终输出门的输出值；fR、fL为前向LSTM层和后向LSTM层的激活函数；函数f为对前向、后向传播结果进行拼接的函数。
优选的，所述步骤四中，在BiLSTM端引入多头注意力机制包括以下步骤：
将BiLSTM输出的向量通过三次不同的映射操作分别转换成三个维度均为dk的输入矩阵：查询Q-Query、键K-Key和值V-Value，其注意力输出矩阵如式(13)所示，
式中，dk为各键的特征维度，用于权重缩放，经softmax归一化至[0，1]区间；
多头注意力机制是对自注意力机制的一种改进，将自注意力机制分成多个平行的头进行多次线性映射，对不同映射结果进行计算，处理输入序列中不同层次的信息，计算全局注意力。将时间序列分为h个子空间，各头对子空间进行自注意力计算，增强注意力的表达能力，拼接、集成h个头的结果提取特征。经过h次放缩注意力计算后，得到多个head，将每一次的head进行拼接，经过线性变换得到最后结果。计算过程如式(14)-(15)所示，
headi＝Attention(QWi Q，KWi K，VWi V) (14)
MultHead(Q,K，V)＝Concat(head1，…，headh)Wo (15)
式中，Wo表示线性变换的权重，headi表示多头注意力模块中的第i个头，Concat的代表拼接操作，MultHead(Q,K，V)为最后输出结果，能够从不同空间中学习到更多的特征信息。
优选的，所述步骤五，首先将数据进行归一化处理，
采用min-max标准化将数据归一化到[0，1]，计算过程如式(16)所示。
式中，Xi为实测数据值；Xmax和Xmin分别为实测数据中的最大值和最小值；为Xi归一化之后的值；
当利用归一化后的数据输入模型得到归一化的预测结果后，利用式(17)对其进行反归一化，得到真实的预测结果；
式中，X为反归一化后得到的可听噪声实际预测值。
优选的，所述步骤五还包括对预测模型进行验证，
采用均方根误差、平均绝对误差和平均绝对百分比误差对预测模型性能进行评估，其计算方法如式(18)-(20)所示，
其中，yi表示第i个样点的可听噪声预测值，表示第i个样点的可听噪声实测值，m代表测试样本总数。
本发明提供的一种基于多头注意力机制的CNN-BiLSTM高海拔多因素输电线路可听噪声预测方法，能够较为准确的预测出输电线路客厅噪声值，为实际工程中的无线电干扰值预测方法研究提供了思路。
附图说明
下面结合附图和实施例对本发明作进一步说明：
图1为本发明观测站测量现场
图2为本发明设备布置情况
图3为本发明影响因素相关性分析
图4为本发明基于多头注意力机制的CNN-BiLSTM预测模型流程图
图5为本发明LSTM记忆单元结构
图6为本发明BiLSTM网络模型结构
图7为本发明Multi-head Attention机制结构
图8为本发明损失函数变化曲线
图9为本发明边相导线投影外20m评价指标
图10为本发明边相导线投影外30m评价指标
图11为本发明边相导线投影外35m评价指标
图12为本发明20天数据不同预测模型结果对比
图13为本发明7天数据不同预测模型结果对比
图14为本发明24h数据不同预测模型结果对比
图15为本发明1h数据不同预测模型结果对比
图16为本发明边相导线投影外30m数据预测模型泛化性验证
图17为本发明边相导线投影外35m数据预测模型泛化性验证。
具体实施方式
一、为了研究考虑高海拔多环境因素影响下输电线路可听噪声的预测问题，在海拔2400m高度点的500kV同塔双回线路下，如图1-2所示，搭建了边相外20m、30m、35m三处可听噪声观测站，同时利用气象站进行多环境因素指标的数据采集；
由于高海拔地区输电线路导线发生电晕现象的环境影响因素众多，同时还具有随机性与波动性的特点，导致电晕放电产生的可听噪声水平精细化理论研究非常困难。因此，本发明研究主要以周期性监测高海拔可听噪声及其影响因数的数据为基础，并开展规律分析与预测工作。在位于海拔2420m的四川省凉山州盐源县搭建了长期观测站，该站位于500kV同塔双回线路315-316#杆塔之间，周围地势较为平坦，测点地势开阔、周围空旷，可保证测量工作正常开展。按照DL/T501-2017《高压架空输电线路可听噪声测量方法》要求，分别在边相导线投影外20m、30m、35m处布置可听噪声传声器及相关监测设备。
气象站和天气现象仪分别布置在边相导线投影外30m、35m处，用来获取所处环境的监测数据。气象参数由DAVIS Vantage Pro2 Plus便携式气象站进行采集，通过气象传感器完成各种气象信息数据(如风向、风速、空气温度、空气湿度、气压、雨量等)的自动采集和存储。而对于雨、雪、雾等天气状况以及降雨起始、终止时刻的判别，主要依据CJY-2C/T型天气现象仪测量数据。户外测量设备通过电缆连接的不间断电源(Uninterruptible PowerSupply,UPS)持续供电，其获取的海量数据通过有线-无线通信通道传送至多通道分析仪及计算机的数据采集单元，最终采集的数据均通过计算机内置PULSE软件对进行分类存储、分析处理、在线显示和远程读取。
本发明选取监测时间从2022年2月19日开始至2022年6月22日的输电线路可听噪声及其16种潜在环境影响因素的实测数据，每1min获取一组数据。并对仪器校准时的无效数据以及异常记录数据进行剔除，例如，根据GB3096-2008《声环境质量标准》要求，为减小大风对可听噪声测量结果的异常影响，统计数据中已剔除了风速在5m/s以上的监测数据。最终，处理得到168562组有效数据作为本发明研究的样本数据集。
二、采用皮尔逊相关性分析对多种环境因素数据进行相关程度计算比较与剔除；
由于高海拔地区影响输电线路可听噪声的环境因素较多，全部考虑到可听噪声变化规律分析与预测计算中会带来较大的非必要工作量。实际上，相关环境因素对可听噪声的影响强弱程度是不同的，因此在可听噪声预测前对输入预测模型的数据进行相关性分析，剔除相关性弱的影响因素以减少模型计算复杂度是非常必要的。皮尔逊相关系数能够准确反应变量间的相关性，本发明采用该系数评判可听噪声与其影响因素之间的关系。
设可听噪声数据p和某环境影响因素数据q的数据集(n为时间序列长度)形式分别为：p＝{p1，p2，…，pt，…，pn}，q＝{q1，q2，…，qt，…，qn}，两组数据集之间的皮尔逊相关系数计算为：
式中，和/>分别为两组数据集的数值均值；r为皮尔逊相关系数，取值为[-1，1]。由表1可知，r用来描述p和q间线性相关强弱的程度，且r的绝对值越大，p和q线性相关的程度越强。若r＞0，反映p和q为正相关关系；若r＝0，则表示p和q不相关；若r＜0，反映p和q为负相关关系。
表1 r值区间
将采集的16种可能影响因素分别与可听噪声进行皮尔逊相关系数计算，来筛选确定可听噪声的相关影响因素，如图3所示。在计算过程中，将系数绝对值低于0.2的影响因素进行剔除，最终可确定可听噪声相关影响因素分别为温度、湿度、风速、风向、风寒指数、炎热指数、太阳辐射、紫外线指数、天气现象、1min雨量。各个相关影响因素的特征描述如表2所示。
表2特征参数
风向由数字替代为：东(E＝1)、南(S＝2)、西(W＝3)、北(N＝4)、东北(NE＝5)、东南(SE＝6)、西南(SW＝7)、西北(NW＝8)、东北东(NNE＝9)、东东北(ENE＝10)、东东南(ESE＝11)、南东南(SSE＝12)、北西北(NNW＝13)、西西北(WNW＝14)、西西南(WSW＝15)、南西南(SSW＝16)；天气现象由数字替代为：无降雨＝1、小雨＝2、中雨＝3、大雨＝4、小毛毛雨＝5、强毛毛雨＝6、轻雾＝7、浓雾＝8、雾霾＝9、重度冰雹＝10、小雪＝11、中雪＝12、大雪＝13。以便后续预测模型使用。
三、本发明提出了一种基于多头注意力机制(Multi-head Attention)的卷积神经网络(Convolutional Neural Networks，CNN)-双向长短期记忆网络(Bi-directionalLong Short Term Memory,BiLSTM)模型进行可听噪声预测；
四、为充分挖掘可听噪声数据中的时序特征，使用CNN对多环境因素数据进行特征提取；
高海拔多环境因素影响下，输电线路可听噪声预测既要考虑空间上的特征联系，也要考虑时间维度上关联信息。在预测模型中，CNN模型适用于空间上的抽象及泛化，BiLSTM模型适用于扩展时间特征，处理具有先后顺序特征的数据。因此，本发明结合两种模型方法的优点，使用串联的方式设计了CNN-BiLSTM算法，并将多头注意力机制引入噪声时序预测任务中，以提升预测精度。对输电线路可听噪声预测时需要考虑的多维环境因素进行分析和筛选，选取了温度、湿度、露点、风速、风向等11种环境因素变量构成多维特征输入。首先，11维环境影响因素特征的时间序列作为1D-CNN模型的输入，通过卷积层融合多维环境变量，并经过池化层减少特征维度，对数据序列进行数据融合与特征提取；在池化层后接入Dropout层，使模型中的神经元随机停止工作来防止过拟合，提高模型的泛化能力。然后，选用BiLSTM网络对CNN池化层输出的特征序列进行双向循环训练，在时间维度上提取可听噪声变化特征，并实现输电线路可听噪声初步预测。进一步地，通过Multi-headAttention机制获取时间序列数据信息，使模型集中学习更重要的数据特征，并为重要的特征分量赋予更大的权重，以此作为模型最终的特征表达。最后，Multi-head Attention层支路覆盖每个神经元的输出，使模型获得更全面、更细致的特征信息，并通过全连接层输出最后结果。
CNN模型采用局部连接和权重共享的方式，将原始数据进行高维映射处理，有效提取数据特征，如图4所示，一般由输入层、卷积层、池化层和全连接层等结构组成。其中，卷积层中通过神经元局部连接与卷积核权值共享方式，可大幅减少训练过程中的参数数量、提高模型训练速度；池化层中通过对原始数据抽象理解降低特征维数，可减轻模型过拟合程度、提高特征数据的提取效率。
将输入影响因素数据X的时间序列分别输入CNN：
式中，xa为温度，xb为湿度，xc为露点、xd为风速、xe为风向、xf为风寒指数、xg为炎热指数、xh为太阳辐射、xi为紫外线指数、xj为天气现象、xk为1min雨量。
通过一维卷积对时间序列的特征提取：
式中，Y为卷积层输出状态；Wc为卷积层权重矩阵；X为11种影响因素数据的时间序列；bc为卷积层偏置向量；为ReLU激活函数。
选取最大池化方式进行池化操作，通过滑动窗口计算得到矩阵的最大值：
K＝max(Y)+bk (4)
式中，K为池化层的输出状态，bk为池化层的权重矩阵。
通过全连接层输出CNN所提取的特征向量：
F＝σ(K×ws+bs) (5)
式中，F为CNN输出的特征向量，ws为全连接层的权重矩阵，bs为全连接层的偏置向量，σ为sigmoid激活函数。
五、再将提取的特征向量输入到BiLSTM中进行训练，并通过在BiLSTM端引入Multi-head Attention机制，人员同7所示，使模型学习权重更高的数据特征，从而提升模型预测精度；
LSTM是一种广泛应用于时间序列预测的神经网络，其可让时间序列中的关键信息进行有效的更新和传递。LSTM模型的基本单元是记忆模块，其中包含控制记忆单元状态的遗忘门、输入门和输出门，如图5所示。遗忘门决定从记忆单元状态中忘记无用的历史信息，输入门决定当前输入数据对记忆单元状态的影响，输出门决定输出信息。LSTM网络计算过程如式(6)-(11)所示。
ft＝σ(Wf·[ht-1，xt]+bf) (6)
it＝σ(Wi·[ht-1，xt]+bi) (7)
Ot＝σ(Wo·[ht-1，xt]+bo) (10)
式中，xt为输入序列；ht-1为t-1时刻的隐藏层状态；ft、it、Ot分别为t时刻遗忘门、输入门、输出门的状态；Ct-1为t-1时刻的细胞状态；为输入门t时刻记忆单元的临时状态；Ct为得到新细胞状态；Wf、Wi、Wx、Wo分别为遗忘门、输入门、细胞状态、输出门的权重矩阵；bf、bi、bc、bo分别为遗忘门、输入门、细胞状态、输出门的偏置项；ht为输出值；σ(·)为sigmoid激活函数；tanh为双曲正切激活函数；/>为Hadamard乘法。
然而，输电线路可听噪声参数在LSTM模型预测中按照时间序列从前到后进行传播训练，该训练方式的数据利用率较低，无法充分挖掘数据内在特征。相较于传统LSTM模型，BiLSTM模型由前向传播和反向传播的双向循环结构组合，如图6所示，使得过去和未来的隐藏层状态都可以进行递归反馈。在双向网络中，前向层由数列的起点开始输入迭代，反向层由数列的末端开始输入迭代，最终将两层的输出结果进行拟合得到辨识结果。BiLSTM网络通过合理利用前、后时刻信息，挖掘当前可听噪声数据与过去、未来时刻可听噪声数据的内在联系，使预测过程更加全面，提升了模型预测精度和特征数据利用率提高了预测精度。
前向LSTM、后向LSTM的隐藏层更新状态以及BiLSTM最终输出过程如式(12)所示：
式中，分别为t时刻的前向传播层、后向传播层的输出；ω1、ω3分别为输入层到前向和后向传播层的权值矩阵；ω2、ω5分别为前向、后向传播层到自身传播层的权值矩阵；ω4、ω6分别为前向和后向传播层到输出层的权值矩阵；yt为最终输出门的输出值；fR、fL为前向LSTM层和后向LSTM层的激活函数；函数f为对前向、后向传播结果进行拼接的函数。
针对BiLSTM模型训练过程中，因序列过长而丢失信息的问题，引入Multi-headAttention机制通过权重分配突出关键信息，更有效地对存在关联性的时间序列长距离数据特征进行挖掘。该机制以分配概率的方式代替原先随机分配权值的方法，根据不同的特征分配权重的大小，其将BiLSTM输出的隐层向量表达进行加权求和计算，其中权重的大小表示每个时间点上的特征重要程度。
et＝utanh(w·ht+b) (13)
式中，et表示t时刻的注意力分布值；u、w为权重矩阵；b为偏置；at为BiLSTM隐藏层输出值hn对当前输入的注意力权重值；y为权重矩阵与BiLSTM层的输出hn加权后的结果，即带有多头注意力机制的BiLSTM层输出。
六、利用该组合模型对可听噪声实测数据集进行预测。结果表明，该方法构建的组合模型可以提升考虑多因素特征可听噪声数据的预测精度，且具有较好的泛化性；
在实际工程测量中可听噪声的多种影响因素数据的数值范围差异较大，直接输入预测模型进行训练会导致收敛慢、降低预测精度等不良现象。因此，为消除不同量纲对预测结果的影响及提高模型的精度与速度，需要对温度、湿度、露点、风速、风向、风寒指数、炎热指数、太阳辐射、紫外线指数、天气现象、1min雨量以及可听噪声数据进行归一化处理。本发明采用min-max标准化将数据归一化到[0，1]，计算过程如式(16)所示。
式中，Xi为实测数据值；Xmax和Xmin分别为实测数据中的最大值和最小值；为Xi归一化之后的值。
当利用归一化后的数据输入模型得到归一化的预测结果后，利用式(17)对其进行反归一化，得到真实的预测结果。
式中，X为反归一化后得到的可听噪声实际预测值。
本发明采用预测中常被用于评价预测结果精确度和准确性的评价指标：均方根误差(Root Mean Square Error，RMSE)、平均绝对误差(Mean Absolute Error，MAE)和平均绝对百分比误差(Mean Absolute Percentage Error,MAPE)对预测模型性能进行评估，其计算方法如式(18)-(20)所示。
其中，yi表示第i个样点的可听噪声预测值，表示第i个样点的可听噪声实测值，m代表测试样本总数。
由于本发明所提模型是组合改进模型，各个模型参数设置的适配性会对模型性能产生较大影响，必须对预测模型各个网络层的参数设置进行实验。首先，单独采用BiLSTM模型对可听噪声数据进行训练，分析BiLSTM网络神经元个数对模型预测结果的影响，确定BiLSTM网络的最佳参数。从表3可知，当BiLSTM神经元个数为64时RMSE、MAE、MAPE值表现最好。然后，BiLSTM网络参数不变，分析CNN网络卷积核个数、卷积步长对模型预测结果的影响，确定出CNN特征提取模块的最佳参数。将卷积步长设置为1，不断调整卷积核个数进行多次训练，由表4可知，当卷积核个数为128时模型效果最好，由表5可知，当卷积核个数为128，卷积步长为1时，模型性能最好。同理可得到池化层尺寸为2，步长为1。最终确定本发明所提预测模型以及其他对比预测模型在验证集上的最佳参数设置如表6所示。
表3不同神经元下BiLSTM模型的预测结果
表4不同卷积核下CNN-BiLSTM模型的预测结果
表5不同卷积步长下CNN-BiLSTM模型预测结果
表6不同模型的参数设置情况
本发明所提基于多头注意力机制的CNN-BiLSTM预测模型训练的损失函数选择均方误差(mean square error,MSE)，损失函数变化曲线如图8所示，随着训练次数的增加，训练集与测试集的损失变化曲线均逐渐下降并最终趋近于0，当训练次数达到25次以上，测试集的损失变化曲线不再下降，得到最终的预测模型。
4种预测模型对可听噪声边相导线投影外20m、30m、35m预测结果的评价指标如图9～11所示。如图9可以看出，与BiLSTM、CNN-BiLSTM、BiLSTM-Multi-head Attention相比，本发明所提模型的RMSE分别降低了0.230、0.182、0.371，MAE分别降低了0.087、0.214、0.337，MAPE分别降低了0.015、0.021、0.034。类似地，在边相导线投影外30m、35m预测结果的图10和图11中，本发明所提基于多头注意力机制的CNN-BiLSTM预测模型均保持最优的评价指标。
由表7可知，CNN-BiLSTM模型和CNN-BiLSTM-Multi-head Attention模型训练时间相对较短，这是因为模型中均有卷积和池化操作，对输入数据进行特征筛选与提取，大大降低了输入数据的复杂性。对比4种训练模型参数数量可知，CNN-BiLSTM和BiLSTM-Multi-head Attention的参数数量明显小于BiLSTM，证明模型中添加CNN或Multi-headAttention模块，可以有效降低算法运行所需的计算量和占用的内存量，另外，Multi-headAttention进行权重分配后的参数数量明显低于CNN提取特征后的参数数量。与其他预测模型相比，本发明所提CNN-BiLSTM-Multi-head Attention模型在RMSE、MAE、MAPE和训练时间指标上均为最优的。
表7不同模型训练过程参数对比
针对不同的监测时序长度的数据预测场景，分别采用4种预测模型进行可听噪声预测，以边向外20m数据集为例，其结果和实测值曲线如图12～15所示。整体来看，BiLSTM和BiLSTM-Multi-head Attention预测值与实测值匹配效果较差；而本发明模型不论是在长期预测或短期预测中，其预测结果精度均优与其他模型。从图12～14中可以看出，本发明模型的可听噪声预测曲线波峰和波谷区域的波动性最小，在曲线上升和下降阶段能很好的预测可听噪声变化的规律。从图15中1小时的预测数据可以看出，可听噪声在25dB～35dB水平的数值预测中，引入CNN网络后，预测曲线的平滑性得到改善，同时CNN-BiLSTM模型相比BiLSTM模型对于可听噪声数据的变化趋势捕捉更为出色，从20dB～40dB水平的数值预测中，由Multi-head Attention进行权重分配之后的CNN-BiLSTM-Multi-head Attention组合模型在数据剧烈波动区域的预测精度更佳。
为了进一步验证本发明所提基于CNN-BiLSTM-Multi-head Attention组合模型的可听噪声预测方法的适用性，本节将基于边相导线投影外30m、35m处可听噪声数据集进行验证。利用边相导线投影外20m的数据作为训练集对本发明模型进行训练，利用训练好的模型对边相导线投影外30m、35m数据进行预测。由图16～17可知，图中以随机选取的典型日的数据量为例，每20min取一个点进行展示，本发明所提组合预测模型对30m、35m数据集预测值曲线与实测值匹配度较高，均能实现较好的预测。
本发明构建一种基于CNN-BiLSTM-Multi-head Attention的可听噪声预测模型，主要得到以下结论：
1)针对可听噪声受多因素影响的问题，本发明通过皮尔逊系数对影响因素进行相关性分析，得出可听噪声的相关影响因素共11种。
2)将时间序列预测模型与深度学习网络相结合，解决了传统时间序列方法不能拟合多变量的复合关系，以及传统人工建模方法存在过拟合的不足。
3)结合CNN与Multi-head Attention的优点，以实测数据作为实际算例进行了验证分析，本发明模型相较于BiLSTM、CNN-BiLSTM、BiLSTM-Multi-head Attention进行对比可知，RMSE、MAE、MAPE最低，且无论用于长期预测或短期预测，本发明模型预测精度均优于其他模型。
4)利用边向外20m的数据对模型进行训练，使用训练好的模型对边向外30m、35m的数据进行预测，以此验证了模型的泛化性。
上述的实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。
上述的实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。

Claims (8)

1.一种基于多头注意力机制的CNN-BiLSTM高海拔多因素输电线路可听噪声预测方法，其特征在于，包括以下步骤：
步骤一、在输电线路下搭建可听噪声观测站，同时利用气象站进行多环境因素指标的数据采集；
步骤二、采用皮尔逊相关性分析对多种环境因素数据进行相关程度计算比较与剔除；
步骤三、使用CNN对多环境因素数据进行特征提取；
步骤四、将提取的特征向量输入到BiLSTM中进行训练，并通过在BiLSTM端引入多头注意力机制，使模型学习权重更高的数据特征，从而提升模型预测精度；
步骤五、利用该组合模型对可听噪声实测数据集进行预测。
2.一种基于多头注意力机制的CNN-BiLSTM高海拔多因素输电线路可听噪声预测方法，其特征在于，所述步骤一中，分别在边相导线投影外20m、30m、35m处布置可听噪声传声器及相关监测设备，气象站和天气现象仪分别布置在边相导线投影外30m、35m处，用来获取所处环境的监测数据。
3.根据权利要求1所述一种基于多头注意力机制的CNN-BiLSTM高海拔多因素输电线路可听噪声预测方法，其特征在于，所述步骤二包括以下步骤，
设可听噪声数据p和某环境影响因素数据q的数据集形式分别为：p＝{p1,p2,…,pt,…,pn}，q＝{q1,q2,…,qt,…,qn}，n为时间序列长度，两组数据集之间的皮尔逊相关系数计算为：
式中，和/>分别为两组数据集的数值均值；r为皮尔逊相关系数，取值为[-1,1]。
4.根据权利要求1所述一种基于多头注意力机制的CNN-BiLSTM高海拔多因素输电线路可听噪声预测方法，其特征在于，所述步骤三，将输入影响因素数据X的时间序列分别输入CNN：
式中，xa为温度，xb为湿度，xc为露点、xd为风速、xe为风向、xf为风寒指数、xg为炎热指数、xh为太阳辐射、xi为紫外线指数、xj为天气现象、xk为1min雨量。
通过一维卷积对时间序列的特征提取：
式中，Y为卷积层输出状态；Wc为卷积层权重矩阵；X为11种影响因素数据的时间序列；bc为卷积层偏置向量；为ReLU激活函数；
选取最大池化方式进行池化操作，通过滑动窗口计算得到矩阵的最大值：
K＝max(Y)+bk (4)
式中，K为池化层的输出状态，bk为池化层的权重矩阵；
通过全连接层输出CNN所提取的特征向量：
F＝σ(K×ws+bs) (5)
式中，F为CNN输出的特征向量，ws为全连接层的权重矩阵，bs为全连接层的偏置向量，σ为sigmoid激活函数。
5.根据权利要求1所述一种基于多头注意力机制的CNN-BiLSTM高海拔多因素输电线路可听噪声预测方法，其特征在于，所述步骤四包括先建立LSTM模型，LSTM网络计算过程如式(6)-(11)所示。
ft＝σ(Wf·[ht-1,xt]+bf) (6)
it＝σ(Wi·[ht-1,xt]+bi) (7)
Ot＝σ(Wo·[ht-1,xt]+bo) (10)
式中，xt为输入序列；ht-1为t-1时刻的隐藏层状态；ft、it、Ot分别为t时刻遗忘门、输入门、输出门的状态；Ct-1为t-1时刻的细胞状态；为输入门t时刻记忆单元的临时状态；Ct为得到新细胞状态；Wf、Wi、Wx、Wo分别为遗忘门、输入门、细胞状态、输出门的权重矩阵；bf、bi、bc、bo分别为遗忘门、输入门、细胞状态、输出门的偏置项；ht为输出值；σ(·)为sigmoid激活函数；tanh为双曲正切激活函数；/>为Hadamard乘法；
前向LSTM、后向LSTM的隐藏层更新状态以及BiLSTM最终输出过程如式(12)所示：
式中，分别为t时刻的前向传播层、后向传播层的输出；ω1、ω3分别为输入层到前向和后向传播层的权值矩阵；ω2、ω5分别为前向、后向传播层到自身传播层的权值矩阵；ω4、ω6分别为前向和后向传播层到输出层的权值矩阵；yt为最终输出门的输出值；fR、fL为前向LSTM层和后向LSTM层的激活函数；函数f为对前向、后向传播结果进行拼接的函数。
6.根据权利要求1所述一种基于多头注意力机制的CNN-BiLSTM高海拔多因素输电线路可听噪声预测方法，其特征在于，所述步骤四中，在BiLSTM端引入多头注意力机制包括以下步骤：
将BiLSTM输出的向量通过三次不同的映射操作分别转换成三个维度均为dk的输入矩阵：查询Q-Query、键K-Key和值V-Value，其注意力输出矩阵如式(13)所示，
式中，dk为各键的特征维度，用于权重缩放，经softmax归一化至[0,1]区间；
将时间序列分为h个子空间，各头对子空间进行自注意力计算，增强注意力的表达能力，拼接、集成h个头的结果提取特征。经过h次放缩注意力计算后，得到多个head，将每一次的head进行拼接，经过线性变换得到最后结果。计算过程如式(14)-(15)所示，
headi＝Attention(QWi Q,KWi K,VWi V) (14)
MultHead(Q,K,V)＝Concat(head1,…,headh)Wo (15)
式中，Wo表示线性变换的权重，headi表示多头注意力模块中的第i个头，Concat的代表拼接操作，MultHead(Q,K,V)为最后输出结果，能够从不同空间中学习到更多的特征信息。
7.根据权利要求1所述一种基于多头注意力机制的CNN-BiLSTM高海拔多因素输电线路可听噪声预测方法，其特征在于，所述步骤五，首先将数据进行归一化处理，
采用min-max标准化将数据归一化到[0,1]，计算过程如式(16)所示。
式中，Xi为实测数据值；Xmax和Xmin分别为实测数据中的最大值和最小值；为Xi归一化之后的值；
当利用归一化后的数据输入模型得到归一化的预测结果后，利用式(17)对其进行反归一化，得到真实的预测结果；
式中，X为反归一化后得到的可听噪声实际预测值。
8.根据权利要求1所述一种基于多头注意力机制的CNN-BiLSTM高海拔多因素输电线路可听噪声预测方法，其特征在于，所述步骤五还包括对预测模型进行验证，
采用均方根误差、平均绝对误差和平均绝对百分比误差对预测模型性能进行评估，其计算方法如式(18)-(20)所示，
其中，yi表示第i个样点的可听噪声预测值，表示第i个样点的可听噪声实测值，m代表测试样本总数。
CN202310550858.4A 2023-05-16 2023-05-16 一种基于多头注意力机制的CNN-BiLSTM高海拔多因素输电线路可听噪声预测方法 Pending CN116796168A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310550858.4A CN116796168A (zh) 2023-05-16 2023-05-16 一种基于多头注意力机制的CNN-BiLSTM高海拔多因素输电线路可听噪声预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310550858.4A CN116796168A (zh) 2023-05-16 2023-05-16 一种基于多头注意力机制的CNN-BiLSTM高海拔多因素输电线路可听噪声预测方法

Publications (1)

Publication Number Publication Date
CN116796168A true CN116796168A (zh) 2023-09-22

Family

ID=88046046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310550858.4A Pending CN116796168A (zh) 2023-05-16 2023-05-16 一种基于多头注意力机制的CNN-BiLSTM高海拔多因素输电线路可听噪声预测方法

Country Status (1)

Country Link
CN (1) CN116796168A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116992249A (zh) * 2023-09-28 2023-11-03 南京信息工程大学 基于fmcnn-lstm的格点预报偏差订正方法
CN117648215A (zh) * 2024-01-26 2024-03-05 国网山东省电力公司营销服务中心(计量中心) 一种用电信息采集系统异常溯源方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116992249A (zh) * 2023-09-28 2023-11-03 南京信息工程大学 基于fmcnn-lstm的格点预报偏差订正方法
CN116992249B (zh) * 2023-09-28 2024-01-23 南京信息工程大学 基于fmcnn-lstm的格点预报偏差订正方法
CN117648215A (zh) * 2024-01-26 2024-03-05 国网山东省电力公司营销服务中心(计量中心) 一种用电信息采集系统异常溯源方法及系统
CN117648215B (zh) * 2024-01-26 2024-05-24 国网山东省电力公司营销服务中心(计量中心) 一种用电信息采集系统异常溯源方法及系统

Similar Documents

Publication Publication Date Title
CN113962364B (zh) 一种基于深度学习的多因素用电负荷预测方法
Parhizkar et al. Evaluation and improvement of energy consumption prediction models using principal component analysis based feature reduction
CN111815037B (zh) 一种基于注意力机制的可解释性短临极端降雨预测方法
CN110766212B (zh) 用于历史数据缺失电场的超短期光伏功率预测方法
CN116796168A (zh) 一种基于多头注意力机制的CNN-BiLSTM高海拔多因素输电线路可听噪声预测方法
CN109376960A (zh) 基于lstm神经网络的电网负荷预测方法
CN108985965A (zh) 一种结合神经网络和参数估计的光伏功率区间预测方法
CN116363601B (zh) 一种污染监测设备的数据采集与分析方法及系统
CN105868853A (zh) 一种短期风电功率组合概率预测方法
CN116614177B (zh) 一种光纤状态多维度参量监测系统
CN112149887A (zh) 一种基于数据时空特征的pm2.5浓度预测方法
CN113516304A (zh) 基于时空图网络的区域污染物时空联合预测方法及装置
CN113987912A (zh) 一种基于地理信息的污染物在线监测系统
CN115730684A (zh) 一种基于lstm-cnn模型的空气质量检测系统
CN112183625A (zh) 一种基于深度学习的pm2.5高精度时空预测方法
CN115115125A (zh) 基于深度学习融合模型的光伏功率区间概率预测方法
CN112183877A (zh) 一种基于迁移学习的光伏电站故障智能诊断方法
CN115186923A (zh) 光伏发电功率的预测方法、装置及电子设备
CN114611757A (zh) 基于遗传算法与改进深度残差网络的电力系统短期负荷预测方法
CN114357670A (zh) 一种基于bls和自编码器的配电网用电数据异常预警方法
CN117494034A (zh) 基于交通拥堵指数和多源数据融合的空气质量预测方法
CN117439045A (zh) 综合能源系统多元负荷预测方法
Zhang et al. A data transfer method based on one dimensional convolutional neural network for cross-building load prediction
CN116796291A (zh) 一种基于lstm-mea-svr空气质量预报的系统
CN114862023A (zh) 基于四维逐点气象预报的分布式光伏功率预测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination