CN117591841A - 贝叶斯神经网络设备运行趋势预测方法及系统 - Google Patents

贝叶斯神经网络设备运行趋势预测方法及系统 Download PDF

Info

Publication number
CN117591841A
CN117591841A CN202311525292.6A CN202311525292A CN117591841A CN 117591841 A CN117591841 A CN 117591841A CN 202311525292 A CN202311525292 A CN 202311525292A CN 117591841 A CN117591841 A CN 117591841A
Authority
CN
China
Prior art keywords
layer
data
bayesian
output
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311525292.6A
Other languages
English (en)
Inventor
田乐
王志浩
常明煜
郭茂祖
尹丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Civil Engineering and Architecture
Original Assignee
Beijing University of Civil Engineering and Architecture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Civil Engineering and Architecture filed Critical Beijing University of Civil Engineering and Architecture
Priority to CN202311525292.6A priority Critical patent/CN117591841A/zh
Publication of CN117591841A publication Critical patent/CN117591841A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种基于通道注意力机制的贝叶斯神经网络设备运行趋势预测方法及系统，该方法包括：获取电力变压器数据及临时设施传感器数据；将数据输入预处理层进行维度的变化操作，以将相邻数据的关系映射到高维空间；将预处理后的数据，输入添加了通道注意力机制的贝叶斯神经网络中进行特征提取；将提取得到的特征输入最后的预测层，通过一维卷积层对各个通道进行卷积操作，将特征传递给贝叶斯线性层得到最终预测输出。本发明实施例结合了神经网络的强大特性，如特征学习和复杂关系建模，以及贝叶斯思维的不确定性估计，提高了设备运行趋势预测的准确性及可靠性，对于设备管理和维护等领域具有广泛的应用前景。

Description

贝叶斯神经网络设备运行趋势预测方法及系统
技术领域
本发明涉及定量预测技术领域，具体而言，涉及一种基于通道注意力机制的贝叶斯神经网络设备运行趋势预测方法及系统。
背景技术
对于机电设备的运行趋势预测，以及服务于大型运动会等的临时设施的安全保障，通常涉及使用历史设备运行数据来预测未来设备的运行趋势。这对于维护设备、减少停机时间和提高效率非常重要。
现有技术中对设备运行预测方案的准确性及可靠性不足。
发明内容
为解决上述问题，本发明实施例提供了一种基于通道注意力机制的贝叶斯神经网络设备运行趋势预测方法，所述方法包括：获取电力变压器数据及临时设施传感器数据；将所述数据输入预处理层进行维度的变化操作，以将相邻数据的关系映射到高维空间；将预处理后的所述数据，输入添加了通道注意力机制的贝叶斯神经网络中进行特征提取；将提取得到的特征输入最后的预测层，通过一维卷积层对各个通道进行卷积操作，将特征传递给贝叶斯线性层得到最终预测输出。
可选地，所述电力变压器数据包括电力变压器的各种条件下相应的健康指数；所述临时设施传感器数据包括：倾角传感器的X和Y轴的二维数据以及振动传感器的X、Y和Z轴的三维数据。
可选地，所述将所述数据输入预处理层进行维度的变化操作，以将相邻数据的关系映射到高维空间，包括：设输入张量为x，x的形状为(B,C,L)，其中B表示批处大小；C表示通道数；L表示输入序列长度；采用unsqueeze函数操作改变数据输入的维度，将输入张量x的维度中插入一个新的维度，使其维度变成(B,1,L)；
yi，j，k＝xi，k
经过上述公式，x的形状变成了(B，1，L)，然后将输入张量x进行一维卷积操作，将输入张量x经过卷积操作后产生输出y，公式如下：
其中yi表示输出特征图的第i个元素；c表示通道索引；i表示输出特征图中的位置索引；j表示卷积核中的元素索引，从0到K-1，其中K是卷积核的大小；xc，i+j表示输入数据中的元素，其中c表示通道索引，i+j表示在输入序列中的位置；ωj表示卷积核中的权重，其中j表示权重的索引；b表示偏置项。
可选地，所述添加了通道注意力机制的贝叶斯神经网络包括三个部分：前处理层，通道注意力层和后处理层；可选地，所述将预处理后的所述数据，输入添加了通道注意力机制的贝叶斯神经网络中进行特征提取，包括：首先，定义神经网络模型如下：
y＝f(x；W)
其中，x是输入；y是输出；W是网络权重；其次，将预处理后的所述数据输入到所述前处理层；所述前处理层包括一个具有贝叶斯权重的线性层、一个批归一化层和一个Relu激活函数；然后，在经过了前处理层对数据处理后，将处理后数据输入到所述通道注意力层，所述通道注意力层包括一维卷积、Relu激活函数和Sigmoid激活函数；通过卷积操作生成注意力权重，所述注意力权重用于对输入数据中不同位置的信息进行加权；最后，将数据输入后处理层以进一步处理来自前处理层的特征表示，以生成最终特征输出；所述后处理层包括一个贝叶斯线性层、归一化层和Relu激活函数。
可选地，所述将预处理后的所述数据输入到所述前处理层，包括：首先，将输入特征映射到输出特征；在训练之前为每个权重引入先验分布，公式如下：
P(W)～N(θ|μ，σ2)
其中，θ是权重的随机变量；μ是权重的先验均值；σ是先验方差；通过观察训练数据后，更新权重的分布，得到后验分布，表示为：
其中，D是观测到的数据，P(θ|D)是权重的后验分布，P(D|θ)是数据在给定权重的似然，P(θ)是数据的边际概率；将通过贝叶斯线性层后输出的具有不确定性的张量，进行归一化处理，特征被缩放到均值为0，标准差为1的分布；通过Relu激活函数将规范化后的数据中负值设置为零，保持正值不变。
可选地，所述在经过了前处理层对数据处理后，将处理后数据输入到所述通道注意力层，包括：首先通过一维卷积层将输入数据的通道数降低，然后再通过一维卷积将通道数重新提升到原有输入的通道数；其中，Relu激活函数用于引入非线性，Sigmoid激活函数用于限制输出在[0，1]范围内，表示注意力权重，公式表示如下：
x1＝Conv1D(x，W1，b1)
x2＝ReLU(x1)＝max(0，x1)
x3＝Conv1D(x2，W2，b2)
可选地，所述将数据输入后处理层以进一步处理来自前处理层的特征表示，以生成最终特征输出，包括：贝叶斯线性层将所述前处理层的输出特征映射到相同数量的输出特征；归一化层会将后处理层的输出进行归一化，确保输出的每个特征维度具有相似的统计属性；通过Relu激活函数对输出数据应用修正线性单元，将所有负数值设置为零，并保留正数值。
可选地，所述预测层包括一个一维卷积层和一个贝叶斯线性层；其中所述一维卷积层用于将输入的多个通道进行卷积操作；所述贝叶斯线性层包括先验参数，用于生成最终的预测输出。
本发明实施例提供一种基于通道注意力机制的贝叶斯神经网络设备运行趋势预测系统，所述系统包括：数据采集模块，用于获取电力变压器数据及临时设施传感器数据；预测模块，用于将所述数据输入预处理层进行维度的变化操作，以将相邻数据的关系映射到高维空间；将预处理后的所述数据，输入添加了通道注意力机制的贝叶斯神经网络中进行特征提取；将提取得到的特征输入最后的预测层，通过一维卷积层对各个通道进行卷积操作，将特征传递给贝叶斯线性层得到最终预测输出。
本发明实施例提供的基于通道注意力机制的贝叶斯神经网络设备运行趋势预测方法及系统，结合了神经网络的强大特性，如特征学习和复杂关系建模，以及贝叶斯思维的不确定性估计，从而提高了设备运行趋势预测的准确性及可靠性，对于设备管理和维护等领域具有广泛的应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例中一种基于通道注意力机制的贝叶斯神经网络设备运行趋势预测方法的流程示意图；
图2为本发明实施例中基于通道注意力机制的贝叶斯神经网络设备运行趋势预测方法的流程示意图；
图3为本发明实施例中贝叶斯神经网络网络结构图；
图4为本发明实施例中一种基于通道注意力机制的贝叶斯神经网络设备运行趋势预测系统的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种能够有效预测设备设施的运行趋势预测方法。为了可以有效预测临时设施的运行趋势，构建了贝叶斯神经网络中引入通道注意力机制的模型，示例性地，通过kaggle公开数据集中电力变压器数据和冬奥会提供的现场实时数据来证明此模型的有效性。
本发明实施例通过引入通道注意力机制和贝叶斯神经网络，提高设备运行趋势的预测准确性。这可以帮助设备维护团队更准确地预测设备可能出现的问题，减少不必要的停机时间和维修成本。
参见图1所示的本发明实施例中一种基于通道注意力机制的贝叶斯神经网络设备运行趋势预测方法的流程示意图，该方法包括以下步骤：
S1，获取电力变压器数据及临时设施传感器数据。
示例性地，电力变压器数据来自kaggle公开数据集“电力变压器数据集中的故障分析”的原始数据集。该数据集包含电力变压器的各种条件(例如，氢、氧等)以及相应的健康指数。这将有利于电力变压器的健康状态(指数)分析或回归模型的预测，用于实验和学习目的。以冬奥会临时设施传感器数据为例，包括倾角传感器X和Y轴上的二维数据，振动传感器的X，Y和Z轴上的三维数据。
S2，将上述数据输入预处理层进行维度的变化操作，以将相邻数据的关系映射到高维空间。
首先设输入张量为x，x的形状为(B,C,L)，其中B表示批处大小；C表示通道数，通常在卷积神经网络中表示不同的特征或过滤器；L表示输入序列长度。为了保证后续在使用卷积神经网络进行数据预处理，需要采用unsqueeze函数操作改变数据输入的维度。因此在进行预处理层之前，先对输入x的维度中插入一个新的维度，使其维度变成(B,1,L)。
yi，j，k＝Xi，k (1.1)
经过上述公式，x的形状变成了(B,1,L)，然后将x进行一维卷积操作，将输入x经过卷积操作后产生输出y，公式如下：
其中yi表示输出特征图的第i个元素；c表示通道索引，表示正在处理的通道；i表示输出特征图中的位置索引；j表示卷积核中的元素索引，从0到K-1，其中K是卷积核的大小；xc，i+j表示输入数据中的元素，其中c表示通道索引，i+j表示在输入序列中的位置；ωj表示卷积核中的权重，其中j表示权重的索引；b表示偏置项，用于调整输出。
示例性地，经过上述预处理后，将14个通道的原始数据从(B，14)的二维形状转换成(B，14，14)的三维特征表示，将数据映射到高维特征表示。
S3，将预处理后的数据，输入添加了通道注意力机制的贝叶斯神经网络中进行特征提取。
本发明实施例中设计了三层贝叶斯神经网络层，分为三个部分：前处理层，注意力层和后处理层。
首先，本发明实施例定义了一个神经网络模型：
y＝f(x；W) (1.3)
其中，x是输入；y是输出；W是网络权重。
然后将数据输入到前处理层是一个具有贝叶斯权重的线性层、一个批归一化层和一个Relu激活函数组成，首先它将输入特征映射到输出特征。贝叶斯权重意味着该层的权重具有不确定性，在训练之前，为每个权重引入先验分布。通常使用正态分布作为先验分布，公式如下：
P(W)～N(θ|μ，σ2) (1.4)
其中，θ是权重的随机变量；μ是权重的先验均值；σ是先验方差。
通过观察训练数据后，更新权重的分布，得到后验分布。根据贝叶斯定理，后验分布可以表示为：
其中，D是观测到的数据，P(θ|D)是权重的后验分布，P(D|θ)是数据在给定权重的似然，P(θ)是数据的边际概率。
将通过贝叶斯线性层后输出的具有不确定性的张量，进行归一化处理，特征被缩放到均值为0，标准差为1的分布。然后Relu激活函数会将规范化后的数据中负值设置为零，保持正值不变，这有助于引入非线性，使网络能够学习复杂的函数。
在经过了前处理层的一系列对数据处理后，将数据输入到本发明所提出的通道注意力模块，此注意力模块由一维卷积、Relu激活函数和Sigmoid激活函数组成，通过卷积操作生成注意力权重，这些权重可以用于对输入数据中不同位置的信息进行加权，以便模型在前处理层和后处理层阶段更好地关注输入的某些部分。总的来说，首先通过一维卷积层将输入数据的通道数降低，然后再通过一维卷积将通道数重新提升到原有输入的通道数。在这个过程中，Relu激活函数用于引入非线性，而Sigmoid激活函数用于限制输出在[0，1]范围内，表示注意力权重。公式表示如下：
x1＝Conv1D(x，W1，b1) (1.6)
x2＝ReL U(x1)＝max(0，x1) (1.7)
x3＝Conv1D(x2，W2，b2) (1.8)
最后将数据送入后处理层来进一步处理来自前处理层的特征表示，以生成最终的模型输出。后处理层引入更多的非线性，增加模型的表示能力。后处理层包括一个贝叶斯线性层、归一化层和Relu激活函数。贝叶斯线性层是将前处理层的输出特征映射到相同数量的输出特征，进一步加工前处理层的特征，以便更好地匹配模型的目标任务。然后归一化层会将后处理层的输出进行归一化，确保输出的每个特征维度具有相似的统计属性。最后通过Relu激活函数对输出数据应用修正线性单元，将所有负数值设置为零，并保留正数值。
S4，将提取得到的特征输入最后的预测层，通过一维卷积层对各个通道进行卷积操作，将特征传递给贝叶斯线性层得到最终预测输出。
将通过上述经过多层处理后的特征张量，输入到最后的预测层进行输入。
预测层是由一个一维卷积层和一个贝叶斯线性层构成，其中一维卷积层是将输入的14个通道进行卷积操作，从而得到一个通道的特征图。假设这一层的输出为y1，其中Conv表示卷积操作，W1表示卷积核的权重，b1表示偏置。公式表示如下：
y1＝Conv(x，W1)+b1 (1.11)
将一维特征图通过贝叶斯线性层，该层包括先验参数，用于生成最终的预测输出。假设该层输出表示为y2，其中W2表示线性层的权重，b2表示线性层的偏置。公式表示如下：
y2＝W2*y1+b2 (1.12)
最终的输出是一个标量值，表示模型对输入数据的预测值，同时考虑了贝叶斯推断中的不确定性。这个输出可以用于回归任务或其他需要对数据进行预测的应用。
进一步，上述方法还可以包括以下训练步骤。
S5，将处理好的数据进行数据划分，划分为训练集，验证集和测试集比例为3∶1∶1。
S6，用样本的训练集对模型进行训练。通过每次的迭代获得最好的模型参数，并将其保存下来。
S7，将保存下来的模型，用于模型的最终测试。
本发明实施例提供的基于通道注意力机制的贝叶斯神经网络设备运行趋势预测方法，结合了神经网络的强大特性，如特征学习和复杂关系建模，以及贝叶斯思维的不确定性估计，从而提高了设备运行趋势预测的准确性及可靠性，对于设备管理和维护等领域具有广泛的应用前景。
参见图2所示的基于通道注意力机制的贝叶斯神经网络设备运行趋势预测方法的流程示意图，示出了预处理层Prelayer、贝叶斯神经网络(Bayesian Neural Networks，BNN)、预测层Pred。
其中，BNN包括三层贝叶斯神经网络层，分为三个部分：前处理层BNN Layer1，注意力层BNN Layer2和后处理层BNN Layer3。
如图2所示，BNN层包括贝叶斯权重的线性层BayesLinear、批归一化层LayerNorm和Relu激活函数、注意力层AttnLinear、贝叶斯线性层BayesLinear、归一化层LayerNorm和Relu激活函数；预测层Pred包括一维卷积层Convld和贝叶斯线性层BayesLinear。
参见图3所示的贝叶斯神经网络网络结构图，示出了左侧的输入层X1-Xσ，中间的隐藏层以及右侧的输出层y1-yσ。
图4示出了本发明实施例提供的一种基于通道注意力机制的贝叶斯神经网络设备运行趋势预测系统的结构示意图，该系统包括：
数据采集模块401，用于获取电力变压器数据及临时设施传感器数据；
预测模块402，用于将所述数据输入预处理层进行维度的变化操作，以将相邻数据的关系映射到高维空间；将预处理后的所述数据，输入添加了通道注意力机制的贝叶斯神经网络中进行特征提取；将提取得到的特征输入最后的预测层，通过一维卷积层对各个通道进行卷积操作，将特征传递给贝叶斯线性层得到最终预测输出。
本发明实施例提供的基于通道注意力机制的贝叶斯神经网络设备运行趋势预测方法，结合了神经网络的强大特性，如特征学习和复杂关系建模，以及贝叶斯思维的不确定性估计，从而提高了设备运行趋势预测的准确性及可靠性，对于设备管理和维护等领域具有广泛的应用前景。
进一步，上述系统还包括：
参数确定模块，通过加入了通道注意力机制的贝叶斯神经网络训练数据，保存最优参数模型。参数确定模块包括贝叶斯神经网络隐藏层和概率分布参数设定，初始权值和阈值；通道注意力模块的参数设定；算法参数子模块确定模型的迭代次数。
数据预测模块，用于处理后的新样本上，并未预先进行训练和验证的数据，采用基于通道注意力机制的贝叶斯神经网络设备运行趋势预测方法，对机电设备和临时设施未来趋势进行预测。
性能评价模块，采用平均绝对误差(Mean Absolute Error，MAE)，均方根误差(Root Mean Square Error，RMSE)，平均绝对百分比误差(Mean Absolute PercentageError，MAPE)等对模型预测结果进行评价。
本领域技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程度来指令控制装置来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程，其中所述的存储介质可为存储器、磁盘、光盘等。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于通道注意力机制的贝叶斯神经网络设备运行趋势预测方法，其特征在于，所述方法包括：
获取电力变压器数据及临时设施传感器数据；
将所述数据输入预处理层进行维度的变化操作，以将相邻数据的关系映射到高维空间；
将预处理后的所述数据，输入添加了通道注意力机制的贝叶斯神经网络中进行特征提取；
将提取得到的特征输入最后的预测层，通过一维卷积层对各个通道进行卷积操作，将特征传递给贝叶斯线性层得到最终预测输出。
2.根据权利要求1所述的方法，其特征在于，所述电力变压器数据包括电力变压器的各种条件下相应的健康指数；
所述临时设施传感器数据包括：倾角传感器的X和Y轴的二维数据以及振动传感器的X、Y和Z轴的三维数据。
3.根据权利要求1所述的方法，其特征在于，所述将所述数据输入预处理层进行维度的变化操作，以将相邻数据的关系映射到高维空间，包括：
设输入张量为x，x的形状为(B,C,L)，其中B表示批处大小；C表示通道数；L表示输入序列长度；
采用unsqueeze函数操作改变数据输入的维度，将输入张量x的维度中插入一个新的维度，使其维度变成(B,1,L)；
yi，j，k＝xi，k
经过上述公式，x的形状变成了(B,1,L)，然后将输入张量x进行一维卷积操作，将输入张量x经过卷积操作后产生输出y，公式如下：
其中yi表示输出特征图的第i个元素；c表示通道索引；i表示输出特征图中的位置索引；j表示卷积核中的元素索引，从0到K-1，其中K是卷积核的大小；xc，i+j表示输入数据中的元素，其中c表示通道索引，i+j表示在输入序列中的位置；ωj表示卷积核中的权重，其中j表示权重的索引；b表示偏置项。
4.根据权利要求1所述的方法，其特征在于，所述添加了通道注意力机制的贝叶斯神经网络包括三个部分：前处理层，通道注意力层和后处理层。
5.根据权利要求4所述的方法，其特征在于，所述将预处理后的所述数据，输入添加了通道注意力机制的贝叶斯神经网络中进行特征提取，包括：
首先，定义神经网络模型如下：
y＝f(x；W)
其中，x是输入；y是输出；W是网络权重；
其次，将预处理后的所述数据输入到所述前处理层；所述前处理层包括一个具有贝叶斯权重的线性层、一个批归一化层和一个Relu激活函数；
然后，在经过了前处理层对数据处理后，将处理后数据输入到所述通道注意力层，所述通道注意力层包括一维卷积、Relu激活函数和Sigmoid激活函数；通过卷积操作生成注意力权重，所述注意力权重用于对输入数据中不同位置的信息进行加权；
最后，将数据输入后处理层以进一步处理来自前处理层的特征表示，以生成最终特征输出；所述后处理层包括一个贝叶斯线性层、归一化层和Relu激活函数。
6.根据权利要求5所述的方法，其特征在于，所述将预处理后的所述数据输入到所述前处理层，包括：
首先，将输入特征映射到输出特征；在训练之前为每个权重引入先验分布，公式如下：
P(W)～N(θ|μ，σ2)
其中，θ是权重的随机变量；μ是权重的先验均值；σ是先验方差；
通过观察训练数据后，更新权重的分布，得到后验分布，表示为：
其中，D是观测到的数据，P(θ|D)是权重的后验分布，P(D|θ)是数据在给定权重的似然，P(θ)是数据的边际概率；
将通过贝叶斯线性层后输出的具有不确定性的张量，进行归一化处理，特征被缩放到均值为0，标准差为1的分布；
通过Relu激活函数将规范化后的数据中负值设置为零，保持正值不变。
7.根据权利要求5所述的方法，其特征在于，所述在经过了前处理层对数据处理后，将处理后数据输入到所述通道注意力层，包括：
首先通过一维卷积层将输入数据的通道数降低，然后再通过一维卷积将通道数重新提升到原有输入的通道数；其中，Relu激活函数用于引入非线性，Sigmoid激活函数用于限制输出在[0，1]范围内，表示注意力权重，公式表示如下：
x1＝Conv1D(x,W1,b1)
x2＝ReLU(x1)＝max(0,x1)
x3＝Conv1D(x2,W2,b2)
8.根据权利要求5所述的方法，其特征在于，所述将数据输入后处理层以进一步处理来自前处理层的特征表示，以生成最终特征输出，包括：
贝叶斯线性层将所述前处理层的输出特征映射到相同数量的输出特征；
归一化层会将后处理层的输出进行归一化，确保输出的每个特征维度具有相似的统计属性；
通过Relu激活函数对输出数据应用修正线性单元，将所有负数值设置为零，并保留正数值。
9.根据权利要求1所述的方法，其特征在于，所述预测层包括一个一维卷积层和一个贝叶斯线性层；其中所述一维卷积层用于将输入的多个通道进行卷积操作；
所述贝叶斯线性层包括先验参数，用于生成最终的预测输出。
10.一种基于通道注意力机制的贝叶斯神经网络设备运行趋势预测系统，其特征在于，所述系统包括：
数据采集模块，用于获取电力变压器数据及临时设施传感器数据；
预测模块，用于将所述数据输入预处理层进行维度的变化操作，以将相邻数据的关系映射到高维空间；将预处理后的所述数据，输入添加了通道注意力机制的贝叶斯神经网络中进行特征提取；将提取得到的特征输入最后的预测层，通过一维卷积层对各个通道进行卷积操作，将特征传递给贝叶斯线性层得到最终预测输出。
CN202311525292.6A 2023-11-15 2023-11-15 贝叶斯神经网络设备运行趋势预测方法及系统 Pending CN117591841A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311525292.6A CN117591841A (zh) 2023-11-15 2023-11-15 贝叶斯神经网络设备运行趋势预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311525292.6A CN117591841A (zh) 2023-11-15 2023-11-15 贝叶斯神经网络设备运行趋势预测方法及系统

Publications (1)

Publication Number Publication Date
CN117591841A true CN117591841A (zh) 2024-02-23

Family

ID=89921153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311525292.6A Pending CN117591841A (zh) 2023-11-15 2023-11-15 贝叶斯神经网络设备运行趋势预测方法及系统

Country Status (1)

Country Link
CN (1) CN117591841A (zh)

Similar Documents

Publication Publication Date Title
Gupta et al. Optimizing deep feedforward neural network architecture: A tabu search based approach
US11537898B2 (en) Generative structure-property inverse computational co-design of materials
CN111860982A (zh) 一种基于vmd-fcm-gru的风电场短期风电功率预测方法
Liu et al. Research on improved wavelet convolutional wavelet neural networks
EP3888007A1 (en) Computer architecture for artificial image generation using auto-encoder
CN115496144A (zh) 配电网运行场景确定方法、装置、计算机设备和存储介质
US20200372295A1 (en) Minimum-Example/Maximum-Batch Entropy-Based Clustering with Neural Networks
WO2020118408A1 (en) Regularization of recurrent machine-learned architectures
Pham et al. Unsupervised training of Bayesian networks for data clustering
Lin et al. A deep clustering algorithm based on gaussian mixture model
Lataniotis Data-driven uncertainty quantification for high-dimensional engineering problems
JP2016194914A (ja) 混合モデル選択の方法及び装置
Zhan et al. Deep model compression via two-stage deep reinforcement learning
EP3888008A1 (en) Computer architecture for artificial image generation
Leke et al. Proposition of a theoretical model for missing data imputation using deep learning and evolutionary algorithms
Jenny Li et al. Evaluating deep learning biases based on grey-box testing results
Susan et al. Smaller feature subset selection for real-world datasets using a new mutual information with Gaussian gain
Moon et al. Correlation between alignment-uniformity and performance of dense contrastive representations
CN117591841A (zh) 贝叶斯神经网络设备运行趋势预测方法及系统
CN114861671A (zh) 模型训练方法、装置、计算机设备及存储介质
Kurtukova et al. De-Anonymization of the Author of the Source Code Using Machine Learning Algorithms
Baharlouei et al. RIFLE: Imputation and Robust Inference from Low Order Marginals
Louati et al. Embedding channel pruning within the CNN architecture design using a bi-level evolutionary approach
Rolon et al. A multi-class structured dictionary learning method using discriminant atom selection
Trentin et al. Unsupervised nonparametric density estimation: A neural network approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination