CN112838946A - 基于通信网故障智能感知与预警模型的构建方法 - Google Patents

基于通信网故障智能感知与预警模型的构建方法 Download PDF

Info

Publication number
CN112838946A
CN112838946A CN202011492779.5A CN202011492779A CN112838946A CN 112838946 A CN112838946 A CN 112838946A CN 202011492779 A CN202011492779 A CN 202011492779A CN 112838946 A CN112838946 A CN 112838946A
Authority
CN
China
Prior art keywords
data
communication network
early warning
training
reinforcement learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011492779.5A
Other languages
English (en)
Other versions
CN112838946B (zh
Inventor
缪巍巍
吴海洋
顾彬
戴勇
蒋春霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd filed Critical Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd
Priority to CN202011492779.5A priority Critical patent/CN112838946B/zh
Publication of CN112838946A publication Critical patent/CN112838946A/zh
Application granted granted Critical
Publication of CN112838946B publication Critical patent/CN112838946B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种基于改进深度强化学习的通信网故障智能感知与预警模型的构建方法，具体包括以下步骤：S1选取通信网络的固定时间段的数据作为输入数据；S2对输入数据进行预处理，获得预处理数据；对预处理数据进行切片划分为N个区域，从而获得N个特征矩阵；S3将所述N个特征矩阵分别输入神经网络中进行训练，训练完成后输出故障预测数据；再将N个特征矩阵按照时间顺序分别输入基于改进深度强化学习的通信网故障智能感知与预警模型进行训练，输出模型，并结合故障预测数据进行预警分析，获得预警分析结果。该构建方法通过深度强化学习方法，建立通信网故障预警模型，实现通信网故障智能预警，提升电力通信运维智能化水平。

Description

基于通信网故障智能感知与预警模型的构建方法
技术领域
本发明涉及电力通信网信息化、自动化、智能化维护技术领域，尤其涉及一 种基于改进深度强化学习的通信网故障智能感知与预警模型的构建方法。
背景技术
电力通信网为电力生产的运行提供支撑，是电力行业的关键性基础设施之一， 其运行的稳定性、可靠性直接关系到整个电网的生产运行。随着公司发展和电网建设步 伐不断加快，公司通信网将在容量、结构、覆盖范围、承载能力、总体规模、可 靠性、智能化、集约化等方面，同以往相比都有很大的发展，这对通信网络的安 全风险管理，对大规模通信网络的管控能力提出了更高的要求，如何减少电力通 信故障次数，提高故障的处理效率，缩短故障处理时间是目前有待完善的问题。 故障预警分析是从传统的被动运维变主动运维，从而提高网络运维效率，减少网 络故障，是保证电力业务正常运行的有效手段，而目前国内外对于电力通信网预 警研究和应用基本处于空白，缺乏能够对通信网络进行准确、实时分析的故障预 警管理系统。因此对于电力通信网故障预警的研究和应用具有重要意义。
但随着我国经济的快速发展，电力需求量在持续增加，电力通信网络的规模 也随之愈加庞大、层级更加复杂，但目前电网通信领域依然依赖传统自动化技术， 管理系统较为粗放，系统定位层次低，功能简单，资源离散，缺乏对电力通信网 的智能化管理手段，无法在大量告警事件中快速、准确地分析确定故障位置、故 障原因，也无法根据故障征兆对通信网进行预警。
电力系统安全稳定的运行依赖于电气设备通信网的感知和预警作用，随着发 电容量的增加，电气设备结构日趋复杂，通信设备数量也逐渐增多，其设备主要 包括传输设备、电源、配电屏等。区别于传统的通信网，电力通信系统作为垂直 领域系统，具有其基于业务保护的特质，因此针对电力通信网的故障及其预警研 究具有特殊性。国际上电力系统中故障的研究从20世纪70年年代开始，以状态 模型为主，随后90年代，比林顿引入了广域n+2状态的马尔科夫模型，将其在 发电厂可靠性算法评估中进行应用。通过建立模型融合计算、通信和控制等系统， 能够实时感知外界环境的动态变化，也可以迅速发现故障，并根据故障进行预警。 目前，电力通信网的智能算法处于起步阶段，建立一套完善的电力通信网故障感 知和预警模型已经成为当下迫切的需要。
一般意义上传统的深度学习算法的基本模型大致分为了三类：多层感知机模 型、深度神经网络模型和递归神经网络模型。其代表分别是DBN(Deep belief network)深度信念网络、CNN(Convolution Neural Networks)卷积神经网络、 RNN(Recurrent neuralnetwork)递归神经网络。2006年，Geoffrey Hinton提出 深度信念网络(DBN)及其高效的学习算法，即Pre-training+Fine tuning，并发 表于《Science》上，成为其后深度学习算法的主要框架。DBN是一种生成模型， 通过训练其神经元间的权重，我们可以让整个神经网络按照最大概率来生成训练 数据。所以，我们不仅可以使用DBN识别特征、分类数据，还可以用它来生成 数据。常见的若干层RBM堆叠形成DBN模型，RBM网络结构如图1所示，是 一个双层模型，由m个可见层单元及n个隐层单元组成。
卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域 的研究热点，其本质上是一种输入到输出的映射，它能够学习大量的输入与输出 之间的映射关系，其网络结构图如图2所示。优点在于既可以共享卷积核，对高 维数据处理无压力；又可以无需手动选取特征，训练好权重，即得特征分类效果 好。缺点在于需要调参，需要大样本量，训练最好要GPU，并且物理含义不明 确。
循环神经网络(RNN)是一种具有反馈结构的神经网络，其输出不但与当 前输入和网络的权值有关，而且也与之前网络的输入有关，RNN通过添加跨越 时间点的自连接隐藏层，对时间进行建模。RNN主要处理时序数据，可以更好 地做语境理解，因此经常用在NLP领域，比如机器翻译，情感分析等。它的深 度是时间的长度，其结构如图3所示。其左侧是递归神经网络的原始结构，该网 络拥有记忆能力。
RNN因为具有一定的记忆功能，可以被用来解决很多问题，例如：自然语 言处理、语音识别、机器翻译等，但是它并不能很好地处理长时依赖问题。长时 依赖是指当预测点与依赖的相关信息相距较远时，就难以很好地训练模型。例如 在句子“我是个中国人，……我最擅长的语言是”中，若要预测末尾的“中文”， 需要用到上文“中国人”。理论上，RNN是可以处理这样的问题的，但是实际上， 常规的RNN并不能很好地解决长时依赖，而LSTM可以很好地解决这个问题， 电力通信网络的故障预测同样也属于长时依赖问题。电力通信网络故障预测依赖 于各种性能参数的长期变化以及设备产生的各种告警，某一缺陷引发的告警往往 不会在同一时间报出，而是随着信号的传播逐渐产生，告警的传播效应与性能的 长期变化之间也存在依赖关系。
因此，有必要开发一种基于改进深度强化学习的通信网故障智能感知与预警 模型的构建方法，通过深度强化学习方法，建立通信网故障预警模型，实现通信 网故障智能预警，提升电力通信运维智能化水平，根据构建的模型，进行算法的 案例分析，验证了设备故障事件的智能感知和预警，实现通信运维管理的智能化， 提高电力通信网可靠性。
发明内容
本发明要解决的技术问题是，提供一种基于改进深度强化学习的通信网故障 智能感知与预警模型的构建方法，通过深度强化学习方法，建立通信网故障预警 模型，实现通信网故障智能预警，提升电力通信运维智能化水平，根据构建的模 型，进行算法的案例分析，验证了设备故障事件的智能感知和预警，实现通信运 维管理的智能化，提高电力通信网可靠性。
为了解决上述技术问题，本发明采用的技术方案是：该基于改进深度强化学 习的通信网故障智能感知与预警模型的构建方法，具体包括以下步骤：
S1获取数据：选取通信网络的固定时间段的数据作为输入数据；
S2数据预处理：对输入数据进行预处理，获得预处理数据；对预处理数据进行 切片划分为N个区域，从而获得N个特征矩阵；
S3模型训练：将所述N个特征矩阵分别输入神经网络中进行训练，训练完成后 输出故障预测数据；再将N个特征矩阵按照时间顺序分别输入基于改进深度强 化学习的通信网故障智能感知与预警模型进行训练，输出模型，并结合故障预测 数据进行预警分析，获得预警分析结果。
采用上述技术方案，从全局的角度考虑，通过深度强化学习方法，建立通信 网故障预警模型，实现通信网故障智能预警，提升电力通信运维智能化水平。根 据构建的模型，进行算法的案例分析，验证了设备故障事件的智能感知和预警， 实现通信运维管理的智能化,提高电力通信网可靠性。
作为本发明的优选技术方案，还包括步骤S4仿真分析：仿真电力通信网的 五个子网区域模型，获得基于改进深度强化学习的通信网故障智能感知与预警模 型的准确率和召回率。
作为本发明的优选技术方案，所述步骤S1中的输入数据为包括性能数据、 状态量、告警数据组成的原始特征高维矩阵。
作为本发明的优选技术方案，所述步骤S2具体为：首先对输入数据进行预 处理，其中预处理采用的方法包括：利用取前后均值的方法补全缺失的性能及环 境的量化数据、缺陷单文本关键词抽取方法进行处理和告警频闪处理，获得预处 理数据；再根据告警信号重要性进行切分为N个区域，得到N个特征矩阵。
作为本发明的优选技术方案，所述步骤S3中的神经网络为LSTM神经网络， LSTM神经网络包括输出层、隐藏层和输入层，通过sigmod层控制保留的信息 和遗忘的信息，通过tanh层控制输入和输出，以达到记忆长时信息的目的；所 述基于改进深度强化学习的通信网故障智能感知与预警模型采用改进的深度强 化学习，模型训练方式为在不同状态s下执行不同动作a，已达到下一个状态s’， 为了加快算法收敛速度，多个区域的深度强化学习可分多次进行。
作为本发明的优选技术方案，所述步骤S3具体为：
S31：将步骤S2中获得的N个特征矩阵输入LSTM神经网络中进行训练，采用 缺陷单数据对故障标注后进行学习训练，训练数据量为总数据量的三分之二，剩 余数据用作验证数据，获得故障预测数据；
S32：将步骤S2中获得的N个特征矩阵分别输入基于改进深度强化学习的通信 网故障智能感知与预警模型进行模型训练，具体为：
假设共有n个感知区域，对基于深度强化学习的控制器的互博弈过程如下，
S321：首先，第一步是在区域{2,…,i,…,n}固定选择单独训练得到的最优动作，在区域{1}中选择不同的动作进行训练；
S322：将区域{1}选择步骤S321得到的最优动作，区域{3,…,i,…,n}固定选择单独训练得到的最优动作，区域{2}选择不同的动作进行训练；
S323：重复步骤S321～S322，直至第i步时，区域{1,2}选择第1,2,…,(i-1)步训练得到的最优动作，区域{(i-1),…,n}固定选择单独训练得到的最优动作，区域{i} 训练不同的动作步骤；当在第(n+1)步骤时，区域{1,2,…,n}会选择各自区域的 深度学习算法进行训练，从而获得基于改进深度强化学习的通信网故障智能感知 与预警模型；
S324：N个特征矩阵分别输入基于改进深度强化学习的通信网故障智能感知与预警模型进行学习训练，训练数据量为总数据量的三分之二，剩余数据用作验证数 据，输出模型。
作为本发明的优选技术方案，所述步骤S31中的LSTM神经网络的具体构 建方法为：
S311：由遗忘门决定上一时刻的输出通过或者部分通过，其中遗忘因子计算公式为：
ft＝σ(Wf·[ht-1，xt]+bf) (1)；
其中，ft为遗忘因子，Wf为遗忘门的权重矩阵，[ht-1，xt]表示把两 个向量连接成一个更长的向量，ht-1为t-1时的短期记忆；xt为事件信息； bf为遗忘门的偏置项，σ是sigmoid函数；
S312：进行信息更新，由sigmoid函数决定哪些进行更新，并由tanh函数决定更 新值；计算公式为：
Ct＝ft*Ct-1+it*dt (2)：
其中，Ct为t时即当前时刻的长期记忆，为新数据形成的控制参数；Ct-1为t-1时的长期记忆，it为输入门即要保留下来的新信息；dt为当前输入 的单元状态；
S313：决定模型的输出，首先通过sigmod函数得到初始输出，然后使用tanh函 数将其缩放到[-1,1]间，再与sigmod函数得到的输出逐对相乘，得到模型的输出， 计算公式为：
ot＝σ(Wo·[ht-1，xt]+bo) (3)：
ht＝ot*tanh(Ct) (4)：
其中：Ot为当前输出的单元状态；σ是sigmoid函数；[ht-1，xt]表示 把两个向量连接成一个更长的向量；xt为事件信息；ht为t时的短期记忆； Wo为输出门的权重矩阵；bo为输出门的偏置项；Ct为t时即当前时刻 的长期记忆，为新数据形成的控制参数。
与现有技术相比，本发明具有的有益效果是：该基于改进深度强化学习的通 信网故障智能感知与预警模型的构建方法通过深度强化学习方法，建立通信网故 障预警模型，实现通信网故障智能预警，提升电力通信运维智能化水平，根据构 建的模型，进行算法的案例分析，验证了设备故障事件的智能感知和预警，实现 通信运维管理的智能化，提高电力通信网可靠性。
附图说明
下面结合附图进一步描述本发明的技术方案：
图1是本发明的基于改进深度强化学习的通信网故障智能感知与预警模型 的构建方法的现有技术中RBM网络结构示意图；
图2是本发明的基于改进深度强化学习的通信网故障智能感知与预警模型 的构建方法的现有技术中CNN网络结构示意图；
图3是本发明的基于改进深度强化学习的通信网故障智能感知与预警模型 的构建方法中的现有技术中RNN网络结构示意图；
图4是本发明的基于改进深度强化学习的通信网故障智能感知与预警模型 的构建方法中步骤S3中采用的LSTM网络结构示意图；
图5是本发明的基于改进深度强化学习的通信网故障智能感知与预警模型 的构建方法中的步骤S3中改进后的多深度学习算法控制器的互博弈过程图；
图6是本发明的基于改进深度强化学习的通信网故障智能感知与预警模型 的构建方法中的根据该方法构建的模型设计的智能光接续盒整体架构图。
具体实施方式
为了加深对本发明的理解，下面将结合附图和实施例对本发明做进一步详细 描述，该实施例仅用于解释本发明，并不对本发明的保护范围构成限定。
实施例：如图1所示，该基于改进深度强化学习的通信网故障智能感知与预 警模型的构建方法，具体包括以下步骤：
S1获取数据：选取通信网络的固定时间段的数据作为输入数据；所述步 骤S1中的输入数据为包括性能数据、状态量、告警数据组成的原始特征高维矩 阵；
S2数据预处理：对输入数据进行预处理，获得预处理数据；对预处理数据 进行切片划分为N个区域，从而获得N个特征矩阵；所述步骤S2具体为：首先 对输入数据进行预处理，其中预处理采用的方法包括：利用取前后均值的方法补 全缺失的性能及环境的量化数据、缺陷单文本关键词抽取方法进行处理和告警频 闪处理，获得预处理数据；再根据告警信号重要性进行切分为N个区域，得到N 个特征矩阵；
电力通信网的特征矩阵是评估故障的基本矩阵[10]，通过线路上的智能光接 续盒数据、通信设备数据、通信网拓扑关系分析通信网故障情况，区别于传统光 接续盒，智能光接续盒具备线路光功率、误码秒等性能参数采集功能，同时可记 录接续盒温湿度、渗水状态等状态量，数据通过运营商NB-IoT物联平台接入公 网，再通过内外网隔离装置进入内网数据库；该型设备采集的数据扩展了电力通 信网的全景感知范围，是实现电力通信网智能故障预警的重要数据来源，总体由 电源层、采集层、控制层和数据层组成；设备整体架构如图6所示；在电力通信 网络中将告警信号及当前网络中各传感器反馈信号划分为一个区域，如果告警消 失，则将该区域从区域池中剔除，强化学习的评价函数为最终预测的影响业务与 实际影响业务的重合度；
S3模型训练：将所述N个特征矩阵分别输入神经网络中进行训练，训练完 成后输出故障预测数据；再将N个特征矩阵按照时间顺序分别输入基于改进深 度强化学习的通信网故障智能感知与预警模型进行训练，输出模型，并结合故障 预测数据进行预警分析，获得预警分析结果；所述步骤S3中的神经网络为LSTM 神经网络，其具体结构如图4所示，LSTM神经网络包括输出层、隐藏层和输入 层，通过sigmod层控制保留的信息和遗忘的信息，通过tanh层控制输入和输出， 以达到记忆长时信息的目的；所述基于改进深度强化学习的通信网故障智能感知 与预警模型采用改进的深度强化学习，模型训练方式为在不同状态s下执行不同 动作a，已达到下一个状态s’，为了加快算法收敛速度，多个区域的深度强化学习可分多次进行；
所述步骤S3具体为：
S31：将步骤S2中获得的N个特征矩阵输入LSTM神经网络中进行训练， 采用缺陷单数据对故障标注后进行学习训练，训练数据量为总数据量的三分之二， 剩余数据用作验证数据，获得故障预测数据；
所述步骤S31中的LSTM神经网络的具体构建方法为：
S311：由遗忘门决定上一时刻的输出通过或者部分通过，其中遗忘因子计算 公式为：
ft＝σ(Wf·[ht-1，xt]+bf) (1)；
其中，ft为遗忘因子，Wf为遗忘门的权重矩阵，[ht-1，xt]表示把两 个向量连接成一个更长的向量，ht-1为t-1时的短期记忆；xt为事件信息； bf为遗忘门的偏置项，σ是sigmoid函数；
S312：进行信息更新，由sigmoid函数决定哪些进行更新，并由tanh函数决 定更新值；计算公式为：
Ct＝ft*Ct-1+it*dt (2)：
其中，Ct为t时即当前时刻的长期记忆，为新数据形成的控制参数；Ct-1为t-1时的长期记忆，it为输入门即要保留下来的新信息；dt为当前输入 的单元状态；
S313：决定模型的输出，首先通过sigmod函数得到初始输出，然后使用tanh 函数将其缩放到[-1,1]间，再与sigmod函数得到的输出逐对相乘，得到模型的输 出，计算公式为：
ot＝σ(Wo·[ht-1，xt]+bo) (3)：
ht＝ot*tanh(Ct) (4)：
其中：ot为当前输出的单元状态；σ是sigmoid函数；[ht-1，xt]表示 把两个向量连接成一个更长的向量；xt为事件信息；ht为t时的短期记忆； Wo为输出门的权重矩阵；bo为输出门的偏置项；Ct为t时即当前时刻 的长期记忆，为新数据形成的控制参数；
S32：将步骤S2中获得的N个特征矩阵分别输入基于改进深度强化学习的 通信网故障智能感知与预警模型进行模型训练，训练的状态为当前网络的状态， 动作是预测当前产生影响的业务范围，评价函数为输出的影响情况与当前影响情 况的重合程度，重合程度越高则评价越高，最终实现对当前状态下的影响预测。 在实际运行的过程中，第一个阶段输出的故障预测情况举证作为第二个阶段影响 分析的输入；如图5所示，具体为：
假设共有n个感知区域，对基于深度强化学习的控制器的互博弈过程如下，
S321：首先，第一步是在区域{2,…,i,…,n}固定选择单独训练得到的最优动 作，在区域{1}中选择不同的动作进行训练；
S322：将区域{1}选择步骤S321得到的最优动作，区域{3,…,i,…,n}固定选 择单独训练得到的最优动作，区域{2}选择不同的动作进行训练；
S323：重复步骤S321～S322，直至第i步时，区域{1,2}选择第1,2,…,(i-1)步 训练得到的最优动作，区域{(i-1),…,n}固定选择单独训练得到的最优动作，区域 {i}训练不同的动作步骤；当在第(n+1)步骤时，区域{1,2,…,n}会选择各自区 域的深度学习算法进行训练，从而获得基于改进深度强化学习的通信网故障智能 感知与预警模型；
S324：N个特征矩阵分别输入基于改进深度强化学习的通信网故障智能感知 与预警模型进行学习训练，训练数据量为总数据量的三分之二，剩余数据用作验 证数据，输出模型；
S4仿真分析：采用PID算法进行对比仿真分析，仿真电力通信网的五个子 网区域模型，获得基于改进深度强化学习的通信网故障智能感知与预警模型的准 确率和召回率。
案例分析：采用某省公司通信网两年的数据，输入数据主要包括性能数据、 状态量、告警等组成的高维矩阵，同时采用缺陷单数据对故障标注后输入基于改 进深度强化学习的通信网故障智能感知与预警模型进行学习训练，训练数据量为 总数据量的三分之二，剩余数据用作验证数据。对比算法采用PID算法，该算 法同样属于多智能体系统的两者博弈算法，实验使用的深度学习算法为LSTM神 经网络，分析2种算法并通过Tensorflow进行仿真，深度强化学习算法仿真结果 如表1所示：
表1深度强化学习算法的仿真结果统计表
Figure BDA0002841205830000101
Figure BDA0002841205830000111
从表1可以看出，在LSTM算法子空间维度为16，时间步为10，隐层为8 时算法达到最高准确率，此时的召回率略低于最高的召回率。在子空间维度为 32，时间步为10时，算法召回率达到最高0.91。对比PID算法多次调参实验结 果，其最高准确率和召回率分别为0.82和0.73，因此从仿真结果能看出所提深 度强化学习算法的效果在准确率上略高于PID算法，在召回率上具备较大的优 势，证明了该算法在电力通信网络中具备较强的适用性。
对于本领域的普通技术人员而言，具体实施例只是对本发明进行了示例性描 述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思 和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案 直接应用于其它场合的，均在本发明的保护范围之内。

Claims (7)

1.一种基于改进深度强化学习的通信网故障智能感知与预警模型的构建方法，其特征在于，具体包括以下步骤：
S1获取数据：选取通信网络的固定时间段的数据作为输入数据；
S2数据预处理：对输入数据进行预处理，获得预处理数据；对预处理数据进行切片划分为N个区域，从而获得N个特征矩阵；
S3模型训练：将所述N个特征矩阵分别输入神经网络中进行训练，训练完成后输出故障预测数据；再将N个特征矩阵按照时间顺序分别输入基于改进深度强化学习的通信网故障智能感知与预警模型进行训练，输出模型，并结合故障预测数据进行预警分析，获得预警分析结果。
2.根据权利要求1所述的基于改进深度强化学习的通信网故障智能感知与预警模型的构建方法，其特征在于，还包括步骤S4仿真分析：仿真电力通信网的五个子网区域模型，获得基于改进深度强化学习的通信网故障智能感知与预警模型的准确率和召回率。
3.根据权利要求2所述的基于改进深度强化学习的通信网故障智能感知与预警模型的构建方法，其特征在于，所述步骤S1中的输入数据为包括性能数据、状态量、告警数据组成的原始特征高维矩阵。
4.根据权利要求3所述的基于改进深度强化学习的通信网故障智能感知与预警模型的构建方法，其特征在于，所述步骤S2具体为：首先对输入数据进行预处理，其中预处理采用的方法包括：利用取前后均值的方法补全缺失的性能及环境的量化数据、缺陷单文本关键词抽取方法进行处理和告警频闪处理，获得预处理数据；再根据告警信号重要性进行切分为N个区域，得到N个特征矩阵。
5.根据权利要求4所述的基于改进深度强化学习的通信网故障智能感知与预警模型的构建方法，其特征在于，所述步骤S3中的神经网络为LSTM神经网络，LSTM神经网络包括输出层、隐藏层和输入层，通过sigmod层控制保留的信息和遗忘的信息，通过tanh层控制输入和输出，以达到记忆长时信息的目的；所述基于改进深度强化学习的通信网故障智能感知与预警模型采用改进的深度强化学习，模型训练方式为在不同状态s下执行不同动作a，已达到下一个状态s’，为了加快算法收敛速度，多个区域的深度强化学习可分多次进行。
6.根据权利要求4所述的基于改进深度强化学习的通信网故障智能感知与预警模型的构建方法，其特征在于，所述步骤S3具体为：
S31：将步骤S2中获得的N个特征矩阵输入LSTM神经网络中进行训练，采用缺陷单数据对故障标注后进行学习训练，训练数据量为总数据量的三分之二，剩余数据用作验证数据，获得故障预测数据；
S32：将步骤S2中获得的N个特征矩阵分别输入基于改进深度强化学习的通信网故障智能感知与预警模型进行模型训练，具体为：
假设共有n个感知区域，对基于深度强化学习的控制器的互博弈过程如下，
S321：首先，第一步是在区域{2，…，i，…，n}固定选择单独训练得到的最优动作，在区域{1}中选择不同的动作进行训练；
S322：将区域{1}选择步骤S321得到的最优动作，区域{3，…，i，…，n}固定选择单独训练得到的最优动作，区域{2}选择不同的动作进行训练；
S323：重复步骤S321～S322，直至第i步时，区域{1，2}选择第1，2，...，(i-1)步训练得到的最优动作，区域{(i-1)，…，n}固定选择单独训练得到的最优动作，区域{i}训练不同的动作步骤；当在第(n+1)步骤时，区域{1，2，…，n}会选择各自区域的深度学习算法进行训练，从而获得基于改进深度强化学习的通信网故障智能感知与预警模型；
S324：N个特征矩阵分别输入基于改进深度强化学习的通信网故障智能感知与预警模型进行学习训练，训练数据量为总数据量的三分之二，剩余数据用作验证数据，输出模型。
7.根据权利要求6所述的基于改进深度强化学习的通信网故障智能感知与预警模型的构建方法，其特征在于，所述步骤S31中的LSTM神经网络的具体构建方法为：
S311：由遗忘门决定上一时刻的输出通过或者部分通过，其中遗忘因子计算公式为：
ft＝σ(Wf·[ht-1，xt]+bf) (1)；
其中，ft为遗忘因子，Wf为遗忘门的权重矩阵，[ht-1，xt]表示把两个向量连接成一个更长的向量，ht-1为t-1时的短期记忆；xt为事件信息；bf为遗忘门的偏置项，σ是sigmoid函数；
S312：进行信息更新，由sigmoid函数决定哪些进行更新，并由tanh函数决定更新值；计算公式为：
Ct＝ft*Ct-1+it*dt(2)：
其中，Ct为t时即当前时刻的长期记忆，为新数据形成的控制参数；Ct-1为t-1时的长期记忆，it为输入门即要保留下来的新信息；dt为当前输入的单元状态；
S313：决定模型的输出，首先通过sigmod函数得到初始输出，然后使用tanh函数将其缩放到[-1，1]间，再与sigmod函数得到的输出逐对相乘，得到模型的输出，计算公式为：
ot＝σ(Wo·[ht-1，xt]+bo) (3)：
ht＝Ot*tanh(Ct) (4)：
其中：Ot为当前输出的单元状态；σ是sigmoid函数；[ht-1，xt]表示把两个向量连接成一个更长的向量；xt为事件信息；ht为t时的短期记忆；Wo为输出门的权重矩阵；bo为输出门的偏置项；Ct为t时即当前时刻的长期记忆，为新数据形成的控制参数。
CN202011492779.5A 2020-12-17 2020-12-17 基于通信网故障智能感知与预警模型的构建方法 Active CN112838946B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011492779.5A CN112838946B (zh) 2020-12-17 2020-12-17 基于通信网故障智能感知与预警模型的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011492779.5A CN112838946B (zh) 2020-12-17 2020-12-17 基于通信网故障智能感知与预警模型的构建方法

Publications (2)

Publication Number Publication Date
CN112838946A true CN112838946A (zh) 2021-05-25
CN112838946B CN112838946B (zh) 2023-04-28

Family

ID=75923630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011492779.5A Active CN112838946B (zh) 2020-12-17 2020-12-17 基于通信网故障智能感知与预警模型的构建方法

Country Status (1)

Country Link
CN (1) CN112838946B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113726559A (zh) * 2021-08-09 2021-11-30 国网福建省电力有限公司 基于人工智能网络安全分析预警模型
CN113780740A (zh) * 2021-08-11 2021-12-10 杭州云嘉健康管理有限公司 一种药品生产智慧监管黑匣子及系统
CN113821408A (zh) * 2021-09-23 2021-12-21 中国建设银行股份有限公司 一种服务器告警处理方法及相关设备
CN114143833A (zh) * 2021-10-29 2022-03-04 北京励图锐新科技有限公司 一种数据切片传输方法
CN115460647A (zh) * 2022-10-21 2022-12-09 北京中电飞华通信有限公司 基于eSIM卡和5G基站的物联网故障定位方法及系统
CN115860106A (zh) * 2022-12-23 2023-03-28 四川物通科技有限公司 一种基于深度q学习的变电站电容故障智能预警方法
CN117349747A (zh) * 2023-09-27 2024-01-05 国网江苏省电力有限公司信息通信分公司 一种电力物联智能终端的离线故障原因分类方法
CN117557244A (zh) * 2023-09-27 2024-02-13 国网江苏省电力有限公司信息通信分公司 基于知识图谱的电力运维警戒系统
CN118317351A (zh) * 2024-05-07 2024-07-09 湖南省通信网络保障中心 基于人工智能技术的通信基站维护系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015158198A1 (zh) * 2014-04-17 2015-10-22 北京泰乐德信息技术有限公司 一种基于神经网络自学习的故障识别方法及系统
CN107769972A (zh) * 2017-10-25 2018-03-06 武汉大学 一种基于改进的lstm的电力通信网设备故障预测方法
CN108830745A (zh) * 2018-06-29 2018-11-16 国网上海市电力公司 基于监控信息的电网连锁故障诊断、预警、评估系统
CN109496318A (zh) * 2018-07-30 2019-03-19 东莞理工学院 基于深度强化学习的自适应博弈算法
CN109947567A (zh) * 2019-03-14 2019-06-28 深圳先进技术研究院 一种多智能体强化学习调度方法、系统及电子设备
CN110399920A (zh) * 2019-07-25 2019-11-01 哈尔滨工业大学（深圳） 一种基于深度强化学习的非完备信息博弈方法、装置、系统及存储介质
CN110689075A (zh) * 2019-09-26 2020-01-14 北京工业大学 基于多算法融合的制冷设备的自适应阈值的故障预测方法
CN110995475A (zh) * 2019-11-20 2020-04-10 国网湖北省电力有限公司信息通信公司 一种基于迁移学习的电力通信网故障检测方法
CN111274395A (zh) * 2020-01-19 2020-06-12 河海大学 基于卷积和长短期记忆网络的电网监控告警事件识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015158198A1 (zh) * 2014-04-17 2015-10-22 北京泰乐德信息技术有限公司 一种基于神经网络自学习的故障识别方法及系统
CN107769972A (zh) * 2017-10-25 2018-03-06 武汉大学 一种基于改进的lstm的电力通信网设备故障预测方法
CN108830745A (zh) * 2018-06-29 2018-11-16 国网上海市电力公司 基于监控信息的电网连锁故障诊断、预警、评估系统
CN109496318A (zh) * 2018-07-30 2019-03-19 东莞理工学院 基于深度强化学习的自适应博弈算法
CN109947567A (zh) * 2019-03-14 2019-06-28 深圳先进技术研究院 一种多智能体强化学习调度方法、系统及电子设备
CN110399920A (zh) * 2019-07-25 2019-11-01 哈尔滨工业大学（深圳） 一种基于深度强化学习的非完备信息博弈方法、装置、系统及存储介质
CN110689075A (zh) * 2019-09-26 2020-01-14 北京工业大学 基于多算法融合的制冷设备的自适应阈值的故障预测方法
CN110995475A (zh) * 2019-11-20 2020-04-10 国网湖北省电力有限公司信息通信公司 一种基于迁移学习的电力通信网故障检测方法
CN111274395A (zh) * 2020-01-19 2020-06-12 河海大学 基于卷积和长短期记忆网络的电网监控告警事件识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MIAO WEIWEI等: "Fault Processing Algorithm of Power backbone Communication networks Based on Artificial Intelligence and State Perception", 《2019 IEEE PES INNOVATIVE SMART GRID TECHNOLOGIES ASIA》 *
缪巍巍等: "基于深度强化学习的通信网故障智能感知与预警模型研究", 《机械设计与制造工程》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113726559A (zh) * 2021-08-09 2021-11-30 国网福建省电力有限公司 基于人工智能网络安全分析预警模型
CN113726559B (zh) * 2021-08-09 2023-10-27 国网福建省电力有限公司 基于人工智能网络安全分析预警系统
CN113780740A (zh) * 2021-08-11 2021-12-10 杭州云嘉健康管理有限公司 一种药品生产智慧监管黑匣子及系统
CN113821408A (zh) * 2021-09-23 2021-12-21 中国建设银行股份有限公司 一种服务器告警处理方法及相关设备
CN114143833A (zh) * 2021-10-29 2022-03-04 北京励图锐新科技有限公司 一种数据切片传输方法
CN115460647A (zh) * 2022-10-21 2022-12-09 北京中电飞华通信有限公司 基于eSIM卡和5G基站的物联网故障定位方法及系统
CN115460647B (zh) * 2022-10-21 2023-06-06 北京中电飞华通信有限公司 基于eSIM卡和5G基站的物联网故障定位方法及系统
CN115860106A (zh) * 2022-12-23 2023-03-28 四川物通科技有限公司 一种基于深度q学习的变电站电容故障智能预警方法
CN117349747A (zh) * 2023-09-27 2024-01-05 国网江苏省电力有限公司信息通信分公司 一种电力物联智能终端的离线故障原因分类方法
CN117557244A (zh) * 2023-09-27 2024-02-13 国网江苏省电力有限公司信息通信分公司 基于知识图谱的电力运维警戒系统
CN118317351A (zh) * 2024-05-07 2024-07-09 湖南省通信网络保障中心 基于人工智能技术的通信基站维护系统及方法

Also Published As

Publication number Publication date
CN112838946B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN112838946B (zh) 基于通信网故障智能感知与预警模型的构建方法
CN110738984A (zh) 人工智能cnn、lstm神经网络语音识别系统
US20210334658A1 (en) Method for performing clustering on power system operation modes based on sparse autoencoder
Loke et al. Artificial neural networks as a tool in urban storm drainage
CN114661905B (zh) 一种基于bert的电网故障诊断方法
CN113449919B (zh) 一种基于特征和趋势感知的用电量预测方法及系统
CN114462718A (zh) 基于时间滑动窗口的cnn-gru风电功率预测方法
CN114676121B (zh) 基于多尺度时空记忆共享网络的缺失监测数据填补方法
CN110851654A (zh) 基于张量化数据降维的工业设备故障检测分类方法
CN108447475A (zh) 一种基于电力调度系统的语音识别模型的建立方法
CN116205265A (zh) 一种基于深层神经网络的电网故障诊断方法及装置
CN110321555A (zh) 一种基于循环神经网络模型的电网信号分类方法
CN116523187A (zh) 一种基于bim的工程进度监控方法及其系统
CN114723112A (zh) 一种基于多维气象因子相空间重构的风电出力超短期预测方法
CN114357284B (zh) 基于深度学习的众包任务个性化推荐方法和系统
CN115482877A (zh) 一种基于时序图网络的发酵过程软测量建模方法
CN113762591B (zh) 一种基于gru和多核svm对抗学习的短期电量预测方法及系统
CN114461791A (zh) 一种基于深度量子神经网络的社交文本情感分析系统
CN117933531A (zh) 一种分布式光伏发电功率预测系统及方法
CN116415505A (zh) 一种基于sbr-dbn模型的系统故障诊断与状态预测方法
CN116307773A (zh) 一种变电站二次设备可靠性估计方法
CN115391523A (zh) 风电场多源异构数据处理方法及装置
CN115759343A (zh) 一种基于e-lstm的用户电量预测方法和装置
Zheng et al. Wind Electricity Power Prediction Based on CNN-LSTM Network Model
CN114970519A (zh) 一种基于数据分词的车流量数据处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant