CN111523661A - 基于信息熵、自期望的电力安全作业神经元网络优化方法 - Google Patents

基于信息熵、自期望的电力安全作业神经元网络优化方法 Download PDF

Info

Publication number
CN111523661A
CN111523661A CN202010316066.7A CN202010316066A CN111523661A CN 111523661 A CN111523661 A CN 111523661A CN 202010316066 A CN202010316066 A CN 202010316066A CN 111523661 A CN111523661 A CN 111523661A
Authority
CN
China
Prior art keywords
input
neural network
expectation
self
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010316066.7A
Other languages
English (en)
Other versions
CN111523661B (zh
Inventor
曾锦松
许佳庆
施宇翔
许志永
肖靖
刘海沧
连哲勇
谢亦苒
洪建林
郭丽慧
潘贤栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Lide Group Co ltd
Original Assignee
Xiamen Lide Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Lide Group Co ltd filed Critical Xiamen Lide Group Co ltd
Priority to CN202010316066.7A priority Critical patent/CN111523661B/zh
Publication of CN111523661A publication Critical patent/CN111523661A/zh
Application granted granted Critical
Publication of CN111523661B publication Critical patent/CN111523661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明涉及一种基于信息熵、自期望的电力安全作业神经元网络优化方法。本发明方法将训练和推理彻底合并，不需要分开训练和验证，训练时就在推理，推理时就在训练。

Description

基于信息熵、自期望的电力安全作业神经元网络优化方法
技术领域
本发明涉及一种基于信息熵、自期望的电力安全作业神经元网络优化方法。
背景技术
神经元网络的训练是一种调整网络权值的过程，目前基于梯度下降的反向传播是主要方法。但是在我们的电力前端检测的实践中我们发现，这样的训练算法已经无法满足要求，特别是电力监控要求训练和推理要同时进行，快速迭代模型，减少数据标注和人工核验的重复工作，而现有的电力作业监控中，训练时不能进行推理，推理时不能进行训练。训练和推理过程是分开的。在实际使用中要等待训练新的模型，然后才能进行推理。在实践中，训练数据量要大，依赖人工标注，推理后需要人工核验。因此，如图1所示的目前传统的神经元网络模型迭代速度比较慢，面对新的问题无法有效解决。需要一种可以边训练边推理的网络模型。
发明内容
本发明的目的在于解决电力作业领域监控中训练和推理分离导致监控设备实用性差的问题，提供一种基于信息熵、自期望的电力安全作业神经元网络优化方法，将训练和推理彻底合并，不需要分开训练和验证，训练时就在推理，推理时就在训练。
为实现上述目的，本发明的技术方案是：一种基于信息熵、自期望的电力安全作业神经元网络优化方法，包括如下步骤：
步骤S1、将电力作业现场的图片矩阵转换为2维图片矩阵并归一化；
步骤S2、将步骤S1归一化的2维图片矩阵拼接形成{xk,labelj}的二维矩阵数据；其中，k代表图片数据点数目，j代表标签分类的数目，m是代表神经元的输入数目，k+j＝m；
步骤S3、用随机正太分布初始化神经元网络的连接权重wi与神经元内部的预期向量pi；
步骤S4、推理同时将输入向量xi矩阵输入下式(1)得到偏差loss，并将输入向量xi输入到下式(2)得到输出y，根据y的输出判断是否有缺陷，若有则告警；
Figure BDA0002459485960000011
y＝f(xi) (2)
式中，xi是输入向量，pi是神经元内部的预期向量，pi为常量，wi是连接权重，f是激活函数；
步骤S5、利用偏差loss求wi偏导得到D；
步骤S6、将D乘以学习率L得到权重的增量K；
步骤S7、将当前wi(t)减去K得到新的wi(t+1)，其中，t代表当前时刻，t+1代表下一时刻；
步骤S8、依次重复迭代步骤S5至步骤S7，直到所有的权重都更新。
在本发明一实施例中，所述步骤S1中，将2维图片矩阵并归一化，即将2维图片矩阵除以255变成0到1之间。
在本发明一实施例中，所述步骤S2中，标签来源于外部评价与内部的其他评价神经元的输入。
相较于现有技术，本发明具有以下有益效果：本发明将训练和推理彻底合并，不需要分开训练和验证，训练时就在推理，推理时就在训练。
附图说明
图1为传统的神经元网络模型。
图2为本发明基于信息熵、自期望的电力安全作业神经元网络优化方法模型。
图3为本发明结构原理图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
本发明提供了一种基于信息熵、自期望的电力安全作业神经元网络优化方法，包括如下步骤：
步骤S1、将电力作业现场的图片矩阵转换为2维图片矩阵并归一化；
步骤S2、将步骤S1归一化的2维图片矩阵拼接形成{xk,labelj}的二维矩阵数据；其中，k代表图片数据点数目，j代表标签分类的数目，m是代表神经元的输入数目，k+j＝m；
步骤S3、用随机正太分布初始化神经元网络的连接权重wi与神经元内部的预期向量pi；
步骤S4、推理同时将输入向量xi矩阵输入下式(1)得到偏差loss，并将输入向量xi输入到下式(2)得到输出y，根据y的输出判断是否有缺陷，若有则告警；
Figure BDA0002459485960000021
y＝f(xi) (2)
式中，xi是输入向量，pi是神经元内部的预期向量，pi为常量，wi是连接权重，f是激活函数；
步骤S5、利用偏差loss求wi偏导得到D；
步骤S6、将D乘以学习率L得到权重的增量K；
步骤S7、将当前wi(t)减去K得到新的wi(t+1)，其中，t代表当前时刻，t+1代表下一时刻；
步骤S8、依次重复迭代步骤S5至步骤S7，直到所有的权重都更新。
以下为本发明的具体实现过程。
基于梯度下降的反向传播算法的神经元网络训练方法，利用输出与真是输出之间的误差，利用反向传播算法逐个调整网络的权值。
反向传播的梯度下降优化方法实施过程：
A、用随机值初始化权重和偏差
B、把输入传入网络，得到输出值
C、计算预测值和真实值之间的误差
D、反向传播误差到每一个神经元，根据每一个产生误差的神经元，调整相应的(权重)值以减小误差(链式求导和步长的设置)
E、重复迭代，直至得到网络权重的最佳值
在电力作业监控中，为了提高精度需要不断训练和调整参数。训练时不能进行推理，推理时不能进行训练。训练和推理过程是分开的。在实际使用中要等待训练新的模型，然后才能进行推理。在实践中，训练数据量要大，依赖人工标注，推理后需要人工核验。如图1所示。
为解决电力作业领域监控中训练和推理分离导致监控设备实用性差的问题。
本发明提出了一种基于信息熵、自期望的电力安全作业神经元网络优化方法，如图2、3所示，包括如下步骤：
步骤S1、将电力作业现场的图片矩阵转换为2维图片矩阵并归一化；
步骤S2、将步骤S1归一化的2维图片矩阵拼接形成{xk,labelj}的二维矩阵数据；其中，k代表图片数据点数目，j代表标签分类的数目，m是代表神经元的输入数目，k+j＝m；
步骤S3、用随机正太分布初始化神经元网络的连接权重wi与神经元内部的预期向量pi；
步骤S4、推理同时将输入向量xi矩阵输入下式(1)得到偏差loss，并将输入向量xi输入到下式(2)得到输出y，根据y的输出判断是否有缺陷，若有则告警；
Figure BDA0002459485960000031
y＝f(xi) (2)
式中，xi是输入向量，pi是神经元内部的预期向量，pi为常量，wi是连接权重，f是激活函数；
步骤S5、利用偏差loss求wi偏导得到D；
步骤S6、将D乘以学习率L得到权重的增量K；K可正可负；
步骤S7、将当前wi(t)减去K得到新的wi(t+1)，其中，t代表当前时刻，t+1代表下一时刻；
步骤S8、依次重复迭代步骤S5至步骤S7，直到所有的权重都更新。
本发明方法改进了训练和推理的流程进行了合并，省去了人工标注与核验过程。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (3)

1.一种基于信息熵、自期望的电力安全作业神经元网络优化方法，其特征在于，包括如下步骤：
步骤S1、将电力作业现场的图片矩阵转换为2维图片矩阵并归一化；
步骤S2、将步骤S1归一化的2维图片矩阵拼接形成{xk,labelj}的二维矩阵数据；其中，k代表图片数据点数目，j代表标签分类的数目，m是代表神经元的输入数目，k+j＝m；
步骤S3、用随机正太分布初始化神经元网络的连接权重wi与神经元内部的预期向量pi；
步骤S4、推理同时将输入向量xi矩阵输入下式(1)得到偏差loss，并将输入向量xi输入到下式(2)得到输出y，根据y的输出判断是否有缺陷，若有则告警；
Figure FDA0002459485950000011
y＝f(xi) (2)
式中，xi是输入向量，pi是神经元内部的预期向量，pi为常量，wi是连接权重，f是激活函数；
步骤S5、利用偏差loss求wi偏导得到D；
步骤S6、将D乘以学习率L得到权重的增量K；
步骤S7、将当前wi(t)减去K得到新的wi(t+1)，其中，t代表当前时刻，t+1代表下一时刻；
步骤S8、依次重复迭代步骤S5至步骤S7，直到所有的权重都更新。
2.根据权利要求1所述的基于信息熵、自期望的电力安全作业神经元网络优化方法，其特征在于，所述步骤S1中，将2维图片矩阵并归一化，即将2维图片矩阵除以255变成0到1之间。
3.根据权利要求1所述的基于信息熵、自期望的电力安全作业神经元网络优化方法，其特征在于，所述步骤S2中，标签来源于外部评价与内部的其他评价神经元的输入。
CN202010316066.7A 2020-04-21 2020-04-21 基于信息熵、自期望的电力安全作业神经元网络优化方法 Active CN111523661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010316066.7A CN111523661B (zh) 2020-04-21 2020-04-21 基于信息熵、自期望的电力安全作业神经元网络优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010316066.7A CN111523661B (zh) 2020-04-21 2020-04-21 基于信息熵、自期望的电力安全作业神经元网络优化方法

Publications (2)

Publication Number Publication Date
CN111523661A true CN111523661A (zh) 2020-08-11
CN111523661B CN111523661B (zh) 2023-03-24

Family

ID=71904094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010316066.7A Active CN111523661B (zh) 2020-04-21 2020-04-21 基于信息熵、自期望的电力安全作业神经元网络优化方法

Country Status (1)

Country Link
CN (1) CN111523661B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407649A (zh) * 2016-08-26 2017-02-15 中国矿业大学(北京) 基于时间递归神经网络的微震信号到时自动拾取方法
CN108200005A (zh) * 2017-09-14 2018-06-22 国网浙江省电力公司宁波供电公司 基于非监督学习的电力二次系统网络流量异常检测方法
US20180357542A1 (en) * 2018-06-08 2018-12-13 University Of Electronic Science And Technology Of China 1D-CNN-Based Distributed Optical Fiber Sensing Signal Feature Learning and Classification Method
CN109961138A (zh) * 2017-12-14 2019-07-02 北京中科寒武纪科技有限公司 神经网络训练方法及相关产品
CN110163389A (zh) * 2019-05-27 2019-08-23 上海电气泰雷兹交通自动化系统有限公司 运用于预见性维护管理中的神经元网络方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407649A (zh) * 2016-08-26 2017-02-15 中国矿业大学(北京) 基于时间递归神经网络的微震信号到时自动拾取方法
CN108200005A (zh) * 2017-09-14 2018-06-22 国网浙江省电力公司宁波供电公司 基于非监督学习的电力二次系统网络流量异常检测方法
CN109961138A (zh) * 2017-12-14 2019-07-02 北京中科寒武纪科技有限公司 神经网络训练方法及相关产品
US20180357542A1 (en) * 2018-06-08 2018-12-13 University Of Electronic Science And Technology Of China 1D-CNN-Based Distributed Optical Fiber Sensing Signal Feature Learning and Classification Method
CN110163389A (zh) * 2019-05-27 2019-08-23 上海电气泰雷兹交通自动化系统有限公司 运用于预见性维护管理中的神经元网络方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭会芳: "基于粒子群算法的通信基站空调能效比参数辨识", 《中国优秀硕士学位论文全文数据库》 *

Also Published As

Publication number Publication date
CN111523661B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN107786369B (zh) 基于irt层次分析和lstm的电力通信网络安全态势感知和预测方法
CN110580496A (zh) 一种基于熵最小化的深度迁移学习系统及方法
CN110707763B (zh) 一种基于集成学习的交直流配电网负荷预测方法
CN103711523B (zh) 基于局域分解-进化神经网络的瓦斯浓度实时预测方法
CN111160620B (zh) 一种基于端到端记忆网络的短期风电功率预测方法
CN107037373B (zh) 基于神经网络的蓄电池剩余电量预测方法
CN113408648B (zh) 一种结合深度学习的机组组合计算方法
CN104217258B (zh) 一种电力负荷条件密度预测方法
CN111242157A (zh) 联合深度注意力特征和条件对抗的无监督域自适应方法
CN111488946A (zh) 基于信息融合的雷达伺服系统故障诊断方法
CN110213784B (zh) 一种流量预测方法及装置
CN110866640A (zh) 一种基于深度神经网络的电力负荷预测方法
CN111047085A (zh) 一种基于元学习的混合动力车辆工况预测方法
Xie et al. Imitation and transfer Q-learning-based parameter identification for composite load modeling
CN112651519A (zh) 一种基于深度学习理论的二次设备故障定位方法及系统
CN113705086A (zh) 一种基于Elman误差修正的超短期风电功率预测方法
CN112149896A (zh) 一种基于注意力机制的机械设备多工况故障预测方法
CN111898799A (zh) 一种基于BFA-Elman的电力负荷预测方法
CN111523661B (zh) 基于信息熵、自期望的电力安全作业神经元网络优化方法
CN114626550A (zh) 分布式模型协同训练方法和系统
CN114189047A (zh) 面向有源配电网状态估计的虚假数据检测与修正方法
CN105205560B (zh) 一种基于正负误差变权的光伏发电功率预测方法
CN117192378A (zh) 一种注意力机制耦合贝叶斯网络的锂电池soh估计方法
CN109685242B (zh) 基于Adaboost算法的光伏超短期组合预测方法
CN115081014B (zh) 一种基于联邦学习的目标检测标签自动标注方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant