CN110222834A - 一种基于噪声遮蔽的发散式人工智能记忆模型系统 - Google Patents

一种基于噪声遮蔽的发散式人工智能记忆模型系统 Download PDF

Info

Publication number
CN110222834A
CN110222834A CN201910200841.XA CN201910200841A CN110222834A CN 110222834 A CN110222834 A CN 110222834A CN 201910200841 A CN201910200841 A CN 201910200841A CN 110222834 A CN110222834 A CN 110222834A
Authority
CN
China
Prior art keywords
noise
self
encoding encoder
input
aes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910200841.XA
Other languages
English (en)
Other versions
CN110222834B (zh
Inventor
周元海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ring Intelligent Technology Co Ltd
Original Assignee
Hangzhou Ring Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ring Intelligent Technology Co Ltd filed Critical Hangzhou Ring Intelligent Technology Co Ltd
Publication of CN110222834A publication Critical patent/CN110222834A/zh
Application granted granted Critical
Publication of CN110222834B publication Critical patent/CN110222834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065Analogue means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明公开了一种基于噪声遮蔽的发散式人工智能记忆模型,将噪声发生器noiser与自编码器AE的组合成降噪模块,n个降噪模块依次串联起来构成自编码器系统AEs,自编码器系统AEs的噪声发生器noiser与自编码器AE的组合,信息首输入噪声发生器noiser,经过噪声叠加之后,依次递给下一个降噪模块多阶、逐阶降噪,AE的降噪实际上就是把信息中的噪声去除,可以看做信息量的增加。是AE拥有能够实现降噪,会恢复被一定的噪声掩盖的信息;噪声将分阶段加载串联的AE上面构成AEs,噪声按照AEs的阶数,分成不同功率的子噪声,将这些噪声子逐个加载到对应的AE上,模型就完全记忆了图像的特征,实现了信息的完备记忆。

Description

一种基于噪声遮蔽的发散式人工智能记忆模型系统
技术领域
本发明涉及一种基于噪声遮蔽的发散式人工智能记忆模型系统。
背景技术
人工智能的机器学习通过基于线性网络、卷积网络、循环卷积网络等构成的 模型和提供的数据集合,通过反复计算和训练,最终获得一定精确度的智能模型。 噪声拟合技术和真噪声技术,提供作为样本散度的噪声系统和驱动引擎,借此进 行特征的模糊提取和通过噪声激励下的信息合成技术。
人工智能机器学习自编码器AE具有降噪功能,可以过滤信息中的轻微噪声, 但是降噪幅度非常有限,随着噪声的加大,AE的降噪能力就会下降,当噪声足 够大时,AE就无法降噪了。而噪声是针对信息而言的,噪声越大,有效的信息 越少,纯粹的噪声可以认为是无任何信息。不断地向信息中加入噪声,就能不断 减少信息。同样,AE的降噪实际上就是把信息中的噪声去除,可以看做信息量 的增加。而单纯的噪声输入AE无任何有效输出。
发明内容
本发明为解决现有技术在使用中存在的问题,提供一种可有效增加信息,遮 蔽噪声的发散式人工智能记忆模型系统。
本发明解决现有问题的技术方案是:一种基于噪声遮蔽的发散式人工智能记 忆模型,包括自编码器AE,按照降噪的阶数n,预制n+1个自编码器AE和n 个噪声发生器noiser,所述的n≥1,将噪声发生器noiser与自编码器AE的逐一 组合成阶降噪模块,串联n阶降噪模块的n个自编码器AE构成n阶降噪,再将 第n+1个自编码器AE串联在n阶降噪模块的自编码器AE的头部,构成自编码 器系统AEs,所述的自编码器系统AEs的噪声发生器noiser与自编码器AE的组 合,信息首先输入每阶的噪声发生器noiser,经过噪声叠加之后,传递给相应的 自编码器AE,后经过噪声叠加依次递给下一个降噪模块的自编码器AE构成逐 阶降噪;所述的自编码器系统AEs及逐阶进行降噪构成一个记忆体。
上述的n个自编码器AE和噪声发生器noiser的输入输出的shape完全一致, 所述的自编码器AE使用线性自编码器,每个噪声发生器noiser对应的噪声功率 不同。
作为进一步改进,所述的n=1,自编码器系统AEs为一阶降噪,所述的一阶降 噪噪声设置使用高斯白噪声,设信息的信息熵为h,白噪声的功率等同于h,记 为n。
作为进一步改进,所述的AEs降噪包括将自编码器AE记为降噪编码器,使 用噪声功率为n的白噪声Noise;使用noise激励,生成形状与Input相同的噪声 向量Noise,Input_n=Input+Noise,将Input_n作为输入进入AE,Output与Input 做差值生成Lost,Lost参与全局优化,直到Lost的均值低于lost_a。
其中,上述的自编码器AE输入均作为浮点数进行输入,输出均为浮点数。 自编码器AE的优化包括将Lost将全局优化隐藏层hidden,反向传播算法使用 Adam和交叉熵算法。
作为进一步改进,每个记忆体的每一个阶段AE都将抽象信息的一个特征。
作为进一步改进,还包括使用记忆创建信息,所述的使用记忆创建信息包括, 全噪声激励,使用纯白噪声作为激励,作用在AEs上;
半噪声激励,使用白噪声和信息片段叠加作为激励,作用在AEs上面。
作为进一步改进,所述的AEs得噪声发生器noiser在激励作用下,每一阶 段的AE都将使用降噪过程还原部分信息的特征,在全部AE的共同作用下,信 息将会被逆向生成。
作为进一步改进,所述的AEs最终结果经过深度学习系统判决误差,如果 误差较大,重新使用一个噪声阶,再次激励。
上述的自编码器AE的输入层与输出层长度设置为L,AE只有一层隐藏层, 隐藏层神经元长度设置为L,输入层向量为Input,输出层向量为Output,隐藏 层结构为线性,记为Hidden,所述的Input、Output、Hidden层采用全连接的方 式,输入与输出一致。
本发明与现有技术相比较,将噪声发生器noiser与自编码器AE的组合成降 噪模块,n个降噪模块依次串联起来构成自编码器系统AEs,自编码器系统AEs 的噪声发生器noiser与自编码器AE的组合,信息首输入噪声发生器noiser,经 过噪声叠加之后,依次递给下一个降噪模块多阶、逐阶降噪,AE的降噪实际上 就是把信息中的噪声去除,可以看做信息量的增加。其有益效果是AE拥有能够 实现降噪,会恢复被一定的噪声掩盖的信息;噪声将分阶段加载串联的AE上面 构成AEs,噪声按照AEs的阶数,分成不同功率的子噪声,将这些噪声子逐个 加载到对应的AE上,可保证每个AE的噪声功率维持在一个可以接受的范围上 面,最终的结果也能保证,同时由于总体上增加了强噪声,生成的信息和原有的 有了轻微变化,而总体的输入成了噪声本身,所以可以认为,这个系统已经记忆 了全部的数据信息,这样这个模型就完全记忆了图像的特征,实现了信息的完备 记忆。
本发明AE、AEs人工智能深度学习中的发散式学习,通过对自编码器系统 AEs模型散度的设计,可以生成与训练模型的数据相似的领域数据,可以用在信 息合成、材料科学、生物医学等场景中。
附图说明
图1是本发明的结构框图。
具体实施方式
参见图1,本实施案例包括自编码器AE,按照降噪的阶数n,预制n+1个 自编码器AE和n个噪声发生器noiser,所述的n≥1,将噪声发生器noiser与自 编码器AE的逐一组合成阶降噪模块,串联n阶降噪模块的n个自编码器AE构 成n阶降噪,再将第n+1个自编码器AE串联在n阶降噪模块的自编码器AE的 头部,构成自编码器系统AEs,所述的自编码器系统AEs的噪声发生器noiser 与自编码器AE的组合,信息首先输入每阶的噪声发生器noiser,经过噪声叠加 之后,传递给相应的自编码器AE,后经过噪声叠加依次递给下一个降噪模块的自编码器AE构成逐阶降噪;所述的自编码器系统AEs及逐阶进行降噪构成一个 记忆体。可使用现有的噪声系统叠加原有信息的方式驱动每个AE。位于串联于 第n+1的AE,作为头部,输入含有较高功率噪声的信息或者输入噪声。
其中,n个自编码器AE和噪声发生器noiser的输入输出的shape完全一致, 所述的自编码器AE使用线性自编码器AE,每个噪声发生器noiser对应的噪声 功率不同。
自编码器AE的输入层与输出层长度设置为L,AE只有一层隐藏层,隐藏 层神经元长度设置为L,输入层向量为Input,输出层向量为Output,隐藏层结 构为线性,记为Hidden,Input、Output、Hidden层采用全连接的方式,输入与 输出一致。
多阶降噪,噪声设置,设初始噪声功率为u1,按照阶数噪声功率逐渐减小, 缩减方式为非线性。而阶数来源于信息的特征数,当系统在某一阶的AE始终无 法实现降噪,则将这一阶拆分,拆分后的AE同时拆分噪声功率,然后按照每个 AE再进行降噪。
当n=1,自编码器系统AEs为一阶降噪,一阶降噪噪声设置使用高斯白噪声, 设信息的信息熵为h,白噪声的功率等同于h,记为n。降噪时,自编码器AE 记为降噪编码器,使用噪声功率为n的白噪声Noise;使用noise激励,生成形 状与Input相同的噪声向量Noise,Input_n=Input+Noise,将Input_n作为输入 进入AE,Output与Input做差值生成Lost,Lost参与全局优化,直到Lost的均 值低于lost_a,则认为降噪完成,获得降噪模型。
自编码器AE输入均作为浮点数进行输入,输出均为浮点数。但不限定输入、 输出的信息的类型。
自编码器AE的可进行优化,优化包括将Lost将全局优化隐藏层hidden,反 向传播算法使用Adam和交叉熵算法。
对于n阶的AEs系统,如果需要提升阶数,那么首先要将目前AEs中的全 部AE串联固定,在不改变之前的训练结果,然后新增一个AE串联在AEs的头 部,这样形成一个n+1阶的AEs系统。此时,为AEs作整体训练,调节新增AE 的参数。
每个记忆体的每一个阶段AE都将抽象信息的部分特征。
还包括使用记忆创建信息,使用记忆创建信息包括,激励,激励包括:
全噪声激励,使用纯白噪声作为激励,作用在AEs上;
半噪声激励,使用白噪声和信息片段叠加作为激励,作用在AEs上面。
AEs得噪声发生器noiser在激励作用下,每一阶段的AE都将使用降噪过程 还原部分信息的特征,在全部AE的共同作用下,信息将会被逆向生成。
AEs最终结果经过深度学习系统判决误差,如果误差较大,重新使用一个噪 声阶方案,再次激励。

Claims (10)

1.一种基于噪声遮蔽的发散式人工智能记忆模型,包括自编码器AE,其特征在于:按照降噪的阶数n,预制n+1个自编码器AE和n个噪声发生器noiser,所述的n≥1,将噪声发生器noiser与自编码器AE的逐一组合成阶降噪模块,串联n阶降噪模块的n个自编码器AE构成n阶降噪,再将第n+1个自编码器AE串联在n阶降噪模块的自编码器AE的头部,构成自编码器系统AEs,所述的自编码器系统AEs的噪声发生器noiser与自编码器AE的组合,信息首先输入每阶的噪声发生器noiser,经过噪声叠加之后,传递给相应的自编码器AE,后经过噪声叠加依次递给下一个降噪模块的自编码器AE构成逐阶降噪;所述的自编码器系统AEs及逐阶进行降噪构成一个记忆体;
所述的n个自编码器AE和噪声发生器noiser的输入输出的shape完全一致,所述的自编码器AE使用线性自编码器,每个噪声发生器noiser对应的噪声功率不同。
2.如权利要求1所述的基于噪声遮蔽的发散式人工智能记忆模型,其特征在于:所述的n=1,自编码器系统AEs为一阶降噪,所述的一阶降噪噪声设置使用高斯白噪声,设信息的信息熵为h,白噪声的功率等同于h,记为n。
3.如权利要求1或2所述的基于噪声遮蔽的发散式人工智能记忆模型,其特征在于:所述的AEs降噪包括将自编码器AE记为降噪编码器,使用噪声功率为n的白噪声Noise;使用noise激励,生成形状与Input相同的噪声向量Noise,Input_n=Input+Noise,将Input_n作为输入进入AE,Output与Input做差值生成Lost,Lost参与全局优化,直到Lost的均值低于lost_a。
4.如权利要求3所述的基于噪声遮蔽的发散式人工智能记忆模型,其特征在于:所述的自编码器AE输入均作为浮点数进行输入,输出均为浮点数。
5.如权利要求4所述的基于噪声遮蔽的发散式人工智能记忆模型,其特征在于:所述的自编码器AE的优化包括将Lost将全局优化隐藏层hidden,反向传播算法使用Adam和交叉熵算法。
6.如权利要求1所述的基于噪声遮蔽的发散式人工智能记忆模型,其特征在于:每个记忆体的每一个阶段AE都将抽象信息的一个特征。
7.如权利要求1所述的基于噪声遮蔽的发散式人工智能记忆模型,其特征在于:还包括使用记忆创建信息,所述的使用记忆创建信息包括,
全噪声激励,使用纯白噪声作为激励,作用在AEs上;
半噪声激励,使用白噪声和信息片段叠加作为激励,作用在AEs上面。
8.如权利要求7所述的基于噪声遮蔽的发散式人工智能记忆模型,其特征在于:所述的AEs得噪声发生器noiser在激励作用下,每一阶段的AE都将使用降噪过程还原部分信息的特征,在全部AE的共同作用下,信息将会被逆向生成。
9.如权利要求1或7所述的基于噪声遮蔽的发散式人工智能记忆模型,其特征在于:所述的AEs最终结果经过深度学习系统判决误差,如果误差较大,重新使用一个噪声阶,再次激励。
10.如权利要求1所述的基于噪声遮蔽的发散式人工智能记忆模型,其特征在于:所述的自编码器AE的输入层与输出层长度设置为L,AE只有一层隐藏层,隐藏层神经元长度设置为L,输入层向量为Input,输出层向量为Output,隐藏层结构为线性,记为Hidden,所述的Input、Output、Hidden层采用全连接的方式,输入与输出一致。
CN201910200841.XA 2018-12-27 2019-03-17 一种基于噪声遮蔽的发散式人工智能记忆模型系统 Active CN110222834B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811614721 2018-12-27
CN2018116147216 2018-12-27

Publications (2)

Publication Number Publication Date
CN110222834A true CN110222834A (zh) 2019-09-10
CN110222834B CN110222834B (zh) 2023-12-19

Family

ID=67822355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910200841.XA Active CN110222834B (zh) 2018-12-27 2019-03-17 一种基于噪声遮蔽的发散式人工智能记忆模型系统

Country Status (1)

Country Link
CN (1) CN110222834B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002054386A1 (fr) * 2000-12-26 2002-07-11 Mitsubishi Denki Kabushiki Kaisha Systeme de codage vocal et procede de codage vocal
WO2003081527A1 (en) * 2002-03-26 2003-10-02 Council Of Scientific And Industrial Research Improved performance of artificial neural network models in the presence of instrumental noise and measurement errors
US20030191728A1 (en) * 2002-03-27 2003-10-09 Kulkarni Bhaskar Dattatray Performance of artificial neural network models in the presence of instrumental noise and measurement errors
CN107590778A (zh) * 2017-07-31 2018-01-16 南京理工大学 一种基于无损约束降噪的自编码方法
CN107610692A (zh) * 2017-09-22 2018-01-19 杭州电子科技大学 基于神经网络堆叠自编码器多特征融合的声音识别方法
CN108956145A (zh) * 2018-07-17 2018-12-07 中国科学院沈阳自动化研究所 基于无损约束降噪稀疏自编码的滚动轴承故障诊断方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002054386A1 (fr) * 2000-12-26 2002-07-11 Mitsubishi Denki Kabushiki Kaisha Systeme de codage vocal et procede de codage vocal
WO2003081527A1 (en) * 2002-03-26 2003-10-02 Council Of Scientific And Industrial Research Improved performance of artificial neural network models in the presence of instrumental noise and measurement errors
US20030191728A1 (en) * 2002-03-27 2003-10-09 Kulkarni Bhaskar Dattatray Performance of artificial neural network models in the presence of instrumental noise and measurement errors
CN107590778A (zh) * 2017-07-31 2018-01-16 南京理工大学 一种基于无损约束降噪的自编码方法
CN107610692A (zh) * 2017-09-22 2018-01-19 杭州电子科技大学 基于神经网络堆叠自编码器多特征融合的声音识别方法
CN108956145A (zh) * 2018-07-17 2018-12-07 中国科学院沈阳自动化研究所 基于无损约束降噪稀疏自编码的滚动轴承故障诊断方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘东瀛;邓艾东;刘振元;李晶;张瑞;黄宏伟;: "基于EMD与相关系数原理的故障声发射信号降噪研究", 振动与冲击, no. 19 *
张成刚;姜静清;: "一种稀疏降噪自编码神经网络研究", 内蒙古民族大学学报(自然科学版), no. 01 *
马红强;马时平;许悦雷;吕超;辛鹏;朱明明;: "基于改进栈式稀疏去噪自编码器的图像去噪", 计算机工程与应用, no. 04 *

Also Published As

Publication number Publication date
CN110222834B (zh) 2023-12-19

Similar Documents

Publication Publication Date Title
Gelenbe et al. Function approximation with spiked random networks
Gregor et al. Deep autoregressive networks
JP2019067408A (ja) イメージセグメンテーションのための学習方法及び学習装置、そしてこれを利用したイメージセグメンテーション方法及びイメージセグメンテーション装置
CN112651360B (zh) 一种小样本下骨架动作识别方法
KR102396447B1 (ko) 파이프라인 구조를 가지는 인공신경망용 연산 가속 장치
CN108985444A (zh) 一种基于节点抑制的卷积神经网络剪枝方法
CN109670582B (zh) 一种全定点化神经网络的设计方法
Sakunthala et al. A review on artificial intelligence techniques in electrical drives: Neural networks, fuzzy logic, and genetic algorithm
CN117390431A (zh) 基于stl分解和vae-tcn网络模型的港口空气质量预测方法
CN110222834A (zh) 一种基于噪声遮蔽的发散式人工智能记忆模型系统
Alnemari et al. Efficient deep neural networks for edge computing
Sinha et al. Evolving nanoscale associative memories with memristors
Aghajari et al. A novel chaotic hetero-associative memory
CN116612087A (zh) 一种基于YOLOv5-LA的冠脉CTA狭窄检测方法
Qin et al. Merging and evolution: improving convolutional neural networks for mobile applications
Kaliakatsos-Papakostas et al. Intelligent generation of rhythmic sequences using Finite L-systems
Alsan et al. A simple proof of polarization and polarization for non-stationary channels
Angus Tree based lookahead sigma delta modulators
CN109697511B (zh) 数据推理方法、装置及计算机设备
Baird et al. One-step neural network inversion with PDF learning and emulation
EP3975052A1 (en) Method and system for providing recommendations concerning a configuration process
Sarkar et al. An incremental pruning strategy for fast training of CNN models
Kohut et al. Boolean neural networks
Kayama Cellular automata in fractal arrangement
Khan Multi-Layer Perceptron

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant