CN110222834B - 一种基于噪声遮蔽的发散式人工智能记忆模型系统 - Google Patents

一种基于噪声遮蔽的发散式人工智能记忆模型系统 Download PDF

Info

Publication number
CN110222834B
CN110222834B CN201910200841.XA CN201910200841A CN110222834B CN 110222834 B CN110222834 B CN 110222834B CN 201910200841 A CN201910200841 A CN 201910200841A CN 110222834 B CN110222834 B CN 110222834B
Authority
CN
China
Prior art keywords
noise
self
information
encoder
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910200841.XA
Other languages
English (en)
Other versions
CN110222834A (zh
Inventor
周元海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Huanxing Intelligent Technology Co ltd
Original Assignee
Hangzhou Huanxing Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Huanxing Intelligent Technology Co ltd filed Critical Hangzhou Huanxing Intelligent Technology Co ltd
Publication of CN110222834A publication Critical patent/CN110222834A/zh
Application granted granted Critical
Publication of CN110222834B publication Critical patent/CN110222834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065Analogue means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种基于噪声遮蔽的发散式人工智能记忆模型,将噪声发生器noiser与自编码器AE的组合成降噪模块,n个降噪模块依次串联起来构成自编码器系统AEs,自编码器系统AEs的噪声发生器noiser与自编码器AE的组合,信息首输入噪声发生器noiser,经过噪声叠加之后,依次递给下一个降噪模块多阶、逐阶降噪,AE的降噪实际上就是把信息中的噪声去除,可以看做信息量的增加。是AE拥有能够实现降噪,会恢复被一定的噪声掩盖的信息;噪声将分阶段加载串联的AE上面构成AEs,噪声按照AEs的阶数,分成不同功率的子噪声,将这些噪声子逐个加载到对应的AE上,模型就完全记忆了图像的特征,实现了信息的完备记忆。

Description

一种基于噪声遮蔽的发散式人工智能记忆模型系统
技术领域
本发明涉及一种基于噪声遮蔽的发散式人工智能记忆模型系统。
背景技术
人工智能的机器学习通过基于线性网络、卷积网络、循环卷积网络等构成的模型和提供的数据集合,通过反复计算和训练,最终获得一定精确度的智能模型。噪声拟合技术和真噪声技术,提供作为样本散度的噪声系统和驱动引擎,借此进行特征的模糊提取和通过噪声激励下的信息合成技术。
人工智能机器学习自编码器AE具有降噪功能,可以过滤信息中的轻微噪声,但是降噪幅度非常有限,随着噪声的加大,AE的降噪能力就会下降,当噪声足够大时,AE就无法降噪了。而噪声是针对信息而言的,噪声越大,有效的信息越少,纯粹的噪声可以认为是无任何信息。不断地向信息中加入噪声,就能不断减少信息。同样,AE的降噪实际上就是把信息中的噪声去除,可以看做信息量的增加。而单纯的噪声输入AE无任何有效输出。
发明内容
本发明为解决现有技术在使用中存在的问题,提供一种可有效增加信息,遮 蔽噪声的发散式人工智能记忆模型系统。
本发明解决现有问题的技术方案是:一种基于噪声遮蔽的发散式人工智能记 忆模型,包括自编码器AE,按照降噪的阶数n,预制n+1个自编码器AE和n 个噪声发生器noiser,所述的n≥1,将噪声发生器noiser与自编码器AE的逐一 组合成阶降噪模块,串联n阶降噪模块的n个自编码器AE构成n阶降噪,再将 第n+1个自编码器AE串联在n阶降噪模块的自编码器AE的头部,构成自编码 器系统AEs,所述的自编码器系统AEs的噪声发生器noiser与自编码器AE的组 合,信息首先输入每阶的噪声发生器noiser,经过噪声叠加之后,传递给相应的 自编码器AE,后经过噪声叠加依次递给下一个降噪模块的自编码器AE构成逐 阶降噪;所述的自编码器系统AEs及逐阶进行降噪构成一个记忆体。
上述的n个自编码器AE和噪声发生器noiser的输入输出的shape完全一致, 所述的自编码器AE使用线性自编码器,每个噪声发生器noiser对应的噪声功率 不同。
作为进一步改进,所述的n=1,自编码器系统AEs为一阶降噪,所述的一阶降 噪噪声设置使用高斯白噪声,设信息的信息熵为h,白噪声的功率等同于h,记 为n。
作为进一步改进,所述的AEs降噪包括将自编码器AE记为降噪编码器,使 用噪声功率为n的白噪声Noise;使用noise激励,生成形状与Input相同的噪声 向量Noise,Input_n=Input+Noise,将Input_n作为输入进入AE,Output与Input 做差值生成Lost,Lost参与全局优化,直到Lost的均值低于lost_a。
其中,上述的自编码器AE输入均作为浮点数进行输入,输出均为浮点数。 自编码器AE的优化包括将Lost将全局优化隐藏层hidden,反向传播算法使用 Adam和交叉熵算法。
作为进一步改进,每个记忆体的每一个阶段AE都将抽象信息的一个特征。
作为进一步改进,还包括使用记忆创建信息,所述的使用记忆创建信息包括, 全噪声激励,使用纯白噪声作为激励,作用在AEs上;
半噪声激励,使用白噪声和信息片段叠加作为激励,作用在AEs上面。
作为进一步改进,所述的AEs得噪声发生器noiser在激励作用下,每一阶 段的AE都将使用降噪过程还原部分信息的特征,在全部AE的共同作用下,信 息将会被逆向生成。
作为进一步改进,所述的AEs最终结果经过深度学习系统判决误差,如果 误差较大,重新使用一个噪声阶,再次激励。
上述的自编码器AE的输入层与输出层长度设置为L,AE只有一层隐藏层, 隐藏层神经元长度设置为L,输入层向量为Input,输出层向量为Output,隐藏 层结构为线性,记为Hidden,所述的Input、Output、Hidden层采用全连接的方 式,输入与输出一致。
本发明与现有技术相比较,将噪声发生器noiser与自编码器AE的组合成降 噪模块,n个降噪模块依次串联起来构成自编码器系统AEs,自编码器系统AEs 的噪声发生器noiser与自编码器AE的组合,信息首输入噪声发生器noiser,经 过噪声叠加之后,依次递给下一个降噪模块多阶、逐阶降噪,AE的降噪实际上 就是把信息中的噪声去除,可以看做信息量的增加。其有益效果是AE拥有能够 实现降噪,会恢复被一定的噪声掩盖的信息;噪声将分阶段加载串联的AE上面 构成AEs,噪声按照AEs的阶数,分成不同功率的子噪声,将这些噪声子逐个 加载到对应的AE上,可保证每个AE的噪声功率维持在一个可以接受的范围上 面,最终的结果也能保证,同时由于总体上增加了强噪声,生成的信息和原有的 有了轻微变化,而总体的输入成了噪声本身,所以可以认为,这个系统已经记忆 了全部的数据信息,这样这个模型就完全记忆了图像的特征,实现了信息的完备 记忆。
本发明AE、AEs人工智能深度学习中的发散式学习,通过对自编码器系统 AEs模型散度的设计,可以生成与训练模型的数据相似的领域数据,可以用在信 息合成、材料科学、生物医学等场景中。
附图说明
图1是本发明的结构框图。
实施方式
参见图1,本实施案例包括自编码器AE,按照降噪的阶数n,预制n+1个 自编码器AE和n个噪声发生器noiser,所述的n≥1,将噪声发生器noiser与自 编码器AE的逐一组合成阶降噪模块,串联n阶降噪模块的n个自编码器AE构 成n阶降噪,再将第n+1个自编码器AE串联在n阶降噪模块的自编码器AE的 头部,构成自编码器系统AEs,所述的自编码器系统AEs的噪声发生器noiser 与自编码器AE的组合,信息首先输入每阶的噪声发生器noiser,经过噪声叠加 之后,传递给相应的自编码器AE,后经过噪声叠加依次递给下一个降噪模块的 自编码器AE构成逐阶降噪;所述的自编码器系统AEs及逐阶进行降噪构成一个 记忆体。可使用现有的噪声系统叠加原有信息的方式驱动每个AE。位于串联于 第n+1的AE,作为头部,输入含有较高功率噪声的信息或者输入噪声。
其中,n个自编码器AE和噪声发生器noiser的输入输出的shape完全一致, 所述的自编码器AE使用线性自编码器AE,每个噪声发生器noiser对应的噪声 功率不同。
自编码器AE的输入层与输出层长度设置为L,AE只有一层隐藏层,隐藏 层神经元长度设置为L,输入层向量为Input,输出层向量为Output,隐藏层结 构为线性,记为Hidden,Input、Output、Hidden层采用全连接的方式,输入与 输出一致。
多阶降噪,噪声设置,设初始噪声功率为u1,按照阶数噪声功率逐渐减小, 缩减方式为非线性。而阶数来源于信息的特征数,当系统在某一阶的AE始终无 法实现降噪,则将这一阶拆分,拆分后的AE同时拆分噪声功率,然后按照每个 AE再进行降噪。
当n=1,自编码器系统AEs为一阶降噪,一阶降噪噪声设置使用高斯白噪声, 设信息的信息熵为h,白噪声的功率等同于h,记为n。降噪时,自编码器AE 记为降噪编码器,使用噪声功率为n的白噪声Noise;使用noise激励,生成形 状与Input相同的噪声向量Noise,Input_n=Input+Noise,将Input_n作为输入 进入AE,Output与Input做差值生成Lost,Lost参与全局优化,直到Lost的均 值低于lost_a,则认为降噪完成,获得降噪模型。
自编码器AE输入均作为浮点数进行输入,输出均为浮点数。但不限定输入、 输出的信息的类型。
自编码器AE的可进行优化,优化包括将Lost将全局优化隐藏层hidden,反 向传播算法使用Adam和交叉熵算法。
对于n阶的AEs系统,如果需要提升阶数,那么首先要将目前AEs中的全 部AE串联固定,在不改变之前的训练结果,然后新增一个AE串联在AEs的头 部,这样形成一个n+1阶的AEs系统。此时,为AEs作整体训练,调节新增AE 的参数。
每个记忆体的每一个阶段AE都将抽象信息的部分特征。
还包括使用记忆创建信息,使用记忆创建信息包括,激励,激励包括。
全噪声激励,使用纯白噪声作为激励,作用在AEs上;
半噪声激励,使用白噪声和信息片段叠加作为激励,作用在AEs上面;
AEs得噪声发生器noiser在激励作用下,每一阶段的AE都将使用降噪过程 还原部分信息的特征,在全部AE的共同作用下,信息将会被逆向生成。
AEs最终结果经过深度学习系统判决误差,如果误差较大,重新使用一个噪 声阶方案,再次激励。

Claims (9)

1.一种基于噪声遮蔽的发散式人工智能记忆模型系统,包括自编码器AE,其特征在于:按照降噪的阶数n,预制n+1个自编码器AE和n个噪声发生器noiser,所述的n≥1,将噪声发生器noiser与自编码器AE的逐一组合成阶降噪模块,串联n阶降噪模块的n个自编码器AE构成n阶降噪,再将第n+1个自编码器AE串联在n阶降噪模块的自编码器AE的头部,构成自编码器系统AEs,所述的自编码器系统AEs的噪声发生器noiser与自编码器AE的组合,信息首先输入每阶的噪声发生器noiser,经过噪声叠加之后,传递给相应的自编码器AE,后经过噪声叠加依次递给下一个降噪模块的自编码器AE构成逐阶降噪;所述的自编码器系统AEs及逐阶进行降噪构成一个记忆体;
所述的n个自编码器AE和噪声发生器noiser的输入输出的shape完全一致,所述的自编码器AE使用线性自编码器,每个噪声发生器noiser对应的噪声功率不同;
所述记忆模型用于对图像数据进行降噪和完备记忆;
所述对图像数据进行降噪和完备记忆的过程包括:将待处理信息输入每阶的噪声发生器,经过噪声叠加后传递至自编码器AE后经过逐阶降噪,再经过自编码系统及逐阶进行降噪构成一个记忆体,使得系统记忆全部的数据信息;
所述数据信息包括图像的特征;
所述的AEs降噪包括将自编码器AE记为降噪编码器,使用噪声功率为n的白噪声Noise;使用noise激励,生成形状与Input相同的噪声向量Noise,Input_n=Input+Noise,将Input_n作为输入进入AE,Output与Input做差值生成Lost,Lost参与全局优化,直到Lost的均值低于lost_a。
2.如权利要求1所述的基于噪声遮蔽的发散式人工智能记忆模型系统,其特征在于:所述的n=1,自编码器系统AEs为一阶降噪,所述的一阶降噪噪声设置使用高斯白噪声,设信息的信息熵为h,白噪声的功率等同于h,记为n。
3.如权利要求1所述的基于噪声遮蔽的发散式人工智能记忆模型系统,其特征在于:所述的自编码器AE输入均作为浮点数进行输入,输出均为浮点数。
4.如权利要求3所述的基于噪声遮蔽的发散式人工智能记忆模型系统,其特征在于:所述的自编码器AE的优化包括将Lost将全局优化隐藏层hidden,反向传播算法使用Adam和交叉熵算法。
5.如权利要求1所述的基于噪声遮蔽的发散式人工智能记忆模型系统,其特征在于:每个记忆体的每一个阶段AE都将抽象信息的一个特征。
6.如权利要求1所述的基于噪声遮蔽的发散式人工智能记忆模型系统,其特征在于:还包括使用记忆创建信息,所述的使用记忆创建信息包括,全噪声激励,使用纯白噪声作为激励,作用在AEs上;半噪声激励,使用白噪声和信息片段叠加作为激励,作用在AEs上面。
7.如权利要求6所述的基于噪声遮蔽的发散式人工智能记忆模型系统,其特征在于:所述的AEs得噪声发生器noiser在激励作用下,每一阶段的AE都将使用降噪过程还原部分信息的特征,在全部AE的共同作用下,信息将会被逆向生成。
8.如权利要求1或6所述的基于噪声遮蔽的发散式人工智能记忆模型系统,其特征在于:所述的AEs最终结果经过深度学习系统判决误差,如果误差较大,重新使用一个噪声阶,再次激励。
9.如权利要求1所述的基于噪声遮蔽的发散式人工智能记忆模型系统,其特征在于:所述的自编码器AE的输入层与输出层长度设置为L,AE只有一层隐藏层,隐藏层神经元长度设置为L,输入层向量为Input,输出层向量为Output,隐藏层结构为线性,记为Hidden,所述的Input、Output、Hidden层采用全连接的方式,输入与输出一致。
CN201910200841.XA 2018-12-27 2019-03-17 一种基于噪声遮蔽的发散式人工智能记忆模型系统 Active CN110222834B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811614721 2018-12-27
CN2018116147216 2018-12-27

Publications (2)

Publication Number Publication Date
CN110222834A CN110222834A (zh) 2019-09-10
CN110222834B true CN110222834B (zh) 2023-12-19

Family

ID=67822355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910200841.XA Active CN110222834B (zh) 2018-12-27 2019-03-17 一种基于噪声遮蔽的发散式人工智能记忆模型系统

Country Status (1)

Country Link
CN (1) CN110222834B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002054386A1 (fr) * 2000-12-26 2002-07-11 Mitsubishi Denki Kabushiki Kaisha Systeme de codage vocal et procede de codage vocal
WO2003081527A1 (en) * 2002-03-26 2003-10-02 Council Of Scientific And Industrial Research Improved performance of artificial neural network models in the presence of instrumental noise and measurement errors
CN107590778A (zh) * 2017-07-31 2018-01-16 南京理工大学 一种基于无损约束降噪的自编码方法
CN107610692A (zh) * 2017-09-22 2018-01-19 杭州电子科技大学 基于神经网络堆叠自编码器多特征融合的声音识别方法
CN108956145A (zh) * 2018-07-17 2018-12-07 中国科学院沈阳自动化研究所 基于无损约束降噪稀疏自编码的滚动轴承故障诊断方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7313550B2 (en) * 2002-03-27 2007-12-25 Council Of Scientific & Industrial Research Performance of artificial neural network models in the presence of instrumental noise and measurement errors

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002054386A1 (fr) * 2000-12-26 2002-07-11 Mitsubishi Denki Kabushiki Kaisha Systeme de codage vocal et procede de codage vocal
WO2003081527A1 (en) * 2002-03-26 2003-10-02 Council Of Scientific And Industrial Research Improved performance of artificial neural network models in the presence of instrumental noise and measurement errors
CN107590778A (zh) * 2017-07-31 2018-01-16 南京理工大学 一种基于无损约束降噪的自编码方法
CN107610692A (zh) * 2017-09-22 2018-01-19 杭州电子科技大学 基于神经网络堆叠自编码器多特征融合的声音识别方法
CN108956145A (zh) * 2018-07-17 2018-12-07 中国科学院沈阳自动化研究所 基于无损约束降噪稀疏自编码的滚动轴承故障诊断方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
一种稀疏降噪自编码神经网络研究;张成刚;姜静清;;内蒙古民族大学学报(自然科学版)(第01期);全文 *
基于EMD与相关系数原理的故障声发射信号降噪研究;刘东瀛;邓艾东;刘振元;李晶;张瑞;黄宏伟;;振动与冲击(第19期);全文 *
基于改进栈式稀疏去噪自编码器的图像去噪;马红强;马时平;许悦雷;吕超;辛鹏;朱明明;;计算机工程与应用(第04期);全文 *

Also Published As

Publication number Publication date
CN110222834A (zh) 2019-09-10

Similar Documents

Publication Publication Date Title
Liang et al. An iterative BP-CNN architecture for channel decoding
CN106991646B (zh) 一种基于密集连接网络的图像超分辨率方法
CN108604369B (zh) 一种去除图像噪声的方法、装置、设备及卷积神经网络
CN109740731B (zh) 一种自适应卷积层硬件加速器设计方法
CN106250931A (zh) 一种基于随机卷积神经网络的高分辨率图像场景分类方法
CN111709321B (zh) 一种基于图卷积神经网络的人体行为识别方法
Faraone et al. Customizing low-precision deep neural networks for FPGAs
Liu et al. RB-Net: Training highly accurate and efficient binary neural networks with reshaped point-wise convolution and balanced activation
CN111861886A (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
EP4232957A1 (en) Personalized neural network pruning
CN109670582B (zh) 一种全定点化神经网络的设计方法
CN110222834B (zh) 一种基于噪声遮蔽的发散式人工智能记忆模型系统
CN113625753A (zh) 一种由专家规则引导神经网络学习无人机机动飞行的方法
CN116863320B (zh) 基于物理模型的水下图像增强方法及系统
CN115345801B (zh) 一种基于图像去噪思想的图像压缩及滤镜去除方法及系统
CN111489306A (zh) 基于强化学习的图像去噪方法
CN116152263A (zh) 一种基于cm-mlp网络的医学图像分割方法
CN112862080B (zh) EfficientNet的注意力机制的硬件计算方法
CN115100599A (zh) 基于掩码transformer的半监督人群场景异常检测方法
EP3975052A1 (en) Method and system for providing recommendations concerning a configuration process
Liu et al. A deep neural network pruning method based on gradient L1-norm
CN113962332A (zh) 基于自优化融合反馈的显著目标识别方法
CN113033795A (zh) 基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器
CN106909894A (zh) 车辆品牌型号识别方法和系统
CN115906917B (zh) 一种基于模型算法划分的神经网络模型部署方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant