CN110222834A - 一种基于噪声遮蔽的发散式人工智能记忆模型系统 - Google Patents
一种基于噪声遮蔽的发散式人工智能记忆模型系统 Download PDFInfo
- Publication number
- CN110222834A CN110222834A CN201910200841.XA CN201910200841A CN110222834A CN 110222834 A CN110222834 A CN 110222834A CN 201910200841 A CN201910200841 A CN 201910200841A CN 110222834 A CN110222834 A CN 110222834A
- Authority
- CN
- China
- Prior art keywords
- noise
- self
- encoding encoder
- input
- aes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 19
- 230000009467 reduction Effects 0.000 claims abstract description 61
- 230000005284 excitation Effects 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000011946 reduction process Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 abstract description 3
- 230000006872 improvement Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005194 fractionation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
本发明公开了一种基于噪声遮蔽的发散式人工智能记忆模型,将噪声发生器noiser与自编码器AE的组合成降噪模块,n个降噪模块依次串联起来构成自编码器系统AEs,自编码器系统AEs的噪声发生器noiser与自编码器AE的组合,信息首输入噪声发生器noiser,经过噪声叠加之后,依次递给下一个降噪模块多阶、逐阶降噪,AE的降噪实际上就是把信息中的噪声去除,可以看做信息量的增加。是AE拥有能够实现降噪,会恢复被一定的噪声掩盖的信息;噪声将分阶段加载串联的AE上面构成AEs,噪声按照AEs的阶数,分成不同功率的子噪声,将这些噪声子逐个加载到对应的AE上,模型就完全记忆了图像的特征,实现了信息的完备记忆。
Description
技术领域
本发明涉及一种基于噪声遮蔽的发散式人工智能记忆模型系统。
背景技术
人工智能的机器学习通过基于线性网络、卷积网络、循环卷积网络等构成的 模型和提供的数据集合,通过反复计算和训练,最终获得一定精确度的智能模型。 噪声拟合技术和真噪声技术,提供作为样本散度的噪声系统和驱动引擎,借此进 行特征的模糊提取和通过噪声激励下的信息合成技术。
人工智能机器学习自编码器AE具有降噪功能,可以过滤信息中的轻微噪声, 但是降噪幅度非常有限,随着噪声的加大,AE的降噪能力就会下降,当噪声足 够大时,AE就无法降噪了。而噪声是针对信息而言的,噪声越大,有效的信息 越少,纯粹的噪声可以认为是无任何信息。不断地向信息中加入噪声,就能不断 减少信息。同样,AE的降噪实际上就是把信息中的噪声去除,可以看做信息量 的增加。而单纯的噪声输入AE无任何有效输出。
发明内容
本发明为解决现有技术在使用中存在的问题,提供一种可有效增加信息,遮 蔽噪声的发散式人工智能记忆模型系统。
本发明解决现有问题的技术方案是:一种基于噪声遮蔽的发散式人工智能记 忆模型,包括自编码器AE,按照降噪的阶数n,预制n+1个自编码器AE和n 个噪声发生器noiser,所述的n≥1,将噪声发生器noiser与自编码器AE的逐一 组合成阶降噪模块,串联n阶降噪模块的n个自编码器AE构成n阶降噪,再将 第n+1个自编码器AE串联在n阶降噪模块的自编码器AE的头部,构成自编码 器系统AEs,所述的自编码器系统AEs的噪声发生器noiser与自编码器AE的组 合,信息首先输入每阶的噪声发生器noiser,经过噪声叠加之后,传递给相应的 自编码器AE,后经过噪声叠加依次递给下一个降噪模块的自编码器AE构成逐 阶降噪;所述的自编码器系统AEs及逐阶进行降噪构成一个记忆体。
上述的n个自编码器AE和噪声发生器noiser的输入输出的shape完全一致, 所述的自编码器AE使用线性自编码器,每个噪声发生器noiser对应的噪声功率 不同。
作为进一步改进,所述的n=1,自编码器系统AEs为一阶降噪,所述的一阶降 噪噪声设置使用高斯白噪声,设信息的信息熵为h,白噪声的功率等同于h,记 为n。
作为进一步改进,所述的AEs降噪包括将自编码器AE记为降噪编码器,使 用噪声功率为n的白噪声Noise;使用noise激励,生成形状与Input相同的噪声 向量Noise,Input_n=Input+Noise,将Input_n作为输入进入AE,Output与Input 做差值生成Lost,Lost参与全局优化,直到Lost的均值低于lost_a。
其中,上述的自编码器AE输入均作为浮点数进行输入,输出均为浮点数。 自编码器AE的优化包括将Lost将全局优化隐藏层hidden,反向传播算法使用 Adam和交叉熵算法。
作为进一步改进,每个记忆体的每一个阶段AE都将抽象信息的一个特征。
作为进一步改进,还包括使用记忆创建信息,所述的使用记忆创建信息包括, 全噪声激励,使用纯白噪声作为激励,作用在AEs上;
半噪声激励,使用白噪声和信息片段叠加作为激励,作用在AEs上面。
作为进一步改进,所述的AEs得噪声发生器noiser在激励作用下,每一阶 段的AE都将使用降噪过程还原部分信息的特征,在全部AE的共同作用下,信 息将会被逆向生成。
作为进一步改进,所述的AEs最终结果经过深度学习系统判决误差,如果 误差较大,重新使用一个噪声阶,再次激励。
上述的自编码器AE的输入层与输出层长度设置为L,AE只有一层隐藏层, 隐藏层神经元长度设置为L,输入层向量为Input,输出层向量为Output,隐藏 层结构为线性,记为Hidden,所述的Input、Output、Hidden层采用全连接的方 式,输入与输出一致。
本发明与现有技术相比较,将噪声发生器noiser与自编码器AE的组合成降 噪模块,n个降噪模块依次串联起来构成自编码器系统AEs,自编码器系统AEs 的噪声发生器noiser与自编码器AE的组合,信息首输入噪声发生器noiser,经 过噪声叠加之后,依次递给下一个降噪模块多阶、逐阶降噪,AE的降噪实际上 就是把信息中的噪声去除,可以看做信息量的增加。其有益效果是AE拥有能够 实现降噪,会恢复被一定的噪声掩盖的信息;噪声将分阶段加载串联的AE上面 构成AEs,噪声按照AEs的阶数,分成不同功率的子噪声,将这些噪声子逐个 加载到对应的AE上,可保证每个AE的噪声功率维持在一个可以接受的范围上 面,最终的结果也能保证,同时由于总体上增加了强噪声,生成的信息和原有的 有了轻微变化,而总体的输入成了噪声本身,所以可以认为,这个系统已经记忆 了全部的数据信息,这样这个模型就完全记忆了图像的特征,实现了信息的完备 记忆。
本发明AE、AEs人工智能深度学习中的发散式学习,通过对自编码器系统 AEs模型散度的设计,可以生成与训练模型的数据相似的领域数据,可以用在信 息合成、材料科学、生物医学等场景中。
附图说明
图1是本发明的结构框图。
具体实施方式
参见图1,本实施案例包括自编码器AE,按照降噪的阶数n,预制n+1个 自编码器AE和n个噪声发生器noiser,所述的n≥1,将噪声发生器noiser与自 编码器AE的逐一组合成阶降噪模块,串联n阶降噪模块的n个自编码器AE构 成n阶降噪,再将第n+1个自编码器AE串联在n阶降噪模块的自编码器AE的 头部,构成自编码器系统AEs,所述的自编码器系统AEs的噪声发生器noiser 与自编码器AE的组合,信息首先输入每阶的噪声发生器noiser,经过噪声叠加 之后,传递给相应的自编码器AE,后经过噪声叠加依次递给下一个降噪模块的自编码器AE构成逐阶降噪;所述的自编码器系统AEs及逐阶进行降噪构成一个 记忆体。可使用现有的噪声系统叠加原有信息的方式驱动每个AE。位于串联于 第n+1的AE,作为头部,输入含有较高功率噪声的信息或者输入噪声。
其中,n个自编码器AE和噪声发生器noiser的输入输出的shape完全一致, 所述的自编码器AE使用线性自编码器AE,每个噪声发生器noiser对应的噪声 功率不同。
自编码器AE的输入层与输出层长度设置为L,AE只有一层隐藏层,隐藏 层神经元长度设置为L,输入层向量为Input,输出层向量为Output,隐藏层结 构为线性,记为Hidden,Input、Output、Hidden层采用全连接的方式,输入与 输出一致。
多阶降噪,噪声设置,设初始噪声功率为u1,按照阶数噪声功率逐渐减小, 缩减方式为非线性。而阶数来源于信息的特征数,当系统在某一阶的AE始终无 法实现降噪,则将这一阶拆分,拆分后的AE同时拆分噪声功率,然后按照每个 AE再进行降噪。
当n=1,自编码器系统AEs为一阶降噪,一阶降噪噪声设置使用高斯白噪声, 设信息的信息熵为h,白噪声的功率等同于h,记为n。降噪时,自编码器AE 记为降噪编码器,使用噪声功率为n的白噪声Noise;使用noise激励,生成形 状与Input相同的噪声向量Noise,Input_n=Input+Noise,将Input_n作为输入 进入AE,Output与Input做差值生成Lost,Lost参与全局优化,直到Lost的均 值低于lost_a,则认为降噪完成,获得降噪模型。
自编码器AE输入均作为浮点数进行输入,输出均为浮点数。但不限定输入、 输出的信息的类型。
自编码器AE的可进行优化,优化包括将Lost将全局优化隐藏层hidden,反 向传播算法使用Adam和交叉熵算法。
对于n阶的AEs系统,如果需要提升阶数,那么首先要将目前AEs中的全 部AE串联固定,在不改变之前的训练结果,然后新增一个AE串联在AEs的头 部,这样形成一个n+1阶的AEs系统。此时,为AEs作整体训练,调节新增AE 的参数。
每个记忆体的每一个阶段AE都将抽象信息的部分特征。
还包括使用记忆创建信息,使用记忆创建信息包括,激励,激励包括:
全噪声激励,使用纯白噪声作为激励,作用在AEs上;
半噪声激励,使用白噪声和信息片段叠加作为激励,作用在AEs上面。
AEs得噪声发生器noiser在激励作用下,每一阶段的AE都将使用降噪过程 还原部分信息的特征,在全部AE的共同作用下,信息将会被逆向生成。
AEs最终结果经过深度学习系统判决误差,如果误差较大,重新使用一个噪 声阶方案,再次激励。
Claims (10)
1.一种基于噪声遮蔽的发散式人工智能记忆模型,包括自编码器AE,其特征在于:按照降噪的阶数n,预制n+1个自编码器AE和n个噪声发生器noiser,所述的n≥1,将噪声发生器noiser与自编码器AE的逐一组合成阶降噪模块,串联n阶降噪模块的n个自编码器AE构成n阶降噪,再将第n+1个自编码器AE串联在n阶降噪模块的自编码器AE的头部,构成自编码器系统AEs,所述的自编码器系统AEs的噪声发生器noiser与自编码器AE的组合,信息首先输入每阶的噪声发生器noiser,经过噪声叠加之后,传递给相应的自编码器AE,后经过噪声叠加依次递给下一个降噪模块的自编码器AE构成逐阶降噪;所述的自编码器系统AEs及逐阶进行降噪构成一个记忆体;
所述的n个自编码器AE和噪声发生器noiser的输入输出的shape完全一致,所述的自编码器AE使用线性自编码器,每个噪声发生器noiser对应的噪声功率不同。
2.如权利要求1所述的基于噪声遮蔽的发散式人工智能记忆模型,其特征在于:所述的n=1,自编码器系统AEs为一阶降噪,所述的一阶降噪噪声设置使用高斯白噪声,设信息的信息熵为h,白噪声的功率等同于h,记为n。
3.如权利要求1或2所述的基于噪声遮蔽的发散式人工智能记忆模型,其特征在于:所述的AEs降噪包括将自编码器AE记为降噪编码器,使用噪声功率为n的白噪声Noise;使用noise激励,生成形状与Input相同的噪声向量Noise,Input_n=Input+Noise,将Input_n作为输入进入AE,Output与Input做差值生成Lost,Lost参与全局优化,直到Lost的均值低于lost_a。
4.如权利要求3所述的基于噪声遮蔽的发散式人工智能记忆模型,其特征在于:所述的自编码器AE输入均作为浮点数进行输入,输出均为浮点数。
5.如权利要求4所述的基于噪声遮蔽的发散式人工智能记忆模型,其特征在于:所述的自编码器AE的优化包括将Lost将全局优化隐藏层hidden,反向传播算法使用Adam和交叉熵算法。
6.如权利要求1所述的基于噪声遮蔽的发散式人工智能记忆模型,其特征在于:每个记忆体的每一个阶段AE都将抽象信息的一个特征。
7.如权利要求1所述的基于噪声遮蔽的发散式人工智能记忆模型,其特征在于:还包括使用记忆创建信息,所述的使用记忆创建信息包括,
全噪声激励,使用纯白噪声作为激励,作用在AEs上;
半噪声激励,使用白噪声和信息片段叠加作为激励,作用在AEs上面。
8.如权利要求7所述的基于噪声遮蔽的发散式人工智能记忆模型,其特征在于:所述的AEs得噪声发生器noiser在激励作用下,每一阶段的AE都将使用降噪过程还原部分信息的特征,在全部AE的共同作用下,信息将会被逆向生成。
9.如权利要求1或7所述的基于噪声遮蔽的发散式人工智能记忆模型,其特征在于:所述的AEs最终结果经过深度学习系统判决误差,如果误差较大,重新使用一个噪声阶,再次激励。
10.如权利要求1所述的基于噪声遮蔽的发散式人工智能记忆模型,其特征在于:所述的自编码器AE的输入层与输出层长度设置为L,AE只有一层隐藏层,隐藏层神经元长度设置为L,输入层向量为Input,输出层向量为Output,隐藏层结构为线性,记为Hidden,所述的Input、Output、Hidden层采用全连接的方式,输入与输出一致。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811614721 | 2018-12-27 | ||
CN2018116147216 | 2018-12-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110222834A true CN110222834A (zh) | 2019-09-10 |
CN110222834B CN110222834B (zh) | 2023-12-19 |
Family
ID=67822355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910200841.XA Active CN110222834B (zh) | 2018-12-27 | 2019-03-17 | 一种基于噪声遮蔽的发散式人工智能记忆模型系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110222834B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002054386A1 (fr) * | 2000-12-26 | 2002-07-11 | Mitsubishi Denki Kabushiki Kaisha | Systeme de codage vocal et procede de codage vocal |
WO2003081527A1 (en) * | 2002-03-26 | 2003-10-02 | Council Of Scientific And Industrial Research | Improved performance of artificial neural network models in the presence of instrumental noise and measurement errors |
US20030191728A1 (en) * | 2002-03-27 | 2003-10-09 | Kulkarni Bhaskar Dattatray | Performance of artificial neural network models in the presence of instrumental noise and measurement errors |
CN107590778A (zh) * | 2017-07-31 | 2018-01-16 | 南京理工大学 | 一种基于无损约束降噪的自编码方法 |
CN107610692A (zh) * | 2017-09-22 | 2018-01-19 | 杭州电子科技大学 | 基于神经网络堆叠自编码器多特征融合的声音识别方法 |
CN108956145A (zh) * | 2018-07-17 | 2018-12-07 | 中国科学院沈阳自动化研究所 | 基于无损约束降噪稀疏自编码的滚动轴承故障诊断方法 |
-
2019
- 2019-03-17 CN CN201910200841.XA patent/CN110222834B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002054386A1 (fr) * | 2000-12-26 | 2002-07-11 | Mitsubishi Denki Kabushiki Kaisha | Systeme de codage vocal et procede de codage vocal |
WO2003081527A1 (en) * | 2002-03-26 | 2003-10-02 | Council Of Scientific And Industrial Research | Improved performance of artificial neural network models in the presence of instrumental noise and measurement errors |
US20030191728A1 (en) * | 2002-03-27 | 2003-10-09 | Kulkarni Bhaskar Dattatray | Performance of artificial neural network models in the presence of instrumental noise and measurement errors |
CN107590778A (zh) * | 2017-07-31 | 2018-01-16 | 南京理工大学 | 一种基于无损约束降噪的自编码方法 |
CN107610692A (zh) * | 2017-09-22 | 2018-01-19 | 杭州电子科技大学 | 基于神经网络堆叠自编码器多特征融合的声音识别方法 |
CN108956145A (zh) * | 2018-07-17 | 2018-12-07 | 中国科学院沈阳自动化研究所 | 基于无损约束降噪稀疏自编码的滚动轴承故障诊断方法 |
Non-Patent Citations (3)
Title |
---|
刘东瀛;邓艾东;刘振元;李晶;张瑞;黄宏伟;: "基于EMD与相关系数原理的故障声发射信号降噪研究", 振动与冲击, no. 19 * |
张成刚;姜静清;: "一种稀疏降噪自编码神经网络研究", 内蒙古民族大学学报(自然科学版), no. 01 * |
马红强;马时平;许悦雷;吕超;辛鹏;朱明明;: "基于改进栈式稀疏去噪自编码器的图像去噪", 计算机工程与应用, no. 04 * |
Also Published As
Publication number | Publication date |
---|---|
CN110222834B (zh) | 2023-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Gelenbe et al. | Function approximation with spiked random networks | |
Gregor et al. | Deep autoregressive networks | |
JP2019067408A (ja) | イメージセグメンテーションのための学習方法及び学習装置、そしてこれを利用したイメージセグメンテーション方法及びイメージセグメンテーション装置 | |
CN112651360B (zh) | 一种小样本下骨架动作识别方法 | |
KR102396447B1 (ko) | 파이프라인 구조를 가지는 인공신경망용 연산 가속 장치 | |
CN108985444A (zh) | 一种基于节点抑制的卷积神经网络剪枝方法 | |
CN109670582B (zh) | 一种全定点化神经网络的设计方法 | |
Sakunthala et al. | A review on artificial intelligence techniques in electrical drives: Neural networks, fuzzy logic, and genetic algorithm | |
CN117390431A (zh) | 基于stl分解和vae-tcn网络模型的港口空气质量预测方法 | |
CN110222834A (zh) | 一种基于噪声遮蔽的发散式人工智能记忆模型系统 | |
Alnemari et al. | Efficient deep neural networks for edge computing | |
Sinha et al. | Evolving nanoscale associative memories with memristors | |
Aghajari et al. | A novel chaotic hetero-associative memory | |
CN116612087A (zh) | 一种基于YOLOv5-LA的冠脉CTA狭窄检测方法 | |
Qin et al. | Merging and evolution: improving convolutional neural networks for mobile applications | |
Kaliakatsos-Papakostas et al. | Intelligent generation of rhythmic sequences using Finite L-systems | |
Alsan et al. | A simple proof of polarization and polarization for non-stationary channels | |
Angus | Tree based lookahead sigma delta modulators | |
CN109697511B (zh) | 数据推理方法、装置及计算机设备 | |
Baird et al. | One-step neural network inversion with PDF learning and emulation | |
EP3975052A1 (en) | Method and system for providing recommendations concerning a configuration process | |
Sarkar et al. | An incremental pruning strategy for fast training of CNN models | |
Kohut et al. | Boolean neural networks | |
Kayama | Cellular automata in fractal arrangement | |
Khan | Multi-Layer Perceptron |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |