CN107590778A - 一种基于无损约束降噪的自编码方法 - Google Patents

一种基于无损约束降噪的自编码方法 Download PDF

Info

Publication number
CN107590778A
CN107590778A CN201710639224.0A CN201710639224A CN107590778A CN 107590778 A CN107590778 A CN 107590778A CN 201710639224 A CN201710639224 A CN 201710639224A CN 107590778 A CN107590778 A CN 107590778A
Authority
CN
China
Prior art keywords
mrow
msub
data
mfrac
lossless
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710639224.0A
Other languages
English (en)
Inventor
张毅
张劲松
韩静
柏连发
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201710639224.0A priority Critical patent/CN107590778A/zh
Publication of CN107590778A publication Critical patent/CN107590778A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于无损约束降噪的自编码方法，包括以下步骤：1)、将噪声数据在无损约束降噪的自编码器中训练，初始化网络参数；所述自编码器的重构误差函数J中包括无损约束项||Xn‑Xc||2，其中，Xn为输入的带有噪声的训练数据，Xc是无噪声的数据，将噪声数据代入重构误差函数中进行训练，得到网络参数W和b；2)、根据步骤1)得到的网络参数，根据下式更新Xc；3)、重复步骤1)和2)，达到训练数据去噪和高信噪比特征学习。本发明的基于无损约束降噪的自编码方法去噪能力强，在学习特征的同时，能够去除原始数据中的噪声，从而获得高信噪比的数据；分类准确率高，提升了自编码器对噪声数据的泛化能力，从而提高自编码器在噪声数据下的分类和识别性能。

Description

一种基于无损约束降噪的自编码方法
技术领域
本发明属于图像分类与识别领域,涉及一种基于无损约束降噪的自编码方法。
背景技术
近年来，越来越多的深度学习神经网络在图像识别中取得了显著的成果。深度学习神经网络的框架本质上还是建立在浅层神经网络的基础之上。因此，研究和解决浅层神经网络存在的这些问题有利于进一步加深我们对神经网络的理解，从而为后续的神经网络设计提供更好的指导性。自动编码器可以自动地学习到适合表征图像的特征，再根据有监督的微调参数，可以找寻到适合于图像分类的特征。
自动编码器(Auto-Encoder，AE)是Rumelhart和Hinton等在1986年提出来的，其主要目的是对于一个给定的数据集学习压缩的、分布式的特征表达。自动编码器是一个典型的三层结构的神经网络，输入层和隐藏层之间是一个编码的过程，隐藏层和输出层之间是一个解码的过程，通过对输入数据进行编码操作来获得输入数据的一种编码表示，通过对隐藏层的编码表示作解码操作来获得输入数据的重构，定义重构误差函数来衡量自动编码器学习算法的学习效果。在自动编码器的基础上加上一些约束条件(constraintcondition)可以产生变形的自动编码器。稀疏自动编码器(Sparse Auto-Encoder，SAE)是Bengio等在2007年提出来的，它要求隐藏层神经元激活度满足一定的稀疏性。该算法在重构误差函数(reconstructionerror function)中加入一个额外的惩罚因子，来达到稀疏性。降噪自动编码器(Denoising Auto-Encoder，DAE)是由Vincent等于2008年提出的。其主要思想是首先对输入向量作一个干扰(corruption)，然后基于加入了干扰的输入向量做编码和解码，要求解码后的输入向量尽可能保持原始输入向量的信息。如果对于加入了干扰的输入，输出都能够重构出原始输入,则此网络对于输入数据具有很好的鲁棒性。Bengio等,使用神经网络构建深层网络，将每层网络使用自编码器作为预训练，为深层神经网络提供更好的初始化，从而学习到更优的高层次特征。
在实际情况当中，我们需要自己采集数据集作为训练样本，并且我们获得的数据可能会带有一些噪声(如红外图像或微光图像)。而现有的自编码器，在处理带有噪声数据时，可能会将噪声学习进去，DAE也需要同时拥有纯净的数据和有噪声的数据，让自编码器学习到从噪声数据重构出无噪声数据的能力。当我们只有噪声数据时，我们就需要自编码器有足够的抗噪能力，能够自动地去除掉噪声，学习到无噪声的特征。近年来，稀疏表示被广泛地用于去噪，并且获得了良好的效果。Ghifary等证明在大多数情况下，稀疏架构可以在噪声样本下产生更好的分类性能。Vincent等也证实DAE能够在人为破坏的输入数据中训练学习到鲁棒性更强的特征。
因此，需要一种基于无损约束降噪的自编码方法以解决上述问题。
发明内容
本发明的目的是针对现有技术的缺陷，提供一种能够很好地提高图像分类与识别的准确率的基于无损约束降噪的自编码方法。
为实现上述发明目的，本发明基于无损约束降噪的自编码方法可采用如下技术方案：
一种基于无损约束降噪的自编码方法，包括以下步骤：
1)、将噪声数据在无损约束降噪的自编码器中训练，初始化网络参数；
所述自编码器的重构误差函数J中包括无损约束项||Xn-Xc||2，其中，Xn为输入的带有噪声的训练数据，Xc是无噪声的数据，将噪声数据代入重构误差函数中进行训练，得到网络参数W和b；
2)、根据步骤1)得到的网络参数，根据下式更新Xc：
式中，λ为权重衰减系数，γ为无损约束项比例系数，Xn为输入的带有噪声的训练数据，Xc是无噪声的数据，W和b是步骤1)训练得到的网络参数；
3)、重复步骤1)和2)，达到训练数据去噪和高信噪比特征学习。
更进一步的，步骤1)中所述自编码器的重构误差函数为：
式中，Xn为输入的带有噪声的训练数据，Xc是无噪声的数据，W和b是训练中的网络参数，λ为权重衰减系数，β是稀疏惩罚项系数，hW,b(Xn)为自编码器重构数据；γ为无损约束项比例系数；m为训练数据的样本个数；KL(ρ||ρj)是稀疏约束项。
更进一步的，步骤1)中所述自编码器的重构误差函数为：
所述LDAE自编码器的重构误差函数为：
式中，Xn为输入的带有噪声的训练数据，为将输入的带有噪声的训练数据随机节点置零处理后的数据，Xc是我们希望得到的干净数据，W和b是训练中的网络参数，λ为权重衰减系数，β是稀疏惩罚项系数，为自编码器重构数据；γ为无损约束项比例系数；m为训练数据的样本个数。
更进一步的，步骤1)中根据下式计算得到使得重构误差函数最小的网络参数W和b：
式中，。
更进一步的，J对W和b的偏导数和通过反向传播算法求得。
发明原理：本发明针对传统自编码器对噪声训练数据泛化能力弱的问题，提出一种无损约束降噪思想(Lossless-constraintDenoising，LD)，通过在现有自编码器基础上加上无损约束项(Lossless-constraintItem)，增强自编码器对噪声的抗性和鲁棒性。传统的自编码器在处理噪声训练数据时容易将噪声作为特征学习进去，降噪自编码器需要同时拥有纯净的数据和人为加噪声的数据训练，才能拥有良好的去噪能力，而实际应用中，我们往往获取到的数据本身是带有很多噪声的(如微光数据)。因此本发明分别结合降噪自编码器(DAE)、稀疏自编码器(SAE)，设计具有更强降噪能力的无损约束降噪自编码器(LDAE)和无损约束降噪稀疏自编码器(LDSAE)。这两种无损约束型自编码器(LD-AE)，在学习特征的同时，能够去除训练集中的噪声，最终获得去噪后的高性噪比特征，提高分类和识别的效率。本文在DAE和SAE的基础上，提出一种无损约束降噪自编码思想(Lossless-constraintDenoising，LD-AE)，通过增加一个无损约束项，进一步增强自编码器对噪声的抗性和鲁棒性，从根本上解决传统AE对未知噪声分布数据的泛化能力弱的问题。
有益效果：本发明的基于无损约束降噪的自编码方法去噪能力强，在学习特征的同时，能够去除原始数据中的噪声，从而获得高信噪比的数据；分类准确率高，提升了自编码器对噪声数据的泛化能力，从而提高自编码器在噪声数据下的分类和识别性能。
附图说明
图1是本发明方法原理图；
图2是本发明方法使用的mnist、YaleB数据集部分数据；
图3是本发明方法在mnist数据上学习到的特征对比图；
图4是本发明方法在mnist数据上的重构数据对比图；
图5是本发明方法在YaleB数据上学习到的特征对比图；
图6是本发明方法在YaleB数据上的重构数据对比图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
结合图1，本发明提出的基于无损约束降噪的自编码方法步骤如下：
步骤一：噪声数据在传统自编码器中训练，初始化网络参数。
我们分别基于传统的SAE和DAE，增加一个无损约束项--||Xn-Xc||2，提出了无损约束降噪的自编码器LDSAE和LDAE，他们的重构误差函数分别为：
其中，Xn为输入的带有噪声的训练数据；Xc是我们希望得到的干净数据；W和b是训练中的网络参数；λ为权重衰减系数(用于防止过拟合)；是根据DAE的思想，将输入数据随机节点置零处理后的数据；hW,b(Xn)、为两个自编码器重构数据；γ为无损约束项比例系数；m为训练数据的样本个数；β是稀疏惩罚项系数；KL(ρ||ρj)是稀疏约束项。
其中，ρ是稀疏性参数，通常是一个接近于0的较小的值(比如0.05)；ρj是隐藏层神经元的平均激活度。
由于重构误差函数中新引进了一个未知项Xc，我们需要使用迭代优化的方法寻求该损失函数的最小值点。
初始化Xc＝Xn，那么上面两个重构损失函数就是原始的SAE和DAE：
我们希望求得使得J最小的网络参数W和b。本发明使用梯度下降法求解该重构损失函数的最优解：
其中，其中，i、j为各参数的相对坐标位置；l是参数W和b所在的网络层数；为求变量对W的偏导数了；为求变量对b的偏导数；α为梯度下降的步长。关键是求得J对W和b的偏导数本发明使用传统反向传播算法求得两个偏导。
步骤二：无损约束项特征学习，实现去噪和高信噪比特征提取。
我们固定步骤一中得到的网络参数W和b，将它们视作常数，更新Xc。此时，损失函数可以看作是
其中C为一个常数。我们使用最小二乘法求得此时的J的最小值对应的Xc：
此时，我们得到了一组更新过一次参数W、b和Xc。Xc由于受到均方误差项和无损约束项两个约束项的约束，使得它在去除训练数据Xn中的噪声的同时，尽可能多的保留原始数据中的信息，从而实现我们的无损约束的目的。
然后，继续重复步骤一和步骤二，迭代地更新三个参数，以此达到训练数据去噪和高信噪比特征学习的目的。
最后，我们根据学习到的特征，将数据经过特征表述后传到softmax分类器中进行图像分类。
表1、是本发明方法在mnist数据上单层自编码器效果对比
表2是本发明方法在mnist数据上多层自编码器网络效果对比
表3是本发明方法在YaleB数据上单层自编码器网络效果对比；
表4是本发明方法在YaleB数据上多层自编码器网络效果对比
为说明本发明在图像分类方面的优势，我们以业界广泛被使用的mnist手写字数据集和YaleB人脸数据集进行对比，如图2所示。为避免实验的偶然性，我们在不同噪声比例下，对比了LDSAE与SAE、DAE在单层自编码器编码后的分类结果(表1)以及在编码过程中学习到的特征对比(图3)和重构数据对比(图4)。从对比实验中可以明显看出，本发明的方法学习到的特征和重构出的去噪数据明显有更高的信噪比。本发明还对由自编码器组成的多层自编码器网络进行对比(表2)，得到了相同的对比效果。同时，本发明还在YaleB人脸数据集下做了相同的实验对比，比较了LDAE、LDSAE、SAE、DAE四种自编码器对不同噪声系数下的特征学习和图像分类效果(表3和表4，图5和图6)。
本发明的基于无损约束降噪的自编码器，提出了全新的提升现有自编码器对噪声数据泛化能力和鲁棒性的自编码方法。传统的自编码器，如SAE、DAE在处理噪声数据时很难得到好的效果，DAE作为降噪自编码器，也需要提供无噪声的数据供自编码器学习去噪能力，他们在实际使用中都是有局限的。本发明提出的基于无损约束降噪的自编码器，可以在只有噪声数据情况下，学习生成去噪数据和无噪声的特征，从而提高噪声数据下的分类准确率。本发明在自编码器中增加一个无噪声的数据，这是一个未知的数据，需要我们在训练中获得。我们根据无损约束和原始的均方误差项的约束，使得训练过程中生成的无噪声数据即受到原始噪声数据的约束，又受到重构项的约束，从而使得它能够在保留尽可能多的原始信息的情况下，去除掉噪声信息。这也是我们把这个方法叫做无损约束降噪的原因。
利用训练过程中学习到的无噪声数据，训练自编码器学习到无噪声的特征。数据经过无噪声特征编码后，可以有效的消除噪声变化对数据可分性的影响，提升自编码器对噪声数据的鲁棒性。本发明将学习到的无噪声特征编码噪声数据，从而实现噪声数据编码结果的去噪。将编码结果传给softmax分类器分类，实现图像的去噪和分类。
本发明使用自编码器组成多层自编码网络，进一步提升自编码器的特征学习和去噪能力。多层自编码网络可以提取数据的高层特征和复杂特征表述，结合本发明的无损约束降噪方法，实现泛化能力更强的特征学习和图像分类、识别。本发明将多层网络根据数据的真实标签反向传播，有监督地微调整个网络，实现特征地有监督、有目标地选择，提取其中适合用于图像分类地图像特征，提升图像分类和识别的高效性和鲁棒性。

Claims (6)

1.一种基于无损约束降噪的自编码方法，其特征在于：包括以下步骤：
1)、将噪声数据在无损约束降噪的自编码器中训练，初始化网络参数；
所述自编码器的重构误差函数J中包括无损约束项||Xn-Xc||2，其中，Xn为输入的带有噪声的训练数据，Xc是无噪声的数据，将噪声数据代入重构误差函数中进行训练，得到网络参数W和b；
2)、根据步骤1)得到的网络参数，根据下式更新Xc：
<mrow> <msub> <mi>X</mi> <mi>c</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>&amp;gamma;X</mi> <mi>n</mi> </msub> <mo>+</mo> <msub> <mi>h</mi> <mrow> <mi>W</mi> <mo>,</mo> <mi>b</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>n</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <mn>1</mn> <mo>+</mo> <mi>&amp;gamma;</mi> </mrow> </mfrac> </mrow>
式中，λ为权重衰减系数，γ为无损约束项比例系数，Xn为输入的带有噪声的训练数据，Xc是无噪声的数据，W和b是步骤1)训练得到的网络参数；
3)、重复步骤1)和2)，达到训练数据去噪和高信噪比特征学习。
2.如权利要求1的基于无损约束降噪的自编码方法，其特征在于：步骤1)中所述自编码器的重构误差函数为：
<mrow> <msub> <mi>J</mi> <mrow> <mi>L</mi> <mi>D</mi> <mi>S</mi> <mi>A</mi> <mi>E</mi> </mrow> </msub> <mo>=</mo> <mi>&amp;gamma;</mi> <mfrac> <mn>1</mn> <mrow> <mn>2</mn> <mi>m</mi> </mrow> </mfrac> <mo>|</mo> <mo>|</mo> <msub> <mi>X</mi> <mi>n</mi> </msub> <mo>-</mo> <msub> <mi>X</mi> <mi>c</mi> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>+</mo> <mfrac> <mn>1</mn> <mrow> <mn>2</mn> <mi>m</mi> </mrow> </mfrac> <mo>|</mo> <mo>|</mo> <msub> <mi>h</mi> <mrow> <mi>W</mi> <mo>,</mo> <mi>b</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>n</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>X</mi> <mi>c</mi> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>+</mo> <mfrac> <mi>&amp;lambda;</mi> <mn>2</mn> </mfrac> <mo>&amp;Sigma;</mo> <msup> <mi>W</mi> <mn>2</mn> </msup> <mo>+</mo> <mi>&amp;beta;</mi> <mo>&amp;Sigma;</mo> <mi>K</mi> <mi>L</mi> <mrow> <mo>(</mo> <mi>&amp;rho;</mi> <mo>|</mo> <mo>|</mo> <msub> <mi>&amp;rho;</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> </mrow>
式中，Xn为输入的带有噪声的训练数据，Xc是无噪声的数据，W和b是训练中的网络参数，λ为权重衰减系数，β是稀疏惩罚项系数，hW,b(Xn)为自编码器重构数据；γ为无损约束项比例系数；m为训练数据的样本个数；KL(ρ||ρj)是稀疏约束项。
3.如权利要求2的基于无损约束降噪的自编码方法，其特征在于：其中，稀疏约束项KL(ρ||ρj)通过下式表示：
<mrow> <mi>K</mi> <mi>L</mi> <mrow> <mo>(</mo> <mi>&amp;rho;</mi> <mo>|</mo> <mo>|</mo> <msub> <mi>&amp;rho;</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mi>&amp;rho;</mi> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mfrac> <mi>&amp;rho;</mi> <msub> <mi>&amp;rho;</mi> <mi>j</mi> </msub> </mfrac> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;rho;</mi> <mo>)</mo> </mrow> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mfrac> <mrow> <mn>1</mn> <mo>-</mo> <mi>&amp;rho;</mi> </mrow> <mrow> <mn>1</mn> <mo>-</mo> <msub> <mi>&amp;rho;</mi> <mi>j</mi> </msub> </mrow> </mfrac> </mrow>
其中，ρ是稀疏性参数；ρj是隐藏层神经元的平均激活度。
4.如权利要求1的基于无损约束降噪的自编码方法，其特征在于：步骤1)中所述自编码器的重构误差函数为：
所述LDAE自编码器的重构误差函数为：
<mrow> <msub> <mi>J</mi> <mrow> <mi>L</mi> <mi>D</mi> <mi>A</mi> <mi>E</mi> </mrow> </msub> <mo>=</mo> <mi>&amp;gamma;</mi> <mfrac> <mn>1</mn> <mrow> <mn>2</mn> <mi>m</mi> </mrow> </mfrac> <mo>|</mo> <mo>|</mo> <msub> <mi>X</mi> <mi>n</mi> </msub> <mo>-</mo> <msub> <mi>X</mi> <mi>c</mi> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>+</mo> <mfrac> <mn>1</mn> <mrow> <mn>2</mn> <mi>m</mi> </mrow> </mfrac> <mo>|</mo> <mo>|</mo> <msub> <mi>h</mi> <mrow> <mi>W</mi> <mo>,</mo> <mi>b</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mover> <mi>X</mi> <mo>~</mo> </mover> <mi>n</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>X</mi> <mi>c</mi> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>+</mo> <mfrac> <mi>&amp;lambda;</mi> <mn>2</mn> </mfrac> <mo>&amp;Sigma;</mo> <msup> <mi>W</mi> <mn>2</mn> </msup> </mrow>
式中，Xn为输入的带有噪声的训练数据，为将输入的带有噪声的训练数据随机节点置零处理后的数据，Xc是我们希望得到的干净数据，W和b是训练中的网络参数，λ为权重衰减系数，β是稀疏惩罚项系数，为自编码器重构数据；γ为无损约束项比例系数；m为训练数据的样本个数。
5.如权利要求1的基于无损约束降噪的自编码方法，其特征在于：步骤1)中根据下式计算得到使得重构误差函数最小的网络参数W和b：
<mrow> <msubsup> <mi>W</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>l</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>W</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>l</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <mi>&amp;alpha;</mi> <mfrac> <mo>&amp;part;</mo> <mrow> <mo>&amp;part;</mo> <msubsup> <mi>W</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>l</mi> <mo>)</mo> </mrow> </msubsup> </mrow> </mfrac> <mi>J</mi> </mrow>
<mrow> <msubsup> <mi>b</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>l</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>b</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>l</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <mi>&amp;alpha;</mi> <mfrac> <mo>&amp;part;</mo> <mrow> <mo>&amp;part;</mo> <msubsup> <mi>b</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>l</mi> <mo>)</mo> </mrow> </msubsup> </mrow> </mfrac> <mi>J</mi> </mrow>
式中，i、j为各参数的相对坐标位置；l是参数W和b所在的网络层数；为求变量对W的偏导数；为求变量对b的偏导数；α为梯度下降的步长。
6.如权利要求5的基于无损约束降噪的自编码方法，其特征在于：J对W和b的偏导数和通过反向传播算法求得。
CN201710639224.0A 2017-07-31 2017-07-31 一种基于无损约束降噪的自编码方法 Pending CN107590778A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710639224.0A CN107590778A (zh) 2017-07-31 2017-07-31 一种基于无损约束降噪的自编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710639224.0A CN107590778A (zh) 2017-07-31 2017-07-31 一种基于无损约束降噪的自编码方法

Publications (1)

Publication Number Publication Date
CN107590778A true CN107590778A (zh) 2018-01-16

Family

ID=61042834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710639224.0A Pending CN107590778A (zh) 2017-07-31 2017-07-31 一种基于无损约束降噪的自编码方法

Country Status (1)

Country Link
CN (1) CN107590778A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108956145A (zh) * 2018-07-17 2018-12-07 中国科学院沈阳自动化研究所 基于无损约束降噪稀疏自编码的滚动轴承故障诊断方法
CN109087255A (zh) * 2018-07-18 2018-12-25 中国人民解放军陆军工程大学 一种基于混合损失的轻量级深度图像去噪方法
CN109872291A (zh) * 2019-02-21 2019-06-11 中国科学技术大学 一种对抗ann中汇聚噪声的正则化方法及系统
CN109919204A (zh) * 2019-02-23 2019-06-21 华南理工大学 一种面向噪声图像的深度学习聚类方法
CN110169768A (zh) * 2019-07-08 2019-08-27 河北大学 一种心电信号的自动降噪方法
CN110222834A (zh) * 2018-12-27 2019-09-10 杭州环形智能科技有限公司 一种基于噪声遮蔽的发散式人工智能记忆模型系统
CN110456332A (zh) * 2019-08-12 2019-11-15 哈尔滨工程大学 一种基于自动编码器的水声信号增强方法
CN111224670A (zh) * 2018-11-27 2020-06-02 富士通株式会社 自动编码器及用于对自动编码器进行训练的方法和介质
CN112132102A (zh) * 2020-09-28 2020-12-25 天津工业大学 一种深度神经网络结合人工蜂群优化的智能故障诊断方法
CN113469189A (zh) * 2021-09-02 2021-10-01 国网江西省电力有限公司供电服务管理中心 一种用电采集数据缺失值填充方法、系统及装置
CN113642709A (zh) * 2021-08-16 2021-11-12 扬州大学 一种基于自编码器的数据重建方法
CN116583851A (zh) * 2021-12-08 2023-08-11 维萨国际服务协会 使用自动编码器清洗来自未标记数据集的噪声数据的系统、方法和计算机程序产品

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108956145A (zh) * 2018-07-17 2018-12-07 中国科学院沈阳自动化研究所 基于无损约束降噪稀疏自编码的滚动轴承故障诊断方法
CN109087255A (zh) * 2018-07-18 2018-12-25 中国人民解放军陆军工程大学 一种基于混合损失的轻量级深度图像去噪方法
CN109087255B (zh) * 2018-07-18 2022-03-08 中国人民解放军陆军工程大学 一种基于混合损失的轻量级深度图像去噪方法
CN111224670B (zh) * 2018-11-27 2023-09-15 富士通株式会社 自动编码器及用于对自动编码器进行训练的方法和介质
CN111224670A (zh) * 2018-11-27 2020-06-02 富士通株式会社 自动编码器及用于对自动编码器进行训练的方法和介质
CN110222834A (zh) * 2018-12-27 2019-09-10 杭州环形智能科技有限公司 一种基于噪声遮蔽的发散式人工智能记忆模型系统
CN110222834B (zh) * 2018-12-27 2023-12-19 杭州环形智能科技有限公司 一种基于噪声遮蔽的发散式人工智能记忆模型系统
CN109872291A (zh) * 2019-02-21 2019-06-11 中国科学技术大学 一种对抗ann中汇聚噪声的正则化方法及系统
CN109872291B (zh) * 2019-02-21 2021-04-23 中国科学技术大学 一种对抗ann中汇聚噪声的正则化方法及系统
CN109919204A (zh) * 2019-02-23 2019-06-21 华南理工大学 一种面向噪声图像的深度学习聚类方法
CN110169768A (zh) * 2019-07-08 2019-08-27 河北大学 一种心电信号的自动降噪方法
CN110456332A (zh) * 2019-08-12 2019-11-15 哈尔滨工程大学 一种基于自动编码器的水声信号增强方法
CN112132102A (zh) * 2020-09-28 2020-12-25 天津工业大学 一种深度神经网络结合人工蜂群优化的智能故障诊断方法
CN112132102B (zh) * 2020-09-28 2024-04-19 天津工业大学 一种深度神经网络结合人工蜂群优化的智能故障诊断方法
CN113642709A (zh) * 2021-08-16 2021-11-12 扬州大学 一种基于自编码器的数据重建方法
CN113642709B (zh) * 2021-08-16 2023-11-10 扬州大学 一种基于自编码器的数据重建方法
CN113469189A (zh) * 2021-09-02 2021-10-01 国网江西省电力有限公司供电服务管理中心 一种用电采集数据缺失值填充方法、系统及装置
CN113469189B (zh) * 2021-09-02 2021-11-19 国网江西省电力有限公司供电服务管理中心 一种用电采集数据缺失值填充方法、系统及装置
CN116583851A (zh) * 2021-12-08 2023-08-11 维萨国际服务协会 使用自动编码器清洗来自未标记数据集的噪声数据的系统、方法和计算机程序产品
US11948064B2 (en) 2021-12-08 2024-04-02 Visa International Service Association System, method, and computer program product for cleaning noisy data from unlabeled datasets using autoencoders

Similar Documents

Publication Publication Date Title
CN107590778A (zh) 一种基于无损约束降噪的自编码方法
CN108537271B (zh) 一种基于卷积去噪自编码机防御对抗样本攻击的方法
CN110751044B (zh) 基于深度网络迁移特征与增广自编码的城市噪声识别方法
CN108416755A (zh) 一种基于深度学习的图像去噪方法及系统
CN110223254A (zh) 一种基于对抗生成网络的图像去噪方法
CN113113030B (zh) 一种基于降噪自编码器的高维受损数据无线传输方法
CN110456332B (zh) 一种基于自动编码器的水声信号增强方法
CN105205448A (zh) 基于深度学习的文字识别模型训练方法和识别方法
CN107016241A (zh) 基于加噪样本增强深度自编码学习网络的旋转机械寿命阶段识别方法
CN111723701B (zh) 一种水中目标识别方法
CN110007265A (zh) 一种基于深度神经网络的波达方向估计方法
CN115602152B (zh) 一种基于多阶段注意力网络的语音增强方法
CN109614905B (zh) 一种雷达辐射源信号深度脉内特征自动提取方法
CN109191389A (zh) 一种x光图像自适应局部增强方法
CN110020658A (zh) 一种基于多任务深度学习的显著目标检测方法
CN107480723A (zh) 基于局部二进制阈值学习网络的纹理识别方法
CN110430013A (zh) 一种基于深度学习的rcm方法
CN114143040A (zh) 一种基于多通道特征重构的对抗信号检测方法
CN115170943A (zh) 一种基于迁移学习的改进视觉Transformer海底底质声呐图像分类方法
CN114492522B (zh) 基于改进堆叠沙漏神经网络的自动调制分类方法
US20230341354A1 (en) Intelligent inversion method for pipeline defects based on heterogeneous field signals
CN114169368A (zh) 一种基于信号降噪自编码器sde的信号降噪方法
CN113435276A (zh) 一种基于对抗残差网络的水声目标识别方法
CN111104876A (zh) 一种基于神经网络的红外光谱反卷积方法
CN113948067B (zh) 一种具有听觉高保真度特点的语音对抗样本修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180116