CN113642709B - 一种基于自编码器的数据重建方法 - Google Patents

一种基于自编码器的数据重建方法 Download PDF

Info

Publication number
CN113642709B
CN113642709B CN202110934815.7A CN202110934815A CN113642709B CN 113642709 B CN113642709 B CN 113642709B CN 202110934815 A CN202110934815 A CN 202110934815A CN 113642709 B CN113642709 B CN 113642709B
Authority
CN
China
Prior art keywords
encoder
self
data
decoding
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110934815.7A
Other languages
English (en)
Other versions
CN113642709A (zh
Inventor
李宏贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangzhou University
Original Assignee
Yangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangzhou University filed Critical Yangzhou University
Priority to CN202110934815.7A priority Critical patent/CN113642709B/zh
Publication of CN113642709A publication Critical patent/CN113642709A/zh
Application granted granted Critical
Publication of CN113642709B publication Critical patent/CN113642709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种基于自编码器的数据重建方法，在自编码器中引入级联的解码单元，结合残差学习和对抗学习，以数据重建为研究目标，独立评估数据重建能力，改善数据重建质量，逐步向无损数据重建逼近，为基于自编码器的数据压缩和信号压缩感知提供坚实的理论和应用基础。

Description

一种基于自编码器的数据重建方法
技术领域
本发明涉及一种基于自编码器的数据重建方法。
背景技术
自编码器(Autoencoders，AE)是一种经典的深度神经网络架构，它首先按照一定的规则将高维数据映射到低维隐变量空间，然后从隐空间变量重建原始数据并使恢复误差最小化。自编码器拥有稀疏、卷积、变分、对抗、Wasserstein、图结构、极限学习、集成学习、可逆函数、递归/循环、双重/对偶、去噪、生成、模糊、非负、二元、量子、线性、盲、群和核自编码器等多种理论模型，在数据分类、识别、编码、感知和处理等领域获得了广泛的研究与应用。因为深度自编码器由编码和解码单元组成，所以具有实现高性能数据压缩和信号压缩感知的潜在能力。但目前自编码器还是主要用于特征表示领域，鲜有用于数据重建的研究和应用，其原因之一在于自编码器还难以实现无损数据重建。
发明内容
发明目的：针对上述现有技术，提出一种基于自编码器的数据重建方法，提高自编码器用于数据重建的性能。
技术方案：一种基于自编码器的数据重建方法，所述自编码器包括编码单元以及级联的解码单元；发送方采用所述编码单元对原始数据进行数据编码，接收方采用所述级联的解码单元进行数据解码，实现数据重构。
有益效果：本发明将传统自编码器中单一的解码单元改进为级联的解码单元，以提高其数据重建质量。在公开的MNIST、EMNIST、FMNIST和MMNIST数据集上，本发明相对于传统自编码器(AE)的结构相似性增益(ΔSSIM)最高可达0.1。
附图说明
图1为基于级联解码单元的自编码器；
图2为基于残差级联解码单元的自编码器；
图3为残差级联解码单元；
图4为基于对抗级联单元的自编码器；
图5为基于残差对抗解码单元的自编码器；
图6为残差对抗解码单元；
图7为编码单元组成；
图8为解码单元组成；
图9为鉴别单元组成。
具体实施方式
下面结合附图对本发明做更进一步的解释。
实施例1：
一种基于自编码器的数据重建方法，自编码器包括编码单元以及级联的解码单元；发送方采用编码单元对原始数据进行数据编码，接收方采用级联的解码单元进行数据解码，实现数据重构。
基于级联解码单元(Cascade-Decoders)的自编码器包括：编码单元(Encoder)，解码单元1(Decoder 1)，解码单元2(Decoder 2)，……，解码单元N(Decoder N)。自编码器中级联N个解码单元。
如图1所示，采用通用解码单元时，自编码器表示为：
其中，E表示编码单元；Dn表示第n个解码单元；x为自编码器输入数据；z为编码单元输出的数据，为潜在空间中的低维表示；N为解码单元个数；yn-1为各级解码单元输出；y为自编码器输出数据。
自编码器的网络参数通过公式(2)描述的优化问题求解：
其中，θ为自编码器的网络参数，Cz为隐变量的约束，为yn的约束；
采用逐步和串行训练自编码器，将等式(2)中的最小化问题分为以下子最小化问题：
其中，θ1是编码器和解码器1的网络参数；θ2,…,θN是解码器2到N的网络参数。
本发明将传统自编码器中单一的解码单元改进为级联的解码单元，以提高其数据重建质量。其中，如图7、图8所示，编码单元和解码单元具体可由输入层(Input Layer)，输出层(Output Layer)，隐含层(Hidden Layer)，全连接层(Fully-Connected Layer)，泄漏矫正线性单元(Leaky Rectified LinearUnit)，双曲正切单元(Hyperbolic TangentUnit,TanhUnit)和Sigmoid单元组成，还可以引入卷积层。
因为级联解码单元的输出可以逐步和渐进地逼近输入数据，所以数据重建性能优于基于单个解码单元的传统自编码器。在公开的MNIST、EMNIST、FMNIST和MMNIST数据集上，本方法相对于传统自编码器(AE)的结构相似性增益(ΔSSIM)最高可达0.11930，可以用于数据压缩和信号压缩感知。
实施例2：
一种基于自编码器的数据重建方法，自编码器包括编码单元以及级联的解码单元；发送方采用编码单元对原始数据进行数据编码，接收方采用级联的解码单元进行数据解码，实现数据重构。
基于级联解码单元(Cascade-Decoders)的自编码器包括：编码单元(Encoder)，解码单元1(Decoder 1)，解码单元2(Decoder 2)，……，解码单元N(DecoderN)。自编码器中级联N个解码单元。
如图2所示，自编码器采用基于残差级联解码单元时，自编码器表示为：
其中，E表示编码单元；Dn表示第n个解码单元；x为自编码器输入数据；z为编码单元输出的数据，为潜在空间中的低维表示；N为解码单元个数；yn-1为各级解码单元输出；y0是零样本；y为自编码器输出数据；rn是x和yn之间的残差样本。
图中，深灰色信号流用于训练阶段，浅灰色信号流用于训练和测试两个阶段。每个解码器都是一个残差模块。自编码器的网络参数通过公式(5)描述的优化问题求解：
其中，θ为自编码器的网络参数；Cz为隐变量的约束，例如，z满足给定的分布；；为yn的约束，例如，y满足稀疏先验；自动编码器要求y最大程度地重构x；也可以利用其他约束，例如高维重建数据的稀疏性和低秩属性。
采用逐步和串行训练自编码器，将等式(5)中的最小化问题划分为以下子最小化问题：
其中，θ1是编码器和解码器1的网络参数；θ2,…,θN是解码器2到N的网络参数。
各级残差数据是输入数据与重建数据的误差，其均值和方差远小于输入数据和重建数据，因此深度神经网络重建各级残差数据的性能优于直接重建输入数据。在公开的MNIST、EMNIST、FMNIST和MMNIST数据集上，本方法相对于传统自编码器(AE)的结构相似性增益(ΔSSIM)最高可达0.08607，可以用于数据压缩和信号压缩感知。
此外，如图3所示，如果只使用级联解码单元，则不需区分训练和测试通道，可以进一步提高数据重建性能，以用于CT和MR图像重建以及图像增强、去噪、修复和补全等应用。
实施例3：
一种基于自编码器的数据重建方法，自编码器包括编码单元以及级联的解码单元；发送方采用编码单元对原始数据进行数据编码，接收方采用级联的解码单元进行数据解码，实现数据重构。
基于级联解码单元(Cascade-Decoders)的自编码器包括：编码单元(Encoder)，解码单元1(Decoder 1)，解码单元2(Decoder 2)，……，解码单元N(Decoder N)。自编码器中级联N个解码单元。
如图4所示，自编码器采用基于对抗级联解码单元时，自编码器表示为：
其中，E表示编码单元；Dn表示第n个解码单元；x为自编码器输入数据；z为编码单元输出的数据，为潜在空间中的低维表示；N为解码单元个数；yn-1为各级解码单元输出；y为自编码器输出数据。
图中，深灰色信号流用于训练阶段，浅灰色信号流用于训练和测试两个阶段。自编码器的网络参数通过公式(8)描述的优化问题求解：
其中，θ为自编码器的网络参数；为yn的约束；DCn是第n个鉴别器；αn是训练参数，为一个常数；βn是一个常数；ε是[0,1]内的一个正常数；M是均值算子。图9为鉴别单元组成。
采用逐步和串行训练所述自编码器，将等式(8)中的最小化问题划分为以下子最小化问题：
其中，θ1是编码器和解码器1的网络参数；θ2,…,θN是解码器2到N的网络参数。
因为级联对抗解码单元的输出可以逐步和渐进地逼近输入数据，所以数据重建性能优于基于单个解码单元的传统自编码器。在公开的MNIST、EMNIST、FMNIST和MMNIST数据集上，本方法相对于传统自编码器(AE)的结构相似性增益(ΔSSIM)最高可达0.11480，可以用于数据压缩和信号压缩感知。
实施例4：
一种基于自编码器的数据重建方法，自编码器包括编码单元以及级联的解码单元；发送方采用编码单元对原始数据进行数据编码，接收方采用级联的解码单元进行数据解码，实现数据重构。
基于级联解码单元(Cascade-Decoders)的自编码器包括：编码单元(Encoder)，解码单元1(Decoder 1)，解码单元2(Decoder 2)，……，解码单元N(Decoder N)。自编码器中级联N个解码单元。
如图5所示，自编码器采用基于残差对抗级联解码单元时，自编码器表示为：
其中，E表示编码单元；Dn表示第n个解码单元；x为自编码器输入数据；z为编码单元输出的数据，为潜在空间中的低维表示；N为解码单元个数；yn-1为各级解码单元输出；y0是零样本；y为自编码器输出数据；rn是x和yn之间的残差样本。
图中，深灰色信号流用于训练阶段，浅灰色信号流用于训练和测试两个阶段。自编码器的网络参数通过公式(11)描述的优化问题求解：
其中，θ为自编码器的网络参数；为yn的约束；DCn是第n个鉴别器；αn是一个常数；βn是一个常数；ε是[0,1]内的一个正常数；M是均值算子。
采用逐步和串行训练所述自编码器，将等式(11)中的最小化问题划分为以下子最小化问题：
其中，θ1是编码器和解码器1的网络参数；θ2,…,θN是解码器2到N的网络参数。
因为各级解码单元结合了残差学习和对抗学习，所以数据重建性能优于基于单个解码单元的传统自编码器。在公开的MNIST、EMNIST、FMNIST和MMNIST数据集上，本方法相对于传统自编码器(AE)的结构相似性增益(ΔSSIM)最高可达0.08702，可以用于数据压缩和信号压缩感知。
此外，如图6所示，如果只使用级联解码单元，则不需区分训练和测试通道，可以进一步提高数据重建性能，以用于CT和MR图像重建以及图像增强、去噪、修复和补全等应用。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种基于自编码器的数据重建方法，其特征在于，所述自编码器包括编码单元以及级联的解码单元；发送方采用所述编码单元对原始数据进行数据编码，接收方采用所述级联的解码单元进行数据解码，实现数据重构；
级联N个解码单元，所述自编码器表示为：
其中，E表示编码单元；Dn表示第n个解码单元；x为自编码器输入数据；z为编码单元输出的数据，为潜在空间中的低维表示；N为解码单元个数；yn-1为各级解码单元输出；y为自编码器输出数据；
所述自编码器的网络参数通过公式(2)描述的优化问题求解：
其中，θ为自编码器的网络参数，Cz为隐变量的约束，Cyn为yn的约束；
采用逐步和串行训练所述自编码器，将等式(2)中的最小化问题分为以下子最小化问题：
其中，θ1是编码器和解码器1的网络参数；θ2,…,θN是解码器2到N的网络参数。
2.一种基于自编码器的数据重建方法，其特征在于，所述自编码器包括编码单元以及级联的解码单元；发送方采用所述编码单元对原始数据进行数据编码，接收方采用所述级联的解码单元进行数据解码，实现数据重构；
所述自编码器采用基于残差级联解码单元，则自编码器表示为：
其中，E表示编码单元；Dn表示第n个解码单元；x为自编码器输入数据；z为编码单元输出的数据，为潜在空间中的低维表示；N为解码单元个数；yn-1为各级解码单元输出；y0是零样本；y为自编码器输出数据；rn是x和yn之间的残差样本；
所述自编码器的网络参数通过公式(5)描述的优化问题求解：
其中，θ为自编码器的网络参数，Cz为隐变量的约束，为yn的约束；
采用逐步和串行训练所述自编码器，将等式(5)中的最小化问题划分为以下子最小化问题：
其中，θ1是编码器和解码器1的网络参数；θ2,…,θN是解码器2到N的网络参数。
3.一种基于自编码器的数据重建方法，其特征在于，所述自编码器包括编码单元以及级联的解码单元；发送方采用所述编码单元对原始数据进行数据编码，接收方采用所述级联的解码单元进行数据解码，实现数据重构；
所述自编码器采用基于对抗级联解码单元，则自编码器表示为：
其中，E表示编码单元；Dn表示第n个解码单元；x为自编码器输入数据；z为编码单元输出的数据，为潜在空间中的低维表示；N为解码单元个数；yn-1为各级解码单元输出；y为自编码器输出数据；
所述自编码器的网络参数通过公式(8)描述的优化问题求解：
其中，θ为自编码器的网络参数；为yn的约束；DCn是第n个鉴别器；αn是一个常数；βn是一个常数；ε是一个小的正常数；M是均值算子；
采用逐步和串行训练所述自编码器，将等式(8)中的最小化问题划分为以下子最小化问题：
其中，θ1是编码器和解码器1的网络参数；θ2,…,θN是解码器2到N的网络参数。
4.一种基于自编码器的数据重建方法，其特征在于，所述自编码器包括编码单元以及级联的解码单元；发送方采用所述编码单元对原始数据进行数据编码，接收方采用所述级联的解码单元进行数据解码，实现数据重构；
所述自编码器采用基于残差对抗级联解码单元，则自编码器表示为：
其中，E表示编码单元；Dn表示第n个解码单元；x为自编码器输入数据；z为编码单元输出的数据，为潜在空间中的低维表示；N为解码单元个数；yn-1为各级解码单元输出；y0是零样本；y为自编码器输出数据；rn是x和yn之间的残差样本；
所述自编码器的网络参数通过公式(11)描述的优化问题求解：
其中，θ为自编码器的网络参数；Cyn为yn的约束；DCn是第n个鉴别器；αn是一个常数；βn是一个常数；ε是一个小的正常数；M是均值算子；
采用逐步和串行训练所述自编码器，将等式(11)中的最小化问题划分为以下子最小化问题：
其中，θ1是编码器和解码器1的网络参数；θ2,…,θN是解码器2到N的网络参数。
CN202110934815.7A 2021-08-16 2021-08-16 一种基于自编码器的数据重建方法 Active CN113642709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110934815.7A CN113642709B (zh) 2021-08-16 2021-08-16 一种基于自编码器的数据重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110934815.7A CN113642709B (zh) 2021-08-16 2021-08-16 一种基于自编码器的数据重建方法

Publications (2)

Publication Number Publication Date
CN113642709A CN113642709A (zh) 2021-11-12
CN113642709B true CN113642709B (zh) 2023-11-10

Family

ID=78421916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110934815.7A Active CN113642709B (zh) 2021-08-16 2021-08-16 一种基于自编码器的数据重建方法

Country Status (1)

Country Link
CN (1) CN113642709B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6304995B1 (en) * 1999-01-26 2001-10-16 Trw Inc. Pipelined architecture to decode parallel and serial concatenated codes
US6909812B1 (en) * 2000-07-13 2005-06-21 Lucent Technologies Inc. Methods and apparatus for nearly lossless-concatenated block transform coding
CN107590778A (zh) * 2017-07-31 2018-01-16 南京理工大学 一种基于无损约束降噪的自编码方法
CN110147892A (zh) * 2019-02-20 2019-08-20 电子科技大学 基于变分轨迹上下文感知的人类移动模式推测模型、训练方法及推测方法
CN110473557A (zh) * 2019-08-22 2019-11-19 杭州派尼澳电子科技有限公司 一种基于深度自编码器的语音信号编解码方法
CN110491400A (zh) * 2019-08-21 2019-11-22 杭州派尼澳电子科技有限公司 一种基于深度自编码器的语音信号重建方法
CN111343458A (zh) * 2020-01-15 2020-06-26 浙江工业大学 一种基于重建残差的稀疏灰度图像编解码方法及系统
CN112101426A (zh) * 2020-08-26 2020-12-18 东南大学 基于自编码器的无监督学习图像异常检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6304995B1 (en) * 1999-01-26 2001-10-16 Trw Inc. Pipelined architecture to decode parallel and serial concatenated codes
US6909812B1 (en) * 2000-07-13 2005-06-21 Lucent Technologies Inc. Methods and apparatus for nearly lossless-concatenated block transform coding
CN107590778A (zh) * 2017-07-31 2018-01-16 南京理工大学 一种基于无损约束降噪的自编码方法
CN110147892A (zh) * 2019-02-20 2019-08-20 电子科技大学 基于变分轨迹上下文感知的人类移动模式推测模型、训练方法及推测方法
CN110491400A (zh) * 2019-08-21 2019-11-22 杭州派尼澳电子科技有限公司 一种基于深度自编码器的语音信号重建方法
CN110473557A (zh) * 2019-08-22 2019-11-19 杭州派尼澳电子科技有限公司 一种基于深度自编码器的语音信号编解码方法
CN111343458A (zh) * 2020-01-15 2020-06-26 浙江工业大学 一种基于重建残差的稀疏灰度图像编解码方法及系统
CN112101426A (zh) * 2020-08-26 2020-12-18 东南大学 基于自编码器的无监督学习图像异常检测方法

Also Published As

Publication number Publication date
CN113642709A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
Li et al. Learning filter basis for convolutional neural network compression
CN110163815B (zh) 基于多阶段变分自编码器的低照度还原方法
CN111147862B (zh) 一种基于目标编码的端到端图像压缩方法
CN115908187A (zh) 基于快速去噪扩散概率模型的图像特征分析与生成方法
CN111274525A (zh) 一种基于多线性增广拉格朗日乘子法的张量数据恢复方法
CN111276187A (zh) 一种基于自编码器的基因表达谱特征学习方法
Huang et al. Compressing multidimensional weather and climate data into neural networks
CN111178427A (zh) 一种基于Sliced-Wasserstein距离的深度自编码嵌入聚类的方法
CN113642709B (zh) 一种基于自编码器的数据重建方法
Poggi et al. Pruned tree-structured vector quantization of medical images with segmentation and improved prediction
CN112325868B (zh) 一种基于多尺度变换的偏振光罗盘去噪方法
CN118015123A (zh) 一种基于循环生成对抗网络的灰度图像彩色化方法
Wang et al. Seanet: A deep learning architecture for data series similarity search
CN117474866A (zh) 基于融合卷积与注意力机制的u型网络的医学图像自动分割方法
CN116958192A (zh) 一种基于扩散模型的事件相机图像重建方法
CN113611367B (zh) 一种基于VAE数据增强的CRISPR/Cas9脱靶预测方法
Panguluri et al. Image generation using variational autoencoders
CN113628290A (zh) 基于3d卷积自编码器的波段自适应高光谱图像压缩方法
Gupta et al. Deep quantized representation for enhanced reconstruction
CN118247668B (zh) 一种基于扩散模型的高光谱图像多源域域自适应分类方法
Naaman Image Compression Technique Based on Fractal Image Compression Using Neural Network–A Review
Alkhalayleh et al. A new lossless method of image compression by decomposing the tree of Huffman technique
CN114677550B (zh) 一种基于稀疏判别k均值的快速图像像素筛选方法
Zou et al. A novel method to improve the quality of decoded images in fractal image coding
Cosman et al. Vector quantization: clustering and classification trees

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant