CN112991472A - 一种基于残差稠密阈值网络的图像压缩感知重建方法 - Google Patents

一种基于残差稠密阈值网络的图像压缩感知重建方法 Download PDF

Info

Publication number
CN112991472A
CN112991472A CN202110294533.5A CN202110294533A CN112991472A CN 112991472 A CN112991472 A CN 112991472A CN 202110294533 A CN202110294533 A CN 202110294533A CN 112991472 A CN112991472 A CN 112991472A
Authority
CN
China
Prior art keywords
image
network
residual dense
reconstruction
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110294533.5A
Other languages
English (en)
Other versions
CN112991472B (zh
Inventor
文祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110294533.5A priority Critical patent/CN112991472B/zh
Publication of CN112991472A publication Critical patent/CN112991472A/zh
Application granted granted Critical
Publication of CN112991472B publication Critical patent/CN112991472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种基于残差稠密阈值网络的图像压缩感知重建方法，该方法的步骤包括：将原始自然图像分块后通过高斯采样矩阵采样，将低维采样量与裁剪图像块制作成为训练集；将低维采样量通过线性卷积恢复成高维初始重建图像块；将初始重建图像通过搭建好的残差稠密阈值网络进一步优化重建；通过计算相应损失函数并通过优化器减小损失，反向传播相应参数；损失达到要求，保留相应训练模型；通过训练模型输出重建图像块并拼接成最终输出图像；对比已有的压缩感知重建方法，本发明在重建质量和重建时间上均有明显优势。

Description

一种基于残差稠密阈值网络的图像压缩感知重建方法
技术领域
本发明涉及数字图像处理技术领域，具体涉及一种基于残差稠密阈值网络的图像压缩感知重建方法。
背景技术
压缩感知(Compressed Sensing，CS)重建是一种典型的图像技术，在突破奈奎斯特采样定律理论要求的情况下，通过测量信号y∈Rm×1尽可能无损地恢复原始信号x∈Rn×1(m＜＜n)。由于其在图像信源编码和无线广播等领域的广泛应用，使得压缩感知重建技术得到了大量关注及研究，现阶段的压缩感知重建方法通常可以分为两个类型：基于模型驱动的方法和基于机器学习神经网络的方法。
其中，基于模型驱动的方法通常是充分挖掘图像先验信息并构造有效约束条件。例如利用图像的自相似性、稀疏性、局部结构特性来构造相应约束，这些方法有较强的理论依据，但计算复杂度高，相应场景有一定限制。此外，基于深度学习神经网络的图像压缩感知方法也被广泛采用，这些方法没有使用信号的先验知识来完成重建，而是首先建立机器学习神经网络模型，然后利用神经网络模型已有的训练集(采样量-重建图像)进行学习，进而完成重建过程。以往的Reconnet、DeepInvese都是采用最简单的线性卷积神经网络，将场景的逐块压缩映射到所需的图像块，使得图像的重建成为一个简单的逆映射问题。DR2-Net使用线性映射来生成初始化重建图像，并在此基础上通过残差学习进一步得到高质量重建图像，可以将场景式的块压缩感知测量量映射到所需的图像块。但这些网络都属于卷积层和全连接层的组合，缺乏结构多样性，这也影响到了重建效果。2018年ISTA-Net被提出，其基本思想是将迭代阈值算法引入到一个可解释性较强的结构化深度网络框架—阈值约束框架，该框架采用两层线性卷积网络作为约束单元，解决了传统神经网络模型作为黑箱不可解释的缺点，但其并未完全提取到局部特征信息和不同的分层特征，使得重建效果有待进一步提高。
发明内容
为了克服现有技术存在的缺陷与不足，为解决现有重建方法存在的可解释性差，重建速度慢和重建质量有待提高的问题，本发明提供一种基于残差稠密阈值网络的图像压缩感知重建方法，将提取特征较强的残差稠密块引入到已有的可解释的迭代阈值网络框架中，能以更好的细节质量和较好的解释性完成重建工作。
本发明的第二目的在提供一种基于残差稠密阈值网络的图像压缩感知重建系统。
本发明的第三目的在于提供一种存储介质。
本发明的第四目的在于提供一种计算设备。
为了达到上述目的，本发明采用以下技术方案：
本发明提供一种基于残差稠密阈值网络的图像压缩感知重建方法，包括下述步骤：
将原始自然图像分块后通过高斯采样矩阵采样，将低维采样量与裁剪图像块制作成为训练集；
将低维采样量通过线性卷积恢复成高维初始重建图像块；
将初始重建图像通过搭建好的残差稠密阈值网络进行优化重建，所述残差稠密阈值网络设有多个迭代的网络模块，以残差稠密块作为其约束单元，且满足对称性，级联多个相同的残差稠密阈值网络得到最终的优化重建图像块；
计算所述优化重建图像块与原始真实裁剪图像块之间的误差，采用Adam优化器降低损失，并对损失进行反向传播，更新神经网络的参数，当计算损失值达到期望值之后，结束网络的训练并保留训练模型；
使用测试集作为输入重建图像，通过将测试图像分块采样得到相应的低维采样量，经过训练模型得到重建后的高质量图像块，并拼接成完整图像。
作为优选的技术方案，所述将原始自然图像分块后通过高斯采样矩阵采样，具体步骤包括：
将原始图像集合随机裁剪分割，对于每个给定的裁剪图像块{xi|i＝1,2,3,...,n}转化为一维矢量；
由生成的随机高斯矩阵构造相应的测量矩阵Φ，在设定的采样率下通过yi＝Φxi获得低维采样量的训练集合{yi|i＝1,2,3,...,n}，其中xi表示图像块的矢量化集合。
作为优选的技术方案，所述将低维采样量通过线性卷积恢复成高维初始重建图像块，具体步骤包括：
将低维采样量经过一层反卷积层上采样后，reshape函数恢复成与原始裁剪图像块大小一样的数据，完成初始重建。
作为优选的技术方案，所述将初始重建图像通过搭建好的残差稠密阈值网络进行优化重建，具体步骤包括：
将迭代阈值收缩算法改为卷积神经网络框架，并且引入残差稠密块作为约束单元，迭代阈值收缩算法迭代具体表示为：
ri k＝xi (k-1)-ρΦT(Φxi (k-1)-y)
Figure BDA0002983828030000031
其中，ri k、xi (k)对应于迭代阈值收缩算法进行迭代时的两个模块,ρ为步长，k为迭代次数；
xi (k)的求解转换为：
Figure BDA0002983828030000041
其中，θ(k)是每个进一步重建阶段的变换参数和阈值参数，残差稠密阈值约束的每个阶段都有其特定的变换参数和阈值参数
Figure BDA0002983828030000042
F(k)、
Figure BDA0002983828030000043
是卷积神经网络构成的正反变换，为左边约束单元和右边约束单元，且满足对称关系。
作为优选的技术方案，所述残差稠密块包括八个紧密跳连的卷积层，每个卷积层包含的滤波器大小为3×3，填充量为1，步长为1，每一层都有Relu激活函数，采用用5×5卷积核进行concatenate级联，接Leaky_Relu激活函数并将输出通道数设置为1。
作为优选的技术方案，所述采用Adam优化器降低损失，并对损失进行反向传播，更新神经网络的参数，网络的总体损失函数为：
Figure BDA0002983828030000044
其中，Losstotal为总体损失值，Lossdiscrepancy为均方误差损失函数，Lossconstraint为限制损失，f(yi)表示重建图像块，xi表示原始裁剪图像块，Nb表示图像块总数，Np表示残差稠密块级联次数，γ表示比例系数。
为了达到上述第二目的，本发明采用以下技术方案：
一种基于残差稠密阈值网络的图像压缩感知重建系统，包括：训练集构建模块、初始重建模块、优化重建模块、迭代训练模块和压缩感知重建模块；
所述训练集构建模块用于将原始自然图像分块后通过高斯采样矩阵采样，将低维采样量与裁剪图像块制作成为训练集；
所述初始重建模块用于将低维采样量通过线性卷积恢复成高维初始重建图像块；
所述优化重建模块用于将初始重建图像通过搭建好的残差稠密阈值网络进行优化重建，所述残差稠密阈值网络设有多个迭代的网络模块，以残差稠密块作为其约束单元，且满足对称性，级联多个相同的残差稠密阈值网络得到最终的优化重建图像块；
所述迭代训练模块用于计算所述优化重建图像块与原始真实裁剪图像块之间的误差，采用Adam优化器降低损失，并对损失进行反向传播，更新神经网络的参数，当计算损失值达到期望值之后，结束网络的训练并保留训练模型；
所述压缩感知重建模块用于使用测试集作为输入重建图像，通过将测试图像分块采样得到相应的低维采样量，经过训练模型得到重建后的高质量图像块，并拼接成完整图像。
为了达到上述第三目的，本发明采用以下技术方案：
一种存储介质，存储有程序，所述程序被处理器执行时实现如上述基于残差稠密阈值网络的图像压缩感知重建方法。
为了达到上述第四目的，本发明采用以下技术方案：
一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现如上述基于残差稠密阈值网络的图像压缩感知重建方法。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明采用结合迭代阈值约束网络框架和残差稠密网络的技术方案。将残差稠密块作为约束单元，将传统的迭代阈值算法更新步骤映射到残差稠密网络块组成的深度阈值约束框架网络体系结构中，并将其用于压缩感知的重构，在残差稠密阈值约束网络中采用稀疏变换和更有效的残差稠密块来解决近端映射，同时使用反向传播来对网络中的所有参数(包含步长，收缩阈值)进行端对端学习，使得重建图像包含多样结构相似性，解决了以往压缩感知重建方法可解释性差、重建效果有待提高、重建时间较长的技术问题，使得重建图像与真实图像更为接近。
附图说明
图1为本发明基于残差稠密阈值网络的图像压缩感知重建方法的流程示意图；
图2为本发明的神经网络结构示意图；
图3为本发明神经网络残差稠密块(RDB)的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示，本实施例提供一种基于残差稠密阈值网络的图像压缩感知重建方法，包括下述步骤：
S1：将原始图像集合随机裁剪分割成为一系列的原始真实裁剪图像块(高维原始信号)，对于每个给定的裁剪图像块将其转化为一维矢量，并在选定的采样率下通过随机高斯矩阵来构造相应的测量矩阵采样得到相应的采样量，得到一一对应的训练集；
在本实施例中，将91张原始图像集合随机裁剪分割，得到88912张大小为33×33的裁剪图像块，对于每个给定的裁剪图像块{xi|i＝1,2,3,...,n}，并将其转化为一维矢量，由生成的随机高斯矩阵来构造相应的测量矩阵Φ；并在选定的采样率下通过yi＝Φxi来获得低维采样量的训练集合{yi|i＝1,2,3,...,n}，其中xi是图像块的矢量化集合，yi是采样量的矢量化集合，因此，组成训练集{(xi,yi)|i＝1,2,3,...n}。
S2：如图2所示，将低维采样量输入到神经网络，将采样量yi经过一层反卷积层上采样后，reshape函数恢复成与原始裁剪图像块大小一样的数据完成初始重建，使得将低维采样量恢复成一个与原始图像块大小维度一样的初始重建图像块，并将其作为后续残差稠密阈值网络进一步优化重建的输入；
在本实施例中，使用多种不同的采样率分开训练网络，其中每个裁剪图像块尺寸为33×33，大小为1089。不同采样率下的采样量大小维度不同，以0.25采样率为例，将维度大小为272的采样量通过一层线性卷积层上采样后整形(reshape)恢复成为大小为1089的重建图像块
Figure BDA0002983828030000071
即线性全连接网络为输入节点数目是采样量的维度272，输出是原始图像块的维度1089。
得到初始重建图像块
Figure BDA0002983828030000072
之后，将初始重建图像输入残差稠密阈值约束网络进行进一步重建。残差稠密阈值约束网络的原理是将传统的迭代阈值收缩算法(ISTA)改成一定的卷积神经网络框架并且引入残差稠密块作为约束单元。迭代阈值收缩算法(ISTA)的求解重建问题的原理是通过下面两个公式交替迭代完成：
ri k＝xi (k-1)-ρΦT(Φxi (k-1)-y)
Figure BDA0002983828030000073
其中，ri k、xi (k)对应于迭代阈值收缩算法进行迭代时的两个模块,ρ为步长，k为迭代次数。
根据已有的迭代阈值网络(ISTA-Net)，上个式子中xi (k)的求解可转换为：
Figure BDA0002983828030000074
其中θ(k)是每个进一步重建阶段的变换参数和阈值参数，残差稠密阈值约束的每个阶段都有其特定的变换参数和阈值参数
Figure BDA0002983828030000081
F(k)、
Figure BDA0002983828030000082
是卷积神经网络构成的正反变换，分别解释为左边约束单元和右边约束单元，且满足对称关系。
使用残差稠密阈值约束网络进一步重建是模仿ISTA-Net，将该网络结构划分为多个迭代的网络模块，网络模块内的填充(约束)单元需要满足一定的对称性，因此左边约束单元与右边约束单元一致。由于残差稠密块的优越性，所以以此作为其约束单元；如图3所示，残差稠密块包含八个紧密跳连的卷积层，每个卷积层包含的滤波器大小为3×3，没有偏置量(bias)，填充量(padding)为1，步长为1，每一层都有Relu激活函数，且八个卷积层紧密跳连可以保证进来的特征信息(初始重建图像块)高和宽维度不变。接着使用5×5卷积核进行concatenate级联，且为了使得高和宽的维度维持不变，采用padding＝2,步长仍为1，后面接Leaky_Relu激活函数并将输出通道数设置为1；
每个阈值约束框架结填充残差稠密块作为约束单元后可以认为是优化的一个阶段。此时，残差稠密阈值约束网络完成了一次优化，即残差稠密阈值网络在该网络结构中成功的实现了对迭代阈值收缩算法进行了一次模拟。级联多个相同的残差稠密约束网络可以得到最终相应的优化重建图像块。
S3：计算步骤S2中得到的最终的优化重建图像块与训练集中裁剪图像块之间的误差，使用Adam优化器降低损失，并对损失进行反向传播，并更新神经网络的参数；当计算损失值达到期望值之后，结束该网络的训练并保留训练模型；
在本实施例中，网络的总体损失函数计算公式如下：
Figure BDA0002983828030000091
其中，Losstotal为总体损失值，Lossdiscrepancy为均方误差损失函数，Lossconstraint为限制损失。
均方误差损失描述的是重建图像块与原始裁剪图像块的差异，限制损失描述的是每个优化阶段后的差异损失之和。其中，f(yi)是重建图像块，xi是原始裁剪图像块，Nb是图像块总数，Np是残差稠密块级联次数，γ为比例系数；在本实施例中，Nb取值为88912，Np取值为9，γ取值为0.01。
S4：在网络测试中，使用测试集作为输入重建图像，通过将测试图像分块采样得到相应的低维采样量，分块通过训练模型前向计算得到重建高质量图像块，经过拼接成完整图像，即完成图像压缩感知重建。
实施例2
本实施例提供一种基于残差稠密阈值网络的图像压缩感知重建系统，包括：训练集构建模块、初始重建模块、优化重建模块、迭代训练模块和压缩感知重建模块；
在本实施例中，训练集构建模块用于将原始自然图像分块后通过高斯采样矩阵采样，将低维采样量与裁剪图像块制作成为训练集；
在本实施例中，初始重建模块用于将低维采样量通过线性卷积恢复成高维初始重建图像块；
在本实施例中，优化重建模块用于将初始重建图像通过搭建好的残差稠密阈值网络进行优化重建，所述残差稠密阈值网络设有多个迭代的网络模块，以残差稠密块作为其约束单元，且满足对称性，级联多个相同的残差稠密阈值网络得到最终的优化重建图像块；
在本实施例中，迭代训练模块用于计算所述优化重建图像块与原始真实裁剪图像块之间的误差，采用Adam优化器降低损失，并对损失进行反向传播，更新神经网络的参数，当计算损失值达到期望值之后，结束网络的训练并保留训练模型；
在本实施例中，压缩感知重建模块用于使用测试集作为输入重建图像，通过将测试图像分块采样得到相应的低维采样量，经过训练模型得到重建后的高质量图像块，并拼接成完整图像。
实施例3
本实施例提供一种存储介质，存储介质可以是ROM、RAM、磁盘、光盘等储存介质，该存储介质存储有一个或多个程序，所述程序被处理器执行时，实现实施例1的基于残差稠密阈值网络的图像压缩感知重建方法。
实施例4
本实施例提供一种计算设备，所述的计算设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑或其他具有显示功能的终端设备，该计算设备包括该计算设备包括处理器和存储器，存储器存储有一个或多个程序，处理器执行存储器存储的程序时，实现实施例1的基于残差稠密阈值网络的图像压缩感知重建方法。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于残差稠密阈值网络的图像压缩感知重建方法，其特征在于，包括下述步骤：
将原始自然图像分块后通过高斯采样矩阵采样，将低维采样量与裁剪图像块制作成为训练集；
将低维采样量通过线性卷积恢复成高维初始重建图像块；
将初始重建图像通过搭建好的残差稠密阈值网络进行优化重建，所述残差稠密阈值网络设有多个迭代的网络模块，以残差稠密块作为其约束单元，且满足对称性，级联多个相同的残差稠密阈值网络得到最终的优化重建图像块；
计算所述优化重建图像块与原始真实裁剪图像块之间的误差，采用Adam优化器降低损失，并对损失进行反向传播，更新神经网络的参数，当计算损失值达到期望值之后，结束网络的训练并保留训练模型；
使用测试集作为输入重建图像，通过将测试图像分块采样得到相应的低维采样量，经过训练模型得到重建后的高质量图像块，并拼接成完整图像。
2.根据权利要求1所述的基于残差稠密阈值网络的图像压缩感知重建方法，其特征在于，所述将原始自然图像分块后通过高斯采样矩阵采样，具体步骤包括：
将原始图像集合随机裁剪分割，对于每个给定的裁剪图像块{xi|i＝1,2,3,...,n}转化为一维矢量；
由生成的随机高斯矩阵构造相应的测量矩阵Φ，在设定的采样率下通过yi＝Φxi获得低维采样量的训练集合{yi|i＝1,2,3,...,n}，其中xi表示图像块的矢量化集合。
3.根据权利要求1所述的基于残差稠密阈值网络的图像压缩感知重建方法，其特征在于，所述将低维采样量通过线性卷积恢复成高维初始重建图像块，具体步骤包括：
将低维采样量经过一层反卷积层上采样后，reshape函数恢复成与原始裁剪图像块大小一样的数据，完成初始重建。
4.根据权利要求1所述的基于残差稠密阈值网络的图像压缩感知重建方法，其特征在于，所述将初始重建图像通过搭建好的残差稠密阈值网络进行优化重建，具体步骤包括：
将迭代阈值收缩算法改为卷积神经网络框架，并且引入残差稠密块作为约束单元，迭代阈值收缩算法迭代具体表示为：
ri k＝xi (k-1)-ρΦT(Φxi (k-1)-y)
Figure FDA0002983828020000021
其中，ri k、xi (k)对应于迭代阈值收缩算法进行迭代时的两个模块,ρ为步长，k为迭代次数；
xi (k)的求解转换为：
Figure FDA0002983828020000022
其中，θ(k)是每个进一步重建阶段的变换参数和阈值参数，残差稠密阈值约束的每个阶段都有其特定的变换参数和阈值参数
Figure FDA0002983828020000023
F(k)、
Figure FDA0002983828020000024
是卷积神经网络构成的正反变换，为左边约束单元和右边约束单元，且满足对称关系。
5.根据权利要求1所述的基于残差稠密阈值网络的图像压缩感知重建方法，其特征在于，所述残差稠密块包括八个紧密跳连的卷积层，每个卷积层包含的滤波器大小为3×3，填充量为1，步长为1，每一层都有Relu激活函数，采用5×5卷积核进行concatenate级联，接Leaky_Relu激活函数并将输出通道数设置为1。
6.根据权利要求1所述的基于残差稠密阈值网络的图像压缩感知重建方法，其特征在于，所述采用Adam优化器降低损失，并对损失进行反向传播，更新神经网络的参数，网络的总体损失函数为：
Figure FDA0002983828020000031
其中，Losstotal为总体损失值，Lossdiscrepancy为均方误差损失函数，Lossconstraint为限制损失，f(yi)表示重建图像块，xi表示原始裁剪图像块，Nb表示图像块总数，Np表示残差稠密块级联次数，γ表示比例系数。
7.一种基于残差稠密阈值网络的图像压缩感知重建系统，其特征在于，包括：训练集构建模块、初始重建模块、优化重建模块、迭代训练模块和压缩感知重建模块；
所述训练集构建模块用于将原始自然图像分块后通过高斯采样矩阵采样，将低维采样量与裁剪图像块制作成为训练集；
所述初始重建模块用于将低维采样量通过线性卷积恢复成高维初始重建图像块；
所述优化重建模块用于将初始重建图像通过搭建好的残差稠密阈值网络进行优化重建，所述残差稠密阈值网络设有多个迭代的网络模块，以残差稠密块作为其约束单元，且满足对称性，级联多个相同的残差稠密阈值网络得到最终的优化重建图像块；
所述迭代训练模块用于计算所述优化重建图像块与原始真实裁剪图像块之间的误差，采用Adam优化器降低损失，并对损失进行反向传播，更新神经网络的参数，当计算损失值达到期望值之后，结束网络的训练并保留训练模型；
所述压缩感知重建模块用于使用测试集作为输入重建图像，通过将测试图像分块采样得到相应的低维采样量，经过训练模型得到重建后的高质量图像块，并拼接成完整图像。
8.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6任一项所述基于残差稠密阈值网络的图像压缩感知重建方法。
9.一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现如权利要求1-6任一项所述基于残差稠密阈值网络的图像压缩感知重建方法。
CN202110294533.5A 2021-03-19 2021-03-19 一种基于残差稠密阈值网络的图像压缩感知重建方法 Active CN112991472B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110294533.5A CN112991472B (zh) 2021-03-19 2021-03-19 一种基于残差稠密阈值网络的图像压缩感知重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110294533.5A CN112991472B (zh) 2021-03-19 2021-03-19 一种基于残差稠密阈值网络的图像压缩感知重建方法

Publications (2)

Publication Number Publication Date
CN112991472A true CN112991472A (zh) 2021-06-18
CN112991472B CN112991472B (zh) 2023-12-19

Family

ID=76334519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110294533.5A Active CN112991472B (zh) 2021-03-19 2021-03-19 一种基于残差稠密阈值网络的图像压缩感知重建方法

Country Status (1)

Country Link
CN (1) CN112991472B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113992920A (zh) * 2021-10-25 2022-01-28 北京大学深圳研究生院 一种基于深度展开网络的视频压缩感知重建方法
CN114245117A (zh) * 2021-12-16 2022-03-25 武汉大学 多采样率复用重建网络方法、装置、设备及存储介质
CN114742807A (zh) * 2022-04-24 2022-07-12 北京医准智能科技有限公司 基于x光图像的胸片识别方法、装置、电子设备和介质
CN114821100A (zh) * 2022-04-13 2022-07-29 桂林电子科技大学 基于结构组稀疏网络的图像压缩感知重建方法
CN115330901A (zh) * 2022-10-17 2022-11-11 广东工业大学 一种基于压缩感知网络的图像重构方法和装置
CN115861472A (zh) * 2023-02-27 2023-03-28 广东工业大学 一种图像重构方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730451A (zh) * 2017-09-20 2018-02-23 中国科学院计算技术研究所 一种基于深度残差网络的压缩感知重建方法和系统
CN112116601A (zh) * 2020-08-18 2020-12-22 河南大学 一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建方法及系统
CN112150566A (zh) * 2020-09-27 2020-12-29 湖北工业大学 一种基于特征融合的密集残差网络图像压缩感知重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730451A (zh) * 2017-09-20 2018-02-23 中国科学院计算技术研究所 一种基于深度残差网络的压缩感知重建方法和系统
CN112116601A (zh) * 2020-08-18 2020-12-22 河南大学 一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建方法及系统
CN112150566A (zh) * 2020-09-27 2020-12-29 湖北工业大学 一种基于特征融合的密集残差网络图像压缩感知重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JIAN ZHANG ET AL: "ISTA-Net: Interpretable Optimization-Inspired Deep Network for Image Compressive Sensing", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
JIAN ZHANG ET AL: "ISTA-Net: Interpretable Optimization-Inspired Deep Network for Image Compressive Sensing", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 31 December 2018 (2018-12-31), pages 1828 - 1837 *
胡晓渭: "基于深度学习的高光谱图像压缩感知重建方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
胡晓渭: "基于深度学习的高光谱图像压缩感知重建方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, 15 June 2020 (2020-06-15), pages 028 - 102 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113992920A (zh) * 2021-10-25 2022-01-28 北京大学深圳研究生院 一种基于深度展开网络的视频压缩感知重建方法
CN114245117A (zh) * 2021-12-16 2022-03-25 武汉大学 多采样率复用重建网络方法、装置、设备及存储介质
CN114821100A (zh) * 2022-04-13 2022-07-29 桂林电子科技大学 基于结构组稀疏网络的图像压缩感知重建方法
CN114821100B (zh) * 2022-04-13 2024-03-26 桂林电子科技大学 基于结构组稀疏网络的图像压缩感知重建方法
CN114742807A (zh) * 2022-04-24 2022-07-12 北京医准智能科技有限公司 基于x光图像的胸片识别方法、装置、电子设备和介质
CN115330901A (zh) * 2022-10-17 2022-11-11 广东工业大学 一种基于压缩感知网络的图像重构方法和装置
CN115861472A (zh) * 2023-02-27 2023-03-28 广东工业大学 一种图像重构方法、装置、设备及介质

Also Published As

Publication number Publication date
CN112991472B (zh) 2023-12-19

Similar Documents

Publication Publication Date Title
CN112991472A (zh) 一种基于残差稠密阈值网络的图像压缩感知重建方法
CN108765296B (zh) 一种基于递归残差注意力网络的图像超分辨率重建方法
CN109101975B (zh) 基于全卷积神经网络的图像语义分割方法
CN106991646B (zh) 一种基于密集连接网络的图像超分辨率方法
CN107516129B (zh) 基于维度自适应的Tucker分解的深度网络压缩方法
US7213008B2 (en) Method and apparatus of creating application-specific, non-uniform wavelet transforms
CN110021069A (zh) 一种基于网格形变的三维模型重建方法
US6976012B1 (en) Method and apparatus of using a neural network to train a neural network
US20210334690A1 (en) Methods and systems for tensor network contraction based on hypergraph decomposition and parameter optimization
CN111709516A (zh) 神经网络模型的压缩方法及压缩装置、存储介质、设备
CN110349087A (zh) 基于适应性卷积的rgb-d图像高质量网格生成方法
CN113222812B (zh) 一种基于信息流加强深度展开网络的图像重建方法
Chen et al. Adaptive mixture of low-rank factorizations for compact neural modeling
Hui et al. Two-stage convolutional network for image super-resolution
US6424737B1 (en) Method and apparatus of compressing images using localized radon transforms
CN116402679A (zh) 一种轻量级红外超分辨率自适应重建方法
CN113642675B (zh) 基于全波形反演和卷积神经网络的地下岩层分布成像获取方法、系统、终端及可读存储介质
CN113724361B (zh) 一种基于深度学习的单视图三维重建方法
US20210334313A1 (en) Methods and systems for tensor network contraction based on local optimization of contraction tree
CN111294614A (zh) 用于数字图像、音频或视频数据处理的方法和设备
CN117218031B (zh) 基于DeqNLNet算法的图像重构方法、装置及介质
CN114022356A (zh) 基于小波域的河道流量水位遥感图像超分辨率方法与系统
US20220138554A1 (en) Systems and methods utilizing machine learning techniques for training neural networks to generate distributions
CN115861401B (zh) 一种双目与点云融合深度恢复方法、装置和介质
TW202406344A (zh) 一種點雲幾何資料增強、編解碼方法、裝置、碼流、編解碼器、系統和儲存媒介

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant