CN113284202B - 一种基于内容自适应的可伸缩网络的图像压缩感知方法 - Google Patents
一种基于内容自适应的可伸缩网络的图像压缩感知方法 Download PDFInfo
- Publication number
- CN113284202B CN113284202B CN202110652371.8A CN202110652371A CN113284202B CN 113284202 B CN113284202 B CN 113284202B CN 202110652371 A CN202110652371 A CN 202110652371A CN 113284202 B CN113284202 B CN 113284202B
- Authority
- CN
- China
- Prior art keywords
- network
- sub
- image
- content
- sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000006835 compression Effects 0.000 title claims abstract description 9
- 238000007906 compression Methods 0.000 title claims abstract description 9
- 238000005070 sampling Methods 0.000 claims abstract description 89
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000011084 recovery Methods 0.000 claims abstract description 25
- 230000008569 process Effects 0.000 claims abstract description 15
- 230000003044 adaptive effect Effects 0.000 claims abstract description 13
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 238000013507 mapping Methods 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 4
- 238000003384 imaging method Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 12
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 241000588653 Neisseria Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
基于内容自适应的可伸缩网络的图像压缩感知方法，包括：S1.构造训练数据集用于训练内容自适应的可伸缩网络，训练数据集由多个自然图像数据构成；S2.分别构造内容自适应的可伸缩网络的三个子网络：采样子网络、初始化子网络与复原子网络；S3.基于步骤S1中的训练数据集，给定损失函数，使用反向传播和梯度下降算法不断对内容自适应的可伸缩网络的三个子网络的参数进行联合优化，直至损失函数值稳定；S4.应用训练好的内容自适应的可伸缩网络进行图像的压缩感知采样和重建过程。该方法设计了一个内容自适应的可伸缩网络来进行训练和重建，能够在达到很高的成像精度的同时，表现出了强大的灵活性和对图像内容的自适应性。
Description
技术领域
本发明属于数字成像技术领域，具体涉及一种基于内容自适应的可伸缩深度展开网络的图像压缩感知方法。
背景技术
基于奈奎斯特-香农定理的传统图像采集与处理系统需要以不低于信号两倍的带宽对图像实施稠密采样，并且其捕获和压缩过程是分离进行的，这些要求使图像系统变得复杂、庞大，造成了巨大的计算开销和缓慢的处理速度，故在当下许多应用中受到限制。新兴的压缩感知理论能够以远低于奈氏定理采样极限的频率，以线性投影的方式对具备一定稀疏性的图像信号同时进行快速的采样和压缩。由于能够极大降低系统采样端的硬件负担、提升处理速度，压缩感知自十多年前被提出以来就受到了广泛关注，其数学模型为：
y＝Φx，
其中x表示长度为N的原始图像信号，Φ为给定的尺寸为M×N的采样矩阵，而y为原始信号经线性投影所获得的长度为M的观测值，其中M＜＜N。
下面将简要介绍现有的压缩感知重建算法。
传统的压缩感知图像重建算法往往通过求解如下优化问题进行图像重建：
其中，
是预测的重建图像，y是对原始图像采样得到的测量值向量，Φ是采样过程中的观测矩阵，
是与图像先验相关的正则项约束。目前已有基于全变分正则化、方向变换的稀疏化方法[1][2]和基于离散余弦变换域或小波变换域系数先验[3][4]的方法通过不同的迭代优化算法(如迭代阈值收缩算法[5]、交替方向乘子法[6]、近似消息传递法[7]等)进行重建。虽然这类工作在通过设计更复杂的先验来试图获得更好的重建质量和更高的复原效率(如获取更快的收敛速度)并取得了一定成果，但他们所对应的重建方法一般需要通过许多次的迭代计算来还原图像，这一过程实际上是非常耗时的，且复原质量依赖于大量的人工实验微调及经验性参数，这些缺点使得这类方法的设计难度高、重建效率仍然偏低，很难满足当下大部分应用对精度和实时性的严苛要求。
随着深度学习技术的发展，基于端到端神经网络的压缩感知图像重建方法的优势逐渐凸显。该方法通过全采样图像数据来获得大量观测值与真值的数据对，由此创建深度神经网络训练所需要的数据集。目前已有人提出了借助深度神经网络的强大学习能力来进一步提升重建图像的质量[8][9]。这类方法极大地缩短重建时间，而且不需要通过人的经验来设计目标函数的先验项，因此更加方便。但其网络结构设计缺乏指导，可解释性不足，仍有性能提升空间。数个基于深度展开技术的方法[10][11]通过将传统迭代优化算法映射为网络结构，很好地实现了模型在重建质量、复原速度与可解释性上的平衡。后来，有人提出基于自适应能力更强的可学习采样矩阵的方法[12][13]，更灵活的基于层次化的可伸缩网络[14]，以及基于显著性的动态分配采样率的压缩感知方法[15][16]。
虽然大多数当前较先进的方法都展现出了它们强大的重建性能或复原精度，但相关工作所关注和解决的问题往往是单方面的(如仅关注复原精度，灵活性等)，而很少具备综合解决若干极具挑战性问题的能力，这使得它们的性能提升存在瓶颈，同时在许多实际应用中将依然存在局限。
发明内容
本发明的目的在于克服现有的压缩感知图像重建算法的缺陷和不足，提供一种基于内容自适应的可伸缩网络的图像压缩感知方法。该方法设计了一个内容自适应的可伸缩网络来进行训练和重建，能够在达到很高的成像精度的同时，表现出了强大的灵活性和对图像内容的自适应性。
本发明的技术方案如下：
本发明的基于内容自适应的可伸缩网络的图像压缩感知方法，包括以下步骤：S1.构造训练数据集：构造训练数据集用于训练内容自适应的可伸缩网络，训练数据集由多个自然图像数据构成；S2.构造内容自适应的可伸缩网络：分别构造内容自适应的可伸缩网络的三个子网络：采样子网络、初始化子网络与复原子网络；S3.内容自适应的可伸缩网络训练过程：基于步骤S1中的训练数据集，给定损失函数，使用反向传播和梯度下降算法不断对内容自适应的可伸缩网络的三个子网络的参数进行联合优化，直至损失函数值稳定；S4.应用训练好的内容自适应的可伸缩网络进行图像的压缩感知采样和重建过程：将采样子网络部署于编码端，将初始化子网络与复原子网络部署于重建端。
优选的，在上述基于内容自适应的可伸缩网络的图像压缩感知方法中，在步骤S1中，在构造训练数据集时，首先搜集内容、尺寸合适的图像数据，构成一个训练数据X，多个训练数据构成网络训练数据集集合Γ。
优选的，在上述基于内容自适应的可伸缩网络的图像压缩感知方法中，在步骤S2中，采样子网络包含一个轻量级显著性检测网络，复原子网络主要通过对一优化压缩感知能量模型的迭代算法进行深度展开得到，由梯度下降模块和近端映射模块交替堆叠而成，并将图像显著性特征提取器运用到近端映射模块中，且三个子网络共享一个可学习母矩阵，其被用于产生对应于任意采样率的采样矩阵。
优选的，在上述基于内容自适应的可伸缩网络的图像压缩感知方法中，在步骤S2中，首先在采样子网络使用一个轻量级的卷积神经网络
对待压缩图像进行扫描并评价其各区域的重要性，获得显著性分布图S，再对显著性分布图以块为单位进行聚合，并实现精准的采样率分配，最终获得分配好的块采样率映射表R。
优选的，在上述基于内容自适应的可伸缩网络的图像压缩感知方法中，在步骤S3中，以Γ为训练数据集，采用平均绝对误差作为网络的损失函数：
其中，Nb表示训练样本的总数，
表示在给定输入图像Xi和随机选取的目标采样率qi/N的条件下，内容自适应的可伸缩网络输出的重建结果。
优选的，在上述基于内容自适应的可伸缩网络的图像压缩感知方法中，在步骤S4中，首先将训练好的采样子网络部署于系统的编码端，将训练好的初始化子网络与复原子网络部署于系统的重建端；然后向采样端的采样子网络输入待采样图像，其网络输出为原图像各个子图像块所对应的压缩感知测量值以及采样率映射表；将采样子网络的输出由编码端发送至重建端后，经初始化子网络和复原子网络的处理，获得重建后的图像。
根据本发明的技术方案，产生的有益效果是:
1.本发明方法可以在任意给定目标采样率的前提下根据图像内容进行动态采样，并从得到的测量值中重建出高质量的图像。
2.与现有的传统压缩感知方法相比，本发明方法具有更快的重建速度和更高的重建精度；
3.与现有的基于深度学习的压缩感知方法相比，本发明方法具有更强的自适应能力、更高的灵活性、更好的可解释性和更高的重建精度；
4.与现有的可伸缩或基于显著性的基于深度学习的压缩感知方法相比，本发明方法在有机结合了现有方法优点的同时，通过不同网络组件与策略的相互兼容与促进，本发明方法对于图像压缩感知任务展现出了强大的综合解决能力。
为了更好地理解和说明本发明的构思、工作原理和发明效果，下面结合附图，通过具体实施例，对本发明进行详细说明如下：
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明的基于内容自适应的可伸缩网络的图像压缩感知方法的流程图。
图2是内容自适应的可伸缩网络的结构图。
图3是采样子网络的结构图。
图4是初始化子网络的结构图。
图5是复原子网络的结构图。
图6a是图像真值。
图6b是ReconNet[8]的重建结果。
图6c是ISTA-Net+[11]的重建结果。
图6d是CSNet+[9]的重建结果。
图6e是OPINE-Net+[12]的重建结果。
图6f是AMP-Net[13]的重建结果。
图6g是SCSNet[14]的重建结果。
图6h是BCS-Net[16]的重建结果。
图6i是本发明所提出的内容自适应的可伸缩网络(CASNet)的重建结果。
具体实施方式
为使本发明的目的、技术方法及优点更加清晰，下面结合附图及具体实例，对本发明做进一步的详细说明。这些实例仅仅是说明性的，而并非对本发明的限制。
本发明的基于内容自适应的可伸缩网络的图像压缩感知方法的流程图，如图1所示，包括以下步骤：
S1.构造训练数据集：构造训练数据集用于训练内容自适应的可伸缩网络，该训练数据集由多个自然图像数据构成。
为确定所提出的内容自适应的可伸缩网络的最优参数，针对图像压缩感知问题构造训练数据集。该训练数据集由多个自然图像数据构成。在实际构造过程中，首先搜集内容、尺寸合适的图像数据，构成一个训练数据X，很多个这样的训练数据构成网络训练数据集集合Γ。
S2.构造内容自适应的可伸缩网络：内容自适应的可伸缩网络由一个采样子网络、一个初始化子网络和一个复原子网络组成，在步骤S2中，分别构造内容自适应的可伸缩网络的三个子网络：采样子网络、初始化子网络与复原子网络。其中采样子网络包含一个轻量级显著性检测网络，复原子网络主要通过对一优化压缩感知能量模型的迭代算法进行深度展开得到，由梯度下降模块和近端映射模块交替堆叠而成，并将图像显著性特征提取器运用到近端映射模块中，且三个子网络共享一个可学习母矩阵，其被用于产生对应于任意采样率的采样矩阵。
以下结合图2至图5该步骤进行说明。具体地，在步骤S2中，在基于压缩感知理论的图像系统中，由于通常情况下待处理图像(图2中的原始图像)X的空间尺寸较大，为了降低计算开销，大多数方法采用基于块的压缩感知策略，对原始图像划分为具有相同大小尺寸、互不重叠的块集合
后实施均匀采样。如图2所示，所提出内容自适应的可伸缩网络由一个采样子网络(SS)、一个初始化子网络(IS)和一个复原子网络(RS)组成，采样子网络位于系统的编码端，初始化子网络和复原子网络位于系统的重建端。如图3所示，首先在采样子网络使用一个轻量级的卷积神经网络
(称之为显著性检测器)对待压缩图像进行扫描并评价其各区域的重要性，获得显著性分布图S，再根据算法1中的块采样率聚合(BRA)算法，对显著性分布图以块为单位进行聚合，并实现精准的采样率分配，最终获得分配好的块采样率映射表R(图3中的“聚合”操作)。其中检测器由一个卷积层、三个残差块与另一个卷积层堆叠而成，每个残差块由一个卷积层、一个线性整流单元和另一个卷积层，以及一个输入到输出的跳跃连接组成。算法1的具体内容如下。
本发明的内容自适应的可伸缩网络采用尺寸为N×N的可学习母矩阵Φ*来生成所有采样矩阵。具体地，对于采样率映射表R中第i个图像块对应的采样率qi/N，网络通过截取该母矩阵的前qi行来获得该块的采样矩阵
(图3中的“截断”操作)，并对该块实施逐块整形、采样，获得块测量值。该过程可表示为：
采样子网络输出块采样率映射表R和所有块测量值集合
后，初始化子网络通过母矩阵根据采样率映射表R还原出各个图像块所对应的采样矩阵(图4中的“截断”操作)，并使用采样矩阵的转置(图4中的“转置结果”)对各个块通过得到的块测量值进行初始化，如图4所示。该过程可以表示为：
在完成所有块的初始化后，初始化子网络将所有初始化结果拼接，形成与原始图像具有相同尺寸的初始化图像
(图4中的“初始化结果”)，将其送至复原子网络做进一步重建。
压缩感知问题的重建图像一般通过求解如下优化问题得到：
其中
是重建图像，y是采集所得的测量值向量，Φ为采样过程中的测量矩阵，
是先验项约束，该项对重建图像
的某些先验性质进行约束，用于去除
中的伪影，提升重建精度，λ是调节参数。一个简单且常见的先验项设计为：
由此所获得的目标函数往往可以通过如下的迭代阈值收缩法进行迭代优化，具体步骤为：
其中k是迭代索引，ρ为梯度下降步长，
为近端映射。本发明将上述迭代收缩阈值法的迭代计算流程，展开为一个深度神经网络，所得到的网络由块梯度下降阶段和显著性信息引导的近端映射阶段交替堆叠而成。为了让网络更好地感知不同块的退化情况与块间联系，来对所有图像块进行联合重建，本发明还将显著性特征提取器应用到网络的近端映射阶段中。
图5展示了复原子网络的详细结构，其中Phase-k表示第k个模块，“切割”、“拼接”分别代表块切割、块拼接操作，“整形”代表块整形操作，“连接”代表特征在通道维度上的连接操作，Conv、RB、SConv、TConv分别代表3×3的卷积层、残差块、步长为2的2×2卷积层和步长为2的2×2转置卷积层。
所提出的复原子网络的结构主体由Np个模(如图5所示的模块1......模块k...模块Np)块串接而成，每个模块包含逐块梯度下降阶段和显著性信息引导的近端映射阶段。针对第k个模块，具体介绍如下：
逐块块梯度下降阶段。该阶段由公式(7)映射得到，其旨在通过逐块梯度下降来使得重建图像与观测数据内容的一致性。对于第k个模块的梯度下降阶段，给定第(k-1)个模块(视初始化子网络为第0个模块)的输出
该阶段首先将其进行切块操作，获得上一模块的图像块集合
其处理过程可以表达为：
其中ρ(k)为该模块可学习的梯度下降步长，最终将
拼接形成Z(k)即为本阶段的处理结果。
显著性信息引导的近端映射阶段。该阶段有公式(8)映射得到，其旨在通过近端映射使得图像满足公式(5)中的先验约束。对于第k个模块的显著性引导的近端映射阶段，其先将重建端获得的块采样率映射表R进行重复、放大，得到按块扩展的采样率图R′(图4中的“扩展后的映射表”)，该图的每个位置所显示的采样率均等于原始图像中对应位置所属图像块的实际采样率。然后使用一个轻量级卷积神经网络(CNN)组成的显著性特征提取器ε(k)(·)(图4中的“特征提取器”)将R′嵌入至三维特征空间中，该提取器由一个卷积层、三个残差块和另一个卷积层堆叠而成，其采用的所有卷积核的空间尺寸均为1×1。最后将嵌入结果(图4中的“显著性特征”)与梯度下降阶段的输出进行连接，使用一个类U-Net的近端映射网络计算图像的残差。该阶段可表示为：
其中，[·|·]代表对两个特征在通道上的连接操作，近端映射网络
由三个缩减算子(进行尺度缩减)以及三个扩展算子(进行尺度扩展)组成。每个缩减算子由一个卷积层、两个残差块和一个步长为2的2×2卷积层堆叠而成，而每个扩展算子由一个步长为2的2×2的转置卷积层、两个残差块和一个卷积层组成。此外，最小的三个尺度分别采用了三个残差恒等映射(图4中的“跳跃连接”)进行连接，四个尺度的特征所对应的通道数分别被默认地设置为16、32、64和128。
综上，本发明所提出的内容自适应的可伸缩网络需要学习的参数有：采样子网络中的显著性检测器
全局统一的可学习母矩阵Φ*，以及复原子网络中的可学习梯度下降步长ρ(k)、显著性特征提取器ε(k)(·)和近端映射网络
即可学习参数集合
S3.内容自适应的可伸缩网络训练过程：基于步骤S1中的训练数据集，给定损失函数，使用反向传播和梯度下降算法不断对内容自适应的可伸缩网络的三个子网络的参数进行联合优化，直至损失函数值稳定。在步骤3中采用反向传播算法计算损失函数相对于网络中各个参数的梯度，然后基于训练数据集采用梯度下降算法联合优化三个子网络的参数，直至损失函数数值稳定，获得内容自适应的可伸缩网络的最优参数。
以Γ为训练数据集，采用平均绝对误差作为网络的损失函数：
其中，Nb表示训练样本的总数，
表示在给定输入图像Xi和随机选取的目标采样率qi/N的条件下，内容自适应的可伸缩网络输出的重建结果。通过反向传播算法计算损失函数相对于网络中各个参数的梯度，然后基于训练数据集采用梯度下降算法优化网络层的参数，直至损失函数数值稳定，获得内容自适应的可伸缩网络的最优参数。
S4.应用训练好的内容自适应的可伸缩网络进行图像的压缩感知采样和重建过程：将采样子网络部署于编码端，将初始化子网络与复原子网络部署于重建端。向采样端的采样子网络输入待采样图像，将其的输出由编码端发送至重建端，经初始化子网络和复原子网络的处理，获得重建后的图像。
步骤4中的具体操作过程如下：首先将训练好的采样子网络部署于系统的编码端，将训练好的初始化子网络与复原子网络部署于系统的重建端。然后向采样端的采样子网络输入待采样图像，其网络输出为原图像各个子图像块所对应的压缩感知测量值(图2中的“块测量值集合”)以及采样率映射表；将采样子网络的输出由编码端发送至重建端后，经初始化子网络和复原子网络的处理，获得重建后的图像。
在实验中，我们分别在Set11数据集、BSD68数据集上进行测试。实验中的采样率涵盖了1％、4％、10％、25％、30％、40％和50％。为了客观评价不同方法的重建精度，使用峰值信噪比(PSNR)和结构相似性索引测度(SSIM)作为对比的指标。所有实验在NVIDIA TeslaV100的服务器上运行。实验中所使用的内容自适应的可伸缩网络的模块数量Np＝13。
表1：不同方法在不同数据集与不同采样率下的平均PSNR/SSIM指标
如上表1所示，将本发明所提出的内容自适应的可伸缩网络(CASNet)与七种深度学习重建方法在不同数据集和不同采样率下进行对比，对比的方法包括：ReconNet[8]、ISTA-Net+[11]、CSNet+[9]、OPINE-Net+[12]、AMP-Net[13]、SCSNet[14]和BCS-Net[16]，这七种深度学习重建方法详见参考文献列举的文献资料，文献资料前的方括号内标记了编号。本发明所提出的内容自适应的可伸缩网络在各数据集和各采样率下都达到了最高重建精度。
图6a-i是在10％的采样率下不同方法的重建可视化对比结果，每个算法都展示了重建图像及PSNR、SSIM指标。其中：图6a是图像真值(由上至下分别是来自Set11数据集的一张图像及其截取的一个图像块、来自BSD68数据集的一张图像及其截取的一个图像块)；图6b是ReconNet[8]的重建结果；图6c是ISTA-Net+[11]的重建结果；图6d是CSNet+[9]的重建结果；图6e是OPINE-Net+[12]的重建结果；图6f是AMP-Net[13]的重建结果；图6g是SCSNet[14]的重建结果；图6h是BCS-Net[16]的重建结果；图6i是本发明所提出的内容自适应的可伸缩网络(CASNet)的重建结果。
如图6a-i所示，从各方法在10％采样率下压缩感知重建图像的可视化对比结果(其中，不同方法间的功能特征与性质对比结果如以下表2)中可以看到，ReconNet[8]和ISTA-Net+[11]的重建结果较差，且明显具有严重的块效应现象；CSNet+[9]、OPINE-Net+[12]、AMP-Net[13]、SCSNet[14]和BCS-Net[16]虽然比前两种方法具有更高的重建质量，但这些算法对原始图像的拟合程度仍然比不上本发明所提出的内容自适应的可伸缩网络(CASNet)。且相比目前最先进的几种重建算法，本发明所提出的内容自适应的可伸缩网络在能够更好地重建压缩感知图像中细节信息、取得更高重建精度的同时，兼具可解释、矩阵可学习、可自适应资源分配、细粒度可伸缩、可去除块效应、可利用采样率信息的优点，是一个有机集成了当前现有方法所有六个优点的综合性更强的模型。
表2：不同方法间的功能特征与性质对比结果(A：可解释性；B：采用可学习的矩阵；C：自适应资源分配能力；D：细粒度可伸缩采样和重建能力；E：去除块效应能力；F：采样率信息的利用)
以上说明是依据本发明的构思和工作原理的最佳实施例。上述实施例不应理解为对本权利要求保护范围的限制，依照本发明构思的其他实施方式和实现方式的组合均属于本发明的保护范围。
参考文献：
[1]Li C,Yin W,Jiang H,et al.An efficient augmented Lagrangian methodwith applications to total variation minimization[J].ComputationalOptimization and Applications,2013,56(3):507-530.
[2]Mun S,Fowler J E.Block compressed sensing of images usingdirectional transforms[C]//Proceedings of International Conference on ImageProcessing(ICIP).IEEE,2009:3021-3024.
[3]He L,Carin L.Exploiting structure in wavelet-based Bayesiancompressive sensing[J].IEEE Transactions on Signal Processing,2009,57(9):3488-3497.
[4]Kim Y,Nadar M S,Bilgin A.Compressed sensing using a Gaussian scalemixtures model in wavelet domain[C]//Proceedings of International Conferenceon Image Processing(ICIP).IEEE,2010:3365-3368.
[5]Blumensath T,Davies M E.Iterative hard thresholding for compressedsensing[J].Applied and Computational Harmonic Analysis,2009,27(3):265-274.
[6]Li C,Yin W,Jiang H,et al.An efficient augmented Lagrangian methodwith applications to total variation minimization[J].ComputationalOptimization and Applications,2013,56(3):507-530.
[7]Donoho D L,Maleki A,Montanari A.Message-passing algorithms forcompressed sensing[J].Proceedings of the National Academy of Sciences,2009,106(45):18914-18919.
[8]Kulkarni K,Lohit S,Turaga P,et al.Reconnet:Non-iterativereconstruction of images from compressively sensed measurements[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR).2016:449-458.
[9]Shi W,Jiang F,Liu S,et al.Image compressed sensing usingconvolutional neural network[J].IEEE Transactions on Image Processing,2019,29:375-388.
[10]Yang Y,Sun J,Li H,et al.Deep ADMM-Net for compressive sensing MRI[C]//Proceedings of the International Conference on Neural InformationProcessing Systems(NeurIPS).2016:10-18.
[11]Zhang J,Ghanem B.ISTA-Net:Interpretable optimization-inspireddeep network for image compressive sensing[C]//Proceedings of the IEEEConference on Computer Vision and Pattern Recognition(CVPR).2018:1828-1837.
[12]Zhang J,Zhao C,Gao W.Optimization-inspired compact deepcompressive sensing[J].IEEE Journal of Selected Topics in Signal Processing,2020,14(4):765-774.
[13]Zhang Z,Liu Y,Liu J,et al.AMP-Net:Denoising-Based Deep Unfoldingfor Compressive Image Sensing[J].IEEE Transactions on Image Processing,2020,30:1487-1500.
[14]Shi W,Jiang F,Liu S,et al.Scalable convolutional neural networkfor image compressed sensing[C]//Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition(CVPR).2019:12290-12299.
[15]Yu Y,Wang B,Zhang L.Saliency-based compressive sampling for imagesignals[J].IEEE Signal Processing Letters,2010,17(11):973-976.
[16]Zhou S,He Y,Liu Y,et al.Multi-channel deep networks for block-based image compressive sensing[J].IEEE Transactions on Multimedia,2020.
Claims (5)
1.一种基于内容自适应的可伸缩网络的图像压缩感知方法，其特征在于，包括以下步骤：
S1.构造训练数据集：构造所述训练数据集用于训练内容自适应的可伸缩网络，所述训练数据集由多个自然图像数据构成；
S2.构造内容自适应的可伸缩网络：分别构造所述内容自适应的可伸缩网络的三个子网络：采样子网络、初始化子网络与复原子网络；
S3.内容自适应的可伸缩网络训练过程：基于步骤S1中的所述训练数据集，给定损失函数，使用反向传播和梯度下降算法不断对内容自适应的可伸缩网络的三个子网络的参数进行联合优化，直至损失函数值稳定；
S4.应用训练好的内容自适应的可伸缩网络进行图像的压缩感知采样和重建过程：将采样子网络部署于编码端，将初始化子网络与复原子网络部署于重建端。
2.据权利要求1所述的基于内容自适应的可伸缩网络的图像压缩感知方法，其特征在于，在步骤S1中，在构造所述训练数据集时，首先搜集内容、尺寸合适的图像数据，构成一个训练数据x，多个训练数据x构成网络训练数据集集合Γ。
3.据权利要求1所述的基于内容自适应的可伸缩网络的图像压缩感知方法，其特征在于，在步骤S2中，所述采样子网络包含一个轻量级显著性检测网络，所述复原子网络通过对一优化压缩感知能量模型的迭代算法进行深度展开得到，由梯度下降模块和近端映射模块交替堆叠而成，并将图像显著性特征提取器运用到近端映射模块中，且三个子网络共享一个可学习母矩阵，其被用于产生对应于任意采样率的采样矩阵。
4.据权利要求1所述的基于内容自适应的可伸缩网络的图像压缩感知方法，其特征在于，在步骤S2中，首先在所述采样子网络使用一个轻量级的卷积神经网络
对待压缩图像进行扫描并评价其各区域的重要性，获得显著性分布图S，再对显著性分布图以块为单位进行聚合，并实现精准的采样率分配，最终获得分配好的块采样率映射表R。
5.据权利要求1所述的基于内容自适应的可伸缩网络的图像压缩感知方法，其特征在于，在步骤S4中，首先将训练好的所述采样子网络部署于系统的编码端，将训练好的所述初始化子网络与所述复原子网络部署于系统的重建端；然后向采样端的所述采样子网络输入待采样图像，其网络输出为原图像各个子图像块所对应的压缩感知测量值以及采样率映射表；将所述采样子网络的输出由编码端发送至重建端后，经所述初始化子网络和所述复原子网络的处理，获得重建后的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110652371.8A CN113284202B (zh) | 2021-06-11 | 2021-06-11 | 一种基于内容自适应的可伸缩网络的图像压缩感知方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110652371.8A CN113284202B (zh) | 2021-06-11 | 2021-06-11 | 一种基于内容自适应的可伸缩网络的图像压缩感知方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113284202A CN113284202A (zh) | 2021-08-20 |
| CN113284202B true CN113284202B (zh) | 2022-10-25 |
Family
ID=77284299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110652371.8A Active CN113284202B (zh) | 2021-06-11 | 2021-06-11 | 一种基于内容自适应的可伸缩网络的图像压缩感知方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113284202B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114245117B (zh) * | 2021-12-16 | 2023-04-07 | 武汉大学 | 多采样率复用重建网络方法、装置、设备及存储介质 |
| CN114501028B (zh) * | 2022-02-11 | 2024-02-13 | 重庆大学 | 图像压缩感知方法、恢复方法、设备、系统及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921910A (zh) * | 2018-07-30 | 2018-11-30 | 浙江大学 | 基于可伸缩卷积神经网络的jpeg编码压缩图像复原的方法 |
| CN111932650A (zh) * | 2020-08-10 | 2020-11-13 | 北京大学深圳研究生院 | 一种基于高通量深度展开网络的核磁共振图像重建方法 |
| CN112116601A (zh) * | 2020-08-18 | 2020-12-22 | 河南大学 | 一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11080587B2 (en) * | 2015-02-06 | 2021-08-03 | Deepmind Technologies Limited | Recurrent neural networks for data item generation |
| US11205103B2 (en) * | 2016-12-09 | 2021-12-21 | The Research Foundation for the State University | Semisupervised autoencoder for sentiment analysis |
| US11295423B2 (en) * | 2019-11-25 | 2022-04-05 | Intel Corportation | Unsupervised training of neural network for high dynamic range image compression |
| CN111354051B (zh) * | 2020-03-03 | 2022-07-15 | 昆明理工大学 | 一种自适应优化网络的图像压缩感知方法 |
-
2021
- 2021-06-11 CN CN202110652371.8A patent/CN113284202B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921910A (zh) * | 2018-07-30 | 2018-11-30 | 浙江大学 | 基于可伸缩卷积神经网络的jpeg编码压缩图像复原的方法 |
| CN111932650A (zh) * | 2020-08-10 | 2020-11-13 | 北京大学深圳研究生院 | 一种基于高通量深度展开网络的核磁共振图像重建方法 |
| CN112116601A (zh) * | 2020-08-18 | 2020-12-22 | 河南大学 | 一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 邵然.基于压缩感知和深度学习的高光谱图像重构算法研究.《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》.2021,C028-106. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113284202A (zh) | 2021-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shi et al. | Scalable convolutional neural network for image compressed sensing | |
| Zhang et al. | CCR: Clustering and collaborative representation for fast single image super-resolution | |
| CN113284202B (zh) | 一种基于内容自适应的可伸缩网络的图像压缩感知方法 | |
| CN110084862B (zh) | 基于多尺度小波变换与深度学习的图像压缩感知算法 | |
| CN112884851B (zh) | 基于展开迭代优化算法的深度压缩感知网络的构建方法 | |
| CN103559696B (zh) | 一种基于压缩感知的图像融合方法 | |
| CN111598778B (zh) | 一种绝缘子图像超分辨率重建方法 | |
| CN104199627B (zh) | 基于多尺度在线字典学习的可分级视频编码系统 | |
| CN112365554A (zh) | 基于多尺度残差神经网络的压缩感知图像重建方法 | |
| CN110533591B (zh) | 基于编解码器结构的超分辨图像重建方法 | |
| CN106101725A (zh) | 一种基于压缩感知理论和空域下采样技术的图像压缩方法 | |
| CN110378975B (zh) | 一种基于深度神经网络的压缩编码孔径成像方法及系统 | |
| CN109584330A (zh) | 一种基于压缩感知逼近l0范数的梯度投影图像重建方法 | |
| CN113992920A (zh) | 一种基于深度展开网络的视频压缩感知重建方法 | |
| CN106559670A (zh) | 一种改进的分块视频压缩感知算法 | |
| Yin et al. | A deep network based on wavelet transform for image compressed sensing | |
| Yoo et al. | 3D image reconstruction from multi-focus microscope: axial super-resolution and multiple-frame processing | |
| CN107146259A (zh) | 一种基于压缩感知理论的新型图像压缩方法 | |
| Wang et al. | Image reconstruction from patch compressive sensing measurements | |
| CN104243986B (zh) | 基于数据驱动张量子空间的压缩视频采集与重构系统 | |
| Bakhtiarnia et al. | Analysis of the effect of low-overhead lossy image compression on the performance of visual crowd counting for smart city applications | |
| CN112381746B (zh) | 学习采样与分组的图像压缩感知重构系统及其方法 | |
| CN116778539A (zh) | 基于注意力机制的人脸图像超分辨率网络模型及处理方法 | |
| Zhou et al. | Asymmetric block based compressive sensing for image signals | |
| Wu et al. | Coprime interpolation and compressive sensing for future heterogeneous network towards 5G |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |