CN110084862B - 基于多尺度小波变换与深度学习的图像压缩感知算法 - Google Patents
基于多尺度小波变换与深度学习的图像压缩感知算法 Download PDFInfo
- Publication number
- CN110084862B CN110084862B CN201910271763.2A CN201910271763A CN110084862B CN 110084862 B CN110084862 B CN 110084862B CN 201910271763 A CN201910271763 A CN 201910271763A CN 110084862 B CN110084862 B CN 110084862B
- Authority
- CN
- China
- Prior art keywords
- image
- reconstruction
- convolution
- vector
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
Abstract
本发明公开了一种基于多尺度小波变换与深度学习的图像压缩感知算法，包括图像采集阶段，利用卷积层采样，得到
的采样向量；初始重建阶段，采用Reshape操作初始重建向量中每1×1×B2重排为B×B的图像块；深度重建阶段，采用4个残差块来深度重建图像，通过中的初始重建图像块向量作为输入，输出大小为的深度重建图像；在得到深度重建图像块后，将图像块重排，最终得到重建图像，本发明在采样阶段，用卷积神经网络进行采样，提高采样效率；在重建端，利用卷积神经网络进行初始重建，进而利用残差网进行深度重建，并且本发明使用多个网络进行重建，显著提高重建性能；使用残差网在增加网络深度的同时，依然能保持高效的训练效果，进而获得更优的重建效果。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于多尺度小波变换与深度学习的图像压缩感知算法。
背景技术
压缩感知(CS)是一种新兴的采样方法，通过线性投影同时采样和压缩来降低编码复杂度。它通过线性投影将稀疏或可压缩信号
捕获为压缩信号
M＜＜N，其中
是测量率，其数学模型为：
y＝Φx (1)
其中
是一个采样矩阵。高斯随机矩阵由于其理论上的可解释性被广泛使用，但是具有显著的计算和存储成本，在过去的几十年中，许多研究人员试图减轻计算复杂性，利用关于信号的先验知识在其采样中发挥作用，但是，如何使用超出稀疏性的先验信息成为了限制CS发展的瓶颈，因此，基于对人类视觉系统的一般观察，可以采用更多的低频先验，捕获图像信号中的更多低频成分，输入图像信号被线性分解成多尺度，并且对每个尺度自适应地进行采样。
在获得采样信号后，如何重建信号是CS的另一大问题。贪婪算法，凸优化算法和贝叶斯类算法已被用于在压缩感知理论中重建图像。然而几乎所有的这些方法在解决图像重建这个问题时，计算十分复杂且十分耗时。深度学习的方法出现，在图像恢复方面提供了最先进的性能，深度堆叠自编码器、卷积神经网络、残差网等神经网络已经被运用在图像重建领域并获得了良好的重建效果。
目前，基于深度学习的重建，大部分工作都是关于单一尺度采样和单一的神经网络重建。虽然已经获得较好的重建效果，但重建性能让有较大提升的提升空间，仍需要对多尺度采样和多神经网络级联重建进行进一步研究。本发明利用基于多尺度小波变换和多网络级联重建的方法进行压缩感知算法设计，通过小波分解将图像线性分解为多尺度并通过卷积神经网络进行采样，随后，利用堆叠自编码器初始重建图像，最后，我们通过残差网进行深度重建提高重建性能。通过联合学习多尺度采样和多重网络级联重建，我们可以产生比现有技术的传统方案更好的重建效果。
在神经网络中，激活函数ReLU(Rectified Linear Unit)，又称修正线性单元，因其良好的求导性能，在神经网络反向传播时，能够避免梯度爆炸和梯度消失。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于多尺度小波变换与深度学习的图像压缩感知算法，在压缩感知理论的基础上，首先利用小波变换将图像多尺度分解，并利用卷积神经网络进行采样，随后使用堆叠自动编码器进行初始重建，最后利用残差网来完成图像深度重建，本发明能有效提高采样效率，并快速高精度完成图像重建。
根据本发明实施例的一种基于多尺度小波变换与深度学习的图像压缩感知算法，应用于深度学习中的图像重建，所述基于多尺度小波变换与深度学习的图像压缩感知算法包括：
S1：图像采集；
1-1)选取一张大小为n×n的图像，将图像转化为灰度图；
1-2)利用小波变换，提取图像多尺度信息，包括低频信号和3个方向上的高频信号，图像转换为
1-3)利用卷积神经网络进行采样，采用m个B×B×4的卷积核对多尺度信息进行同时采样，其中
为测量率，B为设置的图像块大小，B＝33，卷积核中的4通道对应与1-2)的4个频率上的信息,需要指出的是，此步骤的卷积操作中，不使用激活函数与偏置操作，且无Pad补零，卷积步长为B；
1-4)经过卷积层采样后，得到
的采样向量；
S2：初始重建阶段；
2-1)利用卷积神经网络对采样信号进行初始重建。采用4×B2个1×1×m的卷积核，其中，该卷积层无激活函数与偏置操作，无Pad补零，卷积步长为1。
2-2)应用步骤2-1)中的卷积操作后，得到
的初始重建向量；
2-3)采用Reshape操作初始重建向量中每1×1×B2重排为B×B的图像块；
S3：深度重建阶段，采用四个残差块来深度重建图像，2-3)中的初始重建图像块作为输入，输出大小为B×B的深度重建图像；
残差块第一层为64个大小为11×11的卷积核，此时Pad补零数为5，卷积步长为1，激活函数为ReLU；第二层为32个大小为1×1的卷积核，此时Pad补零数为0，卷积步长为1，激活函数为ReLU；第三层为1个大小为7×7的卷积核，此时Pad补零数为3，卷积步长为1，激活函数为ReLU；
S4：在得到深度重建图像块后，将图像块重排，最终得到重建图像。
优选的，步骤S3中的四个残差块的结构和参数均相同，并且为了保持图像块大小输出不变，4个残差块中的卷积层中均无池化操作。
优选的，应用步骤S3中的第四个残存块，除去第四个残存块的第三层没有激活函数ReLU，直接输出深度重建图像。
优选的，应用步骤S3中的第一个残差块的第三层，利用步骤2-3)中的初始重建图像块向量与经过7×7的卷积核卷积操作后的向量相加后，再经过激活函数ReLU激活，得到第一次残差块重建的图像块向量。
优选的，应用步骤S3中的第二个残差块的第三层，经过第一次残差块重建的图像块向量与经过7×7的卷积核卷积操作后的向量相加后，再经过激活函数ReLU激活，得到第二次残差块重建的图像块向量。
优选的，应用步骤S3中的第三个残差块的第三层，经过第二次残差块重建的图像块向量与经过7×7的卷积核卷积操作后的向量相加后，再经过激活函数ReLU激活，得到第三次残差块重建的图像块向量。
优选的，应用步骤S3中的第四个残差块的第三层，经过第三次残差块重建的图像块向量与经过7×7的卷积核卷积操作后的向量相加后，输出为深度重建图像。
本发明中，提供的是一种基于多尺度小波变换与深度学习的图像压缩感知算法，与之前传统的压缩感知重建算法相比，在采样阶段，先采用小波变换，获取多尺度信息，利用超出稀疏之外的先验知识，用卷积神经网络进行采样，能够有效地捕捉到信号深层次的内部信息；在重建端，利用卷积神经网络进行初始重建，进而利用残差网进行深度重建，较传统方法减少重建时间，较其他基于深度学习的方法，使用多个网络进行重建可显著提高重建性能；使用残差网能在增加网络深度的同时，依然能保持高效的训练效果，进而获得更优的重建效果。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明提出的一种基于多尺度小波变换与深度学习的图像压缩感知算法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
参照图1，基于多尺度小波变换与深度学习的图像压缩感知算法包括：
S1：图像采集；
1-1)选取一张大小为n×n的图像，将图像转化为灰度图；
1-2)利用小波变换，提取图像多尺度信息，包括低频信号和3个方向上的高频信号，图像转换为
1-3)利用卷积神经网络进行采样，采用m个B×B×4的卷积核对多尺度信息进行同时采样，其中
为测量率，B为设置的图像块大小，B＝33，卷积核中的4通道对应与1-2)的4个频率上的信息,需要指出的是，此步骤的卷积操作中，不使用激活函数与偏置操作，且无Pad补零，卷积步长为B；
1-4)经过卷积层采样后，得到
的采样向量；
S2：初始重建阶段；
2-1)利用卷积神经网络对采样信号进行初始重建。采用4×B2个1×1×m的卷积核，其中，该卷积层无激活函数与偏置操作，无Pad补零，卷积步长为1。
2-2)应用步骤2-1)中的卷积操作后，得到
的初始重建向量；
2-3)采用Reshape操作初始重建向量中每1×1×B2重排为B×B的图像块；
S3：深度重建阶段，采用四个残差块来深度重建图像，2-3)中的初始重建图像块作为输入，输出大小为B×B的深度重建图像；
残差块第一层为64个大小为11×11的卷积核，此时Pad补零数为5，卷积步长为1，激活函数为ReLU；第二层为32个大小为1×1的卷积核，此时Pad补零数为0，卷积步长为1，激活函数为ReLU；第三层为1个大小为7×7的卷积核，此时Pad补零数为3，卷积步长为1，激活函数为ReLU；
S4：在得到深度重建图像块后，将图像块重排，最终得到重建图像。
步骤S3中的四个残差块的结构和参数均相同，并且为了保持图像块大小输出不变，4个残差块中的卷积层中均无池化操作；应用步骤S3中的第四个残存块，除去第四个残存块的第三层没有激活函数ReLU，直接输出深度重建图像；应用步骤S3中的第一个残差块的第三层，利用步骤2-3)中的初始重建图像块向量与经过7×7的卷积核卷积操作后的向量相加后，再经过激活函数ReLU激活，得到第一次残差块重建的图像块向量；应用步骤S3中的第二个残差块的第三层，经过第一次残差块重建的图像块向量与经过7×7的卷积核卷积操作后的向量相加后，再经过激活函数ReLU激活，得到第二次残差块重建的图像块向量；应用步骤S3中的第三个残差块的第三层，经过第二次残差块重建的图像块向量与经过7×7的卷积核卷积操作后的向量相加后，再经过激活函数ReLU激活，得到第三次残差块重建的图像块向量；应用步骤S3中的第四个残差块的第三层，经过第三次残差块重建的图像块向量与经过7×7的卷积核卷积操作后的向量相加后，输出为深度重建图像。
综上所述，该基于多尺度小波变换与深度学习的图像压缩感知算法，与之前传统的压缩感知重建算法相比，在采样阶段，先采用小波变换，获取多尺度信息，利用超出稀疏之外的先验知识，用卷积神经网络进行采样，提高采样效率；在重建端，利用卷积神经网络进行初始重建，进而利用残差网进行深度重建，较传统方法减少重建时间，较其他基于深度学习的方法，使用多个网络进行重建可显著提高重建性能；使用残差网能在增加网络深度的同时，依然能保持高效的训练效果，进而获得更优的重建效果。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种基于多尺度小波变换与深度学习的图像压缩感知算法，应用于深度学习中的图像重建,其特征在于，所述基于多尺度小波变换与深度学习的图像压缩感知算法包括：
S1：图像采集；
1-1)选取一张大小为n×n的图像，将图像转化为灰度图；
1-2)利用小波变换，提取图像多尺度信息，包括低频信号和3个方向上的高频信号，图像转换为
1-3)利用卷积神经网络进行采样，采用m个B×B×4的卷积核对多尺度信息进行同时采样，其中
为测量率，B为设置的图像块大小，卷积核中的4通道对应与1-2)的4个频率上的信息,需要指出的是，此步骤的卷积操作中，不使用激活函数与偏置操作，且无Pad补零，卷积步长为B；
1-4)经过卷积层采样后，得到
的采样向量；
S2：初始重建阶段；
2-1)利用卷积神经网络对采样信号进行初始重建。采用4×B2个1×1×m的卷积核，其中，该卷积层无激活函数与偏置操作，无Pad补零，卷积步长为1；
2-2)应用步骤2-1)中的卷积操作后，得到
的初始重建向量；
2-3)采用Reshape操作初始重建向量中每1×1×B2重排为B×B的图像块；
S3：深度重建阶段，采用四个残差块来深度重建图像，2-3)中的初始重建图像块作为输入，输出大小为B×B的深度重建图像；
残差块第一层为64个大小为11×11的卷积核，此时Pad补零数为5，卷积步长为1，激活函数为ReLU；第二层为32个大小为1×1的卷积核，此时Pad补零数为0，卷积步长为1，激活函数为ReLU；第三层为1个大小为7×7的卷积核，此时Pad补零数为3，卷积步长为1，激活函数为ReLU；
S4：在得到深度重建图像块后，将图像块重排，最终得到重建图像。
2.根据权利要求1所述的基于多尺度小波变换与深度学习的图像压缩感知算法，其特征在于：步骤S3中的四个残差块的结构和参数均相同，并且为了保持图像块大小输出不变，4个残差块中的卷积层中均无池化操作。
3.根据权利要求1所述的基于多尺度小波变换与深度学习的图像压缩感知算法，其特征在于：应用步骤S3中的第四个残存块，除去第四个残存块的第三层没有激活函数ReLU，直接输出深度重建图像。
4.根据权利要求1所述的基于多尺度小波变换与深度学习的图像压缩感知算法，其特征在于：应用步骤S3中的第一个残差块的第三层，利用步骤2-3)中的初始重建图像块向量与经过7×7的卷积核卷积操作后的向量相加后，再经过激活函数ReLU激活，得到第一次残差块重建的图像块向量。
5.根据权利要求4所述的基于多尺度小波变换与深度学习的图像压缩感知算法，其特征在于：应用步骤S3中的第二个残差块的第三层，经过第一次残差块重建的图像块向量与经过7×7的卷积核卷积操作后的向量相加后，再经过激活函数ReLU激活，得到第二次残差块重建的图像块向量。
6.根据权利要求5所述的基于多尺度小波变换与深度学习的图像压缩感知算法，其特征在于：应用步骤S3中的第三个残差块的第三层，经过第二次残差块重建的图像块向量与经过7×7的卷积核卷积操作后的向量相加后，再经过激活函数ReLU激活，得到第三次残差块重建的图像块向量。
7.根据权利要求6所述的基于多尺度小波变换与深度学习的图像压缩感知算法，其特征在于：应用步骤S3中的第四个残差块的第三层，经过第三次残差块重建的图像块向量与经过7×7的卷积核卷积操作后的向量相加后，输出为深度重建图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910271763.2A CN110084862B (zh) | 2019-04-04 | 2019-04-04 | 基于多尺度小波变换与深度学习的图像压缩感知算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910271763.2A CN110084862B (zh) | 2019-04-04 | 2019-04-04 | 基于多尺度小波变换与深度学习的图像压缩感知算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110084862A CN110084862A (zh) | 2019-08-02 |
| CN110084862B true CN110084862B (zh) | 2022-11-15 |
Family
ID=67414308
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910271763.2A Active CN110084862B (zh) | 2019-04-04 | 2019-04-04 | 基于多尺度小波变换与深度学习的图像压缩感知算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110084862B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110880194A (zh) * | 2019-12-03 | 2020-03-13 | 山东浪潮人工智能研究院有限公司 | 一种基于卷积神经网络的图像压缩方法 |
| CN110992295B (zh) * | 2019-12-20 | 2022-04-19 | 电子科技大学 | 基于小波-red卷积神经网络的低剂量ct重建方法 |
| CN111243047B (zh) * | 2020-01-21 | 2022-07-29 | 齐齐哈尔大学 | 基于自适应非线性网络的图像压缩感知方法及相关产品 |
| CN113542772B (zh) * | 2020-04-21 | 2023-03-24 | 四川大学 | 基于增强的宽激活残差网络的压缩图像去块效应方法 |
| CN111667445B (zh) * | 2020-05-29 | 2021-11-16 | 湖北工业大学 | 一种基于Attention多特征融合的图像压缩感知重建方法 |
| CN111667444B (zh) * | 2020-05-29 | 2021-12-03 | 湖北工业大学 | 一种基于多通道残差网络的图像压缩感知重建方法 |
| CN112634391B (zh) * | 2020-12-29 | 2023-12-29 | 华中科技大学 | 一种基于压缩感知的灰度图像深度重建及故障诊断系统 |
| CN116468812A (zh) * | 2023-05-16 | 2023-07-21 | 山东省计算中心（国家超级计算济南中心） | 一种基于多分支和多尺度的图像压缩感知重构方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
| WO2018039904A1 (zh) * | 2016-08-30 | 2018-03-08 | 深圳大学 | 一种基于块稀疏压缩感知的红外图像重构方法及其系统 |
| CN109410114A (zh) * | 2018-09-19 | 2019-03-01 | 湖北工业大学 | 基于深度学习的压缩感知图像重建算法 |
-
2019
- 2019-04-04 CN CN201910271763.2A patent/CN110084862B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018039904A1 (zh) * | 2016-08-30 | 2018-03-08 | 深圳大学 | 一种基于块稀疏压缩感知的红外图像重构方法及其系统 |
| CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
| CN109410114A (zh) * | 2018-09-19 | 2019-03-01 | 湖北工业大学 | 基于深度学习的压缩感知图像重建算法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110084862A (zh) | 2019-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110084862B (zh) | 基于多尺度小波变换与深度学习的图像压缩感知算法 | |
| CN105163121B (zh) | 基于深度自编码网络的大压缩比卫星遥感图像压缩方法 | |
| CN112884851B (zh) | 基于展开迭代优化算法的深度压缩感知网络的构建方法 | |
| CN107016656B (zh) | 一种基于压缩感知在图像重建中的小波稀疏基优化方法 | |
| CN108419083B (zh) | 一种图像多级小波全子带压缩感知编码方法 | |
| CN110533591B (zh) | 基于编解码器结构的超分辨图像重建方法 | |
| CN106101725A (zh) | 一种基于压缩感知理论和空域下采样技术的图像压缩方法 | |
| CN113689513A (zh) | 一种基于鲁棒张量分解的sar图像压缩方法 | |
| CN113284202B (zh) | 一种基于内容自适应的可伸缩网络的图像压缩感知方法 | |
| CN107154061B (zh) | 一种分块压缩感知的正则化解码方法 | |
| CN113962882A (zh) | 一种基于可控金字塔小波网络的jpeg图像压缩伪影消除方法 | |
| Agarwal et al. | Near lossless image compression using discrete cosine transformation and principal component analysis | |
| CN105931282B (zh) | 一种维数任意的部分哈达玛测量矩阵构造及信号处理方法 | |
| CN111243047B (zh) | 基于自适应非线性网络的图像压缩感知方法及相关产品 | |
| CN106899305B (zh) | 一种基于第二代小波的原始信号重构方法 | |
| CN114529482B (zh) | 基于小波多通道深度网络的图像压缩感知重建方法 | |
| Emara et al. | Image compression using advanced optimization algorithms | |
| CN110930466B (zh) | 面向任意形状BOIs的高光谱自适应压缩传感方法 | |
| CN109448065B (zh) | 一种基于梯度分块自适应测量的压缩感知方法 | |
| Liu et al. | Ensemble CNN in transform domains for image super-resolution from small data sets | |
| Deshmukh | Image compression using neural networks | |
| CN109345453B (zh) | 利用标准化组稀疏规则化的图像超分辨率重构系统及方法 | |
| CN113449737B (zh) | 一种基于自编码器的单探头声学成像方法及装置 | |
| Bosch et al. | Multiscale and multidirectional tight frames for image analysis | |
| Xie et al. | Accurate and Efficient Matrix Completion Using Cascaded Deep Neural Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |