CN109922346A - 一种用于压缩感知图像信号重构的卷积神经网络 - Google Patents
一种用于压缩感知图像信号重构的卷积神经网络 Download PDFInfo
- Publication number
- CN109922346A CN109922346A CN201910148782.6A CN201910148782A CN109922346A CN 109922346 A CN109922346 A CN 109922346A CN 201910148782 A CN201910148782 A CN 201910148782A CN 109922346 A CN109922346 A CN 109922346A
- Authority
- CN
- China
- Prior art keywords
- layer
- convolutional
- size
- neural networks
- convolution kernel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种用于压缩感知图像信号重构的卷积神经网络，它是一个全卷积神经网络，包括一个全连接层和九个卷积层；首先将图片分成32×32大小的块，其次进行CS测量。所述全连接层采用CS测量作为输入，并输出尺寸为32×32的特征图；本发明具有较低的复杂度及较好的恢复性能，还具有较强的鲁棒性和较高的时间效率，峰值信噪比（PSNR）较传统CS算法TVAL3的PSNR提高了7.2%‑13.95%,较D‑AMP的提高了7.72%‑174.84%。重构图像所需的时间比TVAL3快4‑5倍，比D‑AMP快244‑283倍，具有较高的时间效率，实现了实时重构，和传统重构算法相比，在相同的测量速率下，能更有效地提取场景信息，获得更好的重构效果，并且在降低测量速率时，本发明的信噪比较传统算法的信噪比降低的更缓慢，具有较好的鲁棒性。
Description
技术领域
本发明涉及图像处理领域，尤其是涉及一种用于压缩感知图像信号重构的卷积神经网络。
背景技术
现有的压缩感知因其编码复杂度低，节省资源，抗干扰能力强等特点而代替传统的信号处理，广泛应用于各个领域。然而传统的压缩感知技术在图像处理方面也面临着重构时间长、算法复杂度高、迭代次数多、计算量大等问题。
发明内容
本发明为克服上述情况不足，旨在提供一种能解决上述问题的技术方案。
一种用于压缩感知图像信号重构的卷积神经网络，包括一个全连接层和九个卷积层；
所述全连接层采用CS测量作为输入，并输出尺寸为32×32的特征图；全连接层起到
了从CS测量值中恢复一些结构信息的作用；
卷积层的第一层至第九层依次位于全连接层之后，卷积层用于提高图像的重构精度，获得一个高分辨率的输出；
其中卷积层的第一层和第二层均使用1×1大小的卷积核，分别生成128个和64个特征图；
卷积层的第三层使用9×9大小的卷积核，生成64个特征图；
卷积层的第四层使用7×7大小的卷积核，生成32个特征图；
卷积层的第五层和第六层分别使用3×3和1×1大小的卷积核，且其均生成了16个特征图；
卷积层的第七层、第八层以及第九层分别使用3×3、3×3、5×5大小的卷积核，且其均生成了1个特征图；
九个卷积层最终通过3×3大小的卷积核输出中间重建图像；
除了最后一个卷积层外，所有的其它层都使用激励函数ReLu。所有卷积层生成的特征图大小都是32×32，这和块大小一样。本发明用适当的补零来保持所有卷积层中的特征图大小不变；中间重建图像通过BM3D滤波器去噪，以去除中间重建图像因分块量化后的量化误差而产生的块效应，BM3D在计算的复杂度和重构质量之间提供了一个很好的折中。
作为本发明进一步的方案：卷积神经网络的初始输入是将一幅图像压缩为维的矢量，并记为，其中是大小为维观测矩阵，是测量数据，是向量化的输入图像块，本网络能够重建大小为32×32的块，因此N=1089。之所以选择32×32大小的块，是因为采用较小的块，虽然对图像处理比较细腻，但是重构时间长，采用较大的块，只能重建出重要信息，细节略显不足。因此，32×32大小的块，可以减少网络复杂度并且在减少训练时间的同时，确保了良好的重建质量。
作为本发明进一步的方案：中间重建图像因分块量化后的量化误差的平均值记为损失函数，选择MSE作为损失函数，MSE是真实值与预测值的差值的平方求和平均；给定一组高分辨率图像及其相应的低分辨率图像，则MSE的计算公式是；其中，是训练集中的图像块总数，是第个补丁，是第个补丁的网络输出。
本发明的有益效果：本发明具有较低的复杂度及较好的恢复性能，还具有较高的时间效率，重构时间比传统重构算法的快3个数量级，实现了实时重构；在采样率极低的情况下仍然具有更好的视觉吸引力，重构精度比传统算法的更高，和传统重构算法相比，在相同的测量速率下，能更有效地提取场景信息，获得更好的重构效果。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中，一种用于压缩感知图像信号重构的卷积神经网络，包括一个全连接层和九个卷积层；
所述全连接层采用CS测量作为输入，并输出尺寸为32×32的特征图；全连接层起到
了从CS测量值中恢复一些结构信息的作用；
卷积层的第一层至第九层依次位于全连接层之后，卷积层用于提高图像的重构精度，获得一个高分辨率的输出；
其中卷积层的第一层和第二层均使用1×1大小的卷积核，分别生成128个和64个特征图；
卷积层的第三层使用9×9大小的卷积核，生成64个特征图；
卷积层的第四层使用7×7大小的卷积核，生成32个特征图；
卷积层的第五层和第六层分别使用3×3和1×1大小的卷积核，且其均生成了16个特征图；
卷积层的第七层、第八层以及第九层分别使用3×3、3×3、5×5大小的卷积核，且其均生成了1个特征图；
九个卷积层最终通过3×3大小的卷积核输出中间重建图像；
除了最后一个卷积层外，所有的其它层都使用激励函数ReLu。所有卷积层生成的特征图大小都是32×32,这和块大小一样。本发明用适当的补零来保持所有卷积层中的特征图大小不变；
中间重建图像通过BM3D滤波器去除中间重建图像因分块量化后的量化误差而产生的块效应后得到最终图像；
卷积神经网络的初始输入是将一幅图像压缩为维的矢量，并记为，其中是大小为维观测矩阵，是测量数据，是向量化的输入图像块；
中间重建图像因分块量化后的量化误差的平均值记为损失函数，选择MSE作为损失函数，MSE是真实值与预测值的差值的平方求和平均；给定一组高分辨率图像及其相应的低分辨率图像，则MSE的计算公式是；其中，是训练集中的图像块总数，是第个补丁，是第个补丁的网络输出；
训练CNN网络重构网络的训练是基于91幅图像，从这些图像中均匀提取大小为32×32的块，步幅是14，得到了21760个块，本发明只保留提取的色块的亮度分量，这构成了训练集的标签；训练集的输入是补丁的相应CS测量值。实验表明，该训练集足以训练深层网络。所有的训练都是基于Caffe平台；
本文所使用的电脑所采用的显卡是Nvidia GEFORCE GTX 1060 3GB，进行了为期三天的训练；
为了训练网络，本发明需要对应每个提取的块的CS测量值。因此，本发明先模拟无噪声的CS测量如下：对于给定的测量速率，首先构建一个测量矩阵随机生成一个适当大小的高斯矩阵，然后对其行进行正交化；
根据来获得CS的测量数据集合，并用该测量数据对卷积神经网络进行训练，训练的输入标签对可以表示为；
本发明是在四种不同的采样率0.25、0.10、0.04和0.01下来训练网络，由于总像素数每块是=1024，所以测量次数分别为256、100、40和10。
在采样率为0.01时，重构出的图仍然含有丰富的语义内容，保留了图像中人们感兴趣的场景属性。
实验表明
本神经网络具有较低的复杂度及较好的恢复性能，在相同的采样率下比传统算法的PSNR更高，有着更小的重构误差，优化了图像纹理和图像边沿的处理，更有效地提高了图像重构质量。在相同的采样率下，本神经网络的峰值信噪比（PSNR）较TVAL3的 PSNR提高了7.2%-13.95%,较D-AMP的提高了7.72%-174.84%。重构耗时比传统重构算法提高了3个数量级，具有较高的时间效率，实现了实时重构。在采样率极低的情况下（采样率为0.01时），平均PSNR较D-AMP高11.982dB,具有更好的视觉吸引力。和传统重构算法相比，在相同的测量速率下，能更有效地提取场景信息，获得更好的重构效果。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
Claims (3)
1.一种用于压缩感知图像信号重构的卷积神经网络，其特征在于，它是一个全卷积网络，包括一个全连接层和九个卷积层；
所述全连接层采用CS测量作为输入，并输出尺寸为32×32的特征图；
卷积层的第一层至第九层依次位于全连接层之后，卷积层用于提高图像的重构精度，获得一个高分辨率的输出；
其中卷积层的第一层和第二层均使用1×1大小的卷积核，分别生成128个和64个特征图；
卷积层的第三层使用9×9大小的卷积核，生成64个特征图；
卷积层的第四层使用7×7大小的卷积核，生成32个特征图；
卷积层的第五层和第六层分别使用3×3和1×1大小的卷积核，且其均生成了16个特征图；
卷积层的第七层、第八层以及第九层分别使用3×3、3×3、5×5大小的卷积核，且其均生成了1个特征图；
九个卷积层最终通过3×3大小的卷积核输出中间重建图像；
除了最后一个卷积层外，所有的其它层都使用激励函数ReLu；所有卷积层生成的特征图大小都是32×32；
中间重建图像通过BM3D滤波器去噪，以去除中间重建图像因分块量化后的量化误差而产生的块效应。
2.根据专利要求1所述的用于压缩感知图像信号重构的卷积神经网络，其特征在于，卷积神经网络的初始输入是将一幅图像压缩为维的矢量，并记为，其中是大小为维观测矩阵，是测量数据，是向量化的输入图像块，本网络能够重建大小为32×32的块，因此N=1089。
3.根据权利要求1所述的用于压缩感知图像信号重构的卷积神经网络，其特征在于，中间重建图像因分块量化后的量化误差的平均值记为损失函数，选择MSE作为损失函数，MSE是真实值与预测值的差值的平方求和平均；给定一组高分辨率图像及其相应的低分辨率图像，则MSE的计算公式是；其中，是训练集中的图像块总数，是第个补丁，是第个补丁的网络输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910148782.6A CN109922346A (zh) | 2019-02-28 | 2019-02-28 | 一种用于压缩感知图像信号重构的卷积神经网络 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910148782.6A CN109922346A (zh) | 2019-02-28 | 2019-02-28 | 一种用于压缩感知图像信号重构的卷积神经网络 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109922346A true CN109922346A (zh) | 2019-06-21 |
Family
ID=66962647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910148782.6A Pending CN109922346A (zh) | 2019-02-28 | 2019-02-28 | 一种用于压缩感知图像信号重构的卷积神经网络 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109922346A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110866913A (zh) * | 2019-11-21 | 2020-03-06 | 桂林电子科技大学 | 一种深度递归心血管图像显示方法 |
| CN111428751A (zh) * | 2020-02-24 | 2020-07-17 | 清华大学 | 基于压缩感知和卷积网络的物体检测方法 |
| CN111476742A (zh) * | 2020-04-29 | 2020-07-31 | 深圳市安格视讯技术有限公司 | 一种泛在产品模型化算法引擎 |
| CN111611835A (zh) * | 2019-12-23 | 2020-09-01 | 珠海大横琴科技发展有限公司 | 一种船只检测方法及装置 |
| CN112218094A (zh) * | 2019-07-11 | 2021-01-12 | 四川大学 | 一种基于dct系数预测的jpeg图像去压缩效应方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107358576A (zh) * | 2017-06-24 | 2017-11-17 | 天津大学 | 基于卷积神经网络的深度图超分辨率重建方法 |
| US20180165543A1 (en) * | 2016-12-12 | 2018-06-14 | Texas Instruments Incorporated | Methods and systems for analyzing images in convolutional neural networks |
| CN108647775A (zh) * | 2018-04-25 | 2018-10-12 | 陕西师范大学 | 基于全卷积神经网络单张图像的超分辨率图像重建方法 |
-
2019
- 2019-02-28 CN CN201910148782.6A patent/CN109922346A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180165543A1 (en) * | 2016-12-12 | 2018-06-14 | Texas Instruments Incorporated | Methods and systems for analyzing images in convolutional neural networks |
| CN107358576A (zh) * | 2017-06-24 | 2017-11-17 | 天津大学 | 基于卷积神经网络的深度图超分辨率重建方法 |
| CN108647775A (zh) * | 2018-04-25 | 2018-10-12 | 陕西师范大学 | 基于全卷积神经网络单张图像的超分辨率图像重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| JIANG DU等: "Fully Convolutional Measurement Network for Compressive Sensing Image Reconstruction", 《NEUROCOMPUTING》 * |
| KULDEEP KULKARNI 等: "ReconNet: Non-Iterative Reconstruction of Images from Compressively Sensed Measurements", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112218094A (zh) * | 2019-07-11 | 2021-01-12 | 四川大学 | 一种基于dct系数预测的jpeg图像去压缩效应方法 |
| CN110866913A (zh) * | 2019-11-21 | 2020-03-06 | 桂林电子科技大学 | 一种深度递归心血管图像显示方法 |
| CN111611835A (zh) * | 2019-12-23 | 2020-09-01 | 珠海大横琴科技发展有限公司 | 一种船只检测方法及装置 |
| CN111428751A (zh) * | 2020-02-24 | 2020-07-17 | 清华大学 | 基于压缩感知和卷积网络的物体检测方法 |
| CN111428751B (zh) * | 2020-02-24 | 2022-12-23 | 清华大学 | 基于压缩感知和卷积网络的物体检测方法 |
| CN111476742A (zh) * | 2020-04-29 | 2020-07-31 | 深圳市安格视讯技术有限公司 | 一种泛在产品模型化算法引擎 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109922346A (zh) | 一种用于压缩感知图像信号重构的卷积神经网络 | |
| US10552989B2 (en) | Point cloud attribute compression method based on KD tree and optimized graph transformation | |
| CN108734659A (zh) | 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法 | |
| CN107492070A (zh) | 一种双通道卷积神经网络的单图像超分辨率计算方法 | |
| CN110197468A (zh) | 一种基于多尺度残差学习网络的单图像超分辨重建算法 | |
| CN109389556A (zh) | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 | |
| CN110111256B (zh) | 基于残差蒸馏网络的图像超分辨重建方法 | |
| CN110232661A (zh) | 基于Retinex和卷积神经网络的低光照彩色图像增强方法 | |
| WO2021022929A1 (zh) | 一种单帧图像超分辨率重建方法 | |
| CN106204482B (zh) | 基于加权稀疏的混合噪声去除方法 | |
| CN106157244A (zh) | 一种基于稀疏表示的QR Code图像超分辨重建方法 | |
| CN104021523B (zh) | 一种基于边缘分类的图像超分辨率放大的方法 | |
| CN102902961A (zh) | 基于k近邻稀疏编码均值约束的人脸超分辨率处理方法 | |
| CN109035146A (zh) | 一种基于深度学习的低质量图像超分方法 | |
| CN108765280A (zh) | 一种高光谱图像空间分辨率增强方法 | |
| CN107845065A (zh) | 超分辨率图像重建方法和装置 | |
| CN107833182A (zh) | 基于特征提取的红外图像超分辨率重建方法 | |
| CN111986108A (zh) | 一种基于生成对抗网络的复杂海空场景图像去雾方法 | |
| CN104504672B (zh) | 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法 | |
| CN110223231A (zh) | 一种含噪图像的快速超分辨重建算法 | |
| Ting et al. | Image inpainting by global structure and texture propagation | |
| CN107330854A (zh) | 一种基于新型模板的图像超分辨率增强方法 | |
| CN110533591A (zh) | 基于编解码器结构的超分辨图像重建方法 | |
| CN107545570A (zh) | 一种半参考图的重构图像质量评价方法 | |
| CN108460723A (zh) | 基于邻域相似性的双边全变分图像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190621 |
|
| RJ01 | Rejection of invention patent application after publication |