CN109102461B - 低采样分块压缩感知的图像重构方法、装置、设备及介质 - Google Patents
低采样分块压缩感知的图像重构方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN109102461B CN109102461B CN201810620780.8A CN201810620780A CN109102461B CN 109102461 B CN109102461 B CN 109102461B CN 201810620780 A CN201810620780 A CN 201810620780A CN 109102461 B CN109102461 B CN 109102461B
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- reconstructed
- reconstruction
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000005070 sampling Methods 0.000 title claims abstract description 42
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 10
- 230000008447 perception Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 9
- 230000000007 visual effect Effects 0.000 abstract description 6
- 230000000903 blocking effect Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 20
- 239000011159 matrix material Substances 0.000 description 12
- 238000001914 filtration Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000013016 learning Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000031836 visual learning Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明适用图像处理技术领域，提供了一种低采样分块压缩感知的图像重构方法、装置、设备及介质，该方法包括：将待重构图像按照预设的块尺寸划分为多个图像块，通过预先训练好的深度多层感知器模型对每个图像块进行重构，得到对应的多个重构图像块，将所有重构图像块进行图像拼接，得到重构图像块对应的初始重构图像，根据预设的稀疏迭代算法，对初始重构图像进行预设次数的稀疏迭代操作，生成对应的重构图像，从而提高了在低采样率下图像重构的效率，并降低了重构图像的块效应，进而提高重构图像的质量和视觉效果。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种低采样分块压缩感知的图像重构方法、装置、设备及介质。
背景技术
随着多媒体技术的快速发展，以海量视频和图像为主的数据在社交娱乐、教育教学以及公共安全等领域都有广泛应用，而由于带宽的限制以及实时性的要求，传输过程中需要对数据进行压缩编码，即希望所传输的数据量和解压后的数据失真都尽可能的小。但是基于传统奈奎斯特的采样方式，采样率的下限受传输带宽的限制，在高清视频等数据量较大的情况下，无法大量地减少数据量，从而给硬件系统造成压力。近年来，Donoho、Candes和Terres Tao等人提出了压缩感知(Compressed sensing，简称CS)理论，它突破了传统奈奎斯特采样方式的束缚，在稀疏度先验下，数据可以在远低于奈奎斯特采样率的情况下，以较少的失真得到恢复，为低采样率下数据的精确恢复提供了理论支持。
目前，压缩感知技术已经应用于多种类型的数据恢复当中，如无线传感器数据、磁共振成像(Magnetic Resonance Imaging，简称MRI)图像以及点云数据等。然而压缩感知技术在采样时需要瞬间完成且数据重建算法复杂，尤其是应用到二维图像处理时，存在重构过程计算复杂度过高、测量矩阵所需存储量过大等问题。因此，为了便于数据的存储和处理，往往对图像进行分块处理，再分别对每一个图像块进行采样重构，因此基于分块压缩感知重构(Block Compressed Sensing，简称BCS)技术开始受到人们的关注。BCS技术把原始图像分成若干尺寸相同的图像块，对图像块进行某种变换，用通用性强的高斯随机矩阵独立地对每个图像块进行测量和重构，重构过程所需存储量减少，同时图像块的重构更易实现，且在对整幅图像编码之前不需要传输整幅图像的所有采样数据，这对实时处理具有非常重要的意义。
为了近一步提高重构图像的质量，更多复杂的BCS模型相继被提出，例如基于二级优化(Bi-level)模型的重构方法，基于多目标优化的重构方法以及基于稀疏度增强模型。虽然对BCS模型的适当改进可以在一定程度上提高重构图像的质量，但是针对复杂的BCS模型需要设计更为复杂的求解算法，求解算法通常是各种改进的迭代算法，往往需要较多的迭代次数才能收敛到满意的解，而迭代算法的迭代效果又容易受到初始解的影响，目前的初始解都是随机解或者最小二乘解，尤其在采样率非常低的情况下，传统的迭代方法往往不能快速地收敛，从而影响重构图像的质量。除了基于迭代算法的BCS模型之外，基于深度学习网络的BCS重构方法最近取得了较好的结果。在基于深度学习网络的BCS重构方法中，深度学习方法利用大量的图像样本，最小化测量信号与重构信号之间的残差，并以该残差的最小化为目标函数，训练出相应的深度人工神经网络模型，在重构过程中，针对每一个待重构的图像块，只要输入对应的测量信号，就可以利用训练好的深度人工神经网络模型，得到重构的图像块。虽然这一类方法利用了深度学习网络强大的回归推断能力，在低采样率下取得了不错的效果，但是在重构过程中，每个图像块都是独立地被重构出来，忽略了图像块之间的结构连续性和像素的一致性，往往会导致重构图像中出现明显的块效应，从而影响图像质量和视觉效果。因此，如何克服这类方法的不足，并且在较低的采样率下取得较好的图像重构效果成为了图像重构的关键问题。
发明内容
本发明的目的在于提供一种低采样分块压缩感知的图像重构方法、装置、设备及介质，旨在解决由于现有技术无法提供一种有效的低采样分块压缩感知的图像重构方法，导致图像重构效率低、重构图像的块效应明显的问题。
一方面，本发明提供了一种低采样分块压缩感知的图像重构方法，所述方法包括下述步骤：
当接收到图像重构请求时，将用户输入的待重构图像按照预设的块尺寸进行划分，得到所述待重构图像的多个图像块；
通过预先训练好的深度多层感知器模型对所述得到的图像块进行重构，获得对应的重构图像块；
将所述重构图像块进行图像拼接，得到所述图像拼接后所述重构图像块对应的初始重构图像；
根据预设的稀疏迭代算法，对所述初始重构图像进行预设次数的稀疏迭代操作，生成对应的重构图像并输出。
另一方面，本发明提供了一种低采样分块压缩感知的图像重构装置，所述装置包括：
图像块划分单元，用于当接收到图像重构请求时，将用户输入的待重构图像按照预设的块尺寸进行划分，得到所述待重构图像的多个图像块；
图像块重构单元，用于通过预先训练好的深度多层感知器模型对所述得到的图像块进行重构，获得对应的重构图像块；
图像块拼接单元，用于将所述重构图像块进行图像拼接，得到所述图像拼接后所述重构图像块对应的初始重构图像；以及
重构图像生成单元，用于根据预设的稀疏迭代算法，对所述初始重构图像进行预设次数的稀疏迭代操作，生成对应的重构图像并输出。
另一方面，本发明还提供了一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前所述低采样分块压缩感知的图像重构方法的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如前所述低采样分块压缩感知的图像重构方法的步骤。
本发明在接收到图像重构请求时，将待重构图像按照预设的块尺寸划分为多个图像块，通过预先训练好的深度多层感知器模型对每个图像块进行重构，得到对应的重构图像块，将所有重构图像块进行图像拼接，得到重构图像块对应的初始重构图像，根据预设的稀疏迭代算法，对初始重构图像进行预设次数的稀疏迭代操作，生成对应的重构图像，从而提高了在低采样率下图像重构的效率和效果，并降低了重构图像的块效应，进而提高重构图像的质量和视觉效果。
附图说明
图1是本发明实施例一提供的低采样分块压缩感知的图像重构方法的实现流程图；
图2是本发明实施例一提供的低采样分块压缩感知的图像重构方法中具体实验采用的测试图像；
图3是本发明实施例二提供的低采样分块压缩感知的图像重构装置的结构示意图；以及
图4是本发明实施例三提供的计算设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的低采样分块压缩感知的图像重构方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，当接收图像重构请求时，将用户输入的待重构图像按照预设的块尺寸进行划分，得到待重构图像的多个图像块。
本发明实施例适用于图像处理平台、系统或设备，例如个人计算机、服务器、智能手机等，当接收到图像重构请求时，根据待重构图像的像素大小，将待重构图像按照预设的块尺寸(例如，16×16)进行划分，得到多个尺寸一致的图像块，图像块的数目由待重构图像的像素大小决定。
在步骤S102中，通过预先训练好的深度多层感知器模型对得到的图像块进行重构，获得对应的重构图像块。
在本发明实施例中，通过预先训练好的深度多层感知器模型对每个图像块进行重构，得到每个图像块分别对应的重构图像块，优选地，深度多层感知器模型中的网络层依次为输入层、感知层、第一重构层、第二重构层以及输出层，且相邻网络层之间的连接方式为全连接，从而提高了深度多层感知器模型的回归泛化能力。
进一步优选地，第一重构层和第二重构层都包含一个修正线性单元(RectifiedLinear Units，简称ReLU)激活层，激活层的激活函数表达式为ReLU(x)＝max(0,x)，该激活函数将向量x中小于0的元素都设置为0，大于等于0的元素则保持不变，从而提高了深度多层感知器模型的稀疏性，进而提高重构图像块的特征显著性。
又一优选地，将输入层和输出层的节点数设置为B2，感知层节点数设置为MB，第一重构层和第二重构层节点数设置为B2×T，从而提高通过深度多层感知器模型对图像块进行重构的重构效果，其中，B2为向量化后的图像块维数，MB＝θ×B2，θ为采样率，T为重构的冗余参数。
在通过深度多层感知器模型对图像块进行重构时，具体地，将每个图像块xi输入到输入层，通过感知矩阵ΦB(即由输入层与感知层之间的连接权值构成的权值矩阵)将xi映射为对应的观测向量yi，将观测向量yi输入感知层，通过第一重构层和第二重构层从yi中近似恢复出原始图像块xi，得到原始图像块xi对应的重构图像块
并通过输出层输出重构图像块
从而通过深度多层感知器模型提高了待重构图像中图像块的重构效果。其中，
表示第i个向量化的图像块，
表示第i个图像块的观测向量，
在通过深度多层感知器模型对图像块进行重构之前，优选地，构建深度多层感知器模型，并根据预先采集的训练样本和预设的梯度下降算法，对深度多层感知器模型进行训练，直至深度多层感知器模型输出的重构样本与对应的训练样本相拟合，从而提高后续深度多层感知器模型重构图像块的重构效果。
在构建深度多层感知器模型时，优选地，深度多层感知器模型的数学公式为f(x)＝W4×ReLU(W3×ReLU(W2(W1x+b1)+b2)+b3)+b4，其中，W1和b1分别为输入层和感知层之间的连接权值和偏置参数，W2和b2分别为感知层和第一重建层之间的连接权值和偏置参数，W3和b3分别为感知层和第二重建层的连接权值和偏置参数，W4和b4分别为第二重建层和输出层之间的连接权值和偏置参数，x为输入输入层的图像块，f(x)为输出层输出的重构图像块，从而提高后续重构图像块的重构效果。
在根据预先采集的训练样本和预设的梯度下降算法，对深度多层感知器模型进行训练时，又一优选地，梯度下降算法为AdaGrad算法，从而提高了深度多层感知器模型训练过程的稳定性。
在根据预先采集的训练样本和预设的梯度下降算法，对深度多层感知器模型进行训练之前，优选地，将深度多层感知器模型中的学习率设置为0.005，图像块的大小设置为16×16，批尺寸(batch_size)设置为16，冗余参数R设置为8，从而提高梯度下降算法的收敛速度，进而提高深度多层感知器模型的训练效率。
根据预先采集的训练样本和预设的梯度下降算法，对深度多层感知器模型进行训练之前，又一优选地，将训练样本进行灰度化处理，从而降低后续深度多层感知器模型训练过程中对训练样本的计算量，进而提高后续深度多层感知器模型的训练速度。
在步骤S103中，将重构图像块进行图像拼接，得到图像拼接后重构图像块对应的初始重构图像。
在本发明实施例中，在将重构图像块进行图像拼接之前，优选地，提取每个重构图像块对应的配准点，根据提取到的配准点，将这些重构图像块进行图像拼接，从而提高了图像块拼接的效果。
在步骤S104中，根据预设的稀疏迭代算法，对初始重构图像进行预设次数的稀疏迭代操作，生成对应的重构图像并输出。
在本发明实施例中，在对初始重构图像进行预设次数的稀疏迭代操作之前，优选地，设置稀疏迭代操作的次数为3次，从而提高了稀疏迭代算法的收敛速度。
在根据预设的稀疏迭代算法，对初始重构图像进行预设次数的稀疏迭代操作时，优选地，根据平滑投影Landweber迭代算法，对初始重构图像进行预设次数的稀疏迭代操作，从而提高了稀疏迭代算法的收敛速度和重构图像的成像质量。
优选地，根据平滑投影Landweber迭代算法，通过下述步骤实现对初始重构图像进行预设次数的稀疏迭代操作：
(1)通过维纳滤波器对初始重构图像
进行滤波操作，得到滤波后的滤波图像
(2)将滤波图像
按照步骤S101中的块尺寸进行划分，得到数量个滤波图像块
(3)通过公式
对滤波图像块进行更新，将更新后的滤波图像块拼接得到第一重构图像
(4)对第一重构图像
进行稀疏变换，得到稀疏矩阵
再通过公式
对稀疏矩阵进行阈值化处理；
(5)通过公式
根据预设的稀疏域Ψ将阈值化处理的稀疏矩阵进行反变换，得到反变换后的第二重构图像
(6)通过公式
对第二重构图像
中的图像块
进行投影，得到投影后的图像块
(7)判断当前稀疏迭代操作的次数是否达到最大迭代次数，是则，将投影后的图像块
进行聚合，得到重构图像
并输出，否则，更新稀疏迭代操作的次数，将初始重构图像替换成重构图像
跳转到步骤(1)执行通过维纳滤波器对初始重构图像进行滤波的操作。
其中，i为稀疏迭代操作的次数(即迭代次数)，j∈{1,2,...N}，N为滤波图像块的数量，yj (i)为第j个滤波图像
通过感知矩阵ΦB映射的观测向量，λ为预设的阈值，从而提高了稀疏迭代算法的收敛速度和重构图像的成像质量。
在本发明实施例中，当接收到图像重构请求时，将待重构图像按照预设的块尺寸划分为多个图像块，通过预先训练好的深度多层感知器模型对每个图像块进行重构，得到对应的多个重构图像块，将所有重构图像块进行图像拼接，得到对应的初始重构图像，根据预设的稀疏迭代算法，对初始重构图像进行预设次数的稀疏迭代操作，生成对应的重构图像并输出，从而提高了在低采样率下图像重构的效率，并降低了重构图像的块效应，进而提高重构图像的质量和视觉效果。
为了验证本发明实施例的图像重构效果，在具体实验中，设置采样率SR为0.1、0.125、0.15以及0.175，测试图像为图2示出的灰度图像，从重构图像的峰值信噪比(PeakSignal to Noise Ratio，简称PSNR)和结构相似度(Structural Similarity Index，简称SSIM)两方面，将本发明实施例与目前较为领先的分块压缩感知算法进行对比，这些领先的分块压缩感知算法包括基于迭代的算法BCS-SPL-DDWT(Block Compressed Sensing-Smoothed Projected Landweber-DistributedDiscrete Wavelet Transformation，简称BCS-SPL-DDWT)、MS-BCS-SPL(Multi-scale Block Compressed Sensing with SmoothedProjected Landweber，简称MS-BCS-SPL)、MH-MS-BCS-SPL(Multiple Hypothesis basedMS-BCS-SPL，简称MH-MS-BCS-SPL)以及基于深度学习的方法BCS-DNN(Block CompressedSensing-Deep Neural Networks，简称BCS-DNN)。表1示出了不考虑相邻图像块之间重叠情况时的实验统计结果，表2示出了相邻图像块之间的重叠区域为8个像素时的实验统计结果，表3示出了在相同的软件和硬件环境下各分块压缩感知方法的运行时间。
表1
表2
从表1和表2的实验统计结果可以看出，相比基于迭代的算法BCS-SPL-DDWT、MS-BCS-SPL和MH-MS-BCS-SPL，本发明实施例所提出的低采样分块压缩感知的图像重构方法在结果上有非常明显的优势，而和同样基于深度学习的方法BCS-DNN相比，本发明实施例所提出的低采样分块压缩感知的图像重构方法在PSNR方面表现较佳，最大提高程度达到了0.9dB，可以看出，当采样率减少时，提高效果越为明显，说明本发明实施例所提供的低采样分块压缩感知的图像重构方法相比其他分块压缩感知方法可以保留更多的图像细节，并且可以有效去除块效应保持图像结构的一致性。
表3
从表3的结果可以看出，迭代算法往往需要很多次迭代过程才会收敛到较为满意的解，但是基于深度学习的BCS-DNN重构方法只需要利用训练好的模型进行快速推断就能得到重构图像，这个过程大概需要3秒左右。本发明实施例低所提供的采样分块压缩感知的图像重构方法是迭代算法和深度学习这两类方式的结合，迭代算法的初始解是由深度多层感知器模型得到，并且初始解的质量也非常接近优化解，大大减少了后续循环迭代的次数。所以，本发明实施例的图像重构方法在运行效率上与基于深度学习的BCS-DNN重构方法相比，差别很小，但是可以得到更好的重构效果。
实施例二：
图3示出了本发明实施例二提供的低采样分块压缩感知的图像重构装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
图像块划分单元31，用于当接收图像重构请求时，将用户输入的待重构图像按照预设的块尺寸进行划分，得到待重构图像的多个图像块。
本发明实施例适用于图像处理平台、系统或设备，例如个人计算机、服务器、智能手机等，当接收到图像重构请求时，根据待重构图像的像素大小，将待重构图像按照预设的块尺寸(例如，16×16)进行划分，得到多个尺寸一致的图像块，图像块的数目由待重构图像的像素大小决定。
图像块重构单元32，用于通过预先训练好的深度多层感知器模型对得到的图像块进行重构，获得对对应的重构图像块。
在本发明实施例中，通过预先训练好的深度多层感知器模型对每个图像块进行重构，得到每个图像块分别对应的重构图像块，优选地，深度多层感知器模型中的网络层依次为输入层、感知层、第一重构层、第二重构层以及输出层，且相邻网络层之间的连接方式为全连接，从而提高了深度多层感知器模型的回归泛化能力。
进一步优选地，第一重构层和第二重构层都包含一个修正线性单元(RectifiedLinear Units，简称ReLU)激活层，激活层的激活函数表达式为ReLU(x)＝max(0,x)，该激活函数将向量x中小于0的元素都设置为0，大于等于0的元素则保持不变，从而提高了深度多层感知器模型的稀疏性，进而提高重构图像块的特征显著性。
又一优选地，将输入层和输出层的节点数设置为B2，感知层节点数设置为MB，第一重构层和第二重构层节点数设置为B2×T，从而提高通过深度多层感知器模型对图像块进行重构的重构效果，其中，B2为向量化后的图像块维数，MB＝θ×B2，θ为采样率，T为重构的冗余参数。
在通过深度多层感知器模型对图像块进行重构时，具体地，将每个图像块xi输入到输入层，通过感知矩阵ΦB(即由输入层与感知层之间的连接权值构成的权值矩阵)将xi映射为对应的观测向量yi，将观测向量yi输入感知层，通过第一重构层和第二重构层从yi中近似恢复出原始图像块xi，得到原始图像块xi对应的重构图像块
并通过输出层输出重构图像块
从而通过深度多层感知器模型提高了待重构图像中图像块的重构效果。其中，
表示第i个向量化的图像块，
表示第i个图像块的观测向量，
在通过深度多层感知器模型对图像块进行重构之前，优选地，构建深度多层感知器模型，并根据预先采集的训练样本和预设的梯度下降算法，对深度多层感知器模型进行训练，直至深度多层感知器模型输出的重构样本与对应的训练样本相拟合，从而提高后续深度多层感知器模型重构图像块的重构效果。
在构建深度多层感知器模型时，优选地，深度多层感知器模型的数学公式为f(x)＝W4×ReLU(W3×ReLU(W2(W1x+b1)+b2)+b3)+b4，其中，W1和b1分别为输入层和感知层之间的连接权值和偏置参数，W2和b2分别为感知层和第一重建层之间的连接权值和偏置参数，W3和b3分别为感知层和第二重建层的连接权值和偏置参数，W4和b4分别为第二重建层和输出层之间的连接权值和偏置参数，x为输入输入层的图像块，f(x)为输出层输出的重构图像块，从而提高后续重构图像块的重构效果。
在根据预先采集的训练样本和预设的梯度下降算法，对深度多层感知器模型进行训练时，又一优选地，梯度下降算法为AdaGrad算法，从而提高了深度多层感知器模型训练过程的稳定性。
在根据预先采集的训练样本和预设的梯度下降算法，对深度多层感知器模型进行训练之前，优选地，将深度多层感知器模型中的学习率设置为0.005，图像块的大小设置为16×16，批尺寸(batch_size)设置为16，冗余参数R设置为8，从而提高梯度下降算法的收敛速度，进而提高深度多层感知器模型的训练效率。
根据预先采集的训练样本和预设的梯度下降算法，对深度多层感知器模型进行训练之前，又一优选地，将训练样本进行灰度化处理，从而降低后续深度多层感知器模型训练过程中对训练样本的计算量，进而提高后续深度多层感知器模型的训练速度。
图像块拼接单元33，用于将重构图像块进行图像拼接，得到图像拼接后重构图像块对应的初始重构图像。
在本发明实施例中，在将重构图像块进行图像拼接之前，优选地，提取每个重构图像块对应的配准点，根据提取到的配准点，将这些重构图像块进行图像拼接，从而提高了图像块拼接的效果。
重构图像获得单元34，用于根据预设的稀疏迭代算法，对初始重构图像进行预设次数的稀疏迭代操作，生成对应的重构图像并输出。
在本发明实施例中，在对初始重构图像进行预设次数的稀疏迭代操作之前，优选地，设置稀疏迭代操作的次数为3次，从而提高了稀疏迭代算法的收敛速度。
在根据预设的稀疏迭代算法，对初始重构图像进行预设次数的稀疏迭代操作时，优选地，根据平滑投影Landweber迭代算法，对初始重构图像进行预设次数的稀疏迭代操作，从而提高了稀疏迭代算法的收敛速度和重构图像的成像质量。
优选地，根据平滑投影Landweber迭代算法，通过下述步骤实现对初始重构图像进行预设次数的稀疏迭代操作：
(1)通过维纳滤波器对初始重构图像
进行滤波操作，得到滤波后的滤波图像
(2)将滤波图像
按照步骤S101中的块尺寸进行划分，得到数量个滤波图像块
(3)通过公式
对滤波图像块进行更新，将更新后的滤波图像块拼接得到第一重构图像
(4)对第一重构图像
进行稀疏变换，得到稀疏矩阵
再通过公式
对稀疏矩阵进行阈值化处理；
(5)通过公式
根据预设的稀疏域Ψ将阈值化处理的稀疏矩阵进行反变换，得到反变换后的第二重构图像
(6)通过公式
对第二重构图像
中的图像块
进行投影，得到投影后的图像块
(7)判断当前稀疏迭代操作的次数是否达到最大迭代次数，是则，将投影后的图像块
进行聚合，得到重构图像
并输出，否则，更新稀疏迭代操作的次数，将初始重构图像替换成重构图像
跳转到步骤(1)执行通过维纳滤波器对初始重构图像进行滤波的操作。
其中，i为稀疏迭代操作的次数(即迭代次数)，j∈{1,2,...N}，N为滤波图像块的数量，yj (i)为第j个滤波图像
通过感知矩阵ΦB映射的观测向量，λ为预设的阈值，从而提高了稀疏迭代算法的收敛速度和重构图像的成像质量。
因此，优选地，本发明实施例的低采样分块压缩感知的图像重构装置还包括：
模型训练单元，用于构建深度多层感知器模型，根据预先采集的训练样本和预设的梯度下降算法，对深度多层感知器模型进行训练，直至深度多层感知器模型输出的重构样本与对应的所述训练样本相拟合。
在本发明实施例中，低采样分块压缩感知的图像重构装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。
实施例三：
图4示出了本发明实施例三提供的计算设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的计算设备4包括处理器40、存储器41以及存储在存储器41中并可在处理器40上运行的计算机程序42。该处理器40执行计算机程序42时实现上述低采样分块压缩感知的图像重构方法实施例中的步骤，例如图1所示的步骤S101至S104。或者，处理器40执行计算机程序42时实现上述各装置实施例中各单元的功能，例如图3所示单元31至34的功能。
在本发明实施例中，当接收到图像重构请求时，将待重构图像按照预设的块尺寸划分为多个图像块，通过预先训练好的深度多层感知器模型对每个图像块进行重构，得到对应的多个重构图像块，将所有重构图像块进行图像拼接，得到对应的初始重构图像，根据预设的稀疏迭代算法，对初始重构图像进行预设次数的稀疏迭代操作，生成对应的重构图像并输出，从而提高了在低采样率下图像重构的效率，并降低了重构图像的块效应，进而提高重构图像的质量和视觉效果。
本发明实施例的计算设备可以为个人计算机、服务器、智能手机。该计算设备4中处理器40执行计算机程序42时实现低采样分块压缩感知的图像重构方法时实现的步骤可参考前述方法实施例的描述，在此不再赘述。
实施例四：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述低采样分块压缩感知的图像重构方法实施例中的步骤，例如，图1所示的步骤S101至S104。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图3所示单元31至34的功能。
在本发明实施例中，当接收到图像重构请求时，将待重构图像按照预设的块尺寸划分为多个图像块，通过预先训练好的深度多层感知器模型对每个图像块进行重构，得到对应的多个重构图像块，将所有重构图像块进行图像拼接，得到对应的初始重构图像，根据预设的稀疏迭代算法，对初始重构图像进行预设次数的稀疏迭代操作，生成对应的重构图像并输出，从而提高了在低采样率下图像重构的效率，并降低了重构图像的块效应，进而提高重构图像的质量和视觉效果。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种低采样分块压缩感知的图像重构方法，其特征在于，所述方法包括下述步骤：
当接收到图像重构请求时，将用户输入的待重构图像按照预设的块尺寸进行划分，得到所述待重构图像的多个图像块；
通过预先训练好的深度多层感知器模型对所述得到的图像块进行重构，获得对应的重构图像块，所述深度多层感知器模型中的网络层依次为输入层、感知层、第一重构层、第二重构层以及输出层，且相邻所述网络层之间的连接方式为全连接，所述第一重构层和第二重构层都包含一个修正线性单元激活层，所述输入层和输出层的节点数为B2，所述感知层的节点数为MB，所述第一重构层和第二重构层的节点数为B2×T，其中，B2为向量化后的图像块维数，MB＝θ×B2，θ为采样率，T为重构的冗余参数；
将所述重构图像块进行图像拼接，得到所述图像拼接后所述重构图像块对应的初始重构图像；
根据预设的稀疏迭代算法，对所述初始重构图像进行预设次数的稀疏迭代操作，生成对应的重构图像并输出。
2.如权利要求1所述的方法，其特征在于，通过预先训练好的深度多层感知器模型对所述得到的图像块进行重构的步骤之前，所述方法还包括：
构建所述深度多层感知器模型，根据预先采集的训练样本和预设的梯度下降算法，对所述深度多层感知器模型进行训练，直至所述深度多层感知器模型输出的重构样本与对应的所述训练样本相拟合。
3.如权利要求1所述的方法，其特征在于，所述稀疏迭代算法为平滑投影Landweber迭代算法。
4.一种低采样分块压缩感知的图像重构装置，其特征在于，所述装置包括：
图像块划分单元，用于当接收到图像重构请求时，将用户输入的待重构图像按照预设的块尺寸进行划分，得到所述待重构图像的多个图像块；
图像块重构单元，用于通过预先训练好的深度多层感知器模型对所述得到的图像块进行重构，获得对应的重构图像块，所述深度多层感知器模型中的网络层依次为输入层、感知层、第一重构层、第二重构层以及输出层，且相邻所述网络层之间的连接方式为全连接，所述第一重构层和第二重构层都包含一个修正线性单元激活层，所述输入层和输出层的节点数为B2，所述感知层的节点数为MB，所述第一重构层和第二重构层的节点数为B2×T，其中，B2为向量化后的图像块维数，MB＝θ×B2，θ为采样率，T为重构的冗余参数；
图像块拼接单元，用于将所述重构图像块进行图像拼接，得到所述图像拼接后所述重构图像块对应的初始重构图像；以及
重构图像生成单元，用于根据预设的稀疏迭代算法，对所述初始重构图像进行预设次数的稀疏迭代操作，生成对应的重构图像并输出。
5.如权利要求4所述的装置，其特征在于，所述装置还包括：
模型训练单元，用于构建所述深度多层感知器模型，根据预先采集的训练样本和预设的梯度下降算法，对所述深度多层感知器模型进行训练，直至所述深度多层感知器模型输出的重构样本与对应的所述训练样本相拟合。
6.如权利要求4所述的装置，其特征在于，所述稀疏迭代算法为平滑投影Landweber迭代算法。
7.一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810620780.8A CN109102461B (zh) | 2018-06-15 | 2018-06-15 | 低采样分块压缩感知的图像重构方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810620780.8A CN109102461B (zh) | 2018-06-15 | 2018-06-15 | 低采样分块压缩感知的图像重构方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109102461A CN109102461A (zh) | 2018-12-28 |
| CN109102461B true CN109102461B (zh) | 2023-04-07 |
Family
ID=64796890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810620780.8A Active CN109102461B (zh) | 2018-06-15 | 2018-06-15 | 低采样分块压缩感知的图像重构方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109102461B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111950016B (zh) * | 2019-05-14 | 2023-11-21 | 北京腾云天下科技有限公司 | 一种数据开放输出模型的生成方法、装置和计算设备 |
| CN111524066B (zh) * | 2020-01-13 | 2022-12-23 | 北京理工大学 | 一种基于滑窗式数据处理的高速压缩成像方法 |
| CN111372240B (zh) * | 2020-03-05 | 2023-04-14 | 江苏苏宁物流有限公司 | 图片上传方法、装置、计算机设备和存储介质 |
| CN111429546A (zh) * | 2020-04-16 | 2020-07-17 | 南京大学 | 一种基于神经网络的大尺寸图像压缩感知重建方法 |
| CN111681156B (zh) * | 2020-06-16 | 2022-09-23 | 南开大学 | 一种应用于无线传感器网络的深度压缩感知图像重构方法 |
| CN114511518B (zh) * | 2022-01-20 | 2024-08-20 | 重庆大学 | 用于评估图像视觉安全的方法及装置、电子设备、存储介质 |
| CN117218031B (zh) * | 2023-09-25 | 2024-07-26 | 深圳大学 | 基于DeqNLNet算法的图像重构方法、装置及介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104112263A (zh) * | 2014-06-28 | 2014-10-22 | 南京理工大学 | 基于深度神经网络的全色图像与多光谱图像融合的方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102592269B (zh) * | 2012-01-11 | 2014-07-23 | 西安电子科技大学 | 基于压缩感知的目标重构方法 |
| CN106899810A (zh) * | 2015-12-21 | 2017-06-27 | 中国矿业大学(北京) | 一种矿井视频图像融合方法与装置 |
| CN106651974B (zh) * | 2016-11-03 | 2019-08-16 | 中南民族大学 | 利用加权结构组稀疏规则的图像压缩感知重构系统及方法 |
| CN107993204B (zh) * | 2017-11-28 | 2022-05-06 | 成都国一科技有限公司 | 一种基于图像块增强稀疏表示的mri图像重构方法 |
-
2018
- 2018-06-15 CN CN201810620780.8A patent/CN109102461B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104112263A (zh) * | 2014-06-28 | 2014-10-22 | 南京理工大学 | 基于深度神经网络的全色图像与多光谱图像融合的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109102461A (zh) | 2018-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109102461B (zh) | 低采样分块压缩感知的图像重构方法、装置、设备及介质 | |
| Shi et al. | Image compressed sensing using convolutional neural network | |
| US11272188B2 (en) | Compression for deep neural network | |
| WO2023092813A1 (zh) | 一种基于通道注意力的Swin-Transformer图像去噪方法及系统 | |
| Ren et al. | RAN4IQA: Restorative adversarial nets for no-reference image quality assessment | |
| Zheng et al. | Implicit dual-domain convolutional network for robust color image compression artifact reduction | |
| WO2018039904A1 (zh) | 一种基于块稀疏压缩感知的红外图像重构方法及其系统 | |
| Zhang et al. | One-two-one networks for compression artifacts reduction in remote sensing | |
| Sun et al. | Lightweight image super-resolution via weighted multi-scale residual network | |
| KR20190089777A (ko) | 이미지의 품질 향상을 위하여 이미지를 처리하는 방법 및 장치 | |
| Khashman et al. | Image compression using neural networks and Haar wavelet | |
| Luo et al. | Anti-forensics of JPEG compression using generative adversarial networks | |
| CN113763268B (zh) | 人脸图像盲修复方法及系统 | |
| Ma et al. | Entropy of primitive: From sparse representation to visual information evaluation | |
| Wang et al. | Semantic perceptual image compression with a Laplacian pyramid of convolutional networks | |
| Brunet | A study of the structural similarity image quality measure with applications to image processing | |
| Mirrashid et al. | Compressed remote sensing by using deep learning | |
| CN115908095A (zh) | 一种基于分层注意力特征融合的鲁棒图像水印方法及系统 | |
| Hua et al. | Dynamic scene deblurring with continuous cross-layer attention transmission | |
| CN111243047B (zh) | 基于自适应非线性网络的图像压缩感知方法及相关产品 | |
| CN113518229A (zh) | 环路滤波网络的训练方法、装置、计算机设备和存储介质 | |
| CN113542780B (zh) | 一种网络直播视频的压缩伪影去除方法及装置 | |
| Luo et al. | Deep semantic image compression via cooperative network pruning | |
| Ma et al. | Reduced-reference stereoscopic image quality assessment using gradient sparse representation and structural degradation | |
| CN114549302A (zh) | 一种图像超分辨率重建方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |