CN110288526A - 一种基于深度学习的图像重建算法提升单像素相机成像质量的优化方法 - Google Patents
一种基于深度学习的图像重建算法提升单像素相机成像质量的优化方法 Download PDFInfo
- Publication number
- CN110288526A CN110288526A CN201910512974.0A CN201910512974A CN110288526A CN 110288526 A CN110288526 A CN 110288526A CN 201910512974 A CN201910512974 A CN 201910512974A CN 110288526 A CN110288526 A CN 110288526A
- Authority
- CN
- China
- Prior art keywords
- single pixel
- image
- deep learning
- pixel camera
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 84
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 64
- 238000013135 deep learning Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000005457 optimization Methods 0.000 title claims abstract description 18
- 238000005516 engineering process Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims description 31
- 238000013528 artificial neural network Methods 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 238000005259 measurement Methods 0.000 claims description 9
- 238000011084 recovery Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000013480 data collection Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000013459 approach Methods 0.000 claims description 2
- 230000006641 stabilisation Effects 0.000 claims description 2
- 238000011105 stabilization Methods 0.000 claims description 2
- 230000000087 stabilizing effect Effects 0.000 claims description 2
- 210000004218 nerve net Anatomy 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 11
- 238000002474 experimental method Methods 0.000 abstract description 7
- 238000013527 convolutional neural network Methods 0.000 abstract description 3
- 238000013461 design Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 244000131099 Macrotyloma uniflorum Species 0.000 description 1
- 235000012549 Macrotyloma uniflorum Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007152 ring opening metathesis polymerisation reaction Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的图像重建算法提升单像素相机成像质量的优化方法。随着深度卷积神经网络(DCNN)的发展，其在超分辨率成像领域的应用也取得了进展。本发明基于压缩感知和单像素相机成像基本原理，设计了一种针对图像超分辨率重建的深度学习网络结构模型，并把这种新型的深度学习图像重建算法嵌入到单像素成像系统中，将深度学习技术和单像素相机超分辨率成像技术相结合。与传统的压缩感知图像重建的匹配追踪类算法、最小L1范数算法以及迭代阈值算法相对比，新型深度学习算法有效地提高了图像重建的精度和单像素相机的成像质量和成像效果。这种通过深度学习的方式对单像素相机成像优化的有效性通过仿真和实际成像实验得到了验证。
Description
技术领域
本发明属于信号与信息处理中的信号恢复重建与智能计算领域，具体涉及一种基于深度学习的图像重建算法提升单像素相机成像质量的优化方法。
背景技术
Donoho、Candès等人在2006年提出了压缩感知理论，压缩感知理论的核心思想是将信号采样和压缩理论中的采样和压缩合并进行。压缩感知主要内容是基于原始信号是稀疏的或者能够进行稀疏表示的前提，通过测量矩阵用低于Nyquist采样定理的采样频率获取原始信号的线性投影值，直接得到信号的压缩表示，再由相应的重构算法恢复重构出原始信号。其采样和压缩过程并不经过Nyquist采样的中间阶段就能实现了信号的降维压缩，这样很大程度上节约了传输和储存成本，降低了计算复杂度。压缩感知理论分为信号的稀疏表示、测量矩阵的设计和信号的重构算法三个部分。压缩感知理论在医学成像、红外成像、智能监控以及目标识别等众多领域都拥有广泛的应用。压缩感知理论这种信号的低采样率与高压缩比的性质正是它在信号处理领域具有广泛应用的基础，也为信号探测与成像领域的图像超分辨率重建提供了理论支撑。正是基于压缩感知的基本理论，Rice大学在2008年研制出了世界第一台单像素相机，为单像素超分辨率成像做出了开创性的工作。后面众多科研机构和高校以此为蓝图，提出了众多单像素成像系统的改进版本。本发明就是基于压缩感知基本原理和单像素相机的成像原理，通过深度学习的方式对单像素成像系统中的图像重建算法做出的改进优化。目前在压缩感知信号重建领域常用的传统算法有迭代硬阈值算法(Iterative Hard Thresholding，IHT)，迭代软阈值算法(Iterative SoftThresholding，IST)，正交匹配追踪算法(Orthogonal Matching Pursuit，OMP)，正则化正交匹配追踪算法(Regularized Orthogonal Matching Pursuit，ROMP)，L1范数最小均方误差算法(L1-Regularized Least Squares,L1_LS)。
图像超分辨率(super resolution，SR)问题，特别是单图像超分辨率(singleimage super-resolution，SISR)问题，最近十年来受到越来越多的研究关注。最近，深度神经网络为图像超分辨率重建提供了显著的性能改进，但是，这样的网络在架构最优性方面有所限制。首先，神经网络模型的重建性能对架构的微小变化很敏感，同样的模型在不同的初始化和训练技术之下实现的性能水平不同。因此，精心设计的网络模型架构和复杂的优化方法对于训练神经网络至关重要。本发明就是通过设计特定的神经网络架构将深度学习应用到我们的单像素成像系统中，与压缩感知单像素相机常用的传统图像重建算法相比，提高了单像素相机的成像分辨率和成像质量。
发明内容
本发明要解决技术问题为：在传统的压缩感知的信号恢复和单像素相机成像中，图像重建和成像往往需要一种高效的信号恢复算法对图像进行重建，但传统的图像重建算法往往存在重建时间较长，效率较低，很难找到全局最优解，恢复重建出的图像质量和精度不能满足要求的问题。我们提出的通过深度学习方式对图像进行超分辨率重建的技术，在前期通过使用大量数据集对网络进行训练学习，让我们所设计的网络具备超分辨重建图像的能力，进而把这种新型的深度学习技术应用到单像素相机中，和传统的图像重建算法相比，有效地提高了单像素相机的成像精度和成像质量。
本发明解决上述技术问题采用的技术方案为：一种基于深度学习的图像重建算法提升单像素相机成像质量的优化方法，通过设计一种深度神经网络结构来模拟单像素相机的信号测量和采集过程，并通过大量数据集训练优化此网络使该网络具备超分辨率恢复原始图像的能力，从而在单像素相机中使用这种深度学习算法进行超分辨率成像。该方法包括如下步骤：
步骤1、基于压缩感知基本原理和单像素相机的成像原理，选定一种便于硬件实现的二值确定性测量矩阵对原始信号进行采样和测量，并用这个固定的测量矩阵编列成单像素相机中特定的DMD翻转序列对成像场景进行信号采集；
步骤2、利用新的深度神经网络架构来模拟测量矩阵测量信号的方式以及测量信号和原始信号对应关系，这种深度神经网络针对图像超分辨率重建和单像素相机超分辨率成像的特点进行了相应的改进优化，新的深度神经网络使用了改进的残差网络模块作为神经网络的基本结构，尽可能消除网络的冗余性，同时在最后一个卷积层后面加入一个尺度因子来稳定网络训练过程，使得这种新型深度神经网络架构具有更加高效的结构和更加优异的性能；
步骤3、通过大量数据集对上述的深度神经网络进行训练学习，通过对网络的训练和学习最大可能地去还原和逼近测量矩阵的采样过程和单像素相机DMD的信号采集过程，从而更好地恢复重建出原始信号和成像场景。
步骤4、通过训练学习后的网络根据图像的测量值对图像进行仿真重建，以及根据单像素相机的采集得到的信号对原始场景进行恢复成像，并与传统的图像重建算法进行对比，验证新型深度学习算法提高图像重建质量以及单像素相机成像质量的有效性。
其中，基于压缩感知信号测量和单像素相机成像的基本原理，将神经网络深度学习算法和压缩感知单像素超分辨率成像技术相结合，是深度学习技术在单像素相机超分辨率成像应用中的初步尝试。
其中，在深度神经网络架构中，针对超分辨率成像特点，去除了网络结构中不必要的冗余模块，提高了网络的灵活性和性能，节约了计算和储存成本，为更大更复杂网络的构建提供了可能。
其中，在卷积层后面加入一个衰减的尺度因子用来增加神经网络的稳定性，并且这个尺度因子也作为训练学习的参数之一，在神经网络的学习训练过程中自适应地去调整这个尺度因子的大小。
其中，将深度学习技术成功运用到单像素相机的超分辨率成像中，并和传统常用的单像素相机成像算法进行对比，使用新型的深度学习算法有效地提高了图像超分辨率重建的精度和单像素相机超分辨率成像的质量。
本发明与现有技术相比的优点在于：
(1)本发明利用了人工智能深度学习技术在图像处理方面的智能恢复与重建原始信号的优势，充分结合压缩感知信号重建和单像素相机成像的技术特点，与传统的单像素相机成像算法相比，有效地提高了成像效率和成像质量。
(2)本发明是基于压缩感知基本原理，由于压缩感知测量矩阵往往是随机生成，很难硬件实现，为了使测量矩阵和我们单像素相机中DMD微镜序列相对应，我们使用固定的0-1二值对角测量矩阵，这样不仅易于硬件实现，还大大简化了信号测量和恢复过程，以及神经网络的训练学习过程。
(3)本发明是深度学习技术在单像素相机成像领域的一个全新应用，通过固定单像素相机中DMD微镜的扫描模式对单像素相机所采集到的信号进行智能化处理，对原始信号进行恢复重建，从而实现对成像场景的超分辨率成像，优化了成像方式，提高了成像的稳定性。
(4)在传统常用的算法中，通常需要经过不断地迭代来进行求解，因此需要耗费一定的时间成本。而在我们的深度学习算法中，除了前期训练网络需要耗费大量的时间之外，在在训练好网络参数之后，通过神经网络重建图像具有更高的效率。
附图说明
图1为本发明一种基于深度学习的图像重建算法提升单像素相机成像质量的优化方法的流程图；
图2为本发明中单像素相机实验系统成像的原理结构图；
图3为本发明中单像素成像系统实验装置实物图；
图4为本发明中提出的深度学习卷积神经网络架构；
图5为本发明中改进的ResNet网络结构；
图6为传统算法和深度学习算法超分辨重建House图像结果；
图7为单像素成像系统中传统算法和深度学习算法的成像场景1；
图8为单像素成像系统中传统算法和深度学习算法的成像场景2；
图9为对成像场景1和成像场景2的灰度显示区域的标记；
图10为成像场景1和成像场景2标记部分的灰度变化；
具体实施方式
下面结合附图意见具体实施方式进一步说明本发明。
本发明的原理和创新性在于：一种基于深度学习的图像重建算法提升单像素相机成像质量的优化方法。本发明利用了人工智能深度学习技术在图像处理方面的智能恢复与重建原始信号的优势，充分结合压缩感知信号重建和单像素相机成像的技术特点，与传统的单像素相机成像算法相比，有效地提高了成像效率和成像质量。根据压缩感知信号重构基本原理，由于压缩感知测量矩阵往往是随机生成，很难硬件实现，为了使测量矩阵和我们单像素相机中DMD微镜序列相对应，我们使用固定的0-1二值对角测量矩阵，这样不仅易于硬件实现，还大大简化了信号测量和恢复过程，以及神经网络的训练学习过程。本发明是深度学习技术在单像素相机成像领域的一个全新应用，将人工智能中的深度学习技术成功运用到单像素成像中，并取得了较好的实验效果。通过固定单像素相机中DMD微镜的扫描模式对单像素相机所采集到的信号进行智能化处理，对原始信号进行恢复重建，从而实现对成像场景的超分辨率成像，优化了成像方式，提高了成像的稳定性。
本发明的一种基于深度学习的图像重建算法提升单像素相机成像质量的优化方法。首先，基于压缩感知信号测量和信号重建的基本原理，我们搭建起了单像素成像的实验系统，如图2和图3所示。图2为我们的单像素相机实验系统成像的原理结构图，图3为单像素成像系统实验装置实物图。在本发明中，我们根据单像素成像系统中DMD微镜的扫描投影方式以及深度学习图像超分辨率重建技术设计了一种新型的神经网络结构，把这种网络结构用于我们的单像素超分辨率成像算法中。具体的实现方式如下：
在深度学习技术应用在图像超分辨重构之后，残差网络(Residual Network)被引入到深度学习中，残差网络的引入使我们能够训练处更加复杂更加深层次的网络结构，也可以有效地提高网络性能。针对我们的单像素相机重构出超分辨率的图像，我们根据改进后的残差网络设计了一种全新的神经网络模型。在我们的网络架构中，我们以残差网络为主轴来提取测量信号的特征，然后使用Pixel Shuffle对这些特征进行上采样，如图4所示。
图5使我们使用的残差网的具体结构，它由三个不同的卷积层构成，α是一个可学习的尺度参数。正如图5所示，和传统的残差网络相比，在我们的残差网络中，批归一化(Batch Normalization,BN)层被去除。由于Batch Normalization层的主要作用是对图像特征之间的相关性进行正则化，但这会使网络丧失一定的灵活性。而我们的深度学习网络主要用于图像的超分辨率重建，重建图像的纹理和细节，对训练学习的图像之间的相关性并没有要求。而且Batch Normalization层会占用GPU大量的计算资源。去掉BatchNormalization层不仅可以节约大量的计算资源，还可以提高图像细节的重建能力，这将在我们的实验部分得以验证。和传统的残差网络相比，在有限计算资源的情况下，对于图像的超分辨率重构，我们能够建立更加大型、更加复杂、拥有更好性能的网络结构。
众所周知，增加网络中的参数数量能够更好地提高深度学习神经网络的性能。在深度卷积神经网络中，我们通常通过累计更多的网络层数和增加滤波器数量来增加网络的参数数量。一般来说，网络的深度为B，代表网络的层数，以及宽度为F，代表特征的个数。这样的网络具有O(BF2)数量的网络参数，将占用O(BF)的计算内存。因此，在有限的计算资源的情况下，增加F而不是增加B将更加有效地提高网络的性能。但是，当网络的特征参数增加超过一定限度后，这将让网络的训练过程变得更加不稳定。因为在我们设计的网络中，我们使用了大量的滤波器和大量的特征，因此我们选择在最后一个卷积层后面加一个尺度因子α，尺度因子α的作用是用来稳定我们网络的的训练过程，如图5所示。尺度因子α我们初始化的值为0.1，并且α作为我们网络训练学习过程中众多需要学习训练的参数之一，参数值将在网络学习过程中进行自适应的调整。根据上述分析，我们设计的深度神经网络结构具有更高的计算效率并且消耗更少的计算内存，在参数的训练过程中以更高的概率和更大效率去逼近参数学习的全局最优解。
我们的单像素相机的成像图像大小为256×256，相机的采样率为1/16。所以一幅图像的采样次数为4096(64×64)，为了便于DMD硬件序列的实现，我们使用0-1二值稀疏的对角测量矩阵，并将这种测量矩阵固定，从而转换成特定的DMD扫描序列。我们将通过这种形式这种新型的深度学习技术应用到我们的单像素相机中，从而对单像素超分辨率成像进行优化。为了让我们的网络具有更优秀的性能，在本发明中，我们训练网络的细节如下：
我们的网络训练在4块GTX 1080Ti GPU上进行，并且使用PyTorch的框架构建和训练我们的网络。我们使用的数据集为DIV2K，这个数据集包括了900多张高分辨率图像，非常适合我们单像素相机超分辨率成像的前期训练。我们对DIV2K数据集进行了720次的迭代训练，我们使用的数据增广方式有随机剪裁，随机镜像和随机翻转。剪裁大小为256x256，所以我们网络的标记图像尺寸为256×256，相应输入图像的尺寸为64×64(4096)，对应我们的单像素相机的采样率为1/16。通过理论和实验证明，在网络的训练过程中，如果我们以峰值信噪比(PSNR)和结构相似度(SSIM)来评估图像重建的质量和精度，相对于L2范数的损失函数来说，L1范数的损失函数拥有更好的性能表现。因此，在网络的训练过程中，我们使用L1范数作为我们的损失函数，并且使用随机梯度下降的方式来更新我们的网络参数，其中动量和权重参数分别为0.9和1e-4。初始化的学习率为1e-4，并且学习率在每120次迭代后减半。在通过上述方式训练好我们的网络后，我们将通过实验来验证我们网络训练的有效性。
为了验证通过深度学习方式对超分辨率图像重建效果的改善，在将深度学习算法应用到单像素相机之前，我们首先图像重建进行了仿真实验。选取了Peppers、Lena、Bridge、Goldhill、Manrill、House六幅具有代表性的图像，这六幅图像代表人物、自然、动物、细节纹理、建筑等类型的图像。它们在采样率为1/16的情况下通过传统算法和深度学习方式进行超分辨率重建后的峰值信噪比和结构相似度的数据统计如表1所示。
表1采样率1/16不同类型图像超分辨率重建后的峰值信噪比和结构相似度
由表1的统计数据可知，新提出的深度学习方式图像超分辨率重建精度和质量都有了显著的提升。由于我们的单像素相机是针对于室外远景楼宇进行成像，为了更好地模拟单像素成像的场景，我们将表1中的House图像进行展示并把窗户进行局部放大，如图6所示。
由图6和表1中的数据可知，对于House图像的重建来说，相较于传统的五种算法，新型深度学习算法重建图像的PSNR提高了0.8到1.5dB，SSIM提高了0.02到0.06。图6(a)的轮廓有明显的失真，图像四周也有明显的条纹。图6(b)和图6(d)图像不平滑具有更加严重的噪声，图6(c)的窗户上有一些污点和瑕疵，并且更加模糊。图6(e)在白色的屋檐部分有明显的马赛克效应。而我们深度学习算法重建的图6(f)纹理和轮廓更加清晰，没有明显的马赛克效应，局部放大后的细节也更加丰富，图像没有明显的失真，噪声更低，整体图像视觉效果最好。
在进行图像重建的仿真对比实验后，我们将单像素相机采集到的两处室外场景数据进行超分辨率重建成像。由于成像场景没有原始图像进行对比，不方便进行定量的分析，为了进行直观对比，我们将两处成像场景中的窗户进行放大，对不同算法的成像细节进行对比，如图7和图8所示。另外，我们将成像场景图像进行标记，如图9中的品红实线所示，标记区域为具有一定频率灰度变化的区域和无明显灰度变化的平滑区域。我们将不同算法单像素成像后的图像品红实线处的灰度分布曲线进行对比，来衡量成像质量的好坏，如图10所示。
从图7和图8的单像素相机的实际成像效果来看，新提出的深度学习算法成像视觉效果更好，轮廓更加清晰明锐，图像失真变形小，噪声也更低，没有明显的马赛克效应，更加接近真实的成像场景。另外观察标定部分的灰度分布，深度学习算法没有明显的波动噪点和失真，灰度频率更加均衡，灰度分布也更加光滑稳定，灰度曲线分布在其他五种传统算法灰度分布的中间位置，不偏不倚，更好地抑制了噪声和接近真实场景。
综上所述，本发明通过训练学习深度神经网络的形式对单像素相机成像算法进行优化，成功地将深度学习技术和压缩感知单像素超分辨率成像技术结合起来。经过我们的仿真实验和实际的成像实验可知，与传统的图像超分辨重建和成像技术相比，新型的深度学习算法有效地提高了单像素相机超分辨率成像的质量和精度，重建的图像具有更低的噪声和更好的视觉效果。深度学习技术在单像素成像系统中进一步的拓展应用和优化改进将是未来工作努力的方向。
本发明未详细阐述部分属于本领域技术人员的公知技术。
本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例变化、变型都将落在本发明权利要求书的范围内。
Claims (5)
1.一种基于深度学习的图像重建算法提升单像素相机成像质量的优化方法，其特征是：该方法包括如下步骤：
步骤1、基于压缩感知基本原理和单像素相机的成像原理，选定一种便于硬件实现的二值确定性测量矩阵对原始信号进行采样和测量，并用这个固定的测量矩阵编列成单像素相机中特定的数字微镜(Digital Mirror Device，DMD)翻转序列对成像场景进行信号采集；
步骤2、利用新的深度神经网络架构来模拟测量矩阵测量信号的方式以及测量信号和原始信号对应关系，这种深度神经网络针对图像超分辨率重建和单像素相机超分辨率成像的特点进行了相应的改进优化，新的深度神经网络使用了改进的残差网络模块作为神经网络的基本结构，尽可能消除网络的冗余性，同时在最后一个卷积层后面加入一个尺度因子来稳定网络训练过程，使得这种新型深度神经网络架构具有更加高效的结构和更加优异的性能；
步骤3、通过大量数据集对上述的深度神经网络进行训练学习，通过对网络的训练和学习最大可能地去还原和逼近测量矩阵的采样过程和单像素相机DMD的信号采集过程，从而更好地恢复重建出原始信号和成像场景；
步骤4、通过训练学习后的网络根据图像的测量值对图像进行仿真重建，以及根据单像素相机的采集得到的信号对原始场景进行恢复成像，并与传统的图像重建算法进行对比，验证新型深度学习算法提高图像重建质量以及单像素相机成像质量的有效性。
2.根据权利要求1所述的一种基于深度学习的图像重建算法提升单像素相机成像质量的优化方法，其特征是：基于压缩感知信号测量和单像素相机成像的基本原理，将神经网络深度学习算法和压缩感知单像素超分辨率成像技术相结合，是深度学习技术在单像素相机超分辨率成像应用中的初步尝试。
3.根据权利要求1所述的一种基于深度学习的图像重建算法提升单像素相机成像质量的优化方法，其特征是：在深度神经网络架构中，针对超分辨率成像特点，去除了网络结构中不必要的冗余模块，提高了网络的灵活性和性能，节约了计算和储存成本，为更大更复杂网络的构建提供了可能。
4.根据权利要求1所述的一种基于深度学习的图像重建算法提升单像素相机成像质量的优化方法，其特征是：在卷积层后面加入一个衰减的尺度因子用来增加神经网络的稳定性，并且这个尺度因子也作为训练学习的参数之一，在神经网络的学习训练过程中自适应地去调整这个尺度因子的大小。
5.根据权利要求2或3或4所述的一种基于深度学习的图像重建算法提升单像素相机成像质量的优化方法，其特征是：将深度学习技术成功运用到单像素相机的超分辨率成像中，并和传统常用的单像素相机成像算法进行对比，使用新型的深度学习算法有效地提高了图像超分辨率重建的精度和单像素相机超分辨率成像的质量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910512974.0A CN110288526B (zh) | 2019-06-14 | 2019-06-14 | 一种基于深度学习的图像重建算法提升单像素相机成像质量的优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910512974.0A CN110288526B (zh) | 2019-06-14 | 2019-06-14 | 一种基于深度学习的图像重建算法提升单像素相机成像质量的优化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110288526A true CN110288526A (zh) | 2019-09-27 |
| CN110288526B CN110288526B (zh) | 2023-06-13 |
Family
ID=68004620
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910512974.0A Active CN110288526B (zh) | 2019-06-14 | 2019-06-14 | 一种基于深度学习的图像重建算法提升单像素相机成像质量的优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110288526B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110688763A (zh) * | 2019-10-08 | 2020-01-14 | 北京工业大学 | 一种基于脉冲型ToF相机深度和光强图像的多径效应补偿方法 |
| CN110751700A (zh) * | 2019-10-17 | 2020-02-04 | 南昌大学 | 用于单像素成像的采样和重建集成深度学习网络及其训练方法 |
| CN111028302A (zh) * | 2019-11-27 | 2020-04-17 | 华南师范大学 | 一种基于深度学习的压缩对象成像方法及系统 |
| CN111669514A (zh) * | 2020-06-08 | 2020-09-15 | 北京大学 | 高动态范围成像方法和装置 |
| CN112839143A (zh) * | 2020-12-30 | 2021-05-25 | 南京工程学院 | 一种单像素成像过程中采集信号的校验方法和装置 |
| CN117314763A (zh) * | 2023-08-17 | 2023-12-29 | 贵州医科大学附属口腔医院 | 一种基于机器学习的口腔卫生管理方法及系统 |
| WO2024109836A1 (zh) * | 2022-11-25 | 2024-05-30 | 中国科学院深圳先进技术研究院 | 基于深度学习网络的水下单像素成像方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103983981A (zh) * | 2013-10-11 | 2014-08-13 | 北京理工大学 | 基于相位测距原理的三维压缩成像方法及装置 |
| CN109741256A (zh) * | 2018-12-13 | 2019-05-10 | 西安电子科技大学 | 基于稀疏表示和深度学习的图像超分辨率重建方法 |
-
2019
- 2019-06-14 CN CN201910512974.0A patent/CN110288526B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103983981A (zh) * | 2013-10-11 | 2014-08-13 | 北京理工大学 | 基于相位测距原理的三维压缩成像方法及装置 |
| CN109741256A (zh) * | 2018-12-13 | 2019-05-10 | 西安电子科技大学 | 基于稀疏表示和深度学习的图像超分辨率重建方法 |
Non-Patent Citations (4)
| Title |
|---|
| BEE LIM等: "Enhanced Deep Residual Networks for Single Image Super-Resolution", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)》 * |
| CATHERINE F. HIGHAM等: "Deep learning for real-time single-pixel video", 《SCIENTIFIC REPORTS》 * |
| 魏子然: "基于压缩感知的图像高分辨率重建技术的研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
| 魏子然等: "基于深度学习的单像素相机超分辨率成像优化", 《半导体光电》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110688763A (zh) * | 2019-10-08 | 2020-01-14 | 北京工业大学 | 一种基于脉冲型ToF相机深度和光强图像的多径效应补偿方法 |
| CN110688763B (zh) * | 2019-10-08 | 2023-10-17 | 北京工业大学 | 一种基于脉冲型ToF相机深度和光强图像的多径效应补偿方法 |
| CN110751700A (zh) * | 2019-10-17 | 2020-02-04 | 南昌大学 | 用于单像素成像的采样和重建集成深度学习网络及其训练方法 |
| CN110751700B (zh) * | 2019-10-17 | 2022-09-06 | 南昌大学 | 用于单像素成像的采样和重建集成深度学习网络的训练方法 |
| CN111028302A (zh) * | 2019-11-27 | 2020-04-17 | 华南师范大学 | 一种基于深度学习的压缩对象成像方法及系统 |
| CN111028302B (zh) * | 2019-11-27 | 2023-07-25 | 华南师范大学 | 一种基于深度学习的压缩对象成像方法及系统 |
| CN111669514A (zh) * | 2020-06-08 | 2020-09-15 | 北京大学 | 高动态范围成像方法和装置 |
| CN111669514B (zh) * | 2020-06-08 | 2021-02-26 | 北京大学 | 高动态范围成像方法和装置 |
| CN112839143A (zh) * | 2020-12-30 | 2021-05-25 | 南京工程学院 | 一种单像素成像过程中采集信号的校验方法和装置 |
| CN112839143B (zh) * | 2020-12-30 | 2023-02-03 | 南京工程学院 | 一种单像素成像过程中采集信号的校验方法和装置 |
| WO2024109836A1 (zh) * | 2022-11-25 | 2024-05-30 | 中国科学院深圳先进技术研究院 | 基于深度学习网络的水下单像素成像方法及系统 |
| CN117314763A (zh) * | 2023-08-17 | 2023-12-29 | 贵州医科大学附属口腔医院 | 一种基于机器学习的口腔卫生管理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110288526B (zh) | 2023-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110288526A (zh) | 一种基于深度学习的图像重建算法提升单像素相机成像质量的优化方法 | |
| McCann et al. | Convolutional neural networks for inverse problems in imaging: A review | |
| CN108876735B (zh) | 一种基于深度残差网络的真实图像盲去噪方法 | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| CN111080567B (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| CN112116601B (zh) | 基于生成对抗残差网络的压缩感知采样重建方法及系统 | |
| CN108022213A (zh) | 基于生成对抗网络的视频超分辨率重建算法 | |
| CN109300090A (zh) | 一种基于亚像素和条件对抗生成网络的单幅图像去雾方法 | |
| CN110458765A (zh) | 基于感知保持卷积网络的图像质量增强方法 | |
| CN108921783A (zh) | 一种基于混合损失函数约束的卫星影像超分辨率重建方法 | |
| CN110717868A (zh) | 视频高动态范围反色调映射模型构建、映射方法及装置 | |
| Guan et al. | Srdgan: learning the noise prior for super resolution with dual generative adversarial networks | |
| CN116152591B (zh) | 模型训练方法、红外小目标检测方法、装置及电子设备 | |
| CN112163998A (zh) | 一种匹配自然降质条件的单图像超分辨率分析方法 | |
| CN112288630A (zh) | 一种基于改进的广泛深度神经网络的超分辨率图像重建方法及系统 | |
| CN112508812A (zh) | 图像色偏校正方法、模型训练方法、装置及设备 | |
| CN110349085A (zh) | 一种基于生成对抗网络的单幅图像超分辨特征增强方法 | |
| CN111932452B (zh) | 基于可见光图像增强的红外图像卷积神经网络超分辨方法 | |
| Shen et al. | Deeper super-resolution generative adversarial network with gradient penalty for sonar image enhancement | |
| CN112686804B (zh) | 面向矿井低光照环境的图像超分辨率重建方法及装置 | |
| CN111696167A (zh) | 自范例学习引导的单张影像超分辨率重构方法 | |
| CN116188259B (zh) | 一种基于压缩感知和生成对抗的鱼类图像生成方法 | |
| CN116703750A (zh) | 基于边缘注意力和多阶微分损失的图像去雾方法及系统 | |
| CN116563157A (zh) | 一种基于深度学习的面向空间卫星低照度图像增强方法 | |
| CN116433516A (zh) | 一种基于注意力机制的低照度图像去噪增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |