CN112330550A - 一种基于图像盲解卷积技术的图像复原方法及系统 - Google Patents
一种基于图像盲解卷积技术的图像复原方法及系统 Download PDFInfo
- Publication number
- CN112330550A CN112330550A CN202011107113.3A CN202011107113A CN112330550A CN 112330550 A CN112330550 A CN 112330550A CN 202011107113 A CN202011107113 A CN 202011107113A CN 112330550 A CN112330550 A CN 112330550A
- Authority
- CN
- China
- Prior art keywords
- network
- image
- blind deconvolution
- initial
- blind
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000005516 engineering process Methods 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 49
- 230000003287 optical effect Effects 0.000 claims abstract description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 210000004205 output neuron Anatomy 0.000 claims description 2
- 230000003213 activating effect Effects 0.000 claims 2
- 238000012360 testing method Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 9
- 238000010200 validation analysis Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- XEAQIWGXBXCYFX-GUOLPTJISA-N Kawain Chemical compound C1C(OC)=CC(=O)O[C@H]1\C=C\C1=CC=CC=C1 XEAQIWGXBXCYFX-GUOLPTJISA-N 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004134 energy conservation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000002023 wood Substances 0.000 description 2
- 235000005749 Anthriscus sylvestris Nutrition 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 235000016787 Piper methysticum Nutrition 0.000 description 1
- 240000005546 Piper methysticum Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- XEAQIWGXBXCYFX-UHFFFAOYSA-N dl-kavain Natural products C1C(OC)=CC(=O)OC1C=CC1=CC=CC=C1 XEAQIWGXBXCYFX-UHFFFAOYSA-N 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种基于图像盲解卷积技术的图像复原方法和系统，所述方法包括：获取自适应光学系统中采集的单个扩展物体的原始空间图像，建立原始空间图像数据集；将原始空间图像数据集和训练后的PSF估计网络输入初始非盲解卷积网络进行训练；基于所述初始非盲解卷积网络的结构构建初始盲解卷积网络，加载已训练后的PSF估计网络和非盲解卷积网络的权重文件，对初始盲解卷积网络进行训练，得到原始空间图像盲复原模型。利用上述图像复原方法，无需任何先验信息和PSF约束条件，即可实现“端到端”的图像盲复原，提高了空间目标图像复原性能，对空间目标探索和识别具有重要意义。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种针对自适应光学系统获得的原始空间图像，通过盲解卷积技术实现图像盲复原的技术。
背景技术
为了获得更清晰的图像，大多数现代大型望远镜在进行空间观测时，都采用自适应光学(Adaptive Optics，AO)系统。利用波前校正技术，AO系统所获得的图像质量已经有较大的提升。但是，波前校正本身可能会引入一些像差，而且AO系统的数量和速度有时不能完全满足大气动态干扰所必需的校准要求。在这种情况下，AO系统采集的图像或多或少会带有模糊。图1(a)-(c)展示了不同望远镜系统收集的木卫一图像。其中，(a)是美国夏威夷岛上的Keck II望远镜系统收集的木卫一图像，目标的轮廓和结构信息已基本丢失或严重退化；(b)是由Keck望远镜AO系统校正的木卫一图像，通过使用AO系统，目标的图像质量已得到了大幅度提高；(c)是来自伽利略轨道航天器所拍摄的木卫一图像。通过比较(b)和(c)可以发现，尽管使用AO系统可以大幅提升图像质量，但图像仍然较为模糊。因此，在对空间目标进行观测时，对AO系统所获得的图像进行后处理是获取目标清晰图像的必要步骤。
图像的盲解卷积复原技术是一种十分有效的图像后处理方法，它要求根据模糊的、含有噪声的观测图像，复原出“精确的”原始图像。由于大气湍流的随机特点，空间目标图像成像光学系统的点扩散函数(point spread function，PSF)一般是未知的，图像和PSF都需要进行复原，这就是图像盲复原技术。图像盲复原技术可以大大提高图像的清晰度和恢复图像的细节，甚至达到超分辨率的效果，从而提高对空间目标的辨识能力，这在实际中具有重要意义。
在图像处理领域，通常用卷积运算来描述降质的成像过程。如等式1所示
y＝k*x (1)
其中*代表卷积运算，y代表降质图像结果，x代表理想的清晰图像，k代表光学系统的点扩散函数(PSF)。图像盲解卷积技术就是依据等式(1)的降质图像来恢复清晰图像以及模糊该图像的PSF的过程。传统的盲解卷积算法存在一定程度上的不稳定、过迭代等问题，这在某种程度上是由于解卷积本身的病态性所致。为了解决这一问题，常常需要对模型额外施加非负性、带宽约束、能量守恒等条件，以保证解的收敛性、稳定性和准确性，然而，额外施加带宽约束、能量守恒等条件，不仅增加了图像还原方法的复杂性，还降低了图像还原的精度和性能。
发明内容
为解决现有技术中的上述缺陷，本发明提出了一种基于图像盲解卷积技术的图像还原方法，无需任何先验信息和PSF约束条件，即可实现“端到端”的图像盲复原，提高了空间目标图像复原性能，对空间目标探索和识别具有重要意义。
本发明提出了一种基于图像盲解卷积技术的图像还原方法，其特征在于，所述方法包括：
步骤101：获取自适应光学系统中采集的单个扩展物体的原始空间图像，建立原始空间图像数据集；
步骤102：改进ResNet34卷积神经网络，获得初始PSF估计网络；将原始空间图像数据集输入初始PSF估计网络，对所述初始PSF估计网络进行训练，得到训练后的PSF估计网络；
步骤103：在所述改进的ResNet34卷积神经网络的基础上，将全连接网络和上采样网络相结合，生成初始非盲解卷积网络，再将原始空间图像数据集和训练后的PSF估计网络输入所述初始非盲解卷积网络，对所述非盲解卷积网络进行神经网络训练，得到训练后的非盲解卷积网络；
步骤104：基于所述非盲解卷积网络的结构构建初始盲解卷积网络，加载已训练后的PSF估计网络和非盲解卷积网络的权重文件，对所述初始盲解卷积网络进行训练，得到原始空间图像盲复原模型；利用所述原始空间图像盲复原模型对原始空间图像进行复原，得到对应的复原图像。
本发明还提出了一种基于图像盲解卷积技术的图像还原方法进行图像还
原的系统，其特征在于，所述系统包括：
图像获取单元：获取自适应光学系统中采集的单个扩展物体的原始空间图像，建立原始空间图像数据集；
PSF估计网络训练单元：改进ResNet34卷积神经网络，获得初始PSF估计网络；将原始空间图像数据集输入初始PSF估计网络，对所述初始PSF估计网络进行训练，得到训练后的PSF估计网络；
非盲解卷积网络训练单元：在改进的ResNet34卷积神经网络的基础上，将全连接网络和上采样网络相结合，生成初始非盲解卷积网络，再将原始空间图像数据集和训练后的PSF估计网络输入所述初始非盲解卷积网络，对所述初始非盲解卷积网络进行神经网络训练，得到训练后的非盲解卷积网络；
盲解卷积网络训练单元：基于所述非盲解卷积网络的结构构建初始盲解卷积网络，加载已训练后的PSF估计网络和非盲解卷积网络的权重文件，对所述初始盲解卷积网络进行训练，得到原始空间图像盲复原模型；
图像复原单元：利用所述原始空间图像盲复原模型对原始空间图像进行复原，得到对应的复原图像。
本发明还提出了一种空间目标图像还原系统，其特征在于，包括：
处理器，用于执行计算机指令；
存储器，用于存储计算机指令；
所述处理器加载存储于存储器的计算机指令，以执行基于图像盲解卷积技术的图像还原方法。
此外，本发明还提出了一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令由处理器加载并执行基于图像盲解卷积技术的图像还原方法。
通过在原始空间图像还原时运用这种基于图像盲解卷积技术的图像还原方法，无需任何先验信息和PSF约束条件，即可实现“端到端”的图像盲复原，提高了空间目标图像复原性能。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1(a)是KeckII望远镜拍摄的木卫一图像。
图1(b)是使用Keck望远镜AO系统拍摄的木卫一图像。
图1(c)是伽利略航天器在木卫一轨道附近拍摄的图像。
图2是本发明的基于图像盲解卷积技术的图像还原方法流程图。
图3显示了PSF预测过程中的训练、验证和测试误差。
图4是为非盲解卷积设计的三种神经网络结构。
图5显示了本发明的非盲解卷积网络的训练、验证和测试误差。
图6显示了本发明的盲解卷积网络的训练、验证、测试均方根误差。
图7是本发明的图像还原系统结构图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图2示出了说明根据本发明一个实施方式实现的空间目标图像还原方法的流程图，所述方法包括以下步骤：
步骤101：获取自适应光学系统中采集的单个扩展物体的原始空间图像，建立原始空间图像数据集。
其中的原始空间图像可以是具有空间背景的天体图像、卫星图像和3-D卫星模型图像。
步骤102：改进ResNet34卷积神经网络，获得初始PSF估计网络；将原始空间图像数据集输入初始PSF估计网络，对所述初始PSF估计网络进行训练，得到训练后的PSF估计网络。
深度卷积神经网络可以从大量数据中学习到有效特征，避免了传统方法人工设计特征的弊端。我们构建一个类似ResNet34的卷积神经网络结构来估计PSF。具体的选型过程如下：我们的图像大小为225x225，而原始ResNet34网络的输入图像为224x224，因此，将临近输出层的平均池化层过滤器大小修改为8x8，同时，我们期望网络输出一个大小为39x39的PSF，因此，我们将输出层的全连接层输出神经元修改为39x39大小，然后通过调整尺寸，最后输出二维39x39的PSF。此外，我们假设输出的PSF图像像素值是独立分布的，所以我们使用sigmoid激活函数代替softmax。通过对网络进行训练和测试，所得的结果无论是在固定参数生成的PSF，还是在给定参数值范围随机生成的PSF都能很好的拟合。
在Keck AO系统上测试了所提出的PSF估计框架，并进行了一组实验以测试该方法，我们称之为PSF预测。我们在生成PSF时未指定PSF的参数，而是在表1所示的范围内随机采样参数值。
表1
PSF模型参数取值范围
我们选择了两种适用于扩展目标的PSF估计的经典方法，分别为RL-AIBD和ML-IBD，和本发明提出的PSF估计方法做对比测试。RL-AIBD和ML-IBD这两种方法都属于迭代盲解卷积(IBD)方法，前者是基于Richardson-Lucy方法的加速IBD，后者是一种基于最大似然估计的IBD方法，该方法引入了施加在图像和PSF上的分段平滑度约束。首先，我们使用模拟的测试集在收敛的网络中进行测试。经过训练，网络可以从以前从未见过的模糊图像中预测PSF。训练过程中的训练、验证和测试误差如图3所示。我们通过从普通测试集和纯测试集中各采样100张原始空间图像，然后使用RL-AIBD和ML-IBD方法进行测试。测试结果如表2所示。可以发现，本发明的PSF估计方法(Proposed method)效果最佳。
表2
三种方法在PSF预测试验中的均方根误差
步骤103：在所述改进的ResNet34卷积神经网络的基础上，将全连接网络和上采样网络相结合，生成初始非盲解卷积网络，再将原始空间图像数据集和训练后的PSF估计网络输入所述初始非盲解卷积网络，对所述初始非盲解卷积网络进行神经网络训练，得到训练后的非盲解卷积网络。
根据等式(1)y＝k*x，已知降质图像和真实PSF进而获得清晰图像的过程称为非盲解卷积。由上述PSF估计网络的选型过程可知，最终经改进后ResNet34的全连接网络获得了最优的结果。因此，非盲解卷积网络优先使用改进后的ResNet34的全连接网络进行训练。具体的选型过程如下：
PSF估计网络采用类似ResNet34的全连接网络结果最佳，非盲解卷积网络采用类似ResNet34的上采样网络结果最佳。所述上采样网络包括上采样层、填充层、卷积层、标准化层、激活函数层，采用最邻近插值法进行边界填充。
基于此，我们设计了三种不同的网络结构，通过对这三种不同的结构进行训练和测试，这三种结构如图4所示。结构1网络由双层网络组成，上层网络经过平均池化层之后为了与结构0通道变化相一致，经过了多次1x1卷积层进行通道降维来增加各特征之间非线性关系，然后经过全连接网络输出。下层网络采用上采样的方式进行图像放大，最后将上层网络和下层网络的输出进行通道合并，然后经过卷积层进行跨通道的交互和特征整合获得最终的输出。结构2与结构1的不同之处在于上层网络，受去噪自编码器的启发，上层网络经过平均池化层后使用1x1的卷积层进行通道的降维和升维，可以实现图像去噪的效果。结构3则是单纯的将全连接网络与上采样网络相结合，通过通道叠加、卷积运算，既保留了全连接网络的拟合性能，又保留了上采样网络对图像抽象特征的提取。通过使用模拟图像分别对三个网络进行训练和测试，可知结构3效果最好。
我们在Keck AO系统上测试了所提出的非盲解卷积框架。首先根据表1对PSF各参数进行随机取值，从而生成大量的AO PSF，接着对所收集到的600张清晰图像进行左右翻转、上下翻转，并对每一张清晰图像进行随机裁剪100次，可以得到180000左右的清晰图像。然后根据等式(1)，将清晰图像与PSF进行卷积运算得到大量数据集。最后，将数据集分为训练集、测试集、验证集，各数据集的占比为35:1:1。通过对结构3的网络进行训练，所得到的训练集、验证集和测试集均方根误差如图5所示。
使用训练集对网络进行训练，直到网络收敛到最低点停止训练。然后，从测试集和纯测试集中随机采样100张图像进行测试，根据复原图像和清晰图像计算峰值信噪比(PSNR)和结构相似度一致性(SSIM)进而对复原图像的质量进行评估。三种对比方法分别是PoissionHessReg、FramePoissonDeblur[6]和SGP-dec[7]方法，这三种最新的解卷积技术主要针对带有泊松噪声的空间目标图像。测试结果如表3所示，通过比较可知，采用本发明提出的方法(Proposed method)，即通过上述非盲解卷积网络对模糊图像进行反卷积，能够获得最优的结果。
表3
四种方法在测试集和纯测试集中结果比较
我们仍然使用经过Keck AO系统捕获的Io和Saturn图像。由于真实图像的PSF是未知的，我们先使用训练集在结构3网络中训练PSF估计网络，通过与最优的PSF估计网络(基于ResNet全连接网络)进行比较进而确定结构3所估计出的PSF的更为准确。然后将真实图像和PSF输入至非盲解卷积网络，获得复原图像。
步骤104：基于所述非盲解卷积网络的结构构建初始盲解卷积网络，加载已训练后的PSF估计网络和非盲解卷积网络的权重文件，对所述初始盲解卷积网络进行训练，得到原始空间图像盲复原模型；利用所述原始空间图像盲复原模型对原始空间图像进行复原，得到对应的复原图像。
我们将盲解卷积框架分为两个子网络。第一部分为PSF估计网络，第二部分为非盲解卷积网络，在训练盲解卷积网络时加载预训练好的PSF估计网络和非盲解卷积网络的权重文件，采用全训练的方式，即反向传播过程中同时更新两个子网络的权重参数。使用盲解卷积网络的训练、验证、测试均方根误差如图6所示。
从测试集和纯测试集中随机采样100张模糊图像进行测试，然后计算模糊图像对应的复原结果与清晰图像的PSNR和SSIM，并取平均值。最后和对比方法进行比较。使用的对比方法分别为Airy和RL-IBD。前者用来处理带有泊松噪声的经AO系统处理过的天文图像盲解卷积方法。后者为基于Richardson-Lucy方法加速的盲解卷积方法。测试结果如表4所示。
表4
三种方法在测试集和纯测试集中结果比较
对于由Keck AO系统捕获的真实图像，通过将真实图像输入至网络中获取复原图像。不仅能够实现“端到端”的图像盲复原，而且无需任何PSF约束。相比于两种盲接卷积对比方法，可以发现我们提出的框架获得的复原结果较为清晰。经过Airy方法复原的图像虽然恢复了一些图像细节，但是图像依旧比较模糊。RL-IBD方法复原的图像部分区域出现变形，不利于空间目标的观测。
本发明一种基于图像盲解卷积技术的图像还原方法进行图像还原的系统，
如图7所示，所述系统包括：
图像获取单元：获取自适应光学系统中采集的单个扩展物体的原始空间图像，建立原始空间图像数据集；
PSF估计网络训练单元：改进ResNet34卷积神经网络，获得初始PSF估计网络；将原始空间图像数据集输入初始PSF估计网络，对所述初始PSF估计网络进行训练，得到训练后的PSF估计网络；
非盲解卷积网络训练单元：在改进的ResNet34卷积神经网络的基础上，将全连接网络和上采样网络相结合，生成初始非盲解卷积网络，再将原始空间图像数据集和训练后的PSF估计网络输入所述初始非盲解卷积网络，对所述初始非盲解卷积网络进行神经网络训练，得到训练后的非盲解卷积网络；
盲解卷积网络训练单元：基于所述非盲解卷积网络的结构构建初始盲解卷积网络，加载已训练后的PSF估计网络和非盲解卷积网络的权重文件，对所述初始盲解卷积网络进行训练，得到原始空间图像盲复原模型；
图像复原单元：利用所述原始空间图像盲复原模型对原始空间图像进行复原，得到对应的复原图像。
本发明实施例还进一步提出了一种空间目标图像还原系统，其特征在于，包括：
处理器，用于执行计算机指令；
存储器，用于存储计算机指令；
所述处理器加载存储于存储器的计算机指令，以执行如前所述的基于图像盲解卷积技术的图像还原方法。
本发明实施例还进一步提出了一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令由处理器加载并执行如前所述的基于图像盲解卷积技术的图像还原方法。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，实体机服务器，或者网络云服务器等，需安装Windows或者Windows Server操作系统)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (10)
1.一种基于图像盲解卷积技术的图像复原方法，其特征在于，所述方法包括：
步骤101：获取自适应光学系统中采集的单个扩展物体的原始空间图像，建立原始空间图像数据集；
步骤102：改进ResNet34卷积神经网络，获得初始PSF估计网络；将原始空间图像数据集输入初始PSF估计网络，对所述初始PSF估计网络进行训练，得到训练后的PSF估计网络；
步骤103：在所述改进的ResNet34卷积神经网络的基础上，将全连接网络和上采样网络相结合，生成初始非盲解卷积网络，再将原始空间图像数据集和训练后的PSF估计网络输入所述初始非盲解卷积网络，对所述初始非盲解卷积网络进行神经网络训练，得到训练后的非盲解卷积网络；
步骤104：基于所述非盲解卷积网络的结构构建初始盲解卷积网络，加载已训练后的PSF估计网络和非盲解卷积网络的权重文件，对所述初始盲解卷积网络进行训练，得到原始空间图像盲复原模型；利用所述原始空间图像盲复原模型对原始空间图像进行复原，得到对应的复原图像。
2.如权利要求1所述的方法，其特征在于：所述步骤102中，将ResNet34的卷积神经网络中的softmax激活函数替换为sigmo id激活函数，得到改进ResNet34卷积神经网络；改进后的ResNet34网络的输入图像大小为225*225，临近输出层的平均池化层过滤器大小为8*8，输出层的全连接层输出神经元大小为39*39。
3.如权利要求1所述的方法，其特征在于：在步骤103中，通过通道叠加和卷积运算对非盲解卷积网络进行神经网络训练。
4.如权利要求1所述的方法，其特征在于：所述上采样网络包括上采样层、填充层、卷积层、标准化层和激活函数层，采用最邻近插值法进行边界填充。
5.如权利要求1所述的方法，其特征在于：在步骤104中，在对初始盲解卷积网络进行训练的同时，更新PSF估计网络和非盲解卷积网络的权重参数。
6.一种运用权利要求1的基于图像盲解卷积技术的图像复原方法进行图像还原的系统，其特征在于，所述系统包括：
图像获取单元：获取自适应光学系统中采集的单个扩展物体的原始空间图像，建立原始空间图像数据集；
PSF估计网络训练单元：改进ResNet34卷积神经网络，获得初始PSF估计网络；将原始空间图像数据集空间图像输入初始PSF估计网络，对所述初始该PSF估计网络进行训练，得到训练后的PSF估计网络；
非盲解卷积网络训练单元：在改进的ResNet34卷积神经网络的基础上，将全连接网络和上采样网络相结合，生成初始非盲解卷积网络，再将原始空间图像数据集和训练后的PSF估计网络输入所述初始非盲解卷积网络，对所述初始非盲解卷积网络进行神经网络训练，得到训练后的非盲解卷积网络；
盲解卷积网络训练单元：基于所述非盲解卷积网络的结构构建初始盲解卷积网络，加载已训练后的PSF估计网络和非盲解卷积网络的权重文件，对所述初始盲解卷积网络进行训练，得到原始空间图像盲复原模型；
图像复原单元：利用所述原始空间图像盲复原模型对原始空间图像进行复原，得到对应的复原图像。
7.如权利要求6所述的系统，其特征在于：在PSF估计网络训练单元中，改进ResNet34的卷积神经网络，将其中的softmax激活函数替换为sigmoid激活函数。
8.如权利要求6所述的系统，其特征在于：在所述非盲解卷积网络训练单元中，通过通道叠加和卷积运算对非盲解卷积网络进行神经网络训练。
9.如权利要求6所述的系统，其特征在于：所述上采样网络包括上采样层、填充层、卷积层、标准化层、激活函数层，采用最邻近插值法进行边界填充。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有多条指令；所述多条指令由处理器加载并执行如权利要求1-5之任一项所述的基于图像盲解卷积技术的图像复原方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011107113.3A CN112330550B (zh) | 2020-10-16 | 2020-10-16 | 一种基于图像盲解卷积技术的图像复原方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011107113.3A CN112330550B (zh) | 2020-10-16 | 2020-10-16 | 一种基于图像盲解卷积技术的图像复原方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112330550A true CN112330550A (zh) | 2021-02-05 |
| CN112330550B CN112330550B (zh) | 2023-08-08 |
Family
ID=74313252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011107113.3A Active CN112330550B (zh) | 2020-10-16 | 2020-10-16 | 一种基于图像盲解卷积技术的图像复原方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112330550B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114897717A (zh) * | 2022-04-25 | 2022-08-12 | 电子科技大学 | 一种用于太阳图像复原的多帧校正盲解卷积方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651812A (zh) * | 2017-01-03 | 2017-05-10 | 长沙全度影像科技有限公司 | 一种简单镜头成像的多通道psf标定方法 |
| CN108711141A (zh) * | 2018-05-17 | 2018-10-26 | 重庆大学 | 利用改进的生成式对抗网络的运动模糊图像盲复原方法 |
| WO2020164270A1 (zh) * | 2019-02-15 | 2020-08-20 | 平安科技（深圳）有限公司 | 基于深度学习的行人检测方法、系统、装置及存储介质 |
-
2020
- 2020-10-16 CN CN202011107113.3A patent/CN112330550B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651812A (zh) * | 2017-01-03 | 2017-05-10 | 长沙全度影像科技有限公司 | 一种简单镜头成像的多通道psf标定方法 |
| CN108711141A (zh) * | 2018-05-17 | 2018-10-26 | 重庆大学 | 利用改进的生成式对抗网络的运动模糊图像盲复原方法 |
| WO2020164270A1 (zh) * | 2019-02-15 | 2020-08-20 | 平安科技（深圳）有限公司 | 基于深度学习的行人检测方法、系统、装置及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 张璐;盛斌;马利庄;: "分区域去运动模糊", 中国图象图形学报, no. 04 * |
| 郝建坤;黄玮;刘军;何阳;: "空间变化PSF非盲去卷积图像复原法综述", 中国光学, no. 01 * |
| 钮赛赛;沈建新;梁春;张运海;: "基于波前探测的视网膜图像半盲解卷积复原", 南京航空航天大学学报, no. 04 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114897717A (zh) * | 2022-04-25 | 2022-08-12 | 电子科技大学 | 一种用于太阳图像复原的多帧校正盲解卷积方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112330550B (zh) | 2023-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110675347B (zh) | 一种基于组稀疏表示的图像盲复原方法 | |
| CN106709877B (zh) | 一种基于多参数正则优化模型的图像去模糊方法 | |
| CN107133923B (zh) | 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法 | |
| CN110796616B (zh) | 基于范数约束和自适应加权梯度的湍流退化图像恢复方法 | |
| CN112347945B (zh) | 一种基于深度学习的含噪遥感图像增强方法及系统 | |
| CN110852973B (zh) | 一种脉冲噪声模糊图像非线性复原方法及系统 | |
| Chen et al. | Blind de-convolution of images degraded by atmospheric turbulence | |
| CN112435162B (zh) | 一种基于复数域神经网络的太赫兹图像超分辨重建方法 | |
| CN111968047A (zh) | 一种基于生成式对抗网络的自适应光学图像盲复原方法 | |
| CN112330549B (zh) | 一种基于盲解卷积网络的模糊图像盲复原方法及系统 | |
| CN116563146A (zh) | 基于可学习曲率图的图像增强方法与系统 | |
| Liu et al. | Total variation with overlapping group sparsity and Lp quasinorm for infrared image deblurring under salt-and-pepper noise | |
| CN112330550B (zh) | 一种基于图像盲解卷积技术的图像复原方法及系统 | |
| CN112200752B (zh) | 一种基于er网络多帧图像去模糊系统及其方法 | |
| CN111626943B (zh) | 基于一阶前向后向算法的全变分图像去噪方法 | |
| Zhu et al. | Image restoration by a mixed high-order total variation and regularization model | |
| Zhao et al. | A variational Bayesian superresolution approach using adaptive image prior model | |
| Piriyatharawet et al. | Image denoising with deep convolutional and multi-directional LSTM networks under Poisson noise environments | |
| CN116029924A (zh) | 一种单片衍射的红外系统图像处理方法 | |
| Gulat et al. | Remote sensing image restoration using various techniques: A review | |
| CN114037636A (zh) | 自适应光学系统校正图像的多帧盲复原方法 | |
| CN113379647A (zh) | 一种优化psf估计的多特征图像复原方法 | |
| CN111402173A (zh) | 一种混合噪声去除方法、装置、电子设备和存储介质 | |
| Jeyaprakash et al. | Linearly uncorrelated principal component and deep convolutional image deblurring for natural images | |
| CN112488920A (zh) | 一种基于类高斯模糊核的图像正则化超分辨重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |