CN112330549A - 一种基于盲解卷积网络的模糊图像盲复原方法及系统 - Google Patents

一种基于盲解卷积网络的模糊图像盲复原方法及系统 Download PDF

Info

Publication number
CN112330549A
CN112330549A CN202011107006.0A CN202011107006A CN112330549A CN 112330549 A CN112330549 A CN 112330549A CN 202011107006 A CN202011107006 A CN 202011107006A CN 112330549 A CN112330549 A CN 112330549A
Authority
CN
China
Prior art keywords
network
image
blind
psf
blind deconvolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011107006.0A
Other languages
English (en)
Other versions
CN112330549B (zh
Inventor
马龙
舒聪
杨薮博
黄姗姗
李彦龙
段笑晗
李世飞
喻钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Technological University
Original Assignee
Xian Technological University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Technological University filed Critical Xian Technological University
Priority to CN202011107006.0A priority Critical patent/CN112330549B/zh
Publication of CN112330549A publication Critical patent/CN112330549A/zh
Application granted granted Critical
Publication of CN112330549B publication Critical patent/CN112330549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于盲解卷积网络的模糊图像盲复原方法及系统，所述的方法包括：对自适应系统的点扩散函数PSF进行建模，根据随机参数值生成PSF；使用生成的PSF与根据目标图像生成的单通道图像进行卷积，得到模糊图像；依次训练PSF估计网络、非盲解卷积网络，加载已训练好的PSF估计网络和非盲解卷积网络的权重文件，对盲解卷积网络进行训练，得到可用于模糊图像盲复原的神经网络模型。利用上述图像复原方法，无需任何先验信息和PSF约束条件，即可实现“端到端”的图像盲复原，提高了空间目标图像复原性能，对空间目标探索和识别具有重要意义。

Description

一种基于盲解卷积网络的模糊图像盲复原方法及系统
技术领域
本发明属于图像处理技术领域，具体涉及一种通过深度学习的盲解卷积技术实现图像盲复原的技术。
背景技术
为了获得更清晰的图像，大多数现代大型望远镜在进行空间观测时，都采用自适应光学(Adaptive Optics，AO)系统。利用波前校正技术，AO系统所获得的图像质量已经有较大的提升。但是，波前校正本身可能会引入一些像差，而且AO系统的数量和速度有时不能完全满足大气动态干扰所必需的校准要求。在这种情况下，AO系统采集的图像或多或少会带有模糊。因此，在对空间目标进行观测时，对AO系统所获得的图像进行后处理是获取目标清晰图像的必要步骤。
图像的盲解卷积复原技术是一种十分有效的图像后处理方法，它要求根据模糊的、含有噪声的观测图像，复原出“精确的”原始图像。由于大气湍流的随机特点，空间目标图像成像光学系统的点扩散函数(point spread function，PSF)一般是未知的，图像和PSF都需要进行复原，这就是图像盲复原技术。图像盲复原技术可以大大提高图像的清晰度和恢复图像的细节，甚至达到超分辨率的效果，从而提高对空间目标的辨识能力，这在实际中具有重要意义。
在图像处理领域，通常用卷积运算来描述降质的成像过程。如等式1所示
y＝k*x (1)
其中*代表卷积运算，y代表降质图像结果，x代表理想的清晰图像，k代表光学系统的点扩散函数(PSF)。图像盲解卷积技术就是依据等式(1)的降质图像来恢复清晰图像以及模糊该图像的PSF的过程。传统的盲解卷积算法存在一定程度上的不稳定、过迭代等问题，这在某种程度上是由于解卷积本身的病态性所致。为了解决这一问题，常常需要对模型额外施加非负性、带宽约束、能量守恒等条件，以保证解的收敛性、稳定性和准确性，然而，额外施加带宽约束、能量守恒等条件，不仅增加了图像还原方法的复杂性，还降低了图像还原的精度和性能。
发明内容
为解决现有技术中的上述缺陷，本发明提出了一种基于深度卷积神经网络的模糊图像盲复原方法，无需任何先验信息和PSF约束条件，即可实现“端到端”的图像盲复原，提高了空间目标图像复原性能，对空间目标探索和识别具有重要意义。
本发明提出了一种基于盲解卷积网络的模糊图像盲复原方法，其特征在于，所述方法包括：
步骤101：获取初始的目标图像数据集；
步骤102：对自适应系统的点扩散函数PSF进行建模，根据随机参数值生成PSF；
步骤103：对所述目标图像数据集中的图像进行预处理，得到单通道图像；
步骤104：使用生成的PSF与所述单通道图像进行卷积，得到模糊图像，将模糊图像所使用的PSF与该模糊图像组成数据对，作为后续训练卷积神经网络的数据集和标签；
步骤105：改进ResNet34卷积神经网络，获得初始PSF估计网络；将所述数据对输入初始PSF估计网络，对该PSF估计网络进行训练，得到训练后的PSF估计网络；
步骤106：在所述改进的ResNet34卷积神经网络的基础上，将全连接网络和上采样网络相结合，生成初始非盲解卷积网络，再将模糊图像和训练后的PSF估计网络输入该非盲解卷积网络中进行训练，得到训练后的非盲解卷积网络；
步骤107：基于所述非盲解卷积网络的结构构建初始盲解卷积网络，加载已训练好的PSF估计网络和非盲解卷积网络的权重文件，对初始盲解卷积网络进行训练，得到最终的模糊图像盲复原模型；
步骤108：利用所述模糊图像盲复原模型对模糊图像进行复原，将待复原的模糊图像输入所述模糊图像盲复原模型，输出该模糊图像对应的复原后的图像。
本发明还提出了一种基于盲解卷积网络的模糊图像盲复原方法进行
图像还原的系统，其特征在于，所述系统包括：
图像获取单元：获取初始的目标图像数据集；
PSF生成单元：对自适应系统的点扩散函数PSF进行建模，根据随机参数值生成PSF；
图像预处理单元：对所述目标图像数据集中的图像进行预处理，得到单通道图像；
图像仿真单元：使用生成的PSF与所述单通道图像进行卷积，得到模糊图像，将模糊图像所使用的PSF与该模糊图像组成数据对，作为后续训练卷积神经网络的数据集和标签；
PSF估计网络训练单元：改进ResNet34卷积神经网络，获得初始PSF估计网络；将所述数据对输入初始PSF估计网络，对该PSF估计网络进行训练，得到训练后的PSF估计网络；
非盲解卷积网络训练单元：在所述改进的ResNet34卷积神经网络的基础上，将全连接网络和上采样网络相结合，生成初始非盲解卷积网络，再将模糊图像和训练后的PSF估计网络输入该非盲解卷积网络中进行训练，得到训练后的非盲解卷积网络；
盲解卷积网络训练单元：基于所述非盲解卷积网络的结构构建初始盲解卷积网络，加载已训练好的PSF估计网络和非盲解卷积网络的权重文件，对初始盲解卷积网络进行训练，得到最终的模糊图像盲复原模型；
图像还原单元：将待复原的模糊图像输入所述模糊图像盲复原模型，输出该模糊图像对应的复原后的图像。
本发明还提出了一种目标图像盲复原系统，其特征在于，包括：
处理器，用于执行计算机指令；
存储器，用于存储计算机指令；
所述处理器加载存储于存储器的计算机指令，以基于深度卷积神经网络的模糊图像盲复原建模方法实现图像盲复原。
此外，本发明还提出了一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令由处理器加载并基于深度卷积神经网络的模糊图像盲复原建模方法实现图像盲复原。
通过在空间图像还原时运用这种以基于深度卷积神经网络的模糊图像盲复原方法实现图像盲复原，无需任何先验信息和PSF约束条件，即可实现“端到端”的图像盲复原，提高了空间目标图像复原性能。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的基于盲解卷积网络的模糊图像盲复原方法的流程图。
图2显示了通过随机参数生成的PSF样本。
图3显示了图像仿真模拟过程。
图4显示了PSF预测过程中的训练、验证和测试误差
图5是为非盲解卷积设计的三种神经网络结构。
图6显示了本发明的非盲解卷积网络的训练、验证和测试误差
图7显示了本发明的盲解卷积网络的训练、验证、测试均方根误差
图8是本发明的图像还原系统结构图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
图1示出了本发明的基于盲解卷积网络的模糊图像盲复原方法的流程图，所述方法包括以下步骤：
步骤101：获取初始的目标图像数据集。
其中的空间图像可以是具有空间背景的天体图像、卫星图像和3-D卫星模型图像。
步骤102：对自适应系统的点扩散函数PSF进行建模，根据随机参数值生成PSF。
通常，可以将自适应系统(AO)的PSF适当的建模为低Strehls时的Lorentzian函数加Airy函数，以及高Strehls时的Lorentzian函数加Airy函数和Gaussian函数。
Figure BDA0002727250890000061
其中，k为AO PSF，I0为峰值振幅，r为光圈中心与观察点之间的距离。第一项表示Airy函数，J1为一阶贝塞尔函数，rA为艾瑞半径。第二项表示Lorentzian函数，h为半高宽(HWHM)。第三项表示Gaussian函数，σ为标准差，α、β为调谐因子。
可以根据等式(2)来模拟AO PSF。由于我们通常不关注数据后处理中PSF的幅度，因此假设在这项工作中以将其标准化为1。在不失一般性的前提下，我们还假设Airy函数、Lorentzian函数和Gaussian函数都是同心圆。对于AO系统，很容易获得等式(2)中的参数值范围。图2显示了通过随机参数值生成的PSF。
步骤103：对所述目标图像数据集中的图像进行预处理，得到单通道图像。其中所述预处理，对目标图像集中的图像进行垂直翻转和水平翻转，得到
不同方向的两个图像，同时对原始图像和翻转后的图像进行随机裁剪，最后将所得到的图像调整为225x225大小的单通道图像。
步骤104：使用生成的PSF与所述单通道图像进行卷积，得到模糊图像，将模糊图像所使用的PSF与该模糊图像组成数据对，作为后续训练卷积神经网络的数据集和标签。
使用每个生成的PSF与上一步骤得到的单通道图像进行卷积，模拟AO系统中不完全校正的模糊。最后，我们将标准差在0到3之间随机取值的高斯白噪声添加到模糊图像中，以模拟光路噪声。将模糊图像所使用的PSF与该模糊图像组成数据对作为后期训练卷积神经网络的数据集和标签。图3说明了生成模拟图像的过程。
步骤105：改进ResNet34卷积神经网络，获得初始PSF估计网络；将所述数据对输入初始PSF估计网络，对该PSF估计网络进行训练，得到训练后的PSF估计网络；
深度卷积神经网络可以从大量数据中学习到有效特征，避免了传统方法人工设计特征的弊端。我们构建一个类似ResNet34的卷积神经网络结构来估计PSF。具体的选型过程如下：我们的图像大小为225x225，而原始ResNet34网络的输入图像为224x224，因此，将临近输出层的平均池化层过滤器大小修改为8x8，同时，我们期望网络输出一个大小为39x39的PSF，因此，我们将输出层的全连接层输出神经元修改为39x39大小，然后通过调整尺寸，最后输出二维39x39的PSF。此外，我们假设输出的PSF图像像素值是独立分布的，所以我们使用sigmoid激活函数代替softmax。通过对网络进行训练和测试，所得的结果无论是在固定参数生成的PSF，还是在给定参数值范围随机生成的PSF都能很好的拟合。
在Keck AO系统上测试了所提出的PSF估计框架，并进行了一组实验以测试该方法，我们称之为PSF预测。我们在生成PSF时未指定PSF的参数，而是在表1所示的范围内随机采样参数值。
表1
PSF模型参数取值范围
Figure BDA0002727250890000081
我们选择了两种适用于扩展目标的PSF估计的经典方法，分别为RL-AIBD和ML-IBD，和本发明提出的PSF估计方法做对比测试。RL-AIBD和ML-IBD这两种方法都属于迭代盲解卷积(IBD)方法，前者是基于Richardson-Lucy方法的加速IBD，后者是一种基于最大似然估计的IBD方法，该方法引入了施加在图像和PSF上的分段平滑度约束。首先，我们使用模拟的测试集在收敛的网络中进行测试。经过训练，网络可以从以前从未见过的模糊图像中预测PSF。训练过程中的训练、验证和测试误差如图4所示。我们通过从普通测试集和纯测试集中各采样100张图像，然后使用RL-AIBD和ML-IBD方法进行测试。测试结果如表2所示。可以发现，本发明的PSF估计方法(Proposed method)效果最佳。
表2
三种方法在PSF预测试验中的均方根误差
Figure BDA0002727250890000091
我们还使用由Keck AO系统捕获的Io和Saturn图像测试了这三种方法，首先使用PSF估计网络估计每张模糊图像的PSF，然后使用估计出的PSF根据等式(1)y＝k*x对模糊图像进行反卷积，最后，通过所得图像的清晰度来评估估计方法的性能。其中，统一使用Richardson-Lucy反卷积方法。
步骤106：在所述改进的ResNet34卷积神经网络的基础上，将全连接网络和上采样网络相结合，生成初始非盲解卷积网络，再将模糊图像和训练后的PSF估计网络输入该非盲解卷积网络中进行训练，得到训练后的非盲解卷积网络；
根据等式(1)y＝k*x，已知降质图像和真实PSF进而获得清晰图像的过程称为非盲解卷积。由上述PSF估计网络的选型过程可知，最终经改进后ResNet34的全连接网络获得了最优的结果。因此，非盲解卷积网络优先使用改进后的ResNet34的全连接网络进行训练。具体的选型过程如下：
PSF估计网络采用类似ResNet34的全连接网络结果最佳，非盲解卷积网络采用类似ResNet34的上采样网络结果最佳。所述上采样网络包括上采样层、填充层、卷积层、标准化层、激活函数层，采用最邻近插值法进行边界填充。
基于此，我们设计了三种不同的网络结构，通过对这三种不同的结构进行训练和测试，这三种结构如图5所示。结构1网络由双层网络组成，上层网络经过平均池化层之后为了与结构0通道变化相一致，经过了多次1x1卷积层进行通道降维来增加各特征之间非线性关系，然后经过全连接网络输出。下层网络采用上采样的方式进行图像放大，最后将上层网络和下层网络的输出进行通道合并，然后经过卷积层进行跨通道的交互和特征整合获得最终的输出。结构2与结构1的不同之处在于上层网络，受去噪自编码器的启发，上层网络经过平均池化层后使用1x1的卷积层进行通道的降维和升维，可以实现图像去噪的效果。结构3则是单纯的将全连接网络与上采样网络相结合，通过通道叠加、卷积运算，既保留了全连接网络的拟合性能，又保留了上采样网络对图像抽象特征的提取。通过使用模拟图像分别对三个网络进行训练和测试，可知结构3效果最好。
我们在Keck AO系统上测试了所提出的非盲解卷积框架。首先根据表1对PSF各参数进行随机取值，从而生成大量的AO PSF，接着对所收集到的600张清晰图像进行左右翻转、上下翻转，并对每一张清晰图像进行随机裁剪100次，可以得到180000左右的清晰图像。然后根据等式(1)，将清晰图像与PSF进行卷积运算得到大量数据集。最后，将数据集分为训练集、测试集、验证集，各数据集的占比为35:1:1。通过对结构3的网络进行训练，所得到的训练集、验证集和测试集均方根误差如图6所示。
使用训练集对网络进行训练，直到网络收敛到最低点停止训练。然后，从测试集和纯测试集中随机采样100张图像进行测试，根据复原图像和清晰图像计算峰值信噪比(PSNR)和结构相似度一致性(SSIM)进而对复原图像的质量进行评估。三种对比方法分别是PoissionHessReg、FramePoissonDeblur[6]和SGP-dec[7]方法，这三种最新的解卷积技术主要针对带有泊松噪声的空间目标图像。测试结果如表3所示，通过比较可知，采用本发明提出的方法(Proposed method)，即通过上述非盲解卷积网络对模糊图像进行反卷积，能够获得最优的结果。
表3
四种方法在测试集和纯测试集中结果比较
Figure BDA0002727250890000111
我们仍然使用经过Keck AO系统捕获的Io和Saturn图像。由于真实图像的PSF是未知的，我们先使用训练集在结构3网络中训练PSF估计网络，通过与最优的PSF估计网络(基于ResNet全连接网络)进行比较进而确定结构3所估计出的PSF的更为准确。然后将真实图像和PSF输入至非盲解卷积网络，获得复原图像。
步骤107：基于所述非盲解卷积网络的结构构建初始盲解卷积网络，加载已训练好的PSF估计网络和非盲解卷积网络的权重文件，对初始盲解卷积网络进行训练，得到最终的模糊图像盲复原模型；
我们将盲解卷积框架分为两个子网络。第一部分为PSF估计网络，第二部分为非盲解卷积网络，在训练盲解卷积网络时加载预训练好的PSF估计网络和非盲解卷积网络的权重文件，采用全训练的方式，即反向传播过程中同时更新两个子网络的权重参数。使用盲解卷积网络的训练、验证、测试均方根误差如图7所示。
从测试集和纯测试集中随机采样100张模糊图像进行测试，然后计算模糊图像对应的复原结果与清晰图像的PSNR和SSIM，并取平均值。最后和对比方法进行比较。使用的对比方法分别为Airy和RL-IBD。前者用来处理带有泊松噪声的经AO系统处理过的天文图像盲解卷积方法。后者为基于Richardson-Lucy方法加速的盲解卷积方法。测试结果如表4所示。
表4
三种方法在测试集和纯测试集中结果比较
Figure BDA0002727250890000121
对于由Keck AO系统捕获的真实图像，通过将真实图像输入至网络中获取复原图像。不仅能够实现“端到端”的图像盲复原，而且无需任何PSF约束。相比于两种盲接卷积对比方法，可以发现我们提出的框架获得的复原结果较为清晰。经过Airy方法复原的图像虽然恢复了一些图像细节，但是图像依旧比较模糊。RL-IBD方法复原的图像部分区域出现变形，不利于空间目标的观测。
步骤108：利用所述模糊图像盲复原模型对模糊图像进行复原，将待复原的模糊图像输入所述模糊图像盲复原模型，输出该模糊图像对应的复原后的图像。
本发明一种基于盲解卷积网络的模糊图像盲复原方法进行图像还原的系统，如图8所示，所述系统包括：
图像获取单元：获取初始的目标图像数据集；
PSF生成单元：对自适应系统的点扩散函数PSF进行建模，根据随机参数值生成PSF；
图像预处理单元：对所述目标图像数据集中的图像进行预处理，得到单通道图像；
图像仿真单元：使用生成的PSF与所述单通道图像进行卷积，得到模糊图像，将模糊图像所使用的PSF与该模糊图像组成数据对，作为后续训练卷积神经网络的数据集和标签；
PSF估计网络训练单元：改进ResNet34卷积神经网络，获得初始PSF估计网络；将所述数据对输入初始PSF估计网络，对该PSF估计网络进行训练，得到训练后的PSF估计网络；
非盲解卷积网络训练单元：在所述改进的ResNet34卷积神经网络的基础上，将全连接网络和上采样网络相结合，生成初始非盲解卷积网络，再将模糊图像和训练后的PSF估计网络输入该非盲解卷积网络中进行训练，得到训练后的非盲解卷积网络；
盲解卷积网络训练单元：基于所述非盲解卷积网络的结构构建初始盲解卷积网络，加载已训练好的PSF估计网络和非盲解卷积网络的权重文件，对初始盲解卷积网络进行训练，得到最终的模糊图像盲复原模型；
图像还原单元：将待复原的模糊图像输入所述模糊图像盲复原模型，输出该模糊图像对应的复原后的图像。
本发明实施例还进一步提出了一种目标图像盲复原系统，其特征在于，包括：
处理器，用于执行计算机指令；
存储器，用于存储计算机指令；
所述处理器加载存储于存储器的计算机指令，以执行如前所述的基于盲解卷积网络的模糊图像盲复原方法。
本发明实施例还进一步提出了一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令由处理器加载并执行如前所述的基于盲解卷积网络的模糊图像盲复原方法。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于盲解卷积网络的模糊图像盲复原方法，其特征在于，所述方法包括：
步骤101：获取初始的目标图像数据集；
步骤102：对自适应系统的点扩散函数PSF进行建模，根据随机参数值生成PSF；
步骤103：对所述目标图像数据集的图像进行预处理，得到单通道图像；
步骤104：使用生成的PSF与所述单通道图像进行卷积，得到模糊图像，将模糊图像所使用的PSF与该模糊图像组成数据对，作为后续训练卷积神经网络的数据集和标签；
步骤105：改进ResNet34卷积神经网络，获得初始PSF估计网络；将所述数据对输入初始PSF估计网络，对该PSF估计网络进行训练，得到训练后的PSF估计网络；
步骤106：在所述改进的ResNet34卷积神经网络的基础上，将全连接网络和上采样网络相结合，生成初始非盲解卷积网络，再将模糊图像和训练后的PSF估计网络输入该非盲解卷积网络中进行训练，得到训练后的非盲解卷积网络；
步骤107：基于所述非盲解卷积网络的结构构建初始盲解卷积网络，加载已训练好的PSF估计网络和非盲解卷积网络的权重文件，对初始盲解卷积网络进行训练，得到最终的模糊图像盲复原模型；
步骤108：利用所述模糊图像盲复原模型对模糊图像进行复原，将待复原的模糊图像输入所述模糊图像盲复原模型，输出该模糊图像对应的复原后的图像。
2.如权利要求1所述的基于盲解卷积网络的模糊图像盲复原方法，其特征在于：在所述步骤102中，所述对点扩散函数PSF进行建模，是通过以下等式来完成：
Figure FDA0002727250880000021
其中，k为AO PSF，I0为峰值振幅，r为光圈中心与观察点之间的距离；第一项表示Airy函数，J1为一阶贝塞尔函数，rA为艾瑞半径；第二项表示Lorentzian函数，h为半高宽；第三项表示Gaussian函数，σ为标准差，α、β为调谐因子。
3.如权利要求1所述的基于盲解卷积网络的模糊图像盲复原方法，其特征在于：所述步骤103中，对所述目标图像数据集中的图像进行预处理，包括：
对所述目标图像集中的图像进行垂直翻转和水平翻转，得到不同方向的两个图像，同时对原始图像和翻转后的图像进行随机裁剪，最后将所得到的图像调整为单通道图像。
4.如权利要求1所述的基于盲解卷积网络的模糊图像盲复原方法，其特征在于：所述步骤105中，将ResNet34的卷积神经网络中的softmax激活函数替换为sigmoid激活函数，得到改进ResNet34卷积神经网络；改进后的ResNet34网络的输入图像大小为225*225，临近输出层的平均池化层过滤器大小为8*8，输出层的全连接层输出神经元大小为39*39。
5.如权利要求1所述的基于盲解卷积网络的模糊图像盲复原方法，其特征在于：在步骤106中，通过通道叠加和卷积运算对非盲解卷积网络进行神经网络训练。
6.如权利要求1所述的基于盲解卷积网络的模糊图像盲复原方法，其特征在于：所述上采样网络包括上采样层、填充层、卷积层、标准化层、激活函数层，采用最邻近插值法进行边界填充。
7.如权利要求1所述的基于盲解卷积网络的模糊图像盲复原方法，其特征在于：在步骤107中，在对初始盲解卷积网络进行训练的同时，更新PSF估计网络和非盲解卷积网络的权重参数。
8.一种运用权利要求1的基于盲解卷积网络的模糊图像盲复原方法进行图
像还原的系统，其特征在于，所述系统包括：
图像获取单元：获取初始的目标图像数据集；
PSF生成单元：对自适应系统的点扩散函数PSF进行建模，根据随机参数值生成PSF；
图像预处理单元：对所述目标图像数据集中的图像进行预处理，得到单通道图像；
图像仿真单元：使用生成的PSF与所述单通道图像进行卷积，得到模糊图像，将模糊图像所使用的PSF与该模糊图像组成数据对，作为后续训练卷积神经网络的数据集和标签；
PSF估计网络训练单元：改进ResNet34卷积神经网络，获得初始PSF估计网络；将所述数据对输入初始PSF估计网络，对该PSF估计网络进行训练，得到训练后的PSF估计网络；
非盲解卷积网络训练单元：在所述改进的ResNet34卷积神经网络的基础上，将全连接网络和上采样网络相结合，生成初始非盲解卷积网络，再将模糊图像和训练后的PSF估计网络输入该非盲解卷积网络中进行训练，得到训练后的非盲解卷积网络；
盲解卷积网络训练单元：基于所述非盲解卷积网络的结构构建初始盲解卷积网络，加载已训练好的PSF估计网络和非盲解卷积网络的权重文件，对初始盲解卷积网络进行训练，得到最终的模糊图像盲复原模型；
图像还原单元：将待复原的模糊图像输入所述模糊图像盲复原模型，输出该模糊图像对应的复原后的图像。
9.一种目标图像盲复原系统，其特征在于，包括：
处理器，用于执行计算机指令；
存储器，用于存储计算机指令；
所述处理器加载存储于存储器的计算机指令，以执行如权利要求1-7任一项所述的基于深度卷积神经网络的模糊图像盲复原方法进行图像还原。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有多条指令；所述多条指令由处理器加载并执行如权利要求1-7之任一项所述的基于深度卷积神经网络的模糊图像盲复原方法进行图像还原。
CN202011107006.0A 2020-10-16 2020-10-16 一种基于盲解卷积网络的模糊图像盲复原方法及系统 Active CN112330549B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011107006.0A CN112330549B (zh) 2020-10-16 2020-10-16 一种基于盲解卷积网络的模糊图像盲复原方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011107006.0A CN112330549B (zh) 2020-10-16 2020-10-16 一种基于盲解卷积网络的模糊图像盲复原方法及系统

Publications (2)

Publication Number Publication Date
CN112330549A true CN112330549A (zh) 2021-02-05
CN112330549B CN112330549B (zh) 2023-08-08

Family

ID=74313928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011107006.0A Active CN112330549B (zh) 2020-10-16 2020-10-16 一种基于盲解卷积网络的模糊图像盲复原方法及系统

Country Status (1)

Country Link
CN (1) CN112330549B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884677A (zh) * 2021-03-23 2021-06-01 中国工程物理研究院流体物理研究所 基于光学合成孔径成像的图像复原处理方法
CN116051391A (zh) * 2022-08-27 2023-05-02 荣耀终端有限公司 一种图像处理方法及电子设备
CN118138901A (zh) * 2024-04-30 2024-06-04 清华大学 光场元视觉表征模型与架构

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090263043A1 (en) * 2005-10-14 2009-10-22 Consejo Superior De Investigaciones Cientificas Blind deconvolution and super-resolution method for sequences and sets of images and applications thereof
CN102063716A (zh) * 2011-01-13 2011-05-18 耿则勋 一种基于各向异性约束的多帧迭代盲解卷积图像复原方法
WO2018045602A1 (zh) * 2016-09-07 2018-03-15 华中科技大学 一种基于深度学习的模糊核尺寸估计方法与系统
CN108537746A (zh) * 2018-03-21 2018-09-14 华南理工大学 一种基于深度卷积网络的模糊可变图像盲复原方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090263043A1 (en) * 2005-10-14 2009-10-22 Consejo Superior De Investigaciones Cientificas Blind deconvolution and super-resolution method for sequences and sets of images and applications thereof
CN102063716A (zh) * 2011-01-13 2011-05-18 耿则勋 一种基于各向异性约束的多帧迭代盲解卷积图像复原方法
WO2018045602A1 (zh) * 2016-09-07 2018-03-15 华中科技大学 一种基于深度学习的模糊核尺寸估计方法与系统
CN108537746A (zh) * 2018-03-21 2018-09-14 华南理工大学 一种基于深度卷积网络的模糊可变图像盲复原方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
常振春;禹晶;肖创柏;孙卫东;: "基于稀疏表示和结构自相似性的单幅图像盲解卷积算法", 自动化学报, no. 11 *
郝建坤;黄玮;刘军;何阳;: "空间变化PSF非盲去卷积图像复原法综述", 中国光学, no. 01 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884677A (zh) * 2021-03-23 2021-06-01 中国工程物理研究院流体物理研究所 基于光学合成孔径成像的图像复原处理方法
CN112884677B (zh) * 2021-03-23 2022-05-24 中国工程物理研究院流体物理研究所 基于光学合成孔径成像的图像复原处理方法
CN116051391A (zh) * 2022-08-27 2023-05-02 荣耀终端有限公司 一种图像处理方法及电子设备
CN116051391B (zh) * 2022-08-27 2023-09-22 荣耀终端有限公司 一种图像处理方法及电子设备
CN118138901A (zh) * 2024-04-30 2024-06-04 清华大学 光场元视觉表征模型与架构
CN118138901B (zh) * 2024-04-30 2024-07-16 清华大学 光场元视觉表征模型与架构

Also Published As

Publication number Publication date
CN112330549B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
JP7427748B2 (ja) 画像処理システム及び医用情報処理システム
KR101871098B1 (ko) 이미지 처리 방법 및 장치
CN112330549B (zh) 一种基于盲解卷积网络的模糊图像盲复原方法及系统
CN107133923B (zh) 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法
CN111462019A (zh) 基于深度神经网络参数估计的图像去模糊方法及系统
CN112132758B (zh) 基于非对称光学系统点扩散函数模型的图像复原方法
CN112435162B (zh) 一种基于复数域神经网络的太赫兹图像超分辨重建方法
CN110796616B (zh) 基于范数约束和自适应加权梯度的湍流退化图像恢复方法
CN112347945B (zh) 一种基于深度学习的含噪遥感图像增强方法及系统
CN114418883A (zh) 一种基于深度先验的盲图像去模糊方法
Chen et al. Blind de-convolution of images degraded by atmospheric turbulence
CN111968047A (zh) 一种基于生成式对抗网络的自适应光学图像盲复原方法
CN115170410A (zh) 融合小波变换和注意力机制的图像增强方法及装置
Hui et al. Image restoration of optical sparse aperture systems based on a dual target network
CN117114984A (zh) 基于生成对抗网络的遥感图像超分辨率重建方法
De los Reyes et al. Bilevel optimization methods in imaging
CN111402173A (zh) 一种混合噪声去除方法、装置、电子设备和存储介质
CN112488920B (zh) 一种基于类高斯模糊核的图像正则化超分辨重建方法
CN112330550B (zh) 一种基于图像盲解卷积技术的图像复原方法及系统
Tang et al. Single-frame super-resolution for remote sensing images based on improved deep recursive residual network
CN111986102A (zh) 一种数字病理图像去模糊方法
CN114972130B (zh) 一种去噪神经网络的训练方法、装置及训练设备
CN116309077A (zh) 基于空域可变模糊核估计的图像盲超分辨率重建方法
CN116091893A (zh) 一种基于U-net网络的地震图像反褶积方法及系统
Wu et al. Variational PDE based image restoration using neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant