CN116363014A - 一种级联自适应光学图像盲复原方法 - Google Patents
一种级联自适应光学图像盲复原方法 Download PDFInfo
- Publication number
- CN116363014A CN116363014A CN202310431539.1A CN202310431539A CN116363014A CN 116363014 A CN116363014 A CN 116363014A CN 202310431539 A CN202310431539 A CN 202310431539A CN 116363014 A CN116363014 A CN 116363014A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- clear
- frames
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000007246 mechanism Effects 0.000 claims abstract description 20
- 238000005065 mining Methods 0.000 claims abstract description 8
- 230000003044 adaptive effect Effects 0.000 claims description 35
- 238000006731 degradation reaction Methods 0.000 claims description 23
- 230000015556 catabolic process Effects 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000011084 recovery Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 230000006870 function Effects 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000004804 winding Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种级联自适应光学图像盲复原方法,应用于地基望远镜的多帧图像盲复原,针对现有技术无法在数据质量波动较大的情况下鲁棒的重建出高分辨的自适应光学图像的问题;本发明首先将每5个连续的清晰‑退化图像对送入包含4个图像恢复单元的级联网络,每相邻的3帧图像对送入第一阶段的3个图像恢复单元,每个图像恢复单元内先进行像素级的光流对齐,然后使用时空注意力机制模块进行特征的权重重新分配,并使用时间锐度先验提取清晰像素块后,将两部分输出送入图像重建模型,在损失函数上使用硬例挖掘策略关注难恢复的区域,最后将恢复出来的3帧清晰潜像送入第二阶段的图像恢复单元,得到最终恢复的清晰自适应光学图像。
Description
技术领域
本发明属于自适应光学图像处理技术领域,特别涉及一种基于级联架构的自适应光学图像盲复原技术。
背景技术
大气湍流会引起光波波前的畸变,严重影响地基望远镜对目标的观测,由此造成地基望远镜对目标的成像分辨率远低于预期的理论衍射极限,严重影响成像质量。为了缓解这些问题,地基望远镜通常使用自适应光学技术来补偿大气湍流造成的成像退化。自适应光学系统通过一个波前传感器实时测量大气扰动,并通过一个变形镜实时补偿大气湍流引起的波前畸变。自适应光学技术可以显著降低低阶像差,有效地改善光学系统的成像质量。
由于自适应光学系统自身硬件的限制,自适应光学系统对波前畸变的校正是局部的、不完全的,目标成像的高频信息大量丢失。在图像处理领域通常将该图像退化过程描述为:
g(x,y)=f(x,y)*h(x,y)+n(x,y)
其中,g(x,y)为输出图像,f(x,y)为输入图像,h(x,y)为点扩散函数,n(x,y)为加性噪声,“*”是二维循环卷积,根据退化图像g(x,y)估计潜在清晰图像的过程称为图像解卷积或复原;如果点扩散函数未知,则称为图像盲解卷积或图像盲复原。
为了进一步提高自适应光学图像的质量,必须对自适应光学图像进行后处理。目前主要有四种用于自适应光学图像后处理的方法,斑点成像技术、相位差法、盲解卷积算法、基于深度学习的方法。斑点成像技术利用大气湍流的统计信息重建大气湍流的相位和振幅,通常需要上百帧的短曝光图像才能完成一次重建;相位差法利用一组聚焦图像和一组离焦图像的图像强度来建立误差度量,通过最小化误差度量,重建出目标和点扩散函数,它需要额外的成像设备,且算法对系统参数敏感,在实际应用中还存在一些技术难点;盲解卷积算法直接从单帧或几帧模糊图像中同时重建目标和点扩散函数,然而盲解卷积问题通常是一个病态逆问题,因此需要大量先验信息对算法的求解加以约束,否则难以获得理想的处理结果;基于深度学习的方法利用有监督学习,使用大量的模糊-清晰图像组对深度神经网络进行训练,从而学习到模糊图像和清晰图像之间的非线性映射关系,最终利用训练好的网络,复原出清晰的图像。现有的基于深度学习的自适应光学图像盲复原方法,如基于编解码结构的EDDNN算法(Asensio Ramos A,de la Cruz Rodríguez J,Yabar AP.Real-time,multiframe,blind deconvolution of solar images[J].Astronomy&Astrophysics,2018,620:A73.)和基于自适应滤波器的CSSTN算法(Wang S,Chen Q,He C,et al.Blind restoration of solar images via the channel sharingspatiotemporal network[J].Astronomy&Astrophysics,2021,652:A50.)通常都无法在数据质量波动较大的情况下鲁棒的重建出高分辨的自适应光学图像。因此需要构造一个可以在图像质量严重退化时也能稳定的恢复出高分辨自适应光学图像。
发明内容
本发明要解决的技术问题是:如何稳定鲁棒的恢复出每一帧短曝光自适应光学图像,从而实现实际天文观测场景下高可靠性的高分辨率自适应光学图像重建。
本发明采用的技术方案为:一种级联自适应光学图像盲复原方法,基于的级联网络包括4个图像恢复单元,这4个图像恢复单元分为2个阶段,其中第一个阶段包括3个图像恢复单元,第二个阶段包括1个图像恢复单元;每个图像恢复单元的结构相同,均包括:像素级显式光流对齐模块、时空注意力机制模块、时间锐度先验模块、图像重建模块;
所述方法的实现过程为:
S1、收集多帧自适应光学退化图像与对应的清晰参考图像,将这多帧自适应光学退化图像与对应的清晰参考图像组成的数据集划分为训练集、验证集与测试集;多帧自适应光学退化图像为按时序采集的相邻帧;对应的清晰参考图像为以任意数量的退化帧为输入、以图像复原方法重建得到的图像;
S2、在训练、验证、测试过程中,训练集、验证集或测试集中的数据每次以5帧连续的自适应光学退化图像作为级联网络的输入,这5帧连续的自适应光学退化图像中每相邻的3帧自适应光学退化图像送入第一阶段的3个图像恢复单元,得到恢复出来的1帧清晰潜像;这5帧连续的自适应光学退化图像共包括3组相邻的3帧自适应光学退化图像,从而得到3帧清晰潜像;每个图像恢复单元的处理过程为:
A1、将相邻的3帧自适应光学退化图像中间的帧记为原始参考帧,剩下的2帧为这一原始参考帧的相邻帧;
A2、像素级显式光流对齐模块为多尺度特征金子塔结构,对步骤A1所述的原始参考帧的相邻帧进行光流估计,得到光流估计对齐后的相邻帧;
A3、时空注意力机制模块包括时间注意力机制子模块和空间注意力机制子模块,时间注意力机制子模块根据光流估计对齐后的相邻帧与原始参考帧的相似性,来动态分配光流估计对齐后的相邻帧各自的特征权重;然后根据权重对光流估计对齐后的相邻帧与原始参考帧进行特征融合;
将融合后的特征输入到空间注意力模块,进行空间仿射变换;
A4、时间锐度先验模块根据光流估计对齐后的相邻帧与原始参考帧,提取局部清晰像素;
A5、将时间锐度先验模块和时空注意力机制模块的输出送入图像重建模块,得到恢复出来的1帧清晰潜像;图像重建模块的损失函数根据当前恢复的清晰潜像与对应的清晰参考图像计算;还包括采用硬例挖掘策略来关注部分较难恢复的特征区域;每个图像恢复单元对应的损失函数的公式为:
其中,Mi表示硬例挖掘的掩码,λ表示权重,Ii,r表示当前恢复的图像,Ii,c表示清晰参考图像;⊙表示像素级相乘,|| ||1表示L1范数;
S3、将恢复出来的3帧清晰潜像送入第二阶段的图像恢复单元,得到最终恢复的清晰自适应光学图像。
训练过程包括多次迭代,每次迭代过程的反向传播阶段,单个图像恢复单元经过反向传播完成参数更新;在下一次迭代过程开始时,将经过更新的同一套图像恢复单元的参数应用于下一次迭代中的级联网络的4个图像恢复单元。
本发明的有益效果:相比于现有的自适应光学图像重建技术,本发明使用基于深度学习的像素级光流估计来对齐相邻帧和参考帧,从而使减少重建图像伪影,提高图像分辨率和丰富精细结构。本发明使用两阶段级联结构稳定的恢复出具有更高的定量评价的重建图像:本发明采用的两阶段级联结构使用同一套训练参数来同时恢复第一阶段和第二阶段的图像,从而加速模型收敛并尽可能的减少可训练参数。当输入图像对比度较低时,本发明的重建图像不受输入图像影响,能输出更稳定的高质量结果。
附图说明
图1是本发明实施例的实施流程图。
图2是本发明实施例的网络整体结构示意图。
图3是图2中时空注意力模块的结构示意图。
图4是图1级联结构的示意图。
图5是本发明的一个实施例;
其中,(a)是256×256像素的自适应光学图像,(b)是本发明的复原结果。
图6是以100帧自适应光学图像中对比度最低的原始帧为输入进行重建的对比结果;
其中,(a)是1408×1408像素的原始自适应光学图像,(b)-(d)分别为EDDNN,CSSTN和本发明重建的对应结果,(e)为斑点法重建的标准参考图像,(f)为(a)-(e)对应的功率谱密度曲线。
具体实施方式
为便于本领域技术人员理解本发明的技术内容,下面结合附图对本发明内容进一步阐释。
图1是本发明所述的一种级联自适应光学图像盲复原方法流程图,主要包括使用真实自适应光学图像进行模型训练、收敛验证和测试流程。图2为网络结构示意图,本发明的级联网络包括4个图像恢复单元(TSAN,Temporal and Spatial Attention Network),这4个图像恢复单元分为2个阶段,其中第一个阶段包括3个图像恢复单元,第二个阶段包括1个图像恢复单元;每个图像恢复单元的结构相同,均包括:像素级显式光流对齐模块、时空注意力机制模块(TSA,Temporal and Spatial Attention)、时间锐度先验模块(TSP,Temporal Sharpness Prior)、图像重建模块;本实施例使用光流对齐、时空注意力机制和时间锐度先验来提取图像特征,最后送入编解码结构的图像重建网络。本发明的具体流程如下:
步骤(1):收集用于模型训练、验证和测试的多帧自适应光学退化图像与对应的清晰参考图像并进行预处理;
实施例中,训练集为自收集的真实太阳自适应光学图像数据集,包含6700张短曝光图像,其中5300张用于训练,500张用于验证,1000张用于测试,训练集的参数如表1中第一、二个数据集的参数所示。
表1本发明使用的用于网络训练、验证和测试的五个数据集的参数
步骤(2):裁剪训练集的所有图像至尺寸256×256像素;
步骤(3):将裁剪后的自适应光学退化图像与对应的清晰参考图像对送入像素级显式光流对齐模型;
其中up2(wl+1)(x)是上采样后光流的估计结果,wl+1为上一层的光流估计结果。随后计算第l层的成本量cvl(x1,x2):
其中x表示像素索引,可取值为x1,x2,分别表示原图像特征的像素索引和卷绕结果的像素索引,T表示转置运算,N是列向量的长度。计算完成后,可对特征金字塔的每一层重复以上步骤,即可完成相邻退化帧到参考退化帧的最终光流估计。设Ii-1,Ii和Ii+1是三帧连续的退化自适应图像,估计得到的光流分别为ui+1→i,ui-1→i,得到经光流估计对齐后的Ii两个相邻帧Ii+1(x+ui+1→i),Ii-1(x+ui-1→i)。
步骤(4):将对齐后的图像送入时空注意力机制模块,得到特征权重重新分配后的特征;
如图3所示,本发明提出的时空注意力模块;本发明的时空注意力模块由时间注意力机制和空间注意力机制模块组成。时间注意力模块设计了一种根据相邻帧相似性来动态分配相邻三帧图像的特征权重。先计算每个相邻帧与参考帧的相似度:
随后,使用计算得到的hi+1,hi-1来调整不同相邻帧的权重:
其中⊙是像素级相乘。
最后使用融合卷积来进行三帧图像的特征融合:
融合后的特征输入到空间注意力模块,进行空间仿射变换,空间注意力模块的结构如图3右侧和表2所示。
表2空间注意力机制的结构
步骤(5):使用时间锐度先验从对齐后的自适应光学图像中提取局部清晰像素;
所述步骤(5)的时间锐度先验通过以下公式计算:
其中Ii+j(y+ui+j→i)和Ii(y)分别表示从上一阶段输出的相邻帧和原始的参考帧;w(x)表示以像素x所在位置为中心的图像块,图像块大小通常设置为20或其他任意大小;j表示相邻帧,取值范围为{-1,1}。
表3特征重建网络的结构示意图
步骤(6):将时间锐度先验和时空注意力机制模块的输出送入特征重建网络,特征重建网络的结果如表3所示。
同时使用硬例挖掘策略来关注部分较难恢复的特征区域;硬例挖掘策略由以下损失函数的公式计算:
即图像恢复单元TSAN每恢复出一张清晰潜像之前,在前向传播阶段计算硬例挖掘的掩码Mi,并用取值可为0.2或其他任意大小的参数λ来确定权重。Mi的计算方式由以下公式决定:
其中Mi,h表示对图像i内各像素点的损失函数值进行降序排列并包含前a%区域的掩码,Mi,r表示用于增强硬例挖掘鲁棒性的包含b%像素的随机掩码,a,b取值可分别为50、10,或0~100之间的其他任意数值。
步骤(7):将恢复的潜像送入两阶段级联架构,恢复出更加清晰、接近清晰参考图像的结果;
两阶段级联结构的示意图如图4所示,在每次迭代过程的前向传播阶段,以每3帧连续帧重建一帧清晰潜像:第一阶段以5张自适应图像连续帧为输入,重建出3帧清晰潜像。第二阶段以第一阶段重建的3张自适应图像连续帧为输入,重建出1帧清晰潜像。重建出清晰潜像损失函数可表达为:
即第一阶段的三个图像恢复单元TSAN的损失函数和第二阶段的一个图像恢复单元TSAN的损失函数相加。
在每次迭代过程的反向传播阶段,单个TSAN单元经过反向传播完成参数更新。在下一次迭代过程开始时,经过更新的同一套TSAN单元的参数重复使用4次,从而构建出下一次迭代过程的正向传播级联网络结构。
步骤(8):将验证集送入模型参数,判断收敛;若不收敛则重复步骤(2)-(8),直至模型收敛,即训练次数达到300epoch时停止训练;
步骤(9):保存模型参数,停止训练,使用模型参数恢复测试集的图像,得到最终盲复原的自适应光学图像。
测试本发明,将收敛的模型用于测试收集的五个真实自适应光学图像数据集,并使用PSNR(单位dB)作为评价指标,对比方法包括EDDNN和CSSTN。表1给出了五个测试集的具体参数,表4给出了本发明方法以及上述方法在五个真实自适应光学图像数据集上复原结果的平均PSNR值。
表4本发明方法(CTSAN)及上述各方法在五个自适应光学图像测试集上重建结果的平均PSNR
由表4可以看出本发明提出的级联自适应光学图像盲复原方法取得了较好的定量评估结果。图5展示了本发明的一个实例,即在第一个测试集上本发明恢复的结果。图6展示了本发明与其他对比方法EDDNN和CSSTN在最低最对比的源自适应光学图像上恢复的结果对比和功率谱密度曲线对比。图6中Normalized Frequency表示归一化频率,PowerSpectrum表示功率谱,arcsec表示弧秒。
具体实施时,以上流程可采用基于Pytorch框架和Ubuntu系统实现自动运行,运行方法的系统装置也应当在本发明的保护范围内。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。
Claims (2)
1.一种级联自适应光学图像盲复原方法,其特征在于,基于的级联网络包括4个图像恢复单元,这4个图像恢复单元分为2个阶段,其中第一个阶段包括3个图像恢复单元,第二个阶段包括1个图像恢复单元;每个图像恢复单元的结构相同,均包括:像素级显式光流对齐模块、时空注意力机制模块、时间锐度先验模块、图像重建模块;
所述方法的实现过程为:
S1、收集多帧自适应光学退化图像与对应的清晰参考图像,将这多帧自适应光学退化图像与对应的清晰参考图像组成的数据集划分为训练集、验证集与测试集;多帧自适应光学退化图像为按时序采集的相邻帧;对应的清晰参考图像为以任意数量的退化帧为输入、以图像复原方法重建得到的图像;
S2、在训练、验证、测试过程中,训练集、验证集或测试集中的数据每次以5帧连续的自适应光学退化图像作为级联网络的输入,这5帧连续的自适应光学退化图像中每相邻的3帧自适应光学退化图像送入第一阶段的3个图像恢复单元,得到恢复出来的1帧清晰潜像;这5帧连续的自适应光学退化图像共包括3组相邻的3帧自适应光学退化图像,从而得到3帧清晰潜像;每个图像恢复单元的处理过程为:
A1、将相邻的3帧自适应光学退化图像中间的帧记为原始参考帧,剩下的2帧为这一原始参考帧的相邻帧;
A2、像素级显式光流对齐模块为多尺度特征金子塔结构,对步骤A1所述的原始参考帧的相邻帧进行光流估计,得到光流估计对齐后的相邻帧;
A3、时空注意力机制模块包括时间注意力机制子模块和空间注意力机制子模块,时间注意力机制子模块根据光流估计对齐后的相邻帧与原始参考帧的相似性,来动态分配光流估计对齐后的相邻帧各自的特征权重;然后根据权重对光流估计对齐后的相邻帧与原始参考帧进行特征融合;
将融合后的特征输入到空间注意力模块,进行空间仿射变换;
A4、时间锐度先验模块根据光流估计对齐后的相邻帧与原始参考帧,提取局部清晰像素;
A5、将时间锐度先验模块和时空注意力机制模块的输出送入图像重建模块,得到恢复出来的1帧清晰潜像;图像重建模块的损失函数根据当前恢复的清晰潜像与对应的清晰参考图像计算;还包括采用硬例挖掘策略来关注部分较难恢复的特征区域;每个图像恢复单元对应的损失函数的公式为:
其中,表示硬例挖掘的掩码,表示权重,Ii,r表示当前恢复的图像,Ii,c表示清晰参考图像;表示像素级相乘,||||1表示L1范数;
S3、将恢复出来的3帧清晰潜像送入第二阶段的图像恢复单元,得到最终恢复的清晰自适应光学图像。
2.根据权利要求1所述的一种级联自适应光学图像盲复原方法,其特征在于,训练过程包括多次迭代,每次迭代过程的反向传播阶段,单个图像恢复单元经过反向传播完成参数更新;在下一次迭代过程开始时,将经过更新的同一套图像恢复单元的参数应用于下一次迭代中的级联网络的4个图像恢复单元。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310431539.1A CN116363014A (zh) | 2023-04-21 | 2023-04-21 | 一种级联自适应光学图像盲复原方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310431539.1A CN116363014A (zh) | 2023-04-21 | 2023-04-21 | 一种级联自适应光学图像盲复原方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116363014A true CN116363014A (zh) | 2023-06-30 |
Family
ID=86922107
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310431539.1A Pending CN116363014A (zh) | 2023-04-21 | 2023-04-21 | 一种级联自适应光学图像盲复原方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116363014A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117078538A (zh) * | 2023-07-19 | 2023-11-17 | 华中科技大学 | 一种基于像素运动统计的远距大气湍流图像的校正方法 |
-
2023
- 2023-04-21 CN CN202310431539.1A patent/CN116363014A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117078538A (zh) * | 2023-07-19 | 2023-11-17 | 华中科技大学 | 一种基于像素运动统计的远距大气湍流图像的校正方法 |
CN117078538B (zh) * | 2023-07-19 | 2024-02-13 | 华中科技大学 | 一种基于像素运动统计的远距大气湍流图像的校正方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
WO2021208122A1 (zh) | 基于深度学习的视频盲去噪方法及装置 | |
CN111028150B (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及系统 | |
CN116071243B (zh) | 一种基于边缘增强的红外图像超分辨率重建方法 | |
CN109949217B (zh) | 基于残差学习和隐式运动补偿的视频超分辨率重建方法 | |
CN110599402A (zh) | 一种基于多特征稀疏表示的图像超分辨率重建方法 | |
CN112163998A (zh) | 一种匹配自然降质条件的单图像超分辨率分析方法 | |
CN109949221A (zh) | 一种图像处理方法及电子设备 | |
CN112184549B (zh) | 基于时空变换技术的超分辨图像重建方法 | |
CN116363014A (zh) | 一种级联自适应光学图像盲复原方法 | |
CN116245726A (zh) | 基于深度学习框架的压缩感知偏振超分辨成像方法 | |
CN116468605A (zh) | 基于时空分层掩膜注意力融合的视频超分辨率重建方法 | |
CN115526779A (zh) | 一种基于动态注意力机制的红外图像超分辨率重建方法 | |
CN115578262A (zh) | 基于afan模型的偏振图像超分辨率重建方法 | |
CN118052717A (zh) | 图像超分模型的训练方法和图像超分方法 | |
CN112200752B (zh) | 一种基于er网络多帧图像去模糊系统及其方法 | |
CN111640061B (zh) | 一种自适应图像超分辨率系统 | |
Symolon et al. | Single-image super resolution using convolutional neural network | |
Li et al. | Single image deblurring using bi-attention network | |
CN116208812A (zh) | 一种基于立体事件和强度相机的视频插帧方法及系统 | |
CN113284068A (zh) | 一种基于通道共享时空网络的自适应光学图像盲复原方法 | |
CN114037636A (zh) | 自适应光学系统校正图像的多帧盲复原方法 | |
Yu et al. | Image desaturation for SDO/AIA using mixed convolution network | |
CN110648291A (zh) | 一种基于深度学习的无人机运动模糊图像的复原方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |