CN104978721B - 基于变分正则化的大气扰动图像恢复方法 - Google Patents
基于变分正则化的大气扰动图像恢复方法 Download PDFInfo
- Publication number
- CN104978721B CN104978721B CN201510385409.4A CN201510385409A CN104978721B CN 104978721 B CN104978721 B CN 104978721B CN 201510385409 A CN201510385409 A CN 201510385409A CN 104978721 B CN104978721 B CN 104978721B
- Authority
- CN
- China
- Prior art keywords
- image
- loop
- matrix
- picture
- max
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000011084 recovery Methods 0.000 title abstract description 9
- 238000005457 optimization Methods 0.000 claims abstract description 16
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000000926 separation method Methods 0.000 claims description 3
- 238000012804 iterative process Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 230000008602 contraction Effects 0.000 claims 1
- 238000000605 extraction Methods 0.000 claims 1
- 239000004576 sand Substances 0.000 claims 1
- 238000011524 similarity measure Methods 0.000 claims 1
- 230000009466 transformation Effects 0.000 claims 1
- 238000004088 simulation Methods 0.000 abstract description 3
- 230000003287 optical effect Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
基于变分正则化的大气扰动图像恢复方法，涉及图像处理。获取对固定目标的受到大气干扰的视频帧或者用模拟软件对一张图片附加模拟扰动以生成一组视频帧；对视频帧进行低秩分解，得到初始参考图像；使用基于非局部全变差正则项与可控核回归正则项的优化模型对参考图像进行优化，并用分离的Bregman算法实现加快该优化过程；用优化后的参考图像对视频帧进行B样条插值配准，得到经过配准后的视频帧；使用空间加权核范数最小化，将配准后的视频帧融合成一张近衍射极限图片；对近衍射极限图片进行去卷积处理，得到最后的去除了模糊和噪声的图片。提升扰动去除结果，得到了视觉清晰以及细节丰富的恢复图像，可用于高空对地观测、远距离监控等。
Description
技术领域
本发明涉及图像处理，尤其是涉及可用于高空对地观测、远距离监控的一种基于变分正则化的大气扰动图像恢复方法。
背景技术
随着社会的发展和科技的进步，越来越多的对地监控设备得到使用。例如无人机、高空对地观测和远距离监控等技术得到广泛关注。与普通的拍摄行为不同的是，因为在远距离拍摄中，拍摄目标与拍摄设备之间的距离较远，拍摄效果极容易受到大气扰动的影响，严重影响拍摄效果。而这种扰动无法通过对硬件设备的提升来去除，为此如何从软件技术层面，运用一些算法将由于大气扰动引起的视频模糊去除就十分重要了。
大气扰动造成的图像畸变主要原因是空气扰动造成时空变化的模糊及噪声的影响。因此如何去掉时空变化的模糊及去噪，成为解决受大气扰动造成的图像畸变恢复的关键。现有的解决图像畸变的流行工作可分为两大类，一类是基于参考图像配准的方法，先找到参考图像，然后将视频中的帧与参考图像配准，这类方法并不对模糊核进行估计，而是使用固定的高斯核来逼近模糊核，因此，该方法很难得到较高的图像恢复质量。另外一类方法是基于幸运图的图像恢复方法，该类方法认为，小尺寸的图像块可以看作是3D 场景在某一等平面角度形成的，所以，小尺寸的图像块可以看作是等平面的。因此，这类方法首先把图像划分成图像块序列，先在视频流中找到比较锐化的图像块，以此作为衍射极限图像块。然而，实验发现，这类方法虽然压缩了大气扰动的影响，然而却增加了噪声的影响。
Zhu等人(Zhu X,Milanfar P.Removing atmospheric turbulence via space-invariant deconvolution[J]. Pattern Analysis and Machine Intelligence,IEEETransactions on,2013,35(1):157-170.)提出了一种基于整体而非局部图像块的处理大气扰动造成的影响的方法，作者把视频序列的时间平均作为参考图像，然后将视频中的每帧与参考图像进行配准、矫正，通过时间轴的融合得到衍射极限图像。实验发现该方法在大气扰动造成的图像畸变矫正方面取得了颇有希望的结果。然而，该方法将参考图像取为视频序列的时间平均，造成参考图像的细节损失，图像序列的配准精度受到限制，从而使得矫正精度不高。另外，衍射极限图像的生成也受限于融合时采用的时间轴平均的影响，该步骤本质上采用了时间轴去噪的方法。众所周知，基于时间轴的平均这一大类去噪方法，去噪性能不高。从公式化的角度来看，Zhu的方法没有从整体优化的角度来建模大气扰动造成的畸变，理论方面可以继续完善。
发明内容
本发明的目的在于提供可去除视频图像中因为大气扰动而产生的图像畸变的基于变分正则化的大气扰动图像恢复方法。
本发明包括以下步骤：
(1)有一组在空中拍摄固定目标的视频帧序列{fi}，它们受到了大气扰动的影响而产生了模糊和畸变；
(2)对视频帧序列{fi}进行低秩分解，得到初始参考图像I0；
(3)初始化外层迭代，令外层循环变量Out_loop＝1，将I0作为当前要优化的参考图像u，设置最大外层循环次数max_out；
(4)初始化Bregman距离(Bregman distance)迭代，令中层循环变量Middle_loop＝1，将初始帧序列{fi} 作为当前帧设置最大中层循环次数max_middle；
(5)对于当前帧序列中的每一帧利用B-spline配准方法计算参考图像到的形变矩阵Φi；
(6)初始化向前-向后算子分离(forward-backward operator splitting)迭代，令Inter_loop＝1，设置最大内层循环次数max_inter；
(7)利用{Φi}、和u进行向前步骤，得到迭代过程变量v；
(8)用非局部全变差(Non-local total variation)和可控核回归全变差(Steering kernel regressiontotal variation)为正则项得到最优化式子，然后使用分离的Bregman迭代算法求解最优化式子得到新的u；
(9)将Inter_loop>max_inter作为循环终止条件，若Inter_loop不满足大于max_inter的条件，则在将 Inter_loop的值增加1后返回步骤(7)，否则直接执行步骤(10)；
(10)利用{Φi}、u和初始帧序列{fi}进行当前帧序列的更新；
(11)将Middle_loop>max_middle作为循环终止条件，若Middle_loop不满足大于max_middle的条件，则在将Middle_loop值增加1后返回步骤(5)，否则直接执行步骤(12)；
(12)将优化后的参考图像作为当前参考图像u，即
(13)利用当前参考图像u，对当前视频帧进行B-spline近似配准，去掉几何形变，得到配准后的视频帧序列{Hi}；
(14)对配准后的视频帧序列{Hi}进行低秩分解，得到结果作为新的参考图像u；
(15)将Out_loop>max_out作为循环终止条件，若Out_loop不满足大于max_out的条件，则在将 Out_loop的值增加1后返回步骤(4)，否则直接执行步骤(16)；
(16)使用空间加权核范数最小化(Space weighted nuclear normminimization)将配准以后的视频帧序列 {Hi}融合成一张近衍射极限图片Ifusion；
(17)将融合图片Ifusion进行去卷积处理，得到最后的去除大气扰动后的图片Ifinal。
在步骤(7)中，所述向前步骤的公式如下：
式中，δ是参数，一般情况下设置其值为1。
在步骤(8)中，所述最优化式子如下：
式中，λN和λS为参数，|dN|表示非局部全变差正则化项，|dS|表示可控核回归全变差正则化项，表达公式如下：
|dN＝(I-QN)u|
|dS＝(I-QS)u|
其中，
式中，是由非局部权重wN(i,j)串联得到的，Si表示与ui相似的图像块的位置集合，Li表示与ui相邻的图像块的位置集合，e1＝[1 0 … 0]T，WS表示可控核回归权重，WN表示非局部权重，其表达式如下：
式中，表示从u中取出以ui为中心的图像块，Ci是ui处水平以及竖直方向梯度的下方差矩阵， hN，hS是参数。
在步骤(8)中，所述使用分离的Bregman迭代算法求解最优化式子的迭代过程如下：
其中，
在步骤(10)中，所述更新的公式如下：
在步骤(16)中，所述使用空间加权核范数最小化的具体步骤如下：
(16.1)将每张帧图片分割成许多大小相等的图像块，用Hij表示第i个帧中以第j个像素为中心的图像块，初始化像素位置j；
(16.2)认为对于每个图像块Hij，在其他所有帧Hk上，同样中心在第j个像素的图像块Hkj都是Hij的相似块；将图像块Hij的所有行一次连接成一个向量Zij，然后再将Zij与它的所有相似块组合成一个矩阵Zj＝[H1j,H2j,...,Hnj]；
(16.3)对Zj进行奇异值分解得到Fj＝UΣVT，再使用加权核范数最优化进行去噪，得到其中SW(Σ)＝max(Σii-wi,0)，其中σi(Zj)为Zj的第i个奇异值，另外c＝2.8，ε＝10-16；
(16.4)对的每一列求平均值，得到一个以位置j为中心的图像块
(16.5)若对于所有中心位置j都得到了则进行步骤(16.6)，否则将j移到下一个中心位置，返回步骤(16.2)；
(16.6)将图像块序列拼凑成一副完整的图像Ifusion。
本发明从对参考图像进行优化入手，增加参考图像的细节，以使匹配后的图像序列更好，从而提升扰动去除结果，实现了一种基于变分正则化的大气扰动图像恢复方法，得到了视觉清晰以及细节丰富的恢复图像。
本发明具有以下突出优点：
1.本发明利用可控核回归全变差以及非局部全变差正则化项，对参考图像进行迭代优化，其中可控核回归全变差正则项保留了参考图像的局部结构，非局部全变差正则项保留了非局部的重复结构以及纹理。此方法可以很好地提高参考图像，本发明还使用了分离的Bregman算法，加快了计算速度。
2.本发明使用低秩逼近的方法，使用空间加权原子核范数最小化模型对视频帧序列进行融合优化，得到了一个去噪后的近衍射极限图像，最后通过去卷积得到了最后的清晰图片。通过实验证实，本发明所使用的方法对真实视频帧序列以及模拟视频帧序列都有很好地效果，并且优于当前其他最好的方法。
附图说明
图1是本发明的总体流程图；
图2是使用本发明和现有三种方法对烟囱的真实视频帧进行大气扰动去除后得到的图像；
图3是使用本发明和现有三种 方法对城市的模拟扰动视频进行大气扰动取出后得到的图像。
具体实施方式
参见图1，本发明实施例包括参考图像的生成与优化和视频帧的配准与融合两个部分。
一、参考图像的生成与优化：
步骤1，获取受到扰动的视频帧序列。
从网上下载远距离拍摄的对固定目标的视频，或者对一张清晰图片使用模拟软件，生成加上扰动效果后的畸变帧序列。这样我们就得到了初始帧序列{fi}。
步骤2，得到初始参考图像。
(2a)对初始帧序列{fi}，每个帧fi都用一个向量gi表示，gi的长度为fi的像素数量。这样我们可以用矩阵G＝[g1,g2,...,gn]表示{fi}，其中n为视频帧的数量。对G进行低秩分解得到G的低秩部分L， L也是一个大小为n*m的矩阵，对L的每一列求平均，在恢复成一个帧的矩阵形式，得到了初始图像I0。
(2b)将I0作为当前要优化的参考图像u。
步骤3，优化参考图像。
(3a)初始化Bregman距离(Bregman distance)迭代，令中层循环变量Middle_loop＝1，将初始帧序列 {fi}作为当前帧
(3b)对于当前帧序列中的每一帧利用B-spline配准方法计算参考图像到的形变矩阵Φi。
(3c)初始化向前-向后算子分离(forward-backward operator splitting)迭代，令Inter_loop＝1。
(3d)利用{Φi}、和u进行向前步骤得到v：
(3e)计算u的非局部权重以及可控核权重如下：
式中，表示从u中取出以ui为中心的图像块，Ci是ui处水平以及竖直方向梯度的下方差矩阵， hN＝20，hS＝2。
(3f)计算u的非局部全变差正则化项和可控核回归全变差正则化项如下：
|dN＝(I-QN)u|
|dS＝(I-QS)u|
其中，
式中，λN和λS为参数，是由非局部权重wN(i,j)串联得到的，Si表示与ui相似的图像块的位置集合，Li表示与ui相邻的图像块的位置集合，
(3g)根据以下迭代公式进行10次迭代计算：
其中，
(3h)若Inter_loop<＝3，在将Inter_loop的值增加1后返回步骤(3d)，否则直接执行步骤(3i)。
(3i)更新
(3j)若Middle_loop<＝3，则将Middle_loop值增加1后返回步骤(3b)，否则直接执行步骤(4a)。
步骤4，配准新的视频帧。
(4a)将优化后的参考图像作为当前参考图像：
(4b)利用当前参考图像u，对当前视频帧进行B-spline配准得到新的视频帧序列{Hi}。
步骤5，融合新视频帧。
(5a)将每张帧图片分割成许多大小相等的图像块，用Hij表示第i个帧中以第j个像素为中心的图像块。下面初始化像素位置j。
(5b)我们认为对于每个图像块Hij，在其他所有帧Hk上，同样中心在第j个像素的图像块Hkj都是 Hij的相似块。我们将图像块Hij的所有行一次连接成一个向量Zij，然后再将Zij与它的所有相似块组合成一个矩阵Zj＝[H1j,H2j,...,Hnj]。
(5c)对Zj进行奇异值分解得到Fj＝UΣVT，再使用加权核范数最优化进行去噪，得到其中SW(Σ)＝max(Σii-wi,0)，其中σi(Zj)为Zj的第i个奇异值，另外c＝2.8，ε＝10-16。
(5d)对的每一列求平均值，得到一个以位置j为中心的图像块
(5e)若对于所有中心位置j都得到了则进行步骤(5f)，否则将j移到下一个中心位置，返回步骤(5b)。
(5f)将图像块序列拼凑成一副完整的图像Ifusion。
步骤6，将融合图片Ifusion进行去卷积处理，得到最后的去除大气扰动后的图片Ifinal。
本发明通过以下实验进行优点和有效性的证明。
1.实验条件：
实验室用台式机参数：CPU为Inter(R)Core(TM)i7-2600，主频为3.40GHz，内存为4G，操作系统为 Win7 64位系统，实验平台为Matlab2014b。
实验室用本发明提出的基于变分正则化的大气扰动图像恢复方法，其中视频帧配准的方法见参考文献“Zhu X,Milanfar P.Removing atmospheric turbulence viaspace-invariant deconvolution[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2013,35(1):157-170.”
2.实验结果以及结果分析：
实验一，用本发明和现有的方法进行真实视频帧的大气扰动图像恢复。
从网络上下载一组从远处拍摄的烟囱的视频，它受到热空气的影响而产生了模糊。我们选取其中的100 帧进行实验，每一帧的大小为256×256，采用本发明和现有的三种方法分别进行扰动的去除。去除扰动的结果如图2所示，其中图2(a)是没受到扰动的真实图片；图2(b)是其中一张受到扰动的帧；图2(c) 是选取幸运图片的方法得到的结果；图2(d)是由O.Oreifej等人提出的TwoStage的方法得到的结果；图 2(e)是由X.zhu等人提出的NDL的方法得到的结果；图2(f)是本发明得到的结果。
图2的实验结果说明：从直观视觉上看，图2(c)、图2(d)和图2(e)的结果都很模糊，细节不清晰，丢失了真实图像的很多细节信息。图2(f)中则显得清晰了许多，细节丰富，整体上更接近真实图像。
实验二，用本发明和现有的方法进行模拟视频帧的大气扰动图像恢复。
从网络上下载一张从城市上空俯拍的图片，利用扰动模拟软件生成60帧的扰动模拟视频，每一帧的大小为256×256，采用本发明和现有的三种方法分别进行扰动的去除。去除扰动的结果如图3所示，每张图的表示和实验一中一致。表1给出了本发明与现有三种发明的PSNR和SSIM的对比结果。
图3和表1的实验结果说明：图3(b)中受到扰动的帧有着很大的扭曲和模糊；图3(c)和图3(e) 虽然矫正了扭曲，但是还是很模糊，边缘杂乱，细节信息丢失严重；图3(d)的结果相比前面要清晰，但还是略显模糊，桥的两头一边大一边小，与真实图片差距略大；图3(f )的结果相比前面的图都要好，图像清晰，扭曲较少，细节信息更丰富，与真实图片最为接近。表1中，本发明的PSNR和SSIM值都高于现有的三种方法。
表1
| 幸运图片 | TwoStage | NDL | 本发明 | |
| PSNR | 20.3783 | 21.9903 | 21.2538 | 22.9349 |
| SSIM | 0.45 | 0.6448 | 0.53 | 0.7486 |
本发明主要解决了由于大气扰动造成视频时空变化的模糊及噪声的问题。其主要的实现步骤是：1) 获取对固定目标的受到大气干扰的视频帧或者用模拟软件对一张图片附加模拟扰动以生成一组视频帧。2) 对视频帧进行低秩分解，得到初始参考图像。3)使用基于非局部全变差正则项与可控核回归正则项的优化模型对参考图像进行优化，并用分离的Bregman算法实现加快该优化过程。4)用优化后的参考图像对视频帧进行B样条插值配准，得到经过配准后的视频帧。5)使用空间加权核范数最小化，将配准后的视频帧融合成一张近衍射极限图片。6)对近衍射极限图片进行去卷积处理，得到最后的去除了模糊和噪声的图片。本发明可用于高空对地观测、远距离监控等。
Claims (6)
1.基于变分模型以及低秩逼近的大气扰动的去除方法，包括：
(1)有一组在空中拍摄固定目标的视频帧序列{fi}，它们受到了大气扰动的影响而产生了模糊和畸变；
(2)对视频帧序列{fi}进行低秩分解，得到初始参考图像I0；
(3)令Out_loop为外层迭代变量，初始化Out_loop＝1，设置最大外层循环次数max_out，将I0作为当前要优化的参考图像u；
(4)中层迭代为Bregman距离(Bregman distance)迭代，令Middl_loop为中层迭代变量，初始化Middle_loop＝1，设置最大中层循环次数max_middle，将初始帧序列{fi}作为当前帧
(5)对于当前帧序列中的每一帧利用B-spline配准方法计算参考图像到的形变矩阵Φi；
(6)内层迭代为向前-向后算子分离迭代，令Inter_loop为内层迭代变量，初始化Inter_loop＝1,设置最大内层循环次数max_inter；
(7)利用{Φi}、和u进行向前步骤，得到迭代过程变量v；
(8)用非局部全变差和可控核回归全变差为正则项得到最优化式子，然后使用分离的Bregman迭代算法进行求解最优化式子得到新的u；
(9)将Inter_loop>max_inter作为循环终止条件，若Inter_loop不满足大于max_inter的条件，在将Inter_loop的值增加1后返回步骤(7)，否则直接执行步骤(10)；
(10)利用{Φi}、u和初始帧序列{fi}进行当前帧序列的更新；
(11)将Middle_loop>max_middle作为循环终止条件,若Middle_loop不满足大于max_middle的条件，则在将Middle_loop值增加1后返回步骤(5)，否则直接执行步骤(12)；
(12)将优化后的参考图像作为当前参考图像u，即
(13)利用当前参考图像u，对当前视频帧进行B-spline近似配准，去掉几何形变，得到配准后的视频帧序列{Hi}；
(14)对配准后的视频帧序列{Hi}进行低秩分解，得到结果作为新的参考图像u；
(15)将Out_loop>max_out作为循环终止条件，若Out_loop不满足大于max_out的条件，在将Out_loop的值增加1后返回步骤(4)，否则直接执行步骤(16)；
(16)使用空间加权原子核范数最小化将配准以后的视频帧序列{Hi}融合成一张近衍射极限图片Ifusion；
(17)将融合图片Ifusion进行去卷积处理，得到最后的去除大气扰动后的图片Ifinal。
2.根据权利要求1所述基于变分模型以及低秩逼近的大气扰动的去除方法，其特征在于在步骤(7)中，所述的向前步骤的公式如下：
式中，δ是用户设置的参数，δ＝1，Φi是步骤(5)中利用B-spline方法，将参考图像配准到观测图像得到的变换矩阵。
3.根据权利要求2所述的基于变分模型以及低秩逼近的大气扰动的去除方法，其特征在于在步骤(8)中，所述的用非局部全变差和可控核回归全变差为正则项建立优化模型，其计算步骤如下：
3.1)计算非局部全变差，其式子如下：
其中，wN(i,j)是中心点位于xi和中心点位于xj的两个图像块的相似性度量，P(xi)表示与中心点位于xi的图像块相似的所有图像块的位置索引，图像块的相似性度量wN(i,j)的计算如下，
其中，hn是用户指定的参数，hn＝20，表示从参考图像u中提取图像块，其中心点位于xi；
3.2)计算可控核回归全变差，其计算式子如下：
其中，表示xi的邻域；ws(i,j)是可控核回归计算得到的权重矩阵；在参考图像中，对xi点的像素值的可控核回归计算式子如下：
其中，y是一维向量，由xi邻域的像素值组成；
Ψ是多项式的基形成的矩阵，其形式如下：
其中，
其中，Ci是xi处水平以及竖直方向梯度的协方差矩阵，hk是用户指定的参数，hk＝1；
核回归的系数β的解为：β＝(ΨTKΨ)-1ΨTKy，其中，K是对角矩阵，
取求解β的系数矩阵的第一行，就形成了可控核回归的对应权值，
WS(i)＝eT(ΨTKΨ)-1ΨTK＝[ws(i,1) ws(i,2) … ws(i,l)]，其中，e1＝[1 0 … 0]T是单位矩阵I的第一列；
3.3)步骤(8)所述的最优化式子如下：
式中，λN,λS是用户设置的参数，λN＝λS＝0.25，|dN|＝|▽Nu|,表示非局部全变差正则化项，|dS|＝|▽Su|,表示可控核回归全变差正则化项，整理得到矩阵表达式如下：
|dN|＝|▽Nu|＝||(I-QN)u||1
|dS|＝|▽Su|＝||(I-QS)u||1
其中，||||1表示向量的1范数，I为单位矩阵；
式中，Si表示与ui相似的图像块的位置集合，Li表示与ui相邻的图像块的位置集合。
4.根据权利要求3所述的基于变分模型以及低秩逼近的大气扰动的去除方法，其特征在于在步骤(8)中，所述使用分离的Bregman迭代算法求解上述最优化式子的迭代过程如下：
其中，I是单位矩阵，Φi是步骤(5)所述的形变矩阵，λN、λS、μ是用户设定的参数， 为求解优化问题过程中设置的中间参数，初始值设置为：
shrinkage为收缩函数，它的表达式为:
其中x,y是shrinkage函数的自变量。
5.根据权利要求4所述的基于变分模型以及低秩逼近的大气扰动的去除方法，其特征在于在步骤(10)中，所述更新公式如下：
其中,Φi是步骤(5)所述的形变矩阵，fi为初始第i帧，是对第i个初始帧的更新。
6.根据权利要求1所述的基于变分模型以及低秩逼近的大气扰动的去除方法，其特征在于在步骤(16)中，所述的空间加权核范数最小化模型具体步骤如下：
(16.1)将每帧图片分割成许多大小相等的图像块，用Hij表示第i个帧中以第j个像素为中心的图像块，下面初始化像素位置j；
(16.2)认为对于每个图像块Hij，在其他所有帧Hk上，同样中心在第j个像素的图像块Hkj都是Hij的相似块， 将图像块Hij的所有行依次连接成一个向量Zij，然后再将Zij与它的所有相似块组合成一个矩阵Zj＝[H1j,H2j,...,Hnj]；
(16.3)对Zj进行奇异值分解得到Zj＝U∑VT，其中U是左特征矩阵，V是右特征矩阵，∑是对角阵，再使用加权核范数最优化进行去噪，得到其中SW(∑)＝max(∑ii-wi,0)，其中σi为奇异值算子，σi(Zj)表示Zj的第i个奇异值，n为视频帧的数量，另外，c＝2.8，ε＝10-16；
(16.4)对的每一列求平均值，得到一个以位置j为中心的图像块
(16.5)若对于所有中心位置j都得到了则进行步骤(16.6)，否则将j移到下一个中心位置，返回(16.2)；
(16.6)将图像块序列拼凑成一副完整的图像Ifusion。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510385409.4A CN104978721B (zh) | 2015-06-30 | 2015-06-30 | 基于变分正则化的大气扰动图像恢复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510385409.4A CN104978721B (zh) | 2015-06-30 | 2015-06-30 | 基于变分正则化的大气扰动图像恢复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104978721A CN104978721A (zh) | 2015-10-14 |
| CN104978721B true CN104978721B (zh) | 2019-02-15 |
Family
ID=54275201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510385409.4A Expired - Fee Related CN104978721B (zh) | 2015-06-30 | 2015-06-30 | 基于变分正则化的大气扰动图像恢复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104978721B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596222B (zh) * | 2018-04-11 | 2021-05-18 | 西安电子科技大学 | 基于反卷积神经网络的图像融合方法 |
| CN110095437B (zh) * | 2019-05-20 | 2022-01-07 | 中国人民解放军国防科技大学 | 一种区域海水透明度实时计算方法 |
| CN111445505B (zh) * | 2020-03-25 | 2023-05-30 | 哈尔滨工程大学 | 一种基于二次配准的水对空成像畸变校正算法 |
| CN117974655B (zh) * | 2024-03-29 | 2024-07-19 | 大连傲盈科技有限公司 | 基于计算机视觉的沥青道路质量检测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102236887A (zh) * | 2011-03-11 | 2011-11-09 | 贵州大学 | 基于旋转差分和加权总变分的运动模糊图像复原方法 |
| CN104616249A (zh) * | 2014-11-24 | 2015-05-13 | 南京信息工程大学 | 一种基于曲率变分的小波变换图像去噪算法 |
-
2015
- 2015-06-30 CN CN201510385409.4A patent/CN104978721B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102236887A (zh) * | 2011-03-11 | 2011-11-09 | 贵州大学 | 基于旋转差分和加权总变分的运动模糊图像复原方法 |
| CN104616249A (zh) * | 2014-11-24 | 2015-05-13 | 南京信息工程大学 | 一种基于曲率变分的小波变换图像去噪算法 |
Non-Patent Citations (1)
| Title |
|---|
| Removing atmospheric turbulence via space-invariant deconvolution;Xiang Zhu et al.;《IEEE Transactions on pattern analysis and machine intelligence》;20130131;第35卷(第1期);第157-170页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104978721A (zh) | 2015-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110992262B (zh) | 一种基于生成对抗网络的遥感图像超分辨重建方法 | |
| CN111524068B (zh) | 一种基于深度学习的变长输入超分辨率视频重建方法 | |
| CN103761710B (zh) | 基于边缘自适应的高效图像盲去模糊方法 | |
| Yair et al. | Multi-scale weighted nuclear norm image restoration | |
| Zhang et al. | Learning deep CNN denoiser prior for image restoration | |
| CN108932693B (zh) | 基于人脸几何信息的人脸编辑补全方法及装置 | |
| CN104978721B (zh) | 基于变分正则化的大气扰动图像恢复方法 | |
| CN104008538B (zh) | 基于单张图像超分辨率方法 | |
| CN102208100B (zh) | 基于Split Bregman 迭代的全变差正则化图像盲复原方法 | |
| CN103150713B (zh) | 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法 | |
| CN105023240B (zh) | 基于迭代投影重建的字典类图像超分辨率系统及方法 | |
| CN110176023B (zh) | 一种基于金字塔结构的光流估计方法 | |
| CN105825477A (zh) | 基于多字典学习与非局部信息融合的遥感图像超分辨率重建方法 | |
| CN105513033B (zh) | 一种非局部联合稀疏表示的超分辨率重建方法 | |
| CN112598587B (zh) | 一种联合人脸去口罩和超分辨率的图像处理系统和方法 | |
| CN106204472A (zh) | 基于稀疏特性的视频图像去模糊方法 | |
| CN113269682B (zh) | 一种结合帧间信息的非均匀运动模糊视频复原方法 | |
| KR101341871B1 (ko) | 비디오 디블러링 방법 및 그 장치 | |
| Song et al. | TUSR-Net: triple unfolding single image dehazing with self-regularization and dual feature to pixel attention | |
| CN105931195B (zh) | 一种合成孔径雷达图像噪声抑制方法 | |
| Xia et al. | Meta-learning-based degradation representation for blind super-resolution | |
| CN111127353B (zh) | 一种基于块配准和匹配的高动态图像去鬼影方法 | |
| CN112200752A (zh) | 一种基于er网络多帧图像去模糊系统及其方法 | |
| Shao et al. | Nonparametric blind super-resolution using adaptive heavy-tailed priors | |
| CN108171124B (zh) | 一种相似样本特征拟合的人脸图像清晰化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190215 Termination date: 20210630 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |