CN110223242A - 一种基于时空域残差生成对抗网络的视频湍流移除方法 - Google Patents
一种基于时空域残差生成对抗网络的视频湍流移除方法 Download PDFInfo
- Publication number
- CN110223242A CN110223242A CN201910375101.XA CN201910375101A CN110223242A CN 110223242 A CN110223242 A CN 110223242A CN 201910375101 A CN201910375101 A CN 201910375101A CN 110223242 A CN110223242 A CN 110223242A
- Authority
- CN
- China
- Prior art keywords
- turbulent flow
- network
- image
- sequence
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 20
- 101710099060 Tectonic Proteins 0.000 claims abstract description 4
- 239000010410 layer Substances 0.000 claims description 53
- 230000006870 function Effects 0.000 claims description 46
- 238000001228 spectrum Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 12
- 230000008447 perception Effects 0.000 claims description 10
- 239000011229 interlayer Substances 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 230000008901 benefit Effects 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000008439 repair process Effects 0.000 claims description 3
- 230000002195 synergetic effect Effects 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 230000003287 optical effect Effects 0.000 abstract description 4
- 230000002123 temporal effect Effects 0.000 abstract description 3
- 230000001737 promoting effect Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 20
- 238000011084 recovery Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003909 pattern recognition Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000007850 degeneration Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000001976 improved effect Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 244000309464 bull Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明一种基于时空域残差生成对抗网络的视频湍流移除方法，步骤如下：步骤一：由湍流移除网络G实现高质量湍流移除图像的生成；步骤二：利用湍流存在性判别网络D对生成湍流移除图像进行分类判别；步骤三：构造序列感知损失函数Lseries。本发明引入三维视频处理单元提升对于时域特征的提取能力和质量，利用残差模块和全局残差连接提升信息流的传递效率，加速网络的训练和收敛。通过序列感知损失函数对湍流图像的几何畸变、光闪烁和模糊等现象进行校正，利用基于序列输入的生成对抗损失保持图像细节特征和时域上的连续性，生成清晰的湍流移除图像。本发明可以与视频监控系统、远距离监视系统等应用密切结合，具广阔的市场前景与应用价值。
Description
技术领域
本发明涉及一种基于时空域残差生成对抗网络(TSR-WGAN)的视频湍流去除方法，属于数字视频处理、模式识别和计算机视觉领域。它主要涉及卷积神经网络(CNN)和生成对抗策略(GAN)，具体涉及一种视频序列湍流移除模型。
背景技术
图像复原是利用单张或多张退化图像以及相应退化过程中的先验知识得到退化前理想图像的技术。图像的退化将严重影响相关顶层视觉处理任务的进行如目标探测、识别和解析等。因此图像复原是计算机视觉和模式识别领域当中一项具有重要意义的预处理技术。导致图像退化的主要原因包括两方面：成像设备的影响和成像外部环境的影响。退化的主要形式为噪声、模糊、几何畸变以及低分辨率等。针对图像具体退化原因和退化形式的差异，不同数学模型被应用于图像的复原中如高斯混合模型和各类贝叶斯框架等。湍流是引起图像退化的常见原因之一。由于不同物质吸收热辐射以及其比热容性质的不同，在一定的天气条件下，地面与其上层气体间将存在明显的温度差异，在热传递效应下，靠近地面的空气温度不断升高，性质稳定的空气流层不断变薄，下层热空气快速上升，导致局部空气在折射率上发生剧烈的变化，进而使光线传输路径发生变化，在成像上呈现出几何畸变同时伴随时变-空变的模糊效应。此类问题是高温环境下的常见问题，对远距离监视等相关军事领域应用有较大的影响。
目前，针对湍流影响下的退化图像，多数传统方法的基本框架是利用仅包含静态目标的退化图像序列恢复单帧高质量图像，主要包括图像融合和盲反卷积方法两类。M.A.Vorontsov提出了一种基于结合各向异性增益的非线性发展偏微分方程的图像合成算法(参见文献：沃龙佐夫,卡哈特.扰动介质条件下的非等晕成像:基于短曝光序列局部融合的图像恢复.美国光学协会,卷18,1312-1327,2001.(M.A.Vorontsov and G.W.Carhart,“Anisotropic imaging through turbulent media:image recovery by localinformation fusion from a set of short-exposure images,”J.Optical Soc.Am.A,vol.18,no.6,pp.1312-1324,2001))，该算法考虑各向异性增益且对短曝光视频帧序列中的lucky region同步进行提取和融合操作，得到不包含湍流的合成图像。M.Shimizu等人提出以消除了局部运动和全局运动的平均帧为基准，利用非严格配准算法对序列图像进行配准，之后使用多帧超分辨率重建对平均帧的细节细节进行恢复得到复原图像(清水,吉村,田中,奥富.湍流成像序列的超分辨率重建方法.美国电子电气工程师学会计算机视觉与模式识别国际会议.2008.(M.Shimizu,S.Yoshimura,M.Tanaka and M.Okutomi,“Super-Resolution from Image Sequence under Influence of Hot-Air OpticalTurbulence,”Proc.IEEE Conf.Computer Vision and Pattern Recognition,2008))。该算法通过平均帧消除湍流带来的几何畸变，利用多帧超分辨率重建消除平均帧中的模糊效应，得到了图像细节。N.Anantrasirichai等人在传统的配准-融合框架下，在进行感兴趣区域提取前进行高质量帧选取操作，并提出了基于对偶树复数域小波变换的区域级融合算法恢复退化图像(安南,阿希姆,金斯伯里,布尔.基于复数域曲波变换的湍流图像恢复方法.美国电子电气工程师学会图像处理汇刊.卷22,2398-2408,2013.(N.Anantrasirichai,A.Achim,N.G.Kingsbury,D.R.Bull,“Atmospheric Turbulence Mitigation UsingComplex Wavelet-Based Fusion,”IEEE Trans on Image Processing,vol.22,no.6,pp.2398-2408,2013))。M.Hirsch等人将湍流导致的图像退化作为一种空变的卷积运算，并提出了一种高效的反卷积运算框架对退化卷积核及原始图像的估计进行计算(赫希,斯拉,斯科尔科普夫,哈梅林.针对空域变化多框架反卷积的高效滤波算法.美国电子电气工程师学会计算机视觉与模式识别国际会议,2010.(M.Hirsch,S.Sra,B.Scholkopf andS.Harmeling,“Efficient Filter Flow for Space-Variant Multiframe BlindDeconvolution”,Proc IEEE Computer Vision and Pattern Recognition,pp.607-614,2010))。X.Zhu等人则基于配准后的序列图像利用时域核回归得到单帧近衍射受限的结果，建立空不变的退化模型并使用反卷积方法从图像中移除衍射受限模糊(朱,米拉法.基于空不变反卷积的湍流图像复原.美国电子电气工程师学会模式分析与机器智能汇刊.卷35,157-170，2013.(X.Zhu and P.Milanfar,“Removing Atmospheric Turbulence viaSpace-Invariant Deconvolution,”IEEE Trans.Pattern Analysis and MachineIntelligence,vol.35,no.1,pp.157-170,2013))。
相比单帧的湍流图像复原，湍流视频复原需要进一步考虑时间通道信息。通常来说，视频中除了包含部分静态的背景外，存在大量动态的目标，处理复杂度显著提升。单帧图像复原的模型对此类场景适应性较差。近年来，也出现了数种处理包含湍流视频的复原方法。B.Xue等人将基于相位的方法与图像的多尺度的表示、时域滤波器结合，对湍流视频进行处理(薛斌党,崔林燕,白相志,曹晓光,周付根.基于拉普拉斯-里斯金字塔的湍流环境下的视频稳定方法.光学快报,卷24,28092-28103,2016.(B.Xue,Y.Liu,L.Cui,X.Bai,X.Cao and F.Zhou,“Video stabilization in atmosphere turbulent conditionsbased on the Laplacian-Riesz pyramid,”Optic Express,vol.24,no.24,pp.28092-28103,2016))。首先使用Riesz变换得到图像的相位信息并利用拉普拉斯金字塔将图像分解，进而通过时域低通滤波器对各层金字塔的幅值特征图和相位特征图进行滤波并复原金字塔得到湍流移除后的视频。相似地，Zhang等人在基于相位和滤波的方法的基础上，考虑保留视频序列中的运动信息，利用帧间信息差异计算掩码阵将运动物体和静态背景分开处理，一定程度上缓解了复原视频中运动物体位置受前后帧信息干扰的问题(张超,周付根,薛斌党,薛文芳.一种基于单演信号的包含运动物体的湍流退化视频稳定方法.信号处理:图像通讯.卷63,19-28,2018.(C.Zhang,F.Zhou,B.Xue and W.Xue,“Stabilization ofatmospheric turbulence-distorted video containing moving objects using themonogenic signal,”Signal Processing:Image Communication,vol.63,pp.19-29,2018))。
上述算法中，针对单帧图像的复原方法处理对象单一，对输入序列图像要求较为严格，场景或视角的变化以及目标物的移动对复原结果有较为严重的影响；目前湍流视频的处理方法主要是基于复数域的滤波方法，得到的恢复结果通常伴随有较为明显的模糊，同时对物体的运动信息保留不理想，对大尺度场景变化极其敏感，因此对各类视频的普适性较差。同时两类方法运算时间都较长，离实时性目标存在较远的距离。为了提升湍流视频复原方法对变场景及运动目标的适应性，降低运算时间及各类模糊或振铃效应，本发明提出了一种基于时空域特征感知残差生成对抗网络(TSR-WGAN)的视频序列湍流移除方法，利用深度卷积网络构造多组三维的时域及空域特征提取器，有效提升复原结果质量和稳定性。
发明内容
针对上述问题，本发明的目的在于提供一种基于时空域特征感知残差生成对抗网络(TSR-WGAN)的视频序列湍流移除方法，为了提升湍流视频复原方法对变场景及运动目标的适应性，降低运算时间及各类模糊或振铃效应，利用深度卷积网络构造多组三维的时域及空域特征提取器，有效提升复原结果质量和稳定性。
为了实现这个目的，本发明的具体技术方案如下：
步骤一：由湍流移除网络G实现高质量湍流移除图像的生成
输入序列的时间和空间信息在三维视频序列处理单元中进行整合；随后利用包含多尺度卷积核的卷积层对整合得到的特征谱进行特征提取和降采样处理，并输入到串联的残差模块当中；最后利用全局残差连接将经过升采样得到的图像与输入序列中间帧图像相叠加作为最终的输出图像。具体过程如下：
生成网络G针对受湍流干扰图像特点进行了优化设计以增强对图像结构特征的表征能力和循环生成对抗网络的训练效率：
S11、由于湍流序列在时间方向上存在强关联性，序列在输入编码-解码器前在三维视频序列处理单元中进行处理，在将中间帧作为预设处理对象的基础上对序列进行分组，利用立体卷积提取分组序列在不同时域区间上的特征，最后进行降维并输入到二维的全卷积网络当中，三维视频处理单元的具体结构如图2所示；
S12、为了加快收敛速度，解决网络层数加深时训练困难等问题，在保证层间传递梯度流充足的同时充分利用来自前层网络的有效特征，前层卷积模块的输入将以恒等映射的形式与下层卷积模块的输出将叠加，即相邻两层卷积模块的基本功能为形成从输入到输出的残差映射，并在两卷积层之间引入随机失效层(Dropout)，以此为基本结构组成多组残差模块对图像进行特征提取，残差模块具体结构如图3所示；
S13、同时，在编码器-解码器结构中利用多尺度卷积核与不同步长的搭配生成不同尺度特征谱，并在卷积层间加入实例归一化与线性修正整流单元；基于湍流干扰形式的复杂性，构建全局残差连接，将解码器输出的特征图谱同输入目标帧叠加作为最终输出，约束主体网络结构学习移除清晰图像，提升网络在处理同场景不同退化形式图像序列的表达能力和鲁棒性，有效提升生成湍流移除图像质量。
利用湍流移除生成网络得G到湍流移除图像后，将其与前后帧参考图像共同送入湍流存在性判别网络D中进行进一步判别。
步骤二：利用湍流存在性判别网络D对生成湍流移除图像进行分类判别
采用Wasserstein对抗损失函数结合相邻参考帧条件输入加强对时域连续性的约束，提升判别网络训练的收敛速度和稳定性；引入梯度惩罚项对判别器梯度流的lp范数进行约束，优化网络参数的数值分布；同时在卷积层间引入实例归一化与修正线性整流单元提升D的判别性能。利用湍流存在性判别网络D得到的特征图谱计算全图均值，并在此基础上结合湍流移除生成网络G的生成图像进行损失函数的计算。
步骤三：构造序列感知损失函数Lseries
由于湍流图像中存在强度不一的模糊效应与几何畸变，基于原始图像的MAE或MSE损失函数无法充分表征恢复图像或受扰图像与参考图像间的真实距离。本发明将序列感知损失函数引入湍流移除生成网络中，利用预训练VGG-19网络提取序列图像的顶层抽象特征，在提取特征的基础上利用l2范数构造损失函数，对受扰图像中几何畸变和模糊进行恢复；同时利用Wasserstein对抗损失函数对图像中的细节和纹理部分进行修复，在对抗损失函数中使用条件输入，在湍流移除生成图像两端加入时域参考序列，增强生成序列在时域上的连贯性。湍流移除生成网络在上述两项损失函数的协同作用下生成高质量的湍流移除图像。
湍流移除生成网络G的损失函数具体组成如下：T时刻湍流移除图像与参考图像yT分别通过预训练VGG-16模型后，取第j层卷积层经修正线性单元激活后的特征谱和φj(yT)计算均方误差损失得到感知损失函数Lperceptual，并与基于Wasserstein距离的对抗损失函数相加得到Lseries，其表达式为：其中代表真实数据分布，代表模型数据分布，D(·)表示湍流存在性判别网络的输出，Cj，Hj和Wj分别为第j层修正线性单元激活特征谱的通道数、高和宽。相应地，湍流存在性判别网络D的损失函数为：
本发明采用ADAM优化，生成网络G和判别网络D的学习率设置均为10-4，通过梯度反向传播调整网络中的参数值降低相应的loss，最终生成清晰的湍流移除序列图像。
基于时空域残差生成对抗网络的视频湍流移除方法流程如图6所示，利用训练数据对生成对抗网络进行迭代训练，训练好的湍流移除生成网络G被用于移除待处理序列图像中的湍流效应。
本发明的优点及功效是：本发明基于生成对抗网络(Generative AdversarialNetwork)的基本框架，通过引入三维视频处理单元提升对于时域特征的提取能力和质量，并利用残差模块和全局残差连接提升信息流的传递效率，加速网络的训练和收敛。通过序列感知损失函数对湍流图像的几何畸变、光闪烁和模糊等现象进行校正，并利用基于序列输入的生成对抗损失保持图像的细节特征和在时域上的连续性，从而生成清晰的湍流移除图像。本发明算法可以与视频监控系统、远距离监视系统等应用密切结合，具有广阔的市场前景与应用价值。
附图说明
图1为基于时空域特征感知残差生成对抗网络(TSR-WGAN)的基本结构框架。
图2为基于立体卷积的三维视频处理单元的基本结构。
图3为用于湍流移除生成网络中的残差模块基本结构。
图4为湍流移除生成网络G的基本结构。
图5为湍流存在性判别网络D的基本结构。
图6为基于时空域残差生成对抗网络的视频湍流移除方法的流程图。
图7为本发明生成湍流移除图像效果。7a、7c、7e为受湍流影响的退化图像，7b、7d、7f为生成的湍流移除图像。
图8为本发明生成湍流移除视频序列效果，图像右侧虚线框部分为箭头所示列在时间方向上的合成。图8a、8c、8e为受湍流影响的退化视频序列，图8b、8d、8f为生成的湍流移除视频序列。
具体实施方式
为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。
本发明是一种基于时空域特征感知残差生成对抗网络(TSR-WGAN)的视频湍流移除方法，其网络结构与算法框架如图1所示，各部分具体实施细节步骤如下：
第一步：由湍流移除网络G实现高质量湍流移除图像的生成
湍流移除生成网络为全卷积结构，针对湍流视频序列图像特点设计了相应结构增强特征提取能力和传递效率，具体改进如下：
S11、由于湍流序列在时间方向上存在强关联性，序列在输入编码-解码器前在三维视频序列处理单元中进行处理。在基于立体卷积的三维视频处理单元中，包含2N-1帧图像的序列以将以第N帧作为预设处理对象，将序列分为包含N帧连续图像的N组不同序列，利用卷积核大小为3×3×D1、步长为1立体卷积提取分组序列在不同时域区间上的特征，并将卷积得到的不同组特征谱按照时间先后顺序连接，之后继续在得到的新的不同组特征谱上进行立体卷积操作，卷积核大小为3×3×D2，步长为1；最后再次对结果进行降维并输入到二维的全卷积网络当中，三维视频处理单元的具体结构如图2所示。
S12、为了加快收敛速度，解决网络层数加深时训练困难等问题，在编码器与解码器间加入了9个直接连接的残差模块，在保证层间传递梯度流充足的同时充分利用来自前层网络的有效特征，前层卷积模块的输入将以恒等映射的形式与下层卷积模块的输出将叠加，即相邻两层卷积模块的基本功能为形成从输入到输出的残差映射，并在两卷积层之间引入参数设置为0.5随机失效层(Dropout)，以此为基本结构组成多组残差模块对图像进行特征提取，残差模块由2个卷积核大小为3×3、步长为1的卷积层组成，前一卷积层后接实例归一化及修正线性整流单元，后一卷积层的输出经实例归一化后与前一卷积层的输入相加，得到该模块的输出，其具体结构如图3所示。
S13、在三维视频处理单元、编码器和残差单元中分别使用了大小为3×3、7×7和5×5大小的多尺度卷积核与不同步长的搭配在生成不同尺度特征谱，提升了卷积核感受野的尺度丰富性，增强了网络的特征提取能力；另外在卷积层间加入实例归一化与修正线性整流单元，有效提升生成湍流移除图像质量；基于湍流干扰形式的复杂性，构建全局残差连接，将解码器输出的特征图谱同输入目标帧叠加作为最终输出，约束主体网络结构学习移除清晰图像，提升网络在处理同场景不同退化形式图像序列的表达能力和鲁棒性，提升网络的收敛速度和生成帧的图像质量。
湍流移除生成网络具体结构如图4所示。输入序列图像经三维视频处理单元后送入编码器，编码器由一层卷积核大小为7×7、步长为1的卷积层以及两层卷积核大小为3×3、步长为2的卷积层组成；编码器输出的特征图谱经9个残差模块连接而成的处理单元后输入到解码器中；解码器由两个卷积核大小为3×3、步长为2的反卷积层和单个卷积核大小为7×7、步长为1的卷积层的卷积层组成，后接双曲正切函数对特征图谱进行激活，并与输入序列中间帧相加最终得到输出结果。本步骤中的输出将送入湍流存在性判别网络D中进行进一步判别。
步骤二：利用湍流存在性判别网络D对生成湍流移除图像进行分类判别
采用Wasserstein对抗损失函数结合相邻参考帧条件输入加强对时域连续性的约束。Wasserstein生成对抗网络中判别器损失函数为
LD＝D(G(x))-D(y) (1)
其中x为湍流移除生成网络的输入，y为参考图像。本发明在Wasserstein生成对抗网络判别器的基础上加入条件约束，引入相邻帧，利用时域信息辅助判别器对生成图像和参考图像进行识别，改进后的条件判别器损失函数为
LD＝D(yT-1,G(x)，yT+1)-D(yT-1，y，yT+1) (2)
其中yT-1和yT+1分别是T-1时刻和T+1时刻的参考图像。条件约束的引入有助于提升判别网络训练的收敛速度和稳定性。同时引入梯度惩罚项对判别器梯度流的lp范数进行约束，其表达式为
该项约束可以优化网络参数的数值分布，提升训练稳定性，有效抑制梯度爆炸和梯度消失等现象。同时在卷积层间引入实例归一化与弱修正线性整流单元等通用方法提升D的判别性能。具体地，判别器网络共包含6层卷积层，卷积核大小均为5×5，前5层卷积层后接有实例归一化与弱修正线性整流单元，最后一层卷积层为单个卷积核，步长设置为1，如图5所示。本步骤中得到的特征谱图将在求取均值之后进行损失函数的计算。
步骤三：构造序列感知损失函数Lseries
由于湍流图像中存在强度不一的模糊效应与几何畸变，基于原始图像的MAE或MSE损失函数无法充分表征恢复图像或受扰图像与参考图像间的真实距离。本发明将序列感知损失函数引入湍流移除生成网络中，利用预训练VGG-19网络提取序列图像的顶层抽象特征，在提取特征的基础上利用l2范数构造损失函数，对受扰图像中几何畸变和模糊进行恢复；同时利用基于Wasserstein距离的对抗损失函数对图像中的细节和纹理部分进行修复，在对抗损失函数中使用条件输入，在湍流移除生成图像两端加入时域参考序列，增强生成序列在时域上的连贯性。湍流移除生成网络在上述两项损失函数的协同作用下生成高质量的湍流移除图像。
湍流移除生成网络G的损失函数具体组成如下：T时刻湍流移除图像与参考图像yT分别通过预训练VGG-16模型后，取第j层卷积层经修正线性单元激活后的特征谱和φj(yT)计算均方误差损失得到感知损失函数Lperceptual，并与基于Wasserstein距离的对抗损失函数相加得到Lseries，其表达式为
其中代表真实数据分布，代表模型数据分布，D(·)表示湍流存在性判别网络的输出，Cj，Hj和Wj分别为第j层修正线性单元激活特征谱的通道数、高和宽。
相应地，湍流存在性判别网络D的损失函数为
本发明采用ADAM优化，生成网络G和判别网络D的学习率设置均为10-4，通过梯度反向传播调整网络中的参数值降低相应的loss，最终生成清晰的湍流移除序列图像。
基于时空域残差生成对抗网络的视频湍流移除方法流程如图6所示，利用训练数据对生成对抗网络进行迭代训练，训练好的湍流移除生成网络被用于移除待处理序列图像中的湍流效应。
为了直观上展示本发明的效果，图7展示了多例湍流图像恢复效果，其中图7a、7c、7e为受湍流影响退化图像，图7b、7d、7f由本发明生成的相应湍流移除图像。从图中可以看到恢复图像明显改善了存在于退化图像中的模糊与几何畸变，清晰度、对比度等均有显著提升。图8展示了生成图像序列在时间方向上的稳定性，其中图8a、8c、8e为受湍流影响退化视频序列，图8b、8d、8f由本发明生成的相应湍流移除视频序列。可以看出在同一场景下生成序列的相对于退化序列更为平稳，不规则波动得到了有效抑制。由于本发明针对视频图像序列构造了三维视频序列处理单元，加强了对时域信息的利用，并设计了序列感知损失函数，有效利用了丰富的顶层抽象特征、提升了生成序列的连贯性，因而本发明生成的恢复图像序列具有较高质量、清晰稳定。相比于其他湍流复原传统方法，能够生成更为清晰、对比度更高的复原结果，在变场景条件下具有较大优势，能在保留各物体运动信息的前提下有效移除湍流，因此可以广泛应用于不同场景下的视频监控及远距离监视等系统中。
Claims (4)
1.一种基于时空域残差生成对抗网络的视频湍流去除方法，其特征在于：该方法步骤如下：
步骤一：由湍流移除网络G实现高质量湍流移除图像的生成
输入序列的时间和空间信息在三维视频序列处理单元中进行整合；随后利用包含多尺度卷积核的卷积层对整合得到的特征谱进行特征提取和降采样处理，并输入到串联的残差模块当中；最后利用全局残差连接将经过升采样得到的图像与输入序列中间帧图像相叠加作为最终的输出图像；利用湍流移除生成网络得G到湍流移除图像后，将其与前后帧参考图像共同送入湍流存在性判别网络D中进行进一步判别；
步骤二：利用湍流存在性判别网络D对生成湍流移除图像进行分类判别
采用Wasserstein对抗损失函数结合相邻参考帧条件输入加强对时域连续性的约束，提升判别网络训练的收敛速度和稳定性；引入梯度惩罚项对判别器梯度流的lp范数进行约束，优化网络参数的数值分布；同时在卷积层间引入实例归一化与修正线性整流单元提升D的判别性能；利用湍流存在性判别网络D得到的特征图谱计算全图均值，并在此基础上结合湍流移除生成网络G的生成图像进行损失函数的计算；
步骤三：构造序列感知损失函数Lseries
将序列感知损失函数引入湍流移除生成网络中，利用预训练VGG-19网络提取序列图像的顶层抽象特征，在提取特征的基础上利用l2范数构造损失函数，对受扰图像中几何畸变和模糊进行恢复；同时利用Wasserstein对抗损失函数对图像中的细节和纹理部分进行修复，在对抗损失函数中使用条件输入，在湍流移除生成图像两端加入时域参考序列，增强生成序列在时域上的连贯性；湍流移除生成网络在上述两项损失函数的协同作用下生成高质量的湍流移除图像。
2.根据权利要求1所述的一种基于时空域残差生成对抗网络的视频湍流去除方法，其特征在于：所述步骤一的具体过程如下：
S11、由于湍流序列在时间方向上存在强关联性，序列在输入编码-解码器前在三维视频序列处理单元中进行处理，在将中间帧作为预设处理对象的基础上对序列进行分组，利用立体卷积提取分组序列在不同时域区间上的特征，最后进行降维并输入到二维的全卷积网络当中；
S12、为了加快收敛速度，解决网络层数加深时训练困难等问题，在保证层间传递梯度流充足的同时充分利用来自前层网络的有效特征，前层卷积模块的输入将以恒等映射的形式与下层卷积模块的输出将叠加，即相邻两层卷积模块的基本功能为形成从输入到输出的残差映射，并在两卷积层之间引入随机失效层，以此为基本结构组成多组残差模块对图像进行特征提取；
S13、同时，在编码器-解码器结构中利用多尺度卷积核与不同步长的搭配生成不同尺度特征谱，并在卷积层间加入实例归一化与线性修正整流单元；基于湍流干扰形式的复杂性，构建全局残差连接，将解码器输出的特征图谱同输入目标帧叠加作为最终输出，约束主体网络结构学习移除清晰图像，提升网络在处理同场景不同退化形式图像序列的表达能力和鲁棒性，有效提升生成湍流移除图像质量。
3.根据权利要求1所述的一种基于时空域残差生成对抗网络的视频湍流去除方法，其特征在于：所述步骤三的具体过程如下：
湍流移除生成网络G的损失函数具体组成如下：T时刻湍流移除图像与参考图像yT分别通过预训练VGG-16模型后，取第j层卷积层经修正线性单元激活后的特征谱和φj(yT)计算均方误差损失得到感知损失函数Lperceptual，并与基于Wasserstein距离的对抗损失函数相加得到Lseries，其表达式为：其中代表真实数据分布，代表模型数据分布，D(·)表示湍流存在性判别网络的输出，Cj，Hj和Wj分别为第j层修正线性单元激活特征谱的通道数、高和宽；相应地，湍流存在性判别网络D的损失函数为：
4.根据权利要求1所述的一种基于时空域残差生成对抗网络的视频湍流去除方法，其特征在于：采用ADAM优化，生成网络G和判别网络D的学习率设置均为10-4，通过梯度反向传播调整网络中的参数值降低相应的loss，最终生成清晰的湍流移除序列图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910375101.XA CN110223242B (zh) | 2019-05-07 | 2019-05-07 | 一种基于时空域残差生成对抗网络的视频湍流移除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910375101.XA CN110223242B (zh) | 2019-05-07 | 2019-05-07 | 一种基于时空域残差生成对抗网络的视频湍流移除方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110223242A true CN110223242A (zh) | 2019-09-10 |
| CN110223242B CN110223242B (zh) | 2021-08-10 |
Family
ID=67820576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910375101.XA Active CN110223242B (zh) | 2019-05-07 | 2019-05-07 | 一种基于时空域残差生成对抗网络的视频湍流移除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110223242B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110276728A (zh) * | 2019-05-28 | 2019-09-24 | 河海大学 | 一种基于残差生成对抗网络的人脸视频增强方法 |
| CN110705328A (zh) * | 2019-09-27 | 2020-01-17 | 江苏提米智能科技有限公司 | 一种基于二维码图像采集电力数据的方法 |
| CN110807749A (zh) * | 2019-11-06 | 2020-02-18 | 广西师范大学 | 基于密集多尺度生成对抗网络的单幅图像去雨滴方法 |
| CN110874827A (zh) * | 2020-01-19 | 2020-03-10 | 长沙超创电子科技有限公司 | 湍流图像复原方法、装置、终端设备及计算机可读介质 |
| CN111310582A (zh) * | 2020-01-19 | 2020-06-19 | 北京航空航天大学 | 基于边界感知和对抗学习的湍流退化图像语义分割方法 |
| CN111461772A (zh) * | 2020-03-27 | 2020-07-28 | 上海大学 | 一种基于生成对抗网络的视频广告融入系统与方法 |
| CN111738953A (zh) * | 2020-06-24 | 2020-10-02 | 北京航空航天大学 | 一种基于边界感知对抗学习的大气湍流退化图像复原方法 |
| CN111915506A (zh) * | 2020-06-19 | 2020-11-10 | 西安电子科技大学 | 一种序列图像条带噪声消除方法 |
| CN111986105A (zh) * | 2020-07-27 | 2020-11-24 | 成都考拉悠然科技有限公司 | 基于时域去噪掩码的视频时序一致性增强方法 |
| CN112446348A (zh) * | 2020-12-08 | 2021-03-05 | 电子科技大学 | 一种基于特征谱流的行为识别方法 |
| CN112546463A (zh) * | 2021-02-25 | 2021-03-26 | 四川大学 | 基于深度神经网络的放疗剂量自动预测方法 |
| CN112801900A (zh) * | 2021-01-21 | 2021-05-14 | 北京航空航天大学 | 一种基于双向循环卷积生成对抗网络的视频模糊去除方法 |
| CN113643220A (zh) * | 2021-08-11 | 2021-11-12 | 北京航空航天大学 | 一种物理信息驱动的红外图像湍流效应抑制方法及系统 |
| CN114757930A (zh) * | 2022-04-26 | 2022-07-15 | 西安电子科技大学 | 基于热传递的芯片硬件木马检测方法 |
| CN115358953A (zh) * | 2022-10-21 | 2022-11-18 | 长沙超创电子科技有限公司 | 一种基于图像配准和动态目标融合的去湍流方法 |
| CN117078538A (zh) * | 2023-07-19 | 2023-11-17 | 华中科技大学 | 一种基于像素运动统计的远距大气湍流图像的校正方法 |
| CN117456339A (zh) * | 2023-11-17 | 2024-01-26 | 武汉大学 | 一种基于多层次特征复用的图像质量评价方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103493094A (zh) * | 2011-01-28 | 2014-01-01 | 法国电力公司 | 包含液体媒介中的湍流效应的图像数据的处理 |
| CN104091314A (zh) * | 2014-07-22 | 2014-10-08 | 西北工业大学 | 基于边缘预测和稀疏比值正则约束的湍流退化图像盲复原方法 |
| US20150254813A1 (en) * | 2012-07-16 | 2015-09-10 | Flir Systems, Inc. | Methods and systems for suppressing atmospheric turbulence in images |
| CN108537746A (zh) * | 2018-03-21 | 2018-09-14 | 华南理工大学 | 一种基于深度卷积网络的模糊可变图像盲复原方法 |
| US20180324359A1 (en) * | 2017-05-02 | 2018-11-08 | Canon Kabushiki Kaisha | Image processing for turbulence compensation |
| CN109523482A (zh) * | 2018-11-14 | 2019-03-26 | 太原理工大学 | 一种基于深度神经网络的对含纹理退化图像的复原方法 |
-
2019
- 2019-05-07 CN CN201910375101.XA patent/CN110223242B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103493094A (zh) * | 2011-01-28 | 2014-01-01 | 法国电力公司 | 包含液体媒介中的湍流效应的图像数据的处理 |
| US20150254813A1 (en) * | 2012-07-16 | 2015-09-10 | Flir Systems, Inc. | Methods and systems for suppressing atmospheric turbulence in images |
| CN104091314A (zh) * | 2014-07-22 | 2014-10-08 | 西北工业大学 | 基于边缘预测和稀疏比值正则约束的湍流退化图像盲复原方法 |
| US20180324359A1 (en) * | 2017-05-02 | 2018-11-08 | Canon Kabushiki Kaisha | Image processing for turbulence compensation |
| CN108537746A (zh) * | 2018-03-21 | 2018-09-14 | 华南理工大学 | 一种基于深度卷积网络的模糊可变图像盲复原方法 |
| CN109523482A (zh) * | 2018-11-14 | 2019-03-26 | 太原理工大学 | 一种基于深度神经网络的对含纹理退化图像的复原方法 |
Non-Patent Citations (1)
| Title |
|---|
| WAI HO CHAK ET AL.: "Subsampled Turbulence Removal Network", 《ARXIV:1807.04418》 * |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110276728B (zh) * | 2019-05-28 | 2022-08-05 | 河海大学 | 一种基于残差生成对抗网络的人脸视频增强方法 |
| CN110276728A (zh) * | 2019-05-28 | 2019-09-24 | 河海大学 | 一种基于残差生成对抗网络的人脸视频增强方法 |
| CN110705328A (zh) * | 2019-09-27 | 2020-01-17 | 江苏提米智能科技有限公司 | 一种基于二维码图像采集电力数据的方法 |
| CN110807749A (zh) * | 2019-11-06 | 2020-02-18 | 广西师范大学 | 基于密集多尺度生成对抗网络的单幅图像去雨滴方法 |
| CN110807749B (zh) * | 2019-11-06 | 2022-11-25 | 联友智连科技有限公司 | 基于密集多尺度生成对抗网络的单幅图像去雨滴方法 |
| CN110874827A (zh) * | 2020-01-19 | 2020-03-10 | 长沙超创电子科技有限公司 | 湍流图像复原方法、装置、终端设备及计算机可读介质 |
| CN111310582A (zh) * | 2020-01-19 | 2020-06-19 | 北京航空航天大学 | 基于边界感知和对抗学习的湍流退化图像语义分割方法 |
| CN111461772A (zh) * | 2020-03-27 | 2020-07-28 | 上海大学 | 一种基于生成对抗网络的视频广告融入系统与方法 |
| CN111915506A (zh) * | 2020-06-19 | 2020-11-10 | 西安电子科技大学 | 一种序列图像条带噪声消除方法 |
| CN111915506B (zh) * | 2020-06-19 | 2023-10-03 | 西安电子科技大学 | 一种序列图像条带噪声消除方法 |
| CN111738953A (zh) * | 2020-06-24 | 2020-10-02 | 北京航空航天大学 | 一种基于边界感知对抗学习的大气湍流退化图像复原方法 |
| CN111986105B (zh) * | 2020-07-27 | 2024-03-26 | 成都考拉悠然科技有限公司 | 基于时域去噪掩码的视频时序一致性增强方法 |
| CN111986105A (zh) * | 2020-07-27 | 2020-11-24 | 成都考拉悠然科技有限公司 | 基于时域去噪掩码的视频时序一致性增强方法 |
| CN112446348B (zh) * | 2020-12-08 | 2022-05-31 | 电子科技大学 | 一种基于特征谱流的行为识别方法 |
| CN112446348A (zh) * | 2020-12-08 | 2021-03-05 | 电子科技大学 | 一种基于特征谱流的行为识别方法 |
| CN112801900A (zh) * | 2021-01-21 | 2021-05-14 | 北京航空航天大学 | 一种基于双向循环卷积生成对抗网络的视频模糊去除方法 |
| CN112546463B (zh) * | 2021-02-25 | 2021-06-01 | 四川大学 | 基于深度神经网络的放疗剂量自动预测方法 |
| CN112546463A (zh) * | 2021-02-25 | 2021-03-26 | 四川大学 | 基于深度神经网络的放疗剂量自动预测方法 |
| CN113643220B (zh) * | 2021-08-11 | 2023-07-14 | 北京航空航天大学 | 一种物理信息驱动的红外图像湍流效应抑制方法及系统 |
| CN113643220A (zh) * | 2021-08-11 | 2021-11-12 | 北京航空航天大学 | 一种物理信息驱动的红外图像湍流效应抑制方法及系统 |
| CN114757930B (zh) * | 2022-04-26 | 2022-12-06 | 西安电子科技大学 | 基于热传递的芯片硬件木马检测方法 |
| CN114757930A (zh) * | 2022-04-26 | 2022-07-15 | 西安电子科技大学 | 基于热传递的芯片硬件木马检测方法 |
| CN115358953A (zh) * | 2022-10-21 | 2022-11-18 | 长沙超创电子科技有限公司 | 一种基于图像配准和动态目标融合的去湍流方法 |
| CN117078538A (zh) * | 2023-07-19 | 2023-11-17 | 华中科技大学 | 一种基于像素运动统计的远距大气湍流图像的校正方法 |
| CN117078538B (zh) * | 2023-07-19 | 2024-02-13 | 华中科技大学 | 一种基于像素运动统计的远距大气湍流图像的校正方法 |
| CN117456339A (zh) * | 2023-11-17 | 2024-01-26 | 武汉大学 | 一种基于多层次特征复用的图像质量评价方法及系统 |
| CN117456339B (zh) * | 2023-11-17 | 2024-05-17 | 武汉大学 | 一种基于多层次特征复用的图像质量评价方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110223242B (zh) | 2021-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110223242A (zh) | 一种基于时空域残差生成对抗网络的视频湍流移除方法 | |
| Chen et al. | Haze removal using radial basis function networks for visibility restoration applications | |
| CN110443761B (zh) | 一种基于多尺度聚合特征的单幅图像去雨方法 | |
| CN112365414B (zh) | 一种基于双路残差卷积神经网络的图像去雾方法 | |
| CN104282003B (zh) | 一种基于梯度筛选的数字模糊图像盲复原方法 | |
| CN106920220A (zh) | 基于暗原色和交替方向乘子法优化的湍流图像盲复原方法 | |
| CN111553851B (zh) | 一种基于时间域的雨线分解和空间结构引导的视频去雨方法 | |
| CN110889895A (zh) | 一种融合单帧重建网络的人脸视频超分辨率重建方法 | |
| CN109410144A (zh) | 一种基于深度学习的端到端图像去雾处理方法 | |
| CN111986108A (zh) | 一种基于生成对抗网络的复杂海空场景图像去雾方法 | |
| CN110610467B (zh) | 一种基于深度学习的多帧视频去压缩噪声方法 | |
| CN112991450B (zh) | 一种基于小波的细节增强无监督深度估计方法 | |
| CN112241939B (zh) | 一种基于多尺度和非局部的轻量去雨方法 | |
| CN113222819B (zh) | 一种基于深度卷积神经网络的遥感图像超分辨重建方法 | |
| CN104732480B (zh) | 一种基于非局部正则化模型的遥感图像超分辨方法 | |
| CN113643220B (zh) | 一种物理信息驱动的红外图像湍流效应抑制方法及系统 | |
| CN114494050A (zh) | 一种基于事件相机的自监督视频去模糊和图像插帧方法 | |
| CN112215140A (zh) | 一种基于时空对抗的3维信号处理方法 | |
| CN105069764A (zh) | 一种基于边缘跟踪的图像去噪方法及系统 | |
| CN107369146A (zh) | 一种高性能红外图像处理系统 | |
| Gao et al. | Motion deblurring algorithm for wind power inspection images based on Ghostnet and SE attention mechanism | |
| CN102999889A (zh) | 一种保护显著边缘的图像降噪处理方法 | |
| Wei et al. | Single Image Desnow Based on Vision Transformer and Conditional Generative Adversarial Network for Internet of Vehicles. | |
| CN110853040A (zh) | 一种基于超分辨率重建的图像协同分割方法 | |
| CN117495723B (zh) | 基于分波段处理的不成对数据遥感图像薄云去除方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |