CN113643220B - 一种物理信息驱动的红外图像湍流效应抑制方法及系统 - Google Patents
一种物理信息驱动的红外图像湍流效应抑制方法及系统 Download PDFInfo
- Publication number
- CN113643220B CN113643220B CN202110917770.2A CN202110917770A CN113643220B CN 113643220 B CN113643220 B CN 113643220B CN 202110917770 A CN202110917770 A CN 202110917770A CN 113643220 B CN113643220 B CN 113643220B
- Authority
- CN
- China
- Prior art keywords
- turbulence
- loss function
- sequence
- module
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000694 effects Effects 0.000 title claims abstract description 83
- 230000001629 suppression Effects 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000005259 measurement Methods 0.000 claims abstract description 80
- 230000015556 catabolic process Effects 0.000 claims abstract description 23
- 238000006731 degradation reaction Methods 0.000 claims abstract description 23
- 238000009826 distribution Methods 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 115
- 238000012549 training Methods 0.000 claims description 29
- 230000004927 fusion Effects 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 238000007670 refining Methods 0.000 claims 1
- 230000005764 inhibitory process Effects 0.000 abstract description 4
- 230000002401 inhibitory effect Effects 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000003909 pattern recognition Methods 0.000 description 5
- 230000002457 bidirectional effect Effects 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000017525 heat dissipation Effects 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000006244 Medium Thermal Substances 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种物理信息驱动的红外图像湍流效应抑制方法及系统，基本步骤如下：1)利用湍流抑制模块产生抑制了湍流效应的重建序列；2)由湍流参数测量模块测量湍流场参数及其二维分布；3)构造损失函数对整个网络进行训练；4)用训练好的网络处理湍流退化红外图像序列。本发明提出的物理信息驱动的深度神经网络PSDNN能够同时实现湍流物理参数的准确测量和红外图像湍流效应的有效抑制，可以用于动态场景下红外湍流退化序列中湍流效应的抑制和湍流场二维物理参数的测量，在计算机视觉、军事、航空航天、大气科学等领域具有广阔的使用价值和应用前景。
Description
技术领域
本发明涉及一种物理信息驱动的红外图像湍流效应抑制方法及系统，属于数字视频处理、模式识别、计算机视觉和流体力学领域。在计算机视觉、军事、航空航天、大气科学等领域具有广阔的应用前景。
背景技术
大气湍流光介质中折射率的随机变化导致热红外图像出现强随机性几何畸变、介质热辐射变化导致热红外图像出现灰度漂移、光线扰动造成热量耗散导致图像出现细节模糊等效应，严重影响了红外精确制导所依赖的远距离热红外成像质量。值得注意的是，湍流效应造成的热红外图像降质由光传播介质折射率的剧烈变化导致，与目标或成像器件运动造成的图像模糊在产生机理与表现形式上都有本质不同且更为复杂，这使得热红外图像湍流效应的抑制十分复杂且具有极高科学价值。
截至目前，现有的图像湍流效应抑制算法可以分为基于反卷积的算法和基于图像配准融合的算法两类。其中基于反卷积的技术分为非盲反卷积和盲反卷积两种，早期以非盲反卷积算法为主，如Babcock H W通过分析点扩散函数PSF(point spread function)或传感器信息等获取先验知识，然后对湍流图像进行反卷积复原(参见文献:巴布科克等,补偿天文观测的可能性.太平洋天文学会出版物,1953,229-236.(Babcock H W.Thepossibility of compensating astronomical seeing[J].Publications of theAstronomical Society of the Pacific,1953,65(386):229-236.))。后期则是对先验知识依赖性更弱的盲反卷积技术得到了更多的关注，例如Dainty等人提出了一种基于单帧迭代的湍流图像盲反卷积复原算法，该算法通过迭代优化来不断提高复原图像的质量(参见文献:艾尔斯等,迭代盲反卷积方法及其应用,光学快报,1988,547-549.(Ayers G R,Dainty J C.Iterative blind deconvolution method and its applications[J].Optics Letters,1988,13(7):547-549.))。后来Lane等人对该算法进行改进，配合逆滤波技术提高了复原算法的鲁棒性(参见文献:莱恩等,散斑图像的盲去卷积,美国光学学会杂志,1992,1508-1514.(Lane R G.Blind deconvolution of speckle images[J].Journalof the Optical Society of America A,1992,9(9):1508-1514.))。进入21世纪，基于盲反卷积的湍流图像复原技术越来越成熟。Hirsch等人分析了湍流退化模型，将湍流导致的图像退化视为一种空域变化的卷积运算，然后设计了一种高效的反卷积运算框架对退化图像进行复原(参考文献:赫希等,空变多帧盲解卷积的高效滤波器流,美国电气与电子工程师学会计算机视觉和模式识别学会,2010,607-614.(Hirsch M,Sra S,
B,etal.Efficient filter flow for space-variant multiframe blind deconvolution[A]//IEEE Conference on Computer Vision and Pattern Recognition[C].Piscataway,NJ:IEEE,2010:607-614.))。Zhu等人将时域、空域变化的去模糊问题简化为移不变的去模糊问题，首先通过基于B样条的非刚性配准来抑制湍流图像的几何变形，然后采用盲反卷积的方法对图像进行去模糊处理得到最终的复原结果(参见文献:朱等,通过空间不变反卷积去除大气湍流,美国电气与电子工程师协会模式分析与机器智能学报,2012,157-170.(Zhu X,Milanfar P.Removing atmospheric turbulence via space-invariantdeconvolution[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2012,35(1):157-170.))。在基于图像配准融合的方法中，大多是由一段退化图像序列合成单张复原图像，如Shimizu等人首先配准序列图像，然后融合得到平均帧，再对平均帧进行超分辨率重建得到复原结果(参见文献:史弥足等,热空气光学湍流影响下图像序列的超分辨率,美国电气与电子工程师学会计算机视觉和模式识别学会,2008,1-8.(Shimizu M,Yoshimura S,Tanaka M,et al.Super-resolution from image sequenceunder influence of hot-air optical turbulence[A]//IEEE Conference on ComputerVision and Pattern Recognition[C].Piscataway,NJ:IEEE,2008:1-8.))。Anantrasirichai等人仅从高质量帧中选择感兴趣区域，然后对其他帧进行配准，最后利用基于双树复小波变换的区域级融合方法对湍流图像的几何畸变进行复原(参见文献:安纳特拉西里柴等,美国电气与电子工程师协会图像处理学报,2013,2398-2408.(Anantrasirichai N,Achim A,Kingsbury N G,et al.Atmospheric turbulencemitigation using complex wavelet-based fusion[J].IEEE Transactions on ImageProcessing,2013,22(6):2398-2408.))。上述算法都建立在简化大气湍流效应的基础上，大多只针对静态场景的单一图像，往往对包含运动信息的湍流退化图像序列或视频的复原无能为力。目前针对湍流退化图像序列的重建算法主要采用的是复数域的滤波算法，如Zhang等人使用低通滤波器缓解视频中的畸变，并使用掩膜分离目标和背景，目的是保留视频中的运动信息(参见文献:张等,使用单基因信号稳定包含运动物体的大气湍流失真视频,信号处理：图像通信学报,(Zhang C,Zhou F,Xue B,et al.Stabilization ofatmospheric turbulence-distorted video containing moving objects using themonogenic signal[J].Signal Processing:Image Communication,2018,63:19-29.))。
然而，以上方法均建立在简化大气湍流效应基础上，仅适用于弱湍流下的静态场景，且没有考虑热成像效应。实际上，真实大气湍流极为复杂，包含的中、强湍流影响更为严重。由于各向异性的介质运动和多尺度的能量聚合与耗散过程，导致穿过湍流介质的光波产生多种类型且不同程度的偏折、热量耗散和介质热辐射的随机变化，进而导致红外图像中多方向非均匀的强非线性几何畸变、灰度漂移和图像模糊，使得红外图像的湍流效应更为显著，造成现有方法根本无法处理热红外图像湍流效应。值得一提的是，折射率结构常数、温度结构常数等大气湍流关键物理参数描述了大气湍流介质中折射率、热辐射物理特性的空间分布、强度变化等统计学规律，与红外图像湍流效应的表现形式、剧烈程度和空间分布高度相关，可为红外图像湍流效应抑制提供有力先验。更为重要的是，深度学习网络因其庞大的参数量而具备强大的非线性学习与表示能力，如果能够在网络中进一步引入湍流关键物理参数作为先验引导，将可为解决红外图像的复杂湍流效应难题提供可能。基于此，本发明以解析大气湍流物理参数为导引，构造物理信息驱动的深度神经网络(PhysicallyStimulated Deep Neural Networks，简称PSDNN)，有效抑制复杂动态场景下的红外成像湍流效应。
发明内容
1、目的：针对上述问题，本发明目的在于提供一种物理信息驱动的红外图像湍流效应抑制方法及系统，基于深度学习技术构建物理信息驱动的深度神经网络PSDNN，结合湍流物理信息作为有效先验，驱动网络实现红外图像湍流效应的有效抑制。
2、技术方案：为了实现这个目的，本发明的技术方案整体思路是构建湍流参数测量与湍流效应抑制双向激励网络，使得湍流参数准确测量导引湍流效应高效抑制、湍流效应高效抑制促进湍流参数准确测量，形成湍流参数测量与湍流效应抑制双向激励的耦合训练过程，最终同时实现湍流参数的准确测量和红外图像湍流效应的高速高效抑制。本发明的算法技术思路主要体现在以下三个方面：
1)设计湍流参数测量与湍流效应抑制双向激励网络，其中湍流参数测量模块通过解析湍流图像获得折射率结构常数、温度结构常数等湍流关键物理参数，湍流抑制模块深度挖掘湍流退化红外图像序列时空域信息，产生抑制湍流效应的重建图像序列。
2)通过结合湍流物理信息和湍流图像信息构造参数测量损失函数和湍流抑制损失函数，为网络的训练提供有力物理先验知识。
3)湍流参数测量模块和湍流抑制模块耦合训练，使得湍流参数准确测量导引图像湍流效应有效抑制、湍流效应有效抑制促进湍流参数准确测量，最终同时实现湍流物理参数的准确测量和红外图像湍流效应的有效抑制。
本发明涉及一种物理信息驱动的红外图像湍流效应抑制方法，该方法具体步骤如下：
步骤一：由湍流抑制模块产生重建序列。湍流抑制模块接收湍流红外序列，并输出湍流效应抑制后的重建序列。湍流抑制模块首先使用由3D卷积神经网络(3D-CNN)组成的特征提取模块提取输入序列的特征，再通过以transformer为基本架构的特征融合模块提炼目标帧和其前后相邻2帧的有效特征，最后通过重建模块得到目标帧的湍流效应抑制后的结果，将每一帧的重建结果串联起来，得到红外序列的重建结果，即湍流效应抑制后的红外序列。
步骤二：湍流参数测量模块测量湍流场参数及其二维分布。湍流参数测量模块接收原始输入序列和湍流去除网络输出的重建序列，并输出测量的湍流场参数数值的二维分布，湍流参数测量模块不包含卷积层，完全由transformer编码器组成，目的是利用注意力机制有效获取输入序列的全局信息，进而准确解析湍流场物理参数。
步骤三：构造损失函数对整个网络进行训练。结合湍流物理信息和湍流图像信息构造测量损失函数和重建损失函数，其中测量损失函数用于衡量网络输出的湍流参数与参数标签之间的误差，重建损失函数用于衡量重建序列与参考理想序列之间的误差。湍流抑制模块同时在测量损失函数与重建损失函数的作用下训练，湍流参数测量模块则只在测量损失函数作用下训练。
输出：用训练好的网络处理湍流退化红外图像序列。在由湍流退化红外图像序列、参考理想序列和对应湍流参数标签组成的训练数据上对网络进行充分迭代训练，训练好的网络可用于湍流退化红外图像序列中湍流效应的有效抑制和湍流参数的准确测量。
其中，所述步骤一具体如下：
1.1：使用特征提取模块提取输入序列的特征。传统用于图像的卷积神经网络由2D卷积层堆叠组合而成，卷积操作在空间域内进行，对于时序信息利用不够。为充分挖掘隐含在输入红外序列中的时空域信息，本发明使用3D卷积代替传统2D卷积，即将卷积核的维数扩展至3维，在进行卷积运算时将时间维度作为与图像宽、高等价的一个维度。输入序列经过数个由3D卷积层和残差连接组成的特征提取网络之后得到每一帧的特征图，用于后续理想序列的重建；
1.2：使用特征融合模块提炼特征。红外图像序列的湍流效应表现出随时间随机变化的特征，但是在一定时间范围的变化又体现出连续性和统计特性，因此仅使用目标帧的特征图重建目标帧的湍流效应抑制情况欠佳。本发明设计特征融合模块，融合目标帧和相邻帧特征图，再利用Transformer编码器对特征进行提炼；
1.3：使用重建模块得到抑制了湍流效应的重建序列。重建模块由数层转置卷积和残差块组成，对特征图进行解码，重建出抑制了湍流效应的理想红外图像，将每一帧的重建结果串联起来，得到整个输入的红外序列的重建结果。
其中，所述步骤二具体如下：
2.1：对重建序列与原始输入序列作差分，然后将图像按空间分块进行湍流参数测量。将原始输入图像块、重建图像块和差分图像块及它们的空间邻域图像按3个通道进行组合，作为输入到transformer的序列的一个元素。其中引入空间邻域图像的目的是扩大湍流参数测量模块的感受野，提高湍流物理参数测量准确度；
2.2：将组合后的图像展平至1维向量输入湍流参数测量模块，湍流参数测量模块只由Transformer编码器组成，目的是关注输入序列的全局信息，准确测量目标图像块对应湍流物理参数，湍流参数测量模块输出的物理参数包括折射率结构常数
温度T和温度结构常数/>
其中，所述步骤三具体如下：
3.1：物理信息驱动的深度神经网络PSDNN的损失函数包含两项：重建损失函数和测量损失函数。
重建损失函数是指重建序列与参考理想序列之间差值的损失函数，包括像素损失函数和感知损失函数，像素损失函数定义为重建的图像序列与参考清晰图像序列之间每个像素灰度值之间的均方误差(mean square error,MSE)；感知损失函数是指将重建图像与参考图像都输入到一个预先训练好的模型中(如Very Deep Convolutional Networks 19,Vgg19网络)，通过网络的输出获取二者的高维特征，再计算高维特征之间的均方误差MSE作为感知损失函数。
测量损失函数是衡量参数测量结果和参数标签之间差值的损失函数，包括内容损失函数和约束损失函数，内容损失函数是测量结果与标签之间的均方误差MSE，约束损失函数则是将湍流参数测量模块输出的3个物理参数带入物理公式
计算等式误差而得到，加入物理约束做损失函数可以为网络加入一个有力物理先验约束，提高网络的学习效率和泛化能力；
3.2：在训练数据上对PSDNN展开训练。其中湍流抑制模块同时由重建损失函数和测量损失函数进行监督训练，两者以加权和的形式组成湍流抑制模块的损失函数；湍流参数测量模块只由测量损失函数进行监督训练。训练过程中湍流抑制模块和湍流参数测量模块采用迭代更新参数的形式进行参数调整，使用Adam优化器进行参数优化调整。湍流抑制模块和湍流参数测量模块相互耦合、互相促进，最终同时实现湍流退化红外图像序列中湍流效应的有效抑制和湍流参数的准确测量。
一种物理信息驱动的红外图像湍流效应抑制系统，该系统基本结构框架和工作流程如图1所示，其特征在于，包括：
湍流抑制模块，用于抑制输入红外序列中的湍流效应，湍流抑制模块输出的重建序列与原始输入序列共同输入到湍流参数测量模块，用于完成后续湍流参数的测量。所述的湍流抑制模块进一步包括：
特征提取模块，用于充分挖掘输入序列的时空域信息，获取每一帧的特征图，特征图将输入到特征融合模块中进行融合；
特征融合模块，用于融合目标帧和相邻帧的有效特征，为目标帧的重建补充信息，特征融合模块的输出将输入到重建模块中完成目标帧的重建；
重建模块，用于产生抑制了湍流效应的重建图像；
所述的湍流抑制模块，通过全局残差连接将输入的目标帧与重建模块的输出相加，得到目标帧的重建结果；将每一帧的重建结果串联起来，得到去除湍流效应的重建序列；
湍流参数测量模块，用于解析原始输入序列和湍流抑制模块输出的重建序列的图像信息，输出序列对应的3项湍流物理参数：折射率结构常数
温度T和温度结构常数/>
损失函数计算模块，用于计算重建损失函数和测量损失函数；
网络训练模块，用于对整个物理信息驱动的深度神经网络PSDNN进行充分迭代训练，得到训练好的网络用于湍流退化红外图像序列中湍流效应的有效抑制和湍流参数的准确测量。
3、优点及功效：本发明提出的物理信息驱动的深度神经网络PSDNN，由湍流抑制模块和湍流参数测量模块构成，其中湍流抑制模块深度挖掘湍流退化红外图像序列的时空域信息，产生抑制湍流效应的理想图像，参数测量网络解析湍流图像获得折射率结构常数、温度结构常数等湍流关键参数；本发明通过结合湍流物理信息和湍流图像信息构造参数测量损失函数和图像重建损失函数，使得湍流参数准确测量导引图像湍流效应有效抑制、湍流效应有效抑制促进湍流参数准确测量，形成湍流参数测量与湍流效应抑制双向激励的耦合训练过程，最终同时实现湍流物理参数的准确测量和红外图像湍流效应的有效抑制。本发明可以用于动态场景下湍流退化红外图像序列中湍流效应的抑制和湍流场二维物理参数的测量，在计算机视觉、军事、航空航天、大气科学等领域具有广阔的使用价值和应用前景。
附图说明
图1是本发明提出的一种物理信息驱动的红外图像湍流效应抑制方法及系统的基本结构框架和工作流程。
图2是湍流抑制模块的基本结构。
图3是湍流参数测量模块的基本结构。
图4a是输入的湍流退化序列中连续4帧的实验效果。
图4b是输入的湍流退化序列中连续4帧对应的重建结果。
图5是图4a和图4b对应场景的湍流物理参数的结果。
具体实施方式
为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。
本发明是一种物理信息驱动的红外图像湍流效应抑制方法，其算法框架与网络结构如图1所示，各部分具体实施步骤如下：
步骤一：由湍流抑制模块产生抑制了湍流效应的重建序列，湍流抑制模块的基本结构如图2所示；
步骤二：由湍流参数测量模块测量湍流场参数及其二维分布，湍流参数测量模块的基本结构如图3所示；
步骤三：构造损失函数对整个PSDNN网络进行训练；
输出：用训练好的网络处理湍流退化红外图像序列。在由湍流退化红外图像序列、参考理想序列和对应湍流参数标签组成的训练数据上对网络进行充分迭代训练，训练好的网络可用于湍流退化红外图像序列中湍流效应的有效抑制和湍流参数的准确测量。
其中，所述步骤一具体如下：
1.1：使用特征提取模块提取输入序列的特征。在该模块中，输入序列的时间维度视为与图像宽、高等价的一维，输入序列首先通过卷积核大小为5×5的卷积层，然后经过4个基本特征提取块，每个基本特征提取块由两个卷积核大小为3×3的残差块中插入1个卷积核大小为5×5的卷积层组成。输入序列在特征提取模块的处理下进行下采样编码，同时通道数增加，最终输出特征图序列用于后续重建；
1.2：使用特征融合模块提炼特征。在该模块中，目标帧的特征图分别与前后相邻2帧的特征图拼接，然后将图像展平为1维向量并通过4层维度大小为256，注意力头数为8的标准Transformer编码器进行自注意力处理，目的是提取相邻帧特征图的有用信息，最后将处理完毕的相邻帧特征图与目标帧特征图拼接，完成特征融合；
1.3：使用重建模块得到抑制了湍流效应的重建序列。融合后的特征图首先经过一层卷积核大小为5×5，步长为2的转置卷积层，接着通过2个卷积核大小为3×3的残差块，然后通过相同的1个转置卷积和2个残差块，接着通过一个卷积核大小为5×5的卷积层恢复输入图像的大小，最后与原始输入的目标帧残差连接得到目标帧的重建结果，连接序列中每一帧的重建结果即得到完整输入序列的重建结果。
其中，所述步骤二具体如下：
2.1：对重建序列与原始输入序列作差分，然后将原始输入图像块、重建图像块和差分图像块及它们的空间邻域图像按3个通道进行组合，作为输入到transformer的序列的一个元素。其中引入空间邻域图像信息的目的是扩大湍流参数测量模块的感受野，提高湍流物理参数测量准确度；
2.2：将组合后的图像展平至1维向量输入湍流参数测量模块，湍流参数测量模块采用Transformer架构，输入序列首先通过3层维数为512、头数为8的标准Transformer编码器进行编码，再通过中间插入了线性整流函数的2层全连接层输出3个湍流物理参数的回归结果，输出的物理参数包括折射率结构常数
温度T和温度结构常数/>
其中，所述步骤三具体如下：
3.1：计算重建损失函数。在本发明中，序列的重建损失函数包括像素损失函数和感知损失函数，其中像素损失函数的计算公式为：
其中/>
表示参考真实数据分布，/>
表示模型产生的数据分布，F,C,W和H分别表示图像序列中含有的图像数目，图像通道数，图像宽度和图像宽度，Yt和/>
表示参考清晰图像和湍流去除网络输出的重建图像；感知损失函数的计算公式为：/>
其中Wi，j和Hi，j分别表示经预训练模型Vgg19输出的特征图的维度，Φ(·)表示由预训练模型Vgg19进行处理；重建损失函数是像素损失函数和感知损失函数的加权和，其表达式为：Lreconstrution＝Lpixel+λLperceptual，其中λ是感知损失函数的权重因子，在本发明中取值为0.5；
3.2：计算测量损失函数。测量损失函数由内容损失函数与约束损失函数两部分构成，内容损失函数的表达式为：
其中
和/>
分别表示折射率结构常数、温度和温度结构常数的测量值；测量损失函数的第二部分为约束损失函数，如前文所述，/>
和/>
之间满足物理公式：/>
由网络输出的/>
和/>
可以计算出对应的/>
约束损失函数定义为计算值/>
与测量值/>
之间的均方误差，计算公式为：/>
测量损失函数由内容损失函数与约束损失函数的加权和构成：Lmeasurement＝Lcontent+λLconstraint，其中λ是约束损失函数的权重因子，在本发明中取值为0.5；
3.3：在训练数据上对PSDNN展开训练。在网络的训练阶段，本发明将输入序列的图像大小裁剪为128×128，其中湍流物理参数的空间分辨率为16×16像素。输入序列首先经湍流抑制模块处理，然后从输入序列与重建序列中随机各抽取相同位置的48×48像素大小的图像块，结合它们的差分结果共同组成湍流参数测量模块的输入，湍流参数测量模块的输出为中心16×16像素对应的湍流物理参数的数值。训练时湍流抑制模块的损失函数表达式为：Lmodule1＝Lreconstruction+λLmeasurement，其中λ是测量的权重因子，在本发明中取值为0.1；湍流物理参数测量模块的损失函数是测量损失函数Lmeasurement。训练过程中湍流抑制模块和湍流参数测量模块采用迭代更新参数的形式进行参数调整，湍流抑制模块和湍流参数测量模块相互耦合、互相促进，最终同时实现红外序列湍流效应的有效抑制和湍流物理参数的准确测量。
为了从直观上展示本发明的效果，图4a展示了输入的湍流退化序列中的连续4帧，图4b其对应的重建结果，结果显示本发明有效抑制了输入序列中的几何畸变、图像模糊、灰度漂移等湍流效应。图5展示了本发明测量图4a和图4b对应场景的湍流物理参数的结果，可以看到本发明能有效从图像中解析并测量湍流物理参数，测量结果与真实参考标签值数值误差较小且空间分布一致性高。本发明提出的物理信息驱动的深度神经网络PSDNN可以有效完成动态场景下湍流退化红外图像序列的重建和湍流场二维物理参数的测量，在计算机视觉、军事、航空航天、大气科学等领域具有广阔的使用价值和应用前景。
Claims (8)
1.一种物理信息驱动的红外图像湍流效应抑制方法，其特征在于，具体步骤如下：
步骤一：由湍流抑制模块产生重建序列；
湍流抑制模块接收湍流红外序列，并输出湍流效应抑制后的重建序列；湍流抑制模块首先使用由3D卷积神经网络3D-CNN组成的特征提取模块提取输入序列的特征，再通过以transformer为基本架构的特征融合模块提炼目标帧和其前后相邻2帧的有效特征，最后通过重建模块得到目标帧的湍流效应抑制后的结果，将每一帧的重建结果串联起来，得到红外序列的重建结果，即湍流效应抑制后的红外序列；
步骤二：湍流参数测量模块测量湍流场参数及其二维分布；
湍流参数测量模块接收原始输入序列和湍流去除网络输出的重建序列，并输出测量的湍流场参数数值的二维分布，湍流参数测量模块不包含卷积层，完全由transformer编码器组成，利用注意力机制有效获取输入序列的全局信息，进而准确解析湍流场物理参数；
步骤三：构造损失函数对整个网络进行训练；
结合湍流物理信息和湍流图像信息构造测量损失函数和重建损失函数，其中测量损失函数用于衡量网络输出的湍流参数与参数标签之间的误差，重建损失函数用于衡量重建序列与参考理想序列之间的误差；湍流抑制模块同时在测量损失函数与重建损失函数的作用下训练，湍流参数测量模块则只在测量损失函数作用下训练；
输出：用训练好的网络处理湍流退化红外图像序列；在由湍流退化红外图像序列、参考理想序列和对应湍流参数标签组成的训练数据上对网络进行充分迭代训练，训练好的网络用于湍流退化红外图像序列中湍流效应的有效抑制和湍流参数的准确测量。
2.根据权利要求1所述的一种物理信息驱动的红外图像湍流效应抑制方法，其特征在于：步骤一具体如下：
1.1：使用特征提取模块提取输入序列的特征；
使用3D卷积代替传统2D卷积，即将卷积核的维数扩展至3维，在进行卷积运算时将时间维度作为与图像宽、高等价的一个维度；输入序列经过数个由3D卷积层和残差连接组成的特征提取网络之后得到每一帧的特征图，用于后续理想序列的重建；
1.2：使用特征融合模块提炼特征；
使用特征融合模块，融合目标帧和相邻帧特征图，再利用Transformer编码器对特征进行提炼；
1.3：使用重建模块得到抑制了湍流效应的重建序列；
重建模块由数层转置卷积和残差块组成，对特征图进行解码，重建出抑制了湍流效应的理想红外图像，将每一帧的重建结果串联起来，得到整个输入的红外序列的重建结果。
3.根据权利要求1所述的一种物理信息驱动的红外图像湍流效应抑制方法，其特征在于：步骤二具体如下：
2.1：对重建序列与原始输入序列作差分，然后将图像按空间分块进行湍流参数测量；将原始输入图像块、重建图像块和差分图像块及它们的空间邻域图像按3个通道进行组合，作为输入到transformer的序列的一个元素；其中，引入空间邻域图像的目的是扩大湍流参数测量模块的感受野，提高湍流物理参数测量准确度；
2.2：将组合后的图像展平至1维向量输入湍流参数测量模块，湍流参数测量模块只由Transformer编码器组成，目的是关注输入序列的全局信息，准确测量目标图像块对应湍流物理参数，湍流参数测量模块输出的物理参数包括折射率结构常数
温度T和温度结构常数/>
4.根据权利要求1所述的一种物理信息驱动的红外图像湍流效应抑制方法，其特征在于：步骤三具体如下：
3.1：物理信息驱动的深度神经网络PSDNN的损失函数包含两项：重建损失函数和测量损失函数；
重建损失函数是指重建序列与参考理想序列之间差值的损失函数，包括像素损失函数和感知损失函数，像素损失函数定义为重建的图像序列与参考清晰图像序列之间每个像素灰度值之间的均方误差MSE；感知损失函数是指将重建图像与参考图像都输入到一个预先训练好的模型中，通过网络的输出获取二者的高维特征，再计算高维特征之间的均方误差MSE作为感知损失函数；
测量损失函数是衡量参数测量结果和参数标签之间差值的损失函数，包括内容损失函数和约束损失函数，内容损失函数是测量结果与标签之间的均方误差MSE，约束损失函数则是将湍流参数测量模块输出的3个物理参数带入物理公式
计算等式误差而得到，加入物理约束做损失函数为网络加入一个有力物理先验约束，提高网络的学习效率和泛化能力
3.2：在训练数据上对PSDNN展开训练；其中，湍流抑制模块同时由重建损失函数和测量损失函数进行监督训练，两者以加权和的形式组成湍流抑制模块的损失函数；湍流参数测量模块只由测量损失函数进行监督训练；训练过程中湍流抑制模块和湍流参数测量模块采用迭代更新参数的形式进行参数调整，使用Adam优化器进行参数优化调整；湍流抑制模块和湍流参数测量模块相互耦合、互相促进，最终同时实现湍流退化红外图像序列中湍流效应的有效抑制和湍流参数的准确测量。
5.根据权利要求4所述的一种物理信息驱动的红外图像湍流效应抑制方法，其特征在于：
像素损失函数的计算公式为：
其中/>
表示参考真实数据分布，/>
表示模型产生的数据分布，F,C,W和H分别表示图像序列中含有的图像数目，图像通道数，图像宽度和图像宽度，Yt和/>
表示参考清晰图像和湍流去除网络输出的重建图像；
感知损失函数的计算公式为：
其中Wi，j和Hi，j分别表示经预训练模型Vgg19输出的特征图的维度，Φ(·)表示由预训练模型Vgg19进行处理；重建损失函数是像素损失函数和感知损失函数的加权和，其表达式为：Lreconstruction＝Lpixel+λLperceptual，其中λ是感知损失函数的权重因子，取值为0.5。
6.根据权利要求4所述的一种物理信息驱动的红外图像湍流效应抑制方法，其特征在于：
内容损失函数的表达式为：
其中
和/>
分别表示折射率结构常数、温度和温度结构常数的测量值；测量损失函数的第二部分为约束损失函数，/>
和/>
之间满足物理公式：/>
由网络输出的/>
和/>
计算出对应的/>
约束损失函数定义为计算值
与测量值/>
之间的均方误差，计算公式为：/>
测量损失函数由内容损失函数与约束损失函数的加权和构成：Lmeasurement＝Lcontent+λLconstraint，其中λ是约束损失函数的权重因子，取值为0.5。
7.一种物理信息驱动的红外图像湍流效应抑制系统，其特征在于：包括：
湍流抑制模块，用于抑制输入红外序列中的湍流效应，湍流抑制模块输出的重建序列与原始输入序列共同输入到湍流参数测量模块，用于完成后续湍流参数的测量；
湍流参数测量模块，用于解析原始输入序列和湍流抑制模块输出的重建序列的图像信息，输出序列对应的3项湍流物理参数：折射率结构常数
温度T和温度结构常数/>
损失函数计算模块，用于计算重建损失函数和测量损失函数；
网络训练模块，用于对整个物理信息驱动的深度神经网络PSDNN进行充分迭代训练，得到训练好的网络用于湍流退化红外图像序列中湍流效应的有效抑制和湍流参数的准确测量。
8.根据权利要求7所述的一种物理信息驱动的红外图像湍流效应抑制系统，其特征在于：
所述的湍流抑制模块进一步包括：
特征提取模块，用于充分挖掘输入序列的时空域信息，获取每一帧的特征图，特征图将输入到特征融合模块中进行融合；
特征融合模块，用于融合目标帧和相邻帧的有效特征，为目标帧的重建补充信息，特征融合模块的输出将输入到重建模块中完成目标帧的重建；
重建模块，用于产生抑制了湍流效应的重建图像；
所述的湍流抑制模块，通过全局残差连接将输入的目标帧与重建模块的输出相加，得到目标帧的重建结果；将每一帧的重建结果串联起来，得到去除湍流效应的重建序列。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110917770.2A CN113643220B (zh) | 2021-08-11 | 2021-08-11 | 一种物理信息驱动的红外图像湍流效应抑制方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110917770.2A CN113643220B (zh) | 2021-08-11 | 2021-08-11 | 一种物理信息驱动的红外图像湍流效应抑制方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113643220A CN113643220A (zh) | 2021-11-12 |
| CN113643220B true CN113643220B (zh) | 2023-07-14 |
Family
ID=78420715
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110917770.2A Active CN113643220B (zh) | 2021-08-11 | 2021-08-11 | 一种物理信息驱动的红外图像湍流效应抑制方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113643220B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115239943A (zh) * | 2022-09-23 | 2022-10-25 | 杭州医策科技有限公司 | 图像矫正模型的训练方法及切片图像的色彩矫正方法 |
| CN115358953B (zh) * | 2022-10-21 | 2023-01-31 | 长沙超创电子科技有限公司 | 一种基于图像配准和动态目标融合的去湍流方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110223242A (zh) * | 2019-05-07 | 2019-09-10 | 北京航空航天大学 | 一种基于时空域残差生成对抗网络的视频湍流移除方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9811884B2 (en) * | 2012-07-16 | 2017-11-07 | Flir Systems, Inc. | Methods and systems for suppressing atmospheric turbulence in images |
| US9006633B2 (en) * | 2012-11-02 | 2015-04-14 | The United States Of America As Represented By The Secretary Of The Army | Passive imaging correction system using feedback including a variable aperture with plural settings and method thereof |
| AU2019201467A1 (en) * | 2019-03-04 | 2020-09-24 | Canon Kabushiki Kaisha | System and method of reducing effects of turbulence in an image |
-
2021
- 2021-08-11 CN CN202110917770.2A patent/CN113643220B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110223242A (zh) * | 2019-05-07 | 2019-09-10 | 北京航空航天大学 | 一种基于时空域残差生成对抗网络的视频湍流移除方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113643220A (zh) | 2021-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ma et al. | Deep tensor admm-net for snapshot compressive imaging | |
| Zhang et al. | Deep image deblurring: A survey | |
| Li et al. | Hyperspectral image super-resolution by spectral mixture analysis and spatial–spectral group sparsity | |
| CN113643220B (zh) | 一种物理信息驱动的红外图像湍流效应抑制方法及系统 | |
| Sahu et al. | Blind deblurring using deep learning: A survey | |
| Xiao et al. | Multi-scale attention generative adversarial networks for video frame interpolation | |
| Huang et al. | Deep Gaussian scale mixture prior for image reconstruction | |
| Chen et al. | PDWN: Pyramid deformable warping network for video interpolation | |
| Lu et al. | Structure-texture parallel embedding for remote sensing image super-resolution | |
| Wang et al. | Underwater self-supervised monocular depth estimation and its application in image enhancement | |
| Tian et al. | SWDGAN: GAN-based sampling and whole image denoising network for compressed sensing image reconstruction | |
| Huang et al. | Image restoration from patch-based compressed sensing measurement | |
| CN113421186A (zh) | 使用生成对抗网络的非监督视频超分辨率的设备和方法 | |
| CN117011357A (zh) | 基于3d运动流和法线图约束的人体深度估计方法及系统 | |
| Ning et al. | Multi-frame super-resolution algorithm based on a WGAN | |
| Zhang et al. | Unsupervised detail-preserving network for high quality monocular depth estimation | |
| Amiri et al. | A fast video super resolution for facial image | |
| Dai et al. | Adaptive multispectral encoding network for image demoiréing | |
| Paliwal et al. | Multi-stage raw video denoising with adversarial loss and gradient mask | |
| Choi et al. | Group-based bi-directional recurrent wavelet neural networks for video super-resolution | |
| Fei et al. | Total Variation Regularized Low-Rank Model With Directional Information for Hyperspectral Image Restoration | |
| Xiao | Research on Super‐Resolution Relationship Extraction and Reconstruction Methods for Images Based on Multimodal Graph Convolutional Networks | |
| Esmaeilzehi et al. | DSegAN: A deep light-weight segmentation-based attention network for image restoration | |
| Kong et al. | Dynamic Frame Interpolation in Wavelet Domain | |
| Wang et al. | Coarse-to-Fine Grained Alignment Video Super-Resolution for Underwater Camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |