CN115358953A - 一种基于图像配准和动态目标融合的去湍流方法 - Google Patents

一种基于图像配准和动态目标融合的去湍流方法 Download PDF

Info

Publication number
CN115358953A
CN115358953A CN202211292393.9A CN202211292393A CN115358953A CN 115358953 A CN115358953 A CN 115358953A CN 202211292393 A CN202211292393 A CN 202211292393A CN 115358953 A CN115358953 A CN 115358953A
Authority
CN
China
Prior art keywords
image
turbulence
network
fusion
deformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211292393.9A
Other languages
English (en)
Other versions
CN115358953B (zh
Inventor
彭蓉华
黄飞
余知音
向北海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Chaochuang Electronic Technology Co ltd
Original Assignee
Changsha Chaochuang Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Chaochuang Electronic Technology Co ltd filed Critical Changsha Chaochuang Electronic Technology Co ltd
Priority to CN202211292393.9A priority Critical patent/CN115358953B/zh
Publication of CN115358953A publication Critical patent/CN115358953A/zh
Application granted granted Critical
Publication of CN115358953B publication Critical patent/CN115358953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于图像配准和动态目标融合的去湍流方法，包括步骤：获取湍流干扰后的图像序列，搭建基于深度学习非刚性配准网络，对网络进行初始化后进行迭代优化获取去湍流形变图像；提取当前图像的运动目标：采用vibe前景提取算法提取场景中的运动目标部分，形成运动目标掩膜；对去湍流形变图像和原图图像运动区域进行局部区域融合，得到包含当前运动目标的去除了湍流的图；采用基于分块导向滤波算法增强图像细节部分，得到清晰的去湍流图像。本发明采用基于深度学习非刚性配准得到去湍流图像；采用运动目标提取算法，将运动目标部分与去湍流的图像进行融合，可有效去除运动目标的拖影以及运动目标模糊问题。

Description

一种基于图像配准和动态目标融合的去湍流方法
技术领域
本发明属于视频图像去湍流技术领域，尤其涉及一种基于图像配准和动态目标融合的去湍流方法。
背景技术
在远距离成像系统中，大气湍流是造成图像几何变形，图像模糊的主要原因之一。如果不对湍流图像进行处理，一些计算机视觉任务比如目标识别检测、跟踪将不能顺利进行，同时也影响着相关的目标观测任务。大气湍流引起的图像扭曲变形具有随机性，其内在机制很难去用一种模型来估计，因此目前复原湍流图像的原图需要一套复杂的图像复原流程。
在过去十几年的去湍流算法研究中，复原算法有：基于幸运图像的多帧复原算法，该类算法是在多帧图像中对图像中的图像块选取最清晰的图像块来合成复原图像。基于RPCA矩阵低秩分解的多帧复原算法，该类算法可以把图像分解为场景图像和稀疏湍流图像，通过对场景图像进行图像增强，对稀疏湍流图像做均值消除湍流部分，最后进行融合得到清晰的复原图像。以上算法是针对静止场景的复原，而当场景中存在运动目标时，由于多帧中存在运动目标导致多帧图像融合后会出现运动目标拖影问题。
发明内容
有鉴于此，本发明提出了一种基于深度学习非刚性配准和动态目标融合去湍流的方法，有效解决场景中出现的图像扭曲和运动目标拖影和模糊的问题。
本发明公开的一种基于图像配准和动态目标融合的去湍流方法，包括以下步骤：
步骤一：获取湍流干扰后的图像序列，搭建基于深度学习非刚性配准网络，对网络进行初始化后进行迭代优化获取去湍流形变图像；
步骤二：提取当前图像的运动目标：采用vibe前景提取算法提取场景中的运动目标部分，形成运动目标掩膜；
步骤三：对去湍流形变图像和原图图像运动区域进行局部区域融合，得到包含当前运动目标的去除了湍流的图；
步骤四：采用基于分块导向滤波算法增强图像细节部分，得到清晰的去湍流图像。
进一步的，所述深度学习非刚性配准网络由网格变形网络和图像生成网络组成。
进一步的，对网络进行初始化，包括获取湍流干扰图像Ik，初始化网络：根据下式初始化网络，让网络的输入和输出最相似：
Figure 548763DEST_PATH_IMAGE001
式中
Figure 997062DEST_PATH_IMAGE002
表示绝对偏差，
Figure 42379DEST_PATH_IMAGE003
为分别为网格变形网络和图像生成网络的权重变量，
Figure 968746DEST_PATH_IMAGE004
表示均匀网格图，
Figure 314277DEST_PATH_IMAGE005
表示第k个网格变形网络，
Figure 667898DEST_PATH_IMAGE006
表示图像生成网络；然后使用1000次最小化迭代后权重作为网络初始化权重。
进一步的，使用傅里叶特征映射对网格输入进行预处理，以表示更高频的细节信息，高斯傅里叶特征映射
Figure 466090DEST_PATH_IMAGE007
如下：
Figure 196148DEST_PATH_IMAGE008
Figure 396186DEST_PATH_IMAGE009
表示网格坐标，B是一组高斯分布随机采样点。
进一步的，网络迭代优化，学习生成去湍流图像
Figure 920708DEST_PATH_IMAGE010
，包括：根据下式进行最小化迭代，直到网络收敛得到去除湍流的图像：
Figure 940616DEST_PATH_IMAGE011
式中
Figure 208787DEST_PATH_IMAGE012
,表示图像生成网络输出的湍流图像，
Figure 263330DEST_PATH_IMAGE013
，表示形变网格，
Figure 224333DEST_PATH_IMAGE014
表示去湍流图像和变形网格之间的约束；
Figure 997117DEST_PATH_IMAGE015
Figure 537820DEST_PATH_IMAGE016
表示对去湍流图像
Figure 712449DEST_PATH_IMAGE017
依据形变网格
Figure 581704DEST_PATH_IMAGE018
进行的形变操作。
进一步的，将当前帧的运动目标掩模M和去湍流图X进行图像融合处理，得到保留运动物体的去除湍流的影响的融合图Y，融合的具体步骤为：
计算去湍流图和当前帧的运动物体区域局部差异值，根据差异值计算图像融合权重，当差异值越小时，当前图的权重
Figure 841784DEST_PATH_IMAGE019
比例越大：
Figure 186177DEST_PATH_IMAGE020
根据权重值进行两幅图像的融合，融合的公式为：
Figure 480893DEST_PATH_IMAGE021
。
进一步的，图像细节增强的具体步骤为：
对步骤三得到的融合图像进行分块，块的大小为m*n，m和n分别为块的行和列大小；
对每个块采用导向滤波，分解为基础层图像
Figure 518119DEST_PATH_IMAGE022
和细节层
Figure 999916DEST_PATH_IMAGE023
图像，计算每个块的纹理复杂度，复杂度为该块的梯度值，具体公式如下所示：
Figure 413579DEST_PATH_IMAGE024
,
Figure 297222DEST_PATH_IMAGE025
Figure 770929DEST_PATH_IMAGE026
其中
Figure 740022DEST_PATH_IMAGE027
为图像像素值；
采用基于纹理复杂度的方法计算每个块的细节增强比例值
Figure 691797DEST_PATH_IMAGE028
，最后和基础层叠加形成细节增强图像
Figure 695525DEST_PATH_IMAGE029
，细节增强比例值
Figure 340133DEST_PATH_IMAGE028
和细节增强图像
Figure 796522DEST_PATH_IMAGE030
计算如下：
Figure 551989DEST_PATH_IMAGE031
,
Figure 879065DEST_PATH_IMAGE032
。
本发明的有益效果在于：
采用基于深度学习非刚性配准得到去湍流图像；采用运动目标提取算法，将运动目标部分与去湍流的图像进行融合，可有效去除运动目标的拖影以及运动目标模糊问题。
附图说明
图1本发明的流程示意图；
图2非刚性匹配网络；
图3本方法的去湍流效果图（静态目标），其中，（a）为原图，（b）为本发明去湍流后的图，（c）为原图局部放大图，（d）为本发明去湍流的局部放大图；
图4本方法的去湍流效果图（动态目标），其中（a）为原图，（b）为本方法去湍流后的图。
具体实施方式
下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。
如图1所示，本发明构建了一种基于深度学习非刚性配准和动态目标融合去湍流的方法，其基本思想是利用一种无监督的深度学习非刚性配准算法对湍流图像进行形变校正，为了保持场景里的运动目标，减少拖影现象，采用vibe运动目标提取算法，获取到运动目标掩膜，再将运动目标和去除湍流形变后的图进行融合，最后再用基于分块导向滤波细节增强算法对图像细节进行增强，可以得到清晰的去除湍流后的图像。
包括如下步骤:
（1）输入图像序列，基于深度学习算法进行图像非刚性校正，具体步骤为：
1.1搭建基于卷积的深度学习非刚性匹配网络：其网络用来去除湍流造成的形变，网络框架如图2所示，网络由网格变形网络和图像生成网络组成。
1.2获取湍流干扰图像Ik，初始化网络:根据公式（1）初始化网络，让网络的输入和输出最相似。
Figure 694574DEST_PATH_IMAGE033
(1)
式（1）中
Figure 372680DEST_PATH_IMAGE002
表示绝对偏差，
Figure 200346DEST_PATH_IMAGE003
为分别为网格变形网络和图像生成网络的权重变量，
Figure 647508DEST_PATH_IMAGE004
表示均匀网格图，
Figure 368339DEST_PATH_IMAGE005
表示第k个网格变形网络，
Figure 799321DEST_PATH_IMAGE006
表示图像生成网络。然后使用1000次最小化迭代后权重作为网络初始化权重。由于直接将网格的坐标传递到网络会产生模糊的图像，而使用傅里叶特征映射对网格输入进行预处理可以表示更高频的细节信息，所以这里对网格进行了高斯傅里叶特征映射
Figure 896590DEST_PATH_IMAGE007
。
Figure 729417DEST_PATH_IMAGE008
Figure 355570DEST_PATH_IMAGE009
表示网格坐标，B是一组高斯分布随机采样点。
1.3网络迭代优化，学习生成去湍流图像
Figure 273847DEST_PATH_IMAGE010
：根据公式（2）进行最小化迭代，直到网络收敛得到去除湍流的图像。
Figure 174807DEST_PATH_IMAGE011
(2)
式（2）中
Figure 596561DEST_PATH_IMAGE012
,表示图像生成网络输出的湍流图像，
Figure 924775DEST_PATH_IMAGE013
，表示形变网格，
Figure 64769DEST_PATH_IMAGE014
表示去湍流图像和变形网格之间的约束。
Figure 769420DEST_PATH_IMAGE015
(3)
Figure 45680DEST_PATH_IMAGE016
表示对去湍流图像
Figure 544795DEST_PATH_IMAGE017
依据形变网格
Figure 172085DEST_PATH_IMAGE018
进行的形变操作。
（2）获取运动目标掩膜：输入图像序列，采用vibe算法，获取到当前帧的运动目标掩膜，记为
Figure 414848DEST_PATH_IMAGE034
。
（3）将当前帧运动目标区域和去湍流图进行图像融合处理，得到保留运动物体的去除湍流的影响的融合图Y，融合的具体步骤为：
3.1 计算去湍流图和当前帧的运动物体区域局部差异值，根据差异值计算图像融合权重，当差异值越小时，当前图的权重
Figure 814124DEST_PATH_IMAGE035
比例越大。
Figure 484139DEST_PATH_IMAGE020
(4)
3.2 根据权重值进行两幅图像的融合，融合的公式为：
Figure 598726DEST_PATH_IMAGE021
(5)
（4）图像细节增强：为了使图像的细节更加清晰，采用分块导向滤波对图像进行细节增强，具体步骤为：
4.1对步骤三得到的融合图像进行分块，块的大小为m*n
4.2对每个块采用导向滤波，分解为基础层图像
Figure 114021DEST_PATH_IMAGE022
和细节层
Figure 630453DEST_PATH_IMAGE023
图像，计算每个块的纹理复杂度，复杂度为该块的梯度值，具体公式如（7）所示。
Figure 471370DEST_PATH_IMAGE024
,
Figure 73252DEST_PATH_IMAGE025
(6)
Figure 657818DEST_PATH_IMAGE026
(7)
其中
Figure 28756DEST_PATH_IMAGE027
为图像像素值。
4.3 采用基于纹理复杂度的方法计算每个块的细节增强比例值
Figure 40574DEST_PATH_IMAGE028
，最后和基础层叠加形成细节增强图像
Figure 598595DEST_PATH_IMAGE030
。
Figure 252430DEST_PATH_IMAGE031
,
Figure 212296DEST_PATH_IMAGE032
(8)
如图3和图4所示，其中图3突出了细节增强的效果，图4突出了运动目标细节保留的效果。
采用基于深度学习非刚性配准得到去湍流图像；采用运动目标提取算法，将运动目标部分与去湍流的图像进行融合，可有效去除运动目标的拖影以及运动目标模糊问题。
本文所使用的词语“优选的”意指用作实例、示例或例证。本文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。
而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。
本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以多个或多个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的存储方法。
综上所述，上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于图像配准和动态目标融合的去湍流方法，其特征在于，包括以下步骤：
步骤一：获取湍流干扰后的图像序列，搭建基于深度学习非刚性配准网络，对网络进行初始化后进行迭代优化获取去湍流形变图像；
步骤二：提取当前图像的运动目标：采用vibe前景提取算法提取场景中的运动目标部分，形成运动目标掩膜；
步骤三：对去湍流形变图像和原图图像运动区域进行局部区域融合，得到包含当前运动目标的去除了湍流的图；
步骤四：采用基于分块导向滤波算法增强图像细节部分，得到清晰的去湍流图像。
2.根据权利要求1所述的基于图像配准和动态目标融合的去湍流方法，其特征在于，所述深度学习非刚性配准网络由网格变形网络和图像生成网络组成。
3.根据权利要求1所述的基于图像配准和动态目标融合的去湍流方法，其特征在于，对网络进行初始化，包括获取湍流干扰图像Ik，初始化网络：根据下式初始化网络，让网络的输入和输出最相似：
Figure 131769DEST_PATH_IMAGE001
式中
Figure 606613DEST_PATH_IMAGE002
表示绝对偏差，
Figure 634611DEST_PATH_IMAGE003
为分别为网格变形网络和图像生成网络的权重变量，
Figure 379976DEST_PATH_IMAGE004
表示均匀网格图，
Figure 569649DEST_PATH_IMAGE005
表示第k个网格变形网络，
Figure 531788DEST_PATH_IMAGE006
表示图像生成网络；然后使用1000次最小化迭代后权重作为网络初始化权重。
4.根据权利要求3所述的基于图像配准和动态目标融合的去湍流方法，其特征在于，使用傅里叶特征映射对网格输入进行预处理，以表示更高频的细节信息，高斯傅里叶特征映射
Figure 97899DEST_PATH_IMAGE007
如下：
Figure 461884DEST_PATH_IMAGE008
Figure 822458DEST_PATH_IMAGE009
表示网格坐标，B是一组高斯分布随机采样点。
5.根据权利要求4所述的基于图像配准和动态目标融合的去湍流方法，其特征在于，网络迭代优化，学习生成去湍流图像
Figure 271894DEST_PATH_IMAGE010
，包括：根据下式进行最小化迭代，直到网络收敛得到去除湍流的图像：
Figure 641696DEST_PATH_IMAGE011
式中
Figure 96073DEST_PATH_IMAGE012
,表示图像生成网络输出的湍流图像，
Figure 955445DEST_PATH_IMAGE013
，表示形变网格，
Figure 564281DEST_PATH_IMAGE014
表示去湍流图像和变形网格之间的约束；
Figure 800090DEST_PATH_IMAGE015
Figure 810771DEST_PATH_IMAGE016
表示对去湍流图像
Figure 841044DEST_PATH_IMAGE017
依据形变网格
Figure 937176DEST_PATH_IMAGE018
进行的形变操作。
6.根据权利要求5所述的基于图像配准和动态目标融合的去湍流方法，其特征在于，将当前帧的运动目标掩模M和去湍流图X进行图像融合处理，得到保留运动物体的去除湍流的影响的融合图Y，融合的具体步骤为：
计算去湍流图和当前帧的运动物体区域局部差异值，根据差异值计算图像融合权重，当差异值越小时，当前图的权重
Figure 212562DEST_PATH_IMAGE019
比例越大：
Figure 77750DEST_PATH_IMAGE020
根据权重值进行两幅图像的融合，融合的公式为：
Figure 278924DEST_PATH_IMAGE021
。
7.根据权利要求1所述的基于图像配准和动态目标融合的去湍流方法，其特征在于，图像细节增强具体步骤为：
对步骤三得到的融合图像进行分块，块的大小为m*n，m和n分别为块的行和列大小；
对每个块采用导向滤波，分解为基础层图像
Figure 862352DEST_PATH_IMAGE022
和细节层
Figure 174385DEST_PATH_IMAGE023
图像，计算每个块的纹理复杂度，复杂度为该块的梯度值，具体公式如下所示：
Figure 159658DEST_PATH_IMAGE024
,
Figure 531734DEST_PATH_IMAGE025
Figure 602458DEST_PATH_IMAGE026
其中
Figure 231365DEST_PATH_IMAGE027
为图像像素值；
采用基于纹理复杂度的方法计算每个块的细节增强比例值
Figure 133462DEST_PATH_IMAGE028
，最后和基础层叠加形成细节增强图像
Figure 614122DEST_PATH_IMAGE029
，细节增强比例值
Figure 968880DEST_PATH_IMAGE028
和细节增强图像
Figure 825977DEST_PATH_IMAGE030
计算如下：
Figure 582581DEST_PATH_IMAGE031
，
Figure 234142DEST_PATH_IMAGE032
。
CN202211292393.9A 2022-10-21 2022-10-21 一种基于图像配准和动态目标融合的去湍流方法 Active CN115358953B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211292393.9A CN115358953B (zh) 2022-10-21 2022-10-21 一种基于图像配准和动态目标融合的去湍流方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211292393.9A CN115358953B (zh) 2022-10-21 2022-10-21 一种基于图像配准和动态目标融合的去湍流方法

Publications (2)

Publication Number Publication Date
CN115358953A true CN115358953A (zh) 2022-11-18
CN115358953B CN115358953B (zh) 2023-01-31

Family

ID=84007658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211292393.9A Active CN115358953B (zh) 2022-10-21 2022-10-21 一种基于图像配准和动态目标融合的去湍流方法

Country Status (1)

Country Link
CN (1) CN115358953B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564688A (zh) * 2022-11-18 2023-01-03 长沙超创电子科技有限公司 一种结合矩阵低秩分解和动态目标提取去湍流的方法
CN116402722A (zh) * 2023-05-29 2023-07-07 新奥特(南京)视频技术有限公司 一种视频图像湍流抑制的处理方法、装置及视频处理设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310486A (zh) * 2013-06-04 2013-09-18 西北工业大学 大气湍流退化图像重建方法
US20180130191A1 (en) * 2015-04-27 2018-05-10 Raytheon Company Full motion color video atmospheric turbulence correction processing
US20190172184A1 (en) * 2017-12-04 2019-06-06 Canon Kabushiki Kaisha Method of video stabilization using background subtraction
CN110020994A (zh) * 2019-02-22 2019-07-16 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 一种红外目标图像的大气湍流校正方法
CN110223242A (zh) * 2019-05-07 2019-09-10 北京航空航天大学 一种基于时空域残差生成对抗网络的视频湍流移除方法
US10521883B1 (en) * 2018-07-26 2019-12-31 Raytheon Company Image turbulence correction using tile approach
CN111738954A (zh) * 2020-06-24 2020-10-02 北京航空航天大学 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法
CN113570521A (zh) * 2021-07-28 2021-10-29 南通泰胜蓝岛海洋工程有限公司 一种结合暗通道和图像配准的大气湍流图像复原方法
CN113643220A (zh) * 2021-08-11 2021-11-12 北京航空航天大学 一种物理信息驱动的红外图像湍流效应抑制方法及系统
CN113888418A (zh) * 2021-09-22 2022-01-04 中国人民解放军战略支援部队航天工程大学 一种基于深度多分支补偿网络的涡旋光波前畸变校正方法
CN114363517A (zh) * 2022-01-07 2022-04-15 上海乂义实业有限公司 一种嵌入式微扫描超分辨实时处理系统及方法
CN114581497A (zh) * 2022-04-16 2022-06-03 合肥学院 一种用于大气湍流图像畸变校正的改进b样条非刚性配准方法
US20220335577A1 (en) * 2021-04-14 2022-10-20 Raytheon Company Systems and methods for image turbulence correction of moving targets

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310486A (zh) * 2013-06-04 2013-09-18 西北工业大学 大气湍流退化图像重建方法
US20180130191A1 (en) * 2015-04-27 2018-05-10 Raytheon Company Full motion color video atmospheric turbulence correction processing
US20190172184A1 (en) * 2017-12-04 2019-06-06 Canon Kabushiki Kaisha Method of video stabilization using background subtraction
US10521883B1 (en) * 2018-07-26 2019-12-31 Raytheon Company Image turbulence correction using tile approach
CN110020994A (zh) * 2019-02-22 2019-07-16 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 一种红外目标图像的大气湍流校正方法
CN110223242A (zh) * 2019-05-07 2019-09-10 北京航空航天大学 一种基于时空域残差生成对抗网络的视频湍流移除方法
CN111738954A (zh) * 2020-06-24 2020-10-02 北京航空航天大学 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法
US20220335577A1 (en) * 2021-04-14 2022-10-20 Raytheon Company Systems and methods for image turbulence correction of moving targets
CN113570521A (zh) * 2021-07-28 2021-10-29 南通泰胜蓝岛海洋工程有限公司 一种结合暗通道和图像配准的大气湍流图像复原方法
CN113643220A (zh) * 2021-08-11 2021-11-12 北京航空航天大学 一种物理信息驱动的红外图像湍流效应抑制方法及系统
CN113888418A (zh) * 2021-09-22 2022-01-04 中国人民解放军战略支援部队航天工程大学 一种基于深度多分支补偿网络的涡旋光波前畸变校正方法
CN114363517A (zh) * 2022-01-07 2022-04-15 上海乂义实业有限公司 一种嵌入式微扫描超分辨实时处理系统及方法
CN114581497A (zh) * 2022-04-16 2022-06-03 合肥学院 一种用于大气湍流图像畸变校正的改进b样条非刚性配准方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MOHAMMAD N. MURSHED 等: "Low rank approximation of the turbulent channel flow by filter-reinforced Dynamic Mode Decomposition", 《2020 23RD INTERNATIONAL CONFERENCE ON COMPUTER AND INFORMATION TECHNOLOGY (ICCIT)》 *
李俊山 等: "非凸性优化与动态自适应滤波的湍流退化视频复原", 《液晶与显示》 *
杜飞: "大气湍流环境下的运动目标检测方法研究", 《CNKI硕士电子期刊》 *
邵慧 等: "水平路径上多帧湍流退化图像重建", 《电视技术》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564688A (zh) * 2022-11-18 2023-01-03 长沙超创电子科技有限公司 一种结合矩阵低秩分解和动态目标提取去湍流的方法
CN115564688B (zh) * 2022-11-18 2023-03-21 长沙超创电子科技有限公司 一种结合矩阵低秩分解和动态目标提取去湍流的方法
CN116402722A (zh) * 2023-05-29 2023-07-07 新奥特(南京)视频技术有限公司 一种视频图像湍流抑制的处理方法、装置及视频处理设备
CN116402722B (zh) * 2023-05-29 2023-08-22 新奥特(南京)视频技术有限公司 一种视频图像湍流抑制的处理方法、装置及视频处理设备

Also Published As

Publication number Publication date
CN115358953B (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
CN115358953B (zh) 一种基于图像配准和动态目标融合的去湍流方法
Ren et al. Image deblurring via enhanced low-rank prior
CN107025632B (zh) 一种图像超分辨率重建方法及系统
CN107133923B (zh) 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法
Zhu et al. Stabilizing and deblurring atmospheric turbulence
Farsiu et al. Fast and robust super-resolution
CN112215773B (zh) 基于视觉显著性的局部运动去模糊方法、装置及存储介质
CN113538374B (zh) 一种面向高速运动物体的红外图像模糊校正方法
Chen et al. Blind de-convolution of images degraded by atmospheric turbulence
Li et al. A maximum a posteriori estimation framework for robust high dynamic range video synthesis
CN111028265A (zh) 一种基于迭代法构建相关滤波响应的目标跟踪方法
Hung et al. Single-image super-resolution using iterative Wiener filter based on nonlocal means
Luo et al. Blind image deblurring via superpixel segmentation prior
Gao et al. Bayesian image super-resolution with deep modeling of image statistics
Zhang et al. Attention mechanism enhanced kernel prediction networks for denoising of burst images
CN115345791A (zh) 一种基于注意力机制残差网络模型的红外图像去模糊算法
CN113192101B (zh) 图像处理方法、装置、计算机设备和存储介质
Li A survey on image deblurring
Zhang et al. A two-stage restoration of distorted underwater images using compressive sensing and image registration
Hesabi et al. Structure and texture image inpainting
Bai et al. Restoration of turbulence-degraded images based on deep convolutional network
Su et al. Restoration of turbulence-degraded images using the modified convolutional neural network
Amiri et al. A fast video super resolution for facial image
CN106033595A (zh) 一种基于局部约束的图像盲去模糊方法
Cai et al. Water–air imaging: Distorted image reconstruction based on a twice registration algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant