CN113570521A - 一种结合暗通道和图像配准的大气湍流图像复原方法 - Google Patents

一种结合暗通道和图像配准的大气湍流图像复原方法 Download PDF

Info

Publication number
CN113570521A
CN113570521A CN202110856974.XA CN202110856974A CN113570521A CN 113570521 A CN113570521 A CN 113570521A CN 202110856974 A CN202110856974 A CN 202110856974A CN 113570521 A CN113570521 A CN 113570521A
Authority
CN
China
Prior art keywords
image
dark channel
registration
atmospheric turbulence
restoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110856974.XA
Other languages
English (en)
Inventor
张伦伟
张震
米智楠
朱军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Nantong Taisheng Blue Island Offshore Co Ltd
Original Assignee
Tongji University
Nantong Taisheng Blue Island Offshore Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University, Nantong Taisheng Blue Island Offshore Co Ltd filed Critical Tongji University
Priority to CN202110856974.XA priority Critical patent/CN113570521A/zh
Publication of CN113570521A publication Critical patent/CN113570521A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种结合暗通道和图像配准的大气湍流图像复原方法，包括以下步骤，包括以下步骤，S1、对于输入图像序列，计算其平均图像；S2、使用基于暗通道的去模糊算法，得到去模糊后的图像；S3、使用基于B样条的非刚性配准算法去除图像中由湍流引起的畸变，得到校正后的新的图像序列；S4、将步骤S3中新的图像序列作为输入，重复上述三个步骤多次，即可得到稳定的复原图像序列。本发明具有如下优点：有效改善大气湍流造成的成像畸变问题，提高图像配准精度。

Description

一种结合暗通道和图像配准的大气湍流图像复原方法
技术领域
本发明属于大气湍流图像复原技术领域，具体涉及一种结合暗通道和图像配准的大气湍流图像复原方法。
背景技术
在远距离成像系统中，由于目标和成像系统的距离较远，大气密度极易受温度、湿度、压强、风速等因素影响，随时间和空间位置随机变化，进而引起光在大气中传输折射率在时间和空间上的随机变化。在此情况下，获得的图像往往存在像模糊、像偏移和像素偏移等退化现象。由于图像中目标的几何形状发生严重的畸变失真，在此情况下进行目标检测与跟踪的话，容易导致跟踪误差，甚至可能会丢失跟踪目标，会严重阻碍后续的目标分类以及行为分析等处理。所以为了克服大气湍流对图像质量带来的恶劣影响，提高目标识别与跟踪的精度，开展针对大气湍流退化图像复原技术的研究很有必要。
虽然湍流的随机性导致精确的湍流模型很难建立，但是连续的短曝光图像相同位置的像素之间存在一定的相关性，可以作为湍流图像复原的先验知识。在假设场景静止的情况下，一些基于图像配准的序列图像复原方法就充分利用了序列图像之间信息互补的特点，通过图像配准技术，使参与配准的图像尽可能的相似或者相同，以提高序列图像之间的相关性。国外研究学者使用了基于B样条的非刚性图像配准方法来去除畸变，然后使用基于贝叶斯理论的复原方法得到一幅清晰化的图像。Zhu等进一步提出在使用图像配准之后，将配准后的每一帧图像进行分块，挑选出同一个位置的块序列中最为清晰的图像块，然后使用时域核回归降低噪声水平，接着将所有图像块重新组合成一幅更加接近衍射极限分辨率的图像，最后再使用盲图像复原方法得到清晰的复原图像。
上述基于图像配准的方法都通过校正图像畸变提高了复原精度，在配准过程中都是使用序列的平均图像作为参考图像。受大气湍流影响的像素偏移虽然是随机的，但是总体上近似服从零均值高斯分布，所以平均图像的各个像素接近于其理想的原始位置。然而，平均图像往往存在较为严重的模糊，轮廓不清，降低了图像配准的精度。
发明内容
本发明的目的在于针对现有技术的不足，现提供一种结合暗通道和图像配准的大气湍流图像复原方法，有效改善大气湍流造成的成像畸变问题，提高图像配准精度。
为解决上述技术问题，本发明采用的技术方案为：一种结合暗通道和图像配准的大气湍流图像复原方法，包括以下步骤，
S1、对于输入图像序列V＝{I1，...，In}，Ik∈Rh×w(k＝1，...，n)，计算其平均图像M；
S2、使用基于暗通道的去模糊算法，得到去模糊后的图像R；具体步骤包括：
A、在计算机视觉和计算机图像中，去模糊的模型为I(x)＝J(x)t(x)+A(1-t(x))；
B、获取原始输入图像的暗通道图像Jdark，公式为：
Figure BDA0003184480900000031
C、计算去模糊后图像的透射率t(x)，公式为：
Figure BDA0003184480900000032
D、建立原始输入图像的去模糊后图像模型，获取去模糊后的图像J(x)，公式为：
Figure BDA0003184480900000033
S3、以图像R为参考图像，使用基于B样条的非刚性配准算法去除图像中由湍流引起的畸变，得到校正后的新的图像序列Vf＝{If1，...，Ifn}；
具体步骤包括：在二维图像上覆盖分布均匀的控制点网格，调整控制点位置，利用邻域内控制点B样条插值得到非控制点的像素位置，从而拟合出图像中每个点的位移，配准的过程实质上就是寻找畸变图像与参考图像的最佳形变场，为了定义基于B样条的自由变形，可以将二维图像区域表示为：Ω＝{(x，y)|0≤x≤h，0≤y≤w，令
Figure BDA0003184480900000034
表示大小为nx×ny的控制网格Φ中序号为ij的控制点的值，则图像中任意像素(x，y)的位移可表示为：
Figure BDA0003184480900000041
S4、将步骤S3中新的图像序列作为输入，重复上述三个步骤多次，即可得到稳定的复原图像序列。
本发明的进一步改进在于：步骤S2的步骤A中，I是实测图像，J是理想的真实图像，x表示像数点的位置，
本发明的进一步改进在于：步骤S2的步骤A中，t(x)＝e-β(λ)d是透射率，d代表景深，β是大气散射系数，A代表大气光。
本发明的进一步改进在于：步骤S2的步骤B中，y表示像素点的位置，Jc表示图像I的第c个颜色通道，Ω(x)表示以像素点x为中心的局部图像块。
本发明的进一步改进在于：步骤S2的步骤B中，Jdark(x)表面暗通道值代表的是一个图像块的最小像素值。
本发明的进一步改进在于：步骤S2的步骤C中，λ是一个调整因子。
本发明的进一步改进在于：步骤S2的步骤D中，t0为透射率下界，值为0.1。
本发明的进一步改进在于：步骤S3中，
Figure BDA0003184480900000042
Figure BDA0003184480900000051
本发明的进一步改进在于：步骤S3中，所述Bm和Bl为均匀三次B样条基函数，其定义为：
Figure BDA0003184480900000052
Figure BDA0003184480900000053
和
Figure BDA0003184480900000054
0≤t＜1。
本发明的进一步改进在于：在得到步骤S4中稳定的复原图像序列，对该复原图像序列的测量采用均方差测度MSD作为度量方法,MSD的计算公式如下：
Figure BDA0003184480900000055
R来表示参考图像，I表示浮动图像，Ω用来表示整个图像的区域。
本发明的有益效果如下：
本发明为了解决大气湍流引起的图像畸变问题，提出了一种结合暗通道理论和基于B样条的非刚性图像配准算法的湍流图像复原方法，该方法主要使用图像配准算法校正图像中的几何畸变，为了提高配准的精度，将暗通道理论应用于序列的平均图像，使用清晰化的平均图像作为参考图像，实验结果表明，本文的复原算法可以有效地缓解大气湍流引起的图像畸变问题。
附图说明
下面的实施例可以使本专业的技术人员更全面地理解本发明，但并不因此将本发明限制在所述的实施例范围之中。
图1为本发明中使用80帧“烟囱”数据集得到的复原结果，其中(a)-(c)来源于原始数据集中的任意帧，(d)-(f)是本发明复原的结构。
图2为本发明中使用100帧“楼房”数据集得到的复原结构，其中(a)-(c)来源于原始数据集中的任意帧，(d)-(f)是本发明复原的结构。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
一种结合暗通道和图像配准的大气湍流图像复原方法，包括以下步骤，
S1、对于输入图像序列V＝{I1，...，In}，Ik∈Rh×w(k＝1，...，n)，计算其平均图像M；
S2、使用基于暗通道的去模糊算法，得到去模糊后的图像R；
S3、以图像R为参考图像，使用基于B样条的非刚性配准算法去除图像中由湍流引起的畸变，得到校正后的新的图像序列Vf＝{If1，...，Ifn}。
S4、将步骤S3中新的图像序列作为输入，重复上述三个步骤多次，即可得到稳定的复原图像序列。
在本实施例基础上，步骤S2的具体步骤包括：
A、在计算机视觉和计算机图像中，去模糊的模型为I(x)＝J(x)t(x)+A(1-t(x))；其中，I是实测图像，J是理想的真实图像，x表示像数点的位置，t(x)＝e-β(λ)d是透射率，d代表景深，β是大气散射系数，A代表大气光；
B、获取原始输入图像的暗通道图像Jdark，公式为：
Figure BDA0003184480900000071
y表示像素点的位置，Jc表示图像I的第c个颜色通道，Ω(x)表示以像素点x为中心的局部图像块，Jdark(x)表面暗通道值代表的是一个图像块的最小像素值；
C、计算去模糊后图像的透射率
Figure BDA0003184480900000072
公式为：
Figure BDA0003184480900000073
λ是一个调整因子；
D、建立原始输入图像的去模糊后图像模型，获取去模糊后的图像J(x)，公式为：
Figure BDA0003184480900000074
t0为透射率下界，值为0.1。
在本实施例的基础上，步骤S3的具体步骤包括：在二维图像上覆盖分布均匀的控制点网格，调整控制点位置，利用邻域内控制点B样条插值得到非控制点的像素位置，从而拟合出图像中每个点的位移，配准的过程实质上就是寻找畸变图像与参考图像的最佳形变场，为了定义基于B样条的自由变形，可以将二维图像区域表示为：Ω＝{(x，y)|0≤x≤h，0≤y≤w}，令
Figure BDA0003184480900000081
表示大小为nx×ny的控制网格Φ中序号为ij的控制点的值，则图像中任意像素(x，y)的位移可表示为：
Figure BDA0003184480900000082
在本实施例的基础上，
Figure BDA0003184480900000083
在本实施例的基础上，Bm和Bl为均匀三次B样条基函数，其定义为：
Figure BDA0003184480900000084
和
Figure BDA0003184480900000085
0≤t＜1。
这些函数起到权函数的作用，他们根据控制点到(x，y)的距离大小来加权每个控制点对T(x，y)的贡献。B样条的控制点网格的疏密程度决定了形变的自由度，同时也确定了计算复杂度。网格间距越小，配准精度越高，但是计算复杂度也越大。因此，为了在保证配准精确度的同时，提高配准的速度，本申请采用由粗到精的多层次B样条配准方法。
在得到步骤S4中稳定的复原图像序列，对该复原图像序列的测量，采用均方差测度MSD作为度量方法,MSD的计算公式如下：
Figure BDA0003184480900000091
其中，R来表示参考图像，I表示浮动图像，Ω用来表示整个图像的区域。
实验结果及分析
由于大气湍流退化问题的病态性，一般情况下无法获得场景的真实图像，因此目前还没有公认的客观量化标准，主要采用主观判定方法。本文采用数据集(分别为“烟囱”和“楼房”)对所提出的复原算法进行验证，所有实验均在Intel(R)Core(TM)i5-4210U CPU，4GB RAM PC机上运行，采用MATLAB 2018运行程序。
图1和图2的(a)-(c)分别展示了“烟囱”和“楼房”湍流序列中任意抽取的3帧图像，(d)-(f)则是经本方法复原后的结果。对比两行图像，可以发现(a)-(c)的图像存在严重的模糊和几何畸变，从扭曲的目标轮廓可以看出来；在(d)-(f)的经过本文恢复算法处理后的图像中，各目标的轮廓基本恢复直线。因此，本文提出的恢复算法可以有效地抑制大气湍流引起的图像畸变现象。
上述实施例只是本发明的较佳实施例，并不是对本发明技术方案的限制，只要是不经过创造性劳动即可在上述实施例的基础上实现的技术方案，均应视为落入本发明专利的权利保护范围内。

Claims (10)

1.一种结合暗通道和图像配准的大气湍流图像复原方法，其特征在于，包括以下步骤，
S1、对于输入图像序列V＝{I1，...，In}，
Figure FDA0003184480890000011
计算其平均图像M；
S2、使用基于暗通道的去模糊算法，得到去模糊后的图像R；具体步骤包括：
A、在计算机视觉和计算机图像中，去模糊的模型为I(x)＝J(x)t(x)+A(1-t(x))；
B、获取原始输入图像的暗通道图像Jdark，公式为：
Figure FDA0003184480890000012
C、计算去模糊后图像的透射率
Figure FDA0003184480890000013
公式为：
Figure FDA0003184480890000014
D、建立原始输入图像的去模糊后图像模型，获取去模糊后的图像J(x)，公式为：
Figure FDA0003184480890000015
S3、以图像R为参考图像，使用基于B样条的非刚性配准算法去除图像中由湍流引起的畸变，得到校正后的新的图像序列Vf＝{If1，...，Ifn}；
具体步骤包括：在二维图像上覆盖分布均匀的控制点网格，调整控制点位置，利用邻域内控制点B样条插值得到非控制点的像素位置，从而拟合出图像中每个点的位移，配准的过程实质上就是寻找畸变图像与参考图像的最佳形变场，为了定义基于B样条的自由变形，可以将二维图像区域表示为：Ω＝{(x，y)|0≤x≤h，0≤y≤w}，令
Figure FDA0003184480890000021
表示大小为nx×ny的控制网格Φ中序号为ij的控制点的值，则图像中任意像素(x，y)的位移可表示为：
Figure FDA0003184480890000022
S4、将步骤S3中新的图像序列作为输入，重复上述三个步骤多次，即可得到稳定的复原图像序列。
2.根据权利要求1所述一种结合暗通道和图像配准的大气湍流图像复原方法，其特征在于，所述步骤S2的步骤A中，I是实测图像，J是理想的真实图像，x表示像数点的位置。
3.根据权利要求2所述一种结合暗通道和图像配准的大气湍流图像复原方法，其特征在于，所述步骤S2的步骤A中，t(x)＝e-β(λ)d是透射率，d代表景深，β是大气散射系数，A代表大气光。
4.根据权利要求3所述一种用于结合暗通道和图像配准的大气湍流图像复原方法，其特征在于，所述步骤S2的步骤B中，y表示像素点的位置，Jc表示图像I的第c个颜色通道，Ω(x)表示以像素点x为中心的局部图像块。
5.根据权利要求4所述一种用于结合暗通道和图像配准的大气湍流图像复原方法，其特征在于，所述步骤S2的步骤B中，Jdark(x)表面暗通道值代表的是一个图像块的最小像素值。
6.根据权利要求5所述一种用于结合暗通道和图像配准的大气湍流图像复原方法，其特征在于，所述步骤S2的步骤C中，λ是一个调整因子。
7.根据权利要求6所述一种用于结合暗通道和图像配准的大气湍流图像复原方法，其特征在于,所述步骤S2的步骤D中，t0为透射率下界，值为0.1。
8.根据权利要求1所述一种结合暗通道和图像配准的大气湍流图像复原方法，其特征在于，所述步骤S3中，
Figure FDA0003184480890000031
9.根据权利要求12所述一种结合暗通道和图像配准的大气湍流图像复原方法，其特征在于，所述步骤S3中，所述Bm和Bl为均匀三次B样条基函数，其定义为：
Figure FDA0003184480890000032
Figure FDA0003184480890000033
和
Figure FDA0003184480890000034
10.根据权利要求1至9中任意一项所述一种结合暗通道和图像配准的大气湍流图像复原方法，其特征在于，在得到步骤S4中稳定的复原图像序列，对该复原图像序列的测量采用均方差测度MSD作为度量方法,MSD的计算公式如下：
Figure FDA0003184480890000041
所述R来表示参考图像，所述I表示浮动图像，所述Ω用来表示整个图像的区域。
CN202110856974.XA 2021-07-28 2021-07-28 一种结合暗通道和图像配准的大气湍流图像复原方法 Pending CN113570521A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110856974.XA CN113570521A (zh) 2021-07-28 2021-07-28 一种结合暗通道和图像配准的大气湍流图像复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110856974.XA CN113570521A (zh) 2021-07-28 2021-07-28 一种结合暗通道和图像配准的大气湍流图像复原方法

Publications (1)

Publication Number Publication Date
CN113570521A true CN113570521A (zh) 2021-10-29

Family

ID=78168461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110856974.XA Pending CN113570521A (zh) 2021-07-28 2021-07-28 一种结合暗通道和图像配准的大气湍流图像复原方法

Country Status (1)

Country Link
CN (1) CN113570521A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581326A (zh) * 2022-03-03 2022-06-03 上海应用技术大学 一种oct成像畸变矫正方法及装置
CN115358953A (zh) * 2022-10-21 2022-11-18 长沙超创电子科技有限公司 一种基于图像配准和动态目标融合的去湍流方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581326A (zh) * 2022-03-03 2022-06-03 上海应用技术大学 一种oct成像畸变矫正方法及装置
CN114581326B (zh) * 2022-03-03 2024-02-02 上海应用技术大学 一种oct成像畸变矫正方法及装置
CN115358953A (zh) * 2022-10-21 2022-11-18 长沙超创电子科技有限公司 一种基于图像配准和动态目标融合的去湍流方法
CN115358953B (zh) * 2022-10-21 2023-01-31 长沙超创电子科技有限公司 一种基于图像配准和动态目标融合的去湍流方法

Similar Documents

Publication Publication Date Title
Pan et al. Haze removal for a single remote sensing image based on deformed haze imaging model
Cao et al. Underwater image restoration using deep networks to estimate background light and scene depth
CN107301624B (zh) 基于区域划分及浓雾预处理的卷积神经网络去雾方法
WO2020224518A1 (zh) 基于局部中值直方图的自适应红外图像去条纹算法
Gao et al. Sand-dust image restoration based on reversing the blue channel prior
Shiau et al. Weighted haze removal method with halo prevention
CN111292257B (zh) 一种基于Retinex的暗视觉环境下图像增强方法
CN113570521A (zh) 一种结合暗通道和图像配准的大气湍流图像复原方法
CN110097522B (zh) 一种基于多尺度卷积神经网络的单幅户外图像去雾方法
CN110675340A (zh) 一种基于改进的非局部先验的单幅图像去雾方法及介质
CN104272347A (zh) 去除包含在静止图像中的雾的图像处理装置及其方法
CN111861896A (zh) 一种面向uuv的水下图像色彩补偿与恢复方法
CN115170619B (zh) 一种基于密集光流法的云遮挡预测方法
CN111598814B (zh) 基于极端散射通道的单图像去雾方法
CN111598886B (zh) 一种基于单幅图像的像素级透过率估计方法
CN105023246B (zh) 一种基于对比度和结构相似度的图像增强方法
CN110349113B (zh) 一种基于暗原色先验改进的自适应图像去雾方法
Chen et al. Nonuniformly dehaze network for visible remote sensing images
CN113344796A (zh) 一种图像处理方法、装置、设备及存储介质
CN106709876B (zh) 一种基于暗像元原理的光学遥感图像去雾方法
Zhang et al. A fast video image defogging algorithm based on dark channel prior
Zhang et al. Dehazing with improved heterogeneous atmosphere light estimation and a nonlinear color attenuation prior model
CN109949239B (zh) 一种适用于多浓度多场景雾霾图像的自适应清晰化方法
CN114913218A (zh) 一种基于极小模网络的烟幕红外遮蔽面积测量方法
CN114418874A (zh) 一种低照度图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination