CN114581497A - 一种用于大气湍流图像畸变校正的改进b样条非刚性配准方法 - Google Patents

Abstract

一种用于大气湍流图像畸变校正的改进B样条非刚性配准方法，涉及大气光学领域，主要解决传统配准方法在大气湍流图像畸变严重时校正性能不稳定的问题。步骤为：输入经大气湍流退化后的图像序列，取图像序列的平均帧作为参考图像，图像中的每一帧作为浮动图像；生成均匀网格控制点矩阵；采用B样条非刚性变换生成图像变形场；根据变形场对浮动图像作变换，与参考图像之间进行归一化平方差，作为图像配准相似度的目标函数；利用融合粒子群算法的可调控指数级阻尼因子LM算法，求得目标函数最小时的最优控制点矩阵；根据最优控制点矩阵，求得配准后的浮动图像。本发明在处理多帧畸变湍流图像时，稳定性较好，能够获得较好的图像校正质量。

Description

一种用于大气湍流图像畸变校正的改进B样条非刚性配准 方法

技术领域

本发明属于大气光学领域，具体涉及一种用于大气湍流图像畸变校正的改进B样条非刚性配准方法。

背景技术

大气湍流是一种不规则的大气随机运动，这种随机运动会导致大气折射率的随机起伏，因此当光在大气湍流中传播时，就会导致光斑漂移、光束扩展、光斑闪烁等大气湍流效应。这种湍流效应对远距离目标的成像探测而言，直接会导致图像的随机几何畸变以及时空可变模糊，从而为大气中远距离目标探测带来很大的干扰，如何消除大气湍流的影响一直是可见/红外探测领域的一个难题。

为了校正大气湍流条件下图像的几何畸变问题，通常采用图像配准方法。由于湍流引起的图像几何畸变是随机的，因此大多采用非刚性配准方法。相对于其他的非刚性配准方法，由于B样条具有光滑性、快速插值和多分辨率的层次结构，因此基于B-样条的非刚性图像配准具有较高的配准结果。但是，传统的基于LM加速的B-样条非刚性图像配准在应用于湍流图像几何形变校正时，当图像畸变严重时，校正性能不稳定。

发明内容

本发明的目的在于提出一种用于大气湍流图像畸变校正的改进B样条非刚性配准方法，首次提出融合粒子群算法的可调控指数级阻尼因子LM算法，用于获得图像变形场的最佳控制点矩阵，以此求得经B样条非刚性变换后的配准图像，提高校正性能稳定性。

为了实现上述目的，本发明所采用的技术方案为：

一种用于大气湍流图像畸变校正的改进B样条非刚性配准方法，包括以下步骤：

步骤1、输入经大气湍流退化后的图像序列，取图像序列的平均帧作为参考图像R，图像序列中的每一帧作为浮动图像G，设参考图像和浮动图像在x和y方向上的尺寸分别为m和n，则每一帧图像总的像素个数为m×n；

步骤2，生成用于B样条非刚性变换的均匀网格控制点矩阵S，控制点矩阵所组成的网格覆盖区域在x方向和y方向都比浮动图像多出3个像素点；

步骤3，采用B样条非刚性变换的方式生成图像变形场，图像变形场由多个三阶B样条基函数与控制点矩阵相乘并求和得到；

步骤4，利用步骤3得到的变形场，对浮动图像作变换，变换后的图像，与参考图像之间进行归一化平方差，作为图像配准相似度的目标函数；

步骤5，利用融合粒子群算法的可调控指数级阻尼因子LM算法，求得目标函数最小时的最优控制点矩阵；

步骤6，利用所述步骤5获得的最优控制点矩阵，计算基于B样条非刚性变换的变形场，将浮动图像原像素位置减去相应位置的变形场，即为配准后的浮动图像。

与现有方法相比，本发明其显著优点在于：

(1)指数级阻尼因子能够减少迭代次数，提高收敛速度。

(2)利用粒子群算法获得初值，增强LM算法的全局寻优能力。

(3)在处理多帧图像时，稳定性较好，在不同的图像畸变状态下，能够实现较低的均方误差、较高的峰值信噪比和较高的结构相似性，从而获得较好的图像校正质量。

附图说明

图1为本发明的算法流程图。

图2为融合粒子群算法的可调控指数级阻尼因子LM算法流程图。

图3为“Chimney”序列处理结果：(a)参考图像(序列平均图像)；(b)浮动图像；(c)基于LM算法的B-样条非刚性配准图像；(d)本发明配准图像。

图4为本发明和基于LM算法的B样条非刚性配准处理得到的“Chimney”序列的均方误差。

图5为本发明和基于LM算法的B样条非刚性配准处理得到的“Chimney”序列的峰值信噪比。

图6为本发明和基于LM算法的B样条非刚性配准处理得到的“Chimney”序列的结构相似性。

图7为“Building”序列处理结果：(a)参考图像(序列平均图像)；(b)浮动图像；(c)基于LM算法的B-样条非刚性配准图像；(d)本发明配准图像。

图8为本发明和基于LM算法的B样条非刚性配准处理得到的“Building”序列的均方误差。

图9为本发明和基于LM算法的B样条非刚性配准处理得到的“Building”序列的峰值信噪比。

图10为本发明和基于LM算法的B样条非刚性配准处理得到的“Building”序列的结构相似性。

具体实施方式

为了解决传统的基于LM加速的B-样条非刚性图像配准在应用于校正湍流图像几何形变时，当图像畸变严重时，校正性能不稳定的问题。本发明提出了一种用于大气湍流图像畸变校正的改进B样条非刚性配准方法，如图1所示，实现步骤如下：1)输入经大气湍流退化后的图像序列，取图像序列的平均帧作为参考图像，图像中的每一帧作为浮动图像；2)生成用于B样条非刚性变换的均匀网格控制点矩阵；3)采用B样条非刚性变换的方式生成图像变形场；4)根据变形场，对浮动图像作变换，变换后的图像，与参考图像之间进行归一化平方差，作为图像配准相似度的目标函数；5)利用融合粒子群算法的可调控指数级阻尼因子LM算法，求得目标函数最小时的最优控制点矩阵；6)根据最优控制点矩阵，求得配准后的浮动图像。具体步骤如下：

步骤1，输入经大气湍流退化后的图像序列，取图像序列的平均帧作为参考图像R，图像序列中的每一帧作为浮动图像G，设参考图像和浮动图像在x和y方向上的尺寸分别为m和n，则每一帧图像总的像素个数为m×n。

步骤2，生成用于B样条非刚性变换的均匀网格控制点矩阵S。假定控制点矩阵S在x方向和y方向上的维度分别为k_x和k_y，为了使控制点矩阵所形成的网格完全覆盖图像尺寸，设控制点在x方向上的网格间距为l_x，在y方向上的网格间距为l_y，那么按照均匀生成网格的方式，则k_x、k_y与l_x、l_y之间的关系如下：

式(1)中，

表示向下取整，因此，控制点的总数目为k＝k_xk_y。

步骤3，采用B样条非刚性变换的方式生成图像变形场，变形场D(x,y)表示为：

其中，S为控制点矩阵。

B₀(u)、B₁(u)、B₂(u)、B₃(u)以及B₀(v)、B₁(v)、B₂(v)、B₃(v)为三阶B样条基函数，表示为：

步骤4，利用步骤3得到的变形场D(x,y)对浮动图像作变换，浮动图像变换后表示为G((x,y)-D(x,y))，图像配准的目的是使得变换后的浮动图像充分逼近参考图像。为了度量变形后浮动图像与参考图像的相似度，采用归一化的平方差之和作为目标函数，表述为：

其中，S为控制点矩阵，f为定义的目标函数，x和y分别为浮动图像和参考图像中的位置坐标，||·||为2-norm。

将公式(2)带入公式(6)，可得：

步骤5，为了求解所述步骤4中目标函数的最小值，从而获得最优控制点矩阵，本发明提出了融合粒子群算法的可调控指数级阻尼因子LM算法，其算法流程图如图2所示，算法包含以下步骤：

C0.利用粒子群算法得到控制点矩阵初值S₀。

C1.设置最大迭代次数Maxiter、阻尼因子λ初值。

C2.若迭代次数小于最大迭代次数，计算控制点的雅可比矩阵J和归一化的平方差之和计算目标函数f。

C3.计算迭代步长，由下式表示：

ΔS＝-J^Tf/(J^TJ+λI) (8)

式中J^T为J的转置矩阵(下同)，I为单位矩阵。

C4.计算更新后的控制点矩阵S＝S₀+ΔS，并根据归一化的平方差之和计算更新的目标函数f’，并根据下式计算增益因子：

r＝(f-f’)/(-S^TλJ^Tf) (9)

S^T为S的转置。

C5.若增益因子r小于0.3：

当f<f’时，

λ＝p^λ，其中1<p<2 (10)

当f≥f’时，

C6.若增益因子r大于1，则：

C7.若增益因子r满足1≥r≥0.3，则：

λ＝λ (13)

C8.若未达到最大迭代次数，重复步骤C2-C7。

C9.若达到最大迭代次数，算法结束，输出最佳控制点矩阵S’。

步骤6，利用步骤5求取的最优控制点矩阵S’，计算配准后的浮动图像G’，表示为：

下面结合仿真结果对本发明的效果做进一步的描述。

1、仿真条件：

实验平台为Intel(R)Core(TM)i7-11800H@2.30GHz，内存16GB，运行Windows7的PC机，编程语言为MatlabR2016b。

2、仿真内容与结果分析：

仿真1，用本发明和基于LM的B样条非刚性配准方法对湍流退化的“chimney”图像序列进行配准，结果如图3，其中图3(a)是参考图像，采用视频序列的平均帧作为参考图像。图3(b)是浮动图像(退化序列的其中一帧)。图3(c)是基于LM算法的B-样条非刚性配准图像，图3(d)是本发明得到的配准图像。从图3可以看出，本发明配准的图像，几何畸变获得有效校正。

为定量描述配准后“chimney”图像的质量，分别采用均方误差(MSE)，峰值信噪比(PSNR)和结构相似性(SSIM)对每一帧图像的校正结果进行比较，分别如图4-6所示。由图可知，本发明降低了配准图像的均方误差，提高了配准图像峰值信噪比和结构相似性。尤其是在一些图像帧中，峰值信噪比提高超过5dB。

仿真2，用本发明和基于LM的B样条非刚性配准方法对湍流退化的“building”图像序列进行配准，结果如图7，其中图7(a)是参考图像，采用视频序列的平均帧作为参考图像。图7(b)是浮动图像(退化序列的其中一帧)。图7(c)是基于LM算法的B-样条非刚性配准图像，图7(d)是本发明得到的配准图像。从图7可以看出，本发明配准的图像，几何畸变获得有效校正。

为定量描述配准后“building”图像的质量，分别采用均方误差(MSE)，峰值信噪比(PSNR)和结构相似性(SSIM)对每一帧图像的校正结果进行比较，分别如图8-10所示。由图可知，本发明降低了配准图像的均方误差，提高了配准图像峰值信噪比和结构相似性。

以上内容仅仅是对本发明的构思所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的构思或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (6)

1.一种用于大气湍流图像畸变校正的改进B样条非刚性配准方法，其特征在于，包括以下步骤：

步骤1、输入经大气湍流退化后的图像序列，取图像序列的平均帧作为参考图像R，图像序列中的每一帧作为浮动图像G，设参考图像和浮动图像在x和y方向上的尺寸分别为m和n，则每一帧图像总的像素个数为m×n；

步骤2，生成用于B样条非刚性变换的均匀网格控制点矩阵S，控制点矩阵所组成的网格覆盖区域在x方向和y方向都比浮动图像多出3个像素点；

步骤3，采用B样条非刚性变换的方式生成图像变形场，图像变形场由多个三阶B样条基函数与控制点矩阵相乘并求和得到；

步骤4，利用步骤3得到的变形场，对浮动图像作变换，变换后的图像，与参考图像之间进行归一化平方差，作为图像配准相似度的目标函数；

步骤5，利用融合粒子群算法的可调控指数级阻尼因子LM算法，求得目标函数最小时的最优控制点矩阵；

步骤6，利用所述步骤5获得的最优控制点矩阵，计算基于B样条非刚性变换的变形场，将浮动图像原像素位置减去相应位置的变形场，即为配准后的浮动图像。

2.如权利要求1所述的配准方法，其特征在于，所述步骤2具体为：

假定控制点矩阵S在x方向和y方向上的维度分别为k_x和k_y，为了使控制点矩阵所形成的网格完全覆盖图像尺寸，设控制点在x方向上的网格间距为l_x，在y方向上的网格间距为l_y，那么按照均匀生成网格的方式，则k_x、k_y与l_x、l_y之间的关系如下：

式(1)中，

表示向下取整，因此，控制点的总数目为k＝k_xk_y。

3.如权利要求2所述的配准方法，其特征在于，所述步骤3具体为：

采用B样条非刚性变换的方式生成图像变形场，变形场D(x,y)表示为：

其中，S为控制点矩阵；

B₀(u)、B₁(u)、B₂(u)、B₃(u)以及B₀(v)、B₁(v)、B₂(v)、B₃(v)为三阶B样条基函数，表示为：

4.如权利要求3所述的配准方法，其特征在于，所述步骤4具体为：

利用步骤3得到的变形场D(x,y)对浮动图像作变换，浮动图像变换后表示为G((x,y)-D(x,y))，图像配准的目的是使得变换后的浮动图像充分逼近参考图像；为了度量变形后浮动图像与参考图像的相似度，采用归一化的平方差之和作为目标函数，表述为：

其中，S为控制点矩阵，f为定义的目标函数，x和y分别为浮动图像和参考图像中的位置坐标，||·||为2-norm；

将公式(2)带入公式(6)，可得：

5.如权利要求4所述的配准方法，其特征在于，所述步骤5具体为：

利用融合粒子群算法的可调控指数级阻尼因子LM算法，求解所述步骤4中目标函数的最小值，从而获得最优控制点矩阵，算法包含以下步骤：

C0.利用粒子群算法得到控制点矩阵初值S₀；

C1.设置最大迭代次数Maxiter、阻尼因子λ初值；

C2.若迭代次数小于最大迭代次数，计算控制点的雅可比矩阵J和归一化的平方差之和计算目标函数f；

C3.计算迭代步长，由下式表示：

ΔS＝-J^Tf/(J^TJ+λI) (8)

式中J^T为J的转置矩阵，I为单位矩阵；

C4.计算更新后的控制点矩阵S＝S₀+ΔS，并根据归一化的平方差之和计算更新的目标函数f’，并根据下式计算增益因子：

r＝(f-f’)/(-S^TλJ^Tf) (9)

S^T为S的转置；

C5.若增益因子r小于0.3：

当f<f’时，

λ＝p^λ，其中1<p<2 (10)

当f≥f’时，

C6.若增益因子r大于1，则：

C7.若增益因子r满足1≥r≥0.3，则：

λ＝λ (13)

C8.若未达到最大迭代次数，重复步骤C2-C7；

C9.若达到最大迭代次数，算法结束，输出最佳控制点矩阵S’。

6.如权利要求5所述的配准方法，其特征在于，所述步骤6具体为：

利用步骤5求取的最优控制点矩阵S’，计算配准后的浮动图像G’，表示为：

Images