CN110310308A

CN110310308A - 一种基于子图的图像配准方法

Info

Publication number: CN110310308A
Application number: CN201910528152.1A
Authority: CN
Inventors: 周璀; 张贵; 周靖鸿; 朱建军; 杨泽发; 张智填
Original assignee: Central South University of Forestry and Technology
Current assignee: Central South University of Forestry and Technology
Priority date: 2019-06-18
Filing date: 2019-06-18
Publication date: 2019-10-08

Abstract

近年来，所有的图像配准算法都是基于整景图像信息的配准，这样会花费大量的时间，特别是对于数据量巨大的遥感影像。这里提出一种新的基于子图的图像配准算法，这种算法在保证亚像素配准精度的前提下可以极大程度地减少配准时间。这个算法的中心思想是具有全局变换的图像对的变换模型通常与从原始图像划分的子图像的变换模型一致，反之亦然。因此，这个算法首先把参考图像划分为相同大小的子图，然后对每个子图进行小波分解，提取小波系数和最大的子图作为新的参考图像，接着利用小波变换和矩阵乘法离散傅里叶变换对待配准图像和参考子图。本发明和整个图配准一样能达到亚像素配准精度，且可以大量地缩短计算时间。

Description

一种基于子图的图像配准方法

技术领域

本发明涉及一种图像的处理方法，尤其涉及一种基于子图的图像配准方法。

背景技术

图像配准是遥感图像融合、超分辨率图像重建、医学图像分析等图像应用领域的一项基本而又重要的图像处理技术。到目前为止，大量的图像配准算法得到了研究。根据这些算法基本特点大致可以划分为两类：基于区域的配准算法(P.Bunting,F.Labrosse,andR.Lucas,"A multi-resolution area-based technique for automatic multi-modalimageregistration,"Imageand Vision Computing,vol.28,no.8,pp.1203-1219,2010)和基于特征的配准算法(J.Jiangand X.Shi,"Arobustpoint-matching algorithm based onintegrated spatial structure constraint for remote sensing imageregistration,"IEEE Geoscience and Remote SensingLetters,vol.13,no.11,pp.1716-1720,2016.)。基于区域的算法通过在预定窗口大小比较整个参考图像与待配准图像的强度信息获得变换样本，诸如归一化互相关，相位相关和优化的方法。与基于区域的配准算法不同，基于特征的配准算法通过匹配整个参考图像和待配准图像呈现的特征(例如，显着区域，线和点)使用诸如空间关系，不变描述符等来获取变换样本，在获得变换样本之后，可以确定参考图像和待配准图像之间的全局变换参数，因此可以将待配准图像匹配到参考图像。

迄今为止，几乎所有基于区域和特征的方法都是基于整个图像呈现的信息(例如，强度或特征)来处理图像配准，这样将导致长时间的消耗，尤其是对于具有大像素的遥感图像(例如，数百万到数千万像素)。考虑到越来越多的遥感数据集可用，这个问题变得越来越棘手，并且遥感(Remotesensing,RS)图像的时空分辨率现在逐渐得到改善。这将阻碍RS图像的快速处理和应用(例如，大数据多时相分析)。实际上，基于整个图像的配准策略的主要目的是尽可能多地获取变换样本以可靠地拟合变换模型，从而实现精确的图像配准。然而，由于以下事实，这种策略对于具有全局变换(例如，对于大多数星载RS图像)的图像配准而言可能不是最有效的选择。在数学中，全局变换模型通常仅包含几个未知参数(例如，通常为4到8个)，那么数十个有效且准确的变换样本通常足以确定这些参数。这意味着在数学上不需要以长时间计算为代价从整个图像中获取大量变换样本来精确地估计变换模型参数。

发明内容

本发明要解决的技术问题是克服现有技术的不足，提供一种新颖的基于子图像的图像配准方法，该方法使用相位相关和矩阵乘法离散傅里叶变换(matrix-multiplydiscrete Fourier transform,DFT)算法。其主要目的是显著减少图像配准的计算时间，但不牺牲先前基于整个图像的方法所实现的亚像素配准精度。为此，所提出的方法满足以下事实：具有全局变换的图像对的变换模型通常与从整个图像划分的子图像的变换模型相同，反之亦然。然后，通过使用相位相关和矩阵乘法离散傅立叶变换算法将原始参考图像的特殊子图像与待配准图像配准来实现整个图像配准。因此，所提出的方法的计算时间的主要减少是由于所使用的子图像的像素尺寸小于整个图像的像素尺寸。

为解决上述技术问题，本发明提出的技术方案为：一种基于子图的图像配准方法，

如图1所示，这种基于子图像的配准方法主要包括四个步骤。首先，它将整个参考图像划分为具有几乎相等像素大小的子图像，并且提取小波系数和最大的子图作为新参考子图像。其次，利用两步处理来获得提取的参考子图像和原始待配准图像之间的亚像素变换样本。第三，基于在第二步中获得的那些变换样本确定整个参考图像和待配准图像之间的全局变换模型。最后，根据确定的变换模型重新采样待配准图像，从而配准原始参考和待配准图像。

(1)基于小波的子图提取

整个参考图像被分成具有几乎相等像素尺寸的n个子图像。其中，n是子图像编号，建议每个子图像的像素尺寸应该大于10000个像素，以确保配准精度。然后，我们希望提取包含足够信息(例如，特征和强度)的子图像，以确保全局图像配准的准确性。为此，引入小波变换技术以提取参考子图像。更具体地，首先使用2D小波变换方法将每个子图像分解为低频子带(由LL表示)和三个高频子带(即，LH，HL和HH)。其中，LL分量通常表示子图像的宽轮廓，LH，HL和HH分量分别包含水平，垂直和对角线方向上的子图像的细节信息。为了尽快确保图像配准的准确性，我们构造了小波系数求和的度量，即，通过对三个子带的小波系数求和来定义，即：E＝[E₁ E₂…E_n]^T，其中E_i标识三个子带的小波系数和，如：

E_i＝(LL_i)²+(LH_i)²+(HL_i)² (1)

然后，提取具有最大小波系数和(即，max(E))的子图像，该子图像是所有子图像中包含最多宽轮廓和详细信息的子图，然后用作参考子图像进行接下来的配准。对提取的子图像执行小波自适应阈值去噪处理，以减轻图像噪声对图像配准的不利影响。

(2)基于相位相关和矩阵乘法DFT的子图像的两步配准

提出了一种两步法来实现亚像素图像配准。第一步是使用经典或改进的相位相关算法在提取的参考子图像和待配准图像之间实现像素级配准，因为相位相关算法对相关和频率相关的噪声具有很强的鲁棒性，非均匀性，时变照明干扰。我们提供一种典型的基于区域方法的经典相位相关算法。该算法根据傅里叶变换定理在频域中获取变换样本。对于具有(a,b)的全局平移的参考图像s(x,y)和待配准图像t(x,y)，即相位相关算法首先计算归一化的交叉功率谱

S(u,v)和T(u,v)分别是s(x,y)和t(x,y)的傅里叶变换，*是复共轭。然后，可以通过定位由交叉功率谱的逆傅里叶变换产生的脉冲函数的峰值来估计(a,b)的平移。显然，经典相位相关的配准精度是像素级的，因此为了扩展所提算法的实际应用范围，应该进行亚像素配准。

第二步是使用矩阵乘法DFT算法执行亚像素配准。这种算法的选择主要是由于其通过传统的快速傅里叶变换上采样方法实现等效精度(亚像素)水平的优点，但优点是更短的计算时间。矩阵乘法DFT方法使用二维DFT的矩阵乘法来细化初始峰值位置估计(像素级)。以单步矩阵乘法DFT方法为例。它首先在初始峰值位置估计的1.5×1.5像素邻域内通过上采样因子κ进行互相关上采样。然后，通过定位由三个矩阵的乘积产生的1.5k×1.5k上采样像素阵列的峰值来实现亚像素配准。

应该指出的是，图像配准算法的选择在这里是开放的，也就是说任何子像素配准算法都是可行的，尽管对于不同的所选算法，精度和计算时间可能不同。即便如此，由于其良好的时间效率和子像素配准精度，推荐介绍的两步配准策略。此外，为了扩展所提出的算法的应用范围，其他改进的相位相关算法也可以用于基于像素的图像配准，如果比平移更复杂的变换(例如，随着旋转的平移或者甚至是缩放)的RS图像也能进行配准。

(3)整个图像的变换模型估计和重采样

在参考和待配准图像之间获得具有亚像素精度的变换样本之后，在本发明中选择全局变换模型(例如，平移模型，二元多项式模型和仿射变换模型)，并进一步估计先前的整个图像的图像配准算法。然而，在所提出的基于子图像的算法方法中，所获得的样本实际上指待配准图像与提取的参考子图像之间的变换，而不是原始参考图像。结果，需要将所获得的变换样本的坐标系(即，相对于所提取的子图像)校正为原始参考图像的像素坐标。

由于参考子图像实际上是原始参考图像的划分，因此可以利用线性全局平移容易地完成变换样本校正。设为参考子图像与待配准图像之间获得的样本，其中Δx和Δy表示沿-x和沿-y像素坐标的平移估计；和K表示有需要估计的旋转量和比例估计。然后，整个参考图像和待配准图像之间的校正变换样本可以通过以下方式获得：其中x_shift和y_shift分别是原始参考图像和提取参考子图沿x和y方向的像素坐标系。在这个阶段，可以使用校正的变换样本来估计原始图像和待配准图像之间的全局变换模型，然后可以对待配准的图像进行重新采样，从而实现如传统图像配准算法中所做的图像配准。

与现有技术相比，本发明的优点在于：本发明提出了一种基于子图的新型图像配准方法，该方法使用相位相关和矩阵乘法DFT算法。本发明所提出的方法可以通过子图配准，效果达到基于整个图像(例如，ECC，EPC和AFR)的传统亚像素图像配准算法的配准精度，但是计算时间更短。(例如，与ECC，AFR和EPC算法相比，计算时间平均减少99.3％，61.5％和80.3％)。此外，本发明还讨论了子图像素大小对配准精度和计算时间的影响。结果表明，子图像素尺寸的减小对计算时间的减少和配准精度的提高产生了相反的贡献，并且为了确保配准精度，推荐大于10000像素的像素尺寸。应该再次指出，所提出的方法只能用于全局变换的图像配准，而不能用于诸如局部失真的复杂变换。

附图说明

图1为本发明中基于子图像的配准方法的框架图。

图2为模拟实验中原始参考图像。

图3为模拟实验中待配准的图像。

图4为模拟实验中图像配准后的重采样待配准图像。

图5为Landsat8遥感图像I。

图6为Landsat8遥感图像II。

图7为实施例1中配准之后的图像。

图8为实施例1中不同子图像素尺寸对计算时间和配准精度的影响。

具体实施方式

为了便于理解本发明，下文将结合说明书附图和较佳的实施例对本发明作更全面、细致地描述，但本发明的保护范围并不限于以下具体的实施例。

除非另有定义，下文中所使用的所有专业术语与本领域技术人员通常理解的含义相同。本文中所使用的专业术语只是为了描述具体实施例的目的，并不是旨在限制本发明的保护范围。

进行模拟配准实验

图2绘制了像素大小为1024×1024的实际SPOT-5图像的一部分，该图像被选择为本节中的原始参考图像。然后，对参考图像通过全局变换按行3.0像素、列4.0像素以及17.0°(逆时针)生成待配准图像。待配准图像如图3所示。最后，所提出的方法用于配准参考和待配准图像。其中，子图像分割的数量被设置为16(即，4×4)，则每个子图像的像素尺寸为128×128。另外，改进的相位相关算法和矩阵乘法DFT算法用于亚像素配准。最后，我们获得了3.06和3.95像素的全局平移和17.3°(逆时针)的全局旋转的变换参数。图4显示了图像配准后的重采样待配准图像。

变换参数估计与模拟参数估计之间的比较表明，平移的绝对误差按行和列分别是0.06和0.05像素，以及全局旋转估计(即17.3°)与模拟误差的相对误差(即17.0°)约为1.8％。该结果表明所提出的方法可以实现亚像素配准。此外，这也证明了具有全局变换的图像对的变换模型应该与分割的子图像的变换模型相同，反之亦然。此外，转换模型确实可以使用基于子图像的变换样本来精确地确定。

实施例1

图5和图6分别为不同日期获得的同一区域上的两个Landsat8遥感图像。参考图像的像素大小(见图5)是7831×7711。为了在计算时间和精度之间进行权衡，将子图像的数量设置为16×16，导致每个子图像的像素尺寸为约490×480。根据经验，在不同日期获得的同一区域上的Landsat8图像包含平移和可忽略的旋转。因此，选择经典相位相关算法用于基于像素的配准，然后利用矩阵乘法DFT方法来细化像素级配准到亚像素。最后，估计的全局平移量按行和列分别为0.74和19.25像素。

为了便于比较，这两个Landsat 8图像使用众所周知的COSI-Corr模块进行配准，该模块可以使用基于整个图像强度的扩展相位相关算法实现亚像素配准，获得的全局平移量按行和列分别为0.44和19.61像素如图7所示。该结果显示与所提出方法的全局平移估计(即，0.74和19.25像素)的良好一致，其中行和列中的子像素差异分别为约0.30和0.36像素。虽然这个良好的一致性不能直接表明通过所提出的方法可以实现亚像素配准，但是由于缺乏真实的变换参数，它表明所提出的基于亚图像的方法的准确度水平几乎等于由COSI-Corr模块基于整个图像实现的。这在很大程度上进一步验证了所提方法的可行性。

(1)精度比较

考虑到精度通常是图像配准的首要优先级，首先进行模拟分析以进一步比较所提出的基于子图像的方法的准确度水平与基于整个图像的三个经典亚像素图像配准算法(即，两个基于区域的：相位相关扩展(EPC)方法(H.Foroosh,J.Zerubia,and M.Berthod,"Extension of phase correlation to subpixel registration,"IEEE Transactions onImage Processing,vol.11,no.3,pp.188-200,2002)和增强相关系数(ECC)方法(G.D.Evangelidisand E.Z.Psarakis,"Parametric Image Alignment Using EnhancedCorrelation Coefficient Maximization,"IEEE Transactions on Pattern Analysisand Machine Intelligence,vol.30,no.10,pp.1858-1865,2008.)，以及一个基于特征的：自动特征配准方法(AFR)(H.Bay,A.Ess,T.Tuytelaars,and L.Van Gool,"Speeded-uprobust features(SURF),"Computer vision and image understanding,vol.110,no.3,pp.346-359,2008.)。使用的参考图像和待配准图像与模拟实验中描述的图像相同。表1列出了EPC，ECC，AFR和提出的方法得出的全局平移估计的平均误差。可以看出，在这种情况下，这四种方法的配准精度水平几乎彼此相等(即，低于0.1像素)。该结果进一步表明所提出的方法可以实现亚像素配准，如通过这三种经典的基于整个图像配准的算法所做的那样，虽然在所提出的方法中仅使用参考图像的子图去配准待配准图像。

表1还列出了这四种图像配准算法在真实数据实验中用Landsat-8图像的实际数据间的差异。注意到，由于缺乏真实的全局转换参数，我们将COSI-Corr模块中使用的EPC的转换估计作为参考，在表1中显示了EPC的零误差。其他差异实际数据实际上是EPC结果与ECC，AFR和提出的方法得出的结果之间的平均差异。可以看出，对于所提出的方法，证明了亚像素误差(或差异)(即，0.33像素)。然而，像素级平均差包含在ECC(即8.19)和AFR(即3.72)算法估计的结果中。选定的Landsat-8图像中的局部峰值位置和缺乏易于检测的特征可能是ECC和AFR方法的像素级平均差异的原因。

(2)计算时间比较

表2列出了上述EPC，ECC，AFR和提出的算法在分别用于模拟和真实数据集时的计算时间。如图所示，ECC对模拟图像配准(像素大小为1024×1024)的计算时间最长(即32.07秒)，与AFR，EPC和提出的方法相比，约为19,89和267倍。归因于其迭代策略。此外，对于真实数据图像配准(像素大小为7831×7711)，ECC仍然占用最高的计算时间(即大约1192秒)，这比AFR，EPC和提出的方法计算时间高得多(大约32,43和100倍)。总之，这四种算法的时间消耗顺序大致从最高到最低排序为ECC，AFR，EPC和所提出的方法。此外，与ECC，AFR和EPC算法相比，本研究中模拟实验和实际数据集的计算时间分别大约平均减少了99.3％，61.5％和80.3％。这些结果表明，所提出的基于子图像的方法可以实现像这三种经典的基于全图像的算法所做导的亚像素配准精度，但是以较低的计算时间为代价。

表1.EPC,ECC,AFR和提出算法在模拟实验和真实数据下的配准误差比较

*:分别表示ECC，ECC,AFR,和提出算法与EPC结果的均值差异。

表2.EPC,ECC,AFR和提出算法在模拟实验和真实数据下的计算时间比较

(3)子图像像素大小对精度和计算时间的影响

所提出的方法通过将所选择的参考子图与待配准图像配准来实现整个图像的亚像素配准。结果，所选择的子图像的像素大小和内容将对配准精度和计算时间产生显著影响。在所提出的方法中，通过搜索具有最大小波系数和的子图像来提取参考子图，其在很大程度上确保提取的参考子图具有最大的宽轮廓和详细内容，然后再代表整图去进行图像配准。因此，我们基于模拟数据关注子图的像素大小对配准精度和计算时间的影响。

更具体地，首先通过将从1(即，没有分割)变化的子图像编号设置为100来划分原始参考图像，导致参考子图像的像素尺寸从512×512变化到约51×51。然后，所提出的方法被应用于分别用这些具有不同像素大小的参考子图像来配准待配准的图像。图8描绘了相对于不同子图像素大小的计算时间和配准精度的比较。如图所示，随着子图像素尺寸从512×512(子图数为1)逐渐减小到约170×170(子图数量为3×3)，计算时间从0.35秒逐渐减小到0.12秒。之后，尽管子图像像素尺寸保持减小，但总体上计算时间略微减小。另外，从图4可以看出，随着子图像像素尺寸从512×512减小到57×57，配准精度几乎保持高水平(<0.05像素)。然而，当子图像像素尺寸减小到阈值(例如，在这种情况下为57×57)时，出现像素级错误。该结果表明，子图像素尺寸的减小会对计算时间的减少和配准精度的提高产生相反的影响。因此，应该将子图像分割的数量指定为计算时间和配准精度之间的折衷(例如，使用图8中由阴影标记的子图像像素尺寸间隔)。尽管这种折衷对于不同的图像可能是不同的并且很难用固定的阈值来确定，但是我们建议参考子图像的像素尺寸应该大于10000个像素，以便根据我们的测试确保配准精度。

本实施例提出了一种基于子图的新型图像配准方法，该方法使用相位相关和矩阵乘法DFT算法。模拟和实际数据实验表明，所提出的方法可以通过子图配准，效果达到基于整个图像(例如，ECC，EPC和AFR)的传统亚像素图像配准算法的配准精度，但是以更短的计算时间为代价。(例如，与ECC，AFR和EPC算法相比，计算时间平均减少99.3％，61.5％和80.3％)。此外，还讨论了子图像素大小对配准精度和计算时间的影响。结果表明，子图像素尺寸的减小对计算时间的减少和配准精度的提高产生了相反的贡献，并且为了确保配准精度，推荐大于10000像素的像素尺寸。应该再次指出，所提出的方法只能用于全局变换的图像配准，而不能用于诸如局部失真的复杂变换。

Claims

1.一种基于子图的图像配准方法，其特征在于，包括以下步骤：

1)基于小波的子图提取

①将图像分成n个子图像，每个子图像的像素尺寸相等，并且将每个图像编号；

②使用2D小波变换方法将每个子图像分解为低频子带LL和三个高频子带LH、HL和HH，LL分量表示子图像的宽轮廓，LH、HL和HH分量分别表示包含水平、垂直和对角线方向上的子图像的细节信息；

③构造小波系数求和的度量，即，通过对三个子带的小波系数求和来定义，即：

E＝[E₁ E₂ … E_n]^T，其中E_i标识三个子带的小波系数和，如：

E_i＝(LL_i)²+(LH_i)²+(HL_i)² (1)

然后，提取具有最大小波系数和(即，max(E))的子图像，在理论上该子图像是所有子图像中包含最多宽轮廓和详细信息的子图，然后用作参考子图像进行接下来的配准；

2)基于相位相关和矩阵乘法DFT的子图像的两步配准；

①使用经典或改进的相位相关算法在提取的参考子图像和待配准图像之间实现像素级配准；

②使用矩阵乘法DFT算法执行亚像素配准；首先在初始峰值位置估计的1.5×1.5像素邻域内通过上采样因子κ进行互相关上采样，然后，通过定位由三个矩阵的乘积产生的1.5k×1.5k上采样像素阵列的峰值来实现亚像素配准；

3)对整个图像的变换模型估计和重采样；

参考和待配准图像之间获得具有亚像素精度的变换样本之后，选择全局变换模型，并进一步估计先前的整个图像的图像配准算法；并将所获得的变换样本的坐标系校正为原始参考图像的像素坐标；然后可以对待配准的图像进行重新采样，从而实现如传统图像配准算法中所做的图像配准。

2.根据权利要求1所述的基于子图的图像配准方法，其特征在于，在步骤1)中，对提取的子图像进行小波去噪处理，减轻噪声对图像配准的不利影响。

3.根据权利要求1所述的基于子图的图像配准方法，其特征在于，所述全局变换模型包括平移模型、二元多项式模型和仿射变换模型中的一种。

4.根据权利要求1所述的基于子图的图像配准方法，其特征在于，所述步骤3)中进行校准的时候可以采用线性全局平移容易地完成变换样本校正。