CN106228510A - 基于畸变程度分割的无人机载实时sar图像配准方法 - Google Patents

Abstract

本发明涉及基于畸变程度分割的无人机载实时SAR图像配准方法，包括：校正参考图像和待配准图像为同一区域的两幅无人机载实时SAR图像；在粗配准后的两幅图像中选择样本点，利用灰度相关性确定样本区域的偏移量；基于偏移量对所有样本进行分类；对分类后的每一类样本点，建立两幅图像之间的映射方程，对待配准图像插值进行重采样处理；将待配准图像区域均匀分割成数个小区域；每个分割区域从其对应类的重采样结果中取数，拼接重构成一幅图像。本发明可以对两幅任意扭曲的图像进行配准，对载机平台的飞行稳定性要求降低，使SAR图像更易于应用；当图像之间的畸变关系很难用统一的数学模型描述时，将这种关系分解成几个较简单的映射方程，算法通用性强。

Description

基于畸变程度分割的无人机载实时SAR图像配准方法

技术领域

本发明涉及合成孔径雷达图像处理技术领域，尤其是一种基于畸变程度分割的无人机载实时SAR图像配准方法。

背景技术

根据合成孔径雷达SAR(Synthetic Aperture Radar)成像原理可知，合成孔径雷达是利用雷达平台和目标之间的相对运动，产生的普勒平移来获得方位维的高分辨，因此，一般要求雷达平台具有较高的稳定性。而如今，SAR作为一种功能强大的观测雷达，已经应用于一些稳定性不是很高的平台，如中、低空飞机、直升机、无人机等。

由于空气气流、设备性能及飞行任务等因素，雷达平台运动稳定性受到很大影响，同时，对“实时性”指标要求很高的实时成像雷达系统，由于运算性能限制，难以对成像完成高精度的几何校正，因此，无人机实时SAR图像几何畸变呈现复杂性。畸变根源包括：平台稳定性不高、地形起伏无法校正、成像产生的固有畸变等等，当两幅无人机实时SAR图像需要配准时，图像之间的畸变关系将很难用一个统一的数学模型描述。

常规的SAR图像配准算法主要针对两幅图像有统一的旋转、拉伸、平移等畸变关系，配准精度的需求一般是“亚像素级”，即配准误差小于1像素，对于无人机载实时SAR图像精配准，常规的配准算法将无法满足配准精度要求。

发明内容

本发明的目的在于提供一种通过对两幅图像之间畸变程度估计实现图像区域分割，不同的畸变区域建立相对应的映射关系，最后通过拼接重构完成两幅图像之间的配准，满足无人机载实时SAR图像配准精度要求的基于畸变程度分割的无人机载实时SAR图像配准方法。

为实现上述目的，本发明采用了以下技术方案：一种基于畸变程度分割的无人机载实时SAR图像配准方法，该方法包括下列顺序的步骤：

(1)变化域粗配准：校正参考图像和待配准图像间的旋转、平移关系，校正参考图像和待配准图像为同一区域的两幅无人机载实时SAR图像；

(2)灰度相关性配准：在粗配准后的两幅图像中选择样本点，利用灰度相关性确定样本区域的偏移量；

(3)畸变程度分类：基于偏移量对所有样本进行分类，每一类样本点代表一类畸变关系；

(4)图像重采样：对分类后的每一类样本点，建立两幅图像之间的映射方程，对待配准图像插值进行重采样处理，每一类畸变关系对应一个待配准图像重采样结果；

(5)基于样本区域的图像分割：将待配准图像区域均匀分割成数个小区域；

(6)图像拼接重构：每个分割区域从其对应类的重采样结果中取数，拼接重构成一幅图像。

在步骤(1)中，所述变化域粗配准具体为：在参考图像和待配准图像中的同一位置取出大小为2ⁿ×2ⁿ像素的区域，设参考图像中的区域定义为B，B为由2ⁿ×2ⁿ的像素点构成的矩阵，待配准图像中的区域定义为A，A为由2ⁿ×2ⁿ的像素点构成的矩阵；对A在[-θ,θ]范围内，以△为间隔做图像旋转，θ,△的值根据图像成像参数设定，旋转后的矩阵定义为A'；对矩阵A'与矩阵B完成基于傅里叶变化域FFT的图像配准：对A'和B做FFT变换，记录最大互能量谱及最佳匹配位置；完成全部旋转角度的互能量谱计算后，所有互能量谱中的最大值对应的角度为待配准图像相对参考图像的旋转角度，对应的最佳匹配位置为待配准图像相对参考图像的平移参数；根据最终结果，对待配准图像进行角度旋转和平移，两幅图像完成粗配准。

在步骤(2)中，所述灰度相关性配准具体为：在粗配准后的两幅图像中，分别选出N个窗口，每个窗口在参考图像和待配准图像中，具有相同的中心点坐标，其中，参考图像中窗口为搜索窗口，大小为I×I，待配准图像中窗口为模板窗口，大小为T×T，T<I；在搜索窗口内移动模板窗口，遍历所有位置，计算不同位置模板窗口与搜索窗口的像素相似性，相似性最大时对应的模板窗口的偏移位置即为两个窗口之间的配准位置。

在步骤(3)中，所述畸变程度分类具体为：在灰度相关配准过程后，每个窗口将会对应一个配准位置，将这N个配准位置作为样本点，利用K-MEAN算法将样本点归类，如果某类的样本点小于6个，则减少类别数，将该类样本点归入别的类，分类后的每一类样本点代表一类畸变关系，N为在粗配准后的两幅图像中选出的窗口个数。

在步骤(4)中，所述图像重采样具体为：以每一类样本点作为控制点，利用有限个控制点的已知坐标，根据最小二乘法解超定方程，求解多项式的系数；找到两幅图像之间的变换关系后，通过图像间的变换参数可对待配准图像进行重建；使用双线性插值完成对待配准图像的重采样处理，当样本点被分为K类时，待配准图像将进行K次重采样，产生K个重采样结果。

在步骤(5)中，所述基于样本区域的图像分割具体为：将待配准图像区域均匀分割成数个区域，区域数目大于4N，N为在粗配准后的两幅图像中选出的窗口个数，假设待配准图像在宽度向和高度向分别p，q等分，则待配准图像被均匀分成M＝p×q个区域，为减少运算量，在每个区域中心点位置，取出T×T大小的数据作为样本区域，依次在K个待配准图像的重采样结果中的相同位置，取出T×T大小的样本区域，与参考图像中的样本区域，计算相关系数；在K个相关系数中，最大的值对应的类，为该区域所应归属类别，用这种方法完成对M个区域的分类；如果某个样本区域，K个相关系数的值均小于0.6，则认为该区域为噪声区域，不对该区域归类。

在步骤(6)中，所述图像拼接重构具体为：基于样本区域的图像分割后，待配准图像M个区域被分入不同的类别，分别从每个区域所在类别对应的重采样图像中取该区域像素灰度值，填充拼接成一幅新图像，而这幅新图像即为待配准图像基于参考图像配准的结果。

所述搜索窗口和模板窗口的相似性用互相关系数衡量，设模板窗口在搜索窗口内移动到某个位置，此时，参考图像窗口中的数据为X，待配准图像窗口中的数据为Y，则X、Y之间的互相关系数为：

$R(X,Y)=\frac{\underset{i=1}{\overset{T}{\&Sigma;}}\underset{j=1}{\overset{T}{\&Sigma;}}X(i,j)Y(i,j)}{\sqrt{\underset{i=1}{\overset{T}{\&Sigma;}}\underset{j=1}{\overset{T}{\&Sigma;}}X{(i,j)}^2}\sqrt{\underset{i=1}{\overset{T}{\&Sigma;}}\underset{j=1}{\overset{T}{\&Sigma;}}Y{(i,j)}^2}}$

相关系数取值范围为0～1.0；

所述窗口的选择原则为：模板窗口在搜索窗口中滑动，如果所有位置的互相关值均小于0.6，则该窗口没有满足要求，在该位置附近重新选择窗口。

由上述技术方案可知，本发明的优点在于：第一,可以对两幅任意扭曲的图像进行配准，对载机平台的飞行稳定性要求降低，使SAR图像更易于应用；第二，当图像之间的畸变关系很难用统一的数学模型描述时，将这种关系分解成几个较简单的映射方程，算法通用性强。

附图说明

图1为本发明的方法流程图；

图2为图1中灰度相关性配准示意图；

图3(a)、图3(b)为图1中畸变程度分类示意图；

图4为本发明中像素点邻域关系示意图；

图5为图1中基于样本区域的图像分割流程图；

图6为未被归类的点完成归类流程图。

具体实施方式

如图1所示，一种基于畸变程度分割的无人机载实时SAR图像配准方法，该方法包括下列顺序的步骤：(1)变化域粗配准：校正参考图像和待配准图像间的旋转、平移关系，校正参考图像和待配准图像为同一区域的两幅无人机载实时SAR图像；(2)灰度相关性配准：在粗配准后的两幅图像中选择样本点，利用灰度相关性确定样本区域的偏移量；(3)畸变程度分类：基于偏移量对所有样本进行分类，每一类样本点代表一类畸变关系；(4)图像重采样：对分类后的每一类样本点，建立两幅图像之间的映射方程，对待配准图像插值进行重采样处理，每一类畸变关系对应一个待配准图像重采样结果；(5)基于样本区域的图像分割：将待配准图像区域均匀分割成数个小区域；(6)图像拼接重构：每个分割区域从其对应类的重采样结果中取数，拼接重构成一幅图像。

在步骤(1)中，所述变化域粗配准具体为：在参考图像和待配准图像中的同一位置取出大小为2ⁿ×2ⁿ像素的区域，设参考图像中的区域定义为B，B为由2ⁿ×2ⁿ的像素点构成的矩阵，待配准图像中的区域定义为A，A为由2ⁿ×2ⁿ的像素点构成的矩阵；对A在[-θ,θ]范围内，以△为间隔做图像旋转，θ,△的值根据图像成像参数设定，例如，无人机沿同一航线、用同一成像参数获取参考图和待配准图，θ,△可取θ＝3°，△＝1°，即矩阵A在[-3°,3°]范围内，以△＝1°为间隔做矩阵旋转，旋转后的矩阵定义为A'；对矩阵A'与矩阵B完成基于傅里叶变化域FFT的图像配准：对A'和B做FFT变换，记录最大互能量谱及最佳匹配位置；完成全部旋转角度的互能量谱计算后，所有互能量谱中的最大值对应的角度为待配准图像相对参考图像的旋转角度，对应的最佳匹配位置为待配准图像相对参考图像的平移参数；这种粗配准方法对噪声有较好的鲁棒性，用FFT可以进行快速计算。根据最终结果，对待配准图像进行角度旋转和平移，两幅图像完成粗配准。

如图2所示，在步骤(2)中，所述灰度相关性配准具体为：在粗配准后的两幅图像中，分别选出N个窗口，每个窗口在参考图像和待配准图像中，具有相同的中心点坐标，其中，参考图像中窗口为搜索窗口，大小为I×I，待配准图像中窗口为模板窗口，大小为T×T，T<I；在搜索窗口内移动模板窗口，遍历所有位置，计算不同位置模板窗口与搜索窗口的像素相似性，相似性最大时对应的模板窗口的偏移位置即为两个窗口之间的配准位置。

所述搜索窗口和模板窗口的相似性用互相关系数衡量，设模板窗口在搜索窗口内移动到某个位置，此时，参考图像窗口中的数据为X，待配准图像窗口中的数据为Y，则X、Y之间的互相关系数为：

$R(X,Y)=\frac{\underset{i=1}{\overset{T}{\&Sigma;}}\underset{j=1}{\overset{T}{\&Sigma;}}X(i,j)Y(i,j)}{\sqrt{\underset{i=1}{\overset{T}{\&Sigma;}}\underset{j=1}{\overset{T}{\&Sigma;}}X{(i,j)}^2}\sqrt{\underset{i=1}{\overset{T}{\&Sigma;}}\underset{j=1}{\overset{T}{\&Sigma;}}Y{(i,j)}^2}}$

相关系数取值范围为0～1.0；

窗口选择时，应包含较明显的地物特征，避免将窗口落在受相干斑噪声影响较大区域。由于噪声之间的互相关系数不会很大，因此，窗口选择原则为：模板窗口在搜索窗口中滑动，如果所有位置的互相关值均小于0.6，0.6是通过统计结果得出的经验值，则该窗口不满足要求，在该位置附近重新选择窗口。

在步骤(3)中，所述畸变程度分类具体为：在灰度相关配准过程后，每个窗口将会对应一个配准位置，将这N个配准位置作为样本点，利用K-MEAN算法将样本点归类，如果某类的样本点偏少，如小于6个，则减少类别数，将该类样本点归入别的类，分类后的每一类样本点代表一类畸变关系，N为在粗配准后的两幅图像中选出的窗口个数。例如，某图像在灰度相关性配准时，在宽度向取8个窗口，高度向取5个窗口，则N＝8×5＝40，灰度相关性配准后，每个窗口都将获得一个最佳配准位置，因此，共产生40个配准位置偏移量(样本点)，如图3(a)所示。利用K-MEAN算法将位置偏移量分类，如分成3类，则分类结果如图3(b)所示，白、黑、灰色分别代表不同的类。

在步骤(4)中，所述图像重采样具体为：以每一类样本点作为控制点，利用有限个控制点的已知坐标，根据最小二乘法解超定方程，求解多项式的系数；找到两幅图像之间的变换关系后，通过图像间的变换参数可对待配准图像进行重建；使用双线性插值完成对待配准图像的重采样处理，当样本点被分为K类时，待配准图像将进行K次重采样，产生K个重采样结果。

如图5所示，在步骤(5)中，所述基于样本区域的图像分割具体为：将待配准图像区域均匀分割成数个区域，区域数目大于4N，N为在粗配准后的两幅图像中选出的窗口个数，假设待配准图像在宽度向和高度向分别p，q等分，则待配准图像被均匀分成M＝p×q个区域，为减少运算量，在每个区域中心点位置，取出T×T大小的数据作为样本区域，如图5中灰色区域所示。依次在K个待配准图像的重采样结果中的相同位置，取出T×T大小的样本区域，与参考图像中的样本区域，计算相关系数；在K个相关系数中，最大的值对应的类，为该区域所应归属类别，用这种方法完成对M个区域的分类；如果某个样本区域，K个相关系数的值均小于0.6，则认为该区域为噪声区域，不对该区域归类。下面的图6是对这个噪声区域进行归类。

图6为对上述未被归类的点完成归类工作的流程图，M个样本区域的分类结果可以组成一个样本点矩阵，大小为p×q，矩阵中用数字1～K分别代表不同类别，未被归类点用0表示，归类步骤如下：

步骤1：判断矩阵M是否存在等于0的点，如果无，则完成所有样本区域归类，退出循环，否则进入步骤2；

步骤2：读入矩阵M，同时定义矩阵H＝M；

步骤3：在矩阵M中搜索下一个等于0的点，假设该点为r，取出r点在矩阵M中的坐标，执行步骤4，如果搜索结束，则更新矩阵M＝H，转入步骤1；

步骤4：判断当前点在矩阵M中是否存在大于0的4邻域点，如果有执行步骤5，否则转入步骤3；

步骤5：大于0的4邻域点如果属于同一类，例如均为第s类，转入步骤6，否则，r点位于不同类别的交界处，转入步骤7；

步骤6：将r点归入s类，更新矩阵H中r点的值，转入步骤3；

步骤7：搜索r点在矩阵M中的8邻域点，统计各种类别出现概率，将r点归入出现概率最大的类别，更新矩阵H中r点的值，转入步骤3。

图4是某个像素4邻域和8邻域的示意图，4邻域是指该像素在“上”、“下”、“左”、“右”4个方向上与之相邻的点，8邻域除了包含4邻域的4个点外，又包括了在“左上”、“右上”、“左下”、“右下”4个方向上与该像素相邻的点。在步骤(6)中，所述图像拼接重构具体为：基于样本区域的图像分割后，待配准图像M个区域被分入不同的类别，分别从每个区域所在类别对应的重采样图像中取该区域像素灰度值，填充拼接成一幅新图像，而这幅新图像即为待配准图像基于参考图像配准的结果。由于待配准图像的K个重采样结果都是以参考图像为基准，因此在图像不同类别交界处，不会出现明显的拼接缝隙。

综上所述，本发明可以对两幅任意扭曲的图像进行配准，对载机平台的飞行稳定性要求降低，使SAR图像更易于应用；当图像之间的畸变关系很难用统一的数学模型描述时，将这种关系分解成几个较简单的映射方程，算法通用性强。

Claims (8)

1.一种基于畸变程度分割的无人机载实时SAR图像配准方法，该方法包括下列顺序的步骤：

(1)变化域粗配准：校正参考图像和待配准图像间的旋转、平移关系，校正参考图像和待配准图像为同一区域的两幅无人机载实时SAR图像；

(2)灰度相关性配准：在粗配准后的两幅图像中选择样本点，利用灰度相关性确定样本区域的偏移量；

(3)畸变程度分类：基于偏移量对所有样本进行分类，每一类样本点代表一类畸变关系；

(4)图像重采样：对分类后的每一类样本点，建立两幅图像之间的映射方程，对待配准图像插值进行重采样处理，每一类畸变关系对应一个待配准图像重采样结果；

(5)基于样本区域的图像分割：将待配准图像区域均匀分割成数个小区域；

(6)图像拼接重构：每个分割区域从其对应类的重采样结果中取数，拼接重构成一幅图像。

2.根据权利要求1所述的基于畸变程度分割的无人机载实时SAR图像配准方法，其特征在于：在步骤(1)中，所述变化域粗配准具体为：在参考图像和待配准图像中的同一位置取出大小为2ⁿ×2ⁿ像素的区域，设参考图像中的区域定义为B，B为由2ⁿ×2ⁿ的像素点构成的矩阵，待配准图像中的区域定义为A，A为由2ⁿ×2ⁿ的像素点构成的矩阵；对A在[-θ,θ]范围内，以△为间隔做图像旋转，θ,△的值根据图像成像参数设定，旋转后的矩阵定义为A'；对矩阵A'与矩阵B完成基于傅里叶变化域FFT的图像配准：对A'和B做FFT变换，记录最大互能量谱及最佳匹配位置；完成全部旋转角度的互能量谱计算后，所有互能量谱中的最大值对应的角度为待配准图像相对参考图像的旋转角度，对应的最佳匹配位置为待配准图像相对参考图像的平移参数；根据最终结果，对待配准图像进行角度旋转和平移，两幅图像完成粗配准。

3.根据权利要求1所述的基于畸变程度分割的无人机载实时SAR图像配准方法，其特征在于：在步骤(2)中，所述灰度相关性配准具体为：在粗配准后的两幅图像中，分别选出N个窗口，每个窗口在参考图像和待配准图像中，具有相同的中心点坐标，其中，参考图像中窗口为搜索窗口，大小为I×I，待配准图像中窗口为模板窗口，大小为T×T，T<I；在搜索窗口内移动模板窗口，遍历所有位置，计算不同位置模板窗口与搜索窗口的像素相似性，相似性最大时对应的模板窗口的偏移位置即为两个窗口之间的配准位置。

4.根据权利要求1所述的基于畸变程度分割的无人机载实时SAR图像配准方法，其特征在于：在步骤(3)中，所述畸变程度分类具体为：在灰度相关配准过程后，每个窗口将会对应一个配准位置，将这N个配准位置作为样本点，利用K-MEAN算法将样本点归类，如果某类的样本点小于6个，则减少类别数，将该类样本点归入别的类，分类后的每一类样本点代表一类畸变关系，N为在粗配准后的两幅图像中选出的窗口个数。

5.根据权利要求1所述的基于畸变程度分割的无人机载实时SAR图像配准方法，其特征在于：在步骤(4)中，所述图像重采样具体为：以每一类样本点作为控制点，利用有限个控制点的已知坐标，根据最小二乘法解超定方程，求解多项式的系数；找到两幅图像之间的变换关系后，通过图像间的变换参数可对待配准图像进行重建；使用双线性插值完成对待配准图像的重采样处理，当样本点被分为K类时，待配准图像将进行K次重采样，产生K个重采样结果。

6.根据权利要求1所述的基于畸变程度分割的无人机载实时SAR图像配准方法，其特征在于：在步骤(5)中，所述基于样本区域的图像分割具体为：将待配准图像区域均匀分割成数个区域，区域数目大于4N，N为在粗配准后的两幅图像中选出的窗口个数，假设待配准图像在宽度向和高度向分别p，q等分，则待配准图像被均匀分成M＝p×q个区域，为减少运算量，在每个区域中心点位置，取出T×T大小的数据作为样本区域，依次在K个待配准图像的重采样结果中的相同位置，取出T×T大小的样本区域，与参考图像中的样本区域，计算相关系数；在K个相关系数中，最大的值对应的类，为该区域所应归属类别，用这种方法完成对M个区域的分类；如果某个样本区域，K个相关系数的值均小于0.6，则认为该区域为噪声区域，不对该区域归类。

7.根据权利要求1所述的基于畸变程度分割的无人机载实时SAR图像配准方法，其特征在于：在步骤(6)中，所述图像拼接重构具体为：基于样本区域的图像分割后，待配准图像M个区域被分入不同的类别，分别从每个区域所在类别对应的重采样图像中取该区域像素灰度值，填充拼接成一幅新图像，而这幅新图像即为待配准图像基于参考图像配准的结果。

8.根据权利要求3所述的基于畸变程度分割的无人机载实时SAR图像配准方法，其特征在于：所述搜索窗口和模板窗口的相似性用互相关系数衡量，设模板窗口在搜索窗口内移动到某个位置，此时，参考图像窗口中的数据为X，待配准图像窗口中的数据为Y，则X、Y之间的互相关系数为：

$R(X,Y)=\frac{\underset{i=1}{\overset{T}{\&Sigma;}}\underset{j=1}{\overset{T}{\&Sigma;}}X(i,j)Y(i,j)}{\sqrt{\underset{i=1}{\overset{T}{\&Sigma;}}\underset{j=1}{\overset{T}{\&Sigma;}}X{(i,j)}^2}\sqrt{\underset{i=1}{\overset{T}{\&Sigma;}}\underset{j=1}{\overset{T}{\&Sigma;}}Y{(i,j)}^2}}$

相关系数取值范围为0～1.0；

所述窗口的选择原则为：模板窗口在搜索窗口中滑动，如果所有位置的互相关值均小于0.6，则该窗口没有满足要求，在该位置附近重新选择窗口。