CN105184801A - 一种基于多层次策略的光学与sar影像高精度配准方法 - Google Patents

Abstract

本发明提供一种基于多层次策略的光学与SAR影像高精度配准方法。该方法首先根据直线段间的几何关系寻找所有的候选匹配直线及其交点，再根据交点间的拓扑关系，剔除误匹配。通过这种逐步求精的多层次匹配策略既保证算法的有效性又具备较高的匹配精度。

Description

一种基于多层次策略的光学与SAR影像高精度配准方法

技术领域

本发明涉及遥感影像处理技术领域，尤其是涉及一种基于直线特征的多层次光学与SAR影像精确配准方法。

背景技术

随着成像技术的发展，新型传感器不断涌现，已经从过去的单一传感器发展到现在的各种类型传感器，能够获取同一地区不同空间分辨率、不同光谱波段和不同时相的遥感影像。不同传感器获取的影像能够反映地物的不同特性，对异源影像数据进行融合能够提供更加全面准确的信息。其中，光学与SAR影像不同的成像方式、不同的成像波段等使得二者具有互补性，对于抢险救灾等应用具有明显的优势。SAR传感器由于利用微波波段进行主动式遥感，具有穿云透雾、全天时工作的能力，从而使得SAR影像可能成为灾害事件中成为唯一可用的数据。但由于传感器的模式、采集位置、空间分辨率、采集时间等不同，使得获取的同一场影的光学与SAR影像间存在较大的辐射与几何差异。因此，要综合利用不同遥感影像必须使它们实现几何意义上的对准，即需要进行图像配准。

目前光学与SAR影像配准方法主要分为:基于区域的配准方法和基于特征的配准方法。基于区域的配准方法通过定义某种相似性测度，计算图像中各个位置上当前窗口与模板之间在的相似程度，将配准问题转化为最大化相似性测度。常用的方法主要有：互信息法、交叉累积剩余熵法。基于特征的配准方法利用两幅图像中提取的显著特征(如角点、局部极值点、交点、轮廓、边缘、区域等)进行匹配，常用的方法主要有：SIFT及其改进方法、改进的迭代Hough变换等。基于特征的配准方法依赖特征提取的精度，而在光学与SAR影像中同名特征定位精度难以达到理想状态。基于区域的方法利用搜索窗口与模板之间的相似性确定匹配位置，在相似性测度优良的情况下配准精度较高但计算量大。

传统影像配准方法通常用人工方法精确选择一定数量的同名特征点进行匹配，但这样一方面需要较大的人工参与量，另一方面配准精度有限。而目前全自动的配准方法较少且难以具备普适性。为了提高算法的精度同时减少人工参与，一个想法是在人工匹配的基础上进行自动的精匹配，但精匹配中的搜索范围与人工匹配的精度相关，若初始匹配精度越高，在精匹配中就可以减小搜索范围，从而提高计算效率。

考虑到影像中的直线信息是一种重要的局部特征，广泛存在于各类人造目标以及自然地物的影像中，直线特征具有以下优点：1)直线提取具有稳健的算法，如Hough变换、最小二乘拟合等；2)相对于点特征来说，线特征有更高层次的语义信息，其长度、方向等信息在计算匹配关系时可用于建立数学约束或相似性度量。基于此，本文将选择直线进行特征匹配。本发明在人工匹配的基础上提取直线特征，对直线特征进行匹配进一步提高初始匹配的精度，最后进行精匹配。目前已有的直线匹配方法一般利用直线的中点、长度、支撑区域等属性建立相似性度量，或从全局优化的角度直接计算变换参数。由于噪声、对比度等影响，不同来源的遥感影像上很难提取出位置一致的直线，这就导致提取直线的中点、长度发生偏移，同时不同成像方式的影像直线支撑区域的灰度信息也会存在差异，从而导致配准精度降低。基于全局优化的方法采用参数寻优型框架解决直线匹配问题，但该类方法面临的两大问题是：如何排除局外特征的干扰、如何有效地实现优化问题的收敛。针对以上基于局部特征尤其是直线特征以及全局优化方法进行遥感影像配准存在的问题，在充分考虑基于特征以及基于区域的配准特性的基础上，首先，从生成交点的直线段对间的方向信息出发，寻找所有可能匹配的交点，构成候选匹配点集；再根据点集间的拓扑关系，依次迭代地剔除具有最大匹配误差的候选匹配点对，直到最终匹配点对满足“一一对应”且拓扑关系一致，从而获取最优匹配子集。其次，基于HOPC-NCC相似性测度，在对特征点进行HOPC描述后，以两个描述符间的NCC度量二者的相似性，并通过模板匹配策略，得到最佳匹配的像素点，在该像素临近区域内拟合HOPC-NCC，并计算其最大值，获得子像素级配准精度。为进一步提高精度，采用了迭代误差剔除方法除去可能存在的误匹配点对，直到配准精度小于一个像元，停止迭代。

发明内容

针对上述问题，本文提出一种基于多层次策略的光学与SAR影像高精度配准方法，是一种基于直线交点的匹配方法。该方法首先根据直线段间的几何关系寻找所有的候选匹配直线及其交点，再根据交点间的拓扑关系，剔除误匹配。通过这种逐步求精的多层次匹配策略既保证算法的有效性又具备较高的匹配精度。

一种基于多层次策略的光学与SAR影像高精度配准方法，包括以下步骤；

步骤1：人工选择3个以上的同名点或同名线对，对影像进行人工匹配；

步骤2：分别对待配准影像和参考影像提取直线段；

步骤3：对提取的直线段，按照一定准则生成线对及对应的交点；

步骤4：对生成的交点，根据直线段间的几何关系，寻找候选匹配点对；

步骤5：根据点对间的拓扑关系，依次迭代剔除具有最大匹配误差的点对，直到最终匹配点对满足“一一对应”且拓扑关系一致，从而获取最优匹配子集；

步骤6：根据步骤5得到的最优匹配子集中的匹配点计算变换参数；

步骤7：利用基于信息熵的改进的Harris算子在基准影像上提取均匀分布的密集特征点，在待配准影像上采用模板匹配的方法获取精确的同名点，相似测度采用相位一致性直方图(HistogramofPhaseCongruency,HOPC)；最终利用二次多项式模型进行变换，实现影像间的高精度配准。

所述步骤2具体包括以下步骤；

步骤2.1：对参考影像进行直线段的提取，若影像为光学影像或红外影像，采用LSD方法；若影像为SAR影像，先采用基于Gaussian-Gamma-ShapedBi窗口算子检测边缘，再采用Hough变换提取直线特征；

步骤2.2：对待配准影像进行直线段提取，若影像为光学影像或红外影像，采用LSD方法；若影像为SAR影像，先采用基于Gaussian-Gamma-ShapedBi窗口算子检测边缘，再采用Hough变换提取直线特征。

所述步骤3中按照一定准则生成线对及对应的交点具体包括以下步骤；

步骤3.1：对提取的直线对进行处理，生成稳健的直线交点用于下一步匹配；为了获取稳健的直线交点，采用以下规则：

1)先对直线段进行过滤，去除长度小于阈值dlength的直线段；

2)对所有直线段按长度大小进行排列，从最长的直线段起统计斜率相近的线段，并计算线段间的距离，若两条直线段间的距离小于阈值d_distance，则认为两条直线段属于同一条直线，删除长度较短的直线，只保留同一方向上最长的直线段；

3)在提取的直线段组合中，对直线夹角小于30度的线段不予考虑作为生成交点的线段；

步骤3.2：对于提取出的直线段，其夹角或者延长线夹角大于30度的组成线对，并成生交点；对每组直线对及其交点表示为：

LP_k＝{LP_ij}＝{l_i，l_j，p_ij，θ_ij}

其中，l_i和l_j表示组成线对的两条直线，p_ij表示直线对的交点，θ_ij表示直线对间的夹角。

所述步骤4具体包括以下内容；

经过人工初匹配后，图像中区域范围的形变已被消除，匹配线对精度得到提高，因此认为满足以下几何关系的直线对交点为候选匹配点对：

$\begin{array}{cc}{\mathrm{\&epsiv;}}_{angle}=\left|{\mathrm{\&theta;}}_i^B-{\mathrm{\&theta;}}_i^W\right|,& 0<{\mathrm{\&epsiv;}}_{angle}<t_{\mathrm{\&theta;}}\end{array}---\left(1\right)$

${\mathrm{\&epsiv;}}_{dist}=\frac{1}{\sqrt{2}}\{{\&lsqb;\frac{d_{\mathrm{\&theta;}}(l_i^B,l_i^W)}{d_{\mathrm{\&theta;}\max }}\&rsqb;}^2+{\&lsqb;\frac{d_{\mathrm{\&rho;}}(l_i^B,l_i^W)}{d_{\mathrm{\&rho;}\max }}\&rsqb;}^2\},0<{\mathrm{\&epsiv;}}_{dist}<t_{dist}---\left(2\right)$

其中，式1)为直线对间的角度关系，组成候选匹配点的直线对间的夹角理论上应该一致；与分别表示基准影像与待配准影像中直线对的夹角；由于直线提取过程中容易出现误差，t_θ设为5°；式2)为直线间的位置关系，经过初匹配后的同名直线间的距离应该较小；t_dist计算两直线间的距离，为两直线间的夹角，为一条直线的中点到另一条直线间的距离，d_θmax与d_ρmax用于归一化，d_θmax＝5°，d_pmax＝5像素，t_dist设为20；假设最终共有m对候选匹配点对，将其表示为：

$C=\{c_i=(l_{i1}^b,l_{i2}^b,l_{i1}^w,l_{i2}^w,p_i,q_i)|i=1,...,m\};$

式中，m表示候选匹配点对，表示集合中的每个元素c_i包含的元素有基准影

像中的直线对及交点，表示待配准影像中的直线对及交点。

所述步骤5具体包括以下内容；

引进三个矩阵MB、MW及M，其中MB与MW是记录候选匹配点对中的线段，M是匹配矩阵，记录候选匹配点对中元素被选取的状态；假设在候选匹配点对C中有N1条直线来自基准影像线，N2条直线来自待配准影像；

$\begin{array}{c}MB=\left\{{\mathrm{mb}}_{ij}\right\}=\left[\begin{array}{cccc}{\mathrm{mb}}_{11}& {\mathrm{mb}}_{12}& ...& {\mathrm{mb}}_{1N_1}\\ {\mathrm{mb}}_{21}& {\mathrm{mb}}_{22}& ...& {\mathrm{mb}}_{2N_1}\\ ...& ...& ...& ...\\ {\mathrm{mb}}_{m1}& {\mathrm{mb}}_{m2}& ...& {\mathrm{mb}}_{{\mathrm{mN}}_1}\end{array}\right]\\ MW=\left\{{\mathrm{mw}}_{ij}\right\}=\left[\begin{array}{cccc}{\mathrm{mw}}_{11}& {\mathrm{mw}}_{12}& ...& {\mathrm{mw}}_{1N_1}\\ {\mathrm{mw}}_{21}& {\mathrm{mw}}_{22}& ...& {\mathrm{mw}}_{2N_1}\\ ...& ...& ...& ...\\ {\mathrm{mw}}_{m1}& {\mathrm{mw}}_{m2}& ...& {\mathrm{mw}}_{{\mathrm{mN}}_1}\end{array}\right]\end{array}$

若集合C中第i个元素包含基准影像中第j条直线，则mb_ij＝1，否则mb_ij＝0；同理，若C中第i个元素包含待配准影像中第j条直线，则mrij＝1,否则mrij＝0；

对于“一对多”、“多对一”或“多对多”的匹配线对，将其放在一个容器CN中；统计MB与MW中重复的行，依次将重复行的序号作为CN的元素；对于候选匹配点对的误匹配，考虑特征在局部属性上的相似性；若所有的匹配点对都是正确的，则由它们每对点计算得到的形状上下文匹配代价为零；相反，若存在误匹配，则其对应的匹配代价较大；为了剔除误匹配点对，可以依次去掉匹配代价较高的点对；形状上下文以每个点为中心，建立极坐标系(log-polar空间)，再将点与剩余点间的极半径和极角离散化，对点p，将它与点集P中其他n-1个点构成的向量建立成一个直方图h_i，直方图第k级为h_i(k)：

$h_i\left(k\right)=\#\{(p-q_i)\&Element;bin\left(k\right)|p\&Element;P,p\&NotEqual;q_i\}---\left(3\right)$

对其进行归一化处理为：

$h_i\left(k\right)=\frac{h_i\left(k\right)}{\underset{k=1}{\overset{K}{\&Sigma;}}{h}_i\left(k\right)}---\left(4\right)$

其中，p为当前计算的点，q_i为点集P中剩余的n-1个点，bin(k)是log-polar空间中每k个区域。对于两个点集中点i与点j，二者的匹配代价定义为：

$C(i,j)=\frac{1}{2}\underset{k=1}{\overset{K}{\&Sigma;}}\frac{{\&lsqb;g\left(k\right)-h\left(k\right)\&rsqb;}^2}{g\left(k\right)+h\left(k\right)}---\left(5\right)$

式中，K是直方图的量化等级，g(k)与h(k)别表示点集中点ij的对其他点构成的向量组成的直方图。例如log-polar空间分划分为5个半径，12个角度区域，则K为60。C(i,j)的值处于0～1之间，值越大，相似度越小。

最后，为了从候选匹配点对中选择出正确的子集，采用迭代剔除的方法依次剔除误差最大的点对。

所述步骤5中，采用迭代剔除的方法依次剔除误差最大的点对；具体步骤为：

Step1:计算所有候选匹配点对的形状相似度Cm(m＝1,2,…,M)，找出具有最大误差的点对的位置loc，令其对应的M_loc＝0；

Step2:对剩余的点对更新CN；

Step3:重复Step1与Step2，直到CN为空且所有的匹配点对的形状相似度为0。

所述步骤7包括以下步骤；

步骤7.1：将基准影像分割为N*M块区域，每块区域以图像的信息熵为控制特征点分布的局部纹理，以获取均匀分布的特征点；每块区域内提取的特征点的个数为：

$n_i=N_{sum}\&times;\frac{E_i}{\underset{i}{\&Sigma;}{E}_i}---\left(6\right)$

$E=\underset{j=0}{\overset{J}{\&Sigma;}}H\left(p_j\right)=-\underset{j=0}{\overset{J}{\&Sigma;}}{p}_{j}log\left(p_j\right)---\left(7\right)$

式中，ni是图像空间中第i个图像块中分配的特征点数；Nsum为整幅影像上准备提取的特征点个数；Ei是图像空间中第i个图像块的信息熵；j是图像所包含的灰度级，pj表示整幅图像中灰度为j的像素出现的概率；

步骤7.2：模板匹配：对于每个特征点，模板窗口设置为100*100像素，搜索窗口设置为11*11像素，通过模板匹配的方法在待配准影像上搜索与当前像素最为匹配的像素点；具体过程包括：

首先，对特征点进行HOPC描述后，以两个描述符间的NCC度量二者的相似性，其公式为：

${\mathrm{HOPC}}_{NCC}=\frac{\underset{k=1}{\overset{n}{\&Sigma;}}\left(V_A\right(k)-\stackrel{-}{V_A})\left(V_B\right(k)-\stackrel{-}{V_B})}{\sqrt{\underset{k=1}{\overset{n}{\&Sigma;}}{\left(V_A\right(k)-\stackrel{-}{V_A})}^2\underset{k=1}{\overset{n}{\&Sigma;}}{\left(V_B\right(k)-\stackrel{-}{V_B})}^2}}---\left(23\right)$

其中，V_A和V_B分别表示特征点A和B的HOPC描述符，和分别表示模板A和B的HOPC描述符平均值；

利用HOPC-NCC作为相似性度量的影像精匹配过程具体方法为：

1)影像粗配准后，确定参考影像与目标影像的重叠范围：为了获取均匀分布的密集特征点，将重叠区域划分为N*M个互不重叠的子块，确定每块待提取特征点的个数；在每个子块内对光学影像计算每个像点的Harris强度值，按从大到小的顺序排列，取前待提取数量个特征点为候选特征点；

2)由于基准影像与待配准影像已经经过粗配准，二者之间的尺度和旋转问题已基本解决，因而可以在待配准影像的一个有限窗口内搜索同名匹配点；对于每个特征点，模板窗口设置为101*101个像素，以HOPC-NCC作为相似性测度，通过模板匹配的方法在SAR影像上搜索与之最匹配的像素点；

3)由于利用模板匹配策略，匹配精度只能达到像素级：假定HOPC-NCC在(X,Y)处取得峰值，由于HOPC-NCC的峰值必定在以为(X,Y)中心的邻近区域内，因而通过在该邻近区域内拟合HOPC-NCC，并计算其最大值，即可获取子像素级的配准精度；

4)为了确保匹配点对的准确性，利用迭代误差剔除方法剔除可能存在的误匹配点对，直到匹配精度小于一个像素；

步骤7.3：二次多项式模型变换：根据最终获取的均匀分布的同名点对计算二次多项式变换参数，并对待配准影像进行纠正。

本方法的优势是充分利用了影像的局部特征尤其是直线特征以及基于区域HOPC-NCC相似性测度，在手动选取少量控制点的基础上，即可进行光学与SAR遥感影像高精度配准。核心思想是排除部分局部特征干扰的基础上，充分利用遥感影像灰度以及相位一致性特征，实现人工辅助选取部分同名点，即利用点特征进行初始粗配准，提取直线特征进行精确配准，最后根据HOPC-NCC相似性测度进行精配准的多层次策略光学与SAR影像高精度配准的方法。本发明充分利用了地物的点特征、线特征、灰度特征以及相位一致性特征，在不同的配准层次中基于不同的测度逐步实现了光学与SAR影像的高精度配准。本发明体现了在多特征、多层次、多测度方法引导下异源影像间配准的可行性和有效性。

附图说明

图1为本发明的流程图。

具体实施方式

以下结合附图和实施例详细说明本发明技术方案。

步骤1：人工选择多对(本实施例中选择3～4对)同名点或同名线对，对影像进行人工匹配；

步骤2：分别对待配准影像和参考影像提取直线段；

步骤2.1：对参考影像进行直线段的提取，若影像为光学影像或红外影像，采用LSD方法；若影像为SAR影像，先采用基于Gaussian-Gamma-ShapedBi窗口算子检测边缘，再采用Hough变换提取直线特征。

步骤2.2：对待配准影像进行直线段提取，若影像为光学影像或红外影像，采用LSD方法；若影像为SAR影像，先采用基于Gaussian-Gamma-ShapedBi窗口算子检测边缘，再采用Hough变换提取直线特征。

步骤3：对提取的直线段，按照一定准则生成线对及对应的交点；

步骤3.1：对提取的直线对进行适当处理，生成稳健的交点用于下一步匹配。为了获取稳健的直线交点，采用以下规则：

1)考虑到直线段在提取的过程中可能会出现定位误差，长度越短的直线越不稳定。因而，先对直线段进行过滤，去除长度小于阈值dlength的直线段；

2)直线段在提取的过程中容易发生断裂，但在方向一定的情况下，两条直线段特征的端点位置对直线对交点的位置没有影响，因而为了减少计算量，对所有直线段按长度大小进行排列，从最长的直线段起统计斜率相近的线段，并计算线段间的距离，若两条直线段间的距离小于阈值d_distance，则认为两条直线段属于同一条直线，删除长度较短的直线，只保留同一方向上最长的直线段。

3)如果直线之间接近平行，得到的交点会极不稳定，因而在提取的直线段组合中，对直线夹角小于30度的线段由于生成的交点不具备较强的稳定性，所以不予考虑作为生成交点的线段。

步骤3.2：对于提取出的直线段，其夹角或者延长线夹角大于30度的组成线对，并成生交点。对每组直线对及其交点表示为：

LP_k＝{LP_ij}＝{l_i，l_j，p_ij，θ_ij}

其中，l_i和l_j表示组成线对的两条直线，p_ij表示直线对的交点，θ_ij表示直线对间的夹角。

步骤4：对生成的交点，根据直线段间的几何关系，寻找候选匹配点对；

利用生成交点的直线段对间的方向信息，寻找所有可能匹配的交点，构成候选匹配点集。由于光学与SAR影像的光谱信息具有较大差异，难以直接基于灰度或梯度进行相似性度量，因此获取候选匹配点对的方法为：经过人工初匹配后，图像中较大的形变已被消除，匹配线对应该在一定的误差范围内，因此认为满足以下几何关系的直线对交点为候选匹配点对：

$\begin{array}{cc}{\mathrm{\&epsiv;}}_{angle}=\left|{\mathrm{\&theta;}}_i^B-{\mathrm{\&theta;}}_i^W\right|,& 0<{\mathrm{\&epsiv;}}_{angle}<t_{\mathrm{\&theta;}}\end{array}---\left(1\right)$

$\begin{array}{cc}{\mathrm{\&epsiv;}}_{dist}=\frac{1}{\sqrt{2}}\{{\&lsqb;\frac{d_{\mathrm{\&theta;}}(l_i^B,l_i^W)}{d_{\mathrm{\&theta;}\max }}\&rsqb;}^2+{\&lsqb;\frac{d_{\mathrm{\&rho;}}(l_i^B,l_i^W)}{d_{\mathrm{\&rho;}\max }}\&rsqb;}^2\},& 0<{\mathrm{\&epsiv;}}_{dist}<t_{dist}\end{array}---\left(2\right)$

其中，式1)为直线对间的角度关系，组成候选匹配点的直线对间的夹角理论上应该一致。与分别表示基准影像与待配准影像中直线对的夹角。由于直线提取过程中容易出现误差，t_θ设为5°。式2)为直线间的位置关系，经过初匹配后的同名直线间的距离应该较小。t_dist计算两直线间的距离，为两直线间的夹角，为一条直线的中点到另一条直线间的距离，d_θmax与d_ρmax用于归一化，d_θmax＝5°，d_pmax＝5像素，t_dist设为20。假设最终共有m对候选匹配点对，将其表示为：

$C=\{c_i=(l_{i1}^b,l_{i2}^b,l_{i1}^w,l_{i2}^w,p_i,q_i)|i=1,...,m\}$

步骤5：根据点对间的拓扑关系，依次迭代剔除具有最大匹配误差的点对，直到最终匹配点对满足“一一对应”且拓扑关系一致，从而获取最优匹配子集；

获得的候选匹配点对，由于仅用到直线对间的几何关系，组成候选匹配点对的直线对间并不一定满足“一对一”匹配，同时，在候选匹配点对中可能存在错误匹配。为了得到准确的匹配结果，需要从候选匹配点对中选择出一组子集使得由它们确定的匹配误差最小。为了确保“一对一”匹配，我们引进三个矩阵MB、MW及M，其中MB与MW是记录候选匹配点对中的线段，M是匹配矩阵，记录候选匹配点对中元素被选取的状态。假设在候选匹配点对C中有N1条直线来自基准影像线，N2条直线来自待配准影像。

$\begin{array}{c}MB=\left\{{\mathrm{mb}}_{ij}\right\}=\left[\begin{array}{cccc}{\mathrm{mb}}_{11}& {\mathrm{mb}}_{12}& ...& {\mathrm{mb}}_{1N_1}\\ {\mathrm{mb}}_{21}& {\mathrm{mb}}_{22}& ...& {\mathrm{mb}}_{2N_1}\\ ...& ...& ...& ...\\ {\mathrm{mb}}_{m1}& {\mathrm{mb}}_{m2}& ...& {\mathrm{mb}}_{{\mathrm{mN}}_1}\end{array}\right]\\ MW=\left\{{\mathrm{mw}}_{ij}\right\}=\left[\begin{array}{cccc}{\mathrm{mw}}_{11}& {\mathrm{mw}}_{12}& ...& {\mathrm{mw}}_{1N_1}\\ {\mathrm{mw}}_{21}& {\mathrm{mw}}_{22}& ...& {\mathrm{mw}}_{2N_1}\\ ...& ...& ...& ...\\ {\mathrm{mw}}_{m1}& {\mathrm{mw}}_{m2}& ...& {\mathrm{mw}}_{{\mathrm{mN}}_1}\end{array}\right]\end{array}$

若集合C中第i个元素包含基准影像中第j条直线，则mb_ij＝1，否则mb_ij＝0；同理，若C中第i个元素包含待配准影像中第j条直线，则mrij＝1,否则mrij＝0。

对于“一对多”、“多对一”或“多对多”的匹配线对，将其放在一个容器CN中。统计MB与MW中重复的行，依次将重复行的序号作为CN的元素。对于候选匹配点对的误匹配，我们考虑特征在局部属性上的相似性。形状上下文(shapecontext)是一种基于统计学的描述算子，具有计算简单、对噪声不敏感等特点，能较好地反映点集中任意一点p_i在整个点集中的相对位置。若所有的匹配点对都是正确的，则由它们每对点计算得到的形状上下文匹配代价为零。相反，若存在误匹配，则其对应的匹配代价较大。为了剔除误匹配点对，可以依次去掉匹配代价较高的点对。形状上下文以每个点为中心，建立极坐标系(log-polar空间)，再将点与剩余点间的极半径和极角离散化，对点p，将它与点集P中其他n-1个点构成的向量建立成一个直方图h_i，直方图第k级为h_i(k)：

h_i(k)＝＃{(p-q_i)∈bin(k)|p∈P，p≠q_i}(3)

对其进行归一化处理为：

$h_i\left(k\right)=\frac{h_i\left(k\right)}{\underset{k=1}{\overset{K}{\&Sigma;}}{h}_i\left(k\right)}---\left(4\right)$

其中，p为当前计算的点，q_i为点集P中剩余的n-1个点，bin(k)是log-polar空间中每k个区域。对于两个点集中点i与点j，二者的匹配代价定义为：

$C(i,j)=\frac{1}{2}\underset{k=1}{\overset{K}{\&Sigma;}}\frac{{\&lsqb;g\left(k\right)-h\left(k\right)\&rsqb;}^2}{g\left(k\right)+h\left(k\right)}---\left(5\right)$

式中，K是直方图的量化等级，例如log-polar空间分划分为5个半径，12个角度区域，则K为60。C(i,j)的值处于0～1之间，值越大，相似度越小。

最后，为了从候选匹配点对中选择出正确的子集，我们采用迭代剔除的方法依次剔除较大误差的点对。具体步骤为：

Step1:计算所有候选匹配点对的形状相似度Cm(m＝1,2,…,M)，找出具有最大误差的点对的位置loc，令其对应的M_loc＝0；

Step2:对剩余的点对更新CN；

Step3:重复Step1与Step2，直到CN为空且所有的匹配点对的形状相似度为0。

步骤6：根据上一步骤得到的最优匹配子集中的匹配点(同名点)计算变换参数；

步骤7：利用改进的Harris算子在基准影像上提取均匀分布的密集特征点，在待配准影像上采用模板匹配的方法获取精确的同名点，相似测度采用相位一致性直方图(HistogramofPhaseCongruency,HOPC)；最终利用二次多项式模型进行变换，实现影像间的高精度配准。具体步骤如下：

步骤7.1：将基准影像分割为N*M块区域，每块区域以图像的信息熵为控制特征点分布的局部纹理，以获取均匀分布的特征点。每块区域内提取的特征点的个数为：

$n_i=N_{sum}\&times;\frac{E_i}{\underset{i}{\&Sigma;}{E}_i}---\left(6\right)$

$E=\underset{j=0}{\overset{J}{\&Sigma;}}H\left(p_j\right)=-\underset{j=0}{\overset{J}{\&Sigma;}}{p}_{j}log\left(p_j\right)---\left(7\right)$

式中，ni是图像空间中第i个图像块中分配的特征点数；Nsum为整幅影像上准备提取的特征点个数；Ei是图像空间中第i个图像块的信息熵；j是图像所包含的灰度级，pj表示整幅图像中灰度为j的像素出现的概率。

步骤7.2：模板匹配：对于每个特征点，模板窗口设置为100*100像素，搜索窗口设置为11*11像素，通过模板匹配的方法在待配准影像上搜索与当前像素最为匹配的像素点。其中，相似测度的选择至关重要。HOPC是一种基于几何结构特征的描述符，能够很好地抗灰度和对比度差异，，因而选择HOPC作为相似测度。具体过程包括：

首先，对特征点进行HOPC描述后，以两个描述符间的NCC度量二者的相似性，其公式为：

${\mathrm{HOPC}}_{NCC}=\frac{\underset{k=1}{\overset{n}{\&Sigma;}}\left(V_A\right(k)-\stackrel{-}{V_A})\left(V_B\right(k)-\stackrel{-}{V_B})}{\sqrt{\underset{k=1}{\overset{n}{\&Sigma;}}{\left(V_A\right(k)-\stackrel{-}{V_A})}^2\underset{k=1}{\overset{n}{\&Sigma;}}{\left(V_B\right(k)-\stackrel{-}{V_B})}^2}}---\left(23\right)$

其中，V_A和V_B分别表示特征点A和B的HOPC描述符，和分别表示模板A和B的HOPC描述符平均值。

利用HOPC-NCC作为相似性度量的影像精匹配过程具体方法为：

1)影像粗配准后，确定参考影像与目标影像的重叠范围。为了获取均匀分布的密集特征点，将重叠区域划分为N*M个互不重叠的子块，确定每块待提取特征点的个数。在每个子块内对光学影像计算每个像点的Harris强度值，按从大到小的顺序排列，取前待提取数量个特征点为候选特征点。

2)由于基准影像与待配准影像已经经过粗配准，二者之间的尺度和旋转问题已基本解决，因而可以在待配准影像的一个有限窗口内搜索同名匹配点。对于每个特征点，模板窗口设置为101*101个像素，以HOPC-NCC作为相似性测度，通过模板匹配的方法在SAR影像上搜索与之最匹配的像素点。

3)由于利用模板匹配策略，匹配精度只能达到像素级。假定HOPC-NCC在(X,Y)处取得峰值，由于HOPC-NCC的峰值必定在以为(X,Y)中心的邻近区域内，因而通过在该邻近区域内拟合HOPC-NCC，并计算其最大值，即可获取子像素级的配准精度。

4)为了确保匹配点对的准确性，利用迭代误差剔除方法剔除可能存在的误匹配点对，直到匹配精度小于一个像素。

步骤7.3：二次多项式模型变换：根据最终获取的均匀分布的同名点对计算二次多项式变换参数，并对待配准影像进行纠正。

Claims (7)

1.一种基于多层次策略的光学与SAR影像高精度配准方法，其特征在于：包括以下步骤；

步骤1：人工选择3个以上的同名点或同名线对，对影像进行人工匹配；

步骤2：分别对待配准影像和参考影像提取直线段；

步骤3：对提取的直线段，按照准则生成线对及对应的交点；

步骤4：对生成的交点，根据直线段间的几何关系，寻找候选匹配点对；

步骤5：根据点对间的拓扑关系，依次迭代剔除具有最大匹配误差的点对，直到最终匹配点对满足“一一对应”且拓扑关系一致，从而获取最优匹配子集；

步骤6：根据步骤5得到的最优匹配子集中的匹配点计算变换参数；

步骤7：利用基于信息熵的改进的Harris算子在基准影像上提取均匀分布的密集特征点，在待配准影像上采用模板匹配的方法获取精确的同名点，相似测度采用相位一致性直方图HOPC-HistogramofPhaseCongruency；最终利用二次多项式模型进行变换，实现影像间的高精度配准。

2.根据权利要求1所述的一种基于多层次策略的光学与SAR影像高精度配准方法，其特征在于：所述步骤2具体包括以下步骤；

步骤2.1：对参考影像进行直线段的提取，若影像为光学影像或红外影像，采用LSD方法；若影像为SAR影像，先采用基于Gaussian-Gamma-ShapedBi窗口算子检测边缘，再采用Hough变换提取直线特征；

步骤2.2：对待配准影像进行直线段提取，若影像为光学影像或红外影像，采用LSD方法；若影像为SAR影像，先采用基于Gaussian-Gamma-ShapedBi窗口算子检测边缘，再采用Hough变换提取直线特征。

3.根据权利要求2所述的一种基于多层次策略的光学与SAR影像高精度配准方法，其特征在于：所述步骤3中生成线对及对应的交点具体包括以下步骤；

步骤3.1：对提取的直线对进行处理，生成稳健的直线交点用于下一步匹配；为了获取稳健的直线交点，采用以下规则：

1)先对直线段进行过滤，去除长度小于阈值dlength的直线段；

2)对所有直线段按长度大小进行排列，从最长的直线段起统计斜率相近的线段，并计算线段间的距离，若两条直线段间的距离小于阈值d_distance，则认为两条直线段属于同一条直线，删除长度较短的直线，只保留同一方向上最长的直线段；

3)在提取的直线段组合中，对直线夹角小于30度的线段不予考虑作为生成交点的线段；

步骤3.2：对于提取出的直线段，其夹角或者延长线夹角大于30度的组成线对，并成生交点；对每组直线对及其交点表示为：

LP_k＝{LP_ij}＝{l_i,l_j,p_ij,θ_ij}

其中，l_i和l_j表示组成线对的两条直线，p_ij表示直线对的交点，θ_ij表示直线对间的夹角。

4.根据权利要求3所述的一种基于多层次策略的光学与SAR影像高精度配准方法，其特征在于：所述步骤4具体包括以下内容；

经过人工初匹配后，图像中区域范围的形变已被消除，匹配线对精度得到提高，因此认为满足以下几何关系的直线对交点为候选匹配点对：

0＜ε_angle＜t_θ(1)

${\mathrm{\&epsiv;}}_{dist}=\frac{1}{\sqrt{2}}\left\{{\&lsqb;\frac{d_{\mathrm{\&theta;}}\left(l_i^B,l_i^W\right)}{d_{\mathrm{\&theta;}\max }}\&rsqb;}^2+{\&lsqb;\frac{d_{\mathrm{\&rho;}}\left(l_i^B,l_i^W\right)}{d_{\mathrm{\&rho;}\max }}\&rsqb;}^2\right\},0<{\mathrm{\&epsiv;}}_{dist}<t_{dist}---\left(2\right)$

其中，式1)为直线对间的角度关系，组成候选匹配点的直线对间的夹角理论上应该一致；与分别表示基准影像与待配准影像中直线对的夹角；由于直线提取过程中容易出现误差，t_θ设为5°；式2)为直线间的位置关系，经过初匹配后的同名直线间的距离应该较小；t_dist计算两直线间的距离，为两直线间的夹角，为一条直线的中点到另一条直线间的距离，d_θmax与d_ρmax用于归一化，d_θmax＝5°，d_pmax＝5像素，t_dist设为20；假设最终共有m对候选匹配点对，将其表示为：

$C=\{c_i=(l_{i1}^b,l_{i2}^b,l_{i1}^w,l_{i2}^w,p_i,q_i)|i=1,...,m\};$

式中，m表示候选匹配点对，表示集合中的每个元素c_i包含的元素有基准影像中的直线对及交点，表示待配准影像中的直线对及交点。

5.根据权利要求4所述的一种基于多层次策略的光学与SAR影像高精度配准方法，其特征在于：所述步骤5具体包括以下内容；

引进三个矩阵MB、MW及M，其中MB与MW是记录候选匹配点对中的线段，M是匹配矩阵，记录候选匹配点对中元素被选取的状态；假设在候选匹配点对C中有N1条直线来自基准影像线，N2条直线来自待配准影像；

$MB=\left\{{\mathrm{mb}}_{ij}\right\}=\left[\begin{array}{cccc}{\mathrm{mb}}_{11}& {\mathrm{mb}}_{12}& ...& {\mathrm{mb}}_{1N_1}\\ {\mathrm{mb}}_{21}& {\mathrm{mb}}_{22}& ...& {\mathrm{mb}}_{2N_1}\\ ...& ...& ...& ...\\ {\mathrm{mb}}_{m1}& {\mathrm{mb}}_{m2}& ...& {\mathrm{mb}}_{{\mathrm{mN}}_1}\end{array}\right]$

$MW=\left\{{\mathrm{mw}}_{ij}\right\}=\left[\begin{array}{cccc}{\mathrm{mw}}_{11}& {\mathrm{mw}}_{12}& ...& {\mathrm{mw}}_{1N_1}\\ {\mathrm{mw}}_{21}& {\mathrm{mw}}_{22}& ...& {\mathrm{mw}}_{2N_1}\\ ...& ...& ...& ...\\ {\mathrm{mw}}_{m1}& {\mathrm{mw}}_{m2}& ...& {\mathrm{mw}}_{{\mathrm{mN}}_1}\end{array}\right]$

若集合C中第i个元素包含基准影像中第j条直线，则mb_ij＝1，否则mb_ij＝0；同理，若C中第i个元素包含待配准影像中第j条直线，则mrij＝1,否则mrij＝0；

对于“一对多”、“多对一”或“多对多”的匹配线对，将其放在一个容器CN中；统计MB与MW中重复的行，依次将重复行的序号作为CN的元素；对于候选匹配点对的误匹配，考虑特征在局部属性上的相似性；若所有的匹配点对都是正确的，则由它们每对点计算得到的形状上下文匹配代价为零；相反，若存在误匹配，则其对应的匹配代价较大；为了剔除误匹配点对，可以依次去掉匹配代价较高的点对；形状上下文以每个点为中心，建立极坐标系log-polar空间，再将点与剩余点间的极半径和极角离散化，对点p，将它与点集P中其他n-1个点构成的向量建立成一个直方图h_i，直方图第k级为h_i(k)：

h_i(k)＝#{(p-q_i)∈bin(k)|p∈P,p≠q_i}(3)

对其进行归一化处理为：

$h_i\left(k\right)=\frac{h_i\left(k\right)}{\underset{k=1}{\overset{K}{\&Sigma;}}{h}_i\left(k\right)}---\left(4\right)$

其中，p为当前计算的点，q_i为点集P中剩余的n-1个点，bin(k)是log-polar空间中每k个区域；对于两个点集中点i与点j，二者的匹配代价定义为：

$C(i,j)=\frac{1}{2}\underset{k=1}{\overset{K}{\&Sigma;}}\frac{{\&lsqb;g\left(k\right)-h\left(k\right)\&rsqb;}^2}{g\left(k\right)+h\left(k\right)}---\left(5\right)$

式中，K是直方图的量化等级，g(k)与h(k)分别表示点集中点ij的对其他点构成的向量组成的直方图。例如log-polar空间分划分为5个半径，12个角度区域，则K为60；C(i,j)的值处于0～1之间，值越大，相似度越小；

最后，为了从候选匹配点对中选择出正确的子集，采用迭代剔除的方法依次剔除误差最大的点对。

6.根据权利要求5所述的一种基于多层次策略的光学与SAR影像高精度配准方法，其特征在于：所述步骤5中，采用迭代剔除的方法依次剔除误差最大的点对；具体步骤为：

Step1:计算所有候选匹配点对的形状相似度Cm，m＝1,2,…,M，找出具有最大误差的点对的位置loc，令其对应的M_loc＝0；

Step2:对剩余的点对更新CN；

Step3:重复Step1与Step2，直到CN为空且所有的匹配点对的形状相似度为0。

7.根据权利要求6所述的一种基于多层次策略的光学与SAR影像高精度配准方法，其特征在于：所述步骤7包括以下步骤；

步骤7.1：将基准影像分割为N*M块区域，每块区域以图像的信息熵为控制特征点分布的局部纹理，以获取均匀分布的特征点；每块区域内提取的特征点的个数为：

$n_i=N_{sum}\&times;\frac{E_i}{\underset{i}{\&Sigma;}{E}_i}---\left(6\right)$

$E=\underset{j=0}{\overset{J}{\&Sigma;}}H\left(p_j\right)=-\underset{j=0}{\overset{J}{\&Sigma;}}{p}_{j}log\left(p_j\right)---\left(7\right)$

式中，ni是图像空间中第i个图像块中分配的特征点数；Nsum为整幅影像上准备提取的特征点个数；Ei是图像空间中第i个图像块的信息熵；j是图像所包含的灰度级，pj表示整幅图像中灰度为j的像素出现的概率；

步骤7.2：模板匹配：对于每个特征点，模板窗口设置为100*100像素，搜索窗口设置为11*11像素，通过模板匹配的方法在待配准影像上搜索与当前像素最为匹配的像素点；具体过程包括：

首先，对特征点进行HOPC描述后，以两个描述符间的NCC度量二者的相似性，其公式为：

${\mathrm{HOPC}}_{NCC}=\frac{\underset{k=1}{\overset{n}{\&Sigma;}}\left(V_A\right(k)-{\stackrel{\&OverBar;}{V}}_A)\left(V_B\right(k)-{\stackrel{\&OverBar;}{V}}_B)}{\sqrt{\underset{k=1}{\overset{n}{\&Sigma;}}{\left(V_A\right(k)-{\stackrel{\&OverBar;}{V}}_A)}^2\underset{k=1}{\overset{n}{\&Sigma;}}{\left(V_B\right(k)-{\stackrel{\&OverBar;}{V}}_B)}^2}}---\left(23\right)$

其中，V_A和V_B分别表示特征点A和B的HOPC描述符，和分别表示模板A和B的HOPC描述符平均值；

利用HOPC-NCC作为相似性度量的影像精匹配过程具体方法为：

1)影像粗配准后，确定参考影像与目标影像的重叠范围：为了获取均匀分布的密集特征点，将重叠区域划分为N*M个互不重叠的子块，确定每块待提取特征点的个数；在每个子块内对光学影像计算每个像点的Harris强度值，按从大到小的顺序排列，取前待提取数量个特征点为候选特征点；

2)由于基准影像与待配准影像已经经过粗配准，二者之间的尺度和旋转问题已基本解决，因而可以在待配准影像的一个有限窗口内搜索同名匹配点；对于每个特征点，模板窗口设置为101*101个像素，以HOPC-NCC作为相似性测度，通过模板匹配的方法在SAR影像上搜索与之最匹配的像素点；

3)由于利用模板匹配策略，匹配精度只能达到像素级：假定HOPC-NCC在(X,Y)处取得峰值，由于HOPC-NCC的峰值必定在以为(X,Y)中心的邻近区域内，因而通过在该邻近区域内拟合HOPC-NCC，并计算其最大值，即可获取子像素级的配准精度；

4)为了确保匹配点对的准确性，利用迭代误差剔除方法剔除可能存在的误匹配点对，直到匹配精度小于一个像素；

步骤7.3：二次多项式模型变换：根据最终获取的均匀分布的同名点对计算二次多项式变换参数，并对待配准影像进行纠正。