CN104574372A - 基于相似特征三角形的图像配准方法 - Google Patents

Abstract

本发明涉及数字图像处理领域，为提出一种图像配准方法，从而可以为相似变换下的图像配准提供一种精确快速的解决方案。为此，本发明采取的技术方案是，基于相似特征三角形的图像配准方法，包括如下步骤：1)特征点提取及特征匹配；2)随机选取样本构成特征三角形；3)相似特征三角形预检验；4)根据最大欧氏距离法选取样本点；5)通过求解变换模型及全数据检验得到变换模型。本发明主要应用于数字图像处理。

Description

基于相似特征三角形的图像配准方法

技术领域

本发明涉及数字图像处理领域，特别涉及一种用于相似变换下的图像配准方法。

技术背景

图像配准作为图像拼接的核心技术，在全景拼接、超分辨率图像、二维平面物体运动估计、分布式相机网络校准等多个方面都有着重要的应用。图像配准的目的是根据不同视角采集到的图像的重叠区域，找到一种能够描述两幅图像之间关系的变换模型。图像配准的精度和速度对后续图像的处理效果将会产生直接的影响。在对二维景物成像时，图像配准所寻找的变换关系可分为刚性变换，相似变换，仿射变换以及投影变换等。其中相似变换常见于卫星拍摄地球遥感图像、光轴平行的多相机拍摄远距离物体等情况。

图像配准方法通常采用基于特征的方法，一般是先通过特征提取算法对待配准的两幅图像进行特征提取，然后利用特征匹配算法将提取的特征点进行匹配，得到两幅图像中特征点的一一对应关系。最后利用这些匹配好的特征点对完成对图像配准变换模型的估算，并利用模型完成图像的配准及拼接。但通常这些匹配的特征点对中包含一定比例的异常数据，这些异常数据可能是由于噪声污染、测量误差或计算误差而产生。如果在对图像配准的变换模型估算时，错误的采用了异常的数据而导致变换模型估算的错误，将最终导致图像配准错误并进一步导致图像拼接或运动估计等应用实现的失败。

随机抽样一致(RANdom SAmple Consensus,RANSAC)算法作为一种参数估算方法，广泛地用于估算能够概括一组数据集的数学模型的参数，即使这一数据集包含一定比例的异常数据。通过在多次随机采样估算后，选取最多内点的模型为图像变换模型的RANSAC算法，能够有效剔除外点并保留了内点，当抽取次数足够多时，能够以较大概率保证内点和变换模型的准确性。

但基于传统RANSAC的图像配准方法在变换模型的估算上，精度与速度都无法达到更高的要求，尤其在具有广泛应用的相似变换图像配准上。采用标准的用于复杂投影变换情况下的RANSAC算法会使得相似变换模型的估算浪费不必要的时间和资源，同时全数据检验会因为抛弃检验不成功的样本而导致算法的迭代过程浪费大量不必要的时间，并且算法的随机性可能会导致选择某几个数据点之间的欧氏距离过小，而使得估算的变换模型不稳定和精度不高。

发明内容

为克服现有技术的不足，本发明的目的在于提出一种图像配准方法，从而可以为相似变换下的图像配准提供一种精确快速的解决方案。为此，本发明采取的技术方案是，基于相似特征三角形的图像配准方法，包括如下步骤：

1)特征点提取及特征匹配

将待配准两幅图像分为参考图像和目标图像，分别在两幅图像中利用特征提取算法进行特征点的提取，然后利用特征匹配算法对提取的特征点进行匹配，得到目标图像中特征点到 参考图像特征点的一一对应关系，即匹配的特征点对；

2)随机选取样本构成特征三角形

从匹配好的特征点对中随机选取3对作为一个数据点样本，并分别在参考图像和目标图像中利用选取的3个特征点构成一个特征三角形，特征三角形分别为△R₁R₂R₃、△T₁T₂T₃，其中，顶点R₁(x_R1,y_R1)、R₂(x_R2,y_R2)、R₃(x_R3,y_R3)为参考图像中的三个特征点，并一一对应着目标图像中的三个特征点T₁(x_T1,y_T1)、T₂(x_T2,y_T2)、T₃(x_T3,y_T3)；d_R12、d_R23、d_R13、d_T12、d_T23、d_T13分别是两两特征点之间的欧氏距离；

3)相似特征三角形预检验

根据两幅图像之间的相似变换关系以及3对特征点对中特征点的一一对应关系，匹配正确的特征三角形对应满足相似关系：

$\frac{d_{R12}}{d_{T12}}=\frac{d_{R23}}{d_{T23}}=\frac{d_{R13}}{d_{T13}}=r---\left(1\right)$

其中r为目标图像到参考图像的缩放比例因子，将式(1)中的等式各项平方后，可以变形为满足式(1)成立的充分必要条件：

$\left\{\begin{array}{c}{d}_{R12}^2\·d_{T23}^2-d_{R23}^2\·d_{T12}^2=0\\ d_{R23}^2\·d_{T13}^2-d_{R13}^2\·d_{T23}^2=0\end{array}\right.---\left(2\right)$

由于在多视角的二维平面景物图像的配准过程中，特征点的各向坐标值均看作是测量值，并满足如下关系：

$\left\{\begin{array}{c}x=\underset{-}{x}+\mathrm{\Δx}\\ y=\underset{-}{y}+\mathrm{\Δy}\end{array}\right.---\left(3\right)$

其中x、y为坐标值的真实值，Δx、Δy为受到噪声污染的坐标值误差，通常坐标值误差服从以均值μ＝0、标准差σ＝0.001的高斯分布。将式(3)代入欧氏距离公式并带入到式(2)并最终代入到式(1)中，得到：

$\left\{\begin{array}{c}{e}_{s1}=D_1-D_2=0\\ e_{s2}=D_3-D_4=0\end{array}\right.---\left(4\right)$

其中

$\begin{array}{c}{D}_1=\{{[({\underset{-}{x}}_{R1}-{\underset{-}{x}}_{R2})+({\mathrm{\Δx}}_{R1}-{\mathrm{\Δx}}_{R2})]}^2+{[({\underset{-}{y}}_{R1}-{\underset{-}{y}}_{R2})+({\mathrm{\Δy}}_{R1}-{\mathrm{\Δy}}_{R2})]}^2\}\\ \·\{{[{\underset{-}{x}}_{T2}-{\underset{-}{x}}_{T3}+({\mathrm{\Δx}}_{T2}-{\mathrm{\Δx}}_{T3})]}^2+{[({\underset{-}{y}}_{T2}-{\underset{-}{y}}_{T3})+({\mathrm{\Δy}}_{T2}-{\mathrm{\Δy}}_{T3})]}^2\}\end{array}---\left(5\right)$

D₂、D₃、D₄依式(5)类推，e_s1和e_s2分别为对应于两个等式的相似误差；当特征三角形对满足如下关系

$\left\{\begin{array}{c}\left|e_{s1}\right|=\frac{|D_1-D_2|}{A}\≤{\mathrm{th}}_s\\ \left|e_{s2}\right|=\frac{|D_3-D_4|}{A}\≤{\mathrm{th}}_s\end{array}\right.---\left(6\right)$

时，特征三角形对相似成立，即通过预检验；否则，抛弃此样本，重新选取；其中A为坐标误差归一化系数，根据式(5)多项式的各项系数，采用两个特征点的x坐标差值绝对值均值的三次方或y坐标差值绝对值均值的三次方作为坐标误差归一化系数A；阈值th_s是一个由统计方法得出的高斯分布特征值；

4)根据最大欧氏距离法选取样本点

选取目标图像中的特征三角形中边长最大的一条边，即选取目标图像中三个特征点两两之间欧氏距离d_T12、d_T23、d_T13中最大的一个，然后选取以这一最大欧氏距离作为端点的2个特征点，并依据匹配关系得到2对匹配的特征点样本；

5)通过求解变换模型及全数据检验得到变换模型

根据选取的2对特征点对的坐标，利用相似变换模型，如式(7)，构成4个线性方程，并组成关于模型参数r，θ，h₁₃和h₂₃的方程组，其中r为缩放比例因子，θ为旋转角度因子，h₁₃和h₂₃分别为水平、竖直方向的平移因子，求解方程组得到相似变换模型，并在所有特征点对上按照传统RANSAC的方法进行全数据检验，根据内点数量结果确定的最终正确的变换模型：

$\left[\begin{array}{c}{x}_r\\ y_r\end{array}\right]=\left[\begin{array}{cc}r\cos \mathrm{\θ}& -r\sin \mathrm{\θ}\\ r\sin \mathrm{\θ}& r\cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}{x}_t\\ y_t\end{array}\right]+\left[\begin{array}{c}{h}_{13}\\ h_{23}\end{array}\right]---\left(7\right)$

对于存在相似变换的两幅图像，其特征点的提取可以采用基于特征的图像配准方法中最常用的Harris角点提取算法；对于特征匹配可以采用依据以特征点为中心的邻域像素灰度值的归一化互相关(Normalized Cross Correlation,NCC)的方法来对Harris算法提取的角点进行粗匹配。

与已有技术相比，本发明的技术特点与效果：

本发明提出的一种基于相似特征三角形的相似变换图像配准方法，采用基于相似特征三角形的快速预检验来大幅节省模型检验时间，采用最大欧氏距离法来进一步保证计算结果的精度和稳定，最终加快了图像配准的速度，增加了图像配准的准确度和稳定性。

附图说明

图1待配准的两幅图像中的一对特征三角形。

图2基于相似特征三角形的相似变换图像配准方法流程图。

具体实施方式

本发明中基于传统的RANSAC图像配准方法，对全数据检验之前的过程进行了优化改进。首先选取了相似变换模型作为精准的变换配准模型，利用待配准两幅图像之间的特征三角形相似的特性进行随机样本模型的预检验，并采用最大欧氏距离法提高了配准的稳定性。这一技术发明主要分为以下几个部分：

1.特征点提取及特征匹配

将待配准两幅图像分为参考图像和目标图像。分别在两幅图像中利用特征提取算法进行特征点的提取。然后利用特征匹配算法对提取的特征点进行匹配，得到目标图像中特征点到参考图像特征点的一一对应关系，即匹配的特征点对。

2.随机选取样本构成特征三角形

从匹配好的特征点对中随机选取3对作为一个数据点样本，并分别在参考图像和目标图 像中利用选取的3个特征点构成一个特征三角形，如图1所示。特征三角形分别为△R₁R₂R₃、△T₁T₂T₃，其中，顶点R₁(x_R1,y_R1)、R₂(x_R2,y_R2)、R₃(x_R3,y_R3)为参考图像中的三个特征点，并一一对应着目标图像中的三个特征点T₁(x_T1,y_T1)、T₂(x_T2,y_T2)、T₃(x_T3,y_T3)；d_R12、d_R23、d_R13、d_T12、d_T23、d_T13分别是两两特征点之间的欧氏距离。

3.相似特征三角形预检验

根据两幅图像之间的相似变换关系以及3对特征点对中特征点的一一对应关系，匹配正确的特征三角形对应满足相似关系：

$\frac{d_{R12}}{d_{T12}}=\frac{d_{R23}}{d_{T23}}=\frac{d_{R13}}{d_{T13}}=r---\left(1\right)$

其中r为目标图像到参考图像的缩放比例因子。将式(1)中的等式各项平方后，可以变形为满足式(1)成立的充分必要条件：

$\left\{\begin{array}{c}{d}_{R12}^2\·d_{T23}^2-d_{R23}^2\·d_{T12}^2=0\\ d_{R23}^2\·d_{T13}^2-d_{R13}^2\·d_{T23}^2=0\end{array}\right.---\left(2\right)$

由于在多视角的二维平面景物图像的配准过程中，特征点的各向坐标值均看作是测量值，并满足如下关系：

$\left\{\begin{array}{c}x=\underset{-}{x}+\mathrm{\Δx}\\ y=\underset{-}{y}+\mathrm{\Δy}\end{array}\right.---\left(3\right)$

其中x、y为坐标值的真实值，Δx、Δy为受到噪声污染的坐标值误差，通常坐标值误差服从以均值μ＝0、标准差σ＝0.001的高斯分布。将式(3)代入欧氏距离公式并带入到式(2)并最终代入到式(1)中，得到：

$\left\{\begin{array}{c}{e}_{s1}=D_1-D_2=0\\ e_{s2}=D_3-D_4=0\end{array}\right.---\left(4\right)$

其中

$\begin{array}{c}{D}_1=\{{[({\underset{-}{x}}_{R1}-{\underset{-}{x}}_{R2})+({\mathrm{\Δx}}_{R1}-{\mathrm{\Δx}}_{R2})]}^2+{[({\underset{-}{y}}_{R1}-{\underset{-}{y}}_{R2})+({\mathrm{\Δy}}_{R1}-{\mathrm{\Δy}}_{R2})]}^2\}\\ \·\{{[{\underset{-}{x}}_{T2}-{\underset{-}{x}}_{T3}+({\mathrm{\Δx}}_{T2}-{\mathrm{\Δx}}_{T3})]}^2+{[({\underset{-}{y}}_{T2}-{\underset{-}{y}}_{T3})+({\mathrm{\Δy}}_{T2}-{\mathrm{\Δy}}_{T3})]}^2\}\end{array}---\left(5\right)$

D₂、D₃、D₄依式(5)类推，e_s1和e_s2分别为对应于两个等式的相似误差；当如图1所示的特征三角形对满足如下关系

$\left\{\begin{array}{c}\left|e_{s1}\right|=\frac{|D_1-D_2|}{A}\≤{\mathrm{th}}_s\\ \left|e_{s2}\right|=\frac{|D_3-D_4|}{A}\≤{\mathrm{th}}_s\end{array}\right.---\left(6\right)$

时，特征三角形对相似成立，即通过预检验；否则，抛弃此样本，重新选取。其中A为坐标误差归一化系数，根据式(5)多项式的各项系数，采用两个特征点的x坐标差值绝对值均值的三次方或y坐标差值绝对值均值的三次方作为坐标误差归一化系数A；阈值th_s是一个由统计方法得出的高斯分布特征值。

4.根据最大欧氏距离法选取样本点

选取目标图像中的特征三角形中边长最大的一条边，即选取目标图像中三个特征点两两之间欧氏距离d_T12、d_T23、d_T13中最大的一个，如图1中的d_T23。然后选取以这一最大欧氏距离作 为端点的2个特征点，并依据匹配关系得到2对匹配的特征点样本，如图1中的R₂-T₂、R₃-T₃。

5.通过求解变换模型及全数据检验得到变换模型

根据选取的2对特征点对的坐标，利用相似变换模型，如式(7)，构成4个线性方程，并组成关于模型参数r，θ，h₁₃和h₂₃的方程组。其中r为缩放比例因子，θ为旋转角度因子，h₁₃和h₂₃分别为水平、竖直方向的平移因子。求解方程组得到相似变换模型，并在所有特征点对上按照传统RANSAC的方法进行全数据检验，根据内点数量结果确定的最终正确的变换模型。

$\left[\begin{array}{c}{x}_r\\ y_r\end{array}\right]=\left[\begin{array}{cc}r\cos \mathrm{\θ}& -r\sin \mathrm{\θ}\\ r\sin \mathrm{\θ}& r\cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}{x}_t\\ y_t\end{array}\right]+\left[\begin{array}{c}{h}_{13}\\ h_{23}\end{array}\right]---\left(7\right)$

本发明所实现的基于相似特征三角形的相似变换图像配准方法的具体步骤如图2所示。

在本发明中，对于存在相似变换的两幅图像，其特征点的提取可以采用基于特征的图像配准方法中最常用的Harris角点提取算法。对于特征匹配可以采用依据以特征点为中心的邻域像素灰度值的归一化互相关(Normalized Cross Correlation,NCC)的方法来对Harris算法提取的角点进行粗匹配。

接下来从匹配好的角点对中随机选取3对角点对组成一个样本，构成一对匹配的特征三角形，根据相似预检验公式判断匹配的特征三角形是否相似，如果相似，则通过预检验；否则，抛弃此样本，重新随机选取3对角点对。

将通过预检验的匹配特征三角形中的目标图像三角形三边长度进行比较，选取最长的一边，即3个角点两两之间的欧氏距离最大的一个，并由此选定以这一最大欧氏距离作为端点的2个角点，得到在两幅图像中对应的2对匹配的角点对样本。

根据选取的2对角点对的横纵坐标值联立求解方程组，得到基于此样本的相似变换假设模型，并利用传统RANSAC算法在全部角点对上对这一假设模型进行全数据检验，如果内点数达到阈值要求，则通过全数据检验，记录此假设模型并作为最终估算的相似变换模型；如果没有达到阈值要求，则没有通过全数据检验，需要抛弃此样本，并重新随机选择3对角点对形成新的样本。反复迭代这一过程直到获得能够描述两幅图像之间关系的相似变换模型。

Claims (2)

1.一种基于相似特征三角形的图像配准方法，其特征是，包括如下步骤：

1)特征点提取及特征匹配

将待配准两幅图像分为参考图像和目标图像，分别在两幅图像中利用特征提取算法进行特征点的提取，然后利用特征匹配算法对提取的特征点进行匹配，得到目标图像中特征点到参考图像特征点的一一对应关系，即匹配的特征点对；

2)随机选取样本构成特征三角形

从匹配好的特征点对中随机选取3对作为一个数据点样本，并分别在参考图像和目标图像中利用选取的3个特征点构成一个特征三角形，特征三角形分别为△R₁R₂R₃、△T₁T₂T₃，其中，顶点R₁(x_R1,y_R1)、R₂(x_R2,y_R2)、R₃(x_R3,y_R3)为参考图像中的三个特征点，并一一对应着目标图像中的三个特征点T₁(x_T1,y_T1)、T₂(x_T2,y_T2)、T₃(x_T3,y_T3)；d_R12、d_R23、d_R13、d_T12、d_T23、d_T13分别是两两特征点之间的欧氏距离；

3)相似特征三角形预检验

根据两幅图像之间的相似变换关系以及3对特征点对中特征点的一一对应关系，匹配正确的特征三角形对应满足相似关系：

$\frac{d_{R12}}{d_{T12}}=\frac{d_{R23}}{d_{T23}}=\frac{d_{R13}}{d_{T13}}=r---\left(1\right)$

其中r为目标图像到参考图像的缩放比例因子，将式(1)中的等式各项平方后，可以变形为满足式(1)成立的充分必要条件：

$\left\{\begin{array}{c}{d}_{R12}^2\·d_{T23}^2-d_{R23}^2\·d_{T12}^2=0\\ d_{R23}^2\·d_{T13}^2-d_{R13}^2\·d_{T23}^2=0\end{array}\right.---\left(2\right)$

由于在多视角的二维平面景物图像的配准过程中，特征点的各向坐标值均看作是测量值，并满足如下关系：

$\left\{\begin{array}{c}x=\underset{\‾}{x}+\mathrm{\Δx}\\ y=\underset{\‾}{y}+\mathrm{\Δy}\end{array}\right.---\left(3\right)$

其中x、y为坐标值的真实值，Δx、Δy为受到噪声污染的坐标值误差，通常坐标值误差服从以均值μ＝0、标准差σ＝0.001的高斯分布。将式(3)代入欧氏距离公式并带入到式(2)并最终代入到式(1)中，得到：

$\left\{\begin{array}{c}{e}_{s1}=D_1-D_2=0\\ e_{s2}=D_3-D_4=0\end{array}\right.---\left(4\right)$

其中

$\begin{array}{c}{D}_1=\{{[({\underset{\‾}{x}}_{R1}-{\underset{\‾}{x}}_{R2})+({\mathrm{\Δx}}_{R1}-{\mathrm{\Δx}}_{R2})]}^2+{[({\underset{\‾}{y}}_{R1}-{\underset{\‾}{y}}_{R2})+({\mathrm{\Δy}}_{R1}-{\mathrm{\Δy}}_{R2})]}^2\}\\ \·\{{[({\underset{\‾}{x}}_{T2}-{\underset{\‾}{x}}_{T3})+({\mathrm{\Δx}}_{T2}-{\mathrm{\Δx}}_{T3})]}^2+{[({\underset{\‾}{y}}_{T2}-{\underset{\‾}{y}}_{T3})+({\mathrm{\Δy}}_{T2}-{\mathrm{\Δy}}_{T3})]}^2\}\end{array}---\left(5\right)$

D₂、D₃、D₄依式(5)类推，e_s1和e_s2分别为对应于两个等式的相似误差；当特征三角形对满足如下关系

$\left\{\begin{array}{c}\left|e_{s1}\right|=\frac{|D_1-D_2|}{A}\≤{\mathrm{th}}_s\\ \left|e_{s2}\right|=\frac{|D_3-D_4|}{A}\≤{\mathrm{th}}_s\end{array}\right.---\left(6\right)$

时，特征三角形对相似成立，即通过预检验；否则，抛弃此样本，重新选取；其中A为坐标误差归一化系数，根据式(5)多项式的各项系数，采用两个特征点的x坐标差值绝对值均值的三次方或y坐标差值绝对值均值的三次方作为坐标误差归一化系数A；阈值th_s是一个由统计方法得出的高斯分布特征值；

4)根据最大欧氏距离法选取样本点选取目标图像中的特征三角形中边长最大的一条边，即选取目标图像中三个特征点两两之间欧氏距离d_T12、d_T23、d_T13中最大的一个，然后选取以这一最大欧氏距离作为端点的2个特征点，并依据匹配关系得到2对匹配的特征点样本；

5)通过求解变换模型及全数据检验得到变换模型

根据选取的2对特征点对的坐标，利用相似变换模型，如式(7)，构成4个线性方程，并组成关于模型参数r，θ，h₁₃和h₂₃的方程组，其中r为缩放比例因子，θ为旋转角度因子，h₁₃和h₂₃分别为水平、竖直方向的平移因子，求解方程组得到相似变换模型，并在所有特征点对上按照传统RANSAC的方法进行全数据检验，根据内点数量结果确定的最终正确的变换模型：

$\left[\begin{array}{c}{x}_r\\ y_r\end{array}\right]=\left[\begin{array}{cc}r\cos \mathrm{\θ}& -r\sin \mathrm{\θ}\\ r\sin \mathrm{\θ}& r\cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}{x}_t\\ y_t\end{array}\right]+\left[\begin{array}{c}{h}_{13}\\ h_{23}\end{array}\right]---\left(7\right).$

2.如权利要求1所述的基于相似特征三角形的图像配准方法，其特征是，对于存在相似变换的两幅图像，其特征点的提取可以采用基于特征的图像配准方法中最常用的Harris角点提取算法；对于特征匹配可以采用依据以特征点为中心的邻域像素灰度值的归一化互相关(Normalized Cross Correlation,NCC)的方法来对Harris算法提取的角点进行粗匹配。