CN102903085B - 基于角点匹配的快速图像拼接方法 - Google Patents

Abstract

本发明涉及图像拼接技术领域，其是依据相邻图像角点位置及角点响应函数值的偏差条件过滤大量不相关角点，再根据灰度相关性生成初始角点匹配点对集，减少计算相关度的时间；通过对初始匹配点对集进行多条件约束的筛选,去除伪角点对，减少RANSAC 算法迭代次数，提高匹配速度；在初始多帧序列匹配图像中选择融合重叠区相似度最大的变换参数作为拼接的最优变换参数，同时依据重叠区相似度自动启动优选匹配，有效解决摄像机抖动带来的匹配误差。

Description

基于角点匹配的快速图像拼接方法

技术领域

本发明涉及图像拼接技术领域，特别是一种基于角点匹配的快速图像拼接方法。

背景技术

图像拼接是指将一组内容上存在交叠的图像拼接成一幅更大画面图像的过程。图像拼接方法有很多，例如，基于频域的方法和基于空间像素灰度的方法等，通过分析可以发现基于频域的方法计算速度较快，对小的平移量、旋转及尺度缩放后的匹配拼接比较适合，但在两幅图像中重叠区域不大的情况下拼接结果较差。而基于空间像素灰度的方法运算量较大，且不能解决图像旋转和缩放后图像匹配的问题。

而基于特征的方法已逐渐成为未来的发展方向，主要原因是此方法先从两幅图像中提取了变化明显的点、线、区域等特征形成特征集，再依据两幅图像间对应的特征集中的特征点，利用特征匹配算法尽可能地将存在对应关系的特征对选择出来，然后，以图像特征为标准，对图像重叠部分的对应特征区域进行搜索匹配，最后完成多幅图像的快速拼接，该类方法有比较高的健壮性和鲁棒性。基于特征的方法是利用拼接图像中数量较少、特征较稳定的一些点、线或边缘等进行匹配,大大压缩了所需处理信息量,使得匹配搜索的计算量较小、速度较快，且该方法对图像灰度的变化具有鲁棒性，适合于多幅图像拼接。

但常见的基于图像特征的匹配算法中也存在两个不足之处:①由于匹配算法只用到了图像的一小部分信息,因此匹配结果容易受到噪声、图像信息分布等因素的影响，匹配精度不高、稳定性不好。且若拼接图像中两幅图重叠区域不大，则对特征点的准确性及稳定性的依赖较高。②大多数特征点匹配算法采用模板相关方法进行遍历性的匹配搜索，算法的计算量还是偏大。匹配搜索速度仍有待于提高。

发明内容

本发明结合图像拼接过程中相邻图像重叠区域小、变化(平移、旋转及缩放)尺度不大的特点，提出一个自适应角点选择优选匹配的图像拼接方法。

本发明采用以下技术方案实现：一种基于角点匹配的快速图像拼接方法，其特征在于，包括以下步骤：

步骤1：构造相邻图角点匹配度矩阵：设分辨率为宽×高的图像I的第k个角点为I_k，其横向坐标为I_k.x，纵向坐标为I_k.y，按式(6)建立左图I^l的i角点与右图I^r的j角点之间的匹配度矩阵S；

(a) $|I_i^l.y-I_j^r.y|<{\mathrm{\&lambda;}}_h$

(b) $I_i^l.x\&GreaterEqual;I_j^r.x$

                           (5)

(c) $|R\left(l_i^l\right)-R\left(I_j^r\right)|<{\mathrm{\&lambda;}}_r$

(d) $\left|\mathrm{NCC}(l_i^l,I_j^r)\right|>{\mathrm{\&lambda;}}_n$

其中，λ_h为匹配点对纵向偏差阈值，λ_r为响应函数阈值，λ_n为匹配相似度阈值，NCC为归一化互相关函数；R为角点响应函数；

步骤2：根据匹配度矩阵S进行最大相似度角点匹配：①按式(7)生成左右图初始匹配点对集子集L_l、L_r；②按式(8)将i、j互为最大相关点的匹配度置为最大相关度1；③按式(9)得到K个初始匹配点对集L；

$\begin{array}{c}{L}^l=\left\{(i,j)\right|\&ForAll;i\&Element;[1,B_{\mathrm{sum}}],s(i,j)=\max \left(s(i,:)\right),s(i,j)\&NotEqual;0\}\\ L^r=\left\{(i,j)\right|\&ForAll;j\&Element;[1,B_{\mathrm{sum}}],s(i,j)=\max \left(s(:,j)\right),s(i,j)\&NotEqual;0\}\end{array}---\left(7\right)$

$s(i,j)=\left\{\begin{array}{cc}1,& (i,j)\&Element;L^l\&cap;L^r\\ s(i,j),& \mathrm{else}\end{array}\right.---\left(8\right)$

L＝L^l∪L^r＝{(l_k,r_k),k＝1-K}         (9)

步骤3：对初始匹配点对集L进行多条件约束筛选：对按式(10)建立两两匹配点对之间的多条件约束模型，并按式(11)建立匹配点对相关度矩阵D；

条件1： $|\stackrel{\&OverBar;}{l_m{l}_n}-\stackrel{\&OverBar;}{r_m{r}_n}|<{\mathrm{\&lambda;}}_d$

条件2： $|\stackrel{\&OverBar;}{l_m{r}_m}-\stackrel{\&OverBar;}{l_n{r}_n}|<{\mathrm{\&lambda;}}_d---\left(10\right)$

条件3： $|R\left(I_{\mathrm{mn}}^l\right)-R\left(I_{\mathrm{mn}}^r\right)|<{\mathrm{\&lambda;}}_r$

其中，为两两匹配点对的中点；

m、n∈[1,K]，λ_d为匹配点对长度偏差阈值，D为对称矩阵；

步骤4：按式(12)求出跟最多点对强相关的匹配点对t，并按式(13)筛除与t不相关的点对，得到最大强相关匹配点对集T；

$t=\underset{i\&Element;[1,K]}{\arg \max }\left(\underset{j=1-K}{\mathrm{\&Sigma;}}D(i,j)\right)---\left(12\right)$

$T=\left\{l\right|\&ForAll;j\&Element;[1,K],D(t,l)\&NotEqual;0\}---\left(13\right).$

本发明是依据相邻图像角点位置及角点响应函数值的偏差条件过滤大量不相关角点，再根据灰度相关性生成初始角点匹配点对集，减少计算相关度的时间；通过对初始匹配点对集进行多条件约束的筛选,去除伪角点对，减少RANSAC算法迭代次数，提高匹配速度；在初始多帧序列匹配图像中选择融合重叠区相似度最大的变换参数作为拼接的最优变换参数，同时依据重叠区相似度自动启动优选匹配，有效解决摄像机抖动带来的匹配误差。

附图说明

图1是图像拼接方法结构示意图。

具体实施方式

在说明本发明的具体实施例前，为了更好的让一般技术人员了解本发明实现的效果，下面分四点简单介绍下本发明针对现有技术的缺点所采用的技术手段。

本发明结合图像拼接过程中相邻图像重叠区域小、变化(平移、旋转及缩放)尺度不大的特点，提出一个自适应角点选择优选匹配的图像拼接方法：a.选择计算量较少、稳定性较好的Harris角点作为图像的特征点，对图像采用分块策略，根据块区域的归一化灰度方差自适应选择角点数目，确保纹理信息丰富的分块提取的角点较多，而平滑区域提取的角点较少，这样能保证检测出的角点分布的相对合理，提取到质量好的角点。b.利用角点位置信息过滤不相关角点之后计算灰度相关性生成初始角点匹配点对集。然后依据全景拼接中相邻摄像机图像帧变化尺度不大的特点，依据匹配点对之间的距离、斜率以及中点相关性等多条件约束，对初始匹配点对集进行的筛选匹配,进一步去除伪角点对，减少RANSAC算法迭代次数，提高匹配速度。c.在多帧匹配图像中选择最佳变换参数，并可依据重叠区融合相似度自动启动优选匹配，解决摄像机抖动带来的误差问题。

1.Harris角点检测

Harris算子通过微分运算和自相关矩阵运算来检测角点。微分算子反应是像素点在任意方向上的灰度变化，所以能有效地区分角点和边缘。Harris角点检测算法的原理如下:

假设图像的亮度值为I(x,y),窗口模板w(x,y)经过微小偏移(u,v)后,像素点(x,y)的亮度变化记为E(u,v),则：

$E(u,v)=\left[\begin{array}{cc}u& v\end{array}\right]M\left[\begin{array}{c}u\\ v\end{array}\right]---\left(1\right)$

式中: $M=\left[\begin{array}{cc}A& C\\ C& B\end{array}\right]=w(x,y)\&CircleTimes;\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]$

Ix、Iy分别为像素点沿x、y的导数，w选用Gaussian函数过滤噪声。对于存在角点的区域，M的两个特征值都比较大，在任何方向平移，E都会增加，由此定义角点响应函数为：

R＝det(M)-k(trace(M))²                (2)

一般k＝0.04～0.06,凡满足R大于某一阈值λ的像素点均可被认为是角点。阈值λ依赖于实际图像的属性如尺寸、纹理等,由于λ不具有直观的物理意义,其具体值难以确定,为此,本发明采取间接确定λ的方法:即通过确定图像中所提取的角点数目Sum，根据R值进行排序,取其前Sum个为角点。

2.基于归一化块内方差指标的自适应角点选择

Harris算子计算过程只涉及了灰度的一阶差分以及滤波运算，其操作简单，计算量小。但在纹理信息丰富的区域，Harris算子可以提取出大量有用的角点，而在纹理信息少的区域，提取的角点则相对较少，因此，容易产生角点过少或角点聚簇的分布不均现象。针对此问题，现有算法首先对图像进行分块，选取每块中固定个数的R值最大点作为候选角点，并将所有候选角点共Sum个按R值由大到小进行排序，根据比列参数k(k∈(0,1))选取排在前k×Sum个角点作为最终角点，并进行邻近角点剔除操作。为保证每块均有角点被选中，对k由小到大进行迭代求解，只要每块都有角点选中，迭代停止。

此方法能够选取到质量相对较高的角点，但还存在以下问题：a.角点均匀分布时，迭代很快停止，k值很小，得到的角点太少，影响匹配。b.在纹理复杂区，选取的角点包含多余的近邻角点。c.k选取易受个别离群块(块纹理特别复杂或特别平滑)的干扰。

由于图像纹理细节丰富的区域角点分布密集，提取出的角点质量高，能可靠地用于下一步的特征匹配，而平滑区域角点分布应该相对较少，因为在这一区域提取出数量多的角点时，容易出现错误的角点，造成角点误匹配。因此合理的角点选择应该在角点分布相对均匀、不产生聚簇的基础上，纹理复杂部分提取角点应多些，平滑部分提取的角点应少些。据此本发明进一步提出依据图像分块区域灰度方差指标作为纹理权重自适应选择分块中的角点数的方法，这样既能保证块区域提取角点不会过少，又不至于产生聚簇现象，分布合理。基本思路为：首先将图像分为M×N块，根据每块的灰度方差计算纹理权重ω来确定该块的角点数B_i；然后检测块中的像素的R值，同时剔除R极值近邻角点；最后每块按R值大小进行排序，选取前B_i个作为该块角点。

合理的权重影响程度不应是随着方差变化而线性变化的，应能够抑制纹理过于复杂或过于平滑的权重特性：随着方差变化的增大，对权重变化的影响力应减小，即影响度变化的速度变缓。考虑到sigmoid函数平滑、渐进等性质，因此本发明运用sigmoid＝1/(1+exp(-κ(σ-γ))函数的特性对方差σ进行归一化，并根据归一化方差σ’确定块纹理权重ω，求块的角点数B_i。

B_i＝ω_i×Sum           (3)

式中： ${\mathrm{\&omega;}}_i=\frac{{\mathrm{\&sigma;}}_i^{\&prime;}}{\underset{k\&Element;[1,M\&times;N]}{\mathrm{\&Sigma;}}{\mathrm{\&sigma;}}_i^{\&prime;}},{\mathrm{\&sigma;}}_i^{\&prime;}=\frac{1}{1+\exp (-\mathrm{\&kappa;}\frac{{\mathrm{\&sigma;}}_i-\widehat{\mathrm{\&sigma;}}}{{\mathrm{\&sigma;}}_{\max }-{\mathrm{\&sigma;}}_{\min }})}$

其中，i＝1～M×N，Sum为设定的角点总数。由于sigmoid函数的自变量关键影响范围在(-4,4)之间，据此本发明取sigmoid函数的比例参数κ＝8。另外，期望值比中值的更能反映图像大部分纹理分布，故本发明采用方差期望作为sigmoid函数的偏移量γ。同时，为了抑制纹理特别复杂或特别平滑的离群块区域，本发明将块方差进行排序，在排除了一部分最小、最大方差之后求出σ_min、σ_max。

角点选取的具体步骤如下：

①将图像分为M×N块，求块方差σ_i，并进行从小到大排序，得到排序后的方差按式(4)求出σ_min、σ_max

$\begin{array}{c}\widehat{\mathrm{\&sigma;}}=\frac{\underset{k\&Element;[\mathrm{\&tau;}+1,M\&times;N-\mathrm{\&tau;}]}{\mathrm{\&Sigma;}}{\stackrel{\&RightArrow;}{\mathrm{\&sigma;}}}_k}{M\&times;N-2\mathrm{\&tau;}}\\ {\mathrm{\&sigma;}}_{\min }={\stackrel{\&RightArrow;}{\mathrm{\&sigma;}}}_{\mathrm{\&tau;}+1}\\ {\mathrm{\&sigma;}}_{\max }={\stackrel{\&RightArrow;}{\mathrm{\&sigma;}}}_{M\&times;N-\mathrm{\&tau;}}\end{array}---\left(4\right)$

根据经验值，取τ＝M×N/25。

②按式(3)计算每个块的自适应角点数Bi。

③按式(2)计算每块的像素角点响应函数R值，并进行局部R极值点的近邻角点删除操作。

④每块内按R值从大到小排序，选取前Bi的点做为该块的角点。

3.多条件约束的角点匹配

由于传统的RANSAC算法迭代计算效率较低,尤其在多幅且图像特征近似的拼接条件下,难以在短时间完成特征匹配,对此本发明针对多幅图像拼接中相邻图像变化尺度不大的特点，提出一种多条件约束的分级筛选角点匹配算法,去除大量伪角点，极大地减少灰度相关性的计算次数和RANSAC算法的迭代次数,提高了算法的整体运行效率。

多条件约束的角点匹配算法基本思路是依据待匹配图像角点位置以及角点相应函数R值的偏差信息过滤不相关角点，之后再根据角点灰度相关性生成初始角点匹配点对集。由于相邻图像变化尺度小的特点，因此匹配角点对线段的长度、中点角点响应函数R值等相近，可根据这些约束特性对初始匹配点对集进行进一步的筛选,去除伪角点对，减少RANSAC算法迭代次数，提高匹配速度。

4.动态优选匹配拼接

4.1图像拼接

设(x′,y′)为待匹配图像像素点坐标，(x,y)为参照图像像素坐标,则两者之间的关系为：

$\left[\begin{array}{c}u\\ v\\ w\end{array}\right]=\left[\begin{array}{ccc}{p}_0& p_1& p_2\\ p_3& p_4& p_5\\ p_6& p_7& 1\end{array}\right]\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ 1\end{array}\right]$

$x=\frac{u}{w}=\frac{p_0{x}^{\&prime;}+p_1{y}^{\&prime;}+p_2}{p_6{x}^{\&prime;}+p_7{y}^{\&prime;}+1}$

$y=\frac{v}{w}=\frac{p_3{x}^{\&prime;}+p_4{y}^{\&prime;}+p_5}{p_6{x}^{\&prime;}+p_7{y}^{\&prime;}+1}$

P＝(p₀,p₁,…p₇)称为变换参数。在得到角点对集T后,依据参照图像，利用RANSAC算法可以方便快速地估计出变换参数。

由于光照条件不尽相同,待拼接图像在总体亮度上可能会有所差异，为了使待拼接的图像在重叠区域上能够平滑过渡,可采用加权平均法进行渐入渐出的双线性插值融合拼接，设待拼接并排二幅图像中右图I^r为参照图像，为根据P参数变换后的左图，I^m为拼接图像，按下式进行融合拼接.

$I^m(x,y)=\left\{\begin{array}{c}\begin{array}{cc}{\tilde{I}}^l(x,y),& (x,y)\&Element;{\tilde{I}}^l\end{array}\\ \mathrm{\&alpha;}{\tilde{I}}^l(x,y)+(1-\mathrm{\&alpha;})I^r(x,y),\\ (x,y)\&Element;{\tilde{I}}^l\&cap;I^r\\ \begin{array}{cc}{I}^r(x,y),& (x,y)\&Element;I^r\end{array}\end{array}\right.$

其中，0≤α≤1，为融合重叠区最大、最小坐标。

4.2动态优选自动匹配

本发明的视频图像优选匹配方案为：对初始K帧序列图像进行匹配和拼接，按下式选择重叠区具有最大相似度的的匹配参数作为最优变换参数。

$\mathrm{tm}=\underset{1\&le;t\&le;K}{\max }\left(\underset{(x,y)\&Element;{\tilde{I}}_t^l\&cap;I_t^r}{\mathrm{NCC}}({\tilde{I}}_t^l,I_t^r)\right)$

$P^{\mathrm{tm}}=(P_0^{\mathrm{tm}},P_1^{\mathrm{tm}},\&CenterDot;\&CenterDot;\&CenterDot;,P_7^{\mathrm{tm}})$

以P^tm作为最终优选的变换参数，随后的实时序列图像均按P^tm进行变换和拼接融合。在融合过程中，同时计算重叠区的匹配相似度，若相似度低于设定阈值，则重新自动开始进行K帧序列图像的优选匹配。该方法能很好应对摄像机抖动带来的匹配误差等问题，同时在融合过程中可同时计算重叠区的相似度，因此时间代价并不大。

实施例一：

本实施例的技术方案的具体步骤如下：

Step1.构造相邻图角点匹配度矩阵。设分辨率为W×H(宽×高)的图像I的第k个角点为I_k，其横向坐标为I_k.x，纵向坐标为I_k.y，则多幅并排图像拼接中匹配点对应满足以下条件：①匹配点对的y值偏差小，一般不超过H/3②左图x值大于等于右图x值③匹配点对的R值相近④匹配点对的灰度相关性大。因此，可根据这些约束条件，按式(6)建立左图I^l的i角点与右图I^r的j角点之间的匹配度矩阵S。

(a) $|I_i^l.y-I_j^r.y|<{\mathrm{\&lambda;}}_h$

(b) $I_i^l.x\&GreaterEqual;I_j^r.x$

                (5)

(c) $|R\left(l_i^l\right)-R\left(I_j^r\right)|<{\mathrm{\&lambda;}}_r$

(d) $\left|\mathrm{NCC}(l_i^l,I_j^r)\right|>{\mathrm{\&lambda;}}_n$

其中，λ_h为匹配点对纵向偏差阈值，λ_r为响应函数阈值，λ_n为匹配相似度阈值，NCC为归一化互相关函数。

Step2.根据匹配度矩阵S进行最大相似度角点匹配：①按式(7)生成左右图初始匹配点对集子集L^l、L^r；②按式(8)将i、j互为最大相关点的匹配度置为最大相关度1；③按式(9)得到K个初始匹配点对集L。 $\begin{array}{c}{L}^l=\left\{(i,j)\right|\&ForAll;i\&Element;[1,B_{\mathrm{sum}}],s(i,j)=\max \left(s(i,:)\right),s(i,j)\&NotEqual;0\}\\ L^r=\left\{(i,j)\right|\&ForAll;j\&Element;[1,B_{\mathrm{sum}}],s(i,j)=\max \left(s(:,j)\right),s(i,j)\&NotEqual;0\}\end{array}---\left(7\right)$

$s(i,j)=\left\{\begin{array}{cc}1,& (i,j)\&Element;L^l\&cap;L^r\\ s(i,j),& \mathrm{else}\end{array}\right.---\left(8\right)$

L＝L^l∪L^r＝{(l_k,r_k),k＝1-K}           (9)

Step3.对初始匹配点对集L进行多条件约束筛选。对按式(10)建立两两匹配点对之间的多条件约束模型，并按式(11)建立匹配点对相关度矩阵D。

条件1： $|\stackrel{\&OverBar;}{l_m{l}_n}-\stackrel{\&OverBar;}{r_m{r}_n}|<{\mathrm{\&lambda;}}_d$

条件2： $|\stackrel{\&OverBar;}{l_m{r}_m}-\stackrel{\&OverBar;}{l_n{r}_n}|<{\mathrm{\&lambda;}}_d---\left(10\right)$

条件3： $|R\left(I_{\mathrm{mn}}^l\right)-R\left(I_{\mathrm{mn}}^r\right)|<{\mathrm{\&lambda;}}_r$

其中，为两两匹配点对的中点。

m、n∈[1,K]，λ_d为匹配点对长度偏差阈值，D为对称矩阵。

Step4.按式(12)求出跟最多点对强相关的匹配点对t，并按式(13)筛除与t不相关的点对，得到最大强相关匹配点对集T。

$t=\underset{i\&Element;[1,K]}{\arg \max }\left(\underset{j=1-K}{\mathrm{\&Sigma;}}D(i,j)\right)---\left(12\right)$

$T=\left\{l\right|\&ForAll;j\&Element;[1,K],D(t,l)\&NotEqual;0\}---\left(13\right).$

请参见图1，图1是本发明图像拼接方法结构示意图，从图中可以看出本发明由优选匹配模型和图像融合模型二大部分组成。

·优选匹配模型

此部分的目的是在多幅图像的优选匹配的基础上，生成最优变换参数集。为下一步的图像融合提供变换依据。此过程首先要确定自适应块内角点数，然后，依据Harris角点检测算法和多条件约束角点匹配方法进行变换参数估算，经过多次比较判断得到最优变换参数。此部分是多幅图像优选匹配的基础，需要多次反复运行，才能得到最优变换参数集，直到一批数据处理好，就可进行下一步图像融合与拼接。

·图像融合拼接模型

实时采集多幅视频图像，首先依据最优变换参数集进行统一坐标变换，然后，再进行图像融合拼接，最后，判断图像融合拼接效果是否达到用户要求，即重叠区相似度是否达标，如果达到要求，多幅图像融合可按当前模式继续进行图像拼接，如果不能满足用户要求，就需要转到优选匹配模型进行最优变换参数集的修改调整。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (1)

1.一种基于角点匹配的快速图像拼接方法，其特征在于，包括以下步骤：

步骤1：构造相邻图角点匹配度矩阵：设分辨率为宽×高的图像I的第k个角点为I_k，其横向坐标为I_k.x，纵向坐标为I_k.y，按式(6)建立左图I^l的i角点与右图I^r的j角点之间的匹配度矩阵S；

$\left\{\begin{array}{c}\left(a\right)|I_i^l\&CenterDot;y-I_j^r\&CenterDot;y|<{\mathrm{\&lambda;}}_h\\ \left(b\right)I_i^l\&CenterDot;x\&GreaterEqual;I_j^r\&CenterDot;x\\ \left(c\right)|R\left(I_i^l\right)-R\left(I_j^r\right)|<{\mathrm{\&lambda;}}_r\\ \left(d\right)\left|\mathrm{NCC}(I_i^l,I_j^r)\right|>{\mathrm{\&lambda;}}_n\end{array}\right.---\left(5\right)$

其中，λ_h为匹配点对纵向偏差阈值，λ_r为响应函数阈值，λ_n为匹配相似度阈值，NCC为归一化互相关函数；R为角点响应函数；

步骤2：根据匹配度矩阵S进行最大相似度角点匹配：①按式(7)生成左右图初始匹配点对集子集L^l、L^r；②按式(8)将i、j互为最大相关点的匹配度置为最大相关度1；③按式(9)得到K个初始匹配点对集L；

$\begin{array}{c}{L}^l=\left\{(i,j)\right|\&ForAll;i\&Element;[1,B_{\mathrm{sum}}],S(i,j)=\max \left(S(i,:)\right),S(i,j)\&NotEqual;0\}\\ L^r=\left\{(i,j)\right|\&ForAll;j\&Element;[1,B_{\mathrm{sum}}],S(i,j)=\max \left(S(:,j)\right),S(i,j)\&NotEqual;0\}\end{array}---\left(7\right)$

$S(i,j)=\left\{\begin{array}{cc}1,& (i,j)\&Element;L^l\&cap;L^r\\ S(i,j),& \mathrm{else}\end{array}\right.---\left(8\right)$

L＝L^l∪L^r＝{(l_k,r_k),k∈[1,K]}          (9)

步骤3：对初始匹配点对集L进行多条件约束筛选：对按式(10)建立两两匹配点对之间的多条件约束模型，并按式(11)建立匹配点对相关度矩阵D；

条件1： $|\stackrel{\&OverBar;}{l_m{l}_n}-\stackrel{\&OverBar;}{r_m{r}_n}|<{\mathrm{\&lambda;}}_d$

条件2： $|\stackrel{\&OverBar;}{l_m{r}_m}-\stackrel{\&OverBar;}{l_n{r}_n}|<{\mathrm{\&lambda;}}_d---\left(10\right)$

条件3： $|R\left(I_{\mathrm{mn}}^l\right)-R\left(I_{\mathrm{mn}}^r\right)|<{\mathrm{\&lambda;}}_r$

其中，为两两匹配点对的中点；

m、n∈[1,K]，λ_d为匹配点对长度偏差阈值，D为对称矩阵；

步骤4：按式(12)求出跟最多点对强相关的匹配点对t，并按式(13)筛除与t不相关的点对，得到最大强相关匹配点对集T；

$t=\underset{i\&Element;[1,K]}{\arg \max }\left(\underset{j=1}{\overset{K}{\mathrm{\&Sigma;}}}D(i,j)\right)---\left(12\right)$

$T=\left\{l\right|\&ForAll;j\&Element;[1,K],D(t,l)\&NotEqual;0\}---\left(13\right).$