CN101635052B - 一种直线立体匹配方法 - Google Patents

Abstract

本发明提供一种直线立体匹配方法，能够对直线立体匹配中的遮挡问题和特征不确定性问题进行建模，对实现对直线间“一配一”、“一配多”或“多配多”在内的各种对应关系的求解。本发明方法对该问题进行求解的工作流程是：利用提取的直线特征从统计意义上恢复对应的投影直线→由恢复的投影直线生成所有直线特征编组→选取最可靠的直线特征编组作为匹配问题的解。本发明通过搜索有效边缘点估计投影直线端点的方法，可以提高投影直线段端点估计的可靠性；对恢复投影直线段进行特征编组，采用了图论中求解极大团的方法，利于实现；计算每个直线特征编组的可靠性，提高了匹配结果的正确性。

Description

一种直线立体匹配方法

技术领域

本发明属于摄影测量和图像处理技术领域，特别是涉及一种直线匹配方法。

背景技术

立体匹配是摄影测量和图像处理领域长期研究的一个基本问题，它的目的是获取目标场景的三维信息，方法是匹配从两个不同视点图像中提取出来的特征集。直线是立体匹配应用的一种重要特征，国内外很多学者致力于基于直线的立体匹配问题。

目前，直线立体匹配是一个公认的难题，主要体现在以下两个方面：第一，由于场景遮挡、图像噪声以及直线提取过程中的不确定性等问题的影响，造成从不同图像中提取的同名直线特征的属性出现差异，不易准确生成直线特征匹配对假设；第二，匹配过程中没有严格的去模糊约束机制，从而难于区分真实匹配对假设和虚假匹配对假设。为了得到可靠的匹配结果，绝大多数已有匹配算法将直线立体匹配问题转化为一个优化求解问题，为得到全局一致的匹配结果，普遍应用唯一性约束，即限定直线特征之间的对应关系只能是“一配一”的。事实上，直线特征之间还可能存在“一配多”甚至“多配多”等复杂对应关系，其产生的原因主要是遮挡和特征不确定性，体现在以下三个方面：第一，提取过程中一条直线特征被分割成多段；第二，一条三维直线在某个观测视角中的投影被遮挡而断裂成多段；第三，一组互连的空三维直线共面且该平面通过其中一个相机的摄影中心，则这组三维直线在一幅图像中的投影共线并连接成一条直线特征，而在另一幅图像中的投影则由多条直线特征组成。

当前，对于包含复杂对应关系的直线立体匹配问题有两种解决思路：第一，基于特征整体变换的方法。假定一幅图像或模型中的一组直线与另一幅图像或模型中的一组直线间存在参数一致的几何变换，搜索整体变换误差最小情况下的直线特征间对应关系作为匹配结果。这类方法通常应用于二维图像配准或基于模型的二维/三维目标识别、姿态参数求解等，而对求解基于立体像对的匹配问题则很难适用；第二，对直线进行编组的方法。应用较多的是断裂直线编组和感知编组方法。断裂直线编组是在单幅图像中将共线的临近直线编为一组，然后以编组为单位参与匹配。该方法可以部分解决断裂直线造成的复杂匹配问题，但对于直线特征提取不完整性严重的情况仍然难以得到满意的匹配结果；感知编组是依据拓扑关系将同一幅图像中形成特定的几何形状的直线特征编为一组，这种思路的优点是编组之间的匹配有更多的属性信息可用于消除模糊性，且可以在一定程度上补充因直线提取过程造成的直线特征不完整部分。这两种编组方法的缺点在于分别在不同图像内对直线进行编组，由于投影变换和遮挡等问题，编组结果由一幅图像到另一幅图像可能是变化的，难以保证编组过程的稳定，并且，它们除对少数断裂直线的兼容外，并不能完全解决所有“一配多”和“多配多”的对应性问题，尤其是包含多条非共线直线的复杂对应性问题。

发明内容

本发明的目的是提供一种直线立体匹配方法，能够对直线立体匹配中的遮挡问题和特征不确定性问题进行建模，对实现对直线间“一配一”、“一配多”或“多配多”在内的各种对应关系的求解。

本发明方法对该问题进行求解的工作流程是：利用提取的直线特征从统计意义上恢复对应的投影直线→由恢复的投影直线生成所有直线特征编组→选取最可靠的直线特征编组作为匹配问题的解。

本发明的技术方案是，一种直线立体匹配方法，具体包括下述步骤：

已知从不同视角获取的同一场景的两幅图像，分别记为左图像I₁和右图像I₂，它们的成像参数已知；对图像I₁和I₂进行边缘检测的结果分别为图像E₁和E₂，图像E₁和E₂中每个边缘点的灰度梯度相位已知；从左图像I₁中提取的直线特征的集合为 $L_1=\left\{l_1^i\right|i=\mathrm{1,2},\·\·\·,N_1\},$ 其中，任意一个直线特征l₁ ⁱ的端点分别为s_1，1 ⁱ：(x_1，1 ⁱ，y_1，1 ⁱ)和s_1，2 ⁱ：(x_1，2 ⁱ，y_1，2 ⁱ)，在l₁ ⁱ上每隔3个像素长度取一个点，将这些点在I₁中的灰度梯度相位平均值记为θ₁ ⁱ；从右图像I₂中提取的直线特征的集合为 $L_2=\left\{l_2^i\right|i=\mathrm{1,2},\·\·\·,N_2\},$ 其中，任意一个直线特征l₂ ⁱ的端点为s_2，1 ⁱ：(x_2，1 ⁱ，y_2，1 ⁱ)和s_2，2 ⁱ：(x_2，2 ⁱ，y_2，2 ⁱ)，在l₂ ⁱ上每隔3个像素长度取一个点，将这些点在I₂中的灰度梯度相位平均值记为θ₂ ⁱ。

第一步，利用直线特征集合恢复投影直线段

本发明将针对直线特征提取不完整以及提取断裂这两类不确定性问题，依据图像E₁和E₂中满足指定搜索范围的边缘点，估计每个提取的直线特征对应的投影直线段的端点，求解端点位置参数的概率密度函数，从而在统计意义上恢复投影直线段。

对于任意一个直线特征 $l_{\mathrm{\γ}}^i\∈L_1\∪L_2,$ γ＝1或γ＝2，由它的两个已知端点计算的中点坐标记为(x_γ，0 ⁱ，y_γ，0 ⁱ)，长度记为d_γ ⁱ，经过它的直线记为l_γ ⁱ。由l_γ ⁱ恢复的投影直线段记为它的两个端点

和

到

的距离分别记为

和

由

恢复

的过程等效为求解

和

的概率密度函数的过程。与的任意一个端点 ${\tilde{s}}_{\mathrm{\γ},q}^i(q=\mathrm{1,2})$ 相关的距离参数

的概率密度函数求解步骤如下：

第1步，搜索用于估计投影直线段端点的有效边缘点

的有效边缘点是指在指定搜索范围内用于估计

的端点

位置的边缘点。

搜索有效边缘点的方法包括确定搜索范围和在该范围内选择有效边缘点两个过程。有效边缘点的搜索范围包括空间搜索范围和灰度梯度相位搜索范围，由3个门限值来确定：

T_h表示

的有效边缘点到直线l_γ ⁱ的距离最大值，最优取值为3个像素；

T_τ表示

的两个相邻的有效边缘点在直线l_γ ⁱ上的投影间距离的最大值，最优取值为3个像素，它和T_h共同确定空间搜索范围；

T_θ指定

的有效边缘点的灰度梯度相位搜索范围为[θ_γ ⁱ-T_θ，θ_γ ⁱ+T_θ]，最优取值为

弧度。

将l_γ ⁱ的端点s_γ，q ⁱ视为

的第0个有效边缘点，记为(x⁽⁰⁾，y⁽⁰⁾)，它在直线l_γ ⁱ上的投影记为(x_p ⁽⁰⁾，y_p ⁽⁰⁾，此时， $x_p^{\left(0\right)}=x^{\left(0\right)}=x_{\mathrm{\γ},q}^i$ 且 $y_p^{\left(0\right)}=y^{\left(0\right)}=y_{\mathrm{\γ},q}^i.$

搜索有效边缘点的方法由以下两个步骤组成，它们被循环执行，从搜索第1个有效边缘点开始，直到确定的搜索范围内不再有边缘点被找到。

第1)步，确定端点的有效边缘点的搜索范围

当k＝1时，第k个有效边缘点的空间搜索范围R⁽¹⁾表示为以下四个点(u₁ ⁽¹⁾，v₁ ⁽¹⁾)、(u₂ ⁽¹⁾，v₂ ⁽¹⁾)、(u₃ ⁽¹⁾v₃ ⁽¹⁾)和(u₄ ⁽¹⁾，v₄ ⁽¹⁾)顺次连接而成的矩形：

$u_1^{\left(1\right)}=\frac{m\·T_h}{\sqrt{1+m^2}}+x^{\left(0\right)}$

$v_1^{\left(1\right)}=y^{\left(0\right)}-\frac{T_h}{\sqrt{1+m^2}}$

$u_2^{\left(1\right)}=x^{\left(0\right)}-\frac{m\·T_h}{\sqrt{1+m^2}}$

$v_2^{\left(1\right)}=y^{\left(0\right)}+\frac{T_h}{\sqrt{1+m^2}}$

$u_3^{\left(1\right)}=u_2^{\left(1\right)}+{\mathrm{\λ}}_u\·\frac{T_{\mathrm{\τ}}}{\sqrt{1+m^2}}$

$v_3^{\left(1\right)}=v_2^{\left(1\right)}+{\mathrm{\λ}}_v\·\frac{\left|m\right|\·T_{\mathrm{\τ}}}{\sqrt{1+m^2}}$

$u_4^{\left(1\right)}=u_1^{\left(1\right)}+{\mathrm{\λ}}_u\·\frac{T_{\mathrm{\τ}}}{\sqrt{1+m^2}}$

$v_4^{\left(1\right)}=v_1^{\left(1\right)}+{\mathrm{\λ}}_v\·\frac{\left|m\right|\·T_{\mathrm{\τ}}}{\sqrt{1+m^2}}$

其中， ${\mathrm{\&lambda;}}_u=\left\{\begin{array}{cc}1& x_{\mathrm{\&gamma;},q}^i>x_{\mathrm{\&gamma;},|3-q|}^i\\ 0& x_{\mathrm{\&gamma;},q}^i=x_{\mathrm{\&gamma;},|3-q|}^i\\ -1& x_{\mathrm{\&gamma;},q}^i<x_{\mathrm{\&gamma;},|3-q|}^i\end{array}\right.,$ ${\mathrm{\&lambda;}}_v=\left\{\begin{array}{cc}1& y_{\mathrm{\&gamma;},q}^i>y_{\mathrm{\&gamma;},|3-q|}^i\\ 0& y_{\mathrm{\&gamma;},q}^i=y_{\mathrm{\&gamma;},|3-q|}^i\\ -1& y_{\mathrm{\&gamma;},q}^i<y_{\mathrm{\&gamma;},|3-q|}^i\end{array}\right.,$ $m=\frac{y_{\mathrm{\&gamma;},2}^i-y_{\mathrm{\&gamma;},1}^i}{x_{\mathrm{\&gamma;},2}^i-x_{\mathrm{\&gamma;},1}^i};$

的第k个有效边缘点的灰度梯度相位搜索范围为 ${\mathrm{\&Omega;}}^{\left(1\right)}=({\mathrm{\&theta;}}_{\mathrm{\&gamma;}}^i-T_{\mathrm{\&theta;}},{\mathrm{\&theta;}}_{\mathrm{\&gamma;}}^i+T_{\mathrm{\&theta;}}).$

当k＞1时，第k个有效边缘点的搜索范围由R^(k)和Ω^(k)表示，确定方法为：

计算投影点(x_p ^(k-1)，y_p ^(k-1))到(x_p ^(k-2)，y_p ^(k-2))的距离，记为τ^(k-1)，第k个有效边缘点的空间搜索范围R^(k)由四个点(u₁ ^(k)，v₁ ^(k))、(u₂ ^(k)，v₂ ^(k))、(u₃ ^(k)，v₃ ^(k))和(u₄ ^(k)，v₄ ^(k))顺次连接而成：

$u_1^{\left(k\right)}=u_1^{(k-1)}+{\mathrm{\&Delta;}}_u^{(k-1)};$ $v_1^{\left(k\right)}=v_1^{(k-1)}+{\mathrm{\&Delta;}}_v^{(k-1)}$

$u_2^{\left(k\right)}=u_2^{(k-1)}+{\mathrm{\&Delta;}}_u^{(k-1)};$ $v_2^{\left(k\right)}=v_2^{(k-1)}+{\mathrm{\&Delta;}}_v^{(k-1)}$

$u_3^{\left(k\right)}=u_3^{(k-1)}+{\mathrm{\&Delta;}}_u^{(k-1)};$ $v_3^{\left(k\right)}=v_3^{(k-1)}+{\mathrm{\&Delta;}}_v^{(k-1)}$

$u_4^{\left(k\right)}=u_4^{(k-1)}+{\mathrm{\&Delta;}}_u^{(k-1)};$ $v_4^{\left(k\right)}=v_4^{(k-1)}+{\mathrm{\&Delta;}}_v^{(k-1)}$

其中， ${\mathrm{\&Delta;}}_u^{(k-1)}={\mathrm{\&lambda;}}_u\&CenterDot;\frac{{\mathrm{\&tau;}}^{(k-1)}}{\sqrt{1+m^2}},$ ${\mathrm{\&Delta;}}_v^{(k-1)}={\mathrm{\&lambda;}}_v\&CenterDot;\frac{\left|m\right|\&CenterDot;{\mathrm{\&tau;}}^{(k-1)}}{\sqrt{1+m^2}},$ λ_u、λ_v和m的取值与k＝1时相同；

第k个有效边缘点的灰度梯度相位搜索范围为Ω^(k)＝Ω⁽¹⁾。

第2)步，在搜索范围内选择有效边缘点

当k＞0时，将同时落在R^(k)和Ω^(k)范围内的边缘点的集合记为A_k。选取A_k中在直线l_γ ⁱ上的投影到点(x_p ⁽⁰⁾，y_p ⁽⁰⁾)距离最小的边缘点作为第k个有效边缘点(x^(k)，y^(k))，它在直线l_γ ⁱ上的投影记为(x_p ^(k)，y_p ^(k))。

第2步，计算与端点相关的距离参数的概率密度函数

假定得到的n个有效边缘点，计算与相关的距离参数

概率密度函数。

如果0≤n≤3，

的概率密度函数为

$p\left({\tilde{t}}_{\mathrm{\&gamma;},q}^i\right)=\mathrm{\&rho;}\&CenterDot;\exp (-\mathrm{\&rho;}\&CenterDot;({\tilde{t}}_{\mathrm{\&gamma;},q}^i-d_{\mathrm{\&gamma;}}^i/2)),{\tilde{t}}_{\mathrm{\&gamma;},q}^i\&Element;[d_{\mathrm{\&gamma;}}^i/2,+\&infin;)$

ρ的最优取值为0.25；

如果n＞3，

的概率密度函数计算方法由以下步骤组成：

第1)步，计算

的函数

$\mathrm{\&sigma;}\left({\tilde{t}}_{\mathrm{\&gamma;},q}^i\right)=\underset{k=1}{\overset{n_t}{\mathrm{\&Sigma;}}}\frac{\left|\cos ({\mathrm{\&theta;}}^{\left(k\right)}-{\mathrm{\&theta;}}_{\mathrm{\&gamma;}}^i)\right|}{h^{\left(k\right)}\&CenterDot;{\mathrm{\&tau;}}^{\left(k\right)}}$

其中，n_t表示

的有效边缘点中在直线l_γ ⁱ上的投影到点(x_γ，0 ⁱ，y_γ，0 ⁱ)距离小于

的数目，h^(k)是(x^(k)，y^(k))到直线l_γ ⁱ的距离，当γ＝1时，θ^(k)表示E₁中的边缘点(x^(k)，y^(k))的灰度梯度相位，当γ＝2时，θ^(k)表示E₂中的边缘点(x^(k)，y^(k))的灰度梯度相位。

第2)步，计算

的近似导数

${\mathrm{\&sigma;}}^{\&prime;}\left({\tilde{t}}_{\mathrm{\&gamma;},q}^i\right)=\frac{\mathrm{\&sigma;}({\tilde{t}}_{\mathrm{\&gamma;},q}^i+\mathrm{\&Delta;t})-\mathrm{\&sigma;}\left({\tilde{t}}_{\mathrm{\&gamma;},q}^i\right)}{\mathrm{\&Delta;t}}$

其中，Δt的最优取值为3个像素。

第3)步，计算参数η₁

${\mathrm{\&eta;}}_1=(1-{\mathrm{\&eta;}}_0)/{\&Integral;}_{d_{\mathrm{\&gamma;}}^i/2}^{d_{\mathrm{\&gamma;}}^i/2+T_t}\exp \left(\frac{\mathrm{\&sigma;}\left({\tilde{t}}_{\mathrm{\&gamma;},q}^i\right)}{{\tilde{t}}_{\mathrm{\&gamma;},q}^i\&CenterDot;{\mathrm{\&sigma;}}^{\&prime;}\left({\tilde{t}}_{\mathrm{\&gamma;},q}^i\right)}\right)d{\tilde{t}}_{\mathrm{\&gamma;},q}^i$

其中，η₀的最优取值为0.25， $T_t=\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&tau;}}^{\left(k\right)}.$

第4)步，计算的概率密度函数

$p\left({\tilde{t}}_{\mathrm{\&gamma;},q}^i\right)=\left\{\begin{array}{cc}{\mathrm{\&eta;}}_1\&CenterDot;\exp \left(\frac{\mathrm{\&sigma;}\left({\tilde{t}}_{\mathrm{\&gamma;},q}^i\right)}{{\tilde{t}}_{\mathrm{\&gamma;},q}^i\&CenterDot;{\mathrm{\&sigma;}}^{\&prime;}\left({\tilde{t}}_{\mathrm{\&gamma;},q}^i\right)}\right)& {\tilde{t}}_{\mathrm{\&gamma;},q}^i\&Element;(d_{\mathrm{\&gamma;}}^i/2,d_{\mathrm{\&gamma;}}^i/2+T_t)\\ {\mathrm{\&eta;}}_0\&CenterDot;\mathrm{\&rho;}\&CenterDot;\exp (-\mathrm{\&rho;}\&CenterDot;({\tilde{t}}_{\mathrm{\&gamma;},q}^i-d_{\mathrm{\&gamma;}}^i/2-T_t))& {\tilde{t}}_{\mathrm{\&gamma;},q}^i\&Element;[d_{\mathrm{\&gamma;}}^i/2+T_t,+\&infin;)\end{array}\right.$

第一步恢复得到的所有投影直线段的集合记为 ${\tilde{L}}_1=\left\{{\tilde{l}}_1^i\right|i=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,N_1\}$ 和 ${\tilde{L}}_2=\left\{{\tilde{l}}_2^i\right|i=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,N_2\},$ 每条投影直线段的端点都是以概率密度函数的形式从统计意义上描述的。

第二步，对恢复投影直线段进行特征编组

通过生成一个投影直线段匹配关系图求解，生成的无向图记为G，方法包括下述步骤：

第1步，生成投影直线段匹配关系图的节点

计算

中任意一条投影直线段

与中任意一条投影直线段

的对应关系测度；如果这个测度大于一个指定的门限，则判定它们是匹配的，并由

和

生成G的一个节点，节点属性等于这个测度。

记生成的所有节点集合V＝{v_α|α＝1，2，…，M}，任意一个节点v_α的属性记为μ_α。

第2步，判定投影直线段匹配关系图中任意两个节点间的连接关系

任取集合V中的两个元素v_α和v_β，假定与它们相对应的投影直线段匹配对分别为

和

判定它们之间连接关系的方法包括下述步骤：

第1)步，计算v_α和v_β的相容关系测度

任意两个节点的相容性取决于它们对应的投影直线段匹配对包含在任意一幅图像中的两条投影直线段的相容性。计算投影直线段和的相容关系测度以及

和

的相容关系测度如果 $U({\tilde{l}}_1^i,{\tilde{l}}_1^a)>0.04$ 且 $U({\tilde{l}}_2^j,{\tilde{l}}_2^b)>0.04,$ 则判定v_α和v_β是相容的，计算节点v_α和v_β的相容关系测度为 $F_u(v_{\mathrm{\&alpha;}},v_{\mathrm{\&beta;}})=U({\tilde{l}}_1^i,{\tilde{l}}_1^a)\&CenterDot;U({\tilde{l}}_2^j,{\tilde{l}}_2^b);$ 否则，直接判定节点v_α和v_β在图G中不可连接，并返回判定其它节点间的连接关系。

第2)步，判定节点v_α和v_β是否为直接可组合关系，计算组合关系测度

如果i＝a或j＝b，判定节点v_α和v_β是直接可组合的，其组合关系测度为F_c(v_α，v_β)＝1，进入第4)步；

如果i≠a且j≠b，计算

和属于同一条真实投影直线段的概率

以及和

属于同一条真实投影直线段的概率

如果 $C({\tilde{l}}_1^i,{\tilde{l}}_1^a)>0.15$ 或 $C({\tilde{l}}_2^j,{\tilde{l}}_2^b)>0.15,$ 则判定节点v_α和v_β是直接可组合的，且组合关系测度为 $F_c(v_{\mathrm{\&alpha;}},v_{\mathrm{\&beta;}})=\max \{C({\tilde{l}}_1^i,{\tilde{l}}_1^a),C({\tilde{l}}_2^j,{\tilde{l}}_2^b)\},$ 进入第4)步；否则，进入第3)步。

第3)步，判定节点v_α和v_β是否为间接可组合关系，计算组合关系测度

以集合V中的元素为节点，建立一个新的无向图g，如果任意两个节点是直接可组合的，则将它们在g中连接起来，连接边权重等于第2)步计算的组合关系测度。如果图G中节点v_α和v_β在图g中对应的节点之间存在至少一条路径，则判定它们是间接可组合的，组合关系测度为 $F_c(v_{\mathrm{\&alpha;}},v_{\mathrm{\&beta;}})=\underset{1\&le;b\&le;m}{\max }\left\{\mathrm{Dist}\left(b\right)\right\},$ 其中，m表示不含环的路径数，Dist(b)等于第b条不含环的路径上所有连接边权重的最小值；否则，直接判定它们在图G中不可连接，并返回判定其它节点间的连接关系。

第4)步，计算节点v_α和v_β之间的连接边权重

将投影直线段匹配关系图G中的节点v_α和v_β进行连接，计算连接边权重为

W(v_α，v_β)＝F_u(v_α，v_β)·F_c(v_α，v_β)

当α＝β时，指定W(v_α，v_β)＝0。

第3步，生成直线特征编组并计算可靠性测度

计算图G的所有极大团，记为Q＝{c_w|w＝1，2，…，N_Q}，任意一个极大团c_w是集合V的子集。利用每个极大团生成一个直线特征编组，计算该直线特征编组的可靠性测度为

$E_w=\frac{1}{2}\underset{v_i\&Element;c_w}{\mathrm{\&Sigma;}}\underset{v_j\&Element;c_w}{\mathrm{\&Sigma;}}W(v_i,v_j)\&CenterDot;{\mathrm{\&mu;}}_i\&CenterDot;{\mathrm{\&mu;}}_j$

第三步，选取最可靠的直线特征编组，确定提取的直线特征间的匹配关系

按照下述方法生成直线特征编组关系图G_F：利用每个生成的直线特征编组生成图G_F的一个节点，节点属性等于相对应的直线特征编组的可靠性测度，如果任意两个直线特征编组中不包含相同的投影直线段，则在图G_F中连接它们对应的节点。

计算图G_F的所有极大团，其中，每个极大团的能量等于该极大团中包含的所有节点的属性值之和，选取能量最大的极大团包含的直线特征编组作为最可靠的直线特征编组。

在每个直线特征编组中，投影直线段之间的匹配关系是确定的，并且，这些恢复的投影直线段与提取的直线特征是一一对应的，从而，提取的直线特征间匹配关系也是确定的，结合已知的成像参数，依据摄影测量理论可以求解匹配的直线特征对应的三维直线段。

本发明的有益效果是：

本发明利用直线特征恢复投影直线段并构造投影直线段特征编组的方法，能够建立起直线特征间包括“一配一”、“一配多”和“多配多”在内的各种对应关系；本发明第一步中通过搜索有效边缘点估计投影直线端点的方法，可以提高投影直线段端点估计的可靠性，并能够定量描述估计结果的可靠性；本发明第二步中对恢复投影直线段进行特征编组时，采用了图论中求解极大团的方法，将复杂的特征编组过程转化为一个经典的数学问题来求解，利于实现；本发明第二步中生成投影直线段匹配关系图的节点和判定节点间连接关系的方法，以投影直线段端点估计的可靠性为基础，计算了节点对应的投影直线段匹配对的匹配可能性以及同一幅图像中的两条投影直线段间的相容关系测度和组合关系测度，可以方便和准确地计算每个直线特征编组的可靠性，提高匹配结果的正确性。

附图说明

图1是本发明所述的直线立体匹配方法流程示意图；

图2是本发明第一步所述的恢复投影直线段示意图；

图3是本发明第二步的第1步所述的计算

中任意一条投影直线段

与

中任意一条投影直线段

的对应关系测度的示意图；

图4是本发明第二步的第2步所述的计算投影直线段

和

的相容关系测度

的示意图；

图5是本发明第二步的第2步所述的计算

和属于同一条真实投影直线段的概率

的示意图。

具体实施方式

下面结合附图对本发明作进一步解释。

图1是本发明所述的直线立体匹配方法流程示意图：本发明技术方案的输入是已知成像参数的立体图像对、立体图像的边缘检测结果以及由立体图像提取的直线特征，技术方案的输出是在左右图像提取的直线特征之间建立起来的匹配关系。其中，第一步是利用直线特征集合恢复投影直线段，包括：第1步，搜索用于估计投影直线段端点的有效边缘点，第2步，计算与端点相关的距离参数的概率密度函数；第二步是对恢复投影直线段进行特征编组，包括：第1步，生成投影直线段匹配关系图的节点，第2步，判定投影直线段匹配关系图中任意两个节点间的连接关系，第3步，生成直线特征编组并计算可靠性测度；第三步，选取最可靠的直线特征编组，确定提取的直线特征间的匹配关系。

图2是本发明方法第一步所述的利用提取的直线特征恢复投影直线段的方法示意图：l_γ ⁱ是任意一条由图像中提取的直线特征，s_γ，1 ⁱ和s_γ，2 ⁱ是它的端点，(x_γ，0 ⁱ，y_γ，0 ⁱ)是它的中点，

和

由l_γ ⁱ恢复的投影直线段的端点，

和

分别是端点

和到点(x_γ，0 ⁱ，y_γ，0 ⁱ)的距离，R⁽¹⁾、R⁽²⁾和R⁽³⁾是在计算

的概率密度函数时确定的第1、2和3个有效边缘点的空间搜索范围，它们中的点表示确定的有效边缘点，图中圆圈内给出了搜索有效边缘点的局部放大效果示意图。

图3是本发明第二步的第1步所述的计算

中任意一条投影直线段

与

中任意一条投影直线段

的对应关系测度的示意图：I₁和I₂是左右图像，它们中的两条实线表示用于恢复

和

的直线特征l₁ ⁱ和l₂ ^j，为了提高对于部分遮挡问题的适应性，对应关系测度的计算只依据直线特征l₁ ⁱ和l₂ ^j的相对应部分，R₁ ⁱ表示I₁中经过l₁ ⁱ的端点的核线与I₁的边界围成的阴影区域，T₁ ⁱ表示由l₁ ⁱ的端点在I₂中确定的核线与I₂的边界围成的阴影区域，R₂ ^j表示由l₂ ^j的端点在I₁中确定的核线与I₁的边界围成的阴影区域，T₂ ^j表示I₂中经过l₂ ^j的端点的核线与I₂的边界围成的阴影区域，D₁表示l₁ ⁱ位于 $R_1^i\&cap;R_2^j$ 内的长度，D₂表示l₂ ^j位于 $T_1^i\&cap;T_2^j$ 内的长度，w是设定的矩形图像块的宽度，最优取值为5个像素，r＝D₂/D₁，IL₁ ⁱ和IR₁ ⁱ表示以D₁为长、w为宽并且以l₁ ⁱ位于 $R_1^i\&cap;R_2^j$ 的部分为公共长边的两块矩形图像区域，IL₂ ^j和IR₂ ^j表示以D₂为长、(w·r)为宽并且以l₂ ^j位于 $T_1^i\&cap;T_2^j$ 的部分为公共长边的两块矩形图像区域，IL₂ ^ji和IR₂ ^ji表示对IL₂ ^j和IR₂ ^j进行插值计算后得到两块与IL₁ ⁱ和IR₁ ⁱ尺寸相同的图像区域，插值方法可采用最近邻插值、双线性插值或三线性插值。

如果D₁与l₁ ⁱ的长度d₁ ⁱ之比小于0.2，或者D₂与l₂ ^j的长度d₂ ^j之比小于0.2，则指定对应关系测度 $F_m({\tilde{l}}_1^i,{\tilde{l}}_2^j)=0;$ 否则，判定

和

满足核线约束，对区域IL₁ ⁱ与IL₂ ^ji、IR₁ ⁱ与IR₂ ^ji分别进行归一化互相关运算，得到两个归一化灰度互相关系数

和

选择

和

中较大的一个作为

和

的对应关系测度。

图4是本发明第二步的第2步所述的计算投影直线段

和

的相容关系测度

的示意图：e₁是图像I₁的核点，经过它的虚线表示核线，和是两条恢复的投影直线段，

和上的实线部分分别表示用于恢复它们的直线特征l₁ ⁱ和l₁ ^α，s_1，1 ⁱ和s_1，2 ⁱ是l₁ ⁱ的端点，s_1，1 ^α和s_1，2 ^α是l₁ ^α的端点，(x_1，0 ⁱ，y_1，0 ⁱ)和(x_1，0 ^α，y_1，0 ^α)分别表示l₁ ⁱ和l₁ ^α的中点，如果经过s_1，1 ⁱ或s_1，2 ⁱ的核线与l₁ ^α所在直线的交点位于s_1，1 ^α和s_1，2 ^α之间，或者经过s_1，1 ^α或s_1，2 ^α的核线与l₁ ⁱ所在直线的交点位于s_1，1 ⁱ和s_1，2 ⁱ之间，则

和

的相容关系测度为 $U({\tilde{l}}_1^i,{\tilde{l}}_1^a)=0;$ 否则，选择l₁ ⁱ和l₁ ^α的位于经过点(x_1，0 ⁱ，y_1，0 ⁱ)和(x_1，0 ^α，y_1，0 ^α)的两条核线之间的端点，假定它们是s_1，1 ⁱ和s_1，1 ^α，J_i是经过

的核线与L₁ ⁱ的延长线的交点，q₁ ⁱ是J_i与(x_1，0 ⁱ，y_1，0 ⁱ)之间的距离，J_α是经过s_1，1 ⁱ的核线与l₁ ^α的延长线的交点，q₁ ^α是J_α与(x_1，0 ^α，y_1，0 ^α)之间的距离，计算

和

的相容关系测度为

$U({\tilde{l}}_1^i,{\tilde{l}}_1^a)={\&Integral;}_{d_1^a/2}^{q_1^a}{\&Integral;}_{d_1^i/2}^{q_1^i}p({\tilde{t}}_{\mathrm{1,1}}^i,{\tilde{t}}_{\mathrm{1,1}}^a)\&CenterDot;d{\tilde{t}}_{\mathrm{1,1}}^i\&CenterDot;d{\tilde{t}}_{\mathrm{1,1}}^a$

其中， $p({\tilde{t}}_{\mathrm{1,1}}^i,{\tilde{t}}_{\mathrm{1,1}}^a)=p\left({\tilde{t}}_{\mathrm{1,1}}^i\right)\&CenterDot;p\left({\tilde{t}}_{\mathrm{1,1}}^a\right),$ q₁ ⁱ可表示成

的函数，q₁ ^α可由s_1，1 ⁱ计算得到，d₁ ⁱ和d₁ ^α分别表示提取的直线特征l₁ ⁱ和l₁ ^α的长度。

图5是本发明第二步的第2步所述的计算和

属于同一条真实投影直线段的概率

的示意图：

和

是两条恢复的投影直线段，

和

上的实线部分分别表示用于恢复它们的直线特征l₁ ⁱ和l₁ ^α，选择和

的相互靠近的端点，假定它们是

和

和

可以合并的概率的计算方法包括以下步骤：

第1)步，判定

和

是否共线

如果下面的不等式组不成立，则判定

和

不共线，

和

可以合并的概率 $C({\tilde{l}}_1^i,{\tilde{l}}_1^a)=0,$ 计算过程结束；否则，判定它们共线，进入第2)步。

$\left\{\begin{array}{c}|{\mathrm{\&omega;}}_1^i-{\mathrm{\&omega;}}_1^a|<\mathrm{\&epsiv;}\\ |\arctan \frac{y_{\mathrm{1,0}}^a-y_{\mathrm{1,0}}^i}{x_{\mathrm{1,0}}^a-x_{\mathrm{1,0}}^i}-{\mathrm{\&omega;}}_1^i|<\mathrm{\&epsiv;}\end{array}\right.$

其中， ${\mathrm{\&omega;}}_1^i=\arccos \left(\frac{x_{\mathrm{1,2}}^i-x_{\mathrm{1,1}}^i}{\sqrt{{(x_{\mathrm{1,2}}^i-x_{\mathrm{1,1}}^i)}^2+{(y_{\mathrm{1,2}}^i-y_{\mathrm{1,1}}^i)}^2}}\right)$

${\mathrm{\&omega;}}_1^a=\arccos \left(\frac{x_{\mathrm{1,2}}^a-x_{\mathrm{1,1}}^a}{\sqrt{{(x_{\mathrm{1,2}}^a-x_{\mathrm{1,1}}^a)}^2+{(y_{\mathrm{1,2}}^a-y_{\mathrm{1,1}}^a)}^2}}\right)$

ε的最优取值是π/20。

(x_1，1 ⁱ，y_1，1 ⁱ)和(x_1，2 ⁱ，y_1，2 ⁱ)分别表示s_1，1 ⁱ和s_1，2 ⁱ的坐标；(x_1，1 ^α，y_1，1 ^α)和(x_1，2 ^α，y_1，2 ^α)分别表示s_1，1 ^α和s_1，2 ^α坐标。

第2)步，计算和

可以合并的概率

计算

和

可以合并的概率为：

$C({\tilde{l}}_1^i,{\tilde{l}}_1^a)=\underset{{\tilde{t}}_{\mathrm{1,1}}^i+{\tilde{t}}_{\mathrm{1,1}}^a\&GreaterEqual;S}{\&Integral;\&Integral;}p({\tilde{t}}_{\mathrm{1,1}}^i,{\tilde{t}}_{\mathrm{1,1}}^a)\&CenterDot;d{\tilde{t}}_{\mathrm{1,1}}^i\&CenterDot;d{\tilde{t}}_{\mathrm{1,1}}^a$

其中， $p({\tilde{t}}_{\mathrm{1,1}}^i,{\tilde{t}}_{\mathrm{1,1}}^a)=p\left({\tilde{t}}_{\mathrm{1,1}}^i\right)\&CenterDot;p\left({\tilde{t}}_{\mathrm{1,1}}^a\right),$ S表示点(x_1，0 ⁱ，y_1，0 ⁱ)和(x_1，0 ^α，y_1，0 ^α)之间的距离。

下面详细说明本发明中的其它有关细节。

第一点，极大团求解方法

本发明中涉及的所有无向图的极大团求解算法均采用一种快速的极大团求解算法，具体参见Tomita E，Tanaka A，Takahashia H.The worst-case timecomplexity for generating all maximal cliques and computational experiments.Theoretical Computer Science，2006，363：28-42。

第二点，离散积分求解方法

本发明方案中涉及的一元和二元积分运算全部采用牛顿-柯特斯内差求积公式，具体参见丁丽娟和程杞元著《数值计算方法》，北京：北京理工大学出版社，2005年，第168-174页。

Claims (1)

1.一种直线立体匹配方法，其特征在于，包括下述步骤：

已知从不同视角获取的同一场景的两幅图像，分别记为左图像I₁和右图像I₂，它们的成像参数已知；对图像I₁和I₂进行边缘检测的结果分别为图像E₁和E₂，图像E₁和E₂中每个边缘点的灰度梯度相位已知；从左图像I₁中提取的直线特征的集合为

其中，任意一个直线特征

的端点分别为

和

在上每隔3个像素长度取一个点，将这些点在I₁中的灰度梯度相位平均值记为

从右图像I₂中提取的直线特征的集合为

其中，任意一个直线特征

的端点为

和

在

上每隔3个像素长度取一个点，将这些点在I₂中的灰度梯度相位平均值记为

第一步，利用直线特征集合恢复投影直线段

对于任意一个直线特征

γ＝1或γ＝2，由它的两个已知端点计算的中点坐标记为

长度记为

经过它的直线记为

由

恢复的投影直线段记为

它的两个端点和

到

的距离分别记为

和

由

恢复

的过程等效为求解

和

的概率密度函数的过程；与

的任意一个端点

q＝1，2，相关的距离参数

的概率密度函数求解步骤如下：

第1步，搜索用于估计投影直线段端点的有效边缘点

的有效边缘点是指在指定搜索范围内用于估计的端点

位置的边缘点；

搜索有效边缘点的方法包括确定搜索范围和在该范围内选择有效边缘点两个过程；

有效边缘点的搜索范围包括空间搜索范围和灰度梯度相位搜索范围，由3个门限值来确定：

T_h表示的有效边缘点到直线的距离最大值，最优取值为3个像素；

T_τ表示

的两个相邻的有效边缘点在直线上的投影间距离的最大值，最优取值为3个像素，它和T_h共同确定空间搜索范围；

T_θ指定

的有效边缘点的灰度梯度相位搜索范围为最优取值为

弧度；

将

的端点

视为的第0个有效边缘点，记为(x⁽⁰⁾，y⁽⁰⁾)，它在直线

上的投影记为

此时，

且

搜索有效边缘点的方法由以下两个步骤组成，它们被循环执行，从搜索第1个有效边缘点开始，直到确定的搜索范围内不再有边缘点被找到：

第1)步，确定端点

的有效边缘点的搜索范围

当k＝1时，第k个有效边缘点的空间搜索范围R⁽¹⁾表示为以下四个点

和

顺次连接而成的矩形：

$u_1^{\left(1\right)}=\frac{m\&CenterDot;T_h}{\sqrt{1+m^2}}+x^{\left(0\right)}$

$v_1^{\left(1\right)}=y^{\left(0\right)}-\frac{T_h}{\sqrt{1+m^2}}$

$u_2^{\left(1\right)}=x^{\left(0\right)}-\frac{{m\&CenterDot;T}_h}{\sqrt{1+m^2}}$

$v_2^{\left(1\right)}=y^{\left(0\right)}+\frac{T_h}{\sqrt{1+m^2}}$

$u_3^{\left(1\right)}=u_2^{\left(1\right)}+{\mathrm{\&lambda;}}_u\&CenterDot;\frac{T_{\mathrm{\&tau;}}}{\sqrt{1+m^2}}$

$v_3^{\left(1\right)}=v_2^{\left(1\right)}+{\mathrm{\&lambda;}}_v\&CenterDot;\frac{\left|m\right|\&CenterDot;T_{\mathrm{\&tau;}}}{\sqrt{1+m^2}}$

$u_4^{\left(1\right)}=u_1^{\left(1\right)}+{\mathrm{\&lambda;}}_u\&CenterDot;\frac{T_{\mathrm{\&tau;}}}{\sqrt{1+m^2}}$

$v_4^{\left(1\right)}=v_1^{\left(1\right)}+{\mathrm{\&lambda;}}_v\&CenterDot;\frac{{\left|m\right|\&CenterDot;T}_{\mathrm{\&tau;}}}{\sqrt{1+m^2}}$

其中， ${\mathrm{\&lambda;}}_u=\left\{\begin{array}{cc}1& x_{\mathrm{\&gamma;},q}^i>x_{\mathrm{\&gamma;},|3-q|}^i\\ 0& x_{\mathrm{\&gamma;},q}^i=x_{\mathrm{\&gamma;},|3-q|}^i\\ -1& x_{\mathrm{\&gamma;},q}^i<x_{\mathrm{\&gamma;},|3-q|}^i\end{array}\right.,$ ${\mathrm{\&lambda;}}_v=\left\{\begin{array}{cc}1& y_{\mathrm{\&gamma;},q}^i>y_{\mathrm{\&gamma;},|3-q|}^i\\ 0& y_{\mathrm{\&gamma;},q}^i=y_{\mathrm{\&gamma;},|3-q|}^i\\ -1& y_{\mathrm{\&gamma;},q}^i<y_{\mathrm{\&gamma;},|3-q|}^i\end{array}\right.,$ $m=\frac{y_{\mathrm{\&gamma;},2}^i-y_{\mathrm{\&gamma;},1}^i}{x_{\mathrm{\&gamma;},2}^i-x_{\mathrm{\&gamma;},1}^i};$

的第k个有效边缘点的灰度梯度相位搜索范围为

当k＞1时，第k个有效边缘点的搜索范围由R^(k)和Ω^(k)表示，确定方法为：

计算投影点

到的距离，记为τ^(k-1)，第k个有效边缘点的空间搜索范围R^(k)由四个点

和

顺次连接而成：

$u_1^{\left(k\right)}=u_1^{(k-1)}+{\mathrm{\&Delta;}}_u^{(k-1)};$ $v_1^{\left(k\right)}=v_1^{(k-1)}+{\mathrm{\&Delta;}}_v^{(k-1)}$

$u_2^{\left(k\right)}=u_2^{(k-1)}+{\mathrm{\&Delta;}}_u^{(k-1)};$ $v_2^{\left(k\right)}=v_2^{(k-1)}+{\mathrm{\&Delta;}}_v^{(k-1)}$

$u_3^{\left(k\right)}=u_3^{(k-1)}+{\mathrm{\&Delta;}}_u^{(k-1)};$ $v_3^{\left(k\right)}=v_3^{(k-1)}+{\mathrm{\&Delta;}}_v^{(k-1)}$

$u_4^{\left(k\right)}=u_4^{(k-1)}+{\mathrm{\&Delta;}}_u^{(k-1)};$ $v_4^{\left(k\right)}=v_4^{(k-1)}+{\mathrm{\&Delta;}}_v^{(k-1)}$

其中， ${\mathrm{\&Delta;}}_u^{(k-1)}={\mathrm{\&lambda;}}_u\&CenterDot;\frac{{\mathrm{\&tau;}}^{(k-1)}}{\sqrt{1+m^2}},$ ${\mathrm{\&Delta;}}_v^{(k-1)}={\mathrm{\&lambda;}}_v\&CenterDot;\frac{{\left|m\right|\&CenterDot;\mathrm{\&tau;}}^{(k-1)}}{\sqrt{1+m^2}},$ λ_u、λ_v和m的取值与k＝1时相同；

第k个有效边缘点的灰度梯度相位搜索范围为Ω^(k)＝Ω^(l)；

第2)步，在搜索范围内选择有效边缘点

当k＞0时，将同时落在R^(k)和Ω^(k)范围内的边缘点的集合记为A_k；选取A_k中在直线

上的投影到点

距离最小的边缘点作为第k个有效边缘点(x^(k)，y^(k))，它在直线

上的投影记为

第2步，计算与端点相关的距离参数的概率密度函数

假定得到的n个有效边缘点，计算与

相关的距离参数

概率密度函数

如果0≤n≤3，

的概率密度函数为

$p\left({\tilde{t}}_{\mathrm{\&gamma;},q}^i\right)=\mathrm{\&rho;}\&CenterDot;\exp (-\mathrm{\&rho;}\&CenterDot;({\tilde{t}}_{\mathrm{\&gamma;},q}^i-d_{\mathrm{\&gamma;}}^i/2))$ ${\tilde{t}}_{\mathrm{\&gamma;},q}^i\&Element;[d_{\mathrm{\&gamma;}}^i/2,+\&infin;)$

ρ的取值为0.25；

如果n＞3，

的概率密度函数计算方法由以下步骤组成：

第1)步，计算

的函数

$\mathrm{\&sigma;}\left({\tilde{t}}_{\mathrm{\&gamma;},q}^i\right)=\underset{k=1}{\overset{n_t}{\mathrm{\&Sigma;}}}\frac{\left|\cos ({\mathrm{\&theta;}}^{\left(k\right)}-{\mathrm{\&theta;}}_{\mathrm{\&gamma;}}^i)\right|}{h^{\left(k\right)}\&CenterDot;{\mathrm{\&tau;}}^{\left(k\right)}}$

其中，n_t表示

的有效边缘点中在直线

上的投影到点

距离小于

的数目，h^(k)是(x^(k)，y^(k))到直线

的距离，当γ＝1时，θ^(k)表示E₁中的边缘点(x^(k)，y^(k))的灰度梯度相位，当γ＝2时，θ^(k)表示E₂中的边缘点(x^(k)，y^(k))的灰度梯度相位；

第2)步，计算

的近似导数

${\mathrm{\&sigma;}}^{\&prime;}\left({\tilde{t}}_{\mathrm{\&gamma;},q}^i\right)=\frac{\mathrm{\&sigma;}({\tilde{t}}_{\mathrm{\&gamma;},q}^i+\mathrm{\&Delta;t})-\mathrm{\&sigma;}\left({\tilde{t}}_{\mathrm{\&gamma;},q}^i\right)}{\mathrm{\&Delta;t}}$

其中，Δt的最优取值为3个像素；

第3)步，计算参数η₁

${\mathrm{\&eta;}}_1=(1-{\mathrm{\&eta;}}_0)/{\&Integral;}_{d_{\mathrm{\&gamma;}}^i/2}^{d_{\mathrm{\&gamma;}}^i/2+T_t}\exp \left(\frac{\mathrm{\&sigma;}\left({\tilde{t}}_{\mathrm{\&gamma;},q}^i\right)}{{\tilde{t}}_{\mathrm{\&gamma;},q}^i\&CenterDot;{\mathrm{\&sigma;}}^{\&prime;}\left({\tilde{t}}_{\mathrm{\&gamma;},q}^i\right)}\right)d{\tilde{t}}_{\mathrm{\&gamma;},q}^i$

其中，η₀的最优取值为0.25，

第4)步，计算

的概率密度函数

$p\left({\tilde{t}}_{\mathrm{\&gamma;},q}^i\right)=\left\{\begin{array}{cc}{\mathrm{\&eta;}}_1\&CenterDot;\exp \left(\frac{\mathrm{\&sigma;}\left({\tilde{t}}_{\mathrm{\&gamma;},q}^i\right)}{{\tilde{t}}_{\mathrm{\&gamma;},q}^i\&CenterDot;{\mathrm{\&sigma;}}^{\&prime;}\left({\tilde{t}}_{\mathrm{\&gamma;},q}^i\right)}\right)& {\tilde{t}}_{\mathrm{\&gamma;},q}^i\&Element;(d_{\mathrm{\&gamma;}}^i/2,d_{\mathrm{\&gamma;}}^i/2+T_t)\\ {\mathrm{\&eta;}}_0\&CenterDot;\mathrm{\&rho;}\&CenterDot;\exp (-\mathrm{\&rho;}\&CenterDot;({\tilde{t}}_{\mathrm{\&gamma;},q}^i-d_{\mathrm{\&gamma;}}^i/2-T_t))& {\tilde{t}}_{\mathrm{\&gamma;},q}^i\&Element;[d_{\mathrm{\&gamma;}}^i/2+T_t,+\&infin;)\end{array}\right.$

第一步恢复得到的所有投影直线段的集合记为和 ${\tilde{L}}_2=\left\{{\tilde{l}}_2^i\right|i=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,N_2\};$

第二步，对恢复投影直线段进行特征编组

通过生成一个投影直线段匹配关系图求解，生成的无向图记为G，方法包括下述步骤：

第1步，生成投影直线段匹配关系图的节点

计算

中任意一条投影直线段

与

中任意一条投影直线段

的对应关系测度；如果这个测度大于一个指定的门限，则判定它们是匹配的，并由

和

生成G的一个节点，节点属性等于这个测度；

记生成的所有节点集合V＝{v_α|α＝1，2，…，M}，任意一个节点v_α的属性记为μ_α；

第2步，判定投影直线段匹配关系图中任意两个节点间的连接关系

任取集合V中的两个元素v_α和v_β，假定与它们相对应的投影直线段匹配对分别为

和判定它们之间连接关系的方法包括下述步骤：

第1)步，计算v_α和v_β的相容关系测度

任意两个节点的相容性取决于它们对应的投影直线段匹配对包含在任意一幅图像中的两条投影直线段的相容性；计算投影直线段

和

的相容关系测度

以及

和

的相容关系测度

如果且

则判定v_α和v_β是相容的，计算节点v_α和v_β的相容关系测度为

否则，直接判定节点v_α和v_β在图G中不可连接，并返回判定其它节点间的连接关系；

第2)步，判定节点v_α和v_β是否为直接可组合关系，计算组合关系测度

如果i＝a或j＝b，判定节点v_α和v_β是直接可组合的，其组合关系测度为F_c(v_α，v_β)＝1，进入第4)步；

如果i≠a且j≠b，计算

和

属于同一条真实投影直线段的概率

以及

和

属于同一条真实投影直线段的概率

如果

或

则判定节点v_α和v_β是直接可组合的，且组合关系测度为 $F_c(v_{\mathrm{\&alpha;}},v_{\mathrm{\&beta;}})=\max \{C({\tilde{l}}_1^i,{\tilde{l}}_1^a),C({\tilde{l}}_2^j,{\tilde{l}}_2^b)\},$ 进入第4)步；否则，进入第3)步；

第3)步，判定节点v_α和v_β是否为间接可组合关系，计算组合关系测度

以集合V中的元素为节点，建立一个新的无向图g，如果任意两个节点是直接可组合的，则将它们在g中连接起来，连接边权重等于第2)步计算的组合关系测度；如果图G中节点v_α和v_β在图g中对应的节点之间存在至少一条路径，则判定它们是间接可组合的，组合关系测度为

其中，m表示不含环的路径数，Dist(b)等于第b条不含环的路径上所有连接边权重的最小值；否则，直接判定它们在图G中不可连接，并返回判定其它节点间的连接关系；

第4)步，计算节点v_α和v_β之间的连接边权重

将投影直线段匹配关系图G中的节点v_α和v_β进行连接，计算连接边权重为

W(v_α，v_β)＝F_u(v_α，v_β)·F_c(v_α，v_β)

当α＝β时，指定W(v_α，v_β)＝0；

第3步，生成直线特征编组并计算可靠性测度

计算图G的所有极大团，记为Q＝{c_w|w＝1，2，…，N_Q}，任意一个极大团c_w是集合V的子集；利用每个极大团生成一个直线特征编组，计算该直线特征编组的可靠性测度为

$E_w=\frac{1}{2}\underset{v_i\&Element;c_w}{\mathrm{\&Sigma;}}\underset{v_j\&Element;c_w}{\mathrm{\&Sigma;}}W(v_i,v_j)\&CenterDot;{\mathrm{\&mu;}}_i\&CenterDot;{\mathrm{\&mu;}}_j;$

第三步，选取最可靠的直线特征编组，确定提取的直线特征间的匹配关系

按照下述方法生成直线特征编组关系图G_F：利用每个生成的直线特征编组生成图G_F的一个节点，节点属性等于相对应的直线特征编组的可靠性测度，如果任意两个直线特征编组中不包含相同的投影直线段，则在图G_F中连接它们对应的节点；

计算图G_F的所有极大团，其中，每个极大团的能量等于该极大团中包含的所有节点的属性值之和，选取能量最大的极大团包含的直线特征编组作为最可靠的直线特征编组；

在每个直线特征编组中，投影直线段之间的匹配关系是确定的，并且，这些恢复的投影直线段与提取的直线特征是一一对应的，从而，提取的直线特征间匹配关系也是确定的，结合已知的成像参数，依据摄影测量理论可以求解匹配的直线特征对应的三维直线段。

Images