CN111462210A - 一种基于极线约束的单目线特征地图构建方法 - Google Patents

Abstract

本发明提供了一种基于极线约束的单目线特征地图构建方法，包括以下步骤：1.对相邻两帧图像K_i,K_j，使用光流跟踪法跟踪特征点，寻找参考角点和跟踪角点的本质矩阵；2.提取每一帧图像的LSD线特征，计算LBD描述子；3.计算参考帧每一条直线l_i的中点极线，并计算与其对应的匹配直线的夹角θ大小；4.从l_i的点集P_i,k选取直线上的点，计算点对应的极线与匹配直线的交点，交点集合为I_i,k；5.确定点集P_j,k；6.对点集进行归一化和三角化，确定空间点点集P_k，拟合直线L_k.S7.直线重投影到第i帧和第j帧，构建重投影误差，更新相机位姿和空间直线；8.确定端点空间直线起点和终点；9.更新直线。

Description

一种基于极线约束的单目线特征地图构建方法

技术领域

本发明涉及机器人定位与建图领域，更具体地，涉及一种基于极线约束的单目线特征地图构建方法。

背景技术

SLAM(视觉定位与建图)算法，在机器人的定位与导航，三维重构，自动驾驶等方面有着广泛的应用前景。近几年一些学者通过深度学习训练等方法作深度估计(Cao,Yuanzhouhan,Zifeng Wu,and Chunhua Shen."Estimating depth from monocularimages as classification using deep fully convolutional residual networks."IEEE Transactions on Circuits and Systems for Video Technology[J].2017.)，研究基于单目相机的SLAM算法，一些学者研究用神经网络替换掉传统SLAM算法的几个模块，如视觉里程计(Li R,Wang S,Long Z,et al.UnDeepVO:Monocular Visual Odometrythrough Unsupervised Deep Learning[J].2017)，重定位(Wu J,Ma L,Hu X.Delvingdeeper into convolutional neural networks for camera relocalization[C]//2017IEEE International Conference on Robotics and Automation(ICRA).IEEE,2017.)，回环检测等。部分学者研究起了端到端的SLAM算法，但现阶段无论从精度和实时性上来说，都无法与传统的先进的SLAM相媲美。传统的SLAM算法又以非线性优化为主流方法，相比于基于EKF的方法精度更高，可以适用于更大的场景，SLAM算法进一步可以细分为基于特征点法的SLAM算法和基于光流的SLAM算法，前者对环境纹理要求较高，且只能构建稀疏点云地图，不能有效地表达地图环境信息；后者对环境纹理要求略低，可以构建稠密点云地图，但计算代价太大。

如果要在低纹理环境下，以较低的计算代价，尽可能多地表达环境信息，必须对现有的算法进行改进。有学者提出了基于线特征的双目SLAM算法，但对单目相机并不适用，且双目相机对远距离的特征观察容易退化成单目，也有学者提出基于点线特征的单目SLAM算法，但依然没法解决直线特征易退化，且端点不好确定的问题。本发明利用极线约束，提出了一种新的线特征重构方式，在特征线与极线夹角较大的情况下，直接进行点三角化；如果特征线与极线接近平行，则对两条直线进行高斯建模，通过快匹配和最小化光度误差法确定特征点，再进行三角化，然后进行直线拟合。对于端点的确定，本发明提出了一种平面截断法，同样适用于线特征退化问题。

发明内容

本发明的目的在于克服现有的技术和算法的缺点与不足，提供了基于极线约束的单目线特征地图构建方法。利用极限约束和匹配特征线，采用像素块匹配和最小化光度误差等方法，把线特征重构转换为特征点重构问题，然后拟合三维空间直线。并提出了一种平面截断法确定空间直线的端点。

本发明至少通过如下技术方案之一实现。

一种基于极线约束的单目线特征地图构建方法，包括以下步骤：

S1.对相邻两帧图像K_i、K_j使用光流跟踪法跟踪特征点；如果是第一帧，则提取数目为N的角点，在之后的跟踪过程中，如果跟踪到的数目小于N，则提取新的角点进行补充，并寻找参考角点和跟踪角点的本质矩阵E，分解本质矩阵E得到相机的初始位姿R和t；

S2.在光流跟踪的同时，提取每一帧图像的LSD(Line Segment Detection)线特征，计算LBD(Line Band Descriptor)描述子，并计算LBD描述子的距离作为线段匹配的依据，小于给定阈值S的匹配认为是成功的直线匹配，保存并剔除匹配不成功的直线；

S3.计算参考帧每一条直线l_i的中点极线，并计算中点极线与其对应的匹配直线的夹角θ大小；

S4.对参考帧上的每一条直线l_i，从l_i的点集P_i,k上随机选取直线上的点，计算点对应的极线与匹配直线的交点，交点集合为I_i,k；

S5.如果θ小于或者等于阈值

分别对极线和匹配直线建模成高斯分布，则匹配点必定在融合的高斯分布上，在新的高斯分布上寻找窗口为w*w为的像素块，匹配该像素块和参考帧像素块的灰度误差，确定匹配特征点集P_j,k，如果θ大于阈值

则直接以交点作为匹配特征点，确定点集P_j,k；

S6.对点集P_i,k和P_j,k进行归一化，然后三角化，确定空间点点集P_k，拟合直线L_k.

S7.直线重投影到第i帧和第j帧，构建重投影误差，迭代优化最小化重投影误差，更新相机位姿和空间直线，如果存在若干个共视帧，则进行若干帧约束优化；

S8.使用平面截取法确定端点空间直线起点S和终点E；

S9.如果新重构的直线已经存在于线特征地图中，则比较新的端点是否使得线段长度变大，若是，则更新直线端点，否则，不更新直线端点；若直线不存在于地图中，则直接加入地图。

进一步地，步骤S1所述的光流跟踪法为LK光流法，角点特征提取的金字塔层数为5层，特征点的类型为harris角点，提取数目N＝200，本质矩阵E的求取依据为特征点之间的对极几何约束，约束方程为：

因为E＝t^R，由奇异值分解得到R和t，式中，x_i和x_j分别表示第i帧和第j帧上的特征点，R和t分别为从第i帧到第j帧坐标变换的旋转矩阵和平移向量。

进一步地，步骤S2所述的LSD线特征提取仅考虑第0层和第一层，LBD描述子距离的阈值为30。

进一步地，步骤S3计算中点极线的方程为：

ax_i,k+by_i,k+c＝0

式中，x_i,k和y_i,k分别表示第i帧图像的第k条直线中点极线上的像素横纵坐标；

a、b、c均为直线系数，θ_j,k为第j帧图像的第k条直线与x轴正方向的夹角，则：

阈值

进一步地，步骤S4所述交点的解法为LU分解法，解得的交点记为p_k。

进一步地，步骤S5所述的匹配点p′_i,k在极线上服从高斯分布：

极线坐标系的构建如下：以步骤S4中所述的交点坐标p₀＝[x₀ y₀]^T为原点，以极线作为X′轴，X′轴正方向为极线与图像坐标系X轴正方向夹角为锐角的方向，Y′轴垂直X′轴，Σ′₁表示匹配点p′_i,k坐标的协方差矩阵，～表示数学中的服从，N是高斯分布的符号；

设第i帧图像的第k条直线上的一点的极线与图像坐标系x轴正方向的夹角为θ_i,k，i表示图像帧的序列号，即第i帧，把点p′_i,k变换到图像坐标系下：

p_j,k是图像坐标系下匹配点的表示形式，A_i,k为极线坐标系到图像坐标系的旋转矩阵；

服从高斯分布的随机变量线性变换后仍服从高斯分布，从而：

式中，Σ_i,k表示图像坐标系下，匹配点的协方差矩阵，p_k是平移向量；

步骤S5所述的匹配点p′_j,k在匹配直线上服从高斯分布：

式中，匹配直线坐标系的构建如下：以步骤S4中所述的交点坐标p₀＝[x₀ y₀]^T为原点，以匹配直线作为X″轴，X″轴正方向为匹配直线与图像坐标系X轴正方向夹角为锐角的方向，Y″轴垂直X″轴，Σ′₂表示匹配点p′_j,k坐标的协方差矩阵；

设第j帧图像的第k条直线上的一点的极线与x轴正方向的夹角为θ_j,k，把点p′_j,k点变换到图像坐标系下：

服从高斯分布的随机变量线性变换后仍服从高斯分布，从而，：

步骤S5所述融合的高斯分布为：

式中，μ_k表示融合后高斯分布的均值，Σ_k为融合后的协方差矩阵。

进一步地，步骤S5中匹配该像素块和参考帧像素块的灰度误差，寻求p_j,k使得光度误差

最小：

式中，I(p_i,k)表示参考帧上以p_i,k为中心w*w大小的小窗像素块的灰度值，I(p_j,k)表示匹配帧上以p_j,k为中心w*w大小的小窗像素块的灰度值，

表示二范数。

进一步地，步骤S6中三角化的解法为奇异值分解法，直线拟合算法为RANSAC算法即一致性检验算法。

进一步地，步骤S7中所述的重投影误差e为参考直线L的两端点到投影直线上的距离d₁、d₂，再加上匹配直线两端点到投影直线上的距离d₃、d₄即：

其中，空间直线方程x采用普吕克坐标表示，直线方程l_i(a_i,b_i,c_i)，a_i、b_i、c_i均为直线参数，q_i是直线端点，用齐次坐标表示，最小化重投影误差的解法为BA算法(BundleAdjustment)，迭代使用LM算法(Levenberg Marquardt算法)。

进一步地，步骤S8所述的截平面法为过参考帧直线l_i起点作垂直于直线l_i的直线，与图像平面边界相较于s，垂线和相机光心坐标构成平面π与直线相交于S，S即为起点；过参考帧直线l_i终点作垂直于直线l_i的直线，与图像平面边界相较于e，再次利用截平面法确定终点E；

具体的，设选取的起点归一化后坐标s(u_s,v_s,1)，垂足归一化为d(u_d,v_d,1)，平面π齐次坐标表示为：

π(v_s-v_d,u_d-u_s,u_sv_d-u_dv_s,1)

联立直线方程L_k即可确定起点S，同样的方法确定终点。

与现有技术相比，本发明技术方案的有益效果是：

1.本发明把特征直线的三角化转化成特征点的三角化，提高了直线三维重构的精度，解决了传统的直线重构存在的退化问题。

2.本发明提出平面截断法确定重构直线的端点，从而表达了更加丰富且具体的环境结构信息。

3.本发明提出的线特征地图构建算法考虑到共视关键帧之间的约束，并及时地更新直线端点。

附图说明

图1为本实施例一种基于极线约束的单目线特征地图构建方法的总流程图；

图2a为本实施例高斯分布图；

图2b为本实施例融合前高斯分布示例图；

图2c为本实施例融合后高斯分布示例图；

图3为本实施例极线搜索与像素块匹配算法示意图；

图4为本实施例直线的重投影误差；

图5为本实施例平面截断法示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本发明的技术方案做进一步的说明。

如图1所示，一种基于极线约束的单目线特征地图构建方法，包括以下步骤：

S1.对相邻两帧图像K_i,K_j，使用光流法跟踪harris特征点。如果是第一帧，则提取数目为N＝200的角点，在之后的跟踪过程中，如果跟踪到的数目小于N，则提取新的角点进行补充，并寻找参考角点和跟踪角点的本质矩阵E，E矩阵分满足对极约束：

对本质矩阵E进行奇异值分解，并根据深度值为正这一信息对符合条件的解进行筛选，解得到相机的初始位姿R和t；x_i和x_j分别表示第i帧和第j帧上的特征点，R和t分别为从第i帧到第j帧坐标变换的旋转矩阵和平移向量。

S2.在光流跟踪的同时，提取每一帧图像的LSD(Line Segment Detection)线特征，计算LBD(Line Band Descriptor)描述子，并把LBD描述子的距离作为线段匹配的依据(LBD算法是一种经典的直线描述子计算方法，于2013年提出，具体可见An efficient androbust line segment matching approach based on LBD descriptor and pairwisegeometric consistency)，小于给定阈值S＝30的匹配认为是成功的直线匹配，保存并剔除匹配不成功的直线。LSD线特征提取仅考虑金字塔的第0层和第一层。

S3.计算参考帧每一条直线l_i的中点的极线，并计算它与其对应的匹配直线的夹角θ大小。设第i帧图像的第k条直线中点极线方程为：

ax_i,k+by_i,k+c＝0

式中，x_i,k和y_i,k分别表示第i帧图像的第k条直线中点极线上的像素横纵坐标。

a,b,c为直线系数，θ_j,k为第j帧图像的第k条直线与x轴正方向的夹角，则：

阈值

S4.对参考帧上的每一条直线l_i，从l_i的点集P_i,k上随机选取直线上的点，计算点对应的极线与匹配直线的交点，交点集合为I_i,k；随机点坐标[x y]^T的选取方式为：

式中，x₀和x₁分别表示直线的两个端点，其中，Rand(0,1)为选取值为0～1之间的随机数，f为直线的方程。计算这些点对应的极线与匹配直线的交点，交点集合为I_i,k。交点的解法为LU分解法。

S5.如果θ小于或者等于阈值

如图2a所示，分别对极线和匹配直线建模成高斯分布(其中，极线)，则匹配点必定在融合的高斯分布上，如图2b和图2c所示。在新的高斯分布上寻找窗口为w*w为的像素块，匹配该像素块和参考帧像素块的灰度误差，确定匹配特征点集P_j,k。如果θ大于阈值

则直接以交点作为匹配特征点，确定点集P_j,k；

匹配点在极线上服从高斯分布为：

式中，极线坐标系的构建如下，以步骤S4中所述的交点坐标p₀＝[x₀ y₀]^T为原点，以极线作为X′轴，X′轴正方向为极线与图像坐标系X″轴正方向夹角为锐角的方向，Y′轴垂直X′轴，Y″轴垂直X″轴，Σ′₁表示匹配点p′_i,k坐标的协方差矩阵。

设第i帧图像的第k条直线上的一点的极线与图像坐标系x轴正方向的夹角为θ_i,k，i表示图像帧的序列号即第i帧，把点p′_i,k变换到图像坐标系下：

线性变换到图像坐标系后仍然服从高斯分布，形式为：

式中，Σ_i,k表示图像坐标系下匹配点的协方差矩阵。

其中A_j,k是变换的旋转矩阵，p_k是平移向量，也即交点坐标。

1)匹配点在匹配直线上服从高斯分布为：

式中，匹配直线坐标系的构建如下，以步骤S4中所述的交点坐标p₀＝[x₀ y₀]^T为原点，以匹配直线作为X″轴，X″轴正方向为匹配直线与图像坐标系X轴正方向夹角为锐角的方向，Y″轴垂直X″轴，Σ′₂表示匹配点p′_j,k坐标的协方差矩阵。

设第j帧图像的第k条直线上的一点的极线与x轴正方向的夹角为θ_j,k，把p′_j,k点变换到图像坐标系下：

线性变换到图像坐标系后仍然服从高斯分布，形式为：

其中A_j,k是变换的旋转矩阵，p_k是平移向量，也即交点坐标。

2)步骤S5所述的融合高斯分布为：

p_j,k是图像坐标系下匹配点的表示形式，A_j,k为匹配直线坐标系到图像坐标系的旋转矩阵。Σ_j,k表示图像坐标系下，匹配点的协方差矩阵。

4)如图3所示，c₁，c₂是相机光心，步骤S5所述的窗口大小为w＝4，寻求p_j,k使得光度误差最小：

式中，I(p_i,k)表示参考帧上以p_i,k为中心，w*w大小的小窗像素块的灰度值，I(p_j,k)表示匹配帧上以p_j,k为中心，w*w大小的小窗像素块的灰度值。

S6.对点集P_i,k，P_j,k进行归一化，三角化，确定空间点点集P_k，拟合直线L_k。直线拟合算法为RANSAC算法。

S7.直线重投影到第i帧和第j帧，构建重投影误差，迭代优化最小化重投影误差，更新相机位姿和空间直线，如果存在多个共视帧，则进行多帧约束优化；

重投影误差e为参考直线L的两端点到投影直线上的距离d₁、d₂，加上匹配直线两端点到投影直线上的距离d₃、d₄，即：

其中，空间直线方程采用普吕克坐标表示，直线方程l_i(a_i,b_i,c_i)，q_i是直线端点，用齐次坐标表示。最小化重投影误差的解法为BA算法(Bundle Adjustment)，迭代方法使用LM方法(Levenberg Marquardt算法)。空间直线重投影方程此处不再赘述。最小化重投影误差的解法为BA算法。

1)迭代方法使用LM方法。

S8.使用平面截取法确定端点空间直线起点S和终点E；如图5所示，c₁，c₂是相机光心，T_c1c2是两相机位姿变换，过参考帧直线l_i起点作垂直于直线l_i的直线l_s，与图像平面边界相较于s，垂线和相机光心坐标构成平面π与直线相交于S，S即为起点。过参考帧直线l_i终点作垂直于直线l_i的直线，与图像平面边界相较于e，同样的方法确定终点E。

具体的设选取的起点归一化后坐标s(u_s,v_s,1)，垂足归一化为d(u_d,v_d,1)，平面π齐次坐标表示为：

π(v_s-v_d,u_d-u_s,u_sv_d-u_dv_s,1)

联立直线方程L_k即可确定起点S，同样的方法确定终点E。

S9.如果新重构的直线已经存在于线特征地图中，则比较新的端点是否使得线段长度变大，若是，则更新直线端点，否则，不更新直线端点。若直线不存在于地图中，则直接加入地图。

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于极线约束的单目线特征地图构建方法，其特征在于，包括以下步骤：

S1.对相邻两帧图像K_i、K_j使用光流跟踪法跟踪特征点；如果是第一帧，则提取数目为N的角点，在之后的跟踪过程中，如果跟踪到的数目小于N，则提取新的角点进行补充，并寻找参考角点和跟踪角点的本质矩阵E，分解本质矩阵E得到相机的初始位姿R和t；

S2.在光流跟踪的同时，提取每一帧图像的LSD(Line Segment Detection)线特征，计算LBD(Line Band Descriptor)描述子，并计算LBD描述子的距离作为线段匹配的依据，小于给定阈值S的匹配认为是成功的直线匹配，保存并剔除匹配不成功的直线；

S3.计算参考帧每一条直线l_i的中点极线，并计算中点极线与其对应的匹配直线的夹角θ大小；

S4.对参考帧上的每一条直线l_i，从l_i的点集P_i,k上随机选取直线上的点，计算点对应的极线与匹配直线的交点，交点集合为I_i,k；

S5.如果θ小于或者等于阈值

分别对极线和匹配直线建模成高斯分布，则匹配点必定在融合的高斯分布上，在新的高斯分布上寻找窗口为w*w为的像素块，匹配该像素块和参考帧像素块的灰度误差，确定匹配特征点集P_j,k，如果θ大于阈值

则直接以交点作为匹配特征点，确定点集P_j,k；

S6.对点集P_i,k和P_j,k进行归一化，然后三角化，确定空间点点集P_k，拟合直线L_k.

S7.直线重投影到第i帧和第j帧，构建重投影误差，迭代优化最小化重投影误差，更新相机位姿和空间直线，如果存在若干个共视帧，则进行若干帧约束优化；

S8.使用平面截取法确定端点空间直线起点S和终点E；

S9.如果新重构的直线已经存在于线特征地图中，则比较新的端点是否使得线段长度变大，若是，则更新直线端点，否则，不更新直线端点；若直线不存在于地图中，则直接加入地图。

2.根据权利要求1所述的基于极线约束的单目线特征地图构建方法，其特征在于，步骤S1所述的光流跟踪法为LK光流法，角点特征提取的金字塔层数为5层，特征点的类型为harris角点，提取数目N＝200，本质矩阵E的求取依据为特征点之间的对极几何约束，约束方程为：

因为E＝t^R，由奇异值分解得到R和t，式中，x_i和x_j分别表示第i帧和第j帧上的特征点，R和t分别为从第i帧到第j帧坐标变换的旋转矩阵和平移向量。

3.根据权利要求1所述的基于极线约束的单目线特征地图构建方法，其特征在于，步骤S2所述的LSD线特征提取仅考虑第0层和第一层，LBD描述子距离的阈值为30。

4.根据权利要求1所述的基于极线约束的单目线特征地图构建方法，其特征在于，步骤S3计算中点极线的方程为：

ax_i,k+by_i,k+c＝0

式中，x_i,k和y_i,k分别表示第i帧图像的第k条直线中点极线上的像素横纵坐标；

a、b、c均为直线系数，θ_j,k为第j帧图像的第k条直线与x轴正方向的夹角，则：

阈值

5.根据权利要求1所述的基于极线约束的单目线特征地图构建方法，其特征在于，步骤S4所述交点的解法为LU分解法，解得的交点记为p_k。

6.据权利要求1所述的基于极线约束的单目线特征地图构建方法，其特征在于，步骤S5所述的匹配点p′_i,k在极线上服从高斯分布：

极线坐标系的构建如下：以步骤S4中所述的交点坐标p₀＝[x₀ y₀]^T为原点，以极线作为X′轴，X′轴正方向为极线与图像坐标系X轴正方向夹角为锐角的方向，Y′轴垂直X′轴，Σ₁′表示匹配点p′_i,k坐标的协方差矩阵，～表示数学中的服从，N是高斯分布的符号；

设第i帧图像的第k条直线上的一点的极线与图像坐标系x轴正方向的夹角为θ_i,k，i表示图像帧的序列号，即第i帧，把点p′_i,k变换到图像坐标系下：

p_j,k是图像坐标系下匹配点的表示形式，A_i,k为极线坐标系到图像坐标系的旋转矩阵；

服从高斯分布的随机变量线性变换后仍服从高斯分布，从而：

式中，Σ_i,k表示图像坐标系下，匹配点的协方差矩阵，p_k是平移向量；

步骤S5所述的匹配点p′_j,k在匹配直线上服从高斯分布：

式中，匹配直线坐标系的构建如下：以步骤S4中所述的交点坐标p₀＝[x₀ y₀]^T为原点，以匹配直线作为X″轴，X″轴正方向为匹配直线与图像坐标系X轴正方向夹角为锐角的方向，Y″轴垂直X″轴，Σ₂′表示匹配点p′_j,k坐标的协方差矩阵；

设第j帧图像的第k条直线上的一点的极线与x轴正方向的夹角为θ_j,k，把点p′_j,k点变换到图像坐标系下：

服从高斯分布的随机变量线性变换后仍服从高斯分布，从而，：

步骤S5所述融合的高斯分布为：

式中，μ_k表示融合后高斯分布的均值，Σ_k为融合后的协方差矩阵。

7.据权利要求1所述的基于极线约束的单目线特征地图构建方法，其特征在于，步骤S5中匹配该像素块和参考帧像素块的灰度误差，寻求p_j,_k使得光度误差

最小：

式中，I(p_i,k)表示参考帧上以p_i,k为中心w*w大小的小窗像素块的灰度值，I(p_j,_k)表示匹配帧上以p_j,k为中心w*w大小的小窗像素块的灰度值，

表示二范数。

8.据权利要求1所述的基于极线约束的单目线特征地图构建方法，其特征在于，步骤S6中三角化的解法为奇异值分解法，直线拟合算法为RANSAC算法即一致性检验算法。

9.据权利要求1所述的基于极线约束的单目线特征地图构建方法，其特征在于，如图4所示，步骤S7中所述的重投影误差e为参考直线L的两端点到投影直线上的距离d₁、d₂，再加上匹配直线两端点到投影直线上的距离d₃、d₄即：

其中，空间直线方程x采用普吕克坐标表示，直线方程l_i(a_i,b_i,c_i)，a_i、b_i、c_i均为直线参数，q_i是直线端点，用齐次坐标表示，最小化重投影误差的解法为BA算法(BundleAdjustment)，迭代使用LM算法(Levenberg Marquardt算法)。

10.据权利要求1所述的基于极线约束的单目线特征地图构建方法，其特征在于，步骤S8所述的截平面法为过参考帧直线l_i起点作垂直于直线l_i的直线，与图像平面边界相较于s，垂线和相机光心坐标构成平面π与直线相交于S，S即为起点；过参考帧直线l_i终点作垂直于直线l_i的直线，与图像平面边界相较于e，再次利用截平面法确定终点E；

具体的，设选取的起点归一化后坐标s(u_s,v_s,1)，垂足归一化为d(u_d,v_d,1)，平面π齐次坐标表示为：

π(v_s-v_d,u_d-u_s,u_sv_d-u_dv_s,1)

联立直线方程L_k即可确定起点S，同样的方法确定终点E。

Images