CN103218851A - 一种三维线段的分段重建方法 - Google Patents

Abstract

一种三维线段的分段重建方法。包括：计算输入匹配线段组对应的空间直线；对于匹配线段组中的每一条线段，都在在空间直线上界定其对应的空间子线段；将得到的空间子线段连接起来，便形成一条与匹配线段组对应的三维线段；根据三维线段长度，夹角和重投影误差，对其进行筛选。

Description

一种三维线段的分段重建方法

技术领域

本发明涉及三维重建领域，特别涉及一种三维线段的分段重建方法。

背景技术

三维线段重建技术是三维重建领域中的一项常用技术，用于从二维图像的线段对应关系中恢复其对应的三维线段。三维线段没有简洁、统一的表达形式，可以用两点连线表示、用两个平面交线表示或者Plücker坐标表示，这些纷繁的表达形式也为三维线段的重建制造了困难。

有一类方法是重建出类似芯片管脚一样的三维线段结构，这种结构虽然简明、规整，但是这种算法只适用于航拍图，以俯视的角度重建场景的整体结构。

平面交线法适用范围较广，计算匹配线段反向投影平面的交线得到对应的三维直线，再通过最小化重投影误差获取对应的三维线段，但是最小化重投影误差的过程是将某一匹配线段组中的所有线段一次性加入最小化方程中，由于特征线段首尾端点并不准确，以上操作会使方程在优化时受到累积输入误差的干扰，影响优化效果。

还有一类方法虽然也使用平面交线法重建三维线段，但是在线段重建之前需要用输入图像的消影点方向对匹配线段分类，这类方法重建出的三维线段结构比较美观，不同方向的线段彼此垂直，然而却要求输入图像必须含有三个相互正交的主方向。现实中并不是所有的建筑物都是矩形的，同时，用手持设备近距离拍摄的建筑物图像往往仅含有建筑物的一个侧面，在这些情况下，这类算法无法重建出视觉感良好的建筑物三维线段结构。

发明内容

本发明的目的在于解决现有技术中存在的上述问题，提供了一种能够重建出规则的三维线段的方法，并由这些三维线段组成三维线段模型，该模型可以清晰地反映出真实场景。

为实现上述发明目的，本发明采用如下步骤：

步骤S1：输入为图像线段匹配产生的匹配线段组，并计算输入匹配线段组对应的空间直线；

步骤S2：对匹配线段组中的每一条线段，按照最大似然准则，求解其对应的三维空间子线段；

步骤S3：将得到的空间子线段连接起来，形成一条与匹配线段组对应的三维线段；

步骤S4：根据三维线段的长度、其与平面的夹角及重投影误差的大小，对三维线段进行筛选。

所述步骤S2包括：

匹配线段组中任一条线段对应的三维子线段，都在匹配线段组对应的空间直线W上，因此可由W上的两点定义该空间线段的首尾端点，W上的点表示为V=αξ₀+βξ₁，其中ξ₀和ξ₁是W的零空间的标准正交基。取匹配线段组中的一条线段

和

分别是l_1a首尾端点的其次坐标，设l_1a对应的三维子线段为W_1a={V₀,V₁}，其中V₀=α₀ξ₀+β₀ξ₁，V₁=α₁ξ₀+β₁ξ₁，依据最大似然准则，最小化W_1a到l_1a所在二维图像的投影线段与l_1a之间的重投影误差：

$\underset{{\mathrm{\α}}_0,{\mathrm{\β}}_0,{\mathrm{\α}}_1,{\mathrm{\β}}_1}{\min }F=\underset{{\mathrm{\α}}_0,{\mathrm{\β}}_0,{\mathrm{\α}}_1,{\mathrm{\β}}_1}{\min }\{{\left|\right|P_1{V}_0-X_{1a}^s\left|\right|}_2^2+{\left|\right|P_1{V}_1-Y_{1a}^e\left|\right|}_2^2\}$

$=\underset{{\mathrm{\α}}_0,{\mathrm{\β}}_0,{\mathrm{\α}}_1,{\mathrm{\β}}_1}{\min }\{{\left|\right|{\mathrm{\α}}_0{P}_1{\mathrm{\ξ}}_0+{\mathrm{\β}}_0{P}_1{\mathrm{\ξ}}_1-X_{1a}^s\left|\right|}_2^2+{\left|\right|{\mathrm{\α}}_1{P}_1{\mathrm{\ξ}}_0+{\mathrm{\β}}_1{P}_1{\mathrm{\ξ}}_1-Y_{1a}^e\left|\right|}_2^2\}$

计算得到四个参数α₀,β₀,α₁,β₁后，得到l_1a对应的三维子线段为W_1a；

对匹配线段组中的每一条线段都重复上述过程，直至每一条线段都生成对应的三维子线段。

所述步骤S3包括：

将每一个匹配线段组在步骤S2中得到的所有三维子线段首尾相接，形成于该匹配线段组线对应的三维线段。

所述步骤S4包括：

三维线段与平面的夹角，即三维线段到XOY平面的角度和三维线段与XOZ平面的夹角，其中水平向右为X轴，竖直向上为Y轴，与X轴Y轴垂直并由里指向外侧的为Z轴；

在筛除三维线段时需要对两种角度值分别进行统计，对所有三维线段与某一平面的夹角值进行分段，根据分段中的线段数目对各分段按照降序排列；两种角度值中，前d₃个分段所共有的三维线段作为输出而显示。

与现有技术相比，本发明提供的三维线段重建方法可以重建出规则的三维线段，由这些三维线段组成的真实场景的三维线段结构，可以清晰地反映出真实场景的结构。

附图说明

图1是多幅图像特征线段匹配结果；

图2是三维空间直线的重构示意图；

图3是场景三维线段重建的初始结果；

图4是一个场景进行长度约束与角度约束后的结果；

图5是另一个场景进行角度约束前后效果图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实例，以对Wadham大学基准图像集中的五幅图像进行三维线段重建为例，对本发明做进一步的详细说明。这些实例仅仅说明性的，而并非对本发明的限制。

各步骤的具体实施细节如下：

步骤S1：输入为图像线段匹配产生的匹配线段组。

本发明的三维线段重建过程是针对场景图像的匹配线段组，首先需要对场景图像提取特征线段，并进行特征线段匹配。图1所示为Wadham大学基准图像集中五幅图像的线段匹配结果。

步骤S2：计算匹配线段组对应的空间直线，确定三维直线上点的表达形式。

图2所示为三幅图像进行三维空间直线重构的示意图。三维空间中的直线L投影在摄像机中心为C、C′、C″的图像中，形成对应的直线组

反之，I、I′和I″通过相应图像的反向投影平面都交与空间直线L。

下面将以N(N≤M)幅图像重构为例详述平面交线法重构三维线段的过程。若有一组匹配线段组s_i={l_1a,l_2b,...,l_Nd}，N幅图像对应的摄像机矩阵分别为P₁，P₂，...，P_N。

第m张图像的第j条线段记为

采用齐次坐标，可记为 $l_{\mathrm{mj}}=\{X_{\mathrm{mj}}^s,Y_{\mathrm{mj}}^e\},$ 其中 $X_{\mathrm{mj}}^s=(x_{\mathrm{mj}}^s,y_{\mathrm{mj}}^s,1),Y_{\mathrm{mj}}^e=(x_{\mathrm{mj}}^e,y_{\mathrm{mj}}^e,1).$ 则经过l_mj的平面直线的齐次坐标为

由直线反向投影定义的平面是

将s_i中的N条线段按照上述的过程，生成N个相互对应的平面

${\mathrm{\π}}_{\mathrm{Nd}}=P_N^T{I}_{\mathrm{Nd}}.$

N条像直线I_1a、I_2b、…、I_Nd是由同一条未知的空间直线W产生的，所以π_1a、π_2b、…、π_Nd交于这条公共的三维直线。这个相交约束可以描述为N×N的矩阵：

$A=\left[\begin{array}{c}{\mathrm{\π}}_{1a}^T\\ {\mathrm{\π}}_{2b}^T\\ \·\·\·\\ {{\mathrm{\π}}^T}_{\mathrm{Nd}}\end{array}\right]=\left[\begin{array}{c}{I}_{1a}^T{P}_1\\ I_{2b}^T{P}_2\\ \·\·\·\\ I_{\mathrm{Nd}}^T{P}_N\end{array}\right]$

若AV=0，则点V在该重构直线W上。根据空间直线的平面表示方法，A的秩为2，可推出：该重构直线W上的点可表示为V=αξ₀+βξ₁，其中ξ₀和ξ₁是A的零空间的标准正交基。

步骤S3：对匹配线段组中的每一条线段，按照最大似然准则，求解其对应的三维空间子线段。

匹配线段组中每一条线段都是空间线段在对应图像中投影的一部分（由于遮挡或提取不完全），对每一条线段都求解对应的三维子线段，此时每一条三维子线段都不受匹配线段组中其它线段位置的影响，与相应的图像线段是准确对应的。当然，每一条三维子线段是由该匹配线段组决定的空间重构直线W上的一段。步骤如下：

(1)对一个匹配线段组中的一条线段，按照最大似然准则，求解对应的三维空间线段。

匹配线段组中任一条线段对应的三维子线段，都在W上，因此可由W上的两点定义该空间线段的首尾端点。取匹配线段组s_i中的一条线段l_1a，设l_1a对应的空间三维线段为W_1a={V₀,V₁}，其中V₀=α₀ξ₀+β₀ξ₁，V₁=α₁ξ₀+β₁ξ₁。依据最大似然准则，最小化W_1a到l_1a所在二维图像的投影线段与l_1a之间的重投影误差：

$\underset{{\mathrm{\α}}_0,{\mathrm{\β}}_0,{\mathrm{\α}}_1,{\mathrm{\β}}_1}{\min }F=\underset{{\mathrm{\α}}_0,{\mathrm{\β}}_0,{\mathrm{\α}}_1,{\mathrm{\β}}_1}{\min }\{{\left|\right|P_1{V}_0-X_{1a}^s\left|\right|}_2^2+{\left|\right|P_1{V}_1-Y_{1a}^e\left|\right|}_2^2\}$

$=\underset{{\mathrm{\α}}_0,{\mathrm{\β}}_0,{\mathrm{\α}}_1,{\mathrm{\β}}_1}{\min }\{{\left|\right|{\mathrm{\α}}_0{P}_1{\mathrm{\ξ}}_0+{\mathrm{\β}}_0{P}_1{\mathrm{\ξ}}_1-X_{1a}^s\left|\right|}_2^2+{\left|\right|{\mathrm{\α}}_1{P}_1{\mathrm{\ξ}}_0+{\mathrm{\β}}_1{P}_1{\mathrm{\ξ}}_1-Y_{1a}^e\left|\right|}_2^2\}$

(2)分别对四个参数α₀,β₀,α₁,β₁求偏导数，并令偏导数为零。令B=P₁ξ₀，Z=P₁ξ₁，则：

${\mathrm{\α}}_0=\frac{(Z\·X_{1a}^s)\×(B\·Z)-(B\·X_{1a}^s)\×(Z\·Z)}{(B\·Z)\×(B\·Z)-(B\·B)\×(Z\·Z)}$ ${\mathrm{\β}}_0=\frac{(B\·X_{1a}^s)\×(B\·Z)-(Z\·X_{1a}^s)\×(B\·B)}{(B\·Z)\×(B\·Z)-(B\·B)\×(Z\·Z)}$

${\mathrm{\β}}_0=\frac{(B\·X_{1a}^s)\×(B\·Z)-(z\·X_{1a}^s)\×(B\·B)}{(B\·Z)\×(B\·Z)-(B\·B)\×(Z\·Z)}$ ${\mathrm{\β}}_1=\frac{(B\·Y_{1a}^e)\×(B\·Z)-(Z\·Y_{1a}^e)\×(B\·B)}{(B\·Z)\×(B\·Z)-(B\·B)\×(Z\·Z)}$

(3)对匹配线段组s_i中的每一条线段都重复步骤(1)、(2)，直到所有线段都生成对应的空间三维线段。

步骤S4：将所有准确对应的三维子线段按照首尾相接的方式连接起来，构成包含所有三维子线段的最小包含集合，即为匹配线段组对应的三维线段。

该步骤完成后，三维线段重建的初始结果即可得到。图3所示为，根据图1中匹配线段组重建出的三维线段，组成的场景的三维线段结构。从图中已经可以看到建筑物的整体形状，但结果中还有一些错误的线段，需要在后续处理中去除。

步骤S5：根据三维线段的长度、其与平面的夹角及重投影误差的大小，对三维线段进行筛选。

步骤S4之后，每一个匹配线段组都生成了相对应的空间三维线段，但是从图3中可以看到，这些线段并不都是很正确的。由于错误提取线段、线段匹配错误等原因，重建出的线段也会有错误，这些线段称为“非期望假设”，此类线段在后续处理中会得到有效剔除。

一般组成场景的空间线段都不长，场景的轮廓一般是由不长的空间线段不断描摹成的，而有一类“非期望假设”的长度却远大于组成场景的线段长度，所以在过滤三维线段时，需要对空间线段的长度进行约束，大于某一长度d₀的线段会被丢弃。图4(a)所示为图3经过长度约束后的结果。

空间三维线段是通过最小化重投影误差得到的，筛选线段时也可以借用此规则。计算某一匹配线段组对应的空间三维线段，与匹配线段组中各线段之间的重投影误差之和，当误差小于某一阈值d₁时，该空间线段才会被保留。

构建建筑物场景的线条方向一般集中在水平和竖直两个方向，但“非期望假设”的方向却通常是杂乱无章的，可以通过同时约束三维线段到XOY平面的角度和三维线段与XOZ平面的夹角，进一步剔除“非期望假设”（在本文中，水平向右为X轴，竖直向上为Y轴，与X轴Y轴垂直并由里指向外侧的为Z轴）。在对两种角度值分别进行统计时，水平和垂直方向的线段数都应该是最多的，即在统计排序上占优，因此同时满足两种角度值都占优的空间线段就最有可能是组成建筑物的线段，而只在某一个角度方向占优空间线段就会被当作“非期望假设”排除。在本发明中，对所有重建线段与某一平面的夹角值进行分段，将每一段按照线段数目降序排列，再将两种角度值中，线段数目多的分段所公共拥有的三维线段依次加入到后续的显示线段集合中，当加入的分段数目达到设定阈值d₃时，停止。

图4(b)所示为图4(a)经过角度约束后的效果，其中d₃为4，可以看到，线段模型的结构清晰不少，窗体结构等也都保存完好，屋顶部分旁逸斜出的线段已经没有了。图5所示为长度约束后的重建结果在角度约束前后的效果图，d₃为3。图5(a)为角度约束之前的效果图，从图中可见图中的空间线段非常繁杂，尤其是图中虚线圈内的部分，空间线段条理不甚分明，不同方向的线条杂在一起，使得局部结构模糊不明；图5(b)为角度约束之后的效果图，图中的整体效果相较图5(a)简明了不少，图中的建筑物基本结构并没有减少，线条基本处于横平竖直的状态，与图5(a)中相同位置的虚线圈内的部分有着明显改变，取向混乱的“非期望假设”滤除后，整体的结构变得清晰。

本发明可通过多种编程语言来实现，包括但不限于C、C++等等。本说明书中的描述仅仅是用于说明性的，而不应被认为是限制性的。本发明的范围仅受权利要求书的限制。

Claims (4)

1.一种三维线段的分段重建方法，该方法包括：

步骤S1：输入为图像线段匹配产生的匹配线段组，并计算输入匹配线段组对应的空间直线；

步骤S2：对匹配线段组中的每一条线段，按照最大似然准则，求解其对应的三维空间子线段；

步骤S3：将得到的空间子线段连接起来，形成一条与匹配线段组对应的三维线段；

步骤S4：根据三维线段的长度、其与平面的夹角及重投影误差的大小，对三维线段进行筛选。

2.如权利要求1所述的三维线段的分段重建方法，其特征在于，所述步骤S2包括：

匹配线段组中任一条线段对应的三维子线段，都在匹配线段组对应的空间直线W上，因此可由W上的两点定义该空间线段的首尾端点，W上的点表示为V=αξ₀+βξ₁，其中ξ₀和ξ₁是W的零空间的标准正交基；取匹配线段组中的一条线段

和

分别是l_1a首尾端点的其次坐标，设l_1a对应的三维子线段为W_1a={V₀,V₁}，其中V₀=α₀ξ₀+β₀ξ₁，V₁=α₁ξ₀+β₁ξ₁，依据最大似然准则，最小化W_1a到l_1a所在二维图像的投影线段与l_1a之间的重投影误差：

$\underset{{\mathrm{\α}}_0,{\mathrm{\β}}_0,{\mathrm{\α}}_1,{\mathrm{\β}}_1}{\min }F=\underset{{\mathrm{\α}}_0,{\mathrm{\β}}_0,{\mathrm{\α}}_1,{\mathrm{\β}}_1}{\min }{\left\{\right||P_1{V}_0-X_{1a}^s||}_2^2+{\left|\right|P_1{V}_1-Y_{1a}^e||}_2^2\}$

$=\underset{{\mathrm{\α}}_0,{\mathrm{\β}}_0,{\mathrm{\α}}_0,{\mathrm{\β}}_1}{\min }\{{\left|\right|{\mathrm{\α}}_0{P}_1{\mathrm{\ξ}}_0+{\mathrm{\β}}_0{P}_1{\mathrm{\ξ}}_1-X_{1a}^s\left|\right|}_2^2+{\left|\right|{\mathrm{\α}}_1{P}_1{\mathrm{\ξ}}_0+{\mathrm{\β}}_1{P}_1{\mathrm{\ξ}}_1-Y_{1a}^e\left|\right|}_2^2\}$

计算得到四个参数α₀,β₀,α₁,β₁后，得到l_1a对应的三维子线段为W_1a；

对匹配线段组中的每一条线段都重复上述过程，直至每一条线段都生成对应的三维子线段。

3.如权利要求1所述的三维线段的分段重建方法，其特征在于，所述步骤S3包括：

将每一个匹配线段组在步骤S2中得到的所有三维子线段首尾相接，形成于该匹配线段组线对应的三维线段。

4.如权利要求1所述的三维线段的分段重建方法，其特征在于，所述步骤S4包括：

三维线段与平面的夹角，即三维线段到XOY平面的角度和三维线段与XOZ平面的夹角，其中水平向右为X轴，竖直向上为Y轴，与X轴Y轴垂直并由里指向外侧的为Z轴；

在筛除三维线段时需要对两种角度值分别进行统计，对所有三维线段与某一平面的夹角值进行分段，根据分段中的线段数目对各分段按照降序排列；两种角度值中，前d₃个分段所共有的三维线段作为输出而显示。

Images