CN104183019B - 用于重建3d线的方法 - Google Patents

Abstract

本发明提供了一种用于重建3D线的方法。用于从场景的单个图像中的二维2D线重建3D世界坐标系中的三维3D线的方法使用消失点检测和聚类2D线。生成顶点和边缘的约束图形，其中，顶点表示2D线，并且边缘表示对于2D线的约束，然后识别满足约束的3D线并且使用所识别的约束重建3D线。

Description

用于重建3D线的方法

技术领域

本发明一般地涉及计算机视觉，并且更具体地涉及从单个2D图像中的2D线重建3D世界坐标系中的3D线，从而能够使用3D线用于场景重建。

背景技术

计算机视觉中的基础问题是单视重建(SVR)。SVR处理从单个2D图像复原3D真实世界场景的问题。

在包括人造结构(例如，建筑物和房间)的室内或室外场景的2D图像中，主要的特征是三个正交方向上的3D线。相对容易的是确定图像中线何时相交。然而，这不一定意味着对应的线在3D真实世界中交叉。

简单的反例是图像中共享公共消失点的线。这些线看起来在消失点处交叉，但是在真实世界中并没有交叉，在真实世界中，这些线彼此平行。因此，识别何时图像中看起来交叉的线对应于真实世界中的交叉是很困难的。推断线的3D结构存在着若干挑战。

最大的挑战在于，图像中的遮挡边缘产生了错误的交叉。真实图像中的线检测方法常常错过了重要的线并且产生了假线。检测到的线常常是中断的或者剪短的，从而消去了交叉的任何证据。另外，真实世界场景由于杂乱而是特别有挑战性的。

SVR是计算机视觉中的确实未解决的问题。重建能够是几何或语义化的。最常见的几何重建方法基于将线标记为凸、凹或遮挡线。线标记问题通常是NP困难的(NP-hard)。已经研究了若干挑战线绘制并且已经开发了新颖的约束满足方法来解决SVR问题。这些方法主要用于合成或计算机生成的线绘制，并且通常对于真实世界图像来说是不满意的。为真实图像提供良好的结果的大多数其它几何单视重建方法依赖于某种用户交互。

随着更全面的方法的出现，对于SVR问题存在着另外的兴趣。例如，图像中的像素能够被分类为天空、建筑物和地面。这样的分类与表面取向的估计一起能够产生足够用于诸如合成步行道、用于电影的立体内容生成和用于物体检测和识别的3D环境的若干应用的3D模型。用于这样的粗略建模的方法使用若干几何和图像特征。

伴随着若干图像特征和对于共面性和共线性的弱假设，一种方法从单个图像估计深度。另一种方法使用长方体近似房间几何性并且对不同假设进行采样并且基于若干图像和几何特征选择最佳的一个。室内场景中的杂乱已经被建模为立方体并且以3D重建。

作为严重的问题，SVR已经导致了若干解决方案，例如，取向地图的计算，从人类活动推断几何形，明确地使用边界信息，模板3D形状并且甚至物理驱动的稳定性和机械约束。

通过使用最优策略来从较大的解空间准确地推断布局来显著地改进性能。已经使用了基于曼哈顿假设的约束来从航拍照片建模建筑物。

发明内容

本发明的实施方式提供了一种用于从提取自单个2D图像的2D线重建3D世界坐标系中的3D线的方法。3D线能够用于场景重建。方法基于从2D图像提取的线的3D重建，使用消失点、正交结构和考虑线之间的所有看起来真实的连接约束的优化过程。

对图像中在结合点处大致交叉的线进行识别。然而，只有相对较少的结合点对应于3D场景中的真实交叉。该方法使用了线性规划(LP)来识别足以毫无疑义地重建线的最少数目的最少违反连接约束。

与已知的主要关注于利用严重限制假设的表现良好的合成(图形)线绘制的LP解相反地，该方法能够从真实世界图像重建场景。

附图说明

图1是根据本发明的实施方式的从单个2D图像中的2D线重建3D世界坐标系中的3D线的方法的框图；

图2A、图2B和图2C是截角正四面体的合成线绘制；

图3是根据本发明的实施方式的包括线的室外场景的2D图像；

图4是根据本发明的实施方式的线、交叉和约束的示意图；

图5是根据本发明的实施方式的约束图形；

图6是根据本发明的实施方式的图像平面中的交叉线的示意图；以及

图7是根据本发明的实施方式的结合点的示意图。

具体实施方式

本发明的实施方式提供了一种从单个图像中的2D线重建3D世界坐标系中的3D线的方法。重建线能够然后用于从2D图像重建三维(3D)场景。

图1示出了提取方法。在相机校准和估计2D图像101的取向之后，对线进行检测，估计消失点，并且对线进行聚类110。从线聚类115，我们使用共线性和正交性约束生成120约束图形125。从该图形，我们针对约束图形中的顶点确定基于结合点135的惩罚项。

线性规划(LP)140和最小生成树150用于重建1603D世界坐标系中的3D线。3D线然后能够用于重建170场景。

现在更详细地描述这些步骤。能够在连接到现有技术中已知的存储器和输入/输出接口的处理器中执行。

相机对齐

我们的方法使用了其中每条3D线被沿着这些正交轴中的一个对齐的3D世界(曼哈顿)坐标系。为了实现这一点，我们确定相对于世界的相机取向并且执行所需的旋转。

我们确定三个消失点vp_x、vp_y和vp_z。使用消失点中的两个，我们能够确定2D相机坐标系与3D世界坐标系之间的旋转R。该旋转用于将相机线取向为使得我们重建的线与真实世界坐标系对齐。

对于具有相机矩阵K的校准相机，图像平面中的每个像素p(x,y)对应于由单位向量(d_p＝RK^-1(x y 1)^T.)给出的世界坐标系中的3D投影线。其中，d_xp、d_yp和d_zp表示方向向量d_p的x、y和z分量。

提取线

在用于线绘制的SVR中，结合点和线标记能够用于理解3D对象的结构。结合点是两个或更多线交叉的点。基于2D图像坐标系中的线的角度和取向，能够将结合点分类为L、T、Y或W。

图2A、图2B和图2C示出了截角正四面体的线绘制。顶点A、B和C对应于W结合点，并且顶点D、E和F对应于Y结合点。在合成线绘制中直接检测结合点。在检测到结合点之后，入射线被标记以表示凸(+)、凹(-)和遮挡线(←→)。遮挡标记的方向指示遮挡面。

使用相机校准，已知图像中的每个像素的投影线。来自3D空间中的线绘制的所有约束是线性不等式。例如，四元组(A，B，C，D)位于单个平面上。线标记使得D比A更靠近相机。这样的约束能够写为线性不等式的形式。如果线性规划具有可行解，则线绘制在物理上是可实现的。通过研究这些线性系统的秩，我们能够理解线绘制何时具有多个3D解释，或不具有3D解释。

我们产生了线性不等式的系统以沿着投影线提取3D点。我们的解不同于传统的解，这是因为真实世界图像施加了完全不同的挑战，其难以仅使用几何和组合结构来进行建模。

图3示出了具有建筑物和线的3D场景的图像。不容易了解哪些3D点在真实世界图像中位于平面上以及哪些点没有。由于丢失和虚假的线，我们不能够以非常高的信心来检测结合点。

我们不具有来自检测到的结合点的平面约束或硬性不等式。此外，真实场景具有很多错误的交叉，这始终导致不可行的解。为了解决这些真实世界挑战，我们没有从看到的结合点获得任何硬性约束。相反地，关于结合点的证据用于通知LP中的惩罚项来获得一致的3D结构。

约束图形

图3中的真实世界图像对于线检测施加了若干挑战。结果，线检测器通常提供了丢失的、虚假的和中断的线。当线之间的最短距离小于阈值时，我们考虑两条线之间的连接约束。我们考虑两种类型的连接。两个正交线能够在交叉点交叉。两个共线线能够延伸以在入射点处相遇。

交叉和入射提供了耦合约束以从2D图像中的2D线重建3D世界坐标系中的3D线。入射关系还连接来自在世界坐标系中共线的两个不同对象的两条线。这样的关系能够用于构建连接图形。

然而，在真实图像中能够发生偶然的共线。这仍然是可接受的。我们的LP公式被设计为通过使用基于结合点的惩罚项来处理可能不是真实的约束。我们在LP中使用的约束是仅依赖于点和线的方向约束。该约束独立于点是交叉点还是入射点。

如图4中所示，我们使用统一表达来表示约束。n表示图像中的线的数目，并且l_i表示具有索引i的线。m表示交叉和入射点的总数目。我们能够使用约束图形G＝(V,E)来表示交叉点和入射点关系，其中，顶点V＝{1,2,...,n}表示线，并且边缘(i,j)∈E表示线l_i与l_j之间的交叉点或入射点。我们示出了四条线l₁、l₂、l₃和l₄。这些线导致了三个交叉点I₁₂、I₁₃和I₁₄。线l₁和l₄共线并且这些线导致了入射点I₁₄。分别由V＝(1,2,3,4)和E＝{(1,2),(1,3),(1,4),(2,3)}给出图形的顶点和边缘。

如图5中所示，在约束图形中，图像中的所有线是顶点(x₁,x₂,x₃,x₄)并且所有交叉点和入射点是边缘(e₁₂,e₁₃,e₁₄,e₂₃)。

线性规划

如图6中所示，对应于像素的3D点位于其投影线上并且该点能够由λd_p表示，其中，λ是等于3D点离相机中心的距离的未知尺度参数。一般来说，为了从2D图像线重建3D线，我们要求两个参数来重建3D空间中的两个端点。然而，在曼哈顿世界假设下，重建一个点足以恢复另一个点。在我们的公式中，我们使用单个参数λ_i来表示用于线的一个端点的尺度。

在图6中，我们示出了在点I_ij处交叉的两条线l_i和l_j。关于约束图形G＝(V,E)，我们对于每个顶点i∈V具有一个未知的λ_i，并且对于每个边缘(i,j)∈E具有一个未知的λ_ij。每个交叉点或入射点I_ij独立地位于对应于图像线l_i和l_j的两条3D线上。因此，向量λ_id_i-λ_ijd_ij沿着对应于线l_i的3D线的方向对齐。类似地，向量λ_jd_j-λ_ijd_ij沿着对应于线l_j的3D线的方向对齐。

该性质用作重建线时的约束。我们的目的在于确定未知的参数，从而我们满足下面的优化问题中的最大数目的这样的约束。

s.t|λ_id_ai-λ_ijd_aij|≤s_ij1,a≠A_i

|λ_jd_aj-λ_ijd_aij|≤s_ij2,a≠A_j

λ_i≥1 (2)

λ_ij≥1

其中，a,A_i∈{x,y,z}和A_i对应于l_i的取向。从单个2D图像，重建仅能够进行到未知的全局尺度。约束λ_i,λi_j≥1确保了线至少是离相机的单位距离并且还位于相机的前方。我们对于每个边缘(i,j)具有两个松弛变量s_ij1和s_ij2。

替代求解原始规范最大化问题，我们使用LP求解下面的最小解

s.t|λ_id_ai-λ_ijd_aij|≤s_ij1,a≠A_i

|λ_jd_aj-λ_ijd_aij|≤s_ij2,a≠A_j

λ_i≥1(4)

λ_ij≥1。

如下面所述，从结合点特征获得目标函数(3)中的权重参数w_ij。LP为我们提供了对于所有松弛变量s_ijk的解。对于每个边缘(i,j)，松弛变量s_ij1和s_ij2为我们给出了获得场景的最低成本全局一致3D解释的线i和线j之间的最小深度分离。我们使用(s_ij1+s_ij2)作为边缘成本并且确定最小生成树(由边缘集E_s表示)。尺度因数λ_i和λ_ij能够直接从对应于树结构的图形的线性系统确定。

结合点成本

在曼哈顿世界假设下，我们使用投票的方法来确定作为LP中的惩罚项的结合点特征。等式(3)中的权重参数w_ij对应于当对应于边缘(i,j)的约束被违反时我们施加的惩罚。这些权重被建模为结合点特征的函数。如果函数对于特定结合点具有高值，则非常不可能的是，其对于不同结合点具有高分数。

图7示出了我们的结合点的理念和如何确定结合点。对于图像中的每个像素，存在关于消失点vpx、vp_y和vp_y的六个可能的取向区域。这些取向由集合表示。

每个子集表示结合点并且能够确定针对每个可能的子集A和像素p的函数F(A，p)。函数的值给出了指示像素p处的结合点A的存在的分数。例如，图7中的像素p处的Y结合点对应于集合这是像素q处的T结合点。

下面所述的对于曼哈顿场景上的结合点成立。在平面表面上出现L和X结合点。在平面表面和遮挡边缘上出现T结合点。Y和W结合点公共地位于凸和凹边缘上。

J(p)表示像素p处的结合点的类型，其表示约束图形中匹配到边缘(i，j)的交叉点。在LP中，我们将针对w_ij的权重设置为

其中，C_h和C_m是根据针对每个结合点的视觉证据的质量而缩放的常数，从而通过延伸线而获得的结合点具有较弱的惩罚。

我们没有对于L结合点给出任何偏好，这是因为T有时能够由于丢失线而被检测为L。

应用

在一个应用中，重建被应用于场景的多个图像以重建大的场景。另一应用使用3D线用于生成立体内容。相机能够安装在家用电器上以重建室内场景，并且优先地在加热、通风和空调单元中控制气流。相机还能够安装在车辆上以检测障碍物，或者车辆的位置。

Claims (12)

1.一种从场景的单个图像中的二维2D线重建3D世界坐标系中的三维3D线的方法，所述方法包括下述步骤：

使用消失点对所述2D线进行检测和聚类；

生成顶点和边缘的约束图形，其中，所述顶点表示所述2D线，并且所述边缘表示对于所述2D线的约束；

使用线性规划识别在所述3D线上满足的对于所述2D线的所述约束；以及

使用所识别的约束重建所述3D世界坐标系中的所述3D线。

2.根据权利要求1所述的方法，其中，所述约束是正交性、共线性和结合点约束。

3.根据权利要求1所述的方法，所述方法进一步包括：

使用所述3D线重建所述场景。

4.根据权利要求1所述的方法，其中，所述线性规划中的惩罚项使用L、X、T、W和Y结合点。

5.根据权利要求1所述的方法，其中，对于所述线性规划的求解使用最小生成树算法以识别满足的约束。

6.根据权利要求1所述的方法，其中，重建被应用于多个图像。

7.根据权利要求1所述的方法，其中，所述3D线用于生成立体内容。

8.根据权利要求1所述的方法，其中，所述3D线用于提供对象检测和识别的3D环境。

9.根据权利要求3所述的方法，其中，在家用电器上安装相机以重建室内场景。

10.根据权利要求9所述的方法，其中，室内场景重建用于加热、通风和空调单元中的最优气流控制。

11.根据权利要求6所述的方法，其中，在车辆上安装相机并且使用大场景重建来检测障碍物。

12.根据权利要求6所述的方法，其中，在车辆上安装相机并且将大场景重建与3D城市模型匹配以计算车辆的位置。