CN109410323B - 一种城市建筑立面三维“线-面”结构重建方法 - Google Patents

Abstract

本发明涉及一种城市建筑立面三维“线‑面”结构重建方法，其特征在于，根据参考图像的结构特征，利用在参考图像中检测的线段对图像区域进行分割，在“点‑线”约束空间内对分割所得区域的垂直边进行匹配，并拟合出三维主平面，进而通过对空间线段判断，在点、线、面的框架下对三维图像进行重建；其有益效果在于：（1）根据城市建筑立面结构特征，利用点、线基元相互约束的方式提高线段匹配的可靠性与效率；（2）针对仅在参考图像中检测到的线段，利用建筑结构先验对相应的空间线段进行有效地推断；（3）在点、线、面等基元统一的框架下对建筑立面“线‑面”结构进行局部与全局优化以提高其整体重建精度。

Description

一种城市建筑立面三维“线-面”结构重建方法

技术领域

本发明涉及图像重建技术领域，特别涉及一种城市建筑立面三维“线-面”结构重建方法。

背景技术

近年来，基于图像的城市建筑三维重建由于代价低廉、操作灵活等优点而倍受关注；然而，在光照变化、透视畸变等干扰因素的影响下，相关算法的精度与效率往往较低，此问题仍需深入研究与解决。

在城市建筑立面三维重建中，采用不同的重建基元或融入不同层次的结构先验往往对重建精度与效率产生不同程度的影响。具体而言，点基元虽有利于表现建筑结构细节，但却不易用于重建弱纹理区域的结构；线基元虽有利于表现建筑结构的边界，但却由于在图像中检测线段的稀疏性以及图像间线段匹配可靠性较低等问题而不易重建完整的结构；面基元虽可解决弱纹理区域的重建问题而获取完整的结构，但却不易重建精确的结构边界(如图像区域分割精度引起的直线结构重建偏差)或仅获得过于简单的结构模型(如Manhattan模型)。在此情况下，有效地融合不同类型的基元及更丰富的结构先验将有利于提高建筑立面重建的精度与效率。然而，在传统相关算法中，以下问题仍未得以有效地解决：(1)不同类型的基元仅被单独应用或仅相互作为初值进行考虑而未得以充分地融合，不易获得较高的重建精度或完整的结构。(2)更丰富的先验知识(如直线之间以及平面之间特定的夹角)未能被充分利用，难以保证较高的重建效率。

发明内容

本发明为了解决上述技术问题，提供了一种城市建筑立面三维“线-面”结构重建方法，根据参考图像的结构特征，利用在参考图像中检测的线段对图像区域进行分割，在“点-线”约束空间内对分割所得区域的垂直边进行匹配，并拟合出三维主平面，进而通过对空间线段判断，在点、线、面的框架下对三维图像进行重建；包括以下步骤：

S1，初始“点-线”约束匹配；

S2，三维立面主平面拟合；

S3，进行空间线段判断；

S4，“线-面”结构局部与全局优化。

进一步的，在所述步骤S1中，匹配图像的线段集合通过参考图像的参考线段集合，进行确认；具体步骤如下：

S11，确定参考图像的参考直线集合和参考线段集合；

S12，确定参考线段集合中所有参考线段的参考像素集合；

S13，根据参考像素集合的参考像素，求取参考像素的极线与匹配图像的所有匹配直线交点；

S14，在所述极线上的每个交点两侧选择多个像素，并通过DAISY特征方法与参考像素进行匹配，从而确定最优匹配像素点，进而求取与参考像素集合相匹配的匹配像素集合；所述匹配像素集通过以下公式进行可靠性度量：

其中，L′_m为匹配图像中的垂直直线，d(p′_i,L′_m)表示参考像素p_i的匹配像素p′_i到L′_m的距离，指示函数δ(·)当参数为真时取值1，否则取值0；∈为距离阈值。

进一步的，获取匹配像素集合后，通过RANSAC方法进行拟合获取新匹配直线，并对原来的匹配直线进行更新。

进一步的，通过匹配像素集合拟合成匹配直线时，先匹配长线段，然后在已匹配的长线段的约束下进行短线段的匹配；对于所述短线段的可靠性通过以下公式进行度量：

其中，l′_m为直线L′_m上，根据参考线段l_i中像素的极线与直线L′_m的交点，确定的候选匹配线段，N(l_i)表示与参考线段l_i位于同一直线且已匹配的线段集合，线段l′_j为线段l_j的匹配线段，S(x,y)为线段x与y的特征相似度，采用线段x与y中点处的DAISY特征度量；μ为约束项权重。

进一步的，在所述步骤S2中，根据步骤S1获得匹配线段集合，通过三角化方法生成相应的空间线段集合，并采用全局多模型拟合，拟合出三维图像的主平面，以对未匹配线段对应的空间线段进行判断。

进一步的，三维图像主平面的能量定义函数如下：

其中，

表示为空间线段/>

分配的空间平面，/>

为空间线段/>

的相邻空间线段集，通过参考图像中对应线段的左右与上下相邻线段确定，λ为平滑项权重；/>

表示空间线段/>

对应两匹配线段端点的DAISY特征相似性度量的均值，/>

表示两相邻空间线段/>

与/>

的平滑性约束，即：

其中，

为相邻空间线段/>

与/>

中点之间的距离，/>

为空间线段

与/>

在参考图像中对应线段中点DAISY特征相似度；参数σ₁与σ₂分别控制距离与特征度量的平滑约束力度。

进一步的，在所述步骤S3中，若参考线段L无法在约束匹配阶段，无法在匹配图像中找到匹配线段L’，当三维主平面和第一空间线段已知时，根据相邻直线共面，以第一空间线段所在直线为轴，将三维主平面的法向量旋转预设角度确定第二平面，进而通过求取参考线段L反投影线与第二平面的交线，来确定空间线段L’；其中，所述预设角度为-60°至90°；为确定最优空间平面，通过以下公式进行度量：

其中，H_A为三维主平面空间平面根据预设角度生成的空间平面，H_A(p_i)为像素p_i的反投影线与空间平面H_A的交点在匹配图像中的投影点，S(p_i,H_A(p_i))为像素p_i与投影点H_A(p_i)之间的DAISY特征相似度，当T(l_i,H)大于匹配线段集合的所有匹配线段对应DAISY特征相似度的均值的两倍时，则不再对线段l_i进行空间线段判断。

进一步的，度量匹配空间平面的可靠性，通过以下公式进行交叉

验证：

其中，S为参考图像一区域，V为匹配图像与S相对应的区域，h_s、h_v分别为参考图像和匹配图像相对应的两个平面；|S|为区域S内所有像素数；R(S，h_v)为区域S中已获取可靠空间点的像素数；ε为预设阈值；当不满足以上公式的进行步骤S4。

进一步的，在所述步骤S4中，通过以下步骤进行局部优化：

S411，根据步骤所述S3，确定与参考线段相匹配的被遮挡匹配空间线段，并将匹配空间线段与匹配三维主平面建立联系。

S412，若一空间线段的投影线段在已知匹配平面内部，且与匹配平面的两已知匹配线段构成可靠空间平面，则该空间线段与两已知匹配线段重组匹配空间平面。

进一步的，在所述步骤S4中，通过以下步骤进行全局优化：

S421，点特征度量，度量为区域s分配空间平面h_s的代价；

S422，共线约束，将垂直边位于同一垂直直线上的两相邻区域分配相同的空间平面；

S423，平面先验约束，对于不具备显著共面特征的相邻区域，为其分配属于指定结构先验的空间平面；

S424，采用协同优化方法，将步骤S421、步骤S422、步骤S423进行协同优化，获得最终匹配图像。

其中，DAISY特征：DAISY特征描述子是为图像之间尤其是宽基线图像之间的稠密匹配而设计的一种高效的特征描述方法，采用统计当前兴趣点邻域像素梯度方向与幅值的方式描述当前兴趣点的特征，但邻域结构的形式却采用了“菊花型”的环形结构，这使得在对邻域像素梯度进行计算时可直接在方向图像中进行高斯滤波，因而对图像中所有像素的特征计算时的整体效率非常高。

其中，三角化方法：假设V是二维实数域上的有限点集，边e是由点集中的点作为端点构成的封闭线段,E为e的集合。那么该点集V的一个三角剖分T＝(V,E)是一个平面图G，该平面图满足条件：一：除了端点，平面图中的边不包含点集中的任何点，二：没有相交边，三：每个三角形的外接圆的内部不包含V中任何的点。

其中，全局多模型拟合：以平面模型为例，多模型拟合的目的在于为每个3D点分配一个可靠的平面。传统局部多模型拟合方法仅考虑为当前空间点(如A)分配平面，而未考虑当前空间点(如A)与其相邻空间点(如B，B与A相邻)分配的平面HA与HB之间的约束关系，最终会导致本来在同一平面上的空间点(如A与B)分配了不同的平面。全局多模型拟合在为当前空间点(如A)分配平面时，同时考虑了当前空间点(如A)与其相邻空间点(如B，B与A相邻)分配的平面HA与HB之间的约束关系，因而可以获得全局更一致的结果(如在同一平面上的空间点分配相同的平面)。

其中，RANSAC算法：是样本中包含正确数据，也包含异常数据，即数据集中含有噪声。这些异常数据可能是由于错误的测量、错误的假设、错误的计算等产生的。同时RANSAC也假设，给定一组正确的数据，存在可以计算出符合这些数据的模型参数的方法。

本发明的一种城市建筑立面三维“线-面”结构重建方法，其有益效果在于：(1)根据城市建筑立面结构特征，利用点、线基元相互约束的方式提高线段匹配的可靠性与效率；(2)针对仅在参考图像中检测到的线段，利用建筑结构先验对相应的空间线段进行有效地推断；(3)在点、线、面等基元统一的框架下对建筑立面“线-面”结构进行局部与全局优化以提高其整体重建精度。

附图说明

图1为本发明实施例1的参考图像；

图2为本发明实施例2的初步线形检测

图3为本发明实施例2的进行可靠性约束后的匹配线段集；

图4为本发明实施例3的匹配线段集拟合出的空间主平面；

图5位本发明实施例3的空间主平面俯视图；

图6为本发明实施例4的空间线段的判断演示图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征更易被本领域技术人员理解，从而对本发明的保护范围作出更为清楚的界定。

实施例1：

如图1所示，本发明提供了一种城市建筑立面三维“线-面”结构重建方法，根据参考图像的结构特征，利用在参考图像中检测的线段对图像区域进行分割，在“点-线”约束空间内对分割所得区域的垂直边进行匹配，并拟合出三维主平面，进而通过对空间线段判断，在点、线、面的框架下对三维图像进行重建；包括以下步骤：S1，初始“点-线”约束匹配；S2，三维立面主平面拟合；S3，进行空间线段判断；S4，“线-面”结构局部与全局优化。

实施例2：

基于实施例1，本发明还提供了一种“点-线”约束匹配方法，进一步的，根据参考图像为匹配图像进行线形匹配，以确定其相应的“线-面”结构，为此，设参考图像I与匹配图像I′中的垂直直线集分别为

与/>

图像I的垂直线段集为L:{l_i}(i＝1,…,k)；其中，所述匹配图像可根据常规图像线性检测方法检测得出，如图2所示。

对于l_i∈L，本方法根据DAISY特征确定其在图像I′中的匹配直线；设线段l_i上像素集为P:{p_i}(i＝1,…,n)，对于像素p_i∈P，由于其在图像I′中的匹配点更可能位于垂直直线上或垂直直线附近，因而，本方法首先在图像I′中求取像素p_i的相应极线与集合

中所有垂直直线的交点，然后分别在其极线上每个交点两侧选择10个像素的DAISY特征与像素p_i的DAISY特征进行匹配并从中确定最优匹配点p′_i，进而确定集合P中所有像素对应匹配点的集合P′:{p′_i}(i＝1,…,n)；其中，此过程在建筑区域内完成以提高计算效率。

而通过垂直直线对候选匹配点进行约束，上述计算效率较高，而对于集合P′的可靠性，通过以下条件进行度量：

其中，

为图像I′中当前垂直直线，d(p′_i,L′_m)表示像素p_i的匹配点p′_i到直线L′_m的距离，指示函数δ(·)当参数为真时取值1，否则取值0；∈为距离阈值，设置过大易引入较多的匹配外点，而较小则可能导致最终获取的可靠匹配数较少,在本实施例中∈＝2。

实验得出，T(l_i,L′_m)值较高时，集合P′中像素大部分位于直线L′_m附近，因而线段l_i对应的匹直线应为L′_m，对应的匹配线段l′_i可通过求取集合P中像素的极线与直线L′_m交点的方式确定；否则，线段l_i对应的匹配线段则可能未被检测到或被遮挡，此时本文采用建筑结构先验推断其对应的空间线段。

实验中发现，由于噪声、透视畸变等因素的影响，集合P′中不但可能存在少量外点，而且当前直线L′_m与真实直线之间可能也存在偏差；为此，本方法采用RANSAC方法对集合P′中的匹配点进行了拟合并利用所获取的直线更新了直线L′_m；此直线规范化过程也有利于增强后续环节对空间平面推断的可靠性。

在实际中，相对于短线段，长线段的匹配往往具有更高的可靠性，因而，在“点-线”约束匹配中，本文算法首先匹配长线段，然后在已匹配结果的约束下对短线段进行匹配；所得线形集如图3所示，其中，对于图像I′中直线L′_m，参考图像I中的短线段l_i∈L匹配可靠性度量定义为：

其中，l′_m为直线L′_m上，根据参考线段l_i中像素的极线与直线L′_m的交点，确定的候选匹配线段，N(l_i)表示与参考线段l_i位于同一直线且已匹配的线段集合，线段l′_j为线段l_j的匹配线段，S(x,y)为线段x与y的特征相似度，采用线段x与y中点处的DAISY特征度量；μ为约束项权重，设置较大时趋于为短线段分配与其相邻线段相同的匹配直线，因而有利于获取整体一致的结果，其在本实施例中设定值为0.7。

在以上线段匹配过程完成后，本文算法采用交叉验证方法剔除外点以获取可靠的匹配结果，即对于线段l_i在图像I′中的匹配线段l′_i，如果其通过以上方法在图像I中确定的匹配线段

与线段l_i之间的平均距离小于指定阈值，在本实施例中指定阈值为2，则认为线段l_i与l′_i为可靠匹配。

实施例3：

基于实施例2，本发明还提出了一种三维主平面拟合方法，进一步的，通过实施例2的方法获取可靠线段匹配集M:{l_i,l′_i}(i＝1,…,k₁)后，本文算法通过三角化方法生成相应的空间线段集

并采用全局多模型拟合从中拟合建筑主平面

以对未匹配线段对应的空间线段进行推断，其能量函数值越小时，则所得主平面为较优解，相应的能量函数定义如下：

其中，

表示当前为空间线段/>

分配的空间平面，/>

为空间线段/>

的相邻空间线段集，通过图像I中对应线段的左右与上下相邻线段确定，λ为平滑项权重，设置较大时趋于以较少的空间平面拟合当前空间线段，在本实施例中λ＝0.6；/>

表示空间线段/>

对应两匹配线段端点的DAISY特征相似性度量的均值，/>

表示两相邻空间线段/>

与

的平滑性约束，即：

其中，

为相邻空间线段/>

与/>

中点之间的距离，/>

为空间线段/>

与/>

在图像I中对应线段中点DAISY特征相似度；参数σ₁与σ₂分别控制距离与特征度量的平滑约束力度，在本实施例中，σ₁＝20，σ₂＝2。

在式(4)中，综合采用空间线段距离与图像线段特征旨在增强空间平面标记之间的平滑性约束；相对于在图像中通过三角网格度量空间点距离的方法，实际相距较远的两个空间点或线段在图像中的投影点或线段可能相距较近，采用三角网格构造平滑性约束可能会导致较大错误，往往可获得更好的效果。此外，主平面拟合过程中所用候选平面通过相邻空间线段上的空间点拟合生成，可在一定程度上避免随机采样空间点生成候选平面的复杂性。

通过以上方法获取的建筑主平面整体上如图4-5所示，表达了建筑的主体结构，有利于后续环节对建筑细节结构进行推断。

实施例4：

基于实施例2或3，本发明提供了一种空间线段的判断方法，进一步的，在实施例2中，近70％的线段可获得可靠的匹配，未匹配线段主要分三类：(1)由于垂直直线的约束而匹配错误的线段，约5％左右；(2)被遮挡线段(在图像I′相应视点被遮挡)；(3)未在图像I′中检测到可被匹配线段的线段。为此，本方法采用建筑结构先验对这些线段对应的空间线段进行推断。

对于以平面结构为主的城市建筑，各组成平面之间的夹角通常是特定值(如45°)，因而，在已知建筑主平面的情况下，可依此结构先验对“点-线”约束匹配阶段未匹配线段对应的空间线段进行推断。

具体的，若线段l₂对应的匹配线段未能在图像I′中被检测，因而无法采用匹配的方式确定其对应的空间线段

然而，如图6所示，当建筑主平面h₁与空间线段/>

已知时，则可根据相邻直线共面的假设以空间线段/>

所在直线为轴将平面h₁的法向量旋转45°确定平面h₂，进而通过求取线段l₂反投影线与平面h₂交线的方式确定空间线段/>

在此过程中，虽然平面h₂与h₁之间的夹角45°事先未知，但往往却在预设角度之内，其区间在[-60°,90°]；因而，为了从根据预设角度生成的空间平面中确定最优者，本文定义如下度量：

其中，H_A为集合

中的空间平面根据预设角度，实验设置为[-60°,-45°,-30°,0°,30°,45°,60°,90°]生成的空间平面，H_A(p_i)为像素p_i的反投影线与空间平面H_A的交点在图像I′中的投影点，S(p_i,H_A(p_i))为像素p_i与投影点H_A(p_i)之间的DAISY特征相似度。

当线段l_i在图像I′视点被遮挡时，T(l_i,H)值通常较大；在本方法中，当

(/>

为集合M中所有匹配线段对应DAISY特征相似度的均值)时，则不再对线段l_i对应的空间线段进行推断；而当区域的两垂直边均被遮挡时，则不再对该区域对应的空间平面进行推断。

实施例5：

基于实施例1-4，本发明还提供了“线-面”结构的优化方法，而在“点-线”约束线段匹配及空间线段推断之后，由于在图像中相邻线段之间的区域并不一定与真实空间平面相对应或者两相邻线段之间实际可能包含多个平面，因而最终获取的建筑多平面结构中往往包含一定的错误。如图6所示，空间线段

与/>

之间的平面h₄并非真实空间平面，因而需要进行检测与优化。

为了度量空间平面的可靠性，本文算法对分别利用图像I与图像I′获取的空间平面的一致性进行了交叉验证。即对于区域S∈I与V∈I′对应的空间平面h_s与h_v，当以下条件T(h_s,h_v)满足时，则认为两者是可靠的且为同一空间平面：

其中，|S|为区域S内所有像素数，阈值ε用于判断空间平面可靠性，设置过大时会导致较多的空间平面被判定为不可靠，从而增加“线-面”结构优化的计算复杂度，其中在本实施例中，ε＝0.8；R(S,h_v)为区域S中已获取可靠空间点的像素数，其中的可靠空间点定义为：对于像素p∈S及其在空间平面h_s诱导下在图像I′中投影点h_s(p)，如果投影点h_s(p)在空间平面h_v诱导下在图像I中的投影点h_sv(p)与像素p之间距离小于指定阈值，则认为像素p已获取可靠空间点，即其反投影线与空间平面h_s的交点。

对于不满足式(6)所示条件的不可靠空间平面，需要进一步进行推断与优化。

其中，“线-面”结构的优化方法包括布局优化和全局优化。

对于图像I中两垂直边分别为l_i与l_k的区域Q_ik，若其对应的空间平面不可靠，本文采用两种方式对其进行局部优化：

方法一：空间平面调整：分别以空间线段

与/>

所在垂直直线为轴，利用基于实施例4中的空间线段推断方法推断线段l_k与l_i在其他空间平面对应的空间线段/>

与/>

进而根据空间线段/>

与/>

以及/>

与/>

构建满足式(6)所示条件的最优空间平面作为区域Q_ik对应的可靠空间平面。如图5所示，空间平面h₄不可靠，以空间线段/>

所在垂直直线为轴确定了位于空间平面h₁中被空间线段/>

遮挡的空间线段/>

因而，本文在保留空间线段/>

并删除空间平面h₄的同时，增加了线段/>

与相应的空间线段/>

以使线段/>

与l₄构成的区域与空间平面h₁相关联。

方法二：图像区域分裂：对于图像I′中的线段l′_m，若其在图像I中未能检测到与之匹配的线段但对其对应的空间线段

进行了推断，则空间线段/>

在图像I中的投影线段l_m可能位于区域Q_ik的内部；因而，若/>

与/>

或/>

可以构成可靠空间平面，则将Q_ik进行分裂并分别确定两分裂区域对应的空间平面。如图5所示，空间线段/>

的投影线段l₅位于区域Q₂₃内部且/>

与/>

以及/>

与/>

可构成可靠空间平面，则将区域Q₂₃分裂为区域Q₂₅与Q₅₃并分别为其分配相应的空间平面，同时将线段l_m添加至线段集L。

局部优化仅对小部分线段、区域及其对应的空间线段与平面进行调整，为获得整体一致的“线-面”结构，本方法在能量优化框架下进一步对当前结果进行全局优化，相应的能量函数定义为：

其中，R与H分别表示图像I中所有区域及相应的空间平面，N₁(s)表示两垂直边位于相同直线且与区域s相邻的区域集合，N₂(s)表示其他与区域s相邻的区域集合；α与β为权重参数，两者设置较大时将导致优化过程产生较少的空间平面而不利于突出结构细节，而较小时则不利于获取全局一致性的空间平面，在本实施例中，α与β均设置为0.5以获得较好的结果；E_point(s,h_s)、E_line(h_s,h_t)、E_plane(h_s,h_k)分别为点特征度量、共线约束与平面先验约束。

其中，点特征度量：度量为区域s分配空间平面h_s的代价，利用像素特征定义为：

其中，像素q_i为区域s的顶点m＝4，h_s(q_i)为像素q_i的反投影线与空间平面h_i的交点在图像I′中的投影点，D(q_i,h_s(q_i))表示像素q_i与投影点h_s(q_i)之间DAISY特征相似度。

共线约束：鼓励垂直边位于同一垂直直线上的两相邻区域分配相同的空间平面，定义为：

其中，D(s,k)为区域s与k质心间的DAISY特征相似度，在实验中亦可采用颜色度量进行替换，参数σ₃控制特征度量的平滑约束力度，其中，在本实施例中σ₃＝2。

平面先验约束：对于不具备显著共面特征的相邻区域，为其分配属于指定结构先验的空间平面，具体定义为：

其中，A(h_s,h_k)为空间平面h_s与h_s的夹角，τ为平滑项松驰参数，设置较小有利于突出空间平面之间的特定夹角特征而重建更多结构细节，但设置过小却不利于获取全局一致性的结构；在本实施例中τ值设为0.4以获得较好的结果。

对于式(7)所示能量函数的求解属于NP-hard问题，本方法采用协同优化方法获取其近似最优解；最后，本方法利用式(6)所定义条件对两幅图像不一致的结构(区域及相应空间平面)进行剔除。其中，参考图像的线段得以较好地重建，位于相同平面上的空间面片在图像中对应的区域与边界较为一致，纹理化后的“线-面”结构较为完整。此外，由于线、面基元的融合与平面夹角先验的引导，本方法整体运行速度也较快，整个城市建筑立面三维“线-面”结构重建方法的运行时间共约13秒。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (4)

1.一种城市建筑立面三维“线-面”结构重建方法，其特征在于，根据参考图像的结构特征，利用在参考图像中检测的线段对图像区域进行分割，在“点-线”约束空间内对分割所得区域的垂直边进行匹配，并拟合出三维主平面，进而通过对空间线段判断，在点、线、面的框架下对三维图像进行重建；包括以下步骤：

S1，初始“点-线”约束匹配；

S2，三维立面主平面拟合；

S3，进行空间线段判断；

S4，“线-面”结构局部与全局优化；

在所述步骤S1中，匹配图像的线段集合通过参考图像的参考线段集合，进行确认；具体步骤如下：

S11，确定参考图像的参考直线集合和参考线段集合；

S12，确定参考线段集合中所有参考线段的参考像素集合；

S13，根据参考像素集合的参考像素，求取参考像素的极线与匹配图像的所有匹配直线交点；

S14，在所述极线上的每个交点两侧选择多个像素，并通过DAISY特征方法与参考像素进行匹配，从而确定最优匹配像素点，进而求取与参考像素集合相匹配的匹配像素集合；所述匹配像素集通过以下公式进行可靠性度量：

其中，L′_m为匹配图像中的垂直直线，d(p′_i,L′_m)表示参考像素p_i的匹配像素p′_i到L′_m的距离，指示函数δ(·)当参数为真时取值1，否则取值0；∈为距离阈值；

在所述步骤S2中，根据步骤S1获得匹配线段集合，通过三角化方法生成相应的空间线段集合，并采用全局多模型拟合，拟合出三维图像的主平面，以对未匹配线段对应的空间线段进行判断；其中，三维图像主平面的能量定义函数如下：

其中，

表示为空间线段/>

分配的空间平面,/>

为空间线段/>

的相邻空间线段集，通过参考图像中对应线段的左右与上下相邻线段确定，λ为平滑项权重；/>

表示空间线段/>

对应两匹配线段端点的DAISY特征相似性度量的均值，/>

表示两相邻空间线段/>

与/>

的平滑性约束，即：

其中，

为相邻空间线段/>

与/>

中点之间的距离，/>

为空间线段

与/>

在参考图像中对应线段中点DAISY特征相似度；参数σ₁与σ₂分别控制距离与特征度量的平滑约束力度；

在所述步骤S3中，若参考线段L无法在约束匹配阶段，无法在匹配图像中找到匹配线段L′，当三维主平面和第一空间线段已知时，根据相邻直线共面，以第一空间线段所在直线为轴，将三维主平面的法向量旋转预设角度确定第二平面，进而通过求取参考线段L反投影线与第二平面的交线，来确定空间线段L′；其中，所述预设角度为-60°至90°；为确定最优空间平面，通过以下公式进行度量：

其中，H_A为三维主平面空间平面根据预设角度生成的空间平面，H_A(p_i)为像素p_i的反投影线与空间平面H_A的交点在匹配图像中的投影点，S(p_i,H_A(p_i))为像素p_i与投影点H_A(p_i)之间的DAISY特征相似度，当T(l_i,H)大于匹配线段集合的所有匹配线段对应DAISY特征相似度的均值的两倍时，则不再对线段l_i进行空间线段判断；

在所述步骤S4中，通过以下步骤进行局部优化：

S411，根据步骤所述S3，确定与参考线段相匹配的被遮挡匹配空间线段，并将匹配空间线段与匹配三维主平面建立联系。

S412，若一空间线段的投影线段在已知匹配平面内部，且与匹配平面的两已知匹配线段构成可靠空间平面，则该空间线段与两已知匹配线段重组匹配空间平面；

在所述步骤S4中，通过以下步骤进行全局优化：

S421，点特征度量，度量为区域s分配空间平面h_s的代价；

S422，共线约束，将垂直边位于同一垂直直线上的两相邻区域分配相同的空间平面；

S423，平面先验约束，对于不具备显著共面特征的相邻区域，为其分配属于指定结构先验的空间平面；

S424，采用协同优化方法，将步骤S421、步骤S422、步骤S423进行协同优化，获得最终匹配图像。

2.根据权利要求1所述的一种城市建筑立面三维“线-面”结构重建方法，其特征在于，获取匹配像素集合后，通过RANSAC方法进行拟合获取新匹配直线，并对原来的匹配直线进行更新。

3.根据权利要求2所述的一种城市建筑立面三维“线-面”结构重建方法，其特征在于，通过匹配像素集合拟合成匹配直线时，先匹配长线段，然后在已匹配的长线段的约束下进行短线段的匹配；对于所述短线段的可靠性通过以下公式进行度量：

其中，l′_m为直线L′_m上，根据参考线段l_i中像素的极线与直线L′_m的交点，确定的候选匹配线段，N(l_i)表示与参考线段l_i位于同一直线且已匹配的线段集合,线段l′_j为线段l_j的匹配线段，S(x,y)为线段x与y的特征相似度，采用线段x与y中点处的DAISY特征度量；μ为约束项权重。

4.根据权利要求1所述的一种城市建筑立面三维“线-面”结构重建方法，其特征在于，度量匹配空间平面的可靠性，通过以下公式进行交叉验证：

其中，S为参考图像一区域，V为匹配图像与S相对应的区域，h_s、h_v分别为参考图像和匹配图像相对应的两个平面；|S|为区域S内所有像素数；R(S，h_v)为区域S中已获取可靠空间点的像素数；ε为预设阈值；当不满足以上公式的进行步骤S4。

Images