CN105761308B - 一种地面LiDAR和影像数据融合的遮挡区域建筑物立面重建方法 - Google Patents

Abstract

本发明涉及一种地面LiDAR和影像融合的遮挡区域建筑物立面重建方法，包括以下步骤：1，LiDAR点云数据重建建筑物立面初始模型；步骤2，结合影像数据的建筑物立面初始模型精化；步骤3，建筑物立面结构规则分析及遮挡区域几何结构推测；步骤4，利用点云数据验证遮挡区域几何结构的合理性和可靠性。本发明利用影像数据精化点云数据重建的初始立面几何模型，在模型边和影像边匹配过程中，利用点云数据解决了搜索区中存在多个候选影像边的问题，得到最佳对应影像边，有效改善了激光扫描仪分辨率引起的立面几何结构偏移。同时提高了遮挡区域立面重建的可靠性。

Description

一种地面LiDAR和影像数据融合的遮挡区域建筑物立面重建 方法

技术领域

本发明涉及一种建筑物立面重建方法，尤其是涉及一种地面LiDAR和影像数据融合的遮挡区域建筑物立面重建方法。

背景技术

街景建筑物立面精细三维模型是准确路径规划、高精度实景定位与导航关键基础数据。对于街景建筑物立面三维几何重建而言，通过影像密集匹配或地面LiDAR均可获取沿街建筑物立面的空间三维点云数据。研究表明影像和LiDAR数据在建筑物立面重建方面具有很好的互补性，LiDAR点云数据可以保证可靠的面特征提取，影像数据可以获得到高精度的结构边，两者的结合极大提高了建筑物立面重建的几何精度，同时也避免了影像匹配失败导致的物方定位困难，及从大量无序、密度不均匀的LiDAR点云数据中表达建筑物立面几何结构的困难。但是，从LiDAR和影像数据重建完整、可靠的建筑物立面依然面临挑战，一个重要瓶颈问题是如何重建遮挡区域的建筑物立面几何结构(窗户、门及阳台等)。由于视角的限制，遮挡区域数据无法获取，缺失的建筑物立面几何结构通常在一定假设或某种规则下推理得到，重建的可靠性难以保证。

LiDAR和影像数据融合的遮挡区域建筑物立面几何结构重建主要涉及遮挡区域数据填补和立面几何结构重建两方面。在遮挡区域数据填补方面，一些方法采用手持式激光扫描仪、立体视觉等方式重新采集遮挡区域点云数据，经过配准后填充原有数据的空洞。这种方法能保证填补数据的真实性，但会受到数据采集视角的限制及数据配准与融合精度的影响。计算机图形，计算机视觉及虚拟现实等研究领域常用曲面拟合、内插等数据合成算法对点云稀疏数据空洞进行填补。该方法多是基于某种假设条件，填补数据的可靠性较难保证。在立面几何结构重建方面，许多研究根据建筑物结构具有重复、对称等知识来合成遮挡区域建筑物立面几何结构，如利用先验的或通过一定量已知样本提炼的建筑物立面结构规则，合理推知被遮挡部分的建筑物立面几何结构。这种方法的优点是利用已有的先验知识或从现有数据中挖掘的规则指导遮挡区域几何结构重建，但它的局限性在于遮挡区域的建筑物立面结构必须符合推理的规则。

大多数建筑物立面兼顾规则和非规则的几何结构排列，底层通常是变化的，也是频繁遮挡的区域。本发明主要针对无数据或数据不足够情况下，解决遮挡区域建筑物立面几何结构重建问题。

发明内容

本发明提供一种地面LiDAR和影像数据融合的遮挡区域建筑物立面重建方法，该方法在利用影像精化点云数据重建的初始立面模型基础上，先假设所有遮挡区域是符合规则排列的，在此条件下推测遮挡区域的立面几何结构，然后用点云数据验证并检测出非规则区域的重建结果，避免了遮挡区域不可靠的立面几何结构重建。

本发明主要是通过下述技术方案得以实现：

一种地面LiDAR和影像数据融合的遮挡区域建筑物立面重建方法，其特征在于，包括以下步骤：

步骤1，LiDAR点云数据重建建筑物立面初始模型，包括如下子步骤：

步骤1.1，计算LiDAR数据点的法向量，根据数据点法向量平行地面分割建筑物立面点云数据，并用RANSAC剔除粗差点；大部分立面几何结构距离建筑物立面一定距离，在立面分割过程中，这些数据点被滤掉，呈现为洞；

步骤1.2，通过洞检测提取建筑物立面几何结构，人工半自动获取立面点云数据漏洞的角点坐标，形成闭合的矩形或多边形作为立面几何结构的初始重建模型；

步骤2，结合影像数据的建筑物立面初始模型精化，包括如下步骤：

步骤2.1，利用canny算子检测影像边缘，在此基础上用hough变换提取直线；

步骤2.2，在影像方位元素已知条件下，将步骤1中重建的建筑物立面初始模型投影到影像上，匹配初始立面几何结构模型边和提取的对应影像边；

步骤2.3，模型边和影像边匹配过程中，除了距离和方向约束外，增加了透过窗户的点云数据作为约束条件选择最佳对应影像边,解决了在搜索区中满足距离和方向约束情况下多条候选边存在的问题；

将透过窗户的点云投影到影像上，最佳影像边应位于点云投影和非点云投影交界，考虑到影像方位元素误差引起的点云投影偏移，选择影像边两边点云个数相差最大为最佳匹配影像边，所述窗户的点云包括内部窗框、窗帘及内部反射的点云数据；

步骤2.4，将最佳匹配影像边投影到建筑物立面，得到精确的建筑物立面几何结构；

步骤3，建筑物立面结构规则分析及遮挡区域几何结构推测，包括如下步骤：

步骤3.1，对步骤2中精化的重建建筑物立面几何结构进行分类，根据几何结构位置坐标进行行、列排序，形成2D图像；

根据边长个数和总长度对精化的重建建筑物立面几何结构进行分类，分类的过程为对重建几何结构标记过程；每个几何结构的位置坐标为其形状几何中心点的坐标，根据位置坐标的x和y进行列、行标记，找出同一行、列的几何结构，然后对行、列排序，形成2D图像；

步骤3.2，每一个行、列交叉点对应一个立面几何结构，如果交叉点没有记录立面几何结构，对应的行、列为立面几何结构推测的缺失位置；

步骤3.3，基于立面几何结构四邻域的模板匹配方法，以立面几何结构的形状与大小为匹配测度，对遮挡区域可能的立面几何结构进行推测；

步骤4，利用点云数据验证遮挡区域几何结构的合理性和可靠性。

在上述的一种地面LiDAR和影像数据融合的遮挡区域建筑物立面重建方法，所述步骤4中，利用点云数据验证遮挡区域几何结构推测的合理性和可靠性包括如下步骤：

步骤4.1，透过遮挡物缝隙到达立面几何结构的点云数据及透过窗户的点云数据分割与聚类；

步骤4.2，判断立面几何结构对应点云数据与推测结果的匹配程度；对于任一预测的立面几何结构，计算点云数据与推测立面几何结构重合度K₁及点云外接矩形与推测立面几何结构面积的重叠度K₂；

K₁＝D₁/D 式一

D为立面几何结构对应的点云数据，D₁为落入推测立面几何结构范围的点云数据；

K₂＝S₁/S 式二

S为立面几何结构对应点云数据外接矩形面积，S₁为与推测立面几何结构的重叠面积；

当K₁和K₂大于一定阈值时，推测结果被认为是可靠的。

因此，本发明具有如下优点：利用影像数据精化点云数据重建的初始立面几何模型，在模型边和影像边匹配过程中，利用点云数据解决了搜索区中存在多个候选影像边的问题，得到最佳对应影像边，有效改善了激光扫描仪分辨率引起的立面几何结构偏移。同时，针对重建模型中由点云数据不足够引起的几何结构缺失和不正确情况，先按照立面几何结构满足假设规则，采用四邻域模板匹配方法推测遮挡区域几何结构的位置和类型，然后用点云数据验证推理的合理性，提高了遮挡区域立面重建的可靠性。

附图说明

图1是本发明算法流程示意图。

图2a是四邻域模板匹配原理图(立面几何结构2D影像)。

图2b是四邻域模板匹配原理图(缺失几何结构四邻域)。

图2c是四邻域模板匹配原理图(四邻域模板)。

图2d是四邻域模板匹配原理图(匹配结果)。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

采集建筑物立面LiDAR和影像数据，以树木遮挡的立面窗户重建为实施例：

步骤1.LiDAR点云数据重建建筑物立面初始模型。

地面激光扫描仪RigelVZ-400用来采集实验数据，包括点云和影像数据，点云数据的采样间隔为0.046°，影像大小为4288x2848像素，点云和影像数据的配准已完成，影像方位元素已知。

点云个数为183万，位于建筑物前的遮挡主要有树木，行人，车辆，电话亭等，树木对立面的遮挡最大，建筑物立面的几何结构主要有窗户、门和阳台。

经过立面点云数据提取及人工半自动洞检测得到建筑物初始立面几何模型。

步骤2.结合影像数据的建筑物立面初始模型精化。

首先，用canny算子检测影像边缘及hough变换提取影像直线。

其次，将初始立面模型投影在影像上，并用距离和角度条件约束选择候选窗户边，本实验选择角度阈值为5°，距离阈值为10个像素。

最后，将最佳匹配影像边投影到建筑物立面，得到精化后的立面几何模型，

步骤3，建筑物立面结构规则分析及遮挡区域几何结构推测。

步骤4，利用点云数据验证遮挡区域几何结构的合理性和可靠性。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (2)

1.一种地面LiDAR和影像数据融合的遮挡区域建筑物立面重建方法，其特征在于，包括以下步骤：

步骤1，LiDAR点云数据重建建筑物立面初始模型，包括如下子步骤：

步骤1.1，计算LiDAR数据点的法向量，根据数据点法向量平行地面分割建筑物立面点云数据，并用RANSAC剔除粗差点；大部分立面几何结构距离建筑物立面一定距离，在立面分割过程中，这些粗差点被滤掉，呈现为洞；

步骤1.2，通过洞检测提取建筑物立面几何结构，人工半自动获取立面点云数据漏洞的角点坐标，形成闭合的矩形或多边形作为立面几何结构的初始重建模型；

步骤2，结合影像数据的建筑物立面初始模型精化，包括如下步骤：

步骤2.1，利用canny算子检测影像边缘，在此基础上用hough变换提取直线；

步骤2.2，在影像方位元素已知条件下，将步骤1中重建的建筑物立面初始模型投影到影像上，匹配初始立面几何结构模型边和提取的对应影像边；

步骤2.3，模型边和影像边匹配过程中，除了距离和方向约束外，增加了透过窗户的点云数据作为约束条件选择最佳匹配影像边,解决了在搜索区中满足距离和方向约束情况下多条候选边存在的问题；

将透过窗户的点云投影到影像上，最佳匹配影像边应位于点云投影和非点云投影交界，考虑到影像方位元素误差引起的点云投影偏移，选择影像边两边点云个数相差最大为最佳匹配影像边，所述窗户的点云包括内部窗框、窗帘及内部反射的点云数据；

步骤2.4，将最佳匹配影像边投影到建筑物立面，得到精确的建筑物立面几何结构；

步骤3，建筑物立面结构规则分析及遮挡区域立面几何结构推测，包括如下步骤：

步骤3.1，对步骤2中精化的重建建筑物立面几何结构进行分类，根据几何结构位置坐标进行行、列排序，形成2D图像；

根据边长个数和总长度对精化的重建建筑物立面几何结构进行分类，分类的过程为对重建几何结构标记过程；每个几何结构的位置坐标为其形状几何中心点的坐标，根据位置坐标的x和y进行列、行标记，找出同一行、列的几何结构，然后对行、列排序，形成2D图像；

步骤3.2，每一个行、列交叉点对应一个立面几何结构，如果交叉点没有记录立面几何结构，对应的行、列为立面几何结构推测的缺失位置；

步骤3.3，基于立面几何结构四邻域的模板匹配方法，以立面几何结构的形状与大小为匹配测度，对遮挡区域可能的立面几何结构进行推测；

步骤4，利用点云数据验证遮挡区域立面几何结构的合理性和可靠性。

2.根据权利要求1所述的一种地面LiDAR和影像数据融合的遮挡区域建筑物立面重建方法，所述步骤4中，利用点云数据验证遮挡区域立面几何结构推测的合理性和可靠性包括如下步骤：

步骤4.1，透过遮挡物缝隙到达立面几何结构的点云数据及透过窗户的点云数据分割与聚类；

步骤4.2，判断立面几何结构对应点云数据与推测结果的匹配程度；对于任一推测的立面几何结构，计算点云数据与推测立面几何结构重合度K₁及点云外接矩形与推测立面几何结构面积的重叠度K₂；

K₁＝D₁/D 式一

D为立面几何结构对应的点云数据，D₁为落入推测立面几何结构范围的点云数据；

K₂＝S₁/S 式二

S为立面几何结构对应点云数据外接矩形面积，S₁为与推测立面几何结构的重叠面积；

当K₁和K₂大于一定阈值时，推测结果被认为是可靠的。