CN104851127B - 一种基于交互的建筑物点云模型纹理映射方法及装置 - Google Patents

Abstract

本发明涉及一种基于交互的建筑物点云模型纹理映射方法及装置，属于计算机视觉处理技术领域。本发明针对现代化城镇建筑物的外轮廓特征，以重建点云模型中的每个三维点和恢复当前空间点所用图像中对应的像素点之间的空间对应关系为基础，在简单交互标定各结构拐点的条件下实现快速建筑物模型自动面片化和纹理映射；本发明方法首先进行点云模型噪声点去除，然后通过与用户交互获得点云模型墙面结构角点，并根据所选角点匹配筛选得到墙面最优匹配图像和进行空间平面拟合得到点云模型墙面，最后将最优匹配图像中墙面纹理映射到点云模型墙面。对比现有技术，本发明能够快速重建出建筑物的整体结构，并且重建结果整体效果能够满足日常需求。

Description

一种基于交互的建筑物点云模型纹理映射方法及装置

技术领域：

本发明涉及一种纹理映射方法及装置，具体涉及一种基于交互的建筑物点云模型纹理映射方法及装置，属于计算机视觉处理技术领域。

背景技术：

基于图像序列生成的重建目标三维模型相对于平面图像有空间立体感强、直观性好等优点。但是，三维点云模型的本质是大量离散三维点的集合，整体描述重建目标的三维轮廓，但是放大后呈现出离散的颗粒状，局部细节展示能力较弱，不能满足一些需要细节展示的场合。对点云数据进行网格化是三维重建领域的一项重要研究内容，已经历了几十年的研究，并产生了大量的算法如Delaunay三角剖分等、工具库如PCL(Point CloudLibrary)等、软件如Meshlab等。但是，这些算法或工具都是针对利用激光扫描等硬件辅助下获取的点云质量较好的模型，面对基于图像序列重建生成的噪声较多的无序点云数据，现有的算法效果都会大打折扣，难于真正在应用系统中产生效果。当前应用较为广泛的另一种方法就是利用图像直接进行建筑物模型重建并实现面片化，比如说google的的交互模型生成工具sketchup，该软件虽然能够实现建筑物外轮廓整体重建，并能够在细致的人工交互下完成一些细节的结构信息重构。但该软件对操作者和硬件环境要求较高，同时重建流程耗时较长。

发明内容：

本发明的目的是针对上述缺陷，提出了一种基于交互的建筑物点云模型纹理映射方法，在简单交互标定各结构拐点的条件下实现快速建筑物外轮廓重建。

本发明的主要重建目标是现代化城镇建筑物，针对现代化城镇建筑物的外轮廓特征，主要以重建点云模型中的每个三维点和恢复当前空间点所用图像中对应的像素点之间的空间对应关系为基础，在简单交互标定各结构拐点的条件下实现快速建筑物模型自动面片化和纹理映射。

本发明的目的是通过以下技术方案实现的：

一种基于交互的建筑物点云模型纹理映射方法，该方法包括以下步骤：

步骤一、点云模型去噪；

作为优选，采用k近邻算法快速去除点云模型中噪声点；

步骤二、对于去噪后的点云模型通过与用户交互确定点云模型和图像中的对应墙面；具体通过以下步骤完成：

步骤2.1对用户在点云模型中选取的墙面结构角点采用包围球方法确定准确度较高的三维点位置；

作为优选，如果用户选取的点的包围球半径比其他点的包围球半径至少大10倍时，放弃该选点并提示用户重新选点；

步骤2.2通过以下过程选取与点云模型中墙面结构角点对应的图像：

首先，根据以下属性对与点云模型中墙面结构角点对应的图像进行计算：

a)图像中墙面的面积在整幅图中所占的比例p；

b)图像中墙面各个边的比例和点云模型中墙面的各边比例差值,首先以其中一条边为基准，求出其他三条边在图像中和点云模型中各自的相对长度，然后计算图像中和点云模型中这三条边长度总和的差值q；

然后，对所有图像的差值q进行归一化，得到新的差值

最后，将所有图像按照值从大到小排列，由用户自主选择映射所需墙面图像；

步骤三、根据点云模型墙面结构角点通过以下过程进行空间平面拟合：

首先，对墙面的所有结构角点进行最小二乘拟合得到一个平面作为墙面所在位置；

然后，将各个结构角点映射到新的平面上作为新的角点；

最后，区分以下情况确定相交平面共用的结构角点：

a)对于两个墙面共用一个结构角点的情况：首先对于两个墙面根据各自的结构角点分别拟合对应的平面，然后求出两个平面的交线l,然后将已经映射到平面上的结构角点坐标继续映射到交线l上，记为A₁,A₂，最后取A₁,A₂的中点作为拟合后的新的共用结构角点；

b)对于三个墙面共用一个结构角点的情况：首先按照两个墙面共用一个结构角点时候的方法找出一条交线l，然后取l与第三个拟合后的墙面的交点作为三个墙面共用的结构角点；

步骤四、将步骤二所选图像的墙面纹理映射到通过步骤三得到的点云模型墙面；

通过以上步骤，在与用户交互确定完所有墙面的结构角点之后，系统就可以帮助用户将各个墙面的纹理图像映射到点云模型中，然后重建出建筑物的整体外观。

一种基于交互的建筑物点云模型纹理映射装置，包括点云模型去噪模块、点云模型与图像对应模块、空间平面拟合模块和墙面纹理映射模块；其中点云模型去噪模块分别与点云模型与图像对应模块、空间平面拟合模块连接，图像对应模块与空间平面拟合模块连接，点云模型与图像对应模块和空间平面拟合模块分别与墙面纹理映射模块连接；

点云模型去噪模块用于采用k近邻算法去除点云模型输入数据中的噪声点得到去噪点云模型；

点云模型与图像对应模块用于根据与用户交互获得的去噪点云模型墙面结构角点自动对与该墙面对应的图像输入数据进行筛选得到最优匹配图像；

空间平面拟合模块用于根据去噪点云模型墙面结构角点对去噪点云模型进行空间拟合得到点云模型墙面；

墙面纹理映射模块用于将最优匹配图像中的墙面纹理映射到对应的点云模型墙面中；

作为优选，所述点云模型与图像对应模块进一步包括相互连接的墙面结构角点确定单元和最优图像匹配单元，墙面结构角点确定单元用于在用户选择点云模型中墙面结构角点之后找出在图像中对应的结构角点，最优图像匹配单元用于依照用于依照基于交互的建筑物点云模型纹理映射方法中步骤2.2所述规则根据图像与点云模型中所选墙面的匹配程度对其进行排序后输出供用户选择用于映射的图像。

有益效果：

对比现有技术，本发明方法能够快速重建出建筑物的整体结构，并且重建结果整体效果能够满足日常需求。

附图说明：

图1为本发明实施例一种基于交互的建筑物点云模型纹理映射算法方法流程示意图；

图2为本发明实施例一种基于交互的建筑物点云模型纹理映射装置结构示意图；

图3为应用本发明实施例方法对点云模型进行纹理映射的过程示意图，从(a)到(c)依次为点云模型、叠加点云数据的纹理映射模型预览结果和纹理映射模型预览结果。

具体实施方式

下面将结合附图和实施例对本发明加以详细说明，同时也叙述了本发明技术方案解决的技术问题及有益效果，需要指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

实施例1

如图1所示为本发明实施例一种基于交互的建筑物点云模型纹理映射算法方法流程示意图，下面对流程中的步骤进行详细描述：

步骤一、点云模型去噪

输入的点云模型中会有部分噪声点，这些噪声点将影响后续步骤的纹理映射效果，因此需要进行噪声点的去除，本发明中使用k近邻算法进行快速去噪，具体算法如下：

步骤1.1对于点云模型中的任意一点M_i，检索模型中与其最近的K个三维点，记为

步骤1.2计算出K个三维点与M_i的距离然后求出其平均值如果那么说明该点是噪声点，直接舍弃掉，其中d_THR为预设的噪声阈值，作为优选，本实施例中取值为15；

步骤二、用户交互确定点云模型和图像中的对应墙面

步骤2.1确定用户在点云模型中选取的墙面结构角点

因为点云模型中含有大量的离散三维点，用户通过鼠标去选择对应点的时候准确率会比较低，所以本发明提出了一种包围球方法来确定准确度较高的三维点位置：首先，以用户选择的三维点X₀为球心，以r为半径画一个球使得球内包含20个点，然后统计球中所有三维点的平均位置最后选择一个离平均位置最近的点作为用户选择的点；

另外，为减少用户选取错误，如果某个点的包围球半径远远大于其他点的包围球半径，如至少大10倍，那么有很大的概率这个标定的点是误差较大的，这时候可以提示用户重新选择较好的点；

步骤2.2确定与点云模型中墙面结构角点对应的图像

因为在三维重建的时候每个三维点都由多张图像重建出来，所以三维点在图像中的对应位置都是已知的，因此程序可以自动寻找与用户在点云模型中标定墙面对应的图像，同时找出其中的墙面四个角点，但是因为用于重建时候的图像较多，所以一个点云模型的墙面可能出现在多个平面中，在此时需要根据图像的匹配程度对所有的候选图像排序，在用户进行步骤2.1的标定后，通过以下属性来筛选图像：

c)图像中墙面的面积在整幅图中所占的比例p；

d)图像中墙面各个边的比例和点云模型中墙面的各边比例差值,首先以其中一条边为基准，求出其他三条边在图像中和点云模型中各自的相对长度，然后计算图像中和点云模型中这三条边长度总和的差值q；

首先对所有图像的差值q进行单位化，也即找出其中最大值，然后所有的差值都除以这个最大值得到新的差值然后比较所有图像的按照值从大到小排序，然后由用户选择用于映射的墙面图像

步骤三、空间平面拟合

由于用户在点云模型中点击得到的墙面结构角点一般不太可能严格分布在一个平面上，所以为了得到墙面的位置需要对墙面的所有结构角点进行最小二乘拟合然后得到一个平面作为墙面所在位置，然后将各个结构角点映射到新的平面上作为新的角点；但是墙面之间是有公共结构角点的，如何在拟合得到新平面之后重新确定结构角点是一个技术难点，本发明针对以下几种情况分别进行处理：

c)对于两个墙面共用一个结构角点的情况，首先对于两个墙面根据各自的结构角点分别拟合对应的平面，然后求出两个平面的交线l,然后将已经映射到平面上的结构角点坐标继续映射到交线l上，记为A₁,A₂，最后取A₁,A₂的中点作为拟合后的新的共用结构角点；

d)对于三个墙面共用一个结构角点的情况，首先按照两个墙面共用一个结构角点时候的方法找出一条交线l，然后取l与第三个拟合后的墙面的交点作为三个墙面共用的结构角点；

步骤四、纹理映射

在获得了点云模型墙面和对应图像的墙面之后，通过四个角点的对应关系就可以得到仿射矩阵，然后就可以将图像中的墙面纹理映射到点云模型中，然后重建出建筑物的整体外观。

实施例2

如图2所示为一种基于交互的建筑物点云模型纹理映射装置结构示意图，由图中可以看出该装置包括点云模型去噪模块、点云模型与图像对应模块、空间平面拟合模块和墙面纹理映射模块；

点云模型去噪模块用于采用k近邻算法去除点云模型输入数据中的噪声点得到去噪点云模型；

点云模型与图像对应模块用于根据与用户交互获得的去噪点云模型墙面结构角点对与该墙面对应的图像输入数据进行筛选得到最优匹配图像；

空间平面拟合模块用于根据去噪点云模型墙面结构角点对去噪点云模型进行空间拟合得到点云模型墙面；

墙面纹理映射模块用于将最优匹配图像中的墙面纹理映射到对应的点云模型墙面中。

作为优选，所述点云模型与图像对应模块进一步包括相互连接的墙面结构角点确定单元和最优图像匹配单元，墙面结构角点确定单元用于在用户选择点云模型中墙面结构角点之后找出在图像中对应的结构角点，最优图像匹配单元用于依照步骤2.2所述规则对图像与点云模型中所选墙面的匹配程度进行排序。

实验结果

如图3所示为应用本发明实施例1所述方法对点云模型进行纹理映射的过程示意图，从(a)到(c)依次为点云模型、叠加点云数据的纹理映射模型预览结果和纹理映射模型预览结果。对于第一副点云模型中的建筑，设备性能相等条件下，一个熟练使用sketchup的人员至少需要20分钟才能完成相应建筑的重建，且操作过程较多，重建得到的模型在某些方向容易造成形变；而根据实施例1本发明方法实现的实施例2所述装置，在操作熟练的情况下人工交互重建的过程仅需不到3分钟，点云重建过程耗时为3分28秒，重建得到的模型在整体展示效果方面能够满足日常，整个重建流程操作简单，实用性高。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于交互的建筑物点云模型纹理映射方法，其特征在于，包括以下步骤：

步骤一、点云模型去噪；

步骤二、对于去噪后的点云模型通过与用户交互确定点云模型和图像中的对应墙面；具体通过以下步骤完成：

步骤2.1对用户在点云模型中选取的墙面结构角点采用包围球方法确定准确度较高的三维点位置；

步骤2.2通过以下过程选取与点云模型中墙面结构角点对应的图像：

首先，根据以下属性对与点云模型中墙面结构角点对应的图像进行计算：

a)图像中墙面的面积在整幅图中所占的比例p；

b)图像中墙面各个边的比例和点云模型中墙面的各边比例差值，首先以其中一条边为基准，求出其他三条边在图像中和点云模型中各自的相对长度，然后计算图像中和点云模型中这三条边长度总和的差值q；

然后，对所有图像的差值q进行归一化，得到新的差值

最后，将所有图像按照值进行排序，由用户选择用于映射的图像；

步骤三、根据点云模型墙面结构角点通过以下过程进行空间平面拟合：

首先，对墙面的所有结构角点进行最小二乘拟合得到一个平面作为墙面所在位置；

然后，将各个结构角点映射到新的平面上作为新的角点；

最后，区分以下情况确定相交平面共用的结构角点：

a)对于两个墙面共用一个结构角点的情况：首先对于两个墙面根据各自的结构角点分别拟合对应的平面，然后求出两个平面的交线l,然后将已经映射到平面上的结构角点坐标继续映射到交线l上，记为A₁,A₂，最后取A₁,A₂的中点作为拟合后的新的共用结构角点；

b)对于三个墙面共用一个结构角点的情况：首先按照两个墙面共用一个结构角点时候的方法找出一条交线l，然后取l与第三个拟合后的墙面的交点作为三个墙面共用的结构角点；

步骤四、将步骤二所选图像的墙面纹理映射到通过步骤三得到的点云模型墙面。

2.根据权利要求1所述的一种基于交互的建筑物点云模型纹理映射方法，其特征在于：所述步骤一采用如下k近邻算法快速去除点云模型中噪声点：

步骤1.1对于点云模型中的任意一点M_i，检索模型中与其最近的K个三维点，记为

步骤1.2计算出K个三维点与M_i的距离然后求出其平均值如果那么说明该点是噪声点，直接舍弃掉，其中d_THR为预设的噪声阈值。

3.根据权利要求2所述的一种基于交互的建筑物点云模型纹理映射方法，其特征在于：d_THR＝15。

4.根据权利要求1所述的一种基于交互的建筑物点云模型纹理映射方法，其特征在于：所述步骤2.1中，如果用户选取的点的包围球半径比其他点的包围球半径至少大10倍时，放弃该选点并提示用户重新选点。

5.一种基于交互的建筑物点云模型纹理映射装置，其特征在于：包括点云模型去噪模块、点云模型与图像对应模块、空间平面拟合模块和墙面纹理映射模块；其中点云模型去噪模块分别与点云模型与图像对应模块、空间平面拟合模块连接，图像对应模块与空间平面拟合模块连接，点云模型与图像对应模块和空间平面拟合模块分别与墙面纹理映射模块连接；

所述点云模型去噪模块用于采用k近邻算法去除点云模型输入数据中的噪声点得到去噪点云模型；

所述点云模型与图像对应模块用于根据与用户交互获得的去噪点云模型墙面结构角点自动对与该墙面对应的图像输入数据进行筛选得到最优匹配图像；

所述空间平面拟合模块用于根据去噪点云模型墙面结构角点对去噪点云模型进行空间拟合得到点云模型墙面；

所述墙面纹理映射模块用于将最优匹配图像中的墙面纹理映射到对应的点云模型墙面中。

6.根据权利要求5所述的一种基于交互的建筑物点云模型纹理映射装置，其特征在于：所述点云模型与图像对应模块进一步包括相互连接的墙面结构角点确定单元和最优图像匹配单元，墙面结构角点确定单元用于在用户选择点云模型中墙面结构角点之后找出在图像中对应的结构角点，最优图像匹配单元用于依照权利要求1中步骤2.2选取图像并根据图像与点云模型中所选墙面的匹配程度对其进行排序后输出供用户选择用于映射的图像。