CN108320334A - 基于点云的三维场景漫游系统的建立方法 - Google Patents

Abstract

本发明涉及一种基于点云的三维场景漫游系统的建立方法，其特征在于包括以下内容：步骤1)读取三维场景点云数据作为输入数据，基于输入数据进行三维场景绘制；步骤2)对三维场景中热点信息进行添加及编辑；步骤3)将绘制的三维场景与无人机航拍对应三维场景的俯视图结合进行交互，设置漫游路径，实现三维场景漫游。本发明可以帮助人们直观的了解三维场景，工作人员只需要进行简单的路径设置，就可以进行场景的漫游。

Description

基于点云的三维场景漫游系统的建立方法

技术领域

本发明是关于一种基于点云的三维场景漫游系统的建立方法，涉及基于点云的三维重建技术和计算机图形学技术领域。

背景技术

我们生活在一个三维的世界里，每个物体都有其在三维空间中的位置、形状、颜色等属性。传统记录三维世界信息的方法有绘图，拍照等，但是这些记录三维场景的方法速度慢，能够记录的信息有限，而且都是2D数据，不够直观。随着三维激光扫描技术的快速发展，基于点云数据的三维场景重建受到越来越多的关注。三维激光扫描设备可以对任意形状的物体进行扫描，而且具有速度快、精度高、全自动、数字化等特点。对于需要精确描述的复杂场景和精确表示的物体轮廓，比如对桥梁、建筑物、工厂等对象，三维激光扫描技术相对于传统的三维重建方法具有更大的优势。

在获取三维场景的点云数据之后，一个重要的步骤就是三维场景重建，包括点云配准、异常点去除、点云平滑以及纹理贴图等步骤。目前，大部分系统仅仅侧重于基于点云数据进行三维场景的重建，但是在重建之后很少能对场景中重点物体进行再处理和场景漫游。除此之外，大部分三维场景漫游系统都无法实现自动化，很多都需要特殊的处理软件比如Photoshop进行场景处理，或者需要工作人员编写脚本来设置路径，这就大大增加了工作人员的工作量，且操作难度极大。为了达到较好的漫游效果，还需要工作人员花费大量时间进行前期的学习。

发明内容

针对上述问题，本发明的目的是提供一种交互式的基于点云的快速三维场景漫游系统的建立方法，能够实现自动化的三维场景漫游。

为实现上述目的，本发明采取以下技术方案：一种基于点云的三维场景漫游系统的建立方法，其特征在于包括以下内容：

1)读取三维场景点云数据作为输入数据，基于输入数据进行三维场景绘制；

2)根据场景观察对象，对三维场景中热点信息进行添加及编辑；

3)将绘制的三维场景与无人机航拍对应三维场景的俯视图结合进行交互，按照设置的漫游路径进行三维场景漫游。

进一步地，所述步骤1)的具体过程为：1.1)读取三维场景点云文件，按照.pts文件的格式读取点云的三维坐标、颜色和光照强度值；1.2)在绘制三维场景之前，设置相机的位置和朝向，并设置场景的缩放倍数；1.3)利用OpenGL中的绘制管线对三维场景进行绘制，在绘制的过程中通过鼠标和键盘按键实现三维场景的旋转、平移和缩放。

进一步地，所述步骤1.3)对三维场景进行绘制采用分割原始点云、有条件绘制点云分块的绘制方法，具体过程为：将原始点云分割成空间上尺寸不一、容量不同、相互交错的区块，每帧计算各区块与相机位置的距离，通过比较该距离与区块几何规模，决定是否绘制该区块的点云，逐步完成三维场景绘制。

进一步地，所述步骤2)的具体过程为：2.1)如果已经设置了该三维场景对应的热点信息，漫游时读取已有的热点信息；2.2)当用户想要新加入热点数据时，在三维场景中鼠标点击选择物体三维坐标，然后读入热点图片，然后在文本框中录入热点的描述信息保存，实际存储时，热点采用XML格式的文件，该文件存储热点物体的代号和名称信息，图示栏存储文件路径，位置栏存储三维向量坐标，备注栏存储字符串明文；2.3)利用OpenGL绘制三维场景时，当视椎体包含热点时，热点会以缩略图的形式出现，用户通过鼠标可以点击热点，弹出热点对应的图片和详细的备注信息。

进一步地，所述步骤3)的具体过程为：3.1)通过捕捉使用者依次点击的各点坐标设置漫游路径，得到一个二维多边形，第三维坐标由当前视角确定，得到三维场景中一条封闭曲线；3.2)在开始路径漫游之前，需要通过鼠标在无人机航拍对应三维场景的俯视图上设定观察位置和观察角度后进入场景漫游；3.3)沿设定路径进行移动漫游；3.4)在漫游过程中，用户可以随时暂停漫游，并利用鼠标在暂停位置旋转视角或者进行距离测量；3.5)漫游路径存储：漫游结束后，采用指令序列式存储漫游路径：[(pos1,vec1),(pos2,vec2),speed]存储了某线段漫游路径，其中，pos1、vec1和pos2、vec2分别代表初始位置、朝向和结束位置、朝向，speed代表漫游时的运动速度。

本发明由于采取以上技术方案，其具有以下优点：1、本发明将绘制的三维场景与无人机航拍对应三维场景的俯视图结合进行交互，按照设置的漫游路径进行三维场景漫游，可以帮助人们直观的了解三维场景，工作人员只需要进行简单的路径设置，就可以进行场景的漫游。2、本发明场景控制和三维漫游系统大大减少了用户的学习时间和对知识储备的要求，同时可以在短时间内从漫游过程中获取到丰富的场景信息。3、本发明可以在三维场景中添加热点信息，突出显示场景中的重要物体和有关描述，并通过高亮显示热点，使其在漫游过程中起重点显示与内容提示作用。4、本发明通过文件系统存储漫游的过程，能够快速恢复已进行的漫游，并采用明文存储提供新的路径修改方式，提高系统的易用性与可编辑性。5、为了应对大范围的三维场景，本发明还实现了2D地图与三维场景的半自动对齐功能，在一些大范围的三维场景重建中，把无人机拍摄的场景俯视图作为2D地图读入到系统中，通过简单的标定就可以自动实现2D地图与场景的对齐，此时，只要在2D地图上进行简单的路径设定，同样可以实现三维场景的漫游功能。

附图说明

图1是本发明基于点云的三维场景漫游系统的建立方法流程图；

图2是本发明的三维场景绘制流程图；

图3是本发明的热点编辑流程图；

图4是本发明的路径漫游流程图。

具体实施方式

以下结合附图来对本发明进行详细的描绘。然而应当理解，附图的提供仅为了更好地理解本发明，它们不应该理解成对本发明的限制。

如图1所示，本发明提供的基于点云的三维场景漫游系统的建立方法，包括以下内容：

1、场景控制：读取三维场景点云数据作为场景控制的输入数据，基于输入数据进行三维场景绘制。

在得到Leica ScanStation C10三维激光扫描仪的点云数据之后，可以利用LeicaCyclone对场景进行标定处理，这样就可以得到最后的三维场景点云数据。这个三维场景点云数据作为场景控制的输入数据，点云数据文件为.pts格式数据，每一行包含每个点的三维位置，RGB颜色值和光照强度值。

如图2所示，三维场景绘制的详细步骤：

1)读取点云文件，按照.pts文件的格式读取点云的三维坐标、颜色和光照强度值。

2)在绘制三维场景之前，设置观察相机的位置和朝向，并设置场景的缩放倍数。

3)利用OpenGL中的绘制管线对场景进行绘制，在绘制的过程中可以通过鼠标和键盘按键实现三维场景的旋转、平移和缩放功能。这些控制功能依赖于观察视角与模型的几何变换，这些变换能以矩阵形式表示。为实现自由视角观察，最终绘制的点云各点坐标D_out将由原始坐标D_ori乘上模型变换矩阵M、观察变换矩阵V、投影变换矩阵P得到：

D_out＝P*V*M*D_ori。

模型旋转可由鼠标移动事件抽象为绕轴v旋转角度θ的变换，可由矩阵M_θ,v表示，变换后的模型矩阵M′＝M*M_θ,v。观察相机移动可由键盘按键抽象为向方向f平移距离d的变换，可由矩阵V_f,d表示，变换后的观察矩阵V′＝V*V_f,d。观察相机的旋转与模型旋转类似，变换后的矩阵V′＝V*V_θ,v。其中每个矩阵都是四阶矩阵，坐标为齐次坐标。

在绘制完三维场景后，可以读取无人机航拍对应三维场景的俯视图(俯视场景采用无人机航拍获取的真实图片拼接而成)。人工标定三维场景和俯视图，使得俯视图二维坐标与三维场景三维坐标通过比例尺一一对应，这样可以直观呈现观察位置，提高漫游真实性。利用鼠标可以拖动地图，标定观察绘制和方向，从而改变观察相机的位置，改变看到的场景。这样就可以实现在俯视图中移动观察位置的同时可以改变三维场景的三维画面，三维场景的变换也将改变俯视图中标定的观察位置。

其中，计算机绘制图像采用按帧绘制，场景变换时，保证稳定且不低于每秒24帧的帧率是画面流畅的必要条件。面对原始数据量庞大的复杂场景，受限于计算机性能的图像绘制过程对系统实时性构成挑战。为加速三维场景实时绘制，本发明提出分割原始点云、有条件绘制点云分块的三维场景绘制方法，具体过程为：将原始点云分割成空间上尺寸不一、容量不同、相互交错的区块，每帧计算各区块与观察位置的距离，通过比较该距离与区块几何规模，决定是否绘制该区块的点云，逐步完成三维场景绘制，通过这种有条件的绘制手段，能减少每帧绘制的点云总规模，达到加速的目的。

2、热点编辑：根据场景观察对象，对三维场景中热点信息进行添加及编辑。

漫游时，除了以第一人称视角观察三维场景全貌，使用者还会重点关注某些特定区域或物体，如博物馆场景中的展品、犯罪现场场景中的证物、街道场景中的店铺，现将这些重点关注的对象统一命名为热点。漫游时，能将热点属性呈现给使用者，可以采用高亮表示，达到突出重点、优化体验的目的。这些热点对应的图片和相关描述可以录入系统中并保存。本发明将热点属性分为位置、图片和备注三部分。

如图3所示，本发明的热点编辑的具体过程为：

1)如果文件系统已经存储了该三维场景对应的热点信息，那么可以从文件系统中读取已有的热点信息。

2)当用户想要新加入热点数据时，可以在三维场景中鼠标点击选择物体三维坐标，然后读入热点图片，然后再文本框中录入热点的描述信息，最后保存到文件系统中去。实际存储时，采用XML格式的文件，该文件会存储热点物体的代号、名称、以及其他详细信息。图示栏存储文件路径，位置栏存储三维向量坐标，备注栏存储字符串明文。

3)利用OpenGL绘制三维场景时，当视椎体包含热点时，热点会以缩略图的形式出现。用户通过鼠标可以点击热点，就会弹出热点对应的图片和详细的备注信息。这种交互方式满足了使用者查询热点信息的需求。

3、路径漫游：将绘制的三维场景与无人机航拍对应三维场景的俯视图结合进行交互，按照设置的漫游路径进行三维场景漫游。

本发明的一个重要组成部分就是场景漫游功能。本发明将三维场景与场景俯视图结合，并提供交互功能，除了呈现当前观察状态的三维画面，还提供标定观察位置与三维场景关系的俯视画面。如图4所示，路径漫游提供了路径设置、沿路径移动、路径保存三部分功能，以下是详细的步骤：

1)路径设置，是由使用者从俯视图设置大致的漫游路径。通过捕捉使用者依次点击的各点坐标形成漫游路径，得到一个二维多边形。第三维坐标由当前视角确定，由此得到三维场景中一条封闭曲线。

2)在开始路径漫游之前，需要通过鼠标在俯视图(地图)上设定观察位置(视点)和观察角度(视角)，接下来就可以点击“开始漫游”，进行场景漫游了。

3)在沿设定路径移动过程中，为了提高漫游真实感，本发明在沿多边形移动的基础上，改进为沿多边形确定的B样条曲线移动。以多边形各点为控制点，可形成一条闭合的B样条曲线。该曲线比多边形光滑，沿该曲线移动将使得漫游时观察变换更顺滑，改进使用者体验。由于计算机图像逐帧绘制，需离散地定义当前帧的观察状态。将B样条曲线按长度均匀分割成K段，各分割点记为A_i(0<i<K)。连接线段A_iA_i+1(记A_K+1＝A₀)得到多边形D。多边形D比使用者确定的多边形更精细光滑，同样能改善观察变换的顺滑程度。漫游时，观察坐标沿D均匀移动，步进距离为定值d。观察相机方向(对应观察的正前方方位)从B样条曲线在点A_i的切向向点A_i+1的切向均匀变化。设B样条曲线在点A_i切向为τ_i，则观察坐标移动到线段A_iA_i+1上点A^*时，相机方向

4)在漫游过程中，用户可以随时暂停漫游，并利用鼠标在暂停位置旋转视角或者进行距离测量工作。目前，实现了场景中两点之间的长度测量功能。用户可以点击场景中任意两个点，根据OpenGL的投影函数可以得出对应的三位坐标值，然后根据以下方程得出两点之间的距离。

其中，A点坐标为(x_A、y_A、z_A)，B点的坐标为(x_B、y_B、z_B)。

5)路径存储：

本发明还提供了漫游路径的存储功能。在步骤3)分割漫游路径后，会将拟合平滑曲线的线段数据逐段存储至文件系统。为了方便阅读和修改，采用指令序列式明文存储，[(pos1,vec1),(pos2,vec2),speed]存储了线段AB这一段漫游路径，其中pos1、vec1和pos2、vec2分别代表初始位置、朝向和结束位置、朝向。speed作为可选参数，代表漫游时的运动速度。

上述各实施例仅用于说明本发明，其中方法的各实施步骤都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。

Claims (5)

1.一种基于点云的三维场景漫游系统的建立方法，其特征在于包括以下内容：

1)读取三维场景点云数据作为输入数据，基于输入数据进行三维场景绘制；

2)根据场景观察对象，对三维场景中热点信息进行添加及编辑；

3)将绘制的三维场景与无人机航拍对应三维场景的俯视图结合进行交互，按照设置的漫游路径进行三维场景漫游。

2.如权利要求1所述的基于点云的三维场景漫游系统的建立方法，其特征在于，所述步骤1)的具体过程为：

1.1)读取三维场景点云文件，按照.pts文件的格式读取点云的三维坐标、颜色和光照强度值；

1.2)在绘制三维场景之前，设置相机的位置和朝向，并设置场景的缩放倍数；

1.3)利用OpenGL中的绘制管线对三维场景进行绘制，在绘制的过程中通过鼠标和键盘按键实现三维场景的旋转、平移和缩放。

3.如权利要求2所述的基于点云的三维场景漫游系统的建立方法，其特征在于，所述步骤1.3)对三维场景进行绘制采用分割原始点云、有条件绘制点云分块的绘制方法，具体过程为：将原始点云分割成空间上尺寸不一、容量不同、相互交错的区块，每帧计算各区块与相机位置的距离，通过比较该距离与区块几何规模，决定是否绘制该区块的点云，逐步完成三维场景绘制。

4.如权利要求1所述的基于点云的三维场景漫游系统的建立方法，其特征在于，所述步骤2)的具体过程为：

2.1)如果已经设置了该三维场景对应的热点信息，漫游时读取已有的热点信息；

2.2)当用户想要新加入热点数据时，在三维场景中鼠标点击选择物体三维坐标，然后读入热点图片，然后在文本框中录入热点的描述信息保存，实际存储时，热点采用XML格式的文件，该文件存储热点物体的代号和名称信息，图示栏存储文件路径，位置栏存储三维向量坐标，备注栏存储字符串明文；

2.3)利用OpenGL绘制三维场景时，当视椎体包含热点时，热点会以缩略图的形式出现，用户通过鼠标可以点击热点，弹出热点对应的图片和详细的备注信息。

5.如权利要求1所述的基于点云的三维场景漫游系统的建立方法，其特征在于，所述步骤3)的具体过程为：

3.1)通过捕捉使用者依次点击的各点坐标设置漫游路径，得到一个二维多边形，第三维坐标由当前视角确定，得到三维场景中一条封闭曲线；

3.2)在开始路径漫游之前，需要通过鼠标在无人机航拍对应三维场景的俯视图上设定观察位置和观察角度后进入场景漫游；

3.3)沿设定路径进行移动漫游；

3.4)在漫游过程中，用户可以随时暂停漫游，并利用鼠标在暂停位置旋转视角或者进行距离测量；

3.5)漫游路径存储：漫游结束后，采用指令序列式存储漫游路径：[(pos1,vec1),(pos2,vec2),speed]存储了某线段漫游路径，其中，pos1、vec1和pos2、vec2分别代表初始位置、朝向和结束位置、朝向，speed代表漫游时的运动速度。