CN107194985A - 一种面向大场景的三维可视化方法及装置 - Google Patents

Abstract

本发明提供一种面向大场景的三维可视化方法及装置。包括：S1，基于大场景的视频数据及扫描数据，获取所述大场景的图像序列；S2，基于所述图像序列，进行图像特征提取与匹配、稀疏重建和稠密三维重建，获取所述大场景的三维数据；S3，基于所述三维数据，进行三维建模。本发明所述方法特别适合大场景或古遗址的三维重建，可以生动有效的还原场景下的真实物貌及人文历史信息。

Description

一种面向大场景的三维可视化方法及装置

技术领域

本发明涉及三维场景建模领域，更具体地，涉及一种面向大场景的三维可视化方法及装置。

背景技术

古遗址年代久远，历经沧桑，存在严重的变形或破损，再加上人为因素的破坏，面临着逐渐消亡的困境。另外，由于遗址在破损过程中许多重要信息丢失，这给考古工作者也带来了极大的影响。为了保护古遗址，需要在一定程度对古遗址进行复原。

随着人们要求的提高，原有的二维信息已不能满足需求，那么三维可视化技术便发挥了极大的作用。快速、高效的数据模型，流畅、逼真的三维场景渲染方式，日益成为一种新的信息传递方式。结合三维可视化技术，实现古遗址信息的数字化存储，建立树木、地形、天空、建筑等三维模型。

目前，手动或者自动的古遗址重建技术成为主要的研究领域。一般模型三维重建的方式有以下三种，主要包括基于激光扫描仪等设备的三维重建方法、基于多幅照片的建模方法和手动建模的方法。

激光扫描仪可直接获取各种实体或实景的三维数据，得到被测物体表面的采样点集合“点云”，具有快速、准确的特点。基于点云模型的数据和距离影像数据可以快速重构出目标的三维模型，并能获得三维空间的线、面、体等各种实验数据，如虚拟现实等。

基于多幅照片的建模方法是利用单反照相机采集模型的序列图像，进行预处理、摄像机标定、点云模型生成、点云三角化等步骤，实现对古遗址的实景建模。

手动建模即使用3DSMax等工具，构建包含大场景模型基础构建以及建筑等三维模型。

然而，在大场景重建中，能让遗址等现实中存在事物的三维建模达到严格忠实于原地貌的要求，包括几何外形、纹理、颜色、材质等信息。不管数字化的对象在现实中是否存在原型，都应该满足客观性的要求。

发明内容

本发明提供一种克服上述问题或者至少部分地解决上述问题的面向大场景的真实感建模方法及装置。

根据本发明的一个方面，提供一种面向大场景的三维可视化方法，包括：

S1，基于大场景的视频数据及扫描数据，获取所述大场景的图像序列；

S2，基于所述图像序列，进行图像特征提取与匹配、稀疏重建和稠密三维重建，获取所述大场景的三维数据；

S3，基于所述三维数据进行三维建模。

根据本发明的另一个方面，还提供一种面向大场景的三维可视化装置，包括：

图像序列模块，用于基于大场景的视频数据及扫描数据，获取所述大场景的图像序列；

三维数据模块，用于基于所述图像序列，进行图像特征提取与匹配、稀疏重建和稠密三维重建，获取所述大场景的三维数据；以及

建模交互模块，用于基于所述三维数据进行三维建模。

本发明提出一种面向大场景的三维可视化方法装置，将复杂场景拍摄成的视频或扫描件，处理成图像序列；利用基于图像建模的三维重建方法处理为三维点云数据，并通过主流三维软件的接口实时绘制并渲染出三维场景模型。本发明所述方法特别适合大场景或古遗址的三维重建，可以生动有效的还原场景下的真实物貌及人文历史信息。

附图说明

图1为本发明实施例一种面向大场景的三维可视化方法流程图；

图2为本发明实施例HTC Vive定位原理示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，一种面向大场景的三维可视化方法，包括：

S1，基于大场景的视频数据及扫描数据，获取所述大场景的图像序列；

S2，基于所述图像序列，进行图像特征提取与匹配、稀疏重建和稠密三维重建，获取所述大场景的三维数据；

S3，基于所述三维数据进行三维建模。

本实施例将复杂场景拍摄成的视频或扫描件，处理成图像序列；利用基于图像建模的三维重建方法处理为三维点云数据，并通过主流三维软件的接口实时绘制并渲染出三维场景模型。本发明所述方法特别适合大场景或古遗址的三维重建，可以生动有效的还原场景下的真实物貌及人文历史信息。

具体的，所述视频数据及扫描数据包括：所述大场景的地形、遗址、宫殿、景区以及文物的视频数据或者扫描数据。

在对大场景进行三维可视化前，需要收集整理得到带扫描的大场景基本情况和文化历史内容。初步确定现有大场景的地形地貌图片、视频的正确性；对示范点涵盖的遗址、宫殿、景区、文物的原始材料进行数字化采集与整理。

在一个实施例中，所述S1进一步包括：

基于预定的相似度策略，利用关键帧提取算法提取所述视频数据及扫描数据的关键图像帧；基于所述关键图像帧生成图像序列。

本实施例中，由于视频数据本质上是由大量连贯的图像帧组成，具有大量相似的图像，连续图像之间的相似度太高以至于区别度太低，并且图像帧的数据量过大，不利于后续处理，因此通过关键帧提取算法对视频数据进行甄选和提取，甄选需要按照一定的相似度策略进行，具体相似度策略可以根据实际情况和处理的需要而定，本实施例对此不作限定。当然也可以对扫描数据进行同样甄选提取。

所述关键帧提取算法的原理为：

摄像镜头通常是在一个场景下拍摄的，所以一个镜头下的各帧图像会有相当多的重复信息。因此，通常选取能够描述镜头主要内容的帧，作为关键帧，来简洁的表达镜头。一个镜头可以有一个或多个关键帧，这取决于镜头内容的复杂程度。

提取关键帧的目的有两个方面：(1)静态表示视频节目的主题和主要内容，而不是动态的细节。(2)从关键帧中提取颜色、纹理和形状特征，以作为视频摘要和数据库索引的数据源，而不需要对每个画面都重复。因此，关键帧应该具有代表性，不仅应代表主题方面的特征，还应该视特征的不同而不同。因此，对关键帧的选取一般采用保守原则，即“宁多勿少”。同时，在代表特征不具体的情况一下，一般去掉重复(或冗余)帧。当选取多幅关键帧时，用于关键帧选取的准则是优先考虑关键帧之间的不相似性，即以帧之间相似度作为衡量依据，每次寻找关键帧都保证各关键帧之间具有最小相似度，以使关键帧带有最大信息量。

在一个实施例中，S2中所述图像特征提取与匹配包括：

基于所述图像序列的每一幅图像，从所述每一幅图像中提取特征点或特征线，所述特征点或特征线为真实场景三维空间在每一幅图像上的投影；

在所述图像序列的所有图像中获取与所述特征点或特性线的对应部分，以进行图像匹配。

本实施例中，特征提取与匹配是三维重建的第一步，它的准确度将会影响后续三维重建结果的真实性和准确性。主要解决图像匹配问题。首先需要从图像中提取特征点或线作为三维重建的基元，然后在不同的图像中找到这些基元的对应，这些基元实际上是真实场景三维空间在各个图像上的投影。

对图像序列采用尺度不变特征变换法(即SIFT)进行特征点检测与匹配，得到序列图像特征点匹配集合。SIFT是一种计算机视觉算法，用来检测与描述图像中的局部性特征。首先在尺度空间中寻找极值点，然后使用高斯差分算子建立图像的多尺度表示，确定特征点的位置、尺度和方向参数，并生成描述符算子。

确定图像区域特征可以使用DOG(高斯差分算子)，如下所示：

DOG＝[G(x,y,kσ)-G(x,y,σ)]

其中，x为图像像素点的横坐标，y为图像像素点的纵坐标，σ为尺度参数。

在一个实施例中，S2中所述稀疏重建和稠密三维重建包括：

基于所述图像特征提取与匹配得到的特征点或特征线，根据三角测量原理恢复所述特征点或特征线的深度信息，以获得物体表面特征点的种子面片；

基于所述种子面片进行扩散，当扩散的种子面片能将物体或场景的表面全部覆盖时停止扩散，获得稠密面片；

基于灰度一致性和几何可见性，过滤掉所述稠密面片中错误的面片。

本实施例通过采用基于面片模型的基于面片的三维立体重建算法(即PMVS算法)通过匹配、扩展、过滤三个阶段来完成密集匹配同时生成稠密三维点云。

PMVS算法是指基于面片的三维立体重建算法，其中心思想是通过特征点提取与匹配得到物体或景物的稀疏的三维点云，用带有法向量的矩形面片模型对其进行描述，并进行面片扩散和过滤得到稠密的三维点云模型。

该算法首先检测每幅图像中的特征点，然后匹配这些特征点并根据三角测量原理恢复这些点的深度信息，从而得到物体表面特征点的稀疏三维点云，用面片表示这些空间点，称之为种子面片。然后从种子面片开始进行扩散，知道得到的稠密面片能够将物体或场景的表面全部覆盖为止。但扩散的面片中含有错误的面片，因此在扩散后再根据灰度一致性、几何可见性将错误面片滤除。PMVS算法重复执行扩散和过滤操作，来提高重建的精度。

在一个实施例中，S3中所述三维建模包括：对于所述大场景内的建筑轮廓和墙体采用多边形建模方法，对屋顶和屋脊等采用面片建模方法。

本实施例中，关于大场景或古遗址的实体模型分别采用不同的构建方法，以取得更精确的效果。

在一个实施例中，所述S3进一步包括：

基于HTC Vive集成化运动传感器，实现所述大场景的三维可视化交互，所述交互包括定位追踪和运动捕捉；

在所述三维处理软件中进行物理碰撞效果的设置。

本实施例中，交互是实现三维可视化展示中的关键之一，不同于以往的键盘鼠标以及触摸屏的交互控制。提出了使用虚拟现实设备的方法，即用户可以通过虚拟现实交互设备的头盔拓宽用户的视野，更好的置身于漫游中；手柄可以实现前后左右行走；同时，设备会利用激光和光敏传感器对用户进行定位，用户可以随意走动来切换虚拟场景中的视角，摆脱过去的鼠标键盘交互，增加了虚拟现实的“3I”特性，即沉浸性、交互性和想象性。

交互式虚拟现实系统的一个关键组成部分是硬件，它允许不同类型的设备输入。本文用到的是HTC Vive集成化运动传感器。

HTC Vive相对于其他虚拟现实交互设备，HTC Vive的先进之处在于Lighthouse室内定位技术。精准的红外追踪系统，配合头显和手柄上的数十个定位追踪装置，以及头显上的定位摄像头，可以在毫秒级别内实现目标的定位追踪和运动捕捉，带来实时的画面反馈和动作识别。

具体的，本实施例HTC Vive集成化运动传感器的定位原理如下图2所示，主要包括激光扫射、感应器信号接收、有效接收点判定、数据运算和坐标输出等步骤。

本发明还提供一种面向大场景的三维可视化装置，包括：

图像序列模块，用于基于大场景的视频数据及扫描数据，获取所述大场景的图像序列；

三维数据模块，用于基于所述图像序列，进行图像特征提取与匹配、稀疏重建和稠密三维重建，获取所述大场景的三维数据；以及

建模交互模块，用于基于所述三维数据，利用三维处理软件进行三维建模，并加入交互功能。

在一个实施例中，所述三维数据模块进一步包括特征提取与匹配模块，所述特征提取与匹配模块包括：特征提取单元，用于基于所述图像序列的每一幅图像，从所述每一幅图像中提取特征点或特征线，所述特征点或特征线为真实场景三维空间在每一幅图像上的投影；以及

图像匹配单元，用于在所述图像序列的所有图像中获取与所述特征点或特性线的对应部分，以进行图像匹配。

在一个实施例中，所述三维数据模块进一步包括稀疏稠密重建模块，所述稀疏稠密重建模块包括：

种子面片单元，用于基于所述图像特征提取与匹配得到的特征点或特征线，根据三角测量原理恢复所述特征点或特征线的深度信息，以获得物体表面特征点的种子面片；

稠密面片单元，用于基于所述种子面片进行扩散，当扩散的种子面片能将物体或场景的表面全部覆盖时停止扩散，获得稠密面片；以及

过滤单元，用于基于灰度一致性和几何可见性，过滤掉所述稠密面片中错误的面片。

本发明提出一种面向大场景的三维可视化装置，将复杂场景拍摄成的视频或扫描件，处理成图像序列；利用基于图像建模的三维重建方法处理为三维点云数据，并通过主流三维软件的接口实时绘制并渲染出三维场景模型。本发明所述方法特别适合大场景或古遗址的三维重建，可以生动有效的还原场景下的真实物貌及人文历史信息，同时通过3D交互功能提高用户体验。

最后，本发明的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种面向大场景的三维可视化方法，其特征在于，包括：

S1，基于大场景的视频数据及扫描数据，获取所述大场景的图像序列；

S2，基于所述图像序列，进行图像特征提取与匹配、稀疏重建和稠密三维重建，获取所述大场景的三维数据；

S3，基于所述三维数据进行三维建模。

2.如权利要求1所述的方法，其特征在于，所述视频数据及扫描数据包括：所述大场景的地形、遗址、宫殿、景区以及文物的视频数据或者扫描数据。

3.如权利要求1所述的方法，其特征在于，所述S1进一步包括：

基于预定的相似度策略，利用关键帧提取算法提取所述视频数据及扫描数据的关键图像帧；

基于所述关键图像帧生成图像序列。

4.如权利要求1所述的方法，其特征在于，S2中所述图像特征提取与匹配包括：

基于所述图像序列的每一幅图像，从所述每一幅图像中提取特征点或特征线，所述特征点或特征线为真实场景三维空间在每一幅图像上的投影；

在所述图像序列的所有图像中获取与所述特征点或特性线的对应部分，以进行图像匹配。

5.如权利要求4所述的方法，其特征在于，S2中所述稀疏重建和稠密三维重建包括：

基于所述图像特征提取与匹配得到的特征点或特征线，根据三角测量原理恢复所述特征点或特征线的深度信息，以获得物体表面特征点的种子面片；

基于所述种子面片进行扩散，当扩散的种子面片能将物体或场景的表面全部覆盖时停止扩散，获得稠密面片；

基于灰度一致性和几何可见性，过滤掉所述稠密面片中错误的面片。

6.如权利要求1所述的方法，其特征在于，S3中所述三维建模包括：对于所述大场景内的建筑轮廓和墙体采用多边形建模方法，对屋顶和屋脊等采用面片建模方法。

7.如权利要求1所述的方法，其特征在于，所述S3进一步包括：

基于HTC Vive集成化运动传感器，实现所述大场景的三维可视化交互，所述交互包括定位追踪和运动捕捉；

在三维处理软件中进行物理碰撞效果的设置。

8.一种面向大场景的三维可视化装置，其特征在于，包括：

图像序列模块，用于基于大场景的视频数据及扫描数据，获取所述大场景的图像序列；

三维数据模块，用于基于所述图像序列，进行图像特征提取与匹配、稀疏重建和稠密三维重建，获取所述大场景的三维数据；以及

建模交互模块，用于基于所述三维数据，利用三维处理软件进行三维建模，并加入交互功能。

9.如权利要求8所述的装置，其特征在于，所述三维数据模块进一步包括特征提取与匹配模块，所述特征提取与匹配模块包括：特征提取单元，用于基于所述图像序列的每一幅图像，从所述每一幅图像中提取特征点或特征线，所述特征点或特征线为真实场景三维空间在每一幅图像上的投影；以及

图像匹配单元，用于在所述图像序列的所有图像中获取与所述特征点或特性线的对应部分，以进行图像匹配。

10.如权利要求9所述的装置，其特征在于，所述三维数据模块进一步包括稀疏稠密重建模块，所述稀疏稠密重建模块包括：

种子面片单元，用于基于所述图像特征提取与匹配得到的特征点或特征线，根据三角测量原理恢复所述特征点或特征线的深度信息，以获得物体表面特征点的种子面片；

稠密面片单元，用于基于所述种子面片进行扩散，当扩散的种子面片能将物体或场景的表面全部覆盖时停止扩散，获得稠密面片；以及

过滤单元，用于基于灰度一致性和几何可见性，过滤掉所述稠密面片中错误的面片。