CN106548516B - 三维漫游方法和装置 - Google Patents

Abstract

本发明公开了一种三维漫游方法，所述三维漫游方法包括步骤：基于采集的点云数据建立三维网格模型；根据采集的各个视点的全景图对所述三维网格模型进行纹理贴图处理，生成三维漫游场景；基于所述三维漫游场景进行三维漫游。本发明还公开了一种三维漫游装置。由于在漫游时所观看到的是三维漫游场景中的景象，而不是预先定义好的动画，从而本发明在视点间进行三维漫游时能够自由改变视角，且真实感较好。

Description

三维漫游方法和装置

技术领域

本发明涉及到图像处理技术领域，特别涉及到一种三维漫游方法和装置。

背景技术

基于全景图的虚拟现实系统由于具有硬件要求低、真实感较好等优点,目前正越来越广泛地应用在各个领域。全景图技术是一种虚拟现实技术，它可模拟用户处于真实场景某一位置的现场视觉感受，沉浸感强烈，给用户带来身临其境的用户体验，具有重要的应用价值。

视点是指用户某一时刻在虚拟场景中的观察点，在生成虚拟场景中起到管理全景图的作用。全景图漫游主要分为固定视点内漫游和不同视点间漫游。固定视点内漫游基于单张全景图即可实现，技术相对已经成熟，但是只能基于固定的视点漫游，不能实现点对点移动。不同视点间漫游可以模拟人在固定视角下的点对点移动，即可以模拟从一个视点迁移至另一个视点时看到的动态景象。对于不同视点间漫游，现有技术中一般通过画中游技术、图像特征点匹配算法等实现，在从一视点至另一视点的漫游过程中所观看到的动态景象一般均是预先定义好的动画，无法在两视点之间的某一位置自由改变视角。

发明内容

本发明实施例提供一种三维漫游方法和装置，旨在解决在视点间漫游时无法自由改变视角的技术问题。

为实现上述目的，本发明实施例提出三维漫游方法，所述三维漫游方法包括步骤：

基于采集的点云数据建立三维网格模型；

根据采集的各个视点的全景图对所述三维网格模型进行纹理贴图处理，生成三维漫游场景；

基于所述三维漫游场景进行三维漫游。

为了实现上述目的，本发明实施例还进一步提出一种三维漫游装置，所述三维漫游装置包括：

建立模块，用于基于采集的点云数据建立三维网格模型；

生成模块，用于根据采集的各个视点的全景图对所述三维网格模型进行纹理贴图处理，生成三维漫游场景；

漫游模块，用于基于所述三维漫游场景进行三维漫游。

本发明提出的三维漫游方法和装置，通过基于采集的点云数据建立三维网格模型，并根据采集的各个视点的全景图对所述三维网格模型进行纹理贴图处理，生成三维漫游场景，然后基于所述三维漫游场景进行三维漫游。由于在漫游时所观看到的是三维漫游场景中的景象，而不是预先定义好的动画，从而在视点间进行三维漫游时能够自由改变视角，且真实感较好。

附图说明

图1为本发明实施例三维漫游装置所涉及的硬件架构示意图；

图2为本发明三维漫游方法的第一实施例的流程示意图；

图3为本发明三维漫游方法的第二实施例的流程示意图；

图4为本发明三维漫游方法第二实施例中建立三维网格模型步骤第一种方案的细化流程示意图；

图5为本发明三维漫游方法第二实施例中建立三维网格模型步骤第二种方案的细化流程示意图；

图6为本发明三维漫游方法的第四实施例的流程示意图；

图7为本发明三维漫游装置的第一实施例的功能模块示意图；

图8为本发明三维漫游装置第二实施例中建立模块的第一细化功能模块示意图；

图9为本发明三维漫游装置第二实施例中建立模块的第二细化功能模块示意图；

图10为本发明三维漫游装置的第四实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：基于采集的点云数据建立三维网格模型；根据采集的各个视点的全景图对所述三维网格模型进行纹理贴图处理，生成三维漫游场景；基于所述三维漫游场景进行三维漫游。

由于现有的三维漫游方式在漫游过程中所观看到的动态景象一般是预先定义好的动画，从而导致无法在两视点之间的某一位置自由改变视角。

本发明实施例架构一三维漫游装置，该工具基于采集的点云数据建立三维网格模型，并根据采集的各个视点的全景图对所述三维网格模型进行纹理贴图处理，生成三维漫游场景，基于所述三维漫游场景进行三维漫游，从而在视点间进行三维漫游时能够自由改变视角。

其中，本实施例三维漫游装置可以承载于服务器也可承载于终端，终端例如可以为计算机、手机或平板电脑等。本实施例以三维漫游装置承载于服务器为例说明。该三维漫游装置所涉及的硬件架构可以如图1所示。

图1示出了本发明实施例三维漫游装置所涉及的硬件架构。如图1所示，所述三维漫游装置所涉及的硬件包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002，数据接口1006。其中，数据接口1006可以为USB接口或可接收外部数据的通信接口。通信总线1002用于实现该服务器中各组成部件之间的连接通信。用户接口1003可以包括显示屏(Display)、键盘(Keyboard)、鼠标等组件，用于接收用户输入的信息，并将接收的信息发送至处理器1005进行处理。显示屏可以为LCD显示屏、LED显示屏，也可以为触摸屏。可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及三维漫游程序。

在图1所示的服务器所涉及的硬件中，网络接口1004主要用于连接其它应用服务器，与其它应用服务器进行数据通信；用户接口1003主要用于连接客户端，与客户端进行数据通信，接收客户端输入的信息和指令；而处理器1001可以用于调用存储器1005中存储的点云数据的三维漫游处理程序，并执行以下操作：

基于采集的点云数据建立三维网格模型；

根据采集的各个视点的全景图对所述三维网格模型进行纹理贴图处理，生成三维漫游场景；

基于所述三维漫游场景进行三维漫游。

进一步地，在一个实施例中，处理器1001调用存储器1005中存储的点云数据的三维漫游处理程序可以执行以下操作：

所述根据采集的各个视点的全景图对所述三维网格模型进行纹理贴图处理，生成三维漫游场景的步骤包括：分别根据采集的各个视点的全景图对与该视点对应的三维网格模型进行纹理映射与贴图处理，分别生成各个视点对应的三维漫游场景；

所述基于所述三维漫游场景进行三维漫游的步骤包括：基于各个视点对应的三维漫游场景进行三维漫游。

进一步地，在一个实施例中，处理器1001调用存储器1005中存储的点云数据的三维漫游处理程序可以执行以下操作：

分别基于每一视点对采集的点云数据进行平面检测，生成若干平面；

基于所述点云数据确定各个所述平面的边界，以建立各个视点对应的三维网格模型。

进一步地，在一个实施例中，处理器1001调用存储器1005中存储的点云数据的三维漫游处理程序可以执行以下操作：

将采集的点云数据进行分类，得到楼面点云集和地面点云集；

分别基于每一视点对所述楼面点云集的点云数据进行平面检测，生成若干第一类平面；

基于所述楼面点云集的点云数据确定各个所述第一类平面的边界；

分别基于每一视点确定所述地面点云集的点云数据对应的第二类平面；

基于确定边界的各个所述第一类平面和所述第二类平面建立各个视点对应的三维网格模型。

进一步地，每一所述视点对应设有第一预设区域和第二预设区域，所述第一预设区域靠近该视点，所述第二预设区域位于所述第一预设区域和与该视点相邻的相邻视点对应的区域之间；

每一所述视点对应的三维漫游场景包括与所述第一预设区域对应的第一三维漫游场景，以及与所述第二预设区域对应的第二三维漫游场景；所述第一三维漫游场景由该视点的全景图对该视点的三维网格模型进行纹理贴图处理生成；所述第二三维漫游场景由该视点的全景图和相邻视点的全景图对该视点和相邻视点的三维网格模型进行纹理贴图处理生成；

在进行三维漫游的过程中，在当前视点对应的所述第一预设区域内三维漫游时，基于当前视点对应的所述第一三维漫游场景进行三维漫游；在当前视点对应的所述第二预设区域内三维漫游时，基于当前视点对应的第二三维漫游场景进行三维漫游。

进一步地，在生成当前视点对应的第二三维漫游场景时，确定当前视点对应的相邻视点的三维网格模型中的遮挡区域，并利用当前视点对应的全景图对相邻视点的遮挡区域进行纹理贴图处理，利用相邻视点对应的全景图对相邻视点的三维网格模型进行纹理贴图处理，生成相邻视点纹理；利用当前视点对应的全景图对当前视点的三维网格模型进行纹理贴图处理，生成当前视点纹理；根据所述相邻视点纹理和当前视点纹理生成所述第二三维漫游场景。

进一步地，在一个实施例中，处理器1001调用存储器1005中存储的点云数据的三维漫游处理程序可以执行以下操作：

对所述三维网格模型进行网格简化处理，以更新所述三维网格模型。

本实施例根据上述方案，基于采集的点云数据建立三维网格模型；根据采集的各个视点的全景图对所述三维网格模型进行纹理贴图处理，生成三维漫游场景；基于所述三维漫游场景进行三维漫游，从而在视点间进行三维漫游时能够自由改变视角。

基于上述硬件架构，提出本发明三维漫游方法实施例。

如图2所示，提出本发明一种三维漫游方法的第一实施例，所述三维漫游方法包括：

步骤S10，基于采集的点云数据建立三维网格模型；

在本实施例中，可以通过三维激光扫描仪采集街景对应的点云数据。点云数据即为扫描的形式记录的点的集合，每一个点包含有三维坐标。一般情况下，所采集的原始点云数据一般过于密集，优选地，先对采集的点云数据进行采样处理。本实施例中，对采集的点云数据进行下采样处理，以提高后续对点云数据处理的效率。一般来说，经过下采样后的点云数据的点数需少于30万个。

在基于点云数据建立三维网格模型时，可以先对点云数据进行平面检测，生成若干平面，然后再根据点云数据确定生成的平面对应的边界，并生成三维网格模型；或者还可以直接提取点云数据中的关键点，并基于提取的关键点利用三维Delaunay算法建立三维网格模型。

步骤S20，根据采集的各个视点的全景图对所述三维网格模型进行纹理贴图处理，生成三维漫游场景；

在本实施例中，还要预先设置若干视点，每一视点对应采集一全景图。在本实施例中，在采集上述点云数据和全景图时，获取点云数据和全景图对应的视点的地理位置，从而通过一系列坐标变换即可将点云与全景图配准，即点云坐标系的坐标原点和视点重合，且点云坐标系的各个坐标轴与全景图的各个方向也对应起来。根据配置结果，即可将全景图与三维网格模型对应起来，即将全景图的像素点与三维网格模型的各个网格对应起来。根据全景图与三维网格模型的对应关系，即可根据全景图对三维网格模型进行纹理贴图处理。

步骤S30，基于所述三维漫游场景进行三维漫游。

在本实施例中，可以在三维漫游场景中的任何位置进行三维漫游。优选地，为了提高漫游时的真实感，可以在视点以及视点周围漫游，或者在两视点之间进行漫游。在进行三维漫游的过程中，可以通过鼠标在三维漫游场景中点击的方式选择漫游位置，并通过拖动鼠标的方式自由的改变视角，从而实现了视角的自由改变；或者还可以通过键盘选择漫游位置，并通过键盘的方向键自由的改变视角，从而实现了视角的自由改变。

本实施例提出的三维漫游方法，通过基于采集的点云数据建立三维网格模型，并根据采集的各个视点的全景图对所述三维网格模型进行纹理贴图处理，生成三维漫游场景，然后基于所述三维漫游场景进行三维漫游。由于在漫游时所观看到的是三维漫游场景中的景象，而不是预先定义好的动画，从而在视点间进行三维漫游时能够自由改变视角，且真实感较好。

在基于点云数据建立三维网格模型时，可以只建立一个三维网格模型，并在后续处理中基于这一个三维网格模型生成一个三维漫游场景，在各个视点之间漫游时，各个视点可共用这一个三维漫游场景；还可以针对每一个视点分别建立一个三维网格模型，并在后续处理中分别基于每一三维网格模型生成一三维漫游场景，在各个视点之间漫游时，在各个视点对应的三维漫游场景之间切换即可。

作为上述针对每一个视点分别建立一个三维网格模型的实施方式，基于上述三维漫游方法的第一实施例，提出本发明的第二实施例。如图3所示，步骤S10包括：

步骤S11，基于采集的点云数据分别对应每一视点建立一三维网格模型；

建立三维网格模型的方式可以根据实际需要进行设置，例如，可以通过平面检测的方式建立三维网格模型，还可以通过三维Delaunay算法建立三维网格模型。

步骤S20包括：

步骤S21，分别根据采集的各个视点的全景图对与该视点对应的三维网格模型进行纹理映射与贴图处理，分别生成各个视点对应的三维漫游场景；

在本实施例中，每一视点对应建立一三维漫游场景。建立三维漫游场景的方式可以参照上述实施例中的步骤S20，在此不再赘述。

步骤S30包括：

步骤S31，基于各个视点对应的三维漫游场景进行三维漫游。

在本实施例中，在进行三维漫游时，可以将三维漫游场景划分为若干预设区域，每一预设区域对应一视点，在漫游至某一预设区域时，则基于当前预设区域的视点对应的三维漫游场景进行漫游，在由一预设区域切换至另一预设区域时，则将三维漫游场景也切换至另一预设区域的视点对应的三维漫游场景。

优选地，为了进一步提高漫游过程中的真实感，达到平滑切换的效果，还可以采用以下方式进行三维漫游，每一所述视点对应设有第一预设区域和第二预设区域，所述第一预设区域靠近该视点，所述第二预设区域位于所述第一预设区域和与该视点相邻的相邻视点对应的区域之间；

每一所述视点对应的三维漫游场景包括与所述第一预设区域对应的第一三维漫游场景，以及与所述第二预设区域对应的第二三维漫游场景；所述第一三维漫游场景由该视点的全景图对该视点的三维网格模型进行纹理贴图处理生成；所述第二三维漫游场景由该视点的全景图和相邻视点的全景图对该视点和相邻视点的三维网格模型进行纹理贴图处理生成；

在进行三维漫游的过程中，在当前视点对应的所述第一预设区域内三维漫游时，基于当前视点对应的所述第一三维漫游场景进行三维漫游；在当前视点对应的所述第二预设区域内三维漫游时，基于当前视点对应的第二三维漫游场景进行三维漫游。

可选的，所述第二三维漫游场景可以为：通过该视点的全景图对该视点的三维网格模型进行纹理贴图处理，生成第一纹理，然后通过相邻视点的全景图对相邻视点的三维网格模型进行贴图处理，生成第二纹理，基于第一纹理和第二纹理生成第二三维漫游场景。可选的，为了进一步提高平滑切换的效果，所述第二三维漫游场景还可以为：在生成当前视点对应的第二三维漫游场景时，确定当前视点对应的相邻视点的三维网格模型中的遮挡区域，并利用当前视点对应的全景图对相邻视点的遮挡区域进行纹理贴图处理，利用相邻视点对应的全景图对相邻视点的三维网格模型进行纹理贴图处理，生成相邻视点纹理；利用当前视点对应的全景图对当前视点的三维网格模型进行纹理贴图处理，生成当前视点纹理；根据所述相邻视点纹理和当前视点纹理生成所述第二三维漫游场景。在本实施例中，可以通过坐标变换的方式确定相邻视点对应的全景图与当前视点的遮挡区域之间的对应关系。例如，可以利用深度坐标进行映射。还可以对遮挡区域进行降低色差的处理。

优选地，两个相邻视点对应的第二预设区域相邻设置，且两个相邻视点对应的第二预设区域之间的交界面为该两个相邻视点的中垂面。

在由当前视点向下一视点漫游时，在当前视点对应的第一预设区域内，基于当前视点对应的第一漫游场景漫游；在开始进入当前视点对应的第二预设区域内后，当前视点对应的第一三维漫游场景渐渐淡出，当前视点对应的第二三维漫游场景渐渐淡入，直至当前视点对应的第二预设区域与下一视点对应的第二预设区域的交界处时，所述当前视点对应的第一三维漫游场景全部淡出，且当前视点对应的第二三维漫游场景全部淡入；当漫游位置越过当前视点对应的第二预设区域与下一视点对应的第二预设区域的交界处后，且位于下一视点对应的第二预设区域内时，下一视点对应的第一三维漫游场景渐渐淡入，下一视点对应的第二三维漫游场景渐渐淡出；当漫游至下一视点对应的第一预设区域内时，基于下一视点对应的第一三维漫游场景进行漫游。

为便于方案的理解，对于上述步骤S11，以下以两种具体方案进行说明，具体如下：

1)方案一，参照图4，所述步骤S11包括步骤：

步骤S111，分别基于每一视点对采集的点云数据进行平面检测，生成若干平面；

在本实施例中，可以先利用平面检测算法对采集的点云数据进行平面检测，平面检测算法例如可以为随机抽样一致性检测算法。可以检测出若干平面，各个平面对应有几何参数和包含的点集。对于每一个视点来说，分别以每一视点为坐标原点建立坐标系，并通过对应的几何参数表示检测出的各个平面。

由于算法的随机抽样特性，优选地，需要对检测出的各个平面进行后处理，例如，可以将参数较为接近的平面进行合并处理，以及去除与地面不近似垂直的平面等。

步骤S112，基于所述点云数据确定各个所述平面的边界，以建立各个视点对应的三维网格模型。

在本实施例中，可以分别将与各个平面对应的点集中的点投影在该平面上，设定最大距离阈值，并投影点集的凹包，从而得到表示平面范围的多边形，进而确定了各个平面的边界。或者还可以分别将与各个平面对应的点集中的点投影在该平面上，并投影点集的凸包，从而确定各个平面的边界。

在获取到各个平面以及对应的边界后，分别对应每一视点各生成一张与全景图对应的蒙板图像和深度图，从而建立各个视点对应的三维网格模型。所述蒙板图像内表示了各个多边形，且每一多边形内的像素值一致，以表示平面范围，所述深度图表示了各个像素与视点之间的距离。

为了进一步提高三维网格模型的准确性，可以消去蒙板图像中面积较小的连通区域。

此外，为了进一步提高三维网格模型的准确性，还需要对蒙板图像进行膨胀处理，以使得蒙板图像更加接近真实场景。优选地，先对全景图像进行标注处理，并对预先标注的全景图像进行CNN训练。更为优选地，仅对全景图像中的楼面进行标注。利用标注的全景图像对蒙板图像进行膨胀处理，优选地，使用双边滤波的方式对蒙板图像进行膨胀处理。

2)方案二，参照图5，所述步骤S11包括步骤：

步骤S113，将采集的点云数据进行分类，得到楼面点云集和地面点云集；

在本实施例中，可以根据各个点的纵坐标值(即该点距离坐标原点(或视点)的竖向高度)和法向对采集的点云数据进行分类。对于楼面点云集来说，各个点的法向较为一致，且法向大体呈水平状态，与地面或视点相比具有一定的竖向高度；对于地面点云集来说，其各个点的法向也较为一致，且法向大体呈竖直状态。

步骤S114，分别基于每一视点对所述楼面点云集的点云数据进行平面检测，生成若干第一类平面；

在本实施例中，对点云数据进行平面检测的方式可参照上述方案一中的步骤S111，在此不再赘述。

步骤S115，基于所述楼面点云集的点云数据确定各个所述第一类平面的边界；

在本实施例，对各个第一类平面确定边界的方式可参照上述方案一中的步骤S112，在此不再赘述。

步骤S116，分别基于每一视点确定所述地面点云集的点云数据对应的第二类平面；

在本实施例中，可以选取与视点水平距离小于预设距离值的地面点云集中的点，并将选取的点使用最小二乘拟合地平面参数，从而获得地面对应的几何参数，即确定了第二类平面。或者使用平面检测的方式确定几何参数。

步骤S117，基于确定边界的各个所述第一类平面和所述第二类平面建立各个视点对应的三维网格模型。

在确定了第一类平面和第二类平面后，分别基于第一类平面和第二类平面对应每一视点各生成一张与全景图对应的蒙板图像和深度图，从而建立各个视点对应的三维网格模型。所述蒙板图像内表示了各个多边形，且每一多边形内的像素值一致，所述深度图表示了各个像素与视点之间的距离。

为了进一步提高三维网格模型的准确性，可以消去蒙板图像中面积较小的连通区域。

此外，为了进一步提高三维网格模型的准确性，还需要对蒙板图像进行膨胀处理，以使得蒙板图像更加接近真实场景。优选地，先对全景图像进行标注处理，并对预先标注的全景图像进行CNN训练。更为优选地，仅对全景图像中的楼面进行标注。利用标注的全景图像对蒙板图像进行膨胀处理，优选地，使用双边滤波的方式对蒙板图像进行膨胀处理。

进一步地，为了进一步提高处理速度以及进行三维漫游时的真实感，基于上述三维漫游方法的第一至第三任一实施例，提出本发明的第四实施例。如图6所示，步骤S10之后，且步骤S20之前，所述三维漫游方法还包括：

步骤S40，对所述三维网格模型进行网格简化处理，以更新所述三维网格模型。

网格简化的方法可以根据实际需要进行选择，例如，可以通过Delaunay算法对三维网格模型进行网格简化处理。

优选地，在本实施例中，采用以下方式进行网格简化：对于上述建立好的蒙板图像，选取关键点，例如，在每个连通区域内均匀获取一系列关键点，在边沿仅保留多边形顶点和长线段上的少量点(边界关键点)。然后对选取的关键点使用Delaunay算法生成初步的网格集。由于Delaunay算法对点集进行三角化的覆盖区域为点的凸包，不符合原多边形范围，所以需要遍历边界关键点并进行一系列的删增工作，确保所得网格的覆盖区域与原先保持一致且三角网格不重复。对于连通区域之间，需要生成用于连接不同连通区域的网格(Concat网格)，该种网格一般分为两种，一种为客观存在的网格，如一个平行六面楼梯中两个垂直面的连接区域，一种为非客观存在的网格，例如一前一后两个平行楼面的Concat网格或天空与楼面的Concat网格。对于非客观存在的网格若渲染该网格，则因视方向与法向几乎垂直，轻微的平移会造成可视面积的明显变化，产生拉伸的效果。故需要另设背景层，通过对象的重复而非拉伸，带来相对较好的感官体验。计算时，首先对所有不渲染的Concat网格根据漫游范围计算所覆盖的背景区域，然后同前景一样，对这些连通区域进行网格简化。在完成前景和背景区域的网格简化后，根据方位角和深度重新投射到三维场景中，形成三维网格，在投射时，用于连接不同连通域的Concat网格需要根据坐标进行修正。

应当说明的是，在本实施例中，在进行纹理贴图处理时，按照所生成三角网格的顶点坐标计算网格内各点的重心坐标、并计算方位角，按照各点结果对全景图进行重映射，获取对应该套网格的纹理。

对应地，提出本发明三维漫游装置的较佳实施例。参考图7，所述三维漫游装置包括建立模块10、生成模块20及漫游模块30，其中：

建立模块10，用于基于采集的点云数据建立三维网格模型；

在本实施例中，可以通过三维激光扫描仪采集街景对应的点云数据。点云数据即为扫描的形式记录的点的集合，每一个点包含有三维坐标。一般情况下，所采集的原始点云数据一般过于密集，优选地，先对采集的点云数据进行采样处理。本实施例中，对采集的点云数据进行下采样处理，以提高后续对点云数据处理的效率。一般来说，经过下采样后的点云数据的点数需少于30万个。

在基于点云数据建立三维网格模型时，可以先对点云数据进行平面检测，生成若干平面，然后再根据点云数据确定生成的平面对应的边界，并生成三维网格模型；或者还可以直接提取点云数据中的关键点，并基于提取的关键点利用三维Delaunary算法建立三维网格模型。

生成模块20，用于根据采集的各个视点的全景图对所述三维网格模型进行纹理贴图处理，生成三维漫游场景；

在本实施例中，还要预先设置若干视点，每一视点对应采集一全景图。在本实施例中，在采集上述点云数据和全景图时，获取点云数据和全景图对应的视点的地理位置，从而通过一系列坐标变换即可将点云与全景图配准，即点云坐标系的坐标原点和视点重合，且点云坐标系的各个坐标轴与全景图的各个方向也对应起来。根据配置结果，即可将全景图与三维网格模型对应起来，即将全景图的像素点与三维网格模型的各个网格对应起来。根据全景图与三维网格模型的对应关系，即可根据全景图对三维网格模型进行纹理贴图处理。

漫游模块30，用于基于所述三维漫游场景进行三维漫游。

在本实施例中，可以在三维漫游场景中的任何位置进行三维漫游。优选地，为了提高漫游时的真实感，可以在视点以及视点周围漫游，或者在两视点之间进行漫游。在进行三维漫游的过程中，可以通过鼠标在三维漫游场景中点击的方式选择漫游位置，并通过拖动鼠标的方式自由的改变视角，从而实现了视角的自由改变；或者还可以通过键盘选择漫游位置，并通过键盘的方向键自由的改变视角，从而实现了视角的自由改变。

本实施例提出的三维漫游装置，通过基于采集的点云数据建立三维网格模型，并根据采集的各个视点的全景图对所述三维网格模型进行纹理贴图处理，生成三维漫游场景，然后基于所述三维漫游场景进行三维漫游。由于在漫游时所观看到的是三维漫游场景中的景象，而不是预先定义好的动画，从而在视点间进行三维漫游时能够自由改变视角，且真实感较好。

在基于点云数据建立三维网格模型时，可以只建立一个三维网格模型，并在后续处理中基于这一个三维网格模型生成一个三维漫游场景，在各个视点之间漫游时，各个视点可共用这一个三维漫游场景；还可以针对每一个视点分别建立一个三维网格模型，并在后续处理中分别基于每一三维网格模型生成一三维漫游场景，在各个视点之间漫游时，在各个视点对应的三维漫游场景之间切换即可。

作为上述针对每一个视点分别建立一个三维网格模型的实施方式，基于上述三维漫游装置的第一实施例，提出本发明的第二实施例。

所述建立模块10还用于基于采集的点云数据分别对应每一视点建立一三维网格模型；

建立三维网格模型的方式可以根据实际需要进行设置，例如，可以通过平面检测的方式建立三维网格模型，还可以通过三维Delaunay算法建立三维网格模型。

所述生成模块20还用于分别根据采集的各个视点的全景图对与该视点对应的三维网格模型进行纹理映射与贴图处理，分别生成各个视点对应的三维漫游场景；

在本实施例中，每一视点对应建立一三维漫游场景。建立三维漫游场景的方式可以参照上述实施例，在此不再赘述。

所述漫游模块30还用于基于各个视点对应的三维漫游场景进行三维漫游。

在本实施例中，在进行三维漫游时，可以将三维漫游场景划分为若干预设区域，每一预设区域对应一视点，在漫游至某一预设区域时，则基于当前预设区域的视点对应的三维漫游场景进行漫游，在由一预设区域切换至另一预设区域时，则将三维漫游场景也切换至另一预设区域的视点对应的三维漫游场景。

优选地，为了进一步提高漫游过程中的真实感，达到平滑切换的效果，还可以采用以下方式进行三维漫游，每一所述视点对应设有第一预设区域和第二预设区域，所述第一预设区域靠近该视点，所述第二预设区域位于所述第一预设区域和与该视点相邻的相邻视点对应的区域之间；

每一所述视点对应的三维漫游场景包括与所述第一预设区域对应的第一三维漫游场景，以及与所述第二预设区域对应的第二三维漫游场景；所述第一三维漫游场景由该视点的全景图对该视点的三维网格模型进行纹理贴图处理生成；所述第二三维漫游场景由该视点的全景图和相邻视点的全景图对该视点和相邻视点的三维网格模型进行纹理贴图处理生成；

在进行三维漫游的过程中，在当前视点对应的所述第一预设区域内三维漫游时，基于当前视点对应的所述第一三维漫游场景进行三维漫游；在当前视点对应的所述第二预设区域内三维漫游时，基于当前视点对应的第二三维漫游场景进行三维漫游。

可选的，所述第二三维漫游场景可以为：通过该视点的全景图对该视点的三维网格模型进行纹理贴图处理，生成第一纹理，然后通过相邻视点的全景图对相邻视点的三维网格模型进行贴图处理，生成第二纹理，基于第一纹理和第二纹理生成第二三维漫游场景。可选的，为了进一步提高平滑切换的效果，所述第二三维漫游场景还可以为：在生成当前视点对应的第二三维漫游场景时，确定当前视点对应的相邻视点的三维网格模型中的遮挡区域，并利用当前视点对应的全景图对相邻视点的遮挡区域进行纹理贴图处理，利用相邻视点对应的全景图对相邻视点的三维网格模型进行纹理贴图处理，生成相邻视点纹理；利用当前视点对应的全景图对当前视点的三维网格模型进行纹理贴图处理，生成当前视点纹理；根据所述相邻视点纹理和当前视点纹理生成所述第二三维漫游场景。在本实施例中，可以通过坐标变换的方式确定相邻视点对应的全景图与当前视点的遮挡区域之间的对应关系。例如，可以利用深度坐标进行映射。还可以对遮挡区域进行降低色差的处理。

优选地，两个相邻视点对应的第二预设区域相邻设置，且两个相邻视点对应的第二预设区域之间的交界面为该两个相邻视点的中垂面。

在由当前视点向下一视点漫游时，在当前视点对应的第一预设区域内，基于当前视点对应的第一漫游场景漫游；在开始进入当前视点对应的第二预设区域内后，当前视点对应的第一三维漫游场景渐渐淡出，当前视点对应的第二三维漫游场景渐渐淡入，直至当前视点对应的第二预设区域与下一视点对应的第二预设区域的交界处时，所述当前视点对应的第一三维漫游场景全部淡出，且当前视点对应的第二三维漫游场景全部淡入；当漫游位置越过当前视点对应的第二预设区域与下一视点对应的第二预设区域的交界处后，且位于下一视点对应的第二预设区域内时，下一视点对应的第一三维漫游场景渐渐淡入，下一视点对应的第二三维漫游场景渐渐淡出；当漫游至下一视点对应的第一预设区域内时，基于下一视点对应的第一三维漫游场景进行漫游。

为便于方案的理解，对于上述建立模块10，以下以两种具体方案进行说明，具体如下：

1)方案一，参照图8，所述建立模块10包括：

第一生成单元11，用于分别基于每一视点对采集的点云数据进行平面检测，生成若干平面；

在本实施例中，可以先利用平面检测算法对采集的点云数据进行平面检测，平面检测算法例如可以为随机抽样一致性检测算法。可以检测出若干平面，各个平面对应有几何参数和包含的点集。对于每一个视点来说，分别以每一视点为坐标原点建立坐标系，并通过对应的几何参数表示检测出的各个平面。

由于算法的随机抽样特性，优选地，需要对检测出的各个平面进行后处理，例如，可以将参数较为接近的平面进行合并处理，以及去除与地面不近似垂直的平面等。

第一建立单元12，用于基于所述点云数据确定各个所述平面的边界，以建立各个视点对应的三维网格模型。

在本实施例中，可以分别将与各个平面对应的点集中的点投影在该平面上，设定最大距离阈值，并投影点集的凹包，从而得到表示平面范围的多边形，进而确定了各个平面的边界。或者还可以分别将与各个平面对应的点集中的点投影在该平面上，并投影点集的凸包，从而确定各个平面的边界。

在获取到各个平面以及对应的边界后，分别对应每一视点各生成一张与全景图对应的蒙板图像和深度图，从而建立各个视点对应的三维网格模型。所述蒙板图像内表示了各个多边形，且每一多边形内的像素值一致，以表示平面范围，所述深度图表示了各个像素与视点之间的距离。

为了进一步提高三维网格模型的准确性，可以消去蒙板图像中面积较小的连通区域。

此外，为了进一步提高三维网格模型的准确性，还需要对蒙板图像进行膨胀处理，以使得蒙板图像更加接近真实场景。优选地，先对全景图像进行标注处理，并对预先标注的全景图像进行CNN训练。更为优选地，仅对全景图像中的楼面进行标注。利用标注的全景图像对蒙板图像进行膨胀处理，优选地，使用双边滤波的方式对蒙板图像进行膨胀处理。

2)方案二，参照图9，所述建立模块10包括：

分类单元13，用于将采集的点云数据进行分类，得到楼面点云集和地面点云集；

在本实施例中，可以根据各个点的纵坐标值(即该点距离坐标原点(或视点)的竖向高度)和法向对采集的点云数据进行分类。对于楼面点云集来说，各个点的法向较为一致，且法向大体呈水平状态，与地面或视点相比具有一定的竖向高度；对于地面点云集来说，其各个点的法向也较为一致，且法向大体呈竖直状态。

第二生成单元14，用于分别基于每一视点对所述楼面点云集的点云数据进行平面检测，生成若干第一类平面；

在本实施例中，对点云数据进行平面检测的方式可参照上述方案一中的第一生成单元11，在此不再赘述。

第一确定单元15，用于基于所述楼面点云集的点云数据确定各个所述第一类平面的边界；

在本实施例，对各个第一类平面确定边界的方式可参照上述方案一中的第一建立单元12，在此不再赘述。

第二确定单元16，用于分别基于每一视点确定所述地面点云集的点云数据对应的第二类平面；

在本实施例中，可以选取与视点水平距离小于预设距离值的地面点云集中的点，并将选取的点使用最小二乘拟合地平面参数，从而获得地面对应的几何参数，即确定了第二类平面。或者使用平面检测的方式确定几何参数。

第二建立单元17，用于基于确定边界的各个所述第一类平面和所述第二类平面建立各个视点对应的三维网格模型。

在确定了第一类平面和第二类平面后，分别基于第一类平面和第二类平面对应每一视点各生成一张与全景图对应的蒙板图像和深度图，从而建立各个视点对应的三维网格模型。所述蒙板图像内表示了各个多边形，且每一多边形内的像素值一致，所述深度图表示了各个像素与视点之间的距离。

为了进一步提高三维网格模型的准确性，可以消去蒙板图像中面积较小的连通区域。

此外，为了进一步提高三维网格模型的准确性，还需要对蒙板图像进行膨胀处理，以使得蒙板图像更加接近真实场景。优选地，先对全景图像进行标注处理，并对预先标注的全景图像进行CNN训练。更为优选地，仅对全景图像中的楼面进行标注。利用标注的全景图像对蒙板图像进行膨胀处理，优选地，使用双边滤波的方式对蒙板图像进行膨胀处理。

进一步地，为了进一步提高处理速度以及进行三维漫游时的真实感，基于上述三维漫游装置的第一至第三任一实施例，提出本发明的第四实施例。如图10所示，所述三维漫游装置还包括：

网格简化模块40，用于对所述三维网格模型进行网格简化处理，以更新所述三维网格模型。

网格简化的方法可以根据实际需要进行选择，例如，可以通过Delaunay算法对三维网格模型进行网格简化处理。

优选地，在本实施例中，采用以下方式进行网格简化：对于上述建立好的蒙板图像，选取关键点，例如，在每个连通区域内均匀获取一系列关键点，在边沿仅保留多边形顶点和长线段上的少量点(边界关键点)。然后对选取的关键点使用Delaunay算法生成初步的网格集。由于Delaunay算法对点集进行三角化的覆盖区域为点的凸包，不符合原多边形范围，所以需要遍历边界关键点并进行一系列的删增工作，确保所得网格的覆盖区域与原先保持一致且三角网格不重复。对于连通区域之间，需要生成用于连接不同连通区域的网格(Concat网格)，该种网格一般分为两种，一种为客观存在的网格，如一个平行六面楼梯中两个垂直面的连接区域，一种为非客观存在的网格，例如一前一后两个平行楼面的Concat网格或天空与楼面的Concat网格。对于非客观存在的网格若渲染该网格，则因视方向与法向几乎垂直，轻微的平移会造成可视面积的明显变化，产生拉伸的效果。故需要另设背景层，通过对象的重复而非拉伸，带来相对较好的感官体验。计算时，首先对所有不渲染的Concat网格根据漫游范围计算所覆盖的背景区域，然后同前景一样，对这些连通区域进行网格简化。在完成前景和背景区域的网格简化后，根据方位角和深度重新投射到三维场景中，形成三维网格，在投射时，用于连接不同连通域的Concat网格需要根据坐标进行修正。

应当说明的是，在本实施例中，在进行纹理贴图处理时，按照所生成三角网格的顶点坐标计算网格内各点的重心坐标、并计算方位角，按照各点结果对全景图进行重映射，获取对应该套网格的纹理。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

Claims (12)

1.一种三维漫游方法，其特征在于，所述三维漫游方法包括步骤：

基于采集的点云数据分别对应每一视点建立一三维网格模型，其中，每一所述视点对应设有第一预设区域和第二预设区域，所述第一预设区域靠近该视点，所述第二预设区域位于所述第一预设区域和与该视点相邻的相邻视点对应的区域之间；

分别根据采集的各个视点的全景图对与该视点对应的所述三维网格模型进行纹理映射与贴图处理，分别生成各个视点对应的三维漫游场景，其中，每一所述视点对应的三维漫游场景包括与所述第一预设区域对应的第一三维漫游场景，以及与所述第二预设区域对应的第二三维漫游场景；所述第一三维漫游场景由该视点的全景图对该视点的三维网格模型进行纹理贴图处理生成；所述第二三维漫游场景由该视点的全景图和相邻视点的全景图对该视点和相邻视点的三维网格模型进行纹理贴图处理生成；

基于各个视点对应的所述三维漫游场景进行三维漫游，其中，在进行三维漫游的过程中，在当前视点对应的所述第一预设区域内三维漫游时，基于当前视点对应的所述第一三维漫游场景进行三维漫游；在当前视点对应的所述第二预设区域内三维漫游时，基于当前视点对应的第二三维漫游场景进行三维漫游。

2.如权利要求1所述的三维漫游方法，其特征在于，所述基于采集的点云数据分别对应每一视点建立一三维网格模型的步骤包括：

分别基于每一视点对采集的点云数据进行平面检测，生成若干平面；

基于所述点云数据确定各个所述平面的边界，以建立各个视点对应的三维网格模型。

3.如权利要求1所述的三维漫游方法，其特征在于，所述基于采集的点云数据分别对应每一视点建立一三维网格模型的步骤包括：

将采集的点云数据进行分类，得到楼面点云集和地面点云集；

分别基于每一视点对所述楼面点云集的点云数据进行平面检测，生成若干第一类平面；

基于所述楼面点云集的点云数据确定各个所述第一类平面的边界；

分别基于每一视点确定所述地面点云集的点云数据对应的第二类平面；

基于确定边界的各个所述第一类平面和所述第二类平面建立各个视点对应的三维网格模型。

4.如权利要求1所述的三维漫游方法，其特征在于，在生成当前视点对应的第二三维漫游场景时，确定当前视点对应的相邻视点的三维网格模型中的遮挡区域，并利用当前视点对应的全景图对相邻视点的遮挡区域进行纹理贴图处理，利用相邻视点对应的全景图对相邻视点的三维网格模型进行纹理贴图处理，生成相邻视点纹理；利用当前视点对应的全景图对当前视点的三维网格模型进行纹理贴图处理，生成当前视点纹理；根据所述相邻视点纹理和当前视点纹理生成所述第二三维漫游场景。

5.如权利要求1至3任一项所述的三维漫游方法，其特征在于，所述基于采集的点云数据分别对应每一视点建立一三维网格模型的步骤之后，所述分别根据采集的各个视点的全景图对与该视点对应的所述三维网格模型进行纹理映射与贴图处理，分别生成各个视点对应的三维漫游场景的步骤之前，所述三维漫游方法还包括：

对所述三维网格模型进行网格简化处理，以更新所述三维网格模型。

6.一种三维漫游装置，其特征在于，所述三维漫游装置包括：

建立模块，用于基于采集的点云数据分别对应每一视点建立一三维网格模型，其中，每一所述视点对应设有第一预设区域和第二预设区域，所述第一预设区域靠近该视点，所述第二预设区域位于所述第一预设区域和与该视点相邻的相邻视点对应的区域之间；

生成模块，用于分别根据采集的各个视点的全景图对与该视点对应的所述三维网格模型进行纹理映射与贴图处理，分别生成各个视点对应的三维漫游场景，其中，每一所述视点对应的三维漫游场景包括与所述第一预设区域对应的第一三维漫游场景，以及与所述第二预设区域对应的第二三维漫游场景；所述第一三维漫游场景由该视点的全景图对该视点的三维网格模型进行纹理贴图处理生成；所述第二三维漫游场景由该视点的全景图和相邻视点的全景图对该视点和相邻视点的三维网格模型进行纹理贴图处理生成；

漫游模块，用于基于各个视点对应的所述三维漫游场景进行三维漫游，其中，在进行三维漫游的过程中，在当前视点对应的所述第一预设区域内三维漫游时，基于当前视点对应的所述第一三维漫游场景进行三维漫游；在当前视点对应的所述第二预设区域内三维漫游时，基于当前视点对应的第二三维漫游场景进行三维漫游。

7.如权利要求6所述的三维漫游装置，其特征在于，所述建立模块包括：

第一生成单元，用于分别基于每一视点对采集的点云数据进行平面检测，生成若干平面；

第一建立单元，用于基于所述点云数据确定各个所述平面的边界，以建立各个视点对应的三维网格模型。

8.如权利要求6所述的三维漫游装置，其特征在于，所述建立模块包括：

分类单元，用于将采集的点云数据进行分类，得到楼面点云集和地面点云集；

第二生成单元，用于分别基于每一视点对所述楼面点云集的点云数据进行平面检测，生成若干第一类平面；

第一确定单元，用于基于所述楼面点云集的点云数据确定各个所述第一类平面的边界；

第二确定单元，用于分别基于每一视点确定所述地面点云集的点云数据对应的第二类平面；

第二建立单元，用于基于确定边界的各个所述第一类平面和所述第二类平面建立各个视点对应的三维网格模型。

9.如权利要求6所述的三维漫游装置，其特征在于，在生成当前视点对应的第二三维漫游场景时，确定当前视点对应的相邻视点的三维网格模型中的遮挡区域，并利用当前视点对应的全景图对相邻视点的遮挡区域进行纹理贴图处理，利用相邻视点对应的全景图对相邻视点的三维网格模型进行纹理贴图处理，生成相邻视点纹理；利用当前视点对应的全景图对当前视点的三维网格模型进行纹理贴图处理，生成当前视点纹理；根据所述相邻视点纹理和当前视点纹理生成所述第二三维漫游场景。

10.如权利要求6至8任一项所述的三维漫游装置，其特征在于，所述三维漫游装置还包括：

网格简化模块，用于对所述三维网格模型进行网格简化处理，以更新所述三维网格模型。

11.一种三维漫游装置，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器通过所述计算机程序执行所述权利要求1至5任一项中所述的三维漫游方法。

12.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至5任一项中所述的三维漫游方法。

Images