CN103401875A - 三维场景在线全景展示、沉浸式漫游、人机互动的实现方法及系统 - Google Patents

Abstract

本发明公开了一种三维场景数字空间模型在线全景展示、沉浸式漫游、人机互动的实现方法及系统，提出基于球形投影的“三维场景——两维图像”映射方法，将深度等更多的三维空间信息描述在两维全景图像及附带的描述文件中，从而突破了传统360°全景图只能展示不能沉浸式漫游、人机互动的缺陷，形成一套出图质量高、相机自由度大的新型360°全景展示与沉浸式漫游技术，并在展示与漫游的基础上加入人机互动的新功能，以满足商业应用需求。

Description

三维场景在线全景展示、沉浸式漫游、人机互动的实现方法及系统

技术领域

本发明属于三维场景数字空间模型沉浸式虚拟现实系统领域，尤其涉及具有三维全景渲染、在线全景展示、沉浸式漫游与人机互动功能的全景浏览系统。 

背景技术

三维数字空间的展示领域，传统采用三维建模软件制作漫游视频的方法，以视频播放的方式供观察者浏览，录像必须按照制作者规划好的路线拍摄，不能够由观察者的意愿所控制。作为改进，谷歌研发的谷歌街景产品，提供对全球街景照片的360°观察与漫游功能，提供了一种高度自由的观赏体验,但美中不足的是，谷歌街景仅适用于实地拍摄的户外街景。 

在室内数字场景展示领域，目前有两条技术路线：（1）实时渲染方案，采用客户端实时渲染技术，借助强大的三维硬件计算能力，一次性加载大场景模型数据，根据用户输入调整相机位置实时渲染，相机自由度高，能够以任意方式移动相机参数,但由于目前计算机实时渲染能力无法达到物理真实感，无法做到折射效果、间接照明等效果，故此方案出图效果较差，和真实照片或3D效果图有一定差距，一般作为草图预览使用；（2）全景图方案，采用传统基于光线追踪的高质量效果图渲染技术，包括全景图生成、存储和展示三个环节，通过一定的投影规则，在场景的固定相机位置渲染出一张或多张效果图，再根据投影规则实现环绕展示。投影分为柱形、球形、盒形、正十二面体等类别，分别对应有不同的全景图生成、存储和展示形式。相比实时渲染方案，此方案提高了出图质量，但由于方法需要 锁定相机的位置，从而减小观察自由度。在室内设计领域，全景图是当下流行的效果图展现方式。 

随着三维互联网业务需求的扩大，以及互联网接入速度的提升，市场亟需一种使用方便、快捷、可用的在线场景展示系统，以满足目前在线三维场景展示需求，对上述传统技术方案是一项挑战。 

发明内容

为了解决上述的问题，本发明在两种传统方案的基础上，结合他们的优点，提出基于球形投影的“三维场景——两维图像”映射方法，将深度等更多的三维空间信息描述在两维全景图像及附带的描述文件中，从而突破了传统360°全景图只能展示不能沉浸式漫游、人机互动的缺陷，形成一套出图质量高、相机自由度大的新型360°全景展示与沉浸式漫游技术，并在展示与漫游的基础上加入人机互动的新功能，以满足商业应用需求。 

本发明选择球形投影方法，对比其他方法球形投影具有投影公式连续、接缝少的特点，并在基本的全景展示基础上，扩展了深度计算、坐标计算等，以满足沉浸式漫游和人机互动功能的要求。 

本发明提供一种针对室内外场景模型的自动化入库处理流程，其中包括自动化相机生成方法、带深度的全景图渲染方法、基于JavaScript脚本的可交互目标行为描述与导出方法，全景图的网状关系存储方法。 

本发明提供一种针对室内外场景的全景展示与沉浸式漫游流程，其中包括基于光线追踪的目标选择方法、地面行走方法、渐进式的镜头切换方法。 

本发明提供一种公共服务协议，协议大大简化了第三方应用对本系统提供服务的调用流程。 

附图说明

下面结合附图对本发明进行详细说明。 

图1为本发明的整体系统网络结构拓扑图； 

图2为本发明的系统逻辑结构图； 

图3为本发明的展示层界面； 

图4为本发明的在线全景展示示意图； 

图5为本发明的沉浸式漫游示意图； 

图6为本发明的人机互动示意图； 

图7为本发明的内容录入业务流程图； 

图8为本发明的展示业务流程图； 

图9为本发明的漫游业务流程图； 

图10为本发明的互动业务流程图。 

具体实施方式

下面结合说明书附图和具体实施方式对本发明作进一步的描述。 

图1为本发明的整体系统网络结构拓扑图。图1所示的系统网络包括：互联网终端1-1，用来实现WEB服务接入。Internet互联网1-2，负责连接终端与展示漫游系统。三维虚拟空间在线360°全景展示与漫游系统1-3，该网络包括防火墙1-3-1，提供展示与漫游系统的网络安全保护，防止来自外部的网络攻击；前端负载均衡服务器1-3-2，提供HTTP请求的负载均衡调度和失效转移工作；前端WEB服务器组1-3-3，提供基本网站展示层服务；前端流媒体服务器组1-3-4，提供RTMP流媒体展示层服务；后端应用服务器组1-3-5，负责前端发出的应用层业务请求；数据安全与鉴权服务器1-3-6,负责整个系统的数据安全和业务鉴权认证服务；数据库服务器组1-3-7,为系统提供统一的结构化数据存储服务，并构建安全、健壮的数据库存储集群；文件服务器组1-3-8,提供非关系数据的高效存储，降低数据库负荷；监控及网管服务器1-3-9,负责统一的各节点性能监控和管理。 内部交换网络1-4，负责安全高速连接展示漫游系统与渲染系统。三维图形渲染系统1-5，该网络包括防火墙1-5-1，提供渲染系统的网络安全保护；渲染接口服务器1-5-2，提供渲染服务接口。 

图2为本发明的系统逻辑结构图。本系统包括：展示层2-1，包括展示与漫游UI模块2-1-1、内容管理UI模块2-1-2、网络通讯模块2-1-3、并提供标准流媒体通讯协议2-1-4。业务层2-2，包括360°全景展示与漫游服务接口2-2-1,对外提供统一的服务调用接口；负载均衡模块2-2-2,负责请求的负载均衡调度和失效转移工作；应用业务调度模块2-2-3,按类型分发不同的事务；内容录入业务模块2-2-4，负责内容录入相关业务逻辑；展示漫游业务模块2-2-5，负责展示与漫游相关业务逻辑；3D场景管理模块2-2-6，复杂组织场景与镜头的关系；内容互动管理模块2-2-7,复杂组织场景与互动点的关系，提供2D-3D映射功能；流媒体处理模块2-2-8，提供流媒体压缩与传输功能；监控与网管模块2-2-9,负责统一的各节点性能监控和管理。渲染层2-3，包括三维场景照片级渲染公共服务接口2-3-1，为业务层提供渲染服务。数据层2-4，包括数据安全与鉴权模块2-4-1，负责整个系统的数据安全和业务鉴权的认证；分布式存储系统2-4-2，负责存储关系型数据；分布式数据库系统2-4-3，负责存储非关系型数据。 

图3为本发明的展示层界面。本系统采用视频流方式展示三维场景，包括左旋镜头按钮3-1、右旋镜头按钮3-2、抬高镜头按钮3-3、降低镜头按钮3-4、缩放镜头按钮3-5、移动镜头（漫游）按钮3-6、互动按钮3-7、互动展示内容3-8。 

图4为本发明的在线全景展示示意图，包括3D场景4-1、旋转相机4-2、全景图4-3、互动目标4-4。在3D场景中某固定位置，设置一旋转相机，进行360°旋转渲染，获得一张全景图，并根据映射 算法将互动目标标记在全景图上，采用专用的播放程序读取全景图，按照物理真实效果展现在用户界面上。 

图5为本发明的沉浸式漫游示意图，包括入口观察点5-1、当前观察点5-2、当前邻接观察点5-3、漫游路线5-4。场景管理模块可分析房间和门的位置，自动生成若干观察点，并在这些观察点上进行全景图渲染和展示，浏览者可从入口观察点开始，按照邻接关系切换观察的位置，形成漫游效果。 

图6为本发明的人机互动示意图，包括全景图6-1、场景6-2、互动目标6-3、在线互动内容6-4。对全景图的特定区域、场景中的特定目标，标记互动目标序号A、B等，并按序号关联到对应的在线互动内容网页上，形成快速链接。 

下面结合图7到图10说明本发明的系统实现方法。 

图7为本发明的内容录入业务流程图。在步骤S101中，内容管理UI模块向内容录入业务模块提交场景文件。在步骤S102-S103中，内容录入业务模块向数据安全与鉴权模块查询用户是否合法授权。在步骤S104中，内容录入模块将场景文件发送给场景管理模块，并要求其入库。在步骤S105-S108中，场景管理模块先后将场景基本信息索引和互动数据存入分布式数据库系统。在步骤S109中，场景管理模块分析场景生成镜头。在步骤S110中，场景管理模块向照片级渲染接口发送场景文件和镜头，提出多镜头渲染请求。在步骤S111-S112中，照片级渲染接口负责完成多次渲染计算并返回渲染图给场景管理模块。在步骤S113-S114中，场景管理模块将渲染图存入分布式文件存储系统。在步骤S115-S116中，场景管理模块依次向调用者反馈成功信号。 

图8为本发明的展示业务流程图。在步骤S201示与漫游UI模块向全景展示与漫游服务接口发送场景索引。在步骤S202口将场景索 引转发给展示漫游业务模块。在步骤S203-S204展示漫游业务模块通过向数据安全与鉴权模块鉴别用户授权。在步骤S205中，展示漫游业务模块发送场景索引给场景管理模块要求其为用户调出该场景有关资料。在步骤S206-S209中，场景管理模块分别从分布式数据库系统和分布式文件存储中读取场景的基本信息、互动数据、附属的渲染图。在步骤S210中，场景管理模块将拿到的数据返回给展示漫游业务模块。在步骤S211-S213中，展示漫游业务模块调用流媒体处理模块压缩渲染图。在步骤S214-S215中，展示漫游业务模块依次将结果以视频流形式返回给展示与漫游UI模块。 

图9为本发明的漫游业务流程图。在步骤S301中展示与漫游UI模块将场景索引发送给全景展示与漫游服务接口，以获取与场景相关的镜头数据。在步骤S302中，接口将请求转发给展示漫游业务模块。在步骤S303-S306中，展示漫游业务模块向3D场景管理模块查询场景数据，3D场景管理模块从数据库中读取数据返回给展示漫游业务模块。在步骤S307-S308中，展示漫游业务模块分析场景数据，提取相邻镜头索引，并依次返回给展示与漫游UI模块。在步骤S309中，展示与漫游UI模块选择欲移动到的相邻镜头。在步骤S310-S311中，展示与漫游UI模块重新向全景展示与漫游服务接口请求新的场景展示请求，在前一次的基础上增加了欲移动到的相邻镜头索引，以实现漫游的效果。 

图10为本发明的互动业务流程图。在步骤S401中，展示与漫游UI模块向全景展示与漫游服务接口发送互动索引，请求互动功能。在步骤S402中，展示与漫游服务接口将请求转发给展示漫游业务模块。在步骤S403-S406中，展示漫游业务模块将互动索引发送给内容互动管理模块，提出查询该索引相关数据,内容互动管理模块从数据库中读取数据后回复展示漫游业务模块。在步骤S407-S411中，展示 漫游业务模块调用流媒体处理模块压缩场景图和互动数据，并以流媒体形式发回给展示与漫游UI模块。在步骤S412-S413中，展示与漫游UI模块通过外部调用方式转而调用互动描述中的第三方服务。虽然本发明已以较佳实施例公开如上，但它们并不是用来限定本发明，任何熟悉此技艺者，在不脱离本发明之精神和范围内，自当可作各种变化或润饰，因此本发明的保护范围应当以本申请的权利要求保护范围所界定的为准。 

Claims (10)

1.一种三维数字空间模型在线全景展示、沉浸式漫游、人机互动网络系统，其特征在于，它包括：

互联网终端，用来实现WEB服务接入；

Internet互联网，负责连接终端与展示漫游系统；

三维虚拟空间在线360°全景展示与漫游系统，该网络包括防火墙，提供展示与漫游系统的网络安全保护，防止来自外部的网络攻击；前端负载均衡服务器，提供HTTP请求的负载均衡调度和失效转移工作；前端WEB服务器组，提供基本网站展示层服务；前端流媒体服务器组，提供RTMP流媒体展示层服务；后端应用服务器组，负责前端发出的应用层业务请求；数据安全与鉴权服务器,负责整个系统的数据安全和业务鉴权认证服务；数据库服务器组,为系统提供统一的结构化数据存储服务，并构建安全、健壮的数据库存储集群；文件服务器组，提供非关系数据的高效存储，降低数据库负荷；监控及网管服务器,负责统一的各节点性能监控和管理；

内部交换网络，负责安全高速连接展示漫游系统与渲染系统；

三维图形渲染系统，包括防火墙，提供渲染系统的网络安全保护；渲染接口服务器，提供渲染服务接口。

2.一种三维数字空间模型在线全景展示、沉浸式漫游、人机互动网络系统，其特征在于，它包括：

展示层，包括展示与漫游UI模块、内容管理UI模块、网络通讯模块、并提供标准流媒体通讯协议；

业务层，包括360°全景展示与漫游服务接口，对外提供统一的服务调用接口；负载均衡模块，负责请求的负载均衡调度和失效转移工作；应用业务调度模块，按类型分发不同的事务；内容录入业务模块，负责内容录入相关业务逻辑；展示漫游业务模块，负责展示与漫游相关业务逻辑；3D场景管理模块，复杂组织场景与镜头的关系；内容互动管理模块，复杂组织场景与互动点的关系，提供2D-3D映射功能；流媒体处理模块，提供流媒体压缩与传输功能；监控与网管模块，负责统一的各节点性能监控和管理；

渲染层，包括三维场景照片级渲染公共服务接口，为业务层提供渲染服务；

数据层，包括数据安全与鉴权模块，负责整个系统的数据安全和业务鉴权的认证；分布式存储系统，负责存储关系型数据；分布式数据库系统，负责存储非关系型数据。

3.一种三维数字空间模型在线全景展示、沉浸式漫游、人机互动的实现方法，其特征在于：基于球形投影的“三维场景——两维图像”映射算法，将深度的三维空间信息描述在两维全景图像及附带的描述文件中，并在基本的全景展示基础上，扩展深度计算、坐标计算，实现沉浸式漫游和人机互动。

4.根据权利要求3所述的方法，其特征在于：所述全景展示与沉浸式漫游，是基于光线追踪的目标选择、地面行走、渐进式的镜头切换。

5.根据权利要求3所述的方法，其特征在于：所述全景展示，包括3D场景、旋转相机、全景图、互动目标；在3D场景中某固定位置，设置一旋转相机，进行360°旋转渲染，获得一张全景图，并根据映射算法将互动目标标记在全景图上，采用专用的播放程序读取全景图，按照物理真实效果展现在用户界面上。

6.根据权利要求3所述的方法，其特征在于：所述沉浸式漫游，包括入口观察点、当前观察点、当前邻接观察点、漫游路线；场景管理模块可分析房间和门的位置，自动生成若干观察点，并在这些观察点上进行全景图渲染和展示，浏览者可从入口观察点开始，按照邻接关系切换观察的位置，形成漫游效果。

7.根据权利要求3所述的方法，其特征在于：所述人机互动，包括全景图、场景、互动目标、在线互动内容；对全景图的特定区域、场景中的特定目标，标记互动目标序号，并按序号关联到对应的在线互动内容网页上，形成快速链接。

8.根据权利要求5所述的方法，其特征在于，所述全景展示的方法流程：

步骤S201，与漫游UI模块向全景展示与漫游服务接口发送场景索引；

步骤S202，将场景索引转发给展示漫游业务模块；

步骤S203-S204，展示漫游业务模块通过向数据安全与鉴权模块鉴别用户授权；

步骤S205，展示漫游业务模块发送场景索引给场景管理模块要求其为用户调出该场景有关资料；

步骤S206-S209，场景管理模块分别从分布式数据库系统和分布式文件存储中读取场景的基本信息、互动数据、附属的渲染图；

步骤S210，场景管理模块将拿到的数据返回给展示漫游业务模块；

步骤S211-S213，展示漫游业务模块调用流媒体处理模块压缩渲染图；

步骤S214-S215，展示漫游业务模块依次将结果以视频流形式返回给展示与漫游UI模块。

9.根据权利要求6所述的方法，其特征在于，所述沉浸式漫游的方法流程：

步骤S301，展示与漫游UI模块将场景索引发送给全景展示与漫游服务接口，以获取与场景相关的镜头数据；

步骤S302，接口将请求转发给展示漫游业务模块；

步骤S303-S306，展示漫游业务模块向3D场景管理模块查询场景数据，3D场景管理模块从数据库中读取数据返回给展示漫游业务模块；

步骤S307-S308，展示漫游业务模块分析场景数据，提取相邻镜头索引，并依次返回给展示与漫游UI模块；

步骤S309，展示与漫游UI模块选择欲移动到的相邻镜头；

步骤S310-S311，展示与漫游UI模块重新向全景展示与漫游服务接口请求新的场景展示请求，在前一次的基础上增加了欲移动到的相邻镜头索引，以实现漫游的效果。

10.根据权利要求7所述的方法，其特征在于，所述人机互动的方法流程：

步骤S401，展示与漫游UI模块向全景展示与漫游服务接口发送互动索引，请求互动功能；

步骤S402，展示与漫游服务接口将请求转发给展示漫游业务模块；

步骤S403-S406，展示漫游业务模块将互动索引发送给内容互动管理模块，提出查询该索引相关数据,内容互动管理模块从数据库中读取数据后回复展示漫游业务模块；

步骤S407-S411，展示漫游业务模块调用流媒体处理模块压缩场景图和互动数据，并以流媒体形式发回给展示与漫游UI模块；

步骤S412-S413，展示与漫游UI模块通过外部调用方式转而调用互动描述中的第三方服务。

Images