CN115639976A - 一种虚拟现实内容多模式多角度同步展示方法及系统 - Google Patents

Abstract

本发明涉及虚拟现实计算机技术领域，具体为一种虚拟现实内容多模式多角度同步展示方法及系统。其方法包括在虚拟现实场景内相对第一人称位置，布置多个虚拟摄像机群组，实时跟踪、录制虚拟场景的多视角、多通道画面数据，并实时同步到流媒体服务器。流媒体服务器将多个视角的多通道数据存储于本地，实现多种客户端的实时观看需求，并能选择视角模式。

Description

一种虚拟现实内容多模式多角度同步展示方法及系统

技术领域

本发明涉及虚拟现实计算机技术领域，具体为一种虚拟现实内容多模式多角度同步展示方法及系统。

背景技术

虚拟现实(VR)技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，使用户沉浸到该环境中，近年来，随着社会生产力、科学技术的发展以及“元宇宙”概念的提出，各行各业对虚拟现实(VR)技术的需求日益旺盛，虚拟现实(VR)技术也取得了巨大进步。

现有虚拟显示空间内画面同步技术：

使用屏幕共享的方式，将虚拟显示空间内第一人称视野内所看到的场景实时展示出来。采用这种方式的同步技术，观看场景对象及范围受虚拟现实场景内第一人称视野方向确定；

将摄像机定位在虚拟显示空间内第一人称位置的后方，以第三人称视角方式，对虚拟现实场景内操作者进行跟随拍摄，将场景内容展示出来，摄像机视角与虚拟现实场景内操作者视角相同。采用这种方式的同步技术，可以看到操作者完整的操作过程，但因机位固定，视角固定，无法进行其他视角场景内容观看及进行监控画面合成等多视角同步观看；

观看者使用带上VR眼睛，与操作者运行相同的应用软件，并加入导操作者所在的虚拟显示空间内，以自由漫步或操作跟随形式，进行操作者所在虚拟显示空间内场景观看。采样此类同步技术，可以多方位观看虚拟显示空间内场景，但由于观看者会出现在操作者视野内，会对处于虚拟现实场景内操作者的正常交互产生干扰，影响用户性能。

发明内容

针对现有技术的不足，本发明的目的提供一种虚拟现实内容多模式多角度同步展示方法，同时提供一种虚拟现实内容多模式多角度同步展示系统、一种头戴式虚拟现实设备、一种流媒体服务器，为实现上述目的，本发明采用如下技术方案：

一种虚拟现实内容多模式多视角同步展示方法，所述的方法包括步骤：

在虚拟现实场景中相对于第一人称初始位置在多个角度设置虚拟摄像机群组，实时跟踪第一人称位置变化，拍摄多角度视频信息；

基于所述虚拟现实场景中多角度视频信息，依据观看角度选择对应通道视频数据，处理成多角度、多协议、多分辨率视频数据；

基于多角度视频流与多模式视频流，满足各类显示设备多视角观看虚拟现实场景内场景。

进一步，所述虚拟摄像机群组按照以下方法设置：

在虚拟现实场景中，获取第一人称初始位置；

基于所述虚拟现实场景中所获取的第一人称初始位置，在多个视角分别设置同步的虚拟摄像机群组，每个摄像机群组内设置多个摄像机；

基于所述虚拟现实场景中所获取的第一人称位置变化数据，各视角的虚拟摄像机群组实时跟踪第一人称位置变化情况，保持固定的相对位置及视角参数。

进一步，所述虚拟摄像机群组相对应第一人称初始位置的设置的角度包括顶视视角、侧视视角、正视视角。

进一步，“在虚拟现实场景中相对于第一人称初始位置在多个角度设置虚拟摄像机群组，实时跟踪第一人称位置变化”具体地，所述虚拟摄像机群组实时位置跟踪，依据所设置的位置而采用不同的追踪方式：

所述顶视视角虚拟摄像机群组，采用三维索道方式跟踪方式；

所述正视视角虚拟摄像机群组，采用摇臂式跟踪方式；

所述侧视视角虚拟摄像机群组，采用轨道式跟踪方式等；

进一步，所述虚拟摄像机群组采用集群分布方式，每个位置点布置多个摄像机，每个摄像机独立工作，分别赋予不同的工作参数及镜头参数，每个摄像机视频录制输出为一个独立通道。

进一步，所述虚拟摄像机群组在进行实时位置跟踪时，采用阻尼算法，以消除摄像机在跟踪过程中的抖动。

进一步，所述“基于多角度视频流与多模式视频流，满足各类显示设备多视角观看虚拟现实场景内场景”，具体地，基于所获取的多视角虚拟摄像机群组多通道视频流信息，依据观看视角进行多通道视频流分组；基于所选择的观看角度，选择多个通道视频数据处理成包括但不限于3D视频流、360°全向媒体视频流、2D视频流的视频流；基于所获取的多视角虚拟摄像机群组多通道视频流信息，分别获取多个角度的视频流通道，处理成监控画中画模式视频流；基于所述的多角度多模式视频流，进行连接端口号分配，等待观看设备连接后，主动向其进行视频流推送。

一种虚拟现实内容多模式多视角同步展示系统，包括虚拟现实设备和流媒体服务器，包括虚拟现实操作端、流媒体服务器端、观看终端，所述虚拟现实操作端，用于操作者第一人称在虚拟现实场景场景交互，并录制虚拟现实场景场景多视角多通道视频数据同步传输到流媒体服务器；

所述流媒体服务器端，用于将虚拟现实设备同步录制的多视角多通道视频数据，处理成不同的视频流或照片，从不同端口输出，所述视频流包括360°视频流、不同视角3D视频流、画中画视频流，所述照片包括720°照片；

所述观看终端包括VR头显、电视、PC机。

进一步，所述的虚拟现实设备包括虚拟摄像机模块和数据融合模块，所述流媒体服务器端包括数据转换模块和视频流分发模块；

虚拟摄像机模块用于提供虚拟现实场景内场景视频数据采集，实现用户多角度多模式同步查看场景内影像的业务需求；

数据融合模块用于完成多通道多模式视频数据的融合及压缩操作，并将数据同步传输到同步服务器；

数据转换模块用于多通道融合压缩后的数据解压后还原出各通道影像数据及摄像机工作参数等，依据观看角度选择对应通道视频数据，处理成多角度多协议、多分辨率视频数据，以适配多种显示设备；

视频流分发模块用于提供可供播放请求入口信息。

进一步，所述数据转换模块处理成多角度多协议、多分辨率视频数据包括：在同一虚拟摄像机群组内选择两个不同通道的视频流，处理成适合3D电视观看的3D视频流；

选择不同视角的虚拟摄像机群组，处理成正视、侧视、俯视等不同视角的3D视频流；

在同一虚拟摄像机群组内选择不同角度的两个通道视频流，处理成不同旋转角度画面3D视频流；

在不同角度虚拟摄像机群组内分别选择一个通道视频流，处理成360°视频流、画中画视频流、720°照片；

在同一虚拟摄像机群组内选择上下左右前后的影像，处理成该视角位置下可旋转角度的全视频流；

在同一虚拟摄像机群组内选择左右眼的影像，处理成该视角位置下的3D视频流。

一种头戴式虚拟现实设备，所述头戴式虚拟现实设备包括：存储器、显示器、处理器和通信接口，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如下步骤：

S01.根据虚拟现实场景第一人称位置动态设置第一人称视角影像，第一人称位置与虚拟头戴设备的输入摄像机位置保持一致；

S02.以第一人称机位为参考，设置第三人称视角摄像机群组机位，第三人称虚拟摄像机群组机位位置可以根据业务场景进行动态跟随设置或者在固定位置设置,并依据所设置的摄像机群组位置进行第一人称位置遮挡判断，根据需要进行遮挡规避操作；

S03.摄像机跟随，第一人称和第三人称虚拟摄像机群组机位均参照于虚拟空间设备的摄像机位置进行跟随，在跟随过程中采用阻尼视角方式来减轻摄像机画面的大幅抖动；

S04.虚拟摄像机采集影像信息，第一人称和第三人称摄像机各为一个独立通道，独立工作。

S05.第一人称视角及第三人称视角机位虚拟摄像机群组将拍摄后的多路影像及群组内摄像机编号、视角方位等信息，经过视频编码压缩后分别以rtmp协议方式实时传输到服务端。

一种流媒体服务器，包括存储器、通信接口和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如下步骤：

S11.数据处理，流媒体服务器在多通道融合压缩后的数据解压后还原出各通道视频数据及摄像机工作参数，依据观看角度选择对应通道视频数据，处理成多角度多协议、多分辨率视频数据，以适配多种显示设备；

S12.多视角切换，用户在观看设备上依据所选择的观看视角及观看模式，进行对应视频流通道切换操作，实现不同角度的3D视频观看及720°照片、多角度画中画等观看。

本发明的有益效果：

1、本发明根据虚拟现实场景内第一人称位置在多个角度动态设置同步虚拟摄像机群组，实现虚拟现实场景内场景内容多角度录制，用于观看者选择对应的场景角度；

2、本发明的虚拟摄像机群组内设置多个机位，每个机位设置多个摄像机，每个摄像机可分别使用不同的录制参数工作，实现各摄像机同步工作且不相互干扰；

3、本发明的虚拟摄像机群组依据角度采用不同的跟随模式，第一人称和第三人称视角虚拟摄像机群组参照于虚拟空间内第一人称位置移动进行跟随，在跟随过程中采用阻尼视角方式来减轻摄像机画面的大幅抖动，真实捕获虚拟现实场景中第一人称位置的各角度场景信息；

4、本发明的虚拟摄像机群组采用多通道数据融合方式，每个摄像机为一个独立通道，将各通道数据使用同一时间刻度进行融合，以消除各摄像机的虚拟时间差导致的画面不同步现象。数据融合后无损压缩实时传输到同步服务器，以降低数据传输码率，保证数据传输可靠性；

本发明通过在虚拟现实场景中依据第一人称位置，在多个角度动态创建多个同步虚拟摄像机群组，在虚拟摄像机群组内设置多个机位，每个机位布置多个摄像机，每个摄像机赋予不同的录制参数，每个摄像机为一个独立的通道，实现虚拟现实场景内第一人称位置多个角度、多方式的场景数据进行融合，将支持多个类型显示设备视频流转换集成在一个模块内，使其设备模式选择、观看角度、观看方式通用，从而实现多类型显示设备多角度、多模式同步观看。

布置多个虚拟摄像机群组，实时跟踪、录制虚拟场景的多视角、多通道画面数据，并实时同步到流媒体服务器。流媒体服务器将多个视角的多通道数据存储于本地，(转换为多种格式的视频流)，实现多种客户端（VR头显、电视、PC机等）的实时观看需求，并能选择视角模式。解决了现有技术的单一场景、单一角度、单一机位的同步问题，实现了虚拟现实场景内场景多角度、适配观看设备视频多模式同步。

5、本发明的数据转换依据融合后的多通道视频数据，还原出各通道视频数据及摄像机工作参数等，依据观看角度选择对应通道视频数据，处理成多角度多协议、多分辨率视频数据，以适配多种显示设备；

6、本发明的数据转换模块通过在摄像机群组内选择多个不同通道的视频流，处理视频流、720°照片、多角度融合画中画等，且通过切换不同位置的虚拟摄像机群组，进行虚拟现实场景内观看角度选择，通过选择虚拟摄像机群组内不同角度的摄像机组，进行角度内观看方式选择。

附图说明

图1 本发明系统结构示意图；

图2 为本发明各功能模块结构示意图；

图3 为本发明虚拟现实场景多角度多模式同步方法流程示意图；

图4 为本发明虚拟现实场景内多角度虚拟摄像机群组位置分布示意图；

图5 为本发明虚拟摄像机群组内摄像机布置示意图；

图6为本发明第三人称视角遮挡规避示意图；

图7 为本发明全景照片拍摄方向组成示意图；

图8 为本发明全景照片合成示意图；

图9 为本发明左右眼视角3D融合全景示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种虚拟现实内容多模式多视角同步展示方法，多视角多模式同步任务处理流程如下：

步骤一：根据虚拟现实场景第一人称位置动态设置第一人称视角影像，第一人称位置与虚拟头戴设备的输入摄像机位置保持一致；

步骤二：以第一人称机位为参考，设置第三人称视角摄像机群组机位，第三人称虚拟摄像机群组机位位置可以根据业务场景进行动态设置（跟随）或者在固定位置（如：固定的正视、顶视、侧视等或场景的固定位置）设置，并依据所设置的摄像机群组位置进行第一人称位置遮挡判断，根据需要进行遮挡规避操作。

步骤三：摄像机跟随，第一人称和第三人称虚拟摄像机群组机位都是参照于虚拟空间设备的摄像机位置进行跟随，在跟随过程中采用阻尼视角方式来减轻摄像机画面的大幅抖动；

步骤四：虚拟摄像机采集影像信息，第一人称和第三人称摄像机各为一个独立通道，独立工作。

步骤五：第一人称视角及第三人称视角机位虚拟摄像机群组将拍摄后的多路影像及群组内摄像机编号、视角方位等信息，经过视频编码压缩后分别以rtmp协议方式实时传输到服务端。

步骤六：数据处理，流媒体服务器在多通道融合压缩后的数据解压后还原出各通道视频数据及摄像机工作参数等，依据观看角度选择对应通道视频数据，处理成多角度多协议、多分辨率视频数据，以适配多种显示设备；

步骤七：多视角切换，用户在观看设备上依据所选择的观看视角及观看模式，进行对应视频流通道切换操作，实现不同角度的3D视频观看及720°照片、多角度画中画等观看。

一种虚拟现实内容多模式多视角同步展示系统，分为虚拟摄像机模块、数据融合模块、数据转换模块、设备接入模块等四个模块（如图2），分别是：

（1）虚拟摄像机模块：实现虚拟现实场景内第一人称位置场景的多角度视频数据采集，实现观看者不同角度，不同方式同步查看场景内影像的业务需求；

（2）数据融合模块：用于完成虚拟现实场景内各虚拟摄像机群组拍摄的多通道多模式视频数据的融合及压缩操作，并将数据同步到流媒体服务器；虚拟摄像机群组内每个摄像机为一个独立采集通道，各虚拟摄像机依据所设置参数逐帧捕捉画面图片；为节省数据传输中网络带宽，保证数据传输质量，将虚拟摄像机群组中所有摄像机图片数据进行融合后再以无损方式进行压缩；数据融合压缩后，通过高速无线网络传输到同步服务器，完成虚拟现实场景内影像数据输出

（3）数据转换模块：作为方法的核心子系统，在多通道融合压缩后的数据解压后还原出各通道视频数据及摄像机工作参数等，依据观看角度选择对应通道视频数据，处理成多角度多协议、多分辨率视频数据，以适配多种显示设备；

比如，在同一虚拟摄像机群组内选择上下左右前后的影像，处理成该视角位置下可旋转角度的全视频流；

在同一虚拟摄像机群组内选择左右眼的影像，处理成该视角位置下的3D视频流；

在不同位置的虚拟摄像机群组，可分别处理为该视角位置的全景、3D视频流；

视频流提供可实时观看的直播视频流格式，并将实时视频流存储于服务器文件上作点播的源数据文件。

（4）视频流分发模块：用于完成各类型观看设备的接入请求，为观看者所接入的设备类型、观看模式、视角位置、视频特征、观看角度等进行对应视频流分发操作；提供可供播放请求入口信息，入口信息包括直播、点播、视角位置、3D、是否全景等，观看终端可根据终端条件及播放需求切换为不同的播放通道。

视频流分发模块会根据观看终端选择的播放通道，代理请求到数据转换模块处理后的对应视频流输出源。

具体实施中，虚拟摄像机模块：提供虚拟现实场景内场景视频数据采集，实现用户多角度多模式同步查看场景内影像的业务需求；

虚拟摄像机群组的位置根据虚拟现实场景第一人称位置动态设置，以第一人称机位为参考，设置第三人称视角摄像机群组机位，第三人称虚拟摄像机群组机位位置可以根据业务场景进行动态设置（跟随）或者在固定位置（如：固定的正视、顶视、侧视等或场景的固定位置）设置；

虚拟摄像机采集影像信息，第一人称虚拟摄像机群组和第三人称摄像机群组中每个摄像机各为一个独立通道，独立工作；

第一人称和第三人称视角虚拟摄像机群组参照于虚拟空间内第一人称位置移动进行跟随，虚拟摄像机在跟随过程中，采取阻尼视角方式进行视野跟随，以消除虚拟摄像机位置跟踪过程中的抖动。

虚拟摄像机模块与数据融合模块运行头戴式虚拟现实设备上，数据转换模块与视频流分发模块运行在流媒体服务器上，各类观看设备通过连接访问流媒体服务器的对应端口的形式进行对应角度及对应模式的视频流获取，系统结构如图1所示：

头戴式虚拟显示设备以高速无线网络形式与流媒体服务器连接，将虚拟现实场景内第一人称位置的多角度视频流数据融合后传输到流媒体服务器。

各类型观看设备（VR头显、电视、PC机等）通过以太网方式访问流媒体服务器对应的服务端口，分别获取虚拟现实场景内第一人称位置的不同角度及不同模式的视频流，进行同步观看。

虚拟现实场景多视角多模式同步任务处理流程如下（如图3）：

步骤一：根据虚拟现实场景第一人称位置动态设置第一人称视角影像（如图4）；

第一人称虚拟摄像机将摄像机的位置和虚拟头戴设备的输入摄像机位置保持一致。该摄像机用于拍摄第一人称视角的760度全景视频信息。

步骤二：以第一人称机位为参考，设置第三人称视角摄像机机位，每个机位布置多个虚拟摄像机（如图5）。

第三人称机位位置可以根据业务场景进行动态设置，可以看作为一个可调整的方向向量，根据这个方向向量可以计算出第三人称视角机位位置。一般来说，第三人称视角应该是在虚拟空间第一人称摄像机后面及上面一段距离的位置。确定了第三人称摄像机机位后，需要确保位置要跟随第一人称摄像机同步移动以保持该固定的相对位置。

这时也会出现例外情况，当有一个高大的物体遮挡住了第一人称位置时候，这时则需要进行第三人称视角调整来规避遮挡。

遮挡判断可以通过从第三人称机位位置向第一人称位置发送射线检测是否发生碰撞来判断是否存在遮挡。

遮挡规避可以以第三人称机位到第一人称机位方向以一个固定角度移动，直到能够绕过高达物体的遮挡为止（如图6）。

步骤三：摄像机跟随，第一人称和第三人称机位都是参照于虚拟空间设备的摄像机位置进行跟随，在跟随过程中采用阻尼视角方式来减轻摄像机画面的大幅抖动；

阻尼视角方式具体为采用线性插值方法，在跟随移动方向上，按每帧等比例移动一段位置。

步骤四：虚拟摄像机采集影像信息，第一人称和第三人称摄像机各为一个独立通道，独立工作。

拍全景照片可以通过摄像机方位分别朝上下左右前后6个方向拍摄6张照片形成CubeMap（如图7）；然后再将CubeMap转EquirectMap，EquirectMap为等距矩形投影，形成一张2:1分辨率的全景图（如图8）。

为了呈现3D立体效果，可以左右眼分别进行拍摄。然后将两张全景图片合并为一张左右眼角度差异的融合全景图（如图9）。

步骤五：第一人称视角及第三人称视角机位虚拟摄像机将拍摄后的立体全景图，经过视频编码压缩后分别以rtmp协议方式实时传输到服务端，通过使用使用nginx的nginx-rtmp-module模块进行rtmp服务器搭建。

步骤六：数据处理，流媒体服务器在多通道融合压缩后的数据解压后还原出各通道视频数据及摄像机工作参数等，依据观看角度选择对应通道视频数据，处理成多角度多协议、多分辨率视频数据，以适配多种显示设备；

步骤七：多视角切换，用户在观看设备上依据所选择的观看视角及观看模式，进行对应视频流通道切换操作，实现不同角度的3D视频观看及720°照片、多角度画中画等观看。

本发明在使用时，充分利用虚拟现实、视角跟随、视频转换等技术，将虚拟现实场景内第一人称位置场景多角度进行同步展示，将虚拟显示空间内场景内容处理成不同模式、不同分辨率的视频流，实现多种客户端（VR头显、电视、PC机等）的实时观看需求，并能选择视角模式，使观看者能不受显示设备类型约束，同步观看虚拟现实场景内相对第一人称位置各角度的场景视频信息，无死角的展示虚拟现实场景场景内环境细节及操作者在场景内的各项操作信息，提高学习知道及操作评判效率。

本发明的应用场景包括：

1.虚拟3D游戏直播

在虚拟3D游戏的空间内，以游戏玩家在游戏中角色为第一人称；

根据虚拟3D游戏空间内第一人称位置，在多个角度（如：正视、侧视、顶视等）动态设置同步虚拟摄像机群组，实时跟随游戏玩家在虚拟3D游戏空间内的移动，对游戏玩家在游戏中角色进行多角度拍摄，实现游戏玩家操作及操作环境720°无死角录制；

根据游戏情节需要依据游戏场景（如：建筑物、关隘等）位置，在多个角度（如前方、后方、侧面、顶部等）固定设置同步虚拟摄像机群组，实现虚拟游戏空间内各玩家角色及各非玩家角色在游戏场景内的动作及输出多角度录制；

观看者在观看设备端，使用直播软件自由切换直播镜头，自主选择观看视角，获得和游戏玩家相同的沉浸感及超玩家视野的视角体验信息，同时无需游戏厂商额外提供技术支持，也不会增加游戏玩家额外的操作。

2.产品发布与演示

将产品虚拟化，在虚拟现实场景内构建产品介绍及使用场景；

以讲解员在虚拟现实场景位置为第一人称位置，根据虚拟场景内第一人称位置（产品讲解员位置），在多个角度（如：正视、侧视、顶视等）动态设置同步虚拟摄像机群组，实时跟随讲解员对产品操作过程，各个机位摄像机同步进行拍摄，实现产品操作功能多角度同步录制；

根据虚拟场景内产品位置，固定设置（如：前方、后方、左侧、右侧、顶部、底部等）多个角度的同步虚拟摄像机群组，对产品多角度拍摄，实现产品特征720°无死角录制；

观众在观看设备端，使用播放器自由切换观看镜头，自主选择观看角度，以身临其境般进行产品特征、产品操作功能多角度观看，实现对产品的多角度、多层级的了解。

3.教学实训

将教学场景虚拟化，在虚拟现实场景内构建教学实训场景；

根据教学实训内容，在教学模式下，以教师在虚拟场景空间内位置为第一人称位置，根据第一人称位置，在多个角度（如：正视、侧视、顶视等）动态设置同步虚拟摄像机群组，实时跟随教师的操作过程，各个机位摄像机同步进行拍摄，对教师的讲解操作多角度拍摄；

学生在观看设备端，使用播放器自由切换观看镜头，自主选择观看角度，破除传统的单一视角（如：面对面）的教学模式，在无需增加教师的额外操作前提下，让学生获得多角度学习体验，提高学习效率；

根据教学实训内容，在实训模式下，以实训员在虚拟场景空间内位置为第一人称位置，根据第一人称位置，在多个角度（如：正视、侧视、顶视等）动态设置同步虚拟摄像机群组，实时跟随实训员的操作过程，各个机位摄像机同步进行拍摄，对实训员的实操过程多角度拍摄；

其他学员及教师在观看设备端，使用播放器自由切换观看镜头，自主选择观看角度，破除传统的单一视角（如：实训员前面操作，教师背后观看）的实训考评模式，在无需增加实训学员的额外操作前提下，让其他学员及教师从多角度观看、指导、考评等，提高实训效率及考评的合理性。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (12)

1.一种虚拟现实内容多模式多视角同步展示方法，其特征在于：所述的方法包括步骤：

在虚拟现实场景中相对于第一人称初始位置在多个角度设置虚拟摄像机群组，实时跟踪第一人称位置变化，拍摄多角度视频信息；

基于所述虚拟现实场景中多角度视频信息，依据观看角度选择对应通道视频数据，处理成多角度、多协议、多分辨率视频数据；

基于多角度视频流与多模式视频流，满足各类显示设备多视角观看虚拟现实场景内场景。

2.根据权利要求1所述的一种虚拟现实内容多模式多视角同步展示方法，其特征在于，所述虚拟摄像机群组按照以下方法设置：

在虚拟现实场景中，获取第一人称初始位置；

基于所述虚拟现实场景中所获取的第一人称初始位置，在多个视角分别设置同步的虚拟摄像机群组，每个摄像机群组内设置多个摄像机；

基于所述虚拟现实场景中所获取的第一人称位置变化数据，各视角的虚拟摄像机群组实时跟踪第一人称位置变化情况，保持固定的相对位置及视角参数。

3.根据权利要求2所述的一种虚拟现实内容多模式多视角同步展示方法，其特征在于，所述虚拟摄像机群组相对应第一人称初始位置的设置的角度包括顶视视角、侧视视角、正视视角。

4.根据权利要求3所述的一种虚拟现实内容多模式多视角同步展示方法，其特征在于，“在虚拟现实场景中相对于第一人称初始位置在多个角度设置虚拟摄像机群组，实时跟踪第一人称位置变化”具体地，所述虚拟摄像机群组实时位置跟踪，依据所设置的位置而采用不同的追踪方式：

所述顶视视角虚拟摄像机群组，采用三维索道方式跟踪方式；

所述正视视角虚拟摄像机群组，采用摇臂式跟踪方式；

所述侧视视角虚拟摄像机群组，采用轨道式跟踪方式等。

5.根据权利要求2所述的一种虚拟现实内容多模式多视角同步展示方法，其特征在于，所述虚拟摄像机群组采用集群分布方式，每个位置点布置多个摄像机，每个摄像机独立工作，分别赋予不同的工作参数及镜头参数，每个摄像机视频录制输出为一个独立通道。

6.根据权利1所述的一种虚拟现实内容多模式多视角同步展示方法，其特征在于，其特征在于，所述虚拟摄像机群组在进行实时位置跟踪时，采用阻尼算法，以消除摄像机在跟踪过程中的抖动。

7.根据权利要求1所述的一种虚拟现实内容多模式多视角同步展示方法，其特征在于，所述“基于多角度视频流与多模式视频流，满足各类显示设备多视角观看虚拟现实场景内场景”，具体地，基于所获取的多视角虚拟摄像机群组多通道视频流信息，依据观看视角进行多通道视频流分组；基于所选择的观看角度，选择多个通道视频数据处理成包括但不限于3D视频流、360°全向媒体视频流、2D视频流的视频流；基于所获取的多视角虚拟摄像机群组多通道视频流信息，分别获取多个角度的视频流通道，处理成监控画中画模式视频流；基于所述的多角度多模式视频流，进行连接端口号分配，等待观看设备连接后，主动向其进行视频流推送。

8.一种虚拟现实内容多模式多视角同步展示系统，其特征在于，包括虚拟现实设备和流媒体服务器，包括虚拟现实操作端、流媒体服务器端、观看终端，所述虚拟现实操作端，用于操作者第一人称在虚拟现实场景场景交互，并录制虚拟现实场景场景多视角多通道视频数据同步传输到流媒体服务器；

所述流媒体服务器端，用于将虚拟现实设备同步录制的多视角多通道视频数据，处理成不同的视频流或照片，从不同端口输出，所述视频流包括360°视频流、不同视角3D视频流、画中画视频流，所述照片包括720°照片；

所述观看终端包括VR头显、电视、PC机。

9.根据权利要求8所述的一种虚拟现实内容多模式多视角同步展示系统，其特征在于，所述的虚拟现实设备包括虚拟摄像机模块和数据融合模块，所述流媒体服务器端包括数据转换模块和视频流分发模块；

虚拟摄像机模块用于提供虚拟现实场景内场景视频数据采集，实现用户多角度多模式同步查看场景内影像的业务需求；

数据融合模块用于完成多通道多模式视频数据的融合及压缩操作，并将数据同步传输到同步服务器；

数据转换模块用于多通道融合压缩后的数据解压后还原出各通道影像数据及摄像机工作参数等，依据观看角度选择对应通道视频数据，处理成多角度多协议、多分辨率视频数据，以适配多种显示设备；

视频流分发模块用于提供可供播放请求入口信息。

10.根据权利要求8所述的一种虚拟现实内容多模式多视角同步展示系统，其特征在于，所述数据转换模块处理成多角度多协议、多分辨率视频数据包括：在同一虚拟摄像机群组内选择两个不同通道的视频流，处理成适合3D电视观看的3D视频流；

选择不同视角的虚拟摄像机群组，处理成正视、侧视、俯视等不同视角的3D视频流；

在同一虚拟摄像机群组内选择不同角度的两个通道视频流，处理成不同旋转角度画面3D视频流；

在不同角度虚拟摄像机群组内分别选择一个通道视频流，处理成360°视频流、画中画视频流、720°照片；

在同一虚拟摄像机群组内选择上下左右前后的影像，处理成该视角位置下可旋转角度的全视频流；

在同一虚拟摄像机群组内选择左右眼的影像，处理成该视角位置下的3D视频流。

11.一种头戴式虚拟现实设备，所述头戴式虚拟现实设备包括：存储器、显示器、处理器和通信接口，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如下步骤：

S01.根据虚拟现实场景第一人称位置动态设置第一人称视角影像，第一人称位置与虚拟头戴设备的输入摄像机位置保持一致；

S02.以第一人称机位为参考，设置第三人称视角摄像机群组机位，第三人称虚拟摄像机群组机位位置可以根据业务场景进行动态跟随设置或者在固定位置设置,并依据所设置的摄像机群组位置进行第一人称位置遮挡判断，根据需要进行遮挡规避操作；

S03.摄像机跟随，第一人称和第三人称虚拟摄像机群组机位均参照于虚拟空间设备的摄像机位置进行跟随，在跟随过程中采用阻尼视角方式来减轻摄像机画面的大幅抖动；

S04.虚拟摄像机采集影像信息，第一人称和第三人称摄像机各为一个独立通道，独立工作；

S05.第一人称视角及第三人称视角机位虚拟摄像机群组将拍摄后的多路影像及群组内摄像机编号、视角方位等信息，经过视频编码压缩后分别以rtmp协议方式实时传输到服务端。

12.一种流媒体服务器，包括存储器、通信接口和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如下步骤：

S11.数据处理，流媒体服务器在多通道融合压缩后的数据解压后还原出各通道视频数据及摄像机工作参数，依据观看角度选择对应通道视频数据，处理成多角度多协议、多分辨率视频数据，以适配多种显示设备；

S12.多视角切换，用户在观看设备上依据所选择的观看视角及观看模式，进行对应视频流通道切换操作，实现不同角度的3D视频观看及720°照片、多角度画中画等观看。

Images