CN107635131B - 一种虚拟现实的实现方法及系统 - Google Patents

Abstract

本发明涉及本发明涉及虚拟现实技术领域，尤其提供了一种虚拟现实的实现方法及系统；其中，所述方法包括：实时捕获至少一个场景影像；实时捕获所述至少一个场景影像内的移动影像和音频；将所述至少一个场景影像及其对应的移动影像和音频融合为虚拟现实视频数据；将所述虚拟现实视频数据与当前实景进行匹配，将该虚拟现实视频数据重现到所述当前实景中；该发明通过分别获取场景影响和移动影像以及将多场景融合，实现了多场景间通过虚拟现实的互动。

Description

一种虚拟现实的实现方法及系统

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种一种虚拟现实的实现方法及系统。

背景技术

VR是Virtual Reality的缩写，中文的意思就是虚拟现实，概念是在80年代初提出来的，其具体是指借助计算机及最新传感器技术创造的一种崭新的人机交互手段。可以认为，虚拟现实技术综合了计算机图形技术、计算机仿真技术、传感器技术、显示技术等多种科学技术，它在多维信息空间上创建一个虚拟信息环境，能使用户具有身临其境的沉浸感，具有与环境完善的交互作用能力，并有助于启发构思。

现有的技术方案还做不到多个vr场景经行融合后还可与他人相互交流。

发明内容

本发明实施例提供一种虚拟现实的实现方法及系统，实现了多个虚拟现实场景相互融合及互动。

一方面，本发明实施例提供了一种虚拟现实的实现方法，包括：

实时捕获至少一个场景影像；

实时捕获所述至少一个场景影像内的移动影像和音频；

将所述至少一个场景影像及其对应的移动影像和音频融合为虚拟现实视频数据；

将所述虚拟现实视频数据与当前实景进行匹配，将该虚拟现实视频数据重现到所述当前实景中。

优选的，所述实时捕获至少一个场景影像包括：

实时捕获所述至少一个场景影像中的固定影像；

实时捕获所述至少一个场景影像中的视频播放设备影像。

优选的，所述将所述至少一个场景影像及其对应的移动影像和音频融合为虚拟现实视频数据，包括：

将所述视频播放设备影像数据删除。

优选的，所述将该虚拟现实视频数据重现到所述当前实景中之后，当所述至少一个场景影像中的视频影像与当前实景中播放的视频影像相同，且播放的时间差值在预设阈值内时，通过网络将所述至少一个场景影像对应的场景中播放的视频影像与当前实景中播放的视频影像同步。

优选的，所述将所述至少一个场景影像及其对应的移动影像和音频融合为虚拟现实视频数据之前，包括：

将所述至少一个场景影像中的固定影像延迟第一预设时长t₁，和/或将与该至少一个场景影像对应的所述移动影像延迟第二预设时长t₂。

另一方面，本发明实施例提供了一种虚拟现实的实现系统，包括：

场景捕获单元，用于实时捕获至少一个场景影像；

移动影像捕获单元，用于实时捕获所述至少一个场景影像内的移动影像和音频；

融合单元，用于将所述至少一个场景影像及其对应的移动影像和音频融合为虚拟现实视频数据；

虚拟现实影像生成单元，用于将所述虚拟现实视频数据与当前实景进行匹配，将该虚拟现实视频数据重现到所述当前实景中。

优选的，所述场景捕获单元包括：

固定影像捕获子单元，用于实时捕获所述至少一个场景影像中的固定影像；

视频影像捕获子单元，用于实时捕获所述至少一个场景影像中的视频播放设备影像。

优选的，所述融合单元包括：

视频播放设备影像删除子单元，用于将所述视频播放设备影像数据删除。

优选的，该系统还包括：

视频同步单元，用于在所述将该虚拟现实视频数据重现到所述当前实景中之后，当所述至少一个场景影像中的视频影像与当前实景中播放的视频影像相同，且播放的时间差值在预设阈值内时，通过网络将所述至少一个场景影像对应的场景中播放的视频影像与当前实景中播放的视频影像同步。

优选的，所述融合单元，包括：

同步子单元，用于将所述至少一个场景影像中的固定影像延迟第一预设时长t₁，和/或将与该至少一个场景影像对应的所述移动影像延迟第二预设时长t₂。

上述技术方案具有如下有益效果：通过分别获取场景影响和移动影像以及将多场景融合，实现了多场景间通过虚拟现实的互动。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的虚拟现实实现方法的流程图；

图1.1是步骤101的流程示意图；

图2是根据本发明实施例的虚拟现实实现系统的结构框图；

图2.1是是场景捕获单元201的结构框图；

图3是根据本发明实施例的KTV中通过虚拟现实互动方法的流程图；

图4是根据本发明实施例的KTV中虚拟现实系统的结构框图；

图5是VR实景环境部署的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请提出了一种虚拟现实实现方法及系统，以下结合附图对本发明进行说明。

图1是根据本发明实施例的虚拟现实实现方法的流程图；如图所示，包括以下步骤：

步骤101，实时捕获至少一个场景影像；

步骤102，实时捕获所述至少一个场景影像内的移动影像和音频；

步骤103，将所述至少一个场景影像及其对应的移动影像和音频融合为虚拟现实视频数据；

步骤104，将所述虚拟现实视频数据与当前实景进行匹配，将该虚拟现实视频数据重现到所述当前实景中。

图1.1为步骤101的流程示意图，如图所示，所述步骤101包括：

步骤1011，实时捕获所述至少一个场景影像中的固定影像；

步骤1012，实时捕获所述至少一个场景影像中的视频播放设备影像。

优选的，所述将所述至少一个场景影像及其对应的移动影像和音频融合为虚拟现实视频数据，包括：

将所述视频播放设备影像数据删除。

优选的，所述将该虚拟现实视频数据重现到所述当前实景中之后，当所述至少一个场景影像中的视频影像与当前实景中播放的视频影像相同，且播放的时间差值在预设阈值内时，通过网络将所述至少一个场景影像对应的场景中播放的视频影像与当前实景中播放的视频影像同步。

优选的，所述将所述至少一个场景影像及其对应的移动影像和音频融合为虚拟现实视频数据之前，包括：

将所述至少一个场景影像中的固定影像延迟第一预设时长t₁，和/或将与该至少一个场景影像对应的所述移动影像延迟第二预设时长t₂。

图2是根据本发明实施例的虚拟现实实现系统的结构框图；如图所示，包括：

场景捕获单元201，用于实时捕获至少一个场景影像；

移动影像捕获单元202，用于实时捕获所述至少一个场景影像内的移动影像和音频；

融合单元203，用于将所述至少一个场景影像及其对应的移动影像和音频融合为虚拟现实视频数据；

虚拟现实影像生成单元204，用于将所述虚拟现实视频数据与当前实景进行匹配，将该虚拟现实视频数据重现到所述当前实景中。

图2.1是场景捕获单元201的结构框图，如图所示，包括：

固定影像捕获子单元2011，用于实时捕获所述至少一个场景影像中的固定影像；

视频影像捕获子单元2012，用于实时捕获所述至少一个场景影像中的视频播放设备影像。

优选的，所述融合单元203包括：

视频播放设备影像删除子单元2031，用于将所述视频播放设备影像数据删除。

优选的，该系统还包括：

视频同步单元205，用于在所述将该虚拟现实视频数据重现到所述当前实景中之后，当所述至少一个场景影像中的视频影像与当前实景中播放的视频影像相同，且播放的时间差值在预设阈值内时，通过网络将所述至少一个场景影像对应的场景中播放的视频影像与当前实景中播放的视频影像同步。

优选的，所述融合单元203，包括：

同步子单元2032，用于将所述至少一个场景影像中的固定影像延迟第一预设时长t₁，和/或将与该至少一个场景影像对应的所述移动影像延迟第二预设时长t₂。

上述技术方案具有如下有益效果：通过分别获取场景影响和移动影像以及将多场景融合，实现了多场景间通过虚拟现实的互动。

以下将结合具体实施方式对本发明进行进一步说明。

图3是根据本发明实施例的KTV中通过虚拟现实互动方法的流程图；如图所示，包括以下步骤：

步骤301，实时捕获KTV内加入转播组的场景影像；

在本实施例的一个实施方式中，在KTV内唱歌的用户可以通过手机扫码的方式加入转播组。

本实施例优选的，该场景数据为各个包厢的实际场景数据。

步骤302，实时捕获转播组内用户的影像和音频；

在本实施例的一个实施方式中，该步骤通过话筒来实现。即，通过话筒来捕获用户的影像。

步骤303，将转播组内的场景影像及用户影像进行融合计算，得到虚拟现实视频数据；

在本实施例的一个实施方式中，该虚拟现实视频数据为全息三维立体视频影像数据。

在本实施例的一个优选实施方式中，因为虚拟现实视频数据的数据量非常大，优选的，仅将场景数据作为融合计算的依据。

比如，转播组内共有三个包厢，现需要将除当前包厢外的另外两个包厢的场景影像和用户影像进行融合计算；此时，若另外两个包厢的大小格局相同，则仅将用户影像分布在不同位置即可；若大小相同但镜像对称，则将两个用户影像调整一致(比如唱歌时要对着播放器)；若大小不同，则调整两个用户影像的位置。

步骤304，将所述虚拟现实视频数据与当前实景进行匹配，将该虚拟现实视频数据重现到所述当前实景中。

在本实施例的一个优选实施方式中，该匹配需要场景数据作为匹配依据，具体情况与步骤303的优选实施方式相类似。即，防止大包厢内的用户影像出现在当前包厢的墙上甚至墙外，也防止另外两个用户影像出现在播放器上或者与当前用户所站位置重合。

优选的，将另外两个用户影像与当前包厢的用户面对面呈现。

在本实施例的一个实施方式中，场景影像包括固定影像和视频播放设备影像。

在该实施方式中，场景影像是为了在融合计算和虚拟现实重现匹配中，将不同包厢的格局和尺寸相互匹配。

视频播放设备影像是为了在融合计算和虚拟现实重现匹配中调整用户影像的朝向。例如，当用户实际面向视频播放设备时，虚拟现实影像也同时面向当前实景中的视频播放设备。

优选的，所述将该虚拟现实视频数据重现到所述当前实景中之后，当所述至少一个场景影像中的视频影像与当前实景中播放的视频影像相同，且播放的时间差值在预设阈值内时，通过网络将所述至少一个场景影像对应的场景中播放的视频影像与当前实景中播放的视频影像同步。

即，将不同包厢的歌曲调整一致。

在本实施例的一个优选实施方式中，将KTV内加入转播组的场景影像延迟时长t₁，和/或将用户影像延迟第二预设时长t₂。

在该实施方式中，将场景影像也加入融合计算中。但因场景影像复杂度高，但其实时性对用户体验影响不大，所以，为了使虚拟现实影像更流畅，可以延迟一段时间，比如5-10秒。

但用户影像的延迟时间需要控制在不影响用户体验的时长内，比如0.1秒。

优选的，用户影像不延时。

图4是根据本发明实施例的KTV中虚拟现实系统的结构框图。如图所示，包括：

场景影像捕获器401，用于实时捕获KTV内加入转播组的场景影像；

在本实施例的一个实施方式中，在KTV内唱歌的用户可以通过手机扫码的方式加入转播组。

本实施例优选的，该场景数据为各个包厢的实际场景数据。

筒型场景影像捕获器402，用于实时捕获转播组内用户的影像和音频；

在本实施例的一个实施方式中，该捕获器为话筒来实现。即，通过话筒来捕获用户的影像。

场景融合分析器403，用于将转播组内的场景影像及用户影像进行融合计算，得到虚拟现实视频数据；

在本实施例的一个实施方式中，该虚拟现实视频数据为全息三维立体视频影像数据。

在本实施例的一个优选实施方式中，因为虚拟现实视频数据的数据量非常大，优选的，仅将场景数据作为融合计算的依据。

比如，转播组内共有三个包厢，现需要将除当前包厢外的另外两个包厢的场景影像和用户影像进行融合计算；此时，若另外两个包厢的大小格局相同，则仅将用户影像分布在不同位置即可；若大小相同但镜像对称，则将两个用户影像调整一致(比如唱歌时要对着播放器)；若大小不同，则调整两个用户影像的位置。

搭载VR生成工具的Server 404，用于将所述虚拟现实视频数据与当前实景进行匹配，将该虚拟现实视频数据重现到所述当前实景中。

在本实施例的一个优选实施方式中，该匹配需要场景数据作为匹配依据，即，防止大包厢内的用户影像出现在当前包厢的墙上甚至墙外，也防止另外两个用户影像出现在播放器上或者与当前用户所站位置重合。

优选的，将另外两个用户影像与当前包厢的用户面对面呈现。

用于将所述虚拟现实视频数据与当前实景进行匹配，将该虚拟现实视频数据重现到所述当前实景中。

在本实施例的一个实施方式中，场景影像包括固定影像和视频播放设备影像。

在该实施方式中，场景影像是为了在融合计算和虚拟现实重现匹配中，将不同包厢的格局和尺寸相互匹配。

视频播放设备影像是为了在融合计算和虚拟现实重现匹配中调整用户影像的朝向。例如，当用户实际面向视频播放设备时，虚拟现实影像也同时面向当前实景中的视频播放设备。

优选的，所述将该虚拟现实视频数据重现到所述当前实景中之后，当所述至少一个场景影像中的视频影像与当前实景中播放的视频影像相同，且播放的时间差值在预设阈值内时，通过网络将所述至少一个场景影像对应的场景中播放的视频影像与当前实景中播放的视频影像同步。

即，将不同包厢的歌曲调整一致。

在本实施例的一个优选实施方式中，将KTV内加入转播组的场景影像延迟时长t₁，和/或将用户影像延迟第二预设时长t₂。

在该实施方式中，将场景影像也加入融合计算中。但因场景影像复杂度高，但其实时性对用户体验影响不大，所以，为了使虚拟现实影像更流畅，可以延迟一段时间，比如5-10秒。

但用户影像的延迟时间需要控制在不影响用户体验的时长内，比如0.1秒。

优选的，用户影像不延时。

在本实施例的一个实施方式中，场景影像捕获器是通过传输镜头捕获的内容然后通过最基本的Zip压缩算法压缩，再通过网线或wifi传输。场景融合分析器是单独生产的特定产品，专门用来处理多个影响捕获器传输过来的影响数据，靠它生成对应的场景、人物与最终场景的替换。

VR生成工具(VR Tool)：VR生成工具是整个是被最核心部分，他可以将捕获器与融合分析器产生的全景视频转换成对应的VR视频流，使用UE4、U3D等创建融合后的人物与场景建模，C#的Unity生成VR文件。

上述技术方案具有如下有益效果：通过分别获取场景影响和移动影像以及将多场景融合，实现了多场景间通过虚拟现实的互动。

在一个优选实施方式中，整个VR实景环境部署需要分成三步，如图5所示，包括：

步骤501.部署VR生成工具在Server上，并且配置好场所内所有融合分析器的IP地址，指定好对应ip生成的视频物理存储地址。

步骤502.部署并配置场景融合分析器，通过网线连接server，如果使用wifi工作，要保证场景融合分析器与场景影响捕获器在同一网络环境内。

步骤503.安装场景影响捕获器到期望转播所看到的角度的地方。(至少需要两个在对角上)。

上述技术方案具有如下有益效果：通过分别获取场景影响和移动影像以及将多场景融合，实现了多场景间通过虚拟现实的互动。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种虚拟现实的实现方法，其特征在于，包括：

实时捕获至少一个场景影像；

实时捕获所述至少一个场景影像内的移动影像和音频；

将所述至少一个场景影像及其对应的移动影像和音频融合为虚拟现实视频数据；该虚拟现实视频数据为全息三维立体视频影像数据；

将所述虚拟现实视频数据与当前实景进行匹配，将该虚拟现实视频数据重现到所述当前实景中；其中，

所述将所述虚拟现实视频数据与当前实景进行匹配，包括：

根据所述场景影像及所述当前实景来控制所述移动影像的位置；

其中，所述实时捕获至少一个场景影像包括：

实时捕获所述至少一个场景影像中的固定影像；

实时捕获所述至少一个场景影像中的视频播放设备影像。

2.根据权利要求1所述的方法，其特征在于，所述将所述至少一个场景影像及其对应的移动影像和音频融合为虚拟现实视频数据，包括：

将所述视频播放设备影像数据删除。

3.根据权利要求1所述的方法，其特征在于，所述将该虚拟现实视频数据重现到所述当前实景中之后，当所述至少一个场景影像中的视频影像与当前实景中播放的视频影像相同，且播放的时间差值在预设阈值内时，通过网络将所述至少一个场景影像对应的场景中播放的视频影像与当前实景中播放的视频影像同步。

4.根据权利要求2所述的方法，其特征在于，所述将所述至少一个场景影像及其对应的移动影像和音频融合为虚拟现实视频数据之前，包括：

将所述至少一个场景影像中的固定影像延迟第一预设时长t₁，和/或将与该至少一个场景影像对应的所述移动影像延迟第二预设时长t₂。

5.一种虚拟现实的实现系统，其特征在于，包括：

场景捕获单元，用于实时捕获至少一个场景影像；

移动影像捕获单元，用于实时捕获所述至少一个场景影像内的移动影像和音频；

融合单元，用于将所述至少一个场景影像及其对应的移动影像和音频融合为虚拟现实视频数据；该虚拟现实视频数据为全息三维立体视频影像数据；

虚拟现实影像生成单元，用于将所述虚拟现实视频数据与当前实景进行匹配，将该虚拟现实视频数据重现到所述当前实景中；其中，

所述将所述虚拟现实视频数据与当前实景进行匹配，包括：

根据所述场景影像及所述当前实景来控制所述移动影像的位置；

其中，所述场景捕获单元包括：

固定影像捕获子单元，用于实时捕获所述至少一个场景影像中的固定影像；

视频影像捕获子单元，用于实时捕获所述至少一个场景影像中的视频播放设备影像。

6.根据权利要求5所述的系统，其特征在于，所述融合单元包括：

视频播放设备影像删除子单元，用于将所述视频播放设备影像数据删除。

7.根据权利要求5所述的系统，其特征在于，还包括：

视频同步单元，用于在所述将该虚拟现实视频数据重现到所述当前实景中之后，当所述至少一个场景影像中的视频影像与当前实景中播放的视频影像相同，且播放的时间差值在预设阈值内时，通过网络将所述至少一个场景影像对应的场景中播放的视频影像与当前实景中播放的视频影像同步。

8.根据权利要求6所述的系统，其特征在于，所述融合单元，包括：

同步子单元，用于将所述至少一个场景影像中的固定影像延迟第一预设时长t₁，和/或将与该至少一个场景影像对应的所述移动影像延迟第二预设时长t₂。

Images