CN113784105A - 一种沉浸式vr终端的信息处理方法及系统 - Google Patents

Abstract

本申请涉及一种沉浸式VR终端的信息处理方法及系统，涉及虚拟现实技术领域。所述方法包括启动第一类型VR终端内容，所述第一类型VR终端包括非沉浸式VR终端；通过渲染服务模块获取沉浸式VR终端客户端的连接请求，所述第一类型VR终端内容基于渲染服务模块；当渲染服务模块与客户端建立连接后，渲染服务模块根据每帧提交的左右眼图像编码为视频流数据，并传输至客户端；客户端接收并解码渲染服务模块的视频流数据，以获取左右眼图像；将解码得到的图像以立体方式绘制在沉浸式VR终端的屏幕。本申请的沉浸式VR终端的信息处理方法及系统，通过数据编码和解码等技术以及立体显示等算法，从而实现将头戴式虚拟现实内容直接在沉浸式虚拟现实显示终端上进行立体显示，并支持交互操作。

Description

一种沉浸式VR终端的信息处理方法及系统

技术领域

本申请涉及虚拟现实技术领域，尤其涉及沉浸式VR终端的信息处理方法及系统。

背景技术

近年来，虚随着虚拟现实(Virtual Reality，VR)，增强现实(Augmented Reality，AR)，混合现实(Mixed Reality，MR)和XR(X Reality，X表示一个未知变量)等技术的迅速发展，不断推出与这些技术息息相关的新一代设备。VR技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的、三维动态视景和实体行为的系统仿真，该系统仿真可以使用户沉浸到设定的虚拟环境中，体验三维虚拟世界。AR技术是一种实时地给出影像的位置及角度，并能够加上相应图像、视频、3D模型的技术，将虚拟世界与现实世界融合，并可以进行互动。MR技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。VR技术、AR技术、MR技术和XR技术可以通过VR设备、AR设备、MR设备和XR设备等实现。这些设备一般包括客户端和控制端，其中，客户端一般包括头显装置和手柄装置，头显是头戴式显示设备的简称，通过各种头戴式显示设备，用不同方法向眼睛发送光学信号，可以实现虚拟现实(VR)、增强现实(AR)、混合现实(MR)、XR等不同效果。VR头显代表设备如HTC Vive，Oculus Rift，Playstation VR等。AR头显代表设备如Google Glass等。MR头显代表设备如HoloLens等。

虚拟现实技术发展至今，硬件产品不断推陈出新，“沉浸式虚拟现实显示终端”是指能够在各个尺寸，尤其是较大尺寸的显示屏幕上，具有主动式立体显示效果，能够搭配3D眼镜观看到三维立体效果；同时，它能够在一个指定范围的区域内具有追踪效果，能够追踪3D眼镜和手柄在真实场景中的位置和姿态，将它们映射到虚拟内容中体现出来，从而让体验者穿戴上3D眼镜和手柄后，可以在虚拟内容中进行交互。

“头戴式虚拟现实显示终端”是指内嵌了显示模块的头戴式显示设备，在渲染时，一般需要左右眼屏幕分别渲染左右眼的画面，通过双目视差呈现立体的效果。根据设备结构可分为需要连接图形工作站使用的PCVR和具备运算和处理能力的一体机VR。头戴式虚拟现实显示设备通过SLAM进行定位，并借助手柄完成在场景中的交互功能。

沉浸式虚拟现实显示终端与头戴式虚拟现实显示终端是目前主流的两大虚拟现实内容呈现载体，其中头戴式虚拟现实显示终端以其轻便、较好的沉浸感、成本低等优势，成为目前虚拟现实市场的主流显示设备。而沉浸式虚拟现实显示终端由于其尺寸较大，非常适合教育、培训的应用场景，一般多用于虚拟现实实训教室。考虑到用户体量的悬殊，目前市面上绝大部分的虚拟现实内容都是针对头戴式虚拟现实显示设备进行开发，且有成熟的交互和显示开发套件，因此，内容数量十分充裕。由于不同虚拟现实硬件的显示和交互技术原理不同，两者内容无法复用。然而，沉浸式虚拟现实显示终端的数量只有头戴式虚拟现实内容的冰山一角，内容极其匮乏，导致在教学和培训过程中不能很好地利用现有资源进行教学和展示，用户一般还需要较昂贵的内容改版费用进行硬件适配。但是，应用市场中尚无已知解决方案可将头盔式虚拟现实终端的内容直接在沉浸式虚拟现实显示终端系统中进行体验。传统实现头盔内容在沉浸式大屏上的交互，需要专业开发人员通过专用软件、专业引擎及SDK开发工具包，开发出适配沉浸式大屏的虚拟现实内容；这种方式需要极大的时间、人力及物力成本。

因此，期望提供一种沉浸式VR终端的信息处理方法及系统，通过数据编码和解码等技术以及立体显示等算法，从而实现将头戴式虚拟现实内容直接在沉浸式虚拟现实显示终端上进行立体显示，并支持交互操作；支持不同类型终端内容的无缝适配，也可以在沉浸式虚拟现实显示终端系统中实现立体显示和手柄交互，提高用户体验。

发明内容

根据本申请的一些实施例的第一方面，提供了一种沉浸式VR终端的信息处理方法，应用于终端系统(例如，VR终端系统等)中，所述方法可以包括：启动第一类型VR终端内容，所述第一类型VR终端包括非沉浸式VR终端；通过渲染服务模块获取沉浸式VR终端客户端的连接请求，所述第一类型VR终端内容基于渲染服务模块；当渲染服务模块与客户端建立连接后，渲染服务模块根据每帧提交的左右眼图像编码为视频流数据，并传输至客户端；客户端接收并解码渲染服务模块的视频流数据，以获取左右眼图像；将解码得到的图像以立体方式绘制在沉浸式VR终端的屏幕。

在一些实施例中，所述视频流数据包括H264/H265格式的视频流数据。

在一些实施例中，所述将解码得到的图像以立体方式绘制在沉浸式VR终端的屏幕，具体包括按照预定方式，将解码得到的纹理图像以立体方式绘制到沉浸式VR终端的屏幕。

在一些实施例中，所述沉浸式VR终端获取眼镜、手柄的位置信息以及按键数据，再通过网络传输至渲染服务模块。

在一些实施例中，所述沉浸式VR终端通过网络根据VRPN协议传输信息至渲染服务模块，所述VRPN包括一系列的类库，在VR系统中实现应用程序与外围物理设备之间的网络透明接口并提供服务。

在一些实施例中，客户端将手柄按键数据映射为第一类型VR终端系统支持的手柄按键数据，再通过网络传输至渲染服务模块。

在一些实施例中，根据所述手柄按键数据，更新3D应用系统的图像数据信息以及人机交互。

在一些实施例中，所述3D应用系统将图像数据编码为预设格式的视频流数据，再通过网络传输至沉浸式VR终端。

在一些实施例中，所述沉浸式VR终端包括外围物理设备，所述外围物理设备包括tracker、手柄、眼镜。

根据本申请的一些实施例的第二方面，提供了一个系统，所述系统包括：一个存储器，被配置为存储数据及指令；一个与存储器建立通信的处理器，其中，当执行存储器中的指令时，所述处理器被配置为：启动第一类型VR终端内容，所述第一类型VR终端包括非沉浸式VR终端；通过渲染服务模块获取沉浸式VR终端客户端的连接请求，所述第一类型VR终端内容基于渲染服务模块；当渲染服务模块与客户端建立连接后，渲染服务模块根据每帧提交的左右眼图像编码为视频流数据，并传输至客户端；客户端接收并解码渲染服务模块的视频流数据，以获取左右眼图像；将解码得到的图像以立体方式绘制在沉浸式VR终端的屏幕。

因此，根据本申请的一些实施例的沉浸式VR终端的信息处理方法及系统，通过数据编码和解码等技术以及立体显示等算法，从而实现将头戴式虚拟现实内容直接在沉浸式虚拟现实显示终端上进行立体显示，并支持交互操作；支持不同类型终端内容的无缝适配，也可以在沉浸式虚拟现实显示终端系统中实现立体显示和手柄交互，提高用户体验。

附图说明

为更好地理解并阐述本申请的一些实施例，以下将结合附图参考实施例的描述，在这些附图中，同样的数字编号在附图中指示相应的部分。

图1是根据本申请的一些实施例提供的沉浸式VR终端的信息处理系统的示例性示意图。

图2是根据本申请的一些实施例提供的沉浸式VR终端的信息处理方法的示例性流程图。

图3是根据本申请的一些实施例提供的虚拟现实应用场景沉浸式VR终端的信息处理系统的应用架构图。

具体实施方式

以下参考附图的描述为便于综合理解由权利要求及其等效内容所定义的本申请的各种实施例。这些实施例包括各种特定细节以便于理解，但这些仅被视为示例性的。因此，本领域技术人员可以理解对在此描述的各种实施例进行各种变化和修改而不会脱离本申请的范围和精神。另外，为简要并清楚地描述本申请，本申请将省略对公知功能和结构的描述。

在以下说明书和权利要求书中使用的术语和短语不限于字面含义，而是仅为能够清楚和一致地理解本申请。因此，对于本领域技术人员，可以理解，提供对本申请各种实施例的描述仅仅是为说明的目的，而不是限制所附权利要求及其等效定义的本申请。

下面将结合本申请一些实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一”、“一个”、“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请中使用的术语“和/或”是指并包含一个或多个相绑定的列出项目的任何或所有可能组合。表达“第一”、“第二”、“所述第一”和“所述第二”是用于修饰相应元件而不考虑顺序或者重要性，仅仅被用于区分一种元件与另一元件，而不限制相应元件。

根据本申请一些实施例的终端可以是平台，装备和/或电子设备，该平台可以包括云控平台等，所述平台可以包括由一个或多个电子设备组成的系统平台；该装备可以包括智能网联车辆(Intelligent Connected Vehicle，ICV)；该电子设备可以包括个人电脑(PC，例如平板电脑、台式电脑、笔记本、上网本、掌上电脑PDA)、客户端设备、虚拟现实设备(VR)、增强现实设备(AR)、混合现实设备(MR)、XR设备、渲染机、智能手机、移动电话、电子书阅读器、便携式多媒体播放器(PMP)、音频/视频播放器(MP3/MP4)、摄像机和可穿戴设备等中的一种或几种的组合。根据本申请的一些实施例，所述可穿戴设备可以包括附件类型(例如手表、戒指、手环、眼镜、或头戴式装置(HMD))、集成类型(例如电子服装)、装饰类型(例如皮肤垫、纹身或内置电子装置)等，或几种的组合。在本申请的一些实施例中，所述电子设备可以是灵活的，不限于上述设备，或者可以是上述各种设备中的一种或几种的组合。在本申请中，术语“用户”可以指示使用电子设备的人或使用电子设备的设备(例如人工智能电子设备)。

本申请实施例提供了一种沉浸式VR终端的信息处理方法及系统。为了便于理解本申请实施例，以下将参考附图对本申请实施例进行详细描述。

图1是根据本申请的一些实施例提供的沉浸式VR终端的信息处理系统的示例性示意图。如图1所述，沉浸式VR终端的信息处理系统100可以包括网络110、控制端120、用户端130和服务器140等。具体的，控制端120与用户端130在通过网络建立通信，例如，控制端120与用户端130可以在同一个局域网(比如，同一个路由器的网络环境等)中通信。进一步，控制端120可以通过有线(例如，网线等)或无线(例如，云端服务器等)等方式与网络110连接，用户端130可以通过有线或无线(例如，WIFI等)等方式与网络110建立通信连接。在一些实施例中，用户端130可以向控制端120、服务器140发送眼镜、手柄关联数据等。进一步地，控制端120、服务器140可以向用户端130发送编码的视频流数据等信息。根据视频流数据，用户端130可以解码至左右眼图像数据，并进行立体显示。作为示例，用户端130可以包括沉浸式VR终端、第一类型VR终端等。所述沉浸式VR终端可以进一步包括应用程序客户端等。所述第一类型VR终端可以包括非沉浸式VR终端，例如，头戴式VR终端等。控制端120可以包括3D应用系统、渲染端，如渲染服务模块等。

根据本申请的一些实施例，控制端120、用户端130可以为相同或不同的终端设备等。所述终端设备可以包括但不限于VR终端，智能终端，移动终端，计算机等。在VR场景中，控制端120可以包括VR终端集成系统等，用户端130可以包括虚拟现实终端设备及外围物理设备，如眼镜、tracker、手柄等。在一些实施例中，控制端120和用户端130可以集成在一个设备中，例如，VR终端等。在一些实施例中，服务器140是计算机的一种，具有比普通计算机运行更快、负载更高等优势，而相对应的价格更高昂。在网络环境中，服务器可以为其它客户机(例如，PC机、智能手机、ATM等终端，以及交通系统等大型设备)提供计算或者应用服务。服务器具有高速的CPU运算能力、长时间的可靠运行、强大的I/O外部数据吞吐能力以及更好的扩展性。所述服务器可以提供的服务包括但不限于承担响应服务请求、承担服务、保障服务的能力等。所述服务器作为电子设备，具有极其复杂的内部结构，包括与普通计算机相近的内部结构等，作为示例，所述服务器的内部结构可以包括中央处理器(CentralProcessing Unit，CPU)、硬盘、内存，系统、系统总线等。

在本申请的一些实施例中，沉浸式VR终端的信息处理系统100可以省略一个或多个元件，或者可以进一步包括一个或多个其它元件。作为示例，沉浸式VR终端的信息处理系统100可以包括多个用户端130，如多个沉浸式VR终端、多个头戴式VR终端等。又例如，沉浸式VR终端的信息处理系统100可以包括一个或多个控制端120，如3D应用系统、渲染端等。再例如，沉浸式VR终端的信息处理系统100可以包括多个服务器140等。在一些实施例中，沉浸式VR终端的信息处理系统100可以包括但不限于基于ICV的虚拟现实应用场景处理的系统。网络110可以为任意类型的通信网络，所述通信网络可以包括计算机网络(例如，局域网(LAN，Local Area Network)或广域网(WAN，Wide Area Network))、互联网和/或电话网络等，或几种的组合。在一些实施例中，网络110可以为其他类型的无线通信网络。所述无线通信可以包括微波通信和/或卫星通信等。所述无线通信可以包括蜂窝通信，例如，全球移动通信(GSM，Global System for Mobile Communications)、码分多址(CDMA，Code DivisionMultiple Access)、第三代移动通信(3G，The 3rd Generation Telecommunication)、第四代移动通信(4G)、第五代移动通信(5G)、第六代移动通信(6G)、长期演进技术(LTE，LongTerm Evolution)、长期演进技术升级版(LTE-A，LTE-Advanced)、宽带码分多址(WCDMA，Wideband Code Division Multiple Access)、通用移动通信系统(UMTS，UniversalMobile Telecommunications System)、无线宽带(WiBro，Wireless Broadband)等，或几种的组合。在一些实施例中，用户端130可以为其他具备同等功能模块的装备和/或电子设备，该装备和/或电子设备可以包括虚拟现实车辆(Intelligent Connected Vehicle，ICV)、虚拟现实设备(VR)、渲染机、个人电脑(PC，例如平板电脑、台式电脑、笔记本、上网本、掌上电脑PDA)、智能手机、移动电话、电子书阅读器、便携式多媒体播放器(PMP)、音频/视频播放器(MP3/MP4)、摄像机和可穿戴设备等中的一种或几种的组合。

在一些实施例中，所述WIFI可以为其他类型的无线通信技术。根据本申请的一些实施例，所述无线通信可以包括无线局域网(WiFi，Wireless Fidelity)、蓝牙、低功耗蓝牙(BLE，Bluetooth Low Energy)、紫蜂协议(ZigBee)、近场通讯(NFC，Near FieldCommunication)、磁安全传输、射频和体域网(BAN，Body Area Network)等，或几种的组合。根据本申请的一些实施例，所述有线通信可以包括全球导航卫星系统(Glonass/GNSS，Global Navigation Satellite System)、全球定位系统(GPS，Global Position System)、北斗导航卫星系统或伽利略(欧洲全球卫星导航系统)等。所述有线通信可以包括通用串行总线(USB，Universal Serial Bus)、高清多媒体接口(HDMI，High-Definition MultimediaInterface)、推荐标准232(RS-232，Recommend Standard 232)、和/或简易老式电话服务(POTS，Plain Old Telephone Service)等，或几种的组合。

需要说明的是，以上对于沉浸式VR终端的信息处理系统100的描述，仅为描述方便，并不能把本申请限制在所举实施例的范围之内。可以理解，对于本领域技术人员，基于本系统的原理，可能在不背离该原理的前提下，对各个元件进行任意组合，或者构成子系统与其他元件连接，对实施上述方法和系统的应用领域进行形式和细节上的各种修正和改变。例如，控制端120可以包括3D应用系统、渲染端等，用户端130可以包括沉浸式VR终端、头戴式VR终端等。诸如此类的变形，均在本申请的保护范围之内。

图2是根据本申请的一些实施例提供的沉浸式VR终端的信息处理方法的示例性流程图。如图2所述，流程200可以通过沉浸式VR终端的信息处理系统100实现。在一些实施例中，所述沉浸式VR终端的信息处理方法200可以自动启动或通过指令启动。所述指令可以包括系统指令、设备指令、用户指令、动作指令等，或几种的组合。

在201，启动第一类型VR终端内容，所述第一类型VR终端包括非沉浸式VR终端。操作201可以通过沉浸式VR终端的信息处理系统100的控制端120、服务器140实现。在一些实施例中，控制端120和/或服务器140可以启动第一类型VR终端内容，所述第一类型VR终端包括非沉浸式VR终端。在一些实施例中，用户端130可以实时获取两眼图像数据信息并发送至控制端120和/或服务器140。

在202，通过渲染服务模块获取沉浸式VR终端客户端的连接请求，所述第一类型VR终端内容基于渲染服务模块。操作202可以通过沉浸式VR终端的信息处理系统100的控制端120、服务器140实现。在一些实施例中，控制端120和/或服务器140可以通过渲染服务模块获取沉浸式VR终端客户端的连接请求，所述第一类型VR终端内容基于渲染服务模块。作为示例，渲染服务模块可以通过网络110与沉浸式VR终端客户端建立连接。

在203，当渲染服务模块与客户端建立连接后，渲染服务模块根据每帧提交的左右眼图像编码为视频流数据，并传输至客户端。操作203可以通过沉浸式VR终端的信息处理系统100的控制端120、服务器140实现。在一些实施例中，当渲染服务模块与客户端建立连接后，控制端120和/或服务器140可以渲染服务模块根据每帧提交的左右眼图像编码为视频流数据，并传输至客户端。作为示例，所述视频流数据包括H264/H265格式的视频流数据。控制端120可以根据每帧提交的左右眼图像编码为H264/H265格式的视频流数据。

在204，客户端接收并解码渲染服务模块的视频流数据，以获取左右眼图像。操作204可以通过沉浸式VR终端的信息处理系统100的用户端130实现。在一些实施例中，用户端130可以通过沉浸式VR终端应用程序客户端接收并解码渲染服务模块的视频流数据，以获取左右眼图像。在一些实施例中，客户端可以将H264/H265格式的视频流数据解码为左右眼图像数据等。

在205，将解码得到的图像以立体方式绘制在沉浸式VR终端的屏幕。操作205可以通过沉浸式VR终端的信息处理系统100的服务器140和/或控制端120实现。在一些实施例中，服务器140和/或控制端120可以将解码得到的图像以立体方式绘制在沉浸式VR终端的屏幕。在一些实施例中，控制端120可以按照预定方式，将解码得到的纹理图像以立体方式绘制到沉浸式VR终端的屏幕。作为示例，控制端120可以将解码得到的左右眼图像数据按照预定方式绘制在沉浸式VR终端的屏幕。

按照预定方式具体包括：客户端接收并解码渲染服务模块的视频流数据，以获取左右眼图像，通过DirectX11提供的API接口接收左右眼两幅图像，然后通过硬件实现交替输出。硬件驱动程序将交替渲染左右眼的图像，例如第一帧为左眼的图像，那么下一帧就为右眼的图像，再下一帧再渲染左眼的图像，依次交替渲染。然后观测者将使用一幅快门眼镜。快门眼镜通过有线或无线的方式与显卡和显示器同步，当显示器上显示左眼图像时，眼镜打开左镜片的快门同时闭右镜片的快门，当显示器上显示右眼图像时，眼镜打开右镜片的快门同时关闭左镜片的快门。看不见的某只眼的图像将由大脑根据视觉暂存效应保留为刚才画面的影响，只要在此范围内的任何人戴上我们的立体眼镜都能观看到立体影像。

根据本申请的一些实施例，流程200可以进一步包括通过所述沉浸式VR终端获取眼镜、手柄的位置信息以及按键数据，再通过网络传输至渲染服务模块。作为示例，所述沉浸式VR终端通过网络根据VRPN协议传输信息至渲染服务模块，所述VRPN包括一系列的类库，在VR系统中实现应用程序与外围物理设备之间的网络透明接口并提供服务。所述沉浸式VR终端可以包括外围物理设备，所述外围物理设备可以包括tracker、手柄、眼镜、屏幕等。

根据本申请的一些实施例，流程200可以进一步包括通过客户端将手柄按键数据映射为第一类型VR终端系统支持的手柄按键数据，再通过网络传输至渲染服务模块。进一步，根据所述手柄按键数据，更新3D应用系统的图像数据信息以及人机交互。所述3D应用系统将图像数据编码为预设格式的视频流数据，再通过网络传输至沉浸式VR终端。作为示例，所述3D应用系统，渲染端，如渲染服务模块，沉浸式VR终端等形成数据传输闭环，实现不同类型VR终端等的内容适配。

图3是根据本申请的一些实施例提供的虚拟现实应用场景沉浸式VR终端的信息处理系统的应用架构图。如图3所示，本申请的沉浸式VR终端的信息处理系统可以包括3D应用系统，渲染端，如渲染服务模块，沉浸式VR终端等。所述3D应用系统可以包括VRDO，IdeaVR，Unity，Unreal等。所述3D应用系统可以接收通过客户端映射的手柄数据；可以将渲染数据发送至渲染服务模块等。所述渲染服务模块可以包括推流驱动，将视频编码数据，如AVC或HEVC等通过网络推流传输至沉浸式VR终端，所述网络传输自适应码率。所述沉浸式VR终端可以包括沉浸式大屏，手柄交互等。所述沉浸式VR终端可以将手柄交互数据通过VRPN协议传输至渲染服务模块等。

本申请无需通过专业开发人员及开发工具，即可将头戴式虚拟现实终端的内容直接在大屏环境中以立体方式进行显示和手柄交互，极大地降低了头戴式虚拟现实终端内容适配沉浸式虚拟现实终端系统的时间、人力及物力成本。同时，本申请极大地丰富了沉浸式虚拟现实显示终端的内容数量，在实际应用中具有较大的应用价值。本申请不仅能够支持当前设备内容的无缝适配，也可以在网络环境下与其他计算机设备的头盔内容在沉浸式虚拟现实显示终端系统中进行主动立体显示和手柄交互，用户能够自主安排已有算力，呈现最好效果及体验。

需要说明的是，以上对于流程200的描述，仅为描述方便，并不能把本申请限制在所举实施例的范围之内。可以理解，对于本领域技术人员，基于本系统的原理，可能在不背离该原理的前提下，对各个操作进行任意组合，或者构成子流程与其它操作组合，对实施上述流程和操作的功能进行形式和细节上的各种修正和改变。例如，流程200可以进一步包括通过客户端将手柄按键数据映射为第一类型VR终端系统支持的手柄按键数据，再通过网络传输至渲染服务模块；根据所述手柄按键数据，更新3D应用系统的图像数据信息以及人机交互；所述3D应用系统将图像数据编码为预设格式的视频流数据，再通过网络传输至沉浸式VR终端等操作。诸如此类的变形，均在本申请的保护范围之内。

综上所述，根据本申请实施例的沉浸式VR终端的信息处理方法及系统，通过数据编码和解码等技术以及立体显示等算法，从而实现将头戴式虚拟现实内容直接在沉浸式虚拟现实显示终端上进行立体显示，并支持交互操作；支持不同类型终端内容的无缝适配，也可以在沉浸式虚拟现实显示终端系统中实现立体显示和手柄交互，提高用户体验。

需要注意的是，上述的实施例仅仅是用作示例，本申请不限于这样的示例，而是可以进行各种变化。

需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序指令相关的硬件来完成，所述的程序可存储于一计算机可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器(Read-Only Memory，ROM)或随机存储器(Random Access Memory，RAM)等。

以上所揭露的仅为本申请一些优选的实施例，不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (10)

1.一种沉浸式VR终端的信息处理方法，其特征在于，包括：

启动第一类型VR终端内容，所述第一类型VR终端包括非沉浸式VR终端；

通过渲染服务模块获取沉浸式VR终端客户端的连接请求，所述第一类型VR终端内容基于渲染服务模块获取；

当渲染服务模块与客户端建立连接后，渲染服务模块根据每帧提交的左右眼图像编码为视频流数据，并传输至客户端；

客户端接收并解码渲染服务模块的视频流数据，以获取左右眼图像；

将解码得到的图像以立体方式绘制在沉浸式VR终端的屏幕。

2.根据权利要求1所述的方法，其特征在于，所述视频流数据包括H264/H265格式的视频流数据。

3.根据权利要求1所述的方法，其特征在于，所述将解码得到的图像以立体方式绘制在沉浸式VR终端的屏幕，具体包括：

按照预定方式，将解码得到的纹理图像以立体方式绘制到沉浸式VR终端的屏幕。

4.根据权利要求1所述的方法，其特征在于，所述沉浸式VR终端获取眼镜、手柄的位置信息以及按键数据，再通过网络传输至渲染服务模块。

5.根据权利要求4所述的方法，其特征在于，所述沉浸式VR终端通过网络根据VRPN协议传输信息至渲染服务模块，所述VRPN包括一系列的类库，在VR系统中实现应用程序与外围物理设备之间的网络透明接口并提供服务。

6.根据权利要求4所述的方法，其特征在于，客户端将手柄按键数据映射为第一类型VR终端系统支持的手柄按键数据，再通过网络传输至渲染服务模块。

7.根据权利要求6所述的方法，其特征在于，根据所述手柄按键数据，更新3D应用系统的图像数据信息以及人机交互。

8.根据权利要求7所述的方法，其特征在于，所述3D应用系统将图像数据编码为预设格式的视频流数据，再通过网络传输至沉浸式VR终端。

9.根据权利要求1或5所述的方法，其特征在于，所述沉浸式VR终端包括外围物理设备，所述外围物理设备包括tracker、手柄、眼镜。

10.一个系统，其特征在于，包括：

一个存储器，被配置为存储数据及指令；

一个与存储器建立通信的处理器，其中，当执行存储器中的指令时，所述处理器被配置为：

启动第一类型VR终端内容，所述第一类型VR终端包括非沉浸式VR终端；

通过渲染服务模块获取沉浸式VR终端客户端的连接请求，所述第一类型VR终端内容基于渲染服务模块；

当渲染服务模块与客户端建立连接后，渲染服务模块根据每帧提交的左右眼图像编码为视频流数据，并传输至客户端；

客户端接收并解码渲染服务模块的视频流数据，以获取左右眼图像；

将解码得到的图像以立体方式绘制在沉浸式VR终端的屏幕。

Images