CN105323129A - 一种家庭虚拟现实娱乐系统 - Google Patents

Abstract

本发明涉及信息通信技术领域，具体来说是一种能用于家庭媒体娱乐、展览展示、工业辅助设计等领域的家庭虚拟现实娱乐系统，包括系统前端云网络和家庭网络内部系统，家庭网络内部系统包括VR终端服务器、VR个人设备和用户动作捕捉设备，其中，VR终端服务器、VR个人设备、动作捕捉设备均通过家用网络进行互联互通。本发明虚拟现实家用终端服务器、虚拟现实个人设备、用户动作捕捉系统等一系列子系统的有机结合，使其均在一个控制系统内协同工作，在保持其实时性和交互性的同时，提高并加强了虚拟系统的逼真度和沉浸感，为用户提供更为真实的虚拟现实，提高用户体验，满足家庭娱乐的需求。

Description

一种家庭虚拟现实娱乐系统

[技术领域]

本发明涉及信息通信技术领域，具体来说是一种能用于家庭媒体娱乐、展览展示、工业辅助设计等领域的家庭虚拟现实娱乐系统。

[背景技术]

虚拟现实技术是仿真技术的一个重要方向是仿真技术与计算机图形学人机接口技术多媒体技术传感技术网络技术等多种技术的集合是一门富有挑战性的交叉技术前沿学科和研究领域，虚拟现实技术(VR)丰要包括模拟环境、感知、自然技能和传感设各等方面。模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的VR应该具有一切人所具有的感知，除计算机图形技术所生成的视觉感知外，还有听觉、触觉、力觉、运动等感知，甚至还包括嗅觉和味觉等，也称为多感知。

目前，随着虚拟现实技术的迅猛发展，大量的虚拟现实设备被广泛的应用于游戏、科研、工业等领域中。然而，目前已有的虚拟现实设备仍然局限于科学研究，工业制造及单人3D游戏领域，而目前，家庭的娱乐应用的主要特征为：多媒体服务(如音视媒体欣赏)、多人游戏等，因此，目前已有的虚拟现实设备与家庭娱乐应用仍有较大的差距。

[发明内容]

本发明的目的是根据已有的虚拟现实设备仍然局限于科学研究、工业制造及单人3D游戏领域的进行改进，提供一种多感知、适用于家庭娱乐的家庭虚拟现实娱乐系统。

为了实现上述目的，设计一种家庭虚拟现实娱乐系统，包括系统前端云网络和家庭网络内部系统，家庭网络内部系统包括VR终端服务器、VR个人设备和用户动作捕捉设备，其中，VR终端服务器、VR个人设备、动作捕捉设备均通过家用网络进行互联互通；

所述的VR终端服务器与VR内容服务前端网络进行通讯，通过宽带网络或广播信道获取VR内容数据，并将反馈信息或交互数据上传至前端网络；接受VR个人设备的接入请求，为用户提供VR内容服务；读取动作捕捉设备所采集到的用户动作数据，根据动作数据对VR内容作出实时调整；接受和处理个人显示控制器发来的其他操作要求和交互动作。

系统前端云网络由一系列的数据中心、内容服务器、数据发布设备组成，

用于存储海量的VR内容数据；

允许多用户接入并进行数据的获取和上传；

根据用户的权限对数据请求进行鉴权，并对数据进行加密；

对于用户上传的新数据进行处理、整合。

VR个人设备由个人集成控制器、操作外设、VR显示器设备组成，VR个人设备接入家庭网络，并向VR终端服务器请求VR内容服务；VR个人设备接收VR终端服务器发来的VR内容，个人集成控制器将VR内容处理后，通过VR显示器呈现给用户；用户手中的操作外设被接入个人集成控制器，个人集成控制器将用户的操作动作通过家庭网络发送给VR终端服务器；VR显示器将VR内容呈现给用户；VR显示器内置多轴陀螺仪，能够感知用户的头部动作，并通过个人集成控制器发送至VR终端服务器。

动作捕捉设备用于获取用户的手部操作、用户的头部动作、用户的主要肢体动作。

一种采用上述的家庭虚拟现实娱乐系统的数据处理方法，所述的方法具体如下：当用户向VR终端服务器发起一个VR内容观赏请求后，VR终端服务器会为这个用户的请求开启一个服务进程；

a.根据用户的服务请求，这个服务进程会通过VR终端服务器会首先向前端服务器请求响应的VR数据，或从本地存贮中寻找匹配的数据推送至VR内容渲染模块；

b.这个服务进程会驱动VR内容渲染模块开始工作，将3D内容渲染成2D序列帧，并根据VR显示器的特性，对2D画面进行处理和预变形；

c.这些2D序列帧被视频编码器压缩成视频流，并通过流媒体服务器进行发布；

d.个人集成控制器从流媒体服务器中获取视频流，解码为2D序列帧，并通过VR显示器呈现给用户；

e.用户通过手中的操作外设作出交互动作，这些操作由个人集成控制器采集并发送至VR终端服务器，VR内容渲染模块在收到交互动作后，会实时调整渲染内容，并通过2～5的工作步骤，将交互动作的效果通过VR画面反应给用户；

f.当用户的头部运动时，VR显示器内置的多轴陀螺仪同样会采集用户的头部动作，并通过个人集成控制器发送至VR终端服务器，VR内容渲染模块在得到用户的头部动作信息后，同样会实时调整渲染内容，并通过b～e的工作步骤，将实时渲染画面呈现给用户；

g.外部的用户动作采集装置，会实时通过动作捕捉设备及深度采集设备得到用户的手势或主要肢体动作，并将这些动作数据直接发至VR终端服务器，VR内容渲染模块同样会根据这些数据实时调整渲染画面，通过b～e的工作步骤，将实时渲染画面呈现给用户。

本发明虚拟现实家用终端服务器、虚拟现实个人设备、用户动作捕捉系统等一系列子系统的有机结合，使其均在一个控制系统内协同工作，在保持其实时性和交互性的同时，提高并加强了虚拟系统的逼真度和沉浸感，为用户提供更为真实的虚拟现实，提高用户体验，满足家庭娱乐的需求。

[附图说明]

图1是本发明的家用VR网络内部主要的功能模块及数据流向图；

图2是发明的系统拓扑图；

指定图1作为本发明的摘要附图。

[具体实施方式]

下面结合附图对本发明作进一步说明，这种装置的结构和原理对本专业的人来说是非常清楚的。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，当用户向VR终端服务器发起一个VR内容观赏请求后，VR终端服务器会为这个用户的请求开启一个服务进程：

a.根据用户的服务请求，这个服务进程会通过VR终端服务器会首先向前端服务器请求响应的VR数据，或从本地存贮中寻找匹配的数据推送至VR内容渲染模块；

b.这个服务进程会驱动VR内容渲染模块开始工作，将3D内容渲染成2D序列帧，并根据VR显示器的特性，对2D画面进行处理和预变形；

c.这些2D序列帧被视频编码器压缩成视频流，并通过流媒体服务器进行发布；

d.个人集成控制器从流媒体服务器中获取视频流，解码为2D序列帧，并通过VR显示器呈现给用户；

e.用户通过手中的操作外设作出交互动作，这些操作由个人集成控制器采集并发送至VR终端服务器，VR内容渲染模块在收到交互动作后，会实时调整渲染内容，并通过2～5的工作步骤，将交互动作的效果通过VR画面反应给用户；

f.当用户的头部运动时，VR显示器内置的多轴陀螺仪同样会采集用户的头部动作，并通过个人集成控制器发送至VR终端服务器，VR内容渲染模块在得到用户的头部动作信息后，同样会实时调整渲染内容，并通过2～5的工作步骤，将实时渲染画面呈现给用户；

g.外部的用户动作采集装置，会实时通过动作捕捉设备及深度采集设备得到用户的手势或主要肢体动作，并将这些动作数据直接发至VR终端服务器，VR内容渲染模块同样会根据这些数据实时调整渲染画面，通过b～e的工作步骤，将实时渲染画面呈现给用户；

针对每个用户的服务请求，VR终端服务器都会开启一个服务进程，这些进程之间可以为互相独立的进程，即使用完全不具相关性的3D文件或VR内容；也可以是多人参与的同一虚拟场景，每个用户具有不同的虚拟角色。

此外，针对已形成视频文件的VR内容，由VR终端服务器通过宽带接入网获取后经由自身的流媒体服务器向个人集成控制器进行发布，并通过VR显示器呈现给用户，无需再进行渲染及压缩编码。

图2是本系统中作为案例的拓扑图，整套系统包括两个大的部分，一部分为系统前端云网络，由一系列的数据中心、内容服务器、数据发布设备等组成，主要功能为：

1)存储海量的VR内容数据

2)允许多用户接入并进行数据的获取和上传

3)根据用户的权限对数据请求进行鉴权，并对数据进行加密

4)对于用户上传的新数据进行处理、整合

另一部分为家庭网络内部系统，包括VR终端服务器，VR个人设备(包括个人集成控制器及VR显示器)，用户动作捕捉设备。其中，VR终端服务器、VR个人设备、动作捕捉设备均通过家用网络进行互联互通，可使用有线连接方式，也可以使用无线方式接入。

VR终端服务器是整个家庭VR系统的中心设备，它具有以下的功能：

1)与VR内容服务前端网络进行通讯，通过宽带网络或广播信道获取VR内容数据，并将反馈信息或交互数据上传至前端网络；

2)接受VR个人设备的接入请求，为用户提供VR内容服务；

3)读取动作捕捉设备所采集到的用户动作数据，根据动作数据对VR内容作出实时调整，优化用户体验；

4)接受和处理个人显示控制器发来的其他操作要求和交互动作

VR个人设备由个人集成控制器、操作外设、VR显示器等设备组成，其主要的功能包括：

1)接入家庭网络，并向VR终端服务器请求VR内容服务；

2)接收VR终端服务器发来的VR内容，个人集成控制器将VR内容处理后，通过VR显示器呈现给用户；

3)用户手中的操作外设被接入个人集成控制器，个人集成控制器将用户的操作动作通过家庭网络发送给VR终端服务器；

4)VR显示器将VR内容以特有的方式呈现给用户；

5)VR显示器内置多轴陀螺仪，能够感知用户的头部动作，并通过个人集成控制器发送至VR终端服务器。

动作捕捉设备并不能一个独立于上述设备而进行工作，包括用户的操作外设，个人集成控制器和VR显示器，以及VR终端服务器都需要安装部分动作捕捉设备的软硬件模块，具体工作方式将在下面具体描述，动作捕捉设备的主要功能包括：

1)获取用户的手部操作；

2)获取用户的头部动作；

3)获取用户的主要肢体动作；

如果有类似的系统使用了与本专利类似的拓扑结构，或者使用多用户接入的访问方式，或通过视频流的方式观赏VR内容，即可视为专利受到侵犯。

Claims (5)

1.一种家庭虚拟现实娱乐系统，包括系统前端云网络和家庭网络内部系统，其特征在于：家庭网络内部系统包括VR终端服务器、VR个人设备和用户动作捕捉设备，其中，VR终端服务器、VR个人设备、动作捕捉设备均通过家用网络进行互联互通；

所述的VR终端服务器与VR内容服务前端网络进行通讯，通过宽带网络或广播信道获取VR内容数据，并将反馈信息或交互数据上传至前端网络；接受VR个人设备的接入请求，为用户提供VR内容服务；读取动作捕捉设备所采集到的用户动作数据，根据动作数据对VR内容作出实时调整；接受和处理个人显示控制器发来的其他操作要求和交互动作。

2.如权利要求1所述的一种家庭虚拟现实娱乐系统，其特征在于系统前端云网络由一系列的数据中心、内容服务器、数据发布设备组成，

用于存储海量的VR内容数据；

允许多用户接入并进行数据的获取和上传；

根据用户的权限对数据请求进行鉴权，并对数据进行加密；

对于用户上传的新数据进行处理、整合。

3.如权利要求1所述的一种家庭虚拟现实娱乐系统，其特征在于VR个人设备由个人集成控制器、操作外设、VR显示器设备组成，VR个人设备接入家庭网络，并向VR终端服务器请求VR内容服务；VR个人设备接收VR终端服务器发来的VR内容，个人集成控制器将VR内容处理后，通过VR显示器呈现给用户；用户手中的操作外设被接入个人集成控制器，个人集成控制器将用户的操作动作通过家庭网络发送给VR终端服务器；VR显示器将VR内容呈现给用户；VR显示器内置多轴陀螺仪，能够感知用户的头部动作，并通过个人集成控制器发送至VR终端服务器。

4.如权利要求1所述的一种家庭虚拟现实娱乐系统，其特征在于动作捕捉设备用于获取用户的手部操作、用户的头部动作、用户的主要肢体动作。

5.一种采用如权利要求1所述的家庭虚拟现实娱乐系统的数据处理方法，其特征在于所述的方法具体如下：当用户向VR终端服务器发起一个VR内容观赏请求后，VR终端服务器会为这个用户的请求开启一个服务进程；

a.根据用户的服务请求，这个服务进程会通过VR终端服务器会首先向前端服务器请求响应的VR数据，或从本地存贮中寻找匹配的数据推送至VR内容渲染模块；

b.这个服务进程会驱动VR内容渲染模块开始工作，将3D内容渲染成2D序列帧，并根据VR显示器的特性，对2D画面进行处理和预变形；

c.这些2D序列帧被视频编码器压缩成视频流，并通过流媒体服务器进行发布；

d.个人集成控制器从流媒体服务器中获取视频流，解码为2D序列帧，并通过VR显示器呈现给用户；

e.用户通过手中的操作外设作出交互动作，这些操作由个人集成控制器采集并发送至VR终端服务器，VR内容渲染模块在收到交互动作后，会实时调整渲染内容，并通过2～5的工作步骤，将交互动作的效果通过VR画面反应给用户；

f.当用户的头部运动时，VR显示器内置的多轴陀螺仪同样会采集用户的头部动作，并通过个人集成控制器发送至VR终端服务器，VR内容渲染模块在得到用户的头部动作信息后，同样会实时调整渲染内容，并通过b～e的工作步骤，将实时渲染画面呈现给用户；

g.外部的用户动作采集装置，会实时通过动作捕捉设备及深度采集设备得到用户的手势或主要肢体动作，并将这些动作数据直接发至VR终端服务器，VR内容渲染模块同样会根据这些数据实时调整渲染画面，通过b～e的工作步骤，将实时渲染画面呈现给用户。