CN105323129B - 一种家庭虚拟现实娱乐系统 - Google Patents

一种家庭虚拟现实娱乐系统 Download PDF

Info

Publication number
CN105323129B
CN105323129B CN201510884790.9A CN201510884790A CN105323129B CN 105323129 B CN105323129 B CN 105323129B CN 201510884790 A CN201510884790 A CN 201510884790A CN 105323129 B CN105323129 B CN 105323129B
Authority
CN
China
Prior art keywords
user
content
terminal server
data
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510884790.9A
Other languages
English (en)
Other versions
CN105323129A (zh
Inventor
上官思楠
徐臻峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hehao Technology Co ltd
Original Assignee
Shanghai Summit Splendid Studio Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Summit Splendid Studio Technology Co Ltd filed Critical Shanghai Summit Splendid Studio Technology Co Ltd
Priority to CN201510884790.9A priority Critical patent/CN105323129B/zh
Publication of CN105323129A publication Critical patent/CN105323129A/zh
Application granted granted Critical
Publication of CN105323129B publication Critical patent/CN105323129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及信息通信技术领域,具体来说是一种能用于家庭媒体娱乐、展览展示、工业辅助设计等领域的家庭虚拟现实娱乐系统,包括系统前端云网络和家庭网络内部系统,家庭网络内部系统包括VR终端服务器、VR个人设备和用户动作捕捉设备,其中,VR终端服务器、VR个人设备、动作捕捉设备均通过家用网络进行互联互通。本发明虚拟现实家用终端服务器、虚拟现实个人设备、用户动作捕捉系统等一系列子系统的有机结合,使其均在一个控制系统内协同工作,在保持其实时性和交互性的同时,提高并加强了虚拟系统的逼真度和沉浸感,为用户提供更为真实的虚拟现实,提高用户体验,满足家庭娱乐的需求。

Description

一种家庭虚拟现实娱乐系统
[技术领域]
本发明涉及信息通信技术领域,具体来说是一种能用于家庭媒体娱乐、展览展示、工业辅助设计等领域的家庭虚拟现实娱乐系统。
[背景技术]
虚拟现实技术是仿真技术的一个重要方向是仿真技术与计算机图形学人机接口技术多媒体技术传感技术网络技术等多种技术的集合是一门富有挑战性的交叉技术前沿学科和研究领域,虚拟现实技术(VR)丰要包括模拟环境、感知、自然技能和传感设各等方面。模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的VR应该具有一切人所具有的感知,除计算机图形技术所生成的视觉感知外,还有听觉、触觉、力觉、运动等感知,甚至还包括嗅觉和味觉等,也称为多感知。
目前,随着虚拟现实技术的迅猛发展,大量的虚拟现实设备被广泛的应用于游戏、科研、工业等领域中。然而,目前已有的虚拟现实设备仍然局限于科学研究,工业制造及单人3D游戏领域,而目前,家庭的娱乐应用的主要特征为:多媒体服务(如音视媒体欣赏)、多人游戏等,因此,目前已有的虚拟现实设备与家庭娱乐应用仍有较大的差距。
[发明内容]
本发明的目的是根据已有的虚拟现实设备仍然局限于科学研究、工业制造及单人3D游戏领域的进行改进,提供一种多感知、适用于家庭娱乐的家庭虚拟现实娱乐系统。
为了实现上述目的,设计一种家庭虚拟现实娱乐系统,包括系统前端云网络和家庭网络内部系统,家庭网络内部系统包括VR终端服务器、VR个人设备和用户动作捕捉设备,其中,VR终端服务器、VR个人设备、动作捕捉设备均通过家用网络进行互联互通;
所述的VR终端服务器与VR内容服务前端网络进行通讯,通过宽带网络或广播信道获取VR内容数据,并将反馈信息或交互数据上传至前端网络;接受VR个人设备的接入请求,为用户提供VR内容服务;读取动作捕捉设备所采集到的用户动作数据,根据动作数据对VR内容作出实时调整;接受和处理个人显示控制器发来的其他操作要求和交互动作。
系统前端云网络由一系列的数据中心、内容服务器、数据发布设备组成,
用于存储海量的VR内容数据;
允许多用户接入并进行数据的获取和上传;
根据用户的权限对数据请求进行鉴权,并对数据进行加密;
对于用户上传的新数据进行处理、整合。
VR个人设备由个人集成控制器、操作外设、VR显示器设备组成,VR个人设备接入家庭网络,并向VR终端服务器请求VR内容服务;VR个人设备接收VR终端服务器发来的VR内容,个人集成控制器将VR内容处理后,通过VR显示器呈现给用户;用户手中的操作外设被接入个人集成控制器,个人集成控制器将用户的操作动作通过家庭网络发送给VR终端服务器;VR显示器将VR内容呈现给用户;VR显示器内置多轴陀螺仪,能够感知用户的头部动作,并通过个人集成控制器发送至VR终端服务器。
动作捕捉设备用于获取用户的手部操作、用户的头部动作、用户的主要肢体动作。
一种采用上述的家庭虚拟现实娱乐系统的数据处理方法,所述的方法具体如下:当用户向VR终端服务器发起一个VR内容观赏请求后,VR终端服务器会为这个用户的请求开启一个服务进程;
a.根据用户的服务请求,这个服务进程会通过VR终端服务器会首先向前端服务器请求响应的VR数据,或从本地存贮中寻找匹配的数据推送至VR内容渲染模块;
b.这个服务进程会驱动VR内容渲染模块开始工作,将3D内容渲染成2D序列帧,并根据VR显示器的特性,对2D画面进行处理和预变形;
c.这些2D序列帧被视频编码器压缩成视频流,并通过流媒体服务器进行发布;
d.个人集成控制器从流媒体服务器中获取视频流,解码为2D序列帧,并通过VR显示器呈现给用户;
e.用户通过手中的操作外设作出交互动作,这些操作由个人集成控制器采集并发送至VR终端服务器,VR内容渲染模块在收到交互动作后,会实时调整渲染内容,并通过2~5的工作步骤,将交互动作的效果通过VR画面反应给用户;
f.当用户的头部运动时,VR显示器内置的多轴陀螺仪同样会采集用户的头部动作,并通过个人集成控制器发送至VR终端服务器,VR内容渲染模块在得到用户的头部动作信息后,同样会实时调整渲染内容,并通过b~e的工作步骤,将实时渲染画面呈现给用户;
g.外部的用户动作采集装置,会实时通过动作捕捉设备及深度采集设备得到用户的手势或主要肢体动作,并将这些动作数据直接发至VR终端服务器,VR内容渲染模块同样会根据这些数据实时调整渲染画面,通过b~e的工作步骤,将实时渲染画面呈现给用户。
本发明虚拟现实家用终端服务器、虚拟现实个人设备、用户动作捕捉系统等一系列子系统的有机结合,使其均在一个控制系统内协同工作,在保持其实时性和交互性的同时,提高并加强了虚拟系统的逼真度和沉浸感,为用户提供更为真实的虚拟现实,提高用户体验,满足家庭娱乐的需求。
[附图说明]
图1是本发明的家用VR网络内部主要的功能模块及数据流向图;
图2是发明的系统拓扑图;
指定图1作为本发明的摘要附图。
[具体实施方式]
下面结合附图对本发明作进一步说明,这种装置的结构和原理对本专业的人来说是非常清楚的。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,当用户向VR终端服务器发起一个VR内容观赏请求后,VR终端服务器会为这个用户的请求开启一个服务进程:
a.根据用户的服务请求,这个服务进程会通过VR终端服务器会首先向前端服务器请求响应的VR数据,或从本地存贮中寻找匹配的数据推送至VR内容渲染模块;
b.这个服务进程会驱动VR内容渲染模块开始工作,将3D内容渲染成2D序列帧,并根据VR显示器的特性,对2D画面进行处理和预变形;
c.这些2D序列帧被视频编码器压缩成视频流,并通过流媒体服务器进行发布;
d.个人集成控制器从流媒体服务器中获取视频流,解码为2D序列帧,并通过VR显示器呈现给用户;
e.用户通过手中的操作外设作出交互动作,这些操作由个人集成控制器采集并发送至VR终端服务器,VR内容渲染模块在收到交互动作后,会实时调整渲染内容,并通过2~5的工作步骤,将交互动作的效果通过VR画面反应给用户;
f.当用户的头部运动时,VR显示器内置的多轴陀螺仪同样会采集用户的头部动作,并通过个人集成控制器发送至VR终端服务器,VR内容渲染模块在得到用户的头部动作信息后,同样会实时调整渲染内容,并通过2~5的工作步骤,将实时渲染画面呈现给用户;
g.外部的用户动作采集装置,会实时通过动作捕捉设备及深度采集设备得到用户的手势或主要肢体动作,并将这些动作数据直接发至VR终端服务器,VR内容渲染模块同样会根据这些数据实时调整渲染画面,通过b~e的工作步骤,将实时渲染画面呈现给用户;
针对每个用户的服务请求,VR终端服务器都会开启一个服务进程,这些进程之间可以为互相独立的进程,即使用完全不具相关性的3D文件或VR内容;也可以是多人参与的同一虚拟场景,每个用户具有不同的虚拟角色。
此外,针对已形成视频文件的VR内容,由VR终端服务器通过宽带接入网获取后经由自身的流媒体服务器向个人集成控制器进行发布,并通过VR显示器呈现给用户,无需再进行渲染及压缩编码。
图2是本系统中作为案例的拓扑图,整套系统包括两个大的部分,一部分为系统前端云网络,由一系列的数据中心、内容服务器、数据发布设备等组成,主要功能为:
1)存储海量的VR内容数据
2)允许多用户接入并进行数据的获取和上传
3)根据用户的权限对数据请求进行鉴权,并对数据进行加密
4)对于用户上传的新数据进行处理、整合
另一部分为家庭网络内部系统,包括VR终端服务器,VR个人设备(包括个人集成控制器及VR显示器),用户动作捕捉设备。其中,VR终端服务器、VR个人设备、动作捕捉设备均通过家用网络进行互联互通,可使用有线连接方式,也可以使用无线方式接入。
VR终端服务器是整个家庭VR系统的中心设备,它具有以下的功能:
1)与VR内容服务前端网络进行通讯,通过宽带网络或广播信道获取VR内容数据,并将反馈信息或交互数据上传至前端网络;
2)接受VR个人设备的接入请求,为用户提供VR内容服务;
3)读取动作捕捉设备所采集到的用户动作数据,根据动作数据对VR内容作出实时调整,优化用户体验;
4)接受和处理个人显示控制器发来的其他操作要求和交互动作
VR个人设备由个人集成控制器、操作外设、VR显示器等设备组成,其主要的功能包括:
1)接入家庭网络,并向VR终端服务器请求VR内容服务;
2)接收VR终端服务器发来的VR内容,个人集成控制器将VR内容处理后,通过VR显示器呈现给用户;
3)用户手中的操作外设被接入个人集成控制器,个人集成控制器将用户的操作动作通过家庭网络发送给VR终端服务器;
4)VR显示器将VR内容以特有的方式呈现给用户;
5)VR显示器内置多轴陀螺仪,能够感知用户的头部动作,并通过个人集成控制器发送至VR终端服务器。
动作捕捉设备并不能一个独立于上述设备而进行工作,包括用户的操作外设,个人集成控制器和VR显示器,以及VR终端服务器都需要安装部分动作捕捉设备的软硬件模块,具体工作方式将在下面具体描述,动作捕捉设备的主要功能包括:
1)获取用户的手部操作;
2)获取用户的头部动作;
3)获取用户的主要肢体动作;
如果有类似的系统使用了与本专利类似的拓扑结构,或者使用多用户接入的访问方式,或通过视频流的方式观赏VR内容,即可视为专利受到侵犯。

Claims (4)

1.一种家庭虚拟现实娱乐系统,包括系统前端云网络和家庭网络内部系统,其特征在于:家庭网络内部系统包括VR终端服务器、VR个人设备和用户动作捕捉设备,其中,VR终端服务器、VR个人设备、动作捕捉设备均通过家用网络进行互联互通;
所述的VR终端服务器与VR内容服务前端网络进行通讯,通过宽带网络或广播信道获取VR内容数据,并将反馈信息或交互数据上传至前端网络;接受VR个人设备的接入请求,为用户提供VR内容服务;读取动作捕捉设备所采集到的用户动作数据,根据动作数据对VR内容作出实时调整;接受和处理个人显示控制器发来的其他操作要求和交互动作;
所述系统前端云网络由一系列的数据中心、内容服务器、数据发布设备组成,
用于存储海量的VR内容数据;允许多用户接入并进行数据的获取和上传;根据用户的权限对数据请求进行鉴权,并对数据进行加密;对于用户上传的新数据进行处理、整合。
2.如权利要求1所述的一种家庭虚拟现实娱乐系统,其特征在于VR个人设备由个人集成控制器、操作外设、VR显示器设备组成,VR个人设备接入家庭网络,并向VR终端服务器请求VR内容服务;VR个人设备接收VR终端服务器发来的VR内容,个人集成控制器将VR内容处理后,通过VR显示器呈现给用户;用户手中的操作外设被接入个人集成控制器,个人集成控制器将用户的操作动作通过家庭网络发送给VR终端服务器;VR显示器将VR内容呈现给用户;VR显示器内置多轴陀螺仪,能够感知用户的头部动作,并通过个人集成控制器发送至VR终端服务器。
3.如权利要求1所述的一种家庭虚拟现实娱乐系统,其特征在于动作捕捉设备用于获取用户的手部操作、用户的头部动作、用户的肢体动作。
4.一种采用如权利要求1所述的家庭虚拟现实娱乐系统的数据处理方法,其特征在于所述的方法具体如下:
a.当用户向VR终端服务器发起一个VR内容观赏请求后,VR终端服务器会为这个用户的请求开启一个服务进程;
b.根据用户的服务请求,这个服务进程会通过VR终端服务器会首先向前端服务器请求响应的VR数据,或从本地存贮中寻找匹配的数据推送至VR内容渲染模块;
c.这个服务进程会驱动VR内容渲染模块开始工作,将3D内容渲染成2D序列帧,并根据VR显示器的特性,对2D画面进行处理和预变形;
d.这些2D序列帧被视频编码器压缩成视频流,并通过流媒体服务器进行发布;
个人集成控制器从流媒体服务器中获取视频流,解码为2D序列帧,并通过VR显示器呈现给用户;
e.用户通过手中的操作外设作出交互动作,这些操作由个人集成控制器采集并发送至VR终端服务器,VR内容渲染模块在收到交互动作后,会实时调整渲染内容,并通过2~5的工作步骤,将交互动作的效果通过VR画面反应给用户;
f.当用户的头部运动时,VR显示器内置的多轴陀螺仪同样会采集用户的头部动作,并通过个人集成控制器发送至VR终端服务器,VR内容渲染模块在得到用户的头部动作信息后,同样会实时调整渲染内容,并通过b~e的工作步骤,将实时渲染画面呈现给用户;
g.外部的用户动作采集装置,会实时通过动作捕捉设备及深度采集设备得到用户的手势或肢体动作,并将这些动作数据直接发至VR终端服务器,VR内容渲染模块同样会根据这些数据实时调整渲染画面,通过b~e的工作步骤,将实时渲染画面呈现给用户。
CN201510884790.9A 2015-12-04 2015-12-04 一种家庭虚拟现实娱乐系统 Active CN105323129B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510884790.9A CN105323129B (zh) 2015-12-04 2015-12-04 一种家庭虚拟现实娱乐系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510884790.9A CN105323129B (zh) 2015-12-04 2015-12-04 一种家庭虚拟现实娱乐系统

Publications (2)

Publication Number Publication Date
CN105323129A CN105323129A (zh) 2016-02-10
CN105323129B true CN105323129B (zh) 2019-02-12

Family

ID=55249767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510884790.9A Active CN105323129B (zh) 2015-12-04 2015-12-04 一种家庭虚拟现实娱乐系统

Country Status (1)

Country Link
CN (1) CN105323129B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869215B (zh) * 2016-03-28 2019-03-12 上海米影信息科技有限公司 一种虚拟现实成像系统
CN106126148B (zh) * 2016-06-30 2020-05-26 联想(北京)有限公司 显示控制方法及电子设备
CN106445126A (zh) * 2016-09-12 2017-02-22 镇江威勒信息技术有限公司 一种基于vr技术的可视化展览品方法及系统
CN106371609A (zh) * 2016-09-21 2017-02-01 平越 带有时长标记的虚拟现实娱乐系统及其方法
CN106385348A (zh) * 2016-09-21 2017-02-08 平越 分步辨别的虚拟现实娱乐系统及其方法
CN106385680A (zh) * 2016-09-21 2017-02-08 平越 增强娱乐性的虚拟现实娱乐系统及其方法
CN106339098A (zh) * 2016-09-21 2017-01-18 平越 增强正确性的虚拟现实娱乐系统及其方法
CN106412895A (zh) * 2016-09-21 2017-02-15 平越 高效虚拟现实娱乐系统及其方法
CN106411874A (zh) * 2016-09-21 2017-02-15 平越 若干标记下的虚拟现实娱乐系统及其方法
CN106383581A (zh) * 2016-09-21 2017-02-08 平越 再现型虚拟现实娱乐系统及其方法
CN106411875A (zh) * 2016-09-21 2017-02-15 平越 历史记录下的虚拟现实娱乐系统及其方法
CN106385682A (zh) * 2016-09-21 2017-02-08 平越 多功能的虚拟现实娱乐系统及其方法
CN106385681A (zh) * 2016-09-21 2017-02-08 平越 虚拟现实娱乐系统及其方法
CN106487893B (zh) * 2016-10-12 2020-04-07 李子璨 一种虚拟现实数据协同处理方法、系统和电子设备
CN106453569A (zh) * 2016-10-18 2017-02-22 金陵科技学院 一种再现型智慧城市娱乐系统及其方法
CN106454322A (zh) * 2016-11-07 2017-02-22 金陵科技学院 Vr的图像处理系统及其方法
CN106502417A (zh) * 2016-11-08 2017-03-15 北京暴风魔镜科技有限公司 移动虚拟现实设备适配电脑外设的方法、装置和系统
CN106528285A (zh) * 2016-11-11 2017-03-22 上海远鉴信息科技有限公司 虚拟现实中多个合作调度方法及系统
CN106534125B (zh) * 2016-11-11 2021-05-04 厦门汇鑫元软件有限公司 一种基于局域网实现vr多人交互系统的方法
CN106648071B (zh) * 2016-11-21 2019-08-20 捷开通讯科技(上海)有限公司 虚拟现实社交实现系统
CN106792133A (zh) * 2016-12-30 2017-05-31 北京华为数字技术有限公司 虚拟现实服务器、视频数据传输方法及系统
CN114527872B (zh) * 2017-08-25 2024-03-08 深圳市瑞立视多媒体科技有限公司 虚拟现实交互系统、方法及计算机存储介质
WO2019095131A1 (zh) * 2017-11-15 2019-05-23 腾讯科技(深圳)有限公司 通话方法、客户端及存储介质
CN108508792A (zh) * 2018-03-15 2018-09-07 安徽黑洞科技有限公司 一种全屋定制多维人机互动台控制系统
CN108769642A (zh) * 2018-03-27 2018-11-06 深圳负空间科技有限公司 基于云端的动态照片渲染及裸眼vr交互方法
CN110850976A (zh) * 2019-11-05 2020-02-28 江苏安防科技有限公司 一种基于环境感知的虚拟现实投射和检索系统
CN111651134A (zh) * 2020-08-04 2020-09-11 江西科骏实业有限公司 Vr内容自适应跨终端设备发布方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102054121A (zh) * 2009-11-04 2011-05-11 沈阳隆惠科技有限公司 3d全景实景网络游戏平台构建方法
CN103150658A (zh) * 2013-04-02 2013-06-12 武汉友睿科技有限公司 一种面向终端用户的现实增强定制系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102054121A (zh) * 2009-11-04 2011-05-11 沈阳隆惠科技有限公司 3d全景实景网络游戏平台构建方法
CN103150658A (zh) * 2013-04-02 2013-06-12 武汉友睿科技有限公司 一种面向终端用户的现实增强定制系统及方法

Also Published As

Publication number Publication date
CN105323129A (zh) 2016-02-10

Similar Documents

Publication Publication Date Title
CN105323129B (zh) 一种家庭虚拟现实娱乐系统
CN107835971B (zh) 基于用户触觉空间(HapSpace)提供触觉反馈和交互的方法和装置
EP3180911B1 (en) Immersive video
US20220222028A1 (en) Guided Collaborative Viewing of Navigable Image Content
US20170269713A1 (en) Spectator View Tracking of Virtual Reality (VR) User in VR Environments
WO2018086224A1 (zh) 一种虚拟现实场景的生成方法、设备及虚拟现实系统
CN107850947A (zh) 远程通信的社会交互
CN107029429A (zh) 用于实现云游戏系统的时移辅导的系统和方法
JP2018515972A (ja) ヘッドマウントディスプレイによって提示されるパーソナル空間コンテンツの制御
CN109195020A (zh) 一种ar增强的游戏直播方法和系统
WO2017076224A1 (zh) 基于虚拟现实的用户交互方法及系统
JP2020527300A (ja) ビデオ伝送方法、サーバ、vr再生端末及びコンピュータ読み取り可能な記憶媒体
JP2017005709A (ja) ブロードキャスト用ハプティクスアーキテクチャ
CN104536763A (zh) 一种模拟现实的网络游戏实现方法
CN108983974B (zh) Ar场景处理方法、装置、设备和计算机可读存储介质
Han Mobile immersive computing: Research challenges and the road ahead
CA2922011A1 (en) Systems and methods for multimedia tactile augmentation
US10437055B2 (en) Master device, slave device, and control method therefor
KR20210084248A (ko) Vr 컨텐츠 중계 플랫폼 제공 방법 및 그 장치
JP6807744B2 (ja) 画像表示方法及び装置
CN106385681A (zh) 虚拟现实娱乐系统及其方法
CN106339098A (zh) 增强正确性的虚拟现实娱乐系统及其方法
WO2023046899A1 (en) Location-based haptic signal compression
KR101731476B1 (ko) 가상 인체를 통한 촉각 상호작용 방법과 장치
Yang et al. Development of a BCI simulated application system based on Unity3D

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240104

Address after: Zone L, 1st Floor, Building 1, No. 366 Shenxia Road, Fuhua High tech Park, Jiading District, Shanghai, 2018

Patentee after: HEHAO TECHNOLOGY CO.,LTD.

Address before: Room 902-129, No. 8 Tianshan Road, Changning District, Shanghai, 200336

Patentee before: SHANGHAI SUMMIT SPLENDID STUDIO TECHNOLOGY Co.,Ltd.