CN105869215B - 一种虚拟现实成像系统 - Google Patents
一种虚拟现实成像系统 Download PDFInfo
- Publication number
- CN105869215B CN105869215B CN201610183517.8A CN201610183517A CN105869215B CN 105869215 B CN105869215 B CN 105869215B CN 201610183517 A CN201610183517 A CN 201610183517A CN 105869215 B CN105869215 B CN 105869215B
- Authority
- CN
- China
- Prior art keywords
- client
- smart phone
- virtual reality
- server
- streaming media
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明具体涉及一种虚拟现实成像系统，该系统包括虚拟现实头戴装置、智能手机、个人电脑，及设置在智能手机中的客户端和设置在个人电脑中的服务端，其中，智能手机内设置有与客户端连接的眼球扫描仪、加速度传感器和陀螺仪；客户端预判用户的眼球在当前时刻起的第一预设时段内的运动状态信息并发送给服务端；服务端根据预判的用户眼球的运动状态信息，进行三维图像的渲染，并将渲染后的图像压缩和编码为流媒体数据流后存储到传输队列中；客户端对所述流媒体数据流进行解码和解压缩，并输出给所述智能手机的显示屏。通过本发明的技术方案，能解决现有技术中虚拟现实图像传输延迟及图像失真的问题。
Description
技术领域
本发明涉及流媒体技术领域，具体涉及一种虚拟现实成像系统。
背景技术
虚拟现实(Virtual Reality，VR)技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，使用户沉浸到该模拟环境中。
目前，VR头显和VR眼镜是虚拟现实技术的主要应用。
VR头显：通过有线的头戴式显示器和个人电脑的组合方式实现虚拟现实，例如：Oculus Rift，PS4Morpheus。
VR头显通过USB(Universal Serial Bus，通用串行总线)和HDMI(HighDefinitionMultimedia Interface，高清晰度多媒体接口)线连接电脑。用户戴上VR头显后，VR头显通过USB将用户的头部运动状态信息传递给个人电脑。个人电脑中运行的游戏程序在接收信息后，通过CPU和GPU的运算产生具有沉浸感觉的影像，并通过HDMI视频线输出到VR头显。
其缺点是由于存在着USB线、HDMI线和电源线的连接，在游戏场景中玩家的身体移动距离和范围受到限制，便捷性和体验性降低，在VR游戏中，如果用户有较大幅度的运动，容易造成VR头显和电脑之间的连接线接触不良，信号中断，甚至使VR头显设备遭到损伤。
VR眼镜：将游戏APP安装在手机端，用户戴上VR眼镜后，通过手机获取用户头部运动信息，并用手机的CPU和GPU上完成计算和渲染，例如：SamSung Gear VR，GoogleCardboard。其缺点是受到手机性能的影响，无法实现具有复杂场景和计算的游戏，图像质量较差。
现有技术中的无线虚拟现实成像系统是基于以下两个原理实现的：
1、同屏显示技术。将某台个人电脑屏幕上显示的内容，通过网络在其他设备上显示的技术。该技术通过定时截取屏幕上显示的内容，作为视频的一帧图像，通过流媒体技术在网络上进行传输，在其他设备上使用流媒体技术进行播放，从而实现了同屏显示。通过该技术，可以将个人电脑上显示的图像通过无线网络，在手机屏幕上显示。
2、2D-3D转换技术。是一种在二维(2D)影像的基础上制作三维(3D)影像时采用的技术。当人眼在观看一幅平面彩色立体图片的时候，可以根据图片上的内容判断其中物体、人物之间的距离关系，而这种判断通常十分准确，这说明平面图像中尽管不存在能用人的双眼视差异等生理立体视觉识别的深度信息，却存在着其它的深度暗示，如运动视差、聚焦/散焦、线性透视、大气散射、阴影、遮挡、相对高度以及相对大小等，这些暗示信息是人类对自然景物长期观察而得到的一种立体视觉记忆和立体视觉经验，依靠这种视觉记忆和经验，观察者能够从平面图像中准确地提取出物体间的相对位置和相对深度，人眼的这种立体视觉被称为心理立体视觉。根据人眼的这种特性，可以将平面图像中的深度信息提取出来，再结合原始左视图合成出右视图，这样，合成出的右视图与原来的左视图存在视差，将两幅视图合成后通过3D显示设备即可得到具有3D效果的立体图。通过该技术，结合同屏显示技术，将截取的图像进行2D-3D的转换后，可以在手机端呈现出具有3D效果的影像。
现有技术中的无线虚拟现实成像系统具有以下缺点：
1、视频是按照固定的帧率进行播放的。比如：60帧/秒或者30帧/秒，但对VR体验来说，60帧/秒是最低标准，当现实频率小于60帧/秒会造成用户晕眩感。由于采用固定频率播放关系，当头部快速移动时，会造成拖影延迟。
2、同屏技术由于采用截取屏幕的方式，是在图像渲染并显示出来后才进行截取和传输，所以有延迟高，帧数低的问题。另外，当手机分辨率高于屏幕分辨率时会造成图像质量下降。
3、VR眼镜看到的是个人电脑屏幕显示的2D内容通过2D-3D转换技术输出的3D场景影像。从个人电脑屏幕输出的2D图像中提取出来的深度信息，与原有场景会有一些差异，导致转换后的3D场景会造成眼部的不适感。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种虚拟现实成像系统，解决现有技术中虚拟现实图像传输延迟及图像失真的问题。
为实现以上目的，本发明采用如下技术方案：
一种虚拟现实成像系统，包括虚拟现实头戴装置、智能手机和个人电脑，还包括：设置在智能手机中的客户端和设置在个人电脑中的服务端，其中，
所述智能手机的显示屏设置在所述虚拟现实头戴装置的目镜后，所述智能手机和所述个人电脑无线连接；所述智能手机内设置有加速度传感器和陀螺仪，所述加速度传感器和陀螺仪分别与所述客户端连接；
所述客户端，用于根据所述加速度传感器和陀螺仪获取的用户头部的运动状态信息，预判用户的眼球在当前时刻起的第一预设时段内的运动状态信息，并将预判的用户眼球的运动状态信息发送给所述服务端；
所述服务端，用于根据所述客户端预判的用户眼球的运动状态信息，进行三维图像的渲染，并将渲染后的图像压缩和编码为流媒体数据流后，将所述流媒体数据流存储到传输队列中；
所述客户端，还用于从所述传输队列中获取最新的流媒体数据流后，对所述流媒体数据流进行解码和解压缩，并输出给所述智能手机的显示屏。
优选地，所述客户端每隔第二预设时段将预判的用户眼球的运动状态信息发送给所述服务器端，其中所述第二预设时段小于第一预设时段；
所述服务端创建多个服务进程，所述多个服务进程用来按时间顺序接收所述客户端预判的用户眼球的运动状态信息。
优选地，所述服务端使用个人电脑的GPU将渲染后的图像压缩和编码为流媒体数据流；所述客户端使用智能手机的GPU对接收到的流媒体数据流进行解码和解压缩。
优选地，所述个人电脑的GPU为Intel集成显卡或Nvidia显卡。
本发明采用以上技术方案，至少具备以下有益效果：
1、由于个人电脑具有复杂图像计算处理的能力，将三维图像的渲染在个人电脑中实现，同时，利用无线传输技术，将渲染后的图像信息传输到智能手机上显示，解决了现有技术中，由于受智能手机性能的限制，不能支撑复杂场景游戏运行的问题。
2、由于智能手机和个人电脑是无线连接，解决了现有技术中用户体验受虚拟现实头戴装置各种连接线影响的问题，增强了用户体验。
3、另外，本发明提供的这种虚拟现实成像系统，客户端会根据手机内置的加速度传感器和陀螺仪的输出信号，对眼球在当前时刻起的第一预设时段内的运动状态信息做个预判，并将预判结果发给个人电脑的服务端，个人电脑的服务端能提前将未来预设时段内的图像渲染出来，且个人电脑的服务端将渲染后的图像压缩和编码为流媒体数据流后直接输出给智能手机的客户端，相比现有技术，增加了眼球运动状态的预判过程，减少了图像截取的过程，因此本发明提供的这种虚拟现实成像系统能减少虚拟现实图像的传输延迟。另外由于智能手机中的客户端提取的是虚拟现实图像原始的流媒体数据流，而不是虚拟现实图像2D图像截屏后的流媒体数据流，因此相比现有技术，能更加真实地还原虚拟现实图像的3D场景。
附图说明
图1为本发明一实施例提供的一种虚拟现实成像系统的示意框图。
具体实施方式
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
参见图1，本实施例提供的一种虚拟现实成像系统100，包括虚拟现实头戴装置101、智能手机102和个人电脑103，还包括：
设置在智能手机102中的客户端1020和设置在个人电脑103中的服务端1030，其中，
所述智能手机102的显示屏设置在所述虚拟现实头戴装置101的目镜后，所述智能手机102和所述个人电脑103无线连接；所述智能手机102内设置有加速度传感器1021和陀螺仪1022，所述加速度传感器1021和陀螺仪1022分别与所述客户端1020连接；
所述客户端1020，用于根据所述加速度传感器1021和陀螺仪1022获取的用户头部的运动状态信息，预判用户的眼球在当前时刻起的第一预设时段内的运动状态信息，并将预判的用户眼球的运动状态信息发送给所述服务端1030；
所述服务端1030，用于根据所述客户端1020预判的用户眼球的运动状态信息，进行三维图像的渲染，并将渲染后的图像压缩和编码为流媒体数据流后，将所述流媒体数据流存储到传输队列中；
所述客户端1020，还用于从所述传输队列中获取最新的流媒体数据流后，对所述流媒体数据流进行解码和解压缩，并输出给所述智能手机102的显示屏。
需要说明的是，所述预设时段可以根据实际需要进行设置，例如设为10～30ms。
由上述技术方案可知，本发明提供的这种虚拟现实成像系统，由于个人电脑具有复杂图像计算处理的能力，将三维图像的渲染在个人电脑中实现，同时，利用无线传输技术，将渲染后的图像信息传输到智能手机上显示，解决了现有技术中，由于受智能手机性能的限制，不能支撑复杂场景游戏运行的问题。
由于智能手机和个人电脑是无线连接，解决了现有技术中用户体验受虚拟现实头戴装置各种连接线影响的问题，增强了用户体验。
另外，本发明提供的这种虚拟现实成像系统，客户端会根据手机内置的加速度传感器和陀螺仪的输出信号，对眼球在当前时刻起的第一预设时段内的运动状态信息做个预判，并将预判结果发给个人电脑的服务端，个人电脑的服务端能提前将未来预设时段内的图像渲染出来，且个人电脑的服务端将渲染后的图像压缩和编码为流媒体数据流后直接输出给智能手机的客户端，相比现有技术，增加了眼球运动状态的预判过程，减少了图像截取的过程，因此本发明提供的这种虚拟现实成像系统能减少虚拟现实图像的传输延迟。另外由于智能手机中的客户端提取的是虚拟现实图像原始的流媒体数据流，而不是虚拟现实图像2D图像截屏后的流媒体数据流，因此相比现有技术，能更加真实地还原虚拟现实图像的3D场景。
优选地，所述客户端1020每隔第二预设时段将预判的用户眼球的运动状态信息发送给所述服务器端1030，其中所述第二预设时段小于第一预设时段；
所述服务端1030创建多个服务进程，所述多个服务进程用来按时间顺序接收所述客户端1020预判的用户眼球的运动状态信息。
其中，所述第二预设时段可以设为5～10ms。
优选地，所述服务端1030使用个人电脑的GPU将渲染后的图像压缩和编码为流媒体数据流；所述客户端1020使用智能手机的GPU对接收到的流媒体数据流进行解码和解压缩。
优选地，所述个人电脑的GPU为Intel集成显卡或Nvidia显卡。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种虚拟现实成像系统，包括虚拟现实头戴装置、智能手机和个人电脑，其特征在于，还包括：设置在智能手机中的客户端和设置在个人电脑中的服务端，其中，
所述智能手机的显示屏设置在所述虚拟现实头戴装置的目镜后，所述智能手机和所述个人电脑无线连接；所述智能手机内设置有分别与所述客户端连接的加速度传感器和陀螺仪；
所述客户端，用于根据所述加速度传感器和陀螺仪获取的用户头部的运动状态信息，预判用户的眼球在当前时刻起的第一预设时段内的运动状态信息，并将预判的用户眼球的运动状态信息发送给所述服务端；
所述服务端，用于根据所述客户端预判的用户眼球的运动状态信息，进行三维图像的渲染，并将渲染后的图像压缩和编码为流媒体数据流后，将所述流媒体数据流存储到传输队列中；
所述客户端，还用于从所述传输队列中获取最新的流媒体数据流后，对所述流媒体数据流进行解码和解压缩，并输出给所述智能手机的显示屏；
其中，所述客户端每隔第二预设时段将预判的用户眼球的运动状态信息发送给所述服务端，其中所述第二预设时段小于第一预设时段；
所述服务端创建多个服务进程，所述多个服务进程用来按时间顺序接收所述客户端预判的用户眼球的运动状态信息。
2.根据权利要求1所述的虚拟现实成像系统，其特征在于，所述服务端使用个人电脑的GPU将渲染后的图像压缩和编码为流媒体数据流；所述客户端使用智能手机的GPU对接收到的流媒体数据流进行解码和解压缩。
3.根据权利要求2所述的虚拟现实成像系统，其特征在于，所述个人电脑的GPU为Intel集成显卡或Nvidia显卡。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610183517.8A CN105869215B (zh) | 2016-03-28 | 2016-03-28 | 一种虚拟现实成像系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610183517.8A CN105869215B (zh) | 2016-03-28 | 2016-03-28 | 一种虚拟现实成像系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105869215A CN105869215A (zh) | 2016-08-17 |
| CN105869215B true CN105869215B (zh) | 2019-03-12 |
Family
ID=56626233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610183517.8A Active CN105869215B (zh) | 2016-03-28 | 2016-03-28 | 一种虚拟现实成像系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105869215B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108322763A (zh) * | 2016-08-23 | 2018-07-24 | 深圳市掌网科技股份有限公司 | 一种编解码全景视频的方法和系统 |
| CN106373537B (zh) * | 2016-09-12 | 2019-02-12 | 上海乐相科技有限公司 | 一种减弱显示画面拖影的方法及装置 |
| CN106445139A (zh) * | 2016-09-22 | 2017-02-22 | 乐视控股（北京）有限公司 | 一种数据显示方法、装置及系统 |
| CN107979763B (zh) * | 2016-10-21 | 2021-07-06 | 阿里巴巴集团控股有限公司 | 一种虚拟现实设备生成视频、播放方法、装置及系统 |
| WO2018076241A1 (zh) * | 2016-10-27 | 2018-05-03 | 北京传送科技有限公司 | 一种用于vr设备与计算机的数据连接设备 |
| CN106527713B (zh) * | 2016-11-07 | 2019-11-08 | 金陵科技学院 | Vr的三维数据渲染系统及其方法 |
| CN106657977B (zh) * | 2016-11-29 | 2019-03-26 | 广东小天才科技有限公司 | 具有全景摄像功能的虚拟现实设备和全景视频通话方法 |
| EP3577631A1 (en) * | 2017-02-01 | 2019-12-11 | PCMS Holdings, Inc. | System and method for augmented reality content delivery in pre-captured environments |
| CN108769642A (zh) * | 2018-03-27 | 2018-11-06 | 深圳负空间科技有限公司 | 基于云端的动态照片渲染及裸眼vr交互方法 |
| CN109003336A (zh) * | 2018-07-09 | 2018-12-14 | 深圳截明电子科技有限公司 | 虚拟现实影像的处理方法、系统及计算机可读存储介质 |
| CN111716365B (zh) * | 2020-06-15 | 2022-02-15 | 山东大学 | 基于自然行走的沉浸式远程交互系统及方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8610830B2 (en) * | 2008-09-11 | 2013-12-17 | Apple Inc. | Video rotation method and device |
| CN102148818B (zh) * | 2010-12-29 | 2013-10-16 | 北京大学 | 移动设备上实现分布式虚拟现实与可视化的方法及系统 |
| US9897805B2 (en) * | 2013-06-07 | 2018-02-20 | Sony Interactive Entertainment Inc. | Image rendering responsive to user actions in head mounted display |
| CN104035760A (zh) * | 2014-03-04 | 2014-09-10 | 苏州天魂网络科技有限公司 | 跨移动平台实现沉浸式虚拟现实的系统 |
| CN104915979A (zh) * | 2014-03-10 | 2015-09-16 | 苏州天魂网络科技有限公司 | 跨移动平台实现沉浸式虚拟现实的系统 |
| CN104539929B (zh) * | 2015-01-20 | 2016-12-07 | 深圳威阿科技有限公司 | 带有运动预测的立体图像编码方法和编码装置 |
| CN105323129B (zh) * | 2015-12-04 | 2019-02-12 | 上海弥山多媒体科技有限公司 | 一种家庭虚拟现实娱乐系统 |
-
2016
- 2016-03-28 CN CN201610183517.8A patent/CN105869215B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN105869215A (zh) | 2016-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105869215B (zh) | 一种虚拟现实成像系统 | |
| CN108282648B (zh) | 一种vr渲染方法、装置、穿戴式设备及可读存储介质 | |
| US10257492B2 (en) | Image encoding and display | |
| CN111264058B (zh) | 用于对三自由度和体积兼容视频流进行编码和解码的方法、设备 | |
| US10306202B2 (en) | Image encoding and display | |
| JP2019028368A (ja) | レンダリング装置、ヘッドマウントディスプレイ、画像伝送方法、および画像補正方法 | |
| WO2017189490A1 (en) | Live action volumetric video compression / decompression and playback | |
| KR20180068874A (ko) | 몰입형 콘텐츠에서 관심 포인트를 결정하는 방법 및 디바이스 | |
| CN106060520A (zh) | 一种显示模式切换方法及其装置、智能终端 | |
| CN105068649A (zh) | 基于虚拟现实头盔的双目手势识别装置及方法 | |
| WO2018120657A1 (zh) | 一种共享虚拟现实数据的方法和设备 | |
| CN110488981B (zh) | 基于云渲染的手机端vr场景交互式显示方法 | |
| CN204666958U (zh) | 虚拟现实眼镜 | |
| KR20120032321A (ko) | 디스플레이 장치 및 이의 영상 처리 방법 | |
| CN204990186U (zh) | 一种桌面式立体显示交互系统 | |
| CN204496117U (zh) | 3d眼镜 | |
| US20190295324A1 (en) | Optimized content sharing interaction using a mixed reality environment | |
| US9225968B2 (en) | Image producing apparatus, system and method for producing planar and stereoscopic images | |
| CN205005198U (zh) | 头戴式显示器 | |
| CN205787579U (zh) | 基于手势交互的270度幻影成像系统 | |
| KR20210027483A (ko) | 3 자유도 및 볼류메트릭 호환 가능한 비디오 스트림을 인코딩 및 디코딩하기 위한 방법들 및 디바이스들 | |
| CN202713528U (zh) | 一种同步采集3d数据的系统 | |
| CN102231841A (zh) | 基于双视点立体数据裸眼立体显示电视及实现方法 | |
| KR101242764B1 (ko) | 입체 3ｄ 영상과 ｇｐｕ를 이용한 입체 증강현실 영상 생성 장치 및 방법 | |
| CN206461661U (zh) | 一种基于分散控制的vr视频数据控制系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20190613 Granted publication date: 20190312 |
|
| PP01 | Preservation of patent right | ||
| PD01 | Discharge of preservation of patent |
Date of cancellation: 20190816 Granted publication date: 20190312 |
|
| PD01 | Discharge of preservation of patent |