CN111179437A - 一种Cloud VR 无连接串流系统及连接方法 - Google Patents

一种Cloud VR 无连接串流系统及连接方法 Download PDF

Info

Publication number
CN111179437A
CN111179437A CN201911394536.5A CN201911394536A CN111179437A CN 111179437 A CN111179437 A CN 111179437A CN 201911394536 A CN201911394536 A CN 201911394536A CN 111179437 A CN111179437 A CN 111179437A
Authority
CN
China
Prior art keywords
cloud
client
driver
steam
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911394536.5A
Other languages
English (en)
Other versions
CN111179437B (zh
Inventor
周清会
呼宏伟
汤代理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Manheng Digital Technology Co ltd
Original Assignee
Shanghai Manheng Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Manheng Digital Technology Co ltd filed Critical Shanghai Manheng Digital Technology Co ltd
Priority to CN201911394536.5A priority Critical patent/CN111179437B/zh
Publication of CN111179437A publication Critical patent/CN111179437A/zh
Application granted granted Critical
Publication of CN111179437B publication Critical patent/CN111179437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种Cloud VR无连接串流系统及连接方法,涉及虚拟现实技术领域。所述系统包括:至少一个头显设备;一个3D应用系统;一个Steam VR系统;一个Cloud VR系统,包括Cloud VR服务端、Cloud VR驱动以及Cloud VR客户端;在同一个局域网下,所述Cloud VR系统与所述Steam VR系统集成;Cloud VR服务端通过所述Steam VR系统获取所述3D应用系统的渲染图像数据并编码为设定格式的视频流数据;Cloud VR驱动通过网络将所述视频传输至所述头显设备的Cloud VR客户端;所述Cloud VR客户端对所述视频进行解码渲染。本申请的Cloud VR无连接串流系统及连接方法,通过VR一体机替代传统头显,利用WIFI传输数据,不需要多余的线缆连接,实现Cloud VR无连接串流系统,用以全面提升用户的VR体验。

Description

一种Cloud VR 无连接串流系统及连接方法
技术领域
本申请涉及虚拟现实技术领域,尤其涉及Cloud VR 无连接串流系统及连接方法。
背景技术
虚拟现实技术(Virtual Reality,VR)集成计算机三维模型处理、立体显示、自然人机交互以及电子信息、仿真等技术,通过计算机模拟高真实感的虚拟仿真环境,从而给人以环境沉浸感。沉浸式虚拟现实(Immersive VR)提供参与者完全沉浸的体验,使用户有一种置身于虚拟世界的视觉体验。近年来,VR产业发展迅速,在降低用户VR消费成本、提升用户体验、普及VR商业场景以及保护VR内容版权等四大需求的驱动下,支持云端渲染的CloudVR已成为VR发展的必然趋势。Cloud VR解决方案包括内容平台、业务平台、网络方案、终端方案等四个部分,支持巨幕影院、直播、360゜视频、游戏、教育五大场景的部署。然而,传统的PC与头盔连接需要使用一根数据线来传输数据,这种方式极大影响VR体验,使得用户只能在PC附近移动,而且存在可能被线缠绕甚至绊倒受伤的危险。
因此,期望提供一种Cloud VR 无连接串流系统及连接方法,通过VR一体机替代传统头显,利用WIFI传输数据,不需要多余的线缆连接,实现Cloud VR无连接串流系统,用以全面提升用户的VR体验。
发明内容
根据本申请的一些实施例的第一方面,提供了一个Cloud VR 无连接串流系统,应用于终端(例如,电子设备等)中,所述系统可以包括:至少一个头显设备;一个3D应用系统;一个Steam VR系统;一个Cloud VR系统,包括Cloud VR 服务端、Cloud VR驱动以及CloudVR客户端;在同一个局域网下,所述Cloud VR系统与所述Steam VR系统集成,其中,CloudVR驱动集成在Steam VR系统内部;Cloud VR服务端通过所述Steam VR系统获取所述3D应用系统的渲染图像数据并编码为设定格式的视频流数据;Cloud VR驱动通过网络将所述视频传输至所述头显设备的Cloud VR客户端,所述Cloud VR客户端安装在所述头显设备;所述Cloud VR客户端对所述视频进行解码渲染。
在一些实施例中,所述Cloud VR服务端用于连接管理,进一步包括:启动Steam VR系统,通过集成在所述Steam VR系统内部的Cloud VR驱动获取Cloud VR客户端的状态;通过发送指令到Cloud VR驱动,控制所述Cloud VR驱动连接至Cloud VR客户端。
在一些实施例中,所述Cloud VR服务端可以控制渲染的分辨率、视频流数据的编码格式、日志的输出位置。
在一些实施例中,所述Cloud VR客户端安装在所述头显设备,进一步包括:通过网络接收Cloud VR驱动发送的视频流数据;利用解码工具对所述编码为设定格式的视频流数据进行解码;利用OpenGL将视频流数据绘制到屏幕。
在一些实施例中,所述Cloud VR客户端为安卓原生应用程序,所述解码工具包括MediaCodec。
在一些实施例中,所述Cloud VR驱动集成在所述Steam VR系统内部,Cloud VR驱动是Cloud VR服务端与Cloud VR客户端的中枢,进一步包括:所述Steam VR系统接收所述3D应用发送的图像数据;所述Cloud VR驱动对所述图像数据进行编码;所述编码的视频流数据通过网络发送至Cloud VR客户端。
在一些实施例中,所述编码包括H264或H265。
在一些实施例中,所述3D应用系统包括Idea VR、Unity以及Unreal 4。
根据本申请的一些实施例的第二方面,提供了一种Cloud VR 无连接串流系统的连接方法,所述方法包括:将配置文件写入系统的公共内存;通过Steam VR启动Cloud VR驱动,所述Cloud VR驱动读取配置文件并进行初始化;通过头显设备启动Cloud VR客户端,向局域网发送头显信息的广播;通过Cloud VR驱动接收广播并保存头显信息;通过Cloud VR服务端查询并显示头显信息,并向Cloud VR 驱动发送连接指令;通过Cloud VR驱动连接到Cloud VR客户端,并返回结果到Cloud VR服务端。
在一些实施例中,所述头显信息包括:头显ID、分辨率、左右眼FOV,设备类型(OculusQuest、OculusGo、XiaomiVR);所述分辨率可发送至CloudVR驱动,应用到编码设置中;所述连接指令包括头显信息的地址信息。
因此,根据本申请的一些实施例的Cloud VR 无连接串流系统及连接方法,通过VR一体机替代传统头显,利用WIFI传输数据,不需要多余的线缆连接,实现Cloud VR无连接串流系统,用以全面提升用户的VR体验。
附图说明
为更好地理解并阐述本申请的一些实施例,以下将结合附图参考实施例的描述,在这些附图中,同样的数字编号在附图中指示相应的部分。
图1是根据本申请的一些实施例提供的同一局域网下的头显设备无连接串流系统的示例性示意图。
图2是根据本申请的一些实施例提供的Cloud VR系统架构的示例性示意图。
图3是根据本申请的一些实施例提供的Cloud VR 无连接串流系统的示例性示意图。
图4是根据本申请的一些实施例提供的Cloud VR 无连接串流系统的连接方法的示例性流程图。
具体实施方式
以下参考附图的描述为便于综合理解由权利要求及其等效内容所定义的本申请的各种实施例。这些实施例包括各种特定细节以便于理解,但这些仅被视为示例性的。因此,本领域技术人员可以理解对在此描述的各种实施例进行各种变化和修改而不会脱离本申请的范围和精神。另外,为简要并清楚地描述本申请,本申请将省略对公知功能和结构的描述。
在以下说明书和权利要求书中使用的术语和短语不限于字面含义,而是仅为能够清楚和一致地理解本申请。因此,对于本领域技术人员,可以理解,提供对本申请各种实施例的描述仅仅是为说明的目的,而不是限制所附权利要求及其等效定义的本申请。
下面将结合本申请一些实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一”、“一个”、“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本申请中使用的术语“和/或”是指并包含一个或多个相绑定的列出项目的任何或所有可能组合。表达“第一”、“第二”、“所述第一”和“所述第二”是用于修饰相应元件而不考虑顺序或者重要性,仅仅被用于区分一种元件与另一元件,而不限制相应元件。
根据本申请一些实施例的终端可以是电子设备,该电子设备可以包括虚拟现实设备(VR)、渲染机、个人电脑(PC,例如平板电脑、台式电脑、笔记本、上网本、掌上电脑PDA)、智能手机、移动电话、电子书阅读器、便携式多媒体播放器(PMP)、音频/视频播放器(MP3/MP4)、摄像机和可穿戴设备等中的一种或几种的组合。根据本申请的一些实施例,所述可穿戴设备可以包括附件类型(例如手表、戒指、手环、眼镜、或头戴式装置(HMD))、集成类型(例如电子服装)、装饰类型(例如皮肤垫、纹身或内置电子装置)等,或几种的组合。在本申请的一些实施例中,所述电子设备可以是灵活的,不限于上述设备,或者可以是上述各种设备中的一种或几种的组合。在本申请中,术语“用户”可以指示使用电子设备的人或使用电子设备的设备(例如人工智能电子设备)。
本申请实施例提供了一种Cloud VR 无连接串流系统。为了便于理解本申请实施例,以下将参考附图对本申请实施例进行详细描述。
图1是根据本申请的一些实施例提供的同一局域网下的头显设备无连接串流系统的示例性示意图。如图1所示,同一局域网下的头显设备无连接串流系统100可以包括5G路由器110、PC 120和头显设备130等。具体的,PC 120与头显设备130在同一个路由器下,所述同一个路由器的网络环境可以为同一个局域网的任意网络环境。进一步,PC 120通过网线与路由器110连接,头显设备130通过WIFI与路由器110建立通信连接。所述头显设备130可以包括VR一体机等。
在本申请的一些实施例中,同一局域网下的头显设备无连接串流系统100可以省略一个或多个元件,或者可以进一步包括一个或多个其它元件。作为示例,头显设备无连接串流系统100可以包括多个头显设备130,如多个VR一体机等。所述局域网可以为其他类型的通信网络,所述通信网络可以包括计算机网络(例如,局域网(LAN,Local Area Network)或广域网(WAN,Wide Area Network))、互联网和/或电话网络等,或几种的组合。在一些实施例中,5G路由器110可以为其他类型的无线通信网络。所述无线通信可以包括微波通信和/或卫星通信等。所述无线通信可以包括蜂窝通信(例如,全球移动通信(GSM,GlobalSystem for Mobile Communications)、码分多址(CDMA,Code Division MultipleAccess)、第三代移动通信(3G,The 3rd Generation Telecommunication)、第四代移动通信(4G)、第五代移动通信(5G)、长期演进技术(LTE,Long Term Evolution)、长期演进技术升级版(LTE-A,LTE-Advanced)、宽带码分多址(WCDMA,Wideband Code Division MultipleAccess)、通用移动通信系统(UMTS,Universal Mobile Telecommunications System)、无线宽带(WiBro,Wireless Broadband)等,或几种的组合。在一些实施例中,PC 120可以为其他具备同等功能模块的电子设备,该电子设备可以包括虚拟现实设备(VR)、渲染机、个人电脑(PC,例如平板电脑、台式电脑、笔记本、上网本、掌上电脑PDA)、智能手机、移动电话、电子书阅读器、便携式多媒体播放器(PMP)、音频/视频播放器(MP3/MP4)、摄像机和可穿戴设备等中的一种或几种的组合。在一些实施例中,头显设备130可以为其他具备同等功能模块的可穿戴设备。所述可穿戴设备可以包括附件类型(例如手表、戒指、手环、眼镜、或头戴式装置(HMD))、集成类型(例如电子服装)、装饰类型(例如皮肤垫、纹身或内置电子装置)等,或几种的组合。
在一些实施例中,所述WIFI可以其他类型的无线通信技术。根据本申请的一些实施例,所述无线通信可以包括无线局域网(WiFi,Wireless Fidelity)、蓝牙、低功耗蓝牙(BLE,Bluetooth Low Energy)、紫蜂协议(ZigBee)、近场通讯(NFC,Near FieldCommunication)、磁安全传输、射频和体域网(BAN,Body Area Network)等,或几种的组合。根据本申请的一些实施例,所述有线通信可以包括全球导航卫星系统(Glonass/GNSS,Global Navigation Satellite System)、全球定位系统(GPS,Global Position System)、北斗导航卫星系统或伽利略(欧洲全球卫星导航系统)等。所述有线通信可以包括通用串行总线(USB,Universal Serial Bus)、高清多媒体接口(HDMI,High-Definition MultimediaInterface)、推荐标准232(RS-232,Recommend Standard 232)、和/或简易老式电话服务(POTS,Plain Old Telephone Service)等,或几种的组合。
需要说明的是,以上对于同一局域网下的头显设备无连接串流系统100的描述,仅为描述方便,并不能把本申请限制在所举实施例的范围之内。可以理解,对于本领域技术人员,基于本系统的原理,可能在不背离该原理的前提下,对各个元件进行任意组合,或者构成子系统与其他元件连接,对实施上述方法和系统的应用领域进行形式和细节上的各种修正和改变。诸如此类的变形,均在本申请的保护范围之内。
图2是根据本申请的一些实施例提供的Cloud VR系统架构的示例性示意图。如图2所示,Cloud VR系统架构200包括Cloud VR 服务端210、Cloud VR驱动220以及Cloud VR客户端230。
根据本申请的一些实施例,Cloud VR服务端210主要负责连接管理,用于启动Steam VR系统(图3),通过Cloud VR驱动220以获取Cloud VR客户端230的状态。在一些实施例中,通过发送指令到Cloud VR驱动220,Cloud VR服务端210可以控制驱动连接到CloudVR客户端230。在一些实施例中,Cloud VR服务端210可以控制渲染的分辨率,编码格式,日志输出位置等。
根据本申请的一些实施例,Cloud VR驱动220可以集成在Steam VR内部,是CloudVR服务端210与Cloud VR客户端230的中枢。其中,Steam VR可以接收3D应用发送的图像数据,然后传输至Cloud VR驱动220用于编码。所述编码可以包括H264或H265等。其中,H265编码的带宽利用率更高,在编码时对性能有更高的要求。在一些实施例中,英伟达系列GeForce GTX 950及以上的显卡可以支持H265编码,当显卡低于该配置时,系统可以使用H264编码。所述编码的视频流数据可以通过网络发送到Cloud VR客户端230。在一些实施例中,Cloud VR驱动220可以用于执行视频编码、网络传输自适应码率、命令控制等。所述视频编码可以包括AVC和/或HEVC。
根据本申请的一些实施例,Cloud VR客户端230可以为安卓原生应用程序(Application,APP)。Cloud VR客户端230可以安装到头显设备130中,通过网络接收CloudVR驱动220发送的视频流数据,然后解码工具进行解码,最后利用OpenGL绘制到屏幕上。所述解码工具可以包括安卓官方提供的解码工具MediaCodec等。
需要说明的是,以上对于Cloud VR系统架构200的描述,仅为描述方便,并不能把本申请限制在所举实施例的范围之内。可以理解,对于本领域技术人员,基于本系统的原理,可能在不背离该原理的前提下,对各个单元进行任意组合,或者构成子模块与其他单元连接,对实施上述模块和单元的功能进行形式和细节上的各种修正和改变。诸如此类的变形,均在本申请的保护范围之内。
图3是根据本申请的一些实施例提供的Cloud VR 无连接串流系统的示例性示意图。如图3所示,Cloud VR 无连接串流系统300可以包括至少一个头显设备330;一个3D应用系统310;一个Steam VR系统320;一个Cloud VR系统200。所述3D应用系统可以包括IdeaVR、Unity以及Unreal 4等。根据本申请的一些实施例中,Cloud VR系统200可以包括CloudVR 服务端210、Cloud VR驱动220以及Cloud VR客户端230。
根据本申请的一些实施例,在同一个局域网下,所述Cloud VR系统200可以与所述Steam VR系统320集成,其中,Cloud VR驱动220可以集成在Steam VR系统320内部。CloudVR服务端210可以通过所述Steam VR系统320,以获取所述3D应用系统310的渲染图像数据并编码为设定格式的视频流数据。所述设定格式的视频流数据可以包括H.264和/或H.265格式的视频等。Cloud VR驱动220可以通过网络将所述视频流数据传输至所述头显设备330的Cloud VR客户端230。所述Cloud VR客户端230可以安装在所述头显设备330中。所述Cloud VR客户端230可以对所述视频流数据进行解码渲染。
根据本申请的一些实施例,Cloud VR服务端210用于连接管理。Cloud VR服务端210可以启动Steam VR系统320,并通过集成在所述Steam VR系统320内部的Cloud VR驱动220获取Cloud VR客户端230的状态。Cloud VR服务端210可以通过发送指令到Cloud VR驱动220,控制Cloud VR驱动220连接至Cloud VR客户端230。作为示例,Cloud VR服务端210可以控制渲染的分辨率、视频流数据的编码格式、日志的输出位置。所述编码可以包括H264或H265等。
根据本申请的一些实施例,Cloud VR驱动220可以集成在所述Steam VR系统320的内部,Cloud VR驱动220可以为Cloud VR服务端210与Cloud VR客户端230的中枢。当SteamVR系统320接收3D应用系统310发送的图像数据时,Cloud VR驱动220可以对所述图像数据进行编码。所述编码的视频流数据可以通过网络发送至Cloud VR客户端230。在一些实施例中,Cloud VR驱动220可以用于执行视频编码、网络传输自适应码率、命令控制等。所述视频编码可以包括AVC和/或HEVC等。
根据本申请的一些实施例,Cloud VR客户端230可以安装在所述头显设备330中。Cloud VR客户端230可以通过网络接收Cloud VR驱动220发送的视频流数据。进一步地,Cloud VR客户端230可以利用解码工具对所述编码为设定格式的视频流数据进行解码。在一些实施例中,Cloud VR客户端230可以利用OpenGL将视频流数据绘制到屏幕。Cloud VR客户端230可以为安卓原生应用程序等。所述解码工具可以包括MediaCodec等。
需要说明的是,以上对于Cloud VR 无连接串流系统300的描述,仅为描述方便,并不能把本申请限制在所举实施例的范围之内。可以理解,对于本领域技术人员,基于本系统的原理,可能在不背离该原理的前提下,对各个单元进行任意组合,或者构成子模块与其他单元连接,对实施上述模块和单元的功能进行形式和细节上的各种修正和改变。诸如此类的变形,均在本申请的保护范围之内。
图4是根据本申请的一些实施例提供的Cloud VR 无连接串流系统的连接方法的示例性流程图。如图4所示,流程400可以通过Cloud VR 无连接串流系统300实现。在一些实施例中,所述Cloud VR 无连接串流系统300可以自动启动或通过指令启动。所述指令可以包括用户指令、系统指令、动作指令等,或几种的组合。作为示例,所述系统指令可以通过传感器获取的信息生成。所述用户指令可以包括语音、手势、动作、客户端117和/或虚拟键等,或几种的组合。
在401,将配置文件写入系统的公共内存。操作401可以通过Cloud VR系统200的CloudVR服务端210实现。在一些实施例中,当启动Cloud VR 无连接串流系统300时,启动CloudVR 服务端210,Cloud VR 服务端210可以将配置文件写入Cloud VR 无连接串流系统300的公共内存中。
在402,通过Steam VR启动Cloud VR驱动,读取配置文件并进行初始化。操作402可以通过Cloud VR系统200的Cloud VR驱动220实现。在一些实施例中,在Cloud VR 无连接串流系统300中,可以一键启动Steam VR系统,Steam VR系统可以启动Cloud VR驱动220。Cloud VR驱动220可以读取操作401的配置文件,以获取配置信息。进一步地,Cloud VR驱动220可以进行初始化。
在403,通过头显设备启动Cloud VR客户端,向局域网发送头显信息的广播。操作403可以通过Cloud VR系统200的Cloud VR客户端230实现。在一些实施例中,Cloud VR客户端230通过头显设备130启动,此时,Cloud VR客户端230可以向局域网发送头显信息的广播。所述头显信息可以包括但不限于头显ID、分辨率、左右眼FOV,设备类型等。所述分辨率可以为该设备的最佳分辨率,作为示例,所述分辨率可以直接发送给Cloud VR驱动220,并应用到编码设置中。所述设备类型可以包括但不限于OculusQuest、OculusGo、XiaomiVR等中的一种或几种的组合。
在404,通过Cloud VR驱动接收广播并保存头显信息。操作404可以通过Cloud VR系统200的Cloud VR驱动220实现。在一些实施例中,Cloud VR驱动220可以接收广播。所述广播包含头显信息,Cloud VR驱动220可以存储所述头显信息,以供Cloud VR服务端210查询。
在405,通过Cloud VR服务端查询并显示头显信息,并向Cloud VR 驱动发送连接指令。操作405可以通过Cloud VR系统200的Cloud VR服务端210实现。在一些实施例中,Cloud VR服务端210可以查询头显信息,进一步地,Cloud VR服务端210可以将所述查询的头显信息显示在界面中。在一些实施例中,用户可以通过所述界面选择一个头显信息进行连接。此时,Cloud VR服务端210可以向Cloud VR驱动220发送一条连接指令,并指定连接的头显信息。所述头显信息可以包括地址信息。
在406,通过Cloud VR驱动连接到Cloud VR客户端,并返回结果到Cloud VR服务端。操作406可以通过Cloud VR系统200的Cloud VR驱动220实现。在一些实施例中,CloudVR驱动220可以连接到Cloud VR客户端230,并返回结果至Cloud VR服务端210。至此,CloudVR 无连接串流系统300已完成支持连接。
需要说明的是,以上对于流程400的描述,仅为描述方便,并不能把本申请限制在所举实施例的范围之内。可以理解,对于本领域技术人员,基于本系统的原理,可能在不背离该原理的前提下,对各个操作进行任意组合,或者构成子流程与其它操作组合,对实施上述流程和操作的功能进行形式和细节上的各种修正和改变。例如,流程400可以进一步包括完成支持连接等操作。诸如此类的变形,均在本申请的保护范围之内。
综上所述,根据本申请实施例的Cloud VR 无连接串流系统及连接方法,通过VR一体机替代传统头显,利用WIFI传输数据,不需要多余的线缆连接,实现Cloud VR无连接串流系统,用以全面提升用户的VR体验。
需要注意的是,上述的实施例仅仅是用作示例,本申请不限于这样的示例,而是可以进行各种变化。
需要说明的是,在本说明书中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后,还需要说明的是,上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理,而且包括并行或分别地、而不是按时间顺序执行的处理。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序指令相关的硬件来完成,所述的程序可存储于一计算机可读存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器(Read-Only Memory,ROM)或随机存储器(Random Access Memory,RAM)等。
以上所揭露的仅为本申请一些优选的实施例,不能以此来限定本申请之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本申请权利要求所作的等同变化,仍属于发明所涵盖的范围。

Claims (10)

1.一个Cloud VR 无连接串流系统,其特征在于,包括:
至少一个头显设备;
一个3D应用系统;
一个Steam VR系统;
一个Cloud VR系统,包括Cloud VR 服务端、Cloud VR驱动以及Cloud VR客户端;
在同一个局域网下,所述Cloud VR系统与所述Steam VR系统集成,其中,Cloud VR驱动集成在Steam VR系统内部;
Cloud VR服务端通过所述Steam VR系统获取所述3D应用系统的渲染图像数据并编码为设定格式的视频流数据;
Cloud VR驱动通过网络将所述视频传输至所述头显设备的Cloud VR客户端,所述Cloud VR客户端安装在所述头显设备;
所述Cloud VR客户端对所述视频进行解码渲染。
2.根据权利要求1所述的系统,其特征在于,所述Cloud VR服务端用于连接管理,进一步包括:
启动Steam VR系统,通过集成在所述Steam VR系统内部的Cloud VR驱动获取Cloud VR客户端的状态;
通过发送指令到Cloud VR驱动,控制所述Cloud VR驱动连接至Cloud VR客户端。
3.根据权利要求2所述的系统,其特征在于,所述Cloud VR服务端可以控制渲染的分辨率、视频流数据的编码格式、日志的输出位置。
4.根据权利要求1所述的系统,其特征在于,所述Cloud VR客户端安装在所述头显设备,进一步包括:
通过网络接收Cloud VR驱动发送的视频流数据;
利用解码工具对所述编码为设定格式的视频流数据进行解码;
利用OpenGL将视频流数据绘制到屏幕。
5.根据权利要求4所述的系统,其特征在于,所述Cloud VR客户端为安卓原生应用程序,所述解码工具包括MediaCodec。
6.根据权利要求1所述的系统,其特征在于,所述Cloud VR驱动集成在所述Steam VR系统内部,Cloud VR驱动是Cloud VR服务端与Cloud VR客户端的中枢,进一步包括:
所述Steam VR系统接收所述3D应用发送的图像数据;
所述Cloud VR驱动对所述图像数据进行编码;
所述编码的视频流数据通过网络发送至Cloud VR客户端。
7.根据权利要求6所述的系统,其特征在于,所述编码包括H264或H265。
8.根据权利要求1所述的系统,其特征在于,所述3D应用系统包括Idea VR、Unity以及Unreal 4。
9.一种Cloud VR 无连接串流系统的连接方法,其特征在于,包括:
将配置文件写入系统的公共内存;
通过Steam VR启动Cloud VR驱动,所述Cloud VR驱动读取配置文件并进行初始化;
通过头显设备启动Cloud VR客户端,向局域网发送头显信息的广播;
通过Cloud VR驱动接收广播并保存头显信息;
通过Cloud VR服务端查询并显示头显信息,并向Cloud VR 驱动发送连接指令;
通过Cloud VR驱动连接到Cloud VR客户端,并返回结果到Cloud VR服务端。
10.根据权利要求9所述的方法,其特征在于,所述头显信息包括:头显ID、分辨率、左右眼FOV,设备类型;所述分辨率可发送至CloudVR驱动,应用到编码设置中;所述连接指令包括头显信息的地址信息。
CN201911394536.5A 2019-12-30 2019-12-30 一种Cloud VR无连接串流系统及连接方法 Active CN111179437B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911394536.5A CN111179437B (zh) 2019-12-30 2019-12-30 一种Cloud VR无连接串流系统及连接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911394536.5A CN111179437B (zh) 2019-12-30 2019-12-30 一种Cloud VR无连接串流系统及连接方法

Publications (2)

Publication Number Publication Date
CN111179437A true CN111179437A (zh) 2020-05-19
CN111179437B CN111179437B (zh) 2023-08-08

Family

ID=70654238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911394536.5A Active CN111179437B (zh) 2019-12-30 2019-12-30 一种Cloud VR无连接串流系统及连接方法

Country Status (1)

Country Link
CN (1) CN111179437B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111901628A (zh) * 2020-08-03 2020-11-06 江西科骏实业有限公司 基于zSpace桌面VR一体机的云端渲染方法
CN112256317A (zh) * 2020-10-21 2021-01-22 上海曼恒数字技术股份有限公司 一种虚拟现实沉浸式大屏追踪系统的快速构建方法、介质及设备
CN112363478A (zh) * 2020-11-20 2021-02-12 上海电气集团股份有限公司 基于工业互联网平台的Cloud VR数字孪生制造产线架构及其构建方法
CN112947751A (zh) * 2021-02-07 2021-06-11 杭州小派智能科技有限公司 在虚拟现实画面中调节头显和画面显示效果的方法和系统
CN113141346A (zh) * 2021-03-16 2021-07-20 青岛小鸟看看科技有限公司 基于串流的vr一拖多系统及方法
CN113473180A (zh) * 2021-08-06 2021-10-01 北京博良胜合科技有限公司 一种基于5G或无线的Cloud XR数据传输方法以及装置、存储介质、电子装置
CN113784105A (zh) * 2021-09-10 2021-12-10 上海曼恒数字技术股份有限公司 一种沉浸式vr终端的信息处理方法及系统
WO2021249562A1 (zh) * 2020-06-12 2021-12-16 华为技术有限公司 一种信息传输方法、相关设备及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120224694A1 (en) * 2012-05-14 2012-09-06 Wei Lu Classified relation networking optimization platform in open wireless architecture (owa) mobile cloud terminal device
CN102930705A (zh) * 2012-09-26 2013-02-13 腾讯科技(深圳)有限公司 一种设备控制方法和装置
CN105592103A (zh) * 2016-02-02 2016-05-18 郭小虎 基于Unity3D的虚拟现实设备与移动设备的同步显示方法
US20170180800A1 (en) * 2015-09-09 2017-06-22 Vantrix Corporation Method and System for Selective Content Processing Based on a Panoramic Camera and a Virtual-Reality Headset
CN110266664A (zh) * 2019-06-05 2019-09-20 中国联合网络通信有限公司广州市分公司 一种基于5G与MEC的Cloud VR视频直播系统
US20190370926A1 (en) * 2018-05-30 2019-12-05 Sony Interactive Entertainment LLC Multi-server cloud virtual reality (vr) streaming

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120224694A1 (en) * 2012-05-14 2012-09-06 Wei Lu Classified relation networking optimization platform in open wireless architecture (owa) mobile cloud terminal device
CN102930705A (zh) * 2012-09-26 2013-02-13 腾讯科技(深圳)有限公司 一种设备控制方法和装置
US20170180800A1 (en) * 2015-09-09 2017-06-22 Vantrix Corporation Method and System for Selective Content Processing Based on a Panoramic Camera and a Virtual-Reality Headset
CN105592103A (zh) * 2016-02-02 2016-05-18 郭小虎 基于Unity3D的虚拟现实设备与移动设备的同步显示方法
US20190370926A1 (en) * 2018-05-30 2019-12-05 Sony Interactive Entertainment LLC Multi-server cloud virtual reality (vr) streaming
CN110266664A (zh) * 2019-06-05 2019-09-20 中国联合网络通信有限公司广州市分公司 一种基于5G与MEC的Cloud VR视频直播系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021249562A1 (zh) * 2020-06-12 2021-12-16 华为技术有限公司 一种信息传输方法、相关设备及系统
CN111901628A (zh) * 2020-08-03 2020-11-06 江西科骏实业有限公司 基于zSpace桌面VR一体机的云端渲染方法
CN112256317A (zh) * 2020-10-21 2021-01-22 上海曼恒数字技术股份有限公司 一种虚拟现实沉浸式大屏追踪系统的快速构建方法、介质及设备
CN112256317B (zh) * 2020-10-21 2022-07-29 上海曼恒数字技术股份有限公司 一种虚拟现实沉浸式大屏追踪系统的快速构建方法、介质及设备
CN112363478A (zh) * 2020-11-20 2021-02-12 上海电气集团股份有限公司 基于工业互联网平台的Cloud VR数字孪生制造产线架构及其构建方法
CN112947751A (zh) * 2021-02-07 2021-06-11 杭州小派智能科技有限公司 在虚拟现实画面中调节头显和画面显示效果的方法和系统
CN113141346A (zh) * 2021-03-16 2021-07-20 青岛小鸟看看科技有限公司 基于串流的vr一拖多系统及方法
WO2022193582A1 (zh) * 2021-03-16 2022-09-22 青岛小鸟看看科技有限公司 基于串流的 vr 一拖多系统及方法
US11663795B2 (en) 2021-03-16 2023-05-30 Qingdao Pico Technology Co., Ltd. Streaming-based VR multi-split system and method
CN113473180A (zh) * 2021-08-06 2021-10-01 北京博良胜合科技有限公司 一种基于5G或无线的Cloud XR数据传输方法以及装置、存储介质、电子装置
CN113473180B (zh) * 2021-08-06 2024-01-30 北京博良胜合科技有限公司 一种基于无线的Cloud XR数据传输方法以及装置、存储介质、电子装置
CN113784105A (zh) * 2021-09-10 2021-12-10 上海曼恒数字技术股份有限公司 一种沉浸式vr终端的信息处理方法及系统

Also Published As

Publication number Publication date
CN111179437B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN111179437B (zh) 一种Cloud VR无连接串流系统及连接方法
CN113038287B (zh) 多人视频直播业务实现方法、装置、计算机设备
CN103024063A (zh) 一种数据共享方法、客户端及系统
CN104573540A (zh) 移动终端用户隐私保护方法及系统
US20170195617A1 (en) Image processing method and electronic device
US20180373736A1 (en) Method and apparatus for storing resource and electronic device
CN103369289A (zh) 一种视频模拟形象的通信方法和装置
CN107995482B (zh) 视频文件的处理方法和装置
CN110969572B (zh) 换脸模型训练方法、人脸互换方法、装置及电子设备
CN104050040A (zh) 媒体重放工作负荷调度器
CN109117778A (zh) 信息处理方法、装置、服务器及存储介质
CN106131550A (zh) 播放多媒体文件的方法及装置
CN106572353A (zh) 用于虚拟现实的无线传输方法、装置、终端和头显设备
US10043302B2 (en) Method and apparatus for realizing boot animation of virtual reality system
CN115103175A (zh) 图像传输方法、装置、设备及介质
CN111208962A (zh) 一种显示设备连接控制方法及系统
CN101489190A (zh) 一种移动终端及其多媒体信息共享方法和系统
CN112363791A (zh) 一种录屏方法、装置、存储介质及终端设备
CN203241620U (zh) 头戴显示器
CN112604279A (zh) 一种特效显示方法及装置
CN113784105A (zh) 一种沉浸式vr终端的信息处理方法及系统
WO2014029076A1 (en) Widi cloud mode
CN109300177B (zh) 一种图片处理方法和装置
CN107038164A (zh) 一种分享虚拟现实图像的方法、装置及系统
CN207053557U (zh) 一种实现云sim信息下发的系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant