CN113141346B - 基于串流的vr一拖多系统及方法 - Google Patents

基于串流的vr一拖多系统及方法 Download PDF

Info

Publication number
CN113141346B
CN113141346B CN202110280962.7A CN202110280962A CN113141346B CN 113141346 B CN113141346 B CN 113141346B CN 202110280962 A CN202110280962 A CN 202110280962A CN 113141346 B CN113141346 B CN 113141346B
Authority
CN
China
Prior art keywords
interaction
module
decoding
streaming
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110280962.7A
Other languages
English (en)
Other versions
CN113141346A (zh
Inventor
张瑞生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202110280962.7A priority Critical patent/CN113141346B/zh
Publication of CN113141346A publication Critical patent/CN113141346A/zh
Priority to PCT/CN2021/118541 priority patent/WO2022193582A1/zh
Priority to US17/880,729 priority patent/US11663795B2/en
Application granted granted Critical
Publication of CN113141346B publication Critical patent/CN113141346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明提供一种基于串流的VR一拖多系统及方法，其中的系统包括控制系统以及分别与控制系统连接的操控终端和至少一个体验终端；其中，控制系统包括流媒体服务器、与流媒体服务器连接的串流编解码交互模块以及与串流编解码交互模块连接的VR平台；串流解码和交互处理模块用于接收串流编解码交互模块发出的视频流，并实时搜集操控终端一侧的交互数据，并将交互数据传输至串流编解码交互模块；串流编解码交互模块将VR平台的视频画面编码发送至操控终端，以及将与交互数据对应的视频流推送至流媒体服务器；通过流媒体服务器获取与体验终端的操作相对应的演示画面。利用上述发明能够实现不同场景下的VR一拖多方案，适用范围广，开放性强。

Description

基于串流的VR一拖多系统及方法
技术领域
本发明涉及VR技术领域，更为具体地，涉及一种基于串流的VR一拖多系统及方法。
背景技术
随着社会的进步和VR技术的不断发展，VR相关技术在各行各业中应运而生，例如，VR教育、VR培训、VR医疗等等，在目前的应用市场中均占据了很大的比例。
但是，在实际应用过程中，一人操作多人观看的需求越来越多，且内容类型多种多样，例如，在教育场景里，需要老师进行操作，多个学生进行观看等，由于目前尚未有VR一拖多的平台方法，无法给开发者或者学校一个平台，供其开发丰富多样且容易实现一拖多的方案，导致VR技术应用受限，用户体验不能得到满足等问题。
发明内容
鉴于上述问题，本发明的目的是提供一种基于串流的VR一拖多系统及方法，以解决现有VR技术无法给开发者提供一个可供其开发且容易实现一拖多方案，影响用户体验及自主开发等问题。
本发明提供的基于串流的VR一拖多系统，包括控制系统以及分别与控制系统连接的操控终端和至少一个体验终端；其中，控制系统包括流媒体服务器、与流媒体服务器连接的串流编解码交互模块以及与串流编解码交互模块连接的VR平台；在操控终端内设置有与串流编解码交互模块连接的串流解码和交互处理模块；串流解码和交互处理模块用于接收串流编解码交互模块发出的视频流，并实时搜集操控终端一侧的交互数据，并将交互数据传输至串流编解码交互模块；串流编解码交互模块将VR平台的视频画面编码发送至操控终端，以及将与交互数据对应的视频流推送至流媒体服务器；体验终端内的流媒体播放器与流媒体服务器连接，并通过流媒体服务器获取与体验终端的操作相对应的演示画面。
此外，优选的技术方案是，串流解码和交互处理模块包括串流解码模块和交互处理模块；串流编解码交互模块包括与串流解码模块连接的帧编码模块、与所述帧编码模块连接的流媒体流编码模块，以及与交互处理模块连接的交互接收模块；其中，交互接收模块用于接收并解码交互处理模块搜集的交互数据，将解码后的交互数据对接至VR平台；帧编码模块用于从VR平台获取并编码视频画面的视频帧，并将编码后的视频帧传输至串流解码模块、将视频帧帧传至流媒体流编码模块；流媒体流编码模块用于对视频帧进行流媒体编码，获取对应的视频流并推送至流媒体服务器；串流解码模块用于对编码后的视频帧进行解码及显示；交互处理模块用于搜集交互数据，并编码后发送至交互接收模块。
此外，优选的技术方案是，交互数据包括头部6Dof数据、手部6Dof数据、眼动追踪数据以及手柄按键数据。
此外，优选的技术方案是，流媒体服务器采用开源框架搭建至控制系统内；并且，控制系统与流媒体服务器位于同一局域网内。
此外，优选的技术方案是，控制系统包括PC机；流媒体服务器包括公网云、第三方云，以及与PC机位于同一局域网的PC。
此外，优选的技术方案是，操控终端与控制系统通过有线或无线链接，操控终端与控制系统位于同一局域网或无线公网内。
此外，优选的技术方案是，操控终端及体验终端包括VR一体机、PC或者Pad。
此外，优选的技术方案是，VR平台包括SteamVR平台或控制系统的自带平台。
此外，优选的技术方案是，体验终端基于流媒体服务器中与视频流对应的地址链接，获取与体验终端的操作相对应的演示画面。
根据本发明的另一方面，提供一种基于串流的VR一拖多方法，利用上述基于串流的VR一拖多系统进行画面展示；方法包括：通过串流编解码交互模块从VR平台获取并编码视频画面，并将编码后的视频画面发送至操控终端；基于操控终端的串流解码和交互处理模块接收并解码显示编码后的视频画面，并实时搜集操控终端一侧的交互数据，将交互数据传输至串流编解码交互模块；体验终端通过与串流编解码交互模块连接的流媒体服务器，获取并体验与交互数据对应的演示画面。
利用上述基于串流的VR一拖多系统及方法，能够通过串流编解码交互模块从VR平台获取并编码视频画面，并将编码后的视频画面发送至操控终端；基于操控终端的串流解码和交互处理模块接收并解码显示编码后的视频画面，并实时搜集操控终端一侧的交互数据，将交互数据传输至串流编解码交互模块；体验终端通过与串流编解码交互模块连接的流媒体服务器，获取并体验与交互数据对应的演示画面，能够实现VR的平台级功能支持，适用范围广，利于用户自主开发扩展。
为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。
附图说明
通过参考以下结合附图的说明，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的基于串流的VR一拖多系统的逻辑框图；
图2为根据本发明实施例的基于串流的VR一拖多系统的操控终端和控制系统的逻辑框图；
图3为根据本发明实施例的基于串流的VR一拖多方法的流程图。
在所有附图中相同的标号指示相似或相应的特征或功能。
具体实施方式
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。
为详细描述本发明的基于串流的VR一拖多系统及方法，以下将结合附图对本发明的具体实施例进行详细描述。
图1和图2分别示出了根据本发明实施例的基于串流的VR一拖多系统的示意逻辑。
如图1和图2共同所示，本发明实施例的基于串流的VR一拖多系统，包括控制系统以及分别与控制系统连接的操控终端和至少一个体验终端；其中，控制系统进一步包括流媒体服务器、与流媒体服务器连接的串流编解码交互模块以及与串流编解码交互模块连接的VR平台；在操控终端内设置有与串流编解码交互模块连接的串流解码和交互处理模块；操控终端通过串流解码和交互处理模块接收串流编解码交互模块发出的视频流，并实时搜集操控终端一侧的交互数据，并将交互数据传输至串流编解码交互模块；串流编解码交互模块将VR平台的视频画面编码发送至操控终端，以及将与交互数据对应的视频流推送至流媒体服务器，以便多个体验终端分别进行体验；体验终端内的流媒体播放器与流媒体服务器连接，通过流媒体服务器获取与体验终端的操作相对应的演示画面，最终实现一个操控终端进行操控，多个体验终端进行观看体验的效果。
具体地，串流解码和交互处理模块进一步包括串流解码模块和交互处理模块；串流编解码交互模块包括与串流解码模块连接的帧编码模块，与帧编码模块连接的流媒体流编码模块，以及与交互处理模块连接的交互接收模块；其中，交互接收模块用于接收并解码交互处理模块搜集的交互数据，将解码后的交互数据对接至VR平台；帧编码模块用于从VR平台获取并编码视频画面的视频帧，并将编码后的视频帧传输至串流解码模块，同时将视频帧帧传至流媒体流编码模块；流媒体流编码模块用于对视频帧进行流媒体编码，获取对应的视频流并推送至流媒体服务器，以供体验终端观看体验。
其中，串流解码模块用于对编码后的视频帧进行解码及显示，供操控终端进行实时操控，交互处理模块用于搜集操控终端侧的交互数据，并编码后发送至交互接收模块，完成操控终端的串流，此处的串流主要是指使用(操控终端)VR一体机的手柄和头部交互数据(头手6Dof操控，按键等)，操控Steam平台上的游戏，然后将游戏画面在PC上进而编码并回传到VR一体机的过程。
其中，操控终端及体验终端可以包括VR一体机、PC或者Pad等多种形式的操控终端，当操控终端包括头戴设备时，其对应的交互数据可包括头部6Dof数据、手部6Dof数据、眼动追踪数据以及手柄按键数据等多种形式及类型的数据。此外，控制系统包括PC机，流媒体服务器包括公网云、第三方云，以及与PC机位于同一局域网的PC。其中，第三方云可包括阿里云流媒体服务或AWS流媒体服务等。
在本发明的基于串流的VR一拖多系统中，流媒体服务器采可用开源框架搭建至控制系统内；并且，控制系统与流媒体服务器位于同一局域网内，例如，流媒体服务器可以采用开源框架搭建到VR平台所在的PC机上，也可以搭建到同一局域网PC上，或使用公网云，第三方云(阿里云流媒体服务/AWS流媒体服务)等等多种形式。
在本发明的一个具体实施方式中，VR平台可以包括SteamVR平台或控制系统的自带平台，用户或开发者可基于VR平台开发与业务相关的内容，进而实现可适用于多场景的一拖多方案。在体验终端的体验过程中，可基于流媒体服务器中与视频流对应的地址链接，获取与体验终端的操作相对应的演示画面。例如，在体验终端可通过体验终端内的流媒体VR播放器，打开流媒体地址进行实时观看，进而实现一个操作者多个观看者的效果。
需要说明的是，VR一体机和串流PC机可通过有线或无线链接，二者处于同一局域网或未来特快的无线公网。VR一体机接收PC机传送过来的视频流，在进行播放的同时，时时搜集操控终端VR一体机侧的交互数据，并传输给PC机端，完成游戏的交互过程。
与上述本发明的基于串流的VR一拖多系统相对应，本发明还提供一种基于串流的VR一拖多方法。其中，图3示出了根据本发明实施例的基于串流的VR一拖多方法的流程。
如图3所示，本发明实施例的基于串流的VR一拖多方法，包括：
S110：通过串流编解码交互模块从VR平台获取并编码视频画面，并将编码后的视频画面发送至操控终端；
S120：基于操控终端的串流解码和交互处理模块接收并解码显示编码后的视频画面，并实时搜集操控终端一侧的交互数据，将交互数据传输至串流编解码交互模块；
S130：体验终端通过与串流编解码交互模块连接的流媒体服务器，获取并体验与交互数据对应的演示画面。
需要说明的是，上述基于串流的VR一拖多方法的实施例，可参考基于串流的VR一拖多系统实施例中的描述，此处不再一一赘述。
根据上述本发明的基于串流的VR一拖多系统及方法，一方面PC机编码到操控终端一侧的VR一体机，同时编码到流媒体服务器，体验终端的观看侧通过VR一体机的VR播放器，播放流媒体的直播流，进而实现一拖多，能够以串流编码交互(模块)服务为核心，配合SteamVR平台及流媒体服务实现一人操作多人观看的效果，另外串流编码交互(模块)服务与SteamVR平台对接，开发者可基于VR平台开发对应应用，适用范围广，能够满足多场景的业务需求。
如上参照附图以示例的方式描述根据本发明的基于串流的VR一拖多系统及方法。但是，本领域技术人员应当理解，对于上述本发明所提出的基于串流的VR一拖多系统及方法，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (10)

1.一种基于串流的VR一拖多系统，其特征在于，包括：控制系统以及分别与所述控制系统连接的操控终端和至少一个体验终端；其中，
所述控制系统包括流媒体服务器、与所述流媒体服务器连接的串流编解码交互模块以及与所述串流编解码交互模块连接的VR平台；
在所述操控终端内设置有与所述串流编解码交互模块连接的串流解码和交互处理模块；
所述串流解码和交互处理模块用于接收所述串流编解码交互模块发出的视频流，并实时搜集所述操控终端一侧的交互数据，并将所述交互数据传输至所述串流编解码交互模块；
所述串流解码和交互处理模块包括串流解码模块和交互处理模块；所述串流编解码交互模块包括与所述串流解码模块连接的帧编码模块、与所述帧编码模块连接的流媒体流编码模块，以及与所述交互处理模块连接的交互接收模块；其中，
所述交互接收模块用于接收并解码所述交互处理模块搜集的交互数据，将所述解码后的交互数据对接至所述VR平台；所述帧编码模块用于从所述VR平台获取并编码所述视频画面的视频帧，并将所述编码后的视频帧传输至所述串流解码模块和所述流媒体流编码模块；
所述串流编解码交互模块将所述VR平台的视频画面编码发送至所述操控终端，以及将与所述交互数据对应的视频流推送至所述流媒体服务器；
所述体验终端内的流媒体播放器与所述流媒体服务器连接，并通过所述流媒体服务器获取与所述体验终端的操作相对应的演示画面。
2.如权利要求1所述的基于串流的VR一拖多系统，其特征在于，
所述流媒体流编码模块用于对所述视频帧进行流媒体编码，获取对应的视频流并推送至所述流媒体服务器；
所述串流解码模块用于对所述编码后的视频帧进行解码及显示；
所述交互处理模块用于搜集所述交互数据，并编码后发送至所述交互接收模块。
3.如权利要求1所述的基于串流的VR一拖多系统，其特征在于，
所述交互数据包括头部6Dof数据、手部6Dof数据、眼动追踪数据以及手柄按键数据。
4.如权利要求1所述的基于串流的VR一拖多系统，其特征在于，
所述流媒体服务器采用开源框架搭建至所述控制系统内；并且，
所述控制系统与所述流媒体服务器位于同一局域网内。
5.如权利要求1所述的基于串流的VR一拖多系统，其特征在于，
所述控制系统包括PC机；
所述流媒体服务器包括公网云、第三方云，以及与所述PC机位于同一局域网的PC。
6.如权利要求1所述的基于串流的VR一拖多系统，其特征在于，
所述操控终端与所述控制系统通过有线或无线链接，所述操控终端与所述控制系统位于同一局域网或无线公网内。
7.如权利要求1所述的基于串流的VR一拖多系统，其特征在于，
所述操控终端及所述体验终端包括VR一体机、PC或者Pad。
8.如权利要求1所述的基于串流的VR一拖多系统，其特征在于，
所述VR平台包括SteamVR平台或所述控制系统的自带平台。
9.如权利要求1所述的基于串流的VR一拖多系统，其特征在于，
所述体验终端基于所述流媒体服务器中与所述视频流对应的地址链接，获取与所述体验终端的操作相对应的演示画面。
10.一种基于串流的VR一拖多方法，其特征在于，利用如权利要求1至9任一项所述的基于串流的VR一拖多系统进行画面展示；所述方法包括：
通过串流编解码交互模块从VR平台获取并编码视频画面，并将编码后的视频画面发送至操控终端；
基于所述操控终端的串流解码和交互处理模块接收并解码显示所述编码后的视频画面，并实时搜集所述操控终端一侧的交互数据，将所述交互数据传输至所述串流编解码交互模块；所述串流解码和交互处理模块包括串流解码模块和交互处理模块；所述串流编解码交互模块包括与所述串流解码模块连接的帧编码模块、与所述帧编码模块连接的流媒体流编码模块，以及与所述交互处理模块连接的交互接收模块；其中，
所述交互接收模块用于接收并解码所述交互处理模块搜集的交互数据，将所述解码后的交互数据对接至所述VR平台；所述帧编码模块用于从所述VR平台获取并编码所述视频画面的视频帧，并将所述编码后的视频帧传输至所述串流解码模块和所述流媒体流编码模块；
体验终端通过与所述串流编解码交互模块连接的所述流媒体服务器，获取并体验与所述交互数据对应的演示画面。
CN202110280962.7A 2021-03-16 2021-03-16 基于串流的vr一拖多系统及方法 Active CN113141346B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110280962.7A CN113141346B (zh) 2021-03-16 2021-03-16 基于串流的vr一拖多系统及方法
PCT/CN2021/118541 WO2022193582A1 (zh) 2021-03-16 2021-09-15 基于串流的 vr 一拖多系统及方法
US17/880,729 US11663795B2 (en) 2021-03-16 2022-08-04 Streaming-based VR multi-split system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110280962.7A CN113141346B (zh) 2021-03-16 2021-03-16 基于串流的vr一拖多系统及方法

Publications (2)

Publication Number Publication Date
CN113141346A CN113141346A (zh) 2021-07-20
CN113141346B true CN113141346B (zh) 2023-04-28

Family

ID=76811114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110280962.7A Active CN113141346B (zh) 2021-03-16 2021-03-16 基于串流的vr一拖多系统及方法

Country Status (3)

Country Link
US (1) US11663795B2 (zh)
CN (1) CN113141346B (zh)
WO (1) WO2022193582A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113141346B (zh) 2021-03-16 2023-04-28 青岛小鸟看看科技有限公司 基于串流的vr一拖多系统及方法
CN116600147B (zh) * 2022-12-29 2024-03-29 广州紫为云科技有限公司 一种异地多人实时云合影的方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106658011A (zh) * 2016-12-09 2017-05-10 深圳市云宙多媒体技术有限公司 全景视频的编解码方法和装置
CN107979763A (zh) * 2016-10-21 2018-05-01 阿里巴巴集团控股有限公司 一种虚拟现实设备生成视频、播放方法、装置及系统
CN109375764A (zh) * 2018-08-28 2019-02-22 北京凌宇智控科技有限公司 一种头戴显示器、云端服务器、vr系统及数据处理方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE375187T1 (de) * 2002-08-12 2007-10-15 Alcatel Lucent Verfahren und vorrichtungen zur implementerung von hochinteraktiven unterhaltungsdiensten unter verwendung der medienströmungstechnologie, das die bereitstellung auf abstand von virtuelle realitätdiensten ermöglicht
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
CN107980153B (zh) * 2015-03-09 2021-10-22 伊利诺斯工具制品有限公司 提供与焊接操作相关联的视觉信息的方法和装置
US10229540B2 (en) * 2015-12-22 2019-03-12 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
US11284109B2 (en) * 2016-01-29 2022-03-22 Cable Television Laboratories, Inc. Visual coding for sensitivities to light, color and spatial resolution in human visual system
US10471353B2 (en) * 2016-06-30 2019-11-12 Sony Interactive Entertainment America Llc Using HMD camera touch button to render images of a user captured during game play
US11172005B2 (en) * 2016-09-09 2021-11-09 Nokia Technologies Oy Method and apparatus for controlled observation point and orientation selection audiovisual content
JP2020501265A (ja) * 2016-12-05 2020-01-16 ケース ウェスタン リザーブ ユニバーシティＣａｓｅ Ｗｅｓｔｅｒｎ Ｒｅｓｅｒｖｅ Ｕｎｉｖｅｒｓｉｔｙ 対話型拡張現実表示を表示するためのシステム、方法、及び媒体
US20180315329A1 (en) * 2017-04-19 2018-11-01 Vidoni, Inc. Augmented reality learning system and method using motion captured virtual hands
US10976982B2 (en) * 2018-02-02 2021-04-13 Samsung Electronics Co., Ltd. Guided view mode for virtual reality
CN108520651A (zh) * 2018-04-03 2018-09-11 衢州学院 一种基于vr眼镜的英语教学系统及方法
WO2019237099A1 (en) * 2018-06-08 2019-12-12 Magic Leap, Inc. Augmented reality viewer with automated surface selection placement and content orientation placement
CN109191964A (zh) * 2018-10-12 2019-01-11 北京凌宇智控科技有限公司 一种基于虚拟现实的教学交互系统
US10965929B1 (en) * 2019-01-04 2021-03-30 Rockwell Collins, Inc. Depth mapping and parallel distortion correction for mixed reality
US10791301B1 (en) * 2019-06-13 2020-09-29 Verb Surgical Inc. Method and system for synchronizing procedure videos for comparative learning
CN110246383A (zh) * 2019-07-18 2019-09-17 许昌学院 一种多媒体教学系统及其使用方法
EP4005216A4 (en) * 2019-07-23 2023-08-23 Lazar Entertainment Inc. INTERACTIVE LIVE MEDIA SYSTEMS AND PROCESSES
CN110519247B (zh) * 2019-08-16 2022-01-21 上海乐相科技有限公司 一种一对多虚拟现实展示方法及装置
CN110503872A (zh) * 2019-08-27 2019-11-26 长安大学 基于vr的新能源汽车安全教育虚拟体验系统及其使用方法
CN110533981A (zh) * 2019-08-27 2019-12-03 长安大学 一种基于vr的新能源汽车虚拟拆装体验系统及其使用方法
JP2022549853A (ja) * 2019-09-27 2022-11-29 マジック リープ， インコーポレイテッド 共有空間内の個々の視認
CN111179437B (zh) * 2019-12-30 2023-08-08 上海曼恒数字技术股份有限公司 一种Cloud VR无连接串流系统及连接方法
CN111341163A (zh) * 2020-04-16 2020-06-26 湖南翰坤实业有限公司 一种基于vr技术的建筑安全教育多人在线培训系统及方法
CN112309187A (zh) * 2020-10-30 2021-02-02 江苏视博云信息技术有限公司 一种虚拟现实教学方法、装置及系统
US11620796B2 (en) * 2021-03-01 2023-04-04 International Business Machines Corporation Expert knowledge transfer using egocentric video
CN113141346B (zh) * 2021-03-16 2023-04-28 青岛小鸟看看科技有限公司 基于串流的vr一拖多系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107979763A (zh) * 2016-10-21 2018-05-01 阿里巴巴集团控股有限公司 一种虚拟现实设备生成视频、播放方法、装置及系统
CN106658011A (zh) * 2016-12-09 2017-05-10 深圳市云宙多媒体技术有限公司 全景视频的编解码方法和装置
CN109375764A (zh) * 2018-08-28 2019-02-22 北京凌宇智控科技有限公司 一种头戴显示器、云端服务器、vr系统及数据处理方法

Also Published As

Publication number Publication date
US20220375180A1 (en) 2022-11-24
CN113141346A (zh) 2021-07-20
US11663795B2 (en) 2023-05-30
WO2022193582A1 (zh) 2022-09-22

Similar Documents

Publication Publication Date Title
CN113141346B (zh) 基于串流的vr一拖多系统及方法
CN107979763B (zh) 一种虚拟现实设备生成视频、播放方法、装置及系统
CN106060582B (zh) 视频传输系统、方法及装置
CN111901572B (zh) 一种多路视频流合成方法、装置、设备及存储介质
CN109887096A (zh) 利用虚拟现实技术的教育教学信息处理系统及其教学方法
CN102625149A (zh) 使用基于片的再现系统的低等待时间远程显示再现
DE60222890D1 (de) Verfahren und Vorrichtungen zur Implementerung von hochinteraktiven Unterhaltungsdiensten unter Verwendung der Medienströmungstechnologie, das die Bereitstellung auf Abstand von Virtuelle Realitätdiensten ermöglicht
US11451858B2 (en) Method and system of processing information flow and method of displaying comment information
US20030208613A1 (en) Managing user interaction for live multimedia broadcast
Harnar et al. Measuring the effect of distance education on the learning experience: Teaching accounting via PictureTel©
KR101702013B1 (ko) 다양한 포멧의 컨텐츠 공유기능을 가지는 스마트 영상 교육 시스템 및 이를 이용한 영상 교육 서비스 제공방법.
Tandon et al. Txt2vid: Ultra-low bitrate compression of talking-head videos via text
Viola et al. Vr2gather: A collaborative social vr system for adaptive multi-party real-time communication
CN110276999A (zh) 一种具有同步板书和直播功能的远程互动教学系统及方法
CN111629222A (zh) 一种视频处理方法、设备及存储介质
KR20200133127A (ko) 실시간 몰입형 콘텐츠 제공 시스템 및 이의 햅틱 효과 전송 방법
KR20010085150A (ko) 카메라와 화면 캡쳐를 이용한 인터넷 분산 방송 시스템
CN109040717A (zh) 一种指挥调度信息展示方法及系统
CN112702641A (zh) 视频处理方法、摄像机、录播主机、系统及存储介质
CN111970573A (zh) 云游戏方法和系统
CN113176868B (zh) 智能设备的一拖多系统及方法
CN109089056A (zh) 一种视频教学交互设备
CN210804824U (zh) 一种具有同步板书和直播功能的远程互动教学系统
Chiang et al. An augmented reality learning space for PC DIY
CN111901628A (zh) 基于zSpace桌面VR一体机的云端渲染方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant