CN109644294A - 一种直播分享的方法、相关设备及系统 - Google Patents

一种直播分享的方法、相关设备及系统 Download PDF

Info

Publication number
CN109644294A
CN109644294A CN201780048944.8A CN201780048944A CN109644294A CN 109644294 A CN109644294 A CN 109644294A CN 201780048944 A CN201780048944 A CN 201780048944A CN 109644294 A CN109644294 A CN 109644294A
Authority
CN
China
Prior art keywords
live
live streaming
data
sharing apparatus
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780048944.8A
Other languages
English (en)
Other versions
CN109644294B (zh
Inventor
丁志轩
李品先
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of CN109644294A publication Critical patent/CN109644294A/zh
Application granted granted Critical
Publication of CN109644294B publication Critical patent/CN109644294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781Games
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • A63F13/355Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • A63F13/5255Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85Providing additional services to players
    • A63F13/86Watching games played by other players
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/401Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/452Remote windowing, e.g. X-Window System, desktop virtualisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种直播分享的方法,直播分享系统包括第一直播分享装置、服务器以及第二直播分享装置,包括:第一直播分享装置通过虚拟现实VR显示屏幕接收本地直播指令,其中,VR显示屏幕用于接收直播发起方的操作指令;第一直播分享装置根据本地直播指令获取第一直播数据;第一直播分享装置将第一直播数据发送至服务器,以使服务器向第二直播分享装置发送第一直播数据,第一直播数据用于第二直播分享装置展示第一VR直播数据。本发明还提供一种第一直播分享装置、服务器以及第二直播分享装置。本发明实现了多用户之间分享VR内容的效果,以此提升方案的互动性和实用性。

Description

一种直播分享的方法、相关设备及系统
技术领域
本发明涉及虚拟现实领域,尤其涉及一种直播分享的方法、相关设备及系统。
背景技术
虚拟现实(virtual reality,VR)是采用以计算机技术为核心的现代高科技手段生成逼真的视觉、听觉、触觉、嗅觉和味觉等一体化的虚拟环境,用户从自己的视点出发,借助特殊的输入输出设备,采用自然的方式与虚拟世界的物体进行交互、相互影响。随着VR硬件设备的普及,传统的社交也逐渐将目光投向VR领域,让不同VR玩家登陆同一VR场景,VR玩家通过控制器进行多人互动。
在目前的方案中,可以让用户在VR下操作自己的终端桌面,或者让用户如同置身电影院那样在虚拟场景的巨幕上体验游戏或者观看本地视频。
然而,上述方案都是面向单人用户的VR体验内容,因此,具有一定的局限性,而且随着社交需求的提升,仅仅以单人的形式体验VR内容也缺乏了互动性,从而降低了方案的实用性。
发明内容
本发明实施例提供了一种直播分享的方法、相关设备及系统,实现了多用户之间分享VR内容的效果,以此提升方案的互动性和实用性。
有鉴于此,本发明第一方面提供了一种直播分享的方法,所述方法应用于直播分享系统,所述直播分享系统包括第一直播分享装置、服务器以及第二直播分享装置,所述方法包括:
所述第一直播分享装置通过虚拟现实VR显示屏幕接收本地直播指令,其中,所述VR显示屏幕用于接收直播发起方的操作指令;
所述第一直播分享装置根据所述本地直播指令获取所述第一直播分享装置本地的第一直播数据;
所述第一直播分享装置将所述第一直播数据发送至所述服务器,以使所述服务器向所述第二直播分享装置发送所述第一直播数据,所述第一直播数据用于所述第二直播分享装置生成并展示第一VR直播数据。
本发明第二方面提供了一种直播分享的方法,所述方法应用于直播分享系统,所述直播分享系统包括第一直播分享装置、服务器以及第二直播分享装置,所述方法包括:
所述第二直播分享装置通过所述VR显示屏幕接收远程直播指令;
所述第二直播分享装置根据所述远程直播指令从所述服务器中获取第一直播数据,其中,所述第一直播数据为所述第一直播分享装置向所述服务器发送的直播数据;
所述第二直播分享装置根据所述第一直播数据生成并展示第一VR直播数据。
本发明第三方面提供了一种直播分享的方法,所述方法应用于直播分享系统,所述直播分享系统包括第一直播分享装置、服务器以及第二直播分享装置,所述方法包括:
所述服务器接收所述第一直播分享装置发送的第一直播数据,其中,所述第一直播数据为所述第一直播分享装置根据本地直播指令获取的所述第一直播分享装置本地的第一直播数据;
所述服务器接收所述第二直播分享装置发送的远程直播指令;
所述服务器根据所述远程直播指令向所述第二直播分享装置发送所述第一直播数据,以使所述第二直播分享装置生成并展示第一VR直播数据。
本发明第四方面提供了一种直播分享装置,所述直播分享装置为应用于直播分享系统的第一直播分享装置,所述直播分享系统还包括服务器以及第二直播分享装置,所述直播分享装置包括:
接收模块,用于通过虚拟现实VR显示屏幕接收本地直播指令,其中,所述VR显示屏幕用于接收直播发起方的操作指令;
获取模块,用于根据所述接收模块接收的所述本地直播指令获取所述第一直播分享装置本地的第一直播数据;
发送模块,用于将所述获取模块获取的所述第一直播数据发送至所述服务器,以使所述服务器向所述第二直播分享装置发送所述第一直播数据,所述第一直播数据用于所述第二直播分享装置生成并展示第一VR直播数据。
本发明第五方面提供了一种直播分享装置,所述直播分享装置为应用于直播分享系统的第二直播分享装置,所述直播分享系统还包括服务器以及第一直播分享装置,所述直播分享装置包括:
接收模块,用于通过所述VR显示屏幕接收远程直播指令;
获取模块,用于根据所述接收模块接收的所述远程直播指令从所述服务器中获取第一直播数据,其中,所述第一直播数据为所述第一直播分享装置向所述服务器发送的直播数据;
展示模块,用于根据所述获取模块获取的所述第一直播数据生成并展示第一VR直播数据。
本发明第六方面提供了一种服务器,所述服务器应用于直播分享系统,所述直播分享系统还包括第一直播分享装置以及第二直播分享装置,所述服务器包括:
接收模块,用于接收所述第一直播分享装置发送的第一直播数据,其中,所述第一直播数据为所述第一直播分享装置根据本地直播指令获取的所述第一直播分享装置本地的第一直播数据;
所述接收模块,用于接收所述第二直播分享装置发送的远程直播指令;
发送模块,用于根据所述接收模块接收的所述远程直播指令向所述第二直播分享装置发送所述接收模块接收的所述第一直播数据,以使所述第二直播分享装置生成并展示第一VR直播数据。
本发明第七方面提供了一种直播分享装置,所述直播分享装置为应用于直播分享系统的第一直播分享装置,所述直播分享系统还包括服务器以及第二直播分享装置,所述直播分享装置包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
通过虚拟现实VR显示屏幕接收本地直播指令,其中,所述VR显示屏幕用于接收直播发起方的操作指令;
根据所述本地直播指令获取所述第一直播分享装置本地的第一直播数据;
将所述第一直播数据发送至所述服务器,以使所述服务器向所述第二直播分享装置发送所述第一直播数据,所述第一直播数据用于所述第二直播分享装置生成并展示第一VR直播数据;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
本发明第八方面提供了一种直播分享装置,所述直播分享装置为应用于直播分享系统的第二直播分享装置,所述直播分享系统还包括服务器以及第一直播分享装置,所述直播分享装置包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
通过所述VR显示屏幕接收远程直播指令;
根据所述远程直播指令从所述服务器中获取第一直播数据,其中,所述第一直播数据为所述第一直播分享装置向所述服务器发送的直播数据;
根据所述第一直播数据生成并展示第一VR直播数据;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
本发明第九方面提供了一种服务器,所述服务器应用于直播分享系统,所述直播分享系统还包括第一直播分享装置以及第二直播分享装置,所述服务器包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
接收所述第一直播分享装置发送的第一直播数据,其中,所述第一直播数据为所述第一直播分享装置根据本地直播指令获取的所述第一直播分享装置本地的第一直播数据;
接收所述第二直播分享装置发送的远程直播指令;
根据所述远程直播指令向所述第二直播分享装置发送所述第一直播数据,以使所述第二直播分享装置生成并展示第一VR直播数据;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
本发明第十方面提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面、第二方面或第三方面所述的方法。
本发明第十一方面提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上第一方面、第二方面或第三方面所述的方法。
本发明实施例中,提供了一种直播分享的方法,该方法应用于直播分享系统,且直播分享系统包括第一直播分享装置、服务器以及第二直播分享装置,首先第一直播分享装置通过VR显示屏幕接收本地直播指令,然后根据本地直播指令获取第一直播数据,最后将第一直播数据发送至服务器,以使服务器向第二直播分享装置发送第一直播数据,第二直播分享装置展示第一VR直播数据。通过上述方式,第二直播分享装置可以同步获取第一直播分享装置发送的第一直播数据,并予以展示,从而实现了多用户之间分享VR内容的目的,以此提升方案的互动性和实用性。
附图说明
图1为本发明实施例中直播分享系统的架构图;
图2为本发明实施例中虚拟现实直播分享的场景截图;
图3为本发明实施例中直播分享的方法一个实施例示意图;
图4为本发明实施例中选择本地直播的一个界面示意图;
图5为本发明实施例中选择本地直播的一个VR显示屏幕界面示意图;
图6为本发明实施例中本地直播映射到VR显示屏幕的一个界面示意图;
图7为本发明实施例中全屏截取技术的一个拓扑图;
图8为本发明实施例中映射用户输入的一个实施例示意图;
图9为本发明实施例中选择远程直播的一个界面示意图;
图10为本发明实施例中选择远程直播的一个VR显示屏幕界面示意图;
图11为本发明实施例中远程桌面绘制的一个实施例示意图;
图12为现有方案中高分辨率高帧率画面造成屏幕闪烁的示意图;
图13为本发明实施例中分帧更新直播画面的一个实施例示意图;
图14为本发明应用场景中本地模式的一个流程示意图;
图15为本发明应用场景中远程模式的一个流程示意图;
图16为本发明实施例中直播分享的方法另一个实施例示意图;
图17为本发明实施例中直播分享的方法另一个实施例示意图;
图18为本发明实施例中直播分享系统部署的一个实施例示意图;
图19为本发明实施例中直播分享系统的观众顺序示意图;
图20为本发明实施例中直播分享装置的一个实施例示意图;
图21为本发明实施例中直播分享装置的另一个实施例示意图;
图22为本发明实施例中直播分享装置的一个实施例示意图;
图23为本发明实施例中直播分享装置的另一个实施例示意图;
图24为本发明实施例中直播分享装置的另一个实施例示意图;
图25为本发明实施例中服务器的一个实施例示意图;
图26为本发明实施例中直播分享装置的一个结构示意图;
图27为本发明实施例中服务器的一个结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应理解,本发明应用于多媒体信息分享系统,请参阅图1,图1为本发明实施例中直播分享系统的架构图,如图1所示,图中包括3个虚拟现实(virtual reality,VR)直播屏幕以及4位VR玩家仅为一个示意,在实际应用中,VR玩家的数量和VR显示屏的数量幕可以更多或者更少,故此处不作限定。
请参阅图1,整个VR多媒体文件的生成和分享的过程包括,作为主播的VR玩家首先通过个人电脑(personal computer,PC)上的VR显示屏幕展示同步操作画面,其中,对PC而言,在展示VR显示屏幕之前还应该外接有VR输出设备,以能够输出VR信号。例如在VR显示屏幕上选择需要直播的内容,亦或是主播开始进行直播,通过PC将直播数据上传至服务器,服务器进而将直播数据转发至其他PC上。与此同时,在VR显示屏幕1上会采用VR技术展示出直播数据,也就是以贴图形式渲染桌面至VR显示屏幕上。
其他的VR玩家从服务器实时接收主播方PC的直播数据,解压并还原直播数据,同样以贴图形式将画面渲染到场景的VR显示屏幕上。比如,观众A可以在本地的PC上请求服务器提供主播发送的直播数据,然后服务器能够根据观众A的请求,将主播实时传输的直播数据发送至VR显示屏幕2上,从而使得观众A在VR显示屏幕2上同步观赏到主播正在播放的直播数据。
VR技术是一种可以创建和体验虚拟世界的计算机仿真系统,它利用计算机生成一种模拟环境,是一种多源信息融合的,交互式的三维动态视景和实体行为的系统,使用户沉浸到该环境中。
本申请旨在让用户在VR之中集成桌面操作和直播分享,利用本申请所提供的方案,可以使得每一个用户可以在VR社交场景中操作自己电脑桌面,在此之上用户可以在VR之中投影的虚拟屏幕上浏览网页、演讲演示文稿或者体验游戏等,并将画面直播分享给同场景用户,或者与其他用户共同观看别人直播的分享。此外本申请还允许用户以主播方式通过非VR客户端实时上传的直播分享,以此结合VR虚拟场景实现在VR中进行演唱会或者电竞比赛等。
直播分享的主要过程是通过场景中的一块虚拟的屏幕(即VR显示屏幕)来完成,用户可以在场景内自由地放置多个VR显示屏幕,每个场景中的VR显示屏幕都有两种功能供用户选择,即本地(Local)模式和远程(Remote)模式。为了便于介绍,请参阅图2,图2为本发明实施例中虚拟现实直播分享的场景截图,如图所示,图2中的(a)所示的场景为Local模式下的场景,用户或玩家可以通过将电脑桌面将直播数据投影到VR显示屏幕上。而图2中的(b)所示的场景为Remote模式下的场景,用户可以通过VR显示屏幕选择并观看其他用户直播的内容。
下面将从第一直播分享装置的角度,对本发明中直播分享的方法进行介绍,该方法应用于直播分享系统,且该直播分享系统包括第一直播分享装置、服务器以及第二直播分享装置,请参阅图3,本发明实施例中直播分享的方法一个实施例包括:
101、第一直播分享装置通过虚拟现实VR显示屏幕接收本地直播指令,其中,VR显示屏幕用于接收直播发起方的操作指令;
本实施例中,第一直播分享装置可以包括VR显示屏幕以及用户本地的终端设备,终端设备可以如PC、手机或者平板电脑等,此外,第一直播分享装置还可以包括用户操作的外部控制器,通过外部控制器能够向VR显示屏幕发起操作指令,比如,拖动指令、滑动指令或者选中指令等。
请参阅图4,图4为本发明实施例中选择本地直播的一个界面示意图,如图所示,用户可以在VR场景内自由的放置多个VR显示屏幕,每一块场景中的VR显示屏幕都有两种功能供用户选择,即“LOCAL”模式和“OTHERS”模式。“LOCAL”模式为本地模式,“OTHERS”模式可以是远程模式。请参阅图5,图5为本发明实施例中选择本地直播的一个VR显示屏幕界面示意图,用户可以通过VR显示屏幕发送本地直播指令,即选择“Local”模式,其中,“Local”模式允许用户将自己当前的终端设备桌面投影至场景的VR显示屏幕之中,画面的分享是同步的,场景之中其它的用户也可以通过该VR显示屏幕屏看到分享用户的终端设备桌面。
102、第一直播分享装置根据本地直播指令获取第一直播分享装置本地的第一直播数据;
本实施例中,第一直播分享装置可以根据用户触发的本地直播指令获取本地的第一直播数据,第一直播数据是主播在直播时生成的数据,比如游戏直播解说(显示界面为游戏界面)或者主播视频(显示界面为摄像头拍摄到的内容)
具体地,请参阅图6,图6为本发明实施例中本地直播映射到VR显示屏幕的一个界面示意图,如图所示,对于没有VR显示屏幕的用户,可以直接在后台客户端程序将自己的桌面内容或者视频(即第一直播数据)实时的上传至服务器,并作为频道源数据,供在VR场景中的观众进行观看。
103、第一直播分享装置将第一直播数据发送至服务器,以使服务器向第二直播分享装置发送第一直播数据,第一直播数据用于第二直播分享装置生成并展示第一VR直播数据。
本实施例中,第一直播分享装置向服务器发送第一直播数据,至少一个第二直播分享装置从服务器上下载该第一直播数据,然后将第一直播数据转换为第一VR直播数据,能够在VR显示屏幕上进行第一VR直播数据的观看。当然,这里的VR显示屏幕是第二直播分享装置的。
此外,第二直播分享装置还可以包括终端设备,终端设备可以如PC、手机或者平板电脑等,此外,第二直播分享装置还可以包括用户操作的外部控制器。
本发明实施例中,提供了一种直播分享的方法,该方法应用于直播分享系统,且直播分享系统包括第一直播分享装置、服务器以及第二直播分享装置,首先第一直播分享装置通过VR显示屏幕接收本地直播指令,然后根据本地直播指令获取第一直播数据,最后将第一直播数据发送至服务器,以使服务器向第二直播分享装置发送第一直播数据,第二直播分享装置展示第一VR直播数据。通过上述方式,第二直播分享装置可以同步获取第一直播分享装置发送的第一直播数据,并予以展示,从而实现了多用户之间分享VR内容的目的,以此提升方案的互动性和实用性。
可选地,在上述图3对应的实施例的基础上,本发明实施例提供的直播分享的方法第一个可选实施例中,第一直播分享装置根据本地直播指令获取第一直播分享装置本地的第一直播数据,可以包括:
第一直播分享装置通过多媒体编程接口获取桌面纹理,其中,桌面纹理为通过桌面窗口管理器DWM截取的;
第一直播分享装置根据桌面纹理生成第一直播分享装置本地的第一直播数据,其中,第一直播数据为位图数据。
本实施例中,介绍了在Windows 7(微软公司开发的操作系统)环境下获取第一直播数据的方式。由于Windows 7本身的获取桌面位图数据的API效率非常低,不适用于需要至少60帧的VR桌面,所以程序在Win7下桌面截取屏幕使用的是QQ远程桌面所采用的技术,即全屏截取技术(desktop window manager,DWM),相比于Windows本身提供的接口,这套方案将截取单帧的耗时从45毫秒降低到了4毫秒,提高了帧数,让桌面截取可以在VR中进行。
其中,DWM是Windows Vista及Windows 7中的一个新组件。它建立在Windows呈现基础(windows presentation foundation,WPF)核心图形层组件基础之上。DWM的桌面合成是建立在组合(composition)引擎基础之上的新特征。它的出现几乎改变了Vista中应用程序的屏幕象素显示方式。启用DWM后,提供的视觉效果有毛玻璃框架、3D窗口变换动画、窗口翻转和高分辨率支持。
具体地,请参阅图7,图7为本发明实施例中全屏截取技术的一个拓扑图,如图所示,将在内存中运行的动态链接库文件(Rundll32.exe)注入到系统中的捕获助手动态链接库文件(CaptureHelper.dll)。CaptureHelper.dll通过钩函数(Hook)调用DWM桌面窗口管理器进程,并在桌面管理器“SwapChain”中的“Present”函数中获得桌面纹理。使用多媒体编程接口(DirectX)的共享纹理机制,在VR桌面(Desktop)可执行程序中获得共享的桌面纹理,最后将桌面纹理数据映射成位图数据。可以理解的是,这里的位图数据也就是第一直播数据,当然,如果在第二直播分享装置侧截取的位图数据,那么该位图数据就是第二直播数据。
经过以上步骤,我们可以在Windows 7下以较高的效率获得每帧完整的位图数据,并将位图数据上传给服务器同步给其他房间成员的VR显示屏幕上。
其次,本发明实施例中,由于Windows 7的操作系统中获取桌面位图数据的API效率很低,因此不适用于需要较多帧数的VR显示屏幕,所以本发明提出了可以在Windows 7下桌面截取屏幕使用全屏截取技术。通过上述方式,能够在Windows 7的操作系统下以较高的效率获得每帧完整的位图数据,也就是直播数据,并将直播数据上传给服务器,以此同步给其他的VR显示屏幕。
可选地,在上述图3对应的实施例的基础上,本发明实施例提供的直播分享的方法第二个可选实施例中,第一直播分享装置根据本地直播指令获取第一直播分享装置本地的第一直播数据,可以包括:
第一直播分享装置通过多媒体编程接口获取桌面纹理,其中,桌面纹理为通过桌面复制应用程序编程接口API截取的;
第一直播分享装置根据桌面纹理生成第一直播分享装置本地的第一直播数据,其中,第一直播数据为位图数据。
本实施例中,介绍了在Windows 8或者Windows 10(微软公司开发的操作系统)环境下获取第一直播数据的方式。由于Windows 8引入了高效的桌面复制应用程序编程(Desktop Duplication API)接口,截取全屏桌面可以直接通过Desktop Duplication API来完成,不再需要再Hook Windows的桌面管理器进程。
本方案可以通过判断用户的操作系统类型来选择不同的截屏机制。
具体地,当判断当前操作系统为Windows 8或者Windows 10时,第一直播分享装置可以通过多媒体编程接口(DirectX)获取桌面纹理,而这里的桌面纹理则是通过DesktopDuplication API来截取的。
第一直播分享装置根据桌面纹理生成第一直播分享装置本地的第一直播数据,其中,第一直播数据为位图数据。位图数据是使用像素阵列来表示的图像,每个像素的色彩信息由红绿蓝(RGB)组合或者灰度值表示。根据颜色信息所需的数据位分为1、4、8、16、24及32位等,位数越高颜色越丰富,相应的数据量越大。
其次,本发明实施例中,在Windows 8或者Windows 10的操作系统中已经引入了高效的桌面复制接口,因此可以通过该接口获取桌面纹理,然后直接根据桌面纹理生成第一直播分享装置本地的第一直播数据。通过上述方式,能够在Windows 8或者Windows 10的操作系统下以较高的效率获得每帧完整的位图数据,也就是直播数据,并将直播数据上传给服务器,以此同步给其他的VR显示屏幕,从而提升方案的实用性和可行性。
可选地,在上述图3对应的第一个或第二个实施例的基础上,本发明实施例提供的直播分享的方法第三个可选实施例中,第一直播分享装置根据本地直播指令获取第一直播分享装置本地的第一直播数据之后,还可以包括:
第一直播分享装置将第一直播数据映射为图形处理器GPU中的贴图,以生成第一VR直播数据;
第一直播分享装置展示第一VR直播数据。
本实施例中,由于本地桌面画面是主播用户提供出去的,所以本地需要先通过全屏桌面截取技术获得原始桌面的位图数据(即第一直播数据和/或第二直播数据),该原始桌面的位图数据是以原始BGRA排列的,可以直接映射到GPU中贴图,并在每帧直接更新图形处理器(graphics processing unit,GPU)中对应的显存。
将视频画面绘制到VR场景就是采用贴图映射的方式,具体就是将视频帧数据映射为贴图,再在VR显示屏幕中绘制矩形网格模型,将贴图纹理贴上。具体本地桌面端截图绘制与远程图片绘制方式有一定区别,纹理贴图是计算机图形学中通过网格模型每个顶点的UV坐标采集对应图片像素点的方式绘制网格模型的纹理。
再次,本发明实施例中,直播分享装置将直播数据映射为GPU中的贴图,以生成VR直播数据,然后展示VR直播数据。通过上述方式,能够完成本地桌面的绘制,从而为VR直播数据在VR显示屏幕上展示提供一种可行的方式,从而提升方案的可操作性。
可选地,在上述图3以及图3对应的第一个至第三个实施例中任一项的基础上,本发明实施例提供的直播分享的方法第四个可选实施例中,第一直播数据包括音视频数据流以及状态数据;
第一直播分享装置将第一直播数据发送至服务器,可以包括:
第一直播分享装置向服务器发送音视频数据流,以使服务器对音视频数据流进行实时压缩,并生成压缩数据流,其中,音视频数据为第一直播数据中的视频和音频数据;
第一直播分享装置向服务器发送状态数据,以使服务器根据状态数据和压缩数据流同步第一直播分享装置和第二直播分享装置的播放。
本实施例中,第一直播数据具体包括了音视频数据流和状态数据,其中,音视频数据流又可以称为媒体数据,而状态数据则是用于逻辑同步和处理的数据,比如,第一直播分享装置在11点55分08秒开始播放A片段,那么这个时候的状态数据可以携带标识“115508A”,服务器收到该状态数据进行解析,即可得到标识“115508A”,于是,向第二直播分享装置同步“115508A”所对应的11点55分08秒的A片段。
当然,服务器还需要实时压缩音视频数据流,以此降低数据流的流量,提升数据传输的效率,服务器根据状态数据和压缩数据流生成对应的第一直播数据,然后向第二直播分享装置发送该第一直播数据。
进一步地,本发明实施例中,第一直播分享装置可以向服务器发音视频数据流和状态数据,服务器将这两者数据进行合成,并在第一直播分享装置和第二直播分享装置两侧实现数据的同步。通过上述方式,服务器可以同时进行逻辑数据的同步和处理以及做音视频数据流转发,从而将一位用户实时提供的画面也实时同步到其他用户处,以此实现音画同步的直播互动,提升了方案的可行性和体验感。
可选地,在上述图3以及图3对应的第一个至第四个实施例中任一项的基础上,本发明实施例提供的直播分享的方法第五个可选实施例中,第一直播分享装置将第一直播数据发送至服务器之后,还可以包括:
第一直播分享装置通过VR显示屏幕获取屏幕比例值以及实时操作信息,其中,屏幕比例值用于表示空间坐标值与参考坐标值之间的比例,实时操作信息用于表示用户对控制器的操作;
第一直播分享装置根据屏幕比例值与实时操作信息生成直播交互指令。
本实施例中,在第一直播分享装置将第一直播数据发送至服务器之后,还可以通过VR显示屏幕接收用户发送的操作指令,根据操作指令生成屏幕比例值以及实时操作信息,以及结合屏幕比例值以及实时操作信息确定直播交互指令。
具体地,请参阅图8,图8为本发明实施例中映射用户输入的一个实施例示意图,如图所示,用户与VR显示屏幕的交互是通过用户手部的控制器在VR场景中与VR显示屏幕矩形投影区域的交点来映射到用户本地终端的鼠标操作,具体步骤如下,首先根据用户通过控制器触发的操作指令来获取控制器的射线与VR显示屏之间的空间坐标值,其中,控制器与VR显示屏都属于第一直播分享装置。控制器的射线与VR显示屏幕之间的空间坐标值为Pw(x,y,z),然后根据空间坐标值与VR显示屏幕的参考坐标值,确定屏幕比例值。
假设,VR显示屏幕的参考坐标值可以是屏幕左上角的点,即P0(x0,y0,z0),将坐标点Pw(x,y,z)根据屏幕左上点P0(x0,y0,z0)映射到屏幕的比例确定屏幕比例值,屏幕比例值为Ps(u,v)。
u=(x-x0)/w;
v=(y-y0)/h;
其中,w表示VR显示屏幕的宽度值,h表示VR显示屏幕的高度值。
根据计算Ps可以计算出用户实时鼠标位置Pm(um,vm),um=u×终端屏幕宽,vm=v×终端屏幕高。Ps即为屏幕比例值。
第一直播分享装置可以根据外设手部控制器上的按键映射鼠标的左键和右键,并捕捉映射得到鼠标按键单机,双击以及按下等状态,从而形成实时操作信息,有了鼠标位置和按键方式,即得到了屏幕比例值和实时操作信息,最后通过应用程序编程接口(Application Programming Interface,API)将用户鼠标位置Pm对应的用户点击操作映射为鼠标事件,以此确定鼠标事件对应的直播交互指令。
更进一步地,本发明实施例中,本地直播的用户还可以通过外部控制器与VR显示屏幕之间的交互生成直播交互指令,该直播交互指令即映射为鼠标事件。通过上述方式,用户能够直接在VR场景下生成直播交互指令,无需在终端桌面上进行操作,从而实现全浸式的VR体验。
可选地,在上述图3对应的实施例的基础上,本发明实施例提供的直播分享的方法第六个可选实施例中,还可以包括:
第一直播分享装置通过VR显示屏幕接收远程直播指令;
第一直播分享装置根据远程直播指令从服务器中获取第二直播数据,其中,第二直播数据为第二直播分享装置向服务器发送的直播数据;
第一直播分享装置根据第二直播数据生成并展示第二VR直播数据。
本实施例中,如果用户想在本地观看远程的直播内容,则还可以通过第一直播分享装置的VR显示屏幕触发远程直播指令,这里的远程直播指令即用于启动“Remote”模式。具体地,请参阅图9,图9为本发明实施例中选择远程直播的一个界面示意图,如图所示,选择“Remote”模式可以允许用户像观看视频直播平台那样观看服务器上现有主播的直播内容(即非房间内其他用户的本地分享)。用户通过第二直播分享装置中的VR显示屏幕选择房间列表,比如图9所示的列表,“hakudzx”以及“zhixuanding”,选择列表中的一个房间后可以观看视频源频道,即接收第二直播数据。
第一直播分享装置根据远程直播指令从服务器中获取第二直播数据,然后根据第二直播数据生成并展示第二VR直播数据,展示界面如图10所示,图10为本发明实施例中选择远程直播的一个VR显示屏幕界面示意图,用户可以通过VR显示屏幕观看第二VR直播数据。
可以理解的是,本方案还允许用户像传统的直播平台那样观看主播的直播,或者官方推送的在线视频内容等,此处不做限定。
其次,本发明实施例中,在VR场景下可以存在多个VR显示屏幕,且每个VR显示屏幕能够自由地在本地模式和远程模式之间进行切换。通过上述方式,可以使得社交在VR场景中显得更加地丰富多彩,从而提升方案的多样性和趣味性。
可选地,在上述图3对应的第六个实施例的基础上,本发明实施例提供的直播分享的方法第七个可选实施例中,第一直播分享装置根据第二直播数据生成并展示第二VR直播数据,可以包括:
第一直播分享装置根据颜色编码与色彩模式之间的对应关系,将第二直播数据转换为第二VR直播数据;
第一直播分享装置展示第二VR直播数据。
本实施例中,第一直播分享装置还可以根据颜色编码和色彩模式之间的对应关系进行远程桌面的绘制。其中,颜色编码可以是YUV,YUV是被欧洲电视系统所采用的一种颜色编码方法。在现代彩色电视系统中,通常采用三管彩色摄影机或彩色电荷耦合元件(Charge-coupled Device,CCD)摄影机进行取像,然后把取得的彩色图像信号经分色分别放大校正后得到RGB,再经过矩阵变换电路得到亮度信号Y和两个色差信号B-Y(即U)和R-Y(即V),最后发送端将亮度和色差三个信号分别进行编码,用同一信道发送出去。这种色彩的表示方法就是所谓的YUV色彩空间表示。采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。
远程图片是指用户通过服务器同步过来的其他用户分享的桌面或者视频画面数据,为了减少网络传输带宽,传输得到的画面一般是YUV420格式,不能直接绘制,而需要做一次YUV到RGB的映射,具体映射公式如下:
请参阅图11,图11为本发明实施例中远程桌面绘制的一个实施例示意图,如图所示,为了提供效率,YUV到RGB的映射计算可直接在绘制VR显示屏幕阶段之中去做,具体将原始YUV数据流分解为Y、U和V数据流并分解为三张单通道贴图映射至用户电脑显存之中,并在像素着色器中进行颜色还原。
其次,本发明实施例中,介绍了一种远程桌面绘制的方法,直播分享装置可以将原始YUV数据流分解为Y、U和V数据流,并分解为三个单通道贴图映射至用户终端的显存之中,从而在像素着色器中进行颜色还原。通过上述方式,能够直接在绘制VR显示屏幕的阶段进行色彩还原,从而提升了色彩还原的效率,以此增强方案的实用性。
可选地,在上述图3对应的第七个实施例的基础上,本发明实施例提供的直播分享的方法第八个可选实施例中,第一直播分享装置展示第二VR直播数据,可以包括:
第一直播分享装置将第二VR直播数据更新至目标贴图,其中,第二VR直播数据包含多帧VR图像,目标贴图中包含多个数据层,多个数据层为降采样后生成的,每个数据层用于更新每帧VR图像。
本实施例中,将介绍如何在高分辨率的条件下减少屏幕闪烁。请参阅图12,图12为现有方案中高分辨率高帧率画面造成屏幕闪烁的示意图,如图所示,由于目前VR设备的分辨率普遍在1080逐行扫描(Progressive scanning,P)左右,并且VR摄像机有着极高的广角,而用户的原生视频帧数据已经是1080P或者720P的画面,这不可避免地造成数据进度丢失的问题,另一方面,用户分享的数据多半是桌面画面,这部分数据是高频率的数据,例如网页,打开的文稿等等,最终导致的是VR显示屏幕会随着其在用户VR视角中位置的变化而变化,导致严重的闪烁,造成不良好的体验。
为了解决闪烁的问题,可以使用贴图Mipmap技术,同样可以解决游戏中贴图分辨率远高于最终呈现于屏幕的分辨率。计算机图形渲染管线允许用户为贴图存放额外贴图的低分辨率部分。显卡会在做贴图采样的过程中根据具体像素贴图分辨率与实际映射屏幕区域分辨率的比例,在采取最符合的贴图Mipmap层并插值得最终结果。与贴图不同的的是,帧数据所解压得到的画面是动态的,不能像静态贴图预生成Mipmap贴图,为此必须实时计算帧画面的低分辨率贴图。
其中,Mipmap是一种电脑图形图像技术,用于在三维图像的二维代替物中达到立体感效应。
本方案可以为VR显示屏幕都建立一个目标贴图,并在显存空间中额外申请计算该目标贴图Mipmap所需的空间,每一层的分辨率为上一层分辨率的一半。具体地,请参阅图13,图13为本发明实施例中分帧更新直播画面的一个实施例示意图,如图所示,首先,将第一层分辨率初始化为2048×2048,按照宽度Wi=1/2Wi,高度Hi=1/2Hi进行贴图Mipmap层初始化。在实际项目中,我们采用分帧的方式更新视频流帧数据的Mipmap部分。
然后将第一帧VR图像的原始数据降采样为原始贴图一半的数据,再更新贴图第一层数据层,即Mipmap层,将得到的第一层Mipmap层以同样方式降采样更新至第二层Mipmap层。下一帧我们继续更新贴图的第一层Mipmap层,并将上一帧第二层Mipmap层同样降采样更新第三层Mipmap层。
类似地,继续更新贴图第一层Mipmap层,并将上一帧第三层Mipmap层同样降采样更新第四层Mipmap层,并且将更新完的第四层Mipmap层按同样方式更新第五层Mipmap层。至此,我们已经获得所需足够贴图Mipmap层数,无需更多的Mipmap层,于是可以按照第一帧VR图像的逻辑逐步更新。
再次,本发明实施例中,直播分享装置将VR直播数据更新至目标贴图,第二VR直播数据包含多帧VR图像,且目标贴图中包含多个数据层,多个数据层为降采样后生成的,每个数据层用于更新每帧VR图像。通过上述方式,可以减少数据进度的丢失,且减少VR显示屏幕在显示VR直播数据时发生闪烁,从而提升应用体验。
为了便于理解,下面将以一个具体的应用场景说明选择本地模式的流程,请参阅图14,图14为本发明应用场景中本地模式的一个流程示意图,具体地:
步骤A1中,主播方可以申请“Local”模式的控制,即主播方向场景中的VR显示屏幕申请以“Local”模式进行控制,并等待VR显示屏幕返回申请结果;
步骤A2中,VR显示屏幕根据“Local”模式的申请,返回申请结果;
步骤A3中,VR显示屏幕可以截取当前桌面,即本地VR显示屏幕实时截取玩家控制电脑桌面画面;
步骤A4中,VR显示屏幕返回截取桌面画面,本地VR显示屏幕以二维图像数据BGRA排列数组的形式存放当前帧画面;
步骤A5中,VR显示屏幕绘制本地画面,即本地的VR显示屏幕将帧画面数据递交显存,以贴图形式在VR显示屏幕中显示;
步骤A6中,VR显示屏幕压缩远程帧数据,即本地VR显示屏幕将二维图像数据BGRA排列数组转码成颜色编码YUV420帧数据,并进一步用音视频组件进行实时压缩,将压缩数据结果提交给服务器;
步骤A7中,VR显示屏幕将帧数据上传至服务器,即本地的VR显示屏幕将压缩完的帧数据上传至服务器;
步骤A8中,VR显示屏幕可以获取用户在VR场景中输入,即本地VR显示屏幕计算VR场景中控制器的射线与场景中VR显示屏幕矩形区域求交点的结果,并捕捉用户控制器按键;
步骤A9中,主播方通VR显示屏幕向主播方桌面触发映射鼠标键盘的操作,即根据控制器发出的射线与VR显示屏幕矩形区域求交点的结果,映射至鼠标操作结果;
步骤A10中,主播方桌面可以执行用户对该桌面的操作,也就是将映射的鼠标和键盘操作信息以Windows API输入,而主播方桌面也可以实时接收操作。
根据上述内容可知,用户可以通过VR显示屏幕选择“Remote”模式的方式分享远程直播内容,直播的画面并非是自己电脑的桌面,而是其它的直播者实时推送至服务器的内容,这种方式的主播更像是电视机遥控器的控制者。下面将以一个具体的应用场景说明选择远程模式的流程,请参阅图15,图15为本发明应用场景中远程模式的一个流程示意图,具体地:
步骤B1中,主播方可以申请“Remote”模式的控制,即主播方向场景中的VR显示屏幕申请以“Remote”模式进行控制,并等待VR显示屏幕返回申请结果;
步骤B2中,VR显示屏幕根据“Remote”模式的申请,返回申请结果;
步骤B3中,VR显示屏幕拉取视频源列表,即本地的VR显示屏幕向服务器获取当前频道资源,并以用户界面(User Interface,UI)的方式呈现在本地的VR显示屏幕上;
步骤B4中,服务器根据频道资源的申请,返回申请结果;
步骤B5中,在步骤B1至步骤B4进行的过程中,远程主播还可以登录远程主播客户端,远程主播客户端登陆至服务器;
步骤B6中,远程主播客户端在远程主播登录成功后,向服务器发送初始化频道的请求,该请求用于远程主播客户端向服务器申请分配直播频道,并等待返回;
步骤B7中,服务器根据初始化频道的申请,返回申请结果;
步骤B8中,主播方选择“Remote”模式下的频道,主播方继续以VR UI交互的方式选择场景视频源;
步骤B9中,VR显示屏幕从服务器中获取“Remote”模式下的帧画面,即本地的VR显示屏幕向服务器拉去频道对应的帧数据,对应的帧数据以YUV420格式的数组形式存放至本地;
步骤B10中,服务器根据VR显示屏幕的帧数据获取请求,向VR显示屏幕发送远程视频帧数据;
步骤B11中,VR显示屏幕解码并绘制帧画面,即本地的VR显示屏幕将YUV420解码成分别对应Y,U,V通道的三张贴图,并根据三张贴图恢复出原始视频画面绘制在VR显示屏幕上;
步骤B12中,远程主播客户端将压缩帧数据上传至服务器,即远程主播客户端将压缩的帧数据上传至服务器;
步骤B13中,服务器更新“Remote”模式下的视频数据,也就是服务器端根据用户上传的视频更新服务器端视频流缓存;
步骤B14中,远程主播客户端截取本地桌面画面,即远程主播客户端截取主播电脑桌面,并将所得图像数据BGRA排列的二维数组数据转码成YUV420数据流,进一步用业务音视频组件进行压缩;
步骤B15中,远程主播可以截取桌面,压缩并上传是在后台运行的,在此期间主播正常操作桌面。
上面已从第一直播分享装置的角度对本发明中直播分享的方法进行介绍,下面将以第二直播分享装置的角度对直播分享的方法进行介绍,该方法应用于直播分享系统,且该直播分享系统包括第一直播分享装置、服务器以及第二直播分享装置,请参阅图16,本发明实施例中直播分享的方法另一个实施例包括:
201、第二直播分享装置通过VR显示屏幕接收远程直播指令;
本实施例中,第二直播分享装置接收用户通过VR显示屏幕发送的远程直播指令,这个远程直播指令用于获取第一直播分享装置上传的第一直播数据。这里的远程直播指令也就是用于触发“Remote”模式的指令。
202、第二直播分享装置根据远程直播指令从服务器中获取第一直播数据,其中,第一直播数据为第一直播分享装置向服务器发送的直播数据;
本实施例中,第二直播分享装置根据该远程直播指令,从服务器中获取第一直播分享装置上传的第一直播数据。
随时互联网络技术的发展,直播的概念有了新的拓展和发展,现在更多的人关注网络直播,特别是视频直播生态链更受关注。通过网络信号,在线收看球赛、体育赛事、重大活动和新闻等,这样,让大众有了广阔且自由的选择空间。当然,直播技术随着移动互联技术的发展,还会有新的进步。这里的第一直播数据也就是这类直播的数据。
203、第二直播分享装置根据第一直播数据生成并展示第一VR直播数据。
本实施例中,第二直播分享装置将第一直播数据进行转换,并生成相应的第一VR直播数据,这里的第一直播数据是在PC或者手机等终端设备上能够直接展示的数据,而第一VR直播数据则是在VR场景下能够展示的数据,通常用户可以戴着VR眼镜或者VR头盔等进行第一VR直播数据的观看。
可以理解的是,第二直播分享装置同样也可以接收用户通过VR显示屏幕触发的本地直播指令,根据本地直播指令获取第二直播分享装置本地的第二直播数据,再将第二直播数据发送到服务器。后续,至少一个第一直播分享装置可以从服务器上下载该第二直播数据,然后第一直播分享装置将第二直播数据转换为第二VR直播数据,从而在对应的VR显示屏幕上展示该第二VR直播数据。
需要说明的是,第二直播分享装置与第一直播分享装置的结构和功能类似,关于第二直播分享装置所执行的步骤和方法可参考第一直播分享装置所执行的步骤和方法,此处不做赘述。
本发明实施例中,提供了一种直播分享的方法,该方法应用于直播分享系统,且直播分享系统包括第一直播分享装置、服务器以及第二直播分享装置,首先第二直播分享装置通过VR显示屏幕接收远程直播指令,然后根据远程直播指令从服务器中获取第一直播数据,最后第二直播分享装置根据第一直播数据生成并展示第一VR直播数据。通过上述方式,第二直播分享装置可以同步获取第一直播分享装置发送的第一直播数据,并予以展示,从而实现了多用户之间分享VR内容的目的,以此提升方案的互动性和实用性。
上面已从第一直播分享装置和第二直播分享装置的角度对本发明中直播分享的方法进行介绍,下面将以服务器的角度对直播分享的方法进行介绍,该方法应用于直播分享系统,且该直播分享系统包括第一直播分享装置、服务器以及第二直播分享装置,请参阅图17,本发明实施例中直播分享的方法另一个实施例包括:
301、服务器接收第一直播分享装置发送的第一直播数据,其中,第一直播数据为第一直播分享装置根据本地直播指令获取的第一直播分享装置本地的第一直播数据;
本实施例中,首先服务器接收第一直播分享装置发送的第一直播数据,该第一直播数据是用户通过第一直播分享装置的VR显示屏幕触发的,且触发该动作的指令为本地直播指令。
302、服务器接收第二直播分享装置发送的远程直播指令;
本实施例中,服务器在收到第一直播数据之后,可以接收至少一个第二直播分享装置发送的远程直播指令,这里的远程直播指令是用户通过第二直播分享装置的VR显示屏幕触发的。
303、服务器根据远程直播指令向第二直播分享装置发送第一直播数据,以使第二直播分享装置生成并展示第一VR直播数据。
本实施例中,服务器根据至少一个第二直播分享装置发送的远程直播指令,向至少一个第二直播分享装置发送第一直播数据。然后第二直播分享装置可以将第一直播数据转换为能够在VR环境下显示的第一VR直播数据,并且在第二直播分享装置中的VR显示屏幕上展示该第一VR直播数据。
本发明实施例中,提供了一种直播分享的方法,该方法应用于直播分享系统,且直播分享系统包括第一直播分享装置、服务器以及第二直播分享装置,首先服务器接收第一直播分享装置发送的第一直播数据,然后接收第二直播分享装置发送的远程直播指令,这个时候就可以根据远程直播指令向第二直播分享装置发送第一直播数据,以使第二直播分享装置生成并展示第一VR直播数据。通过上述方式,服务器可以同步第一直播数据,使得第二直播分享装置能够在VR场景下同步观看第一直播分享装置分享的直播内容,以此提升方案的可行性和实用性。
可选地,在上述图17对应的实施例的基础上,本发明实施例提供的直播分享的方法第一个可选实施例中,第一直播数据包括音视频数据流以及状态数据;
服务器接收第一直播分享装置发送的第一直播数据,包括:
服务器接收第一直播分享装置发送的音视频数据流;
服务器对音视频数据流进行实时压缩,并生成压缩数据流,其中,音视频数据为第二直播数据中的视频和音频数据;
服务器接收第一直播分享装置发送的状态数据,其中,状态数据用于同步第二直播分享装置和第一直播分享装置的播放。
本实施例中,服务器实际上可以是至少一台服务器,即包含一台主服务器以及其他辅助功能的服务器,当然,也可以将所有的功能集成在同一台服务器上,下面将结合图和文字说明服务器处理第一直播数据的方式。
用户可以在VR场景中进行桌面操作并分享自己的桌面,服务器会同步给VR场景内的其他用户,根据用户的选择不同,每一个房间中的用户既可以将自己的VR显示屏幕分享给别人,也可以观看房间内其它用户的VR显示屏幕分享的桌面。通过腾讯云QAV直播组件可以同步帧数据画面,本地主播桌面画面截取可以通过DWM Hook技术或者Windows DesktopDuplication API接口来实现。
请参阅图18,图18为本发明实施例中直播分享系统部署的一个实施例示意图,如图所示,可以部署两台服务器,一台主服务器做逻辑数据同步和处理,另一台服务器做音视频数据流转发。用户和VR显示屏幕之间的状态数据同步主要是靠主服务器负责,而用于音频视频转发的服务器负责将一位用户实时提供的画面实时同步到其它用户那里,而其他用户只需要有VR设备就可以参与直播互动。
请参阅图19,图19为本发明实施例中直播分享系统的观众顺序示意图,服务器可以向至少一个VR显示屏幕推送同步的帧数据流,对应的帧数据采用YUV420格式并以数组的形式存放至本地,VR显示屏幕将YUV420解码成分别对应Y、U和V通道的三张贴图,并根据三张贴图恢复出原始视频画面绘制在至少一个VR显示屏幕上。
其次,本发明实施例中,第一直播分享装置可以向服务器发音视频数据流和状态数据,服务器将这两者数据进行合成,并在第一直播分享装置和第二直播分享装置两侧实现数据的同步。通过上述方式,服务器可以同时进行逻辑数据的同步和处理以及做音视频数据流转发,从而将一位用户实时提供的画面也实时同步到其他用户处,以此实现音画同步的直播互动,提升了方案的可行性和体验感。
可选地,在上述图17对应的实施例的基础上,本发明实施例提供的直播分享的方法第二个可选实施例中,还可以包括:
服务器接收第二直播分享装置发送的第二直播数据,其中,第二直播数据为第二直播分享装置根据本地直播指令获取的第二直播分享装置本地的第二直播数据;
服务器接收第一直播分享装置发送的远程直播指令;
服务器根据远程直播指令向第一直播分享装置发送第二直播数据,以使第一直播分享装置生成并展示第二VR直播数据。
本实施例中,首先服务器接收第二直播分享装置发送的第二直播数据,该第二直播数据是用户通过第二直播分享装置的VR显示屏幕触发的,且触发该动作的指令为本地直播指令。服务器在收到第二直播数据之后,可以接收至少一个第一直播分享装置发送的远程直播指令,这里的远程直播指令是用户通过第二直播分享装置的VR显示屏幕触发的。服务器根据至少一个第一直播分享装置发送的远程直播指令,向至少一个第一直播分享装置发送第二直播数据。然后第一直播分享装置可以将第二直播数据转换为能够在VR环境下显示的第二VR直播数据,并且在第一直播分享装置中的VR显示屏幕上展示该第二VR直播数据。
其次,本发明实施例中,提供了一种直播分享的方法,该方法应用于直播分享系统,且直播分享系统包括第一直播分享装置、服务器以及第二直播分享装置,首先服务器接收第二直播分享装置发送的第二直播数据,然后接收第一直播分享装置发送的远程直播指令,这个时候就可以根据远程直播指令向第一直播分享装置发送第二直播数据,以使第一直播分享装置生成并展示第二VR直播数据。通过上述方式,服务器可以同步第二直播数据,使得第一直播分享装置能够在VR场景下同步观看第二直播分享装置分享的直播内容,以此提升方案的可行性和实用性。
可选地,在上述图17对应的第二个实施例的基础上,本发明实施例提供的直播分享的方法第三个可选实施例中,第二直播数据包括音视频数据流以及状态数据;
服务器接收第二直播分享装置发送的第二直播数据,可以包括:
服务器接收第二直播分享装置发送的音视频数据流;
服务器对音视频数据流进行实时压缩,并生成压缩数据流,其中,音视频数据为第一直播数据中的视频和音频数据;
服务器接收第二直播分享装置发送的状态数据,其中,状态数据用于同步第一直播分享装置和第二直播分享装置的播放。
本实施例中,用户可以在VR场景中进行桌面操作并分享自己的桌面,服务器会同步给VR场景内的其他用户,根据用户的选择不同,每一个房间中的用户既可以将自己的VR显示屏幕分享给别人,也可以观看房间内其它用户的VR显示屏幕分享的桌面。通过腾讯云QAV直播组件可以同步帧数据画面,本地主播桌面画面截取可以通过DWM Hook技术或者Windows Desktop Duplication API接口来实现。
服务器对第二直播数据的处理方式,与图17对应的第一个可选实施例中服务器对第一直播数据的处理方式相似,此处不做赘述。
再次,本发明实施例中,本发明实施例中,第二直播分享装置可以向服务器发音视频数据流和状态数据,服务器将这两者数据进行合成,并在第一直播分享装置和第二直播分享装置两侧实现数据的同步。通过上述方式,服务器可以同时进行逻辑数据的同步和处理以及做音视频数据流转发,从而将一位用户实时提供的画面也实时同步到其他用户处,以此实现音画同步的直播互动,提升了方案的可行性和体验感。
下面对本发明中的直播分享装置进行详细描述,请参阅图20,本发明实施例中的直播分享装置应用于直播分享系统,所述直播分享系统还包括服务器以及第二直播分享装置,所述直播分享装置30包括:
接收模块301,用于通过虚拟现实VR显示屏幕接收本地直播指令,其中,所述VR显示屏幕用于接收直播发起方的操作指令;
获取模块302,用于根据所述接收模块301接收的所述本地直播指令获取所述第一直播分享装置本地的第一直播数据;
发送模块303,用于将所述获取模块302获取的所述第一直播数据发送至所述服务器,以使所述服务器向所述第二直播分享装置发送所述第一直播数据,所述第一直播数据用于所述第二直播分享装置生成并展示第一VR直播数据。
本实施例中,接收模块301通过虚拟现实VR显示屏幕接收本地直播指令,其中,所述VR显示屏幕用于接收直播发起方的操作指令,获取模块302根据所述接收模块301接收的所述本地直播指令获取所述第一直播分享装置本地的第一直播数据,发送模块303将所述获取模块302获取的所述第一直播数据发送至所述服务器,以使所述服务器向所述第二直播分享装置发送所述第一直播数据,所述第一直播数据用于所述第二直播分享装置生成并展示第一VR直播数据。
本发明实施例中,提供了一种直播分享的方法,该方法应用于直播分享系统,且直播分享系统包括第一直播分享装置、服务器以及第二直播分享装置,首先第一直播分享装置通过VR显示屏幕接收本地直播指令,然后根据本地直播指令获取第一直播数据,最后将第一直播数据发送至服务器,以使服务器向第二直播分享装置发送第一直播数据,第二直播分享装置展示第一VR直播数据。通过上述方式,第二直播分享装置可以同步获取第一直播分享装置发送的第一直播数据,并予以展示,从而实现了多用户之间分享VR内容的目的,以此提升方案的互动性和实用性。
可选地,在上述图20所对应的实施例的基础上,本发明实施例提供的直播分享装置30的另一实施例中,
所述获取模块302,具体用于通过多媒体编程接口获取桌面纹理,其中,所述桌面纹理为通过桌面窗口管理器DWM截取的;
根据所述桌面纹理生成所述第一直播分享装置本地的第一直播数据,其中,所述第一直播数据为位图数据。
其次,本发明实施例中,由于Windows 7的操作系统中获取桌面位图数据的API效率很低,因此不适用于需要较多帧数的VR显示屏幕,所以本发明提出了可以在Windows 7下桌面截取屏幕使用全屏截取技术。通过上述方式,能够在Windows 7的操作系统下以较高的效率获得每帧完整的位图数据,也就是直播数据,并将直播数据上传给服务器,以此同步给其他的VR显示屏幕。
可选地,在上述图20所对应的实施例的基础上,本发明实施例提供的直播分享装置30的另一实施例中,
所述获取模块302,具体用于通过多媒体编程接口获取桌面纹理,其中,所述桌面纹理为通过桌面复制应用程序编程接口API截取的;
根据所述桌面纹理生成所述第一直播分享装置本地的第一直播数据,其中,所述第一直播数据为位图数据。
其次,本发明实施例中,在Windows 8或者Windows 10的操作系统中已经引入了高效的桌面复制接口,因此可以通过该接口获取桌面纹理,然后直接根据桌面纹理生成第一直播分享装置本地的第一直播数据。通过上述方式,能够在Windows 8或者Windows 10的操作系统下以较高的效率获得每帧完整的位图数据,也就是直播数据,并将直播数据上传给服务器,以此同步给其他的VR显示屏幕,从而提升方案的实用性和可行性。
可选地,在上述图20所对应的实施例的基础上,请参阅图21,本发明实施例提供的直播分享装置30的另一实施例中,所述直播分享装置30还包括生成模块304以及展示模块305;
所述生成模块304,用于所述获取模块302根据所述本地直播指令获取所述第一直播分享装置本地的第一直播数据之后,将所述第一直播数据映射为图形处理器GPU中的贴图,以生成所述第一VR直播数据;
所述展示模块305,用于展示所述生成模块304生成的所述第一VR直播数据。
再次,本发明实施例中,直播分享装置将直播数据映射为GPU中的贴图,以生成VR直播数据,然后展示VR直播数据。通过上述方式,能够完成本地桌面的绘制,从而为VR直播数据在VR显示屏幕上展示提供一种可行的方式,从而提升方案的可操作性。
可选地,在上述图20或图21所对应的实施例的基础上,本发明实施例提供的直播分享装置30的另一实施例中,所述第一直播数据包括音视频数据流以及状态数据;
所述发送模块303,具体用于向所述服务器发送所述音视频数据流,以使所述服务器对所述音视频数据流进行实时压缩,并生成压缩数据流,其中,所述音视频数据为所述第一直播数据中的视频和音频数据;
向所述服务器发送所述状态数据,以使所述服务器根据所述状态数据和所述压缩数据流同步所述第一直播分享装置和所述第二直播分享装置的播放。
进一步地,本发明实施例中,第一直播分享装置可以向服务器发音视频数据流和状态数据,服务器将这两者数据进行合成,并在第一直播分享装置和第二直播分享装置两侧实现数据的同步。通过上述方式,服务器可以同时进行逻辑数据的同步和处理以及做音视频数据流转发,从而将一位用户实时提供的画面也实时同步到其他用户处,以此实现音画同步的直播互动,提升了方案的可行性和体验感。
可选地,在上述图20或图21所对应的实施例的基础上,本发明实施例提供的直播分享装置30的另一实施例中,
所述获取模块302,还用于所述发送模块303将所述第一直播数据发送至所述服务器之后,通过所述VR显示屏幕获取屏幕比例值以及实时操作信息,其中,所述屏幕比例值用于表示空间坐标值与参考坐标值之间的比例,所述实时操作信息用于表示用户对控制器的操作;
所述生成模块304,还用于根据所述屏幕比例值与所述实时操作信息生成直播交互指令。
更进一步地,本发明实施例中,本地直播的用户还可以通过外部控制器与VR显示屏幕之间的交互生成直播交互指令,该直播交互指令即映射为鼠标事件。通过上述方式,用户能够直接在VR场景下生成直播交互指令,无需在终端桌面上进行操作,从而实现全浸式的VR体验。
可选地,在上述图20所对应的实施例的基础上,本发明实施例提供的直播分享装置30的另一实施例中,
所述接收模块301,还用于通过所述VR显示屏幕接收远程直播指令;
所述获取模块302,还用于根据所述接收模块301接收所述远程直播指令从所述服务器中获取第二直播数据,其中,所述第二直播数据为所述第二直播分享装置向所述服务器发送的直播数据;
所述生成模块304,还用于根据所述获取模块302获取的所述第二直播数据生成并展示第二VR直播数据。
其次,本发明实施例中,在VR场景下可以存在多个VR显示屏幕,且每个VR显示屏幕能够自由地在本地模式和远程模式之间进行切换。通过上述方式,可以使得社交在VR场景中显得更加地丰富多彩,从而提升方案的多样性和趣味性。
可选地,在上述图20所对应的实施例的基础上,本发明实施例提供的直播分享装置30的另一实施例中,
所述生成模块304,具体用于根据颜色编码与色彩模式之间的对应关系,将所述第二直播数据转换为所述第二VR直播数据;
展示所述第二VR直播数据。
其次,本发明实施例中,介绍了一种远程桌面绘制的方法,直播分享装置可以将原始YUV数据流分解为Y、U和V数据流,并分解为三个单通道贴图映射至用户终端的显存之中,从而在像素着色器中进行颜色还原。通过上述方式,能够直接在绘制VR显示屏幕的阶段进行色彩还原,从而提升了色彩还原的效率,以此增强方案的实用性。
可选地,在上述图20所对应的实施例的基础上,本发明实施例提供的直播分享装置30的另一实施例中,
所述生成模块304,具体用于将所述第二VR直播数据更新至目标贴图,其中,所述第二VR直播数据包含多帧VR图像,所述目标贴图中包含多个数据层,所述多个数据层为降采样后生成的,每个数据层用于更新每帧VR图像。
再次,本发明实施例中,直播分享装置将VR直播数据更新至目标贴图,第二VR直播数据包含多帧VR图像,且目标贴图中包含多个数据层,多个数据层为降采样后生成的,每个数据层用于更新每帧VR图像。通过上述方式,可以减少数据进度的丢失,且减少VR显示屏幕在显示VR直播数据时发生闪烁,从而提升应用体验。
下面对本发明中的直播分享装置进行详细描述,请参阅图22,本发明实施例中的直播分享装置应用于直播分享系统,所述直播分享系统还包括服务器以及第一直播分享装置,所述直播分享装置40包括:
接收模块401,用于通过所述VR显示屏幕接收远程直播指令;
获取模块402,用于根据所述接收模块401接收的所述远程直播指令从所述服务器中获取第一直播数据,其中,所述第一直播数据为所述第一直播分享装置向所述服务器发送的直播数据;
展示模块403,用于根据所述获取模块402获取的所述第一直播数据生成并展示第一VR直播数据。
本实施例中,接收模块401通过所述VR显示屏幕接收远程直播指令,获取模块402根据所述接收模块401接收的所述远程直播指令从所述服务器中获取第一直播数据,其中,所述第一直播数据为所述第一直播分享装置向所述服务器发送的直播数据,展示模块403根据所述获取模块402获取的所述第一直播数据生成并展示第一VR直播数据。
本发明实施例中,提供了一种直播分享的方法,该方法应用于直播分享系统,且直播分享系统包括第一直播分享装置、服务器以及第二直播分享装置,首先第一直播分享装置通过VR显示屏幕接收本地直播指令,然后根据本地直播指令获取第一直播数据,最后将第一直播数据发送至服务器,以使服务器向第二直播分享装置发送第一直播数据,第二直播分享装置展示第一VR直播数据。通过上述方式,第二直播分享装置可以同步获取第一直播分享装置发送的第一直播数据,并予以展示,从而实现了多用户之间分享VR内容的目的,以此提升方案的互动性和实用性。
可选地,在上述图22所对应的实施例的基础上,本发明实施例提供的直播分享装置40的另一实施例中,
所述展示模块403,具体用于根据颜色编码与色彩模式之间的对应关系,将所述第一直播数据转换为所述第一VR直播数据;
展示所述第一VR直播数据。
其次,本发明实施例中,介绍了一种远程桌面绘制的方法,直播分享装置可以将原始YUV数据流分解为Y、U和V数据流,并分解为三个单通道贴图映射至用户终端的显存之中,从而在像素着色器中进行颜色还原。通过上述方式,能够直接在绘制VR显示屏幕的阶段进行色彩还原,从而提升了色彩还原的效率,以此增强方案的实用性。
可选地,在上述图22所对应的实施例的基础上,本发明实施例提供的直播分享装置40的另一实施例中,
所述展示模块403,具体用于将所述第一VR直播数据更新至目标贴图,其中,所述第一VR直播数据包含多帧VR图像,所述目标贴图中包含多个数据层,所述多个数据层为降采样后生成的,每个数据层用于更新每帧VR图像。
再次,本发明实施例中,直播分享装置将VR直播数据更新至目标贴图,第一VR直播数据包含多帧VR图像,且目标贴图中包含多个数据层,多个数据层为降采样后生成的,每个数据层用于更新每帧VR图像。通过上述方式,可以减少数据进度的丢失,且减少VR显示屏幕在显示VR直播数据时发生闪烁,从而提升应用体验。
可选地,在上述图22所对应的实施例的基础上,请参阅图23,本发明实施例提供的直播分享装置40的另一实施例中,所述直播分享装置40还包括发送模块404;
所述接收模块401,还用于通过虚拟现实VR显示屏幕接收本地直播指令,其中,所述VR显示屏幕用于接收直播发起方的操作指令;
所述获取模块402,还用于根据所述接收模块401接收的所述本地直播指令获取所述第直播分享装置本地的第二直播数据;
所述发送模块404,用于将所述获取模块402获取的所述第二直播数据发送至所述服务器,以使所述服务器向所述第一直播分享装置发送所述第二直播数据,所述第二直播数据用于所述第一直播分享装置生成并展示第二VR直播数据。
其次,本发明实施例中,在VR场景下可以存在多个VR显示屏幕,且每个VR显示屏幕能够自由地在本地模式和远程模式之间进行切换。通过上述方式,可以使得社交在VR场景中显得更加地丰富多彩,从而提升方案的多样性和趣味性。
可选地,在上述图23所对应的实施例的基础上,本发明实施例提供的直播分享装置40的另一实施例中,
所述获取模块402,具体用于通过多媒体编程接口获取桌面纹理,其中,所述桌面纹理为通过桌面窗口管理器DWM截取的;
根据所述桌面纹理生成所述第二直播分享装置本地的第二直播数据,其中,所述第二直播数据为位图数据。
其次,本发明实施例中,由于Windows 7的操作系统中获取桌面位图数据的API效率很低,因此不适用于需要较多帧数的VR显示屏幕,所以本发明提出了可以在Windows 7下桌面截取屏幕使用全屏截取技术。通过上述方式,能够在Windows 7的操作系统下以较高的效率获得每帧完整的位图数据,也就是直播数据,并将直播数据上传给服务器,以此同步给其他的VR显示屏幕。
可选地,在上述图23所对应的实施例的基础上,本发明实施例提供的直播分享装置40的另一实施例中,
所述获取模块402,具体用于通过多媒体编程接口获取桌面纹理,其中,所述桌面纹理为通过桌面复制应用程序编程接口API截取的;
根据所述桌面纹理生成所述第二直播分享装置本地的第二直播数据,其中,所述第二直播数据为位图数据。
其次,本发明实施例中,在Windows 8或者Windows 10的操作系统中已经引入了高效的桌面复制接口,因此可以通过该接口获取桌面纹理,然后直接根据桌面纹理生成第二直播分享装置本地的第二直播数据。通过上述方式,能够在Windows 8或者Windows 10的操作系统下以较高的效率获得每帧完整的位图数据,也就是直播数据,并将直播数据上传给服务器,以此同步给其他的VR显示屏幕,从而提升方案的实用性和可行性。
可选地,在上述图23所对应的实施例的基础上,请参阅图24,本发明实施例提供的直播分享装置40的另一实施例中,所述直播分享装置40还包括生成模块405;
所述生成模块405,用于所述获取模块402根据所述本地直播指令获取所述第直播分享装置本地的第二直播数据之后,将所述第二直播数据映射为图形处理器GPU中的贴图,以生成所述第二VR直播数据;
所述获取模块402,还用于展示所述生成模块405生成的所述第二VR直播数据。
再次,本发明实施例中,直播分享装置将直播数据映射为GPU中的贴图,以生成VR直播数据,然后展示VR直播数据。通过上述方式,能够完成本地桌面的绘制,从而为VR直播数据在VR显示屏幕上展示提供一种可行的方式,从而提升方案的可操作性。
可选地,在上述图23或图24所对应的实施例的基础上,本发明实施例提供的直播分享装置40的另一实施例中,所述第二直播数据包括音视频数据流以及状态数据;
所述发送模块404,具体用于向所述服务器发送所述音视频数据流,以使所述服务器对所述音视频数据流进行实时压缩,并生成压缩数据流,其中,所述音视频数据为所述第二直播数据中的视频和音频数据;
向所述服务器发送所述状态数据,以使所述服务器根据所述状态数据和所述压缩数据流同步所述第二直播分享装置和所述第一直播分享装置的播放。
进一步地,本发明实施例中,第二直播分享装置可以向服务器发音视频数据流和状态数据,服务器将这两者数据进行合成,并在第一直播分享装置和第二直播分享装置两侧实现数据的同步。通过上述方式,服务器可以同时进行逻辑数据的同步和处理以及做音视频数据流转发,从而将一位用户实时提供的画面也实时同步到其他用户处,以此实现音画同步的直播互动,提升了方案的可行性和体验感。
可选地,在上述图23或图24所对应的实施例的基础上,本发明实施例提供的直播分享装置40的另一实施例中,
所述获取模块402,还用于所述发送模块404将所述第二直播数据发送至所述服务器之后,通过所述VR显示屏幕获取屏幕比例值以及实时操作信息,其中,所述屏幕比例值用于表示空间坐标值与参考坐标值之间的比例,所述实时操作信息用于表示用户对控制器的操作;
所述生成模块405,还用于根据所述获取模块402获取的所述屏幕比例值与所述实时操作信息生成直播交互指令。
更进一步地,本发明实施例中,本地直播的用户还可以通过外部控制器与VR显示屏幕之间的交互生成直播交互指令,该直播交互指令即映射为鼠标事件。通过上述方式,用户能够直接在VR场景下生成直播交互指令,无需在终端桌面上进行操作,从而实现全浸式的VR体验。
下面对本发明中的服务器进行详细描述,请参阅图25,本发明实施例中的服务器应用于直播分享系统,所述直播分享系统还包括第一直播分享装置以及第二直播分享装置,所述服务器50包括:
接收模块501,用于接收所述第一直播分享装置发送的第一直播数据,其中,所述第一直播数据为所述第一直播分享装置根据本地直播指令获取的所述第一直播分享装置本地的第一直播数据;
所述接收模块501,用于接收所述第二直播分享装置发送的远程直播指令;
发送模块502,用于根据所述接收模块501接收的所述远程直播指令向所述第二直播分享装置发送所述接收模块接收的所述第一直播数据,以使所述第二直播分享装置生成并展示第一VR直播数据。
本实施例中,接收模块501接收所述第一直播分享装置发送的第一直播数据,其中,所述第一直播数据为所述第一直播分享装置根据本地直播指令获取的所述第一直播分享装置本地的第一直播数据,所述接收模块501接收所述第二直播分享装置发送的远程直播指令,发送模块502根据所述接收模块501接收的所述远程直播指令向所述第二直播分享装置发送所述接收模块接收的所述第一直播数据,以使所述第二直播分享装置生成并展示第一VR直播数据。
本发明实施例中,提供了一种直播分享的方法,该方法应用于直播分享系统,且直播分享系统包括第一直播分享装置、服务器以及第二直播分享装置,首先服务器接收第一直播分享装置发送的第一直播数据,然后接收第二直播分享装置发送的远程直播指令,这个时候就可以根据远程直播指令向第二直播分享装置发送第一直播数据,以使第二直播分享装置生成并展示第一VR直播数据。通过上述方式,服务器可以同步第一直播数据,使得第二直播分享装置能够在VR场景下同步观看第一直播分享装置分享的直播内容,以此提升方案的可行性和实用性。
可选地,在上述图25所对应的实施例的基础上,本发明实施例提供的服务器50的另一实施例中,所述第一直播数据包括音视频数据流以及状态数据;
接收模块501,具体用于接收所述第一直播分享装置发送的所述音视频数据流;
对所述音视频数据流进行实时压缩,并生成压缩数据流,其中,所述音视频数据为所述第二直播数据中的视频和音频数据;
接收所述第一直播分享装置发送的所述状态数据,其中,所述状态数据用于同步所述第二直播分享装置和所述第一直播分享装置的播放。
其次,本发明实施例中,第一直播分享装置可以向服务器发音视频数据流和状态数据,服务器将这两者数据进行合成,并在第一直播分享装置和第二直播分享装置两侧实现数据的同步。通过上述方式,服务器可以同时进行逻辑数据的同步和处理以及做音视频数据流转发,从而将一位用户实时提供的画面也实时同步到其他用户处,以此实现音画同步的直播互动,提升了方案的可行性和体验感。
可选地,在上述图25所对应的实施例的基础上,本发明实施例提供的服务器50的另一实施例中,
所述接收模块501,还用于接收所述第二直播分享装置发送的第二直播数据,其中,所述第二直播数据为所述第二直播分享装置根据本地直播指令获取的所述第二直播分享装置本地的第二直播数据;
所述接收模块501,还用于接收所述第一直播分享装置发送的远程直播指令;
所述发送模块502,还用于根据所述远程直播指令向所述第一直播分享装置发送所述第二直播数据,以使所述第一直播分享装置生成并展示第二VR直播数据。
其次,本发明实施例中,提供了一种直播分享的方法,该方法应用于直播分享系统,且直播分享系统包括第一直播分享装置、服务器以及第二直播分享装置,首先服务器接收第二直播分享装置发送的第二直播数据,然后接收第一直播分享装置发送的远程直播指令,这个时候就可以根据远程直播指令向第一直播分享装置发送第二直播数据,以使第一直播分享装置生成并展示第二VR直播数据。通过上述方式,服务器可以同步第二直播数据,使得第一直播分享装置能够在VR场景下同步观看第二直播分享装置分享的直播内容,以此提升方案的可行性和实用性。
可选地,在上述图25所对应的实施例的基础上,本发明实施例提供的服务器50的另一实施例中,所述第二直播数据包括音视频数据流以及状态数据;
所述接收模块501,具体用于接收所述第二直播分享装置发送的所述音视频数据流;
对所述音视频数据流进行实时压缩,并生成压缩数据流,其中,所述音视频数据为所述第一直播数据中的视频和音频数据;
接收所述第二直播分享装置发送的所述状态数据,其中,所述状态数据用于同步所述第一直播分享装置和所述第二直播分享装置的播放。
再次,本发明实施例中,本发明实施例中,第二直播分享装置可以向服务器发音视频数据流和状态数据,服务器将这两者数据进行合成,并在第一直播分享装置和第二直播分享装置两侧实现数据的同步。通过上述方式,服务器可以同时进行逻辑数据的同步和处理以及做音视频数据流转发,从而将一位用户实时提供的画面也实时同步到其他用户处,以此实现音画同步的直播互动,提升了方案的可行性和体验感。
本发明实施例还提供了另一种直播分享装置,如图26所示,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该直播分享装置可以为包括手机、平板电脑、个人数字助理(personal digital assistant,PDA)、销售终端(point of sales,POS)、车载电脑等任意终端设备,以终端为手机为例:
图26示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图26,手机包括:射频(radio frequency,RF)电路610、存储器620、输入单元630、显示单元640、传感器650、音频电路660、无线保真(wireless fidelity,WiFi)模块670、处理器680、以及电源690等部件。本领域技术人员可以理解,图26中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图26对手机的各个构成部件进行具体的介绍:
RF电路610可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器680处理;另外,将设计上行的数据发送给基站。通常,RF电路610包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noiseamplifier,LNA)、双工器等。此外,RF电路610还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication,GSM)、通用分组无线服务(General Packet RadioService,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
存储器620可用于存储软件程序以及模块,处理器680通过运行存储在存储器620的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器620可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器620可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元630可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元630可包括触控面板631以及其他输入设备632。触控面板631,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板631上或在触控面板631附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板631可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器680,并能接收处理器680发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板631。除了触控面板631,输入单元630还可以包括其他输入设备632。具体地,其他输入设备632可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元640可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元640可包括显示面板641,可选的,可以采用液晶显示器(Liquid CrystalDisplay,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板641。进一步的,触控面板631可覆盖显示面板641,当触控面板631检测到在其上或附近的触摸操作后,传送给处理器680以确定触摸事件的类型,随后处理器680根据触摸事件的类型在显示面板641上提供相应的视觉输出。虽然在图26中,触控面板631与显示面板641是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板631与显示面板641集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器650,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板641的亮度,接近传感器可在手机移动到耳边时,关闭显示面板641和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路660、扬声器661,传声器662可提供用户与手机之间的音频接口。音频电路660可将接收到的音频数据转换后的电信号,传输到扬声器661,由扬声器661转换为声音信号输出;另一方面,传声器662将收集的声音信号转换为电信号,由音频电路660接收后转换为音频数据,再将音频数据输出处理器680处理后,经RF电路610以发送给比如另一手机,或者将音频数据输出至存储器620以便进一步处理。
WiFi属于短距离无线传输技术,手机通过WiFi模块670可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图26示出了WiFi模块670,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器680是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器620内的软件程序和/或模块,以及调用存储在存储器620内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器680可包括一个或多个处理单元;可选的,处理器680可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器680中。
手机还包括给各个部件供电的电源690(比如电池),可选的,电源可以通过电源管理系统与处理器680逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本发明实施例中,该终端所包括的处理器680还具有以下功能:
通过虚拟现实VR显示屏幕接收本地直播指令,其中,所述VR显示屏幕用于接收直播发起方的操作指令;
根据所述本地直播指令获取所述第一直播分享装置本地的第一直播数据;
将所述第一直播数据发送至所述服务器,以使所述服务器向所述第二直播分享装置发送所述第一直播数据,所述第一直播数据用于所述第二直播分享装置生成并展示第一VR直播数据。
可选地,处理器680具体用于执行如下步骤:
通过多媒体编程接口获取桌面纹理,其中,所述桌面纹理为通过桌面窗口管理器DWM截取的;
根据所述桌面纹理生成所述第一直播分享装置本地的第一直播数据,其中,所述第一直播数据为位图数据。
可选地,处理器680具体用于执行如下步骤:
通过多媒体编程接口获取桌面纹理,其中,所述桌面纹理为通过桌面复制应用程序编程接口API截取的;
根据所述桌面纹理生成所述第一直播分享装置本地的第一直播数据,其中,所述第一直播数据为位图数据。
可选地,处理器680还用于执行如下步骤:
将所述第一直播数据映射为图形处理器GPU中的贴图,以生成所述第一VR直播数据;
展示所述第一VR直播数据。
可选地,处理器680具体用于执行如下步骤:
向所述服务器发送所述音视频数据流,以使所述服务器对所述音视频数据流进行实时压缩,并生成压缩数据流,其中,所述音视频数据为所述第一直播数据中的视频和音频数据;
向所述服务器发送所述状态数据,以使所述服务器根据所述状态数据和所述压缩数据流同步所述第一直播分享装置和所述第二直播分享装置的播放。
可选地,处理器680还用于执行如下步骤:
通过所述VR显示屏幕获取屏幕比例值以及实时操作信息,其中,所述屏幕比例值用于表示空间坐标值与参考坐标值之间的比例,所述实时操作信息用于表示用户对控制器的操作;
根据所述屏幕比例值与所述实时操作信息生成直播交互指令。
可选地,处理器680还用于执行如下步骤:
通过所述VR显示屏幕接收远程直播指令;
根据所述远程直播指令从所述服务器中获取第二直播数据,其中,所述第二直播数据为所述第二直播分享装置向所述服务器发送的直播数据;
根据所述第二直播数据生成并展示第二VR直播数据。
可选地,处理器680具体用于执行如下步骤:
根据颜色编码与色彩模式之间的对应关系,将所述第二直播数据转换为所述第二VR直播数据;
展示所述第二VR直播数据。
可选地,处理器680具体用于执行如下步骤:
将所述第二VR直播数据更新至目标贴图,其中,所述第二VR直播数据包含多帧VR图像,所述目标贴图中包含多个数据层,所述多个数据层为降采样后生成的,每个数据层用于更新每帧VR图像。
可选地,处理器680还用于执行如下步骤:
通过所述VR显示屏幕接收远程直播指令;
根据所述远程直播指令从所述服务器中获取第一直播数据,其中,所述第一直播数据为所述第一直播分享装置向所述服务器发送的直播数据;
根据所述第一直播数据生成并展示第一VR直播数据。
可选地,处理器680具体用于执行如下步骤:
根据颜色编码与色彩模式之间的对应关系,将所述第一直播数据转换为所述第一VR直播数据;
展示所述第一VR直播数据。
可选地,处理器680具体用于执行如下步骤:
将所述第一VR直播数据更新至目标贴图,其中,所述第一VR直播数据包含多帧VR图像,所述目标贴图中包含多个数据层,所述多个数据层为降采样后生成的,每个数据层用于更新每帧VR图像。
可选地,处理器680还用于执行如下步骤:
通过虚拟现实VR显示屏幕接收本地直播指令,其中,所述VR显示屏幕用于接收直播发起方的操作指令;
根据所述本地直播指令获取所述第二直播分享装置本地的第二直播数据;
将所述第二直播数据发送至所述服务器,以使所述服务器向所述第一直播分享装置发送所述第二直播数据,所述第二直播数据用于所述第一直播分享装置生成并展示第二VR直播数据。
可选地,处理器680具体用于执行如下步骤:
通过多媒体编程接口获取桌面纹理,其中,所述桌面纹理为通过桌面窗口管理器DWM截取的;
根据所述桌面纹理生成所述第二直播分享装置本地的第二直播数据,其中,所述第二直播数据为位图数据。
可选地,处理器680具体用于执行如下步骤:
通过多媒体编程接口获取桌面纹理,其中,所述桌面纹理为通过桌面复制应用程序编程接口API截取的;
根据所述桌面纹理生成所述第二直播分享装置本地的第二直播数据,其中,所述第二直播数据为位图数据。
可选地,处理器680还用于执行如下步骤:
将所述第二直播数据映射为图形处理器GPU中的贴图,以生成所述第二VR直播数据;
展示所述第二VR直播数据。
可选地,处理器680具体用于执行如下步骤:
向所述服务器发送所述音视频数据流,以使所述服务器对所述音视频数据流进行实时压缩,并生成压缩数据流,其中,所述音视频数据为所述第二直播数据中的视频和音频数据;
向所述服务器发送所述状态数据,以使所述服务器根据所述状态数据和所述压缩数据流同步所述第二直播分享装置和所述第一直播分享装置的播放。
可选地,处理器680还用于执行如下步骤:
通过所述VR显示屏幕获取屏幕比例值以及实时操作信息,其中,所述屏幕比例值用于表示空间坐标值与参考坐标值之间的比例,所述实时操作信息用于表示用户对控制器的操作;
根据所述屏幕比例值与所述实时操作信息生成直播交互指令。
图27是本发明实施例提供的一种服务器结构示意图,该服务器700可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processingunits,CPU)722(例如,一个或一个以上处理器)和存储器732,一个或一个以上存储应用程序742或数据744的存储介质730(例如一个或一个以上海量存储设备)。其中,存储器732和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器722可以设置为与存储介质730通信,在服务器700上执行存储介质730中的一系列指令操作。
服务器700还可以包括一个或一个以上电源726,一个或一个以上有线或无线网络接口750,一个或一个以上输入输出接口758,和/或,一个或一个以上操作系统741,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图27所示的服务器结构。
可选地,CPU 722用于执行如下步骤:
接收所述第一直播分享装置发送的第一直播数据,其中,所述第一直播数据为所述第一直播分享装置根据本地直播指令获取的所述第一直播分享装置本地的第一直播数据;
接收所述第二直播分享装置发送的远程直播指令;
根据所述远程直播指令向所述第二直播分享装置发送所述第一直播数据,以使所述第二直播分享装置生成并展示第一VR直播数据。
可选地,CPU 722具体用于执行如下步骤:
接收所述第一直播分享装置发送的所述音视频数据流;
对所述音视频数据流进行实时压缩,并生成压缩数据流,其中,所述音视频数据为所述第二直播数据中的视频和音频数据;
接收所述第一直播分享装置发送的所述状态数据,其中,所述状态数据用于同步所述第二直播分享装置和所述第一直播分享装置的播放。
可选地,CPU722还用于执行如下步骤:
接收所述第二直播分享装置发送的第二直播数据,其中,所述第二直播数据为所述第二直播分享装置根据本地直播指令获取的所述第二直播分享装置本地的第二直播数据;
接收所述第一直播分享装置发送的远程直播指令;
根据所述远程直播指令向所述第一直播分享装置发送所述第二直播数据,以使所述第一直播分享装置生成并展示第二VR直播数据。
可选地,CPU 722具体用于执行如下步骤:
接收所述第二直播分享装置发送的所述音视频数据流;
对所述音视频数据流进行实时压缩,并生成压缩数据流,其中,所述音视频数据为所述第一直播数据中的视频和音频数据;
接收所述第二直播分享装置发送的所述状态数据,其中,所述状态数据用于同步所述第一直播分享装置和所述第二直播分享装置的播放。
在上述实施例中,可以全部或部分地通过软件、硬件或者其组合来实现。当使用软件或软件硬件组合实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在存储介质中,或者从一个存储介质向另一存储介质传输。例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、双绞线、光纤)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述存储介质可以是计算机能够存储的任何介质或者是包含一个或多个介质集成的服务器、数据中心等数据存储设备。所述介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,光盘)、或者半导体介质(例如固态硬盘(SSD))等。
本领域普通技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络设备上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制。本领域普通技术人员可以对前述各实施例所记载的技术方案进行修改,而这些修改,并不使相应技术方案脱离权利要求的范围。

Claims (30)

1.一种直播分享的方法,其特征在于,所述方法应用于直播分享系统,所述直播分享系统包括第一直播分享装置、服务器以及第二直播分享装置,所述方法包括:
所述第一直播分享装置通过虚拟现实VR显示屏幕接收本地直播指令,其中,所述VR显示屏幕用于接收直播发起方的操作指令;
所述第一直播分享装置根据所述本地直播指令获取所述第一直播分享装置本地的第一直播数据;
所述第一直播分享装置将所述第一直播数据发送至所述服务器,以使所述服务器向所述第二直播分享装置发送所述第一直播数据,所述第一直播数据用于所述第二直播分享装置生成并展示第一VR直播数据。
2.根据权利要求1所述的方法,其特征在于,所述第一直播分享装置根据所述本地直播指令获取所述第一直播分享装置本地的第一直播数据,包括:
所述第一直播分享装置通过多媒体编程接口获取桌面纹理,其中,所述桌面纹理为通过桌面窗口管理器DWM截取的;
所述第一直播分享装置根据所述桌面纹理生成所述第一直播分享装置本地的第一直播数据,其中,所述第一直播数据为位图数据。
3.根据权利要求1所述的方法,其特征在于,所述第一直播分享装置根据所述本地直播指令获取所述第一直播分享装置本地的第一直播数据,包括:
所述第一直播分享装置通过多媒体编程接口获取桌面纹理,其中,所述桌面纹理为通过桌面复制应用程序编程接口API截取的;
所述第一直播分享装置根据所述桌面纹理生成所述第一直播分享装置本地的第一直播数据,其中,所述第一直播数据为位图数据。
4.根据权利要求2或3所述的方法,其特征在于,所述第一直播分享装置根据所述本地直播指令获取所述第一直播分享装置本地的第一直播数据之后,所述方法还包括:
所述第一直播分享装置将所述第一直播数据映射为图形处理器GPU中的贴图,以生成所述第一VR直播数据;
所述第一直播分享装置展示所述第一VR直播数据。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述第一直播数据包括音视频数据流以及状态数据;
所述第一直播分享装置将所述第一直播数据发送至所述服务器,包括:
所述第一直播分享装置向所述服务器发送所述音视频数据流,以使所述服务器对所述音视频数据流进行实时压缩,并生成压缩数据流,其中,所述音视频数据为所述第一直播数据中的视频和音频数据;
所述第一直播分享装置向所述服务器发送所述状态数据,以使所述服务器根据所述状态数据和所述压缩数据流同步所述第一直播分享装置和所述第二直播分享装置的播放。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述第一直播分享装置将所述第一直播数据发送至所述服务器之后,所述方法还包括:
所述第一直播分享装置通过所述VR显示屏幕获取屏幕比例值以及实时操作信息,其中,所述屏幕比例值用于表示空间坐标值与参考坐标值之间的比例,所述实时操作信息用于表示用户对控制器的操作;
所述第一直播分享装置根据所述屏幕比例值与所述实时操作信息生成直播交互指令。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述第一直播分享装置通过所述VR显示屏幕接收远程直播指令;
所述第一直播分享装置根据所述远程直播指令从所述服务器中获取第二直播数据,其中,所述第二直播数据为所述第二直播分享装置向所述服务器发送的直播数据;
所述第一直播分享装置根据所述第二直播数据生成并展示第二VR直播数据。
8.根据权利要求7所述的方法,其特征在于,所述第一直播分享装置根据所述第二直播数据生成并展示第二VR直播数据,包括:
所述第一直播分享装置根据颜色编码与色彩模式之间的对应关系,将所述第二直播数据转换为所述第二VR直播数据;
所述第一直播分享装置展示所述第二VR直播数据。
9.根据权利要求8所述的方法,其特征在于,所述第一直播分享装置展示所述第二VR直播数据,包括:
所述第一直播分享装置将所述第二VR直播数据更新至目标贴图,其中,所述第二VR直播数据包含多帧VR图像,所述目标贴图中包含多个数据层,所述多个数据层为降采样后生成的,每个数据层用于更新每帧VR图像。
10.一种直播分享的方法,其特征在于,所述方法应用于直播分享系统,所述直播分享系统包括第一直播分享装置、服务器以及第二直播分享装置,所述方法包括:
所述第二直播分享装置通过所述VR显示屏幕接收远程直播指令;
所述第二直播分享装置根据所述远程直播指令从所述服务器中获取第一直播数据,其中,所述第一直播数据为所述第一直播分享装置向所述服务器发送的直播数据;
所述第二直播分享装置根据所述第一直播数据生成并展示第一VR直播数据。
11.根据权利要求10所述的方法,其特征在于,所述第二直播分享装置根据所述第一直播数据生成并展示第一VR直播数据,包括:
所述第二直播分享装置根据颜色编码与色彩模式之间的对应关系,将所述第一直播数据转换为所述第一VR直播数据;
所述第二直播分享装置展示所述第一VR直播数据。
12.根据权利要求11所述的方法,其特征在于,所述第二直播分享装置展示所述第一VR直播数据,包括:
所述第二直播分享装置将所述第一VR直播数据更新至目标贴图,其中,所述第一VR直播数据包含多帧VR图像,所述目标贴图中包含多个数据层,所述多个数据层为降采样后生成的,每个数据层用于更新每帧VR图像。
13.根据权利要求10所述的方法,其特征在于,所述方法还包括:
所述第二直播分享装置通过虚拟现实VR显示屏幕接收本地直播指令,其中,所述VR显示屏幕用于接收直播发起方的操作指令;
所述第二直播分享装置根据所述本地直播指令获取所述第二直播分享装置本地的第二直播数据;
所述第二直播分享装置将所述第二直播数据发送至所述服务器,以使所述服务器向所述第一直播分享装置发送所述第二直播数据,所述第二直播数据用于所述第一直播分享装置生成并展示第二VR直播数据。
14.根据权利要求13所述的方法,其特征在于,所述第二直播分享装置根据所述本地直播指令获取所述第直播分享装置本地的第二直播数据,包括:
所述第二直播分享装置通过多媒体编程接口获取桌面纹理,其中,所述桌面纹理为通过桌面窗口管理器DWM截取的;
所述第二直播分享装置根据所述桌面纹理生成所述第二直播分享装置本地的第二直播数据,其中,所述第二直播数据为位图数据。
15.根据权利要求13所述的方法,其特征在于,所述第二直播分享装置根据所述本地直播指令获取所述第直播分享装置本地的第二直播数据,包括:
所述第二直播分享装置通过多媒体编程接口获取桌面纹理,其中,所述桌面纹理为通过桌面复制应用程序编程接口API截取的;
所述第二直播分享装置根据所述桌面纹理生成所述第二直播分享装置本地的第二直播数据,其中,所述第二直播数据为位图数据。
16.根据权利要求14或15所述的方法,其特征在于,所述第二直播分享装置根据所述本地直播指令获取所述第直播分享装置本地的第二直播数据之后,所述方法还包括:
所述第二直播分享装置将所述第二直播数据映射为图形处理器GPU中的贴图,以生成所述第二VR直播数据;
所述第二直播分享装置展示所述第二VR直播数据。
17.根据权利要求13至16中任一项所述的方法,其特征在于,所述第二直播数据包括音视频数据流以及状态数据;
所述第二直播分享装置将所述第二直播数据发送至所述服务器,包括:
所述第二直播分享装置向所述服务器发送所述音视频数据流,以使所述服务器对所述音视频数据流进行实时压缩,并生成压缩数据流,其中,所述音视频数据为所述第二直播数据中的视频和音频数据;
所述第二直播分享装置向所述服务器发送所述状态数据,以使所述服务器根据所述状态数据和所述压缩数据流同步所述第二直播分享装置和所述第一直播分享装置的播放。
18.根据权利要求13至17中任一项所述的方法,其特征在于,所述第二直播分享装置将所述第二直播数据发送至所述服务器之后,所述方法还包括:
所述第二直播分享装置通过所述VR显示屏幕获取屏幕比例值以及实时操作信息,其中,所述屏幕比例值用于表示空间坐标值与参考坐标值之间的比例,所述实时操作信息用于表示用户对控制器的操作;
所述第二直播分享装置根据所述屏幕比例值与所述实时操作信息生成直播交互指令。
19.一种直播分享的方法,其特征在于,所述方法应用于直播分享系统,所述直播分享系统包括第一直播分享装置、服务器以及第二直播分享装置,所述方法包括:
所述服务器接收所述第一直播分享装置发送的第一直播数据,其中,所述第一直播数据为所述第一直播分享装置根据本地直播指令获取的所述第一直播分享装置本地的第一直播数据;
所述服务器接收所述第二直播分享装置发送的远程直播指令;
所述服务器根据所述远程直播指令向所述第二直播分享装置发送所述第一直播数据,以使所述第二直播分享装置生成并展示第一VR直播数据。
20.根据权利要求19所述的方法,其特征在于,所述第一直播数据包括音视频数据流以及状态数据;
所述服务器接收所述第一直播分享装置发送的第一直播数据,包括:
所述服务器接收所述第一直播分享装置发送的所述音视频数据流;
所述服务器对所述音视频数据流进行实时压缩,并生成压缩数据流,其中,所述音视频数据为所述第二直播数据中的视频和音频数据;
所述服务器接收所述第一直播分享装置发送的所述状态数据,其中,所述状态数据用于同步所述第二直播分享装置和所述第一直播分享装置的播放。
21.根据权利要求19所述的方法,其特征在于,所述方法还包括:
所述服务器接收所述第二直播分享装置发送的第二直播数据,其中,所述第二直播数据为所述第二直播分享装置根据本地直播指令获取的所述第二直播分享装置本地的第二直播数据;
所述服务器接收所述第一直播分享装置发送的远程直播指令;
所述服务器根据所述远程直播指令向所述第一直播分享装置发送所述第二直播数据,以使所述第一直播分享装置生成并展示第二VR直播数据。
22.根据权利要求21所述的方法,其特征在于,所述第二直播数据包括音视频数据流以及状态数据;
所述服务器接收所述第二直播分享装置发送的第二直播数据,包括:
所述服务器接收所述第二直播分享装置发送的所述音视频数据流;
所述服务器对所述音视频数据流进行实时压缩,并生成压缩数据流,其中,所述音视频数据为所述第一直播数据中的视频和音频数据;
所述服务器接收所述第二直播分享装置发送的所述状态数据,其中,所述状态数据用于同步所述第一直播分享装置和所述第二直播分享装置的播放。
23.一种直播分享装置,其特征在于,所述直播分享装置为应用于直播分享系统的第一直播分享装置,所述直播分享系统还包括服务器以及第二直播分享装置,所述直播分享装置包括:
接收模块,用于通过虚拟现实VR显示屏幕接收本地直播指令,其中,所述VR显示屏幕用于接收直播发起方的操作指令;
获取模块,用于根据所述接收模块接收的所述本地直播指令获取所述第一直播分享装置本地的第一直播数据;
发送模块,用于将所述获取模块获取的所述第一直播数据发送至所述服务器,以使所述服务器向所述第二直播分享装置发送所述第一直播数据,所述第一直播数据用于所述第二直播分享装置生成并展示第一VR直播数据。
24.一种直播分享装置,其特征在于,所述直播分享装置为应用于直播分享系统的第二直播分享装置,所述直播分享系统还包括服务器以及第一直播分享装置,所述直播分享装置包括:
接收模块,用于通过所述VR显示屏幕接收远程直播指令;
获取模块,用于根据所述接收模块接收的所述远程直播指令从所述服务器中获取第一直播数据,其中,所述第一直播数据为所述第一直播分享装置向所述服务器发送的直播数据;
展示模块,用于根据所述获取模块获取的所述第一直播数据生成并展示第一VR直播数据。
25.一种服务器,其特征在于,所述服务器应用于直播分享系统,所述直播分享系统还包括第一直播分享装置以及第二直播分享装置,所述服务器包括:
接收模块,用于接收所述第一直播分享装置发送的第一直播数据,其中,所述第一直播数据为所述第一直播分享装置根据本地直播指令获取的所述第一直播分享装置本地的第一直播数据;
所述接收模块,用于接收所述第二直播分享装置发送的远程直播指令;
发送模块,用于根据所述接收模块接收的所述远程直播指令向所述第二直播分享装置发送所述接收模块接收的所述第一直播数据,以使所述第二直播分享装置生成并展示第一VR直播数据。
26.一种直播分享装置,其特征在于,所述直播分享装置为应用于直播分享系统的第一直播分享装置,所述直播分享系统还包括服务器以及第二直播分享装置,所述直播分享装置包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
通过虚拟现实VR显示屏幕接收本地直播指令,其中,所述VR显示屏幕用于接收直播发起方的操作指令;
根据所述本地直播指令获取所述第一直播分享装置本地的第一直播数据;
将所述第一直播数据发送至所述服务器,以使所述服务器向所述第二直播分享装置发送所述第一直播数据,所述第一直播数据用于所述第二直播分享装置生成并展示第一VR直播数据;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
27.一种直播分享装置,其特征在于,所述直播分享装置为应用于直播分享系统的第二直播分享装置,所述直播分享系统还包括服务器以及第一直播分享装置,所述直播分享装置包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
通过所述VR显示屏幕接收远程直播指令;
根据所述远程直播指令从所述服务器中获取第一直播数据,其中,所述第一直播数据为所述第一直播分享装置向所述服务器发送的直播数据;
根据所述第一直播数据生成并展示第一VR直播数据;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
28.一种服务器,其特征在于,所述服务器应用于直播分享系统,所述直播分享系统还包括第一直播分享装置以及第二直播分享装置,所述服务器包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
接收所述第一直播分享装置发送的第一直播数据,其中,所述第一直播数据为所述第一直播分享装置根据本地直播指令获取的所述第一直播分享装置本地的第一直播数据;
接收所述第二直播分享装置发送的远程直播指令;
根据所述远程直播指令向所述第二直播分享装置发送所述第一直播数据,以使所述第二直播分享装置生成并展示第一VR直播数据;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
29.一种计算机存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至9任一项所述的方法,或该程序被处理器执行时实现如权利要求10至18任一项所述的方法,或该程序被处理器执行时实现如权利要求19至22任一项所述的方法。
30.一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行如权利要求1至9任一项所述的方法,或使得计算机执行如权利要求10至18任一项所述的方法,或使得计算机执行如权利要求19至22任一项所述的方法。
CN201780048944.8A 2017-12-29 2017-12-29 一种直播分享的方法、相关设备及系统 Active CN109644294B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/119852 WO2019127369A1 (zh) 2017-12-29 2017-12-29 一种直播分享的方法、相关设备及系统

Publications (2)

Publication Number Publication Date
CN109644294A true CN109644294A (zh) 2019-04-16
CN109644294B CN109644294B (zh) 2020-11-27

Family

ID=66053540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780048944.8A Active CN109644294B (zh) 2017-12-29 2017-12-29 一种直播分享的方法、相关设备及系统

Country Status (2)

Country Link
CN (1) CN109644294B (zh)
WO (1) WO2019127369A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110362375A (zh) * 2019-07-11 2019-10-22 广州虎牙科技有限公司 桌面数据的显示方法、装置、设备和存储介质
CN111862348A (zh) * 2020-07-30 2020-10-30 腾讯科技(深圳)有限公司 视频显示方法、视频生成方法、装置、设备及存储介质
CN112433606A (zh) * 2020-11-11 2021-03-02 珠海格力电器股份有限公司 用于直播虚拟体验食物味道的方法和装置
CN113518241A (zh) * 2021-09-07 2021-10-19 北京笔中展览展示有限公司 一种展馆xr交互直播系统
CN113961156A (zh) * 2020-07-20 2022-01-21 北京字节跳动网络技术有限公司 多屏显示方法、装置、系统、电子设备及计算机介质
CN114442888A (zh) * 2022-02-08 2022-05-06 联想(北京)有限公司 对象确定方法、装置及电子设备
CN114584599A (zh) * 2022-03-18 2022-06-03 北京字跳网络技术有限公司 游戏数据处理方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114531740B (zh) * 2022-02-16 2024-06-14 北京易智时代数字科技有限公司 一种vr头显终端应用渲染运行方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110279639A1 (en) * 2010-05-12 2011-11-17 Raghavan Anand Systems and methods for real-time virtual-reality immersive multimedia communications
CN103327418A (zh) * 2013-05-21 2013-09-25 深圳Tcl新技术有限公司 终端数据云分享的控制方法、服务器及终端
CN103813213A (zh) * 2014-02-25 2014-05-21 南京工业大学 基于移动云计算的实时视频分享平台和方法
CN106790553A (zh) * 2016-12-24 2017-05-31 珠海市魅族科技有限公司 虚拟现实设备的界面共享方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8167724B2 (en) * 2007-12-10 2012-05-01 Gary Stephen Shuster Guest management in an online multi-player virtual reality game
CN105657438A (zh) * 2015-11-09 2016-06-08 乐视致新电子科技(天津)有限公司 一种全景直播视频资源的处理方法及装置
CN106303554A (zh) * 2016-09-07 2017-01-04 四川天辰智创科技有限公司 一种视频直播系统及方法
CN106534142B (zh) * 2016-11-22 2018-04-20 包磊 多媒体数据的实时传输方法及装置
CN107277599A (zh) * 2017-05-31 2017-10-20 珠海金山网络游戏科技有限公司 一种虚拟现实的直播方法、装置和系统
CN107424332A (zh) * 2017-08-01 2017-12-01 深圳市未来视界探索科技有限公司 共享vr终端、系统及其服务方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110279639A1 (en) * 2010-05-12 2011-11-17 Raghavan Anand Systems and methods for real-time virtual-reality immersive multimedia communications
CN103327418A (zh) * 2013-05-21 2013-09-25 深圳Tcl新技术有限公司 终端数据云分享的控制方法、服务器及终端
CN103813213A (zh) * 2014-02-25 2014-05-21 南京工业大学 基于移动云计算的实时视频分享平台和方法
CN106790553A (zh) * 2016-12-24 2017-05-31 珠海市魅族科技有限公司 虚拟现实设备的界面共享方法和装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110362375A (zh) * 2019-07-11 2019-10-22 广州虎牙科技有限公司 桌面数据的显示方法、装置、设备和存储介质
CN113961156A (zh) * 2020-07-20 2022-01-21 北京字节跳动网络技术有限公司 多屏显示方法、装置、系统、电子设备及计算机介质
CN111862348A (zh) * 2020-07-30 2020-10-30 腾讯科技(深圳)有限公司 视频显示方法、视频生成方法、装置、设备及存储介质
CN111862348B (zh) * 2020-07-30 2024-04-30 深圳市腾讯计算机系统有限公司 视频显示方法、视频生成方法、装置、设备及存储介质
CN112433606A (zh) * 2020-11-11 2021-03-02 珠海格力电器股份有限公司 用于直播虚拟体验食物味道的方法和装置
CN113518241A (zh) * 2021-09-07 2021-10-19 北京笔中展览展示有限公司 一种展馆xr交互直播系统
CN113518241B (zh) * 2021-09-07 2021-12-14 北京笔中展览展示有限公司 一种展馆xr交互直播系统
CN114442888A (zh) * 2022-02-08 2022-05-06 联想(北京)有限公司 对象确定方法、装置及电子设备
CN114584599A (zh) * 2022-03-18 2022-06-03 北京字跳网络技术有限公司 游戏数据处理方法、装置、电子设备及存储介质
CN114584599B (zh) * 2022-03-18 2023-05-16 北京字跳网络技术有限公司 游戏数据处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20200260149A1 (en) 2020-08-13
CN109644294B (zh) 2020-11-27
WO2019127369A1 (zh) 2019-07-04

Similar Documents

Publication Publication Date Title
CN109644294A (zh) 一种直播分享的方法、相关设备及系统
US11494993B2 (en) System and method to integrate content in real time into a dynamic real-time 3-dimensional scene
US10965783B2 (en) Multimedia information sharing method, related apparatus, and system
TWI668577B (zh) 渲染設備、其之渲染方法、程式和記錄媒體
CN111491197B (zh) 一种直播内容展示的方法、装置及存储介质
CN108635849B (zh) 一种动画数据压缩、解压缩方法及装置
CN113209632B (zh) 一种云游戏的处理方法、装置、设备及存储介质
JP2013099511A (ja) 描画システム、描画サーバ、その制御方法、プログラム、及び記録媒体
CN113630655B (zh) 一种外设设备颜色随画面颜色变化的方法及显示设备
CN112218132A (zh) 一种全景视频图像显示方法及显示设备
CN113645476B (zh) 画面处理方法、装置、电子设备及存储介质
WO2024027611A1 (zh) 视频直播方法、装置、电子设备以及存储介质
CN107071555B (zh) Vr视频中图像的加载方法、装置及电子设备
CN112162764A (zh) 显示设备、服务器以及摄像头软件升级方法
US10675542B2 (en) Method and system for transitioning between a 2D video and 3D environment
CN111930233A (zh) 一种全景视频图像显示方法及显示设备
US12022160B2 (en) Live streaming sharing method, and related device and system
CN107071545A (zh) 一种显示比赛信息的方法和装置
CN106851429A (zh) 一种显示比赛信息的方法和装置
US20230401785A1 (en) Method, apparatus, and non-transitory computer-readable recording medium for streaming 3d objects
US20240082705A1 (en) Electronic apparatus and method of operating the same
CN106713996A (zh) 一种构建全景画面电视节目的方法和装置
CN106713994A (zh) 一种生成电子日历的方法和装置
CN118042176A (zh) 一种音视频的云渲染方法及装置
CN112995113A (zh) 一种显示设备、端口控制方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant