CN113242435B - 一种投屏的方法、装置及系统 - Google Patents
一种投屏的方法、装置及系统 Download PDFInfo
- Publication number
- CN113242435B CN113242435B CN202110396758.1A CN202110396758A CN113242435B CN 113242435 B CN113242435 B CN 113242435B CN 202110396758 A CN202110396758 A CN 202110396758A CN 113242435 B CN113242435 B CN 113242435B
- Authority
- CN
- China
- Prior art keywords
- screen projection
- terminal device
- video stream
- launched
- cloud application
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000005540 biological transmission Effects 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims description 23
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000009877 rendering Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2181—Source of audio or video content, e.g. local disk arrays comprising remotely distributed storage units, e.g. when movies are replicated over a plurality of video servers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4781—Games
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开提供一种投屏的方法、装置及系统；其中，方法包括：第一终端设备在检测到投屏开启后，判断当前所满足的投屏状态；如果当前满足本地投屏状态，则对本地所生成的画面数据和音频数据进行采集和编码，生成第一待投放视频流；通过与待进行投屏的第二终端设备之间建立的第一数据传输通道，将所述第一待投放视频流推送至所述第二终端设备；如果当前满足云端投屏状态，则触发目标云应用服务器生成第二待投放视频流，通过与所述第二终端设备之间建立的第二数据传输通道，将所述第二待投放视频流推送至所述第二终端设备。本公开对第一终端设备的带宽要求较低，并且降低了第一终端设备的功耗，能满足玩家的用户体验和投屏观看者的观看体验。
Description
技术领域
本公开涉及云游戏技术领域，具体而言，涉及一种投屏的方法、装置及系统。
背景技术
在云游戏解决方案中，游戏玩家在操控游戏运行过程中，如果需要将玩家终端上所呈现的游戏视频分享至已建连的其他终端设备(比如电视)上进行播放，则需要由玩家终端在游戏运行过程中执行屏幕画面采集和音频数据采集的操作，以及将采集的游戏画面数据和音频数据进行编码后以视频流的方式发送至上述其他终端设备，由该其他终端设备对接收到的视频流进行解码播放。
上述的投屏方式中，游戏在云端服务器上运行，玩家终端一方面要从云端服务器实时获取游戏视频流，另一方面要实时进行屏幕画面的采集和音频采集生成投放视频流，以及将在本地生成的投放视频流发送至其他终端设备，进而该方式中玩家终端需要同时具备良好的上行带宽和下行带宽，否则由于终端的上行带宽与下行带宽之间存在的冲突，会使得下行游戏画面传输不流畅，游戏出现卡顿，影响游戏玩家的游戏体验以及分享该游戏视频的终端设备的观众的观看体验。
发明内容
有鉴于此，本公开提供一种投屏的方法、装置及系统，以实现玩家在玩云游戏的过程中能够将游戏视频分享至其他终端设备进行播放，并且不影响玩家的游戏体验。
具体地，本公开是通过如下技术方案实现的：
第一方面，本公开实施例中提供了一种投屏的方法，所述方法应用于第一终端设备，所述方法包括：
所述第一终端设备在检测到投屏开启后，判断当前所满足的投屏状态；
如果当前满足本地投屏状态，则按照以下第一方式进行投屏：
对本地所生成的画面数据和音频数据进行采集和编码，生成第一待投放视频流；
通过与待进行投屏的第二终端设备之间建立的第一数据传输通道，将所述第一待投放视频流推送至所述第二终端设备，以使所述第二终端设备对接收到的视频流进行解码播放；
如果当前满足云端投屏状态，则按照以下第二方式进行投屏：
触发目标云应用服务器生成第二待投放视频流，并通过与所述第二终端设备之间建立的第二数据传输通道，将所述第二待投放视频流推送至所述第二终端设备，以使所述第二终端设备对接收到的视频流进行解码播放；
其中，在所述云端投屏状态下，所述第一终端设备所播放的指定云应用视频流是从所述目标云应用服务器获取得到的。
可选地，所述方法，还包括：
在按照所述第一方式投屏过程中，若发生了由本地投屏状态切换至云端投屏状态的触发事件，则停止按照所述第一方式进行投屏的操作，切换至按照所述第二方式进行投屏的操作。
可选地，所述由本地投屏状态切换至云端投屏状态的触发事件，包括：
所述第一终端设备所请求启动的指定云应用在目标云应用服务器上启动成功。
可选地，所述方法，还包括：
在按照所述的第二方式投屏过程中，若发生了由云端投屏状态切换至本地投屏状态的触发事件，则停止按照所述第二方式进行投屏操作，切换至按照所述第一方式进行投屏操作。
可选地，所述由云端投屏状态切换至本地投屏状态的触发事件，包括：
所述第一终端设备所请求启动的指定云应用在所述目标云应用服务器上结束运行。
第二方面，本公开实施例提供了一种投屏的系统，所述系统包括：第一终端设备、第二终端设备和云应用服务器；
所述第一终端设备，用于在检测到投屏开启后，判断当前所满足的投屏状态；
如果当前满足本地投屏状态，则按照以下第一方式进行投屏：
对本地所生成的画面数据和音频数据进行采集和编码，生成第一待投放视频流；
通过与待进行投屏的第二终端设备之间建立的第一数据传输通道，将所述第一待投放视频流推送至所述第二终端设备；
如果当前满足云端投屏状态，则按照以下第二方式进行投屏：
触发目标云应用服务器生成第二待投放视频流，并通过与所述第二终端设备之间建立的第二数据传输通道，将所述第二待投放视频流推送至所述第二终端设备；
其中，在所述云端投屏状态下，所述第一终端设备所播放的指定云应用视频流是从所述目标云应用服务器获取得到的；
所述第二终端设备，用于对接收到的投放视频流进行解码播放；
所述云应用服务器用于响应于接收到的所述第一终端设备发送的指定云应用的启动请求，启动所述指定云应用，以及响应第一终端设备在云端投屏状态下的投屏触发操作生成该指定云应用的第二待投放视频流，并通过与所述第二终端设备之间建立的第二数据传输通道，将所述第二待投放视频流推送至所述第二终端设备。
可选地，所述第一终端设备，还用于：
在按照所述第一方式投屏过程中，若发生了由本地投屏状态切换至云端投屏状态的触发事件，则停止按照所述第一方式进行投屏的操作，切换至按照所述第二方式进行投屏的操作。
可选地，所述第一终端设备，还用于：
在按照所述的第二方式投屏过程中，若发生了由云端投屏状态切换至本地投屏状态的触发事件，则停止按照所述第二方式进行投屏操作，切换至按照所述第一方式进行投屏操作。
第三方面，本公开实施例提供了一种投屏的装置，所述装置应用于第一终端设备，所述装置，包括：
判断模块，用于在检测到投屏开启事件后，判断当前所满足的投屏状态；
第一投屏模块，用于如果当前满足本地投屏状态，则按照第一方式进行投屏：
对本地所生成的画面数据和音频数据进行采集和编码，生成第一待投放视频流；
通过与待进行投屏的第二终端设备之间建立的第一数据传输通道，将所述第一待投放视频流推送至所述第二终端设备，以使所述第二终端设备对接收到的视频流进行解码播放；
第二投屏模块，用于如果当前满足云端投屏状态，则按照第二方式进行投屏：
触发目标云应用服务器生成第二待投放视频流，并通过与所述第二终端设备之间建立的第二数据传输通道，将所述第二待投放视频流推送至所述第二终端设备，以使所述第二终端设备对接收到的视频流进行解码播放；
其中，在所述云端投屏状态下，所述第一终端设备所播放的指定云应用视频流是从所述目标云应用服务器获取得到的。
第四方面，本公开实施例提供了一种机器可读存储介质，机器可读存储介质上存储有若干计算机指令，计算机指令被执行时实现如第一方面所述的方法。
第五方面，本公开实施例提供了一种电子设备，包括：机器可读存储介质和处理器，机器可读存储介质：存储指令代码，处理器：与机器可读存储介质通信，读取和执行机器可读存储介质中的指令代码，实现如第一方面所述的方法。
本公开实施例中提供的一种投屏的方法、装置及系统，第一终端设备若检测到投屏开启后，则判断当前所满足的投屏状态；如果当前满足本地投屏状态，则对所生成的画面数据和音频数据进行采集和编码，生成第一待投放视频流；然后通过该第一终端设备与待进行投屏的第二终端设备之间建立的第一数据传输通道，将生成的第一待投放视频流推送至第二终端设备进行解码播放；如果当前满足云端投屏状态，此时第一终端设备所播放的指定云应用视频流从目标云应用服务器获取得到，则触发目标云应用服务器生成第二待投放视频流，并通过目标云应用服务器与第二终端设备之间建立的第二数据传输通道，将目标云应用服务器所生成的第二待投放视频流推送至第二终端设备进行解码播放；进而本实施例中，在第一终端设备所播放的画面是本地生成的状态下，在投屏时第一终端设备对在本地生成的游戏画面数据和音频数据进行采集和编码生成第一待投放视频流，将该第一待投放视频流发送至第二终端设备；如果第一终端设备所播放的画面来源于云应用服务器，则由云应用服务器生成第二待投放视频流，将该第二待投放视频流发送至第二终端设备进行解码播放，本公开相对于现有的投屏方式，对第一终端设备的带宽要求较低，并且降低了第一终端设备的功耗，能满足玩家的用户体验和投屏观看者的观看体验。
附图说明
图1是本公开一示例性实施例示出的一种投屏的方法的应用场景示意图；
图2是本公开一示例性实施例示出的一种投屏的方法的流程步骤示意图；
图3是本公开一示例性实施例示出的一种开启投屏的显示界面示意图；
图4是本公开一示例性实施例示出的一种客户端的门户界面示意图；
图5是本公开一示例性实施例示出的一种投屏的方法的流程示意图；
图6是本公开一示例性实施例示出的一种投屏的系统示意图；
图7是本公开一示例性实施例示出的一种投屏的装置的结构示意图；
图8是本公开一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
云游戏是以云计算为基础的游戏实现方式，游戏应用运行于云应用服务器上，游戏的逻辑处理、画面渲染均由云应用服务器执行，云应用服务器将渲染生成的游戏画面和音频进行采集和编码，以实时视频流的方式通过网络发送至终端，由终端进行解码和播放，并且终端响应用户针对云游戏的控制操作生成操控指令，将该操控指令实时发送至云应用服务器进行响应。云游戏实现方式中，用户只需要拥有具有流媒体播放功能的设备和可获取控制操作的设备即可进行游戏。比如，该具有流媒体播放功能的设备可以是VR头盔、机顶盒等，该可获取控制操作的设备可以是VR头盔扳机、游戏手柄等，也可以是同时具有流媒体播放功能和可获取控制操作功能的设备，比如手机、平板电脑等设备。
在云游戏模式下，玩家在其终端设备上进行游戏操控，如果玩家想要将操控游戏运行生成的游戏视频流同时投放至其他终端设备上供其他用户观看，如果是采用通过玩家终端设备对屏幕当前显示图像的采集(比如截屏)和编码的方式得到待投放视频流，将该待投放视频流发送至其他终端设备进行解码播放的方式，由于玩家终端设备一方面需要从云应用服务器实时收流，同时需要将采集和编码得到的待投放视频流发送至其他终端设备，该方式对玩家终端设备的带宽要求较高，并且玩家终端的功耗较大，此时可能会导致玩家终端设备收流存在延时，进而云游戏出现卡顿，影响玩家的用户体验，另一方面也会影响投屏观看者的观看体验；基于此，本公开实施例提供了一种投屏方法、装置及系统。
图1是本公开一示例性实施例示出的一种投屏的方法的应用场景示意图；参照图1所示，本实施例中提供的一种投屏方法中，第一终端设备20上的客户端启动后，用户在客户端门户界面中选择指定应用并触发启动，第一终端设备20响应于用户针对指定云应用的启动触发操作，向云应用服务器10发送该指定云应用的启动请求，云应用服务器10启动该指定云应用；在指定云应用启动后，云应用服务器响应于第一终端设备20发送的该指定云应用的操控指令渲染生成应用画面和音频数据，云应用服务器对该应用画面和音频数据进行采集和编码，以实时视频流的方式发送至第一终端设备20，第一终端设备20接收该视频流后进行解码播放；并且第一终端设备20根据用户针对指定云应用的控制操作生成操控指令，将该操控指令发送至云应用服务器10，由云应用服务器10执行该指定云应用进程进行响应；本公开中，在第一终端设备20所安装的客户端启动后，在投屏状态下，针对于在第一终端设备本地生成的画面，由第一终端设备生成第一待投放视频流，将该第一待投放视频流推送至第二终端设备进行解码播放；针对于在云应用服务器10生成的视频流，在进行投屏时，由云端服务器生成第二待投放视频流发送至第二终端设备进行播放，进而实现将第一终端设备所播放的视频流分享至第二终端设备进行播放，降低了第一终端设备同时从云应用服务器收流和同时进行视频流投放的带宽压力和设备功耗，保证第一终端设备的用户体验和投屏效果。
本公开实施例中所提供的一种投屏的方法，能够实现从本地客户端启动、云应用在云端启动、云应用退出和客户端退出整个完整过程的投屏操作。
本公开实施例中，上述第一终端设备可以为头部显示器，该头部显示器设有外部输入设备比如扳机、手柄等，该头部显示器可以是一体机式虚拟现实头盔、连接手机端的虚拟现实头盔、连接台式计算机的虚拟现实头盔、混合现实头盔及增强现实头盔等，也可以是指具有处理功能的VR眼镜、具有处理功能的VR盒子，或者是诸如电脑、电视等具有全景视频播放功能的设备等等。也可以是其他任意能够用于处理和播放VR视频以及具有人机交互功能的任意设备。
本公开中，上述的第二终端设备可以为手机、机顶盒、电脑、平板电脑等设备；本领域技术人员应当清楚，当终端为机顶盒时，该终端可以与播放设备进行连接。
上述的云应用服务器可以是一台服务器，也可以是多个服务器组成的服务器集群；该服务器可以是物理服务器或者虚拟服务器。
本公开中上述第一终端设备与云应用服务器之间通过网络连接，上述第一终端设备与第二终端设备之间可以是通过有线的方式连接，比如USB线连接，HDMI传输线连接等，也可以是通过无线方式连接，比如WIFI连接；本公开对此不做限定。
图2是本公开一示例性实施例示出的一种投屏的方法的流程步骤示意图；参照图2所示，本实施例中提供的一种投屏方法，应用于上述的第一终端设备，该方法包括如下步骤S201-S204：
S201、第一终端设备在检测到投屏开启后，判断当前所满足的投屏状态。
本实施例中，上述投屏开启的操作可以是由以下几种事件触发的：
用户通过操作第一终端设备上的某一实体键触发投屏开启；
或者在第一终端设备的客户端启动后的显示界面上，用户通过操作显示界面中的某一控件触发投屏开启等操作；
再或者用于操作第一终端设备执行某一特定的动作，比如甩屏触发投屏开启等待。
示例性地，参照图3中所示的实施例中，安装在第一终端设备的客户端启动后，用户可以在客户端门户界面中呼出状态栏300，该状态栏300中包含有投屏开启控件：开启同屏301，以及同屏状态(同屏成功/失败)提示信息。
示例性地，在开启投屏后，第一终端设备与第二终端设备之间建立连接。
第一终端设备在检测到投屏开启状态后，如果当前满足本地投屏状态，则按照以下第一方式的步骤S202-S203向已建立连接的第二终端设备进行投屏：
S202、对本地所生成的画面数据和音频数据进行采集和编码，生成第一待投放视频流。
S203、通过与待进行投屏的第二终端设备之间建立的第一数据传输通道，将所述第一待投放视频流推送至第二终端设备进。
图4是本公开一示例性实施例示出的一种客户端的门户界面示意图；参照图4所示，本实施例中，第一终端设备上客户端的门户界面中包含有各种应用的图标，比如，可以是本地游戏图标，即需要在本地安装和运行的游戏，该游戏的游戏画面是在本地渲染生成；也可以是云游戏图标。
在本地投屏状态下，第一终端设备所播放的应用画面是在本地渲染完成的；比如，在现有的云游戏模式中，在云游戏客户端启动至用户选择的指定云游戏在云应用服务器上启动之前，用户在客户端侧的操作响应包括门户显示和目标云游戏的选择等均是在本地执行，在对本地渲染生成的画面进行投放至第二终端设备时，第一终端设备通过对渲染生成的画面进行采集和编码生成第一待投放视频流。
示例性的，第一终端设备向第二终端设备发送第一待投放视频流的获取地址，第二客户端接收到该获取地址后向第一终端设备请求获取待投放视频流，第一终端设备接收到待投放视频流的获取请求后开始向第二终端设备推送第一待投放视频流。
本公开另一可能的实施例中，上述在本地投屏状态下，第一终端设备所播放的应用画面也包括在云端进行部分渲染后发送至第一终端设备，由第一终端设备最终渲染成完整画面的应用画面。
第一终端设备在检测到投屏开启状态后，如果当前满足云端投屏状态，则按照以下第二方式中的步骤S204进行投屏：
S204、触发目标云应用服务器生成第二待投放视频流，并通过与所述第二终端设备之间建立的第二数据传输通道，将所述第二待投放视频流推送至所述第二终端设备，以使所述第二终端设备对接收到的视频流进行解码播放；
其中，在所述云端投屏状态下，所述第一终端设备所播放的指定云应用视频流是从所述目标云应用服务器获取得到的。
示例性地，在开启投屏状态下，第一终端设备在用户所选择的指定应用启动成功后，通知启动该指定云应用的目标云应用服务器开启投屏编码，生成第二待播放视频流。第一终端设备向第二终端设备发送该目标云应用服务器上第二待投放视频流的获取地址，第二终端设备根据该第二待投放视频流的获取地址向目标云应用服务器请求获取第二待投放视频流。
本实施例中，上述第二待投放视频流可以是与第一终端设备所获取的播放视频流为同一路流；或者目标云应用服务器对渲染生成的应用画面进行采集和重新编码后生成固定参数的第二待投放视频流，该第二待投放视频流的码率低于第一终端设备所播放视频流的码率；再或者目标应用服务器根据第二终端设备的性能参数对渲染生成的应用画面进行采集和重新编码后生成适配第二终端设备的第二待投放视频流。
进而本公开实施例可以实现第一终端设备本地应用的投屏和云应用的投屏。本公开一可能的实施例中，上述方法，还包括如下步骤A10：
步骤A10、在按照所述第一方式投屏过程中，若发生了由本地投屏状态切换至云端投屏状态的触发事件，则停止按照所述第一方式进行投屏的操作，切换至按照所述第二方式进行投屏的操作。
可选地，上述第二终端设备根据第一终端设备与第二终端设备所播放视频流之间的同步状态和/或由按照第一方式进行投屏切换至按照第二方式进行投屏操作的切换过程所占用的时间，显示预加载画面。
可选地，上述由本地投屏状态切换至云端投屏状态的触发事件，包括：
所述第一终端设备所请求启动的指定云应用在目标云应用服务器上启动成功。
在指定云应用在目标云应用服务器上启动成功后，第一终端设备开始从目标云应用服务器上收流，此时第一终端设备的投屏的状态会从本地投屏状态切换至云端投屏状态。
本公开一可能的实施例中，上述方法，还包括如下步骤B10：
步骤B10、在按照所述第二方式投屏过程中，若发生了由云端投屏状态切换至本地投屏状态的触发事件，则停止按照所述第二方式进行投屏操作，切换至按照所述第一方式进行投屏操作。
可选地，上述由云端投屏状态切换至本地投屏状态的触发事件，包括：
所述第一终端设备所请求启动的指定云应用在所述目标云应用服务器上结束运行。
图5是本公开一示例性实施例示出的一种投屏的方法的流程示意图；参照图5所示的实施例，以VR头盔投屏至机顶盒为例，第一终端设备的客户端集成有投屏控制模块和流化APK(Android application package，Android应用程序包)，在客户端启动后，如果是处于投屏开启的状态，则投屏控制模块启动应用画面的采集和编码，生成第一待投放视频流存储至缓存，并发送第一待投放视频流的获取地址至机顶盒，机顶盒根据该获取地址向投屏控制模块请求获取投放视频流，投屏控制模块向机顶盒推流；在流化APK检测到指定云应用在云应用服务器启动后，流化APK开始接收云应用服务器发送的目标云应用的视频流，流化APK通知投屏控制模块，投屏控制模块停止画面采集编码和推流工作，流化APK向机顶盒发送第二待投放视频流的获取地址，并通知云应用服务器生成第二待投放视频流，机顶盒根据该第二待投放视频流的获取地址向云应用服务器请求获取第二待投放视频流，云应用服务器向机顶盒进行第二待投放视频流的推流工作，在流化APK停止收流以后，继续通知投屏控制模块进行本地投屏，启动画面的采集和编码工作。
图6是本公开一示例性实施例示出的一种投屏的系统示意图；参照图6所示，该投屏的系统包括：第一终端设备10、第二终端设备20和云应用服务器30。
上述第一终端设备，用于在检测到投屏开启后，判断当前所满足的投屏状态；
如果当前满足本地投屏状态，则按照以下第一方式进行投屏：
对本地所生成的画面数据和音频数据进行采集和编码，生成第一待投放视频流；
通过与待进行投屏的第二终端设备之间建立的第一数据传输通道，将所述第一待投放视频流推送至所述第二终端设备；
如果当前满足云端投屏状态，则按照以下第二方式进行投屏：
触发目标云应用服务器生成第二待投放视频流，并通过与所述第二终端设备之间建立的第二数据传输通道，将所述第二待投放视频流推送至所述第二终端设备；
其中，在所述云端投屏状态下，所述第一终端设备所播放的指定云应用视频流是从所述目标云应用服务器获取得到的；
所述第二终端设备，用于对接收到的投放视频流进行解码播放；
所述云应用服务器用于响应于接收到的所述第一终端设备发送的指定云应用的启动请求，启动所述指定云应用，以及响应第一终端设备在云端投屏状态下的投屏触发操作生成该指定云应用的第二待投放视频流，并通过与所述第二终端设备之间建立的第二数据传输通道，将所述第二待投放视频流推送至所述第二终端设备。
本公开实施例中，上述的第二终端设备的数量可以是一个或者多个；在为多个的情况下，可以实现将第一终端设备上所呈现的视频流同时投送至多个终端设备进行显示。
本公开一可选的实施例这种，上述第一终端设备，还用于：在按照所述第一方式投屏过程中，若发生了由本地投屏状态切换至云端投屏状态的触发事件，则停止按照所述第一方式进行投屏的操作，切换至按照所述第二方式进行投屏的操作。
上述由本地投屏状态切换至云端投屏状态的触发事件，包括：第一终端设备所请求启动的指定云应用在目标云应用服务器上启动成功。
本公开一可选的实施例中，上述第一终端设备，还用于：在按照所述第二方式投屏过程中，若发生了由云端投屏状态切换至本地投屏状态的触发事件，则停止按照所述第二方式进行投屏操作，切换至按照所述第一方式进行投屏操作。
上述由云端投屏状态切换至本地投屏状态的触发事件，包括：第一终端设备所请求启动的指定云应用在所述目标云应用服务器上结束运行。
本公开实施例所提供的投屏的系统，按照上述方法实施例中所述的方案实现在第一终端设备上云游戏客户端启动后，将第一终端设备上所呈现的视频流同时投放至第二终端设备上进行播放。
图7是本公开一示例性实施例示出的一种投屏的装置的结构示意图；参照图7所示，该投屏的装置400应用于第一终端设备，该装置400，包括：
判断模块401，用于在检测到投屏开启后，判断当前所满足的投屏状态；
第一投屏模块402，用于如果当前满足本地投屏状态，则按照以下第一方式进行投屏：
对本地所生成的画面数据和音频数据进行采集和编码，生成第一待投放视频流；
通过与待进行投屏的第二终端设备之间建立的第一数据传输通道，将所述第一待投放视频流推送至所述第二终端设备，以使所述第二终端设备对接收到的视频流进行解码播放；
第二投屏模块403，用于如果当前满足云端投屏状态，则按照以下第二方式进行投屏：
触发目标云应用服务器生成第二待投放视频流，并通过与所述第二终端设备之间建立的第二数据传输通道，将所述第二待投放视频流推送至所述第二终端设备，以使所述第二终端设备对接收到的视频流进行解码播放；
其中，在所述云端投屏状态下，所述第一终端设备所播放的指定云应用视频流是从所述目标云应用服务器获取得到的。
可选地，上述装置400，还包括：
第一切换模块(图中未示出)，用于在按照所述第一方式投屏过程中，若发生了由本地投屏状态切换至云端投屏状态的触发事件，则停止按照所述第一方式进行投屏的操作，切换至按照所述第二方式进行投屏的操作。
可选地，所述由本地投屏状态切换至云端投屏状态的触发事件，包括：
所述第一终端设备所请求启动的指定云应用在目标云应用服务器上启动成功。
可选地，上述装置400，还包括：
第二切换模块，用于在按照所述第二方式投屏过程中，若发生了由云端投屏状态切换至本地投屏状态的触发事件，则停止按照所述第二方式进行投屏操作，切换至按照所述第一方式进行投屏操作。
可选地，所述由云端投屏状态切换至本地投屏状态的触发事件，包括：
所述第一终端设备所请求启动的指定云应用在所述目标云应用服务器上结束运行。
本公开另一实施例中还提供了一种机器可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的投屏方法的步骤。以实现在第一终端设备所播放的画面是本地生成的状态下，在投屏时第一终端设备对在本地生成的游戏画面数据和音频数据进行采集和编码生成第一待投放视频流，将该第一待投放视频流发送至第二终端设备；如果第一终端设备所播放的画面来源于云应用服务器，则由云应用服务器生成第二待投放视频流，将该第二待投放视频流发送至第二终端设备进行解码播放，本实施例相对于现有的投屏方式，对第一终端设备的带宽要求较低，并且降低了第一终端设备的功耗，能满足玩家的用户体验和投屏观看者的观看体验。
图7是本公开本公开实施例示出的一种电子设备的结构示意图。参照图7所示，该电子设备500，至少包括存储器(机器可读存储介质)502和处理器501；所述存储器502通过通信总线503和所述处理器501连接，用于存储所述处理器501可执行的指令代码；所述处理器501用于从所述存储器502读取和执行指令代码以实现上述任一实施例所述的投屏方法的步骤。以实现在第一终端设备所播放的画面是本地生成的状态下，在投屏时第一终端设备对在本地生成的游戏画面数据和音频数据进行采集和编码生成第一待投放视频流，将该第一待投放视频流发送至第二终端设备；如果第一终端设备所播放的画面来源于云应用服务器，则由云应用服务器生成第二待投放视频流，将该第二待投放视频流发送至第二终端设备进行解码播放，本实施例相对于现有的投屏方式，对第一终端设备的带宽要求较低，并且降低了第一终端设备的功耗，能满足玩家的用户体验和投屏观看者的观看体验。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。
Claims (10)
1.一种投屏的方法，其特征在于，所述方法应用于第一终端设备，所述方法，包括：
所述第一终端设备在检测到投屏开启后，判断当前所满足的投屏状态；
如果当前满足本地投屏状态，则按照以下第一方式进行投屏：
对本地所生成的画面数据和音频数据进行采集和编码，生成第一待投放视频流；
通过与待进行投屏的第二终端设备之间建立的第一数据传输通道，将所述第一待投放视频流推送至所述第二终端设备，以使所述第二终端设备对接收到的视频流进行解码播放；
如果当前满足云端投屏状态，则按照以下第二方式进行投屏：
触发目标云应用服务器生成第二待投放视频流，通过与所述第二终端设备之间建立的第二数据传输通道，将所述第二待投放视频流推送至所述第二终端设备，以使所述第二终端设备对接收到的视频流进行解码播放；
其中，在所述云端投屏状态下，所述第一终端设备所播放的指定云应用视频流是从所述目标云应用服务器获取得到的。
2.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
在按照所述第一方式投屏过程中，若发生了由本地投屏状态切换至云端投屏状态的触发事件，则停止按照所述第一方式进行投屏的操作，切换至按照所述第二方式进行投屏的操作。
3.根据权利要求2所述的方法，其特征在于，所述由本地投屏状态切换至云端投屏状态的触发事件，包括：
所述第一终端设备所请求启动的指定云应用在目标云应用服务器上启动成功。
4.根据权利要求1或2所述的方法，其特征在于，所述方法，还包括：
在按照所述第二方式投屏过程中，若发生了由云端投屏状态切换至本地投屏状态的触发事件，则停止按照所述第二方式进行投屏操作，切换至按照所述第一方式进行投屏操作。
5.根据权利要求4所述的方法，其特征在于，所述由云端投屏状态切换至本地投屏状态的触发事件，包括：
所述第一终端设备所请求启动的指定云应用在所述目标云应用服务器上结束运行。
6.一种投屏的系统，其特征在于，所述系统包括：第一终端设备、第二终端设备和云应用服务器；
所述第一终端设备，用于在检测到投屏开启后，判断当前所满足的投屏状态；
如果当前满足本地投屏状态，则按照以下第一方式进行投屏：
对本地所生成的画面数据和音频数据进行采集和编码，生成第一待投放视频流；
通过与待进行投屏的第二终端设备之间建立的第一数据传输通道，将所述第一待投放视频流推送至所述第二终端设备；
如果当前满足云端投屏状态，则按照以下第二方式进行投屏：
触发目标云应用服务器生成第二待投放视频流，通过与所述第二终端设备之间建立的第二数据传输通道，将所述第二待投放视频流推送至所述第二终端设备；
其中，在所述云端投屏状态下，所述第一终端设备所播放的指定云应用视频流是从所述目标云应用服务器获取得到的；
所述第二终端设备，用于对接收到的投放视频流进行解码播放；
所述云应用服务器用于响应于接收到的所述第一终端设备发送的指定云应用的启动请求，启动所述指定云应用，以及响应第一终端设备在云端投屏状态下的投屏触发操作生成该指定云应用的第二待投放视频流，并通过与所述第二终端设备之间建立的第二数据传输通道，将所述第二待投放视频流推送至所述第二终端设备。
7.根据权利要求6所述的系统，其特征在于，所述第一终端设备，还用于：
在按照所述第一方式投屏过程中，若发生了由本地投屏状态切换至云端投屏状态的触发事件，则停止按照所述第一方式进行投屏的操作，切换至按照所述第二方式进行投屏的操作。
8.根据权利要求6或7所述的系统，其特征在于，所述第一终端设备，还用于：
在按照所述的第二方式投屏过程中，若发生了由云端投屏状态切换至本地投屏状态的触发事件，则停止按照所述第二方式进行投屏操作，切换至按照所述第一方式进行投屏操作。
9.一种投屏的装置，其特征在于，所述装置应用于第一终端设备，所述装置，包括：
判断模块，用于在检测到投屏开启后，判断当前所满足的投屏状态；
第一投屏模块，用于如果当前满足本地投屏状态，则按照以下第一方式进行投屏：
对本地所生成的画面数据和音频数据进行采集和编码，生成第一待投放视频流；
通过与待进行投屏的第二终端设备之间建立的第一数据传输通道，将所述第一待投放视频流推送至所述第二终端设备，以使所述第二终端设备对接收到的视频流进行解码播放；
第二投屏模块，用于如果当前满足云端投屏状态，则按照以下第二方式进行投屏：
触发目标云应用服务器生成第二待投放视频流，通过与所述第二终端设备之间建立的第二数据传输通道，将所述第二待投放视频流推送至所述第二终端设备，以使所述第二终端设备对接收到的视频流进行解码播放；
其中，在所述云端投屏状态下，所述第一终端设备所播放的指定云应用视频流是从所述目标云应用服务器获取得到的。
10.一种机器可读存储介质，其特征在于，机器可读存储介质上存储有若干计算机指令，计算机指令被执行时执行如权利要求1-5任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110396758.1A CN113242435B (zh) | 2021-04-13 | 2021-04-13 | 一种投屏的方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110396758.1A CN113242435B (zh) | 2021-04-13 | 2021-04-13 | 一种投屏的方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113242435A CN113242435A (zh) | 2021-08-10 |
| CN113242435B true CN113242435B (zh) | 2022-05-20 |
Family
ID=77128019
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110396758.1A Active CN113242435B (zh) | 2021-04-13 | 2021-04-13 | 一种投屏的方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113242435B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114760511A (zh) * | 2022-04-21 | 2022-07-15 | 广东悦伍纪网络技术有限公司 | 一种可实现云手机同屏互动的盒子端、系统及其方法 |
| CN115334365A (zh) * | 2022-04-27 | 2022-11-11 | 亦非云科技(上海)有限公司 | 一种智能电视免安装第三方应用即可直接使用的设计方法 |
| CN115150649B (zh) * | 2022-06-14 | 2024-06-25 | 阿里云计算有限公司 | 一种媒体流的播放方法、设备及存储介质 |
| CN115278291A (zh) * | 2022-07-26 | 2022-11-01 | 南京禹步信息科技有限公司 | 一种投屏数据共享方法及系统 |
| CN115460442B (zh) * | 2022-08-11 | 2024-02-20 | 北京罗克维尔斯科技有限公司 | 投屏切换方法、装置、电子设备、可读存储介质和车辆 |
| CN115474080B (zh) * | 2022-09-07 | 2024-02-20 | 长沙朗源电子科技有限公司 | 一种有线投屏控制方法及装置 |
| CN116069284B (zh) * | 2023-02-27 | 2023-06-16 | 南京芯驰半导体科技有限公司 | 投屏方法、硬件系统及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110113304A (zh) * | 2019-03-25 | 2019-08-09 | 视联动力信息技术股份有限公司 | 一种云投屏的方法和视联网系统 |
| CN110389736A (zh) * | 2019-06-05 | 2019-10-29 | 华为技术有限公司 | 一种投屏显示方法及电子设备 |
| CN110381345B (zh) * | 2019-07-05 | 2020-12-15 | 华为技术有限公司 | 一种投屏显示方法及电子设备 |
-
2021
- 2021-04-13 CN CN202110396758.1A patent/CN113242435B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113242435A (zh) | 2021-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113242435B (zh) | 一种投屏的方法、装置及系统 | |
| JP6695449B2 (ja) | ブラウザベースのクラウドゲーム | |
| CN109152955B (zh) | 云游戏中的用户保存数据管理方法 | |
| US11392285B2 (en) | Method and a system for performing scrubbing in a video stream | |
| JP2019171087A (ja) | クラウド上のアプリケーションのための予測的なインスタントプレイ技術 | |
| US20190250773A1 (en) | Methods And Systems For Providing Shortcuts For Fast Load When Moving Between Scenes In Virtual Reality | |
| CN106686446B (zh) | 内容投射方法及移动终端 | |
| US11882188B2 (en) | Methods and systems for maintaining smooth frame rate during transmission of streaming video content | |
| CN110582012B (zh) | 视频切换方法、视频处理方法、装置及存储介质 | |
| TW200939789A (en) | Method for user session transitioning among streaming interactive video servers | |
| US20220193540A1 (en) | Method and system for a cloud native 3d scene game | |
| CN108574877B (zh) | 直播方法、主播端、观众端、设备、系统及存储介质 | |
| CN109218739B (zh) | 视频流的视角切换方法、装置、设备和计算机存储介质 | |
| CN113101654A (zh) | 一种云游戏画面的显示方法、装置及存储介质 | |
| CN112354177A (zh) | 基于webrtc的云游戏即时启动方法、装置及系统 | |
| US9055272B2 (en) | Moving image reproduction apparatus, information processing apparatus, and moving image reproduction method | |
| CN112929716A (zh) | 一种云应用直播互动的方法、装置及系统 | |
| CN112399257A (zh) | 云桌面视频播放方法、服务器、终端及存储介质 | |
| US20130198403A1 (en) | Remote viewing of media content using layered video encoding | |
| CN111246261A (zh) | 一种内容投放的方法、装置及系统 | |
| US11936928B2 (en) | Method, system and device for sharing contents | |
| KR101915065B1 (ko) | Vr 콘텐츠에 대한 라이브 스트리밍 시스템 및 그 시스템의 동작 방법 | |
| US9954718B1 (en) | Remote execution of applications over a dispersed network | |
| CN112954483B (zh) | 数据传输方法、系统及非易失性存储介质 | |
| CN113905225B (zh) | 裸眼3d显示装置的显示控制方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |