CN113923527B - 云游戏的视频数据解码方法、装置、电子设备及存储介质 - Google Patents
云游戏的视频数据解码方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113923527B CN113923527B CN202111163584.0A CN202111163584A CN113923527B CN 113923527 B CN113923527 B CN 113923527B CN 202111163584 A CN202111163584 A CN 202111163584A CN 113923527 B CN113923527 B CN 113923527B
- Authority
- CN
- China
- Prior art keywords
- video data
- game
- decoding
- mode
- cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000009877 rendering Methods 0.000 claims abstract description 50
- 230000008569 process Effects 0.000 claims abstract description 28
- 238000009499 grossing Methods 0.000 claims abstract description 25
- 238000004891 communication Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 9
- 230000011664 signaling Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4781—Games
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23602—Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明实施例提供的一种云游戏的视频数据解码方法、装置、电子设备及存储介质，通过获取云游戏的游戏类型；根据预设的不同游戏类型对应的延迟模式，确定云游戏的游戏类型对应的目标延迟模式，其中，延迟模式包括低延迟模式；当目标延迟模式为低延迟模式时，接收云游戏的游戏视频数据，并通过预设解码方式对待解码的游戏视频数据进行解码，得到待渲染视频数据，其中，预设解码方式为解码过程中不进行时间戳同步；通过第一预设渲染方式对待渲染视频数据进行渲染，得到待显示视频数据。从而节约时间戳的同步和平滑处理所需的时间，减小延迟，提高解码速度和用户的体验。
Description
技术领域
本发明涉及游戏技术领域，特别是涉及一种云游戏的视频数据解码方法、装置、电子设备及存储介质。
背景技术
目前，云游戏对应的游戏程序已经越来越多。在云游戏模式下，所有游戏都在服务器端运行，并将渲染完毕后的游戏画面压缩后通过网络传送给用户的客户端。用户的客户端，只需要对游戏画面解码和播放就可以了。
然而，在用户体验云游戏过程中，由于需要客户端与服务器进行数据交互，因此会产生一定的延迟。如果客户端一直坚持超低延迟，则会对设备和网络通讯造成较大压力，而当延迟较长时，用户能感受到游戏画面的延迟感，影响用户体验。
发明内容
本发明实施例的目的在于提供一种云游戏的视频数据解码方法、装置、电子设备及存储介质，以实现云游戏延迟的控制，提高用户体验效果。具体技术方案如下：
本发明实施例的第一方面提供了一种云游戏的视频数据解码方法，应用于客户端，上述方法包括：
获取云游戏的游戏类型；
根据预设的不同游戏类型对应的延迟模式，确定云游戏的游戏类型对应的目标延迟模式，其中，延迟模式包括低延迟模式；
当目标延迟模式为低延迟模式时，接收云游戏的游戏视频数据，并通过预设解码方式对待解码的游戏视频数据进行解码，得到待渲染视频数据，其中，预设解码方式为解码过程中不进行时间戳同步；
通过第一预设渲染方式对待渲染视频数据进行渲染，得到待显示视频数据，其中，第一预设渲染方式为渲染过程中不进行平滑处理。
可选的，目标延迟模式还包括正常延迟模式，根据预设的不同游戏类型对应的延迟模式，确定云游戏的游戏类型对应的目标延迟模式之后，上述方法还包括：
当目标延迟模式为正常延迟模式时，接收云游戏的游戏视频数据，对接收到的每一视频帧进行时间戳同步并解码，得到待渲染视频数据。
可选的，接收云游戏的游戏视频数据，对接收到的每一视频帧进行时间戳同步并解码，得到待渲染视频数据之后，上述方法还包括：
对待渲染视频数据进行平滑处理并渲染，得到待显示视频数据。
可选的，接收云游戏的游戏视频数据，对接收到的每一视频帧进行时间戳同步并解码，得到待渲染视频数据，包括：
获取当前的网络速度；
当网络速度大于预设阈值时，接收云游戏的游戏视频数据并进行缓存；
对缓存后的述云游戏的游戏视频数据中的每一视频帧进行时间戳同步并解码，得到待渲染视频数据。
可选的，接收云游戏的游戏视频数据，并通过预设解码方式对待解码的游戏视频数据进行解码，得到待渲染视频数据，包括：
获取客户端的硬件配置信息；
根据预设的不同硬件配置信息对应的解码方式，确定客户端对应的目标解码方式，其中，解码方式包括软解和硬解；
接收云游戏的游戏视频数据，并通过目标解码方式对待解码的游戏视频数据进行解码，得到待渲染视频数据。
本发明实施例的第二方面提供了一种云游戏的视频数据解码装置，应用于客户端，上述装置包括：
类型获取模块，用于获取云游戏的游戏类型；
模式获取模块，用于根据预设的不同游戏类型对应的延迟模式，确定云游戏的游戏类型对应的目标延迟模式，其中，延迟模式包括低延迟模式；
视频解码模块，用于当目标延迟模式为低延迟模式时，接收云游戏的游戏视频数据，并通过预设解码方式对待解码的游戏视频数据进行解码，得到待渲染视频数据，其中，预设解码方式为解码过程中不进行时间戳同步；
视频渲染模块，用于通过第一预设渲染方式对待渲染视频数据进行渲染，得到待显示视频数据，其中，第一预设渲染方式为渲染过程中不进行平滑处理。
可选的，目标延迟模式还包括正常模式，上述装置还包括：
正常解码模块，用于当目标延迟模式为正常延迟模式时，接收云游戏的游戏视频数据，对接收到的每一视频帧进行时间戳同步并解码，得到待渲染视频数据。
可选的，上述装置还包括：
正常渲染模块，用于对待渲染视频数据进行平滑处理并渲染，得到待显示视频数据。
可选的，视频解码模块，包括：
网络获取子模块，用于获取当前的网络速度；
数据缓存子模块，用于当网络速度大于预设阈值时，接收云游戏的游戏视频数据并进行缓存；
缓存解码子模块，用于对缓存后的述云游戏的游戏视频数据中的每一视频帧进行时间戳同步并解码，得到待渲染视频数据。
可选的，视频解码模块，包括：
配置信息获取子模块，用于获取客户端的硬件配置信息；
解码方式确定子模块，用于根据预设的不同硬件配置信息对应的解码方式，确定客户端对应的目标解码方式，其中，解码方式包括软解和硬解；
解码子模块，用于接收云游戏的游戏视频数据，并通过目标解码方式对待解码的游戏视频数据进行解码，得到待渲染视频数据。
在本发明实施的又一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一云游戏的视频数据解码方法。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一云游戏的视频数据解码方法。
在本发明实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一云游戏的视频数据解码方法。
本发明实施例提供的一种云游戏的视频数据解码方法、装置、电子设备及存储介质，通过获取云游戏的游戏类型；根据预设的不同游戏类型对应的延迟模式，确定云游戏的游戏类型对应的目标延迟模式，其中，延迟模式包括低延迟模式；当目标延迟模式为低延迟模式时，接收云游戏的游戏视频数据，并通过预设解码方式对待解码的游戏视频数据进行解码，得到待渲染视频数据，其中，预设解码方式为解码过程中不进行时间戳同步；通过第一预设渲染方式对待渲染视频数据进行渲染，得到待显示视频数据，其中，第一预设渲染方式为渲染过程中不进行平滑处理。从而实现根据云游戏的游戏类型，确定云游戏对应的延迟模式，当云游戏的游戏类型对应的延迟模式是低延迟模式时，可以通过不进行时间戳的同步和平滑处理的方式，从而节约时间戳的同步和平滑处理所需的时间，减小延迟，提高解码速度和用户的体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的云游戏的视频数据解码方法的一种流程图；
图2为本申请实施例提供的对游戏视频数据进行解码的流程图；
图3为本申请实施例提供的一种云游戏延迟控制方法的实例图；
图4为本申请实施例提供的云游戏的视频数据解码装置的一种结构示意图；
图5为本申请实施例提供的一种电子设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
为了解决现有技术中如何实现云游戏延迟的控制的问题，本申请实施例提供了一种云游戏的视频数据解码方法、装置、电子设备及存储介质：
获取云游戏的游戏类型；
根据预设的不同游戏类型对应的延迟模式，确定云游戏的游戏类型对应的目标延迟模式，其中，延迟模式包括低延迟模式；
当目标延迟模式为低延迟模式时，接收云游戏的游戏视频数据，并通过预设解码方式对待解码的游戏视频数据进行解码，得到待渲染视频数据，其中，预设解码方式为解码过程中不进行时间戳同步；
通过第一预设渲染方式对待渲染视频数据进行渲染，得到待显示视频数据，其中，第一预设渲染方式为渲染过程中不进行平滑处理。
可见，通过本申请实施例的方法可以根据游戏的类型选择对应的延迟模型，当为低延迟模式时，可以通过不进行时间戳同步和不进行平滑处理的方式进行解码和渲染，从而提高解码的速度，提高用户的体验。
下面通过具体实施例对本申请实施例提供的云游戏的视频数据解码方法进行详细说明。参见图1，图1为本申请实施例提供的云游戏的视频数据解码方法的一种流程图，包括：
步骤S11，获取云游戏的游戏类型。
其中，本申请中的云游戏的游戏类型可以包括：休闲类、动作类、解密类等。在实际使用中，也可以将游戏类型划分为对游戏的延迟要求较低的游戏，如，休闲类的象棋、五子棋等；和对游戏的延迟要求较高的动作，如，动作类的格斗、对战等。本申请中的延迟模式可以包括低延迟模式和正常延迟模式，其中低延时模式的延迟小于正常延迟模式。例如，在实际使用过程中低延迟模式的总延迟时间为120ms，正常模式的总延迟时间为120ms-300ms。
本申请实施例中，客户端可以是运行云游戏客户端程序的智能终端，该智能终端可以为实体设备，其可以是支持具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机等。
步骤S12，根据预设的不同游戏类型对应的延迟模式，确定云游戏的游戏类型对应的目标延迟模式。
其中，上述延迟模式包括低延迟模式。在根据预设的不同游戏类型对应的延迟模式时，可以通过预先创建对应规则，设定不同游戏类型对应的延迟模式。例如，动作类型的游戏对应低延迟模式，休闲类的游戏和解密类型的游戏对应正常延迟模式。在获取到云游戏的游戏类型之后，可以根据获取到云游戏的游戏类型与预先创建的对应规则进行匹配，得到当前获取的云游戏的游戏类型对应的目标延迟模式。
步骤S13，当目标延迟模式为低延迟模式时，接收云游戏的游戏视频数据，并通过预设解码方式对待解码的游戏视频数据进行解码，得到待渲染视频数据，其中，预设解码方式为解码过程中不进行时间戳同步。
可选的，目标延迟模式还包括正常延迟模式，根据预设的不同游戏类型对应的延迟模式，确定云游戏的游戏类型对应的目标延迟模式之后，上述方法还包括：当目标延迟模式为正常延迟模式时，接收云游戏的游戏视频数据，对接收到的每一视频帧进行时间戳同步并解码，得到待渲染视频数据。
具体的，当云游戏对应的目标延迟模式为低延迟模式时，每接收到一帧待解码的游戏视频帧后，不进行时间戳同步，直接进行解码；当目标云游戏对应的目标延迟模式为正常延迟模式时，每接收到一帧待解码的游戏视频帧后，先进行时间戳同步，再进行解码。其中，当云游戏对应的目标延迟模式为低延迟模式时，通过在解码的过程中不进行时间戳的同步，可以减少解码过程的用时，从而降低延迟。
可选的，接收云游戏的游戏视频数据，对接收到的每一视频帧进行时间戳同步并解码，得到待渲染视频数据，包括：当目标延迟模式为正常延迟模式时，获取当前的网络速度；当网络速度大于预设阈值时，接收云游戏的游戏视频数据并进行缓存；对缓存后的述云游戏的游戏视频数据中的每一视频帧进行时间戳同步并解码，得到待渲染视频数据。
例如，当目标延迟模式为正常延迟模式时，会将接收到的待解码的视频数据先缓存在Jitter buffer(抖动缓冲器)中，然后进行时间戳的同步，同步后判断是否进行解码，若解码则根据同步后的时间进行解码。其中，本申请中的时间戳可以是能唯一地标识某一刻的时间的一个字符序列，对待解码的视频帧进行时间戳同步，可以是接收到完整的frame(帧)对该视频帧中的各个部分进行时间戳的同步，也可以是对画面和声音进行时间戳的同步。在实际使用过程中，待解码的视频数据中的视频帧与音频帧可以选用不同的解码器进行解码，针对视频帧可以根据云游戏对应的目标延迟模式对待解码的视频数据进行解码。
具体的，在正常延迟模式下，可以对当前的网络环境进行监测，当检测到网络环境良好时，可以对接收到的视频数据进行缓存。具体的，对接收到视频数据进行缓存，可以是将接收到的视频数据缓存在Jitter buffer中。其中缓存的时长和数据量的多少可以根据实际情况设定，例如，可以是10帧等。
在实际使用过程中，在接收待解码的视频数据之前，所述方法还包括通过云游戏的客户端与后端服务器进行信令交互，请求接收待解码视频数据，例如，通过手机端的APP(Application，应用程序)与SFU服务器(Selective Forwarding Unit)进行信令交换，服务器通过信令交换获取客户端对应的模式为低延时模式还是正常模式，然后向客户端发送待解码视频数据。例如，可以通过信令交换，获取客户端对应的游戏类型、网络情况、客户端的配置等信息。从而通过获取到的客户端的信息确定目标延迟模式为低延迟模式还是正常延迟模式。
步骤S14，通过第一预设渲染方式对待渲染视频数据进行渲染，得到待显示视频数据。
其中，第一预设渲染方式为渲染过程中不进行平滑处理。本公开中的视频数据的渲染过程可以包括：平滑处理、视频渲染等。在根据云游戏的游戏类型对应的目标延迟模式对待显示的视频数据进行渲染时，可以根据云游戏的游戏类型对应的延迟模式选择是否不平滑处理直接进行视频渲染。
可选的，接收云游戏的游戏视频数据，对接收到的每一视频帧进行时间戳同步并解码，得到待渲染视频数据之后，上述方法还包括：对待渲染视频数据进行平滑处理并渲染，得到待显示视频数据。其中，对接收到待显示的视频数据进行平滑处理可以通过Intelligent Video Smoother等进行。其中，通过平滑处理可以在解码后插入丢失的帧，从而消除低码率视频关联的抖动，提高视频质量。
可选的，通过第一预设渲染方式对待渲染视频数据进行渲染，得到待显示视频数据之后，上述方法还包括，对待显示视频数据进行显示。具体的，本申请中的客户端可以具有显示功能，根据云游戏的游戏类型对应的延迟模式对待显示的视频数据进行渲染，并通过客户端进行显示，也可以通过客户端与其他具有显示功能的设备进行交互，实现对渲染后的视频数据进行显示。
应用本申请的方法，可以根据云游戏的游戏类型，确定云游戏对应的延迟模式，当云游戏的游戏类型对应的延迟模式是低延迟模式时，可以通过不进行时间戳的同步和平滑处理的方式，从而节约时间戳的同步和平滑处理所需的时间，得到待解码视频数据对应的待显示视频数据所需的时间减少，从而用户观看到显示的视频数据所需的时间也相应减少，用户感知到的延迟减少，从而实现提高解码速度和提高用户的体验。
可选的，参见图2，步骤S12接收待解码的游戏视频数据，并根据目标延迟模式对待解码的游戏视频数据进行解码，得到待显示的视频数据，包括：
步骤S121，获取客户端的硬件配置信息；
步骤S122，根据预设的不同硬件配置信息对应的解码方式，确定客户端对应的目标解码方式，其中，解码方式包括软解和硬解；
步骤S123，接收云游戏的游戏视频数据，并通过目标解码方式对待解码的游戏视频数据进行解码，得到待渲染视频数据。
其中，软解可以是指通过CPU(central processing unit，中央处理器)进行视频解码处理，硬解为通过GPU(Graphics Processing Unit，图形处理器)运算进行视频解码处理。获取客户端的硬件配置信息，可以是获取客户端的CPU和GPU等硬件信息。判断客户端对应的解码方式为软解还是硬解，可以是根据客户端的硬件配置信息，对于CPU性能强而GPU性能弱的客户端使用软解方式进行解码，对于GPU性能强而CPU性能弱的客户端使用硬解方式进行解码。
在实际使用过程中，获取客户端的硬件配置信息，还可以是获取客户端的型号，根据预设设置的软解和硬解对应的名单是否包含获取的客户端的型号，判断客户端对应的解码方式为软解还是硬解。例如，设置软解方式对应的手机型号名单和硬解方式对应的手机型号名单，获取客户端的硬件配置信息时获取手机型号，通过判断该手机型号在软解还是在硬解对应的名单，判断对应该手机的解码方式。
其中，硬解和软解对硬件配置的要求并不相同，通过获取客户端的硬件配置信息之后，通过不同的解码方式进行解码和播放，可以充分利用客户端的配置，提高解码的效率，降低延迟。
应用本申请的方案，可以通过获取客户端的硬件配置信息，判断客户端对应的解码方式为软解还是硬解，对视频数据进行解码时，从而充分利用客户端的配置，提高解码的效率，降低延迟。
参见图3，图3为本申请实施例提供的一种云游戏延迟控制方法的实例图，包括：
云设备启动后，通过云设备的信令模块与SFU(Selective Forwarding Unit)服务器的信令模块进行信令交换，获取云设备上的APP(Application，应用程序)启动播放低延时还是正常模式。本公开中的云设备可以是虚拟设备，也可以是实体设备。示例性的，云设备可以是通过虚拟技术在云服务器上虚拟出的逻辑设备。具体而言，任意一台云服务器上可以虚拟出多台逻辑设备。当云设备是实体设备时，其包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、服务器等。在实践中，云设备可以通过安装云应用来提供相应的服务，比如云设备通过安装云游戏应用来提供云游戏服务，也即云应用运行在云设备上。
通过云设备接收音视频数据将音频数据转发至音频模块，将视频数据转发至视频模块。通过对音频模块接收到的音频数据进行解码，然后通过扬声器进行播放。视频模块接收到视频数据后，判断frame(框架)是否完整，当不完整时，重新获取视频数据。具体的，当云设备为虚拟设备时，可以通过运行该虚拟设备的服务器进行接收音视频数据将音频数据转发至音频模块，将视频数据转发至视频模块，通过对音频模块接收到的音频数据进行解码，然后将解码后的视频数据发送至用户终端，通过用户终端进行播放。当云设备为实体设备时，可以通过该云设备直接接收音视频数据将音频数据转发至音频模块，将视频数据转发至视频模块，通过对音频模块接收到的音频数据进行解码，然后通过云设备自身进行播放，或通过与云设备交互的播放设备进行播放。
针对视频数据，首先判断当前的延迟模式为正常模式还是低延迟模式，当为低延迟模式时，直接进行解码，当为正常模式时，首先进行时间戳的同步然后进行解码。对于解码后的视频数据，当为低延迟模式时，直接进行渲染，然后进行播放，当为正常模式时，先进行平滑处理，然后进行渲染和播放。
其中，云设备的信令模块与SFU服务器的信令模块进行信令交换，可以通过通信模块建立通信连接，通信模块可以内置于云设备或者独立于云设备。SFU服务器可以向云设备发送数据流，云设备用于展示数据流。同时，云设备还可以采集用户的操作数据并向SFU服务器发送
参见图4，图4为本申请实施例提供的一种云游戏延迟控制装置的示意图，该云游戏延迟控制装置应用于云游戏的客户端，云游戏延迟控制装置包括：
类型获取模块401，用于获取云游戏的游戏类型；
模式获取模块402，用于根据预设的不同游戏类型对应的延迟模式，确定云游戏的游戏类型对应的目标延迟模式，其中，延迟模式包括低延迟模式；
视频解码模块403，用于当目标延迟模式为低延迟模式时，接收云游戏的游戏视频数据，并通过预设解码方式对待解码的游戏视频数据进行解码，得到待渲染视频数据，其中，预设解码方式为解码过程中不进行时间戳同步；
视频渲染模块404，用于通过第一预设渲染方式对待渲染视频数据进行渲染，得到待显示视频数据，其中，第一预设渲染方式为渲染过程中不进行平滑处理。
可选的，目标延迟模式还包括正常模式，上述装置还包括：
正常解码模块，用于当目标延迟模式为正常延迟模式时，接收云游戏的游戏视频数据，对接收到的每一视频帧进行时间戳同步并解码，得到待渲染视频数据。
可选的，上述装置还包括：
正常渲染模块，用于对待渲染视频数据进行平滑处理并渲染，得到待显示视频数据。
可选的，视频解码模块403，包括：
网络获取子模块，用于当目标延迟模式为正常延迟模式时，获取当前的网络速度；
数据缓存子模块，用于当网络速度大于预设阈值时，接收云游戏的游戏视频数据并进行缓存；
缓存解码子模块，用于对缓存后的述云游戏的游戏视频数据中的每一视频帧进行时间戳同步并解码，得到待渲染视频数据。
可选的，视频解码模块403，包括：
配置信息获取子模块，用于当目标延迟模式为低延迟模式时，获取客户端的硬件配置信息；
解码方式确定子模块，用于根据预设的不同硬件配置信息对应的解码方式，确定客户端对应的目标解码方式，其中，解码方式包括软解和硬解；
解码子模块，用于接收云游戏的游戏视频数据，并通过目标解码方式对待解码的游戏视频数据进行解码，得到待渲染视频数据。
应用本申请的装置，可以根据云游戏的游戏类型，确定云游戏对应的延迟模式，当云游戏的游戏类型对应的延迟模式是低延迟模式时，可以通过不进行时间戳的同步和平滑处理的方式，从而节约时间戳的同步和平滑处理所需的时间，减小延迟，提高解码速度和用户的体验。
本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现如下步骤：
根据目标云游戏的游戏类型，确定目标云游戏对应的延迟模式；
接收待解码的视频数据，并根据目标云游戏对应的延迟模式对待解码的视频数据进行解码，得到待显示的视频数据；
根据目标云游戏对应的延迟模式对待显示的视频数据进行渲染，并通过客户端进行显示。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中任一云游戏延迟控制方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一云游戏延迟控制方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种云游戏的视频数据解码方法，其特征在于，应用于客户端，所述方法包括：
获取云游戏的游戏类型；
根据预设的不同游戏类型对应的延迟模式，确定所述云游戏的游戏类型对应的目标延迟模式，其中，所述延迟模式包括低延迟模式，所述游戏类型包括动作类型、休闲类型和解密类型；
当所述目标延迟模式为低延迟模式时，接收所述云游戏的游戏视频数据，并通过预设解码方式对待解码的游戏视频数据进行解码，得到待渲染视频数据，其中，所述预设解码方式为解码过程中不进行时间戳同步直接进行解码；
通过第一预设渲染方式对所述待渲染视频数据进行渲染，得到待显示视频数据，其中，所述第一预设渲染方式为渲染过程中不进行平滑处理。
2.根据权利要求1所述的方法，其特征在于，所述目标延迟模式还包括正常延迟模式，所述根据预设的不同游戏类型对应的延迟模式，确定所述云游戏的游戏类型对应的目标延迟模式之后，所述方法还包括：
当所述目标延迟模式为正常延迟模式时，接收所述云游戏的游戏视频数据，对接收到的每一视频帧进行时间戳同步并解码，得到所述待渲染视频数据。
3.根据权利要求2所述的方法，其特征在于，所述当所述目标延迟模式为正常延迟模式时，接收所述云游戏的游戏视频数据，对接收到的每一视频帧进行时间戳同步并解码，得到所述待渲染视频数据之后，所述方法还包括：
对所述待渲染视频数据进行平滑处理并渲染，得到所述待显示视频数据。
4.根据权利要求2所述的方法，其特征在于，所述接收所述云游戏的游戏视频数据，对接收到的每一视频帧进行时间戳同步并解码，得到所述待渲染视频数据，包括：
获取当前的网络速度；
当所述网络速度大于预设阈值时，接收所述云游戏的游戏视频数据并进行缓存；
对缓存后的述云游戏的游戏视频数据中的每一视频帧进行时间戳同步并解码，得到所述待渲染视频数据。
5.根据权利要求1所述的方法，其特征在于，所述接收所述云游戏的游戏视频数据，并通过预设解码方式对所述待解码的游戏视频数据进行解码，得到待渲染视频数据，包括：
获取所述客户端的硬件配置信息；
根据预设的不同硬件配置信息对应的解码方式，确定所述客户端对应的目标解码方式，其中，所述解码方式包括软解和硬解；
接收所述云游戏的游戏视频数据，并通过所述目标解码方式对所述待解码的游戏视频数据进行解码，得到待渲染视频数据。
6.一种云游戏的视频数据解码装置，其特征在于，应用于客户端，所述装置包括：
类型获取模块，用于获取云游戏的游戏类型；
模式获取模块，用于根据预设的不同游戏类型对应的延迟模式，确定所述云游戏的游戏类型对应的目标延迟模式，其中，所述延迟模式包括低延迟模式，所述游戏类型包括动作类型、休闲类型和解密类型；；
视频解码模块，用于当所述目标延迟模式为低延迟模式时，接收所述云游戏的游戏视频数据，并通过预设解码方式对待解码的游戏视频数据进行解码，得到待渲染视频数据，其中，所述预设解码方式为解码过程中不进行时间戳同步直接进行解码；
视频渲染模块，用于通过第一预设渲染方式对所述待渲染视频数据进行渲染，得到待显示视频数据，其中，所述第一预设渲染方式为渲染过程中不进行平滑处理。
7.根据权利要求6所述的装置，其特征在于，所述目标延迟模式还包括正常模式，所述装置还包括：
正常解码模块，用于当所述目标延迟模式为正常延迟模式时，接收所述云游戏的游戏视频数据，对接收到的每一视频帧进行时间戳同步并解码，得到所述待渲染视频数据。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
正常渲染模块，用于对所述待渲染视频数据进行平滑处理并渲染，得到所述待显示视频数据。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111163584.0A CN113923527B (zh) | 2021-09-30 | 2021-09-30 | 云游戏的视频数据解码方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111163584.0A CN113923527B (zh) | 2021-09-30 | 2021-09-30 | 云游戏的视频数据解码方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113923527A CN113923527A (zh) | 2022-01-11 |
| CN113923527B true CN113923527B (zh) | 2023-09-05 |
Family
ID=79237695
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111163584.0A Active CN113923527B (zh) | 2021-09-30 | 2021-09-30 | 云游戏的视频数据解码方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113923527B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104137559A (zh) * | 2012-02-28 | 2014-11-05 | 高通股份有限公司 | 在无线显示系统中的宿设备处的定制回放 |
| CN111372138A (zh) * | 2018-12-26 | 2020-07-03 | 杭州登虹科技有限公司 | 一种播放器端的直播低延迟技术方案 |
| CN111882626A (zh) * | 2020-08-06 | 2020-11-03 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、服务器及介质 |
| CN113423018A (zh) * | 2021-08-24 | 2021-09-21 | 腾讯科技（深圳）有限公司 | 一种游戏数据处理方法、装置及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2583511B (en) * | 2019-05-02 | 2024-01-10 | Sony Interactive Entertainment Inc | Method of and system for controlling the rendering of a video game instance |
| US11344799B2 (en) * | 2019-10-01 | 2022-05-31 | Sony Interactive Entertainment Inc. | Scene change hint and client bandwidth used at encoder for handling video frames after a scene change in cloud gaming applications |
-
2021
- 2021-09-30 CN CN202111163584.0A patent/CN113923527B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104137559A (zh) * | 2012-02-28 | 2014-11-05 | 高通股份有限公司 | 在无线显示系统中的宿设备处的定制回放 |
| CN111372138A (zh) * | 2018-12-26 | 2020-07-03 | 杭州登虹科技有限公司 | 一种播放器端的直播低延迟技术方案 |
| CN111882626A (zh) * | 2020-08-06 | 2020-11-03 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、服务器及介质 |
| CN113423018A (zh) * | 2021-08-24 | 2021-09-21 | 腾讯科技（深圳）有限公司 | 一种游戏数据处理方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113923527A (zh) | 2022-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108066986B (zh) | 一种流媒体确定方法及装置和存储介质 | |
| CN108079578B (zh) | 一种基于云游戏的码率调整方法、装置及存储介质 | |
| CA2814420C (en) | Load balancing between general purpose processors and graphics processors | |
| US9814979B2 (en) | Data provision system, provision apparatus, execution apparatus, control method, and recording medium | |
| CN109889576B (zh) | 一种基于博弈论的移动云游戏资源优化方法 | |
| EP3202472A1 (en) | Method for selecting a display capturing mode | |
| EP3410290B1 (en) | Audio processing method, server, user equipment, and system | |
| CN106559679A (zh) | 视频解码的方法、服务器和移动终端 | |
| JP7476327B2 (ja) | オーディオデータ処理方法、遅延時間取得方法、サーバ、及びコンピュータプログラム | |
| US11540028B2 (en) | Information presenting method, terminal device, server and system | |
| WO2017096885A1 (zh) | 视频播放方法及装置 | |
| US20170201563A1 (en) | Video data providing method, video playback method, device, and system | |
| WO2022037261A1 (zh) | 音频播放、设备管理方法及装置 | |
| KR102110195B1 (ko) | 응용 프로그램의 스트리밍 영상 제공 장치 및 방법 | |
| US20180213232A1 (en) | Graphical instruction data processing method and apparatus, and system | |
| WO2019114330A1 (zh) | 一种视频播放方法、装置和终端设备 | |
| WO2017202175A1 (zh) | 一种视频压缩方法、装置及电子设备 | |
| CN107333163A (zh) | 一种视频处理方法及装置、一种终端及存储介质 | |
| KR20160039888A (ko) | 클라우드 스트리밍 서비스 시스템, 최적 gpu를 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| US20170304727A1 (en) | User Save Data Migration Based on Location Information | |
| CN112929728A (zh) | 一种视频渲染方法、装置、系统、电子设备及存储介质 | |
| CN106454393A (zh) | 一种视频缓存方法及装置 | |
| CN111475240B (zh) | 数据处理方法及系统 | |
| CN113923527B (zh) | 云游戏的视频数据解码方法、装置、电子设备及存储介质 | |
| JP2002085850A (ja) | ゲームシステムおよび情報記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |