CN115119049A - 一种支持云游戏一起玩的动态编码方法 - Google Patents

一种支持云游戏一起玩的动态编码方法 Download PDF

Info

Publication number
CN115119049A
CN115119049A CN202210713215.2A CN202210713215A CN115119049A CN 115119049 A CN115119049 A CN 115119049A CN 202210713215 A CN202210713215 A CN 202210713215A CN 115119049 A CN115119049 A CN 115119049A
Authority
CN
China
Prior art keywords
client
frame
frame sequence
game
streaming process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210713215.2A
Other languages
English (en)
Other versions
CN115119049B (zh
Inventor
李越
邹琼
周双全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Rayvision Technology Co ltd
Original Assignee
Shenzhen Rayvision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Rayvision Technology Co ltd filed Critical Shenzhen Rayvision Technology Co ltd
Priority to CN202210713215.2A priority Critical patent/CN115119049B/zh
Publication of CN115119049A publication Critical patent/CN115119049A/zh
Application granted granted Critical
Publication of CN115119049B publication Critical patent/CN115119049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/847—Cooperative playing, e.g. requiring coordinated actions from several players to achieve a common goal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开一种支持云游戏一起玩的动态编码方法，包括以下步骤：S1：客户端A与游戏串流进程建立串流连接；S2：游戏串流进程开始进行画面编码，帧序列为IPPP…P；S3：客户端A接收到帧序列，进行解码并渲染画面；S4：客户端B此时开始与游戏串流进程建立串流连接；S5：游戏串流进程在目前的帧序列中插入最新的I帧，并将此帧序列数据同时推送给客户端A、客户端B；S6：此时客户端A收到的帧序列为IPPP…PIPPP…P，客户端B收到的帧序列为IPPP…P。由于游戏串流进程给客户端A、客户端B输出的帧序列都是相同的，没有了诸多的显卡驱动限制所带来的瓶颈；提高了单张显卡所能支持的一起玩的用户数量，有效节约成本。

Description

一种支持云游戏一起玩的动态编码方法
技术领域
本发明涉及云游戏技术领域，尤其涉及一种支持云游戏一起玩的动态编码方法。
背景技术
在云游戏场景下存在有一起玩的游戏使用场景，即一个人邀请另一个人一起玩同一个云游戏进程，此时输入具有多个来源，但是游戏画面输出是需要同步输出到多个用户终端的客户端。
当一个云游戏在进行多个人一起玩的时候，因为要保持多个终端的画面实时同步，则需要进行多路的视频编码，目前存在一种方式是每增加一个用户，则为此用户单独开启一路串流并独立编码，这种方式存在以下问题：
1、在消费级的NVIDIA显卡上，只允许同时调用3路编码；
2、当用户超过指定数量后，会存在编码性能不足的问题；
3、不同客户端由于存在网络以及客户端自身解码的能力不同，导致不同客户端在同一时间点显示的画面不同，影响游戏体验。
因此，现有技术存在缺陷，需要改进。
发明内容
本发明要解决的技术问题是：提供一种支持云游戏一起玩的动态编码方法，以解决背景技术所提交的技术问题。
本发明的技术方案如下：提供一种支持云游戏一起玩的动态编码方法，包括以下步骤。
S1：客户端A与游戏串流进程建立串流连接。
S2：游戏串流进程开始进行画面编码，帧序列为IPPP…P；所述I帧：关键帧，可被独立编码和解码，编码、解码性能消耗较大，占用空间较大；所述P帧：预测帧，不可被独立编码和解码，需要参考前面的I帧或者P帧来解码成一张完整的视频画面，编码、解码性能消耗较小，占用空间较小。
S3：客户端A接收到帧序列，进行解码并渲染画面。
S4：客户端B此时开始与游戏串流进程建立串流连接。
S5：游戏串流进程检测到有新的客户端连接，游戏串流进程不创建新的编码流程，游戏串流进程在原有的编码流程上重新设置I帧，并在客户端B开始串流之前，在目前的帧序列中插入最新的I帧，并将此帧序列数据同时推送给客户端A、客户端B。
S6：此时客户端A收到的帧序列为IPPP…PIPPP…P，客户端B收到的帧序列为IPPP…P。
当有新的客户端加入时，重复步骤S4、S5、S6。
由于游戏串流进程给客户端A、客户端B输出的帧序列都是相同的，保证画面同步的同时节省了编码消耗，没有了诸多的显卡驱动限制所带来的瓶颈；提高了单张显卡所能支持的一起玩的用户数量，有效节约成本。
所述支持云游戏一起玩的动态编码方法，还包括。S7：云游戏服务器获取客户端A、客户端B展示同一帧画面的时间点，算出客户端A、客户端B显示同一帧画面的时间差Tc；若Tc＜0.01s，本步骤结束，若Tc≥0.01s，进入步骤S8。S8：游戏串流进程对更快显示的客户端发送的帧序列的发送时间延时Tc后发送或者更快显示的客户端对帧序列解码后延时Tc后显示。给显示更快的客户端增加延时，从而抵消显示更坏客户端的显示优势，使各个客户端的在同一时间点显示的帧画面一致，增进用户之间的互动交流。
步骤S7每隔半分钟进行一次。
在步骤S6中，若客户端A、客户端B的帧序列出现丢包时，游戏串流进程在目前的帧序列中重新插入最新的I帧，并将此帧序列数据同时推送给客户端A、客户端B。从而可以进一步确保画面同步，提升用户体验。
采用上述方案，本发明提供一种支持云游戏一起玩的动态编码方法，由于游戏串流进程给客户端A、客户端B输出的帧序列都是相同的，保证画面同步的同时节省了编码消耗，没有了诸多的显卡驱动限制所带来的瓶颈；提高了单张显卡所能支持的一起玩的用户数量，有效节约成本。进一步地，给显示更快的客户端增加延时，从而抵消显示更坏客户端的显示优势，使各个客户端的在同一时间点显示的帧画面一致，增进用户之间的互动交流，增进友谊。
附图说明
图1为本发明一实施例的方法流程图。
具体实施方式
以下结合附图和具体实施例，对本发明进行详细说明。
请参阅图1，本实施例提供一种支持云游戏一起玩的动态编码方法，包括以下步骤。
S1：客户端A与游戏串流进程建立串流连接。
S2：游戏串流进程开始进行画面编码，帧序列为IPPP…P；所述I帧：关键帧，可被独立编码和解码，编码、解码性能消耗较大，占用空间较大；所述P帧：预测帧，不可被独立编码和解码，需要参考前面的I帧或者P帧来解码成一张完整的视频画面，编码、解码性能消耗较小，占用空间较小。
S3：客户端A接收到帧序列，进行解码并渲染画面。
S4：客户端B此时开始与游戏串流进程建立串流连接。
S5：游戏串流进程检测到有新的客户端连接，游戏串流进程不创建新的编码流程，游戏串流进程在原有的编码流程上重新设置I帧，并在客户端B开始串流之前，在目前的帧序列中插入最新的I帧，并将此帧序列数据同时推送给客户端A、客户端B。
S6：此时客户端A收到的帧序列为IPPP…PIPPP…P，客户端B收到的帧序列为IPPP…P。若客户端A、客户端B的帧序列出现丢包时，游戏串流进程在目前的帧序列中重新插入最新的I帧，并将此帧序列数据同时推送给客户端A、客户端B。从而可以进一步确保画面同步，提升用户体验。
S7：云游戏服务器获取客户端A、客户端B展示同一帧画面的时间点，算出客户端A、客户端B显示同一帧画面的时间差Tc；若Tc＜0.01s，本步骤结束，若Tc≥0.01s，进入步骤S8。
S8：游戏串流进程对更快显示的客户端发送的帧序列的发送时间延时Tc后发送或者更快显示的客户端对帧序列解码后延时Tc后显示。给显示更快的客户端增加延时，从而抵消显示更坏客户端的显示优势，使各个客户端的在同一时间点显示的帧画面一致，增进用户之间的互动交流。步骤S7每隔半分钟进行一次。
当有新的客户端加入时，重复步骤S4、S5、S6。
由于游戏串流进程给客户端A、客户端B输出的帧序列都是相同的，保证画面同步的同时节省了编码消耗，没有了诸多的显卡驱动限制所带来的瓶颈；提高了单张显卡所能支持的一起玩的用户数量，有效节约成本。
综上所述，本发明提供一种支持云游戏一起玩的动态编码方法，由于游戏串流进程给客户端A、客户端B输出的帧序列都是相同的，保证画面同步的同时节省了编码消耗，没有了诸多的显卡驱动限制所带来的瓶颈；提高了单张显卡所能支持的一起玩的用户数量，有效节约成本。进一步地，给显示更快的客户端增加延时，从而抵消显示更坏客户端的显示优势，使各个客户端的在同一时间点显示的帧画面一致，增进用户之间的互动交流，增进友谊。
以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种支持云游戏一起玩的动态编码方法，其特征在于，包括以下步骤：
S1：客户端A与游戏串流进程建立串流连接；
S2：游戏串流进程开始进行画面编码，帧序列为IPPP…P；所述I帧：关键帧，可被独立编码和解码，编码、解码性能消耗较大，占用空间较大；所述P帧：预测帧，不可被独立编码和解码，需要参考前面的I帧或者P帧来解码成一张完整的视频画面，编码、解码性能消耗较小，占用空间较小；
S3：客户端A接收到帧序列，进行解码并渲染画面；
S4：客户端B此时开始与游戏串流进程建立串流连接；
S5：游戏串流进程检测到有新的客户端连接，游戏串流进程不创建新的编码流程，游戏串流进程在原有的编码流程上重新设置I帧，并在客户端B开始串流之前，在目前的帧序列中插入最新的I帧，并将此帧序列数据同时推送给客户端A、客户端B；
S6：此时客户端A收到的帧序列为IPPP…PIPPP…P，客户端B收到的帧序列为IPPP…P。
2.根据权利要求1所述的一种支持云游戏一起玩的动态编码方法，其特征在于，当有新的客户端加入时，重复步骤S4、S5、S6。
3.根据权利要求1所述的一种支持云游戏一起玩的动态编码方法，其特征在于，还包括：
S7：云游戏服务器获取客户端A、客户端B展示同一帧画面的时间点，算出客户端A、客户端B显示同一帧画面的时间差Tc；
S8：游戏串流进程对更快显示的客户端发送的帧序列的发送时间延时Tc后发送或者更快显示的客户端对帧序列解码后延时Tc后显示。
4.根据权利要求3所述的一种支持云游戏一起玩的动态编码方法，其特征在于，若Tc＜0.01s，本步骤结束，若Tc≥0.01s，进入步骤S8。
5.根据权利要求3或4所述的一种支持云游戏一起玩的动态编码方法，其特征在于，步骤S7每隔半分钟进行一次。
6.根据权利要求1所述的一种支持云游戏一起玩的动态编码方法，其特征在于，在步骤S6中，若客户端A、客户端B的帧序列出现丢包时，游戏串流进程在目前的帧序列中重新插入最新的I帧，并将此帧序列数据同时推送给客户端A、客户端B。
CN202210713215.2A 2022-06-22 2022-06-22 一种支持云游戏一起玩的动态编码方法 Active CN115119049B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210713215.2A CN115119049B (zh) 2022-06-22 2022-06-22 一种支持云游戏一起玩的动态编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210713215.2A CN115119049B (zh) 2022-06-22 2022-06-22 一种支持云游戏一起玩的动态编码方法

Publications (2)

Publication Number Publication Date
CN115119049A true CN115119049A (zh) 2022-09-27
CN115119049B CN115119049B (zh) 2023-10-17

Family

ID=83328325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210713215.2A Active CN115119049B (zh) 2022-06-22 2022-06-22 一种支持云游戏一起玩的动态编码方法

Country Status (1)

Country Link
CN (1) CN115119049B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060248216A1 (en) * 2005-04-27 2006-11-02 Samsung Electronics Co., Ltd. System and method for providing multimedia streaming service
US20070094081A1 (en) * 2005-10-25 2007-04-26 Podbridge, Inc. Resolution of rules for association of advertising and content in a time and space shifted media network
WO2010130023A1 (en) * 2009-05-10 2010-11-18 Vantrix Corporation Informative data streaming server
US20110113453A1 (en) * 2002-04-19 2011-05-12 Droplet Technology, Inc. Methods for Displaying Video Monitoring Applications and Services Across Heterogeneous Networks
CN104735462A (zh) * 2013-12-19 2015-06-24 索尼电脑娱乐美国公司 视频延时减小
CN104980775A (zh) * 2014-04-01 2015-10-14 汤姆逊许可公司 视频流式传输的方法、相应的设备及系统
US20170180800A1 (en) * 2015-09-09 2017-06-22 Vantrix Corporation Method and System for Selective Content Processing Based on a Panoramic Camera and a Virtual-Reality Headset
US10200428B1 (en) * 2016-03-30 2019-02-05 Amazon Technologies, Inc. Unicast routing of a media stream to subscribers
CN110227260A (zh) * 2019-08-07 2019-09-13 南昌黑鲨科技有限公司 云游戏加速方法、装置、可读存储介质及计算机设备
CN111245852A (zh) * 2020-01-16 2020-06-05 腾讯云计算（北京）有限责任公司 流数据传输方法、装置、系统、接入设备及存储介质
CN111399964A (zh) * 2020-03-27 2020-07-10 重庆海云捷迅科技有限公司 一种基于视频串流技术的云桌面平台
CN111870948A (zh) * 2020-07-10 2020-11-03 杭州雾联科技有限公司 一种云游戏单主机多用户环境下的窗口管理方法及系统
US11102269B1 (en) * 2020-09-21 2021-08-24 Amazon Technologies, Inc. Media stream patching using dynamic frame prediction
CN113891153A (zh) * 2021-09-30 2022-01-04 杭州雾联科技有限公司 一种云游戏串流处理方法、装置及介质
CN114598931A (zh) * 2022-03-08 2022-06-07 杭州雾联科技有限公司 一种多开云游戏的串流方法、系统、装置及介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110113453A1 (en) * 2002-04-19 2011-05-12 Droplet Technology, Inc. Methods for Displaying Video Monitoring Applications and Services Across Heterogeneous Networks
US20060248216A1 (en) * 2005-04-27 2006-11-02 Samsung Electronics Co., Ltd. System and method for providing multimedia streaming service
US20070094081A1 (en) * 2005-10-25 2007-04-26 Podbridge, Inc. Resolution of rules for association of advertising and content in a time and space shifted media network
WO2010130023A1 (en) * 2009-05-10 2010-11-18 Vantrix Corporation Informative data streaming server
CN104735462A (zh) * 2013-12-19 2015-06-24 索尼电脑娱乐美国公司 视频延时减小
CN104980775A (zh) * 2014-04-01 2015-10-14 汤姆逊许可公司 视频流式传输的方法、相应的设备及系统
US20170180800A1 (en) * 2015-09-09 2017-06-22 Vantrix Corporation Method and System for Selective Content Processing Based on a Panoramic Camera and a Virtual-Reality Headset
US10200428B1 (en) * 2016-03-30 2019-02-05 Amazon Technologies, Inc. Unicast routing of a media stream to subscribers
CN110227260A (zh) * 2019-08-07 2019-09-13 南昌黑鲨科技有限公司 云游戏加速方法、装置、可读存储介质及计算机设备
CN111245852A (zh) * 2020-01-16 2020-06-05 腾讯云计算（北京）有限责任公司 流数据传输方法、装置、系统、接入设备及存储介质
CN111399964A (zh) * 2020-03-27 2020-07-10 重庆海云捷迅科技有限公司 一种基于视频串流技术的云桌面平台
CN111870948A (zh) * 2020-07-10 2020-11-03 杭州雾联科技有限公司 一种云游戏单主机多用户环境下的窗口管理方法及系统
US11102269B1 (en) * 2020-09-21 2021-08-24 Amazon Technologies, Inc. Media stream patching using dynamic frame prediction
CN113891153A (zh) * 2021-09-30 2022-01-04 杭州雾联科技有限公司 一种云游戏串流处理方法、装置及介质
CN114598931A (zh) * 2022-03-08 2022-06-07 杭州雾联科技有限公司 一种多开云游戏的串流方法、系统、装置及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
VICKY ZHAO: "Game theoretical analysis of wireless multiview video multicast using cooperative peer-to-peer repair", 2011 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO *
刘子奇: "一种基于虚拟GPU的小区云游戏平台设计及实现", 《中国优秀硕士毕业论文》 *

Also Published As

Publication number Publication date
CN115119049B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
CN103650515B (zh) 无线3d 流式传输服务器
CN109040850B (zh) 游戏直播交互方法、系统、电子设备及存储介质
CN108495152B (zh) 一种视频直播方法、装置、电子设备及介质
CN101637023A (zh) 使用预编码宏块的视频游戏系统
CN111901666B (zh) 图像处理方法、装置、电子设备以及存储介质
CN112019877A (zh) 基于vr设备的投屏方法、装置、设备及存储介质
CN112752109B (zh) 视频播放控制方法和系统
CN110740380A (zh) 视频处理方法和装置、存储介质及电子装置
US8917309B1 (en) Key frame distribution in video conferencing
CN114546308A (zh) 应用界面投屏方法、装置、设备以及存储介质
CN111193936B (zh) 视频流传输方法、装置、电子设备及计算机可读存储介质
CN109729379B (zh) 直播视频连麦的实现方法、装置、终端和存储介质
CN109640105B (zh) 游戏直播方法、装置、存储介质和电子装置
CN111803924B (zh) 云游戏的多终端同步显示方法、装置及可读存储介质
CN115708356A (zh) 视频处理方法、装置、设备及计算机可读存储介质
CN115119049A (zh) 一种支持云游戏一起玩的动态编码方法
CN107529070A (zh) 一种实现弹幕的方法和系统
CN108683900A (zh) 一种图像数据处理方法及装置
CN112565799B (zh) 视频数据处理方法和装置
CN115225902A (zh) 基于分散编码的高分辨率vr云游戏解决方法及计算机设备
CN113923530A (zh) 一种互动信息展示方法、装置、电子设备及存储介质
CN107087152B (zh) 三维成像信息通信系统
Pinto et al. Subjective quality factors in packet 3D video
CN112333461A (zh) 一种视频直播的启动方法和装置
CN112437316A (zh) 即时消息与直播视频流同步播放的方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant