CN113891153A - 一种云游戏串流处理方法、装置及介质 - Google Patents

一种云游戏串流处理方法、装置及介质 Download PDF

Info

Publication number
CN113891153A
CN113891153A CN202111165070.9A CN202111165070A CN113891153A CN 113891153 A CN113891153 A CN 113891153A CN 202111165070 A CN202111165070 A CN 202111165070A CN 113891153 A CN113891153 A CN 113891153A
Authority
CN
China
Prior art keywords
cloud game
client
data information
coding rate
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111165070.9A
Other languages
English (en)
Inventor
王叶群
蔡强
任妍
杨鹏伟
陈鹏辉
郭月丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Wulian Technology Co ltd
Original Assignee
Hangzhou Wulian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Wulian Technology Co ltd filed Critical Hangzhou Wulian Technology Co ltd
Priority to CN202111165070.9A priority Critical patent/CN113891153A/zh
Publication of CN113891153A publication Critical patent/CN113891153A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种云游戏串流处理方法，包括：在客户端启动云游戏后，根据客户端的网络速度确定初始编码码率；获取数据信息；数据信息包括编码帧序号，解码帧序号以及丢包率；根据数据信息实时调整初始编码码率以便对云游戏进行串流。由于互联网网络复杂，客户端网络环境差异大，对所有客户端设置同样的编码码率会无法为用户提供较好的游戏体验感，本申请针对客户端的网络速度确定初始编码码率，同时为了适应互联网网络波动，根据数据信息，即编码帧序号，解码帧序号以及丢包率调整初始编码码率，保证了云游戏串流的流畅性和清晰度，从而提高云游戏的用户体验感。本申请还公开了一种云游戏串流处理装置及介质与上述方法对应，具体效果如上。

Description

一种云游戏串流处理方法、装置及介质
技术领域
本申请涉及云游戏技术领域，特别是涉及一种云游戏串流处理方法、装置及介质。
背景技术
随着5G网络、编解码技术以及软硬件技术的发展，云游戏系统逐步进入大众的视野，并取得了一定的发展。云游戏不同于传统游戏，是一种以云计算、云控制、渲染及网络传输为基础的实现方式，将算力上行，其游戏真正运行在云端边缘计算节点的主机端，而非用户本地客户端上。客户端通过接收主机端发送的音频数据进行游戏声音与画面的本地呈现，同时用户将对游戏的操作控制数据发送到主机端进行对游戏的控制。
在互联网云游戏系统中，为了保证用户能顺利使用云游戏，且保证高画质、低延时等高性能体验，对网络要求比较高。但是，由于客户端差异大，互联网网络复杂不稳定，用户在使用云游戏的过程中会出现卡顿、延时、画质不清晰等情况，影响用户的体验感。
因此，如何提高云游戏的用户体验感是本领域技术人员亟需要解决的问题。
发明内容
本申请的目的是提供一种云游戏串流处理方法、装置及介质，用于提高云游戏的用户体验感。
为解决上述技术问题，本申请提供一种云游戏串流处理方法，包括：
在客户端启动云游戏后，根据所述客户端的网络速度确定初始编码码率；
获取数据信息；其中，所述数据信息包括编码帧序号，解码帧序号以及丢包率；
根据所述数据信息实时调整所述初始编码码率以便对所述云游戏进行串流。
优选地，所述根据所述客户端的网络速度确定初始编码码率之前，还包括：
对所述客户端的环境进行检测；
若检测结果为通过，则执行所述的根据所述客户端的网络速度确定初始编码码率的步骤；
若检测结果为不通过，则终止对所述云游戏进行串流。
优选地，若所述环境包括所述客户端的音频设备、网卡、显卡、解码能力与渲染环境，所述对所述客户端的环境进行检测，包括：
判断所述客户端的所述音频设备、所述网卡、所述显卡、所述解码能力与所述渲染环境是否符合各自对应的要求；
若不符合要求，生成一键修复的提示；
若一键修复失败，显示不符合要求的原因。
优选地，对所述客户端的所述网卡进行检测，包括：
判断所述网卡是否为有线网卡；
若否，生成切换有线网络的提示。
优选地，所述根据所述数据信息实时调整所述初始编码码率，包括：
判断a，N1和N2是否满足a＜b1且N1－N2＜T1；
若满足a＜b1且N1－N2＜T1，确定M＝M0×(1+10％)；
若不满足a＜b1且N1－N2＜T1，判断a，N1和N2是否满足a＞b2或N1－N2＞T2；
若满足a＞b2或N1－N2＞T2，确定M＝M0×(1－10％)；
若不满足a＞b2或N1－N2＞T2，确定M＝M0；
判断M是否满足Mmin≤M≤Mmax；
若M满足Mmin≤M≤Mmax，保持M不变；
若M＞Mmax，则M＝Mmax；
若M＜Mmin，则M＝Mmin；
其中，a为当前丢包率，N1为当前编码帧序号，N2为当前解码帧序号，b1为第一阈值，T1为第二阈值，b2为第三阈值，T2为第四阈值，M0为所述初始编码码率，M为当前编码码率，Mmax为预设最大编码码率，Mmin为预设最小编码码率。
优选地，所述根据所述数据信息实时调整所述初始编码码率之前，还包括：
根据安装指令安装虚拟声卡以便所述虚拟声卡抓取所述云游戏的音频原始数据。
本申请还提供一种云游戏串流处理装置，包括：
确定模块，用于在客户端启动云游戏后，根据所述客户端的网络速度确定初始编码码率；
获取模块，用于获取数据信息；其中，所述数据信息包括编码帧序号，解码帧序号以及丢包率；
调整模块，用于根据所述数据信息实时调整所述初始编码码率以便对所述云游戏进行串流。
优选地，还包括：
环境检测模块，用于对所述客户端的环境进行检测；若检测结果为通过，则执行所述的根据所述客户端的网络速度确定初始编码码率的步骤；若检测结果为不通过，则终止对所述云游戏进行串流。
本申请还提供一种云游戏串流处理装置，包括存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现所述的云游戏串流处理方法的步骤。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的云游戏串流处理方法的步骤。
本申请所提供的一种云游戏串流处理方法，包括：在客户端启动云游戏后，根据客户端的网络速度确定初始编码码率；获取数据信息；其中，数据信息包括编码帧序号，解码帧序号以及丢包率；根据数据信息实时调整初始编码码率以便对云游戏进行串流。由于互联网网络复杂，客户端网络环境差异大，对所有客户端设置同样的编码码率会无法为用户提供较好的游戏体验感，本申请针对客户端的网络速度确定初始编码码率，同时为了适应互联网网络波动，根据数据信息，即编码帧序号，解码帧序号以及丢包率调整初始编码码率，保证了云游戏串流的流畅性和清晰度，从而提高云游戏的用户体验感。
本申请所提供的一种云游戏串流处理装置及介质与上述方法对应，具体效果如上。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种云游戏串流处理方法的流程图；
图2为本申请实施例提供的一种根据数据信息实时调整初始编码码率方法的流程图；
图3为本申请实施例提供的一种云游戏串流处理装置的结构图；
图4为本申请实施例提供的另一种云游戏串流处理装置的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
本申请的核心是提供一种云游戏串流处理方法、装置及介质。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。
图1为本申请实施例提供的一种云游戏串流处理方法的流程图。如图1所示，云游戏串流处理方法包括：
S10：在客户端启动云游戏后，根据客户端的网络速度确定初始编码码率。
S11：获取数据信息；其中，数据信息包括编码帧序号，解码帧序号以及丢包率。
S12：根据数据信息实时调整初始编码码率以便对云游戏进行串流。
在步骤S10中，客户端可以是手机、电脑等，客户端可以有多个平台，例如andriod手机或者IOS手机有对应的APP。在相应的客户端进入云游戏登录界面，注册账号即可登录，登录后可选择付费区或者体验区，从而启动云游戏。考虑到互联网网络复杂，且终端网络环境差异大，如果对所有客户端设置同样的编码码率会无法匹配到每个客户端最好的体验效果，因此在启动云游戏，对云游戏进行串流之前，可以对客户端的网络情况进行简单的测试。测试客户端的当前网络到机房之间的网速，从而根据客户端的网络速度确定串流时的初始编码码率。
在步骤S11，数据信息主要包括编码帧序号，解码帧序号以及丢包率，这些数据信息可以是从云游戏串流过程中生成的。
在步骤S12中，根据获取到的编码帧序号、解码帧序号和丢包率实时调整初始编码码率，以保障串流云游戏时的流畅性与清晰度，对于如何调整初始编码码率本申请实施例不作具体限定。
本申请所提供的一种云游戏串流处理方法，包括：在客户端启动云游戏后，根据客户端的网络速度确定初始编码码率；获取数据信息；其中，数据信息包括编码帧序号，解码帧序号以及丢包率；根据数据信息实时调整初始编码码率以便对云游戏进行串流。由于互联网网络复杂，客户端网络环境差异大，对所有客户端设置同样的编码码率会无法为用户提供较好的游戏体验感，本申请针对客户端的网络速度确定初始编码码率，同时为了适应互联网网络波动，根据数据信息，即编码帧序号，解码帧序号以及丢包率调整初始编码码率，保证了云游戏串流的流畅性和清晰度，从而提高云游戏的用户体验感。
考虑到用户首次使用云游戏或者登录云游戏失败等情况，可以对客户端的环境进行检测。基于上述实施例，本申请实施例在根据客户端的网络速度确定初始编码码率之前，对客户端的环境进行检测；若检测结果为通过，则执行的根据客户端的网络速度确定初始编码码率的步骤；若检测结果为不通过，则终止对云游戏进行串流。
本申请实施例中的客户端环境，可以是客户端的音频设配、网卡、显卡、、视频解码能力及渲染环境等，本申请实施例不作具体限定。客户端环境检测结果不通过，可能是一些硬件设备异常，或者客户端的一些配置达不到使用云游戏的要求。
本申请实施例通过在用户首次使用或者登录云游戏失败时，对客户端的环境进行检测，从而可以检测出云游戏应用于客户端异常的原因，进而可以保障用户顺利使用云游戏，提升用户对云游戏的体验感。
基于上述实施例，若环境包括客户端的音频设备、网卡、显卡、解码能力与渲染环境，对客户端的环境进行检测包括：判断客户端的音频设备、网卡、显卡、解码能力与渲染环境是否符合各自对应的要求；若不符合要求，生成一键修复的提示；若一键修复失败，显示不符合要求的原因。
本申请实施例中，对于检测音频设备、网卡、显卡、解码能力与渲染环境的先后顺序不作具体限定，当然也可以同时检测。其中音频设备可以包括麦克风、扬声器等，本申请实施例对音频设备不作具体限定。如发现不符合各自对应的要求，可生成一键修复的提示，用户可以通过一键修复操作对客户端的环境进行修复，若修复失败，则显示不符合要求的原因，例如麦克风修复失败，显示麦克风异常。
以下为本申请实施例提供一种客户端环境检测的应用场景，可以理解的是，客户端的环境检测方式不仅仅是这一种，还可以是其他方式，本申请不作具体限定。
检测客户端的麦克风，如果正常，继续检测客户端的扬声器；如果异常，可以点击一键修复按钮进行修复，如果修复成功，检测客户端的扬声器，修复失败则提示用户“麦克风异常”，然后检测客户端的扬声器。
检测客户端的扬声器，如果正常，继续检测客户端的显卡；如果异常，可以点击一键修复按钮进行修复，如果修复成功，检测客户端的显卡，修复失败则提示用户“扬声器异常”，然后检测客户端的显卡。
检测客户端的显卡，主要检测显卡驱动是否正常，如果正常，继续检测客户端的网卡；如果异常，可以点击一键修复按钮进行修复，如果修复成功，检测客户端的网卡，修复失败则提示用户“显卡异常，无法使用”，结束环境检测，且环境检测结果为不通过。
检测客户端的网卡，主要检测网卡是否正常，且是否为有线网卡(由于云游戏对网络要求较高，为保证效果，要求为有线网络)。如果网卡正常且是有线网络，检测客户端的解码能力；如果是网卡不正常，提示用户“网卡异常，无法使用”，如果是无线网络，提示用户“请切换有线网络”，结束环境检测，环境检测结果为不通过。
检测客户端的解码能力，主要检测是否具有硬件解码能力，如果正常，继续检测客户端的渲染环境，否则提示用户“不具备硬解能力，无法使用”，结束环境检测，且环境检测结果为不通过。
检测客户端的渲染环境，由于视频需要在客户端进行本地渲染显示，需要安装相应的环境，例如，windows平台需要安装3D加速卡(Direct3D，D3D)，如果正常，则环境检测结果为通过；如果异常可以点击一键修复按钮进行修复，如果修复成功，环境检测结果为通过，修复失败则提示用户“渲染环境异常，无法使用”，结束环境检测，检测结果为不通过。
本申请实施例主要是对客户端的音频设备、网卡、显卡、解码能力与渲染环境进行检测，对于不符合要求的，提供一键修复的提示，用户可以对其进行修复操作，若一键修复成功，云游戏可以顺利地应用于客户端，且云游戏在客户端呈现的效果更加，也能提升用户的体验感。若修复不成功，显示不符合要求的原因，以便用户对客户端的环境进行维护和改善。
基于上述实施例，图2为本申请实施例提供的一种根据数据信息实时调整初始编码码率方法的流程图，如图所述，该方法包括：
S20：判断a，N1和N2是否满足a＜b1且N1－N2＜T1；若是，则执行步骤S21；若否，则执行步骤S22。
S21：确定M＝M0×(1+10％)。
S22：判断a，N1和N2是否满足a＞b2或N1－N2＞T2；若是，则执行步骤S23；若否，则执行步骤S24。
S23：确定M＝M0×(1－10％)。
S24：确定M＝M0。
S25：判断M是否满足Mmin≤M≤Mmax；若是，执行步骤S26；若M＞Mmax，执行步骤S27；若M＜Mmin，执行步骤S28。
S26：保持M不变。
S27：确定M＝Mmax。
S28：确定M＝Mmin。
其中，a为当前丢包率，N1为当前编码帧序号，N2为当前解码帧序号，b1为第一阈值，T1为第二阈值，b2为第三阈值，T2为第四阈值，M0为初始编码码率，M为当前编码码率，Mmax为预设最大编码码率，Mmin为预设最小编码码率。
本申请实施例中对于第一阈值b1，第二阈值T1，第三阈值b2，第四阈值T2，预设最大编码码率Mmax，预设最小编码码率Mmin的具体数值不作具体限定，在具体的实施场景中，第一阈值b1取经验值5％，第二阈值T1取经验值2，第三阈值b2取经验值20％，第四阈值T2取经验值5，预设最大编码码率Mmax取经验值50M，预设最小编码码率Mmin取经验值5M。
本申请实施例提供的根据数据信息实时调整初始编码码率，可以适应互联网网络的波动，实时调整云游戏串流过程中的编码码率，保障了云游戏串流时的流畅性与清晰度。而且通过设置最大编码码率和最小编码码率，将当前编码码率调整到一个合适的范围内，当前编码码率不宜过大也不宜过小，从而能够更好地适配客户端的网络，在保证云游戏在客户端呈现的效果较佳的同时，也保障云游戏能够顺利进行串流。
为方便理解本申请的方案，下面对于上述实施例提到的串流做详细介绍。
串流是云游戏系统的核心模块，包括主机端和客户端，串流客户端，主要负责音视频码流的接收，实时本地呈现远端云游戏的声音和画面，以及将客户端的输入设备的操作数据发送给主机端。串流主机端，主要负责云游戏声音、视频的抓取和编码压缩，通过网络发给串流客户端，以及接收并解析客户端输入设备的操作数据，实时操作云游戏。
关于串流视屏数据的过程具体为，主机端通过抓屏方案抓取屏幕视频、经视频编码出视频码流，然后通过网络传输到客户端。客户端收到视频码流后，则进行视频解码、上屏控制和渲染进行本地画面呈现，由于串流的大量数据都是视频数据，为了更好地适配网络，串流时视频模块的一些关键信息，即编码帧序号，解码帧序号以及丢包率会实时反馈，以调整初始编码码率。
关于串流音频数据的过程具体为，主机端通过音频抓取方案抓取音频原始数据、经音频算法处理(回声消除、降噪等)后写入环形缓冲区，从缓冲区读取音频数据进行音频编码出音频码流，然后通过网络传输到客户端。客户端收到音频码流后，则进行音频解码、重采样和播放进行本地声音呈现。
输入设备包括麦克风、手柄、鼠标、键盘等，本申请实施例对输入设备的类型与接入方式不作具体限定。麦克风主要采集的是音频数据，客户端采集本地音频数据，如果该客户端有麦克风权限，采集音频数据之后，先经过降噪音频处理、音频编码发送给主机端，主机端对各路音频流进行解码、重采样，然后进行混音混合成一路音频进行播放。其他输入设备如键盘、鼠标、手柄等，客户端如果插入键盘、鼠标、手柄等输入设备，主机端会对应生成一个虚拟输入设备。客户端将操作数据发送给主机端，主机端虚拟输入设备通过解析操作数据操作主机端。
基于上述实施例，本申请实施例根据数据信息实时调整初始编码码率之前还包括：根据安装指令安装虚拟声卡以便虚拟声卡抓取云游戏的音频原始数据。
可以理解的是，主机端抓取音频的音频设备，可以是硬件设备，例如在主机端安装麦克风和扬声器等，本申请实施例在主机端安装一个虚拟声卡，该虚拟声卡是一种虚拟仿真接口，具有麦克风写入和扬声器输出等功能接口，类似与一个硬件声卡，能够节省声卡硬件成本，同时可以利用波分复用(Wavelength Division Multiplexing，WDM)驱动架构进行音频讯号流的传送，从而可以在不同的应用程序间指定传送音频数字信号，不会有讯号污染或衰减的情况。
在上述实施例中，对于云游戏串流处理方法进行了详细描述，本申请还提供云游戏串流处理装置对应的实施例。需要说明的是，本申请从两个角度对装置部分的实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。
在此基础上，本申请还公开与上述方法对应的云游戏串流处理装置。图3为本申请实施例提供的一种云游戏串流处理装置的结构图，如图3所示，测试装置包括：
确定模块10，用于在客户端启动云游戏后，根据客户端的网络速度确定初始编码码率；
获取模块11，用于获取数据信息；其中，数据信息包括编码帧序号，解码帧序号以及丢包率；
调整模块12，用于根据数据信息实时调整初始编码码率以便对云游戏进行串流。
本申请实施例还包括环境检测模块，用于对客户端的环境进行检测；若检测结果为通过，则执行根据客户端的网络速度确定初始编码码率的步骤；若检测结果为不通过，则终止对云游戏进行串流。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本申请所提供的一种云游戏串流处理装置，该装置在客户端启动云游戏后，根据客户端的网络速度确定初始编码码率；获取数据信息；其中，数据信息包括编码帧序号，解码帧序号以及丢包率；根据数据信息实时调整初始编码码率以便对云游戏进行串流。由于互联网网络复杂，客户端网络环境差异大，对所有客户端设置同样的编码码率会无法为用户提供较好的游戏体验感，本申请针对客户端的网络速度确定初始编码码率，同时为了适应互联网网络波动，根据数据信息，即编码帧序号，解码帧序号以及丢包率调整初始编码码率，保证了云游戏串流的流畅性和清晰度，从而提高云游戏的用户体验感。
图4为本申请实施例提供的另一种云游戏串流处理装置的结构图，如图4所示，云游戏串流处理装置包括：存储器20，用于存储计算机程序；处理器21，用于执行计算机程序时实现如上述实施例云游戏串流处理方法的步骤。
本实施例提供的云游戏串流处理装置可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例公开的云游戏串流处理方法的相关步骤。另外，存储器20所存储的资源还可以包括操作系统202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作系统202可以包括Windows、Unix、Linux等。数据203可以包括但不限于编码帧序号，解码帧序号，丢包率以及初始编码码率等。
在一些实施例中，云游戏串流处理装置还可包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。
本领域技术人员可以理解，图4中示出的结构并不构成对云游戏串流处理装置的限定，可以包括比图示更多或更少的组件。
本申请实施例提供的云游戏串流处理装置，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如下方法：在客户端启动云游戏后，根据客户端的网络速度确定初始编码码率；获取数据信息；其中，数据信息包括编码帧序号，解码帧序号以及丢包率；根据数据信息实时调整初始编码码率以便对云游戏进行串流。
最后，本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。
可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上对本申请所提供的云游戏串流处理方法进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种云游戏串流处理方法，其特征在于，包括：
在客户端启动云游戏后，根据所述客户端的网络速度确定初始编码码率；
获取数据信息；其中，所述数据信息包括编码帧序号，解码帧序号以及丢包率；
根据所述数据信息实时调整所述初始编码码率以便对所述云游戏进行串流。
2.根据权利要求1所述的云游戏串流处理方法，其特征在于，所述根据所述客户端的网络速度确定初始编码码率之前，还包括：
对所述客户端的环境进行检测；
若检测结果为通过，则执行所述的根据所述客户端的网络速度确定初始编码码率的步骤；
若检测结果为不通过，则终止对所述云游戏进行串流。
3.根据权利要求2所述的云游戏串流处理方法，其特征在于，若所述环境包括所述客户端的音频设备、网卡、显卡、解码能力与渲染环境，所述对所述客户端的环境进行检测，包括：
判断所述客户端的所述音频设备、所述网卡、所述显卡、所述解码能力与所述渲染环境是否符合各自对应的要求；
若不符合要求，生成一键修复的提示；
若一键修复失败，显示不符合要求的原因。
4.根据权利要求3所述的云游戏串流处理方法，其特征在于，对所述客户端的所述网卡进行检测，包括：
判断所述网卡是否为有线网卡；
若否，生成切换有线网络的提示。
5.根据权利要求1所述的云游戏串流处理方法，其特征在于，所述根据所述数据信息实时调整所述初始编码码率，包括：
判断a，N1和N2是否满足a＜b1且N1－N2＜T1；
若满足a＜b1且N1－N2＜T1，确定M＝M0×(1+10％)；
若不满足a＜b1且N1－N2＜T1，判断a，N1和N2是否满足a＞b2或N1－N2＞T2；
若满足a＞b2或N1－N2＞T2，确定M＝M0×(1－10％)；
若不满足a＞b2或N1－N2＞T2，确定M＝M0；
判断M是否满足Mmin≤M≤Mmax；
若M满足Mmin≤M≤Mmax，保持M不变；
若M＞Mmax，则M＝Mmax；
若M＜Mmin，则M＝Mmin；
其中，a为当前丢包率，N1为当前编码帧序号，N2为当前解码帧序号，b1为第一阈值，T1为第二阈值，b2为第三阈值，T2为第四阈值，M0为所述初始编码码率，M为当前编码码率，Mmax为预设最大编码码率，Mmin为预设最小编码码率。
6.根据权利要求1所述的云游戏串流处理方法，其特征在于，所述根据所述数据信息实时调整所述初始编码码率之前，还包括：
根据安装指令安装虚拟声卡以便所述虚拟声卡抓取所述云游戏的音频原始数据。
7.一种云游戏串流处理装置，其特征在于，包括：
确定模块，用于在客户端启动云游戏后，根据所述客户端的网络速度确定初始编码码率；
获取模块，用于获取数据信息；其中，所述数据信息包括编码帧序号，解码帧序号以及丢包率；
调整模块，用于根据所述数据信息实时调整所述初始编码码率以便对所述云游戏进行串流。
8.根据权利要求7所述的云游戏串流处理装置，其特征在于，还包括：
环境检测模块，用于对所述客户端的环境进行检测；若检测结果为通过，则执行所述的根据所述客户端的网络速度确定初始编码码率的步骤；若检测结果为不通过，则终止对所述云游戏进行串流。
9.一种云游戏串流处理装置，其特征在于，包括存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述的云游戏串流处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的云游戏串流处理方法的步骤。
CN202111165070.9A 2021-09-30 2021-09-30 一种云游戏串流处理方法、装置及介质 Pending CN113891153A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111165070.9A CN113891153A (zh) 2021-09-30 2021-09-30 一种云游戏串流处理方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111165070.9A CN113891153A (zh) 2021-09-30 2021-09-30 一种云游戏串流处理方法、装置及介质

Publications (1)

Publication Number Publication Date
CN113891153A true CN113891153A (zh) 2022-01-04

Family

ID=79005105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111165070.9A Pending CN113891153A (zh) 2021-09-30 2021-09-30 一种云游戏串流处理方法、装置及介质

Country Status (1)

Country Link
CN (1) CN113891153A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115119049A (zh) * 2022-06-22 2022-09-27 深圳市瑞云科技有限公司 一种支持云游戏一起玩的动态编码方法
CN115242759A (zh) * 2022-07-14 2022-10-25 腾讯科技（深圳）有限公司 一种云游戏处理方法、装置、计算机设备和介质
CN116440501A (zh) * 2023-06-16 2023-07-18 瀚博半导体(上海)有限公司 自适应云游戏视频画面渲染方法和系统
CN116896577A (zh) * 2023-09-08 2023-10-17 深圳云天畅想信息科技有限公司 串流自动降级控制方法、推荐分辨率及帧率获取方法
CN117714744A (zh) * 2023-12-15 2024-03-15 广州速启科技有限责任公司 音视频流的数据处理方法及其云后台、云服务器和介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1670256A2 (en) * 2004-12-10 2006-06-14 Microsoft Corporation A system and process for controlling the coding bit rate of streaming media data
WO2016060672A1 (en) * 2014-10-16 2016-04-21 Hewlett-Packard Development Company, L.P. Video coding using a saliency map
WO2017020664A1 (zh) * 2015-08-03 2017-02-09 腾讯科技（深圳）有限公司 直播视频的视频编码参数设置方法、装置、视频编码设备及存储介质
CN108079578A (zh) * 2017-10-26 2018-05-29 咪咕互动娱乐有限公司 一种基于云游戏的码率调整方法、装置及存储介质
JP2019114905A (ja) * 2017-12-22 2019-07-11 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
CN111417029A (zh) * 2020-02-25 2020-07-14 广州广哈通信股份有限公司 视频码率的调整方法、系统、终端及存储介质
CN111882626A (zh) * 2020-08-06 2020-11-03 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器及介质
CN112822519A (zh) * 2020-12-30 2021-05-18 杭州雾联科技有限公司 多用户共享视频画面的视频流串流方法、装置、设备
CN113117326A (zh) * 2021-03-26 2021-07-16 腾讯数码（深圳）有限公司 一种帧率控制方法和装置
CN113286146A (zh) * 2021-07-26 2021-08-20 腾讯科技（深圳）有限公司 媒体数据处理方法、装置、设备以及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1670256A2 (en) * 2004-12-10 2006-06-14 Microsoft Corporation A system and process for controlling the coding bit rate of streaming media data
WO2016060672A1 (en) * 2014-10-16 2016-04-21 Hewlett-Packard Development Company, L.P. Video coding using a saliency map
WO2017020664A1 (zh) * 2015-08-03 2017-02-09 腾讯科技（深圳）有限公司 直播视频的视频编码参数设置方法、装置、视频编码设备及存储介质
CN108079578A (zh) * 2017-10-26 2018-05-29 咪咕互动娱乐有限公司 一种基于云游戏的码率调整方法、装置及存储介质
JP2019114905A (ja) * 2017-12-22 2019-07-11 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
CN111417029A (zh) * 2020-02-25 2020-07-14 广州广哈通信股份有限公司 视频码率的调整方法、系统、终端及存储介质
CN111882626A (zh) * 2020-08-06 2020-11-03 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器及介质
CN112822519A (zh) * 2020-12-30 2021-05-18 杭州雾联科技有限公司 多用户共享视频画面的视频流串流方法、装置、设备
CN113117326A (zh) * 2021-03-26 2021-07-16 腾讯数码（深圳）有限公司 一种帧率控制方法和装置
CN113286146A (zh) * 2021-07-26 2021-08-20 腾讯科技（深圳）有限公司 媒体数据处理方法、装置、设备以及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUANTING FAN; SHANSHE WANG; SHIQI WANG; RUIQIN XIONG; SIWEI MA: "Inter-frame Correlation Based Quantization Parameter Offset Optimization for Screen Content Video Coding", 2015 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA BIG DATA, 22 April 2015 (2015-04-22) *
郝燕玲;王文答;: "基于小波视频编码的动态码率传输与控制", 华中科技大学学报(自然科学版), no. 07, 15 July 2010 (2010-07-15) *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115119049A (zh) * 2022-06-22 2022-09-27 深圳市瑞云科技有限公司 一种支持云游戏一起玩的动态编码方法
CN115119049B (zh) * 2022-06-22 2023-10-17 深圳市瑞云科技有限公司 一种支持云游戏一起玩的动态编码方法
CN115242759A (zh) * 2022-07-14 2022-10-25 腾讯科技（深圳）有限公司 一种云游戏处理方法、装置、计算机设备和介质
CN115242759B (zh) * 2022-07-14 2024-05-17 腾讯科技（深圳）有限公司 一种云游戏处理方法、装置、计算机设备和介质
CN116440501A (zh) * 2023-06-16 2023-07-18 瀚博半导体(上海)有限公司 自适应云游戏视频画面渲染方法和系统
CN116440501B (zh) * 2023-06-16 2023-08-29 瀚博半导体(上海)有限公司 自适应云游戏视频画面渲染方法和系统
CN116896577A (zh) * 2023-09-08 2023-10-17 深圳云天畅想信息科技有限公司 串流自动降级控制方法、推荐分辨率及帧率获取方法
CN116896577B (zh) * 2023-09-08 2023-11-17 深圳云天畅想信息科技有限公司 串流自动降级控制方法、推荐分辨率及帧率获取方法
CN117714744A (zh) * 2023-12-15 2024-03-15 广州速启科技有限责任公司 音视频流的数据处理方法及其云后台、云服务器和介质

Similar Documents

Publication Publication Date Title
CN113891153A (zh) 一种云游戏串流处理方法、装置及介质
CN109107167B (zh) 游戏中的交互控制方法、电子设备及存储介质
CN110740313B (zh) 硬件编码能力检测方法及装置
CN110636284B (zh) 解码能力检测方法及装置
US20170105038A1 (en) Media Synchronization for Real-Time Streaming
CN102648584B (zh) 使用前向纠错检验可用带宽的系统、方法和介质
US20180213232A1 (en) Graphical instruction data processing method and apparatus, and system
JP2018521550A (ja) ビデオを再生するための方法、クライアント及びコンピュータ記憶媒体
WO2018076939A1 (zh) 视频文件的处理方法和装置
JPWO2014054325A1 (ja) 符号化制御装置および符号化制御方法
CN104053002A (zh) 视频解码方法和视频解码装置
CN109729379B (zh) 直播视频连麦的实现方法、装置、终端和存储介质
CN112423074B (zh) 音视频同步处理方法、装置、电子设备及存储介质
US11516284B2 (en) Interactive system, terminal apparatus, server apparatus, control method, program, and recording medium
CN116842205A (zh) 一种游戏回放方法、装置及存储介质
CN112672169A (zh) 自适应显示方法、装置及系统
US20170093674A1 (en) Real-Time End-To-End Latency Monitoring
CN111930328B (zh) 应用数据的显示方法、装置及系统
EP3259906B1 (en) Handling nuisance in teleconference system
CN106604117B (zh) 一种屏幕镜像方法及系统
CN105959798B (zh) 视频流的帧定位方法、装置和设备
CN111432271B (zh) 一种多屏交互方法及其系统
RU2662648C1 (ru) Способ и устройство для обработки данных
CN113810629A (zh) 一种融合平台多媒体信号的视频帧处理方法及装置
CN115460189B (zh) 处理设备测试方法、装置、计算机及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination