CN109862357A - 低延迟的云游戏图像编码方法、装置、设备和存储介质 - Google Patents

Abstract

本发明公开了一种低延迟的云游戏图像编码方法，通过获取GPU的编码核数量，根据编码核数量将待编码视频进行条带划分，具体是将待编码视频划分成不超过编码核数量的多个条带，然后每一个编码核对应一个条带以并行的方式对条带数据进行编码，再按照预设的帧参数进行码流修改，具体是修改编码后的每一个条带的相关参数，使得解码器可以将这多个条带数据合并成一整帧编码数据统一解码。通过对于每个硬件编码核分别输入一个条带数据进行编码，相对于整帧视频图像编码来说，输入视频分辨率降低，编码速度更快，待每个条带编码完成后，经过码流相关参数修改后，即可向客户端发送一整帧编码数据，降低了每次发送数据的负载，充分利用GPU上多硬件编码核的特性，提高了编码效率。

Description

低延迟的云游戏图像编码方法、装置、设备和存储介质

技术领域

本发明涉及视频图像编码领域，尤其是一种低延迟的云游戏图像编码方法、装置、设备和存储介质。

背景技术

如今，越来越多的人选择在大屏幕电视机上用机顶盒玩游戏，并通过游戏手柄控制游戏操作来提升整个体验，通过在云服务器上运行手机游戏，捕获游戏过程中的音频和视频并编码传输到机顶盒，将音频和视频信号解码并显示，同时机顶盒将游戏手柄的控制指令传输到云服务器，云服务器将控制指令分发给运行中的手机游戏，从而实现游戏控制功能。

其中在云游戏系统中，对游戏屏幕图像进行编码是整过过程中运算复杂度最高的模块，也是造成系统延迟的一个主要模块，编码时带来的较高的编码延迟，让用户有操作滞后的感觉，严重影响云游戏的使用体验，因此需要尽可能的降低云游戏的屏幕编码延迟。一般提高编码速度的方式是使用硬件编码，例如Intel、英伟达和AMD等GPU上有专门的硬件编码模块可以使用，一般硬件模块的编码速度，即输出帧率和编码输入分辨率有关，即硬件编码模块在一秒钟内能够处理的编码块数是固定的，因此想要提高编码速度，就需要降低编码分辨率，这样会导致游戏画面不清晰，因此需要提出一种不影响画面清晰度，同时具有低延迟功能的云游戏视频图像编码方法。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的目的是提供一种不影响画面清晰度同时具有低延迟功能的云游戏视频图像编码方法、装置、设备和存储介质。

本发明所采用的技术方案是：

第一方面，本发明提供一种低延迟的云游戏图像编码方法，包括步骤：

获取GPU的编码核数量，根据所述编码核数量将待编码视频进行条带划分，具体是将所述待编码视频划分成不超过所述编码核数量的多个条带；

每一个编码核对应一个条带以并行的方式对条带数据进行编码；

按照预设的帧参数进行参数修改，指修改编码后的每一个条带的相关参数，使得解码器可以将这些条带数据合并成一整帧编码数据，能够统一送入解码器完成一整帧数据的解码。

进一步地，所述条带划分具体为：修改每一个编码核的输入数据指针的偏移值，使每一个编码核的输入数据地址为对应的条带起始宏块的位置。

进一步地，所述预设的帧参数指待编码视频的整帧图像对应的编码参数，所述编码参数包括VPS参数和/或SPS参数和/或PPS参数。

进一步地，所述参数修改具体为：根据所述条带在所述待编码视频中的位置，参照所述预设的帧参数，修改编码后的条带数据中的宏块位置参数，使所有编码后的条带数据能够合并成完整的一整帧编码数据。

进一步地，所述条带的高度为16的整数倍，且每个条带相互独立。

第二方面，本发明还提供一种低延迟的云游戏图像编码装置，包括：

条带划分装置，用于获取GPU的编码核数量，根据所述编码核数量将待编码视频进行条带划分，具体是将所述待编码视频划分成不超过所述编码核数量的多个条带；

并行编码装置，用于利用每一个编码核对应一个条带以并行的方式对条带数据进行编码；

参数修改装置，用于按照预设的帧参数进行参数修改，指修改编码后的每一个条带的相关参数，使得解码器可以将这些条带数据合并成一整帧编码数据，能够统一送入解码器完成一整帧数据的解码。

第三方面，本发明提供一种低延迟的云游戏图像编码控制设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如第一方面任一项所述的方法。

第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面任一项所述的方法。

本发明的有益效果是：

本发明通过获取GPU的编码核数量，根据编码核数量将待编码视频进行条带划分，具体是将待编码视频划分成与不超过编码核数量的多个条带，然后每一个编码核对应一个条带以并行的方式对条带数据进行编码，再按照预设的帧参数进行参数修改，具体是修改编码后的每一个条带的参数，将条带数据解码时能够合并成一整帧编码数据。通过对于每个硬件编码核分别输入一个条带数据进行编码，相对于现有技术中整帧视频图像发送编码来说，相当于输入视频分辨率降低，能够提供更高的编码速度，待每个条带编码完成后，经过码流参数修改发送后，合并成一整帧编码数据，降低了每次发送数据的负载，避免了现有技术中等待整帧视频全部编码完毕后统一发送产生的延迟，并且充分利用GPU上多硬件编码核的特性，提高了编码效率。

附图说明

图1是本发明一种实施方式的低延迟的云游戏图像编码方法的实现流程图；

图2是本发明一种实施方式的低延迟的云游戏图像编码方法的示意图；

图3是本发明一种实施方式的低延迟的云游戏图像编码装置结构框图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

实施例一：

现在英伟达Quadro系列、Tesla系列，甚至个人主机常用的GeForce系列显卡，均能够实现一张显卡同时并行编码多路视频，一般来说，一卡多路编码是应用于各自独立的多路视频编码，例如有8路监控视频输入，编码输出8路监控视频，本发明基于现有的GPU硬件可实现多路并行编码的能力，以及能够编码超大分辨率的输入视频，利用GPU多硬件编码核提升视频编码速度。

实施例一提供一种低延迟的云游戏图像编码方法，图1为本实施例提供的一种低延迟的云游戏图像编码方法的实现流程图，如图1所示，该方法可以包括以下步骤：

S1：进行条带划分，具体是获取GPU的硬件编码核数量，然后根据编码核数量将待编码视频进行条带划分，划分时，将待编码视频划分成与不超过编码核数量的多个相互独立的条带。

S2：利用编码核并行编码，具体是每一个编码核对应一个条带以并行的方式对条带数据进行编码，即将每个条带输入给一个硬件编码核进行编码，相对于现有技术中将一整帧编码数据送到编码核进行编码，单个条带的数据相比较而言，编码分辨率降低，能够提高编码速度。

S3：按照预设的帧参数进行参数修改，指按照预设的帧参数进行参数修改，指修改编码后的每一个条带的相关参数，使得解码器可以将这些条带数据合并成一整帧编码数据，能够统一送入解码器完成一整帧数据的解码，实现在编码时并行编码，解码时串行解码。

本实施例步骤S1中对待编码视频图像进行划分，并不是采用较为耗时的数据拷贝操作，而是修改每一个编码核的输入数据指针的偏移值，使每一个编码核的输入数据地址为对应的条带起始宏块的位置，即通过偏移值指引编码核的输入位置到显存中相应的偏移位置即可。

具体的，获取到可用的硬件编码核数量N之后，即可确定将当前带编码视频图像划分为至多N个条带，即slice，由于硬件编码器的基本要求，每个slice的高度必须是16的整数倍，而且本实施例中slice高度尽可能相等，例如，当N＝3时，一个4096x2048的视频可以划分3个slice，分别为：1)4096x688(688＝43*16)；2)4096x688；3)4096x672(672＝42*16)。

本实施例步骤S3中，预设的帧参数指待编码视频的整帧图像对应的编码参数，编码参数包括VPS参数和/或SPS参数和/或PPS参数，这是因为每个编码核编码的都是待编码视频中整帧图像的一部分，因此编码产生的VPS/SPS/PPS参数都是条带级别，不是整帧的，因此需要预先产生待编码视频整帧图像进行同样方式编码后，生成整帧图像的序列头(VPS/SPS)和帧头(PPS)数据，即对应的编码参数数据，包括VPS、SPS和PPS参数，由于这些参数在一次编码过程中是固定的，因此可以预先生成，作为预设的帧参数。

本实施例步骤S3中参数修改具体为：根据条带在待编码视频中的位置，参照预设的帧参数，修改编码后的条带数据中的宏块位置参数，由于每个编码核输出的条带数据的条带头中起始宏块的位置都是0，但是从第二个条带开始，根据它在整帧图像中的位置，它对应的真实的起始宏块位置不是0，因此需要对其进行修改，以保证所有编码后的条带数据能够合并成完整的整帧编码数据。

如图2所示，为本实施例提供的一种低延迟的云游戏图像编码方法的示意图，可见GPU有3个硬件编码核，因此可以将带编码数据划分成3个条带：slice1、slice2和slice3，每个条带的左上角是每个条带的起始宏块，整帧图像划分是编码核的输入数据指针通过偏移量来实现，每一个起始宏块相对于自身的slice，其下标都是0，但是相对于整帧图像来说，其下标会发生变化，因此需要对其进行参数修改，这样才能保证在解码后，能够将3个slice正确的合并成一幅图像。

如图表1所示，为slice条带的数据结构。表中可见包括slice_header、CABAC字节对齐比特和slice_data，其中slice_header是有限个比特，slice_data是主要的编码输出数据段，中间通过“CABAC字节对齐比特”使得slice_data的第一个比特开始于一个新字节的最高位，slice_header的第一个语法元素start_address定义该slice在整帧图像中的宏块位置。

如图2中，假设slice2的起始宏块在整帧图像中的start_address是11008，需要将GPU硬件编码核Encoder coder2输出码流slice数据头中start_address由0改写为11008，此时Slice_header使用的字节数增加，导致“CABAC字节对齐比特”数目变化，但slice_data不用修改，通过这种轻量级的码流参数修改，就能够实现多个GPU硬件编码核并行输出的码流在解码端被视为一个标准的多slice编码码流，能够合并成一整帧编码数据。

本实施例充分利用GPU的编码核，对于超大分辨率的视频，提高了编码速度，降低编码延迟。

实施例二：

本发明还提供一种低延迟的云游戏图像编码装置，如图3所示，为本实施例的低延迟的云游戏图像编码装置结构框图，包括条带划分装置，用于获取GPU的编码核数量，根据所述编码核数量将待编码视频进行条带划分，具体是将所述待编码视频划分成与不超过所述编码核数量的多个条带；并行编码装置，用于利用每一个编码核对应一个条带以并行的方式对条带数据进行编码；参数修改装置，用于按照预设的帧参数进行参数修改，具体是修改编码后的每一个条带的参数，将条带数据合并成一整帧编码数据。

另外，本发明还提供一种低延迟的云游戏图像编码控制设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如实施例一所述的方法。

另外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，其中计算机可执行指令用于使计算机执行如实施例一所述的方法。

本发明通过获取GPU的编码核数量，根据编码核数量将待编码视频进行条带划分，具体是将待编码视频划分成与编码核数量相同的多个条带，然后每一个编码核对应一个条带以并行的方式对条带数据进行编码，再按照预设的帧参数进行参数修改，具体是修改编码后的每一个条带的参数，将条带数据合并成一整帧编码数据。通过对于每个硬件编码核分别输入一个条带数据进行编码，相对于现有技术中整帧视频图像发送编码来说，相当于输入视频分辨率降低，能够提供更高的编码速度，待每个条带编码完成后，经过码流参数修改发送后，合并成一整帧编码数据，降低了每次发送数据的负载，避免了现有技术中等待整帧视频全部编码完毕后统一发送产生的延迟，并且充分利用GPU上多硬件编码核的特性，提高了编码效率。

以上各实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (8)

1.一种低延迟的云游戏图像编码方法，其特征在于，包括步骤：

获取GPU的编码核数量，根据所述编码核数量将待编码视频进行条带划分，具体是将所述待编码视频划分成不超过所述编码核数量的多个条带；

每一个编码核对应一个条带以并行的方式对条带数据进行编码；

按照预设的帧参数进行参数修改，指修改编码后的每一个条带的相关参数，使得解码器可以将这些条带数据合并成一整帧编码数据，能够统一送入解码器完成一整帧数据的解码。

2.根据权利要求1所述的一种低延迟的云游戏图像编码方法，其特征在于，所述条带划分具体为：修改每一个编码核的输入数据指针的偏移值，使每一个编码核的输入数据地址为对应的条带起始宏块的位置。

3.根据权利要求1所述的一种低延迟的云游戏图像编码方法，其特征在于，所述预设的帧参数指待编码视频的整帧图像对应的编码参数，所述编码参数包括VPS参数和/或SPS参数和/或PPS参数。

4.根据权利要求3所述的一种低延迟的云游戏图像编码方法，其特征在于，所述参数修改具体为：根据所述条带在所述待编码视频中的位置，参照所述预设的帧参数，修改编码后的条带数据中的宏块位置参数，使所有编码后的条带数据能够合并成完整的一整帧编码数据。

5.根据权利要求1所述的一种低延迟的云游戏图像编码方法，其特征在于，所述条带的高度为16的整数倍，且每个条带相互独立。

6.一种低延迟的云游戏图像编码装置，其特征在于，包括：

条带划分装置，用于获取GPU的编码核数量，根据所述编码核数量将待编码视频进行条带划分，具体是将所述待编码视频划分成不超过所述编码核数量的多个条带；

并行编码装置，用于利用每一个编码核对应一个条带以并行的方式对条带数据进行编码；

参数修改装置，用于按照预设的帧参数进行参数修改，指修改编码后的每一个条带的相关参数，使得解码器可以将这些条带数据合并成一整帧编码数据，能够统一送入解码器完成一整帧数据的解码。

7.一种低延迟的云游戏图像编码控制设备，其特征在于，包括：

至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；

其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如权利要求1至5任一项所述的低延迟的云游戏图像编码方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至5任一项所述的低延迟的云游戏图像编码方法。