CN112449198B

CN112449198B - 视频编码方法、装置以及计算设备、存储介质

Info

Publication number: CN112449198B
Application number: CN201910822073.1A
Authority: CN
Inventors: 杨宇翔; 聂玉庆
Original assignee: Gree Electric Appliances Inc of Zhuhai; Zhuhai Zero Boundary Integrated Circuit Co Ltd
Current assignee: Gree Electric Appliances Inc of Zhuhai; Zhuhai Zero Boundary Integrated Circuit Co Ltd
Priority date: 2019-09-02
Filing date: 2019-09-02
Publication date: 2023-09-29
Anticipated expiration: 2039-09-02
Also published as: CN112449198A

Abstract

本申请公开了一种视频编码方法、装置以及计算设备、存储介质，涉及图像处理技术领域，包括：针对视频中预定义帧数的连续多帧图像执行：将每帧图像拆分成多个编码区域，并为每个编码区域设置编码标识；在每帧图像中选择预设数量的连续编码区域；将所选择的预设数量的连续编码区域的编码模式设置为帧内编码模式，其他编码区域的编码模式设置为帧内编码模式或帧间编码模式；连续多帧图像中的帧内编码模式区域在帧内的空域范围总和能覆盖一帧图像的空域范围；针对视频中非预定义帧数的图像采用P/B帧的码流结构进行编码；基于设置编码模式的多帧图像进行视频编码。该方式可以消除图像压缩中的码流高峰，使图像数据的传输更稳定、流畅，延时更低。

Description

视频编码方法、装置以及计算设备、存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种视频编码方法、装置以及计算设备、存储介质。

背景技术

通常图像压缩时，采用一个I帧和N个P/B帧的码流结构，其中，I帧采用帧内编码模式(Intra模式)，P/B帧可选择帧内编码模式也可选择帧间编码模式(Inter模式)，通过采用Intra模式可以能阻止这个Intra帧之前的错误后传。然而，I帧的码率比P/B帧高，I帧码率约为P/B帧的3～8倍，从而导致编码I帧时的码流数据存在暂时的带宽高峰，导致图像数据传输不够流畅。

发明内容

本申请实施例提供一种视频编码方法、装置以及计算设备、存储介质，用以解决现有技术中由于码率速度不稳定造成的图像传输不流畅的问题。

第一方面，本申请实施例提供一种视频编码方法，所述方法，包括：

针对视频中预定义帧数的连续多帧图像执行：

将每帧图像拆分成多个编码区域，并为每个编码区域设置编码标识；

在每帧图像中选择预设数量的连续编码区域；

将所选择的预设数量的连续编码区域的编码模式设置为帧内编码模式，其他编码区域的编码模式设置为帧内编码模式或帧间编码模式；其中，所述连续多帧图像中的帧内编码模式区域在帧内的空域范围总和能覆盖一帧图像的空域范围；

针对所述视频中非预定义帧数的图像采用P/B帧的码流结构进行编码；

基于设置编码模式的多帧图像进行视频编码。

第二方面，本发明实施例还提供一种视频编码装置，所述装置，包括：

预定义帧数编码执行模块，用于针对视频中预定义帧数的连续多帧图像执行：

在每帧图像中选择预设数量的连续编码区域；

非预定义帧数编码执行模块，用于针对所述视频中非预定义帧数的图像采用P/B帧的码流结构进行编码；

编码模块，用于基于设置编码模式的多帧图像进行视频编码。

第三方面，本发明实施例还提供一种计算设备，包括：

存储器以及处理器；

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序第一方面任一项所述的视频编码方法。

第四方面，本发明实施例还提供一种计算机存储介质，其中，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行本申请实施例中的任一视频编码方法。

本申请实施例提供的视频编码方法、装置以及计算设备、存储介质，包括：首先针对视频中预定义帧数的连续多帧图像执行：将每帧图像拆分成多个编码区域，并为每个编码区域设置编码标识；在每帧图像中选择预设数量的连续编码区域；将所选择的预设数量的连续编码区域的编码模式设置为帧内编码模式，其他编码区域的编码模式设置为帧内编码模式或帧间编码模式；其中，连续多帧图像中的帧内编码模式区域在帧内的空域范围总和能覆盖一帧图像的空域范围，之后针对视频中非预定义帧数的图像采用P/B帧的码流结构进行编码，最后基于设置编码模式的多帧图像进行视频编码。该方式通过在视频预定义帧数中预设数量的编码区域采用帧内编码，且连续多帧图像中的帧内编码模式区域在帧内的空域范围总和覆盖一帧图像的空域范围，可以消除图像压缩中的码流高峰，使图像数据的传输更稳定、流畅，延时更低。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中视频编码的码流示意图；

图2为本申实施例提供的一种视频编码方法的流程示意图；

图3为本申请实施例提供的一种编码区域的示意图；

图4为本申请实施例提供的一种视频编码方法的示意图；

图5为本申请实施例提供的一种视频编码的码流的示意图；

图6为本申请实施例提供的一种视频编码方法的示意图；

图7为本申请实施例提供的一种视频编码方法的示意图；

图8为本申请实施例提供的一种视频编码方法的示意图；

图9为本申请实施例提供的一种视频编码装置的结构示意图；

图10为本申请实施例提供的一种计算设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

现有技术中的视频编码通常是采用一个I帧和N个P/B帧的码流结构，其中，I帧采用的是Intra模式可以进行独立编码而不依赖于P/B帧中的采用Inter模式编码的编码块，但是Inter模式编码的编码块却要依赖于Intra模式编码的编码块，且在视频编码时需要将Intra模式编码的编码块累计覆盖满一帧的图像的空域范围，基于此方式进行的视频编码会产生如图1所示的效果，在I帧是码流速度很高，P帧以及P/B帧时码流速度较低，进而使得视频图像传输时不够流畅，基于此，本申请提供了一种新的视频编码方法。

参阅图2，为本申请实施例提供的一种视频编码方法包括：

步骤201：针对视频中预定义帧数的连续多帧图像执行：

在每帧图像中选择预设数量的连续编码区域；

将所选择的预设数量的连续编码区域的编码模式设置为帧内编码模式，其他编码区域的编码模式设置为帧内编码模式或帧间编码模式；其中，连续多帧图像中的帧内编码模式区域在帧内的空域范围总和能覆盖一帧图像的空域范围。

下面通过具体实施例对步骤201进行详细说明，假定预定义帧数为4帧，则将每帧图像均分成10个编码区域，并为每个编码区域设置编码标识1-10以便用户可以确定该编码区域采用的编码模式，可将预定义帧数中的第一帧图像的第1-4编码区域设置为Intra模式，第二帧图像的第3-6编码区域设置为Intra模式，第三帧图像的第5-8编码区域设置为Intra模式，第四帧图像的第7-10编码区域设置为Intra模式，针对每帧图像中的其他编码区域可以选择Intra模式也可以选择Inter模式，由于选定的Intra模式编码区域进行叠加已经完全覆盖了一帧图像中的所有空域范围，因此在视频恢复时可以恢复出视频图像中的所有图像内容。

步骤202：针对视频中非预定义帧数的图像采用P/B帧的码流结构进行编码。

步骤203：基于设置编码模式的多帧图像进行视频编码。

在一个实施例中，可采用以下两种方式中的一种定义预定义的帧数：

方式一、预定义帧数可采用视频从初始帧图像起算的预定义帧数。

方式二、预定义帧数可采用将视频分组后，每组均包含预定义帧数，且每组的预定义帧数从每组的按时序确定的第一帧图像起算。

下面通过具体实例对预定义的帧数进行说明，假定视频A的时长为10秒，共包括300帧图像，若采用方式一，可设置预定义的帧数为10，则视频A中第1帧到第10帧的图像为预定义帧数，并对预定义的帧数采用步骤201中的方式进行编码。若采用方式二，可将视频分为3组，每组中均包括100帧的图像，设置预定义的帧数为10，则每组中前10帧的图像为预定义帧数，可针对每组中前10帧的图像采用步骤201中的方式进行编码。

通过该方式定义预定义帧数可以使视频编码执行的效率更高。

在一个实施例中，步骤201中的图像可通过下述的方式拆分成多个编码区域：

方式一、将每帧图像按行拆分成多个均等的编码区域。

方式二、将每帧图像按列拆分成多个均等的编码区域。

需要说明的是，在进行视频编码时会将每帧图像拆分成多个编码块，通常每个编码块为16*16/32*32/64*64个像素点，方式一是将处于同一行的编码块所在行归为同一编码区域，方式二将同一列的编码块所在列归为同一编码区域，具体地，可参照图3，假定将图像分成9个16*16的编码块，图3中，3-A为将每帧图像按行拆分的编码区域，分别包括编码区域1、编码区域2、编码区域3，3-B为将每帧图像按列拆分的编码区域，分别包括编码区域a、编码区域b、编码区域c。

通过该方式可将每帧图像中某行或某列的编码块设置成同一编码方式，进一步提高了视频编码的效率。

在一个实施例中，针对选择的第一帧图像选择前预设数量的编码区域设置为帧内编码模式；或；

针对选择的第一帧图像选择后预设数量的编码区域设置为帧内编码模式。

下面通过一个具体实例进行说明，假定预定义帧图像的第一帧图像拆分成10个编码区域，预设数量为4，可选择第1-4编码区域设置为帧内编码，也可以选择第7-10编码区域设置为帧内编码，但是第一帧图像后的图像要依据第一帧图像的选择方式，进行选择，若第一帧图像选择前预设数量的编码区域，则后面帧图像编码区域进行选择时编码标识是依次递增的，若第一帧图像选择后预设数量的编码区域，则后面帧图像编码区域进行选择时编码标识是依次递减的，用户可根据需求进行设定，在此不做具体限定，通过该方式使得视频编码方式更加多样。

在一个实施例中，针对除第一帧图像外的其他选择的每帧图像，根据搜索半径确定该帧图像编码区域的起始编码标识；其中，该起始编码标识包含在上一帧图像的连续编码区域中，并基于起始编码标识依序选择预设数量的编码区域作为该帧图像的连续编码区域。

需要说明的是，由于预定义帧数的图像中未选择的编码区域对错误有扩散作用，因此在两个连续帧中，Intra模式的图像区域有所重合，重合部分的大小跟P/B模式时的搜索半径有关。P/B模式时的搜索半径越大，错误扩散半径也越大，则Intra模式重合部分的区域也越大。

下面通过具体的实施例进行说明，以图4为例进行说明，假定视频B中包括6帧图像，预定义帧数量为2，在进行视频编码时，预定义帧中前两帧采用P帧的结构，将图像按行均分成3个编码区域，并依序设置编码标识预设的数量为2，第一帧图将前2个编码区域设置为Intra模式，假定搜索半径计算为1，则第二帧从第2个编码区域开始选择2个编码区域设置为Intra模式，即编码标识2-3对应的编码区域，针对第2帧之后的图像可以选择P/B帧的码流结构进行编码，可以选择Inter模式或Intra模式中的任意一种或组合，图中仅以Inter模式进行示意，图5示出了，应用本方案的码流结构示意图，可以看出码率相对于图1明显变得更加均衡，故而使得视频图像传输时更加稳定。

另外，还可以将视频B分成两组，每组包括3帧，针对前3帧采用上述的方法进行编码，后3帧图像也采用上述的编码方式，可如图6所示。

在一种实施例中，还可以将视频B中的图像按列拆分成3个编码区域，按照上述的方式进行编码。具体可参照图7和图8。

此外还要说明的是，图4、图6、图7以及图8还可以将第一帧图像后预设数量编码区域设置为帧内编码模式，在此不再具体的限定，图6和图8中第二组的第一帧也可以设定后预设帧数量的编码区域为Intra模式进行编码，在此不一一说明，凡是满足需求的编码方式均适用于本申请。

参阅图9，为本申请实施例提供的一种视频编码装置，该装置，包括：预定义帧数编码执行模块91、非预定义帧数编码执行模块92以及编码模块93。

需要说明的是，预定义帧数编码执行模块91，用于针对视频中预定义帧数的连续多帧图像执行：

在每帧图像中选择预设数量的连续编码区域；

非预定义帧数编码执行模块92，用于针对所述视频中非预定义帧数的图像采用P/B帧的码流结构进行编码；

编码模块93，用于基于设置编码模式的多帧图像进行视频编码。

在一种可选的实施方式中，所述预定义帧数编码执行模块用于：

将每帧图像按行拆分成多个均等的编码区域；或；

将每帧图像按列拆分成多个均等的编码区域。

针对选择的第一帧图像选择前预设数量的编码区域设置为帧内编码模式；或；

在一种可选的实施方式中，所述装置还包括：编码区域确定模块，用于针对除第一帧图像外的其他选择的每帧图像，根据搜索半径确定该帧图像编码区域的起始编码标识；其中，该起始编码标识包含在上一帧图像的连续编码区域中；并，基于所述起始编码标识依序选择预设数量的编码区域作为该帧图像的连续编码区域。

在一种可选的实施方式中，所述预定义帧数为所述视频的从初始帧图像起算的预定义帧数；或，

将视频分组后，每组均包含预定义帧数，且每组的预定义帧数从每组的按时序确定的第一帧图像起算。

在介绍了本申请示例性实施方式中的视频编码方法和装置之后，接下来，介绍本申请的另一示例性实施方式的计算设备。

所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施方式中，根据本申请的计算设备可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有计算机程序，当计算机程序被处理器执行时，使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的视频编码方法中的步骤。例如，处理器可以执行如图2中所示的步骤201-步骤203。

下面参照图10来描述根据本申请的这种实施方式的计算设备130。图10显示的计算设备130仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图10所示，计算设备130以通用智能终端的形式表现。计算设备130的组件可以包括但不限于：上述至少一个处理器131、上述至少一个存储器132、连接不同系统组件(包括存储器132和处理器131)的总线133。

总线133表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储器132可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1321和/或高速缓存存储器1322，还可以进一步包括只读存储器(ROM)1323。

存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325，这样的程序模块1324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

计算设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信，和/或与使得该计算设备130能与一个或多个其它智能终端进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口135进行。并且，计算设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器136通过总线133与用于计算设备130的其它模块通信。应当理解，尽管图中未示出，可以结合计算设备130使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

在一些可能的实施方式中，本申请提供的智能终端的控制方法的各个方面还可以实现为一种程序产品的形式，其包括计算机程序，当程序产品在计算机设备上运行时，计算机程序用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的视频编码方法中的步骤，例如，计算机设备可以执行如图2中所示的步骤201-步骤203。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请的实施方式的用于视频通话的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括计算机程序，并可以在智能终端上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的计算机程序可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的计算机程序，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。计算机程序可以完全地在目标对象智能终端上执行、部分地在目标对象设备上执行、作为一个独立的软件包执行、部分在目标对象智能终端上部分在远程智能终端上执行、或者完全在远程智能终端或服务器上执行。在涉及远程智能终端的情形中，远程智能终端可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到目标对象智能终端，或者，可以连接到外部智能终端(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用计算机程序的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims

1.一种视频编码方法，其特征在于，所述方法，包括：

针对视频中预定义帧数的连续多帧图像执行：

在每帧图像中选择预设数量的连续编码区域；

基于设置编码模式的多帧图像进行视频编码；

其中，所述将每帧图像拆分成多个编码区域，包括：

将每帧图像按行拆分成多个均等的编码区域；

根据以下方法确定预定数量的连续编码区域：

针对除第一帧图像外的其他选择的每帧图像，根据搜索半径确定该帧图像编码区域的起始编码标识；其中，该起始编码标识包含在上一帧图像的连续编码区域中；并，基于所述起始编码标识依序选择预设数量的编码区域作为该帧图像的连续编码区域。

2.根据权利要求1所述的方法，其特征在于，所述将每帧图像拆分成多个编码区域，包括：

将每帧图像按列拆分成多个均等的编码区域。

3.根据权利要求1所述的方法，其特征在于，所述预定义帧数为所述视频从初始帧图像起算的预定义帧数；或，

4.一种视频编码装置，其特征在于，所述装置，包括：

在每帧图像中选择预设数量的连续编码区域；

编码模块，用于基于设置编码模式的多帧图像进行视频编码；

其中，所述预定义帧数编码执行模块，用于：

将每帧图像按行拆分成多个均等的编码区域；

其中，所述装置还包括：编码区域确定模块，用于根据以下方法确定预定数量的连续编码区域：针对除第一帧图像外的其他选择的每帧图像，根据搜索半径确定该帧图像编码区域的起始编码标识；其中，该起始编码标识包含在上一帧图像的连续编码区域中；并，基于所述起始编码标识依序选择预设数量的编码区域作为该帧图像的连续编码区域。

5.根据权利要求4所述的装置，其特征在于，所述预定义帧数为所述视频的从初始帧图像起算的预定义帧数；或，

6.一种计算设备，其特征在于，包括：存储器以及处理器；

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1-3任一项所述的方法。

7.一种计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于执行如权利要求1-3中任一权利要求所述的方法。