CN112672148A - 视频编码方法以及被配置为执行此方法的视频编码器 - Google Patents

Abstract

本发明涉及视频编码方法以及被配置为执行此方法的视频编码器。该视频编码方法用于将原始视频数据的一系列图像编码为编码视频流。该方法包括：设置用于原始视频数据的一系列图像的编码的周期性帧内刷新模式；设置待添加在周期性帧内刷新模式的连续的帧内刷新帧之间的增量帧的数量，从而调整编码视频流的帧内刷新周期；并且使用所设置的周期性帧内刷新模式以及所设置的待添加在连续的帧内刷新帧之间的增量帧的数量，将原始视频数据的一系列图像编码为编码视频流。在编码期间，将当前的帧内刷新帧设置为直接参照先前的帧内刷新帧。在编码期间，将添加在两个连续的帧内刷新帧之间的每个增量帧设置为仅参照两个连续的帧内刷新帧中的前一个帧内刷新帧。

Description

视频编码方法以及被配置为执行此方法的视频编码器

技术领域

本发明涉及用于将原始视频数据中的一系列图像编码为编码视频流的视频编码方法。还提供了一种被配置为执行该视频编码方法的视频编码器。

背景技术

使用H.264编码标准(以及类似标准)的视频编码的通常问题是I-frame比特率突增，该问题源自于信息帧中包括的信息远多于P-frame和/或B-frame中包括的信息。对于被配置为在网络上传输编码视频流的网络监控相机而言，此问题尤其存在，特别是当同一网络上布置有若干相机时。理想地，网络更期望具有恒定比特率。

一种减少比特率突增的方案是将I-frame跨多个图像帧分布，并且取而代之地，使每一图像帧的一部分(帧内刷新区域)被强制编码为I-block。帧内刷新区域跨图像帧的集合在图像帧上移动，从而“刷新”图像。该方法被称为周期性帧内刷新或者就称为帧内刷新。由此，通过应用帧内刷新，比特率的突增可在多帧之内被消除；否则，每一GOP将发生一次比特率的突增，即：每当恰好使用帧内编码来编码图像帧时，将发生一次比特率的突增。在帧内刷新中，使用周期性帧内刷新模式(pattern)来定义图像帧的哪个部分应被“刷新”(即，被编码，而无需参照任意其他图像帧)，由此使该部分被强制编码为帧内编码区域。结合图1a-c示出了帧内刷新模式的不同实例，其图示了视频流的帧内刷新编码帧10。在示例中，虚线区域表示帧内刷新区域12，而未填充的区域表示该帧内刷新编码帧10中其余的帧间编码部分14。在图1a的示例中，周期性帧内刷新模式被示出，其中，帧内刷新编码帧10中宏块的完整的行或切片(slice)定义了帧内刷新区域12。在图1b的示例中，周期性帧内刷新模式被示出，其中，帧内刷新编码帧10中宏块的完整的列或瓦片(tile)定义了帧内刷新区域12。其他定义周期性帧内刷新模式的方式同样是可行的。图1c以举例的方式示出了一个此类替代方案。根据此实例，通过从帧内刷新编码帧10的一个角移动至相对角的对角帧内刷新区域12来定义周期性帧内刷新模式。在帧内刷新模式的所有实例中，编码图像帧的像素所有被定义宏块已在该模式的循环过程中被帧内刷新，即，在该帧内刷新模式的循环所延续的n个图像帧(在这些实例中，n＝3)内被帧内刷新。在结合图1a-c图示的周期性帧内刷新模式的各示例中，模式中的帧内刷新区域12具有一些重叠。然而，根据其他示例，帧内刷新区域12之间没有重叠。

每个图示的实例包括三个帧内刷新编码帧10，以用于要被刷新整个编码图像帧，但是应理解的是，在通常情况下，帧内刷新模式在较大数量的编码图像帧之中循环，该较大数量诸如为68、34、23、17、14、11和10。

在帧内刷新模式的周期内动态地调整编码图像帧的数量的能力对于一些应用而言是十分有价值的，尤其是对于监控应用，在监控应用中，编码视频流描绘的场景中不存在或存在低水平的运动的时刻期间优选的是较大数量的编码图像帧，而编码视频流描绘的场景中存在较高水平的运动的时刻期间优选的是较少数量的编码图像帧。在帧内刷新中，已知的一种修改编码图像帧的数量的方式是更改每一帧中帧内代码的行数或列数。例如，对于68宏块的高视频(FHD视频)，编码图像帧的最大数量被限制为68个(如果对每一帧内刷新帧使用一行宏块)。然而，对于一些应用，例如，监控应用，有时期望的是更多数量的编码图像帧。

因此，需要对帧内刷新编码视频流的循环中的编码图像帧的数量提供改进的动态调整。

发明内容

目的在于单独地或者以任意组合的方式减轻、缓和或消除现有技术中的上述缺陷中的一个或多个缺陷以及劣势，并且至少部分地解决上述问题。

根据第一方面，提供了一种视频编码方法，用于将原始视频数据的一系列图像编码为编码视频流。该方法包括：设置用于原始视频数据的一系列图像的编码的周期性帧内刷新模式；设置待添加在该周期性帧内刷新模式中连续的帧内刷新帧之间的增量帧的数量，从而调整编码视频流的帧内刷新周期；并且使用所设置的周期性帧内刷新模式以及所设置的待添加在连续的帧内刷新帧之间的增量帧的数量，将原始视频数据的一系列图像编码为编码视频流。在编码期间，将当前的帧内刷新帧设置为直接参照先前的帧内刷新帧。在该编码期间，将添加在两个连续的帧内刷新帧之间的每个增量帧设置为仅参照该两个连续的帧内刷新帧中的前一个帧内刷新帧。

本方法允许调整帧内刷新循环中帧的数量。这是通过允许将多个增量帧添加在连续的帧内刷新帧之间。本方法可以使用可获得的编码标准容易地实施。因此，本方法允许适应性视频编码，其中帧内刷新循环中编码帧的数量可以动态地调整。

换言之，通过在两个连续的帧内刷新帧之间添加增量帧而对该帧内刷新模式应用递阶编码方案，帧内刷新循环中帧的数量可以被调整。这允许超越仅使用帧内刷新帧的限制而调整帧内刷新循环中帧的数量。

该方法可以进一步包括：确定原始视频数据中运动的水平。待添加的增量帧的数量可以基于所确定的运动的水平而设置。相对较高水平的运动可以导致相对较少数量的增量帧。相对较低水平的运动可以导致相对较多数量的增量帧。因此，用于特定的帧内刷新循环的帧的数量可以基于场景中运动的水平而推导出。

所设置的帧内刷新循环中连续的帧内刷新帧之间的增量帧的数量可以相同。

可以相对于先前的帧内刷新循环而调整为随后的帧内刷新循环所设置的增量帧的数量。可以基于所确定的运动的水平而进行该调整。因此，作为图像场景中变化的结果，帧内刷新循环中编码帧的数量可以被调整。可替换地或者结合地，可以基于用于编码视频流的比特率分配而进行该调整。例如，可通过增加所设置的增量帧的数量来减少编码视频流的比特率。例如，这可能有利于网络的带宽可用率因临时需求而受限的情形。可替换地或者结合地，可以归因于丢失的数据包或者可以归因于对更稳定的流的期望(例如，触发了重要事件)而调整增量帧的数量。典型地，对于此类情形，增量帧的数量被减少。

每个帧、增量帧或帧内刷新帧可以与原始视频数据的一系列图像中的图像对应。

根据第二方面，提供了一种非暂态计算机可读存储介质。该非暂态计算机可读存储介质具有存储在该非暂态计算机可读存储介质上的指令，当在具有处理性能的装置上运行该指令时，该指令用于实施根据第一方面的视频编码方法。

在适用情况下，根据第一方面的方法的上述特征也可以应用于此第二方面。为了避免不必要的重复，可参照上文。

根据第三方面，提供了一种视频编码器，该视频编码器被配置为将原始视频数据的一系列图像编码为编码视频流。该视频编码器被配置为：设置用于原始视频数据的一系列图像的编码的周期性帧内刷新模式；设置待添加在周期性帧内刷新模式的连续的帧内刷新帧之间的增量帧的数量，从而增加编码视频流的帧内刷新周期；并且使用所设置的周期性帧内刷新模式以及所设置的待添加在连续的帧内刷新帧之间的增量帧的数量，将原始视频数据的一系列图像编码为编码视频流。在该编码期间，该编码器被配置为将当前的帧内刷新帧设置为直接参照先前的帧内刷新帧。而且，在该编码期间，该编码器被配置为将添加在两个连续的帧内刷新帧之间的每个增量帧设置为仅参照两个连续的帧内刷新帧中的前一个帧内刷新帧。

该视频编码器可在摄影机中实现。

在适用情况下，根据第一方面的方法的上述特征也可以应用于此第三方面。为了避免不必要的重复，可参照上文。

通过下文中给出的详细说明，本发明的进一步的可应用范围将变得明显可见。然而，应理解的是，指示了本发明的优选实施例的详细的说明和特定的示例仅为示例性的，因为对于本领域技术人员而言，基于此详细说明，本发明范围内的各种变化和修改将变得明显可见。

因此，应理解的是，本发明不限于所描述的装置的具体组成部件或者所描述的方法的动作，因为此装置和方法可发生变化。还应理解的是，本文中使用的术语仅用于描述具体实施例的目的，并非旨在具有限制性。应注意的是，本说明书和随附权利要求书中使用的冠词“一”、“该”和“所述”旨在意指存在一个或多个元件，除非上下文另外清楚指明。因此，例如，对“一单元”或“该单元”的引用可以包括若干装置，等等。而且，词语“包括”、“包含”以及类似词语不排除其他元件或步骤。

附图说明

现在将参照附图更详细地描述本发明的上述以及其他方面。附图不应被视为是限制性的，而是用于解释和理解。

如附图中所图示，为了说明的目的，各层和各区域的尺寸可被放大、并且因此用于图示大体的结构。相同的附图标记自始至终指代类似的元件。

图1a-c示意性地图示了用于帧内刷新编码视频流的帧内刷新模式的示例。

图2示意性地图示了一种视频编码系统。

图3示意性地图示了一种包括图2的视频编码系统的相机。

图4示意性地图示了根据本发明的一种编码视频流的帧结构。

图5是一种用于获取图4中所图示的帧结构的视频编码方法的框图。

具体实施方式

下文中将参照附图更充分地描述本发明，附图中示出了本发明当前优选的实施例。尽管如此，本发明可通过许多不同的形式体现，并且不应被理解为受限于本文中陈述的实施例；而是，这些实施例用于透彻性和完整性，从而将本发明的范围充分传达给技术人员。

结合图2，示出了一种视频编码系统100。视频编码系统100包括视频源102、视频编码器110和存储器120。视频编码器110被配置为将视频数据的一系列图像编码为编码视频流。以一系列图像的形式的视频数据是从该视频源102接收的。视频源102可以为图像传感器。视频编码器110可被设置为使用任意适当的编码方案。非限制性的示例为H.264、H.265和AV1。视频编码器100可与存储器120通信。存储器120可在视频数据的编码期间用作缓存器。存储器120可以包括一个或多个存储器部分。特定的存储器部分可为易失性存储器部分。特定的存储器部分可为非易失性存储部分。因此，存储器120可包括易失性存储器部分和非易失性器存储部分二者。

如图3中所示，视频编码系统100可在摄影机200中实现。摄影机200可以为数码摄影机。摄影机200可为监控相机。

视频编码器110被配置为将视频数据的一系列图像编码为编码视频流。视频编码器110被配置为使用帧内刷新来编码该视频流。如结合背景部分讨论过的，在帧内刷新中，周期性帧内刷新模式被用于定义编码图像帧中的哪个部分应被“刷新”(即，被编码，而无需参照任意其他图像帧)并且由此被强制编码为帧内编码区域。因此，该编码器被配置为设置用于将视频数据的一系列图像编码为编码视频流的周期性帧内刷新模式。

为此，视频编码器110被设置为根据已知的编码方案进行编码。尽管如此，根据本发明，视频编码器110进一步被配置为在周期性帧内刷新模式中连续的帧内刷新帧之间添加增量帧(delta frame)。增量帧是仅包括逐帧发生的变化的帧。因此，增量帧包括的数据通常少于帧内刷新帧。在视频编码中，增量帧也被称为帧间帧，通常被称为P-帧或B-帧。P-帧参照先前的帧，以用于数据参照。因此，先前的帧的内容应为已知的，从而解码P-帧。B-帧可以既参照先前的帧又参照后续的帧，以用于数据参照。因此，先前的帧和后续的帧的内容均应为已知的，从而解码B-帧。

因此，视频编码器110被配置为设置要添加在周期性帧内刷新模式中连续的帧内刷新帧之间的增量帧的数量。通过添加增量帧，编码视频流的帧内刷新周期将被调整。由此，帧内刷新循环内的帧的数量将被调整。通常，帧内刷新周期将增加，尤其是与背景技术中讨论过的现有技术的帧内刷新方法相比。因此，帧内刷新循环内的帧的数量将增加。这使得能够更加自由地调整帧内刷新循环内的帧的数量。

可以通过在周期性帧内刷新模式中选择多个帧内刷新帧来设置用于对原始视频数据的一系列图像进行编码的周期性帧内刷新模式。在给定原始视频数据的图像的像素特性的情况下，可通过访问用于帧内刷新循环的预定数量的帧的列表来进行该选择。

在编码过程中，视频编码器110被设置为将当前的帧内刷新帧设置为直接参照先前的帧内刷新帧。进一步地，视频编码器110可以被设置为将当前的帧内刷新帧设置为仅参照先前的帧内刷新帧，由此，帧内刷新帧仅参照另一帧内刷新帧并且不参照增量帧。通过参照帧内刷新帧的此方案，可保留由现有技术的帧内刷新编码获得的有益效果。通过使帧内刷新帧仅参照另一帧内刷新帧并且不参照增量帧，可确保运动矢量不超出帧内刷新区域。而且，通过使用此类递阶结构的帧，可容易地将一“层”或多“层”的增量帧从编码视频流中删除，并且同时，在删除一“层”或多“层”的增量帧之后，编码视频流将仍可被解码。

进一步地，在编码过程中，视频编码器110被配置为将添加在两个连续的帧内刷新帧之间的每一增量帧设置为仅参照两个连续的帧内刷新帧中的前一个。这种编码配置是用于编码视频流的通常配置，并且因此在使用此配置时可使用所有的标准编码器。

结合图4示意性地图示了根据本发明的编码视频流的帧结构。编码视频流包括帧内刷新编码帧10和增量帧16两者。在图示的实例中，增量帧16是P-帧。在图示的实例中，图示了一个帧内刷新循环期间的编码视频流的帧结构。尽管如此，应理解的是，编码视频流可以包括多于一个的帧内刷新循环。进一步地，在图示的实例中，帧内刷新循环包括三个帧内刷新编码帧10，但应理解的是，在通常情况下，帧内刷新模式跨较大数量的编码图像帧而循环，该较大的数量诸如为68、34、23、17、14、11和10。

每个帧内刷新编码帧10包括示出为虚线区域的帧内刷新区域12以及示出为未填充区域的其余的帧间编码部分14。示出的周期性帧内刷新模式中，帧内刷新编码帧10中宏块的完整的行或切片定义了帧内刷新区域12。尽管如此，定义该周期性帧内刷新模式的可替换方式对于本发明同样是可行的。结合图1b和1c示出了帧内刷新模式的一些此类实例。

进一步地，结合图4，帧内刷新模式中的帧内刷新区域12被图示为具有一些重叠。然而，根据其他实例，帧内刷新区域12之间不具有重叠。

视频编码器可以被配置为对原始视频数据的一系列图像进行编码，以使得每个帧、增量帧或帧内刷新帧与原始视频数据的一系列图像中的图像对应。

待添加的增量帧的数量可以基于原始视频数据中运动的水平而设置。运动的水平是与原始视频数据中一系列图像中的先前图像的图像相比的、原始视频数据中图像的图像数据的变化量的测量。可以这么说，运动的水平是视频数据中正在呈现的最前端的视频信息的量。可使用全球变化值来确定运动的水平，诸如EP3021579A1中描述的CG，尤其参见[0035]-[0041]。尽管如此，可通过替换方式确定运动的水平。一些非限制性的实例包括：使用来自时间噪声滤波器的统计数据，使用编码期间使用的运动矢量的平均尺寸，或者执行像素间比较。

因此，视频编码系统100可以进一步包括运动水平确定电路130。运动水平确定电路130被配置为确定原始视频数据中运动的水平。运动水平确定电路130可以被配置为基于以上提到的任意方法确定原始视频数据中运动的水平。运动水平确定电路130可以包括处理器，诸如中央处理单元(CPU)、微控制器或微处理器。处理器被配置为运行存储在存储器120中的程序代码，从而实施运动水平确定电路130的功能。运动水平确定电路130的功能可以通过存储在非暂态计算机可读介质(例如，存储器120)上的可运行逻辑例程(例如，代码行数、软件程序等)的形式体现，并且通过运动水平确定电路130(例如，使用该处理器)运行。而且，运动水平确定电路130的功能可以为独立的软件应用程序，或者可以构成实施与运动水平确定电路130相关的额外任务的软件应用程序的一部分。所描述的功能可被视为是对应的装置被配置以执行的方法。而且，虽然所描述的功能可以通过软件实施，此类功能也可经由专用硬件或固件实施，或者经由硬件、固件和/或软件的一些组合实施。

因此，视频编码器110可以基于原始视频数据中运动的水平而确定待添加的增量帧的数量。相对较高水平的运动可以用于设置相对较少数量的增量帧。相对较低水平的运动可用以于设置相对较多数量的增量帧。

视频编码器110可以被配置为将帧内刷新循环中连续的帧内刷新帧之间的增量帧的数量设置为相同。

视频编码器110可以被配置为相对于先前的帧内刷新循环而调整所设置的用于随后的帧内刷新循环中增量帧的数量。因此，在整个编码视频流中，帧内刷新循环中帧的数量可以被调整。而且，可以基于场景中运动的水平而设置增量帧的数量，如果场景中运动的水平发生变化，编码视频流中增量帧的数量也发生变化。

将结合图5讨论一种被配置为将原始视频数据的一系列图像编码为编码视频流的视频编码方法500。视频编码方法可以被配置为编码由相机捕获的视频数据。该相机可以为监控相机。该视频处理方法包括以下步骤/动作。

设置S502用于原始视频数据的一系列图像的编码的周期性帧内刷新模式。可以通过在周期性帧内刷新模式中选择多个帧内刷新帧而进行用于原始视频数据的一系列图像的编码的周期性帧内刷新模式的设置S502。在给定原始视频数据的图像的像素特性的情况下，可通过访问用于帧内刷新循环的预定数量的帧的列表来进行该选择。可以基于由编码视频流描绘的场景中运动的水平来进行该选择。

设置S504待添加在周期性帧内刷新模式中连续的帧内刷新帧之间的增量帧的数量。从而，编码视频流的帧内刷新周期可以被调整。所设置的帧内刷新循环的连续的帧内刷新帧之间的增量帧的数量可以相同。所设置的用于随后的帧内刷新循环的增量帧的数量可以相对于先前的帧内刷新循环而被调整。

使用所设置的周期性帧内刷新模式以及所设置的待添加在连续的帧内刷新帧之间的增量帧的数量，将原始视频数据的一系列图像编码S506为编码视频流。在编码S506期间，当前的帧内刷新帧被设置为直接参照先前的帧内刷新帧。在编码S506期间中，添加在两个连续的帧内刷新帧之间的每个增量帧被设置为仅参照两个连续的帧内刷新帧中的前一个。每个编码帧、增量帧或帧内帧可以与原始视频数据的一系列图像中的图像对应。

该方法可以进一步包括：确定原始视频数据中运动的水平。在设置504的动作期间，待添加的增量帧的数量可以基于所确定的运动的水平来设置。相对较高水平的运动可以导致相对较少数量的增量帧。相对较低水平的运动可导致相对较多数量的增量帧

本领域技术人员意识到，本发明绝不限于以上描述的优选实施例。相反，在随附权利要求书的范围内，许多修改和变化是可行的。

例如，在两个连续的帧内刷新帧之间添加的增量帧可以组成包括多个时间层的递阶(hierarchical)预测模式。

此外，在实践请求保护的本发明时，通过对附图、本公开以及随附权利要求书的学习，本领域技术人员可理解并实现对所公开的实施例的变形。

Claims (8)

1.一种视频编码方法，用于将原始视频数据的一系列图像编码为编码视频流，所述方法包括：

设置用于所述原始视频数据的所述一系列图像的所述编码的周期性帧内刷新模式，其中所述周期性帧内刷新模式定义帧内刷新帧中的应被强制编码为帧内编码区域的区域，使得在所述周期性帧内刷新模式的一个循环中，图像的所有区域跨帧内刷新帧的集合是被帧内刷新的；

设置待添加在所述周期性帧内刷新模式的连续的帧内刷新帧之间的增量帧的数量，从而调整所述编码视频流的帧内刷新周期；并且

使用所设置的所述周期性帧内刷新模式以及所设置的待添加在连续的帧内刷新帧之间的增量帧的数量，将所述原始视频数据的所述一系列图像编码为所述编码视频流，

其中，在所述编码期间，将当前的帧内刷新帧设置为仅参照先前的帧内刷新帧，以用于预测，

其中，在所述编码期间，经由添加在两个连续的帧内刷新帧之间的一个或多个所述增量帧，将添加在所述两个连续的帧内刷新帧之间的每个增量帧设置为仅直接地或间接地参照所述两个连续的帧内刷新帧中的前一个帧内刷新帧，以用于预测。

2.根据权利要求1所述的方法，进一步包括：

确定所述原始视频数据中运动的水平，其中待添加的增量帧的数量是基于所确定的所述运动的水平而设置的，其中相对较高水平的运动导致相对较少数量的增量帧，并且其中，相对较低水平的运动导致相对较多数量的增量帧。

3.根据权利要求1所述的方法，其中，所设置的帧内刷新循环中连续的帧内刷新帧之间的增量帧的数量是相同的。

4.根据权利要求1所述的方法，其中，相对于先前的帧内刷新循环而调整为随后的帧内刷新循环所设置的增量帧的数量。

5.根据权利要求1所述的方法，其中，每个帧、增量帧或帧内刷新帧与所述原始视频数据的所述一系列图像中的图像对应。

6.一种非暂态计算机可读存储介质，具有存储在所述非暂态计算机可读存储介质上的指令，当在具有处理性能的装置上运行所述指令时，所述指令用于实现根据权利要求1所述的视频编码方法。

7.一种视频编码器，被配置为将原始视频数据的一系列图像编码为编码视频流，所述视频编码器被配置为：

设置用于所述原始视频数据的所述一系列图像的所述编码的周期性帧内刷新模式，其中所述周期性帧内刷新模式定义帧内刷新帧中的应被强制编码为帧内编码区域的区域，使得在所述周期性帧内刷新模式的一个循环中，图像的所有区域跨帧内刷新帧的集合是被帧内刷新的；

设置待添加在所述周期性帧内刷新模式的连续的帧内刷新帧之间的增量帧的数量，从而增加所述编码视频流的帧内刷新周期；并且

使用所设置的所述周期性帧内刷新模式以及所设置的待添加在连续的帧内刷新帧之间的增量帧的数量，将所述原始视频数据的所述一系列图像编码为所述编码视频流，

其中，在所述编码期间，所述视频编码器被配置为将当前的帧内刷新帧设置为仅参照先前的帧内刷新帧，以用于预测，

其中，在所述编码期间，所述视频编码器被配置为经由添加在两个连续的帧内刷新帧之间的一个或多个所述增量帧，将添加在所述两个连续的帧内刷新帧之间的每个增量帧设置为仅直接地或间接地参照所述两个连续的帧内刷新帧中的前一个帧内刷新帧，以用于预测。

8.根据权利要求7所述的视频编码器，在摄影机中实现。

Images