CN105681795A - 用于对帧序列进行视频编码的方法和编码器 - Google Patents

Abstract

提供了用于对帧序列进行视频编码的方法和编码器。该方法包括：接收(S02)描绘移动对象的帧序列，预测(S04)在第一时间点和第二时间点之间移动对象在帧序列中的移动；基于预测的移动对象的移动，定义(S06)帧中的感兴趣区域，该感兴趣区域在所预测的移动对象在第一时间点和第二时间点之间的全部移动期间覆盖移动对象；以及使用用于定义在感兴趣区域的哪个部分中使用哪个编码质量的公共编码质量模式，来对感兴趣区域中的与第一时间点相对应的第一帧以及感兴趣区域的至少一子集中的与居于第一和第二时间点之间的时间点相对应的一个或多个中间帧进行编码(S08)。

Description

用于对帧序列进行视频编码的方法和编码器

技术领域

本发明涉及视频编码的领域。具体地，其涉及用于对帧序列进行编码的方法和编码器。

背景技术

诸如在H.264或更一般地说H.26x标准之下的视频编码之类的已知视频编码方法允许在视频帧的区域中的局部的压缩级别的修改。例如，能够通过调整用于表示对象的感兴趣区域(ROI)的压缩级别来改善图像品质。这也可以应用于其中存在移动对象的视频序列。

这是US8150173B2的主题，其例如教导了，对于具有移动对象的视频序列，可以为每个帧定义一个ROI。替换地，可以指定ROI的起始位置和尺寸，并且指定的ROI然后可以跟踪在视频序列中对象的运动。

为了减少感兴趣的对象上或其周围的压缩伪影，ROI通常不仅仅包括感兴趣的对象，而且也包括背景的一部分。当对象移动时，背景的该部分在每个帧中不同。结果，当在对象以横荡的方式移动的情况下对象不时地若干次经过时，对背景的特定部分进行编码所使用的压缩级别发生变化。这将显著地增加编码视频序列所需要的比特率，这是因为需要利用不同的压缩级别将背景的特定部分重新编码多次。因此，存在改善的需要。

发明内容

鉴于以上所述，因而本发明的目的是克服或至少减轻以上讨论的问题。具体地，目的是提供编码方法和编码器，其减少在对象经过时将背景重新编码若干次的需要。

根据本发明的第一方面，通过对帧序列进行视频编码的方法来实现以上目的，该方法包括：接收描绘移动对象的帧序列，序列包括与第一时间点相对应的第一帧、与之后的第二时间点相对应的第二帧以及与居于第一和第二时间点之间的一个或多个时间点相对应的一个或多个中间帧；预测在第一时间点和第二时间点之间移动对象在帧序列中的移动；基于预测的移动对象的移动，定义帧中的感兴趣区域，该感兴趣区域在所预测的移动对象在第一时间点和第二时间点之间的全部移动期间覆盖移动对象；以及使用用于定义在感兴趣区域的哪个部分中使用哪个编码质量的公共编码质量模式，来对感兴趣区域中的第一帧以及感兴趣区域的至少一子集中的一个或多个中间帧进行编码，其中对于特定中间帧，感兴趣区域的子集在所预测的对象在与特定中间图像帧相对应的时间点和第二时间点之间的全部移动期间覆盖对象。

利用以上方法，对象的移动被预测，并且用于定义当对第一帧以及一个或多个中间帧中的每一个进行编码时所使用的单个ROI。与现有技术相反，ROI因此在各帧之间不变化。

ROI被定义为在所预测的移动对象在第一时间点和第二时间点之间的全部移动期间覆盖移动对象。换句话说，预计定义的ROI覆盖第一帧以及一个或多个中间帧中的对象。因此预计在第一帧中以及在一个或多个中间帧中在ROI内发现移动对象和在移动对象附近的背景像素。

当对第一帧以及一个或多个中间帧进行编码时，相对于ROI、或至少相对于其子集使用公共(即，相同的)编码质量模式。这意味着，对于落入ROI内的背景的特定部分，将一直使用相同的编码质量，或在对象经过时最多将其改变一次，由此减少对重新编码的需要。

例如，如果对于第一帧以及对于一个或多个中间帧中的每一个相对于整体ROI使用公共编码质量模式，则不需要进行ROI的背景部分的重新编码。根据其它示例，当对一个或多个中间帧进行编码时，向ROI的子集应用公共编码质量模式。对于特定中间帧，在这样的情形中，子集可以在所预测的对象在直到第二时间点的剩余移动期间覆盖对象，即，预计子集覆盖直到第二时间点、在特定中间帧以及每个随后中间帧中的对象。在这种情况下，在对象经过时，最多需要将背景的特定部分重新编码一次。

如在本文所使用的，帧序列指的是图像帧的序列。应当注意，例如，随着帧序列被摄像机捕获，典型地顺序地接收帧序列。

如在本文所使用的，移动对象的移动的预测大体上指的是基于迄今为止已经接收到的帧来预测移动。典型地，这包括与在第一时间点之前的时间点相对应的帧。其也可以包括该第一帧。然而，在执行预测时，典型地尚未接收到一个或多个中间帧。通过在接收到一个或多个中间帧之前启动移动的预测，可以减少编码处理中的等待时间。

如在本文所使用的，通过措词“在第一时间点和第二时间点之间”所定义的时间间隔包括第一时间点和与一个或多个中间帧相对应的时间点。然而，其不一定包括第二时间点。在该定义的情况下，因而预计所定义的在所预测的移动对象在第一时间点和第二时间点之间的全部移动期间覆盖移动对象的ROI会覆盖在第一帧以及一个或多个中间帧中的每一个中、但是不一定在第二帧中的对象。

类似地，感兴趣区域中的、在所预测的对象在与特定中间图像帧相对应的时间点和第二时间点之间的全部移动期间覆盖对象的子集是预计覆盖在特定帧和每个随后中间帧中、但是不一定在第二帧中的对象的子集。

感兴趣区域大体上意味着被判断为特别重要的许多像素(例如，因为它们表示对象)。在编码应用中，可以将帧划分为例如具有16×16像素的固定尺寸的宏块。感兴趣区域可以由被发现特别重要的这样的宏块(例如，因为它们表示对象)的集合组成。

如在本文所使用的，编码质量模式典型地指的是编码质量的空间模式或功能。具体是，编码质量模式定义在感兴趣区域的哪个部分中使用哪个编码质量。

在一些实施例中，编码质量被设置为遍及ROI为常量。换句话说，编码质量模式可以定义将在全部感兴趣区域中使用的单个编码质量。使编码质量较少变化是有利的，这是因为其使得能够根据其它编码块预测更多编码块，由此提高编码效率。

在其它实施例中，编码质量模式可以定义将在感兴趣区域的不同部分中使用的不同编码质量。这允许更大的灵活性。例如，可以在与预计大体上具有较低的图像品质的帧的部分(诸如帧的周边部分)相对应的ROI的一些部分中将编码质量设置为较低。

编码质量可以大体上与压缩级别相对应。低级别的压缩典型地给出高编码质量并且反之亦然。在诸如H.264编解码器之类的一些编解码器中，就量化参数(QP值)而言给出压缩级别。编码质量因而也可以与量化参数相对应。

如将在后面的部分中进一步讨论的，诸如H-264标准之类的一些视频压缩标准规定就内帧(例如，I-帧)和间帧(例如，P-帧或B-帧)而言实施的时间视频压缩。内帧基本上是仅仅使用要被编码的图像帧中的信息被编码的图像帧。另外，根据对于要被编码的图像帧所捕获的所有图像数据来计算内帧。也被称为预测帧或差分帧的间帧基于来自先前编码的图像帧的信息以及目前编码的帧的信息，即，可以将间帧描述成利用先前的图像帧中的时间上冗余的信息。

根据实施例，可以将第一帧编码为内帧。另外，可以将一个或多个中间帧编码为间帧。典型地，背景像素在各帧之间不显著地改变。通过将中间帧编码为间帧，因此典型地不需要对于每个帧对背景像素进行重新编码，尤其是在编码质量模式对于特定背景像素保持不变的时长内，不需要进行重新编码。

在一些实施例中，使用公共编码质量模式在整个感兴趣区域(并且不仅仅是其子集)中对一个或多个中间帧中的至少一些进行编码。这包括使用公共编码质量模式在感兴趣区域中对一个或多个中间帧中的每一个进行编码的情况。这是有利的，是因为可以完全避免对落入感兴趣区域内的背景的重新编码。

通常，与帧的其余相比，至少与ROI的周围相比，在ROI内利用较高的编码质量对帧进行编码。然而，以较高的编码质量进行编码以增加的比特率为代价。如果ROI是大区域，这尤其如此。从这个角度看，因而较好的是，对于要被编码的每个帧将ROI保持得尽可能小。然而，从通过在对象经过时避免对背景进行重新编码来节约比特率的观点，较好的是，具有在对象的位于第一和第二时间点之间的全部移动期间覆盖对象的ROI并且使用公共编码质量模式在整个ROI中对每个帧进行编码，如以上阐述的。因而存在要考虑的折衷。

在一些实施例中，通过使用公共编码质量模式在ROI的子集(不是整个ROI)中对一个或多个中间帧进行编码来考虑该折衷。可以通过对于要被连续地编码的每个中间帧，使用公共编码质量模式对ROI的较小的子集进行编码的收缩过程来实现这一点。可以通过移除ROI中的与对象已经经过的ROI的那些部分相对应的部分来确定子集。具体地，这可以根据对于每个中间帧移除当对前一帧进行编码时所使用的ROI的部分或其子集的迭代过程来执行。被不同地陈述，对于第一中间帧，可以通过从感兴趣区域中移除一部分来确定感兴趣区域的子集，并且对于在第一中间帧之后的每个中间帧，通过从在对前一中间帧进行编码时所使用的子集中移除一部分来确定感兴趣区域的子集。

利用该过程，在连续的ROI的较小子集中使用公共编码质量模式对中间帧进行编码(据推测这相当消耗比特)，由此减小消耗的比特率。同时，结果得到的子集使得它们覆盖对象的剩余的预测的移动。这具有最多需要将ROI中的背景重新编码一次的结果。典型地，当对象已经经过时，背景的特定部分的重新编码发生，并且背景的特定部分形成被从ROI移除的部分的一部分。

从感兴趣区域移除的部分可以对应于在第一帧中覆盖而在第一中间帧中不覆盖对象的至少一部分的区域，并且从在对前一中间帧进行编码时所使用的子集移除的部分可以对应于在前一中间帧中至少部分地覆盖而在随后中间帧中不覆盖对象的区域。以这种方式，人们可以实现，对于特定中间帧，感兴趣区域的子集在所预测的对象在与特定中间图像帧相对应的时间点和第二时间点之间的全部移动期间覆盖对象。

对于一个或多个中间帧中的每一个，可以利用比由编码质量模式针对被移除的部分所定义的编码质量低的编码质量对被移除的部分中的中间帧进行编码。以这种方式，可以减小结果得到的总比特率。

取决于预测的对象的移动，ROI大体上可以采取任何形状。例如，其可以包括矩形，其中矩形的第一维度覆盖所预测的移动对象在第一时间点和第二时间点之间沿帧中的第一方向的移动，并且矩形的另一维度覆盖所预测的移动对象在第一时间点和第二时间点之间沿帧中的与第一方向垂直的第二方向的移动。这是有利的，是因为其提供简单的实施方式，同时也将对象在两个维度中的移动考虑在内。

矩形的“第一维度”大体上意味着矩形的第一侧，并且“另一维度”大体上意味着矩形的与第一侧垂直的另一侧。

可以以迭代方式执行以上公开的方法，意味着，一旦要对第二帧进行编码就重复该方法。更详细地，该方法可以进一步包括：预测在第二时间点和比第二时间点迟的第三时间点之间、在帧序列中移动对象的移动；基于预测的移动对象的移动定义另外的感兴趣区域，该另外的感兴趣区域在所预测的移动对象在第二时间点和第三时间点之间恶全部移动期间覆盖移动对象；以及当对第二帧进行编码时，使用另外的感兴趣区域。典型地将第二帧编码为内帧。

可能发生的是，例如由于对象移动的预测中的错误，在中间帧中观察到的对象未被ROI覆盖。为此目的，该方法可以进一步包括：对于至少一个中间帧，检查在至少一个中间帧中描绘的移动对象是否被感兴趣区域覆盖，并且如果否，则预测在与至少一个中间帧相对应的时间点和更晚的第四时间点之间移动对象在帧序列中的移动；基于预测的移动对象的移动，重新定义序列帧中的感兴趣区域，该感兴趣区域在所预测的移动对象在与一个或多个中间帧中的至少一个相对应的时间点和第四时间点之间的全部移动期间覆盖移动对象；以及当对至少一个中间帧进行编码时，使用重新定义的感兴趣区域。

利用该方案，因而重新定义ROI，使得其从某一中间帧开始直到第四时间点再次覆盖对象。以这种方式，可以补偿对象移动的预测错误。当对在该某一中间帧之后的帧进行编码时，可以使用重新定义的ROI。以这种方式，可以补偿对象移动的预测误差。

根据本发明的第二方面，以上目的通过包括计算机可读介质的计算机程序产品来实现，计算机可读介质具有适于当由具有处理能力的设备执行时用于执行第一方面的方法的计算机代码指令。

根据第三方面，以上目的通过对帧序列进行视频编码的编码器来实现，该编码器包括：接收器，被配置为接收描绘移动对象的帧序列，序列包括与第一时间点相对应的第一帧、与之后的第二时间点相对应的第二帧以及与居于第一和第二时间点之间的一个或多个时间点相对应的一个或多个中间帧；预测组件，被配置为预测在第一时间点和第二时间点之间移动对象在帧序列中的移动；感兴趣区域定义组件，被配置为基于预测的移动对象的移动，定义帧中的感兴趣区域，该感兴趣区域在所预测的移动对象在第一时间点和第二时间点之间的全部移动期间覆盖移动对象；编码组件，被配置为：使用用于定义在感兴趣区域的哪个部分中使用哪个编码质量的公共编码质量模式，来对感兴趣区域中的第一帧和感兴趣区域的至少一子集中的一个或多个中间帧进行编码，其中对于特定中间帧，感兴趣区域的子集在所预测的对象在与特定中间帧相对应的时间点和第二时间点之间的全部移动期间覆盖对象。

第二和第三方面可以大体上具有与第一方面相同的特征和优点。进一步请注意，本发明涉及特征的所有可能组合，除非另外明确地陈述。

附图说明

通过参考附图(其中将对类似的要素使用相同的附图标记)进行的以下对本发明的优选实施例的说明性的且非限制性的详细描述将更好地理解本发明的以上以及附加的目的、特征和优点，在附图中：

图1示意地图示出根据实施例的编码系统。

图2更详细地图示出图1的编码系统的编码器。

图3是根据实施例、对帧序列进行视频编码的方法的流程图。

图4示意地图示出描绘移动对象的帧序列。

具体实施方式

现在将在下文参考其中示出本发明的实施例的附图来更全面地描述本发明。将在操作期间对在本文公开的系统和设备进行描述。

图1图示出包括操作地连接到视频编码器104的视频摄像机102的编码系统100。视频摄像机102可以例如被布置为捕获用于描绘移动对象110(在这里通过人被图示)的帧视频序列106。可以将帧视频序列106发送到被布置为对帧序列106进行编码的编码器104。编码器104可以以比特流的形式输出编码的帧序列108。

应当理解，编码器104可以形成与视频摄像机102物理地分开的单元，或其可以被包括在摄像机102中。

图2更详细地图示出编码器104。编码器104包括接收器202、预测组件204、感兴趣区域定义组件206、编码组件208以及发射器210。

接收器202被布置为从视频摄像机102接收帧序列106。接收器202可以将帧序列转发到编码组件208和预测组件204。预测组件204和编码组件208可以被配置为至少部分地并行处理所接收的帧序列。

如以下将更详细地描述的，预测组件204被布置为预测在帧序列106中对象110的移动。预测的移动然后形成ROI定义组件206在确定编码组件208在对所接收的帧序列106进行编码时要使用的ROI时的基础。发射器210被布置为例如经由网络向外部实体传送得到的编码的帧视频序列108。

应当理解，参考图2所描述的组件202、204、206、208、210表示编码器104的功能块。可以借助于硬件或软件或者其组合来实施这些功能块。例如，编码器104可以包括被配置为实施组件202、204、206、208、210的功能的电路。替换地，或另外地，编码器104可以包括与(非暂时性)计算机可读媒介或设备相关联地被配置为实施组件202、204、206、208、210的功能的处理器。为此，计算机可读媒介可以被布置为存储当由处理器执行时实施在本文公开的任何方法的计算机代码指令。

现在将参考图1、2、4和图3的流程图来解释编码器104的操作。

在步骤S02中，接收器202接收要被编码的、由视频摄像机102捕获的帧序列106。接收器202典型地以顺序的方式并且实时地接收帧序列106。换句话说，随着帧被摄像机102捕获，接收器202接收帧。

假定帧序列106描绘移动对象，诸如在图1中的移动对象110。在图4中进一步图示出帧序列106或至少其子序列。

序列106中的每个帧对应于时间点。具体地，帧序列106包括与第一时间点t₁相对应的第一帧402、与之后的第二时间点t₂相对应的第二帧412以及与第一时间点t₁和第二时间点t₂之间的时间点相对应的一个或多个中间帧404、406、408、410(在这里通过四个帧图示)。应当理解，中间帧404、406、408、410的数量可以变化。

在视频编码中，已知的是，将一些帧编码为内帧(在一些视频编码方案中被称为I-帧)意味着至少基本上将该帧全编码，并且将一些帧编码为间帧(在一些编码方案中被称为P-或B-帧)意味着关于上一帧对该帧进行编码。典型地，内帧后面是多个间帧。在图4的示例中，第一和第二时间点典型地对应于两个随后的内帧，即，第一和第二帧将被编码为内帧。而且，中间帧将典型地被编码为间帧。

帧402-412描绘移动对象414。在所图示的示例中，对象414以基本上向下的方向(如由箭头所图示的)但是以横荡方式移动，意味着对象414具有来回移动的倾向。

在步骤S04中，预测组件204预测移动对象的移动。更详细地，预测组件204预测从第一时间点t₁起直到第二时间点对象414在帧序列中的移动。如上所述，典型地以顺序的方式接收帧。因此该预测基于迄今为止已经接收到的帧。这可以典型地包括与在第一时间点之前或等于第一时间点的时间点相对应的帧。例如，当执行步骤S04时，预测组件204可能尚未接收到中间帧404-410，或者甚至第一帧402。通过预测对象414从第一时间点起直到第二时间点的运动，而非等待接收与从第一时间点起直到第二时间点的时间点相对应的帧402-410，可以减少编码处理中的等待时间。

预测组件204可以以任何巳知方式(例如，通过使用运动矢量)预测移动对象414的移动。这可以包括预测在第一时间点t₁和第二时间点t₂之间预计移动对象414移动所沿的路径。在一些实施例中，预测组件204可以通过预测移动对象的速度v以及预计移动对象414在第一时间点t₁和第二时间点t₂之间移动的方向来预测移动。在其它实施例中，预测组件204可以应用更复杂的路径模型，使得所预测的对象414在第一时间点t₁和第二时间点t₂之间的路径基本上可以采取任何形式。预测组件204也可以预测对象414沿着帧中的若干维度或方向的移动。例如，预测组件204可以预测对象414在帧中第一方向上以及在帧中与第一方向垂直的第二方向上的移动。第一方向例如可以对应于对象414移动的主要方向。在图4中，这将对应于向下方向。然而，可能有这样的情况——对象414不是沿着第一主要方向直线移动，而是可以诸如沿着图4的左右方向以横荡方式移动。为了将这点考虑在内，预测组件204因此也可以预测对象114沿着可与第一方向垂直的第二方向的(横荡)移动。在图4中，这将与所图示的帧的左右方向相对应。

更一般地说，如果预测组件204就预计对象414在第一时间点t₁和第二时间点t₂之间遵循的路径而言预测对象414的移动，则预测组件204也可以预测对象414关于路径(例如垂直于路径)的横荡运动，以便将对象414在其移动时的横荡行为考虑在内。

在步骤S06中，ROI定义组件206基于来自预测组件204的预测的移动来定义ROI416。ROI416被定义为使得其在所预测的移动对象414在第一时间点t₁和第二时间点t₂之间的全部移动期间覆盖移动对象414。通过在所预测的移动对象414在第一时间点t₁和第二时间点t₂之间的全部移动期间覆盖移动对象414，尤其意指，定义ROI416，使得预计其覆盖(即，包括)第一帧402中的和中间帧404-410中的每一个中的(但不一定是第二帧412中的)移动对象。典型地将关于第二帧412来定义新的ROI418(如以下进一步讨论的)。值得注意地，ROI416是随后当对第一帧402和中间帧404-410进行编码时要使用的、关于第一帧402和中间帧404-410定义的单个区域。这与教导对于每个帧使用不同的ROI的现有技术是相反的。

取决于预测的对象414的移动，ROI大体上可以具有任何形状。例如，如果已经就预计对象414遵循的(大体形状的)路径而言预测了对象414的移动，ROI可以采取遵循该路径的形状的形式——即使在每个点以与路径垂直的方向扩展以便考虑对象的横荡移动来覆盖对象。

在一些实施例中，ROI416包括或具有矩形的形状，如进一步在图4中所图示的。具体地，可以将矩形的第一维度定义为在所预测的对象414在沿帧中的第一方向(诸如图4中的向下方向)的移动期间覆盖对象414，并且可以将矩形的第二维度定义为在所预测的对象414在沿着帧中的第二方向(诸如图4中的左右方向)的移动期间覆盖对象414。

如果就速度v(其可能与时间有关)而言来预测沿着对象的主要移动方向的移动，则可以将ROI的面积计算为：

$A_{ROI}=w{\∫}_{t_1}^{t_2}v\·dt$

其中w是所预测的对象414在时间点t₁和t₂之间在与预测的主要路径垂直的方向上的移动的范围。然而，应当理解，ROI416总是被设置为至少具有覆盖对象的尺寸的面积。例如，如果预测速度等于零(意味着预测对象不移动)，则仍然在第一帧中(以及因此也在中间帧404-410中)将ROI416设置为覆盖对象的区域。

在步骤S08中，编码组件208对第一帧402以及一个或多个中间帧404-410进行编码。为此，编码组件208可以包括用于实施允许对于感兴趣区域设置编码质量(即，压缩级别)的任何已知标准的编解码器。这包括H.26x系列中的标准，包括H.264标准。由H.264编解码器定义的压缩级别往往被称为量化参数(QP)。

这样的视频压缩标准规定就内帧(例如，I-帧)和间帧(例如，P-帧或B-帧)而言所实施的时间视频压缩。内帧基本上是仅仅使用要被编码的图像帧中的信息被编码的图像帧。另外，根据对于要被编码的图像帧所捕获的所有图像数据来计算内帧。因此，内帧有时被称为全帧。也被称为预测帧或差分帧的间帧是基于来自先前编码的图像帧的信息以及目前编码的帧的信息，即，可以将间帧描述成利用先前的图像帧中的时间上冗余的信息。实现该类型的编解码器的动态视频典型地生成一内帧、后面是预定数量的间帧，以及然后生成新的内帧、后面是相同的数量的间帧。后面是许多间帧的内帧的序列的长度往往被称为画面组长度(GOP长度)。

在本例子中，第一帧402、中间帧404-410和第二帧412可以形成被编码为GOP的序列。因而，可以将第一帧402编码为内帧，将中间帧404-410编码为间帧，并且将第二帧412编码为内帧。

在对第一帧402和中间帧404-410进行编码之前，编码组件208典型地设置与对ROI416或其子集进行编码相关的将使用的编码质量模式。编码质量模式定义在ROI416的哪个部分中使用哪个编码质量，即，压缩级别。典型地，设置编码质量模式，使得与在ROI的周围中的编码质量相比，在ROI内部的编码质量较高(即，应用了较低的压缩级别)。大体上，ROI416之外的编码质量可以在空间上并且也在时间上在帧之间变化。

在一些实施例中，编码质量模式定义将在全部ROI416中使用的单个编码质量。换句话说，在这样的实施例中，编码质量遍及ROI416为常量。然而，在其它实施例中，可以允许编码质量在ROI416内在空间上变化。编码质量模式因此可以定义将在ROI的不同部分中使用的不同编码质量。例如，编码质量模式可以定义编码质量根据在ROI416内的梯度而变化。

编码组件208将关于ROI416定义的编码质量模式设置为在第一时间点t₁和第二时间点t₂之间在时间上是常量，即，当对第一帧402和中间帧404-410进行编码时，编码组件应用公共编码质量模式。然而，典型地，当对第二帧412进行编码时，将重置编码质量模式。通过当对第一帧402和中间帧404-410进行编码时在ROI416中应用相同的编码质量模式，可以有利地减少背景的各帧之间的重新编码。

步骤S08可以包括多个子步骤。在步骤S08a中，编码组件208对第一帧402进行编码。典型地，将第一帧402编码为内帧。当对第一帧402进行编码时，编码组件208在(整体)ROI416中应用所选择的编码质量模式。

编码组件208然后继续对中间帧404-410进行编码。典型地，将中间帧404-410编码为间帧。

根据某些实施例，当对中间帧404-410进行编码时，编码组件208在整体ROI416中应用所选择的编码质量模式。

在其它实施例中，当对中间帧404-410中的至少一些进行编码时，编码组件208在ROI416的子集中应用所选择的编码质量模式。

更详细地，该方法可以包括子步骤S08b，其中对于每个中间帧404-410，编码组件208确定要根据所选择的编码质量模式被编码的ROI416的子集。具体地，编码组件208可以将对于特定中间帧的ROI的子集确定为在所预测的对象414在与特定中间帧相对应的时间点和第二时间点t₂之间的移动期间覆盖对象414的ROI的子集。可以认为这是收缩或移除与对象414已经经过的那些像素相对应的ROI的部分。

进一步在图4下部图示出这一点，其示出第一帧402、第一中间帧404和第二中间帧406的扩大。关于第一中间帧404，编码组件208已经通过将在与第一中间帧相对应的时间点与对象414已经经过的像素相对应的部分422a移除，而确定了ROI416的子集420a。具体地，被移除的部分422a对应于在第一帧402中至少部分地覆盖而在第一中间帧404中不覆盖对象414的区域。

关于第二中间帧406，编码组件208已经通过将在与第二中间帧406相对应的时间点与对象414已经经过的像素相对应的部分422b移除，而确定了ROI416的子集420b。具体地，被移除的部分422b对应于在第一帧402和第一中间帧404中至少部分地覆盖而在第二中间帧406中不覆盖对象414的区域。

编码组件208可以应用迭代过程，以确定ROI416的子集420a、420b。更具体地，对于第一中间帧404，通过从ROI416中移除一部分422a来确定ROI416的子集420a。对于第二中间帧404，通过从关于第一中间帧404确定的子集420a中移除一部分来确定ROI416的子集420b。更一般地说，对于第一中间帧404之后的每个中间帧404-410，通过从关于前一中间帧确定的子集中移除一部分来确定ROI416的子集。

通过t_1,0表示与第一帧相对应的时间点，通过t_1,i表示与中间帧相对应的时间点，通过A₀表示ROI的面积，并且通过A_i表示与第i中间帧相对应的ROI的子集的面积，可以迭代地将子集的面积计算为：

$A_0=A_{ROI}=w{\∫}_{t_1}^{t_2}v\·dt$

$A_i=A_{i-1}-w{\∫}_{t_{1,i.-1}}^{t_{1,i}}v\·dt$

然而，如以上进一步提及的，应当理解，ROI416总是被设置为至少具有覆盖对象的尺寸的面积。

根据某些实施例，在子步骤S08c中，编码组件208使用公共编码质量模式对确定的子集420a、420b中的中间帧404-410中的每一个进行编码。在被移除的部分422a、422b中，编码组件208可以利用与由编码质量模式针对被移除的部分所定义的编码质量相比而言较低的编码质量(即，具有较高的压缩级别)对中间帧402-410进行编码。

在一些情况下，可能发生的是，对象414离开ROI416，例如因为对象移动的预测与真实对象移动不一致。当这种情况发生时，可以重新定义(例如放大)ROI416，或可以将对象离开ROI416的时间点作为新的起始点而再次重新开始该方法。

为了发现是否是这情况，编码组件208可以对于要被编码的每个帧进一步检查在所关注的帧中描绘的移动对象414是否被感兴趣区域覆盖。如果不是这情况，预测组件204可以预测在与所关注的帧相对应的时间点和更迟的时间点(其可以或可以不与第二时间点一致)之间对象的移动。ROI定义组件206然后可以基于最近预测的对象414的移动来重新定义ROI，使得其在所预测的对象414在与所关注的帧相对应的时间点和更迟的时间点之间的移动期间覆盖对象414。当对所关注的帧以及与在更迟的时间点之前的时间点相对应的任何随后的帧进行编码时，编码组件208然后可以使用如此重新定义的ROI。

应当理解，可以一再重复以上方法公开的方法S02-S08。具体地，一旦到达时间t₂就重复方法，即，将时间t₂作为开始时间点。

将理解的是，本领域技术人员能够在许多方面修改以上所描述的实施例并且仍然使用在以上实施例中示出的本发明的优点。例如，在帧序列中可能存在若干移动对象。在那种情况下，可以为每个对象定义一个ROI。不同的编码质量模式可以用于不同的ROI。因而，本发明不应当被限制到示出的实施例，而是应当通过所附权利要求物来限定。另外地，如本领域技术人员所理解的，可以将示出的实施例组合。

Claims (13)

1.一种用于对帧序列进行视频编码的方法，包括：

接收(S02)描绘移动对象(414)的帧序列，该序列包括与第一时间点相对应的第一帧(402)、与之后的第二时间点相对应的第二帧(412)以及与居于所述第一时间点和所述第二时间点之间的一个或多个时间点相对应的一个或多个中间帧(404、406、408、410)；

预测(S04)在所述第一时间点和所述第二时间点之间所述移动对象(414)在所述帧序列中的移动；

基于预测的所述移动对象(414)的移动，定义(S06)所述帧中的感兴趣区域(416)，所述感兴趣区域(416)在所预测的所述移动对象(414)在所述第一时间点和所述第二时间点之间的全部移动期间覆盖所述移动对象(414)，其中所述感兴趣区域在各帧之间不变化；以及

使用用于定义在所述感兴趣区域(416)的哪个部分中使用哪个编码质量的公共常量编码质量模式，来对所述感兴趣区域(416)中的第一帧(402)和所述感兴趣区域(416)的至少一子集中的所述一个或多个中间帧(404、406、408、410)进行编码(S08)，其中对于特定中间帧，所述感兴趣区域的所述子集在所预测的所述对象在与所述特定中间图像帧相对应的时间点和所述第二时间点之间的全部移动期间覆盖所述对象，

其中，该方法进一步包括：

对于第一中间帧(404)，通过从所述感兴趣区域(416)中移除一部分(422a)来确定所述感兴趣区域的所述子集(420a)，以及

对于所述第一中间帧(404)之后的每个中间帧(406、408、410)，通过从在对前一中间帧进行编码时所使用的子集(420a)中移除一部分(422b)来确定所述感兴趣区域的所述子集(420b)。

2.根据权利要求1所述的方法，其中所述编码质量模式定义将在全部感兴趣区域(416)中使用的单个编码质量。

3.根据权利要求1所述的方法，其中所述编码质量模式定义将在所述感兴趣区域(416)的不同部分中使用的不同编码质量。

4.根据权利要求1所述的方法，其中每个编码质量与压缩级别相对应。

5.根据权利要求1所述的方法，其中所述第一帧(402)被编码为内帧。

6.根据权利要求1所述的方法，其中所述一个或多个中间帧(404、406、408、410)被编码为间帧。

7.根据权利要求1所述的方法，其中所述一个或多个中间帧(404、406、408、410)中的至少一些使用所述公共编码质量模式在整个感兴趣区域(416)中被编码。

8.根据权利要求1所述的方法，其中，

从所述感兴趣区域(416)中移除的部分(422a)对应于在所述第一帧(402)中覆盖而在所述第一中间帧(404)中不覆盖所述对象的至少一部分的区域，并且

从在对前一中间帧进行编码时所使用的子集(420a)中移除的部分(422b)对应于在所述前一中间帧中至少部分地覆盖而在随后中间帧中不覆盖所述对象的区域。

9.根据权利要求1所述的方法，进一步包括：对于所述一个或多个中间帧(404、406、408、410)中的每一个，利用比由所述编码质量模式针对被移除的部分所定义的编码质量低的编码质量对被移除的部分(422a、422b)中的中间帧进行编码。

10.根据权利要求1所述的方法，其中所述感兴趣区域包括矩形，其中所述矩形的第一维度覆盖所预测的所述移动对象沿所述帧中的第一方向在所述第一时间点和所述第二时间点之间的移动，并且所述矩形的另一维度覆盖所预测的所述移动对象沿所述帧中与所述第一方向垂直的第二方向在所述第一时间点和所述第二时间点之间的移动。

11.根据权利要求1所述的方法，进一步包括：

预测在所述第二时间点和比所述第二时间点晚的第三时间点之间所述移动对象(416)在所述帧序列中的移动；

基于预测的所述移动对象的移动，定义另一感兴趣区域(418)，所述另一感兴趣区域(418)在所预测的所述移动对象(416)在所述第二时间点和所述第三时间点之间的全部移动期间覆盖所述移动对象(416)；以及

当对所述第二帧(412)进行编码时，使用所述另一感兴趣区域(418)。

12.根据权利要求1所述的方法，进一步包括：

对于至少一个中间帧，检查在所述至少一个中间帧中描绘的移动对象是否被所述感兴趣区域覆盖，并且否，则

预测在与所述至少一个中间帧相对应的时间点和之后的第四时间点之间所述移动对象在所述帧序列中的移动；

基于预测的所述移动对象的移动，重新定义帧序列中的感兴趣区域，该重新定义的感兴趣区域在所预测的所述移动对象在与所述一个或多个中间帧中的所述至少一个中间帧相对应的时间点和所述第四时间点之间的全部移动期间覆盖所述移动对象；以及

当对所述至少一个中间帧进行编码时，使用重新定义的感兴趣区域。

13.一种用于对帧序列进行视频编码的编码器(104)，包括：

接收器(202)，被配置为接收描绘移动对象(414)的帧序列，该序列包括与第一时间点相对应的第一帧(402)、与之后的第二时间点相对应的第二帧以及与居于所述第一时间点和所述第二时间点之间的一个或多个时间点相对应的一个或多个中间帧(404、406、408、410)；

预测组件(204)，被配置为预测在所述第一时间点和所述第二时间点之间所述移动对象(414)在所述帧序列中的移动；

感兴趣区域定义组件(206)，被配置为基于预测的所述移动对象的移动，定义所述帧中的感兴趣区域(416)，所述感兴趣区域(416)在所预测的所述移动对象(414)在所述第一时间点和所述第二时间点之间的全部移动期间覆盖所述移动对象(414)，其中所述感兴趣区域在各帧之间不变化；

编码组件(208)，被配置为：

使用用于定义在所述感兴趣区域的哪个部分中使用哪个编码质量的公共常量编码质量模式，来对所述感兴趣区域(416)中的第一帧(402)和所述感兴趣区域(416)的至少一子集中的所述一个或多个中间帧进行编码，其中对于特定中间帧，所述感兴趣区域的所述子集在所预测的所述对象在与所述特定中间帧相对应的时间点和所述第二时间点之间的全部移动期间覆盖所述对象，

其中，所述编码组件进一步被配置为：

对于第一中间帧(404)，通过从所述感兴趣区域(416)中移除一部分(422a)来确定所述感兴趣区域的所述子集(420a)，以及

对于所述第一中间帧(404)之后的每个中间帧(406、408、410)，通过从在对前一中间帧进行编码时所使用的子集(420a)中移除一部分(422b)来确定所述感兴趣区域的所述子集(420b)。