CN113905241A - 视频编码 - Google Patents

Abstract

根据本公开的实现，提出了用于视频编码的方案。根据该方案，在编码器处接收来自解码器的控制信息，该控制信息指示解码器未接收到从编码器发送的视频流中的第一帧。从参考帧缓冲器中存储的长期参考帧(LTR)中确定用于该视频流中在第一帧之后并且尚未编码的第二帧进行编码的至少一个长期参考帧，该控制信息指示解码器接收到该至少一个长期参考帧。然后，基于该至少一个长期参考帧来对第二帧进行编码。该方案使得不支持LTR语法的编解码器在发生丢帧的情况下能够通过使用LTR来进行错误恢复，从而提高解码鲁棒性。

Description

视频编码

背景技术

长期参考帧(LTR)是视频编码中的重要工具，用于在发生丢帧的情况下提高编码效率和解码鲁棒性。在实时视频传输中，LTR可以用于错误恢复。然而，一些视频编解码器针对LTR的支持是有限的。

发明内容

根据本公开的实现，提出了用于视频编码的方案。根据该方案，在编码器处接收来自解码器的控制信息，该控制信息指示解码器未接收到从编码器发送的视频流中的第一帧。从参考帧缓冲器中存储的长期参考帧中确定用于该视频流中在第一帧之后并且尚未编码的第二帧进行编码的至少一个长期参考帧，该控制信息指示解码器接收到该至少一个长期参考帧。然后，基于该至少一个长期参考帧来对第二帧进行编码。该方案使得不支持LTR语法的编解码器在发生丢帧的情况下能够通过使用LTR来进行错误恢复，从而提高解码鲁棒性。

提供发明内容部分是为了简化的形式来介绍对概念的选择，其在下文的具体实施方式中将被进一步描述。发明内容部分无意标识要求保护的主题的关键特征或主要特征，也无意限制要求保护的主题的范围。

附图说明

图1A示出了实时视频传输中的示例参考帧结构的示意图；

图1B示出了实时视频传输中的另一示例参考帧结构的示意图；

图2示出了根据本公开的实现的用于实时视频传输的示例系统的框图；

图3示出了根据本公开的实现的用于视频编码的示例方法的流程图；以及

图4示出了能够实施本公开的多个实现的电子设备的框图。

这些附图中，相同或相似参考符号用于表示相同或相似元素。

具体实施方式

现在将参照若干示例实现来论述本公开。应当理解，论述了这些实现仅是为了使得本领域普通技术人员能够更好地理解且因此实现本公开，而不是暗示对本公开的范围的任何限制。

如本文所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”。术语“一个实现”和“一种实现”要被解读为“至少一个实现”。术语“另一个实现”要被解读为“至少一个其他实现”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

图1A示出了实时视频传输中的示例参考帧结构100的示意图。图1A示出了视频流中的连续帧110、120、130和140，其中帧110充当帧120的参考帧，帧120充当帧130的参考帧，帧130充当帧140的参考帧。帧110的参考帧可以是在帧110之前的一帧或者多帧，图1A中未示出。在实时视频传输中，例如，编码器可以按照如图1A所示的参考帧结构100来对帧110、120、130和140进行编码。编码后的视频流可以被发送至解码器。相应地，解码器按照如图1A所示的参考帧结构100来对帧110、120、130和140进行解码。在本文中，如图1A所示的由当前帧的邻近帧充当的参考帧也被称为“短期参考帧(STR)”。STR在编解码器中被保留的时间通常较短。例如，在对当前帧的下一帧进行编解码时，编解码器所使用的参考帧将会随之更新。

在视频流传输不发生丢帧的情况下，如图1A所示的参考帧结构100能够实现较高的视频编码性能。然而，当视频流传输发生丢帧时，如果编解码器仍然遵循这样的参考帧结构，则将导致解码器无法正常解码。例如，如果帧130未被解码器接收到，则解码器无法利用帧130来预测帧140。此时，例如，解码器可以要求编码器重传帧130，然而这将引入额外的延时。又例如，编码器可以对帧140进行帧内预测编码，然而这将降低帧140的编码效率。为了不引入额外延时或者显著降低编码效率，编码器可以使用LTR作为帧140的参考帧来对帧140进行编码。与STR相反，LTR指代保留时间较长的参考帧。LTR可以是在当前帧之前出现的某个特定帧，而不一定是当前帧紧邻的前一帧。

图1B示出了实时视频传输中的另一示例参考帧结构105的示意图。如图1B所示，例如，帧130在视频传输中被丢失。为了确保解码器能够对帧130的后续帧140进行正确解码，编码器可以使用LTR150来对帧140进行编码。LTR 150可以是被解码器接收到的特定帧。以此方式，解码器可以利用LTR 150来预测帧140。

如上所述，在实时视频传输中，LTR能够用于错误恢复，从而在发生丢帧的情况下提高解码鲁棒性。然而，一些视频编解码器针对LTR的支持是有限的。例如，AV1编解码器的语法不支持LTR的功能。

根据本公开的实现，提出了一种用于图像编码的方案，从而解决上述问题和/或其他潜在问题。根据该方案，在编码器处接收来自解码器的控制信息，该控制信息指示解码器未接收到从编码器发送的视频流中的第一帧。从参考帧缓冲器中存储的长期参考帧中确定用于该视频流中在第一帧之后并且尚未编码的第二帧进行编码的至少一个长期参考帧，该控制信息指示解码器接收到该至少一个长期参考帧。然后，基于该至少一个长期参考帧来对第二帧进行编码。以此方式，该方案使得不支持LTR语法的编解码器在发生丢帧的情况下能够通过使用LTR来进行错误恢复，从而提高解码鲁棒性。

在下文中将以AV1编解码器作为示例来详细描述该方案的各种示例实现。应当理解，这仅仅出于说明的目的，而不旨在限制本公开的范围。本公开的实现还适用于除AV1编解码器之外的其他编解码器。

图2示出了根据本公开的实现的用于实时视频传输的示例系统200的框图。如图2所示，系统200包括视频编码设备210和视频解码设备220。

在一些实现中，视频编码设备210可以包括编码控制器211和视频编码器212，视频解码设备220可以包括解码控制器221和视频解码器222。编码控制器211可以从解码控制器221接收控制信息，并且基于接收到的控制信息生成用于控制视频编码器212的操作的各种控制命令。编码控制器211可以向视频编码器212发送所生成的各种控制命令，并且从视频编码器212接收经编码的视频流。编码控制器211可以将经编码的视频流发送至解码控制器221。解码控制器221可以将所接收的视频流转发给视频解码器222进行解码。此外，解码控制器221可以基于所接收的视频流来生成控制信息，以发送给编码控制器211。解码控制器221向编码控制器211发送的控制信息可以指示视频流中的各个帧的接收情况，例如，被成功接收或者被丢失。

在一些实现中，从编码控制器211向视频编码器212发送的命令可以包括但不限于：编码当前帧、将当前帧标记为LTR、使用LTR作为编码当前帧的参考帧，使STR无效、或者使未使用的LTR无效等。视频编码器212可以响应于所接收到的命令来执行相应的操作。以下将以AV1编码器作为视频编码器212的示例进行说明。

通常，AV1编码器处存在一个参考帧缓冲器，该参考帧缓冲器能够用于存储预定数目个参考帧。例如，在现有方案中，该预定数目为8。通常，该参考帧缓冲器所存储的参考帧均为STR。也即，随着编码的进行，该参考帧缓冲器所存储的参考帧将会随之更新。AV1编码器可以将经编码的视频流发送至AV1解码器，其中包括所使用的参考帧的信息(例如，每一帧基于之前的哪些参考帧进行编码)。AV1解码器处也维护了同样大小的参考帧缓冲器。AV1解码器可以基于接收到的视频流中包括的参考帧的信息来对视频流进行解码，并且将经解码的参考帧存储在参考帧缓冲器中，以供解码后续帧时使用。随着解码的进行，该参考帧缓冲器所存储的参考帧将会随之更新。

在一些实现中，为了使AV1编解码器能够支持LTR，可以将AV1编码器处的参考帧缓冲器划分为两部分，一部分用于存储STR，而另一部分用于存储LTR。假设该参考帧缓冲器至多存储8个参考帧，其索引分别为0～8。在该参考帧缓冲器中，例如，用于存储STR的部分可以至多存储3个STR，其索引分别为0～2；而用于存储LTR的部分可以至多存储5个LTR，其索引分别为3～7。应当理解，上述参考帧的数目仅是示例性的，在不同实现中参考帧缓冲器能够存储的STR和LTR的数目可以与上述示例不同。参考帧缓冲器中用于存储STR的部分可以按照现有方案随着编码的进行而随之更新。LTR的存储、使用以及无效将在以下进一步详细说明。

在一些实现中，编码控制器211可以向视频编码器212发送用于将当前帧标记为LTR的命令。该命令例如可以指示当前帧将作为LTR在参考帧缓冲器中的索引LTR_index。索引LTR_index可以是参考帧缓冲器中的绝对索引，也即LTR_index∈[0,7]，或者可以是在LTR部分中的相对索引，例如LTR_index∈[0,4]。响应于该命令，视频编码器212可以修改AV1编码器的语法元素refresh_frame_flags，以将当前帧标识为LTR。例如，如果LTR_index为参考帧缓冲器中的绝对索引，则refresh_frame_flags可以被修改如下：refresh_frame_flags|＝(1<<LTR_index)。如果LTR_index为参考帧缓冲器的LTR部分中的相对索引，则refresh_frame_flags可以被修改如下：refresh_frame_flags|＝(1<<(LTR_index+N))，其中N表示参考帧缓冲器中能够存储的STR的数目，例如N等于3。通过设置该语法元素refresh_frame_flags，当前帧能够作为LTR被存储到参考帧缓冲器中。

在一些实现中，编码控制器211可以向视频编码器212发送用于使用至少一个LTR作为当前帧的参考帧的命令，该命令例如可以指示将使用的至少一个LTR在参考帧缓冲器中的索引。在一些实现中，当至少一个LTR被用于错误恢复时，视频编码器212可以将AV1编码器中的语法元素error_resilient_mode设置为1以提高解码鲁棒性。

在一些实现中，编码控制器211向视频编码器212发送的命令可以指示将使用一个LTR作为当前帧的参考帧，并且该LTR在参考帧缓冲器中的绝对索引为LTR_index，例如LTR_index∈[0,7]。响应于该命令，视频编码器212可以将AV1编码器的语法元素ref_frame_idx[i](例如，i∈[0,7])中的每个元素设置为LTR_index。备选地，编码控制器211向视频编码器212发送的命令可以指示将使用一个LTR作为当前帧的参考帧，并且该LTR在LTR部分中的相对索引为LTR_index，例如LTR_index∈[0,4]。响应于该命令，视频编码器212可以将AV1编码器的语法元素ref_frame_idx[i](例如，i∈[0,7])中的每个元素设置为LTR_index+N，其中N表示参考帧缓冲器中能够存储的STR的数目，例如N等于3。

在另一些实现中，编码控制器211向视频编码器212发送的命令可以指示将使用多个LTR作为当前帧的参考帧，并且可以指示这些LTR的索引。例如，假设该命令指示将使用两个LTR作为当前帧的参考帧，并且这两个LTR在参考帧缓冲器中的绝对索引分别为LTR_index0和LTR_index1，例如LTR_index0∈[0,7]并且LTR_index1∈[0,7]。响应于该命令，视频编码器212可以将AV1编码器的语法元素ref_frame_idx[i](例如，i∈[0,7])中的每个元素设置为LTR_index0或者LTR_index1。备选地，假设该命令指示将使用两个LTR作为当前帧的参考帧，并且这两个LTR在LTR部分中的相对索引分别为LTR_index0和LTR_index1，例如LTR_index0∈[0,4]并且LTR_index1∈[0,4]。响应于该命令，视频编码器212可以将AV1编码器的语法元素ref_frame_idx[i](例如，i∈[0,7])中的每个元素设置为LTR_index0+N或者LTR_index1+N，其中N表示参考帧缓冲器中能够存储的STR的数目，例如N等于3。

在一些实现中，编码控制器211可以向视频编码器212发送用于编码当前帧的命令。响应于该命令，视频编码器212可以使用语法元素ref_frame_idx[i](例如，i∈[0,7])所指示的参考帧来对当前帧进行编码。

语法元素ref_frame_idx[i]用于设置参考帧，以指示参考帧在参考帧缓冲器中的索引，供视频编码器212来对当前帧进行编码，在本文中也称为“第一语法元素”。语法元素refresh_frame_flags用于更新参考帧缓冲器，以在参考帧缓冲器中存储参考帧，或使参考帧缓冲器中原本存储的参考帧无效，在本文中也被称为“第二语法元素”。

在一些实现中，例如在LTR被用作参考帧的情况下，为了保证当前帧的后续帧能够被解码器220正常解码，编码器210可以将参考帧缓冲器中存储的不可靠的参考帧无效。

在一些实现中，例如在LTR被用作参考帧的情况下，编码控制器211可以向视频编码器212发送用于使参考帧缓冲器中的STR无效的命令。该命令例如可以指示该STR在参考帧缓冲器中的索引STR_index，其中STR_index∈[0,N)，其中N表示参考帧缓冲器中能够存储的STR的数目，例如N等于3。响应于该命令，视频编码器212可以修改AV1编码器的语法元素refresh_frame_flags，以利用当前帧替换参考帧缓冲器中的该STR，从而使该STR无效。例如，refresh_frame_flags可以被修改如下：refresh_frame_flags|＝(1<<STR_index)。在一些实现中，例如在LTR被用作参考帧的情况下，编码控制器211可以向视频编码器212发送使参考帧缓冲器中的所有STR无效的命令。响应于该命令，视频编码器212可以修改AV1编码器的语法元素refresh_frame_flags，以利用当前帧替换参考帧缓冲器中的所有STR，从而使所有STR无效。

在一些实现中，例如在LTR被用作参考帧的情况下，编码控制器211可以向视频编码器212发送用于使参考帧缓冲器中的未使用的LTR无效的命令。该命令例如可以指示该LTR在参考帧缓冲器中的绝对索引LTR_index，其中LTR_index∈[N,8)，其中N表示参考帧缓冲器中能够存储的STR的数目，例如N等于3。响应于该命令，视频编码器212可以修改AV1编码器的语法元素refresh_frame_flags，以利用当前帧替换参考帧缓冲器中的该LTR，从而使该LTR无效。例如，refresh_frame_flags可以被修改如下：refresh_frame_flags|＝(1<<LTR_index)。在一些实现中，例如在LTR被用作参考帧的情况下，编码控制器211可以向视频编码器212发送使参考帧缓冲器中的所有未使用的LTR无效的命令。响应于该命令，视频编码器212可以修改AV1编码器的语法元素refresh_frame_flags，以利用当前帧替换参考帧缓冲器中的所有未使用的LTR，从而使这些LTR无效。

尽管在图2中将编码控制器211和视频编码器212示出为视频编码设备210中的不同模块，应当理解这仅仅出于示例的目的，而非限制本公开的范围。在一些实现中，编码控制器211和视频编码器212的功能可以被集成到同一模块中。类似地，在一些实现中，解码控制器221和视频解码器222的功能可以被集成到同一模块中。在下文中，出于进一步简化的目的，视频编码设备210也被简称为“编码设备”或者“编码器”，视频解码设备220也被简称为“解码设备”或者“解码器”。

图3示出了根据本公开的实现的用于视频编码的示例方法300的流程图。例如，方法300可以由编码器210来实现。应当理解，方法300还可以包括未示出的附加动作和/或可以省略所示出的动作，本公开的范围在此方面不受限制。

如图3所示，在框310处，编码器210接收来自解码器220的控制信息，该控制信息指示解码器220未接收到从编码器210发送的视频流中的第一帧。在框320处，响应于该控制信息，编码器210从参考帧缓冲器中存储的LTR中确定用于对该视频流中在第一帧之后并且尚未编码的第二帧(例如，当前帧)进行编码的至少一个LTR，其中控制信息指示解码器接收到至少一个LTR。然后，在框330处，编码器210基于至少一个LTR来对第二帧进行编码。

在一些实现中，编码器210处的参考帧缓冲器可以用于存储至多预定数目个LTR。例如，该预定数目可以为5或者其他数值。编码器210可以维护长度为该预定数目的第一数组markedLTR[NUM]，其中NUM可以为5或者其他数值，第一数组用于记录参考帧缓冲器中的相应位置处是否存储有LTR。编码器210还可以维护长度为该预定数目的第二数组confirmedLTR[NUM]，用于记录解码器220是否接收到相应的LTR。这两个数组中的元素可以被初始化为FALSE。

在一些实现中，如果编码器210确定参考帧缓冲器中存储的LTR的数目未超过预定数目，也即第一数组中存在为FALSE的元素，编码器210可以将视频流中的某个帧标记为LTR。为了将该帧标记为LTR，编码器210可以确定将向该帧分配的索引，该索引可以指示该帧将在参考帧缓冲器中存储的位置。具体地，编码器210可以在第一数组中查找为FALSE的第一个元素并且将该元素设置为TRUE，该元素的数组下标对应于将向该帧分配的索引。例如，该元素的数组下标可以作为将向该帧分配的相对索引LTR_index，例如LTR_index∈[0,4]。在一些实现中，如之前所描述的，编码器210可以通过利用所确定的索引LTR_index来设置AV1编码器中用于刷新所述参考帧缓冲器的语法元素refresh_frame_flags，将该帧标识为LTR。通过设置该语法元素refresh_frame_flags，该帧能够作为LTR被存储到参考帧缓冲器中。

在一些实现中，如果来自解码器220的控制信息指示被标记的某个LTR被成功接收，则编码器210可以将第二数组中的对应元素设置为TRUE，以指示该LTR被解码器220成功接收。如果来自解码器220的控制信息指示未接收到被标记的某个LTR，则编码器210可以将第二数组中的对应元素设置为FALSE，以指示该LTR被丢失。

在一些实现中，如果来自解码器220的控制信息指示解码器220未接收到从编码器210发送的视频流中的第一帧，无论第一帧是否为LTR，编码器210可以利用参考帧缓冲器中存储的LTR来执行错误恢复。

在一些实现中，编码器210可以从第二数组中查找等于TRUE的至少一个元素，该至少一个元素的数组下标对应于解码器220接收到的至少一个LTR在参考帧缓冲器中的索引。编码器210可以将该至少一个LTR确定为用于对第一帧之后的第二帧(例如，当前帧)进行编码的参考帧，并且基于该至少一个LTR来对第二帧进行编码。

在一些实现中，如之前所描述的，为了使用该至少一个LTR来对第二帧进行编码，编码器210可以利用该至少一个LTR的索引来设置AV1编码器中用于设置参考帧的语法元素ref_frame_idx[i](例如，i∈[0,7])。例如，编码器210可以将语法元素ref_frame_idx[i]中的每个元素设置为该至少一个LTR中的一个LTR的索引。以此方式，编码器210能够利用该至少一个LTR作为参考帧来对第二帧进行编码。

在一些实现中，在该至少一个LTR被用作编码第二帧的参考帧的情况下，为了保证第二帧的后续帧能够被解码器正常解码，编码器210可以将参考帧缓冲器中存储的不可靠的参考帧无效。

在一些实现中，在该至少一个LTR被用作编码第二帧的参考帧的情况下，编码器210可以将参考帧缓冲器中存储的STR无效。如之前所描述的，为了使参考帧缓冲器中存储的STR无效，编码器210可以利用该STR在参考帧缓冲器中的索引来设置AV1编码器中用于刷新参考帧缓冲器的语法元素refresh_frame_flags，从而将参考帧缓冲器中存储的该STR替换成第二帧。

附加地或备选地，在一些实现中，在该至少一个LTR被用作编码第二帧的参考帧的情况下，编码器210可以使得参考帧缓冲器中存储的其他LTR无效。如之前所描述的，为了使参考帧缓冲器中存储的其他LTR无效，编码器210可以利用其他LTR在参考帧缓冲器中的索引来设置AV1编码器中用于刷新参考帧缓冲器的语法元素refresh_frame_flags，从而将参考帧缓冲器中存储的其他LTR替换成第二帧。

以此方式，AV1编码器在发生丢帧的情况下能够使用LTR来实现错误恢复。由于AV1编码器所使用的LTR是AV1解码器确认接收到的LTR，因此确保AV1解码器能够对使用LTR编码的帧进行成功解码，从而提高了AV1解码器在发生丢帧的情况下的解码鲁棒性。由于AV1编码器所使用的参考帧(无论是STR还是LTR)的信息将随着经编码的视频流被发送至解码器，解码器能够从接收到的视频流中获得AV1编码器所使用的参考帧的信息并且对该视频流进行解码。也即，AV1解码器可以按照现有方案来实现，而无须进行任何更改。

尽管以上以AV1编解码器作为示例来描述本公开的各种实现，应当理解，这仅仅出于说明的目的，而不旨在限制本公开的范围。本公开的实现可以应用到不支持LTR语法的其他编解码器，从而使得这些编解码器在发生丢帧的情况下能够通过使用LTR来进行错误恢复，从而提高解码鲁棒性。

图4示出了能够实施本公开的多个实现的电子设备400的框图。应当理解，图4所示出的电子设备400仅仅是示例性的，而不应当构成对本公开所描述的实现的功能和范围的任何限制。例如，如图2所示的视频编码设备210和/或视频解码设备220可以由电子设备400实施。如图4所示，电子设备400包括通用计算设备形式的电子设备400。电子设备400的组件可以包括但不限于一个或多个处理器或处理单元410、存储器420、存储设备430、一个或多个通信单元440、一个或多个输入设备450以及一个或多个输出设备460。

在一些实现中，电子设备400可以被实现为各种用户终端或服务终端。服务终端可以是各种服务提供方提供的服务器、大型计算设备等。用户终端诸如是任意类型的移动终端、固定终端或便携式终端，包括移动手机、站点、单元、设备、多媒体计算机、多媒体平板、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者其任意组合，包括这些设备的配件和外设或者其任意组合。还可预见到的是，电子设备400能够支持任意类型的针对用户的接口(诸如“可佩戴”电路等)。

处理单元410可以是实际或虚拟处理器并且能够根据存储器420中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高电子设备400的并行处理能力。处理单元410也可以被称为中央处理单元(CPU)、微处理器、控制器、微控制器。

电子设备400通常包括多个计算机存储介质。这样的介质可以是电子设备400可访问的任何可以获得的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器420可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或其某种组合。

存储设备430可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如内存、闪存驱动、磁盘或者任何其他介质，其能够用于存储信息和/或数据并且可以在电子设备400内被访问。电子设备400可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图4中示出，可以提供用于从可拆卸、非易失性磁盘进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。

通信单元440实现通过通信介质与另外的计算设备进行通信。附加地，电子设备400的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，电子设备400可以使用与一个或多个其他服务器、个人计算机(PC)或者另一个一般网络节点的逻辑连接来在联网环境中进行操作。

输入设备450可以是一个或多个各种输入设备，例如鼠标、键盘、追踪球、语音输入设备等。输出设备460可以是一个或多个输出设备，例如显示器、扬声器、打印机等。电子设备400还可以根据需要通过通信单元440与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与电子设备400交互的设备进行通信，或者与使得电子设备400与一个或多个其他计算设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。

在一些实现中，除了被集成在单个设备上之外，电子设备400的各个部件中的一些或所有部件还可以以云计算架构的形式被设置。在云计算架构中，这些部件可以被远程布置，并且可以一起工作以实现本公开所描述的功能。在一些实现中，云计算提供计算、软件、数据访问和存储服务，它们不需要终端用户知晓提供这些服务的系统或硬件的物理位置或配置。在各种实现中，云计算使用适当的协议通过广域网(诸如因特网)提供服务。例如，云计算提供商通过广域网提供应用，并且它们可以通过web浏览器或任何其他计算组件被访问。云计算架构的软件或组件以及相应的数据可以被存储在远程位置处的服务器上。云计算环境中的计算资源可以在远程数据中心位置处被合并或者它们可以被分散。云计算基础设施可以通过共享数据中心提供服务，即使它们表现为针对用户的单一访问点。因此，可以使用云计算架构从远程位置处的服务提供商提供本文所描述的组件和功能。备选地，它们可以从常规服务器被提供，或者它们可以直接或以其他方式被安装在客户端设备上。

电子设备400可以用于实施本公开的多个实现中的视频编码。存储器420可以包括视频编码模块422，其具有一个或多个程序指令，该模块可以由处理单元410访问和运行，以实现本文所描述的各种实现的功能。

以下列出了本公开的一些示例实现方式。

在第一方面，本公开提供了一种计算机实现的方法。所述方法包括：在编码器处接收来自解码器的控制信息，所述控制信息指示所述解码器未接收到从所述编码器发送的视频流中的第一帧；从参考帧缓冲器中存储的长期参考帧中确定用于对所述视频流中在所述第一帧之后并且尚未编码的第二帧进行编码的至少一个长期参考帧，所述控制信息指示所述解码器接收到所述至少一个长期参考帧；以及基于所述至少一个长期参考帧来对所述第二帧进行编码。

在一些实施例中，所述编码器包括AV1编码器，并且基于所述至少一个长期参考帧来对所述第二帧进行编码包括：确定所述至少一个长期参考帧在所述参考帧缓冲器中的索引；以及通过利用所述索引来设置所述AV1编码器中用于设置参考帧的第一语法元素，来基于所述至少一个长期参考帧对所述第二帧进行AV1编码。

在一些实施例中，所述第一语法元素用于设置将要用于对所述第二帧进行编码的多个参考帧，并且利用所述索引来设置所述第一语法元素包括：利用所述索引来设置所述第一语法元素，以使得所述多个参考帧中的每个参考帧分别被设置为所述至少一个长期参考帧之一。

在一些实现中，所述方法还包括：响应于所述至少一个长期参考帧被用于所述编码，使得所述参考帧缓冲器中存储的短期参考帧无效。

在一些实现中，所述编码器包括AV1编码器，并且使得所述参考帧缓冲器中存储的短期参考帧无效包括：确定所述短期参考帧在所述参考帧缓冲器中的索引；以及通过利用所述索引来设置所述AV1编码器中用于刷新所述参考帧缓冲器的第二语法元素，将所述参考帧缓冲器中存储的所述短期参考帧替换为所述第二帧。

在一些实现中，所述方法还包括：响应于所述至少一个长期参考帧被用于所述编码，使得所述参考帧缓冲器中存储的其他长期参考帧无效。

在一些实现中，所述编码器包括AV1编码器，并且使得所述参考帧缓冲器中存储的其他长期参考帧无效包括：确定所述其他长期参考帧在所述参考帧缓冲器中的索引；以及通过利用所述索引来设置所述AV1编码器中用于刷新所述参考帧缓冲器的第二语法元素，将所述参考帧缓冲器中存储的所述其他长期参考帧替换为所述第二帧。

在一些实现中，所述参考帧缓冲器用于存储至多预定数目个长期参考帧，并且所述方法还包括：如果确定所述参考帧缓冲器中存储的长期参考帧的数目未超过所述预定数目，将所述视频流中的至少一帧标识为长期参考帧；以及将经标识的所述至少一帧存储在所述参考帧缓冲器中。

在一些实现中，所述编码器包括AV1编码器，并且将所述视频流中的至少一帧标识为长期参考帧包括：确定将向所述至少一帧分配的索引，所述索引指示所述至少一帧将在所述参考帧缓冲器中存储的位置；以及通过利用所述索引来设置所述AV1编码器中用于刷新所述参考帧缓冲器的第二语法元素，将所述至少一帧标识为长期参考帧。

在第二方面，本公开提供了一种电子设备。所述电子设备包括：处理单元；以及存储器，耦合至所述处理单元并且包含存储于其上的指令，所述指令在由所述处理单元执行时，使得所述电子设备执行动作，所述动作包括：接收来自解码器的控制信息，所述控制信息指示所述解码器未接收到从所述电子设备发送的视频流中的第一帧；从参考帧缓冲器中存储的长期参考帧中确定用于对所述视频流中在所述第一帧之后并且尚未编码的第二帧进行编码的至少一个长期参考帧，所述控制信息指示所述解码器接收到所述至少一个长期参考帧；以及基于所述至少一个长期参考帧来对所述第二帧进行编码。

在一些实施例中，所述电子设备包括AV1编码器，并且基于所述至少一个长期参考帧来对所述第二帧进行编码包括：确定所述至少一个长期参考帧在所述参考帧缓冲器中的索引；以及通过利用所述索引来设置所述AV1编码器中用于设置参考帧的第一语法元素，来基于所述至少一个长期参考帧对所述第二帧进行AV1编码。

在一些实施例中，所述第一语法元素用于设置将要用于对所述第二帧进行编码的多个参考帧，并且利用所述索引来设置所述第一语法元素包括：利用所述索引来设置所述第一语法元素，以使得所述多个参考帧中的每个参考帧分别被设置为所述至少一个长期参考帧之一。

在一些实现中，所述动作还包括：响应于所述至少一个长期参考帧被用于所述编码，使得所述参考帧缓冲器中存储的短期参考帧无效。

在一些实现中，所述电子设备包括AV1编码器，并且使得所述参考帧缓冲器中存储的短期参考帧无效包括：确定所述短期参考帧在所述参考帧缓冲器中的索引；以及通过利用所述索引来设置所述AV1编码器中用于刷新所述参考帧缓冲器的第二语法元素，将所述参考帧缓冲器中存储的所述短期参考帧替换为所述第二帧。

在一些实现中，所述动作还包括：响应于所述至少一个长期参考帧被用于所述编码，使得所述参考帧缓冲器中存储的其他长期参考帧无效。

在一些实现中，所述电子设备包括AV1编码器，并且使得所述参考帧缓冲器中存储的其他长期参考帧无效包括：确定所述其他长期参考帧在所述参考帧缓冲器中的索引；以及通过利用所述索引来设置所述AV1编码器中用于刷新所述参考帧缓冲器的第二语法元素，将所述参考帧缓冲器中存储的所述其他长期参考帧替换为所述第二帧。

在一些实现中，所述参考帧缓冲器用于存储至多预定数目个长期参考帧，并且所述动作还包括：如果确定所述参考帧缓冲器中存储的长期参考帧的数目未超过所述预定数目，将所述视频流中的至少一帧标识为长期参考帧；以及将经标识的所述至少一帧存储在所述参考帧缓冲器中。

在一些实现中，所述电子设备包括AV1编码器，并且将所述视频流中的至少一帧标识为长期参考帧包括：确定将向所述至少一帧分配的索引，所述索引指示所述至少一帧将在所述参考帧缓冲器中存储的位置；以及通过利用所述索引来设置所述AV1编码器中用于刷新所述参考帧缓冲器的第二语法元素，将所述至少一帧标识为长期参考帧。

在第三方面，本公开提供了一种计算机程序产品，计算机程序产品被有形地存储在非瞬态计算机存储介质中并且包括机器可执行指令，机器可执行指令在由设备执行时使设备执行根据上述第一方面所述的方法。

在第四方面，本公开提供了一种计算机可读介质，其上存储有机器可执行指令，机器可执行指令在由设备执行时使设备执行根据上述第一方面所述的方法。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实现的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (20)

1.一种计算机实现的方法，包括：

在编码器处接收来自解码器的控制信息，所述控制信息指示所述解码器未接收到从所述编码器发送的视频流中的第一帧；

从参考帧缓冲器中存储的长期参考帧中确定用于对所述视频流中在所述第一帧之后并且尚未编码的第二帧进行编码的至少一个长期参考帧，所述控制信息指示所述解码器接收到所述至少一个长期参考帧；以及

基于所述至少一个长期参考帧来对所述第二帧进行编码。

2.根据权利要求1所述的方法，其中所述编码器包括AV1编码器，并且基于所述至少一个长期参考帧来对所述第二帧进行编码包括：

确定所述至少一个长期参考帧在所述参考帧缓冲器中的索引；以及

通过利用所述索引来设置所述AV1编码器中用于设置参考帧的第一语法元素，来基于所述至少一个长期参考帧对所述第二帧进行AV1编码。

3.根据权利要求2所述的方法，其中所述第一语法元素用于设置将要用于对所述第二帧进行编码的多个参考帧，并且利用所述索引来设置所述第一语法元素包括：

利用所述索引来设置所述第一语法元素，以使得所述多个参考帧中的每个参考帧分别被设置为所述至少一个长期参考帧之一。

4.根据权利要求1所述的方法，还包括：

响应于所述至少一个长期参考帧被用于所述编码，使得所述参考帧缓冲器中存储的短期参考帧无效。

5.根据权利要求4所述的方法，其中所述编码器包括AV1编码器，并且使得所述参考帧缓冲器中存储的短期参考帧无效包括：

确定所述短期参考帧在所述参考帧缓冲器中的索引；以及

通过利用所述索引来设置所述AV1编码器中用于刷新所述参考帧缓冲器的第二语法元素，将所述参考帧缓冲器中存储的所述短期参考帧替换为所述第二帧。

6.根据权利要求1所述的方法，还包括：

响应于所述至少一个长期参考帧被用于所述编码，使得所述参考帧缓冲器中存储的其他长期参考帧无效。

7.根据权利要求6所述的方法，其中所述编码器包括AV1编码器，并且使得所述参考帧缓冲器中存储的其他长期参考帧无效包括：

确定所述其他长期参考帧在所述参考帧缓冲器中的索引；以及

通过利用所述索引来设置所述AV1编码器中用于刷新所述参考帧缓冲器的第二语法元素，将所述参考帧缓冲器中存储的所述其他长期参考帧替换为所述第二帧。

8.根据权利要求1所述的方法，其中所述参考帧缓冲器用于存储至多预定数目个长期参考帧，并且所述方法还包括：

如果确定所述参考帧缓冲器中存储的长期参考帧的数目未超过所述预定数目，

将所述视频流中的至少一帧标识为长期参考帧；以及

将经标识的所述至少一帧存储在所述参考帧缓冲器中。

9.根据权利要求8所述的方法，其中所述编码器包括AV1编码器，并且将所述视频流中的至少一帧标识为长期参考帧包括：

确定将向所述至少一帧分配的索引，所述索引指示所述至少一帧将在所述参考帧缓冲器中存储的位置；以及

通过利用所述索引来设置所述AV1编码器中用于刷新所述参考帧缓冲器的第二语法元素，将所述至少一帧标识为长期参考帧。

10.一种电子设备，包括：

处理单元；以及

存储器，耦合至所述处理单元并且包含存储于其上的指令，所述指令在由所述处理单元执行时，使得所述电子设备执行动作，所述动作包括：

接收来自解码器的控制信息，所述控制信息指示所述解码器未接收到从所述电子设备发送的视频流中的第一帧；

从参考帧缓冲器中存储的长期参考帧中确定用于对所述视频流中在所述第一帧之后并且尚未编码的第二帧进行编码的至少一个长期参考帧，所述控制信息指示所述解码器接收到所述至少一个长期参考帧；以及

基于所述至少一个长期参考帧来对所述第二帧进行编码。

11.根据权利要求10所述的电子设备，其中所述电子设备包括AV1编码器，并且基于所述至少一个长期参考帧来对所述第二帧进行编码包括：

确定所述至少一个长期参考帧在所述参考帧缓冲器中的索引；以及

通过利用所述索引来设置所述AV1编码器中用于设置参考帧的第一语法元素，来基于所述至少一个长期参考帧对所述第二帧进行AV1编码。

12.根据权利要求11所述的电子设备，其中所述第一语法元素用于设置将要用于对所述第二帧进行编码的多个参考帧，并且利用所述索引来设置所述第一语法元素包括：

利用所述索引来设置所述第一语法元素，以使得所述多个参考帧中的每个参考帧分别被设置为所述至少一个长期参考帧之一。

13.根据权利要求10所述的电子设备，其中所述动作还包括：

响应于所述至少一个长期参考帧被用于所述编码，使得所述参考帧缓冲器中存储的短期参考帧无效。

14.根据权利要求13所述的电子设备，其中所述电子设备包括AV1编码器，并且使得所述参考帧缓冲器中存储的短期参考帧无效包括：

确定所述短期参考帧在所述参考帧缓冲器中的索引；以及

通过利用所述索引来设置所述AV1编码器中用于刷新所述参考帧缓冲器的第二语法元素，将所述参考帧缓冲器中存储的所述短期参考帧替换为所述第二帧。

15.根据权利要求10所述的电子设备，其中所述动作还包括：

响应于所述至少一个长期参考帧被用于所述编码，使得所述参考帧缓冲器中存储的其他长期参考帧无效。

16.根据权利要求15所述的电子设备，其中所述电子设备包括AV1编码器，并且使得所述参考帧缓冲器中存储的其他长期参考帧无效包括：

确定所述其他长期参考帧在所述参考帧缓冲器中的索引；以及

通过利用所述索引来设置所述AV1编码器中用于刷新所述参考帧缓冲器的第二语法元素，将所述参考帧缓冲器中存储的所述其他长期参考帧替换为所述第二帧。

17.根据权利要求10所述的电子设备，其中所述参考帧缓冲器用于存储至多预定数目个长期参考帧，并且所述动作还包括：

如果确定所述参考帧缓冲器中存储的长期参考帧的数目未超过所述预定数目，

将所述视频流中的至少一帧标识为长期参考帧；以及

将经标识的所述至少一帧存储在所述参考帧缓冲器中。

18.根据权利要求17所述的电子设备，其中所述电子设备包括AV1编码器，并且将所述视频流中的至少一帧标识为长期参考帧包括：

确定将向所述至少一帧分配的索引，所述索引指示所述至少一帧将在所述参考帧缓冲器中存储的位置；以及

通过利用所述索引来设置所述AV1编码器中用于刷新所述参考帧缓冲器的第二语法元素，将所述至少一帧标识为长期参考帧。

19.一种计算机程序产品，所述计算机程序产品被有形地存储在非瞬态计算机存储介质中并且包括机器可执行指令，所述机器可执行指令在由设备执行时使所述设备执行动作，所述动作包括：

接收来自解码器的控制信息，所述控制信息指示所述解码器未接收到从所述设备发送的视频流中的第一帧；

从参考帧缓冲器中存储的长期参考帧中确定用于对所述视频流中在所述第一帧之后并且尚未编码的第二帧进行编码的至少一个长期参考帧，所述控制信息指示所述解码器接收到所述至少一个长期参考帧；以及

基于所述至少一个长期参考帧来对所述第二帧进行编码。

20.根据权利要求19所述的计算机程序产品，其中所述动作还包括：

响应于所述至少一个长期参考帧被用于所述编码，使得所述参考帧缓冲器中存储的短期参考帧无效。

Images