CN112740696A

CN112740696A - 视频编码和解码

Info

Publication number: CN112740696A
Application number: CN201980062116.9A
Authority: CN
Inventors: G·拉罗彻; C·吉斯科特; P·乌诺; 乔纳森·泰奎特
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-09-21
Filing date: 2019-09-18
Publication date: 2021-04-30
Also published as: GB2577318A; US20220360804A1; WO2020058371A1; US20220053204A1; KR20220028162A; JP2022501870A; KR102408765B1; GB2577318B; JP2023065581A; TW202402049A; TWI815969B; GB201815444D0; TW202015403A; EP3854094A1; KR20210056431A

Abstract

本发明涉及用信号通知经编码的视频流中的仿射模式；具体地，确定与当前块的相邻块相对应的合并候选的列表；以及用信号通知所述当前块的仿射模式；其中，用信号通知所述仿射模式包括对来自数据流的上下文编码标志进行解码，以及其中，基于所述相邻块是否使用仿射模式来确定所述标志的上下文变量。还公开了相关的编码和解码方法及装置。

Description

视频编码和解码

技术领域

本发明涉及视频编码和解码。

背景技术

近来，联合视频专家组(JVET)(由MPEG和ITU-T第16研究组VCEG组成的合作团队)开始研究一种称为多功能视频编码(VVC)的新视频编码标准。VVC的目标是在现有HEVC标准上提供压缩性能的显著改进(即，通常是以前的两倍)并在2020年完成。主要目标应用和服务包括但不限于360度和高动态范围(HDR)视频。总之，JVET使用独立测试实验室进行的正式主观测试评价了来自32个组织的反馈。一些建议表明，当与使用HEVC相比时，压缩效率通常提高40％或更多。在超高清(UHD)视频测试材料上显示了特定的效果。因此，针对最终标准，我们可以预期压缩效率的提高将远远超过作为目标的50％。

JVET探索模型(JEM)使用所有HEVC工具。HEVC中不存在的另一工具是在应用运动补偿时使用“仿射运动模式”。HEVC中的运动补偿仅限于平移，但实际上存在许多种运动，例如放大/缩小、旋转、透视运动和其它不规则运动。当使用仿射运动模式时，将更复杂的变换应用于以尝试更准确地预测这些形式的运动。然而，仿射运动模式的使用可能增加编码/解码处理的复杂性，并且也可能增加信号开销。

因此，期望针对上述问题中的至少一个问题的解决方案。

发明内容

在本发明的第一方面，提供一种用信号通知(signalling)用于位流的一部分的运动预测模式的方法，该方法包括：确定用于所述位流的所述部分的帧间预测模式；根据在所述位流的所述部分中使用的所述帧间预测模式来用信号通知仿射运动模式。

可选地，基于所述位流的所述部分中的跳过标志的状态来确定所使用的帧间预测模式。

可选地，如果存在所述跳过标志，则不启用仿射模式。

可选地，该方法还包括当启用所述仿射模式时启用合并模式。

可选地，如果所述帧间预测模式是高级运动矢量预测子(AMVP)，则启用仿射模式。

可选地，所述确定是基于高级句法标志来进行的，其中，所述高级句法标志指示处理以下各项中的至少之一：片(slice)级别、帧级别、序列级别和编码树单元(CTU)级别。

可选地，确定帧间预测模式包括确定当前块的一个或多个相邻块的模式。

在本发明的第二方面，提供一种用信号通知位流中的运动预测模式的方法，该方法包括：确定当前块的一个或多个相邻块的模式；以及根据所述模式，用信号通知用于当前块的仿射运动模式。

可选地，所述相邻块仅由块A1和块B1组成。

可选地，所述相邻块包括块A2和块B3；优选地仅由块A2和块B3组成。

可选地，该方法包括如果所述相邻块中的一个或两个使用仿射运动模式，则启用仿射运动模式。

可选地，所述相邻块还包括B0、A0和B2。

可选地，按系列确定所述相邻块中的仿射模式的使用，并且如果所述相邻块之一使用仿射模式，则针对当前块启用仿射模式。优选地，系列相邻块是A2、B3、B0、A0、B2。

在本发明的第三方面，提供一种用信号通知用于位流的一部分的运动预测模式的方法，该方法包括：确定与当前块的相邻块相对应的合并候选的列表；以及如果一个或多个所述合并候选使用仿射模式，则针对所述当前块启用仿射模式。

可选地，所述列表以已经用于确定与所述块有关的上下文变量的块开始。

可选地，该列表以块A2和B3这样的顺序开始。

可选地，该列表是按A2、B3、B0或A0或B2这样的顺序。

可选地，如果所述相邻块未使用合并模式，则针对当前块启用仿射模式。

可选地，如果所述相邻块未使用合并跳过模式，则针对当前块启用仿射模式。

可选地，用信号通知仿射模式包括将上下文编码标志插入到数据流中，并且其中，基于相邻块是否使用仿射模式来确定用于所述标志的上下文变量。

在本发明的另一方面，提供一种用信号通知用于位流内编码的块的运动预测模式的方法，该方法包括：确定所述位流内编码的块的相邻块是否使用仿射模式；以及将上下文编码标志插入到位流中；其中，用于所述上下文编码标志的上下文变量取决于所述位流内编码的块的相邻块是否使用仿射模式的所述确定。

可选地，相邻块包括块A1和B1。

可选地，如果正启用运动预测模式的块的模式是合并模式，则所述相邻块包括块A1和B1。

可选地，仿射标志的上下文是根据以下公式获得的：Ctx＝IsAffine(A1)+IsAffine(B1)，其中Ctx是仿射标志的上下文变量，以及IsAffine是在块不是仿射块的情况下返回0且在块是仿射的情况下返回1的函数。

在本发明的第四方面，提供一种根据相邻块是否使用合并模式和/或合并跳过模式的用信号通知用于位流内编码的块的运动预测模式的方法。

在本发明的第五方面，提供一种用信号通知位流中的运动预测模式的方法，该方法包括：编制(compile)候选运动预测子的列表；以及插入仿射合并模式作为合并候选。

可选地，在合并候选列表中仿射合并模式候选在相邻块运动矢量之后。

可选地，在合并候选列表中仿射合并模式候选在替代性时间运动矢量预测子(ATMVP)候选之前。

可选地，仿射合并模式候选在所述候选列表中的位置(合并索引)是固定的。

可选地，仿射合并模式候选在所述候选列表中的位置是可变的。

可选地，仿射合并模式候选的位置基于以下一项或多项确定：a)跳过标志的状态；b)相邻块的运动信息；c)替代性时间运动矢量预测子(ATMVP)候选；以及d)相邻块是否使用仿射模式。

可选地，如果满足以下一个或多个条件，则将仿射合并模式置于所述候选列表的较低位置(被分配较高的合并索引)：a)存在跳过标志；b)相邻块的运动信息相等；c)ATMVP候选仅包含一个运动信息；以及d)多于一个相邻块使用仿射模式。

可选地，所述相邻块包括块A1和B1。

可选地，如果满足以上条件a)至d)中的一个或多个条件，则将仿射合并模式置于所述候选列表中的比空间运动矢量候选低的位置(被分配较高的合并索引)。

可选地，如果满足以上条件a)至d)中的一个或多个条件，则将仿射合并模式置于比时间运动矢量候选低的位置(被分配较高的合并索引)。

可选地，向仿射合并模式分配与使用仿射模式的相邻块的数量有关的合并索引。

可选地，向仿射合并模式分配等于5减去A1、B1、B0、A0、B2五个中使用仿射模式的相邻块的数量。

根据本发明的其它方面，提供一种用信号通知位流的仿射运动模式的方法，该方法包括：确定仿射模式是否用于当前块的可能性；编制候选运动预测符的列表；根据针对所述当前块所确定的仿射模式的可能性，插入仿射合并模式作为合并候选。

可选地，所述可能性是基于以下各项至少之一来确定的：a)跳过标志的状态；b)相邻块的运动信息；以及c)ATMVP候选。

可选地，如果满足以下条件中的一个或多个条件，则不将仿射合并模式作为合并候选插入：a)跳过标志的状态；b)相邻块的运动信息相等；以及c)ATMVP候选仅包含一个运动信息。

可选地，所述相邻块包括块A1和B1。

可选地，根据用于记录与正被编码的位流相对应的视频的装置的特征来用信号通知仿射模式。

与现有编码标准或建议相比，本发明的各方面提供了对编码效率的改善和/或编码复杂性的降低。以这种方式，提供了更有效、更快的视频编码和/或解码方法和系统。

本发明的另一方面涉及使用以上任一方面的方法的编码和解码方法。

本发明的又一方面涉及如权利要求14所定义的用信号通知表示编码视频的位流中的仿射模式的使用的装置。

本发明的又一方面涉及分别如权利要求17和18所定义的编码器和解码器。

本发明的又一方面涉及如权利要求19所定义的程序。该程序可以单独提供，或者可以由载体介质或在载体介质中承载。载体介质可以是非暂时性的，例如存储介质，特别是计算机可读存储介质。载体介质也可以是瞬时的，例如信号或其它传输介质。该信号可以经由包括因特网的任何合适的网络来传输。

本发明的又一方面涉及如权利要求15和16所定义的诸如照相机或移动装置等的外围装置。

可选地，照相机还包括缩放部件，并且可以适于指示何时所述缩放部件可操作并根据所述缩放部件可操作的指示来用信号通知仿射模式。

可选地，照相机还包括平摇部件，并且可以适于指示何时所述平摇部件可操作并根据平摇部件可操作的指示来用信号通知仿射模式。

可选地，移动装置还包括适于感测移动装置的定向改变的至少一个位置传感器，并且可以适于根据感测到移动装置的定向的改变来用信号通知仿射模式。

本发明的其它特征由其它独立和从属权利要求表征。

本发明的一个方面中的任何特征可以以任何适当的组合应用于本发明的其它方面。特别地，方法方面可以应用于设备方面，反之亦然。

此外，以硬件实现的特征可以以软件实现，反之亦然。本文对软件和硬件特征的任何引用均应据此解释。

如本文所述的任何设备特征也可以被提供为方法特征，反之亦然。如本文中所使用的，部件加功能特征就其相应结构(诸如适当编程的处理器和相关联的存储器等)方面可以被替代性地表达。

还应当理解，可以独立地实现、提供和/或使用在本发明的任何方面中描述和定义的各种特征的特定组合。

附图说明

现在将通过示例的方式参考附图，其中：

图1是用于说明HEVC中使用的编码结构的图；

图2是示意性例示可以实现本发明的一个或多个实施例的数据通信系统的框图；

图3是例示可以实现本发明的一个或多个实施例的处理装置的组件的框图；

图4是例示根据本发明实施例的编码方法的步骤的流程图；

图5是例示根据本发明实施例的解码方法的步骤的流程图；

图6a和6b例示可用于生成运动矢量预测子的空间和时间块；

图7示出AMVP预测子集合导出处理的简化步骤；

图8是合并模式的运动矢量导出处理的示意图；

图9例示当前块的分割和时间运动矢量预测；

图10(a)例示用于HEVC的合并索引的编码，或者未在SPS级别启用ATMVP时的编码；

图10(b)例示在SPS级别启用ATMVP时的合并索引的编码；

图11(a)例示简单的仿射运动场；

图11(b)例示更复杂的仿射运动场；

图12是与编码模式有关的一些句法元素的部分解码处理的流程图；

图13是例示合并候选导出的流程图；

图14是例示本发明的第一实施例的流程图；

图15是例示本发明的第二实施例的流程图；

图16是例示本发明的第三实施例的流程图；

图17是例示本发明的第四实施例的流程图；

图18是例示本发明的第五实施例的流程图；

图19是用于实现本发明的一个或多个实施例的计算装置的示意性框图；

图20是计算装置的示意性框图；

图21是例示网络照相机系统的图；以及

图22是例示智能电话的图。

具体实施方式

本发明涉及改进了的对仿射运动模式的用信号通知——特别是确定仿射模式可能引起编码效率的改进的情况，并相应地确保仿射模式被使用和/或被给予优先。

图1涉及在高效率视频编码(HEVC)视频标准中使用的编码结构。视频序列1由一系列数字图像i组成。各个这样的数字图像由一个或多个矩阵表示。矩阵系数表示像素。

序列的图像2可以被分割成片3。在一些情况下，一片可以构成图像整体。这些片被分割成非重叠编码树单元(CTU)。编码树单元(CTU)是高效率视频编码(HEVC)视频标准的基本处理单元，并且概念性地在结构上与若干先前视频标准中使用的宏块单元相对应。CTU有时也被称为最大编码单元(LCU)。CTU具有亮度和色度分量部分，各个分量部分被称为编码树块(CTB)。这些不同的颜色分量未在图1中示出。

对于HEVC，CTU通常大小为64像素×64像素，但对于VVC，该大小可以为128像素×128像素。可以使用四叉树分解进而将各CTU迭代地分割成较小的可变大小编码单元(CU)5。

编码单元是基本编码元素，并且由被称为预测单元(PU)和变换单元(TU)的两种子单元构成。PU或TU的最大大小等于CU大小。预测单元与CU的用于像素值的预测的分区相对应。将CU分区成PU的各种不同分区是可能的，如606所示，包括分成4个正方形PU的分区、以及分成2个矩形PU的两个不同分区。变换单元是使用DCT进行空间变换的基本单元。CU可以基于四叉树表示607分区成TU。

各片嵌入一个网络抽象层(NAL)单元中。另外，视频序列的编码参数存储在称为参数集的专用NAL单元中。在HEVC和H.264/AVC中，采用两种参数集NAL单元：第一，序列参数集(SPS)NAL单元，其收集在整个视频序列期间不变的所有参数。通常，它处理编码配置文件、视频帧的大小和其它参数。第二，图片参数集(PPS)NAL单元，其包括可以从序列的一个图像(或帧)改变为其它图像(或帧)的参数。HEVC还包括视频参数集(VPS)NAL单元，其包含描述位流的总体结构的参数。VPS是HEVC中定义的新类型的参数集，并且应用于位流的所有层。层可以包含多个时间子层，并且所有版本1的位流限定于单个层。HEVC具有用于可缩放性和多视图的某些分层扩展，并且这些扩展将允许具有向后兼容的版本1的基础层的多个层。

图2例示可以实现本发明的一个或多个实施例的数据通信系统。数据通信系统包括传输装置(在这种情况下是服务器201)，其可操作以经由数据通信网络200将数据流的数据包传输至接收装置(在这种情况下是客户端终端202)。数据通信网络200可以是广域网(WAN)或局域网(LAN)。这种网络可以是例如无线网络(Wifi/802.11a或b或g)、以太网网络、互联网网络或由若干不同网络组成的混合网络。在本发明的特定实施例中，数据通信系统可以是数字电视广播系统，其中服务器201将相同的数据内容发送到多个客户端。

由服务器201提供的数据流204可以由表示视频和音频数据的多媒体数据组成。在本发明的一些实施例中，音频和视频数据流可以分别由服务器201使用麦克风和照相机来捕获。在一些实施例中，数据流可以存储在服务器201上或由服务器201从其它数据提供商接收，或在服务器201处生成。服务器201设置有用于对视频和音频流进行编码的编码器，特别是用以提供用于传输的压缩位流，该压缩位流是作为编码器的输入所呈现的数据的更紧凑表示。

为了获得更好的传输数据的质量与传输数据的量的比率，可以例如根据HEVC格式或H.264/AVC格式来压缩视频数据。

客户端202接收所传输的位流，并且解码重建的位流，以在显示装置上再现视频图像和利用扬声器再现音频数据。

尽管在图2的示例中考虑了流式传输场景，但将认识到，在本发明的一些实施例中，可以使用例如介质存储装置(诸如光盘等)来进行编码器与解码器之间的数据通信。

在本发明的一个或多个实施例中，视频图像与表示要应用到图像的重建像素的补偿偏移的数据一同传输，以在最终图像中提供经滤波的像素。

图3示意性地例示被配置为实现本发明的至少一个实施例的处理装置300。处理装置300可以是诸如微计算机、工作站或轻型便携式装置等的装置。装置300包括通信总线313，其连接到：

-表示为CPU的中央处理单元311，诸如微处理器等；

-表示为ROM的只读存储器306，其用于存储实现本发明的计算机程序；

-用于存储本发明实施例的方法的可执行代码的表示为RAM的随机存取存储器312，以及适于记录变量和参数的寄存器，该变量和参数是根据本发明实施例实现对数字图像序列进行编码的方法和/或对位流进行解码的方法所需的；以及

-连接至通信网络303的通信接口302，通过该通信接口传输或接收要处理的数字数据。

可选地，设备300还可以包括以下组件：

-诸如硬盘等的数据存储部件304，其用于存储实现本发明的一个或多个实施例的方法的计算机程序以及在实现本发明的一个或多个实施例期间所使用或产生的数据；

-用于盘306的盘驱动器305，该盘驱动器适于从盘306读取数据或将数据写入所述盘；

-屏幕309，其用于借助于键盘310或任何其它指示装置来显示数据和/或用作与用户交互的图形界面。

设备300可以连接到诸如数字照相机320或麦克风308等的各种外围设备，其各自连接到输入/输出卡(未示出)以向设备300提供多媒体数据。

通信总线提供设备300中所包括的或连接到设备300的各种元素之间的通信和互操作性。总线的表示不是限制性的，并且特别地，中央处理单元可操作地将指令直接或者借助于设备300的其它元素通信到设备300的任何元素。

盘306可以由诸如可重写或不可重写的致密盘(CD-ROM)、ZIP盘或存储卡等的任何信息介质代替，并且一般而言，由微计算机或微处理器可以进行读取的信息存储部件代替，该盘306集成到或不集成到设备中、可能可移动并且适于存储其执行使得能够实现根据本发明的对数字图像序列进行编码的方法和/或对位流进行解码的方法的一个或多个程序。

可执行代码可以存储在只读存储器306中、硬盘304上或可移动数字介质(诸如，例如如前述的盘306等)上。根据一变型，程序的可执行代码可以经由接口302借助于通信网络303来接收，以在执行之前存储在设备300的存储部件之一(诸如硬盘304等)中。

中央处理单元311适于控制和指导执行根据本发明的一个或多个程序的指令或软件代码的部分、存储在上述存储部件之一中的指令的执行。在通电时，存储在非易失性存储器中(例如，在硬盘304上或在只读存储器306中)的一个或多个程序被传递到随机存取存储器312中(其然后包含一个或多个程序的可执行代码)以及用于存储实现本发明所必需的变量和参数的寄存器。

在该实施例中，设备是使用软件来实现本发明的可编程设备。然而，可替代地，本发明可以以硬件(例如，以专用集成电路或ASIC的形式)来实现。

图4例示根据本发明的至少一个实施例的编码器的框图。编码器由所连接的模块表示，各模块适于例如以由装置300的CPU 311执行的编程指令的形式来实现根据本发明的一个或多个实施例的、用于实现对图像序列中的图像进行编码的至少一个实施例的方法的至少一个相应步骤。

编码器400接收数字图像i0至in的原始序列401作为输入。各数字图像由样本(称为像素)集表示。

编码器400在实现编码处理之后输出位流410。位流410包括多个编码单元或片，各片包括用于对片编码所用的编码参数的编码值进行传输的片头部、以及包括编码视频数据的片主体。

模块402将输入数字图像i0至in 401分割成像素块。块与图像部分相对应并且可以具有可变大小(例如，4×4、8×8、16×16、32×32、64×64、128×128像素、并且还可以考虑若干矩形块大小)。针对各输入块选择编码模式。提供了两个编码模式族：基于空间预测编码(帧内预测)的编码模式和基于时间预测的编码模式(帧间编码、合并、跳过)。测试了可能的编码模式。

模块403实现帧内预测处理，其中，通过根据要编码的给定块的相邻像素计算出的预测子来预测所述要编码的块。如果选择了帧内编码，则对所选择的帧内预测子以及给定块与其预测子之间的差的指示进行编码以提供残差。

时间预测由运动估计模块404和运动补偿模块405实现。首先，选择来自参考图像集416的参考图像，并且由运动估计模块404选择参考图像的一部分(也被称为参考区域或图像部分)，该部分是与要编码的给定块最接近的区域。然后运动补偿模块405使用所选择的区域来预测要编码的块。由运动补偿模块405计算所选择的参考区域与给定块(也称为残差块)之间的差。所选择的参考区域由运动矢量指示。

由此，在这两种情况下(空间和时间预测)，通过从原始块减去预测来计算残差。

在由模块403实现的帧内预测中，对预测方向进行编码。在时间预测中，对至少一个运动矢量进行编码。

如果选择帧间预测，则对与运动矢量和残差块有关的信息进行编码。为了进一步降低位率，假设运动是同质的，通过相对于运动矢量预测子的差对运动矢量进行编码。由运动矢量预测和编码模块417从运动矢量场418获得一组运动信息预测子中的运动矢量预测子。

编码器400还包括选择模块406，该选择模块用于通过应用编码成本标准(诸如，率-失真标准等)来选择编码模式。为了进一步减少冗余，由变换模块407将变换(诸如DCT等)应用于残差块，然后，所获得的变换数据由量化模块408量化并且由熵编码模块409进行熵编码。最终，正被编码的当前块的编码后的残差块被插入位流410中。

编码器400还进行编码图像的解码，以产生用于后续图像的运动估计的参考图像。这使得接收位流的编码器和解码器能够具有相同的参考帧。逆量化模块411进行量化数据的逆量化，之后是逆变换模块412的逆变换。逆帧内预测模块413使用预测信息来确定对于给定块使用哪个预测子，并且逆运动补偿模块414实际上将由模块412获得的残差添加到从参考图像集416获得的参考区域。

然后，由模块415应用后滤波以对所重建的像素帧进行滤波。在本发明的实施例中，使用SAO环路滤波器，其中补偿偏移被添加到所重建图像的所重建像素的像素值。

图5示出根据本发明实施例的解码器60的框图，解码器60可以用于从编码器接收数据。解码器由所连接的模块表示，各模块适于例如以要由装置300的CPU 311执行的编程指令的形式实现由解码器60实现的方法的相应步骤。

解码器60接收包括编码单元的位流61，各编码单元由包含与经编码的参数有关的信息的头部和包含经编码的视频数据的主体组成。如关于图4所说明的，针对给定块，在预定数量的位上，对经编码的视频数据进行熵编码，并且对运动矢量预测子的索引进行编码。所接收的经编码的视频数据由模块62进行熵解码。然后残差数据由模块63去量化，之后由模块64应用逆变换以获得像素值。

用于指示编码模式的模式数据也被熵解码，并且基于该模式，对图像数据的编码块进行帧内类型解码或帧间类型解码。

在帧内模式的情况下，帧内逆预测模块65基于在位流中指定的帧内预测模式来确定帧内预测子。

如果模式是帧间，则从位流提取运动预测信息以找到由编码器使用的参考区域。运动预测信息由参考帧索引和运动矢量残差组成。运动矢量预测子被添加到运动矢量残差以由运动矢量解码模块70获得运动矢量。

运动矢量解码模块70对通过运动预测编码的各当前块应用运动矢量解码。一旦已获得针对当前块的运动矢量预测子的索引，可以对与当前块相关联的运动矢量的实际值进行解码，并且该实际值用以通过模块66应用逆运动补偿。从参考图像68提取由经解码的运动矢量指示的参考图像部分以应用逆运动补偿66。利用经解码的运动矢量更新运动矢量场数据71，以用于后续解码运动矢量的逆预测。

最终，获得经解码的块。后滤波由后滤波模块67应用。解码器60最终提供经解码的视频信号69。

CABAC

HEVC使用若干类型的熵编码，如基于上下文的自适应二进制算术编码(CABAC)、哥伦布-莱斯码(Golomb-rice Code)或称为固定长度编码的简单二进制表示。大多数时候，进行二进制编码处理以表示不同句法元素。该二进制编码处理也非常特定并且取决于不同句法元素。算术编码根据句法元素的当前概率表示句法元素。CABAC是算术编码的扩展，其根据由上下文变量定义的“上下文”来分离句法元素的概率。这对应于条件概率。上下文变量可以从已解码的顶部左侧块(如图6b中的A2，如下文更详细描述的)和上方左侧块(图6b中的B3)的当前句法的值导出。

帧间编码

HEVC使用3种不同的帧间模式：帧间模式、合并模式和合并跳过模式。这些模式之间的主要差异是位流中用信号通知的数据。对于运动矢量编码，当前HEVC标准包括用于运动矢量预测的基于竞争性的方案，该方案不存在于该标准的较早版本中。这意味着若干候选正在编码器侧以率失真标准竞争以找到分别用于帧间或合并模式的最佳运动矢量预测子或最佳运动信息。将与运动信息的最佳预测子或最佳候选相对应的索引插入位流中。解码器可以根据经解码的索引导出同一组预测子或候选，并且使用最佳预测子或候选。在HEVC的画面内容扩展中，称为帧内块复制(IBC)的新编码工具作为这三种帧间模式中的任一种而用信号通知，通过检查参考帧是否是当前帧来做出IBC与等效帧间模式之间的差别。这可以例如通过检查列表L0的参考索引来实现，并且如果为该列表中的最后帧，则推断为帧内块复制。其它做法是将当前帧和参考帧的图片顺序计数进行比较：如果相等，则为帧内块复制。

预测子和候选的导出的设计在实现最佳编码效率而不对复杂性带来不成比例的影响方面是重要的。在HEVC中，使用两个运动矢量导出：一个用于帧间模式(高级运动矢量预测(AMVP))且一个用于合并模式(合并导出处理)。下面描述这些处理。

图6a和6b例示可以用于在HEVC编码和解码系统的高级运动矢量预测(AMVP)和合并模式中生成运动矢量预测子的空间和时间块，并且图7示出AMVP预测子集合导出的处理的简化步骤。

如图6a中所表示的，在包括顶部角块(块B2)和左侧角块(块A0)的顶部块(由字母“B”指示)和左侧块(由字母“A”指示)中选择两个预测子(即，AMVP模式的两个空间运动矢量)，并且在并置块(collocated block)的底部右侧块(H)和中央块(Center)中选择一个预测子。

下面的表1概述了当引用如图6a和6b中所示的相对于当前块的块时所使用的命名法。这种命名法被用作速记，但是应当理解，可以使用其它标记系统，特别是在标准的未来版本中。

块标记	相邻块的相对位置描述
		A0	“左侧角”-当前块的对角线向下并在左侧
A1	“左侧”or“底部左侧”-当前块的底部的左侧
		A2	“顶部左侧”-当前块的顶部的左侧
B0	“上方右侧”-当前块的对角线向上并在右侧
		B1	“上方”-当前块的顶部右侧的上方
B2	“上方左侧”-当前块的对角线向上并在左侧
		B3	“上”-当前块的顶部左侧的上方
H	参考帧中并置块的底部右侧
		中央(Center)	参考帧中并置块内的块

表1

应注意，“当前块”可以是大小可变的，例如4×4、16×16、32×32、64×64、128×128或其间的任何大小。块的尺寸优选地是2的因子(即，2^n×2^m，其中，n和m是正整数)，因为这得到在使用二进制编码时对位的更高效的使用。当前块不需要是正方形的，但是这通常是针对编码复杂性的优选实施例。

转到图7，第一步骤目的在于在底部左侧块A0和A1中(在图6中例示空间位置)选择第一空间预测子(Cand 1，706)。为此，以给定顺序一个接一个地选择这些块(700、702)，并且对于各个所选择的块，以给定顺序评价以下条件(704)，将满足条件的第一个块设置为预测子：

-来自相同参考列表和相同参考图像的运动矢量；

-来自其它参考列表和相同参考图像的运动矢量；

-来自相同参考列表和不同参考图像的经缩放的运动矢量；或者

-来自其它参考列表和不同参考图像的经缩放的运动矢量。

如果没有找到值，则认为左侧预测子是不可用的。在这种情况下，指示相关块进行了帧内编码或者这些块不存在。

以下步骤目的在于在上方右侧块B0、上方块B1和左侧上方块B2(在图6中例示空间位置)中选择第二空间预测子(Cand 2，716)。为此，以给定顺序一个接一个地选择这些块(708、710、712)，并且对于各个所选择的块，以给定顺序评价上述条件(714)，将满足上述条件的第一个块设置为预测子。

同样，如果没有找到值，则认为顶部预测子是不可用的。在这种情况下，指示相关块进行了帧内编码或者这些块不存在。

在下一步骤(718)中，如果两个预测子均是可用的，则将这两个预测子彼此进行比较，以在两个预测子相等(即，相同运动矢量值、相同参考列表、相同参考索引和相同方向类型)的情况下去除这两个预测子中的一个。如果仅一个空间预测子是可用的，则算法在下一步骤中寻找时间预测子。

时间运动预测子(Cand 3，726)如下导出：在可用性检查模块722中首先考虑先前帧中并置块的底部右侧(H，720)位置。如果不存在或者如果运动矢量预测子是不可用的，则选择并置块的中央(Centre，724)以进行检查。这些时间位置(中央和H)在图6中描绘。在任何情况下，对这些候选应用缩放723以匹配当前帧与参考列表中的第一帧之间的时间距离。

然后将运动预测子值添加到预测子的集合。接着，将预测子的数量(Nb_Cand)与预测子的最大数量(Max_Cand)进行比较(728)。如上文所提及，在HEVC标准的当前版本中，AMVP的导出处理需要生成的运动矢量预测子的预测子的最大数量(Max_Cand)为二。

如果达到该最大数量，则构建AMVP预测子的最终列表或集(732)。否则，将零预测子添加到列表(730)。零预测子是等于(0，0)的运动矢量。

如图7中所例示的，从空间运动预测子(700至712)的子集和从时间运动预测子(720、724)的子集构建AMVP预测子的最终列表或集(732)。

如上所提及，合并模式或合并跳过模式的运动预测子候选表示所有需要的运动信息：方向、列表、参考帧索引和运动矢量。若干候选的带有索引的列表通过合并导出处理来生成。在当前HEVC设计中，用于这两个合并模式的候选的最大数量等于五(4个空间候选和1个时间候选)。

图8是合并模式的运动矢量导出处理的示意图。在导出处理的第一步骤中，考虑五个块位置(800至808)。这些位置是在图3中用附图标记A1、B1、B0、A0和B2描绘的空间位置。在接下来的步骤中，检查空间运动矢量的可用性，并且选择至多五个运动矢量(810)。在预测子存在并且在块未被帧内编码的情况下，预测子被视为是可用的。因此，按照以下条件选择与五个块相对应的运动矢量作为候选：

如果“左侧”A1运动矢量(800)是可用的(810)，即，如果其存在并且如果该块未进行帧内编码，则选择“左侧”块的运动矢量并且将其用作候选列表(814)中的第一候选；

如果“上方”B1运动矢量(802)是可用的(810)，则将候选“上方”块运动矢量与“左侧”A1运动矢量(如果存在的话)进行比较(812)。如果B1运动矢量等于A1运动矢量，则不将B1添加到空间候选的列表(814)。相反，如果B1运动矢量不等于A1运动矢量，则将B1添加到空间候选的列表(814)；

如果“上方右侧”B0运动矢量(804)是可用的(810)，则将“上方右侧”的运动矢量与B1运动矢量进行比较(812)。如果B0运动矢量等于B1运动矢量，则不将B0运动矢量添加到空间候选的列表(814)。相反，如果B0运动矢量不等于B1运动矢量，则将B0运动矢量添加到空间候选的列表(814)；

如果“下方左侧”A0运动矢量(806)是可用的(810)，则将“下方左侧”的运动矢量与A1运动矢量进行比较(812)。如果A0运动矢量等于A1运动矢量，则不将A0运动矢量添加到空间候选的列表(814)。相反，如果A0运动矢量不等于A1运动矢量，则将A0运动矢量添加到空间候选的列表(814)；以及

如果空间候选的列表不包含四个候选，则检查(810)“上方左侧”B2运动矢量(808)的可用性。如果可用，则将其与A1运动矢量以及B1运动矢量进行比较。如果B2运动矢量等于A1运动矢量或B1运动矢量，则不将B2运动矢量添加到空间候选的列表(814)。相反，如果B2运动矢量不等于A1运动矢量或B1运动矢量，则将B2运动矢量添加到空间候选的列表(814)。

在该阶段结束处，空间候选的列表包括多达四个候选。

对于时间候选，可以使用两个位置：并置块的底部右侧位置(816，在图6中表示为H)和并置块的中央(818)。这些位置在图6中描绘。

关于AMVP运动矢量导出处理，第一步骤目的在于检查H位置处的块的可用性(820)。接着，如果该块是不可用的，则检查中央位置处的块的可用性(820)。如果这些位置的至少一个运动矢量是可用的，则根据需要，对于列表L0和L1这两者，时间运动矢量可以相对于具有索引0的参考帧进行缩放(822)，以创建被添加到合并运动矢量预测子候选的列表的时间候选(824)。该时间候选被置于列表中的空间候选之后。列表L0和L1是包含零个、一个或多个参考帧的2个参考帧列表。

如果候选的数量(Nb_Cand)严格小于候选的最大数量(Max_Cand，该值在位流片头部中用信号通知且在当前HEVC设计中等于五)(826)，并且如果当前帧为B类型，则生成组合候选(828)。基于合并运动矢量预测子候选的列表的可用候选来生成组合候选。其主要在于将列表L0的一个候选的运动矢量与列表L1的一个候选的运动矢量进行组合。

如果候选的数量(Nb_Cand)保持严格小于候选的最大数量(Max_Cand)(830)，则生成(832)零运动候选，直到合并运动矢量预测子候选列表的候选的数量达到候选的最大数量。

在该处理结束处，构建合并运动矢量预测子候选的列表或集(834)。如图8中所例示的，合并运动矢量预测子候选的列表或集是从空间候选(800至808)的子集和从时间候选(816、818)的子集构建的(834)。

替代性时间运动矢量预测(ATMVP)

替代性时间运动矢量预测(ATMVP)是特定的运动补偿。代替仅考虑来自时间参考帧的用于当前块的一个运动信息，考虑各个并置块的各个运动信息。因此，如图9中所描绘的，该时间运动矢量预测利用各个子块的相关运动信息给出当前块的分割。

在当前VTM参考软件中，将ATMVP作为插入到合并候选列表中的合并候选来用信号通知。当在SPS级别处启用ATMVP时，合并候选的最大数量增加一。因此，考虑6个候选而不是当该模式被禁用时的5个候选。

另外，当在SPS级别处启用该预测时，通过CABAC对合并索引的所有位进行上下文编码。当在HEVC中或者当未在SPS级别处启用ATMVP时，仅第一位被上下文编码，并且剩余位被上下文旁路编码。图10(a)例示用于HEVC或未在SPS级别处启用ATMVP时的合并索引的编码。这与一元最大编码相对应。另外，第一位被CABAC编码，并且其它位被旁路CABAC编码。

图10(b)例示当在SPS级别处启用ATMVP时合并索引的编码。另外，所有位进行了CABAC编码(从第1至第5位)。应注意，各个索引具有其自己的上下文——换言之，它们的概率是分开的。

仿射模式

在HEVC中，仅平移运动模型被应用于运动补偿预测(MCP)。而在现实世界中，存在许多种类的运动，例如放大/缩小、旋转、透视运动和其它不规则运动。

在JEM中，应用简化的仿射变换运动补偿预测，并且下面基于在2017年7月13-21日在托里诺的JVET会议呈现的文档JVET-G1001的摘录来描述仿射模式的一般原理。该文档整体在其描述JEM中所使用的其它算法的范围内通过引用并入本文。

如图11(a)所示，块的仿射运动场通过两个控制点运动矢量描述。

块的运动矢量场(MVF)由以下等式描述：

其中(v_0x,v_0y)是顶部左侧角的控制点的运动矢量，以及(v_1x,v_1y)是顶部右侧角的控制点的运动矢量。

为了进一步简化运动补偿预测，应用了基于子块的仿射变换预测。如在等式2中那样导出子块大小M×N，其中MvPre是运动矢量分数精度(JEM中为1/16)，(v_2x,v_2y)是根据等式1计算出的底部左侧控制点的运动矢量。

在通过等式2导出之后，如果必要，M和N可被向下调整，以使其分别为w和h的除数。

为了导出各M×N子块的运动矢量，根据等式1计算如图6a中所示的各个子块的中央样本的运动矢量，并且将其四舍五入到1/16分数精度。然后应用运动补偿内插滤波器以生成具有导出的运动矢量的各个子块的预测。

仿射模式是作为帧间模式(AMVP、合并、合并跳过)的运动补偿模式。其原理是根据2个或3个相邻运动信息针对每个像素生成一个运动信息。在当前VTM参考软件中，如图11(a)中所描绘的，仿射模式导出用于各个4×4块的一个运动信息。该模式对于AMVP可用，且利用标志而启用两个合并模式。该标志进行了CABAC编码。在实施例中，上下文取决于左侧块(图6b的位置A2)和上方左侧块(图6b的位置B3)的仿射标志的总和。

因此，对于仿射标志，在JEM中可以由以下公式给出三个上下文变量(0、1或2)：

Ctx＝IsAffine(A2)+IsAffine(B3)

其中IsAffine(块)是在该块不是仿射块的情况下返回0而在该块是仿射的情况下返回1的函数。

仿射合并候选导出

在JEM中，根据位置A1、B1、B0、A0、B2处的块中是仿射的第一相邻块导出仿射合并模式(合并或者合并跳过)。这些位置在图6a和6b中描绘。然而，如何导出仿射参数没有完全被定义，而本发明目的在于至少改进这个方面。

用信号通知仿射合并

图12是与编码模式相关的一些句法元素的部分解码处理的流程图。在该图中，可以解码跳过标志(1201)、预测模式(1211)、合并标志(1203)、合并索引(1208)和仿射标志(1207)。

对于帧间片中的所有CU，解码跳过标志(1201)。如果CU不是跳过(1202)，则解码pred模式(预测模式)(1211)。该句法元素指示当前CU是帧间模式还是帧内模式。请注意，如果CU是跳过(1202)，则其当前模式是帧间模式。如果CU是帧间模式(1212)，则CU在AMVP或合并模式中编码。如果CU是帧间(1212)，则解码合并标志(1203)。如果CU是合并(1204)或如果CU是跳过(1202)，则验证(1205)仿射标志(1206)是否需要解码。如果当前CU是2N×2N CU，则解码该标志，这意味着在当前VVC中CU的高度和宽度应相等。此外，必须利用仿射模式(合并或AMVP)对至少一个相邻CU A1或B1或B0或A0或B2进行编码。最终，当前CU不应是4×4CU，但是在VTM参考软件中默认禁用CU4×4。如果该条件(1205)为假，则确定的是当前CU是以经典合并模式或合并跳过模式进行编码，并且对合并索引进行解码(1208)。如果仿射标志(1206)被设置为等于1(1207)，则CU是合并仿射CU或合并跳过仿射CU，并且合并索引(1208)不需要被解码。否则，当前CU是经典(基本)合并或合并跳过CU，并且对合并索引候选进行解码(1208)。

在本说明书中，“用信号通知”可以指将表示启用或禁用模式的其它信息的一个或多个句法元素插入到位流中或从位流中提取。

合并候选导出

图13是例示合并候选导出的流程图。该导出是在图8中表示的HEVC的合并列表导出的基础上构建。与HEVC相比的主要改变是ATMVP候选(1319、1321、1323)的添加、候选的完全冗余检查(1320、1325)和候选的新顺序。将ATMVP预测设置为特定候选，因为其表示当前CU的若干运动信息。将第一子块(顶部左侧)的值与时间候选进行比较，并且如果它们相等，则不将时间候选添加在合并的列表中(1320)。ATMVP候选不与其它空间候选进行比较。相反，将时间候选与已经在列表中的各个空间候选进行比较(1325)并且如果其为冗余候选则不添加在合并候选列表中。

当将空间候选添加到列表中时，将其与列表中的其它空间候选进行比较(1310)，这不是HEVC的最终版本中的情况。

在当前VTM版本中，合并候选的列表设置为以下顺序，因为它已被确定为在编码测试条件下提供最佳结果：

·A1

·B1

·B0

·A0

·ATMVP

·B2

·时间

·组合

·零_MV

重要的是注意，空间候选B2设置在ATMVP候选之后。

另外，当在片级别启用ATMVP时，候选列表中的最大数量为6而不是5。

本发明的一个目的是以考虑了编码效率和复杂性的有效方式来在位流的一部分中用信号通知仿射模式。本发明的再一个目的在于，以需要对现有视频编码框架进行最小量的结构性修改的方式来用信号通知仿射模式。

现在将参考图13至图21描述本发明的示例性实施例。应注意，除非另有明确说明，否则实施例可以组合；例如，实施例的某些组合可能在增加复杂性的情况下改进编码效率，但这在某些使用情况下可能是可接受的。

总之，当仿射模式更可能提供改进的运动补偿时，通过对用信号通知运动预测子模式的句法进行修改以利用仿射模式，可以在可接受的编码复杂性增加的情况下改进编码效率。

第一实施例

在第一实施例中，可以针对至少一个帧间模式的位流的一部分用信号通知(例如，启用或禁用)仿射运动预测模式。确定用于所述位流的该部分的帧间预测模式，并且根据位流的该部分中所使用的帧间预测模式来用信号通知(启用或禁用)仿射运动模式。

该实施例的优点是通过去除不使用的句法来实现较佳编码效率。另外，通过避免一些不需要评价的帧间编码概率来降低编码器复杂性。最终，在解码器侧，不需要从位流中提取一些被CABAC编码的仿射标志，这提高了解码处理的效率。

在第一实施例的示例中，对于仿射模式不启用跳过模式。这意味着当CU为跳过CU(基于数据流中跳过标志的状态或存在)时，不需要从位流中提取仿射标志。图14(其共享与图12相同的结构，并且这里应用相应的描述)例示该示例。在图14中，当CU是跳过(1402)时，不对仿射标志进行解码(1406)，并且不评价1405中的条件。如果CU是跳过，则对合并索引进行解码(1406)。

该示例的优点是针对具有少量运动的序列的编码效率改进，并且具有更多运动的序列的编码效率不降低。这是因为，由于当存在极少运动或没有运动时通常使用跳过模式，并且因此仿射模式将不太可能合适。如上所述，也降低了编码和解码处理的复杂性。

在附加示例中，可以在高级别(例如，在片、帧、序列或CTU级别)启用或禁用仿射合并跳过模式。这可以基于高级句法标志来确定。在这样的情况下，可以针对具有少量运动的序列或帧禁用仿射合并跳过，并且当运动的量增加时启用仿射合并跳过。该附加示例的优点是在使用仿射合并跳过方面的灵活性。

在一个实施例中，仿射合并跳过模式从不在编码器侧进行评价，因此没有位流包含仿射合并跳过模式。优点在于可以观察到编码效率但小于针对第一实施例的编码效率。

针对仿射可能不启用合并和跳过模式(或仅针对AMVP而启用仿射)。在进一步的示例中，对于仿射模式不启用合并和合并跳过模式。这意味着当CU为跳过或合并时，不需要从位流中提取仿射标志。与图14相比，在该实施例中，模块1405、1406和1407被去除。

该示例的优点类似于上面紧挨着的示例。优点是针对具有少量运动的序列的编码效率改进和针对具有更多运动的序列的相同编码效率。如上所述，降低了编码和解码处理的复杂性。

高级句法元素用信号通知可以启用仿射合并。在又一示例中，仿射合并模式和合并跳过模式可以利用一个标志在高级别(如片、帧、序列或CTU级别)处被启用或禁用。在这种情况下，可以针对具有少量运动的序列或帧禁用仿射合并，并且当运动的量增加时启用仿射合并。该附加实施例的优点是在使用仿射跳过方面的灵活性。

在替代性示例中，针对合并跳过模式用信号通知一个标志，并且针对合并模式用信号通知一个标志。

在其它示例中，仿射合并跳过模式和合并模式从不在编码器侧进行评价。因此，没有位流包含仿射合并跳过模式。优点在于可以观察到编码效率。

第二实施例

在第二实施例中，用信号通知针对当前块的仿射模式取决于一个或多个相邻块的模式。在相邻块如何被编码方面可能存在相关性，这可以被利用来改进编码效率。特别地，如果某些相邻块中的一个或多个使用仿射模式，则仿射模式更可能适合于当前模式。

在一个实施例中，仿射合并或仿射合并跳过模式的候选的数量减少到仅2个候选。该实施例的优点是在解码器侧的复杂性降低，因为针对合并模式解码较少的仿射标志，并且针对仿射合并检查条件(1205)需要较少的比较和存储器缓冲器访问。在编码器侧，需要评价较少的仿射合并模式。

在第二实施例的一个示例中，对当前块的左侧的一个相邻块和上方的一个相邻块(例如图6中所描绘的候选A1和B1)进行评价，以了解是否需要对仿射标志进行解码以及用于导出仿射合并候选。仅采用这2个位置用于仿射合并的优点是具有降低的复杂性的、与如当前VTM实现那样保持5个候选相类似的编码效率。图15例示该实施例。在该图中，与图12相比，模块1505已经通过检查仅A1和B1位置而改变。

在第二实施例的另一示例中，仅评价如图6b中所描绘的候选A2和B3以确定是否需要对仿射标志进行解码和用于仿射合并候选的导出。该示例的优点与先前的示例相同，但是与先前的示例相比，还减少了“最差情况”下的存储器访问。实际上，对于位置A2和B3，这些位置与用于仿射标志上下文导出所用的那些位置相同。实际上，对于仿射标志，上下文导出取决于图6b的位置A2和B3处的相邻块。因此，如果需要对仿射标志进行解码，则A2和B3的仿射标志值已经在存储器中以用于当前仿射标志的上下文导出，并且因此不需要进一步的存储器访问。

第三实施例

在第三实施例中，用信号通知针对当前块的仿射模式取决于与当前块的相邻块相对应的合并候选的列表。

在第三实施例的示例中，该列表以已经用于确定与所述块有关的上下文变量的块开始，因为这样的块的仿射标志值已经存在存储器中以供当前仿射标志的上下文导出，并因此不需要进一步的存储器访问。例如，可能的仿射合并候选是A2或B3或B0或A0或B2这样的顺序(而不是A1或B1或B0或A0或B2)，如图6b中所描绘的那样。这与当前VTM相比给出了编码效率的改进。并且还限制了对于最差情况场景而言用于仿射标志的解码的需要访问的仿射标志的量。对于当前版本，对于模块1205而言是5，并且对于仿射标志上下文导出而言是2，并且对于本实施例，仅是5，因为A2和B3的仿射标志值已经存在存储器中以供当前仿射标志的上下文导出，并因此不需要进一步的存储器访问。

第三实施例的变形涉及上下文对准。用信号通知仿射模式可以包括将上下文编码标志插入到数据流中，其中，基于相邻块是否使用仿射模式来确定所述标志的上下文变量。

在第三实施例的替代性示例中，考虑用于仿射标志的上下文导出的位置是位置A1和B1，而不是位置A2和B3，如图6b中所描绘的那样。在这种情况下，获得了与先前示例相同的优点。这是上下文与仿射合并导出之间的另一对准。在这种情况下，根据以下公式获得仿射标志的上下文变量：

Ctx＝IsAffine(A1)+IsAffine(B1)

其中Ctx是仿射标志的上下文，并且IsAffine是在块不是仿射块的情况下返回0且在块是仿射的情况下返回1的函数。在该示例中，A1和B1的仿射标志值存储在存储器中以用于当前仿射标志的上下文导出，并且因此不需要进一步的存储器访问。

在另一替代性示例中，在当前块为合并模式(两种合并模式)时，考虑用于仿射标志的上下文导出的位置是位置A1和B1，而不是位置A2和B3。与先前示例相比的附加优点是更好的编码效率。实际上，对于AMVP，不需要将上下文导出与运动矢量的导出进行对准，因为对于AMVP，针对该导出不考虑仿射块。

第四实施例

在第四实施例中，根据相邻块是否是合并模式来进行用信号通知仿射模式。

在第四实施例的一个示例中，仿射合并(合并和跳过)的候选可以仅是仿射AMVP候选。图17例示该实施例。该实施例的优点是在不影响编码效率的情况下降低了编码复杂性，这是因为需要对较少的仿射标志进行解码。

在第四实施例的又一示例中，仿射合并(合并和跳过)的候选可以仅是仿射AMVP候选或合并仿射候选，但不是仿射合并跳过。

如同先前示例，该示例的优点是在不影响编码效率的情况下降低了编码复杂性，这是因为需要对较少的仿射标志进行解码。

第五实施例

在第五实施例中，用信号通知仿射模式包括插入仿射模式作为候选运动预测子。

在第五实施例的一个示例中，仿射合并(和合并跳过)作为合并候选被用信号通知。在这种情况下，图12的模块1205、1206和1207被去除。另外，为了不影响合并模式的编码效率，递增合并候选的最大可能数量。例如，在当前VTM版本中，该值被设置为等于6，因此如果将该实施例应用于VTM的当前版本，则该值将是7。

优点是合并模式的句法元素的设计简化，这是因为需要对较少的句法元素进行解码。在一些情况下，可以观察到编码效率。

现在将描述实现该示例的两种可能方式：

无论其它合并MV的值如何，仿射合并索引总是在列表内具有相同的位置。候选运动预测子的位置指示其被选择的可能性，并且因此，如果其被放置在列表的较高处(较低的索引值)，则更可能选择该运动矢量预测子。

在第一示例中，仿射合并索引总是在合并候选列表内具有相同位置。这意味着它具有固定的合并idx值。例如，该值可以设置为等于5，因为仿射合并模式应表示并非为最可能内容的复杂运动。本实施例的附加优点在于，当解析当前块(仅解码/读取句法元素而不解码数据本身)时，当前块可以被设置为仿射块。因此，该值可以用于确定用于AMVP的仿射标志的CABAC上下文。因此，应针对该仿射标志改进条件概率且编码效率应更好。

在第二示例中，仿射合并候选与其它合并候选一起导出。在该示例中，将新的仿射合并候选添加到合并候选的列表中。图18例示该示例。与图13相比，仿射候选是第一仿射相邻块A1、B1、B0、A0、B2(1917)。如果与图12的1205相同的条件有效(1927)，则生成利用仿射参数产生的运动矢量场，以获得仿射候选(1929)。根据ATMVP、时间和仿射候选的使用，初始候选的列表可以具有4、5、6或7个候选。

所有这些候选之间的顺序是重要的，这是因为应首先处理更可能的候选以确保其更可能晋级为运动矢量候选-优选顺序如下：

A1

B1

B0

A0

仿射合并

ATMVP

B2

时间

组合

零_MV

重要的是注意，仿射合并在ATMVP模式之前但在四个主要相邻块之后。与将仿射合并设置在ATMVP和时间预测子之后相比，将仿射合并设置在ATMVP候选之前的优点是增加了编码效率。该编码效率的增加取决于GOP(图片组)结构和GOP中的各图片的量化参数(QP)设置。但是对于最常用的GOP和QP设置，该顺序给出了编码效率的增加。

该解决方案的另一优点是用于句法和导出这两者的合并和合并跳过的简洁设计。此外，仿射候选合并索引可以根据列表中的先前候选的可用性或值(冗余检查)而改变。因此，可以获得有效的信号通知。

在另一示例中，仿射合并索引可以根据一个或若干条件而变化。

例如，列表内与仿射候选相关联的合并索引或位置根据标准而改变。原理是，当仿射合并具有要被选择的高概率时，针对与仿射合并相对应的合并索引设置低值(并且当存在要被选择的低概率时，设置更高的值)。

该示例的优点是受益于当合并索引最有可能被使用时该合并索引的最佳适配，编码效率增加。

用于选择仿射模式在合并候选的列表中的位置的标准包括：

a)如果启用跳过模式(跳过标志的状态)

在应用该标准的一个示例中，如果当前合并是合并跳过模式，则仿射合并索引具有设置为等于高值(例如，5)的值，或者设置在空间和时间MV之后。

如针对第一实施例所说明的，由于不太可能有任何显著的(或复杂的)运动，因此针对跳过模式选择仿射模式的可能性低。

b)相邻块的运动信息

在应用该标准的一个示例中，如果左侧的一个块和上方的一个块(例如，块A1和块B1)的运动信息相似或相等，则仿射合并索引具有设置为等于高值的值，或者在空间和时间MV之后设置。

当A1具有与B1相同的运动信息时，针对当前块运动信息恒定的概率高。因此，仿射合并被选择的概率低。

c)ATMVP候选

在应用该标准的一个示例中，如果ATMVP候选仅包含一个运动信息，则仿射合并索引具有设置为等于高值的值，或者设置在空间和时间MV之后。在这种情况下，并置块的先前帧中不存在细分(subdivision)。

因此，当前块内容处于非恒定运动的内部的可能性小，因此优选不将仿射设置在合并列表内部的较高位置处。

d)如果相邻块使用仿射模式

在应用该标准的一个示例中，如果多于一个相邻块是仿射，则仿射合并索引具有设置为等于低值的值，或者在时间预测之前并且远离空间预测子而设置。

在应用该标准的附加示例中，仿射合并索引或仿射位置(idx)被设置为等于idx＝P-N，其中，P是仿射合并索引可能的最低位置，并且N是仿射相邻块的数量。在一个示例中，P是5且N是5，并且相邻块为A1、B1、B0、A0、B2。应注意，在该标记法中，最高位置的索引值为零。

通过该示例，根据与合并候选位置的相邻块有关的概率来设置合并候选位置的仿射合并索引。因此，当所有相邻位置是仿射时在第一位置处，以及当仅一个相邻块是仿射时在第四位置处。

应当理解，示例值“5”可以被设置为6或7以获得类似的编码效率。

还应当理解，这些标准的组合将是可能的。

在第五实施例的其它示例中，根据确定当前块的仿射模式的可能性来用信号通知仿射模式。在特定示例中，根据标准不将仿射合并候选添加到候选列表内，或无索引与仿射合并相对应。该示例的原理是在仿射模式不太可能有用的情况下禁用仿射模式。

该示例的优点是受益于合并索引位的最佳使用，编码效率增加。

用于确定仿射模式有用的可能性的标准包括：

a)跳过标志的状态

在应用该标准的一个示例中，在当前合并是合并跳过模式时，不添加仿射合并候选。如针对第一实施例所述的，针对跳过模式而选择仿射模式的可能性低。

b)相邻块的运动信息

在应用该标准的一个实施例中，如果左侧的一个块和上方的一个块(例如，块A1和B1)的运动信息相似或相等，则不添加仿射合并候选。

当左侧的一个块和上方的一个块(例如，块A1和B1)具有相同的运动信息时，针对当前块运动信息是恒定的概率高。因此，应禁用仿射合并。

c)ATMVP候选

在应用该标准的一个实施例中，如果ATMVP候选仅包含一个运动信息，则不添加仿射合并候选。

在这样的示例中，当前块内容在非恒定运动的内部的可能性小，因此优选在合并列表内部的较高位置处禁用仿射。

应当理解，这些标准的组合将是可能的。

本发明的实施例的实现

图20是用于实现本发明的一个或多个实施例的计算装置1300的示意性框图。计算装置1300可以是诸如微计算机、工作站或轻型便携式装置等的装置。计算装置1300包括连接到以下各项的通信总线：-中央处理单元(CPU)1301，诸如微处理器等；-用于存储本发明的实施例的方法的可执行代码的随机存取存储器(RAM)1302以及适于记录实现根据本发明的实施例的用于对图像的至少一部分进行编码或解码的方法所需的变量和参数的寄存器，其存储容量例如可以通过连接到扩展端口的可选RAM进行扩展；-用于存储用于实现本发明的实施例的计算机程序的只读存储器(ROM)1303；-网络接口(NET)1304，其通常连接至通信网络，要处理的数字数据通过该通信网络被传输或接收，网络接口(NET)1304可以是单个网络接口，或者由一组不同的网络接口(例如，有线和无线接口，或不同种类的有线或无线接口)组成，在运行在CPU 1301中的软件应用的控制下，数据包被写入网络接口用于传输或者从网络接口读取以进行接收；-用户接口(UI)1305，其可以用于从用户接收输入或向用户显示信息；-硬盘(HD)1306，其可以被设置为大容量存储装置；-输入/输出模块(IO)1307，其可以用于从/向外部装置(诸如视频源或显示器等)接收/发送数据。可执行代码可以存储在ROM 1303中、HD 1306上或诸如盘等的可移动数字介质上。根据变型，程序的可执行代码可以经由NET1304借助于通信网络来接收，以在被执行之前存储在通信装置1300的存储部件(诸如HD 1306等)之一中。CPU 1301适于控制和指导根据本发明的实施例的一个或多个程序的软件代码的指令或部分的执行，该指令被存储在前述存储部件之一中。例如，在通电之后，CPU 1301能够执行来自从程序ROM 1303或HD 1306加载了指令之后的主RAM存储器1302的、与软件应用有关的那些指令。这种软件应用在由CPU 1301执行时使得进行根据本发明的方法的步骤。

还应理解，根据本发明的其它实施例，在诸如计算机、移动电话(蜂窝电话)、平板或能够向用户提供/显示内容的任何其它类型的装置(例如，显示设备)等的用户终端中提供根据上述实施例的解码器。根据又一实施例，在图像捕获设备中提供根据上述实施例的编码器，该图像捕获设备还包括用于捕获和提供内容以供编码器进行编码的照相机、摄像机或网络照相机(例如，闭路电视或视频监视照相机)。以下参见图21和22提供两个这样的示例。

图21是例示包括网络照相机2102和客户端设备2104的网络照相机系统2100的图。

网络照相机2102包括摄像单元2106、编码单元2108、通信单元2110和控制单元2112。

网络照相机2102和客户端设备2104经由网络200相互连接以能够彼此通信。

摄像单元2106包括镜头和图像传感器(例如，电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS))，并捕获对象的图像并基于该图像生成图像数据。该图像可以是静止图像或视频图像。摄像单元还可以包括分别适于缩放或平摇(光学地或数字地)的缩放部件和/或平摇部件。

编码单元2108通过使用在第一实施例至第五实施例中说明的所述编码方法来对图像数据进行编码。编码单元2108使用在第一实施例至第五实施例中说明的编码方法中的至少之一。对于其它实例，编码单元2108可以使用在第一实施例至第五实施例中说明的编码方法的组合。

网络照相机2102的通信单元2110将由编码单元2108编码的经编码的图像数据传输至客户端设备2104。

此外，通信单元2110接收来自客户端设备2104的命令。命令包括用于设置用于编码单元2108的编码的参数的命令。

控制单元2112根据通信单元2110接收到的命令来控制网络照相机2102中的其它单元。

客户端设备2104包括通信单元2114、解码单元2116和控制单元2118。

客户端设备2104的通信单元2118向网络照相机2102传输命令。

此外，客户端设备2104的通信单元2118从网络照相机2102接收经编码的图像数据。

解码单元2116通过使用在第一实施例至第五实施例中的任一个中说明的所述解码方法来对经编码的图像数据进行解码。对于其它实例，解码单元2116可以使用在第一实施例至第五实施例中说明的解码方法的组合。

客户端设备2104的控制单元2118根据由通信单元2114接收的用户操作或命令来控制客户端设备2104中的其它单元。

客户端设备2104的控制单元2118控制显示设备2120以显示由解码单元2116解码的图像。

客户端设备2104的控制单元2118还控制显示设备2120以显示用于指定网络照相机2102的参数(包括用于编码单元2108的编码的参数)的值的GUI(图形用户界面)。

客户端设备2104的控制单元2118还根据对显示设备2120所显示的GUI的用户操作输入来控制客户端设备2104中的其它单元。

客户端设备2104的控制单元2118根据对显示设备2120所显示的GUI的用户操作输入来控制客户端设备2104的通信单元2114，以将用于指定网络照相机2102的参数的值的命令传输至网络照相机2102。

网络照相机系统2100可以确定照相机2102是否在记录视频期间利用缩放或平摇，并且当对视频流进行编码时可使用这样的信息，因为在拍摄期间缩放或平摇可以受益于仿射模式的使用，该仿射模式非常适合于对诸如缩放、旋转和/或拉伸(这可能是平摇的副作用，特别是在镜头是“鱼眼”镜头的情况下)等的复杂运动进行编码。

图22是例示智能电话2200的图。

智能电话2200包括通信单元2202、解码/编码单元2204、控制单元2206和显示单元2208。

通信单元2202经由网络接收经编码的图像数据。

解码单元2204对通信单元2202接收到的经编码的图像数据进行解码。

解码单元2204通过使用在第一实施例至第五实施例中说明的所述解码方法来对经编码的图像数据进行解码。解码单元2204可以使用在第一实施例至第五实施例中说明的解码方法中的至少之一。对于其它实例，编码单元2202可以使用在第一实施例至第五实施例中说明的解码方法的组合。

控制单元2206根据通信单元2202接收到的用户操作或命令控制智能电话2200中的其它单元。

例如，控制单元2206控制显示设备2208以显示由解码单元2204解码的图像。

智能电话还可以包括用于记录图像或视频的图像记录装置2210(例如，数字照相机和相关联的电路)。这样的所记录图像或视频可以在控制单元2206的指令下由解码/编码单元2204进行编码。

智能电话还可以包括适于感测移动装置的定向的传感器2212。这样的传感器可以包括加速度计、陀螺仪、罗盘、全球定位(GPS)单元或类似的位置传感器。这样的传感器2212可以确定智能电话是否改变定向，并且在编码视频流时可以使用这样的信息，因为拍摄期间的定向的改变可以受益于仿射模式的使用，该仿射模式非常适合于对诸如旋转等的复杂运动进行编码。

替代和修改

应理解，本发明的目的是确保以最有效率的方式利用仿射模式，并且上面讨论的某些示例涉及根据所感知到的仿射模式有用的可能性来用信号通知使用仿射模式。当已知正对复杂运动(此时仿射变换可能特别有效)进行编码时，本发明的进一步示例可以应用于编码器。这样的情况的示例包括：

a)照相机放大/缩小

b)便携式照相机(例如，移动电话)在拍摄期间改变定向(即，旋转移动)。

c)“鱼眼”镜头照相机平摇(例如，图像的一部分的拉伸/失真)

如此，可以在记录处理期间提出复杂运动的指示，使得可以给予仿射模式用于片、帧序列或者实际上视频流整体的更高可能性。

在进一步的示例中，根据用于记录视频的装置的特征或功能，可以给予仿射模式被使用的更高可能性。例如，移动装置可能比(例如)固定的安全照相机(security camera)更可能改变定向，因此仿射模式可能更适合于对来自前者的视频进行编码。特征或功能的示例包括：缩放部件的存在/使用、位置传感器的存在/使用、平摇部件的存在/使用、装置是否是便携式的、或者装置上的用户选择。

虽然已经参考实施例描述了本发明，但是应当理解，本发明不限于所公开的实施例。本领域技术人员将理解，在不脱离所附权利要求限定的本发明的范围的情况下，可以进行各种改变和修改。本说明书(包括任何所附权利要求、摘要和附图)中公开的所有特征、和/或所公开的任何方法或处理的所有步骤，可以以任何组合进行组合，除了这样的特征和/或步骤中的至少一些相互排斥的组合之外。除非另外明确说明，否则本说明书(包括任何所附权利要求、摘要和附图)中所公开的各个特征可以由用于相同、等同或相似目的的替代特征代替。因此，除非另有明确说明，否则所公开的各个特征仅为通用系列等效或类似特征的一个示例。

还应理解，上述比较、确定、评估、选择、执行、进行或考虑的任何结果(例如，在编码或滤波处理期间作出的选择)可以在位流中的数据(例如，指示结果的标志或数据)中指示或可从位流中的数据确定/推断，使得所指示或确定/推断的结果可以用于处理而不是实际上例如在解码处理期间进行比较、确定、评估、选择、执行、进行或考虑。

在权利要求中，词语“包括”不排除其它元素或步骤，并且不定冠词“a”或“an”不排除多个。仅仅在相互不同的从属权利要求中记载不同特征的事实并不指示这些特征的组合不能被有利地使用。

权利要求中出现的附图标记仅作为说明，并且不应对权利要求的范围产生限定作用。

Claims

1.一种用信号通知用于位流的一部分的运动预测模式的方法，所述方法包括：

确定与当前块的相邻块相对应的合并候选的列表；以及

用信号通知用于所述当前块的仿射模式；

其中，用信号通知所述仿射模式包括对来自数据流的上下文编码标志进行解码，以及基于所述相邻块是否使用仿射模式来确定用于所述标志的上下文变量。

2.根据权利要求1所述的方法，其中，所述列表中的第一空间候选是已用于确定与所述块有关的上下文变量的块。

3.一种用信号通知用于位流内经编码的块的运动预测模式的方法，所述方法包括：

确定所述位流内经编码的块的相邻块是否使用仿射模式；

将上下文编码标志插入到所述位流中；

其中，用于所述上下文编码标志的上下文变量取决于所述位流内经编码的块的相邻块是否使用仿射模式的确定。

4.根据任一前述权利要求所述的方法，其中，用于仿射标志的上下文是从当前块左侧的块和上方的块这两者获得的。

5.根据权利要求4所述的方法，包括：通过对用于所述当前块左侧的块的IsAffine与用于所述当前块上方的块的IsAffine进行求和来获得用于所述仿射标志的上下文，其中，IsAffine是在块不是仿射块的情况下返回0且在块是仿射的情况下返回1的函数。

6.根据权利要求1至5中任一项所述的方法，其中，所述相邻块仅由块A2和B3组成。

7.一种用信号通知位流中的运动预测模式的方法，所述方法包括：

编制候选运动预测子的列表；以及

插入仿射合并模式作为合并候选；

其中，仿射合并模式候选在候选列表中的位置是可变的。

8.根据权利要求7所述的方法，其中，基于替代性时间运动矢量预测子候选即ATMVP候选来确定仿射合并模式候选在所述候选列表中的位置。

9.根据权利要求7或8所述的方法，其中，基于相邻块是否使用仿射模式来确定仿射合并模式候选在所述候选列表中的位置。

10.根据权利要求9所述的方法，其中，所述相邻块包括块A1和块B1。

11.一种使用根据权利要求1至10中任一项所述的方法对图像进行编码的方法。

12.根据权利要求11所述的方法，其中，根据用于记录与正被编码的位流相对应的视频的装置的特征来用信号通知仿射模式。

13.一种使用根据权利要求1至10中任一项所述的方法对图像进行解码的方法。

14.一种适于执行根据前述权利要求中任一项所述的方法的装置。

15.一种包括根据权利要求14所述的装置的照相机。

16.一种包括根据权利要求15所述的照相机的移动装置。

17.一种用于对图像进行编码的编码器，包括根据权利要求14至16中任一项所述的装置。

18.一种用于对图像进行解码的解码器，包括根据权利要求14至16中任一项所述的装置。

19.一种程序，所述程序在由计算机或处理器执行时使所述计算机或处理器执行根据权利要求1至13中任一项所述的方法。