CN113728643A - 对称合并模式运动向量编码 - Google Patents

对称合并模式运动向量编码 Download PDF

Info

Publication number
CN113728643A
CN113728643A CN202080026958.1A CN202080026958A CN113728643A CN 113728643 A CN113728643 A CN 113728643A CN 202080026958 A CN202080026958 A CN 202080026958A CN 113728643 A CN113728643 A CN 113728643A
Authority
CN
China
Prior art keywords
merge candidate
symmetric
reference picture
list
merge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080026958.1A
Other languages
English (en)
Inventor
杨华
贺玉文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of CN113728643A publication Critical patent/CN113728643A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Abstract

本文描述了用于对称合并模式运动向量编码的系统、设备和方法。对称双预测(bi‑pred)运动向量(MV)可由常规帧间预测合并模式和/或仿射预测合并模式的合并候选列表中的可用候选构造而成。例如，当对允许双向运动补偿预测(MCP)的画面进行编码时，可用MV合并候选可在任一方向上对称地扩展或映射(例如，在当前画面之前和之后的参考画面之间)。可在用于预测当前预测单元(PU)的运动信息的合并候选中选择对称bi‑pred合并候选。对称映射构造可由例如解码器(例如，基于MV合并候选列表的编码索引)重复以在编码器处获得相同的合并候选和编码MV。

Description

对称合并模式运动向量编码
相关申请的交叉引用
本申请要求2019年3月11日提交的名称为“对称合并模式运动向量编码(Symmetric Motion Vector Difference Coding)”的美国临时专利申请号62/816586的优先权，该专利申请全文以引用方式并入，如同在本文完整示出一样。
背景技术
视频编码系统可用于压缩数字视频信号，例如以减少此类信号需要的存储和/或传输带宽。视频编码系统可包括基于块的、基于小波的和/或基于对象的系统。
发明内容
本文描述了用于对称合并模式运动向量编码的系统、设备和方法。对称双预测(bi-pred)运动向量(MV)可由常规帧间预测合并模式和/或仿射预测合并模式的合并候选列表中的可用候选构造而成。例如，当对允许双向运动补偿预测(MCP)的画面进行编码时，可用MV合并候选可在任一方向上对称地扩展或映射(例如，在当前画面之前和之后的参考画面之间)。可在合并候选中选择对称bi-pred MV作为当前预测单元(PU)的MV。对称映射构造可例如在解码设备处重复(例如，基于MV合并候选列表的编码索引)，以在编码设备处获得相同的合并候选和编码MV。
在一个示例中，可实现一种方法以确定运动信息，该运动信息包括当前画面中的预测单元(PU)的运动向量(MV)。该方法可例如由一种设备实现，该设备可包括存储计算机可读存储介质和/或被配置为执行计算机可执行指令的处理器，该计算机可执行指令在被执行时执行该方法以确定当前画面中的预测单元(PU)的运动向量(MV)。一种方法可包括获得(例如，检索、生成或构造)当前画面中的PU的合并候选列表。该合并候选列表可包括第一合并候选，该第一合并候选包括第一MV，该第一MV与第一参考画面列表中的第一参考画面相关联。例如，可经由第一合并候选的对称映射获得(例如，构造)对称合并候选。该对称合并候选可包括第二MV，该第二MV与第一MV对称。该对称合并候选可与第二参考画面列表中的第二参考画面相关联。该对称合并候选可为双预测合并候选，并且可包括：第一MV，该第一MV与第一参考画面列表中的第一参考画面相关联；和第二MV，该第二MV与第一MV对称，与第二参考画面列表中的第二参考画面相关联。该对称合并候选可被合并(例如，添加)到合并候选列表。可从用于预测PU的MV的合并候选列表中选择合并候选(例如，对称合并候选)。
第一参考画面和第二参考画面可相对于当前画面对称。例如，第一参考画面和第二参考画面可例如与当前画面在相反方向上具有相同的画面顺序计数(POC)距离。
对称合并候选的构造可基于第二参考画面列表是否包含第一参考画面的对称参考画面，例如，与当前画面的画面顺序计数(POC)距离等于第一参考画面到当前画面之间的POC距离。在一个示例中，在第二参考画面列表中存在对称参考画面的条件下，可选择第一合并候选以导出对称合并候选。该对称参考画面为对称合并候选的第二参考画面。
另一参考画面列表可不包括对称参考画面。可选择具有最接POC距离的参考画面作为对称合并候选的第二参考画面。例如，可选择第二参考画面列表中与当前画面的POC距离最接近第一参考画面与当前画面之间的POC距离的参考画面。
例如，可应用运动向量缩放来构造对称合并候选的第二MV。缩放可基于第二参考画面与当前画面之间的POC距离，以及第一参考画面与当前画面之间的POC距离。
在一个示例中，例如，仅在第一合并候选为单向预测合并候选时，才可构造对称合并候选并将其添加到合并候选列表。在各种具体实施中，例如，无论第一合并候选是双向预测(bi-pred)合并候选还是单预测合并候选，都可构造对称合并候选并将其添加到合并候选列表。
例如，可确定第一合并候选为双向预测候选，该双向预测候选具有基于第一参考画面列表中的第一参考画面的第一MV和基于第二参考画面列表中的第三参考画面的第三MV。可经由第一合并候选的对称映射构造第二对称合并候选，该第二对称合并候选可包括第四MV，该第四MV与第三MV对称并且与第一参考画面列表中的第四参考画面相关联。第四参考画面与当前画面之间的POC距离可等于或类似于第三参考画面与当前画面之间的POC距离。
将对称合并候选添加到合并候选列表可基于确定(例如，在将对称合并候选添加到合并候选列表之前)对称合并候选与合并候选列表中的任何其他合并候选不冗余。
将对称合并候选添加到合并候选列表可基于确定(例如，在将对称合并候选添加到合并候选列表之前)将合并候选添加到合并候选列表将不超过允许的最大合并候选数和允许的最大对称合并候选数中的至少一者。
对称合并候选可以特定顺序添加到合并候选列表，例如在合并候选列表中在非零MV合并候选之后并且在任何零MV合并候选之前。
合并候选可为常规合并候选或仿射合并候选。例如，第一合并候选可包括至少两个候选控制点MV(CPMV)，并且对称合并候选可包括至少两个对称映射的CPMV，该至少两个对称映射的CPMV分别与第一合并候选的至少两个CPMV对称。可通过至少两个CPMV的对称映射导出至少两个对称映射的CPMV。
在四参数仿射模型的示例中，可存在第一合并候选的第一候选CPMV和第二候选CPMV与对称合并候选的第一对称CPMV和第二对称CPMV的对称映射。例如，四个仿射候选CPMV参数(包括x空间平移和y空间平移、缩放因子和旋转角度)可对称地映射到四个仿射对称CPMV参数(包括负x空间平移和y空间平移、逆缩放因子和负旋转角度)。可基于四个仿射对称CPMV参数导出第一对称CPMV和第二对称CPMV。
在六参数仿射模型的示例中，可存在第一合并候选的第一候选CPMV、第二候选CPMV和第三候选CPMV到对称合并候选的第一对称CPMV、第二对称CPMV和第三对称CPMV的对称映射。例如，六个仿射候选CPMV参数(包括x空间平移和y空间平移、x缩放因子和y缩放因子以及旋转角度x和y旋转角度)可对称地映射到六个仿射对称CPMV参数(包括负x空间平移和负y空间平移、逆x缩放因子和逆y缩放因子以及负x旋转角度和负y旋转角度)。可基于六个仿射对称CPMV参数导出第一对称CPMV、第二对称CPMV和第三对称CPMV。
本文所述的方法可由解码器执行。在一些示例中，本文的方法或对应的方法可由编码器执行。计算机可读介质可包括用于使得一个或多个处理器执行本文所述的方法的指令。一种包括指令的计算机程序产品，当程序由一个或多个处理器执行时，该指令可使得一个或多个处理器执行本文所述的方法。
附图说明
图1A是示出可在其中实现一个或多个所公开的实施方案的示例性通信系统的系统图。
图1B是示出根据实施方案可在图1A所示的通信系统内使用的示例性无线发射/接收单元(WTRU)的系统图。
图1C是示出根据实施方案的可在图1A所示的通信系统内使用的示例性无线电接入网络(RAN)和示例性核心网络(CN)的系统图。
图1D是示出根据实施方案的可在图1A所示的通信系统内使用的另一个示例性RAN和另一个示例性CN的系统图。
图2是示出示例性的基于块的视频解码器的示意图。
图3是示出示例性视频解码器的示意图。
图4是示出可在其中实现各个方面和示例的系统的示例的示意图。
图5是示出空间合并候选的示例性位置的示意图。
图6是示出时间合并候选的运动向量缩放的示例的示意图。
图7A至图7C是示出每个子块包括4参数仿射模型、6参数仿射模型和仿射运动向量场的基于控制点的仿射运动模型的示例的示意图。
图8A和图8B是示出继承的仿射运动预测器的示例性位置和控制点运动向量继承的示例的示意图。
图9是示出用于所构造仿射合并模式的候选位置的示例性位置的示意图。
图10是示出解码端运动向量修正的示例的示意图。
图11A和图11B是示出用于常规运动和仿射运动的对称合并MV候选构造的示例的示意图。
具体实施方式
现在将参考各种附图来描述例示性实施方案的详细描述。尽管本说明书提供了可能的具体实施的详细示例，但应当指出的是，细节旨在为示例性的，并且绝不限制本申请的范围。
图1A是示出在其中一个或多个所公开的实施方案可得以实现的示例性通信系统100的示意图。通信系统100可为向多个无线用户提供诸如语音、数据、视频、消息、广播等内容的多址接入系统。通信系统100可使多个无线用户能够通过系统资源(包括无线带宽)的共享来访问此类内容。例如，通信系统100可采用一个或多个信道接入方法，诸如码分多址接入(CDMA)、时分多址接入(TDMA)、频分多址接入(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块滤波OFDM、滤波器组多载波(FBMC)等。
如图1A所示，通信系统100可包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网(PSTN)108、互联网110和其他网络112，但应当理解，所公开的实施方案设想了任何数量的WTRU、基站、网络和/或网络元件。WTRU102a、102b、102c、102d中的每一者可以是被配置为在无线环境中操作和/或通信的任何类型的设备。作为示例，WTRU 102a、102b、102c、102d(其中任何一个均可被称为“站”和/或“STA”)可被配置为传输和/或接收无线信号，并且可包括用户装备(UE)、移动站、固定或移动用户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型电脑、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴式显示器(HMD)、车辆、无人机、医疗设备和应用(例如，远程手术)、工业设备和应用(例如，在工业和/或自动处理链环境中操作的机器人和/或其他无线设备)、消费电子设备、在商业和/或工业无线网络上操作的设备等。WTRU 102a、102b、102c和102d中的任一者可互换地称为UE。
通信系统100还可包括基站114a和/或基站114b。基站114a、114b中的每一者可为任何类型的设备，其被配置为与WTRU 102a、102b、102c、102d中的至少一者无线对接以促进对一个或多个通信网络(诸如CN106/115、互联网110和/或其他网络112)的访问。作为示例，基站114a、114b可为基站收发台(BTS)、节点B、演进节点B、家庭节点B、家庭演进节点B、gNB、NR节点B、站点控制器、接入点(AP)、无线路由器等。虽然基站114a、114b各自被描绘为单个元件，但应当理解，基站114a、114b可包括任何数量的互连基站和/或网络元件。
基站114a可以是RAN 104/113的一部分，该RAN还可包括其他基站和/或网络元件(未示出)，诸如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。基站114a和/或基站114b可被配置为在一个或多个载波频率(其可被称为小区(未示出))上传输和/或接收无线信号。这些频率可在许可频谱、未许可频谱或许可和未许可频谱的组合中。小区可向特定地理区域提供无线服务的覆盖，该特定地理区域可为相对固定的或可随时间改变。小区可进一步被划分为小区扇区。例如，与基站114a相关联的小区可被划分为三个扇区。因此，在一个实施方案中，基站114a可包括三个收发器，即，小区的每个扇区一个收发器。在一个实施方案中，基站114a可采用多输入多输出(MIMO)技术并且可针对小区的每个扇区利用多个收发器。例如，可使用波束成形在所需的空间方向上传输和/或接收信号。
基站114a、114b可通过空中接口116与WTRU 102a、102b、102c、102d中的一者或多者通信，该空中接口可为任何合适的无线通信链路(例如，射频(RF)、微波、厘米波、微米波、红外(IR)、紫外(UV)、可见光等)。可使用任何合适的无线电接入技术(RAT)来建立空中接口116。
更具体地讲，如上所指出，通信系统100可为多址接入系统，并且可采用一个或多个信道接入方案，诸如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等。例如，RAN 104/113中的基站114a和WTRU 102a、102b、102c可实现诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)之类的无线电技术，其可使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可包括诸如高速分组接入(HSPA)和/或演进的HSPA(HSPA+)之类的通信协议。HSPA可包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在一个实施方案中，基站114a和WTRU 102a、102b、102c可实现诸如演进的UMTS陆地无线电接入(E-UTRA)之类的无线电技术，其可使用长期演进(LTE)和/高级LTE(LTE-A)和/或高级LTE Pro(LTE-A Pro)来建立空中接口116。
在一个实施方案中，基站114a和WTRU 102a、102b、102c可实现无线电技术诸如NR无线电接入，其可使用新无线电(NR)来建立空中接口116。
在一个实施方案中，基站114a和WTRU 102a、102b、102c可实现多种无线电接入技术。例如，基站114a和WTRU 102a、102b、102c可例如使用双连接(DC)原理一起实现LTE无线电接入和NR无线电接入。因此，WTRU 102a、102b、102c所使用的空中接口可由多种类型的无线电接入技术和/或向/从多种类型的基站(例如，eNB和gNB)发送的传输来表征。
在其他实施方案中，基站114a和WTRU 102a、102b、102c可实现诸如IEEE 802.11(即，无线保真(WiFi))、IEEE 802.16(即，全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暂行标准2000(IS-2000)、暂行标准95(IS-95)、暂行标准856(IS-856)、全球移动通信系统(GSM)、GSM增强数据率演进(EDGE)、GSM EDGE(GERAN)等无线电技术。
图1A中的基站114b可为例如无线路由器、家庭节点B、家庭演进节点B或接入点，并且可利用任何合适的RAT来促进诸如商业场所、家庭、车辆、校园、工业设施、空中走廊(例如，供无人机使用)、道路等局部区域中的无线连接。在一个实施方案中，基站114b和WTRU102c、102d可实现诸如IEEE 802.11之类的无线电技术以建立无线局域网(WLAN)。在一个实施方案中，基站114b和WTRU 102c、102d可实现诸如IEEE 802.15之类的无线电技术以建立无线个域网(WPAN)。在又一个实施方案中，基站114b和WTRU 102c、102d可利用基于蜂窝的RAT(例如，WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等)来建立微微小区或毫微微小区。如图1A所示，基站114b可具有与互联网110的直接连接。因此，基站114b可不需要经由CN106/115访问互联网110。
RAN 104/113可与CN 106/115通信，该CN可以是被配置为向WTRU102a、102b、102c、102d中的一者或多者提供语音、数据、应用和/或互联网协议语音技术(VoIP)服务的任何类型的网络。数据可具有不同的服务质量(QoS)要求，诸如不同的吞吐量要求、延迟要求、误差容限要求、可靠性要求、数据吞吐量要求、移动性要求等。CN 106/115可提供呼叫控制、账单服务、基于移动位置的服务、预付费呼叫、互联网连接、视频分发等，和/或执行高级安全功能，诸如用户认证。尽管未在图1A中示出，但是应当理解，RAN 104/113和/或CN 106/115可与采用与RAN 104/113相同的RAT或不同RAT的其他RAN进行直接或间接通信。例如，除了连接到可利用NR无线电技术的RAN 104/113之外，CN 106/115还可与采用GSM、UMTS、CDMA2000、WiMAX、E-UTRA或WiFi无线电技术的另一RAN(未示出)通信。
CN 106/115也可充当WTRU 102a、102b、102c、102d的网关，以访问PSTN 108、互联网110和/或其他网络112。PSTN 108可包括提供普通老式电话服务(POTS)的电路交换电话网络。互联网110可包括使用常见通信协议(诸如传输控制协议(TCP)、用户数据报协议(UDP)和/或TCP/IP互联网协议组中的互联网协议(IP))的互连计算机网络和设备的全球系统。网络112可包括由其他服务提供商拥有和/或操作的有线和/或无线通信网络。例如，网络112可包括连接到一个或多个RAN的另一个CN，其可采用与RAN 104/113相同的RAT或不同的RAT。
通信系统100中的一些或所有WTRU 102a、102b、102c、102d可包括多模式能力(例如，WTRU 102a、102b、102c、102d可包括用于通过不同无线链路与不同无线网络通信的多个收发器)。例如，图1A所示的WTRU102c可被配置为与可采用基于蜂窝的无线电技术的基站114a通信，并且与可采用IEEE 802无线电技术的基站114b通信。
图1B是示出示例性WTRU 102的系统图。如图1B所示，WTRU 102可包括处理器118、收发器120、发射/接收元件122、扬声器/麦克风124、小键盘126、显示器/触摸板128、不可移动存储器130、可移动存储器132、电源134、全球定位系统(GPS)芯片组136和/或其他外围设备138等。应当理解，WTRU 102可包括前述元件的任何子组合，同时保持与实施方案一致。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等。处理器118可执行信号编码、数据处理、功率控制、输入/输出处理和/或任何其他功能，这些其他功能使WTRU 102能够在无线环境中工作。处理器118可耦合到收发器120，该收发器可耦合到发射/接收元件122。虽然图1B将处理器118和收发器120描绘为单独的部件，但是应当理解，处理器118和收发器120可在电子封装或芯片中集成在一起。
发射/接收元件122可被配置为通过空中接口116向基站(例如，基站114a)传输信号或从基站接收信号。例如，在一个实施方案中，发射/接收元件122可以是被配置为传输和/或接收RF信号的天线。在一个实施方案中，发射/接收元件122可以是被配置为传输和/或接收例如IR、UV或可见光信号的发射器/检测器。在又一个实施方案中，发射/接收元件122可被配置为传输和/或接收RF和光信号。应当理解，发射/接收元件122可被配置为传输和/或接收无线信号的任何组合。
尽管发射/接收元件122在图1B中被描绘为单个元件，但是WTRU 102可包括任何数量的发射/接收元件122。更具体地讲，WTRU 102可采用MIMO技术。因此，在一个实施方案中，WTRU 102可包括用于通过空中接口116传输和接收无线信号的两个或更多个发射/接收元件122(例如，多个天线)。
收发器120可被配置为调制将由发射/接收元件122传输的信号并且解调由发射/接收元件122接收的信号。如上所指出，WTRU 102可具有多模式能力。因此，收发器120可包括多个收发器，以便使WTRU 102能够经由多种RAT(诸如NR和IEEE 802.11)进行通信。
WTRU 102的处理器118可耦合到扬声器/麦克风124、小键盘126和/或显示器/触摸板128(例如，液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)并且可从其接收用户输入数据。处理器118还可将用户数据输出到扬声器/麦克风124、小键盘126和/或显示器/触摸板128。此外，处理器118可从任何类型的合适存储器(诸如不可移动存储器130和/或可移动存储器132)访问信息，并且将数据存储在任何类型的合适存储器中。不可移动存储器130可包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其他类型的存储器存储设备。可移动存储器132可包括用户身份模块(SIM)卡、记忆棒、安全数字(SD)存储卡等。在其他实施方案中，处理器118可从未物理上定位在WTRU 102上(诸如，服务器或家用计算机(未示出)上)的存储器访问信息，并且将数据存储在该存储器中。
处理器118可从电源134接收电力，并且可被配置为向WTRU 102中的其他部件分配和/或控制电力。电源134可以是用于为WTRU 102供电的任何合适的设备。例如，电源134可包括一个或多个干电池组(例如，镍镉(NiCd)、镍锌(NiZn)、镍金属氢化物(NiMH)、锂离子(Li-ion)等)、太阳能电池、燃料电池等。
处理器118还可耦合到GPS芯片组136，该GPS芯片组可被配置为提供关于WTRU 102的当前位置的位置信息(例如，经度和纬度)。除了来自GPS芯片组136的信息之外或代替该信息，WTRU 102可通过空中接口116从基站(例如，基站114a、114b)接收位置信息和/或基于从两个或更多个附近基站接收到信号的定时来确定其位置。应当理解，在与实施方案保持一致的同时，该WTRU 102可通过任何合适的位置确定方法来获取位置信息。
处理器118还可耦合到其他外围设备138，该其他外围设备可包括提供附加特征、功能和/或有线或无线连接的一个或多个软件模块和/或硬件模块。例如，外围设备138可包括加速度计、电子指南针、卫星收发器、数字相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发器、免提耳麦、
Figure BDA0003290458810000101
模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、互联网浏览器、虚拟现实和/或增强现实(VR/AR)设备、活动跟踪器等。外围设备138可包括一个或多个传感器，该传感器可为以下一者或多者：陀螺仪、加速度计、霍尔效应传感器、磁力计、方位传感器、接近传感器、温度传感器、时间传感器；地理位置传感器；测高计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物识别传感器和/或湿度传感器。
WTRU 102可包括全双工无线电台，对于该全双工无线电台，一些或所有信号的传输和接收(例如，与用于UL(例如，用于传输)和下行链路(例如，用于接收)的特定子帧相关联)可为并发的和/或同时的。全双工无线电台可包括干扰管理单元，该干扰管理单元用于经由硬件(例如，扼流圈)或经由处理器(例如，单独的处理器(未示出)或经由处理器118)进行的信号处理来减少和/或基本上消除自干扰。在一个实施方案中，WTRU 102可包括全双工无线电台，对于该全双工无线电台，一些或所有信号的发射和接收(例如，与用于UL(例如，用于发射)和下行链路(例如，用于接收)的特定子帧相关联)可为并发的和/或同时的。
图1C是示出根据一个实施方案的RAN 104和CN 106的系统图。如上所述，RAN 104可采用E-UTRA无线电技术通过空中接口116与WTRU102a、102b、102c通信。RAN 104还可与CN106通信。
RAN 104可包括演进节点B 160a、160b、160c，但是应当理解，RAN 104可包括任何数量的演进节点B，同时保持与实施方案一致。演进节点B 160a、160b、160c各自可包括一个或多个收发器以便通过空中接口116与WTRU 102a、102b、102c通信。在一个实施方案中，演进节点B 160a、160b、160c可实现MIMO技术。因此，演进节点B 160a例如可使用多个天线来向WTRU 102a传输无线信号和/或从WTRU 102a接收无线信号。
演进节点B 160a、160b、160c中的每一者可与特定小区(未示出)相关联，并且可被配置为处理无线电资源管理决策、切换决策、UL和/或DL中的用户的调度等。如图1C所示，演进节点B 160a、160b、160c可通过X2接口彼此通信。
图1C所示的CN 106可包括移动性管理实体(MME)162、服务网关(SGW)164和分组数据网络(PDN)网关(或PGW)166。虽然前述元件中的每一者被描绘为CN 106的一部分，但应当理解，这些元件中的任何元件可由除CN运营商之外的实体拥有和/或操作。
MME 162可经由S1接口连接到RAN 104中的演进节点B 162a、162b、162c中的每一者，并且可用作控制节点。例如，MME 162可负责认证WTRU 102a、102b、102c的用户、承载激活/去激活、在WTRU 102a、102b、102c的初始附加期间选择特定服务网关等。MME 162可提供用于在RAN 104和采用其他无线电技术(诸如GSM和/或WCDMA)的其他RAN(未示出)之间进行切换的控制平面功能。
SGW 164可经由S1接口连接到RAN 104中的演进节点B 160a、160b、160c中的每一者。SGW 164通常可向/从WTRU 102a、102b、102c路由和转发用户数据分组。SGW 164可执行其他功能，诸如在演进节点B间切换期间锚定用户平面、当DL数据可用于WTRU 102a、102b、102c时触发寻呼、管理和存储WTRU 102a、102b、102c的上下文等。
SGW 164可连接到PGW 166，该PGW可向WTRU 102a、102b、102c提供对分组交换网络(诸如互联网110)的访问，以促进WTRU 102a、102b、102c和启用IP的设备之间的通信。
CN 106可有利于与其他网络的通信。例如，CN 106可为WTRU 102a、102b、102c提供对电路交换网络(诸如，PSTN 108)的访问，以有利于WTRU 102a、102b、102c与传统传统陆线通信设备之间的通信。例如，CN 106可包括用作CN 106与PSTN 108之间的接口的IP网关(例如，IP多媒体子系统(IMS)服务器)或者可与该IP网关通信。另外，CN 106可向WTRU 102a、102b、102c提供对其他网络112的访问，该其他网络可包括由其他服务提供商拥有和/或运营的其他有线和/或无线网络。
尽管WTRU在图1A至图1D中被描述为无线终端，但是可以设想到，在某些代表性实施方案中，这种终端可(例如，临时或永久)使用与通信网络的有线通信接口。
在代表性实施方案中，其他网络112可为WLAN。
处于基础结构基本服务集(BSS)模式的WLAN可具有用于BSS的接入点(AP)以及与AP相关联的一个或多个站点(STA)。AP可具有至分配系统(DS)或将流量携带至和/或携带流量离开BSS的另一种类型的有线/无线网络的接入或接口。源自BSS外部并通向STA的流量可通过AP到达并且可被传递到STA。源自STA并通向BSS外部的目的地的流量可被发送到AP以被传递到相应目的地。BSS内的STA之间的流量可通过AP发送，例如，其中源STA可向AP发送流量，并且AP可将流量传递到目的地STA。BSS内的STA之间的流量可被视为和/或称为点对点流量。可利用直接链路建立(DLS)在源和目的地STA之间(例如，直接在它们之间)发送点对点流量。在某些代表性实施方案中，DLS可使用802.11e DLS或802.11z隧道DLS(TDLS)。使用独立BSS(IBSS)模式的WLAN可不具有AP，并且IBSS内或使用IBSS的STA(例如，所有STA)可彼此直接通信。IBSS通信模式在本文中有时可称为“ad-hoc”通信模式。
当使用802.11ac基础结构操作模式或相似操作模式时，AP可在固定信道(诸如主信道)上传输信标。主信道可为固定宽度(例如，20MHz宽带宽)或经由信令动态设置的宽度。主信道可为BSS的操作信道，并且可由STA用来建立与AP的连接。在某些代表性实施方案中，可例如在802.11系统中实现载波侦听多路访问/冲突避免(CSMA/CA)。对于CSMA/CA，STA(例如，每个STA)(包括AP)可侦听主信道。如果主信道被特定STA侦听/检测和/或确定为繁忙，则特定STA可退避。一个STA(例如，仅一个站)可在给定BSS中在任何给定时间传输。
高吞吐量(HT)STA可使用40MHz宽的信道进行通信，例如，经由主20MHz信道与相邻或不相邻的20MHz信道的组合以形成40MHz宽的信道。
极高吞吐量(VHT)STA可支持20MHz、40MHz、80MHz和/或160MHz宽的信道。40MHz和/或80MHz信道可通过组合连续的20MHz信道来形成。可通过组合8个连续的20MHz信道，或通过组合两个非连续的80MHz信道(这可被称为80+80配置)来形成160MHz信道。对于80+80配置，在信道编码之后，数据可通过可将数据分成两个流的段解析器。可单独地对每个流进行快速傅里叶逆变换(IFFT)处理和时间域处理。可将这些流映射到两个80MHz信道，并且可通过发射STA来传输数据。在接收STA的接收器处，可颠倒上述用于80+80配置的操作，并且可将组合的数据发送到介质访问控制(MAC)。
802.11af和802.11ah支持低于1GHz的操作模式。相对于802.11n和802.11ac中使用的那些，802.11af和802.11ah中减少了信道操作带宽和载波。802.11af支持电视白空间(TVWS)频谱中的5MHz、10MHz和20MHz带宽，并且802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。根据代表性实施方案，802.11ah可支持仪表类型控制/机器类型通信，诸如宏覆盖区域中的MTC设备。MTC设备可具有某些能力，例如有限的能力，包括支持(例如，仅支持)某些带宽和/或有限的带宽。MTC设备可包括电池寿命高于阈值(例如，以保持非常长的电池寿命)的电池。
可支持多个信道的WLAN系统以及诸如802.11n、802.11ac、802.11af和802.11ah之类的信道带宽包括可被指定为主信道的信道。主信道可具有等于由BSS中的所有STA支持的最大公共操作带宽的带宽。主信道的带宽可由来自在BSS中操作的所有STA的STA(其支持最小带宽操作模式)设置和/或限制。在802.11ah的示例中，对于支持(例如，仅支持)1MHz模式的STA(例如，MTC型设备)，主信道可为1MHz宽，即使AP和BSS中的其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽操作模式。载波侦听和/或网络分配向量(NAV)设置可取决于主信道的状态。如果主信道繁忙，例如，由于STA(仅支持1MHz操作模式)正在向AP传输，即使大多数频段保持空闲并且可能可用，整个可用频段也可被视为繁忙。
在美国，可供802.11ah使用的可用频段为902MHz至928MHz。在韩国，可用频段为917.5MHz至923.5MHz。在日本，可用频段为916.5MHz至927.5MHz。802.11ah可用的总带宽为6MHz至26MHz，具体取决于国家代码。
图1D是示出根据一个实施方案的RAN 113和CN 115的系统图。如上所指出，RAN113可采用NR无线电技术通过空中接口116与WTRU 102a、102b、102c通信。RAN 113还可与CN115通信。
RAN 113可包括gNB 180a、180b、180c，但是应当理解，RAN 113可包括任何数量的gNB，同时保持与实施方案一致。gNB 180a、180b、180c各自可包括一个或多个收发器以便通过空中接口116与WTRU 102a、102b、102c通信。在一个实施方案中，gNB 180a、180b、180c可实现MIMO技术。例如，gNB 180a、108b可利用波束成形来向gNB 180a、180b、180c传输信号和/或从gNB 180a、180b、180c接收信号。因此，gNB 180a例如可使用多个天线来向WTRU102a传输无线信号和/或从WTRU 102a接收无线信号。在一个实施方案中，gNB 180a、180b、180c可实现载波聚合技术。例如，gNB 180a可向WTRU 102a(未示出)传输多个分量载波。这些分量载波的子集可在免许可频谱上，而其余分量载波可在许可频谱上。在一个实施方案中，gNB 180a、180b、180c可实现协作多点(CoMP)技术。例如，WTRU 102a可从gNB 180a和gNB180b(和/或gNB 180c)接收协作传输。
WTRU 102a、102b、102c可使用与可扩展参数集相关联的传输来与gNB 180a、180b、180c通信。例如，OFDM符号间隔和/或OFDM子载波间隔可因不同传输、不同小区和/或无线传输频谱的不同部分而变化。WTRU 102a、102b、102c可使用各种或可扩展长度的子帧或传输时间间隔(TTI)(例如，包含不同数量的OFDM符号和/或持续变化的绝对时间长度)来与gNB180a、180b、180c通信。
gNB 180a、180b、180c可被配置为以独立配置和/或非独立配置与WTRU 102a、102b、102c通信。在独立配置中，WTRU 102a、102b、102c可与gNB 180a、180b、180c通信，同时也不访问其他RAN(例如，诸如演进节点B 160a、160b、160c)。在独立配置中，WTRU 102a、102b、102c可将gNB180a、180b、180c中的一者或多者用作移动性锚定点。在独立配置中，WTRU 102a、102b、102c可在未许可频带中使用信号与gNB 180a、180b、180c通信。在非独立配置中，WTRU 102a、102b、102c可与gNB 180a、180b、180c通信或连接，同时也与其他RAN(诸如，eNode-B160a、160b、160c)通信或连接。例如，WTRU 102a、102b、102c可实现DC原理以基本上同时与一个或多个gNB 180a、180b、180c和一个或多个演进节点B 160a、160b、160c通信。在非独立配置中，演进节点B 160a、160b、160c可用作WTRU 102a、102b、102c的移动性锚点，并且gNB 180a、180b、180c可提供用于服务WTRU 102a、102b、102c的附加覆盖和/或吞吐量。
gNB 180a、180b、180c中的每一者可与特定小区(未示出)相关联，并且可被配置为处理无线电资源管理决策、切换决策、UL和/或DL中的用户的调度、网络切片的支持、双连接、NR和E-UTRA之间的互通、用户平面数据朝向用户平面功能(UPF)184a、184b的路由、控制平面信息朝向接入和移动性管理功能(AMF)182a、182b的路由等。如图1D所示，gNB 180a、180b、180c可通过Xn接口彼此通信。
图1D所示的CN 115可包括至少一个AMF 182a、182b、至少一个UPF184a,184b、至少一个会话管理功能(SMF)183a、183b以及可能的数据网络(DN)185a、185b。虽然前述元件中的每一者被描绘为CN 115的一部分，但是应当理解，这些元件中的任何元件可由除CN运营商之外的实体拥有和/或操作。
AMF 182a、182b可在RAN 113中经由N2接口连接到gNBs 180a、180b、180c中的一者或多者，并且可用作控制节点。例如，AMF 182a、182b可负责认证WTRU 102a、102b、102c的用户、网络切片的支持(例如，具有不同要求的不同PDU会话的处理)、选择特定SMF 183a、183b、注册区域的管理、NAS信令的终止、移动性管理等。AMF 182a、182b可使用网络切片，以便基于WTRU 102a、102b、102c所使用的服务的类型来为WTRU 102a、102b、102c定制CN支持。例如，可针对不同的用例(诸如，依赖超高可靠低延迟(URLLC)接入的服务、依赖增强型移动宽带(eMBB)接入的服务、用于机器类型通信(MTC)接入的服务等)建立不同的网络切片。AMF162可提供用于在RAN 113和采用其他无线电技术(诸如LTE、LTE-A、LTE-A Pro和/或非3GPP接入技术，诸如WiFi)的其他RAN(未示出)之间进行切换的控制平面功能。
SMF 183a、183b可经由N11接口连接到CN 115中的AMF 182a、182b。SMF 183a、183b还可经由N4接口连接到CN 115中的UPF 184a、184b。SMF 183a、183b可选择并控制UPF184a、184b，并且配置通过UPF 184a、184b进行的流量路由。SMF 183a、183b可执行其他功能，诸如管理和分配UE IP地址、管理PDU会话、控制策略实施和QoS、提供下行链路数据通知等。PDU会话类型可以是基于IP的、非基于IP的、基于以太网的等。
UPF 184a、184b可经由N3接口连接到RAN 113中的gNB 180a、180b、180c中的一者或多者，这些gNB可向WTRU 102a、102b、102c提供对分组交换网络(诸如互联网110)的访问，以促进WTRU 102a、102b、102c和启用IP的设备之间的通信。UPF 184、184b可执行其他功能，诸如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、提供移动性锚定等。
CN 115可有利于与其他网络的通信。例如，CN 115可包括用作CN 115与PSTN 108之间的接口的IP网关(例如，IP多媒体子系统(IMS)服务器)或者可与该IP网关通信。另外，CN 115可向WTRU 102a、102b、102c提供对其他网络112的访问，该其他网络可包括由其他服务提供商拥有和/或运营的其他有线和/或无线网络。在一个实施方案中，WTRU 102a、102b、102c可通过UPF 184a、184b经由至UPF 184a、184b的N3接口以及UPF184a、184b与本地数据网络(DN)185a、185b之间的N6接口连接到DN 185a、185b。
鉴于图1A至图1D以及图1A至图1D的对应描述，本文参照以下中的一者或多者描述的功能中的一个或多个功能或全部功能可由一个或多个仿真设备(未示出)执行：WTRU102a-d、基站114a-b、演进节点B 160a-c、MME 162、SGW 164、PGW 166、gNB 180a-c、AMF182a-b、UPF 184a-b、SMF 183a-b、DN 185a-b和/或本文所述的任何其他设备。仿真设备可以是被配置为模仿本文所述的一个或多个或所有功能的一个或多个设备。例如，仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。
仿真设备可被设计为在实验室环境和/或运营商网络环境中实现其他设备的一个或多个测试。例如，该一个或多个仿真设备可执行一个或多个或所有功能，同时被完全或部分地实现和/或部署为有线和/或无线通信网络的一部分，以便测试通信网络内的其他设备。该一个或多个仿真设备可执行一个或多个功能或所有功能，同时临时被实现/部署为有线和/或无线通信网络的一部分。仿真设备可直接耦合到另一个设备以用于测试目的和/或可使用空中无线通信来执行测试。
该一个或多个仿真设备可执行一个或多个(包括所有)功能，同时不被实现/部署为有线和/或无线通信网络的一部分。例如，仿真设备可在测试实验室和/或非部署(例如，测试)有线和/或无线通信网络中的测试场景中使用，以便实现一个或多个部件的测试。该一个或多个仿真设备可为测试设备。经由RF电路(例如，其可包括一个或多个天线)进行的直接RF耦合和/或无线通信可由仿真设备用于传输和/或接收数据。
本申请描述了多个方面，包括工具、特征、示例、模型、方法等。这些方面中的许多方面以特定的方式进行描述，并且至少为了示出个体特征，通常以听起来可能具有限制性的方式来描述。然而，这是为了描述清楚，并不限制这些方面的应用或范围。实际上，所有不同的方面可组合和互换以提供进一步的方面。此外，这些方面也可与较早提交中描述的方面组合和互换。
本申请中描述和设想的方面可以许多不同的形式实现。本文所述的图5至图11可提供一些示例，但也设想了其他示例。图5至图11的讨论并不限制具体实施的广度。这些方面中的至少一个方面总体涉及视频编码和解码，并且至少一个其他方面总体涉及传输生成的或编码的比特流。这些方面和其他方面可被实现为方法、装置、其上存储有用于根据所述方法中的任一方法对视频数据进行编码或解码的指令的计算机可读存储介质，和/或其上存储有根据所述方法中的任一方法生成的比特流的计算机可读存储介质。
在本申请中，术语“重构的”和“解码的”可互换使用，术语“像素”和“样本”可互换使用，术语“图像”、“画面”和“帧”可互换使用。
本文描述了各种方法，并且这些方法中的每种方法都包括用于实现所述方法的一个或多个步骤或动作。除非方法的正确操作需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或使用。另外，在各种示例中，诸如“第一”、“第二”等术语可用于修饰元素、部件、步骤、操作等，诸如“第一解码”和“第二解码”。除非特别要求，否则使用此类术语并不意味着对修改后的操作进行排序。因此，在该示例中，第一解码不需要在第二解码之前执行，并且可例如在第二解码之前、在第二解码器件或在与第二解码重叠的时间段中发生。
本申请中所述的各种方法和其他方面可用于修改视频编码器100和解码器200的模块(例如，解码模块)，如图2和图3所示。此外，本文所公开的主题可应用于例如任何类型、格式或版本的视频编码(无论是在标准中描述的还是在建议中描述的)，无论是预先存在的还是未来开发的，以及任何此类标准和建议的扩展。除非另有指示或技术上排除，否则本申请中所述的方面可单独使用或组合使用。
在本申请所述的示例中使用各种数值，诸如合并列表的最大允许大小为6、4×4亮度子块、4×4色度子块、1/16分数精度、4参数仿射模型、6参数仿射模型等。这些和其他具体值用于描述示例的目的，并且所述方面不限于这些具体值。这些和其他特定值用于描述示例，并且所描述的方面不限于这些特定值。
图2是示出示例性视频编码器的示意图。设想了示例性编码器200的变型，但下文为了清楚起见描述了编码器200，而不描述所有预期的变型。
在编码之前，视频序列可经历预编码处理(201)，例如，将颜色变换应用于输入彩色画面(例如，从RGB 4:4:4到YCbCr 4:2:0的转换)，或执行输入画面分量的重新映射，以便获得对压缩更具弹性的信号分布(例如，使用颜色分量中的一个颜色分量的直方图均衡化)。元数据可与预处理相关联，并且附加到比特流。
在编码器200中，画面由编码器元件编码，如下所述。以例如编码单元(CU)为单位对待编码画面进行分区(202)和处理。例如，使用帧内模式或帧间模式对每个单元进行编码。当单元以帧内模式编码时，其执行帧内预测(260)。在帧间模式中，执行运动估计(275)和补偿(270)。编码器决定(205)帧内模式或帧间模式中的哪一者用于对单元进行编码，并且通过例如预测模式标志来指示帧内/帧间决定。例如，通过从原始图像块减去(210)预测块来计算预测残差。
然后对预测残差进行变换(225)和量化(230)。对量化的变换系数以及运动向量和其他语法元素进行熵编码(245)以输出比特流。编码器可跳过变换，并对未变换的残余信号直接应用量化。编码器可绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编码。
编码器对编码块进行解码以提供用于进一步预测的参考。对量化的变换系数进行去量化(240)和逆变换(250)以解码预测残差。组合(255)经解码的预测残差和预测块，重构图像块。向重构画面应用环路滤波器(265)以执行例如解块/SAO(取样自适应偏移)滤波以减少编码伪影。经滤波的图像存储在参考画面缓冲器(280)中。
图3是示出视频解码器的示例的示意图。在示例性解码器300中，比特流由解码器元件解码，如下所述。视频解码器300一般执行与如图2所述的编码过程相反的解码过程。编码器200一般还执行视频解码作为对视频数据进行编码的一部分。
具体地，解码器的输入包括视频比特流，该视频比特流可由视频编码器200生成。首先对比特流进行熵解码(330)以获得变换系数、运动向量和其他编码信息。画面分区信息指示如何对画面进行分区。因此，解码器可根据经解码的画面划分信息来划分(335)画面。对变换系数进行去量化(340)和逆变换(350)以对预测残差进行解码。组合(355)经解码的预测残差和预测块，重构图像块。可从帧内预测(360)或运动补偿预测(即帧间预测)(375)获得(370)预测块。向重构图像应用环路滤波器(365)。经滤波的图像存储在参考画面缓冲器(380)中。
经解码的画面还可经历解码后处理(385)，例如，逆颜色变换(例如，从YCbCr 4:2:0到RGB 4:4:4的变换)，或逆重新映射，其执行在预编码处理(201)中执行的重映射过程的逆。解码后处理可使用在预编码处理中导出并在比特流中发信号通知的元数据。
图4是示出可在其中实现本文所述的各个方面和示例的系统的示例的示意图。系统400可体现为一种设备，该设备包括下文所述的各种部件并且被配置为执行本文档中所述方面中的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视接收器、个人视频记录系统、连接的家用电器和服务器。系统400的元件可单独地或组合地体现在单个集成电路(IC)、多个IC和/或分立部件中。例如，在至少一个示例中，系统400的处理和编码器/解码器元件分布在多个IC和/或分立部件上。在各种示例中，系统400经由例如通信总线或通过专用输入端口和/或输出端口通信地耦接到一个或多个其他系统或其他电子设备。在各种示例中，系统400被配置为实现本文档中所述的方面中的一个或多个方面。
系统400包括至少一个处理器410，该至少一个处理器被配置为执行加载到其中的用于实现例如本文档中所述的各个方面的指令。处理器410可包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统400包括至少一个存储器420(例如，易失性存储器设备和/或非易失性存储器设备)。系统400包括存储设备440，该存储设备可包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备440可包括内部存储设备、附接的存储设备(包括可拆卸和不可拆卸的存储设备)和/或网络可访问的存储设备。
系统400包括编码器/解码器模块430，该编码器/解码器模块被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块430可包括其自身的处理器和存储器。编码器/解码器模块430表示可被包括在设备中以执行编码功能和/或解码功能的模块。众所周知，设备可包括编码模块和解码模块中的一者或两者。另外，编码器/解码器模块430可被实现为系统400的独立元件，或可被结合在处理器410内作为本领域技术人员已知的硬件和软件的组合。
要加载到处理器410或编码器/解码器430上以执行本文档中所述的各个方面的程序代码可存储在存储设备440中，并且随后加载到存储器420上以供处理器410执行。根据各种示例，处理器410、存储器420、存储设备440和编码器/解码器模块430中的一者或多者可在本文档中所述的过程的执行期间存储各种项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、解码视频或解码视频的各部分、比特流、矩阵、变量以及来自等式、公式、操作和操作逻辑的处理的中间结果或最终结果。
在一些示例中，处理器410和/或编码器/解码器模块430内部的存储器用于存储指令并提供用于在编码或解码期间需要的处理的工作存储器。然而，在其他示例中，处理设备外部的存储器(例如，处理设备可为处理器410或编码器/解码器模块430)用于这些功能中的一个或多个功能。外部存储器可为存储器420和/或存储设备440，例如动态易失性存储器和/或非易失性闪存存储器。在若干示例中，外部非易失性闪存存储器用于存储例如电视机的操作系统。在至少一个示例中，快速外部动态易失性存储器(诸如RAM)用作用于视频编码和解码操作的工作存储器。
如块445所示，可通过各种输入设备提供对系统400的元件的输入。此类输入设备包括但不限于：(i)射频(RF)部分，其接收例如由广播器通过空中传输的RF信号；(ii)分量(COMP)输入端子(或一组COMP输入端子)；(iii)通用串行总线(USB)输入端子；和/或(iv)高清晰度多媒体接口(HDMI)输入端子。图4中未示出的其他示例包括复合视频。
在各种示例中，块445的输入设备具有如本领域中已知的相关联的相应的输入处理元件。例如，RF部分可与适用于以下各项的元件相关联：(i)选择所需频率(也称为选择信号，或将信号频带限制为频带)；(ii)下变频所选择的信号；(iii)再次频带限制为较窄频带以选择(例如)在某些示例中可称为信道的信号频带；(iv)解调经下变频的和经频带限制的信号；(v)执行纠错；以及(vi)解复用以选择所需的数据分组流。各种示例的RF部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。Rf部分可包括执行这些功能中的各种功能的调谐器，这些功能包括(例如)将所接收的信号下变频到较低频率(例如，中频或近基带频率)或下变频到基带。在一个机顶盒示例中，RF部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质传输的RF信号，并且通过滤波、下变频和再次滤波到期望频带来执行频率选择。各种示例重新布置上述(和其他)元素的顺序，移除这些元素中的一些元素，和/或添加执行类似或不同功能的其他元素。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模拟-数字转换器。在各种示例中，RF部分包括天线。
另外，USB和/或HDMI端子可包括用于通过USB和/或HDMI连接将系统400连接到其他电子设备的相应的接口处理器。应当理解，输入处理(例如，Reed-Solomon纠错)的各个方面可根据需要在例如单独的输入处理IC内或在处理器410内实现。类似地，USB或HDMI接口处理的各方面可根据需要在单独的接口IC内或在处理器410内实现。经解调、经纠错和经解复用的流被提供给各种处理元件，包括例如处理器410和编码器/解码器430，这些处理元件与存储器和存储元件结合操作，以根据需要处理数据流以便在输出设备上呈现。
系统400的各种元件可设置在集成壳体内。在集成壳体内，各种元件可使用合适的连接布置425(例如，本领域已知的内部总线，包括芯片间(I2C)总线、布线和印刷电路板)互连并在这些元件之间传输数据。
系统400包括通信接口450，该通信接口能够经由通信信道460与其他设备通信。通信接口450可包括但不限于收发器，该收发器被配置为通过通信信道460传输和接收数据。通信接口450可包括但不限于调制解调器或网卡，并且通信信道460可例如在有线和/或无线介质内实现。
在各种示例中，使用无线网络诸如Wi-Fi网络例如IEEE 802.11(IEEE是指电气和电子工程师协会)将数据流式传输或以其他方式提供给系统400。这些示例的Wi-Fi信号通过适于Wi-Fi通信的通信信道460和通信接口450来接收。这些示例的通信信道460通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的接入，以允许流式应用和其他跨顶通信。其他示例使用机顶盒向系统400提供流式数据，该机顶盒通过输入块445的HDMI连接来递送数据。再一些示例使用输入块445的RF连接来向系统400提供流式数据。如上所述，各种示例以非流式方式提供数据。另外，各种示例使用Wi-Fi之外的无线网络，例如蜂窝网络或蓝牙网络。
系统400可向各种输出设备(包括显示器475、扬声器485和其他外围设备495)提供输出信号。各种示例的显示器475包括例如触摸屏显示器、有机发光二极管(OLED)显示器、曲面显示器和/或可折叠显示器中的一者或多者。显示器475可用于电视机、平板电脑、膝上型电脑、移动电话(移动电话)或其他设备。显示器475也可与其他部件(例如，如在智能电话中)集成，也可为单独的(例如，膝上型电脑的外部监视器)。在示例的各种示例中，其他外围设备495包括独立数字视频光盘(或数字通用光盘)(DVR，对于这两个术语)、盘播放器、立体声系统和/或照明系统中的一者或多者。各种示例使用一个或多个外围设备495，该一个或多个外围设备提供基于系统400的输出的功能。例如，盘播放器执行播放系统400的输出的功能。
在各种示例中，使用诸如AV.Link、消费电子控制(CEC)或其他能够在有或无用户干预的情况下进行设备到设备控制的通信协议的信令在系统400与显示器475、扬声器485或其他外围设备495之间传送控制信号。输出设备可通过相应的接口470、480和490经由专用连接通信地耦接到系统400。另选地，输出设备可使用通信信道460经由通信接口450连接到系统400。显示器475和扬声器485可与电子设备(例如电视)中的系统400的其他部件集成在单个单元中。在各种示例中，显示接口470包括显示驱动器，诸如例如时序控制器(T Con)芯片。
另选地，如果输入445的RF部分是单独的机顶盒的一部分，则显示器475和扬声器485可与其他部件中的一个或多个部件分开。在显示器475和扬声器485为外部部件的各种示例中，输出信号可经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)来提供。
这些示例可通过由处理器410实现的计算机软件或通过硬件或通过硬件和软件的组合来执行。作为非限制性示例，这些示例可由一个或多个集成电路来实现。存储器420可为适合技术环境的任何类型，并且作为非限制性示例，可使用任何适当的数据存储技术来实现，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。处理器410可为适合技术环境的任何类型，并且作为非限制性示例，可涵盖微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一者或多者。
各种具体实施涉及解码。如本申请中所用，“解码”可涵盖例如对所接收的编码序列执行的过程的全部或部分，以便产生适于显示的最终输出。在各种示例中，此类过程包括通常由解码器执行的过程中的一个或多个过程，例如熵解码、逆量化、逆变换和差分解码。在各种示例中，此类过程还包括或另选地包括由本申请中描述的各种具体实施的解码器执行的过程，例如：执行对称合并模式MV解码；生成合并候选列表；解码用于运动补偿预测(MCP)的运动向量(MV)；生成用于常规帧间预测和仿射帧间预测的对称合并候选；生成基于历史的MVP(HMVP)合并候选；执行双预测MV的MV修正搜索(例如，执行解码端运动向量修正(DMVR)；利用查找表(LUT)来求解仿射模型参数值；和/或解码MVP和MV差(MVD)的MVP列表的索引等。
作为另外的示例，在一个示例中，“解码”仅指熵解码，在另一示例中，“解码”仅指差分解码，并且在另一示例中，“解码”指熵解码和差分解码的组合。短语“解码过程”是具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。
各种具体实施涉及编码。以与上面关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可涵盖例如对输入视频序列执行以便产生编码比特流的全部或部分过程。在各种示例中，此类过程包括通常由编码器执行的过程中的一个或多个过程，例如分区、差分编码、变换、量化和熵编码。在各种示例中，此类过程还包括或另选地包括由本申请中描述的各种具体实施的解码器执行的过程，例如：执行对称合并模式MV解码；生成合并候选列表；解码用于运动补偿预测(MCP)的运动向量(MV)；生成用于常规帧间预测和仿射帧间预测的对称合并候选；生成基于历史的MVP(HMVP)合并候选；执行双预测MV的MV修正搜索；利用查找表(LUT)来求解仿射模型参数值；和/或解码MVP和MV差(MVD)的MVP列表的索引等。
作为另外的示例，在一个示例中，“解码”仅指熵解码，在另一示例中，“解码”仅指差分解码，并且在另一示例中，“解码”指差分解码和熵解码的组合。短语“编码过程”是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。
需注意，如本文所用的语法元素，例如关于合并模式的编码语法(例如，merge_flag和merge_index)、关于仿射合并模式的编码语法(例如，merge_subblock_flag和/或merge_subblock_index)等为描述性术语。因此，它们不排除使用其他语法元素名称。
当附图以流程图的形式呈现时，应当理解，附图还提供了对应装置的框图。类似地，当附图以框图的形式呈现时，应当理解，附图还提供了对应的方法/过程的流程图。
各种示例涉及率失真优化。具体地，在编码过程期间，通常考虑率和失真之间的平衡或权衡，这往往考虑到计算复杂性的约束。率失真优化通常表述为使率失真函数最小化，该率失真函数是率和失真的加权和。存在不同的方法来解决率失真优化问题。例如，这些方法可基于对所有编码选项(包括所有考虑的模式或编码参数值)的广泛测试，并在编码和解码之后对其编码成本和重构信号的相关失真进行完整评估。还可使用更快的方法来节省编码复杂性，特别是基于预测或预测残差信号而不是重构的残差信号来计算近似失真。也可使用这两种方法的混合，诸如通过针对可能的编码选项中的仅一些编码选项使用近似失真，而针对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地，许多方法采用多种技术中的任一种技术来执行优化，但优化不一定是编码成本和相关失真两者的完整评估。
本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，所讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。设备可在例如适当的硬件、软件和固件中实现。这些方法可在例如处理器中实现，该处理器通常指处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、手机、便携式/个人数字助理(“PDA”)以及便于最终用户之间信息通信的其他设备。
对“一个示例”或“示例”或“一个具体实施”或“具体实施”以及它们的其他变型的引用意指结合该示例描述的特定特征、结构、特性等包括在至少一个示例中。因此，在整个本申请的各个地方出现的短语“在一个示例中”或“在示例中”或“在一个具体实施中”或“在具体实施中”以及任何其他变型不一定都指同一示例。
另外，本申请可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。获得可包括接收、检索、构造、生成和/或确定。
此外，本申请可涉及“访问”各种信息。访问信息可包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。
另外，本申请可涉及“接收”各种信息。与“访问”一样，接收是广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器中)中的一者或多者。此外，在诸如例如存储信息、处理信息、传输信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式涉及“接收”。
应当理解，例如，在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下，使用以下“/”、“和/或”和“至少一者”中的任一者旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或选择两个选项(A和B)。作为另一个示例，在“A、B和/或C”和“A、B和C中的至少一者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或仅选择第三列出的选项(C)，或者仅选择第一列出的选项和第二列出的选项(A和B)，或者仅选择第一列出的选项和第三列出的选项(A和C)，或者仅选择第二列出的选项和第三列出的选项(B和C)，或者选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。
另外，如本文所用，“信号”一词是指(除了别的以外)向对应解码器指示某物。编码器信号可包括例如合并候选列表的大小、合并MV预测候选列表的编码合并候选索引等。这样，在一个示例中，在编码端和解码端均使用相同的参数。因此，例如，编码器可向解码器传输(显式信令)特定参数，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他参数，则可在不传输(隐式信令)的情况下使用信令，以简单地允许解码器知道和选择特定参数。通过避免传输任何实际函数，在各种示例中实现了比特节省。应当理解，信令可以多种方式实现。例如，在各种示例中，使用一个或多个语法元素、标志等向对应的解码器发信号通知信息。虽然前面涉及“信号”一词的动词形式，但“信号”一词在本文中也可用作名词。
对于本领域的普通技术人员将显而易见的是，具体实施可产生格式化为携带例如可存储或可传输的信息的各种信号。该信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，信号可格式化为携带所述示例的比特流。此类信号可格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对数据流进行编码并且使用经编码的数据流调制载体。信号携带的信息可为例如模拟或数字信息。如已知的，信号可通过多种不同的有线或无线链路传输。信号可存储在处理器可读介质上。
本文描述了许多示例。示例的特征可跨各种权利要求类别和类型单独或以任何组合提供。此外，示例可包括在本文跨各种权利要求类别和类型单独或以任何组合描述的特征、设备或方面中的一者或多者。
视频编码系统可用于压缩数字视频信号，这可减少视频信号的存储需要和/或传输带宽。视频编码系统可包括基于块的、基于小波的和/或基于对象的系统。
基于块的混合编码架构可将画面间和画面内预测和变换编码与熵编码组合。可实现一个或多个编码方面(例如，为了编码效率)，包括例如以下各项中的一者或多者：(i)编码结构；(ii)帧内预测；(iii)帧间预测、变换、量化和系数编码；(iv)环路滤波器中；和/或(v)屏幕内容编码。
编码结构可例如使用多类型树块分区(诸如四叉树、二叉树和三叉树分区)来实现。
帧内预测可例如使用65个角度帧内预测方向来实现，例如包括广角预测和/或线性模型(LM)色度模式中的一者或多者。
帧间预测可例如使用以下各项中的一者或多者来实现：仿射运动模型、子块时间运动向量预测(SbTMVP)、自适应运动向量精度、解码端运动向量修正(DMVR)、三角形分区、组合帧内和帧间预测(CIIP)、具有运动向量差的合并模式(MMVD)、双向光流(BDOF)和/或双预测加权平均(BPWA)。
变换、量化和系数编码可例如使用以下各项中的一者或多者来实现：具有离散余弦变换(DCT)2、离散正弦变换(DST)7和DCT8的多种变换方式选择；最大量化参数(QP)从51增加到63的相关量化；和/或经修改的变换系数编码。
环路滤波器可例如使用广义自适应环路滤波器(GALF)来实现。屏幕内容编码可例如使用帧内块复制(IBC)来实现。360度视频编码可例如使用水平环绕运动补偿来实现。
例如，可实现不同的MV编码模式(例如，合并模式和高级运动向量预测(AMVP)模式)，以对用于运动补偿预测(MCP)的运动向量(MV)进行编码。在合并模式下，可收集来自相邻PU(例如，空间和/或时间相邻PU)的编码的MV以创建合并MV候选列表。列表的索引可被编码和/或传输到解码器。在AMVP模式下，来自相邻PU的候选MV可用作MV预测器(MVP)，并且可对额外的MV差(MVD)进行编码。
例如，对于允许双向预测的画面，可假设并利用运动轨迹的连续性(例如，为了编码效率)。例如，对称MVD映射可对用于前向预测的MVD进行编码，并从前向预测(例如，经由对称映射)导出用于后向预测的MVD。例如，可使用对称MVD映射(例如，在DMVR中)来执行双预测MV的MV修正搜索(例如，在解码端)。
对称映射可用于合并模式MV编码。可收集或构造合并模式MV候选。例如，合并候选可包括以下各项中的一者或多者：来自空间相邻CU的经编码的MV、来自时间并置CU的经编码的MV、来自空间相邻CU的所构造的MV(例如，对于仿射运动模式)、来自先前编码的CU的MV、来自现有合并候选列表的顶部候选的逐对平均MV、所构造的对称双向预测(bi-pred)MV和零MV。
对称双预测(bi-pred)MV可由合并候选列表中的可用(例如，现有)候选构造而成。例如，当对允许双向预测的画面进行编码时，可利用运动的连续性，这涉及来自当前画面前后的参考画面的运动补偿预测(MCP)。例如，当对允许双向预测的画面进行编码时，可用MV合并候选可在任一方向上对称地扩展/映射(例如，在参考画面之间向后或向前)。所构造的对称bi-pred合并候选可(例如，在合并候选列表中)用作MV合并候选以供编码器或解码器从中进行选择。例如，如果运动连续性保持，则可选择对称bi-pred MV候选(例如，编码为当前PU的MV)。例如，解码器可重复由编码器实现的对称映射构造，以获得编码MV。例如，MV合并候选列表的编码索引可被提供给解码器并由解码器使用，以生成合并候选列表和/或编码MV。例如，通过构造对称bi-pred Mv并将其添加到合并候选列表，可在不产生编码比特成本的情况下提高编码效率。
本文所述的方法可由解码器执行。在一些示例中，本文的方法或对应的方法可由编码器执行。计算机可读介质可包括用于使得一个或多个处理器执行本文所述的方法的指令。一种包括指令的计算机程序产品，当程序由一个或多个处理器执行时，该指令可使得一个或多个处理器执行本文所述的方法。
可执行合并模式MV编码(例如，对于编码块(CB)或预测单元(PU))。例如，CB或PU的MV可以合并模式或AMVP模式编码。在合并模式下，用于相邻PU的编码的MV可被收集作为合并候选列表中的MV候选(例如，以对当前PU进行编码)。候选列表的索引可被编码并传输到解码器。解码器可再现MV候选(例如，基于编码索引)，例如以用于PU的MCP。在AMVP模式下，相邻编码的MV可用作MVP(例如，在AMVP候选列表(AMVPCL)中。编码器可编码(例如，对于解码器)MVP列表的索引和(例如，剩余的)MV差(MVD)。
合并模式可用于基于常规平移运动模型的MCP和/或用于基于仿射运动模型的MCP。
可执行常规帧间预测的合并模式。在常规帧间预测合并模式下(例如，基于非仿射平移运动模型的MCP)，可例如使用以下类型的候选中的一个或多个候选来构造合并候选列表(例如，按顺序)：来自空间相邻编码单元(CU)的空间MVP、来自并置的CU的时间MVP、来自先进先出(FIFO)表的基于历史的MVP、逐对平均MVP、对称bi-pred MV和/或零MV。
可例如在片状结构头中发信号通知合并列表的大小。合并列表可具有最大大小(例如，最大候选数)。在一个示例中，合并列表的最大大小可为例如六个。其他示例可具有不同的最大值，也可不具有最大候选数。例如，对于在合并模式下编码的(例如，每个)CU，可对最佳合并候选的索引进行编码。不同类别的候选合并可具有不同的生成程序。
合并候选可包括空间候选。可导出空间合并候选。在一个示例中，可在位于图5所示位置的候选中选择(例如，最多四个)合并候选。
图5是示出空间合并候选的示例性位置的示意图。导出顺序可为例如A1、B1、B0、A0和B2。例如，当(例如，仅当)位置A1、B1、B0、A0的CU未使用和/或经帧内编码时，可考虑位置B2。例如，当位置A1、B1、B0、A0的CU属于另一个片或图块或以其他方式不可用时，可不使用位置A1、B1、B0、A0的一个或多个CU。例如，如果位置A1、B1、B0、A0的一个或多个CU可用但经帧内编码，则位置A1、B1、B0、A0的CU中的一个或多个CU可能不会针对当前CU的合并模式提供MV候选。例如，在添加第一候选(例如，在位置A1处)之后，候选的添加可能受到冗余检查。冗余检查可移除(例如，从合并候选列表中)具有相同运动信息的冗余候选。冗余检查可考虑所选择的候选对(例如，以降低计算复杂度)。
合并候选可包括时间候选。在一个示例中，可将(例如，仅一个)时间MVP(TMVP)候选添加到合并候选列表。可导出时间合并候选。可例如基于属于并置参考画面的协同定位的CU导出缩放的运动向量(例如，对于时间合并候选)。可例如通过显式信令(例如，在片状结构头中)指示要用于导出协同定位的CU的参考画面列表。例如，如图6中的虚线所示，可获得时间合并候选的缩放运动向量。
图6是示出时间合并候选的运动向量缩放的示例的示意图。例如，可基于协同定位的CU的运动向量，例如使用POC(画面顺序计数)距离tb和td来缩放时间合并候选的缩放运动向量。POC距离tb可指示当前画面与当前画面的参考画面之间的POC差。POC距离td可指示并置的画面与协同定位的画面的参考画面之间的POC差。时间合并候选的参考画面索引可被设置为等于零。可例如在并置的中心候选CU与并置的右下CU之间选择时间候选的位置。
合并候选可包括基于历史的合并候选。基于历史的MVP(HMVP)合并候选可被添加到合并候选列表中，例如在空间MVP和TMVP合并候选之后。先前编码的块的运动信息可存储在表中和/或用作当前CU的MVP。先前编码的块可来自，也可不来自紧邻的CU。可例如在编码/解码过程期间维护具有多个HMVP候选的表。例如，当(例如，首先)遇到不同的编码树单元(CTU)行时，可重置表(例如，通过清空表)。例如，如果(例如，当)存在非子块画面间编码CU(例如，对于仿射模式)，则可将运动信息添加到表的最后一个条目(例如，作为新的HMVP候选)。
HMVP表大小S可限于最大表条目数。在一个示例中，HMVP表大小S可被设置为6，这可指示可向表中添加至多6个HMVP候选。例如，当将(例如，新的)运动候选插入表中时，可使用受约束的先进先出(FIFO)规则。可以应用冗余检查来确定表中是否存在相同的HMVP。可从表中移除相同的(例如，冗余的)HMVP。例如，在候选被移除时，HMVP候选可向前移动。
HMVP候选(例如，在HMVP表中)可用于合并候选列表构造过程。例如，可检查HMVP候选(例如，在表中)(例如，按顺序)，以确定HMVP候选是否应成为合并候选。HMVP候选可插入合并候选列表中，例如，在TMVP候选之后。例如，可应用冗余检查来例如相对于空间或时间合并候选，确定HMVP候选是否是冗余的。在一个示例中，冗余检查操作数可减少。
合并候选可包括逐对平均合并候选。例如，可通过对可用(例如，现有)合并候选列表中的预定义候选对求平均来生成逐对平均候选。预定义对可被定义为例如{(0,1),(0,2),(1,2),(0,3),(1,3),(2,3)}。这些数字可表示合并候选列表的合并索引。例如，可针对每个参考列表分别计算平均运动向量。例如，即使当运动向量指向不同的参考画面时，也可对一个参考列表中可用的两个(例如，全部两个)运动向量求平均。如果仅有一个运动向量可用，则可直接使用该运动向量。如果没有运动向量可用，则列表可能无效。
合并候选可包括对称双预测运动向量。下面更详细地讨论对称bi-pred运动向量的构造。
合并候选可包括零个MVP。在将对称bi-pred Mv合并候选添加到合并列表之后，合并列表可能不完整。可在合并候选列表末尾插入零个MVP，例如，最多至最大数目的合并候选。
可执行仿射运动补偿预测。例如，可将基于块的仿射变换运动补偿预测(MCP)应用于多种运动，例如放大/缩小、旋转、透视运动和其他不常规运动(如本文所述)。
图7A至图7C是示出每个子块包括4参数仿射模型、6参数仿射模型和仿射运动向量场(MVF)的基于控制点的仿射运动模型的示例的示意图。块的仿射运动场可由两个控制点(例如，4参数)或三个控制点(例如，6参数)运动向量的运动信息来描述。
对于4参数仿射运动模型(例如，如图7A所示)，可例如使用等式1来导出块中的样本位置(x,y)处的运动向量：
Figure BDA0003290458810000321
对于6参数仿射运动模型(例如，如图7B所示)，可例如使用等式2来导出块中的样本位置(x,y)处的运动向量：
Figure BDA0003290458810000322
参考图7A和图7B以及参考等式1和等式2，左上角控制点v0的运动向量可由(mv0x,mv0y)指示。右上角控制点v1的运动向量可由(mv1x,mv1y)指示。左下角控制点v2的运动向量可由(mv2x,mv2y)指示。
例如，可应用基于块的仿射变换预测来简化运动补偿预测。可计算子块的中心样本的运动向量，以导出4×4亮度子块的运动向量。在一个示例中，如图7C所示，可例如根据等式1和/或等式2计算每个子块的中心样本的运动向量以导出每个4×4亮度子块的运动向量。运动向量可四舍五入到1/16分数精度。例如，可应用运动补偿内插滤波器，以使用导出的运动向量生成的(例如，每个)子块的预测。例如，色度分量的子块大小可被设置为4×4。4×4色度子块的MV可被计算为例如四个对应的4×4亮度子块的MV的平均值。
例如，可存在多个仿射运动帧间预测模式(例如，包括仿射合并模式和仿射AMVP模式)，例如类似于多个平移运动帧间预测模式。
可执行用于仿射预测的合并模式。仿射合并模式可应用于例如宽度和高度大于或等于8的CU。在仿射合并模式下，可例如基于空间相邻CU的运动信息来生成当前CU的控制点MV(CPMV)。CPMVP候选数可能会受到限制(例如，限制到最大候选数)。在一个示例中，可存在一个或多个(例如，至多五个)CPMVP候选。可发信号通知索引(例如，由编码器向解码器)以指示要用于当前CU的CPMVP候选。仿射合并候选列表可包括以下类型的CPMV候选中的一者或多者：可从相邻CU的CPMV外推的继承的仿射合并候选；可使用相邻CU的平移MV导出的所构造的仿射合并候选CPMVP；可通过现有仿射合并候选的对称映射导出的所构造的对称仿射合并候选；和/或零MV。
继承的仿射合并候选可用于仿射预测。继承的仿射合并候选的数量可能是有限的。在一个示例中，在仿射合并候选列表中最多可以有两个继承的仿射候选。例如，可从相邻块的仿射运动模型(例如，一个来自左相邻CU并且一个来自上相邻CU)导出继承的仿射候选。
图8A和图8B是示出继承的仿射运动预测器的示例性位置和控制点运动向量继承的示例的示意图。图8A示出了示例性候选块。在一个示例中(例如，对于左预测器)，扫描顺序可为A0至A1。在一个示例中(例如，对于上述预测器)，扫描顺序可为B0至B1至B2。在一个示例中，可选择来自每一侧的第一继承候选。不能在两个继承候选之间执行剪枝检查。在一个示例中(例如，当识别出相邻仿射CU时)，可使用例如相邻仿射CU的控制点运动向量来导出当前CU的仿射合并列表中的CPMVP候选。在一个示例中(例如，当如图8B所示，在仿射模式下对相邻左下块A进行编码时)，可获得(例如，包含块A的CU的左上角、右上角和左下角的)运动向量v2、v3和v4。例如，如果使用4参数仿射模型对块A进行编码，则可例如根据v2和v3计算当前CU的两个CPMV。例如，如果使用6参数仿射模型对块A进行编码，则可例如根据v2、v3和v4、计算当前CU的三个CPMV。
所构造的仿射候选可用于仿射预测。仿射候选可例如通过组合来自(例如，每个)控制点的相邻平移运动信息来构造。
图9是示出用于所构造仿射合并模式的候选位置的示例性位置的示意图。可从指定的空间邻居和时间邻居导出控制点的运动信息(例如，由图9中的示例示出)。CPMVk(k＝1,2,3,4)可表示第k个控制点。在一个示例中(例如，对于CPMV1)，可按顺序检查块的可用性(例如，块B2然后B3然后A2)。可使用第一可用块的MV。在一个示例中(例如，对于CPMV2)，可按顺序检查块的可用性(例如，块B1然后B0)。在一个示例中(例如，对于CPMV3)，可按顺序检查块的可用性(例如，块A1然后A0)。例如，如果TMVP可用，则TMVP可用作CPMV4。
例如，在获得四个控制点的MV之后，可基于运动信息来构造仿射合并候选。控制点MV的组合可用于构造以下各项(例如，按顺序)：{CPMV1,CPMV2,CPMV3}、{CPMV1,CPMV2,CPMV4}、{CPMV1,CPMV3,CPMV4}、{CPMV2,CPMV3,CPMV4}、{CPMV1,CPMV2}、{CPMV1,CPMV3}
三个CPMV的组合可构造6参数仿射合并候选。两个CPMV的组合可构造4参数仿射合并候选。例如，如果控制点的参考索引不同，则可丢弃控制点MV的相关组合，例如以避免运动缩放过程。
所构造的对称仿射合并候选可用于仿射预测。所构造的对称仿射合并候选可通过现有仿射合并候选的对称映射导出。下文更详细地讨论所构造的对称仿射合并候选。
零MV可用于仿射预测。例如，如果列表仍未满，则例如在检查其他构造的仿射合并候选(诸如构造的对称仿射合并候选)之后，在仿射合并候选列表末尾插入零MV。
可执行双预测的对称MV差(MVD)。例如，由于双向预测中的运动轨迹的连续性，前向参考画面和后向参考画面中的运动向量可以是对称的。对称运动向量差(MVD)可包括在双预测中使用运动轨迹的连续性的帧间编码模式。在对称MVD模式下，参考画面列表1的MVD可与列表0的MVD对称。在一个示例中，(例如，仅)可发信号通知参考画面列表0的MVD(例如，为了编码效率)。可例如使用等式3导出在对称MVD模式下针对当前画面编码的MV：
Figure BDA0003290458810000341
等式3中的下标可指示参考列表0或1。方向可由x和y指示(例如，x可指示水平方向，并且y可指示竖直方向)。
例如，当以下任一情况为真时，对称MVD模式可用于双向预测：(i)参考列表0包含前向参考画面并且参考列表1包含后向参考画面；和/或(ii)参考列表0包含后向参考画面，并且参考列表1包含前向参考画面。
在一个示例中，例如，在对称MVD模式下，可不发信号通知参考列表0和参考列表1的参考画面索引。例如，可在对称MVD模式下导出参考列表0和参考列表1的参考画面索引。
在一个示例中(例如，如果参考列表0包含前向参考画面并且参考列表1包含后向参考画面)，列表0中的参考画面索引可被设置为相对于当前画面最接近的前向参考画面，并且列表1的参考画面索引可被设置为相对于当前画面最接近的后向参考画面。在一个示例中(例如，如果参考列表0包含后向参考画面并且参考列表1包含前向参考画面)，列表0中的参考画面索引可被设置为相对于当前画面最接近的后向参考画面，并且列表1的参考画面索引可被设置为相对于当前画面最接近的前向参考画面。
对称MVD可减少信令开销和/或编码复杂性。例如，对称MVD模式可避免发信号通知两个参考画面列表的参考画面索引。对称MVD模式可(例如，仅)发信号通知一个列表(例如，列表-0)的一组MVD。
可执行解码端运动向量修正(DMVR)。可例如应用基于双侧匹配(BM)的解码端运动向量修正来提高合并模式的MV的准确性。例如，在双预测操作中，可在参考画面列表L0和/或参考画面列表L1中的初始MV周围搜索经修正的MV。BM可计算参考画面列表L0和列表L1中的两个候选块之间的失真。
图10是示出解码端运动向量修正的示例的示意图。如图10所示，可例如基于初始MV周围的每个MV候选来计算块1004和1006之间的绝对差和(SAD)。具有最低SAD的MV候选可成为经修正的MV和/或可用于生成双预测信号。
经修正的MV(例如，由DMVR过程导出)可用于生成帧间预测样本和/或可用于时间运动向量预测以进行未来画面编码。原始MV可用于解块过程和/或可用于空间运动向量预测以进行未来CU编码。
如图10所示，搜索点可围绕初始MV。MV偏移可遵循MV差镜像(例如，对称)规则。可例如根据等式4，通过DMVR检查点(例如，由候选MV对(MV0,MV1)表示)：
Figure BDA0003290458810000351
MVoffset可表示在参考画面中的一个参考画面中，初始MV与经修正的MV之间的修正偏移量。修正搜索范围可为例如来自初始MV的两个整数亮度样本。例如，可通过使用具有早期终止触发的快速搜索方法来降低搜索复杂性。
可针对PU(例如，允许双向预测)构造合并模式MV候选。可例如经由(例如，现有)候选MV从一个方向到另一方向(例如，从前向参考画面到后向参考画面，反之亦然)的对称映射来构造合并模式MV候选。例如，可针对常规帧间预测合并模式和/或针对仿射预测合并模式构造合并模式MV候选。例如，如果运动轨迹是跨视频帧连续的，则可使用经由对称映射的对称MV候选构造。
图11A是示出用于常规运动的对称合并MV候选构造的示例的示意图。在一个示例中(例如，如图11所示)，原始合并MV候选(MVx0,MVy0)可使用列表0中的参考画面。另一参考画面列表1中的MV的对称映射可从原始合并MV候选(MVx0,MVy0)导出。导出的对称映射MV候选可为(MVx1,MVy1)。短箭头线中的MV可指示MV量值。长箭头线可示出跨画面(例如，从列表0中的参考画面到当前画面和/或从列表1中的当前画面到参考画面)的运动轨迹。τ0、τ1可分别表示列表0中的参考画面与当前画面之间或当前画面与列表1中的参考画面之间的时间距离(例如，POC距离)。在一个示例中，平移运动向量MV0和MV1(例如，短箭头线)可指示对称的平移运动向量(例如，MV1＝-MV0)。
可构造对称合并候选(例如，由可用的合并候选)以用于常规帧间预测。合并候选列表(例如，可用的合并候选列表)可包括例如以下各项中的一者或多者：空间邻近MV、时间并置MV、历史MVP、逐对平均MV和/或零MV。在示例中，一个或多个对称bi-pred MV候选可位于以下位置，例如：(i)非零MV之后且零MV之前；(ii)历史MVP之后且逐对平均MV之前；和/或(iii)时间并置MV之后且历史MVP之前。对称bi-pred MV候选的位置可取决于例如测试结果。恰好定位在零MV之前可为最保守的位置。
对称合并候选可用于允许双向预测的PU。例如，对称合并候选可用于图块组类型B和/或B片/画面的PU。
可基于可用(例如，现有)合并候选来构造和/或添加对称MV候选。本文提供了构造对称合并MV候选(例如，基于可用合并候选)的示例性程序。
在一个示例中，可针对合并候选列表(例如，从顶部候选开始)中的(例如，每个)可用(例如，现有)合并MV候选(例如，候选i)实施以下示例性程序。
合并候选列表中的现有合并模式MV候选(例如，合并候选i)可具有水平MvCandi,x、竖直MvCandi,y、预测参考画面列表refPicList、参考画面索引refPicIdx和参考画面顺序计数(POC)refPicPoc。可确定候选i是否为单向预测(uni-pred)MV。可确定(例如，对于uni-pred MV i)在不同的参考画面列表(例如，列表(1–refPicList)中是否存在与当前画面、当前图块组或当前片的POC距离的参考画面与当前画面与由合并候选i引用的画面列表之间的POC距离相等的参考画面。例如，可确定等式5是否为真：
refPicPocCandi-curPicPoc＝＝curPicPoc-refPicPocSymj 等式5
其中refPicPocCandi、curPicPoc和refPicPocSymi可分别表示合并候选i(例如，正评估的候选)的参考画面的POC、当前画面/片的POC和来自不同参考画面列表(例如，列表(1–refPicList))的参考画面j的POC。
例如，如果在不同参考画面列表(例如，列表(1–refPicList))中包括具有等效POC的对称参考画面，则可针对合并候选i创建对称bi-pred MV候选。Uni-pred合并候选MV(例如，合并候选i)可表示为refPicList MV。从refPicList MV导出的对称bi-pred MV候选可表示为(1-refPicList)MV，其指示与uni-pred合并候选MV的预测方向相反的预测方向上的MV。对称bi-pred MV候选可例如使用等式6导出，作为uni-pred候选MV的对称映射：
MvSymi,x＝-MvCandi,x,MvSymi,y＝-MvCandi,y 等式6
可例如基于一个或多个因素/标准(诸如一个或多个条件)将对称MV候选添加到合并候选列表中。在一个示例中，在以下条件下可将对称bi-pred合并候选添加到合并候选列表中；(i)对称bi-pred候选(例如，新创建的对称bi-pred候选)尚未在合并候选列表中(例如，与该列表中的候选不冗余)；(ii)列表中的总可用合并候选数小于允许的最大合并候选数；以及(iii)合并候选列表中的总对称合并候选数小于允许的最大对称合并候选数。在一个示例中，例如如果(i)、(ii)或(ii)在该示例中不为真，则可不将对称MV候选添加到合并候选列表中。
可进行关于候选i是否为bi-pred MV的确定。在一个示例中(例如，其中候选i为bi-pred MV)，与两个参考画面列表相关联的候选i的MV可被分别视为两个单独的(例如，不同的)uni-pred候选。用于构造对称bi-pred候选(例如，并且有条件地添加到合并候选列表)的前述对称映射程序可应用于两个单独的uni-pred候选中的每个uni-pred候选。应用于两个单独的uni-pred候选的对称映射可生成两个不同的对称合并候选。关于是否添加两个不同的对称合并候选的确定可单独地进行，例如单独地应用于每个对称合并候选。
例如，如果达到所需的最大合并候选数和/或允许的最大对称合并候选数，则检查合并候选列表中的每个现有合并候选的程序可能会停止。例如，如果未达到所需的最大合并候选数和/或允许的最大对称合并候选数，则可处理列表中的下一个可用候选，例如，如本文所述处理候选i。例如，当如本文所述处理候选i时，可不处理添加的(例如，新添加的)对称候选。
在示例中，对称参考画面(例如，相等POC距离)条件可基于例如最接近的POC距离，而不是等效的POC距离，以考虑是否针对现有合并候选生逐对称bi-pred合并候选。在一个示例中，最接近的POC可包括等效的POC(例如，具有零差值)。有条件的POC距离是等于另一距离、最接近另一距离还是为另一距离可取决于例如测试结果。在一个示例中，检查如本文所述的不同(例如，另一)参考列表可包括搜索某一参考画面，该参考画面提供与当前画面最接近的POC距离以满足相等POC距离条件(例如，如等式5中所提供的)。例如，可使用等式7：
Figure BDA0003290458810000381
在示例中(例如，其中使用等式7)，可例如基于到当前画面的不同POC距离来应用MV缩放。在一个示例中，可根据等式8来应用MV缩放：
MvSymi,x＝-α·MvCandi,x，MvSymi,y＝-α·MvCandi,y 等式8
Figure BDA0003290458810000391
在示例中，允许的最大对称合并候选数可设置为例如1或2。最大对称候选合并数可取决于例如测试结果。
在示例中，对称合并候选构造(例如，如本文所述)可例如应用于可用(例如，现有)uni-pred合并候选(例如，仅应用于现有uni-pred合并候选)、bi-pred合并候选(例如，仅应用于现有bi-pred合并候选)和/或uni-pred或bi-pred合并候选(例如，应用于所有现有候选，无论是uni pred还是bi pred)。
对称合并候选构造(例如，如本文所述)可在编码器侧和/或解码器侧进行。解码器可例如基于合并候选列表的编码合并候选索引来产生由编码器构造的相同对称合并候选。将对称合并候选添加到合并候选列表(例如，如本文所述)可提高编码效率，而不会引起额外的编码和/或信令成本。
可提供关于合并模式的编码语法(例如，merge_flag和merge_index等)。可提供合并候选列表构造。在一个示例中，可在合并候选列表中的一个或多个位置(例如，在逐对平均MV候选和零MV候选之间)添加对称合并候选。
可构造对称合并候选以用于仿射模式预测。例如，合并模式可用于仿射模式MCP。仿射模式的合并候选列表可与常规帧间预测的合并候选列表不同。在仿射模式预测的示例中，合并候选可包括例如继承的仿射合并候选、构造的仿射合并候选和/或零MV中的一者或多者。对称仿射合并候选(例如，如本文所述创建的)可在仿射合并候选列表中位于例如非零MV候选之后和零MV候选之前。
图11B是示出用于仿射运动的对称合并MV候选构造的示例的示意图。在示例中(例如，如图11B所示)，原始仿射合并候选(例如，具有多个MV)可使用列表0中的参考画面。另一参考画面列表1中的MV的对称映射可从初始仿射合并候选MV导出。在一个示例中，平移运动向量MV0和MV1(例如，短箭头线)可指示对称的平移运动向量(例如，MV1＝-MV0)。用旋转角度θ0和θ1表示的旋转箭头可指示对称的旋转运动向量(例如，θ1＝-θ0)。缩放因子ρ0和ρ1可指示对称的缩放运动向量(例如，ρ1＝1/ρ0)。与图11A类似，τ0、τ1可分别表示列表0中的参考画面与当前画面之间或当前画面与列表1中的参考画面之间的时间距离(例如，POC距离)。
在示例中，对称仿射合并候选构造可类似于用于常规帧间预测的对称合并候选构造。下文描述仿射模式的对称映射与常规帧间预测之间的差异。
在仿射模式下(例如，对于uni-pred候选)，两个或三个控制点MV可分别用于4参数仿射模型和6参数仿射模型(例如，如本文所述)。对称映射(例如，如等式6所示)可应用于左上控制点MV。左上控制点MV可表示与常规帧间预测模式中的MV相同的平移运动。其他(例如，1或2个)控制点(例如，右上控制点和左下控制点)的MV可遵循不同的对称映射计算。其他1或2个控制点(例如，右上控制点和左下控制点)的MV可表示缩放和/或旋转运动信息。
仿射运动模型可例如根据等式9来表示：
Figure BDA0003290458810000401
等式9中所示，
Figure BDA0003290458810000402
和
Figure BDA0003290458810000403
可为位置(x,y)处的MV的水平分量和竖直分量，dx、dy可为空间平移，ρx、ρy可为缩放因子，θx、θy可为旋转角度，并且x、y可分别表示水平方向和竖直方向。等式9可表示6参数仿射运动模型。4参数仿射模型可与等式9和等式10一致：
ρx＝ρy，θx＝θy 等式10
例如，在4参数仿射模型中，两个控制点的MV可从uni-pred MV候选中获知。两个控制点的MV可包括例如(0,0)处的左上控制点0的
Figure BDA0003290458810000404
和(w,0)处的右上控制点
Figure BDA0003290458810000411
其中w可为CU的宽度。在两个位置将MV插入等式9，结合等式10的假设，可得到等式11和等式12：
Figure BDA0003290458810000412
Figure BDA0003290458810000413
将等式11插入等式12可得到等式13：
Figure BDA0003290458810000414
在示例中，查找表(LUT)可用于求解例如ρ、sinθ和/或cosθ，中的一者或多者的值，使得编码器和解码器可得到相同的计算结果。在一个示例中，可使用等式14来创建LUT：
Figure BDA0003290458810000415
如等式14所示，N可控制精度(例如，256)，a＝0…N，并且b＝1…N。等式14右侧使用的方括号可表示四舍五入到最接近的整数。
在对称映射到不同预测方向(例如，相反预测方向)的示例中，四个仿射模型参数(dx,dy,ρ,θ)可(例如，对称地)映射到(-dx,-dy,ρ-1,-θ)。缩放比率ρ的对称映射可为缩放比率ρ的倒数(例如，参考图11，ρ1＝1/ρ0)。例如，如等式15和等式16所示，可导出另一参考画面列表的对应的两个控制点MV(例如，从相反的预测方向)：
Figure BDA0003290458810000416
Figure BDA0003290458810000417
如等式15和等式16所示，
Figure BDA0003290458810000421
可表示来自另一预测方向的两个控制点MV。
从等式9开始，可扩展4参数仿射运动对称映射过程(例如，如本文所述)，以求解和/或计算6参数仿射模型的左下控制点的对称映射MV。在等式17中，
Figure BDA0003290458810000422
可表示(0,h)处的左下控制点，其中h为CU的高度。
将(0,h)插入等式9可得到等式17：
Figure BDA0003290458810000423
在等式9的6参数仿射模型中，本文在4参数模型中导出的(ρ,θ)可变为(ρx,θx)，其表示沿水平方向的缩放比率和旋转角度。等式17可用于求解(ρy,θy)，其表示沿竖直方向的缩放比率和旋转角度。
将等式11插入等式17可得到等式18：
Figure BDA0003290458810000424
可使用一个或多个LUT(例如，与本文所述的LUT类似地应用)来求解ρy、sinθycosθy者或多者。可对模型参数进行对称映射(例如，使用一个或多个LUT)以从(dx,dy,ρy,θy)映射到(-dx,-dy,ρy -1,-θy)。来自另一方向的左下控制点MV可例如由等式19提供：
Figure BDA0003290458810000425
如本文以举例的方式所呈现，可使用不同的对称映射方案来构造对称仿射合并候选和对称合并候选以用于常规帧间预测。用于常规帧间预测的对称仿射合并候选构造和对称合并候选构造的一个或多个方面、考虑因素或变型可以是类似的(例如，相同的)。类似的考虑因素或变型可包括例如以下各项中的一者或多者：相等(例如，或最接近的)POC距离条件、允许的最大对称候选合并数、可用于构造对称候选的现有候选合并的类型(例如，仅uni-pred、仅bi-pred或两者)等。
可提供关于仿射合并模式的编码语法(例如，merge_subblock_flag和merge_subblock_index)。可提供仿射合并候选列表构造。可将对称仿射合并候选(例如，如本文所述)添加到仿射合并候选列表中，例如在构造的仿射合并MV候选之后并且在零MV候选之前。
尽管上文以特定组合描述了特征和元件，但是本领域的普通技术人员将理解，每个特征或元件可单独使用或以与其他特征和元件的任何组合来使用。另外，本文所述的方法可在结合于计算机可读介质中以供计算机或处理器执行的计算机程序、软件或固件中实现。计算机可读介质的示例包括电子信号(通过有线或无线连接传输)和计算机可读存储介质。计算机可读存储介质的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓存存储器、半导体存储器设备、磁介质(诸如内置硬盘和可移动磁盘)、磁光介质和光介质(诸如CD-ROM磁盘和数字通用光盘(DVD))。与软件相关联的处理器可用于实现用于WTRU、UE、终端、基站、RNC或任何主计算机的射频收发器。

Claims (17)

1.一种设备，所述设备包括处理器，所述处理器被配置为执行至少以下操作：
针对当前画面中的预测单元(PU)获得合并候选列表，所述合并候选列表具有第一合并候选，所述第一合并候选包括第一运动向量(MV)，所述第一MV与第一参考画面列表中的第一参考画面相关联；
基于所述第一合并候选获得对称合并候选，所述对称合并候选包括第二MV，所述第二MV与所述第一MV对称并且与第二参考画面列表中的第二参考画面相关联；以及
将所述对称合并候选与所述合并候选列表组合以用于预测所述PU的MV。
2.一种方法，所述方法包括：
针对当前画面中的预测单元(PU)获得合并候选列表；
从所述合并候选列表获得第一合并候选，所述第一合并候选包括第一运动向量(MV)，所述第一MV与第一参考画面列表中的第一参考画面相关联；
基于所述第一合并候选获得对称合并候选，所述对称合并候选包括第二MV，所述第二MV与所述第一MV对称并且与第二参考画面列表中的第二参考画面相关联；
将所述对称合并候选与所述合并候选列表组合以用于预测所述PU的MV；以及
在所述合并候选列表中选择合并候选作为所述PU的运动信息。
3.根据权利要求1所述的设备或根据权利要求2所述的方法，其中所述第一参考画面和所述第二参考画面与所述当前画面在相反方向上具有相同的画面顺序计数(POC)距离。
4.根据权利要求1所述的设备，其中所述处理器被进一步配置为执行以下操作，或者根据权利要求2所述的方法还包括以下操作：
确定所述第二参考画面列表是否包括对称参考画面，所述对称参考画面与所述当前画面的画面顺序计数(POC)距离等于所述第一参考画面与所述当前画面之间的POC距离；以及
基于所述确定所述第二参考画面列表包括所述对称参考画面来选择所述第一合并候选以导出所述对称合并候选。
5.根据权利要求1所述的设备，其中所述处理器被进一步配置为执行以下操作，或者根据权利要求2所述的方法还包括以下操作：
确定所述第二参考画面列表中是否存在与所述当前画面的画面顺序计数(POC)距离等于所述第一参考画面与所述当前画面之间的POC距离的对称参考画面；以及
当所述第二参考画面列表中不存在所述对称参考画面时，在所述第二参考画面列表中选择与所述当前画面的POC距离最接近所述第一参考画面与所述当前画面之间的所述POC距离的参考画面作为所述第二参考画面。
6.根据权利要求5所述的设备或方法，其中所述方法还包括：
基于所述第二参考画面与所述当前画面之间的所述POC距离，以及所述第一参考画面与所述当前画面之间的所述POC距离，应用运动向量缩放来构造所述对称合并候选的所述第二MV。
7.根据权利要求1所述的设备或根据权利要求2所述的方法，其中在所述第一合并候选为单向预测合并候选的条件下，构造所述对称合并候选并将其添加到所述合并候选列表。
8.根据权利要求1所述的设备，其中所述处理器被进一步配置为执行以下操作，或者根据权利要求2所述的方法还包括以下操作：
确定所述第一合并候选为双向预测候选，所述双向预测候选具有基于所述第一参考画面列表中的所述第一参考画面的所述第一MV和基于所述第二参考画面列表中的第三参考画面的第三MV；以及
获得第四MV，所述第四MV与所述第三MV对称并且与所述第一参考画面列表中的第四参考画面相关联，其中所述第四参考画面与所述当前画面之间的画面顺序计数(POC)距离等于或类似于所述第三参考画面与所述当前画面之间的POC距离，其中所述第一合并候选的所述对称合并候选还包括所述第四MV，所述第四MV与所述第一参考画面列表中的所述第四参考画面相关联。
9.根据权利要求1所述的设备，其中所述对称合并候选被添加到所述合并候选列表，并且所述处理器被进一步配置为执行以下操作，或者根据权利要求2所述的方法还包括以下操作：
在将所述对称合并候选添加到所述合并候选列表之前，确定所述对称合并候选与所述合并候选列表中的任何其他合并候选不冗余。
10.根据权利要求1所述的设备或根据权利要求2所述的方法，其中所述对称合并候选被添加到所述合并候选列表，并且所述处理器被进一步配置为执行以下操作，或者所述方法还包括以下操作：
在将所述对称合并候选添加到所述合并候选列表之前，确定将所述对称合并候选添加到所述合并候选列表将不超过允许的合并候选数和允许的对称合并候选数中的至少一者。
11.根据权利要求1所述的设备或根据权利要求2所述的方法，其中将所述对称合并候选与所述合并候选列表组合包括：
在所述合并候选列表中在非零MV合并候选之后并且在任何零MV合并候选之前，将所述对称合并候选按顺序添加到所述合并候选列表。
12.根据权利要求1所述的设备或根据权利要求2所述的方法，其中所述第一合并候选和所述对称合并候选为仿射合并候选。
13.根据权利要求12所述的设备或方法，其中所述第一合并候选的所述第一MV为候选控制点MV(CPMV)，所述CPMV具有x空间平移和y空间平移、缩放因子和旋转角度，并且所述处理器被进一步配置为执行以下操作，所述方法还包括以下操作：
执行所述CPMV的对称映射以确定对称仿射参数，所述对称仿射参数包括负x空间平移和负y空间平移、逆缩放因子以及与所述旋转角度相同量值的负旋转角度；以及
基于所述仿射对称CPMV参数生成所述对称合并候选的对称CPMV。
14.根据权利要求12所述的设备或方法，其中所述第一合并候选的所述第一MV为候选控制点MV(CPMV)，所述第一合并候选还包括第二CPMV，并且其中所述对称合并候选包括至少两个对称CPMV，所述至少两个对称CPMV经由所述第一合并候选的所述CPMV的对称映射来导出。
15.根据权利要求1所述的设备，其中所述设备包括解码设备。
16.根据权利要求1所述的设备，其中所述设备包括编码设备。
17.根据权利要求1所述的设备或根据权利要求2所述的方法，其中所述对称合并候选还包括所述第一运动向量(MV)，所述第一MV与所述第一参考画面列表中的所述第一参考画面相关联。
CN202080026958.1A 2019-03-11 2020-03-11 对称合并模式运动向量编码 Pending CN113728643A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962816586P 2019-03-11 2019-03-11
US62/816,586 2019-03-11
PCT/US2020/022139 WO2020185925A1 (en) 2019-03-11 2020-03-11 Symmetric merge mode motion vector coding

Publications (1)

Publication Number Publication Date
CN113728643A true CN113728643A (zh) 2021-11-30

Family

ID=70110423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080026958.1A Pending CN113728643A (zh) 2019-03-11 2020-03-11 对称合并模式运动向量编码

Country Status (6)

Country Link
US (1) US11979595B2 (zh)
EP (1) EP3939303A1 (zh)
JP (1) JP2022525401A (zh)
CN (1) CN113728643A (zh)
MX (1) MX2021010830A (zh)
WO (1) WO2020185925A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114270862A (zh) * 2019-09-03 2022-04-01 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
WO2021173475A1 (en) * 2020-02-24 2021-09-02 Alibaba Group Holding Limited Methods for combining decoder side motion vector refinement with wrap-around motion compensation
GB2611323A (en) * 2021-09-29 2023-04-05 Canon Kk Video coding and decoding
US20230164351A1 (en) * 2021-11-19 2023-05-25 Tencent America LLC Methods and devices for refining motion vector candidates
US20230412794A1 (en) * 2022-06-17 2023-12-21 Tencent America LLC Affine merge mode with translational motion vectors

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105122803A (zh) * 2013-04-02 2015-12-02 Vid拓展公司 针对可伸缩视频编码的增强型时间运动向量预测
WO2018097693A2 (ko) * 2016-11-28 2018-05-31 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN108605137A (zh) * 2016-03-01 2018-09-28 联发科技股份有限公司 利用仿射运动补偿的视频编码方法与装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9288501B2 (en) 2011-03-08 2016-03-15 Qualcomm Incorporated Motion vector predictors (MVPs) for bi-predictive inter mode in video coding
JP5976658B2 (ja) * 2011-09-29 2016-08-24 シャープ株式会社 画像復号装置、画像復号方法および画像符号化装置
CN108028939B (zh) * 2015-09-02 2021-10-15 联发科技股份有限公司 用于视频编解码的解码器侧的运动推导的方法和装置
US10701390B2 (en) * 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
WO2019234578A1 (en) * 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Asymmetric weighted bi-predictive merges
CN113412623A (zh) * 2019-01-31 2021-09-17 北京字节跳动网络技术有限公司 记录仿射模式自适应运动矢量分辨率的上下文
CN114339237B (zh) * 2019-02-20 2023-04-25 北京达佳互联信息技术有限公司 用于视频编码的方法和电子设备
US20200402546A1 (en) * 2019-06-24 2020-12-24 Seagate Technology Llc Reducing base deck porosity
CN111277838B (zh) * 2020-02-17 2022-10-14 腾讯科技（深圳）有限公司 编码模式选择方法、装置、电子设备及计算机可读介质
US20230156181A1 (en) * 2021-11-17 2023-05-18 Mediatek Inc. Methods and Apparatuses for a High-throughput Video Encoder or Decoder

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105122803A (zh) * 2013-04-02 2015-12-02 Vid拓展公司 针对可伸缩视频编码的增强型时间运动向量预测
US20160050430A1 (en) * 2013-04-02 2016-02-18 Vid Scale, Inc. Enhanced temporal motion vector prediction for scalable video coding
CN108605137A (zh) * 2016-03-01 2018-09-28 联发科技股份有限公司 利用仿射运动补偿的视频编码方法与装置
WO2018097693A2 (ko) * 2016-11-28 2018-05-31 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Also Published As

Publication number Publication date
US11979595B2 (en) 2024-05-07
JP2022525401A (ja) 2022-05-13
US20220182657A1 (en) 2022-06-09
MX2021010830A (es) 2021-12-15
EP3939303A1 (en) 2022-01-19
WO2020185925A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
CN111630855A (zh) 基于局部照明补偿的运动补偿双向预测
EP3704856A1 (en) Sub-block motion derivation and decoder-side motion vector refinement for merge mode
US11979595B2 (en) Symmetric merge mode motion vector coding
US20220377344A1 (en) Systems and methods for versatile video coding
CN113228634A (zh) 组合的帧内及帧间预测
CN113826400A (zh) 用于利用光流的解码器侧运动向量细化的预测细化的方法和装置
US20220394298A1 (en) Transform coding for inter-predicted video data
US20230046946A1 (en) Merge mode, adaptive motion vector precision, and transform skip syntax
US20220385897A1 (en) Adaptive interpolation filter for motion compensation
US20220345701A1 (en) Intra sub-partitions related infra coding
US20220239921A1 (en) Block boundary prediction refinement with optical flow
CN114556945A (zh) 用于双向光流的切换逻辑
CN113383542A (zh) 使用合并模式运动向量候选对象的改善的帧内平面预测
JP2024513939A (ja) 重複ブロック動き補償
WO2023194599A1 (en) Memory bandwidth constrained template-based operations
WO2023057488A1 (en) Motion vector coding with input motion vector data
WO2023194570A1 (en) Gradual decoding refresh and coding tools
WO2023194556A1 (en) Implicit intra mode for combined inter merge/intra prediction and geometric partitioning mode intra/inter prediction
WO2023194600A1 (en) Latency constrained template-based operations
WO2023118259A1 (en) Video block partitioning based on depth or motion information
WO2023194603A1 (en) Motion information candidates re-ordering
WO2024079187A1 (en) Video coding combining intra-sub partition and template-based intra-mode derivation techniques
WO2023117861A1 (en) Local illumination compensation with multiple linear models
WO2023194558A1 (en) Improved subblock-based motion vector prediction (sbtmvp)
WO2023118309A1 (en) Gdr interaction with template based tools in inter slice

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination