CN112335247A - 用于基于仿射运动模型的视频译码的自适应控制点选择 - Google Patents

用于基于仿射运动模型的视频译码的自适应控制点选择 Download PDF

Info

Publication number
CN112335247A
CN112335247A CN201980044216.9A CN201980044216A CN112335247A CN 112335247 A CN112335247 A CN 112335247A CN 201980044216 A CN201980044216 A CN 201980044216A CN 112335247 A CN112335247 A CN 112335247A
Authority
CN
China
Prior art keywords
block
control point
sub
affine
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980044216.9A
Other languages
English (en)
Inventor
贺玉文
修晓宇
叶艳
菲利普·汉哈特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of CN112335247A publication Critical patent/CN112335247A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes

Abstract

公开了用于在针对视频块启用仿射运动模式时进行运动向量裁剪的系统、方法和手段。视频译码设备可确定启用用于视频块的仿射模式。所述视频译码设备可确定与所述视频块相关联的多个控制点仿射运动向量。所述视频译码设备可存储所述多个所裁剪的控制点仿射运动向量，以用于相邻控制点仿射运动向量的运动向量预测。所述视频译码设备可导出与所述视频块的子块相关联的子块运动向量，裁剪所述所导出的子块运动向量，且存储所述所导出的子块运动向量以用于空间运动向量预测或时间运动向量预测。举例来说，所述视频译码设备可基于一基于位深度值的运动场范围，裁剪所述所导出的子块运动向量。

Description

用于基于仿射运动模型的视频译码的自适应控制点选择
相关申请的交叉参考
本申请要求在2018年6月29日递交的美国临时专利申请No.62/691,770、在2018年9月21日递交的美国临时专利申请No.62/734,728、以及在2018年12月11日递交的美国临时专利申请No.62/778,055的权益，其内容通过引用而被并入本文。
背景技术
视频译码(coding)系统可以用于压缩数字视频信号，例如，以减少存储和/或传输这些信号所需的带宽。视频译码系统可以包括基于块、基于小波和/或基于对象的系统。可以部署基于块的混合视频译码系统。在基于块的视频译码系统中，与视频块的子块相关联的运动向量可具有可在某一范围外的值。使用这样的值可能导致非预期的结果。
发明内容
公开了用于在针对视频块(例如，译码单元(CU))启用仿射运动模式时进行运动向量裁剪(clipping)的系统、方法和手段。视频译码设备可确定启用针对视频块(例如，当前视频块)的仿射模式。所述视频块可包含多个子块。所述视频译码设备可确定与所述视频块相关联的多个控制点仿射运动向量。可使用与一个或多个相邻视频块相关联的一个或多个控制点仿射运动向量，确定与所述当前视频块相关联的所述控制点仿射运动向量中的至少一者。所述视频译码设备可裁剪与所述当前视频块相关联的所述控制点仿射运动向量。举例来说，可基于用于运动场存储的位深度来裁剪所述控制点仿射运动向量。所述视频译码设备可存储所述所裁剪的控制点仿射运动向量以用于相邻控制点仿射运动向量的运动向量预测。
所述视频译码设备可导出与子块相关联的子块运动向量。所述视频译码设备可基于一或多个控制点仿射运动向量，导出所述子块运动向量。所述视频译码设备可裁剪所述所导出的子块运动向量。举例来说，所述视频译码设备可基于运动场范围，裁剪所导出的子块运动向量。所述运动场范围可用于运动场存储。所述运动场范围可以基于位深度值。所述视频译码设备可存储所述所裁剪的子块运动向量以用于空间运动向量预测或时间运动向量预测。所述视频译码设备可使用所述所裁剪的子块运动向量来预测所述子块。
所述视频译码设备可基于视频块的形状，确定与该视频块的控制点仿射运动向量相关联的控制点位置。举例来说，可基于所述视频块的长度和/或宽度来确定所述控制点位置。
举例来说，如果当前视频块的宽度大于当前视频块的长度，那么所述控制点位置可包含左上控制点和右上控制点。所述视频译码设备可将此视频块分类为水平矩形视频块。举例来说，如果当前视频块的宽度小于当前视频块的长度，那么所述控制点位置可包含左上控制点和左下控制点。所述视频译码设备可将所述当前视频块分类为垂直矩形视频块。例如，如果当前视频块的宽度等于当前视频块的长度，则所述控制点位置可包括左下控制点和右上控制点。所述视频译码设备可将所述当前视频块分类为正方形视频块。
附图说明
图1A是示出了示例性通信系统的系统示意图。
图1B是示出了可以在图1A所示的通信系统内部使用的示例性无线发射/接收单元(WTRU)的系统示意图。
图1C是示出了可以在图1A所示的通信系统内部使用的示例性无线电接入网络(RAN)和示例性核心网络(CN)的系统示意图。
图1D是示出了可以在图1A所示的通信系统内部使用的另一个示例性RAN和另一个示例性CN的系统示意图。
图2示出了基于块的视频编码器的示例图。
图3示出了视频解码器的示例框图。
图4示出了多类型树结构中的示例块分区。
图5示出了四参数仿射模式的示例。
图6示出仿射合并候选的示例。
图7示出了仿射运动模型的控制点处的示例运动向量导出。
图8示出了仿射运动预测子(predictor)构造的示例。
图9示出了仿射运动向量(MV)预测子产生的MV时间缩放的示例。
图10示出了基于块形状的自适应控制点选择的示例。
图11示出了利用最大控制点距离的仿射合并选择的示例。
图12示出了仿射模式的运动场产生的示例工作流程。
图13示出了重用用于MV预测和解块化的运动场以生成仿射译码单元(CU)的预测样本的示例工作流程。
图14示出了重用用于生成预测样本的运动场以对仿射CU执行MV预测和解块化的示例工作流。
图15示出了修改一个或多个控制点MV以缩放参考块的示例。
图16示出了修改控制点MV以包含参考块的示例。
具体实施方式
从以下结合附图以示例方式给出的描述中可以更详细地理解本发明，其中：
图1A是示出了可以实施所公开的一个或多个示例的示例性通信系统100的示意图。该通信系统100可以是为多个无线用户提供诸如语音、数据、视频、消息传递、广播等内容的多址接入系统。该通信系统100可以通过共享包括无线带宽在内的系统资源而使多个无线用户能够访问此类内容。举例来说，通信系统100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT-扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块过滤OFDM以及滤波器组多载波(FBMC)等等。
如图1A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网络(PSTN)108、因特网110以及其他网络112，然而应该了解，所公开的示例可以设想了任意数量的WTRU、基站、网络和/或网络部件。WTRU 102a、102b、102c、102d每一者可以是被配置成在无线环境中工作和/或通信的任何类型的设备。举例来说，WTRU 102a、102b、102c、102d任何一者都可以被称为“站”和/或“STA”，其可以被配置成发射和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于签约的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴显示器(HMD)、运载工具、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如机器人和/或在工业和/或自动处理链环境中工作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上工作的设备等等。WTRU 102a、102b、102c、102d中的任何一者可被可交换地称为UE。
所述通信系统100还可以包括基站114a和/或基站114b。基站114a、114b的每一者可以是被配置成通过以无线方式与WTRU 102a、102b、102c、102d中的至少一者无线对接来促使其接入一个或多个通信网络(例如CN106/115、因特网110、和/或其他网络112)的任何类型的设备。例如，基站114a、114b可以是基地收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、新无线电(NR)节点B、站点控制器、接入点(AP)、以及无线路由器等等。虽然基站114a、114b的每一者都被描述成了单个部件，然而应该了解，基站114a、114b可以包括任何数量的互连基站和/或网络部件。
基站114a可以是RAN 104/113的一部分，并且该RAN还可以包括其他基站和/或网络部件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站114a和/或基站114b可被配置成在名为小区(未显示)的一个或多个载波频率上发射和/或接收无线信号。这些频率可以处于授权频谱、未授权频谱或是授权与未授权频谱的组合之中。小区可以为相对固定或者有可能随时间变化的特定地理区域提供无线服务覆盖。小区可被进一步分成小区扇区。例如，与基站114a相关联的小区可被分为三个扇区。由此，在一个示例中，基站114a可以包括三个收发信机，即，每一个收发信机都对应于小区的一个扇区。在示例中，基站114a可以使用多输入多输出(MIMO)技术，并且可以为小区的每一个扇区使用多个收发信机。例如，通过使用波束成形，可以在期望的空间方向上发射和/或接收信号。
基站114a、114b可以通过空中接口116来与WTRU 102a、102b、102c、102d中的一者或多者进行通信，其中所述空中接口可以是任何适当的无线通信链路(例如射频(RF)、微波、厘米波、毫米波、红外线(IR)、紫外线(UV)、可见光等等)。空中接口116可以使用任何适当的无线电接入技术(RAT)来建立。
更具体地说，如上所述，通信系统100可以是多址接入系统，并且可以使用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如，RAN 104/113中的基站114a与WTRU 102a、102b、102c可以实施某种无线电技术，例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)，其中所述技术可以使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可以包括如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在示例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如演进型UMTS陆地无线电接入(E-UTRA)，其中所述技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)和/或先进LTE Pro(LTE-A Pro)来建立空中接口116。
在示例中，基站114a和WTRU 102a、102b、102c可以实施某种可以使用新无线电(NR)建立空中接口116的无线电技术，例如NR无线电接入。
在示例中，基站114a和WTRU 102a、102b、102c可以实施多种无线电接入技术。例如，基站114a和WTRU 102a、102b、102c可以共同实施LTE无线电接入和NR无线电接入(例如使用双连接(DC)原理)。由此，WTRU102a、102b、102c使用的空中接口可以通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如，eNB和gNB)发送的传输来表征。
在示例中，基站114a和WTRU 102a、102b、102c可以实施以下的无线电技术，例如IEEE 802.11(即，无线高保真(WiFi))、IEEE 802.16(即，全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强数据速率(EDGE)、以及GSM EDGE(GERAN)等等。
图1A中的基站114b可以例如是无线路由器、家庭节点B、家庭e节点B或接入点，并且可以使用任何适当的RAT来促成局部区域中的无线连接，例如营业场所、住宅、运载工具、校园、工业设施、空中走廊(例如供无人机使用)以及道路等等。在一个示例中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.11之类的无线电技术来建立无线局域网(WLAN)。在示例中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在示例中，基站114b和WTRU 102c、102d可通过使用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等)来建立微微小区或毫微微小区。如图1A所示，基站114b可以直连到因特网110。由此，基站114b不需要经由CN 106/115来接入因特网110。
RAN 104/113可以与CN 106/115进行通信，所述CN可以是被配置成向WTRU 102a、102b、102c、102d的一者或多者提供语音、数据、应用和/或借助网际协议语音(VoIP)服务的任何类型的网络。该数据可以具有不同的服务质量(QoS)需求，例如不同的吞吐量需求、延时需求、容错需求、可靠性需求、数据吞吐量需求、以及移动性需求等等。CN 106/115可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等，和/或可以执行用户认证之类的高级安全功能。虽然在图1A中没有显示，然而应该了解，RAN104/113和/或CN 106/115可以直接或间接地和其他那些与RAN 104/113使用相同RAT或不同RAT的RAN进行通信。例如，除了与使用NR无线电技术的RAN 104/113相连之外，CN 106/115还可以与使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的别的RAN(未显示)通信。
CN 106/115还可以充当供WTRU 102a、102b、102c、102d接入PSTN108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用了公共通信协议(例如传输控制协议/网际协议(TCP/IP)网际协议族中的TCP、用户数据报协议(UDP)和/或IP)的全球性互联计算机网络设备系统。所述网络112可以包括由其他服务提供方拥有和/或运营的有线或无线通信网络。例如，所述网络112可以包括与一个或多个RAN相连的另一个CN，其中所述一个或多个RAN可以与RAN104/113使用相同RAT或不同RAT。
通信系统100中的一些或所有WTRU 102a、102b、102c、102d可以包括多模能力(例如WTRU 102a、102b、102c、102d可以包括在不同无线链路上与不同无线网络通信的多个收发信机)。例如，图1A所示的WTRU 102c可被配置成与使用基于蜂窝的无线电技术的基站114a通信，以及与可以使用IEEE 802无线电技术的基站114b通信。
图1B是示出了示例性WTRU 102的系统示意图。如图1B所示，WTRU102可以包括处理器118、收发信机120、发射/接收部件122、扬声器/麦克风124、数字键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136和/或周边设备138。应该了解的是，WTRU 102还可以包括前述部件的任何子组合。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器118可以执行信号译码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU102在无线环境中工作的功能。处理器118可以耦合至收发信机120，收发信机120可以耦合至发射/接收部件122。虽然图1B将处理器118和收发信机120描述成单独分量，然而应该了解，处理器118和收发信机120也可以一起集成在一电子分量或芯片中。
发射/接收部件122可被配置成经由空中接口116来发射或接收去往或来自基站(例如，基站114a)的信号。举个例子，在一个示例中，发射/接收部件122可以是被配置成发射和/或接收RF信号的天线。作为示例，在示例中，发射/接收部件122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在示例中，发射/接收部件122可被配置成发射和/或接收RF和光信号。应该了解的是，发射/接收部件122可以被配置成发射和/或接收无线信号的任何组合。
虽然在图1B中将发射/接收部件122描述成是单个部件，但是WTRU102可以包括任何数量的发射/接收部件122。更具体地说，WTRU 102可以使用MIMO技术。由此，在一个示例中，WTRU 102可以包括两个或更多个通过空中接口116来发射和接收无线信号的发射/接收部件122(例如多个天线)。
收发信机120可被配置成对发射/接收部件122所要传送的信号进行调制，以及对发射/接收部件122接收的信号进行解调。如上所述，WTRU 102可以具有多模能力。因此，收发信机120可以包括允许WTRU 102借助多种RAT(例如NR和IEEE 802.11)来进行通信的多个收发信机。
WTRU 102的处理器118可以耦合到扬声器/麦克风124、数字键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126和/或显示器/触摸板128输出用户数据。此外，处理器118可以从诸如不可移除存储器130和/或可移除存储器132之类的任何适当的存储器中存取信息，以及将信息存入这些存储器。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订户身份模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在示例中，处理器118可以从那些并非实际位于WTRU 102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。
处理器118可以接收来自电源134的电力，并且可被配置分发和/或控制用于WTRU102中的其他分量的电力。电源134可以是为WTRU 102供电的任何适当设备。例如，电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。
处理器118还可以耦合到GPS芯片组136，该GPS芯片组可被配置成提供与WTRU 102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组136的信息的补充或替换，WTRU 102可以经由空中接口116接收来自基站(例如基站114a、114b)的位置信息，和/或根据从两个或更多个附近基站接收的信号定时来确定其位置。应该了解的是，WTRU 102可以借助任何适当的定位方法来获取位置信息。
处理器118还可以耦合到其他周边设备138，其中所述周边设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，所述周边设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、
Figure BDA0002868503700000101
模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、以及活动跟踪器等等。所述周边设备138可以包括一个或多个传感器，所述传感器可以是以下的一者或多者：陀螺仪、加速度计、霍尔效应传感器、磁强计、方位传感器、邻近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物测定传感器和/或湿度传感器等。
WTRU 102可以包括全双工无线电设备，其中对于该无线电设备来说，一些或所有信号(例如与用于UL(例如对传输而言)和下行链路(例如对接收而言)的特定子帧相关联)的接收或传输可以是并发和/或同时的。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器118)的信号处理来减小和/或基本消除自干扰的干扰管理单元。在示例中，WTRU 102可以包括传送和接收一些或所有信号(例如与用于UL(例如对传输而言)或下行链路(例如对接收而言)的特定子帧相关联)的半双工无线电设备。
图1C是示出了示例性RAN 104和CN 106的系统示意图。如上所述，RAN 104可以通过空中接口116使用E-UTRA无线电技术来与WTRU 102a、102b、102c进行通信。所述RAN 104还可以与CN 106进行通信。
RAN 104可以包括e节点B 160a、160b、160c，然而应该了解，RAN104可以包括任何数量的e节点B。e节点B 160a、160b、160c每一者都可以包括通过空中接口116与WTRU 102a、102b、102c通信的一个或多个收发信机。在一个示例中，e节点B 160a、160b、160c可以实施MIMO技术。由此，举例来说，e节点B 160a可以使用多个天线来向WTRU 102a发射无线信号，和/或接收来自WTRU 102a的无线信号。
e节点B 160a、160b、160c每一者都可以关联于一个特定小区(未显示)，并且可被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度等等。如图1C所示，e节点B 160a、160b、160c彼此可以通过X2接口进行通信。
图1C所示的CN 106可以包括移动性管理实体(MME)162、服务网关(SGW)164以及分组数据网络(PDN)网关(或PGW)166。虽然每一前述部件都被描述成是CN 106的一部分，然而应该了解，这其中的任一部件都可以由CN运营商之外的实体拥有和/或运营。
MME 162可以经由S1接口连接到RAN 104中的e节点B 162a、162b、162c的每一者，并且可以充当控制节点。例如，MME 162可以负责认证WTRU 102a、102b、102c的用户，执行承载激活/去激活处理，以及在WTRU102a、102b、102c的初始附着过程中选择特定的服务网关等等。MME 162可以提供用于在RAN 104与使用其他无线电技术(例如GSM和/或WCDMA)的其他RAN(未显示)之间进行切换的控制平面功能。
SGW 164可以经由S1接口连接到RAN 104中的e节点B 160a、160b、160c的每一者。SGW 164通常可以路由和转发去往/来自WTRU 102a、102b、102c的用户数据分组。并且，SGW164还可以执行其他功能，例如在eNB间的切换过程中锚定用户平面，在DL数据可供WTRU102a、102b、102c使用时触发寻呼处理，以及管理并存储WTRU 102a、102b、102c的上下文等等。
SGW 164可以连接到PGW 146，所述PGW可以为WTRU 102a、102b、102c提供分组交换网络(例如因特网110)接入，以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信。
CN 106可以促成与其他网络的通信。例如，CN 106可以为WTRU 102a、102b、102c提供对电路交换网络(例如PSTN 108)的接入，以便促成WTRU102a、102b、102c与传统的陆线通信设备之间的通信。例如，CN 106可以包括IP网关(例如IP多媒体子系统(IMS)服务器)或与之进行通信，并且该IP网关可以充当CN 106与PSTN 108之间的接口。此外，CN 106可以为WTRU102a、102b、102c提供针对所述其他网络112的接入，其中该网络可以包括其他服务提供方拥有和/或运营的其他有线和/或无线网络。
虽然在图1A-1D中将WTRU描述成了无线终端，然而应该想到的是，在某些示例中，此类终端与通信网络可以使用(例如临时或永久性)有线通信接口。
在示例中，所述其他网络112可以是WLAN。
采用基础架构基本服务集合(BSS)模式的WLAN可以具有用于所述BSS的接入点(AP)以及与所述AP相关联的一个或多个站(STA)。所述AP可以访问或是对接到分布式系统(DS)或是将业务量送入和/或送出BSS的别的类型的有线/无线网络。源于BSS外部且去往STA的业务量可以通过AP到达并被递送至STA。源自STA且去往BSS外部的目的地的业务量可被发送至AP，以便递送到相应的目的地。处于BSS内部的STA之间的业务量可以通过AP来发送，例如在源STA可以向AP发送业务量并且AP可以将业务量递送至目的地STA的情况下。处于BSS内部的STA之间的业务量可被认为和/或称为点到点业务量。所述点到点业务量可以在源与目的地STA之间(例如在其间直接)用直接链路建立(DLS)来发送。在示例中，DLS可以使用802.11e DLS或802.11z通道化DLS(TDLS))。举例来说，使用独立BSS(IBSS)模式的WLAN不具有AP，并且处于所述IBSS内部或是使用所述IBSS的STA(例如所有STA)彼此可以直接通信。在这里，IBSS通信模式有时可被称为“自组织(Ad-hoc)”通信模式。
在使用802.11ac基础设施工作模式或类似的工作模式时，AP可以在固定信道(例如主信道)上传送信标。所述主信道可以具有固定宽度(例如20MHz的带宽)或是经由信令动态设置的宽度。主信道可以是BSS的操作信道，并且可被STA用来与AP建立连接。在示例中，所实施的可以是具有冲突避免的载波感测多址接入(CSMA/CA)(例如在802.11系统中)。对于CSMA/CA来说，包括AP在内的STA(例如每一个STA)可以感测主信道。如果特定STA感测到/检测到和/或确定主信道繁忙，那么所述特定STA可以退避。在指定的BSS中，在任何指定时间都有一个STA(例如只有一个站)进行传输。
高吞吐量(HT)STA可以使用宽度为40MHz的信道来进行通信(例如借助于将宽度为20MHz的主信道与宽度为20MHz的相邻或不相邻信道相结合来形成宽度为40MHz的信道)。
甚高吞吐量(VHT)STA可以支持宽度为20MHz、40MHz、80MHz和/或160MHz的信道。40MHz和/或80MHz信道可以通过组合连续的20MHz信道来形成。160MHz信道可以通过组合8个连续的20MHz信道或者通过组合两个不连续的80MHz信道(这种组合可被称为80+80配置)来形成。对于80+80配置来说，在信道编码之后，数据可被传递并经过一个分段解析器，所述分段解析器可以将数据非成两个流。在每一个流上可以单独执行逆快速傅里叶变换(IFFT)处理以及时域处理。所述流可被映射在两个80MHz信道上，并且数据可以由执行传输的STA来传送。在执行接收的STA的接收机上，用于80+80配置的上述操作可以是相反的，并且组合数据可被发送至介质接入控制(MAC)。
802.11af和802.11ah支持1GHz以下的工作模式。相比于802.11n和802.11ac，在802.11af和802.11ah中使用信道工作带宽和载波有所缩减。802.11af在TV白空间(TVWS)频谱中支持5MHz、10MHz和20MHz带宽，并且802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。依照示例，802.11ah可以支持仪表类型控制/机器类型通信(MTC)(例如宏覆盖区域中的MTC设备)。MTC设备可以具有某种能力，例如包含了支持(例如只支持)某些和/或有限带宽在内的受限能力。MTC设备可以包括电池，并且该电池的电池寿命高于阈值(例如用于保持很长的电池寿命)。
对于可以支持多个信道和信道带宽的WLAN系统(例如802.11n、802.11ac、802.11af以及802.11ah)来说，这些系统包含了可被指定成主信道的信道。所述主信道的带宽可以等于BSS中的所有STA所支持的最大公共工作带宽。主信道的带宽可以由某一个STA设置和/或限制，其中所述STA源自在支持最小带宽工作模式的BSS中工作的所有STA。在关于802.11ah的示例中，即使BSS中的AP和其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽工作模式，但对支持(例如只支持)1MHz模式的STA(例如MTC类型的设备)来说，主信道的宽度可以是1MHz。载波感测和/或网络分配向量(NAV)设置可以取决于主信道的状态。如果主信道繁忙(例如因为STA(其只支持1MHz工作模式)对AP进行传输)，那么即使大多数的可用频带保持空闲并且可供使用，也可以认为整个可用频带繁忙。
在美国，可供802.11ah使用的可用频带是902MHz到928MHz。在韩国，可用频带是917.5MHz到923.5MHz。在日本，可用频带是916.5MHz到927.5MHz。依照国家码，可用于802.11ah的总带宽是6MHz到26MHz。
图1D是示出了示例性RAN 113和CN 115的系统示意图。如上所述，RAN 113可以通过空中接口116使用NR无线电技术来与WTRU 102a、102b、102c进行通信。RAN 113还可以与CN 115进行通信。
RAN 113可以包括gNB 180a、180b、180c，但是应该了解，RAN 113可以包括任何数量的gNB。gNB 180a、180b、180c每一者都可以包括一个或多个收发信机，以便通过空中接口116来与WTRU 102a、102b、102c通信。在示例中，gNB 180a、180b、180c可以实施MIMO技术。例如，gNB 180a、180b可以使用波束成形处理来向和/或从gNB 180a、180b、180c发射和/或接收信号。由此，举例来说，gNB 180a可以使用多个天线来向WTRU 102a发射无线信号，以及接收来自WTRU 102a的无线信号。在示例中，gNB 180a、180b、180c可以实施载波聚合技术。例如，gNB 180a可以向WTRU 102a(未显示)传送多个分量载波。这些分量载波的子集可以处于未授权频谱上，而剩余分量载波则可以处于授权频谱上。在示例中，gNB 180a、180b、180c可以实施协作多点(CoMP)技术。例如，WTRU 102a可以接收来自gNB 180a和gNB 180b(和/或gNB 180c)的协作传输。
WTRU 102a、102b、102c可以使用与可扩缩数字配置相关联的传输来与gNB 180a、180b、180c进行通信。例如，对于不同的传输、不同的小区和/或不同的无线传输频谱部分来说，OFDM符号间隔和/或OFDM子载波间隔可以是不同的。WTRU 102a、102b、102c可以使用具有不同或可扩缩长度的子帧或传输时间间隔(TTI)(例如包含了不同数量的OFDM符号和/或持续不同的绝对时间长度)来与gNB 180a、180b、180c进行通信。
gNB 180a、180b、180c可被配置成与采用独立配置和/或非独立配置的WTRU 102a、102b、102c进行通信。在独立配置中，WTRU 102a、102b、102c可以在不接入其他RAN(例如，e节点B 160a、160b、160c)的情况下与gNB 180a、180b、180c进行通信。在独立配置中，WTRU102a、102b、102c可以使用gNB 180a、180b、180c中的一者或多者作为移动锚点。在独立配置中，WTRU 102a、102b、102c可以使用未授权频带中的信号来与gNB 180a、180b、180c进行通信。在非独立配置中，WTRU 102a、102b、102c会在与别的RAN(例如e节点B 160a、160b、160c)进行通信/相连的同时与gNB 180a、180b、180c进行通信/相连。举例来说，WTRU 102a、102b、102c可以通过实施DC原理而以基本同时的方式与一个或多个gNB 180a、180b、180c以及一个或多个e节点B 160a、160b、160c进行通信。在非独立配置中，e节点B 160a、160b、160c可以充当WTRU 102a、102b、102c的移动锚点，并且gNB 180a、180b、180c可以提供附加的覆盖和/或吞吐量，以便为WTRU102a、102b、102c提供服务。
gNB 180a、180b、180c每一者都可以关联于特定小区(未显示)，并且可以被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度、支持网络切片、双连接、实施NR与E-UTRA之间的互通处理、路由去往用户平面功能(UPF)184a、184b的用户平面数据、以及路由去往接入和移动性管理功能(AMF)182a、182b的控制平面信息等等。如图1D所示，gNB180a、180b、180c彼此可以通过Xn接口通信。
图1D所示的CN 115可以包括至少一个AMF 182a、182b，至少一个UPF 184a、184b，至少一个会话管理功能(SMF)183a、183b，并且有可能包括数据网络(DN)185a、185b。虽然每一前述部件都被描述了CN 115的一部分，但是应该了解，这其中的任一部件都可以被CN运营商之外的实体拥有和/或运营。
AMF 182a、182b可以经由N2接口连接到RAN 113中的gNB 180a、180b、180c的一者或多者，并且可以充当控制节点。例如，AMF 182a、182b可以负责认证WTRU 102a、102b、102c的用户，支持网络切片(例如处理具有不同需求的不同PDU会话)，选择特定的SMF 183a、183b，管理注册区域，终止NAS信令，以及移动性管理等等。AMF 182a、182b可以使用网络切片处理，以便基于WTRU 102a、102b、102c使用的服务类型来定制为WTRU102a、102b、102c提供的CN支持。作为示例，针对不同的使用情况，可以建立不同的网络切片，例如依赖于超可靠低延时(URLLC)接入的服务、依赖于增强型大规模移动宽带(eMBB)接入的服务、和/或用于机器类通信(MTC)接入的服务等等。AMF 182可以提供用于在RAN 113与使用其他无线电技术(例如，LTE、LTE-A、LTE-A Pro和/或诸如WiFi之类的非3GPP接入技术)的其他RAN(未显示)之间切换的控制平面功能。
SMF 183a、183b可以经由N11接口连接到CN 115中的AMF 182a、182b。SMF 183a、183b还可以经由N4接口连接到CN 115中的UPF 184a、184b。SMF 183a、183b可以选择和控制UPF 184a、184b，并且可以通过UPF184a、184b来配置业务量路由。SMF 183a、183b可以执行其他功能，例如管理和分配WTRU或UE IP地址，管理PDU会话，控制策略实施和QoS，以及提供下行链路数据通知等等。PDU会话类型可以是基于IP的，不基于IP的，以及基于以太网的等等。
UPF 184a、184b可以经由N3接口连接RAN 113中的gNB 180a、180b、180c的一者或多者，这样可以为WTRU 102a、102b、102c提供对分组交换网络(例如因特网110)的接入，以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信，UPF 184、184b可以执行其他功能，例如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、以及提供移动性锚定处理等等。
CN 115可以促成与其他网络的通信。例如，CN 115可以包括或者可以与充当CN115与PSTN 108之间的接口的IP网关(例如IP多媒体子系统(IMS)服务器)进行通信。此外，CN 115可以为WTRU 102a、102b、102c提供针对其他网络112的接入，这其中可以包括其他服务提供方拥有和/或运营的其他有线和/或无线网络。在一个示例中，WTRU 102a、102b、102c可以经由对接到UPF 184a、184b的N3接口以及介于UPF 184a、184b与本地数据网络(DN)185a、185b之间的N6接口并通过UPF 184a、184b连接到DN185a、185b。
有鉴于图1A-1D以及关于图1A-1D的相应描述，在这里对照以下的一项或多项描述的一个或多个或所有功能可以由一个或多个仿真设备(未显示)来执行：WTRU 102a-d、基站114a-b、e节点B 160a-c、MME 162、SGW164、PGW 166、gNB 180a-c、AMF 182a-b、UPF 184a-b、SMF 183a-b、DN185a-b和/或这里描述的一个或多个其他任何设备。这些仿真设备可以是被配置成模拟这里描述的一个或多个或所有功能的一个或多个设备。举例来说，这些仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。
所述仿真设备可被设计成在实验室环境和/或运营商网络环境中实施关于其他设备的一项或多项测试。例如，所述一个或多个仿真设备可以在被完全或部分作为有线和/或无线通信网络一部分实施和/或部署的同时执行一个或多个或所有功能，以便测试通信网络内部的其他设备。所述一个或多个仿真设备可以在被临时作为有线和/或无线通信网络的一部分实施或部署的同时执行一个或多个或所有功能。所述仿真设备可以直接耦合到别的设备以执行测试，和/或可以使用空中无线通信来执行测试。
所述一个或多个仿真设备可以在未被作为有线和/或无线通信网络一部分实施或部署的同时执行包括所有功能在内的一个或多个功能。例如，该仿真设备可以在测试实验室和/或未被部署(例如测试)的有线和/或无线通信网络的测试场景中使用，以便实施关于一个或多个分量的测试。所述一个或多个仿真设备可以是测试设备。所述仿真设备可以使用直接的RF耦合和/或借助RF电路(例如，该电路可以包括一个或多个天线)的无线通信来发射和/或接收数据。
视频译码系统可以压缩数字视频信号，例如，以减少与存储和/或传送这样的信号相关联的存储空间和/或传输带宽。视频译码系统可以包括基于块的系统、基于小波的系统、基于对象的系统等。
视频译码设备可基于一基于块的混合视频译码框架。可以采用基于多类型树的块分区结构。可以包括一个或多个译码模块，例如帧内预测模块、帧间预测模块、变换/逆变换模块和量化/去量化模块。所述视频译码设备还可包含环路内滤波器。
所述视频译码设备可包含一个或多个译码工具，例如65°角帧内预测方向、经修改的系数译码、高级多重变换(AMT)+4×4不可分离的次级变换(NSST)、仿射运动模型、广义自适应环路滤波器(GALF)、高级时间运动向量预测(ATMVP)、自适应运动向量精度、解码器侧运动向量精细化(DMVR)和/或线性模型(LM)色度模式。
示例性的基于块的视频译码系统可以包括基于块的混合视频译码框架。图2示出了用于编码器的示例性的基于块的混合视频编码框架200。如图2所示，输入视频信号202可以被逐块处理。块可称为译码单元(CU)。CU还可被称作视频块。举例来说，CU的大小可高达128×128个像素。在译码框架中，CU可被分区成预测单元(PU)，且/或可使用单独预测。在译码框架中，CU可用作预测和变换这两者的基本单元，而无需进一步分区。CTU可以被分区成多个CU，例如以基于四/二/三叉树结构来适应变化的局部特性。在多类型树结构中，CTU可以由四叉树结构分区。四叉树叶节点可以进一步由二叉树和三叉树结构来分区。如图4中所说明，可提供一个或多个划分类型，这其中包含(例如)四进制分区(图4(a))、水平二进制分区(图4(c))、垂直二进制分区(图4(b))、垂直三进制分区(图4(d))及水平三进制分区(图4(e))。
如图2中所说明，对于输入视频块(例如，宏块(MB)和/或CU)，可执行空间预测260和/或时间预测262。空间预测260(例如，帧内预测)可使用来自视频图片/切片中的经译码相邻块的样本(例如，参考样本)的像素来预测当前视频块。所述空间预测260可以减少例如视频信号中可能固有的空间冗余。运动预测262(例如，帧间预测和/或时间预测)可使用来自经译码视频图片的经重构像素(例如)来预测当前视频块。所述运动预测262可以减少例如视频信号中可能固有的时间冗余。可通过一个或多个运动向量(MV)用信号发送视频块(例如，CU)的运动预测信号(例如，时间预测信号)。所述MV可指示当前块与/或当前块的参考块或其时间参考之间的运动的量和/或方向。如果针对一(例如，每一)视频块支持多个参考图片，则可由编码器发送该视频块的参考图片索引。该参考图片索引可以用于标识运动预测信号可以从参考图片存储库264中的哪个参考图片导出。
在空间预测260和/或运动预测262之后，编码器中的模式决策块280可例如基于速率失真优化来确定预测模式(例如，最佳预测模式)。在216处，可从当前视频块减去预测块，和/或可使用变换204和/或量化206对预测残差进行去相关，以实现比特率，诸如目标比特率。经量化的残差系数可在逆量化210处逆量化和/或在变换212处逆变换，例如以形成经重构的残差，所述经重构的残差可在226处添加到预测块，例如以形成经重构的视频块。在经重构视频块可被放入参考图片存储库264中和/或用于对视频块(例如，未来视频块)进行译码之前，可在环路滤波器266处对经重构视频块应用环路内滤波(例如，解块化滤波器和/或自适应环路滤波器)。为了形成输出视频比特流220，译码模式(例如，帧间或帧内)、预测模式信息、运动信息和/或量化的残差系数可以被发送(例如，可以全部被发送)到熵译码模块208，例如，以被压缩和/或打包以形成比特流。
图3示出了用于解码器的示例性基于块的视频解码框架的框图。视频比特流302(例如，图2中的视频比特流220)可以在熵解码模块308处被解包(例如，首先被解包)和/或熵解码。所述译码模式和预测信息可以被发送到空间预测模块360(例如，如果被帧内译码)和/或运动补偿预测模块362(例如，如果被帧间译码和/或时间译码)以形成预测块。可将残差变换系数发送到逆量化模块310和/或逆变换模块312，例如以重构所述残差块。可在326处将预测块和/或残差块加在一起。所述重构块可在例如将该重构块存储在参考图片存储库364中之前在环路滤波器366处经历环路内滤波。所述参考图片存储库364中的经重构视频320可经发送以驱动显示设备和/或用于预测视频块(例如，未来视频块)。
如本文所述，仿射运动补偿可以用作帧间译码工具。
如本文所述，可使用用于视频译码的各种仿射模式和仿射运动模型。平移运动模型可应用于运动补偿预测。可能存在各种运动(例如，放大或缩小、旋转、透视运动和/或其他不规则运动)。仿射变换(例如，简化仿射变换)运动补偿预测可应用于预测。可用信号发送用于经帧间译码的CU(例如，每一经帧间译码的CU)的标志，例如以指示平移运动或仿射运动模型是否应用于帧间预测。
简化仿射运动模型可为四参数模型。在该模型的四个参数中，两个参数可以用于平移移动(例如，在水平方向和垂直方向)，一个参数可以用于缩放运动，并且一个参数可以用于旋转运动。水平缩放参数值可以等于垂直缩放参数值。水平旋转参数值可以等于垂直旋转参数值。可使用两个运动向量作为一对运动向量在两个控制点位置处(例如，在当前视频块或当前CU的左上角位置和右上角位置处)对四参数运动模型进行译码。如图5中所说明的，CU或块的仿射运动场可由两个控制点运动向量(例如，
Figure BDA0002868503700000221
)描述。基于控制点运动，运动场(vx,vy)可被确定如下：
Figure BDA0002868503700000222
Figure BDA0002868503700000223
其中(v0x,v0y)可以是左上角控制点的运动向量，而(v1x,v1y)可以是右上角控制点的运动向量。当以仿射模式对块进行译码时，可以基于例如子块的粒度来导出其运动场。例如，可通过使用等式(1)计算子块的中心样本的运动向量来导出该子块(例如，每一子块)的运动向量。该运动向量可舍入到准确度值(例如，1/16像素准确度)。所导出的运动向量可在运动补偿阶段用于产生当前块内部的子块(例如，每一子块)的预测信号。可以使用以下等式来计算应用于仿射运动补偿的子块的大小：
Figure BDA0002868503700000224
其中(v2x,v2y)可为左下控制点的运动向量，w和h可为CU宽度及CU高度，例如，如由等式(1)所计算，且M和N可为所导出的子块大小的宽度及高度。
仿射合并模式译码可用于译码CU。可以用预测译码来用信号发送与每一参考图片列表的两个控制点相关联的两组运动向量。可以应用仿射合并模式，并且可以使用无损译码方案对运动向量与其预测子之间的差进行译码。可以用信号发送可能显著的(例如，以低比特率)信令开销。仿射合并模式可以被应用以例如通过考虑运动场的局部连续性来减少信令开销。可导出当前CU的两个控制点处的运动向量。可使用CU的仿射合并候选的仿射运动来导出当前CU的运动向量，所述仿射合并候选可从其相邻块中选择。
如图6中所说明，举例来说，以仿射合并模式译码的当前CU可具有五个相邻块(N0到N4)。可以从N0到N4-N0,N1,N2,N3,N4的顺序检查该相邻块。第一仿射译码相邻块可用作仿射合并候选。如图7中所说明，当前CU可用仿射合并模式译码。当前CU的左下相邻块(例如，N0)可被选择作为仿射合并候选。左下方相邻块N0可属于相邻CU，CU0。包含块N0的CU的宽度和高度可表示为nw和nh。当前CU的宽度和高度可表示为cw和ch。在位置Pi的MV可以表示为(vix,viy)。在控制点P0处的MV(v0x,v0y)可以根据以下等式导出：
Figure BDA0002868503700000231
Figure BDA0002868503700000232
在控制点P1处的V(v1x,v1y)可以根据以下等式导出：
Figure BDA0002868503700000233
Figure BDA0002868503700000234
在控制点P2处的MV(v2x,v2y)可以根据以下等式导出：
Figure BDA0002868503700000235
Figure BDA0002868503700000236
一旦确定了两个控制点(例如，P0和P1)处的MV，就可以导出当前CU内的子块(例如，每个子块)的MV。该子块的所导出的MV可用于未来图片译码的基于子块的运动补偿和时间运动向量预测。
可以执行仿射MV预测。对于非合并仿射译码的CU，在控制点处的MV的信令可与高信令成本相关联。预测译码可以用于减少信令开销。仿射MV预测子可从其相邻译码块的运动产生。对于仿射译码CU的MV预测，可以支持各种预测子。举例来说，从控制点的相邻块产生的仿射运动预测子和/或用于MV预测的平移运动预测子。所述平移运动预测子可用作所述仿射运动预测子的补充。
可获得多个MV集合且使用其产生多个仿射运动预测子。如图8所示，MV集合可以包括以下：来自角落P0的相邻块{A,B,C}的MV，其可以包括集合S1，并且可以表示为{MVA,MVB,MVC}；来自角落P1的邻近块{D,E}的MV，其可包含集合S2且可表示为{MVD,MVE}；和/或来自角落P2的相邻块{F,G}的MV，其可以包括集合S3并且可以被表示为{MVF,MVG}。来自相邻块的MV可以如下导出。例如，可检查空间相邻块是否为帧间译码块。MV可被直接使用。所述相邻块的参考图片可与当前CU的参考图片相同。例如，如果相邻块的参考图片不同于当前CU的参考图片，则可以根据时间距离缩放MV。如图9所示，当前CU的当前图片902和参考图片904之间的时间距离可以表示为TB。当前图片902和相邻块906的参考图片之间的时间距离可以表示为TD。相邻块的MV1可使用以下来缩放：
Figure BDA0002868503700000241
其中MV2可用于运动向量集合。
例如，如果相邻块不是帧间译码块，则可以检查并置(collocated)参考图片中的并置块。例如，如果时间并置块是帧间译码块，则可以基于时间距离根据等式(9)来缩放MV。例如，如果时间并置块不是帧间译码块，则可以将相邻块中的MV设置为零。
仿射MV预测子可以通过从MV的集合中选择MV来生成。例如，可以有三个MV集合，例如S1、S2和S3。S1、S2和S3的大小可以分别是3、2和2。在这样的示例中，可以存在12个(例如，3×2×2)可能的组合。例如，如果由一个或多个MV表示的缩放或旋转相关参数的幅度大于阈值，则可以丢弃候选MV。所述阈值可以是预定义的。对于CU的三个角(例如左上、右上和左下)，组合可以表示为(MV0,MV1,MV2)。可以如下来检查条件MV：
Figure BDA0002868503700000251
其中T可以是1/2。例如如果满足所述条件(例如缩放或旋转太大)，则可以丢弃所述候选MV。
剩余的候选可以被排序。三个MV的三元组可以表示6参数运动模型(例如，包括水平和垂直方向上的平移、缩放和旋转)。排序标准可以是6参数运动模型和由(MV0,MV1)表示的4参数运动模型之间的差。具有较小差异的候选可在经排序候选列表中具有较小索引。由(MV0,MV1,MV2)表示的仿射运动和由(MV0,MV1)表示的仿射运动之间的差可以根据以下等式来估计：
Figure BDA0002868503700000252
仿射运动模型可用于增加译码效率。举例来说，可针对大CU，用信号发送两个控制点处的MV。可内插CU内的子块的运动向量。子块(例如，每一子块)的运动可(例如)归因于缩放或旋转移动而不同。当译码块选择仿射运动模型而不是平移运动模型时，控制点可例如在仿射运动模型中是固定的。所使用的控制点可以是固定的，例如译码块的左上角和右上角。仿射MV的运动向量精度可以是固定的(例如1/4像素)。当子块的垂直位置y大于等式(1)中的块宽度(w)时，可以利用放大(y/w)。
当使用仿射合并模式时，来自{N0,N1,N2,N3,N4}的第一可用相邻块可能不是最佳相邻块。从来自合并候选的仿射MV导出(例如，如在等式()到()中提供的)，准确度可以与合并候选的宽度有关(例如，如在等式()到()中的“nw”所示)。第一仿射合并候选可能不具有用于仿射MV导出的最佳准确度。在仿射MV预测中，基于等式(10)的条件检查可丢弃具有大缩放或旋转的候选。所丢弃的候选可以被添加回到所述列表。
本文可揭示用于基于仿射运动模型的译码的系统、方法及手段。如本文所公开的，可以使用基于自适应控制点选择的仿射运动译码。在基于自适应控制点选择的仿射运动译码中，可以基于块的形状，自适应地选择控制点位置。例如，可以基于块是水平矩形块、垂直矩形块还是正方形块来选择一个或多个控制点。可以基于两个控制点之间的距离，从相邻块中选择仿射合并候选。例如，可以选择具有最高控制点距离的仿射合并候选。可以执行仿射预测子生成，使得具有大缩放或旋转移动的候选可以被放置在预测子列表的后面。
可以使用具有自适应控制点选择的基于仿射运动的译码。对于以仿射模式译码的视频块，例如，视频块的左上角和右上角可用作控制点。可使用两个控制点处的MV(例如，基于等式(1))来导出子块(例如，与视频块相关联的每一子块)的运动。导出准确度可以与块宽度(例如，两个控制点之间的距离)相关。一些子块可能远离所述两个控制点(例如，如由图10的视频块1010说明的P0和P1)。因此，使用P0和P1处的MV得到的运动可能受到影响。
可以执行形状相关的控制点选择。视频块可分类为若干类别，例如，水平矩形块、垂直矩形块或正方形块。例如，如果块的宽度大于高度，则块可以被分类为水平矩形。水平矩形块的控制点可由左上角(例如，P0)和右上角(例如，P1)来定义，例如，如图10的块1010所示。如果块的宽度小于高度，则块可以被分类为垂直矩形。垂直矩形块的控制点可由左上角(例如，P0)和左下角(例如，P2)界定，例如，如由图10的块1020说明。例如，如果块的宽度等于高度，则块可以被分类为正方形块。例如，如图10的框1030所示，可以通过右上角(例如，P1)和左下角(例如，P2)来定义正方形块的控制点。
对于水平矩形块，可以使用控制点P0和P1。水平矩形块的子块的MV可基于等式(1)导出。
对于垂直矩形块，可以使用控制点P0和P2。垂直矩形块的子块的MV可以如下导出。假设子块的中心相对于块的左上角的位置由(x，y)表示，并且以(x，y)为中心的子块的MV由(vx，vy)表示。此外，假设块宽度表示为w，块高度表示为h，并且在P0和P2处的MV表示为(v0x，v0y)，(v2x，v2y)，则以(x，y)为中心的水平矩形块的子块的MV被导出如下：
Figure BDA0002868503700000271
Figure BDA0002868503700000272
对于正方形块，可以使用控制点P1和P2。属于该正方形块的子块的MV可以如下导出：
vx＝v1x+a*(x-w)-b*y (14)
vy＝v1y+b*(x-w)+a*y (15)
其中a和b可以如下计算：
a＝(-(v2x-v1x)*w+(v2y-v1y)*h)/(w*w+h*h) (16)
b＝(-(v2x-v1x)*h-(v2y-v1y)*w)/(w*w+h*h) (17).
假设在正方形块的情况下w等于h，则可以将a和b简化如下：
a＝(-(v2x-v1x)+(v2y-v1y))/(2w) (18)
b＝(-(v2x-v1x)-(v2y-v1y))/(2w) (19).
可用信号发送指示仿射译码CU的控制点选择的模式。举例来说，对于仿射译码CU，可用信号发送指示正使用哪些控制点的模式。例如，该模式可指示控制点P0、P1正在水平方向使用，或者控制点P0、P2正在垂直方向使用，或者控制点P1、P2正在对角线方向使用。可以基于运动估计成本或率失真成本来确定控制点模式。例如，对于视频块(例如，每个块)，编码器可以使用不同的控制点选择模式来尝试仿射运动估计，以获得每个可能的控制点选择的预测误差。编码器可以例如通过将运动预测失真和控制点MV比特成本相加来选择具有最低运动估计成本的模式。
可以使用具有最大控制点距离的仿射合并候选选择。可使用等式(3)-(8)从合并候选的MV导出当前视频块的控制点处的MV。运动向量推导的精度可以取决于其相邻块的两个控制点之间的距离。两个控制点之间的距离可以是块的宽度。在如本文所述的形状相关控制点选择中，可以基于块形状来测量两个控制点之间的距离。两个控制点之间的距离的平方可用于从相邻块(例如，{N0,N1,N2,N3,N4}，如图6中所说明的)选择仿射合并候选。例如，如果距离较大，当前块的运动导出的准确度可较高。可以选择具有最大控制点距离的仿射合并候选，以导出MV，例如，如图11所示。可以按顺序检查候选列表中的仿射合并候选(例如，所有仿射合并候选)，例如，如图6所示。如图11所示，在1102，可以从可用相邻块的列表中选择候选相邻块Nk。在1104，可以检查所选择的相邻块Nk的仿射模式。在检查仿射模式对于所选相邻块Nk被启用之后，在1106，可以计算两个控制点之间的距离D。该距离D可以基于块形状来计算。在1106处，可选择具有最大控制点距离的合并候选作为当前块的仿射合并候选，以导出该当前块的控制点处的MV。在1110，检查所有候选都已被评估。
可以用信号发送仿射合并索引。两个控制点之间的距离可用于在合并候选列表中对所述可用合并候选进行排序。最终仿射合并候选可以以以下方式导出。可从相邻块获得可用的仿射合并候选(例如，所有可用的仿射合并候选)。可以针对所述列表中的候选(例如，每个候选)，计算两个控制点之间的距离。所述仿射合并候选列表可以例如以控制点距离的降序而被排序。可使用针对译码块用信号发送的合并索引，从所述所排序的列表中选择最终仿射合并候选。
仿射MV预测可以如本文所述地执行。仿射MV预测子生成中的候选排序可以通过例如检查条件(10)或使用如以下等式中提供的标准来执行：
Figure BDA0002868503700000291
其中如果缩放或旋转移动太大，则可以调整A1和A2。A1和A2可以使用以下等式来计算：
Figure BDA0002868503700000292
Figure BDA0002868503700000293
其中T1和T2可以是预定义的阈值(例如，T1＝3,T2＝1/4)，并且w和h可以是译码块的宽度和高度。使用等式(20)中提供的排序标准，具有大的缩放或旋转移动的候选可以被放置在预测子列表的后面。
可使用用于仿射运动补偿、运动向量预测和/或解块化的统一控制点MV。如本文所描述，当启用仿射模式时，CU可被划分成具有相等大小的若干子块(例如，4×4子块)。子块(例如，每个子块)可被指派一可使用仿射模式导出的MV(例如，一个唯一MV)。例如，所述仿射模式可以是4参数仿射模式或6参数仿射模式。可在CU层级用信号发送所述仿射模式。子块(例如，每一子块)的中心位置可用于基于选定仿射模式来导出所述子块的对应MV。(i,j)子块的MV
Figure BDA0002868503700000301
可以从在仿射CU的左上角、右上角和左下角的三个控制点MV v0,v1和v2导出如下：
Figure BDA0002868503700000302
其中(i,j)可为CU内的子块的水平索引和垂直索引；wsb和hsb可以是(例如一个)子块的宽度和高度(例如可以等于4)。CU可具有一个或多个不包括所述控制点位置的子锁。例如，4参数仿射模式的左上和右上位置，以及6参数仿射模式的左上、右上和左下位置可以不包括所述控制点位置。在这种情况下的MV可以如等式(23)中提供的那样而被计算。这些MV可用于在运动补偿期间产生子块的预测样本。所述MV可用于预测CU的空间和时间相邻块的MV。所述MV可用于计算用于解块化滤波器的边界强度值。对于位于所述控制点位置的子块，其MV可被用作种子以通过仿射合并模式导出其相邻块的控制点MV。为了维持仿射合并模式的MV精度，等式(23)中的MV可在运动补偿时用于控制点子块(例如，每一控制点子块)。对于空间/时间MV预测和解块化，它们的MV可以被相应的控制点MV代替。举例来说，对于由4参数仿射模型译码的CU，可用于MV预测和解块化的其左上和右上子块的MV可如下计算：
Figure BDA0002868503700000311
对于以6参数仿射模式译码的CU，可用于MV预测和/或解块化的左上、右上和左下子块的MV可如下计算：
Figure BDA0002868503700000312
图12示出了产生可用仿射模式译码的CU的运动场的示例。基于图12中所示的工作流程，可以保持仿射运动补偿和MV预测的MV精度。图12中所示的工作流程可以以许多方式使用。举例来说，对于包括CU的控制点位置的子块(例如，与该CU相关联的每一子块)，可导出和/或存储一个或多个不同MV。在一个示例中，MV可以基于等式(23)导出，并且可以用于生成所述子块的预测样本。在示例中，MV可以基于等式(24)和(25)导出，并且可以用于MV预测和解块化。
对于在控制点位置的子块(例如，每个子块)，其MV可以被设置(例如，初始设置)为对应的控制点MV。该MV可被设置为所述对应的控制点MV，以在解析阶段导出其相邻块的MV。在运动补偿阶段，可通过使用中心位置作为对选定仿射模型的输入来重新计算所述子块的MV。可针对在控制点位置(例如，每一控制点位置)处的子块，存储一个或多个不同MV。可以两次导出控制点位置(例如，每个控制点位置)处的子块的MV。
可统一在用于通过仿射模式译码的CU的不同译码过程处使用的运动场。举例来说，如图13中所说明，可将用于空间/时间MV预测和解块化的MV(例如，如等式(24)和(25)所指示)重新用于产生仿射CU内的控制点子块的预测样本。对于位于仿射CU的控制点位置处的子块，可在运动补偿阶段重新使用基于该子块的中心位置(例如，根据等式(23))导出的MV。该MV可以是用于空间/时间MV预测的MV预测子。所述MV可用于计算解块化过程的边界强度。图14示出了用于导出仿射CU的运动场的工作流程。
可以使用运动向量裁剪。举例来说，当启用与视频块或CU相关联的仿射模式时，可使用运动向量裁剪。当启用仿射模式时，所述CU可被划分为一个或多个子块。与CU相关联的子块可在大小上相等(例如，4×4)。可向与CU相关联的子块指派MV。例如，指派给CU的每个MV的MV可以是唯一的MV。例如，可以通过使用4参数仿射模式或6参数仿射模式来导出所指派的MV。可在CU层级用信号发送仿射模式的类型(4参数仿射模式或6参数仿射模式)。所导出的与CU相关联的MV可存储于运动场中且可使用有限位深度(例如，VVC中的16位)来表示。当导出子块MV时，所计算的MV的值可能在可基于所述运动场位深度表示的值的范围之外。所计算的MV在值的范围之外可能导致算术下溢和/或上溢问题。即使当控制点MV在由运动场比特深度指定的范围内时，也可能发生这种下溢和/或上溢问题。例如在导出MV之后，可以裁剪该MV。裁剪该MV可导致可使用变化的位深度值的各种系统之间的类似行为。举例来说，视频编码设备可使用可高于由视频解码设备使用的位深度值的位深度值，或反之亦然。
可根据以下等式26来裁剪子块(i,j)的MV
Figure BDA0002868503700000331
Figure BDA0002868503700000332
其中N可以是用于运动场存储的位深度(例如，N＝16)。如等式(26)中所指示，可基于运动场范围来裁剪子块(i,j)的MV
Figure BDA0002868503700000333
所述运动场范围可以是运动场存储位深度(MFSBD)值。该MFSBD可以用位的数量(例如，16位、18位)来表示。
可基于可与用于运动场存储的位深度值相同的位深度值来裁剪一个或多个控制点MV。可以裁剪控制点MV。例如，可以在子块MV导出之后裁剪控制点MV。控制点MV可被裁剪以维持导出MV的精度。控制点MV可具有比运动场存储位深度高的精度。举例来说，用于子块导出的控制点MV可具有比可考虑运动场存储位深度而表示的值范围高的精度(例如，可具有更多个位)。所述控制点MV可被裁剪并存储以用于相邻块的仿射合并导出。例如，可以在导出之后，裁剪并存储所述控制点MV。
可以使用各种机制来导出子块MV。例如，可以使用平面运动向量预测和/或基于回归的运动向量场。与CU中的每一子块相关联的MV可从CU的相邻块的MV导出。例如，与每个子块相关联的MV可以基于CU的相邻块的控制点MV来导出。所导出的子块MV可以被存储在运动场中以用于将来的译码。可基于运动场存储位深度的值来裁剪所导出的MV以避免上溢和/或下溢问题。
仿射译码的CU的控制点MV和/或子块MV可以用于MV预测，例如，当预测相邻块时。由MV所指向的参考区域可能在图片边界之外和/或可能远离图片边界，例如，这可发生在即使当基于运动场存储位深度来裁剪MV时。
仿射控制点MV和/或仿射子块MV可被裁剪在范围值内。所述范围值可由图片边界加上边距(margin)来指定，以允许在导出仿射译码CU的MV时，子块的一部分在所述图片外部。举例来说，可裁剪和/或缩放控制点MV，使得仿射运动补偿之后所得的参考块由所述图片边界定界(例如，考虑额外的边距)。可对子块MV进行裁剪，使得运动补偿之后的所得参考子块与参考图片重叠至少一个样本。
图15示出了修改一个或多个控制点MV以缩放参考块的示例。如图15所示，可以修改与初始参考块1506相关联的一个或多个初始控制点MV vi，使得所述参考块被缩放为完全包含在期望范围内。例如，该范围可以基于图片边界1502加上边距1504。如图15中进一步所示，可以基于缩放的参考块1508的坐标来确定修改的控制点MV vm。在一个示例中，可以修改初始控制点MV，使得所述参考块被缩放为完全包含在一范围值内。该范围值可以基于所述图片边界1502加上边距1504。
图16示出了修改控制点MV以包含参考块的示例。如图16所示，初始控制点MV v2 i可被修改，使得初始参考块1606在有效区域1604之外。该有效区域1604可以基于图片边界1602加上边距1604。可修改所述初始控制点MV v2 i，使得修改的参考块1608的左下角被选择为初始参考块1606和有效区域1604之间的交叉。可以使用各种机制来修改控制点MV(例如，所有)控制点MV。可以评估各种技术，并且可以选择可以产生最佳性能的技术。举例来说，可从仿射控制点MV导出子块MV(例如，每一子块MV)。可以对导出的子块MV应用裁剪。例如，可以基于子块相对于图片边界的位置来应用裁剪。在一示例中，可裁剪子块MV(例如，每一子块MV)，使得相关联的参考子块与参考图片重叠一个或多个样本。举例来说，可在
Figure BDA0002868503700000341
之间通过使用等式(27)和(28)来裁剪子块MV的水平分量：
Figure BDA0002868503700000351
Figure BDA0002868503700000352
其中Wpic和WSB可以分别是图片宽度和子块宽度。xSB可以是图片内子块的左上角的水平坐标。子块MV的垂直分量可以通过使用等式(29)和(30)在
Figure BDA0002868503700000353
Figure BDA0002868503700000354
之间被裁剪：
Figure BDA0002868503700000355
Figure BDA0002868503700000356
其中Hpic和HSB可以分别是图片高度和子块高度。o可以是用于滤波操作的偏移。ySB可以是图片内子块的左上角的垂直坐标。可使用相对于图片边界的CU左上位置(例如，而非子块位置)。
尽管上述按照特定组合描述了特征和元素，但是本领域技术人员将理解的是每个特征或元素可以被单独使用或以与其它特征和元素的任何组合来使用。此外，于此描述的方法可以在嵌入在计算机可读介质中由计算机或处理器执行的计算机程序、软件或固件中实施。计算机可读媒体的示例包括电子信号(通过有线或无线连接传输)和计算机可读存储媒体。计算机可读存储媒体的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、诸如内部硬盘和可移除磁盘之类的磁媒体、磁光媒体、以及诸如CD-ROM碟片和数字多用途碟片(DVD)之类的光媒体。与软件相关联的处理器可以用于实施在WTRU、UE、终端、基站、RNC或任意主计算机中使用的射频收发信机。

Claims (15)

1.一种由视频译码设备实施以用于执行视频译码的方法，所述方法包括：
确定仿射模式被启用以用于当前视频块，其中所述当前视频块包括多个子块；
确定与所述视频块相关联的多个控制点仿射运动向量；
基于所述多个控制点仿射运动向量中的至少一者，导出与所述多个子块中的子块相关联的子块运动向量；
基于运动场范围，裁剪所述子块运动向量；以及
使用所述所裁剪的子块运动向量，预测所述子块。
2.根据权利要求1所述的方法，进一步包括：存储所述所裁剪的子块运动向量以用于空间运动向量预测或时间运动向量预测。
3.根据权利要求1所述的方法，其中与所述当前视频块相关联的所述多个控制点仿射运动向量中的至少一者是使用与一个或多个相邻视频块相关联的一个或多个控制点仿射运动向量来确定的。
4.根据权利要求1所述的方法，还包括：基于用于运动场存储的位深度，裁剪与所述当前视频块相关联的所述多个控制点仿射运动向量。
5.根据权利要求4的方法，还包括：存储所述多个所裁剪的控制点仿射运动向量，以用于相邻控制点仿射运动向量的运动向量预测。
6.根据权利要求1所述的方法，其中所述运动场范围用于运动场存储。
7.根据权利要求1所述的方法，其中所述运动场范围是基于位深度值的。
8.根据权利要求1所述的方法，还包括：
确定所述当前视频块的长度和所述当前视频块的宽度；以及
基于所述当前视频块的所述长度和所述当前视频块的所述宽度，确定与所述当前视频块的所述多个控制点仿射运动向量相关联的多个控制点位置。
9.根据权利要求8所述的方法，其中在所述当前视频块的所述宽度大于所述当前视频块的所述长度的条件下，所述多个控制点位置被确定为包含左上控制点和右上控制点。
10.根据权利要求8所述的方法，其中在所述当前视频块的所述宽度小于所述当前视频块的所述长度的条件下，所述多个控制点位置被确定为包含左上控制点和左下控制点。
11.根据权利要求8所述的方法，其中在所述当前视频块的所述宽度等于所述当前视频块的所述长度的条件下，所述多个控制点位置被确定为左下控制点和右上控制点。
12.一种视频译码设备，其包括：
处理器，其被配置为至少：
确定仿射模式针对当前视频块而被启用，其中所述当前视频块包括多个子块；
确定与所述视频块相关联的多个控制点仿射运动向量；
基于所述多个控制点仿射运动向量中的至少一者，导出与所述多个子块中的子块相关联的子块运动向量；
基于运动场范围，裁剪所述子块运动向量；以及
使用所述所裁剪的子块运动向量，预测所述子块。
13.根据权利要求12所述的视频译码设备，其中所述处理器进一步被配置以存储所述所裁剪的子块运动向量以用于空间运动向量预测或时间运动向量预测。
14.根据权利要求12所述的视频译码设备，其中与所述当前视频块相关联的所述多个控制点仿射运动向量中的至少一者是通过使用与一个或多个相邻视频块相关联的一个或多个控制点仿射运动向量而被确定的。
15.根据权利要求12所述的视频译码设备，其中所述处理器进一步被配置以基于用于运动场存储的位深度，裁剪与所述当前视频块相关联的所述多个控制点仿射运动向量。
CN201980044216.9A 2018-06-29 2019-06-27 用于基于仿射运动模型的视频译码的自适应控制点选择 Pending CN112335247A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862691770P 2018-06-29 2018-06-29
US62/691,770 2018-06-29
US201862734728P 2018-09-21 2018-09-21
US62/734,728 2018-09-21
US201862778055P 2018-12-11 2018-12-11
US62/778,055 2018-12-11
PCT/US2019/039611 WO2020006304A1 (en) 2018-06-29 2019-06-27 Adaptive control point selection for affine motion model based video coding

Publications (1)

Publication Number Publication Date
CN112335247A true CN112335247A (zh) 2021-02-05

Family

ID=67263124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980044216.9A Pending CN112335247A (zh) 2018-06-29 2019-06-27 用于基于仿射运动模型的视频译码的自适应控制点选择

Country Status (9)

Country Link
US (1) US11503328B2 (zh)
EP (1) EP3815375A1 (zh)
JP (1) JP2021529462A (zh)
KR (1) KR20210038846A (zh)
CN (1) CN112335247A (zh)
CA (1) CA3105072A1 (zh)
SG (1) SG11202012967VA (zh)
WO (1) WO2020006304A1 (zh)
ZA (1) ZA202100014B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220009952A (ko) 2019-05-21 2022-01-25 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브블록 머지 모드에서의 신택스 시그널링
JP7302037B2 (ja) * 2019-06-19 2023-07-03 エルジー エレクトロニクス インコーポレイティド 画像コーディングにおいて変換カーネルセットを表す情報のシグナリング
KR20210006306A (ko) * 2019-07-08 2021-01-18 현대자동차주식회사 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치
US11317111B2 (en) * 2019-09-29 2022-04-26 Qualcomm Incorporated Affine coding with vector clipping
KR20220078600A (ko) 2019-10-18 2022-06-10 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브픽처들의 파라미터 세트 시그널링에서의 신택스 제약들
WO2022026888A1 (en) * 2020-07-30 2022-02-03 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatuses for affine motion-compensated prediction refinement
WO2023171988A1 (ko) * 2022-03-11 2023-09-14 현대자동차주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103583044A (zh) * 2011-01-31 2014-02-12 韩国电子通信研究院 用于使用运动向量来编码/解码图像的方法和设备
WO2017157259A1 (en) * 2016-03-15 2017-09-21 Mediatek Inc. Method and apparatus of video coding with affine motion compensation
TW201739252A (zh) * 2016-03-15 2017-11-01 聯發科技股份有限公司 具有仿射運動補償的視訊編碼的方法以及裝置
WO2018061563A1 (ja) * 2016-09-27 2018-04-05 シャープ株式会社 アフィン動きベクトル導出装置、予測画像生成装置、動画像復号装置、および動画像符号化装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7206346B2 (en) 1997-06-25 2007-04-17 Nippon Telegraph And Telephone Corporation Motion vector predictive encoding method, motion vector decoding method, predictive encoding apparatus and decoding apparatus, and storage media storing motion vector predictive encoding and decoding programs
US9083983B2 (en) * 2011-10-04 2015-07-14 Qualcomm Incorporated Motion vector predictor candidate clipping removal for video coding
WO2016008157A1 (en) * 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
US10491922B2 (en) * 2015-09-29 2019-11-26 Qualcomm Incorporated Non-separable secondary transform for video coding
US20190273943A1 (en) * 2016-10-10 2019-09-05 Sharp Kabushiki Kaisha Systems and methods for performing motion compensation for coding of video data
US10681370B2 (en) * 2016-12-29 2020-06-09 Qualcomm Incorporated Motion vector generation for affine motion model for video coding
US10873760B2 (en) * 2017-04-07 2020-12-22 Futurewei Technologies, Inc. Motion vector (MV) constraints and transformation constraints in video coding
EP3410717A1 (en) 2017-05-31 2018-12-05 Thomson Licensing Methods and apparatus for candidate list pruning
US20190116376A1 (en) * 2017-10-12 2019-04-18 Qualcomm Incorporated Motion vector predictors using affine motion model in video coding
WO2019192491A1 (en) * 2018-04-02 2019-10-10 Mediatek Inc. Video processing methods and apparatuses for sub-block motion compensation in video coding systems
WO2019235797A1 (ko) * 2018-06-03 2019-12-12 엘지전자 주식회사 축소된 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
KR20230156805A (ko) * 2018-06-06 2023-11-14 엘지전자 주식회사 인트라 예측 모드에 기초하여 변환 인덱스 코딩을 수행하는 방법 및 이를 위한 장치
US10798394B2 (en) * 2018-06-27 2020-10-06 Avago Technologies International Sales Pte. Limited Low complexity affine merge mode for versatile video coding
US10863193B2 (en) * 2018-06-29 2020-12-08 Qualcomm Incorporated Buffer restriction during motion vector prediction for video coding
CN112640452A (zh) * 2018-08-29 2021-04-09 Vid拓展公司 用于基于仿射运动模型的视频译码的自适应运动向量精度
TWI729483B (zh) 2018-09-04 2021-06-01 聯發科技股份有限公司 視訊編解碼系統的運動向量湊整統一的方法以及裝置
CN117097895A (zh) * 2018-09-23 2023-11-21 Lg 电子株式会社 编码/解码视频信号的方法及其装置
CN112740663B (zh) * 2018-09-24 2022-06-14 华为技术有限公司 图像预测方法、装置以及相应的编码器和解码器
EP3903487A4 (en) * 2018-12-28 2022-09-21 Telefonaktiebolaget Lm Ericsson (Publ) METHOD AND DEVICE FOR TRANSFORMATION SELECTION IN AN ENCODER AND DECODER
US11089325B2 (en) * 2019-02-08 2021-08-10 Qualcomm Incorporated Constrained affine motion inheritance for video coding
US10986334B2 (en) * 2019-03-09 2021-04-20 Tencent America LLC Method and apparatus for video coding
US20220053206A1 (en) * 2019-05-15 2022-02-17 Wilus Institute Of Standards And Technology Inc. Video signal processing method and apparatus using adaptive motion vector resolution
US11032572B2 (en) * 2019-05-17 2021-06-08 Qualcomm Incorporated Low-frequency non-separable transform signaling based on zero-out patterns for video coding
US11949870B2 (en) * 2019-06-21 2024-04-02 Qualcomm Incorporated Context modeling for low-frequency non-separable transformation signaling for video coding
US11677984B2 (en) * 2019-08-20 2023-06-13 Qualcomm Incorporated Low-frequency non-separable transform (LFNST) signaling
US11184617B2 (en) * 2019-09-19 2021-11-23 Qualcomm Incorporated Transform unit design for video coding
US11153576B2 (en) * 2019-09-20 2021-10-19 Qualcomm Incorporated Scaling matrices and signaling for video coding
US11206400B2 (en) * 2019-09-26 2021-12-21 Qualcomm Incorporated Low-frequency non-separable transform (LFNST) simplifications
US11228787B2 (en) * 2019-11-27 2022-01-18 Mediatek Inc. Signaling multiple transmission selection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103583044A (zh) * 2011-01-31 2014-02-12 韩国电子通信研究院 用于使用运动向量来编码/解码图像的方法和设备
WO2017157259A1 (en) * 2016-03-15 2017-09-21 Mediatek Inc. Method and apparatus of video coding with affine motion compensation
TW201739252A (zh) * 2016-03-15 2017-11-01 聯發科技股份有限公司 具有仿射運動補償的視訊編碼的方法以及裝置
WO2018061563A1 (ja) * 2016-09-27 2018-04-05 シャープ株式会社 アフィン動きベクトル導出装置、予測画像生成装置、動画像復号装置、および動画像符号化装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SIXIN LIN，ET AL: "Afine transform prediction for next generation video coding", 113. MPEG MEETING, pages 1 - 2 *

Also Published As

Publication number Publication date
US11503328B2 (en) 2022-11-15
CA3105072A1 (en) 2020-01-02
JP2021529462A (ja) 2021-10-28
WO2020006304A1 (en) 2020-01-02
US20210274209A1 (en) 2021-09-02
KR20210038846A (ko) 2021-04-08
SG11202012967VA (en) 2021-01-28
EP3815375A1 (en) 2021-05-05
ZA202100014B (en) 2023-10-25

Similar Documents

Publication Publication Date Title
JP7390300B2 (ja) ビデオコーディングにおける適応ループフィルタを簡略化する方法
CN112806005B (zh) 用于视频译码的双向预测
JP7168593B2 (ja) 双方向オプティカルフローに基づいた動き補償予測
CN111480341A (zh) 用于合并模式的解码器侧运动矢量细化和子块运动导出
CN111630855A (zh) 基于局部照明补偿的运动补偿双向预测
CN111316649A (zh) 重叠块运动补偿
CN112335247A (zh) 用于基于仿射运动模型的视频译码的自适应控制点选择
CN112166608A (zh) 采用简化梯度推导的双向光流方法
JP7307184B2 (ja) オプティカルフローを用いたインター予測リファインメントのためのシステム、装置、および方法
CN113228634A (zh) 组合的帧内及帧间预测
CN111316651A (zh) 多类型树编码
CN113316936A (zh) 基于历史的运动向量预测
US11943467B2 (en) Affine motion estimation for affine model-based video coding
CN113383542A (zh) 使用合并模式运动向量候选对象的改善的帧内平面预测
US20230073342A1 (en) Adaptive control point selection for affine motion model based video coding
CN113615186B (zh) 对称运动矢量差译码
CN113615186A (zh) 对称运动矢量差译码

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination