CN112166608A

CN112166608A - 采用简化梯度推导的双向光流方法

Info

Publication number: CN112166608A
Application number: CN201980034247.6A
Authority: CN
Inventors: 贺玉文; 修晓宇; 叶艳
Original assignee: Vid Scale Inc
Current assignee: Vid Scale Inc
Priority date: 2018-04-06
Filing date: 2019-04-05
Publication date: 2021-01-01
Also published as: WO2019195643A1; US20210029378A1; EP3777159A1; JP2021520710A; RU2020135518A; US11575933B2; US20230188748A1

Abstract

一种视频译码设备可被配置成对译码单元(CU)执行定向双向光流(BDOF)细化。所述设备可确定执行定向BDOF细化的方向。所述设备可计算针对所述CU的垂直方向梯度差及水平方向梯度差。所述垂直方向梯度差可指示针对第一参考图片的垂直梯度与针对第二参考图片的垂直梯度之间的差。所述水平方向梯度差可指示针对第一参考图片的水平梯度与针对第二参考图片的水平梯度之间的差。所述视频译码设备可基于所述垂直方向梯度差及所述水平方向梯度差，确定在其上执行定向BDOF细化的方向。所述视频译码设备可在所确定的方向上执行定向BDOF细化。

Description

采用简化梯度推导的双向光流方法

交叉引用

本申请要求2018年4月6日递交的申请号为No.62/653,674的美国临时申请的权益，其内容通过引用并入本文。

背景技术

视频译码系统广泛用于压缩数字视频信号，以减少这种信号的存储需求和/或传输带宽。在各种类型的视频译码系统中，例如基于块、基于小波和基于对象的系统，基于块的混合视频译码系统被广泛使用和部署。基于块的视频译码系统的示例可以包括国际视频译码标准，例如MPEG1/2/4第2部分、H.264/MPEG-4第10部分、AVC、VC-1和高效视频译码(HEVC)。

发明内容

一种视频译码设备可被配置成在译码单元(CU)上执行定向双向光流(BDOF)细化。视频译码设备可为或可包括编码器和/或解码器。视频译码可指代编码和/或解码。所述设备可确定在其上执行定向BDOF细化的方向。所述设备可计算针对CU的垂直方向梯度差及水平方向梯度差。垂直方向梯度差可指示第一参考图片中的垂直梯度与针对第二参考图片的垂直梯度之间的差。水平方向梯度差可以指示第一参考图片中的水平梯度与针对第二参考图片的水平梯度之间的差。所述视频译码设备可基于所述垂直方向梯度差及所述水平方向梯度差，确定在其上执行定向BDOF细化的方向。所述视频译码设备可在所述所确定的方向上执行定向BDOF细化。举例来说，定向BDOF细化可包括在垂直方向上执行BDOF细化或在水平方向上执行定向BDOF细化。

一种视频译码设备可被配置成确定执行定向BDOF细化的方向。如本文所描述，在其上执行定向BDOF细化的方向可基于与CU相关联的垂直方向梯度差及与CU相关联的水平方向梯度差。视频译码设备可将梯度差与阈值(例如，第一阈值和/或第二阈值)进行比较。当与所述CU相关联的垂直方向梯度差大于第一阈值时，所述视频译码设备可在垂直方向上执行定向BDOF细化。当与所述CU相关联的水平方向梯度差大于第二阈值时，所述视频译码设备可在水平方向上执行定向BDOF细化。第一阈值和第二阈值可以是可变的、静态的(例如，预先配置的)或半静态的。例如，第一阈值和第二阈值可以是可变的，并且第一阈值可以是或可以包括水平方向梯度差，并且第二阈值可以是或可以包括垂直方向梯度差。

一种视频译码设备可被配置成确定是否对CU执行BDOF细化，其可包括：在垂直方向上进行定向BDOF细化、在水平方向上进行定向BDOF细化和在垂直方向和水平方向上执行定向BDOF细化。所述视频译码设备可被配置成基于与所述CU相关联的一个或多个特性，来确定是否对所述CU执行BDOF细化。所述视频译码设备可基于与所述CU相关联的帧间译码模式和/或与所述CU相关联的尺寸，来确定是否执行BDOF细化。举例来说，如果与CU相关联的帧间译码模式支持子CU预测，那么视频译码设备可确定跳过BDOF细化。

一种视频译码设备可被配置成对CU执行BDOF细化。所述视频译码设备可识别与所述CU的参考CU相关联的运动矢量。运动矢量可包括一个或多个运动分量(例如，第一运动分量及第二运动分量)。运动分量可包括整数运动分量或非整数(例如，分数)运动分量。例如，运动分量可包括非整数运动分量。所述设备可例如通过将梯度滤波器应用于参考CU的整数位置处的参考样本，来计算与CU相关联的方向梯度。举例来说，如果运动分量包括非整数运动分量，那么视频译码设备可识别对应于非整数运动分量的整数位置。所述视频译码设备可在第一方向上将梯度滤波器应用于所述参考CU的所述整数位置处的所述参考样本。举例来说，与参考CU相关联的整数位置处的一个或多个参考样本(一个或多个)可近似其在参考CU中的分数位置处的对应样本(一个或多个)。与所述CU相关联的所述方向梯度可用于计算针对所述CU的所述垂直方向梯度差或与所述CU相关联的所述水平方向梯度差。

附图说明

图1A是示出了可以实现一个或多个所公开的实施例的示例通信系统的系统图。

图1B是示出根据实施例的可以在图1A所示的通信系统中使用的示例性无线发射/接收单元(WTRU)的系统图。

图1C是示出根据实施例的可以在图1A中示出的通信系统内使用的示例无线电接入网络(RAN)和示例核心网络(CN)的系统图。

图1D是示出根据实施例的可以在图1A中所示的通信系统内使用的另一示例RAN和另一示例CN的系统图。

图2示出了视频编码器的框图。

图3示出了视频解码器的框图。

图4示出了与双向光流(BDOF)相关联的示例。

图5A和5B示出了运动精度为1/16像素的BDOF中的梯度推导的示例。

图6A示出了在没有块扩展约束的情况下BDOF的存储器访问的示例

图6B示出了具有块扩展约束的情况下BDOF的存储器访问的示例。

图7示出了高级时间运动矢量预测(ATMVP)的示例。

图8示出了时空运动矢量预测(STMVP)的示例。

图9A示出了具有模板匹配的帧速率上转换(FRUC)的示例。

图9B示出了具有双边匹配的FRUC的图。

图10A示出了仿射模式和简化仿射模型的图。

图10B示出了仿射模式和针对仿射块的子块级运动推导的图。

图11示出了预测单元(PU)的BDOF细化的图。

图12示出了定向BDOF细化的图。

具体实施方式

图1A是示出了其中可以实现一个或多个公开的实施例的示例通信系统100的图。通信系统100可以是向多个无线用户提供诸如语音、数据、视频、消息、广播等内容的多址系统。通信系统100可以使多个无线用户能够通过共享包括无线带宽的系统资源来访问这样的内容。例如，通信系统100可以采用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT扩展OFDM(ZT-UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块滤波OFDM、滤波器组多载波(FBMC)等。

如图1A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN104/113、CN106/115、公共交换电话网(PSTN)108、因特网110以及其他网络112，但是应当理解，公开的实施例可以设想任意数量的WTRU、基站、网络和/或网络元件。每一个WTRU102a、102b、102c、102d可为被配置为在无线环境中操作和/或通信的任何类型的设备。举例来说，WTRU102a、102b、102c、102d(其中任何一个可被称为"站"和/或"STA")可被配置成传送和/或接收无线信号，并且可包括用户设备(UE)、移动站、固定或移动订户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或MiFi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴式显示器(HMD)、车辆、无人机、医疗设备和应用(例如，远程手术)、工业设备和应用(例如，在工业和/或自动化处理链环境中操作的机器人和/或其他无线设备)、消费电子设备、在商业和/或工业无线网络上操作的设备等。WTRU102a、102b、102c及102d中的任意者可互换地称为UE。

通信系统100还可以包括基站114a和/或基站114b。基站114a、114b中的每一个可以是任何类型的设备，其被配置为与WTRU102a、102b、102c、102d中的至少一个无线对接，以便于接入一个或多个通信网络(例如CN106/115、因特网110和/或其他网络112)。作为示例，基站114a、114b可以是基站收发台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、无线路由器等。虽然基站114a、114b各自被描绘为单个元件，但是将理解，基站114a、114b可以包括任何数目的互连基站和/或网络元件。

基站114a可以是RAN104/113的一部分，其也可以包括其它基站和/或网络元件(未示出)，例如基站控制器(BSC)、无线网络控制器(RNC)、中继节点等。基站114a和/或基站114b可以被配置为在一个或多个载波频率上(其可以被称为小区(未示出))上发送和/或接收无线信号。这些频率可以在许可频谱、未许可频谱、或者许可和未许可频谱的组合中。小区可以向特定地理区域提供无线服务的覆盖范围，该特定地理区域可以是相对固定的或者可以随时间而改变。小区可以进一步被划分为小区扇区。例如，与基站114a相关联的小区可以被划分为三个扇区。因此，在一个实施例中，基站114a可以包括三个收发信机，即，小区的每个扇区一个收发信机。在实施例中，基站114a可以采用多输入多输出(MIMO)技术，并且可以针对小区的每个扇区使用多个收发信机。例如，波束成形可以用于在期望的空间方向上传送和/或接收信号。

基站114a、114b可经由空中接口116与WTRU102a、102b、102c、102d中的一个或多个通信，该空中接口116可以是任何合适的无线通信链路(例如，射频(RF)、微波、厘米波、微米波、红外(IR)、紫外(UV)、可见光等)。空中接口116可以使用任何合适的无线接入技术(RAT)来建立。

更具体地说，如上所述，通信系统100可以是多址系统，并且可以采用一个或多个信道接入方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等。例如，RAN104/113中的基站114a和WTRU102a、102b、102c可以实现诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)之类的无线电技术，其可以使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可以包括诸如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。

在一个实施例中，基站114a和WTRU102a、102b、102c可以实现诸如演进型UMTS陆地无线电接入(E-UTRA)之类的无线电技术，该无线电技术可以使用长期演进(LTE)和/或高级LTE(LTE-A)和/或高级LTE Pro(LTE-A Pro)来建立空中接口116。

在一个实施例中，基站114a和WTRU 102a、102b、102c可以实现诸如NR无线电接入的无线电技术，其可以使用新的无线电(NR)来建立空中接口116。

在一个实施例中，基站114a和WTRU102a、102b、102c可以实现多种无线电接入技术。例如，基站114a和WTRU102a、102b、102c可以例如使用双连接(DC)原理一起实现LTE无线电接入和NR无线电接入。因此，WTRU102a、102b、102c所使用的空中接口的特征可在于发送到/来自多种类型的基站(例如eNB和gNB)的多种类型的无线电接入技术和/或传输。

在其它实施例中，基站114a及WTRU102a、102b、102c可实施无线技术，例如IEEE802.11(即无线保真(WiFi)、IEEE802.16(即全球微波存取互操作性(WiMAX))、CDMA2000、CDMA20001X、CDMA2000 EV-DO、国际互联网标准2000(IS-2000)、国际互联网标准95(IS-95)、国际互联网标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进技术的增强型数据速率(EDGE)、GSM EDGE(GERAN)等。

图1A中的基站114b可以是例如无线路由器、家庭节点B、家庭e节点B或接入点，并且可以利用任何合适的RAT来促进局部区域中的无线连接，该局部区域诸如营业场所、家庭、车辆、校园、工业设施、空中走廊(例如，供无人机使用)、道路等。在一个实施例中，基站114b和WTRU102c、102d可以实施诸如IEEE802.11的无线电技术以建立无线局域网(WLAN)。在一个实施例中，基站114b和WTRU102c、102d可以实施无线电技术，例如IEEE802.15，以建立无线个人局域网(WPAN)。在又一实施例中，基站114b和WTRU102c、102d可利用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等)来建立微微小区或毫微微小区。如图1A所示，基站114b可以具有到因特网110的直接连接。因此，基站114b可不需要经由CN106/115访问因特网110。

RAN104/113可与CN106/115通信，CN106/115可为任何类型的网络，其经配置以提供语音、数据、应用和/或网际协议语音(VoIP)服务至WTRU102a、102b、102c、102d中的一者或多者。数据可具有变化服务质量(QoS)要求，例如不同处理量要求、时延要求、错误容限要求、可靠性要求、数据处理量要求、移动性要求等。CN106/115可提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等，和/或执行高级安全功能(例如用户认证)。尽管在图1A中未示出，但是应当理解，RAN104/113和/或CN106/115可以与采用与RAN104/113相同的RAT或不同的RAT的其它RAN直接或间接地进行通信。例如，除了连接到可以利用NR无线电技术的RAN104/113之外，CN106/115还可以与采用GSM、UMTS、CDMA2000、WiMAX、E-UTRA或WiFi无线电技术的另一RAN(未示出)通信。

CN106/115亦可作为WTRU102a、102b、102c、102d的网关以接入PSTN108、因特网110、和/或其他网络112。PSTN108可以包括提供普通老式电话服务(POTS)的电路交换电话网。因特网110可以包括使用公共通信协议的互连计算机网络和设备的全球系统，所述公共通信协议例如是TCP/IP因特网协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和/或因特网协议(IP)。网络112可以包括由其他服务提供商拥有和/或运营的有线和/或无线通信网络。例如，网络112可以包括连接到一个或多个RAN的另一个CN，所述RAN可以使用与RAN104/113相同的RAT或不同的RAT。

通信系统100中的WTRU102a、102b、102c、102d中的一些或所有可包括多模式能力(例如，WTRU102a、102b、102c、102d可包括多个收发信机，以通过不同无线链接与不同无线网络通信)。例如，图1A所示的WTRU102c可以被配置成与可以使用基于蜂窝的无线电技术的基站114a通信，以及与可以使用IEEE802无线电技术的基站114b通信。

图1B是示出示例WTRU102的系统图。如图1B所示，WTRU102可包括处理器118、收发信机120、发射/接收元件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136和/或其他外围设备138等等。可以理解的是，WTRU102可以包括前述元件的任何子组合，同时保持与实施例一致。

发射/接收元件122可以被配置为通过空中接口116向基站(例如，基站114a)发射信号或从其接收信号。例如，在一个实施例中，发射/接收元件122可以是被配置为发射和/或接收RF信号的天线。在一个实施例中，发射/接收元件122可以是被配置为发射和/或接收例如IR、UV或可见光信号的发射机/检测器。在又一实施例中，发射/接收元件122可经配置以发射和/或接收RF及光信号两者。应当理解，发射/接收元件122可以被配置为发射和/或接收无线信号的任何组合。

尽管发射/接收元件122在图1B中被描述为单个元件，但是WTRU 102可以包括任意数量的发射/接收元件122。更具体地，WTRU 102可以使用MIMO技术。因此，在一个实施方式中，WTRU 102可以包括两个或多个发射/接收元件122(例如多个天线)，用于通过空中接口116发射和接收无线信号。

收发信机120可以被配置为调制将由发射/接收元件122发射的信号，并且解调由发射/接收元件122接收的信号。如上所述，WTRU102可以具有多模式能力。因此，收发信机120可以包括多个收发信机，用于使WTRU102能够经由多个RAT(例如NR和IEEE 802.11)进行通信。

WTRU102的处理器118可被连接到扬声器/麦克风124、键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并可从其接收用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126和/或显示器/触摸板128输出用户数据。另外，处理器118可从任何类型的合适存储器访问信息，且将数据存储在所述存储器中，例如不可移除存储器130和/或可移除存储器132。不可移除存储器130可包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其它类型的存储器存储装置。可移除存储器132可以包括用户识别模块(SIM)卡、记忆棒、安全数字(SD)存储卡等。在其他实施方式中，处理器118可以从存储器访问信息并将数据存储在存储器中，所述存储器不是物理地位于WTRU102上，例如位于服务器或家用计算机(未示出)上。

处理器118可以从电源134接收功率，并且可以被配置成分配和/或控制功率给WTRU 102中的其他组件。电源134可以是任何合适的用于为WTRU 102供电的设备。例如，电源134可以包括一个或多个干电池(例如，镍镉、镍锌、镍金属氢化物(NiMH)、锂离子(Li-ion)等)、太阳能电池、燃料电池等。

处理器118也可以耦合到GPS芯片组136，其可以被配置成提供关于WTRU 102的当前位置的位置信息(例如经度和纬度)。除了来自GPS芯片组136的信息之外，或者作为其替代，WTRU 102可以通过空中接口116从基站(例如基站114a、114b)接收位置信息，和/或基于从两个或更多邻近基站接收的信号的定时来确定其位置。应该理解，WTRU 102可以通过任何合适的位置确定方法来获取位置信息，同时保持与实施例一致。

处理器118还可以耦合到其他外围设备138，外围设备138可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，外围设备138可以包括加速度计、电子罗盘、卫星收发信机、数字相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、

模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、互联网浏览器、虚拟现实和/或增强现实(VR/AR)设备、活动跟踪器等。外围设备138可以包括一个或多个传感器，传感器可以是陀螺仪、加速度计、霍尔效应传感器、磁力计、取向传感器、接近度传感器、温度传感器、时间传感器中的一个或多个；地理定位传感器；高度计、光传感器、触摸传感器、磁力计、气压计、姿态传感器、生物测定传感器和/或湿度传感器。

WTRU102可以包括全双工无线电，对于该全双工无线电，一些或所有信号(例如，与用于UL(例如，用于传输)和下行链路(例如，用于接收)的特定子帧相关联的信号)的传输和接收可以是并发的和/或同时的。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器118)的信号处理来减小和/或基本消除自干扰的干扰管理单元。在实施例中，WTRU 102可以包括传送和接收一些或所有信号(例如与用于UL(例如用于传输)或下行链路(例如用于接收)的特定子帧相关联的信号)的半双工无线电设备。

图1C是图示根据实施例的RAN 104和CN 106的系统图。如上所述，RAN 104可采用E-UTRA无线电技术以通过空中接口116与WTRU 102a、102b、102c通信。RAN 104还可以与CN106通信。

RAN104可包含e节点B160a、160b、160c，但应了解，RAN104可包含任何数目个e节点B，同时保持与实施例一致。e节点B160a、160b、160c可各自包括一个或多个收发信机，以通过空中接口116与WTRU102a、102b、102c进行通信。在一个实施例中，e节点B160a、160b、160c可实施MIMO技术。因此，例如，e节点-B160a可以使用多个天线来向WTRU102a传送无线信号和/或从其接收无线信号。

e节点B160a、160b、160c中的每一者可与特定小区(未图示)相关联，且可经配置以处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度等。如图1C中所示，e节点B160a、160b、160c可经由X2接口而彼此通信。

图1C中所示的CN 106可以包括移动性管理实体(MME)162、服务网关(SGW)164和分组数据网络(PDN)网关(或PGW)166。虽然前述元件中的每一个被描绘为CN 106的一部分，但是将理解，这些元件中的任何一个可以由CN运营商之外的实体拥有和/或操作。

MME162可以经由S1接口连接到RAN104中的e节点B162a、162b、162c中的每一者，并且可以用作控制节点。例如，MME162可负责认证WTRU102a、102b、102c的用户、承载激活/去激活、在WTRU102a、102b、102c的初始附接期间选择特定服务网关等等。MME162可以提供控制平面功能，用于在RAN104和采用其他无线电技术(例如GSM和/或WCDMA)的其他RAN(未示出)之间进行切换。

SGW164可经由S1接口连接到RAN104中的e节点B160a、160b、160c中的每一者。SGW164通常可以路由和转发去往/来自WTRU102a、102b、102c的用户数据分组。SGW164可以执行其他功能，例如在e节点B间切换期间锚定用户平面、当DL数据可用于WTRU102a、102b、102c时触发寻呼、管理和存储WTRU102a、102B、102c的上下文等等。

SGW164可以连接到PGW166，PGW166可以为WTRU102a、102b、102c提供对诸如因特网110的分组交换网络的接入，以促进WTRU102a、102b、102c和IP使能设备之间的通信。

CN106可以促进与其他网络的通信。例如，CN106可提供WTRU102a、102b、102c接入电路交换网络(例如PSTN108)，以促进WTRU102a、102b、102c和传统陆线通信设备之间的通信。例如，CN106可以包括IP网关(例如，IP多媒体子系统(IMS)服务器)，或者可以与IP网关通信，该IP网关用作CN106和PSTN108之间的接口。此外，CN106可提供WTRU102a、102b、102c接入其他网络112，其他网络112可包括其它服务提供商所拥有和/或操作的其他有线和/或无线网络。

虽然WTRU在图1A-1D中被描述为无线终端，但是可以预期在某些代表性实施例中，这种终端与通信网络可以使用(例如临时或永久)有线通信接口。

在代表性实施例中，其他网络112可以是WLAN。

服务集(BSS)模式中的WLAN可以具有用于BSS的接入点(AP)和与AP相关联的一个或多个站(STA)。AP可以接入或对接到分布系统(DS)或承载进入和/或离开BSS的业务的另一类型的有线/无线网络。源于BSS外部且去往STA的业务可以通过AP到达，并且可以被递送到STA。源自STA且去往BSS外部的目的地的业务可以被发送到AP以被递送到相应的目的地。BSS内的STA之间的业务可以通过AP来发送，例如，其中源STA可以向AP发送业务，并且AP可以向目的STA递送业务。BSS内的STA之间的业务可以被认为和/或称为对等业务。对等业务可以利用直接链路建立(DLS)在源和目的STA之间(例如，直接在源和目的STA之间)发送。在某些代表性实施例中，DLS可使用802.11e DLS或802.11z隧道DLS(TDLS)。使用独立BSS(IBSS)模式的WLAN可能不具有AP，并且在IBSS内或使用IBSS的STA(例如，所有STA)可以彼此直接通信。IBSS通信模式在这里有时可以被称为"自组织(ad-hoc)"通信模式。

当使用802.11ac基础结构操作模式或类似的操作模式时，AP可以在固定信道(例如主信道)上传送信标。主信道可以是固定宽度(例如，20MHz宽的带宽)或经由信令动态设置的宽度。主信道可以是BSS的工作信道，并且可以由STA用来建立与AP的连接。在某些代表性实施例中，例如在802.11系统中可以实现具有冲突避免的载波感测多址接入(CSMA/CA)。对于CSMA/CA，包括AP的STA(例如，每个STA)可以感测主信道。如果主信道被特定STA感测/检测和/或确定为繁忙，则该特定STA可以退避。一个STA(例如，仅一个站)可以在给定BSS中在任何给定时间进行传送。

高吞吐量(HT)STA可以使用40MHz宽信道进行通信，例如，通过将主20MHz信道与相邻或非相邻的20MHz信道组合以形成40MHz宽信道。

甚高吞吐量(VHT)STA可以支持20MHz、40MHz、80MHz和/或160MHz宽的信道。40MHz和/或80MHz信道可通过组合相邻的20MHz信道来形成。160MHz信道可通过组合8个连续的20MHz信道或通过组合两个不连续的80MHz信道来形成，这可被称为80+80配置。对于80+80配置，在信道编码之后，数据可以被传递并经过分段解析器，该分段解析器可以将数据划分成两个流。可以对每个流分别进行快速傅立叶逆变换(IFFT)处理和时域处理。所述流可以被映射到两个80MHz信道上，并且数据可以由发射STA传送。在接收STA的接收机处，上述80+80配置的操作可以颠倒，并且组合数据可以被发送到介质访问控制(MAC)。

低于1GHz的操作模式由802.11af和802.11ah支持。相对于802.11n和802.11ac中使用的信道工作带宽和载波，在802.11af和802.11ah中信道工作带宽和载波被减少。802.11af支持TV空白空间(TVWS)频谱中的5MHz、10MHz和20MHz带宽，而802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。根据代表性实施例，802.11ah可以支持仪表器型控制/机器型通信，诸如宏覆盖区域中的MTC设备。MTC设备可具有某些能力，例如，包括对某些和/或有限带宽的支持(例如，仅支持)的有限能力。MTC设备可包括具有高于阈值的电池寿命(例如，以维持非常长的电池寿命)的电池。

可以支持多个信道和信道带宽的WLAN系统，例如802.11n、802.11ac、802.11af和802.11ah，WLAN系统包括可以被指定为主信道的信道。主信道可以具有等于BSS中的所有STA所支持的最大工作操作带宽的带宽。主信道的带宽可以由在BSS(其支持最小带宽工作模式)中操作的所有STA之中的STA来设置和/或限制。在802.11ah的例子中，对于支持(例如，仅支持)1MHz模式的STA(例如，MTC型设备)，主信道可以是1MHz宽，即使AP和BSS中的其它STA支持2MHz、4MHz、8MHz、16MHz和/或其它信道带宽操作模式。载波感测和/或网络分配向量(NAV)设置可以取决于主信道的状态。如果主信道繁忙(例如，由于STA(其仅支持1MHz操作模式)向AP传送)，则即使频带中的大多数保持空闲并且可用，也可以认为整个可用频带繁忙。

在美国，802.11ah可使用的可用频带是从902MHz到928MHz。在韩国，可用频带是从917.5MHz到923.5MHz。在日本，可用频带是从916.5MHz到927.5MHz。根据国家代码，可用于802.11ah的总带宽是6MHz到26MHz。

图1D是图示根据实施例的RAN 113和CN 115的系统图。如上所述，RAN 113可以使用NR无线技术通过空中接口116与WTRU 102a、102b、102c通信。RAN 113还可以与CN 115通信。

RAN113可以包括gNB180a、180b、180c，但是应当理解，RAN113可以包括任意数目的gNB，同时保持与实施例一致。gNB180a、180b、180c中的每一个都包括一个或多个收发信机，用于通过空中接口116与WTRU102a、102b、102c进行通信。在一个实施例中，gNB180a、180b、180c可以实现MIMO技术。例如，gNB180a、108b可以利用波束成形来向gNB180a、180b、180c传送信号和/或从其接收信号。因此，gNB180a例如可使用多个天线来向WTRU102a传送无线信号和/或从其接收无线信号。在一个实施例中，gNB180a、180b、180c可以实现载波聚合技术。例如，gNB180a可以向WTRU102a传送多个分量载波(未示出)。这些分量载波的子集可以在未许可频谱上，而剩余分量载波可以在许可频谱上。在一个实施例中，gNB180a、180b、180c可以实现协作多点(CoMP)技术。例如，WTRU102a可以从gNB180a和gNB180b(和/或gNB180c)接收协调传输。

WTRU102a、102b、102c可以使用与可扩缩参数配置(numerology)相关联的传输来与gNB180a、180b、180c通信。例如，OFDM符号间隔和/或OFDM子载波间隔可以针对不同的传输、不同的小区和/或无线传输频谱的不同部分而变化。WTRU102a、102b、102c可以使用具有各种或可伸缩长度的子帧或传输时间间隔(TTI)(例如，包含不同数量的OFDM符号和/或持续变化的绝对时间长度)与gNB180a、180b、180c进行通信。

gNB180a、180b、180c可被配置为在独立配置和/或非独立配置中与WTRU102a、102b、102c通信。在独立配置中，WTRU102a、102b、102c可以与gNB180a、180b、180c通信，而不需要也接入其他RAN(例如e节点B160a、160b、160c)。在独立配置中，WTRU102a、102b、102c可利用gNB180a、180b、180c中的一个或多个作为移动性锚点。在独立配置中，WTRU102a、102b、102c可以使用未许可频带中的信号与gNB180a、180b、180c通信。在非独立配置中，WTRU102a、102b、102c可以与gNB180a、180b、180c通信/连接，同时也可以与诸如e节点B160a、160b、160c的另一个RAN通信/连接。举例来说，WTRU102a、102b、102c可以实施DC原则以便与gNB180a、180b、180c中的一个或多个以及e节点B160a、160b、160c中的一个或多个基本上同时地进行通信。在非独立配置中，e节点B160a、160b、160c可以用作WTRU102a、102b、102c的移动性锚点，并且gNB180a、180b、180c可以提供用于服务WTRU102a、102b、102c的额外的覆盖范围和/或吞吐量。

gNB180a、180b、180c中的每一个gNB可以与特定小区(未示出)相关联，并且可以被配置为处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度、支持网络分片、双连接性、NR和E-UTRA之间的交互工作、向用户平面功能(UPF)184a、184b路由用户平面数据、向接入和移动性管理功能(AMF)182a、182b路由控制平面信息等。如图1D所示，gNB180a、180b、180c可以通过Xn接口彼此通信。

图1D中所示的CN115可以包括AMF182a、182b中的至少一个、UPF184a、184b中的至少一个、会话管理功能(SMF)183a、183b中的至少一个以及可能的数据网络(DN)185a、185b。虽然前述元件中的每一个被描绘为CN115的一部分，但是将理解，这些元件中的任何一个可以由CN运营商之外的实体拥有和/或操作。

AMF182a、182b可以经由N2接口连接到RAN113中的gNB180a、180b、180c中的一个或多个，并且可以充当控制节点。例如，AMF182a、182b可负责认证WTRU102a、102b、102c的用户、支持网络切片(例如，处理具有不同需求的不同PDU会话)、选择特定的SMF183a、183b、管理注册区域、终止NAS信令、移动性管理等等。AMF182a、182b可使用切片，以根据WTRU102a、102b、102c所使用的服务类型，来定制CN对WTRU102a、102b、102c的支持。例如，可以针对不同的使用情况建立不同的网络切片，诸如所述使用情况为依赖于超可靠低延迟(URLLC)接入的服务、依赖于增强的大规模移动宽带(eMBB)接入的服务、用于机器类型通信(MTC)接入的服务等。AMF162可以提供用于在RAN113和采用其他无线电技术(例如，LTE、LTE-A、LTE-APro和/或诸如WiFi的非3GPP接入技术)的其他RAN(未示出)之间进行切换的控制平面功能。

SMF183a、183b可经由N11接口连接到CN115中的AMF182a、182b。SMF183a、183b也可以经由N4接口连接到CN115中的UPF184a、184b。SMF183a、183b可以选择和控制UPF184a、184b，并且配置通过UPF184a、184b的业务路由。SMF183a、183b可以执行其他功能，例如管理和分配UE IP地址、管理PDU会话、控制策略实施和QoS、提供下行链路数据通知等等。PDU会话类型可以是基于IP的、基于非IP的、基于以太网的等等。

UPF 184a、184b可以经由N3接口连接到RAN 113中的gNB 180a、180b、180c中的一个或多个，这可以为WTRU 102a、102b、102c提供对诸如因特网110的分组交换网络的接入，以促进WTRU 102a、102b、102c与IP使能设备之间的通信。UPF 184、184b可以执行其他功能，例如路由和转发分组、实施用户平面策略、支持多归属PDU会话、处理用户平面QoS、缓冲下行链路分组、提供移动性锚定等等。

CN115可以促进与其他网络的通信。例如，CN115可以包括IP网关(例如，IP多媒体子系统(IMS)服务器)或者可以与IP网关通信，该IP网关用作CN115和PSTN108之间的接口。此外，CN115可为WTRU102a、102b、102c提供针对其他网络112的接入，其他网络112可包括其它服务提供商所拥有和/或操作的其他有线和/或无线网络。在一实施例中，WTRU102a、102b、102c可经由至UPF184a、184b的N3接口及介于UPF184a、184b与本地数据网络(DN)185a、185b之间的N6接口，并通过UPF184a、184b连接至DN185a、185b。

鉴于图1A-1D和图1A-1D的相应描述，本文关于以下各项中的一者或一者以上描述的功能中的一者或一者以上或全部可以由一个或多个仿真设备(未示出)执行：WTRU102a-d、基站114a-b、e节点-B160a-c、MME162、SGW164、PGW166、gNB180a-c、AMF182a-b、UPF184a-b、SMF183a-b、DN185a-b和/或这里描述的任何其他设备(一个或多个)。这些仿真设备可以是被配置为仿真这里描述的功能中的一个或多个或全部的一个或多个设备。例如，仿真设备可以用于测试其他设备和/或模拟网络和/或WTRU功能。

仿真设备可以被设计为在实验室环境和/或运营商网络环境中实现对其他设备的一个或多个测试。例如，一个或多个仿真设备可以执行一个或多个或所有功能，同时被完全或部分地实现和/或部署为有线和/或无线通信网络的一部分，以便测试通信网络内的其他设备。一个或多个仿真设备可以执行一个或多个或所有功能，同时被临时实现/部署为有线和/或无线通信网络的一部分。仿真设备可出于测试目的而直接耦合到另一设备，且/或可使用空中无线通信来执行测试。

一个或多个仿真设备可以执行一个或多个功能(包括所有功能)，而不是作为有线和/或无线通信网络的一部分来实现/部署。例如，仿真设备可以在测试实验室和/或未被部署(例如，测试)有线和/或无线通信网络中的测试场景中使用，以便实现一个或多个组件的测试。一个或多个仿真设备可以是测试设备。仿真设备可以使用直接RF耦合和/或经由RF电路(例如，其可以包括一个或多个天线)合和/或无线通信来传送和/或接收数据。

例如，可以执行双向光流(BDOF)以增强双预测性的预测的效率。BDOF可以提高在运动补偿期间使用的运动矢量的粒度和/或精度。BDOF可以改善译码性能。BDOF可增加译码设备(例如，编码器和/或解码器)处的复杂性。

视频译码系统可以用于压缩数字视频信号，以减少这种信号的存储需要和/或传输带宽。可以存在多种类型的视频译码系统，诸如基于块、基于小波、基于对象等。例如，基于块的混合视频译码系统可以被广泛使用和部署。基于块的视频译码系统的示例可以符合一个或多个国际视频译码标准，诸如MPEG1/2/4第2部分、H.264/MPEG-4第10部分AVC、VC-1。基于块的视频译码系统的示例还可以包括由ITU-T/SG16/Q.6/VCEG和ISO/IEC/MPEG的JCT-VC(视频译码联合协作团队)开发的视频译码标准高效视频译码(HEVC)。

图2阐明可基于块的混合视频译码框架而构建的基于块的视频编码器的图。图2示出了可为基于块的混合视频编码系统的基于块的视频编码系统的框图。输入视频信号202可以被逐块处理。扩展的块尺寸(其可以被称为译码单元或CU)可以用于有效地压缩高分辨率(例如1080p及以上)视频信号。CU可至多为64×64像素。CU可进一步分割成预测单元(PU)，可对其应用单独的预测方法。对于输入视频块(MB或CU)，例如一个或多个输入视频块，可执行空间预测(260)和/或时间预测(262)。空间预测或帧内预测可使用来自相同视频图片/切片中的已译码相邻块的样本(其可称为参考样本)的像素，来预测当前视频块。空间预测可以减少视频信号中固有的空间冗余。时间预测(其可称为帧间预测或运动补偿预测)可使用来自已译码视频图片的经重构像素，来预测当前视频块。时间预测可减少视频信号中可能固有的时间冗余。可由一个或多个运动矢量用信号发送给定视频块的时间预测信号，所述运动矢量可指示当前块与其参考块之间的运动量及运动方向。如果支持多个参考图片，那么可针对视频块(例如，每一视频块)发送参考图片索引。参考图片索引可以用于标识时间预测信号来自参考图片存储(264)中的哪个参考图片。在空间和/或时间预测之后，编码器中的模式决策(280)可以例如基于率失真优化方法来选择预测模式。所选择的预测模式可为针对所述情况的最佳预测模式。可从当前视频块减去预测块(216)，且可使用变换块(204)和量化块(206)对预测残差进行去相关。可对量化的残差系数进行逆量化(210)和逆变换(212)以形成重构的残差，可将所述重构的残差加回到预测块(226)以形成重构的视频块。例如，在将重构的视频块放入参考图片存储设备(264)中且用于对未来视频块进行译码之前，进一步可对重构的视频块应用例如解块滤波器及自适应环路滤波器等环内滤波(266)。为了形成输出视频比特流220，译码模式(例如，帧间或帧内)、预测模式信息、运动信息和量化的残差系数可以被发送到熵译码单元(208)，以被进一步压缩和打包以形成比特流。

图3展示视频解码器的框图，所述视频解码器可为基于块的视频解码器。视频比特流302可以在熵解码308处被解包和熵解码。译码模式和预测信息可以被发送到空间预测360(例如，帧内译码)或运动补偿预测362(例如，帧间译码)以形成预测块。可将残差变换系数发送到逆量化310和逆变换312以重构残差块。可在336处将预测块与残差块加在一起。重建的块在被存储在参考图片存储354之前，可以进一步经过环内滤波。然后，可以将参考图片存储中的重构的视频发送出去以驱动显示设备，并且可以使用该重构的视频来预测未来的视频块。

如图2和3所示，编码/解码工作流可以基于例如以下中的一个或多个：空间预测(例如，帧内预测)；时间预测(例如，帧间预测)；变换；量化；熵译码；环路滤波器；和/或类似物。

双向光流(BDOF)可以用于运动矢量推导。例如，双预测可以基于光流模型。视频译码中的双预测可包括组合可从重构的参考图片获得的两个时间预测块。由于基于块的运动补偿(MC)的限制，可能存在在两个预测块之间可观察到的剩余的小运动，这可能降低运动补偿预测的效率。BDOF可以例如被应用以补偿块内的样本内的小运动。BDOF可以包括应用逐样本运动细化。例如，当使用双预测时，可以在基于块的运动补偿预测之上执行逐样本运动细化。可针对块中的样本推导运动矢量(例如，细化的运动矢量)。运动矢量推导可以基于光流模型(例如，经典光流模型)。例如，设I^(k)(x，y)为从参考图片列表k(k＝0，1)推导的预测块的坐标(x，y)处的样本值，其中

与

可以分别包括样本的水平梯度和垂直梯度。可以使用光流模型来推导坐标(x，y)的运动细化参数(v_x，v_y)：

利用光流方程(1)和沿运动轨迹的预测块的内插的组合(例如，如图4所示)，BDOF预测可以被获得为：

参考(2)，τ₀与τ₁可以包括与I⁽⁰⁾与I⁽¹⁾相关联的参考图像Ref₀和Ref₁到当前图像CurPic的时间距离，例如，

τ₀＝POC(CurPic)-POC(Ref₀) (3)

τ₁＝POC(Ref₁)-POC(CurPic)

图4示出了BDOF的示例应用。在图4中，(MV_x0、MV_y0)和(MV_x1、MV_y1)可指示可用于生成两个预测块I⁽⁰⁾与I⁽¹⁾的块级运动矢量。可以通过最小化运动细化补偿之后的样本值之间的差Δ(例如，图4中的A和B)来计算样本位置(x，y)处的运动细化参数(v_x，v_y)，如以下所示：

可以保持所推导的运动细化的规律性。运动细化可以在以(x，y)为中心的局部周围区域内一致。在BDOF设计中，可以通过在(x，y)处围绕当前样本的5x5Ω窗口内最小化Δ来推导其值(v_x，v_y)，如下：

BDOF可应用于双预测块。双预测译码块可由来自时间相邻图片的两个或两个以上参考块预测。例如，可以在不从译码器向解码器发送附加信息的情况下启用BDOF。例如，BDOF可应用于具有前向和后向预测信号(例如，τ₀·τ₁＞0)的双预测块。如果当前块的两个预测块来自同一方向(前向或后向，例如τ₀·τ₁＞0)，那么当两个预测块与非零运动相关联时，例如abs(MV_x0)+abs(MV_y0)≠0and abs(MV_x1)+abs(MV_y1)≠0，应用BDOF，并且两个运动矢量可与当前图片和参考图片之间的时间距离成比例，例如，

如果当前块的两个预测块来自同一参考图片(例如，τ₀＝τ₁)，则可以禁用BDOF。当局部照明补偿(LIC)用于当前块时，可以禁用BDOF。

可以执行梯度推导过程。如(2)和(4)所示，例如，除了块级MC之外，可以在BDOF中推导运动补偿块(例如，I⁽⁰⁾与I⁽¹⁾)的样本的梯度，其可以用于推导局部运动细化并生成该样本位置处的预测。在一实例中，例如当基于滤波过程生成预测信号时，可计算两个预测块(例如，

和

)中的样本的水平和垂直梯度。例如，可以使用2D可分离的有限脉冲响应(FIR)滤波器来执行运动补偿内插。可同时生成水平梯度和垂直梯度。梯度推导过程的输入可包括用于运动补偿的参考样本。梯度推导过程的输入可以包括输入运动(MV_x0/x1,MV_y0/y1)的分数分量(fracX,fracY)。为了推导样本位置处的梯度值，可应用两个不同滤波器(例如，内插滤波器h_L和梯度滤波器h_G)。例如，可以按照可以计算的梯度的方向以不同的顺序单独地应用滤波器。可以应用以下中的一个或多个。当推导水平梯度(例如，

与

)时，内插滤波器h_L可被垂直地应用于预测块内的样本以推导fracY处的垂直分数位置处的样本值。梯度滤波器h_G可以被水平地应用于所生成的垂直分数样本，以基于fracX的值来计算水平梯度值。对于垂直梯度(

与

)的推导，梯度滤波器h_G可以被垂直地应用于例如预测样本之上以计算对应于fracY的中间垂直梯度，并且可以跟随有根据fracX的值使用内插滤波器h_L的中间垂直梯度的水平内插。梯度滤波器和内插滤波器的长度可以是6抽头。8抽头滤波器可以用于运动补偿。表1和2说明根据块级运动矢量(例如，其可高达1/16像素)的精度可分别用于h_G和h_L的滤波器系数。

表1：可用于BDOF中的梯度计算的滤波器

分数位置	梯度滤波器(h<sub>G</sub>)
		0	{8，-39，-3，46，-17，5}
1/16	{8，-32，-13，50，-18，5}
		1/8	{7，-27，-20，54，-19，5}
3/16	{6，-21，-29，57，-18，5}
		1/4	{4，-17，-36，60，-15，4}
5/16	{3，-9，-44，61，-15，4}
		3/8	{1，-4，-48，61，-13，3}
7/16	{0，1，-54，60，-9，2}
		1/2	{-1，4，-57，57，-4，1}

表2：可用于BDOF中的预测信号生成的内插滤波器

分数位置	插值滤波器(h<sub>L</sub>)
		0	{0，0，64，0，0，0}
1/16	{1，-3，64，4，-2，0}
		1/8	{1，-6，62，9，-3，1}
3/16	{2，-8，60，14，-5，1}
		1/4	{2，-9，57，19，-7，2}
5/16	{3，-10，53，24，-8，2}
		3/8	{3，-11，50，29，-9，2}
7/16	{3，-11，44，35，-10，3}
		1/2	{3，-10，35，44，-11，3}

图5A和5B示出了运动精度为1/16像素的BDOF中的梯度推导的示例。如图5A和5B所示，可以在BDOF中应用梯度推导过程，其中整数样本位置处的样本值可以用图案化的正方形示出，分数样本位置处的样本值可以用空白正方形示出。因为运动矢量精度可以增加到1/16像素，所以在图5A和5B中可以有总共255个分数样本位置被定义在整数样本的区域内。下标坐标(x，y)可以表示样本的相应水平和垂直分数位置(例如，可以对应于整数位置处的样本的坐标(0，0))。可以在分数位置(1，1)(例如，a_1,1)计算水平梯度值和垂直梯度值。基于图5A和5B中的符号，对于水平梯度推导，可通过在垂直方向上应用内插滤波器h_L来推导分数样本f_0,1,e_0,1,a_0,1,b_0,1,c_0,1和d_0,1，例如：

参照(7)：B可以包括输入信号的位深度，并且OffSet₀可以包括舍入偏移量，该舍入偏移量可以等于：

f_0,1,e_0,1,a_0,1,b_0,1,c_0,1和d_0,1的精度可以是14比特。可以通过将对应的梯度滤波器h_G水平地应用于所推导的分数样本来计算a_1,1的水平梯度。可以应用以下中的一个或多个。可以计算中间20比特处的非舍入梯度值，如以下所示：

gH_a′_1，1＝8·f_0，1-32·e_0，1-13·a_0，1+50·b_0，1-18·c_0，1+5·d_0，1 (9)

水平梯度可以如下方式通过将中间梯度值移位到输出精度中来计算：

gH_a_1，1＝sign(gH_a′_1，1)·((abs(gH_a′_1，1)+OffSet₁)＞＞(18-B)) (10)

参考(10)：sign(·)与abs(·)可以包括分别返回输入信号的符号和绝对值的函数；并且OffSet₁可以包括舍入偏移量，该舍入偏移量可以被计算为2^17-B。

现在参考(1，1)处的垂直梯度推导值，可以推导分数位置(0，1)处的中间垂直梯度值，例如：

中间梯度值可以按照以下方式通过移位到14比特值来调整：

可通过在分数位置(0，1)处的中间梯度值的顶部上应用内插滤波器h_L来获得分数位置(1，1)处的垂直梯度值。可以应用以下中的一个或多个。可以计算20比特的非舍入梯度值，并且可以通过移位操作将非舍入梯度值调整到输出位深度，如以下所示：

gV_a_1，1＝sign(gV_a′_1，1)·((abs(gV_a′_1，1)+OffSet₁)＞＞(18-B)) (14)

可以提供BDOF的存储器带宽消耗。如(5)中所示，为了推导一位置处的局部运动细化(v_x，v_y)，可以针对样本周围的窗口Ω中的一个或多个样本(例如，所有样本)计算样本值和梯度值。窗口尺寸可包括(2M+1)x(2M+1)，其中M＝2。由于内插滤波器和梯度滤波器，梯度推导可访问一个或多个(例如，附加)参考样本，所述参考样本可在当前块的扩展区域中找到。内插滤波器和梯度滤波器的长度T可以是6，和/或对应的扩展块尺寸可以等于T-1＝5。例如，考虑W x H块，由BDOF使用的存储器访问(例如，总存储器访问)可以是(W+T-1+2M)x(H+T-1+2M)＝(W+9)x(H+9)，其可以大于由其他技术使用的存储器访问(W+7)x(H+7)。BDOF的存储器访问可不大于其他技术的存储器访问。可以提供块扩展约束。当应用块扩展约束时，当前块内的相邻样本可用于计算一位置(例如，块内的每个位置)处的局部运动细化(v_x，v_y)。图6A-B示出了BDOF的存储器访问的图，其中图6A示出了没有块扩展约束的存储器访问，并且其中图6B示出了具有块扩展约束的存储器访问。图6A和6B可以比较在应用块扩展约束之前和之后的用于BDOF的存储器访问区域的尺寸。

可执行基于子块(例如，子CU)的运动补偿。译码块可以具有针对预测方向的运动矢量。可使用许多子块级帧间预测技术。子块级帧间预测技术可包括高级时间运动矢量预测(ATMVP)、空间-时间运动矢量预测(STMVP)、帧速率上转换(FRUC)模式、仿射模式和/或类似模式。可以应用以下中的一个或多个。视频块可分割成多个小子块且可用于推导针对子块(例如，单独地推导每一子块)的运动信息。针对子块的运动信息可用于例如在运动补偿阶段生成块的预测信号。可提供子块译码模式。

如本文所述，可以执行ATMVP。可以应用以下中的一个或多个。时间运动矢量预测可提供块以推导运动信息。所推导的运动信息可包括针对块内的子块(例如，来自当前图片的时间上相邻的图片的一个或多个较小块)的运动矢量和参考索引。ATMVP可推推导块的子块的运动信息：(例如，在时间参考图片内)可识别当前块的对应块(其可称为并置(collocated)块)；可以将当前块分割成子块；和/或可以推导来自并置图片中的相应小块的子块的运动信息，如图7所示，所选择的时间参考图片可以被称为并置图片。

图7示出了ATMVP的示例图。例如，可通过当前块的空间相邻块的运动信息来识别并置块和并置图片。如图7中所说明的内容，可考虑合并候选者列表中的可用候选者(例如，第一可用候选者)。举例来说，参看图7，可基于合并候选者列表的现有扫描次序将块A识别为当前块的可用(例如，第一可用)合并候选者。块A的对应运动矢量(例如，MV_A)及其参考索引可用于识别并置图片及并置块。所述并置图片中的所述并置块的所述位置可通过将块A的所述运动矢量(MV_A)添加到所述当前块的所述坐标来确定。

对于当前块中的子块(例如，每个子块)，在并置块中其对应的小块(例如，如图7中的箭头所指示)的运动信息可以用于推导当前块中的对应子块的运动信息。举例来说，可将并置块中的小块的运动信息转换为当前块中的对应子块的运动矢量及参考索引(例如，在识别并置块中的每一小块的运动信息之后)。可以类似于其他推导技术(例如，其中可应用时间运动矢量缩放)的方式推导当前块中的子块的运动信息。

如本文所述，可以执行STMVP。图8示出了STMVP的示例性示图。可以应用以下中的一个或多个。在STMVP中，可推导(例如，递归地推导)译码块中的子块的运动信息。图8是递归地推导译码块中的子块的运动信息的一实施例。参考图8，当前块可以包括四个子块A、B、C和D。可以是当前块的空间相邻者的相邻小块可以分别被标记为a、b、c和d。针对子块A的运动推导可包括识别一个或多个空间相邻者(例如，子块A的两个空间相邻者)。子块A的相邻者(例如，第一邻居)可以是上方的相邻者c。如果小块c不可用或被帧内译码，则可以按顺序(例如从左到右)检查当前块上方的随后相邻小块。子块A的另一相邻者(例如，第二邻居)可以是左侧的相邻者b。如果小块b不可用或帧内译码，则可以例如按照向当前块的左侧(从上到下)的顺序检查随后的相邻小块。在获取空间相邻像素的运动信息之后，可以使用与TMVP类似的过程来获得子块A的时间相邻者的运动信息。可用的空间相邻者和一个或多个时间相邻者(例如，多达3个相邻者)的运动信息可以被平均并且用作子块A的运动信息。基于光栅扫描顺序，可重复上述STMVP过程以推导当前视频块中的其他子块(例如，所有其他子块)的运动信息。

可以执行帧速率上转换(FRUC)。FRUC可支持帧间译码块，该帧间译码块可减少运动信息信令。当启用FRUC模式时，可不用信号发送译码块的运动信息，所述运动信息可包括运动矢量和参考索引。可以使用例如模板匹配和/或双边匹配来推导运动信息(例如，在解码器处)。举例来说，在解码器处的运动推导过程期间，可检查所述块的合并候选者列表及从当前块的时间并置块的运动矢量生成的一组初步运动矢量。可以选择导致最小绝对差和(SAD)的候选作为起始点。可以执行基于围绕起始点的模板匹配或双边匹配的局部搜索。产生最小SAD的MV可被用作针对该块的MV。运动信息可在子块级上细化，这可提供有效的运动补偿。

图9A和9B说明了与FRUC相关的实例。例如，图9A-B示出了用于帧速率上转换的示例性示图，其中图9A示出了模板匹配，而图9B示出了双边匹配。如图9A所示，模板匹配可用于通过找到当前图片中的模板与参考图片中的块(例如，其可与模板尺寸相同)之间的匹配(例如，最佳匹配)来推导当前块的运动信息。模板可以包括当前块的顶部和/或左侧相邻块。在图9B中，双边匹配可以用于推导当前块的运动信息。当前块的运动信息的推导可包括在不同参考图片(例如，两个不同参考图片)中沿着当前块的运动轨迹找到两个块之间的匹配(例如，最佳匹配)。双边匹配的运动搜索处理可以基于运动轨迹。例如，双边匹配的运动搜索过程可以基于运动矢量MV₀和MV₁。运动矢量MV₀和MV₁可指向参考块。运动矢量MV₀和MV₁可以与当前图像和两个参考图像(例如，T₀和T₁)之间的时间距离成比例。

仿射模型可用于提供运动信息。图10A和10B展示仿射模式的示例性图，其中图10A展示简化仿射模型，且图10B展示针对仿射块的子块级运动推导。平移运动模型可应用于运动补偿预测。运动可以包括以下中的一个或多个：放大/缩小、旋转、透视运动、不规则运动等。可以应用示例仿射变换运动补偿预测。如图10A中所示，块的仿射运动场可由一个或多个(例如，两个)控制点运动矢量来描述。基于控制点运动，仿射块的运动场可被描述为：

参考(15)，(v_0x,v_0y)可以是左上角控制点的运动矢量，而(v_1x,v_1y)可以是右上角控制点的运动矢量，如图10A所示。当通过仿射模式对视频块进行译码时，可基于4x4块的粒度推导视频块的运动场。例如，如图10B所示，为了推导4x4块(例如每个4x4)的运动矢量，子块(例如每个子块)的中心样本的运动矢量可根据(15)计算，并可舍入到1/16像素精度。可以在运动补偿阶段使用所推导的运动矢量来生成当前块内部的子块的预测信号。

可以简化BDOF。可以应用以下中的一个或多个。可减少用于双预测的CU的BDOF过程的数量。BDOF可以考虑并行处理来执行。对于双预测的CU，可基于来自一个或多个(例如，两个)参考列表的两个预测信号的相似性，在CU级或子CU级跳过BDOF过程。例如，如果预测信号相似，则可以跳过BDOF调整。例如，可以减少所调用的BDOF调整的数量，从而保持译码性能。如果列表(例如，每一列表)中的运动矢量不是整数，那么针对所述列表的BDOF的梯度推导可包括样本内插和梯度计算。水平和垂直滤波的顺序可以改变以便用并行处理来实现。

如本文所述，可提供整数运动分量。例如，如果k比特被用作运动矢量分量的分数部分的表示，并且运动矢量的分量值是(2^k)的倍数，则运动矢量分量可以包括整数运动矢量分量。类似地，如果运动矢量的分量值不是((2^k)的倍数，则运动矢量分量可包括非整数(例如，分数)部分及整数部分。

如本文所述，可以考虑双预测性的预测来执行BDOF。可以提高在运动补偿阶段使用的运动矢量的粒度和精度。

在BDOF中，可针对参考图片列表(例如，L0及L1)生成水平梯度及垂直梯度。举例来说，BDOF细化可包括对参考图片列表(例如，每一参考图片列表)内的水平梯度和垂直梯度调用一个或多个滤波过程(例如，水平和/或垂直滤波过程)。如本文所论述，给定运动矢量MV(MV_x、MV_y)，水平梯度推导可包括在垂直方向上应用样本内插滤波器。例如，如果MV_y(例如，运动矢量MV的垂直分量)包括非整数(例如，分数)运动矢量分量，则可以使用样本内插滤波器来推导分数位置处的样本值。可以使用垂直地在分数位置处内插的样本值来在水平方向上执行梯度滤波。如果MV_y包括整数运动分量，则可以例如使用整数位置处的样本值在水平方向上应用梯度滤波器(例如，单个梯度滤波器)。可针对垂直梯度的推导执行类似过程。

双预测CU可与一个或多个(例如，两个)运动矢量相关联。可对CU执行一个或多个过滤过程。举例来说，如果与CU相关联的运动矢量的水平和垂直分量包括非整数(例如，分数)运动分量，那么可执行多个(例如，8个)滤波过程。过滤过程在被执行(例如，被调用)时可包括存储器访问请求、多个乘法和多个加法。在BDOF期间使用的滤波器(例如，8抽头样本内插滤波器和6抽头梯度滤波器)的长度可影响译码复杂性。

BDOF细化可有条件地跳过。举例来说，可基于两个或两个以上预测信号之间的相似性而有条件地跳过BDOF细化。可以执行一个或多个其他相似性确定以确定是否跳过BDOF。

CU的BDOF细化(例如，如等式(2)中所描述)可包括水平和垂直方向上的运动细化。可以推导运动细化参数(v_x，v_y)。例如，可以使用预测利用最小二乘技术来推导运动细化参数(v_x，v_y)。例如来自两个或两个以上参考图片的局部梯度信息可用于双预测。可以推导运动细化参数。

简化的梯度推导方法可以用于BDOF。如本文所描述，如果与CU相关联的运动矢量的水平和垂直分量包括非整数(例如，分数)运动分量，那么BDOF可包括八个滤波过程。滤波处理的数量可以减少到例如四个滤波处理。可以减少存储器访问、乘法和/或加法的次数。

例如，可以在执行BDOF细化之前，确定是否执行BDOF细化。是否跳过BDOF的确定可基于与CU相关联的一个或多个特性(例如，译码模式和/或块尺寸)。

定向BDOF细化可对CU执行。举例来说，定向BDOF细化可包括在某一方向(例如，垂直方向或水平方向)上执行BDOF细化。可例如针对双预测的CU执行基于梯度的分析(例如，梯度计算)。如本文所述，梯度计算可在一个或多个级别上执行，例如，包括：CU级、子CU级、块级、子块级等。基于梯度计算，可以应用以下中的一个或多个：可以跳过BDOF细化，可以在水平方向上执行定向BDOF细化，可以在垂直方向上执行定向BDOF细化，且可以在水平和垂直方向上执行BDOF细化。

如本文所述，BDOF细化可以包括梯度计算的性能。梯度计算过程可包括例如使用与CU的参考图片相关联的运动矢量，推导针对所述参考图片的水平方向和/或垂直方向梯度。与参考图片相关联的运动矢量可包括运动分量。如果例如在另一个方向(例如，垂直方向)上的运动矢量分量是非整数(例如分数)运动分量，则在某个方向上的梯度计算可以包括应用样本插值滤波器。例如，可以在样本插值滤波器之后应用梯度滤波器。样本插值滤波器可以包括低通滤波器，并且梯度滤波器可以包括高通滤波器，其可以用于梯度推导。

可以使用整数位置处的(一个或多个)样本值来计算梯度。可识别参考CU的整数位置处的样本值。例如，如果在该方向上的运动矢量分量包括非整数(例如，分数)运动分量，则整数位置处的样本值可以用于近似分数位置处的样本值。梯度计算可以包括在特定方向上应用梯度滤波器。可以不应用样本内插滤波器。运动矢量可以被称为MV(MV_x，MV_y)，并且可以与参考图片R相关联。k可以是针对运动矢量分量的分数值所表示的比特的数量。为分数位置定义的梯度滤波器的数量可表示为n(例如，如表1中所说明的16)。n可以不大于(2^k)。CU(例如，当前图片中的当前双预测CU)的位置可表示为P(P_x，P_y)。

可推导与运动矢量MV相关联的CU(例如，参考CU)的水平梯度。可以应用以下中的一个或多个。可在与所述CU相关联的参考图片中识别所述参考CU的整数位置。参考CU的整数位置可包括P'(P'x，P'y)，其中P’x＝Px+(MVx>>k)和P’y＝Py+(MV_y>>k)。可以识别(例如，水平分数位置)梯度滤波器的相位(例如，相位＝((MV_x)&(2^k-1))/(2^k/n))。可以用相位来识别可以在表1中定义的梯度滤波器。为了计算水平梯度，可将梯度滤波器应用(例如，在水平方向上)于位于参考图片R中的P'(P'x，P'y)处的参考CU中的样本位置。

可推导与运动矢量MV相关联的CU(例如，参考CU)的垂直梯度。可以应用以下中的一个或多个。可在与所述CU相关联的参考图片中识别所述参考CU的所述整数位置。参考CU的整数位置可包括P'(P'x，P'y)，其中P’x＝Px+(MVx>>k)和P’y＝Py+(MVy>>k)。可识别梯度滤波(例如，垂直分数位置)器的相位(例如，相位＝((MVy)&(2^k-1))/(2^k/n))。可以用相位来识别可以在表1中定义的梯度滤波器。为了计算垂直梯度，可将梯度滤波器应用(例如，在垂直方向上)于位于参考图片R中的P'(P'x，P'y)处的参考CU中的样本位置。

可应用本文所描述的技术来推导其他水平和垂直梯度集合(例如，从参考图片列表L0和/或L1推导水平和垂直梯度集合)。举例来说，本文中所描述的技术可应用于与双预测CU相关联的其他运动矢量(例如，第二运动矢量)，以推导其他水平梯度集合和垂直梯度集合。如果与CU相关联的运动矢量(例如，，与双预测CU相关联的两个运动矢量)包括非整数(例如，分数)运动分量，那么可减少在BDOF期间应用于样本的滤波器的数量(例如，可将4个梯度滤波器应用于每一样本)。

如本文所描述，可例如在梯度推导期间跳过样本内插滤波器。可例如在梯度推导期间将梯度滤波器(例如，表1中所定义的16个滤波器中的一者)应用于(例如)与参考CU相关联的整数位置。如本文中所描述，将梯度滤波器应用于参考CU的整数位置处的参考样本，该参考样本可近似于参考CU中的样本的分数位置(例如，如果运动矢量包括非整数运动分量)。可基于与CU(例如，每一CU)相关联的运动矢量来识别将用于所述CU的滤波器。可以减少在梯度推导期间应用的梯度滤波器的数量(例如，n)。梯度滤波器的数量可小于运动矢量分量的可能分数位置的数量。例如，在梯度推导期间可以使用单个梯度滤波器。梯度滤波器可以被定义(例如，预定义)，诸如在表1中的位置0处定义的梯度滤波器。如果在梯度推导期间使用单个梯度滤波器，则梯度滤波器可以不被存储并且用于梯度滤波器的相位可以不被计算。

可基于与CU相关联的一个或多个特性(例如，译码模式和/或尺寸)有条件地执行BDOF过程。举例来说，可或可不基于与CU相关联的一个或多个特性(例如，译码模式和/或尺寸)来执行BDOF。CU可与一个或多个帧间译码模式相关联。举例来说，某些译码模式可支持子CU(例如，或子块)预测，例如：ATMVP/STMVP、FRUC双边、FRUC模板匹配、仿射等。具有单独运动信息的子CU(例如，CU内的子块)可被称作PU。举例来说，可在BDOF中使用子CU以改进帧间预测效率。举例来说，子CU可提供用于子CU的运动场(例如，细化运动场)。支持子CU预测的帧间译码模式可分别具有不同特性。可以应用以下中的一个或多个。ATMVP/STMVP可从空间相邻块、时间相邻块和/或空间及时间相邻块推导当前CU的运动场。FRUC双边和模板匹配可以以类似于运动搜索的方式推导运动信息。举例来说，FRUC双边和模板匹配可在解码器处推导运动信息。

可基于与CU相关联的译码模式有条件地执行BDOF(例如，BDOF细化)。举例来说，可基于与CU(例如，子CU和/或PU)相关联的帧间译码模式跳过BDOF。可识别与CU相关联的帧间译码模式。帧间译码模式可支持子CU预测。如果与CU相关联的帧间译码模式支持子CU预测，那么可以跳过BDOF细化(例如，针对CU停用)。

如本文所描述，可或可不基于与CU(例如，子CU和/或PU)相关联的尺寸来执行BDOF。对于子CU帧间模式，如果PU尺寸较大(例如，大于阈值，例如32×32)，那么译码区可在特定运动区(例如，平滑运动区)中。如果PU尺寸较小(例如，小于阈值，诸如32×64)，则译码区中的运动可能是复杂的。如果使用子块帧间模式对CU(例如，当前双预测CU的)进行译码，且PU尺寸大(例如，大于可被预定义的阈值)，那么可跳过BDOF过程(例如，BDOF细化)。如果PU尺寸小(例如，不大于可被预定义的阈值)，则可应用BDOF过程。可在序列参数集、图片参数集、切片标头(slice header)或类似者用信号发送用于子CU模式(例如，每一子CU模式)的阈值。

例如，可识别译码模式和/或PU尺寸，以确定是否执行BDOF。可能不确定两个或两个以上预测信号之间的相似性，例如SAD计算。本文描述的(例如)关于确定是否执行BDOF(例如，基于译码模式和/或PU尺寸)的技术可与基于其他信号特性的方法组合。例如，技术可包括确定是否请求用于当前CU的BDOF过程。设备可以确定是否执行BDOF(例如，使用本文描述的技术中的一种或多种)。举例来说，可基于PU尺寸和/或译码模式有条件地执行BDOF。

可执行定向BDOF细化。例如，可以基于梯度差计算在特定方向(例如，水平方向或垂直方向)上执行BDOF细化。可以执行BDOF细化以用于：样本(例如，每一样本)、块、CU和/或子CU(例如，子块，例如4x4)。图11示出了针对CU的BDOF细化的示图。举例来说，可使用本文所描述的技术来计算针对CU的水平梯度和垂直梯度。可使用例如最小二乘法来推导针对子CU的一个或多个BDOF细化参数(v_x，v_y)。可(例如)通过应用等式(2)使用所推导的BDOF细化参数来生成用于所述子CU的经BDOF细化的预测。子CU的特性可以不同。如果列表0中的参考图片的水平梯度(例如，

)类似于列表1中的参考图片的水平梯度(例如，

)，那么BDOF细化可不提供水平方向上的改进。BDOF细化可以在一个或多个方向上执行或不执行。

是否执行BDOF(例如，定向BDOF)的确定可基于在多个(例如，两个)方向上执行的梯度分析(例如，梯度差)。举例来说，可分别使用等式(16)及(17)针对CU(例如，或子CU)定义dGx(例如，水平方向梯度差)及dGy(例如，垂直方向梯度差)。dGx和dGy可用于确定与CU(例如，或子CU)相关联的参考图片中的梯度是否类似，和/或用于确定执行定向BDOF(例如，水平或垂直)的方向。

dGx和dGy可与阈值比较(例如，可各自与阈值比较)，例如，以确定是否执行定向BDOF。阈值可以是静态的和/或可变的。如果dGx小于或等于阈值(例如静态阈值(例如，预定义的阈值))，那么与CU相关联的参考图片中的CU(例如，或子CU)的水平梯度可以是相似的。如果dGy小于或等于阈值(例如静态阈值(例如，预定义的阈值))，则与CU相关联的参考图片中的CU(例如，或子CU)的垂直梯度可以是相似的。可以应用以下中的一个或多个。如果水平和垂直方向上的梯度相似，那么可针对CU(例如，或子CU)跳过BDOF细化。可应用双预测(例如)以生成针对CU的预测。如果垂直梯度相似且水平梯度不相似，那么可例如使用等式(18)推导水平BDOF细化参数v_x且可在水平方向上执行定向BDOF。如果垂直梯度相似且水平梯度不相似，那么可跳过垂直BDOF细化参数v_y的推导。

垂直梯度可以不相似，而水平梯度可以相似。可例如使用等式(19)推导垂直BDOF细化参数v_y，且可在垂直方向上执行定向BDOF细化。可以跳过水平BDOF细化参数v_x的推导。

垂直和水平方向上的梯度可能不相似。如果垂直和水平方向上的梯度不相似，则可以例如在水平方向和垂直方向上执行BDOF细化。

如本文所述，dGx和dGy可与可变阈值(例如，动态阈值)比较(例如，可各自与可变阈值比较)，例如，以确定是否执行定向BDOF。例如，dGx可与第一阈值比较，dGy可与第二阈值比较。第一阈值和第二阈值可以是可变的。例如，第一阈值可以是dGy(例如，水平方向梯度差)，而第二阈值可以是dGx(例如，垂直方向梯度差)。如果dGx大于第一阈值，则可以在垂直方向上执行定向BDOF。如果dGy大于第二阈值，则可以在水平方向上执行定向BDOF。

图12示出用于定向BDOF细化的图，其可用于CU(例如，或子CU)。可针对CU或子CU(例如，每一CU或子CU)计算梯度差(例如，dGx和dGy)。基于梯度差可以应用以下中的一个或多个：可以不执行(例如，跳过)BDOF细化，可以执行BDOF细化，可以在垂直方向上执行定向BDOF，或者可以在水平方向上执行定向BDOF。可以在序列参数集、图片参数集、切片标头等处用信号发送阈值。如本文所述，阈值可以是可变的(例如，参考图12，TH1可以包括dGy和/或TH2可以包括dGx)。

可例如使用等式(20)和(21)(例如，在PU过程的开始处)在整个CU计算梯度差。可在CU、子CU和/或PU级处做出执行定向BDOF细化的方向的确定。可以应用以下中的一个或多个：可在CU、子CU和/或PU级处跳过BDOF细化；可在CU、子CU和/或PU级处在水平方向上执行定向BDOF细化，可在CU、子CU和/或PU级处在垂直方向上执行定向BDOF细化；BDOF细化可在CU、子CU和/或PU级执行；等等。可(例如)基于CU、子CU和/或PU的面积来缩放阈值(例如，因为对于具有相等尺寸的子块可能不执行dGx或dGy比较)。

Claims

1.一种用于视频数据译码的设备，包括：

处理器，其至少被配置成：

计算针对译码单元(CU)的垂直方向梯度差，所述垂直方向梯度差指示与第一参考图片相关联的垂直梯度和与第二参考图片相关联的垂直梯度之间的差；

计算针对所述CU的水平方向梯度差，所述水平方向梯度差指示与所述第一参考图片相关联的水平梯度和与所述第二参考图片相关联的水平梯度之间的差；

基于所述垂直方向梯度差和所述水平方向梯度差，来确定对所述CU执行双向光流(BDOF)细化的方向；以及

在所确定的方向上，对所述CU执行定向BDOF细化。

2.根据权利要求1所述的设备，其中所述处理器被配置成：当所述垂直方向梯度差大于第一阈值时，确定执行BDOF细化的所述方向为所述垂直方向；并且当所述水平方向梯度差大于第二阈值时，确定执行BDOF细化的所述方向为所述水平方向。

3.根据权利要求2所述的设备，其中所述第一阈值为所述水平方向梯度差，并且其中所述第二阈值为所述垂直方向梯度差。

4.根据权利要求1所述的设备，其中所述处理器进一步被配置成：

识别与所述CU相关联的帧间译码模式和与所述CU相关联的尺寸；以及

基于与所述CU相关联的所述帧间译码模式或与所述CU相关联的所述尺寸中的至少一者，来确定是否对所述CU执行BDOF细化，其中在确定对所述CU执行BDOF细化的所述条件下，执行所述确定执行BDOF细化的所述方向的步骤。

5.根据权利要求1所述的设备，其中所述处理器进一步被配置成：

识别与第二CU相关联的帧间译码模式；以及

当与所述第二CU相关联的所述帧间译码模式支持子CU预测时，确定跳过对所述第二CU的BDOF细化。

6.根据权利要求1所述的设备，其中所述处理器进一步被配置成：

识别与所述CU的参考CU相关联的运动矢量，其中所述运动矢量包括在第一方向上的第一运动分量和在第二方向上的第二运动分量；以及

在所述第二运动分量为非整数运动分量的条件下，通过在所述第一方向上将梯度滤波器应用于与所述参考CU相关联的整数位置处的参考样本，来计算与所述CU相关联的方向梯度，其中所述梯度滤波器基于所述第一运动分量而被确定，其中在与所述参考CU相关联的整数位置处的参考样本近似所述参考CU中的分数位置处的所述样本，并且其中与所述CU相关联的所述方向梯度被用在针对所述CU的所述垂直方向梯度差或与所述CU相关联的所述水平方向梯度差中的至少一者的所述计算中。

7.根据权利要求6所述的设备，其中所述第二方向是垂直于所述第一方向的方向。

8.根据权利要求6所述的设备，其中所述处理器进一步被配置成识别对应于所述第二运动分量的所述整数位置。

9.根据权利要求1所述的设备，其中所述处理器进一步被配置成：

针对所述CU中的样本，计算针对所述第一参考图片中的对应参考CU中的第一参考样本的垂直梯度以及针对所述第二参考图片中的对应参考CU中的第二参考样本的垂直梯度；

计算针对所述第一参考图片中的所述对应参考CU中的所述第一参考样本的水平梯度以及针对所述第二参考图片中的所述对应参考CU中的所述第二参考样本的水平梯度；

基于针对所述第一参考样本的所述垂直梯度及针对所述第二参考样本的所述垂直梯度，计算针对所述样本的垂直方向梯度差；以及

基于针对所述第一参考样本的所述水平梯度及针对所述第二参考样本的所述水平梯度，计算针对所述样本的水平方向梯度差，其中针对所述CU的所述垂直方向梯度差通过聚合针对所述CU中的多个样本的所述垂直方向梯度差而被计算，并且针对所述CU的所述水平方向梯度差通过聚合针对所述CU中的所述多个样本的所述水平方向梯度差而被计算。

10.根据权利要求1所述的设备，其中所述CU包括当前块或当前子块。

11.一种方法，包括：

在所确定的方向上，对所述CU执行定向BDOF细化。

12.根据权利要求11所述的方法，进一步包括：当所述垂直方向梯度差大于第一阈值时，确定执行BDOF细化的所述方向为所述垂直方向；并且当所述水平方向梯度差大于第二阈值时，确定执行BDOF细化的所述方向为所述水平方向。

13.根据权利要求12所述的方法，其中所述第一阈值为所述水平方向梯度差，并且其中所述第二阈值为所述垂直方向梯度差。

14.根据权利要求11所述的方法，进一步包括：

15.根据权利要求11所述的方法，进一步包括：

识别与第二CU相关联的帧间译码模式；以及

16.根据权利要求11所述的方法，进一步包括：

17.根据权利要求16所述的方法，其中所述第二方向是垂直于所述第一方向的方向。

18.根据权利要求16所述的方法，进一步包括识别对应于所述第二运动分量的所述整数位置。

19.根据权利要求11所述的方法，进一步包括：

20.根据权利要求11所述的方法，其中所述CU包括当前块或当前子块。