CN110832858B - 用于视频编解码的设备、方法 - Google Patents

用于视频编解码的设备、方法 Download PDF

Info

Publication number
CN110832858B
CN110832858B CN201880044919.7A CN201880044919A CN110832858B CN 110832858 B CN110832858 B CN 110832858B CN 201880044919 A CN201880044919 A CN 201880044919A CN 110832858 B CN110832858 B CN 110832858B
Authority
CN
China
Prior art keywords
block
bio
sub
prediction
reference block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880044919.7A
Other languages
English (en)
Other versions
CN110832858A (zh
Inventor
修晓宇
贺玉文
叶艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Priority to CN202311239405.6A priority Critical patent/CN117478885A/zh
Priority to CN202311237929.1A priority patent/CN117478884A/zh
Publication of CN110832858A publication Critical patent/CN110832858A/zh
Application granted granted Critical
Publication of CN110832858B publication Critical patent/CN110832858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Abstract

一设备可以确定是启用还是停用针对当前编码单元(CU)(例如，块和/或子块)的双向光流(BIO)。用于所述CU的预测信息可被识别且可包含与第一参考块及第二参考块(例如，或第一参考子块及第二参考子块)相关联的预测信号。可计算预测差且可使用所述预测差来确定所述两个预测信号之间的相似性。可基于所述相似性来重构所述CU。举例来说，是在启用BIO还是停用BIO的情况下重构所述CU可基于所述两个预测信号是否相似。当确定所述两个预测信号不相似时，可确定启用所述CU的BIO。举例来说，可在确定所述两个预测信号相似时，在停用BIO的情况下重构所述CU。

Description

用于视频编解码的设备、方法
交叉引用
本申请要求以下各项的权益：2017年7月3日递交的美国临时申请No.62/528,296；2017年9月20日递交的美国临时申请No.62/560,823；2017年9月28日递交的美国临时申请No.62/564,598；2017年10月31日递交的美国临时申请No.62/579,559；以及2017年12月15日递交的美国临时申请No.62/599,241，其内容通过引用而被并入本文。
背景技术
视频编码系统广泛用于压缩数字视频信号，以减少这种信号的存储需要和/或传输带宽。存在各种类型的视频编码系统，例如基于块、基于小波和基于对象的系统。当前，广泛使用和/或部署了基于块的混合视频编码系统。基于块的视频编码系统的示例包括国际视频编码标准，例如MPEG1/2/4第2部分、H.264/MPEG-4第10部分AVC、VC-1、以及称为高效视频编码(HEVC)的最新视频编码标准，其由ITU-T/SG16/Q.6/VCEG和ISO/IEC/MPEG的JCT-VC(视频编码联合合作团队)开发。
发明内容
一种用于执行视频数据编码的设备可被配置以确定是启用还是停用当前编码单元(例如，块和/或子块)的双向光流(BIO)。可识别针对所述当前编码单元的预测信息。该预测信息可以包括与第一参考块(例如，或子块)相关联的预测信号和与第二参考块(例如，或子块)相关联的预测信号。可计算该两个预测信号之间的预测差。可基于该预测差来确定两个预测信号之间的相似性。可基于所述两个预测信号的相似性来重构所述当前编码单元。举例来说，可基于所述两个预测信号是否足够相似来确定是在BIO启用或BIO停用的情况下重构所述当前编码单元。当确定所述两个预测信号不相似(例如，不相似)时，可确定启用针对所述当前编码单元的BIO。举例来说，当确定所述两个预测信号相似时，可在BIO被停用的情况下重构所述当前编码单元。
可以用多种方式来确定可用于确定两个预测信号之间的相似性的所述预测差。举例来说，计算所述预测差可包含计算与所述两个预测信号相关联的两个参考块的相应样本值之间的平均差。所述样本值可以从它们各自的参考块被内插。举例来说，计算所述预测差可包含计算与所述两个预测信号相关联的两个参考块的相应运动向量之间的平均运动向量差。可基于参考图片与当前编码单元之间的时间距离来缩放所述运动向量。
可通过将两个预测信号之间的所述预测差与阈值进行比较来确定所述两个预测信号之间的相似性。当所述预测差小于或等于所述阈值时，可以确定所述两个预测信号相似。当所述预测差异大于所述阈值时，所述两个预测信号可能不被确定为足够相似(例如，不相似)。所述阈值可由视频编码设备确定和/或在视频编码设备处接收。可以基于期望的复杂度等级和/或期望的编码效率来确定所述阈值。
一种用于执行视频数据编码的设备可被配置以将一个或一个以上子块分组为子块组。例如，具有相似运动信息的连续子块可以被一起分组到一子块组中。子块组的形状和大小可以变化，并且可以基于当前编码单元的形状和/或大小来形成。子块可以被水平地和/或垂直地分组。可对所述子块组执行运动补偿操作(例如，单个运动补偿操作)。可对所述子块组执行BIO细化(refinement)。例如，该BIO细化可以基于所述子块组的所述子块的梯度值。
可以导出BIO梯度，使得可以利用基于单指令多数据(SIMD)的加速。在一种或多种技术中，所述BIO梯度可以通过应用内插滤波器和梯度滤波器而被导出，其中可以执行水平滤波，随后执行垂直滤波。在BIO梯度推导中，可对输入值执行舍入运算，其可通过加法及右移来实施。
公开了用于在视频编码器和/或解码器的(例如，常规)运动补偿(MC)阶段(例如，块级)跳过BIO操作的设备、过程和手段。在一种或多种技术中，可以针对可满足一个或多个因素/条件的一个或多个块/子块(例如，部分地或完全地)停用BIO操作。可针对在帧速率上变换(FRUC)双边模式中/由该帧速率上变换(FRUC)双边模式编码的块(一个或多个)/子块(一个或多个)停用BIO。对于由在时域中近似成比例的至少两个运动向量预测的块(一个或多个)/子块(一个或多个)，BIO可以被停用。当至少两个预测块之间的平均差小于或等于预定义/预定阈值时，可停用BIO。BIO可以基于梯度信息而被停用。
一种用于视频数据编码的解码设备可包括存储器。该解码设备可以包括处理器。所述处理器可被配置以识别至少一个编码单元(CU)的多个子块。所述处理器可以被配置成为MC选择所述多个子块中的一个或多个子块。所述处理器可以被配置为将MC条件的状态确定为已满足或未满足。所述处理器可以被配置为如果所述MC条件的状态为已满足，则在没有BIO运动细化处理的情况下为所述一个或多个子块启动运动补偿。所述处理器可以被配置为如果所述MC条件的状态为未满足，则启动用于所述一个或多个子块的具有BIO运动细化处理的运动补偿。
附图说明
图中相同的附图标记表示相同的元素。
图1示出了基于块的视频编码器的示例总图。
图2示出了视频解码器的示例总框图。
图3示出了双向光流的示例。
图4A和图4B示出了具有1/16像素(1/16-pel)的运动精度的BIO中的示例梯度推导过程。
图5A示出了没有块扩展限制的BIO的示例存储器访问。
图5B示出了具有块扩展约束的BIO的示例存储器访问。
图6示出了高级时间运动向量预测的示例。
图7示出了示例性的空间时间运动向量预测。
图8A示出了利用模板匹配的示例帧速率上变换。
图8B示出了利用双边匹配的示例帧速率上变换。
图9A示出了利用简化仿射模型的仿射模式的示例。
图9B示出了具有用于仿射块的子块级运动导出的仿射模式的示例。
图10A示出了BIO的示例2D梯度滤波过程，其中虚线箭头指示用于水平梯度推导的滤波方向。
图10B示出了BIO的示例2D梯度滤波过程，其中虚线箭头指示用于垂直梯度推导的滤波方向。
图11示出了运动补偿过程的示例。
图12A示出了BIO的示例性修改的2D梯度滤波过程，其中虚线箭头指示水平梯度推导的滤波方向。
图12B示出了BIO的示例性修改的2D梯度滤波过程，其中虚线箭头指示垂直梯度推导的滤波方向。
图13示出了用于BIO梯度推导的舍入方法的示例映射函数。
图14示出了用于BIO梯度推导的舍入方法的示例映射函数。
图15A示出了具有1/16像素的运动精度的BIO中的示例梯度推导过程。
图15B示出了具有1/16像素的运动精度的BIO中的示例梯度推导过程。
图16A示出了各种基于子块的运动补偿的示例比较。
图16B示出了具有子块合并的各种基于子块的运动补偿的示例比较。
图16C示出了具有2D子块合并的各种基于子块的运动补偿的示例比较。
图17A示出了关于在应用了子块运动补偿方法的情况下受BIO块扩展约束影响的样本的示例指示。
图17B示出了关于在基于2D子块合并的子块运动补偿的情况下受BIO块扩展约束影响的样本的示例指示。
图18A示出了示例性的行式子块合并实施方式。
图18B示出了示例性的列式子块合并实施方式。
图19示出了重叠块运动补偿的示例。
图20示出了运动补偿过程的示例。
图21示出了运动补偿过程的示例。
图22示出了在跳过以FRUC双边模式编码/由FRUC双边模式编码的块的BIO之后的示例运动补偿过程。
图23示出了在基于运动向量差跳过BIO之后的示例运动补偿过程。
图24示出了在基于至少两个预测信号之间的差跳过BIO之后的示例运动补偿过程。
图25示出了在基于梯度信息跳过BIO之后的示例运动补偿过程。
图26示出了具有多阶段BIO提前终止的示例运动补偿过程。
图27示出了当以高精度对两个中间预测信号求平均值时的示例双向预测(bi-prediction)过程。
图28A是在其中可实施一个或多个公开的实施例的示例通信系统的系统图。
图28B是可在图28A所示的通信系统内使用的示例无线发射/接收单元(WTRU)的系统图。
图28C是可在图28A所示的通信系统内使用的示例无线电接入网络(RAN)和示例核心网络(CN)的系统图。
图28D是可在图28A所示的通信系统内使用的另一示例RAN和另一示例CN的系统图。
具体实施方式
现在将例如参考各个附图来描述包括说明性实施例的详细描述。尽管本说明书提供了可能的实施方式的详细示例，但是应当注意，这些细节旨在作为示例性的，而不以任何方式限制本申请的范围。
图1示出了基于块的混合视频编码系统的示例框图。输入视频信号1102可以被逐块处理。扩展的块大小(称为“编码单元”或CU)可以用于有效地压缩高分辨率(1080p及以上)视频信号。CU可高达64×64像素。CU可进一步被分割成预测单元(PU)，针对所述预测单元，可应用单独的预测方法。对于一个或多个或每个输入视频块(MB或CU)，可执行空间预测(1160)和/或时间预测(1162)。空间预测(或“帧内预测”)使用来自同一视频图片/切片中的已编码相邻块的样本(例如，其被称为参考样本)的像素来预测当前视频块。空间预测可以减少所述视频信号中固有的空间冗余。时间预测(例如，也称为“帧间预测”和/或“运动补偿预测”)可使用来自已编码视频图片的经重构像素来预测当前视频块。时间预测可减少所述视频信号中固有的时间冗余。可通过指示当前块与其参考块之间的运动的量和/或方向的一个或一个以上运动向量来用信号发送针对给定视频块的时间预测信号。此外，如果支持多个参考图片，那么对于一个或一个以上或每一视频块，可发送其参考图片索引。该参考索引可以用于标识所述时间预测信号来自参考图片存储库(1164)中的哪个参考图片。在空间和/或时间预测之后，编码器中的模式决策块(1180)可例如基于率失真优化方法来选择最佳预测模式。
可从所述当前视频块减去预测块(1116)。预测残差可以使用变换(1104)而被去相关和/或被量化(1106)。可对经量化的残差系数进行逆量化(1110)和/或逆变换(1112)以形成经重构的残差，可将所述经重构的残差加回到预测块(1126)以形成经重构的视频块。可对经重构视频块应用(1166)例如解块滤波器和/或自适应环路滤波器等进一步环路内滤波，这可发生在将其放置在参考图片存储库(1164)中和/或用于对未来视频块进行编码之前。为了形成输出视频比特流1120，编码模式(例如，帧间和/或帧内)、预测模式信息、运动信息和/或量化的残差系数可以被发送到熵编码单元(1108)，以被进一步压缩和/或打包以形成比特流。
图2示出了基于块的视频解码器的总框图。视频比特流202可以在熵解码单元208处被解包和/或熵解码。可将所述编码模式和/或预测信息发送到空间预测单元260(例如，如果经帧内编码)和/或时间预测单元262(例如，如果经帧间编码)以形成预测块。可将所述残余变换系数发送到逆量化单元210和/或逆变换单元212以重构残差块。可在226处将所述预测块与所述残差块加在一起。经重构的块可以经过环内滤波，这可发生在例如在其可以被存储在参考图片存储库264中之前。所述参考图片存储库中的经重构视频可被发送出去以驱动显示设备和/或可用于预测未来视频块。
如图1和/或图2所示，可以执行或使用空间预测(例如，帧内预测)、时间预测(例如，帧间预测)、变换、量化、熵编码和/或环路滤波器。视频编码中的双向预测可包含从可能已经使用平均化而被重构的参考图片获得的两个时间预测块的组合。由于基于块的运动补偿(MC)的限制，例如，在两个预测块之间仍然可以观察到剩余的(多个)小运动。可以应用双向光流(BIO)来补偿至少一个块内的一个或多个或每个样本的这种运动。所述BIO可以是逐样本运动细化，其可以当使用双向预测时，在基于块的运动补偿预测之上被执行。至少一个块中的一个或多个或每个样本的细化的运动向量的导出可以基于经典光流模型。令I(k)(x,y)为从参考图片列表k(k＝0,1)导出的预测块的坐标(x,y)处的样本值，并且和/>可以指示所述样本的水平梯度和垂直梯度。假设所述光流模型是有效的，则(x,y)处的运动细化(vx,vy)可以通过下式导出：
通过结合光流公式(1)和沿运动轨迹的预测块的内插(例如，如图3所示)，BIO预测可以被获得为：
其中，τ0和τ1可以指示与I(0)和I(1)相关联的参考图片Ref0和Ref1至当前图片CurPic的时间距离，例如：
在图3中，(MVx0,MVy0)和(MVx1,MVy1)可指示可用于产生两个预测块I(0)和I(1)的块级运动向量。此外，可以通过最小化运动细化补偿(例如，图3中的A和B)之后的样本值之间的差Δ来计算样本位置(x，y)处的运动细化(vx,vy)，如以下所示：
可能为了确保所导出的运动细化的规律性，例如，可以假设所述运动细化在以(x，y)为中心的局部周围区域内一致。在示例BIO设计中，可以通过最小化在围绕(x，y)处的当前样本的5x5窗口Ω内的Δ来推导(vx,vy)的值，如下所示：
BIO可被应用于双向预测块，所述双向预测块可由来自时间上相邻的图片的两个参考块而被预测。所述BIO可以在不从编码器向解码器发送附加信息的情况下被启用。所述BIO可应用于具有前向和后向预测信号(例如，τ0·τ1>0)这两者的一些双向预测块。如果(例如)当前块的两个预测块来自同一方向(前向或后向，例如τ0·τ1<0)，那么可在所述预测块与非零运动相关联(例如，abs(MVx0)+abs(MVy0)≠0和abs(MVx1)+abs(MVy1)≠0)且所述两个运动向量与当前图片与参考图片之间的时间距离成比例时，应用所述BIO，所述两个运动向量与当前图片与参考图片之间的时间距离成比例可例如如下：
举例来说，如果当前块的两个预测块来自同一参考图片(例如，τ0＝τ1)，那么可停用BIO。当局部照明补偿(LIC)被用于所述当前块时，所述BIO可以被停用。
如(2)和(4)所示，可能除了块级MC之外，可以在BIO中导出运动补偿块(例如，I(0)和I(1))的样本的梯度(例如，以便导出局部运动细化和/或生成该样本位置处的最终预测)。在BIO中，可在基于可与运动补偿内插一致的滤波过程(例如，2D可分离式有限脉冲响应(FIR)滤波器)产生预测信号的同时，计算预测块中的样本的水平和垂直梯度(例如，和/>)。梯度推导过程的输入可以是用于运动补偿的相同参考样本和输入运动(MVx0/x1,MVy0/y1)的分数分量(fracX,fracY)。
为了导出样本位置(例如，每一样本位置)处的梯度值，可单独地(可能例如，以可被计算的梯度的方向上的不同次序)应用不同滤波器(例如，一个内插滤波器hL和一个梯度滤波器hG)。当导出水平梯度(例如，和/>)时，内插滤波器hL可被垂直应用于预测块内的样本以导出fracY处的垂直分数位置处的样本值。然后，梯度滤波器hG可以被水平地应用于所生成的垂直分数样本，以可能基于fracX的值来计算水平梯度值。当导出垂直梯度(例如，/>和/>)时，可将梯度滤波器hG垂直地应用于预测样本上，以计算对应于fracY的中间垂直梯度，且根据fracX的值使用内插滤波器hL来水平内插所述中间垂直梯度。梯度滤波器和内插滤波器的长度都可以是6抽头或8抽头。表1和表2示出了根据块级运动向量的精度可以被分别用于hG和hL的示例滤波器系数。
表1：用于BIO的示例梯度滤波器
分数位置 梯度滤波器(hG)
0 {8,-39,-3,46,-17,5}
1/16 {8,-32,-13,50,-18,5}
1/8 {7,-27,-20,54,-19,5}
3/16 {6,-21,-29,57,-18,5}
1/4 {4,-17,-36,60,-15,4}
5/16 {3,-9,-44,61,-15,4}
3/8 {1,-4,-48,61,-13,3}
7/16 {0,1,-54,60,-9,2}
1/2 {-1,4,-57,57,-4,1}
表2：用于BIO中预测信号生成的示例内插滤波器
图4A和图4B示出了BIO中应用的示例梯度推导过程，其中整数样本位置处的样本值被用图案化正方形示出，且分数样本位置处的样本值被用空白正方形示出。运动向量精度可以增加到1/16像素，并且在图4A和图4B中的整数样本的区域内可以定义255个分数样本位置，其中下标坐标(x，y)表示样本的相应水平和垂直分数位置(例如坐标(0，0)对应于整数位置处的样本)。可以在分数位置(1，1)(例如a1,1)处计算水平和垂直梯度值。按照图4A和图4B，对于水平梯度推导，可以通过在垂直方向上应用内插滤波器hL来推导分数样本f0,1,e0,1,a0,1,b0,1,c0,1和d0,1，例如，
其中B是输入信号的位深度(bit-depth)；OffSet0是舍入偏差，其可以等于
f0,1,e0,1,a0,1,b0,1,c0,1和d0,1的精度可以是14位。可以通过将对应的梯度滤波器hG水平地应用于所导出的分数样本来计算a1,1的水平梯度。这可以通过计算中间20位处的非舍入梯度值来完成，如以下所示：
gH_a′1,1＝8·f0,1-32·e0,1-13·a0,1+50·b0,1-18·c0,1+5·d0,1 (9)
可以通过将所述中间梯度值移位到输出精度来计算最终水平梯度，具体如下：
gH_a1,1＝sign(gH_a′1,1)·((abs(gH_a′1,1)+OffSet1)＞＞(18-B)) (10)
其中sign(·)和abs(·)是返回输入信号的符号和绝对值的函数；OffSet1是可以被计算为217-B的舍入偏移。
当导出(1，1)处的垂直梯度值时，可以导出分数位置(0，1)处的中间垂直梯度值，例如，
然后，可以通过移位到14位值来调整所述中间梯度值，如下：
在分数位置(1,1)处的垂直梯度值可由分数位置(0,1)处的中间梯度值上的内插滤波器hL获得。这可以通过计算20位的非舍入梯度值来完成，然后可以通过移位操作将该非舍入梯度值调整到输出位深度，如以下所示：
gV_a1,1＝sign(gV_a′1,1)·((abs(gV_a′1,1)+OffSet1)＞＞(18-B)) (14)
如(5)中所示，可能为了导出一个位置处的局部运动细化(vx,vy)，可以针对该样本周围的周围窗口Ω中的一些样本计算样本值和梯度值。所述窗口大小可以是(2M+1)x(2M+1)，其中M＝2。如本文所述，梯度推导可访问当前块的扩展区域中的额外参考样本。假定内插滤波器和梯度滤波器的长度T可以是6，则对应的扩展块大小可以等于T-1＝5。对于给定的W x H块，BIO所需的存储器访问可为(W+T-1+2M)x(H+T-1+2M)＝(W+9)x(H+9)，其可大于运动补偿所使用的存储器访问(W+7)x(H+7)。为了控制所述BIO的存储器访问，可以使用块扩展约束。例如，如果应用块约束，则可以使用可能在当前块内的相邻样本，以可能用于计算该块内的一位置处的局部运动细化(vx,vy)。图5A和图5B比较了在应用块扩展约束之前和之后BIO的存储器访问区域的大小。
在高级时间运动向量预测(ATMVP)中，可通过允许块从当前图片的时间相邻图片的多个较小块导出该块中的子块的多个运动信息(例如，运动向量及参考索引)来改进时间运动向量预测。所述ATMVP可通过识别时间参考图片中的所述当前块的对应块(其可称为并置(collocated)块)来导出块中的所述子块的运动信息。所选择的时间参考图片可以被称为并置图片。所述当前块可以被划分成多个子块，其中来自所述并置图片中的对应的小块的每个子块的运动信息可以被导出，如图6所示。
所述并置块和所述并置图片可由所述当前块的空间相邻块的所述运动信息来识别。图6示出了一过程，其中考虑了合并候选列表中的可用候选。可假定块A基于合并候选列表的扫描次序而被识别为当前块的可用合并候选。块A的对应运动向量(例如，MVA)及其参考索引可用于识别所述并置图片及并置块。所述并置图片中的所述并置块的位置可通过将块A的运动向量(MVA)添加至所述当前块的坐标而被确定。
对于所述当前块中的子块，其在所述并置块中的对应小块的运动信息(如图6中的箭头所指示)可用于导出所述当前块中的子块的运动信息。当识别了所述并置块中的每一小块的运动信息时，接着可将其转换为所述当前块中的对应子块的运动向量和参考索引(例如，以与时间运动向量预测(TMVP)相同的方式，其中可应用时间运动向量缩放)。
在时空运动向量预测(STVMP)中，可以以递归方式导出编码块中子块的运动信息，并且其示例在图7中被示出。图7示出了一个示例以说明该概念。如图7所示，所述当前块可以包含四个子块A、B、C和D。与该当前块空间相邻的相邻小块分别被标记为a、b、c和d。子块A的运动导出可识别其两个空间相邻者。例如，如果小块c不可用或被帧内编码，则可检查当前块上方的随后相邻小块(从左到右)。子块A的第二相邻者可以是左相邻者b。如果例如小块b不可用或者被帧内编码，则可以检查当前块左边的后续相邻小块(从上到下)。子块A的时间相邻者的运动信息可通过遵循HEVC中的TMVP过程的类似程序来获得。可用空间及时间相邻者(例如，多达3个)的运动信息可被平均并被用作子块A的运动信息。基于光栅扫描次序，可重复上述STMVP过程以导出当前视频块中的其它子块的运动信息。
对于帧间编码块，可支持帧速率上变换模式(FRUC)。当启用此模式时，例如，可不用信号通知经编码的块的运动信息(例如，包含运动向量和/或参考索引)。该信息可以在解码器侧通过模板匹配和/或双边匹配技术来导出。可在解码器处的运动推导过程期间，例如，可检查块的合并候选列表和/或从当前块的时间并置块的运动向量产生的一组初步运动向量。可以选择导致最小绝对差和(SAD)的候选作为起始点。可以执行基于围绕该起始点的模板匹配和/或双边匹配的(例如，局部)搜索。产生最小SAD的MV可被取作整个块的MV。为了更好的运动补偿效率，可以在子块级进一步细化所述运动信息。
图8A和图8B示出了所述FRUC过程的一个示例。如图8A中所示，模板匹配可用于通过找到当前图片中的模板(例如，当前块的顶部和/或左侧相邻块)与参考图片中的块(例如，其具有与模板相同的大小)之间的(例如，最佳)匹配来导出所述当前块的运动信息。在图8B中，所述双边匹配可以用于通过在两个不同参考图片中沿着当前块的运动轨迹找到两个块之间的(例如，最佳)匹配来导出所述当前块的运动信息。双边匹配的运动搜索过程可以基于运动轨迹，例如指向两个参考块的运动向量MV0和MV1可以与当前图片和两个参考图片(例如，T0和T1)中的一个或每一个之间的时间距离成比例。
平移运动模型可被应用于运动补偿预测。存在许多种运动，例如放大/缩小、旋转、透视运动和其它不规则运动。可以应用仿射变换运动补偿预测。如图9A中所示，块的仿射运动场可由一些(例如，两个)控制点运动向量来描述。基于所述控制点运动，仿射块的运动场可被描述为：
其中(v0x,v0y)可以是左上角控制点的运动向量，而(v1x,v1y)可以是右上角控制点的运动向量，如图9A所示。可能例如当通过仿射模式对视频块进行编码时，可基于4×4块的粒度来导出其运动场。为了导出4×4块的运动向量，如图9B所示，各子块的中心样本的运动向量可根据(15)计算，并可被舍入到1/16像素准确度。可以在运动补偿阶段使用所导出的运动向量来生成所述当前块内部的子块的预测信号。
单指令多数据(SIMD)指令可以用于现代视频编解码器的软件/硬件设计中，以加速编码和解码的处理速度。SIMD可以通过使用单个指令来同时对多个数据元素执行相同的操作。SIMD宽度定义了可由寄存器并行处理的数据元素的数量。128位SIMD可用于通用中央处理单元(CPU)中。图形处理单元(GPU)可以支持较宽的SIMD实现，例如，支持利用512位寄存器的算术、逻辑、加载、存储指令。
如本文所讨论的，为了减少滤波操作的数量，BIO实施方式可以在梯度推导过程中使用2D可分离FIR滤波器，例如，1D低通内插滤波器和1D高通梯度滤波器的组合。对应滤波器系数的选择可以基于目标样本的分数位置。由于这些特性(例如，2D可分离滤波器)，可以针对多个样本并行地进行一些计算操作。所述梯度推导过程可以适用于SIMD加速。
对于水平和垂直梯度推导，可以应用垂直滤波，随后是水平滤波。举例来说，为了计算水平梯度，可使用内插滤波器hL执行垂直内插以产生中间样本，接着将梯度滤波器hG水平地应用于所述中间样本上。为了计算所述垂直梯度，可以在垂直方向上应用梯度滤波器hG以计算中间垂直梯度，然后可以将该中间垂直梯度输入到水平内插滤波器hL。假设hL和hG的滤波器长度均为T＝6，则水平滤波过程可以在当前块的水平扩展区域中生成附加中间数据(例如，用于水平梯度计算的中间样本和用于垂直梯度计算的中间梯度)，以提供足够的参考数据用于随后的水平滤波过程。图10A和图10B示出了可以应用于BIO的2D梯度滤波过程，其中虚线指示可以应用每个滤波过程的相应方向。如图10A和图10B中所示，对于W×H块，中间数据的大小为(W+T-1)x H＝(W+5)x H。在HEVC及JEM中，编码块的宽度可为2的幂，例如4、8、16、32等。样本可以通过1字节(对于8位视频)或2字节(对于8位以上的视频信号)而被存储在存储器中。如本文所论述，输入到所述水平滤波过程的所述中间数据的宽度可为W+5。给定现有SIMD宽度，SIMD寄存器在水平滤波过程期间可能未被充分利用，这可能降低SIMD实施方式的并行效率。例如，对于具有宽度8的编码块，所述中间数据的宽度可以是8+5＝13，假设128位SIMD实施方式和10位输入视频，在水平滤波过程期间，可能需要两个SIMD运算环路来处理所述中间数据的每一行。例如，第一SIMD环路可以通过并行地过滤8个样本来使用128位寄存器的有效载荷，而在第二环路中可以有剩余5个样本(例如，5×16位＝80位)。
如(10)、(12)和(14)所示，在梯度推导过程中的舍入运算可以通过以下步骤进行：计算输入数据的绝对值，通过加上一个偏移然后右移来舍入所述绝对值，将舍入的绝对值与输入数据的符号相乘。
如本文中所论述，可使用一个或一个以上子块编码模式(例如，ATMVP、STMVP、FRUC和仿射模式)。当启用子块级编码模式时，可将当前编码块进一步分割为多个小子块，且可单独导出每一子块的运动信息。因为一个编码块内的子块的运动向量可以不同，所以可以针对每个子块单独执行运动补偿。假定所述当前块是通过子块模式编码的，图11示出了用于使用BIO相关操作生成所述块的预测信号的示例过程。如图11所示，可针对所述当前块的一些(例如，所有)子块导出运动向量。然后，可以应用常规MC来为所述块内的一个或多个子块产生运动补偿预测信号(例如，Predi)。例如，如果使用BIO，则可以进一步执行基于BIO的运动细化，以获得针对所述子块的修改后的预测信号PredBIOi。这可能导致BIO的多次调用，以产生每个子块的预测信号。内插滤波和梯度滤波可访问附加参考样本(取决于滤波器长度)以用于在子块级执行所述BIO。包含在块中的子块的数量可以相对较大。可能在运动补偿操作和使用不同运动向量之间发生频繁的切换。
BIO预测推导可以被实施以用于高效的SIMD实施方式。
在示例性BIO实施方式中，所述BIO预测可以用等式(2)导出。在示例性BIO实施方式中，BIO预测可以包括一个或多个步骤(例如，两个步骤)。一个步骤(例如，第一步骤)可以是从高精度导出调整(例如，利用等式(16))。一个步骤(例如，第二步骤)可以是通过组合来自多个列表(例如，两个列表)的多个预测(例如，两个预测)和所述调整来导出所述BIO预测，如等式(17)中所见。
对于0.5舍入，参数round1可以等于(1<<(shift1-1))。
predBIO(x,y)＝(I(0)(x,y)+I(1)(x,y)+adj(x,y)+round2)＞＞shift2 (17)
对于0.5舍入，参数round2可以等于(1<<(shift2-1))。
等式(16)中的舍入可从变量计算绝对值和符号，且在右移之后组合所述符号与中间结果。等式(16)中的舍入可以使用多个操作。
可以导出BIO梯度，使得可以利用基于SIMD的加速。例如，BIO梯度可以通过应用水平滤波然后应用垂直滤波来导出。或许为了充分利用所述SIMD的并行能力，输入到第二滤波过程(例如，垂直滤波)的中间数据的长度可以是SIMD寄存器的长度的倍数。在一个示例中，可以直接执行对所述输入值的舍入运算。这可以通过加法和右移来实现。
在BIO梯度推导过程中，垂直滤波之后可以是水平滤波。中间块的宽度可能不能与公共SIMD寄存器的长度很好地对准。在梯度推导过程期间的舍入运算也可以基于绝对值来执行，这可能会为SIMD实现引入代价很高的计算(例如，绝对计算和乘法)。
如图10A和图10B所示，在BIO的梯度计算过程中，垂直滤波之后可以是水平滤波。可能，由于可以使用的内插滤波器和梯度滤波器的长度，垂直滤波之后的中间数据的宽度可以是W+5，这种宽度可能会与实际中可以使用的SIMD寄存器的宽度对准或不对准。
对于水平和垂直梯度推导，可以执行水平滤波，随后执行垂直滤波。为了计算水平梯度，可以执行水平梯度滤波器hG以基于分数水平运动fracX产生中间水平梯度，随后根据分数垂直运动fracY将内插滤波器hL垂直地应用于所述中间水平梯度上。对于垂直梯度的计算，内插滤波器hL可以基于fracX的值而被应用在水平方向上，这可能用于计算所述中间样本。所述梯度滤波器hG可以被垂直地应用于所述中间样本，这可取决于fracY的值。图12A和图12B示出了滤波之后的相应2D梯度推导过程。如图12A和图12B中所示，中间数据(例如，用于水平梯度计算的中间梯度及用于垂直梯度计算的中间样本)的大小可为W x(H+T-1)＝W x(H+5)。图12A和图12B的滤波过程可以确保中间数据的宽度(例如，W)可以与可以在实施方式中使用的SIMD寄存器长度(例如，128位和512位)对准。假设128位SIMD实施方式、10位输入视频和块宽度W＝8，采用与图10A和图10B中相同的示例来进行说明。如图10A和图10B所示，可以使用两组SIMD运算来处理中间块(例如，W+5)的每一行中的数据，其中第一组可以使用128位SIMD寄存器的有效载荷(例如，100％的使用率)，而第二组可以使用128位有效载荷中的80位(例如，62.5％的使用率)。一组SIMD运算可以利用128位寄存器容量，例如100％的使用率。
如本文所讨论的，所述BIO梯度推导可以基于输入值的绝对值来舍入该输入值，这可以最小化舍入误差。例如，可以通过对所述绝对值舍入并且将舍入后的绝对值与所述输入的符号相乘来计算所述输入的绝对值。这种舍入可以描述为：
σr＝sign(σi)·((abs(σi)+o)＞＞shift) (18)
其中σ_i和σ_r可以是输入信号和舍入后的信号的对应值；o和shift可以是偏移以及在所述舍入期间可以应用右移的数目。当导出BIO块的梯度时，可对输入值执行舍入运算，例如，
σr＝(σi+o)＞＞shift (19)
图13和图14比较了不同舍入方法的映射函数。如图13和图14所示，由该两种方法计算的舍入值之间的差可能较小。当σ_i的输入值可能等于-0.5、-1.5、-2.5、…时，可能存在差异，其可通过图13的舍入方法而被舍入为整数-1、-2、-3、…，且通过图14的舍入方法而被舍入为整数0、-1、-2、…。图14的舍入方法所引入的编码性能影响是可忽略的。如(17)中所见，图14的舍入方法可以通过单个步骤来完成，并且可以通过加法和右移来实现，这两者都可以比(16)中使用的绝对值计算和乘法更划算。
如本文所讨论的，2D可分离滤波器的排序和/或某些舍入方法的使用可能会影响BIO梯度推导。图15A和图15B示出了示例性梯度推导过程，其中2D可分离滤波器的排序和某些舍入方法的使用可能会影响BIO梯度推导。例如，当导出水平梯度时，可以通过在水平方向上应用梯度滤波器hG来导出分数样本s1,0,g1,0,a1,0,m1,0和y1,0处的水平梯度值，例如，
例如，可以通过垂直地应用内插滤波器hL，从那些中间水平梯度值内插得到a1,1的水平梯度，例如，gH_a′1,1，如以下所示：
垂直梯度可以通过在水平方向上应用内插滤波器hL在分数位置(1，0)处内插样本值来计算，例如，
可通过在(1,0)处的中间分数位置上垂直地执行梯度滤波器hG来获得在a1,1处的垂直梯度值，如以下所示：
/>
由所述内插滤波器和梯度滤波器引起的位深度增加可以是相同的(例如，如表1和表2所指示的6位)。改变所述滤波顺序可能不会影响内部位深度。
如本文所论述，可使用基于子块级运动补偿的一个或一个以上编码工具(例如，ATMVP、STMVP、FRUC和仿射模式)。如果启用这些编码工具，那么编码块可划分成多个小子块(例如，4×4块)且可导出其自身的可在运动补偿阶段使用的运动信息(例如，参考图片索引和运动向量)。可以对每个子块分别执行运动补偿。可提取额外参考样本以执行针对每一子块的运动补偿。基于可变块大小的基于区域的运动补偿可以被应用，以合并在编码块内部呈现相同运动信息的连续子块，以用于运动补偿过程。这可以减少在当前块内部应用的运动补偿过程和BIO过程的数量。可以使用不同的方案来合并相邻的子块。可以执行基于行的子块合并和2D子块合并。
可对通过子块模式编码的块执行运动补偿预测。通过将具有相同运动信息的连续子块合并到子块组中，可以应用可变块大小运动补偿。可以对每个子块组执行单个运动补偿。
在基于行的子块合并中，相邻子块可以通过将当前编码块内的具有相同运动的相同子块行定位到一个组中而被合并，并且对该组内的子块执行单个运动补偿。图16A示出了一示例，其中当前编码块由16个子块组成并且每个块可与特定运动向量相关联。基于现有的基于子块的运动补偿方法(如图11所示)，可能为了生成当前块的预测信号，可以对每个子块分别进行常规运动补偿和BIO运动细化。相应地，可以有16次运动补偿操作的调用(每次操作包括所述常规运动补偿和所述BIO)。图16B示出了在应用了基于行的子块合并方案之后的子块运动补偿过程。如图16B中所示，在水平合并具有相同运动的子块之后，所述运动补偿操作的数目可减小到6。
子块合并可以取决于块的形状。
如图16B中所见，可考虑在运动补偿阶段合并水平方向上的相邻子块的运动。举例来说，可考虑CU内的(例如，相同)子块行中的子块以用于在运动补偿阶段合并。可以应用(例如，一个)四叉树加二叉树(QTBT)结构来分割(例如，一个)图片中的块。在QTBT结构中，可以使用四叉树实施方式来分割(例如，每个)编码单元树(CTU)。(例如，每个)四叉树叶节点可以由二叉树来分割。这种分割可以发生在水平和/或垂直方向。可以使用矩形和/或正方形形状的编码块进行帧内编码和/或帧间编码。这可能是由于二叉树分割。举例来说，如果实施了此块分割方案且应用了基于行的子块合并方法，那么子块可在水平方向上具有类似(例如，相同)运动。举例来说，如果矩形块垂直定向(例如，块高度大于块宽度)，那么位于相同子块列中的邻近子块可比位于相同子块行中的邻近子块更相关。在这种情况下，子块可以在垂直方向上被合并。
可以使用依赖于块形状的子块合并方案。举例来说，如果CU的宽度大于或等于其高度，那么可使用行式子块合并方案来联合预测在水平方向上具有相同运动的子块(例如，位于相同子块行中的子块)。这可以使用(例如，一个)运动补偿操作来执行。举例来说，如果CU的高度大于其宽度，那么可使用列式子块合并方案来合并具有相同运动且位于当前CU内的相同子块列中的邻近子块。这可以使用(例如，一个)运动补偿操作来执行。图18A和图18B示出了基于块形状的自适应子块合并的示例实施方式。
在本文所述的基于行/列的子块合并方案中，可考虑水平方向和/或垂直方向上的相邻子块的运动一致性，以在运动补偿阶段合并子块。实际上，相邻子块的运动信息在垂直方向上可能高度相关。举例来说，如图16A所示，第一子块行与第二子块行中的前三个子块的运动向量可相同。在此情况下，当合并子块以用于更有效的运动补偿时，可考虑水平和垂直运动一致性这两者。可以使用2D子块合并方案，其中水平和垂直方向上的相邻子块可被合并为子块组。为了计算每个运动补偿的块大小，可以使用渐进搜索方法来水平和垂直地合并子块。给定子块位置，其可通过以下操作来工作：计算子块行(例如，每一子块行)中可合并到单一运动补偿阶段的连续子块的最大数目；将可在当前子块行处实现的运动补偿块大小与在最后子块行处计算的运动补偿块大小相比较；和/或合并所述子块。这可以通过重复上述步骤来进行，直到在合并了给定子块行中的附加子块之后可能不能进一步增加所述运动补偿块大小为止。
这里描述的搜索方法可以通过以下示例过程来概括。给定位于第i子块行和第j子块列处的子块位置bi,j，可以计算第i子块行中具有与当前子块相同运动的连续子块的数量(例如，Ni)。对应的运动补偿块大小Si＝Ni并且设置k＝i；可进行到第(k+1)个子块行，并计算允许合并的连续子块的数量(例如，Nk+1)；更新Nk+1＝min(Nk,Nk+1)并计算相应的运动补偿块大小Sk+1＝Nk+1·(k-i+1)；如果Sk+1≥Sk，则设置Nk+1＝Nk,k＝k+1，进行到第(k+1)子块行，并且计算允许合并的连续子块的数量(例如，Nk+1)；更新Nk+1＝min(Nk,Nk+1)并计算相应的运动补偿块大小Sk+1＝Nk+1·(k-i+1)；否则，结束。
图16C示出了在应用所述2D子块合并方案之后的相应子块运动补偿过程。如图16C中所见，所述运动补偿操作的数目可为3(例如，用于三个子块组的运动补偿操作)。
如本文所述，可执行所述子块合并。所述块扩展约束可以被应用于所述BIO梯度推导过程。在当前块内的相邻样本可用于计算所述块内样本位置的局部运动细化。样本的局部运动细化可以通过考虑在该样本的5×5周围区域中的相邻样本来计算(如(5)中所示)，并且当前梯度/内插滤波器的长度可以是6。当与在其它样本位置处导出的运动细化值相比时，针对当前块的前/后两行和前/后两列中的样本导出的局部运动细化值可能不太准确，这可能是因为四个角样本位置的水平/垂直梯度被复制到所述当前块的扩展区域。在运动补偿阶段使用较大的块大小可减少受所述BIO块扩展约束影响的样本的数目。假设子块的大小为8，图17A和图17B比较了分别应用使用子块运动补偿方法(图17A)和使用2D子块合并方案(图17B)时由于BIO块扩展约束而受到影响的样本的数量。如图17A和图17B中所见，2D子块合并可减少受影响样本的数目且还可最小化由不准确的运动细化计算而引起的影响。
在BIO预测推导中可以执行舍入。可以对绝对值应用(例如，可以首先应用)舍入。可以应用符号(例如，可以在右移之后应用)。可以如等式(24)所示应用BIO预测的调整推导中的舍入。等式(24)中的右移可以是算术右移(例如，变量的符号可以在右移之后保持不变)。调整adj(x，y)可以在SIMD中被计算。可以利用一个加法和一个右移操作来计算所述调整。等式(16)中的舍入与等式(24)中的舍入之间的示例差异可以在图13和/或图14中示出。
/>
(24)中所见的舍入方法可以对原始输入值执行两个舍入运算(例如，(24)中的round1和(17)中的round2)。在(24)中看到的舍入方法可以将两个右移操作(例如，(24)中的shift1和(17)中的shift2)合并为一个右移。由BIO生成的最终预测可以在等式(25)中看到：
其中round3等于(1<<(shift1+shift2-1))。
用于导出所述调整值的当前位深度(其可被设定为21位，其中一位可用于所述符号)可高于双向预测的中间位深度。如(16)所示，可以对调整值(例如，adjhp(x,y))应用舍入运算(例如，round1)。中间位深度可被应用以产生双向预测信号(例如，其可被设定为14位)。基于绝对值的右移(例如，shift1＝20-14＝6)可以在等式(16)中实现。所导出的BIO调整值的位深度可以减少，例如从21位减少到15位，使得在BIO过程中可以跳过第一舍入运算(例如，round1)。如(26)和(27)所示，可以改变(16)和(17)中的BIO生成过程：
predBIO(x,y)＝(I(0)(x,y)+I(1)(x,y)+adjLp(x,y)+round2)＞＞shift2 (27)
其中和/>可以是以降低的精度导出的水平和垂直预测梯度，且vLP x和vLP y可以是较低位深度处的对应局部运动。如(27)所示，在BIO生成过程中可以使用一个舍入运算。
应当提及的是，除了被单独应用之外，本文所述的方法还可以被组合应用。举例来说，可组合本文所描述的BIO梯度导出与子块运动补偿。在此描述的方法可以在运动补偿阶段被联合地实现。
可以执行重叠块运动补偿(OBMC)以在MC阶段去除块效应。可能例如除了一个块的右边界和/或下边界之外，OBMC可以针对一个或多个或所有块间边界来执行。当在一个子块模式中对一个视频块进行编码时，子块模式可指代允许当前块内的子块具有其自身运动的编码模式，例如，FRUC模式。可以针对所述子块的边界中的一个或多个或全部四个执行OBMC。图19示出了OBMC概念的一个示例。当OBMC被应用于一个子块(例如，图19中的子块A)时，可能除了当前子块的运动向量之外，还可使用多达四个相邻子块的运动向量来导出所述当前子块的预测信号。可对使用相邻子块的所述运动向量的一个或一个以上或多个预测块进行平均以产生所述当前子块的最终预测信号。
加权平均可以用在OBMC中以产生一个或多个块的预测信号。使用至少一个相邻子块的运动向量的所述预测信号可被表示为PN，和/或使用当前子块的运动向量的预测信号可被表示为PC。当应用OBMC时，PN的前/后四行/列中的样本可以与PC中的相同位置处的样本进行加权平均。可以根据相应的相邻子块的位置来确定针对其应用加权平均的样本。当相邻子块是上方相邻者(例如，图19中的子块b)时，例如，可调整当前子块的前X行中的样本。当相邻子块是下方相邻者(例如，图19中的子块d)时，例如，可以调整当前子块的最后X行中的样本。当相邻子块是左相邻者(例如，图19中的子块a)时，例如，可调整当前块的前X列中的样本。例如，当相邻子块是右相邻者(例如，图19中的子块c)时，可以调整所述当前子块的最后X列中的样本。
可基于用于对当前块进行编码的编码模式来确定X和/或权重的值。举例来说，在当前块未在子块模式中被编码时，加权因子{1/4、1/8、1/16、1/32}可用于PN的至少前四行/列，和/或加权因子{3/4、7/8、15/16、31/32}可用于PC的前四行/列。举例来说，在当前块在子块模式中被编码时，可对PN和PC的前两行/列求平均。在这种情况下，其中，加权因子{1/4，1/8}可以用于PN，和/或加权因子{3/4，7/8}可以用于PC。
如本文所述，通过改进在MC阶段使用的运动向量的粒度和/或精度，BIO可以被认为是常规MC的一种增强。假设CU含有多个子块，图20示出了使用BIO相关操作产生针对所述CU的预测信号的过程的示例。如图20所示，可针对当前CU的一个或一个以上或所有子块导出运动向量。可应用所述常规MC以产生用于所述CU内的一或多个子块或每一子块的经运动补偿的预测信号(例如，Predi)。例如，如果使用BIO，则可能执行基于BIO的运动细化以获得所述子块的经修改的预测信号PredBIO i。当使用OBMC时，例如，可以通过遵循与这里描述的相同的过程来对CU的一个或多个子块或每个子块执行OBMC以生成相应的OBMC预测信号。在一些场景中，空间相邻子块的运动向量(例如，可能代替当前子块的运动向量)可用于导出预测信号。
在图20中，例如当至少一个子块被双向预测时，BIO可以在常规MC阶段和/或OBMC阶段被使用。可调用BIO以产生子块的预测信号。图21示出了OBMC之后的预测生成过程的示例流程图，其可以在没有BIO的情况下被执行。在图21中，可能例如在常规MC阶段，运动补偿预测之后仍然可以跟随BIO。如本文所述，基于BIO的运动细化的导出可以是基于样本的操作。
对于以子块模式(例如，FRUC、仿射模式、ATMVP和/或STMVP)编码的当前UC，可在常规MC过程处应用BIO。对于通过那些子块模式中的一者或一者以上或任一者编码的CU，CU可进一步划分成一个或一个以上或多个子块，且可向一个或一个以上或每一子块可被指派一个或一个以上唯一运动向量(例如，单向预测(uni-prediction)和/或双向预测)。也许例如当BIO被启用时，是否应用BIO的决定和/或BIO操作本身可以针对一个或多个或每个子块而被单独地执行。
如本文所述，可预期一种或多种技术来跳过MC阶段(例如，常规MC阶段)的BIO操作。例如，BIO的核心设计(例如，梯度和/或细化的运动向量的计算)可以保持相同和/或基本相似。在一种或多种技术中，可以针对其中可以满足一个或多个因素或条件的块/子块(例如，部分地或完全地)停用所述BIO操作。在一些情况下，MC可以在没有所述BIO的情况下被执行。
在子块模式中，可允许CU被划分成一个以上子块，和/或一个或多个不同运动向量可与一个或一个以上子块或每一子块相关联。可对所述CU和/或一个以上子块(例如，如果CU被启用了子块编码)执行运动补偿预测和/或BIO操作。本文所描述的技术中的一者或一者以上可适用于可能不通过子块模式编码(例如，不被划分和/或具有(例如，单个)运动向量)的视频块。
如本文所述，BIO可以补偿由传统的基于块的MC生成的(例如，至少)两个预测块之间可能保留的(例如，小的)运动。如图8A和图8B所示，FRUC双边匹配可以用于基于沿着前向和/或后向参考图片中的预测块之间的运动轨迹的时间对称性来估计运动向量。举例来说，与两个预测块相关联的运动向量的值可与当前图片与其相应参考图片之间的时间距离成比例。基于双边匹配的运动估计可以提供一个或多个(例如，可靠的)运动向量，这可发生在例如当在两个参考块(例如，随机访问配置中的最高时间层中的编码块)之间可能存在(例如，仅)小的平移运动时。
举例来说，除了其他情形之外，当通过FRUC双边模式对至少一个子块进行编码时，该子块内的样本的一个或一个以上真实运动向量可为(例如，应为)相干的。在一种或一种以上技术中，可在用于通过FRUC双边模式编码的一个或一个以上子块的常规MC过程期间停用BIO。图22示出了在MC阶段处针对FRUC双边块停用BIO过程之后的预测生成过程的示例图。例如，在解码器侧，也许一旦解码器可以确定使用FRUC双边模式来对块进行编码，就可以绕过BIO过程。
如本文所描述，可针对一个或一个以上FRUC双边子块(对于其而言，两个运动向量可能在时域中是(例如，可能总是)对称的)，跳过BIO。除了其它情形之外，可能为了实现进一步的复杂性降低，可基于至少一个经双向预测的子块的至少两个运动向量之间的(例如，绝对)差，在MC阶段处跳过BIO过程。举例来说，对于可通过在时间域中可近似成比例的两个运动向量预测的一个或一个以上子块，可合理地假设该两个预测块高度相关和/或在子块级MC处使用的运动向量可足以准确地反映该预测块之间的真实运动。在一个或多个场景中，对于那些子块，可以跳过BIO过程。对于其运动向量可能不(例如，可能远非)在时间上成比例的双向预测的子块的情形，可在子块级运动补偿预测上执行BIO。
通过使用与图3中相同的符号，例如(MVx0,MVy0)和/或(MVx1,MVy1)表示可用于产生两个预测块的子块级运动向量(例如，预测信号)。此外，τ0和τ1表示前向和/或后向时间参考图片到当前图片的时间距离。此外，(MVs x1,MVs y1)可以被计算为(MVx1,MVy1)的缩放版本，其可以基于τ0和τ1而被生成为：
基于(28)，或许当可以应用一个或多个所设想的技术时，对于至少一个块和/或子块，可以跳过BIO过程。举例来说，基于(28)，可确定两个预测块(例如，参考块)为相似或不相似(例如，基于预测差而确定)。如果两个预测块(例如，参考块)相似，那么可针对所述至少一个块或子块跳过BIO过程。如果两个预测块(例如，参考块)不相似，则可以不跳过针对所述至少一个块或子块的BIO过程。举例来说，当满足以下条件时，可确定两个预测块是相似的：
变量thres可以指示运动向量差的预定义/预定阈值。否则，可以用于当前子块的子块级MC的运动向量可能会被认为是不准确的。在这种情况下，BIO仍然可以应用于所述子块。举例来说，可基于期望编码性能，用信号发送和/或确定(例如，由解码器确定)变量thres。
图23示出了示例预测生成过程，其中可以基于(29)的运动向量差标准来停用BIO。如从(29)可以看出，运动向量差的阈值(例如，thres)可以用于确定至少一个块或子块是否可以跳过MC阶段处的BIO处理。换句话说，所述阈值可用于识别在何处跳过BIO过程可能或可能不对总体编码/解码复杂性具有不可忽略的影响。阈值可用于确定是否跳过BIO过程。在一种或一种以上技术中，可在编码器和/或解码器处为一或多个或所有图片使用运动向量差的相同阈值。在一种或一种以上技术中，可针对不同图片使用一个或一个以上不同阈值。例如，在随机访问配置中，可以针对在高时间层(一个或多个)处的图片使用一个或多个相对小的阈值(例如，可能由于较小的运动)。例如，相对大的(一个或多个)阈值可以用于(一个或多个)低时间层处的图片(例如，由于较大的运动)。
如(28)和(29)所示，运动向量缩放可应用于(MVx1,MVy1)以计算所述运动向量差。例如，当应用(28)中的运动向量缩放和/或假设τ0>τ1时，由(MVx1,MVy1)的运动估计引起的误差可能被放大时。可将运动向量缩放应用(例如，可始终应用)到与具有距当前图片相对大的时间距离的参考图片相关联的运动向量。例如，当τ0≤τ1时，运动向量(MVx1,MVy1)可以被缩放以计算运动向量差(例如，如(28)和(29)所示)。否则，例如，其中τ0>τ1，运动向量(MVx0,MVy0)可以被缩放以用于计算运动向量差，如以下所指示的：
如本文所述，当两个参考图片到当前图片的时间距离不同时(例如，τ0≠τ1)，可应用运动向量缩放。由于运动向量缩放可能引入额外误差(例如，归因于除法和/或舍入运算)，因此其可能影响(例如，降低)经缩放的运动向量的准确性。为了避免或减少此类错误，除其它情形之外，所述运动向量差(例如，如(30)和(31)中所指示)可用于(例如，可仅用于)在MC阶段处停用BIO，这可发生在例如当(例如，仅当)至少两个或多达两个参考图片(例如，参考块)距当前子块的时间距离可相同或大体上相似(例如，τ0＝τ1)时。
如本文所述，所述运动向量差可用作确定是否可在MC阶段处针对至少一个子块跳过BIO过程的测量(例如，基于两个参考块是否相似)。当两个参考块之间的运动向量差相对较小(例如，低于阈值)时，可合理地假设两个预测块可为相似的(例如，高度相关的)，使得可停用BIO而不招致(例如，实质上)编码损失。所述运动向量差可为用以测量两个预测块(例如，参考块)之间的相似性(例如，相关性)的若干方式中的一者。在一种或一种以上技术中，可通过计算两个预测块之间的平均差来确定该两个预测块之间的相关性，例如：
变量I(0)(x,y)和I(1)(x,y)是从前向和/或后向参考图片(例如，参考块)导出的运动补偿块的坐标(x,y)处的样本值。该样本值可与相应参考块的亮度值相关联。所述样本值可以从它们各自的参考块被内插。变量B和N分别是如在当前块或子块内定义的样本坐标集合和样本数量。变量D是失真测量，可以对其应用一个或多个不同的测量/度量，诸如：平方误差和(SSE)、绝对差和(SAD)和/或绝对变换差和(SATD)。给定(32)，在MC阶段可以跳过BIO，例如，这可发生在当差测量不大于一个或多个预定义/预定阈值时，例如Diff≤Dthres。否则，可将当前子块的两个预测信号视为不相似(例如，较不相关)，可对其应用(例如，仍可应用)BIO。如本文所描述，可由解码器(例如，基于期望编码性能)发信号通知或确定Dthres。图24示出了在基于测量两个预测信号之间的差而跳过BIO之后的预测生成过程的示例。
如本文所描述，可在CU或子CU(例如，在CU的子块)级有条件地跳过BIO过程。举例来说，编码器和/或解码器可确定对于当前CU可跳过BIO。如本文中所描述，此确定可基于与当前CU相关联的两个参考块的相似性(例如，使用(28)、(29)、(30)、(31)和/或(32))。如果编码器和/或解码器确定将跳过针对当前CU的BIO，那么编码器和/或解码器可确定该当前CU是否在启用子块编码的情况下被编码。如果在启用子块编码的情况下编码当前CU，那么编码器和/或解码器可确定可针对CU内的子块跳过BIO。
如图24中所示，可针对当前CU或当前CU内的子块(其两个预测信号之间的失真可不大于阈值)有条件地跳过BIO过程。失真测量和BIO过程的计算可在子块基础上执行，且可针对当前CU中的子块而被频繁地调用。CU级失真测量可用于确定是否跳过当前CU的BIO过程。可执行多阶段早期终止，其中可基于从不同块级别计算的失真值而跳过所述BIO过程。
可考虑当前CU内的一些(例如，所有)样本来计算所述失真。举例来说，如果CU级失真足够小(例如，不大于预定义的CU层级阈值)，那么可跳过用于该CU的BIO过程；否则，可计算该当前CU内的每一子块的失真且使用所述失真来确定是否在子块级上跳过BIO过程。图26示出了具有应用于BIO的多阶段提前终止的示例运动补偿预测过程。在图26中，变量和/>表示从参考图片列表L0和L1针对当前CU产生的预测信号，且/>和表示针对所述CU内的第i子块生成的对应预测信号。
如本文所描述，可计算CU级失真以确定(例如)是否可针对当前CU停用BIO操作。CU内的子块的运动信息可高度相关或可不高度相关。CU内的子块的失真可变化。可以执行多阶段早期终止。举例来说，CU可被划分成多个子块组，且子块组可包含具有相似(例如，相同)运动信息(例如，相同参考图片索引和相同运动向量)的连续子块。可以针对每个子块组计算失真测量。如果例如一个子块组的失真足够小(例如不大于预定阈值)，则可以跳过对该子块组内部的样本的BIO过程；否则，可计算该子块组内的每一子块的失真且使用所述失真来确定是否跳过所述子块的BIO过程。
在(32)中，I(0)(x,y)和I(1)(x,y)可指代从参考图片列表L0及L1获得的坐标(x,y)处的经运动补偿的样本的值(例如，亮度值)。可以以输入信号位深度的精度(例如，如果输入信号是8位或10位视频，则为8位或10位)来定义所述经运动补偿的样本的值。可通过以所述输入位深度的精度对来自L0和L1的两个预测信号求平均来产生一个双向预测性块的预测信号。
举例来说，如果MV指向分数样本位置，则可使用一个中间精度(其可高于所述输入位深度)的内插来获得I(0)(x,y)和I(1)(x,y)，且接着在所述平均运算之前，将所述中间预测信号舍入到所述输入位深度。举例来说，如果分数MV被用于一个块，那么可以以中间精度(例如，H.265/HEVC和JEM中指定的中间精度)对具有所述输入位深度的精度的两个预测信号求平均。举例来说，如果用于获得I(0)(x,y)和I(1)(x,y)的MV对应于分数样本位置，那么内插滤波器过程可将所述中间值保持在高精确度(例如，所述中间位深度)。举例来说，当两个MV中的一者为整数运动时(例如，在不应用内插的情况下产生对应预测)，可在应用平均之前，将所述对应预测的精度增加到所述中间位深度。图27示出了当以高精度对两个中间预测信号求平均时的示例双向预测过程，其中和/>指代从列表L0和L1获得的处于中间位深度(例如，HEVC和JEM中指定的14位)的两个预测信号，并且BitDepth指示输入视频的位深度。
给定以高位深度产生的双向预测信号，可如以下所规定以中间精度计算等式(32)中的两个预测块之间的对应失真：
其中，和/>为分别从L0及L1产生的预测块的坐标(x,y)处的高精度样本值；Diffh表示在中间位深度处计算的相应失真测量。另外，可能由于(33)中的高位深度失真，可调整由BIO提前终止使用的CU级阈值和子块级阈值(例如，如本文关于图24和图26所描述)，使得其被定义为处于预测信号的相同位深度处。使用L1范数失真(例如，SAD)作为示例，以下等式可以解释如何将失真阈值从输入位深度调整到中间位深度：
变量和/>是在输入位深度的精度下的CU级失真阈值和子块失真阈值；/>和/>是在中间位深度的精度下的相应失真阈值。
如本文所述，所述BIO可以提供逐样本的运动细化，其可以基于至少一个经运动补偿的块中的一个或多个样本位置处或每个样本位置处的局部梯度信息而被计算。对于可能包含较少高频细节的一个区域(例如，平坦区域)内的子块，可以使用表1中的梯度滤波器导出的梯度可能倾向于较小。如等式(4)所示，当局部梯度(例如，和))接近于零时，从BIO获得的最终预测信号可近似等于由传统双向预测产生的预测信号，例如，/>
在一个或一个以上技术中，可将所述BIO应用(例如，可仅应用)到可含有足够和/或丰富的高频信息的子块的一个或一个以上预测样本。例如，可以基于至少一个子块中的样本的梯度的平均幅度来确定该至少一个子块的预测信号是否包含高频信息。可能如果所述平均小于至少一个阈值，那么例如可将所述子块分类为平坦区域，和/或可不将BIO应用于所述子块。否则，在所述BIO仍然适用的情况下，可以认为所述至少一个子块包含足够的高频信息/细节。可以针对一个或多个或每个参考图片，可能例如基于该参考图片中的平均梯度，预先确定和/或自适应地确定所述一个或多个阈值的值。在一个或一个以上技术中，可计算(例如，可仅计算)所述梯度信息以决定当前子块是否可能属于一个平坦区域。在一些技术中，此梯度信息可能不如可用于产生BIO预测信号的梯度值(例如，如(4)中所示)准确。可以使用相对简单的梯度滤波器来确定是否将BIO应用于至少一个子块。举例来说，可应用2抽头滤波器[-1，1]来导出所述水平和/或垂直梯度。图25示出了在应用了基于梯度的BIO跳过之后的预测生成过程的示例流程图。
可以联合应用本文单独描述的可以在MC阶段跳过BIO的一种或多种技术(例如，可以组合多于一种的技术等)。本文描述的一个或多个技术、阈值、等式和/或因素/条件等可以自由组合。本文描述的技术、阈值、等式和/或因素/条件等的一个或一个以上不同组合可在编码性能和/或编码/解码复杂性降低方面提供不同折衷。例如，可以联合地或单独地实施本文所述的技术、阈值、等式和/或因素/条件等中的一个或多个，使得可以(例如，可以完全)停用针对至少一个块/子块的BIO过程。
图28A是示出了可在其中实施一个或多个所公开的实施例的示例通信系统100的图示。该通信系统100可以是将诸如语音、数据、视频、消息发送、广播等的内容提供给多个无线用户的多接入系统。该通信系统100可以通过系统资源(包括无线带宽)的共享使得多个无线用户能够访问这些内容。例如，该通信系统100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾独特字DFT-扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块滤波OFDM、滤波器组多载波(FBMC)等等。
如图28A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN106/115、公共交换电话网络(PSTN)108、因特网110和其他网络112，但应理解的是所公开的实施例涵盖任意数量的WTRU、基站、网络和/或网络元件。WTRU102a、102b、102c、102d中的每一个可以是被配置成在无线环境中运行和/或通信的任何类型的设备。作为示例，WTRU 102a、102b、102c、102d中的任一者可以被称为“站”和/或“STA”，其可以被配置成传送和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于订户的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、便携式电脑、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴式显示器(HMD)、车辆、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如，在工业和/或自动处理链环境中操作的机器人和/或其他无线设备)、消费电子设备，在商业和/或工业无线网络上运行的设备等等。WTRU 102a、102b、102c、和102d中的任一者可以可互换地称为UE。
通信系统100还可以包括基站114a和/或基站114b。基站114a、114b中的每一个可以是被配置成与WTRU 102a、102b、102c、102d中的至少一者无线对接，以便于接入一个或多个通信网络(例如，CN 106/115、因特网110和/或网络112)。作为示例，基站114a、114b可以是基站收发信站(BTS)、节点B、e节点B、家用节点B、家用e节点B、gNB、NR节点B、站点控制器、接入点(AP)、无线路由器等。尽管基站114a、114b每个均被描述为单个元件，但应当理解的是基站114a、114b可以包括任何数量的互联基站和/或网络元件。
基站114a可以是RAN 104/113的一部分，其还可以包括诸如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等的其他基站和/或网络元件(未示出)。基站114a和/或基站114b可以被配置成在一个或多个载波频率上传送和/或接收无线信号，其可以被称为小区(未示出)。这些频率可在许可频谱、未经许可频谱、或许可频谱和未经许可频谱的组合中。小区可以将无线服务的覆盖范围提供给可相对固定或可随时间而改变的特定地理区域。小区还可以被划分成小区扇区。例如，与基站114a相关联的小区可以被划分成三个扇区。由此，在一种实施例中，基站114a可以包括三个收发信机，例如针对所述小区的每个扇区都有一个收发信机。在一种实施例中，基站114a可以使用多输入多输出(MIMO)技术，并且可以使用针对小区的每个扇区的多个收发信机。例如，波束成形可以用于在期望的空间方向上传送和/或接收信号。
基站114a、114b可以通过空中接口116与WTRU 102a、102b、102c、102d中的一者或多者通信，该空中接口116可以是任何合适的无线通信链路(例如，射频(RF)、微波、厘米波、微米波、红外(IR)、紫外(UV)、可见光等)。空中接口116可以使用任何合适的无线电接入技术(RAT)来建立。
更特别地，如上所述，通信系统100可以是多接入系统，并且可以使用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等。例如，在RAN 104/113中的基站114a和WTRU 102a、102b、102c可以实施诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)之类的无线电技术，其可以使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可以包括诸如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在一种实施例中，基站114a和WTRU 102a、102b、102c可以实施诸如演进型UMTS陆地无线电接入(E-UTRA)之类的无线电技术，其可以使用长期演进(LTE)和/或高级LTE(LTE-A)和/或专业版高级LTE(LTE-A Pro)来建立空中接口116。
在一种实施例中，基站114a和WTRU 102a、102b、102c可以实施诸如NR无线电接入的无线电技术，其可以使用新无线电(NR)来建立空中接口116。
在一种实施例中，基站114a和WTRU 102a、102b、102c可以实施多种无线电接入技术。例如，基站114a和WTRU 102a、102b、102c可以例如使用双连接(DC)原理来实施LTE无线电接入和NR无线电接入。因此，WTRU 102a、102b、102c所使用的空中接口可以由多种类型的无线电接入技术和/或发送到/自多种类型的基站(例如，eNB和gNB)的传输来表征。
在其他实施例中，基站114a和WTRU 102a、102b、102c可以实施诸如IEEE 802.11(即，无线保真(WiFi)、IEEE 802.16(即，全球微波互联接入(WiMAX))、CDMA2000、CDMA20001X、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、增强型数据速率GSM演进(EDGE)、GSM EDGE(GERAN)之类的无线电技术。
图28A中的基站114b可以是例如无线路由器、家用节点B、家用e节点B或者接入点，并且可以使用任何合适的RAT，以用于促进在诸如商业区、家庭、车辆、校园、工业设施、空中走廊(例如，供无人机使用)、道路之类的局部区域的无线连接。在一种实施例中，基站114b和WTRU 102c、102d可以实施诸如IEEE 802.11之类的无线电技术以建立无线局域网(WLAN)。在一种实施例中，基站114b和WTRU 102c、102d可以实施诸如IEEE 802.15的无线电技术以建立无线个域网(WPAN)。在又一种实施例中，基站114b和WTRU 102c、102d可以使用基于蜂窝的RAT(例如，WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等)以建立微微小区(picocell)或毫微微小区(femtocell)。如图28A所示，基站114b可以具有至因特网110的直接连接。由此，基站114b可不需要经由CN 106/115来接入因特网110。
RAN 104/113可以与CN 106/115通信，该CN 106/115可以是被配置成将语音、数据、应用和/或通过网际协议的语音(VoIP)服务提供到WTRU 102a、102b、102c、102d中的一者或多者的任何类型的网络。数据可以具有不同的服务质量(QoS)要求，例如不同的吞吐量要求、延时要求、容错要求、可靠性要求、数据吞吐量要求，移动性要求等。CN 106/115可以提供呼叫控制、账单服务、基于移动位置的服务、预付费呼叫、网际互联、视频分配等，和/或执行高级安全性功能，例如用户验证。尽管图28A中未示出，但应理解的是RAN 104/113和/或CN 106/115可以直接或间接地与其他RAN进行通信，这些其他RAN使用与RAN 104/113相同的RAT或者不同的RAT。例如，除了连接到可以采用NR无线电技术的RAN 104/113，CN 106/115也可以与使用GSM、UMTS、CDMA2000、WiMAX、E-UTRA、或者WiFi无线电技术的另一RAN(未示出)通信。
CN 106/115也可以用作WTRU 102a、102b、102c、102d接入PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供普通老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用公共通信协议的互联计算机网络及设备的全球系统，该公共通信协议例如是传输控制协议(TCP)/网际协议(IP)因特网协议套件中的TCP、用户数据报协议(UDP)和/或IP。网络112可以包括由其他服务提供方拥有和/或运营的无线和/或有线通信网络。例如，网络112可以包括连接到一个或多个RAN的另一CN，该一个或多个RAN可以使用与RAN 104/113相同的RAT或者不同的RAT。
通信系统100中的WTRU 102a、102b、102c、102d中的一些或者全部可以包括多模式能力(即WTRU 102a、102b、102c、102d可以包括用于通过不同的无线链路与不同的无线网络进行通信的多个收发信机)。例如，图28A中显示的WTRU 102c可以被配置成与可使用基于蜂窝的无线电技术的基站114a进行通信，并且与可使用IEEE 802无线电技术的基站114b进行通信。
图28B是示例WTRU 102的系统图。如图28B所示，WTRU 102可以包括处理器118、收发信机120、发射/接收元件122、扬声器/麦克风124、键盘126、显示屏/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136和其他外围设备138等。应该理解的是，在保持与实施例一致的情况下，WTRU 102可以包括上述元件的任何子组合。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其它类型的集成电路(IC)、状态机等。处理器118可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或使得WTRU 102能够运行在无线环境中的其他任何功能。处理器118可以耦合到收发信机120，该收发信机120可以耦合到发射/接收元件122。尽管图28B中将处理器118和收发信机120描述为独立的组件，但是应当理解的是处理器118和收发信机120可以被一起集成到电子封装或者芯片中。
发射/接收元件122可以被配置成通过空中接口116将信号传送到基站(例如，基站114a)，或者从基站(例如，基站114a)接收信号。例如，在一种实施例中，发射/接收元件122可以是被配置成传送和/或接收RF信号的天线。例如，在一种实施例中，发射/接收元件122可以是被配置成传送和/或接收例如IR、UV或者可见光信号的发射器/检测器。在又一种实施例中，发射/接收元件122可以被配置成传送和/或接收RF信号和光信号两者。应当理解，发射/接收元件122可以被配置成传送和/或接收无线信号的任意组合。
此外，尽管发射/接收元件122在图28B中被描述为单个元件，但是WTRU 102可以包括任何数量的发射/接收元件122。更具体地，WTRU 102可以使用MIMO技术。由此，在一种实施例中，WTRU 102可以包括两个或更多个发射/接收元件122(例如，多个天线)以用于通过空中接口116传送和/或接收无线信号。
收发信机120可以被配置成对将由发射/接收元件122传送的信号进行调制，并且被配置成对由发射/接收元件122接收的信号进行解调。如上所述，WTRU 102可以具有多模式能力。由此，收发信机120可以包括多个收发信机以使得WTRU 102能够经由多个RAT进行通信，例如NR和IEEE802.11。
WTRU 102的处理器118可以被耦合到扬声器/麦克风124、键盘126和/或显示屏/触摸板128(例如，液晶显示(LCD)显示单元或者有机发光二极管(OLED)显示单元)，并且可以从上述设备接收用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126、和/或显示屏/触摸板128输出用户数据。此外，处理器118可以访问来自任何类型的合适的存储器中的信息，以及在任何类型的合适的存储器中存储数据，所述存储器例如可以是不可移除存储器130和/或可移除存储器132。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或者任何其他类型的存储器存储设备。可移除存储器132可以包括订户标识模块(SIM)卡、记忆棒、安全数字(SD)存储卡等。在其他实施例中，处理器118可以访问来自物理上未位于WTRU 102上(例如位于服务器或者家用计算机(未示出)上)的存储器的信息，以及在上述存储器中存储数据。
处理器118可以从电源134接收电能，并且可以被配置成将该电能分配给WTRU 102中的其他组件和/或对在WTRU 102中的其他组件的电能进行控制。电源134可以是任何用于给WTRU 102供电的设备。例如，电源134可以包括一个或多个干电池(例如，镍镉(NiCd)、镍锌(NiZn)、镍氢(NiMH)、锂离子(Li-ion)等)、太阳能电池、燃料电池等。
处理器118还可以耦合到GPS芯片组136，该GPS芯片组136可以被配置成提供关于WTRU 102的当前位置的位置信息(例如，经度和纬度)。作为来自GPS芯片组136的信息的补充或者替代，WTRU 102可以通过空中接口116从基站(例如，基站114a、114b)接收位置信息，和/或基于从两个或更多个相邻基站接收到的信号的定时来确定其位置。应当理解，在与实施例保持一致的同时，WTRU 102可以通过任何合适的位置确定方法来获取位置信息。
处理器118还可以耦合到其他外围设备138，该外围设备138可以包括提供附加特征、功能和/或无线或有线连接的一个或多个软件和/或硬件模块。例如，外围设备138可以包括加速度计、电子指南针(e-compass)、卫星收发信机、数字相机(用于照片和/或视频)、通用串行总线(USB)端口、震动设备、电视收发信机、免持耳机、模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备，活动追踪器等等。外围设备138可以包括一个或多个传感器，传感器可以是以下中的一者或多者：陀螺仪、加速计、霍尔效应传感器、磁力计、方位传感器、接近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物传感器、和/或湿度传感器。
WTRU 102可以包括全双工无线电，对于该全双工无线电，一些或全部信号(例如，与用于UL(例如，用于传输)和下行链路(例如用于接收)两者的特定子帧相关联)的传输和接收可以是并发和/或同时的。全双工无线电可以包括干扰管理单元139，以通过硬件(例如扼流器)或经由处理器(例如，单独的处理器(未示出)或者经由处理器118)的信号处理来减少和/或基本上消除自干扰。在一种实施例中，WRTU 102可以包括一些或全部信号的传输和接收(例如，与用于UL(例如，用于传输)或下行链路(例如，用于接收)的特定子帧相关联)的半双工无线电。
图28C是示出了根据一种实施例的RAN 104及CN 106的系统图。如上所述，RAN 104可使用E-UTRA无线电技术通过空中接口116与WTRU 102a、102b和102c通信。RAN 104还可以与CN 106进行通信。
RAN 104可包括e节点B160a、160b、160c，但应当理解的是在与实施例保持一致的同时，RAN 104可以包括任意数量的e节点B。e节点B160a、160b、160c每一者均可包括一个或多个用于通过空中接口116与WTRU 102a、102b、102c通信的收发信机。在一种实施例中，e节点B160a、160b、160c可以实施MIMO技术。因此，e节点B160a例如可以使用多个天线来向WTRU102a传送无线信号和/或从它接收无线信号。
e节点B160a、160b、160c的每一个可与特定的小区(未示出)相关联，并且可被配置为处理无线电资源管理决策、切换决策、调度在UL和/或DL中的用户等。如图28C所示，e节点B160a、160b、160c可通过X2接口互相通信。
图28C中示出的CN 106可以包括移动管理实体(MME)162、服务网关(SGW)164和分组数据网络(PDN)网关(或者PGW)166。尽管前述每一个元件被描述为CN 106的一部分，但应理解这些元件的任何一个可以由除CN运营方之外的实体所拥有和/或操作。
MME 162可通过S1接口与RAN 104中的e节点B162a、162b、162c的每一个相连接，并且可作为控制节点。例如，MME 162可负责认证WTRU 102a、102b、102c的用户、承载激活/去激活、在WTRU 102a、102b、102c初始附着期间选取特定的服务网关等。MME 162可提供用于在RAN 104和采用诸如GSM和/或WCDMA这样的其他无线电技术的其他RAN(未示出)之间切换的控制平面功能。
SGW 164可通过S1接口与RAN 104中的e节点B160a、160b、160c的每一个相连接。SGW 164通常可路由和转发去往/来自WTRU 102a、102b、102c的用户数据分组。SGW 164还可以执行其他功能，例如在e节点B间切换期间锚定用户平面、当DL数据对WTRU 102a、102b、102c可用时触发寻呼、管理和存储WTRU 102a、102b、102c的上下文等。
SGW 164可与PGW 166相连接，其可向WTRU 102a、102b、102c提供到诸如因特网110这样的分组交换网络的接入，以便于WTRU 102a、102b、102c和IP使能设备之间的通信。
CN 106可便于与其他网络的通信。例如，CN 106可向WTRU 102a、102b、102c提供到诸如PSTN 108这样的电路交换网络的接入，以便于WTRU102a、102b、102c和传统陆线通信设备之间的通信。例如，CN 106可包括作为CN 106和PSTN 108之间的接口的IP网关(例如IP多媒体子系统(IMS)服务器)或与之通信。此外，CN 106可向WTRU 102a、102b、102c提供到其他网络112的接入，其他网络112可包括由其他服务提供商拥有和/或运营的其他有线或无线网络。
尽管WTRU在图28A-28D中被描述为无线终端，但是可以预期的是，在某些代表性的实施例中，这样的终端可(例如，临时地或永久地)使用与通信网络的有线通信接口。
在代表性实施例中，其他网络112可以是WLAN。
基础设施基本服务集(BSS)模式中的WLAN可以具有用于BSS的接入点(AP)以及与该AP相关联的一个或多个站(STA)。AP可以具有对分布式系统(DS)或其他类型的有线/无线网络的接入或接口，该网络将业务传入和/或传出BSS。源于BSS外部到STA的业务可通过AP到达，并可被递送到STA。源于STA发往BSS之外的目的地的业务可以被发送到AP以递送到各个目的地。BSS内的STA之间的业务可以通过AP发送，例如，其中源STA可以将业务发送到AP并且AP可以将业务递送到目的地STA。BSS内的STA之间的业务可以被视为和/或被称为对等业务。对等业务可以使用直接链路建立(DLS)在源STA和目的STA之间(例如，直接在它们之间)发送。在某些代表性实施例中，DLS可以使用802.11e DLS或802.11z隧道DLS(TDLS)。使用独立BSS(IBSS)模式的WLAN可不具有AP，并且IBSS内或使用IBSS的STA(例如，所有STA)可以彼此直接通信。IBSS通信模式有时可以被称为“ad-hoc”通信模式。
当使用802.11ac基础设施操作模式或类似的操作模式时，AP可以在固定信道(例如主信道)上传送信标。主信道可以是固定宽度(例如，20MHz宽带宽)或经由信令动态设置宽度。主信道可以是BSS的操作信道并且可以由STA用来建立与AP的连接。在某些代表性实施例中，可以例如在802.11系统中实施具有冲突避免的载波侦听多路访问(CSMA/CA)。对于CSMA/CA，包括AP的STA(例如，每个STA)可以感测主信道。如果主信道被特定STA感测/检测到和/或被确定为繁忙，则该特定STA可退后(back off)。一个STA(例如，仅一个站)可以在给定的BSS中的任何给定时间传送。
高吞吐量(HT)STA可以使用40MHz宽的信道进行通信，例如，通过将主20MHz信道与相邻或不相邻的20MHz信道组合以形成40MHz宽信道。
甚高吞吐量(VHT)STA可支持20MHz、40MHz、80MHz和/或160MHz宽信道。40MHz和/或80MHz信道可以通过组合连续的20MHz信道来形成。可以通过组合8个连续的20MHz信道或通过组合两个不连续的80MHz信道(其可以被称为80+80配置)来形成160MHz信道。对于80+80配置，在信道编码之后，数据可以通过可将数据划分为两个流的分段解析器。逆快速傅立叶变换(IFFT)处理和时域处理可以分别在每个流上完成。这些流可以被映射到两个80MHz信道上，并且数据可以由传送STA来传送。在接收STA的接收机处，用于80+80配置的上述操作可以逆向，并且可以将组合数据发送到介质接入控制(MAC)。
子1GHz操作模式由802.11af和802.11ah支持。802.11af和802.11ah中的信道操作带宽和载波相对于802.11n和802.11ac中所使用的有所减少。802.11af支持在电视白空间(TVWS)频谱中的5MHz、10MHz、和20MHz带宽，以及802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。根据代表性实施例，802.11ah可以支持诸如宏覆盖区域中的MTC设备的计量计类型控制/机器类型通信。MTC设备可以具有某些能力，例如，有限的能力包括支持(例如，仅支持)某些和/或有限的带宽。MTC设备可包括具有高于阈值的电池寿命的电池(例如，以保持非常长的电池寿命)。
可支持多个信道和信道带宽(诸如802.11n、802.11ac、802.11af、和802.11ah)的WLAN系统包括可被指定为主信道的信道。主信道可以具有等于BSS中所有STA支持的最大公共操作带宽的带宽。主信道的带宽可以由在支持最小带宽操作模式的BSS中操作的所有STA中的STA来设置和/或限制。在802.11ah的示例中，即使BBS中的AP和其他STA支持2MHz、4MHz、8MHz、16MHz、和/或其它信道带宽操作模式，对于支持(例如，仅支持)1MHz模式的STA(例如，MTC类型设备)，主信道可以是1MHz宽。载波感测和/或网络分配向量(NAV)设置可取决于主信道的状态。如果主信道例如由于STA(其仅支持1MHz工作模式)繁忙向AP传送，则即使大部分频带保持空闲且可用，也可认为整个可用频带繁忙。
在美国，可由802.11ah使用的可用频段从902MHz到928MHz。在韩国，可用频段从917.5MHz到923.5MHz。在日本，可用频段从916.5MHz到927.5MHz。根据国家代码，802.11ah可用的总带宽为6MHz至26MHz。
图28D是示出了根据实施例的RAN 113和CN 115的系统图。如上所述，RAN 113可以采用NR无线电技术通过空中接口116与WTRU 102a、102b、102c通信。RAN 113也可以与CN115通信。
RAN 113可以包括gNB 180a、180b、180c，但是应该理解的是RAN113可以包括任意数量的gNB，同时保持与实施例一致。每个gNB 180a、180b、180c可以包括一个或多个收发信机以用于与WTRU 102a、102b、102c通过空中接口116进行通信。在一种实施例中，gNB 180a、180b、180c可以实施MIMO技术。例如，gNB 180a、108b可以利用波束成形来向gNB 180a、180b、180c传送信号和/或从gNB 180a、180b、180c接收信号。因此，gNB180a例如可以使用多个天线来传送无线信号到WTRU 102a和/或接收来自WTRU 102a的无线信号。在一种实施例中，gNB 180a、180b、180c可以实施载波聚合技术。例如，gNB 180a可以向WTRU 102a传送多个分量载波(未示出)。这些分量载波的子集可以在未经许可的频谱上，而其余的分量载波可以在经许可的频谱上。在一种实施例中，gNB 180a、180b、180c可以实施协调多点(CoMP)技术。例如，WTRU 102a可以从gNB 180a和gNB 180b(和/或gNB 180c)接收协调传输。
WTRU 102a、102b、102c可以使用与可扩展数字配置相关联的传输与gNB 180a、180b、180c通信。例如，对于不同的传输、不同的小区、和/或无线传输频谱的不同部分，OFDM符号间距和/或OFDM子载波间距可以变化。WTRU 102a、102b、102c可以使用各种或可伸缩长度的子帧或传输时间间隔(TTI)(例如，含有不同数量的OFDM符号和/或持续改变绝对时间的长度)与gNB 180a、180b、180c通信。
gNB 180a、180b、180c可以被配置为以独立配置和/或非独立配置与WTRU 102a、102b、102c通信。在独立配置中，WTRU102a、102b、102c可以与gNB180a、180b、180c进行通信，而无需也接入其他RAN(例如，诸如e节点B160a、160b、160c)。在独立配置中，WTRU 102a、102b、102c可以使用gNB 180a、180b、180c中的一者或多者作为移动锚点。在独立配置中，WTRU 102a、102b、102c可以使用未经许可频带中的信号与gNB 180a、180b、180c进行通信。在非独立配置中，WTRU 102a、102b、102c可以与gNB 180a、180b、180c通信/连接到gNB180a、180b、180c，同时还与另一RAN(例如，e节点B160a、160b、160c)通信/连接。例如，WTRU102a、102b、102c可以实施DC原则以与一个或多个gNB 180a、180b、180c和一个或多个e节点B160a、160b、160c基本上同时通信。在非独立配置中，e节点B160a、160b、160c可以充当WTRU102a、102b、102c的移动性锚，以及gNB 180a、180b、180c可以为服务WTRU 102a、102b、102c提供额外的覆盖和/或吞吐量。
gNB 180a、180b、180c中的每一个可以与特定小区(未示出)相关联，并且可以被配置为处理无线电资源管理决策、切换决策、UL和/或DL中用户的调度、网络切片支持、双重连接性、NR与E-UTRA之间的互通、用户平面数据向用户平面功能(UPF)184a、184b的路由，控制平面信息向接入和移动管理功能(AMF)182a、182b的路由等。如图28D所示，gNB 180a、180b、180c可以通过Xn接口彼此通信。
在图28D中所示的CN 115可以包括至少一个AMF 182a、182b，至少一个UPF 184a、184b，至少一个会话管理功能(SMF)183a、183b，以及可能的数据网络(DN)185a、185b。虽然前述的每个元件都被描述为CN 115的一部分，但是应当理解的是，任何这些元件可以由除了CN运营商之外的实体拥有和/运营。
AMF 182a、182b可以经由N2接口连接到RAN 113中的一个或多个gNB 180a、180b、180c，并且可以充当控制节点。例如，AMF 182a、182b可以负责认证WTRU 102a、102b、102c的用户，支持网络切片(例如，处理具有不同要求的不同PDU会话)，选择特定SMF 183a、183b，管理注册区域，NAS信令的终止，移动性管理等。网络切片可以由AMF 182a、182b使用，以基于WTRU 102a、102b、102c正利用的服务类型为WTRU 102a、102b、102c定制CN支持。例如，可以为不同的用例建立不同的网络切片，例如依赖于超可靠低延时(URLLC)接入的服务、依赖于增强型海量移动宽带(eMBB)接入的服务、用于机器类型通信(MTC)接入的服务，和/或类似的服务。该AMF 162可以提供为在RAN 113和使用其他无线电技术(例如，LTE、LTE-A、LTE-A Pro，和/或例如WiFi的非3GPP接入技术)的其他RAN(未示出)之间的切换提供控制平面功能。
SMF 183a、183b可以经由N11接口连接到在CN 115中的AMF 182a、182b。SMF 183a、183b还可以经由N4接口连接到在CN 115中的UPF 184a、184b。SMF 183a、183b可以选择和控制UPF 184a、184b，并配置通过UPF184a、184b的业务的路由。SMF 183a、183b可以执行其他功能，例如管理和分配WTRU IP地址、管理PDU会话、控制策略实施和QoS、提供下行链路数据通知等。PDU会话类型可以是基于IP的、基于非IP的、基于以太网的等等。
UPF 184a、184b可以经由N3接口连接到RAN 113中的一个或多个gNB 180a、180b、180c，其可以向WTRU 102a、102b、102c提供到分组交换网络(例如因特网110)的接入，以促进WTRU 102a、102b、102c与IP使能设备之间的通信。UPF 184a、184b可以执行其他功能，例如路由和转发分组、执行用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、提供移动性锚定等。
CN 115可以促进与其他网络的通信。例如，CN 115可以包括，或者可与之通信的IP网关(例如，IP多媒体子系统(IMS)服务器)，其用作CN 115和PSTN 108之间的接口。另外，CN115可以向WTRU 102a、102b、102c提供对其他网络112的接入，其他网络112可以包括由其他服务提供商拥有和/或运营的其他有线和/或无线网络。在一种实施例中，WTRU 102a、102b、102c可以经由到UPF 184a、184b的N3接口以及UPF 184a、184b与本地数据网络(DN)185a、185b之间的N6接口通过UPF184a、184b连接到DN 185a、185b。
参考图28A-28D以及图28A-28D的相应描述，对于以下中的一者或多者这里描述的一种或多种或所有功能可以由一个或多个模拟设备(未示出)执行：WTRU 102a-d、基站114a-b、e节点B160a-c、MME 162、SGW 164、PGW 166、gNB 180a-c、AMF 182a-b、UPF 184a-b、SMF 183a-b、DN 185a-b，和/或本文描述的任何其他设备。模拟设备可以是被配置为模拟本文描述的一个或多个或所有功能的一个或多个设备。例如，模拟设备可以用于测试其他设备和/或仿真网络和/或WTRU功能。
模拟设备可以被设计为实施实验室环境中和/或运营商网络环境中的其他设备的一个或多个测试。例如，一个或多个模拟设备可在完全或部分地实施和/或部署为有线和/或无线通信网络的一部分的同时执行一个或多个或所有功能，以测试通信网络内的其他设备。一个或多个模拟设备可以在作为有线和/或无线通信网络的一部分临时实施/部署的同时执行一个或多个或所有功能。模拟设备可以为了测试的目的直接耦合到另一个设备和/或可以使用空中无线通信执行测试。
一个或多个模拟设备可以执行包括所有功能的一个或多个功能，而不是作为有线和/或无线通信网络的一部分来实施/部署。例如，模拟设备可以在测试实验室和/或非部署(例如，测试)有线和或无线通信网络中的测试场景被利用以实施一个或多个组件的测试。一个或多个模拟设备可以是测试设备。模拟设备可以使用经由RF电路(例如，其可以包括一个或多个天线)的直接RF耦合和/或无线通信来传送和/或接收数据。
虽然在上文中描述了采用特定组合或顺序的特征和元素，但是本领域普通技术人员将会认识到，每一个特征或元素既可以单独使用，也可以与其他特征和元素进行任何组合来使用。此外，这里描述的方法可以在引入计算机可读介质中以供计算机或处理器运行的计算机程序、软件或固件中实施。计算机可读媒体的示例包括电信号(经由有线或无线连接传送)以及计算机可读存储媒体。计算机可读存储媒体的示例包括但不局限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、诸如内部硬盘和可移除盘之类的磁媒体、磁光媒体、以及诸如CD-ROM盘和数字多用途盘(DVD)的光媒体。与软件关联的处理器可以用于实施在WTRU、UE、终端、基站、RNC或任何主计算机中使用的射频收发信机。

Claims (20)

1.一种用于视频解码的设备，其包括：
处理器，所述处理器至少被配置为：
识别针对当前子块的预测信息，其中所述预测信息包括第一参考块内的多个样本值和第二参考块内的多个样本值；
基于所述第一参考块内的所述多个样本值和所述第二参考块内的所述多个样本值，获得预测样本值差；
确定所述预测样本值差是否小于一值；以及
基于所述预测样本值差是否小于所述值的所述确定，解码所述当前子块，其中基于所述预测样本值差等于或大于所述值的所述确定来针对所述当前子块启用双向光流(BIO)，并且基于所述预测样本值差小于所述值的确定来针对所述当前子块停用BIO。
2.根据权利要求1所述的设备，其中所述预测样本值差指示所述第一参考块中的所述多个样本值与所述第二参考块中的所述多个样本值之间的差值之和。
3.根据权利要求2所述的设备，其中所述处理器进一步被配置以：
内插所述第一参考块中的所述多个样本值；以及
内插所述第二参考块中的所述多个样本值。
4.根据权利要求1所述的设备，其中所述值是BIO启用阈值，且所述处理器被配置为基于复杂性等级或编码效率中的一或多者，确定所述BIO启用阈值。
5.根据权利要求1所述的设备，其中所述值是BIO启用阈值，且所述处理器还用于通过信令接收所述BIO启用阈值。
6.根据权利要求1所述的设备，其中所述第一参考块是第一参考子块，且所述第二参考块是第二参考子块。
7.根据权利要求1所述的设备，其中所述设备进一步包括存储器。
8.根据权利要求1所述的设备，其中，基于确定所述预测样本值差等于或大于所述值，BIO通过至少部分地基于与所述当前子块内的位置相关联的梯度而细化与所述当前子块相关联的运动向量而被执行。
9.一种用于视频解码的方法，其包括：
识别针对当前子块的预测信息，其中所述预测信息包括第一参考块内的多个样本值和第二参考块内的多个样本值；
基于所述第一参考块内的所述多个样本值和所述第二参考块内的所述多个样本值，获得预测样本值差；
确定所述预测样本值差是否小于一值；以及
基于所述预测样本值差是否小于所述值的所述确定，解码所述当前子块，其中基于所述预测样本值差等于或大于所述值的所述确定来针对所述当前子块启用双向光流(BIO)，并且基于所述预测样本值差小于所述值的确定来针对所述当前子块停用BIO。
10.根据权利要求9所述的方法，其中所述预测样本值差指示所述第一参考块中的所述多个样本值与所述第二参考块中的所述多个样本值之间的差值之和。
11.根据权利要求10所述的方法，其中所述第一参考块中的所述多个样本值被内插，且所述第二参考块中的所述多个样本值被内插。
12.根据权利要求9所述的方法，其中，所述值是BIO启用阈值，且所述方法还包括：基于复杂性等级或编码效率中的一者或多者，确定所述BIO启用阈值。
13.根据权利要求9所述的方法，其中，所述值是BIO启用阈值，且所述方法还包括：通过信令接收所述BIO启用阈值。
14.根据权利要求9所述的方法，其中所述第一参考块是第一参考子块，且所述第二参考块是第二参考子块。
15.根据权利要求9所述的方法，其中，基于确定所述预测样本值差等于或大于所述值，BIO通过至少部分地基于与所述当前子块内的位置相关联的梯度而细化与所述当前子块相关联的运动向量而被执行。
16.一种用于视频编码的设备，其包括：
处理器，所述处理器至少被配置为：
识别针对当前子块的预测信息，其中所述预测信息包括第一参考块内的多个样本值和第二参考块内的多个样本值；
基于所述第一参考块内的所述多个样本值和所述第二参考块内的所述多个样本值，获得预测样本值差；
确定所述预测样本值差是否小于一值；以及
基于所述预测样本值差是否小于所述值的所述确定，编码所述当前子块，其中基于所述预测样本值差等于或大于所述值的确定来针对所述当前子块启用双向光流(BIO)，并且基于所述预测样本值差小于所述值的确定来针对所述当前子块停用BIO。
17.根据权利要求16所述的设备，其中所述预测样本值差指示所述第一参考块中的所述多个样本值与所述第二参考块中的所述多个样本值之间的差值之和。
18.一种用于视频编码的方法，其包括：
识别针对当前子块的预测信息，其中所述预测信息包括第一参考块内的多个样本值和第二参考块内的多个样本值；
基于所述第一参考块内的所述多个样本值和所述第二参考块内的所述多个样本值，获得预测样本值差；
确定所述预测样本值差是否小于一值；以及
基于所述预测样本值差是否小于所述值的所述确定，编码所述当前子块，其中基于所述预测样本值差等于或大于所述值的所述确定来针对所述当前子块启用双向光流(BIO)，并且基于所述预测样本值差小于所述值的确定来针对所述当前子块停用BIO。
19.根据权利要求18所述的方法，其中所述预测样本值差指示所述第一参考块中的所述多个样本值与所述第二参考块中的所述多个样本值之间的差值之和。
20.一种非暂时性计算机可读存储媒体，包含用于促使一个或多个处理中执行以下操作的指令：
识别针对当前子块的预测信息，其中所述预测信息包括第一参考块内的多个样本值和第二参考块内的多个样本值；
基于所述第一参考块内的所述多个样本值和所述第二参考块内的所述多个样本值，获得预测样本值差；
确定所述预测样本值差是否小于一值；以及
基于所述预测样本值差是否小于所述值的所述确定，解码所述当前子块，其中基于所述预测样本值差等于或大于所述值的所述确定来针对所述当前子块启用双向光流(BIO)，并且基于所述预测样本值差小于所述值的确定来针对所述当前子块停用BIO。
CN201880044919.7A 2017-07-03 2018-07-03 用于视频编解码的设备、方法 Active CN110832858B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202311239405.6A CN117478885A (zh) 2017-07-03 2018-07-03 用于视频编解码的设备、方法
CN202311237929.1A CN117478884A (zh) 2017-07-03 2018-07-03 用于视频编解码的设备、方法

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201762528296P 2017-07-03 2017-07-03
US62/528,296 2017-07-03
US201762560823P 2017-09-20 2017-09-20
US62/560,823 2017-09-20
US201762564598P 2017-09-28 2017-09-28
US62/564,598 2017-09-28
US201762579559P 2017-10-31 2017-10-31
US62/579,559 2017-10-31
US201762599241P 2017-12-15 2017-12-15
US62/599,241 2017-12-15
PCT/US2018/040681 WO2019010156A1 (en) 2017-07-03 2018-07-03 MOTION COMPENSATION PREDICTION BASED ON A BIDIRECTIONAL OPTICAL FLOW

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202311239405.6A Division CN117478885A (zh) 2017-07-03 2018-07-03 用于视频编解码的设备、方法
CN202311237929.1A Division CN117478884A (zh) 2017-07-03 2018-07-03 用于视频编解码的设备、方法

Publications (2)

Publication Number Publication Date
CN110832858A CN110832858A (zh) 2020-02-21
CN110832858B true CN110832858B (zh) 2023-10-13

Family

ID=64951204

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202311237929.1A Pending CN117478884A (zh) 2017-07-03 2018-07-03 用于视频编解码的设备、方法
CN201880044919.7A Active CN110832858B (zh) 2017-07-03 2018-07-03 用于视频编解码的设备、方法
CN202311239405.6A Pending CN117478885A (zh) 2017-07-03 2018-07-03 用于视频编解码的设备、方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202311237929.1A Pending CN117478884A (zh) 2017-07-03 2018-07-03 用于视频编解码的设备、方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311239405.6A Pending CN117478885A (zh) 2017-07-03 2018-07-03 用于视频编解码的设备、方法

Country Status (8)

Country Link
US (2) US11363293B2 (zh)
EP (1) EP3649780A1 (zh)
JP (2) JP7168593B2 (zh)
KR (2) KR20240044549A (zh)
CN (3) CN117478884A (zh)
BR (1) BR112020000032A2 (zh)
RU (1) RU2763042C2 (zh)
WO (1) WO2019010156A1 (zh)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240044549A (ko) * 2017-07-03 2024-04-04 브이아이디 스케일, 인크. 양방향 광학 흐름에 기반한 모션 보상 예측
CN117354540A (zh) * 2017-10-27 2024-01-05 松下电器（美国）知识产权公司 编码装置、编码方法、生成装置、发送装置和存储介质
CN111656788A (zh) 2018-01-29 2020-09-11 Vid拓展公司 低复杂度的帧速率上变换
EP3751855A4 (en) * 2018-02-06 2021-03-10 Panasonic Intellectual Property Corporation of America CODING DEVICE, DECODING DEVICE, CODING METHOD AND DECODING METHOD
RU2020135518A (ru) 2018-04-06 2022-04-29 Вид Скейл, Инк. Метод двунаправленного оптического потока с упрощенным выведением градиента
MX2020013386A (es) * 2018-06-11 2021-03-09 Hfi Innovation Inc Metodo y aparato de flujo optico bidireccional para la codificacion de video.
EP3809705B1 (en) * 2018-07-02 2024-05-01 Huawei Technologies Co., Ltd. Motion vector prediction method and device, and codec
CN112930684B (zh) 2018-08-17 2023-10-13 寰发股份有限公司 在视频编解码系统中利用双向预测处理视频的方法、设备
JP7004835B2 (ja) 2018-09-14 2022-01-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
US11470308B2 (en) * 2018-09-21 2022-10-11 Vid Scale, Inc. Complexity reduction and bit-width control for bi-directional optical flow
CN111010569B (zh) 2018-10-06 2023-02-28 北京字节跳动网络技术有限公司 Bio中的时间梯度计算的改善
CN111083484A (zh) 2018-10-22 2020-04-28 北京字节跳动网络技术有限公司 基于子块的预测
EP3861731A4 (en) * 2018-11-05 2021-11-24 Beijing Bytedance Network Technology Co. Ltd. INTERPOLATION TO INTERPRDICTION WITH REFINEMENT
EP3857879A4 (en) 2018-11-12 2022-03-16 Beijing Bytedance Network Technology Co., Ltd. SIMPLIFICATION OF COMBINED INTER-INTRA PREDICTION
JP7241870B2 (ja) 2018-11-20 2023-03-17 北京字節跳動網絡技術有限公司 部分的な位置に基づく差分計算
WO2020103872A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Prediction refinement for combined inter intra prediction mode
WO2020103944A1 (en) 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Sub-block based motion candidate selection and signaling
US11315256B2 (en) * 2018-12-06 2022-04-26 Microsoft Technology Licensing, Llc Detecting motion in video using motion vectors
SG11202103292TA (en) * 2018-12-28 2021-04-29 Sony Corp Image processing device and method
BR112021007949A2 (pt) * 2019-01-02 2021-07-27 Huawei Technologies Co., Ltd. sistema e método de fácil utilização com hardware e software para refinamento de vetor de movimento do lado do decodificador com correção por pixel baseada em fluxo óptico bipreditivo no lado do decodificador para compensação de movimento bipreditivo
US11153590B2 (en) * 2019-01-11 2021-10-19 Tencent America LLC Method and apparatus for video coding
DK3922025T3 (da) * 2019-02-07 2023-07-24 Vid Scale Inc Systemer, apparat og fremgangsmåder til inter-forudsigelsesforfinelse med optisk flow
DK3912352T3 (da) * 2019-02-22 2023-11-20 Huawei Tech Co Ltd Tidlig afslutning til forfinelse af optisk strøm
CN113545085A (zh) * 2019-03-03 2021-10-22 北京字节跳动网络技术有限公司 基于图片头中的信息启用dmvr
KR102612802B1 (ko) * 2019-03-05 2023-12-13 엘지전자 주식회사 인터 예측을 위한 비디오 신호의 처리 방법 및 장치
EP3915259A4 (en) 2019-03-06 2022-03-30 Beijing Bytedance Network Technology Co., Ltd. USE OF A CONVERTED UNIVERSITY PREDICTION CANDIDATE
US11323731B2 (en) * 2019-03-08 2022-05-03 Tencent America LLC Method and apparatus for video coding
MX2021010504A (es) * 2019-03-08 2021-10-01 Huawei Tech Co Ltd Un codificador, un decodificador y metodos correspondientes para interprediccion.
JP6867611B2 (ja) * 2019-03-11 2021-04-28 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
KR20220112864A (ko) * 2019-03-15 2022-08-11 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 양방향 광 흐름을 위한 비트-폭 제어를 위한 방법 및 디바이스
WO2020187199A1 (en) 2019-03-17 2020-09-24 Beijing Bytedance Network Technology Co., Ltd. Calculation of prediction refinement based on optical flow
EP3942823A4 (en) * 2019-03-18 2023-04-05 Tencent America LLC VIDEO CODING METHOD AND APPARATUS
BR112021018644A2 (pt) * 2019-03-20 2021-11-23 Huawei Tech Co Ltd Método e aparelho para refinamento de predição com fluxo óptico para um bloco codificado afim
EP3745725A1 (en) 2019-03-22 2020-12-02 LG Electronics Inc. -1- Method and device for inter prediction on basis of dmvr and bdof
WO2020200159A1 (en) * 2019-03-29 2020-10-08 Beijing Bytedance Network Technology Co., Ltd. Interactions between adaptive loop filtering and other coding tools
US11962796B2 (en) * 2019-04-01 2024-04-16 Qualcomm Incorporated Gradient-based prediction refinement for video coding
WO2020200277A1 (en) * 2019-04-02 2020-10-08 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering in video processing
KR20230169434A (ko) 2019-04-02 2023-12-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 디코더 측 움직임 벡터 유도
CN117750033A (zh) * 2019-04-12 2024-03-22 寰发股份有限公司 用于视频编解码系统的简化仿射子块处理的方法及装置
WO2020211867A1 (en) 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Delta motion vector in prediction refinement with optical flow process
CN113728626B (zh) 2019-04-19 2023-05-30 北京字节跳动网络技术有限公司 不同运动矢量细化中的基于区域的梯度计算
CN113711608B (zh) 2019-04-19 2023-09-01 北京字节跳动网络技术有限公司 利用光流的预测细化过程的适用性
CN114885177B (zh) * 2019-04-25 2023-06-27 北京达佳互联信息技术有限公司 对视频数据编码的利用光流的预测细化方法、设备和介质
US11523109B2 (en) * 2019-05-02 2022-12-06 Tencent America LLC Method and apparatus for improvements of affine prof
CN117176965A (zh) * 2019-05-11 2023-12-05 北京字节跳动网络技术有限公司 用于视频处理的方法、设备和系统
US11317088B2 (en) * 2019-05-17 2022-04-26 Qualcomm Incorporated Gradient-based prediction refinement for video coding
CN113906738B (zh) * 2019-05-21 2024-01-12 北京字节跳动网络技术有限公司 仿射模式的自适应运动矢量差分辨率
US11197009B2 (en) * 2019-05-30 2021-12-07 Hulu, LLC Processing sub-partitions in parallel using reference pixels
JP7378968B2 (ja) 2019-06-07 2023-11-14 シャープ株式会社 予測画像生成装置、動画像復号装置および動画像符号化装置
WO2020257629A1 (en) 2019-06-19 2020-12-24 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus for prediction refinement with optical flow
KR20220024817A (ko) * 2019-06-21 2022-03-03 후아웨이 테크놀러지 컴퍼니 리미티드 인코더, 디코더 및 해당 방법
EP3989547A4 (en) * 2019-06-21 2023-04-19 Samsung Electronics Co., Ltd. VIDEO ENCODING METHOD AND DEVICE, AND VIDEO DECODER METHOD AND DEVICE
CN113411608B (zh) * 2019-06-21 2022-05-31 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN112135141A (zh) 2019-06-24 2020-12-25 华为技术有限公司 视频编码器、视频解码器及相应方法
US11330287B2 (en) * 2019-06-28 2022-05-10 Tencent America LLC Method and apparatus for video coding
JP7313533B2 (ja) * 2019-07-10 2023-07-24 ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド オプティカルフローによる予測洗練化における方法および装置
CN114208184A (zh) 2019-08-13 2022-03-18 北京字节跳动网络技术有限公司 基于子块的帧间预测中的运动精度
KR102486982B1 (ko) 2019-08-23 2023-01-10 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 광학 흐름을 사용한 예측 미세조정을 위한 방법 및 장치
KR20220061240A (ko) 2019-09-20 2022-05-12 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘) 시프트 동작들에 대한 양방향 광학 흐름 단순화를 이용한 비디오 인코딩 및/또는 디코딩 방법들 및 관련 장치
CN114762330A (zh) 2019-09-22 2022-07-15 北京字节跳动网络技术有限公司 视频的子图片编码和解码
CN113596459A (zh) * 2019-09-23 2021-11-02 杭州海康威视数字技术股份有限公司 编解码方法方法、装置及设备
KR20220063272A (ko) 2019-09-24 2022-05-17 알리바바 그룹 홀딩 리미티드 비디오 코딩을 위한 움직임 보상 방법
KR20220044843A (ko) 2019-09-24 2022-04-11 엘지전자 주식회사 서브픽처 기반 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
CN114631321B (zh) 2019-10-18 2024-04-12 北京字节跳动网络技术有限公司 子图片与环路滤波之间的相互影响
CN113742288A (zh) * 2020-05-29 2021-12-03 伊姆西Ip控股有限责任公司 用于数据索引的方法、电子设备和计算机程序产品
CN114079784A (zh) * 2020-08-20 2022-02-22 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器以及计算机存储介质
KR20230123951A (ko) * 2020-12-22 2023-08-24 퀄컴 인코포레이티드 비디오 코딩에서의 양방향 광학 플로우
US11968356B2 (en) * 2022-03-16 2024-04-23 Qualcomm Incorporated Decoder-side motion vector refinement (DMVR) inter prediction using shared interpolation filters and reference pixels

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000018134A1 (en) * 1998-09-18 2000-03-30 Sarnoff Corporation Frame skipping without having to perform motion estimation
AU2001236214A1 (en) * 2000-02-21 2001-11-22 Merck Sharp & Dohme B.V. Electronic alarm timer for use with a medical regimen
WO2014107074A1 (ko) * 2013-01-04 2014-07-10 삼성전자 주식회사 스케일러블 비디오의 부호화 및 복호화를 위한 움직임 보상 방법 및 장치
WO2017034089A1 (ko) * 2015-08-23 2017-03-02 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2017036399A1 (en) * 2015-09-02 2017-03-09 Mediatek Inc. Method and apparatus of motion compensation for video coding based on bi prediction optical flow techniques
TW201715891A (zh) * 2015-09-28 2017-05-01 高通公司 用於視訊寫碼之改良雙向光流

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7369463B1 (en) * 2000-02-21 2008-05-06 N.V. Organon Electronic alarm timer for use with a medical regimen
RU2565363C2 (ru) 2011-01-07 2015-10-20 Нокиа Корпорейшн Предсказание движения при видеокодировании
WO2017134957A1 (ja) * 2016-02-03 2017-08-10 シャープ株式会社 動画像復号装置、動画像符号化装置、および予測画像生成装置
CN108781294B (zh) * 2016-02-05 2021-08-31 联发科技股份有限公司 视频数据的运动补偿方法及装置
CN105847804B (zh) 2016-05-18 2017-12-15 信阳师范学院 一种基于稀疏冗余表示模型的视频帧率上转换方法
US20180192071A1 (en) * 2017-01-05 2018-07-05 Mediatek Inc. Decoder-side motion vector restoration for video coding
US10523964B2 (en) * 2017-03-13 2019-12-31 Qualcomm Incorporated Inter prediction refinement based on bi-directional optical flow (BIO)
US10595035B2 (en) * 2017-03-22 2020-03-17 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation
KR20240044549A (ko) * 2017-07-03 2024-04-04 브이아이디 스케일, 인크. 양방향 광학 흐름에 기반한 모션 보상 예측

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000018134A1 (en) * 1998-09-18 2000-03-30 Sarnoff Corporation Frame skipping without having to perform motion estimation
AU2001236214A1 (en) * 2000-02-21 2001-11-22 Merck Sharp & Dohme B.V. Electronic alarm timer for use with a medical regimen
AU2013205783A1 (en) * 2012-05-15 2013-12-05 Xu, Xuejun Mr A Position Servo Control Apparatus for Fluid-operated Actuators
WO2014107074A1 (ko) * 2013-01-04 2014-07-10 삼성전자 주식회사 스케일러블 비디오의 부호화 및 복호화를 위한 움직임 보상 방법 및 장치
WO2017034089A1 (ko) * 2015-08-23 2017-03-02 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2017036399A1 (en) * 2015-09-02 2017-03-09 Mediatek Inc. Method and apparatus of motion compensation for video coding based on bi prediction optical flow techniques
TW201715891A (zh) * 2015-09-28 2017-05-01 高通公司 用於視訊寫碼之改良雙向光流

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Bi-directional optical flow for improving motion compensation";A. Alshin et al;28th Picture Coding Symposium, Nagoya;全文 *
LEE L ET AL."BIO improvement to reduce the encoder and decoder complexities".《Joint Video Exploration Team (JVET)》.2016, *

Also Published As

Publication number Publication date
KR20200033228A (ko) 2020-03-27
CN117478885A (zh) 2024-01-30
JP2022191507A (ja) 2022-12-27
RU2763042C2 (ru) 2021-12-27
CN110832858A (zh) 2020-02-21
RU2019144982A3 (zh) 2021-10-25
BR112020000032A2 (pt) 2020-07-14
US11363293B2 (en) 2022-06-14
US20200221122A1 (en) 2020-07-09
KR20240044549A (ko) 2024-04-04
US20220368943A1 (en) 2022-11-17
RU2019144982A (ru) 2021-06-30
WO2019010156A1 (en) 2019-01-10
JP2020526964A (ja) 2020-08-31
JP7168593B2 (ja) 2022-11-09
EP3649780A1 (en) 2020-05-13
CN117478884A (zh) 2024-01-30
KR102653715B1 (ko) 2024-04-01

Similar Documents

Publication Publication Date Title
CN110832858B (zh) 用于视频编解码的设备、方法
JP7382332B2 (ja) マージモード用のサブブロック動き導出およびデコーダサイド動きベクトル精緻化
CN111345041B (zh) 解码、编码视频数据的方法和设备
JP7398442B2 (ja) ビデオコーディングのための双予測
US20230188748A1 (en) Bi-directional optical flow method with simplified gradient derivation
CN111630855A (zh) 基于局部照明补偿的运动补偿双向预测
JP7307184B2 (ja) オプティカルフローを用いたインター予測リファインメントのためのシステム、装置、および方法
KR20210113187A (ko) 대칭 모션 벡터 차이 코딩
CN113228634A (zh) 组合的帧内及帧间预测
KR20210074280A (ko) 아핀 모델 기반 비디오 코딩에 대한 아핀 모션 추정
CN113615186B (zh) 对称运动矢量差译码

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant