CN113826400A - 用于利用光流的解码器侧运动向量细化的预测细化的方法和装置 - Google Patents

用于利用光流的解码器侧运动向量细化的预测细化的方法和装置 Download PDF

Info

Publication number
CN113826400A
CN113826400A CN202080036097.5A CN202080036097A CN113826400A CN 113826400 A CN113826400 A CN 113826400A CN 202080036097 A CN202080036097 A CN 202080036097A CN 113826400 A CN113826400 A CN 113826400A
Authority
CN
China
Prior art keywords
sub
block
motion vector
blocks
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080036097.5A
Other languages
English (en)
Inventor
陈伟
贺玉文
罗健聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of CN113826400A publication Critical patent/CN113826400A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了用于改进基于运动向量(MV)细化的子块(SB)级运动补偿预测的方法、设备、装置、系统、架构和接口。一种解码方法，包括：接收编码视频数据的比特流，该比特流包括至少一个视频数据块，该至少一个视频数据块包括多个SB；针对所述块中的至少一个SB，执行包括基于解码器的MV(DMVR)过程的MV导出，以生成针对每个SB的细化MV；对所述至少一个子块，执行基于SB的运动补偿，以在每个SB内生成基于SB的预测；获得每个SB内的所述预测的空间梯度；确定每个SB中的每个像素的MV偏移；通过光流方程，基于所述空间梯度和MV偏移，获得每个SB中的强度变化；以及基于所获得的强度变化，细化每个SB内的所述预测。

Description

用于利用光流的解码器侧运动向量细化的预测细化的方法和 装置
背景技术
视频译码(coding)系统广泛用于压缩数字视频信号，以减少这种信号的存储需要和/或传输带宽。在各种类型的视频译码系统(例如基于块、基于小波和基于对象的系统)中，基于块的混合视频译码系统是当前最广泛使用和部署的。这种基于块的视频译码系统的例子包括国际视频译码标准，例如MPEG-1/2/4第2部分、H.264/MPEG-4第10部分AVC[1][2]、VC-1[3]和称为高效视频译码(HEVC)[4]的最新视频译码标准，其由ITU-T/SG16/Q.6/VCEG和ISO/IEC/MPEG的JCT-VC(视频译码联合合作组)开发。
附图说明
从以下结合附图以示例方式给出的详细描述中可以获得更详细的理解。与详细描述一样，这些附图中的图是示例。因此，附图和详细描述不应被认为是限制性的，并且其它等效的示例是可能的并且是可能的。此外，图中相同的附图标记表示相同的要素，其中：
图1是示出了其中可以执行和/或实现一个或多个实施例的示例视频编码器的框图；
图2是示出了与图1的视频编码和/或解码系统一起使用的示例视频解码器的框图，其中可以执行和/或实现一个或多个实施例；
图3A是示出了根据实施例的由两个控制点运动向量描述的块的仿射运动场的示图；
图3B是示出了根据实施例的在基于4参数仿射模式的运动预测中用于仿射块的子块级运动导出的图；
图4是示出了根据实施例的用于基于6参数仿射模式的运动预测的示例性模型的示图；
图5是示出了根据实施例的解码侧运动向量细化(refinement)的示图；
图6是示出了根据实施例的像素级运动向量和子块级运动向量之间的差的示图；
图7是示出了译码单元中的示例性块的图，用于说明实施例的目的；
图8A是示出了可以实施所公开的一个或多个实施例的示例通信系统的系统图示；
图8B是示出了根据一个实施例的可以在图8A所示的通信系统内部使用的示例无线发射/接收单元(WTRU)的系统图示；
图8C是示出了根据一个实施例的可以在图8A所示的通信系统内部使用的例示无线电接入网络(RAN)和例示核心网络(CN)的系统图示；
图8D是示出了根据一个实施例的可以在图8A所示的通信系统内部使用的另一个例示RAN和另一个例示CN的系统图示；
图9是示出了实现根据各实施例的各方面和操作的系统图。
具体实施方式
介绍
在2018年7月，联合视频专家组(JVET)发起了新项目来开发新一代视频译码标准，其被命名为通用视频译码(VVC)[6]。在同一个月，建立一个称为VVC测试模型(VTM)[7]的参考软件代码库，用于演示所述VVC标准的参考实现。对于初始VTM-1.0，包括帧内预测、帧间预测、变换/逆变换和量化/去量化以及环内滤波器的大多数译码模块遵循现有HEVC设计，一个关键例外是，在VTM中使用了一个基于多类型树的块分区结构。同时，为了便于新译码工具的评估，还生成了称为基准集(BMS)[8]的另一参考软件库。在该BMS代码库中，从JEM[10]继承的译码工具的列表提供了更高的译码效率和适度的实现复杂度，该列表被包括在VTM之上，并且在VVC标准化过程期间评估类似的译码技术时被用作基准。具体地，在BMS-1.0中集成了9个JEM译码工具，这其中包括65个角度帧内预测方向、修改的系数译码、高级多重变换(AMT)+4×4不可分离的二次变换(NSST)、仿射运动模型、广义自适应环路滤波器(GALF)、高级时间运动向量预测(ATMVP)、自适应运动向量精度、解码器侧运动向量细化(DMVR)和线性模型(LM)色度模式。
与HEVC类似，所述VVC建立在基于块的混合视频译码框架上。图1是示出了通用的基于块的混合视频编码系统的框图。输入视频信号102被逐块处理。在HEVC中，扩展的块大小(称为“译码单元”或CU)用于有效地压缩高分辨率(例如1080p及以上)视频信号。在HEVC中，CU可高达64x64像素。CU可进一步分区成预测单元或PU，针对所述预测单元或PU，可应用单独的预测方法。参看图1，其给出了基于块的视频编码器的一般框图，对于每一输入视频块(其可为主块(MB)或CU)，可执行空间预测(160)和/或时间预测(162)。空间预测(或“帧内预测”)使用来自同一视频图片/切片中的已译码相邻块的像素来预测当前视频块。空间预测减少了视频信号中固有的空间冗余。时间预测(也称为“帧间预测”或“运动补偿预测”)使用来自已译码视频图片的像素来预测当前视频块。时间预测减少了视频信号中固有的时间冗余。用于给定视频块的时间预测信号通常由指示当前块与其参考块之间的运动的量及方向的一个或一个以上运动向量用信号发送。此外，如果支持多个参考图片(如对于诸如H.264/AVC或HEVC的许多新近视频译码标准的情况)，则对于每个视频块，另外发送其参考图片索引；并且该参考索引被用于标识所述时间预测信号基于参考图片存储库(164)中的哪个参考图片。在空间和/或时间预测之后，编码器中的模式决策框(180)例如基于速率失真优化方法来选择最佳预测模式。然后从当前视频块中减去来自空间预测160或时间预测162的预测块(116)；并且使用变换(104)对预测残差去相关并且量化(106)以实现目标比特率。对量化的残差系数进行逆量化(110)和逆变换(112)以形成重构的残差，然后在126将该重构的残差加回到预测块以形成重构的视频块。在将经重构视频块放入参考图片存储库(164)中以用于对未来视频块进行译码之前，可对所述经重构视频块应用例如解块滤波器及自适应环路滤波器等进一步环路内滤波(166)。为了形成输出视频比特流120，译码模式(帧间或帧内)、预测模式信息、运动信息和量化的残差系数都被发送到熵译码单元(108)，以被进一步压缩和打包以形成比特流。
图2给出了基于块的视频解码器的一般框图。视频比特流202首先在熵解码单元208被解包和熵解码。所述译码模式和预测信息被发送到的用于其适当的一个空间预测单元260(用于帧内译码模式)和/或时间预测单元262(用于帧间译码模式)，以形成预测块。将残差变换系数发送到逆量化单元210和逆变换单元212以重构残差块。然后在226处将预测块(如果是帧内译码模式，则来自空间预测260，或者如果是帧间译码模式，则来自时间预测262)添加到所述残差块。重构的块在被存储在参考图片存储库264中之前，可以进一步经过环内滤波266。除了被保存在参考图片存储库中以供预测未来的视频块之外，重构的视频220还被发送出去以驱动显示设备。
在现代视频编解码器中，双向运动补偿预测(MCP)由于其通过利用图像之间的时间相关性来移除时间冗余的高效率而为人所知，并且已经在大多数现有技术的视频编解码器[2][9][10][7]中被广泛采用。而且，通过使用等于0.5的权重值组合两个单预测信号，简单地形成双预测信号。然而，以这种简单的方式组合所述单预测信号不是最佳的，尤其是在亮度从一个参考图片到另一个参考图片快速变化的条件下。因此，已经开发了若干种预测技术，其目的在于通过向参考图片中的每个样本值应用一些全局或局部权重和偏移值来补偿随时间的亮度变化。下面讨论这些技术中的一些。
仿射模式
在HEVC中，仅平移运动模型被应用于运动补偿预测，而在现实世界中，存在许多种运动，例如放大/缩小、旋转、透视运动和其他不规则运动。在VTM-2.0[7]中，应用仿射运动补偿预测。仿射运动模型是4参数的或6参数的。用信号发送用于每一经帧间译码的CU的第一标志以指示平移运动模型或仿射运动模型是否应用于帧间预测。如果是仿射运动模型，则发送第二标志以指示其是4参数还是6参数模型。
具有四个参数的仿射运动模型具有以下参数：两个参数用于水平和垂直方向上的平移运动，一个参数用于两个方向上的缩放运动，一个参数用于两个方向上的旋转运动。水平缩放参数等于垂直缩放参数。水平旋转参数等于垂直旋转参数。此四参数仿射运动模型是在VTM中使用在当前CU的左上角和右上角处界定的两个控制点位置处的两个运动向量来译码。如图3A中所示，块的仿射运动场由两个控制点运动向量(V0,V1)描述。基于控制点运动，一个仿射译码块的运动场(vx,vy)被描述为：
Figure BDA0003354337190000051
其中(v0x,v0y)为左上角控制点的运动向量，(v1x,v1y)为右上角控制点的运动向量，如图3A所示，w为CU的宽度。在VTM-2.0中，在4×4块级别处导出仿射译码CU的运动场；也就是说，针对当前CU内的4×4块中的每一者导出(vx,vy)且将其应用于对应的4×4块。图3B示出了在(例如)4×4块级别处的4参数仿射运动预测中的仿射块的运动导出。
迭代地估计4参数仿射模型的那四个参数。将步骤k的运动向量(MV)对表示为
Figure BDA0003354337190000061
将原始亮度信号表示为I(i，j)，以及将预测亮度信号表示为I′k(i,j)。空间梯度gx(i，j)和gy(i，j)分别通过在水平和垂直方向上应用于预测信号I′k(i,j)的Sobel滤波器[13]导出。Eq(1)的导数可以表示为：
Figure BDA0003354337190000062
其中(a，b)是增量平移参数，并且(c，d)是步骤k的增量缩放和旋转参数。控制点处的增量MV可以通过其坐标利用Eq(3)和(4)而被导出。例如，(0，0)、(w，0)分别是左上和右上控制点的坐标。
Figure BDA0003354337190000063
Figure BDA0003354337190000064
基于光流方程，亮度变化与空间梯度和时间移动之间的关系被公式化为：
Figure BDA0003354337190000065
用Eq(2)取代
Figure BDA0003354337190000066
和
Figure BDA0003354337190000067
我们得到参数(a，b，c，d)的方程。
Figure BDA0003354337190000068
因为CU中的所有样本满足Eq(6)，参数集(a，b，c，d)可以使用最小二乘误差法来求解。可以用Eq(3)以及(4)求解在步骤(k+1)处的两个控制点处的MV
Figure BDA0003354337190000071
并且它们可以被舍入到特定精度(即，1/4像素)。使用迭代，可以细化两个控制点处的MV，直到当参数(a，b，c，d)全为零或者迭代时间满足预定限制时其收敛。
具有6参数的仿射运动模型具有以下参数：两个参数用于水平和垂直方向上的平移运动，一个参数用于缩放运动，一个参数用于水平方向上的旋转运动，一个参数用于缩放运动，一个参数用于垂直方向上的旋转运动。所述6参数仿射运动模型是用三个控制点处的三个MV来译码的。如图4中所示，在CU的左上角、右上角和左下角界定6参数仿射译码CU的三个控制点。左上控制点处的运动与平移运动相关，右上控制点处的运动与水平方向上的旋转和缩放运动相关，左下控制点处的运动与垂直方向上的旋转和缩放运动相关。对于6参数仿射运动模型，水平方向上的旋转和缩放运动可与垂直方向上的那些运动不同。每个子块的运动向量(vx,vy)是使用控制点处的三个MV来导出的，如下：
Figure BDA0003354337190000072
其中(v2x,v2y)为左下控制点的运动向量，(x,y)为子块的中心位置，w和h为CU的宽度和高度。
以与上文结合4参数仿射运动模型描述的方式类似的方式估计所述6参数仿射模型的六个参数。Eq(2)被如下改变：
Figure BDA0003354337190000073
其中在步骤k，(a，b)是增量平移参数，(c，d)是水平方向的增量缩放和旋转参数，以及(e，f)是垂直方向的增量缩放和旋转参数。公式(8)也相应地改变，如下在Eq(9)中所示。
Figure BDA0003354337190000081
通过考虑CU内的所有样本，可以使用最小二乘法来求解参数集(a，b，c，d，e，f)。使用Eq(3)计算左上控制点的MV
Figure BDA0003354337190000082
使用下面的Eq(10)计算右上控制点的MV
Figure BDA0003354337190000083
使用Eq 11计算右上控制点的MV
Figure BDA0003354337190000084
Figure BDA0003354337190000085
Figure BDA0003354337190000086
解码器侧运动向量细化(DMVR)
为了增加合并模式的MV的准确性，在VTM4[11]中应用了基于双向匹配(BM)的解码器侧运动向量细化。在双向预测操作中，在参考图像列表L0和参考图像列表L1中搜索初始MV周围细化的MV。所述BM方法计算参考图片列表L0和列表L1中的两个候选块之间的失真。如图9所示，根据初始MV周围的每个MV候选者，计算红块之间的绝对差之和(SAD)。具有最低SAD的MV候选者变成所述细化MV且用以产生所述双向预测信号。
由DMVR处理导出的细化MV用于生成帧间预测样本，并且还用于未来图片译码的时间运动向量预测。而原始MV用于去块过程中，并且还用于未来CU译码的空间运动向量预测中。
如图5所示，初始MV和MV偏移周围的搜索点遵循MV差镜像(即，对称)规则。换句话说，由DMVR检查的任何点(其由候选MV对(MV0、MV1)表示)遵循以下两个方程：
Figure BDA0003354337190000091
其中MVoffset表示初始MV和在参考图像之一中的细化MV之间的细化偏移。在VTM4中，细化搜索范围是来自所述初始MV的两个整数亮度样本。为了降低搜索的复杂度，可应用一种具有提前终止机制的快速搜索方法。
用于仿射模式的利用光流的预测细化(PROF)
为了实现运动补偿的更精细粒度，[12]提出了一种利用光流来细化基于子块的仿射运动补偿预测的方法，其被称为利用光流的预测细化(PROF)。
在执行基于子块的仿射运动补偿之后，通过添加由光流方程导出的差来细化亮度预测样本。所提出的PROF描述如下四个步骤。
步骤1：执行所述基于子块的仿射运动补偿，以生成子块预测I(i,j)。
步骤2：使用3抽头滤波器[-1，0，1]在每个样本位置处，计算所述子块预测的空间梯度gx(i,j)和gy(i,j)。
gx(i,j)＝I(i+1,j)-I(i-1,j)
gy(i,j)＝I(i,j+1)-I(i,j-1)
所述子块预测每侧上被扩展一个像素以用于所述梯度计算。为了减少存储器带宽和复杂性，从参考图片中最近的整数像素位置复制扩展边界上的像素。因此，避免了用于填充区域的额外内插。
步骤3：亮度预测细化由以下光流方程计算。
ΔI(i,j)＝gx(i,j)*Δvx(i,j)+gy(i,j)*Δvy(i,j) (13)
其中Δvx(i,j)是在水平方向上为样本像素位置(i,j)计算的像素MV(被表示为v(i,j))与像素(i,j)所属子块的子块MV之间的差，并且Δvy(i,j)是在垂直方向上为样本像素位置(i,j)计算的像素MV(被表示为v(i,j))与像素(i,j)所属子块的子块MV之间的差。
图6帮助示出了每个单独像素的MV如何可以不同于子块MV。
由于仿射模型参数和相对于子块中心的像素位置在子块之间不会改变，因此可针对第一子块计算Δv(i,j)，且可将其重新用于同一CU中的其它子块。假设x和y是从所述像素位置到所述子块中心的水平和垂直偏移，Δv(x,y)可以通过以下方程导出，
Figure BDA0003354337190000101
对于4参数仿射模型来说，
Figure BDA0003354337190000102
对于6参数仿射模型来说，
Figure BDA0003354337190000111
其中，(v0x,v0y),(v1x,v1y),(v2x,v2y)是左上、右上和左下控制点运动向量，w和h是所述CU的宽度和高度。
步骤4：最后，将亮度预测细化添加到子块预测I(i,j)。使用以下方程生成最终预测I’。
I′(i,j)＝I(i,j)+ΔI(i,j) (14)
利用光流的基于运动向量细化的预测细化
下面是一种改进基于运动向量细化的子块级运动补偿预测的方法。在通过DMVR过程导出了细化运动向量(RMV)并且根据该RMV执行了基于子块的运动补偿之后，通过添加由光流方程(Eq(13))导出的差值来对像素强度进行细化，这在这里被称为利用光流的基于运动向量细化的预测细化(MVRPROF)。该MVRPROF技术可以实现像素级粒度而不会显著增加复杂度，并且还保持与基于常规DMVR的子块级运动补偿相当的最坏情况存储器访问带宽。
在本发明中，提出了MVPROF以通过应用从光流方程导出的像素强度的变化来改善基于DMVR的子块级运动补偿预测的粒度。该方法对于每个子块仅需要一个运动补偿操作，这与VVC中现有的仿射运动补偿相同。根据示例性实施例，在第一步骤中，通过执行DMVR过程(例如，上文部分1.2中所描述)来导出CU中的每一子块的细化运动向量。这之后可以是诸如在以上第0部分中描述的基于子块的运动补偿，以生成基于子块的预测。
在第二步骤中，通过遵循第0部分中描述的过程来计算每个样本位置处的子块预测的空间梯度gx(i,j)和gy(i,j)。
在第三步骤中，通过遵循以下描述的过程，在每个样本位置处计算运动向量偏移Δv(i，j)。
如图7中所示，在当前CU内存在多个可用的运动向量偏移。对于CU内的每一子块(例如，图7中的当前子块)(除了位于当前CU的左边界和/或顶部边界处的子块之外)，存在其MV偏移值在DMVR处理之后可用的三个相邻子块。考虑如图7所示的4个子块的4个MV偏移量，每一子块的运动可由6参数运动模型表示如下：
Figure BDA0003354337190000121
其中，MVX_offset和MVY_offset是一个MV偏移的水平和垂直分量，Xsub_block和Ysub_block是相应子块的中心位置的X和Y坐标。基于已知的四个相邻子块(即，当前子块和三个前述相邻子块)中的每一个的中心位置和MV偏移，对于所有四个子块(总共8个方程)，可以通过对Eq(15)进行线性回归建模来计算参数axx,axy,ayx,ayy,bx和by。
在一个实施例中，所述三个相邻子块的中心位置和MV偏移可用于计算所述6个参数，而第四(当前)子块可用于估计和评估模型误差。在一个实施例中，如果所述模型误差大于预定义阈值，则MVPROF可以不被应用于所述当前子块(即，第四子块)。
在另一实施例中，所有四个子块都可以用于计算所述6个参数。
给定Eq(15)中定义的仿射运动模型以及如上所述计算的模型参数，可以通过以下来计算属于一个子块的每个样本位置处的运动向量偏移Δv(i,j)：
Figure BDA0003354337190000131
其中，i和j分别是每个样本/像素的X和Y坐标。
在一些情况下，4参数仿射模型可比6参数仿射模型更好地符合所述运动。因此，如果其它偏移可用，那么可通过仅使用来自两个子块的MV偏移(例如，图7中的四个可用MV偏移中的任何两个)和其它剩余偏移来导出4参数仿射模型以用于检验/评估目的。在4参数仿射模型中：
Figure BDA0003354337190000132
对于例如位于当前CU的左边界或顶部边界处的那些子块的一些子块，其中可能仅存在一个可用相邻子块，可使用如上文所定义的4参数仿射模型来导出每一样本位置处的运动向量偏移。
在第四步骤中，CU的子块n中的每个像素的亮度强度变化由光流方程计算：
ΔI(i,j)＝gx(i,j)*Δvx(i,j)+gy(i,j)*Δvy(i,j) (18)
其中，Δv(i,j)和g(i,j)分别是在每个样本位置(i,j)处的MV偏移和空间梯度，其已经在之前的步骤中被计算。
最后，可以通过添加所述亮度强度变化来细化针对每个参考图片列表的预测。最终预测I’由以下方程产生。
I′(i,j)＝I(i,j)+ΔI(i,j) (19)
所提出的MVRPROF方法的许多实现变型是可能的，其包括以下内容。
在一个替代实施例中，当根据Eq(15)导出模型参数axx,axy,ayx,ayy,bx和by时，所考虑的MV偏移可以不限于图7中所示的仅四个子块，其中仅考虑左上、左上和上方的相邻子块。还可以考虑离当前子块不是很远的更多候选相邻子块。举例来说，MVPROF可使用所有子块MV偏移来导出CU的一个仿射运动模型，接着应用该仿射模型来导出每一样本的基于样本的MV偏移。
或者，当根据Eq(15)导出所述模型参数以及评估模型误差时，可以设置可配置的或自适应的误差阈值以评估模型准确度。在一个示例中，可以评估多个模型，例如6参数和4参数模型，并且可以选择具有最低L1或L2误差的模型以在每个样本位置处导出Δv(i,j)，其中L1是加权的绝对差和(SAD)，并且L2是加权的平方差和(SSD)。
在一个示例性实现中，当估计模型误差时，可以考虑加权的L1或L2差(例如，不同相邻子块的MV偏移可以具有不同的权重)。
在另一示例性实现中，如果仅使用四个MV偏移来导出运动模型，那么可在导出模型之前评估模型误差以减少计算复杂性(因为如果模型误差较大，那么可跳过运动模型估计)。例如，可以首先计算两个对角线方向上的两个MV偏移之和，并且该两个和的差可以用于所述模型误差。例如，在图7中，可以分别计算MVoff(x-1,y-1)和MVoff(x,y)之和以及MVoff(x,y-1)和MVoff(x-1,y)之和。这两个和之间的差可以用于表示所述模型误差。
在又一示例性实施例中，当使用多个相邻MV偏移来计算所述模型参数时，子块纵横比可以保持为当前子块的相同值。或者，可以允许不同的纵横比。
在进一步的变化中，当多个相邻MV偏移被用于计算所述模型参数时，相邻子块的大小可以与当前子块相同。或者，可允许不同大小的相邻子块。
此外，在上文描述的示例性实施例中，所述MVPPROF以以下方式工作：当前CU内的每一子块独立地导出模型参数，且同一子块内的每一样本共享相同的模型参数，但来自当前CU内的不同子块的每一样本可不共享所述模型参数。然而，在另一实施例中，所述模型参数可仅被导出一次，且然后当前CU内的所有样本共享相同的参数。
更进一步，在Eq(19)的一个变型中，从Eq(18)导出的强度差可以在将其加到预测之前乘以权重因子w，如下面方程所示：
I′(i,j)＝I(i,j)+w·ΔI(i,j) (20)
其中w被设置为0到1之间的值，包括端值。可在CU层级或图片层级用信号发送值w。例如，w可以通过权重索引来用信号发送。
在基于DMVR的L0预测和L1预测通过权重而被组合之后，可以使用所述MVRPROF技术。或者，所述MVRPROF技术可以应用于一个预测，例如L0或L1。例如，在一个实施例中，所述MVRPROF技术可应用于L0或L1中在时域中更靠近的当前图片的那一个。
用于实施例的实现的示例网络
图8A是示出了可以实施所公开的一个或多个实施例的例示通信系统100的图示。该通信系统100可以是为多个无线用户提供语音、数据、视频、消息传递、广播等内容的多址接入系统。该通信系统100可以通过共享包括无线带宽在内的系统资源而使多个无线用户能够访问此类内容。举例来说，通信系统100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块过滤OFDM以及滤波器组多载波(FBMC)等等。
如图8A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网络(PSTN)108、因特网110以及其他网络112，然而应该了解，所公开的实施例设想了任意数量的WTRU、基站、网络和/或网络部件。每一个WTRU 102a、102b、102c、102d可以是被配置成在无线环境中工作和/或通信的任何类型的设备。举例来说，任一WTRU 102a、102b、102c、102d都可被称为“站”和/或“STA”，其可以被配置成发射和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于签约的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴显示器(HMD)、车辆、无人机、医疗设备和应用(例如，远程手术)、工业设备和应用(例如，机器人和/或在工业和/或自动处理链环境中工作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上工作的设备等等。WTRU102a、102b、102c、102d中的任意者可被可交换地称为UE。
通信系统100还可以包括基站114a和/或基站114b。每一个基站114a和/或基站114b可以是被配置成通过以无线方式与WTRU 102a、102b、102c、102d中的至少一个无线对接来促使其接入一个或多个通信网络(例如，CN106/115、因特网110、和/或其他网络112)的任何类型的设备。例如，基站114a、114b可以是基地收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、以及无线路由器等等。虽然每一个基站114a、114b都被描述成了单个部件，然而应该了解，基站114a、114b可以包括任何数量的互连基站和/或网络部件。
基站114a可以是RAN 104/113的一部分，并且所述RAN还可以包括其他基站和/或网络部件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站114a和/或基站114b可被配置成在名为小区(未显示)的一个或多个载波频率上发射和/或接收无线信号。这些频率可以处于许可频谱、无许可频谱或是授权与无许可频谱的组合之中。小区可以为相对固定或者有可能随时间变化的特定地理区域提供无线服务覆盖。小区可被进一步分成小区扇区。例如，与基站114a相关联的小区可被分为三个扇区。由此，在一个实施例中，基站114a可以包括三个收发信机，即，每一个收发信机都对应于小区的一个扇区。在一个实施例中，基站114a可以使用多输入多输出(MIMO)技术，并且可以为小区的每一个扇区使用多个收发信机。例如，通过使用波束成形，可以在期望的空间方向上发射和/或接收信号。
基站114a、114b可以通过空中接口116来与WTRU 102a、102b、102c、102d中的一个或多个进行通信，其中所述空中接口可以是任何适当的无线通信链路(例如，射频(RF)、微波、厘米波、毫米波、红外线(IR)、紫外线(UV)、可见光等等)。空中接口116可以使用任何适当的无线电接入技术(RAT)来建立。
更具体地说，如上所述，通信系统100可以是多址接入系统，并且可以使用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如，RAN 104/113中的基站114a与WTRU 102a、102b、102c可以实施某种无线电技术，例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)，其中所述技术可以使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可以包括如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在一个实施例中，基站114a和WTRU 102a、102b、102c可以某种无线电技术，例如演进型UMTS陆地无线电接入(E-UTRA)，其中所述技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)和/或先进LTA Pro(LTE-A Pro)来建立空中接口116。
在一个实施例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如NR无线电接入，其中所述无线电技术可以建立使用新型无线电(NR)的空中接口116。
在一个实施例中，基站114a和WTRU 102a、102b、102c可以实施多种无线电接入技术。例如，基站114a和WTRU 102a、102b、102c可以共同实施LTE无线电接入和NR无线电接入(例如，使用双连接(DC)原理)。由此，WTRU 102a、102b、102c使用的空中接口可以通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如，eNB和gNB)发送的传输来表征。
在其他实施例中，基站114a和WTRU 102a、102b、102c可以实施以下的无线电技术，例如IEEE 802.11(即，无线高保真(WiFi))、IEEE802.16(即，全球微波接入互操作性(WiMAX))、CDMA2000、CDMA20001X、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强数据速率(EDGE)以及GSM EDGE(GERAN)等等。
图8A中的基站114b可以是无线路由器、家庭节点B、家庭e节点B或接入点，并且可以使用任何适当的RAT来促成局部区域中的无线连接，例如营业场所、住宅、车辆、校园、工业设施、空中走廊(例如，供无人机使用)以及道路等等。在一个实施例中，基站114b与WTRU102c、102d可以通过实施IEEE 802.11之类的无线电技术来建立无线局域网(WLAN)。在一个实施例中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在再一个实施例中，基站114b和WTRU 102c、102d可通过使用基于蜂窝的RAT(例如，WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等)来建立微微小区或毫微微小区。如图8A所示，基站114b可以直连到因特网110。由此，基站114b不需要经由CN106/115来接入因特网110。
RAN 104/113可以与CN 106/115进行通信，所述CN可以是被配置成向一个或多个WTRU 102a、102b、102c、102d提供语音、数据、应用和/或借助网际协议语音(VoIP)服务的任何类型的网络。该数据可以具有不同的服务质量(QoS)需求，例如不同的吞吐量需求、时延需求、容错需求、可靠性需求、数据吞吐量需求、以及移动性需求等等。CN 106/115可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等，和/或可以执行用户验证之类的高级安全功能。虽然在图8A中没有显示，然而应该了解，RAN 104/113和/或CN 106/115可以直接或间接地和其他那些与RAN 104/113使用相同RAT或不同RAT的RAN进行通信。例如，除了与使用NR无线电技术的RAN 104/113相连之外，CN 106/115还可以与使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的别的RAN(未显示)通信。
CN 106/115还可以充当供WTRU 102a、102b、102c、102d接入PSTN108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用了公共通信协议(例如，TCP/IP网际协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和/或网际协议(IP))的全球性互联计算机网络设备系统。网络112可以包括由其他服务供应商拥有和/或运营的有线和/或无线通信网络。例如，网络112可以包括与一个或多个RAN相连的另一个CN，其中所述一个或多个RAN可以与RAN104/113使用相同RAT或不同RAT。
通信系统100中一些或所有WTRU 102a、102b、102c、102d可以包括多模能力(例如，WTRU 102a、102b、102c、102d可以包括在不同无线链路上与不同无线网络通信的多个收发信机)。例如，图8A所示的WTRU 102c可被配置成与使用基于蜂窝的无线电技术的基站114a通信，以及与可以使用IEEE 802无线电技术的基站114b通信。
图8B是示出了例示WTRU 102的系统图示。如图8B所示，WTRU102可以包括处理器118、收发信机120、发射/接收部件122、扬声器/麦克风124、数字键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136以及其他周边设备138。应该了解的是，在保持符合实施例的同时，WTRU 102还可以包括前述部件的任何子组合。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器118可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU102在无线环境中工作的功能。处理器118可以耦合至收发信机120，收发信机120可以耦合至发射/接收部件122。虽然图8B将处理器118和收发信机120描述成单独组件，然而应该了解，处理器118和收发信机120也可以集成在一个电子组件或芯片中。
发射/接收部件122可被配置成经由空中接口116来发射或接收去往或来自基站(例如，基站114a)的信号。举个例子，在一个实施例中，发射/接收部件122可以是被配置成发射和/或接收RF信号的天线。作为示例，在另一个实施例中，发射/接收部件122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在再一个实施例中，发射/接收部件122可被配置成发射和/或接收RF和光信号。应该了解的是，发射/接收部件122可以被配置成发射和/或接收无线信号的任何组合。
虽然在图8B中将发射/接收部件122描述成是单个部件，但是WTRU102可以包括任何数量的发射/接收部件122。更具体地说，WTRU 102可以使用MIMO技术。由此，在一个实施例中，WTRU 102可以包括两个或多个通过空中接口116来发射和接收无线电信号的发射/接收部件122(例如，多个天线)。
收发信机120可被配置成对发射/接收部件122所要传送的信号进行调制，以及对发射/接收部件122接收的信号进行解调。如上所述，WTRU102可以具有多模能力。因此，收发信机120可以包括允许WTRU 102借助多种RAT(例如，NR和IEEE 802.11)来进行通信的多个收发信机。
WTRU 102的处理器118可以耦合到扬声器/麦克风124、数字键盘126和/或显示器/触摸板128(例如，液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器118还可以向扬声器/麦克风124、数字键盘126和/或显示器/触摸板128输出用户数据。此外，处理器118可以从诸如不可移除存储器130和/或可移除存储器132之类的任何适当的存储器中存取信息，以及将信息存入这些存储器。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订户身份模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在其他实施例中，处理器118可以从那些并非实际位于WTRU 102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。
处理器118可以接收来自电源134的电力，并且可被配置分发和/或控制用于WTRU102中的其他组件的电力。电源134可以是为WTRU 102供电的任何适当设备。例如，电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。
处理器118还可以耦合到GPS芯片组136，该芯片组可被配置成提供与WTRU 102的当前位置相关的位置信息(例如，经度和纬度)。作为来自GPS芯片组136的信息的补充或替换，WTRU 102可以经由空中接口116接收来自基站(例如，基站114a、114b)的位置信息，和/或根据从两个或多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持符合实施例的同时，WTRU 102可以借助任何适当的定位方法来获取位置信息。
处理器118还可以耦合到其他周边设备138，其中所述周边设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，周边设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、
Figure BDA0003354337190000221
模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、以及活动跟踪器等等。周边设备138可以包括一个或多个传感器，所述传感器可以是以下的一个或多个：陀螺仪、加速度计、霍尔效应传感器、磁强计、方位传感器、邻近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物测定传感器和/或湿度传感器。
WTRU 102可以包括全双工无线电设备，其中对于该无线电设备来说，一些或所有信号(例如，与用于UL(例如，对传输而言)和下行链路(例如，对接收而言)的特定子帧相关联)的接收或传输可以是并发和/或同时的。全双工无线电设备可以包括借助于硬件(例如，扼流线圈)或是凭借处理器(例如，单独的处理器(未显示)或是凭借处理器118)的信号处理来减小和/或基本消除自干扰的干扰管理单元。在一个实施例中，WTRU 102可以包括传送或接收一些或所有信号(例如，与用于UL(例如，对传输而言)或下行链路(例如，对接收而言)的特定子帧相关联)的半双工无线电设备。
图8C是示出了根据一个实施例的RAN 104和CN 106的系统图示。如上所述，RAN104可以在空中接口116上使用E-UTRA无线电技术来与WTRU 102a、102b、102c进行通信。所述RAN 104还可以与CN 106进行通信。
RAN 104可以包括e节点B 160a、160b、160c，然而应该了解，在保持符合实施例的同时，RAN 104可以包括任何数量的e节点B。每一个e节点B 160a、160b、160c都可以包括在空中接口116上与WTRU 102a、102b、102c通信的一个或多个收发信机。在一个实施例中，e节点B 160a、160b、160c可以实施MIMO技术。由此，举例来说，e节点B 140a可以使用多个天线来向WTRU 102a发射无线信号，和/或接收来自WTRU 102a的无线信号。
每一个e节点B 160a、160b、160c都可以关联于一个特定小区(未显示)，并且可被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度等等。如图8C所示，e节点B 160a、160b、160c彼此可以通过X2接口进行通信。
图8C所示的CN 106可以包括移动性管理实体(MME)162、服务网关(SGW)164以及分组数据网络(PDN)网关(或PGW)166。虽然前述的每一个部件都被描述成是CN 106的一部分，然而应该了解，这其中的任一部件都可以由CN运营商之外的实体拥有和/或运营。
MME 162可以经由S1接口连接到RAN 104中的每一个e节点B160a、160b、160c，并且可以充当控制节点。例如，MME 142可以负责验证WTRU 102a、102b、102c的用户，执行承载激活/去激活处理，以及在WTRU102a、102b、102c的初始附着过程中选择特定的服务网关等等。MME 162还可以提供一个用于在RAN 104与使用其他无线电技术(例如，GSM和/或WCDMA)的其他RAN(未显示)之间进行切换的控制平面功能。
SGW 164可以经由S1接口连接到RAN 104中的每一个e节点B 160a、160b、160c。SGW164通常可以路由和转发去往/来自WTRU 102a、102b、102c的用户数据分组。并且，SGW 164还可以执行其他功能，例如在e节点B间的切换过程中锚定用户平面，在DL数据可供WTRU102a、102b、102c使用时触发寻呼处理，以及管理并存储WTRU 102a、102b、102c的上下文等等。
SGW 164可以连接到PGW 166，所述PGW可以为WTRU 102a、102b、102c提供分组交换网络(例如，因特网110)接入，以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信。
CN 106可以促成与其他网络的通信。例如，CN 106可以为WTRU102a、102b、102c提供电路交换网络(例如，PSTN 108)接入，以便促成WTRU102a、102b、102c与传统的陆线通信设备之间的通信。例如，CN 106可以包括一个IP网关(例如，IP多媒体子系统(IMS)服务器)或与之进行通信，并且该IP网关可以充当CN 106与PSTN 108之间的接口。此外，CN 106可以为WTRU 102a、102b、102c提供针对其他网络112的接入，其中该网络可以包括其他服务供应商拥有和/或运营的其他有线和/或无线网络。
虽然在图8A-1D中将WTRU描述成了无线终端，然而应该想到的是，在某些代表性实施例中，此类终端与通信网络可以使用(例如，临时或永久性)有线通信接口。
在一些代表性的实施例中，其他网络112可以是WLAN。
采用基础架构基本服务集(BSS)模式的WLAN可以具有用于所述BSS的接入点(AP)以及与所述AP相关联的一个或多个站(STA)。所述AP可以访问或是对接到分布式系统(DS)或是将业务量送入和/或送出BSS的别的类型的有线/无线网络。源于BSS外部且去往STA的业务量可以通过AP到达并被递送至STA。源自STA且去往BSS外部的目的地的业务量可被发送至AP，以便递送到相应的目的地。处于BSS内部的STA之间的业务量可以通过AP来发送，例如其中源STA可以向AP发送业务量并且AP可以将业务量递送至目的地STA。处于BSS内部的STA之间的业务量可被认为和/或称为点到点业务量。所述点到点业务量可以在源与目的地STA之间(例如，在其间直接)用直接链路建立(DLS)来发送。在某些代表性实施例中，DLS可以使用802.11e DLS或802.11z隧道化DLS(TDLS))。举例来说，使用独立BSS(IBSS)模式的WLAN可不具有AP，并且处于所述IBSS内部或是使用所述IBSS的STA(例如，所有STA)彼此可以直接通信。在这里，IBSS通信模式有时可被称为“自组织”通信模式。
在使用802.11ac基础设施工作模式或类似的工作模式时，AP可以在固定信道(例如，主信道)上传送信标。所述主信道可以具有固定宽度(例如，20MHz的带宽)或是借助信令动态设置的宽度。主信道可以是BSS的工作信道，并且可被STA用来与AP建立连接。在某些代表性实施例中，所实施的可以是具有冲突避免的载波感测多址接入(CSMA/CA)(例如，在802.11系统中)。对于CSMA/CA来说，包括AP在内的STA(例如，每一个STA)可以感测主信道。如果特定STA感测到/检测到和/或确定主信道繁忙，那么所述特定STA可以退避。在指定的BSS中，在任何指定时间都有一个STA(例如，只有一个站)进行传输。
高吞吐量(HT)STA可以使用宽度为40MHz的信道来进行通信(例如，借助于将宽度为20MHz的主信道与宽度为20MHz的相邻或不相邻信道相结合来形成宽度为40MHz的信道)。
甚高吞吐量(VHT)STA可以支持宽度为20MHz、40MHz、80MHz和/或160MHz的信道。40MHz和/或80MHz信道可以通过组合连续的20MHz信道来形成。160MHz信道可以通过组合8个连续的20MHz信道或者通过组合两个不连续的80MHz信道(这种组合可被称为80+80配置)来形成。对于80+80配置来说，在信道编码之后，数据可被传递并经过一个分段解析器，所述分段解析器可以将数据非成两个流。在每一个流上可以单独执行反向快速傅里叶变换(IFFT)处理以及时域处理。所述流可被映射在两个80MHz信道上，并且数据可以由执行传输的STA来传送。在执行接收的STA的接收机上，用于80+80配置的上述操作可以是相反的，并且组合数据可被发送至介质接入控制(MAC)。
802.11af和802.11ah支持次1GHz的工作模式。相比于802.11n和802.11ac，在802.11af和802.11ah中使用信道工作带宽和载波有所缩减。802.11af在TV白空间(TVWS)频谱中支持5MHz、10MHz和20MHz带宽，并且802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。依照代表性实施例，802.11ah可以支持仪表类型控制/机器类型通信(例如，宏覆盖区域中的MTC设备)。MTC可以具有某种能力，例如包含了支持(例如，只支持)某些和/或有限带宽在内的受限能力。MTC设备可以包括电池，并且该电池的电池寿命高于阈值(例如，用于保持很长的电池寿命)。
对于可以支持多个信道和信道带宽的WLAN系统(例如，802.11n、802.11ac、802.11af以及802.11ah)来说，这些系统包含了一个可被指定成主信道的信道。所述主信道的带宽可以等于BSS中的所有STA所支持的最大公共工作带宽。主信道的带宽可以由某一个STA设置和/或限制，其中所述STA源自在支持最小带宽工作模式的BSS中工作的所有STA。在关于802.11ah的示例中，即使BSS中的AP和其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽工作模式，但对支持(例如，只支持)1MHz模式的STA(例如，MTC类型的设备)来说，主信道的宽度可以是1MHz。载波感测和/或网络分配向量(NAV)设置可以取决于主信道的状态。如果主信道繁忙(例如，因为STA(其只支持1MHz工作模式)对AP进行传输)，那么即使大多数的频带保持空间并且可供使用，也可以认为整个可用频带繁忙。
在美国，可供802.11ah使用的可用频带是902MHz到928MHz。在韩国，可用频带是917.5MHz到923.5MHz。在日本，可用频带是916.5MHz到927.5MHz。依照国家，可用于802.11ah的总带宽是6MHz到26MHz。
图8D是示出了根据一个实施例的RAN 113和CN 115的系统图示。如上所述，RAN113可以在空中接口116上使用NR无线电技术来与WTRU102a、102b、102c进行通信。RAN 113还可以与CN 115进行通信。
RAN 113可以包括gNB 180a、180b、180c，但是应该了解，在保持符合实施例的同时，RAN 113可以包括任意数量的gNB。每一个gNB 180a、180b、180c都可以包括一个或多个收发信机，以便通过空中接口116来与WTRU 102a、102b、102c通信。在一个实施例中，gNB180a、180b、180c可以实施MIMO技术。例如，gNB 180a、180b可以使用波束成形处理来向和/或从gNB 180a、180b、180c发射和/或接收信号。由此，举例来说，gNB 180a可以使用多个天线来向WTRU 102a发射无线信号，和/或接收来自WTRU102a的无线信号。在一个实施例中，gNB 180a、180b、180c可以实施载波聚合技术。例如，gNB 180a可以向WTRU 102a传送多个分量载波(未显示)。这些分量载波的一个子集可以处于无许可频谱上，而剩余分量载波则可以处于许可频谱上。在一个实施例中，gNB 180a、180b、180c可以实施协作多点(CoMP)技术。例如，WTRU 102a可以接收来自gNB 180a和gNB 180b(和/或gNB 180c)的协作传输。
WTRU 102a、102b、102c可以使用与可扩缩参数配置相关联的传输来与gNB 180a、180b、180c进行通信。例如，对于不同的传输、不同的小区和/或不同的无线传输频谱部分来说，OFDM符号间隔和/或OFDM子载波间隔可以是不同的。WTRU 102a、102b、102c可以使用具有不同或可扩缩长度的子帧或传输时间间隔(TTI)(例如，包含了不同数量的OFDM符号和/或持续不同的绝对时间长度)来与gNB 180a、180b、180c进行通信。
gNB 180a、180b、180c可被配置成与采用独立配置和/或非独立配置的WTRU 102a、102b、102c进行通信。在独立配置中，WTRU 102a、102b、102c可以在不接入其他RAN(例如，e节点B 160a、160b、160c)的情况下与gNB 180a、180b、180c进行通信。在独立配置中，WTRU102a、102b、102c可以使用gNB 180a、180b、180c中的一个或多个作为移动锚点。在独立配置中，WTRU 102a、102b、102c可以使用无许可频带中的信号来与gNB 180a、180b、180c进行通信。在非独立配置中，WTRU 102a、102b、102c会在与别的RAN(例如，e节点B 160a、160b、160c)进行通信/相连的同时与gNB 180a、180b、180c进行通信/相连。举例来说，WTRU 102a、102b、102c可以通过实施DC原理而以基本同时的方式与一个或多个gNB 180a、180b、180c以及一个或多个e节点B 160a、160b、160c进行通信。在非独立配置中，e节点B 160a、160b、160c可以充当WTRU 102a、102b、102c的移动锚点，并且gNB 180a、180b、180c可以提供附加的覆盖和/或吞吐量，以便为WTRU102a、102b、102c提供服务。
每一个gNB 180a、180b、180c都可以关联于特定小区(未显示)，并且可以被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度、支持网络切片、实施双连接性、实施NR与E-UTRA之间的互通处理、路由去往用户平面功能(UPF)184a、184b的用户平面数据、以及路由去往接入和移动性管理功能(AMF)182a、182b的控制平面信息等等。如图8D所示，gNB 180a、180b、180c彼此可以通过Xn接口通信。
图8D所示的CN 115可以包括至少一个AMF 182a、182b，至少一个UPF 184a、184b，至少一个会话管理功能(SMF)183a、183b，并且有可能包括数据网络(DN)185a、185b。虽然每一个前述部件都被描述了CN 115的一部分，但是应该了解，这其中的任一部件都可以被CN运营商之外的其他实体拥有和/或运营。
AMF 182a、182b可以经由N2接口连接到RAN 113中的一个或多个gNB 180a、180b、180c，并且可以充当控制节点。例如，AMF 182a、182b可以负责验证WTRU 102a、102b、102c的用户，支持网络切片(例如，处理具有不同需求的不同PDU会话)，选择特定的SMF 183a、183b，管理注册区域，终止NAS信令，以及移动性管理等等。AMF 182a、1823b可以使用网络切片处理，以便基于正被使用的服务类型来定制为WTRU 102a、102b、102c提供的CN支持。作为示例，针对不同的使用情况，可以建立不同的网络切片，例如依赖于超可靠低时延(URLLC)接入的服务、依赖于增强型大规模移动宽带(eMBB)接入的服务、和/或用于机器类型通信(MTC)接入的服务等等。AMF 162可以提供用于在RAN 113与使用其他无线电技术(例如，LTE、LTE-A、LTE-A Pro和/或诸如WiFi之类的非3GPP接入技术)的其他RAN(未显示)之间切换的控制平面功能。
SMF 183a、183b可以经由N11接口连接到CN 115中的AMF 182a、182b。SMF 183a、183b还可以经由N4接口连接到CN 115中的UPF 184a、184b。SMF 183a、183b可以选择和控制UPF 184a、184b，并且可以通过UPF184a、184b来配置业务量路由。SMF 183a、183b可以执行其他功能，例如管理和分配UE IP地址、管理PDU会话、控制策略实施和QoS、以及提供下行链路数据通知等等。PDU会话类型可以是基于IP的、不基于IP的、以及基于以太网的等等。
UPF 184a、184b可以经由N3接口连接到RAN 113中的一个或多个gNB 180a、180b、180c，这样可以为WTRU 102a、102b、102c提供分组交换网络(例如，因特网110)接，以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信，UPF 184a、184b可以执行其他功能，例如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、以及提供移动性锚定处理等等。
CN 115可以促成与其他网络的通信。例如，CN 115可以包括或者可以与充当CN115与CN 108之间的接口的IP网关(例如，IP多媒体子系统(IMS)服务器)进行通信。此外，CN115可以为WTRU 102a、102b、102c提供针对其他网络112的接入，这其中可以包括其他服务供应商拥有和/或运营的其他有线和/或无线网络。在一个实施例中，WTRU 102a、102b、102c可以经由对接到UPF 184a、184b的N3接口以及介于UPF 184a、184b与DN185a、185b之间的N6接口并通过UPF 184a、184b连接到本地数据网络(DN)185a、185b。
有鉴于图8A-8D以及关于图8A-8D的相应描述，在这里对照以下的一项或多项描述的一个或多个或所有功能可以由一个或多个仿真设备(未显示)来执行：WTRU 102a-d、基站114a-b、e节点B 160a-c、MME 162、SGW164、PGW 166、gNB 180a-c、AMF 182a-ab、UPF 184a-b、SMF 183a-b、DN 185a-b和/或这里描述的其他任何设备。这些仿真设备可以是被配置成模拟这里一个或多个或所有功能的一个或多个设备。举例来说，这些仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。
仿真设备可被设计成在实验室环境和/或运营商网络环境中实施关于其他设备的一项或多项测试。例如，所述一个或多个仿真设备可以在被完全或部分作为有线和/或无线通信网络一部分实施和/或部署的同时执行一个或多个或所有功能，以便测试通信网络内部的其他设备。所述一个或多个仿真设备可以在被临时作为有线和/或无线通信网络的一部分实施/部署的同时执行一个或多个或所有功能。所述仿真设备可以直接耦合到别的设备以执行测试，和/或可以使用空中无线通信来执行测试。
一个或多个仿真设备可以在未被作为有线和/或无线通信网络一部分实施/部署的同时执行包括所有功能在内的一个或多个功能。例如，所述仿真设备可以在测试实验室和/或未被部署(例如，测试)的有线和/或无线通信网络的测试场景中使用，以便实施关于一个或多个组件的测试。所述一个或多个仿真设备可以是测试设备。所述仿真设备可以使用直接的RF耦合和/或借助了RF电路(作为示例，该电路可以包括一个或多个天线)的无线通信来发射和/或接收数据。
图9是示出了实现根据各实施例的各方面和操作的系统图。
参见图9，系统1000可以被实现为包括以下描述的各种组件的设备，并且被配置为执行本文中描述的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器和服务器。系统1000的元件可以单独地或组合地被实现在单个集成电路(IC)、多个IC和/或分立组件中。例如，在至少一个实施例中，系统1000的处理和编码器/解码器元件分布在多个IC和/或分立组件上。在各种实施例中，所述系统1000经由例如通信总线或通过专用输入和/或输出端口而被通信地耦合到一个或多个其他系统或其他电子设备。在各种实施例中，所述系统1000被配置为实现本文中描述的一个或多个方面。
所述系统1000包括至少一个处理器1010，其被配置为执行加载在其中的指令，以用于实现例如本文中描述的各个方面。处理器1010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其它电路。所述系统1000包括至少一个存储器1020(例如，易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040，其可以包括非易失性存储器和/或易失性存储器，这其中包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，所述存储设备1040可以包括内部存储设备、附接的存储设备(包括可拆卸的存储设备和不可拆卸的存储设备)和/或网络可访问的存储设备。
系统1000包括编码器/解码器模块1030，其被配置为例如处理数据以提供所编码的视频或所解码的视频，并且所述编码器/解码器模块1030可以包括其自己的处理器和存储器。所述编码器/解码器模块1030表示可包括在设备中以执行编码和/或解码功能的模块(一个或多个)。如已知的，设备可以包括所述编码模块和解码模块中的一个或两个。另外，编码器/解码器模块1030可实施为系统1000的单独元件或可并入处理器1010内作为如所属领域的技术人员已知的硬件与软件的组合。
要加载到处理器1010或编码器/解码器1030上以执行本文档中描述的各个方面的程序代码可以存储在存储设备1040中，并且随后加载到存储器1020上以供处理器1010执行。根据各种实施例，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一者或多者可以在执行本文中描述的过程期间存储各种项中的一者或多者。这些存储的项可以包括但不限于输入视频、所解码的视频或该解码的视频的部分、比特流、矩阵、变量以及来自方程式、公式、运算和运算逻辑的处理的中间或最终结果。
在一些实施例中，所述处理器1010和/或所述编码器/解码器模块1030内的存储器用于存储指令，并且提供用于在编码或解码期间需要的处理的工作存储器。然而，在其它实施例中，所述处理设备(例如，所述处理设备可为所述处理器1010或所述编码器/解码器模块1030)外部的存储器用于这些功能中的一者或多者。外部存储器可以是存储器1020和/或存储设备1040，例如，动态易失性存储器和/或非易失性闪存。在几个实施例中，外部非易失性闪存用于存储例如电视的操作系统。在至少一个实施例中，诸如RAM的快速外部动态易失性存储器被用作视频译码和解码操作的工作存储器，诸如用于MPEG-2(MPEG是指运动图像专家组，MPEG-2也被称为ISO/IEC 13818，并且13818-1也被称为H.222，并且13818-2也被称为H.262)、HEVC(HEVC是指高效视频译码，也被称为H.265和MPEG-H部分2)、或VVC(通用视频译码，由联合视频团队专家JVET开发的新标准)的工作存储器。
如框1130中所示，可以通过各种输入设备来提供对系统1000的元件的输入。这样的输入设备包括但不限于：(i)接收例如由广播者通过空中传输的射频(RF)信号的RF部分，(ii)分量(COMP)输入端子(或一组分量输入端子)，(iii)通用串行总线(USB)输入端子，和/或(iv)高清晰度多媒体接口(HDMI)输入端子。图10中未示出的其它示例包括合成视频。
在各种实施例中，框1130的输入设备具有本领域已知的相关联的相应输入处理元件。例如，所述RF部分可以与适合于以下的元件相关联：(i)选择期望频率(也称为选择信号，或将信号频带限制到一频带)，(ii)将所选择的信号下变频，(iii)再次将频带限制到较窄频带，以选择(例如，)在某些实施例中可以称为信道的信号频带，(iv)解调所述下变频且频带限制的信号，(v)执行纠错，和(vi)解复用以选择期望的数据分组流。各种实施例的RF部分包括一个或多个元件以执行这些功能，例如，频率选择器、信号选择器、限带器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。所述RF部分可以包括执行各种这些功能的调谐器，这些功能包括例如将所接收的信号下变频到较低频率(例如，中频或近基带频率)或基带。在一个机顶盒实施例中，所述RF部分及其相关的输入处理元件接收通过有线(例如，电缆)介质发送的RF信号，并通过滤波、下变频和再次滤波来执行到期望频带的频率选择。各种实施例重新安排上述(和其它)元件的顺序，移除这些元件中的一些，和/或添加执行类似或不同功能的其它元件。添加元件可以包括在现有元件之间插入元件，例如插入放大器和模数转换器。在各种实施例中，所述RF部分包括天线。
另外，USB和/或HDMI终端可以包括用于通过USB和/或HDMI连接将系统1000连接到其它电子设备的相应接口处理器。应当理解，输入处理的各个方面(例如，,，所罗门纠错)可以根据需要在例如单独的输入处理IC或处理器1010内实现。类似地，USB或HDMI接口处理的各方面可以根据需要在单独的接口IC内或在处理器1010内实现。解调、纠错和解复用的流被提供给各种处理元件，这其中包括例如处理器1010和编码器/解码器1030，其与存储器和存储元件结合操作以根据需要来处理所述数据流以便在输出设备上呈现。
系统1000的各种元件可以设置在集成壳体内。在该集成壳体内，各种元件可以使用合适的连接布置1140(例如，本领域已知的内部总线，包括IC间(I2C)总线、布线和印刷电路板)互连并在其间传输数据。
所述系统1000包括通信接口1050，其使得能够经由通信信道1060与其他设备通信。所述通信接口1050可以包括但不限于被配置为通过通信信道1060发送和接收数据的收发器。所述通信接口1050可以包括但不限于调制解调器或网卡，并且所述通信信道1060可以例如在有线和/或无线介质内实现。
在各种实施例中，使用无线网络(例如，Wi-Fi网络，例如IEEE 802.11(IEEE是指电气和电子工程师协会))，将数据流式传输或以其他方式提供给所述系统1000。这些实施例的Wi-Fi信号通过适用于Wi-Fi通信的通信信道1060和通信接口1050来接收。这些实施例的通信信道1060通常连接到接入点或路由器，所述接入点或路由器提供对包括因特网的外部网络的接入以允许流式传输应用和其它云上通信。其它实施例使用通过输入框1130的HDMI连接来传递数据的机顶盒而向系统1000提供流式传输的数据。还有一些实施例使用输入框1130的RF连接而向所述系统1000提供流式传输的数据。如上所述，各种实施例以非流式传输方式提供数据。另外，各种实施例使用除Wi-Fi之外的无线网络，例如，蜂窝网络或蓝牙网络。
所述系统1000可以向各种输出设备(包括显示器1100、扬声器1110和其他外围设备1120)提供输出信号。各种实施例的显示器1100包含以下中的一者或多者：例如触摸屏显示器、有机发光二极管(OLED)显示器、弯曲显示器和/或可折叠显示器。所述显示器1100可以用于电视、平板电脑、膝上型计算机、蜂窝电话(移动电话)或其他设备。所述显示器1100还可与其它组件集成(例如，如在智能电话中)，或是单独的(例如，用于膝上型计算机的外部监视器)。在各实施例的各示例中，所述其它外围设备1120包括以下中的一者或多者：独立数字视频盘(或数字多功能盘)(DVR，针对这两项)、盘播放器、立体声系统和/或照明系统。各种实施例使用一个或多个外围设备1120，其基于系统1000的输出来提供功能。例如，盘播放器执行播放所述系统1000的输出的功能。
在各种实施例中，使用信令(诸如，AV.Link(AV.链路)、消费电子控制(CEC)、或在有或没有用户干预的情况下实现设备到设备控制的其他通信协议)在系统1000和显示器1100、扬声器1110或其它外围设备1120之间传送控制信号。所述输出设备可以经由通过相应接口1070、1080和1090的专用连接而通信地耦合到系统1000。作为替代，所述输出设备可以使用通信信道1060经由通信接口1050连接到系统1000。所述显示器1100和扬声器1110可以与系统1000的其它组件一起集成在电子设备(例如，电视机)中的单个单元中。在各种实施例中，显示接口1070包括显示驱动器，例如定时控制器((T Con)芯片。
例如，如果输入1130的RF部分是单独机顶盒的一部分，则所述显示器1100和扬声器1110可以备选地与其它组件中的一个或多个分离。在所述显示器1100和扬声器1110是外部组件的各种实施例中，所述输出信号可以经由专用输出连接来提供，所述专用输出连接例如包括HDMI端口、USB端口或COMP输出。
这些实施例可以由处理器1010或由硬件实现的计算机软件或由硬件和软件的组合来实现。作为非限制性示例，所述实施例可以由一个或多个集成电路实现。所述存储器1020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，作为非限制性示例，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。所述处理器1010可以是适合于技术环境的任何类型，并且作为非限制性示例，可以包含以下中的一者或多者：微处理器、通用计算机、专用计算机和基于多核架构的处理器。
各种实现方式涉及解码。如本申请中所使用的，“解码”可以包括例如对接收到的编码序列执行的全部或部分过程，以便产生适合于显示的最终输出。在各种实施例中，此类过程包括通常由解码器执行的过程中的一个或多个，例如熵解码、逆量化、逆变换和差分解码。在各种实施例中，这样的过程还或替代地包括由本申请中描述的各种实现的解码器执行的过程，例如，从图块化(打包)图片提取图片、确定上采样滤波器以使用且接着对图片进行上采样、以及将图片翻转回其既定定向。
作为进一步的示例，在一个实施例中，“解码”仅指熵解码，在另一实施例中，“解码”仅指差分解码，并且在另一实施例中，“解码”指熵解码和差分解码的组合。短语“解码过程”是旨在具体地指代操作的子集还是一般地指代更广泛的解码过程，这基于具体描述的上下文将是清楚的，并且相信是本领域技术人员所充分理解的。
各种实现涉及编码。以与以上关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可以包括例如对输入视频序列执行的以便产生编码比特流的过程的全部或部分。在各种实施例中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵译码。在各种实施例中，这样的过程还或替代地包括由本申请中描述的各种实现的编码器执行的过程。
作为进一步的示例，在一个实施例中，“编码”仅指熵编码，在另一实施例中，“编码”仅指差分编码，而在另一实施例中，“编码”指差分编码和熵译码的组合。短语“编码过程”的旨在具体地指代操作的子集还是一般地指代更广泛的编码过程，这将基于具体描述的上下文而变得清楚，并且相信是本领域技术人员所充分理解的。注意，如本文所使用的语法元素是描述性术语，并且本公开并不限于此。因此，它们不排除使用其它语法元素名称。
当附图被呈现为流程图时，应当理解，它还提供了对应装置的框图。类似地，当附图被呈现为框图时，应当理解，它还提供了对应的方法/过程的流程图。
本文描述的实现方式和方面可以在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单一形式的实现的上下文中被讨论(例如，仅作为方法而被讨论)，所讨论的特征的实现也可以以其他形式(例如，装置或程序)来实现。例如，可以以适当的硬件、软件和固件来实现装置。所述方法可以在例如处理器中实现，所述处理器通常指处理设备，这其中包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)和便于终端用户之间的信息通信的其他设备。
对“一个实施例”或“一实施例”或“一个实现方式”或“一实现方式”以及其它变化形式的提及意味着结合该实施例描述的特定特征、结构、特性等包含于至少一个实施例中。因此，在本申请中的各个地方出现的短语“在一个实施例中”或“在一实施例中”或“在一个实现方式中”或“在一实现方式中”以及任何其他变型的出现不一定都指同一实施例。
另外，本申请可以涉及“确定”各种信息。确定该信息可以包括例如以下一者或多者：估计该信息、计算该信息、预测该信息或从存储器检索该信息。
此外，本申请可以涉及“访问”各种信息。访问该信息可以包括例如以下一者或多者：接收该信息、检索该信息(例如，从存储器检索该信息)、存储该信息、移动该信息、复制该信息、计算该信息、确定该信息、预测该信息或估计该信息。
另外，本申请可以指“接收”各种信息。如同“访问”一样，接收旨在是广义的术语。接收所述信息可以包括例如以下一者或多者：访问该信息或(例如，从存储器)检索该信息。此外，在诸如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，通常以一种方式或另一种方式涉及“接收”。
应当理解，例如在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下，使用以下“/”、“和/或”以及“中的至少一者”中的任意者旨在涵盖仅对第一列出的选项(A)的选择、或仅对第二列出的选项(B)的选择、或对两个选项(A和B)的选择。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”的情况下，这样的措词旨在包括仅选择第一个列出的选项(A)、或者仅选择第二个列出的选项(B)、或者仅选择第三个列出的选项(C)、或者仅选择第一个和第二个列出的选项(A和B)、或者仅选择第一个和第三个列出的选项(A和C)、或者仅选择第二个和第三个列出的选项(B和C)、或者选择所有三个选项(A和B和C)。如本领域和相关领域的普通技术人员所清楚的，这可以扩展到所列的多个项目。
此外，如本文所使用的，词语“信号”尤其是指向对应的解码器指示某物。例如，在某些实施例中，编码器用信号通知用于去伪影滤波的基于区域的滤波器参数选择的多个参数中的特定一个参数。多个变换、译码模式或标志中的特定一个。这样，在一实施例中，在编码器侧和解码器侧使用相同的参数。因此，例如，编码器可以向解码器发送(显式地用信号发送)特定参数，使得解码器可以使用该相同的特定参数。相反，如果解码器已经具有所述特定参数以及其它参数，则可以使用信令而不进行发送(隐式地用信号发送)，以简单地允许解码器知道并选择所述特定参数。通过避免任何实际功能的传输，在各种实施例中实现了比特节省。应当理解，可以以各种方式来实现信令。例如，在各种实施例中，一个或多个语法元素、标志等被用于将信息用信号发送给对应的解码器。虽然前述内容涉及词语“信号”的动词形式，但是词语“信号”在本文中也可以用作名词。
如对于本领域普通技术人员将显而易见的，实现方式可以产生被格式化以携带例如可以被存储或发送的信息的各种信号。该信息可以包括例如用于执行方法的指令，或者由所描述的实现方式之一产生的数据。例如，信号可以被格式化以携带所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。所述格式化可以包括例如对数据流进行编码并且利用所编码的数据流对载波进行调制。所述信号携带的信息可以是例如模拟或数字信息。如已知的，所述信号可以通过各种不同的有线或无线链路来传输。所述信号可以存储在处理器可读介质上。
我们描述了多个实施例。这些实施例的特征可以可跨各种权利要求类别及类型而单独提供或以任何组合提供。此外，跨越各种权利要求类别和类型，实施例可以单独或以任意组合包括以下特征、设备或方面中的任意者：(1)修改在解码器和/或编码器中应用的预测过程；(2)在解码器和/或编码器中启用若干高级预测方法；(3)在所述信令中插入使得所述解码器能够识别要使用的预测方法的语法元素；(4)基于这些语法元素，选择要在解码器处应用的预测方法；(5)应用所述预测方法以用于在所述解码器处导出所述预测；(6)根据所讨论的任何实施例，在编码器处适配残差；(7)比特流或信号，其包括所描述的语法元素或其变型中的一个或多个；(8)比特流或信号，其包括语法，该语法传达根据所描述的实施例中的任何实施例生成的信息；(9)在所述信令中插入语法元素，所述语法元素使得所述解码器能够以与编码器所使用的方式相对应的方式来适配残差；(10)创建和/或发送和/或接收和/或解码包括所描述的语法元素或其变型中的一个或多个的比特流或信号；(11)根据所描述的任何实施例，创建和/或发送和/或接收和/或解码；(12)根据所描述的任何实施例的方法、过程、装置、存储指令的介质、存储数据的介质或信号；(13)TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其根据所描述的实施例中的任何实施例，执行滤波器参数的适配；(14)TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其根据所描述的实施例中的任何实施例，执行滤波器参数的适配并且显示(例如，使用监视器、屏幕或其他类型的显示器)结果图像；(15)TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其根据所描述的实施例中的任何一个，选择(例如，使用调谐器)信道以接收包括编码图像的信号，并且执行滤波器参数的适配；以及(16)TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其根据所描述的实施例中的任何一个，通过空中接收(例如，使用天线)包括编码图像的信号，并且执行滤波器参数的适配。
虽然在上文中描述了采用特定组合的特征和要素，但是本领域普通技术人员将会认识到，每一个特征或要素既可以单独使用，也可以与其他特征和要素进行任何组合。此外，这里描述的方法可以在引入到计算机可读介质中以供计算机或处理器运行的计算机程序、软件或固件中实施。关于非暂时计算机可读媒体的示例包括但不局限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、磁媒体(例如，内部硬盘和可移除磁盘)、磁光媒体以及光媒体(例如，CD-ROM碟片和数字多用途碟片(DVD))。与软件相关联的处理器可以用于实施在WTRU 102、UE、终端、基站、RNC或任何计算机主机中使用的射频收发信机。
此外，在上述实施例中提到了处理平台、计算系统、控制器和包含处理器的其他设备。这些设备可以包括至少一个中央处理器(“CPU”)和存储器。依照计算机编程领域的技术人员实践，对于操作或指令的行为或符号性表示的引用可以由不同的CPU和存储器来执行。此类行为和操作或指令可被称为“运行”、“计算机运行”或“CPU运行”。
本领域普通技术人员将会了解，行为以及用符号表示的操作或指令包括由CPU来操纵电子信号。电子系统代表的是数据比特，该数据比特可能导致电子信号由此变换或减少，以及将数据比特保存在存储器系统中的存储器位置，由此重新配置或以其他方式变更CPU操作以及其他信号处理。保持数据比特的存储器位置是具有与数据比特对应或代表数据比特的特定电、磁、光或有机属性的物理位置。应该理解的是，这里的示例性实施例并不局限于上述平台或CPU，并且其他平台和CPU同样可以支持所提供的方法。
数据比特还可以保持在计算机可读介质上，其中所述介质包括磁盘、光盘以及其他任何可供CPU读取的易失(例如，随机存取存储器(“RAM”))或非易失(例如，只读存储器(“ROM”))大容量存储系统。计算机可读介质可以包括协作或互连的计算机可读介质，这些介质既可以单独存在于处理系统之上，也可以分布在多个位于处理系统本地或远端的互连处理系统之中。应该理解的是，这些代表性实施例并不局限于上述存储器，其他的平台和存储器同样可以支持所描述的方法。
在一个说明性实施例中，这里描述的任何操作、处理等等都可以作为保存在计算机可读介质上的计算机可读指令来实施。所述计算机可读指令可以由移动单元、网络部件和/或其他任何计算设备的处理器来运行。
在关于系统的各个方面的硬件和软件实施例之间几乎是没有区别的。使用硬件还是软件通常(但也并不是始终如此，因为在某些上下文中，在硬件和软件之间做出的选择有可能会很重要)是代表了成本与效率之间的折衷的设计选择。这里描述的处理和/或系统和/或其他技术可以由各种载体来实施(例如，硬件、软件和/或固件)，并且优选的载体可以随着部署所述处理和/或系统和/或其他技术的上下文而改变。举例来说，如果实施方案确定速度和精度是首要的，那么实施方可以倾向于主要采用硬件和/或固件载体。如果灵活性是首要的，那么实施方可以倾向于主要采用软件的实施例。作为替换，实施者可以选择硬件、软件和/或固件的某种组合。
以上的具体实施例部分已经借助于使用框图、流程图和/或示例而对设备和/或处理的不同实施例进行了描述。就像此类框图、流程图和/或示例包含了一个或多个功能和/或操作那样，本领域技术人员将会理解，此类框图、流程图或示例内部的每一个功能和/操作可以单独和/或共同地由范围广泛的硬件、软件、固件或者近乎其任何组合来实施。作为示例，适当的处理器包括通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、专用标准产品(ASSP)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)、和/或状态机。
虽然在上文中描述了采用特定组合的特征和要素，但是本领域普通技术人员将会认识到，每一个特征或要素既可以单独使用，也可以与其他特征和要素进行任何组合。本公开并不是依照本申请中描述的实施例而被限制的，其中所述实施例的目的是对不同的方面进行例证。本领域技术人员将会了解，在不脱离实质和范围的情况，众多的修改和变化都是可行的。除非以显性地方式提供，否则不应将本申请的说明书中使用的要素、行为或指令解释成是对本发明至关重要的。除了这里枚举的方法和装置之外，本领域技术人员可以从以上描述中清楚了解处于本公开的范围以内的功能等价的方法和装置。此类修改和变化都应该落入附加权利要求的范围以内。本公开仅仅是依照附加权利要求以及此类权利要求所具有的完整等价范围限制的。应该理解的是，本公开并不局限于特定的方法或系统。
还应该理解的是，这里使用的术语的用途仅仅是描述特定的实施例，其目的并不是进行限制。当在这里引用的时候，这里使用的术语“站”及其缩略语“STA”、“用户设备”及其缩略语“UE”可以是指(i)如下所述的无线发射和/或接收单元(WTRU)；(ii)关于如下所述的WTRU的多个实施例中的任意者；(iii)具有无线能力和/或有线能力(例如，可连接)的设备，特别地，所述设备配置了如上所述的WTRU的一些或所有结构和功能；(iii)配置了与如上所述的WTRU的所有结构和功能相比相对较少的结构和功能的具有无线能力和/或有线能力的设备；或(iv)类似设备。
在某些代表性实施例中，这里描述的主题的若干个部分可以借助于专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)和/或其他集成格式来实现。然而，本领域技术人员将会认识到，这里公开的实施例的一些方面可以全部或者部分在集成电路中以等效的方式实施，作为在一个或多个计算机上运行的一个或多个计算机程序(例如，作为在一个或多个计算机系统上运行的一个或多个程序)来实施，作为在一个或多个处理器上运行的一个或多个程序(例如，作为在一个或多个微处理器上运行的一个或多个程序)来实施，作为固件来实施，或者作为近乎其任何组合来实施，并且依照本公开，关于软件和/或固件的电路设计和/或代码编写同样落入本领域技术人员的技术范围以内。此外，本领域技术人员将会了解，这里描述的主题的机制可以作为程序产品而以各种形式分发，并且无论使用了何种特定类型的信号承载介质来实际执行所述分发，这里描述的主题的说明性实施例都是适用的。关于信号承载介质的示例包括但不限于以下各项：可记录型介质，例如软盘、硬盘驱动器、CD、DVD、数字磁带、计算机存储器等等，以及传输类型介质，例如数字和/或模拟通信介质(例如，光缆、波导、有线通信链路、无线通信链路等等)。
这里描述的主题有时示出了包含在其他不同的组件内部或是与之相连的不同组件。应该理解的是，以这种方式描述的体系结构仅仅是一些示例，并且用于实施相同功能的其他众多的架构实际上都是可以实施的。从概念上讲，实现相同功能的部件的任何布置都被有效地“关联”，由此可以实现期望的功能。因此，在这里组合在一起以实现特定功能的任何两个组件都可被认为是彼此“关联”的，由此将会实现期望的功能，而不用考虑架构或中间组件。同样地，以这种方式关联的任何两个部件也可以被视为彼此“可操作地连接”或“可操作地耦合”，以便实现期望的功能，并且能以这种方式关联的任何两个部件也可以被视为彼此“能够可操作地耦合”，以便实现期望的功能。关于能够可操作地耦合的特定示例包括但不局限于可以在物理上配对和/或在物理上交互的组件和/或可以以无线方式交互和/或无线交互的组件和/或在逻辑上交互和/或可在逻辑上交互的组件。
至于在这里使用了实质上任何的复数和/或单数术语，本领域技术人员可以根据上下文和/或应用适当地从复数转换为单数和/或从单数转换为复数。为了清楚起见，在这里可以明确地阐述各种单数/复数排列。
本领域技术人员将会理解，一般来说，在这里尤其是附加权利要求(例如，附加权利要求的主体)中使用的术语通常应该作为“开放式”术语(举例来说，术语“包括”应被解释成“包括但不局限于”，术语“具有”被解释成“至少具有”，术语“包含”应被解释为“包括但不局限于”等等)。本领域技术人员将会进一步理解，如果所引入的权利要求叙述针对的是特定的数量，那么在该权利要求中应该明确地叙述这种意图，并且如果没有这种叙述，那么此类意图是不存在的。举例来说，如果所预期的是仅仅一个项目，那么可以使用术语“单个”或类似语言。作为理解辅助，后续的附加权利要求和/或这里的描述可以包括使用介绍性短语“至少一个”以及“一个或多个”来引入权利要求的叙述。然而，使用此类短语不应被解释成是这样一种权利要求叙述的引入方式，即通过不定冠词“一”或“一个”来将包含以这种方式引入的权利要求叙述的任何特定的权利要求局限于只包含一个此类叙述的实施例，即使相同的权利要求包含了介绍性短语“一个或多个”或者“至少一个”以及诸如“一”或“一个”之类的不定冠词的时候也是如此(例如，“一”和/或“一个”应该被解释成是指“至少一个”或者“一个或多个”)。对于用于引入权利要求叙述的定冠词的使用，亦是如此。此外，即使明确叙述了所引入的特定数量的权利要求叙述，本领域技术人员也会认识到，这种叙述应被解释成至少是指所叙述的数量(例如，在没有其他修饰语的条件下的关于“两个叙述”的无修饰叙述意味着至少两个叙述或是两个或更多叙述)。此外，在这些实例中，如果使用了与“A、B和C等等中的至少一者”相类似的规约，那么此类结构通常应该具有本领域技术人员所理解的该规约的意义(例如，“具有A、B和C中的至少一者的系统”将会包括但不局限于只具有A、只具有B、只具有C、具有A和B、具有A和C、具有B和C和/或具有A、B和C等等的系统)。在使用了与“A、B或C等等中的至少一者”相似的规约的实例中，此类结构通常应该具有本领域技术人员所理解的所述规约的意义(举例来说，“具有A、B或C中的至少一者的系统”包括但不限于只具有A，只具有B、只具有C、具有A和B，具有A和C，具有B和C和/或具有A、B和C等等的系统)。本领域技术人员会将进一步理解，无论在说明书，权利要求书还是附图中，提出两个或更多替换项的几乎任何分离性的词语和/或短语都应被理解成预期了包括这些项中的一个、任一项或是所有两项的可能性。举例来说，短语“A或B”将被理解成包括“A”或“B”或“A和B”的可能性。此外，这里使用的跟随有一系列的多个项目和/或多个项目类别的术语“任意者”旨在包括单独或与其他项目和/或其他项目类别相结合的项目和/或项目类别中的“任意者”，“任何组合”，“任意的多个”和/或“任意的多个的组合”。此外，这里使用的术语“集合”或“群组”应该包括任意数量的项目，其中包括零个。作为补充，这里使用的术语“数量”旨在包括任意数量，其中包括零。
此外，如果本公开的特征或方面是依照马库什群组的方式描述的，那么本领域技术人员将会认识到，本公开由此是依照马库什组中的任意的单个成员或成员子群组描述的。
本领域技术人员将会理解，出于任何和所有目的(例如，在提供书面描述方面)，这里公开的所有范围还包含了任何和所有可能的子范围以及其子范围组合。所列出的任何范围都可以很容易地被认为是充分描述和启用了被分解成至少两等分、三等分、四等分、五等分、十等分等等的相同范围。作为非限制性示例，本文论述的每一个范围都很容易即可分解成下部的三分之一、中间的三分之一以及上部的三分之一范围。本领域技术人员将会理解，诸如“至多”、“至少”、“大于”、“小于”等等的所有语言包含了所叙述的数字，并且指代的是随后可被分解成如上所述的子范围的范围。最后，正如本领域技术人员所理解的那样，一个范围会包括每一个单独的成员。由此，举例来说，具有1-3个小区的群组指的是具有1、2或3个小区的群组。同样，具有1-5个小区的群组是指具有1、2、3、4或5个小区的群组，依此类推。
此外，除非进行说明，权利要求不应该被错误地当作仅限于所描述的顺序或要素。作为补充，任何权利要求中使用的术语“用于……的装置”旨在援引35U.S.C.§112(f)或者意味着“装置加功能(means-plus-function)”权利要求格式，并且没有单词“装置”的任何权利要求均不具有这种意义。
尽管在此参考具体实施例对本发明进行了说明和描述，但是本发明并不旨在限于所示的细节。相反，在权利要求的等同范围内并且在不背离本发明的情况下，可以对细节进行各种修改。
在整个公开中，技术人员理解，某些代表性实施例可以替代地或与其它代表性实施例组合地使用。
虽然在上文中描述了采用特定组合的特征和要素，但是本领域普通技术人员将会认识到，每一个特征或要素既可以单独使用，也可以与其他特征和要素进行任何组合。此外，这里描述的方法可以在引入到计算机可读介质中以供计算机或处理器运行的计算机程序、软件或固件中实施。关于非暂时计算机可读媒体的示例包括但不局限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、磁媒体(例如，内部硬盘和可移除磁盘)、磁光媒体以及光媒体(例如，CD-ROM碟片和数字多用途碟片(DVD))。与软件相关联的处理器可以用于实施在WTRU、UE、终端、基站、RNC或任何计算机主机中使用的射频收发信机。
此外，在上述实施例中提到了处理平台、计算系统、控制器和包含处理器的其他设备。这些设备可以包括至少一个中央处理器(“CPU”)和存储器。依照计算机编程领域的技术人员实践，对于操作或指令的行为或符号性表示的引用可以由不同的CPU和存储器来执行。此类行为和操作或指令可被称为“运行”、“计算机运行”或“CPU运行”。
本领域普通技术人员将会了解，行为以及用符号表示的操作或指令包括由CPU来操纵电子信号。电子系统代表的是数据比特，该数据比特可能导致电子信号由此变换或减少，以及将数据比特保存在存储器系统中的存储器位置，由此重新配置或以其他方式变更CPU操作以及其他信号处理的数据比特。保持数据比特的存储器位置是具有与数据比特对应或代表数据比特的特定电、磁、光或有机属性的物理位置。
所述数据比特还可以保持在计算机可读介质上，其中所述介质包括磁盘、光盘以及其他任何可供CPU读取的易失(例如，随机存取存储器(“RAM”))或非易失(例如，只读存储器(“ROM”))大容量存储系统。计算机可读介质可以包括协作或互连的计算机可读介质，这些介质既可以单独存在于处理系统之上，也可以分布在多个位于处理系统本地或远端的互连处理系统之中。应该理解的是，这些代表性实施例并不局限于上述存储器，其他的平台和存储器同样可以支持所描述的方法。
除非明确地描述，否则在本申请的描述中使用的要素、动作或指令不应被解释为对本发明是关键的或必要的。另外，如本文所用，冠词”一“旨在包括一个或多个项目。在仅意指一个项目的情况下，使用术语”一个“或类似语言。此外，如本文所使用的，后面有多个项目和/或多个项目类别的列表的术语“任意者”旨在包括所述项目和/或项目类别的“任意者”、“任意组合”、“任意多个”和/或“多个的任意组合”，且可单独地或与其他项目和/或其他项目类别相结合。此外，如本文所使用的，术语”集合“旨在包括任何数量的项目，包括零。此外，如本文所使用的，术语“数量”旨在包括任何数量，包括零。
此外，权利要求不应被理解为限于所描述的顺序或要素，除非进行了这样的陈述。此外，在任何权利要求中使用术语“用于…的装置”旨在调用35U.S.C.§112(f)，并且没有词语“用于…的装置”的任何权利要求则并不存在如此意图。
举例来说，合适的处理器包括通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心相关联的一个或一个以上微处理器、控制器、微控制器、专用集成电路(ASIC)、专用标准产品(ASSP)、现场可编程门阵列(FPGA)电路、任何其它类型的集成电路(IC)和/或状态机。
与软件关联的处理器可用于实现射频收发信机，以便在无线发射接收单元(WTRU)、用户设备(UE)、终端、基站、移动性管理实体(MME)或演进型分组核心(EPC)或任何一种主计算机中使用。WTRU可以与采用硬件和/或软件形式实施的模块结合使用，其中所述模块包括软件定义无线电(SDR)以及其他组件，例如相机、摄像机模块、可视电话、喇叭扩音器、振动设备、扬声器、麦克风、电视收发信机、免提耳机、键盘、
Figure BDA0003354337190000491
模块、调频(FM)无线电单元、近场通信(NFC)模块、液晶显示器(LCD)显示单元、有机发光二极管(OLED)显示单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器和/或任何一种无线局域网(WLAN)或超宽带(UWB)模块。
虽然本发明已经根据通信系统进行了描述，但是可以预期，该系统可以在微处理器/通用计算机(未示出)上以软件实现。在某些实施例中，各种组件的功能中的一个或多个可以在控制通用计算机的软件中实现。
此外，尽管在此参考具体实施例示出和描述了本发明，但是本发明并不限于所示的细节。相反，在权利要求的等同范围内并且在不背离本发明的情况下，可以对细节进行各种修改。

Claims (20)

1.一种解码视频数据的方法，所述方法包括：
接收编码视频数据的比特流，所述比特流包含视频数据的至少一个块，所述块包含多个子块；
针对所述块中的至少一个子块，执行运动向量导出，以产生每一子块的细化运动向量，该运动向量导出包含基于解码器的运动向量DMVR过程；
对所述至少一个子块，执行基于子块的运动补偿，以在每一子块内产生基于子块的预测；
获得每一子块内的所述预测的空间梯度；
确定每个子块中的每个像素的运动向量偏移；
通过光流方程，基于所述空间梯度和运动向量偏移，获得每个子块中的强度变化；以及
基于所获得的强度变化，细化每个子块内的所述预测。
2.根据权利要求1所述的方法，其中确定每一子块中的每一像素的所述运动向量偏移包括：
对于每个所述子块，通过线性回归建模，基于所述子块和与所述子块相邻的至少两个其它子块的中心位置和运动向量偏移，确定所述运动向量偏移，
其中所述基于子块的预测被生成为每个子块内的每像素亮度预测，以及
其中，所述强度变化是每个子块中每像素的亮度强度变化。
3.根据权利要求1所述的方法，其中所述基于子块的运动补偿利用6参数仿射运动模型用于所述子块中的至少一者，且其中所述确定所述至少一个子块的每一像素的所述运动向量偏移进一步包括：
使用所述至少一个子块的第一、第二和第三相邻子块，确定所述运动向量偏移；
使用所述至少一个子块，估计所述回归分析的模型误差；以及
如果所估计的模型误差超过所述至少一个子块的阈值，则在所述解码中不使用用于所述至少一个子块的所述运动向量偏移。
4.根据权利要求1所述的方法，其中所述基于子块的运动补偿利用6参数仿射运动模型用于所述子块中的至少一者，且其中所述确定所述至少一个子块的每一像素的所述运动向量偏移进一步包括：
在所述确定所述运动向量偏移中，使用所述至少一个子块以及所述至少一个子块的第一、第二和第三相邻子块。
5.根据权利要求1所述的方法，其中所述基于子块的运动补偿利用6参数仿射运动模型用于所述子块中的至少一者，且其中所述确定所述至少一个子块的每一像素的所述运动向量偏移包括：
对于所述至少一个子块和与所述至少一个子块相邻的至少两个子块，通过线性回归建模，针对参数axx,axy,ayx,ayy,bx和bx，求解方程：
Figure FDA0003354337180000021
其中，MVX_offset和MVY_offset是一个MV偏移的水平和垂直分量，以及Xsub_block和
Figure FDA0003354337180000022
分别是相应子块的中心位置的水平和垂直坐标。
6.根据权利要求5所述的方法，其中获得所述子块运动补偿针对其利用6参数仿射运动建模的所述至少一个子块的所述强度改变包括：针对参数axx,axy,ayx,ayy,bx和bx，求解方程：
Δvx(i,j)＝axxi+axyj+bx
Δvy(i,j)＝ayxi+ayyj+by
其中，i和j分别是每个样本/像素的水平和垂直坐标，Δvx(i,j)是在坐标(i,j)处的样本/像素在水平方向上的亮度变化，并且Δvy(i,j)是在坐标(i,j)处的样本/像素在垂直方向上的亮度变化。
7.根据权利要求5所述的方法，其中所述基于子块的运动补偿利用4参数仿射运动模型用于所述子块中的至少一个其它子块，且其中与所述至少一个其它子块相关联地利用以下假设：
axx＝ayy
axy＝-ayx。
8.根据权利要求7所述的方法，其中所述子块中的针对其利用4参数仿射运动模型的所述至少一个其它子块为位于所述块的左边界和/或顶部边界处的子块。
9.根据权利要求1所述的方法，其中所述基于子块的运动补偿包括：
针对至少一些子块，利用6参数仿射运动模型；
针对所述至少一些子块，利用4参数仿射运动模型；
估计所述6参数仿射运动模型的误差率；
估计所述4参数仿射运动模型的误差率；
确定所述6参数仿射模型和所述4参数仿射模型中的哪一者具有较低的误差率；以及
选择具有较低误差率的所述模型的结果，以用于获得每个子块中的所述强度变化。
10.根据权利要求1所述的方法，其中所述基于所述所获得的强度改变来细化每一子块内的所述预测包括：
用加权因子对所获得的强度变化进行加权；以及
将所加权的强度变化加到每个子块中的每个像素，
其中所述接收所述视频比特流包括：在所述视频比特流中接收用于加权所获得的强度变化的所述加权因子，以及
其中所述比特流中的所述加权因子在图片级被用信号发送。
11.一种设备的解码器，所述设备包括发射机、接收机、处理器和存储器中的任意者，所述解码器被配置为：
接收编码视频数据的比特流，所述比特流包含视频数据的至少一个块，所述块包含多个子块；
针对所述块中的至少一个子块，执行运动向量导出，以产生每一子块的细化运动向量，该运动向量导出包含基于解码器的运动向量DMVR过程；
对所述至少一个子块，执行基于子块的运动补偿，以在每一子块内产生基于子块的预测；
获得每一子块内的所述预测的空间梯度；
确定每个子块中的每个像素的运动向量偏移；
通过光流方程，基于所述空间梯度和运动向量偏移，获得每个子块中的强度变化；以及
基于所获得的强度变化，细化每个子块内的所述预测。
12.根据权利要求11所述的解码器，其被配置以确定每一子块中的每一像素的所述运动向量偏移包括：进一步被配置以针对每一所述子块，通过线性回归建模，基于所述子块和邻近所述子块的至少两个其它子块的中心位置和运动向量偏移，确定所述运动向量偏移，
其中所述基于子块的预测被生成为每个子块内的每像素亮度预测，以及
其中，所述强度变化是每个子块中每像素的亮度强度变化。
13.根据权利要求11所述的解码器，还被配置为：
对于所述基于子块的运动补偿，利用6参数仿射运动模型用于至少一个所述子块，以及
确定所述至少一个子块的每个像素的运动向量偏移，其包括：
使用所述至少一个子块的第一、第二和第三相邻子块，确定所述运动向量偏移；
使用所述至少一个子块，估计所述回归分析的模型误差；以及
如果所估计的模型误差超过所述至少一个子块的阈值，则在所述解码中不使用用于所述至少一个子块的所述运动向量偏移。
14.根据权利要求11所述的解码器，还被配置为：
对于所述基于子块的运动补偿，利用6参数仿射运动模型用于至少一个所述子块，以及
在所述确定所述运动向量偏移中，进一步使用所述至少一个子块以及所述至少一个子块的第一、第二和第三相邻子块，确定所述至少一个子块的每个像素的所述运动向量偏移。
15.根据权利要求11所述的解码器，其进一步被配置为针对所述基于子块的运动补偿，利用6参数仿射运动模型用于所述子块中的至少一者，且其中所述确定所述至少一个子块的每一像素的所述运动向量偏移包括：
对于所述至少一个子块和与所述至少一个子块相邻的至少两个子块，通过线性回归建模，针对参数axx,axy,ayx,ayy,bx和bx，求解方程：
Figure FDA0003354337180000061
其中，MVX_offset和MVY_offset是一个MV偏移的水平和垂直分量，以及Xsub_block和
Figure FDA0003354337180000062
分别是相应子块的中心位置的水平和垂直坐标。
16.根据权利要求15所述的解码器，进一步被配置为所述子块运动补偿针对其利用6参数仿射运动建模的所述至少一个子块的所述强度改变包括：针对参数axx,axy,ayx,ayy,bx和bx，求解方程：
Δvx(i,j)＝axxi+axyj+bx
Δvy(i,j)＝ayxi+ayyj+by
其中，i和j分别是每个样本/像素的水平和垂直坐标，Δvx(i,j)是在坐标(i,j)处的样本/像素在水平方向上的亮度变化，并且Δvy(i,j)是在坐标(i,j)处的样本/像素在垂直方向上的亮度变化。
17.根据权利要求15所述的解码器，进一步被配置为，对于所述基于子块的运动补偿，利用4参数仿射运动模型用于述子块中的至少一个其它子块，并且其中与所述至少一个其它子块相关联地利用以下假设：
axx＝ayy
axy＝-ayx。
18.根据权利要求17所述的解码器，其中针对其利用4参数仿射运动模型的所述子块中的所述至少一个其它子块是位于所述块的左边界和/或顶部边界处的子块。
19.根据权利要求11所述的解码器，其进一步被配置以针对所述基于子块的运动补偿：
针对至少一些子块，利用6参数仿射运动模型；
针对所述至少一些子块，利用4参数仿射运动模型；
估计所述6参数仿射运动模型的误差率；
估计所述4参数仿射运动模型的误差率；
确定所述6参数仿射模型和所述4参数仿射模型中的哪一者具有较低的误差率；以及
选择具有较低误差率的所述模型的结果，以用于获得每个子块中的所述强度变化。
20.根据权利要求11所述的解码器，其进一步被配置为基于所述所获得的强度改变而细化每一子块内的所述预测包括：
用加权因子对所获得的强度变化进行加权；以及
将所加权的强度变化加到每个子块中的每个像素的所述强度，
其中所述接收所述视频比特流包括：在所述视频比特流中接收用于加权所获得的强度变化的所述加权因子，以及
其中所述比特流中的所述加权因子在图片级被用信号发送。
CN202080036097.5A 2019-03-26 2020-03-26 用于利用光流的解码器侧运动向量细化的预测细化的方法和装置 Pending CN113826400A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962823935P 2019-03-26 2019-03-26
US62/823,935 2019-03-26
PCT/US2020/024996 WO2020198497A1 (en) 2019-03-26 2020-03-26 Methods and apparatus for prediction refinement for decoder side motion vector refinement with optical flow

Publications (1)

Publication Number Publication Date
CN113826400A true CN113826400A (zh) 2021-12-21

Family

ID=70286029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080036097.5A Pending CN113826400A (zh) 2019-03-26 2020-03-26 用于利用光流的解码器侧运动向量细化的预测细化的方法和装置

Country Status (5)

Country Link
US (1) US20220191502A1 (zh)
EP (1) EP3949416A1 (zh)
JP (1) JP2022526943A (zh)
CN (1) CN113826400A (zh)
WO (1) WO2020198497A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593211A (zh) * 2023-12-15 2024-02-23 书行科技(北京)有限公司 视频处理方法、装置、电子设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230344984A1 (en) * 2022-04-25 2023-10-26 Tencent America LLC Affine models use in affine bilateral matching
US20240121426A1 (en) * 2022-09-29 2024-04-11 Qualcomm Incorporated Methods of subblock skipping for affine motion search for video coding
WO2024081497A1 (en) * 2022-10-11 2024-04-18 Qualcomm Incorporated Regression-based decoder side affine motion derivation for video coding

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8363721B2 (en) * 2009-03-26 2013-01-29 Cisco Technology, Inc. Reference picture prediction for video coding
US20200296405A1 (en) * 2019-03-14 2020-09-17 Qualcomm Incorporated Affine motion compensation refinement using optical flow
AU2020240048B2 (en) * 2019-03-18 2022-12-22 Tencent America LLC Method and apparatus for video coding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593211A (zh) * 2023-12-15 2024-02-23 书行科技(北京)有限公司 视频处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP2022526943A (ja) 2022-05-27
WO2020198497A1 (en) 2020-10-01
EP3949416A1 (en) 2022-02-09
US20220191502A1 (en) 2022-06-16

Similar Documents

Publication Publication Date Title
US20220191502A1 (en) Methods and apparatus for prediction refinement for decoder side motion vector refinement with optical flow
US20220377344A1 (en) Systems and methods for versatile video coding
US20230045182A1 (en) Quantization parameter coding
US20230046946A1 (en) Merge mode, adaptive motion vector precision, and transform skip syntax
US20220394298A1 (en) Transform coding for inter-predicted video data
US20220385897A1 (en) Adaptive interpolation filter for motion compensation
US20220345701A1 (en) Intra sub-partitions related infra coding
US20220239921A1 (en) Block boundary prediction refinement with optical flow
US20220150486A1 (en) Intra sub-partitions in video coding
CN114556945A (zh) 用于双向光流的切换逻辑
WO2023057488A1 (en) Motion vector coding with input motion vector data
WO2023057501A1 (en) Cross-component depth-luma coding
WO2023194193A1 (en) Sign and direction prediction in transform skip and bdpcm
WO2023194558A1 (en) Improved subblock-based motion vector prediction (sbtmvp)
WO2023194556A1 (en) Implicit intra mode for combined inter merge/intra prediction and geometric partitioning mode intra/inter prediction
WO2023194570A1 (en) Gradual decoding refresh and coding tools
JP2024513939A (ja) 重複ブロック動き補償
WO2023118259A1 (en) Video block partitioning based on depth or motion information
WO2023194568A1 (en) Template based most probable mode list reordering
WO2023118280A1 (en) Gdr interaction with template based tools in intra slice
WO2024079193A1 (en) Extended angular prediction modes with decoder side refinement
WO2023194599A1 (en) Memory bandwidth constrained template-based operations
WO2023194600A1 (en) Latency constrained template-based operations
WO2024002947A1 (en) Intra template matching with flipping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination