CN113383551A - 用于利用光流的帧间预测细化的系统、装置和方法 - Google Patents

用于利用光流的帧间预测细化的系统、装置和方法 Download PDF

Info

Publication number
CN113383551A
CN113383551A CN202080012137.2A CN202080012137A CN113383551A CN 113383551 A CN113383551 A CN 113383551A CN 202080012137 A CN202080012137 A CN 202080012137A CN 113383551 A CN113383551 A CN 113383551A
Authority
CN
China
Prior art keywords
sub
block
motion prediction
motion
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080012137.2A
Other languages
English (en)
Inventor
罗健聪
贺玉文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Priority to CN202210198830.4A priority Critical patent/CN114666582A/zh
Publication of CN113383551A publication Critical patent/CN113383551A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Measuring Volume Flow (AREA)

Abstract

公开了方法、装置和系统。在一个实施例中，一种解码方法包括：获得视频的当前块的基于子块的运动预测信号；获得一个或多个运动向量差值或所述基于子块的运动预测信号的一个或多个空间梯度；基于所述一个或多个所获得的空间梯度或所述一个或多个所获得的运动向量差值，获得所述当前块的细化信号；基于所述基于子块的运动预测信号和所述细化信号，获得所述当前块的细化运动预测信号；以及基于所述细化运动预测信号，对所述当前块进行解码。

Description

用于利用光流的帧间预测细化的系统、装置和方法
交叉引用
本申请要求2019年2月7日递交的美国临时专利申请No.62/802,428、2019年3月6日递交的美国临时专利申请No.62/814,611和2019年4月15日提交的美国临时专利申请No.62/883,999的权益，其各自的内容通过引用而被并入本文。
技术领域
本申请涉及视频编码，并且特别地，涉及使用利用光流的帧间预测细化(refinement)的系统、装置和方法。
相关领域
视频编码系统广泛用于压缩数字视频信号，以减少这种信号的存储和/或传输带宽。在各种类型的视频编码系统中，例如基于块的系统、基于小波的系统和基于对象的系统，现今基于块的混合视频编码系统被最广泛地使用和部署。基于块的视频编码系统的示例包括多种国际视频编码标准，例如MPEG1/2/4部分2、H.264/MPEG-4部分10AVC、VC-1、以及称为高效视频编码(HEVC)的最新视频编码标准，其由ITU-T/SG16/Q.6/VCEG和ISO/IEC/MPEG的JCT-VC(视频编码联合合作团队)开发。
发明内容
在一个代表性实施例中，一种解码方法包括：获得视频的当前块的基于子块的运动预测信号；获得所述基于子块的运动预测信号的一个或多个空间梯度或一个或多个运动向量差值；基于所述一个或多个所获得的空间梯度或所述一个或多个所获得的运动向量差值，获得所述当前块的细化信号；基于所述基于子块的运动预测信号和所述细化信号，获得所述当前块的细化运动预测信号；以及基于所述细化运动预测信号，对所述当前块进行解码。本文还公开了各种其他实施例。
附图说明
从以下结合附图以示例方式给出的详细描述中可以获得更详细的理解。说明书中的附图中是示例。因此，附图和详细描述不应被认为是限制性的，并且其它等效的示例是可行的并且是可能的。此外，图中的相同参考标号指示相同元素，且其中：
图1是示出了代表性的基于块的视频编码系统的框图；
图2是示出了代表性的基于块的视频解码器的框图；
图3是示出了具有广义双预测(generalized bi-prediction,GBi)支持的代表性基于块的视频编码器的框图；
图4是示出了用于编码器的代表性GBi模块的示意图；
图5是示出了具有GBi支持的代表性基于块的视频解码器的示意图；
图6是示出了用于解码器的代表性GBi模块的示意图；
图7是示出了代表性双向光流的示意图；
图8A和8B是示出了代表性四参数仿射模式的示意图；
图9是示出了代表性六参数仿射模式的示意图；
图10是示出了代表性交织预测过程的示意图；
图11是示出了子块中的代表性权重值(例如，与像素相关联)的示意图；
图12是示出了其中应用交织预测的一些区域和其中不应用所述交织预测的其他区域的示意图；
图13A和13B是示出了SbTMVP过程的示意图；
图14是示出了可用于运动参数导出的相邻运动块(例如，4×4运动块)的示意图；
图15是示出了可用于运动参数导出的相邻运动块的示意图；
图16是示出了在基于基于子块的仿射运动补偿预测之后的子块MV与像素级MV的差异Δv(i,j)的示意图；
图17A为示出了确定对应于子块的实际中心的MV的代表性过程的示意图；
图17B是示出了4:2:0色度格式的色度样本的位置的示意图；
图17C是示出了一扩展预测子块的示意图；
图18A是示出了第一代表性编码/解码方法的流程图；
图18B是示出了第二代表性编码/解码方法的流程图；
图19是示出了第三代表性编码/解码方法的流程图；
图20是示出了第四代表性编码/解码方法的流程图；
图21是示出了第五代表性编码/解码方法的流程图；
图22是示出了第六代表性编码/解码方法的流程图；
图23是示出了第七代表性编码/解码方法的流程图；
图24是示出了第八代表性编码/解码方法的流程图；
图25是示出了代表性梯度计算方法的流程图；
图26是示出了第九代表性编码/解码方法的流程图；
图27是示出了第十代表性编码/解码方法的流程图；
图28是示出了第十一代表性编码/解码方法的流程图；
图29是示出了代表性编码方法的流程图；
图30是示出了另一代表性编码方法的流程图；
图31是示出了第十二代表性编码/解码方法的流程图；
图32是示出了第十三代表性编码/解码方法的流程图；
图33是示出了第十四代表性编码/解码方法的流程图；
图34A是示出了可以实施所公开的一个或多个实施例的示例性通信系统的系统图示；
图34B是示出了根据实施例的可以在图34A所示的通信系统内部使用的示例性无线发射/接收单元(WTRU)的系统图示；
图34C是示出了根据实施例的可以在图34A所示的通信系统内部使用的示例性无线电接入网络(RAN)和示例性核心网络(CN)的系统图示；以及
图34D是示出了根据实施例的可以在图34A所示的通信系统内部使用的另一个示例性RAN和另一个示例性CN的系统图示。
具体实施方式
基于块的混合视频编码过程
与HEVC类似，VVC建立在基于块的混合视频编码框架上。
图1是示出了一般的基于块的混合视频编码系统的框图。
参考图1，编码器100可以被提供有逐块(称为编码单元(CU))处理的输入视频信号102，并且可以用于高效地压缩高分辨率(1080p及以上)视频信号。在HEVC中，CU可高达64×64像素。CU可进一步分割成预测单元或PU，可对其应用单独的预测过程。对于每一输入视频块(MB和/或CU)，可执行空间预测160和/或时间预测162。空间预测(或“帧内预测”)可使用来自同一视频图片/切片中的已编码相邻块的像素来预测当前视频块。
空间预测可以减少视频信号中固有的空间冗余。时间预测(也称为“帧间预测”或“运动补偿预测”)使用来自已编码视频图片的像素来预测当前视频块。时间预测可减少视频信号中固有的时间冗余。给定视频块的时间预测信号可(例如，通常可)由一个或一个以上运动向量(MV)用信号发送，所述运动向量可指示当前块(CU)与其参考块之间的运动的量和/或方向。
如果支持多个参考图片(如对于诸如H.264/AVC或HEVC的最近视频编码标准的情况)，则对于每个视频块，可以发送(例如，可以另外发送)其参考图片索引；和/或该参考索引可以用于标识所述时间预测信号来自参考图片存储库164中的哪个参考图片。在空间和/或时间预测之后，编码器100中的模式决策框180可例如基于速率失真优化方法/过程来选择最佳预测模式。可从当前视频块116减去来自空间预测160或时间预测162的预测块；和/或预测残差可以使用变换104而被去相关，并且被量化106以实现目标比特率。可对经量化的残差系数进行逆量化110和逆变换112以形成经重构的残差，可在126处将所述经重构的残差加回到所述预测块以形成经重构的视频块。此外，在将经重构视频块放入参考图片存储库164中并可用于编码未来视频块之前，可将例如去块滤波器和自适应环路滤波器等环路内滤波166应用于所述经重构视频块。为了形成输出视频比特流120，编码模式(帧间或帧内)、预测模式信息、运动信息和经量化残差系数可被发送(例如，全部发送)到熵编码单元108以进一步压缩和/或打包以形成所述比特流。
所述编码器100可以使用提供上述各种元件/模块/单元的处理器、存储器和发射机来实现。例如，本领域技术人员理解：(1)所述发射机可将比特流120发送到解码器；以及(2)所述处理器可以被配置为执行软件以使得能够接收输入视频102并执行与所述编码器100的各个块相关联的功能。
图2是示出了基于块的视频解码器的框图。
参考图2，所述视频解码器200可以被提供有视频比特流202，其可以在熵解码单元208处被解包和熵解码。可将编码模式和预测信息发送到空间预测单元260(对于帧内编码模式)和/或时间预测单元262(对于帧间编码模式)中的适当一者，从而形成预测块。可将残差变换系数发送到逆量化单元210和逆变换单元212以重构残差块。该重构块在被存储在参考图片存储库264中之前，可以进一步经过环路内滤波266。除了被保存在参考图片存储库264中以用于预测未来的视频块之外，所述重构的视频220可以被发送出去，例如以驱动显示设备。
所述解码器200可以使用处理器、存储器和接收机来实现，其可以提供上面公开的各种元件/模块/单元。例如，本领域技术人员理解：(1)接收机可被配置以接收比特流202；以及(2)所述处理器可以被配置为执行软件以使得能够接收所述比特流202和输出所述重构视频220以及执行与解码器200的各个块相关联的功能。
本领域技术人员理解，基于块的编码器和基于块的解码器的许多功能/操作/过程是相同的。
在现代视频编解码器中，双向运动补偿预测(MCP)可以用于通过利用图片之间的时间相关性来高效地去除时间冗余。双预测信号可以通过使用等于0.5的权重值来组合两个单预测(uni-prediction)信号来形成，这对于组合单预测信号可能不是最优的，尤其是在照度(luminance)从一个参考图片到另一个参考图片快速变化的一些条件下。可以实现某些预测技术/操作和/或过程以通过将一些全局/局部权重和/或偏移值应用于参考图片中的样本值(例如，参考图片中的样本值中的一些或每一个)来补偿随时间的照度变化。
在视频编解码器中使用双向运动补偿预测(MCP)使得能够通过利用图片之间的时间相关性来去除时间冗余。双预测信号可以通过使用权重值(例如，0.5)组合两个单预测信号来形成。在某些视频中，照度特性可从一个参考图片到另一参考图片快速改变。因此，预测技术可通过将全局或局部权重和/或偏移值应用于参考图片中的一个或多个样本值来补偿照度随时间的变化(例如，衰落转变)。
广义双预测(GBi)可改进双预测模式的MCP。在双预测模式中，如所给出的样本x处的预测信号可由如下等式1计算：
P[x]＝w0*P0[x+v0]+w1*P1[x+v1] (1)
在上述等式中，P[x]可以表示位于图片位置x的样本x的结果预测信号。Pi[x+vi]可以是使用第i个列表(例如列表0、列表1等)的运动向量(MV)vi的x的运动补偿预测信号。w0和w1可以是在一块中的样本之间(例如，所有样本之间)共享的两个权重值。基于该等式，可以通过调整权重值w0和w1来获得各种预测信号。w0和w1的一些配置可意味着与单预测和双预测相同的预测。例如，(w0,w1)＝(0,1)可以用于利用参考列表L0的单预测。(w0,w1)＝(0,1)可以用于利用参考列表L1的单预测。(w0,w1)＝(0.5,0.5)可以用于利用两个参考列表的双预测。可针对每一CU用信号发送所述权重。为了减少信令开销，可以应用一约束，诸如w0+w1＝1，使得可以用信号发送一个权重。因此，等式1可以进一步简化为如以下等式2中所阐述的：
P[x]＝(1-w1)*P0[x+v0]+w1*P1[x+v1] (2)
为了进一步减少权重信令开销，w1可以被离散化(例如，-2/8,2/8,3/8,4/8,5/8,6/8,10/8等)。然后，每个权重值可以由(例如，小的)有限范围内的索引值来指示。
图3是示出了具有GBi支持的代表性基于块的视频编码器的框图。
编码器300可以包括模式决策模块304、空间预测模块306、运动预测模块308、变换模块310、量化模块312、逆量化模块316、逆变换模块318、环路滤波器320、参考图片存储库322和熵编码模块314。所述编码器的模块或组件(例如，空间预测模块306)中的一些或全部可以与结合图1描述的那些相同或相似。另外，所述空间预测模块306和所述运动预测模块308可以是像素域预测模块。因此，输入视频比特流302可以以与所述输入视频比特流102类似的方式被处理，尽管所述运动预测模块308还可以包括GBi支持。因此，所述运动预测模块308可以加权平均方式组合两个单独的预测信号。此外，可在输出视频比特流324中用信号发送选定权重索引。
所述编码器300可以使用提供上述各种元件/模块/单元的处理器、存储器和发射机来实现。例如，本领域技术人员理解：(1)所述发射机可以向解码器发送比特流324；以及(2)所述处理器可以被配置为执行软件以使得能够接收输入视频302并执行与编码器300的各个块相关联的功能。
图4是示出了可在诸如运动预测模块308的编码器的运动预测模块中采用的代表性GBi估计模块400的示意图。所述GBi估计模块400可以包括权重值估计模块402和运动估计模块404。这样，所述GBi估计模块400可以利用处理(例如，两步操作/处理)来生成帧间预测信号，诸如最终帧间预测信号。所述运动估计模块404可使用输入视频块401和从参考图片存储库406接收的一个或一个以上参考图片且通过搜索指向(例如，两个)参考块的两个最佳运动向量(MV)来执行运动估计。所述权重值估计模块402可接收：(1)运动估计模块404的输出(例如运动向量v0和v1)、来自参考图片存储库406的一个或多个参考图片、以及权重信息W，并且可以搜索最佳权重索引以最小化当前视频块和双预测之间的加权双预测误差。可以预期的是，权重信息W可以描述可用权重值列表或权重集，使得所确定的权重索引和所述权重信息W可以一起用于指定在GBi中使用的权重w0和w1。所述广义双预测的预测信号可被计算为两个预测块的加权平均。GBi估计模块400的输出可以包括帧间预测信号、运动向量v0和v1、和/或权重索引weight_idx等)。
图5是示出了具有GBi支持的代表性的基于块的视频解码器的示意图，该视频解码器可以对支持GBi的比特流502(例如，来自编码器的比特流)进行解码，该比特流诸如由结合图3描述的编码器300产生的比特流324。如图5所示，视频解码器500可以包括熵解码器504、空间预测模块506、运动预测模块508、参考图片存储库510、逆量化模块512、逆变换模块514和/或环路滤波器模块518。所述解码器的一些或所有模块可以与结合图2描述的那些相同或相似，尽管运动预测模块508还可以包括GBi支持。如此，编码模式和预测信息被用于通过使用空间预测或GBi支持的MCP而导出预测信号。对于GBi，可接收所述块运动信息及权重值(例如，呈指示权重值的索引的形式)且对其进行解码以产生所述预测块。
所述解码器500可以使用处理器、存储器和接收机来实现，其可以提供上面公开的各种元件/模块/单元。例如，本领域技术人员理解：(1)所述接收机可被配置以接收比特流502；以及(2)所述处理器可以被配置为执行软件以使得能够接收比特流502和输出重构视频520以及执行与解码器500的各个块相关联的功能。
图6是示出了可在解码器的运动预测模块(例如运动预测模块508)中采用的代表性GBi预测模块的示意图。
参照图6，所述GBi预测模块可包括加权平均模块602和运动补偿模块604，其可从参考图片存储库606接收一个或多个参考图片。所述加权平均模块602可接收运动补偿模块604的输出、权重信息W和权重索引(例如，weight_idx)。所述运动补偿模块604的输出可包含可对应于所述图片的块的运动信息。GBi预测模块600可使用所述块运动信息和权重值而将GBi的预测信号(例如，帧间预测信号608)计算为(例如，两个)经运动补偿预测块的加权平均值。
基于光流模型的代表性双预测
图7是示出了代表性双向光流的示意图。
参考图7，双预测可以基于光流模型。例如，与当前块(例如，当前块700)相关联的预测可以基于与第一预测块I(0)702(例如，时间上在前的预测块，例如在时间上移位τ0)和第二预测块I(1)704(例如，时间上将来的块，例如在时间上移位τ1)相关联的光流。视频编码中的双预测可为从已重构的参考图片获得的两个时间预测块702及704的组合。由于基于块的运动补偿(MC)的限制，可能存在可在两个预测块的样本之间观察到的剩余的小运动，因此降低了运动补偿预测的效率。可以应用双向光流(BIO，或称为BDOF)来减少一个块内的每个样本的这种运动的影响。BIO可以提供逐样本的运动细化，当使用双预测时，可以在基于块的运动补偿预测之上执行该运动细化。对于BIO，可以基于经典光流模型来导出一个块中的每个样本的细化的运动向量。例如，在I(k)(x,y)是从参考图片列表k(k＝0,1)导出的预测块的坐标(x,y)处的样本值并且
Figure BDA0003191524080000101
和
Figure BDA0003191524080000102
是所述样本的水平梯度和垂直梯度的情况下，给定光流模型，可以通过如下等式3导出(x，y)处的运动细化(vx,vy)：
Figure BDA0003191524080000103
在图7中，与第一预测块702相关联的(MVx0,MVy0)和与第二预测块704相关联的(MVx1,MVy1)指示可用于产生两个预测块I(0)和I(1)的块级运动向量。可以通过最小化运动细化补偿之后的样本值(例如，图7中的A和B)之间的差Δ来计算样本位置(x,y)处的运动细化(vx,vy)，如下面的等式4所示：
Figure BDA0003191524080000104
例如，为了确保所导出的运动细化的规则性，可以设想，运动细化对于一个小单元(例如，4×4块或其他小单元)内的样本是一致的。在基准集(BMS)-2.0中，通过最小化每个4×4块周围的6×6窗口Ω内的Δ来导出值(vx,vy)，如以下等式5中所阐述：
Figure BDA0003191524080000111
为了求解等式5中指定的优化，所述BIO可以使用渐进方法/操作/过程，其可以优化水平方向和垂直方向(例如，然后垂直方向)上的运动细化。这可能导致如下的等式/不等式6和7：
Figure BDA0003191524080000112
Figure BDA0003191524080000113
其中
Figure BDA0003191524080000114
可以是底函数，其可以输出小于或等于输入的最大值，并且thBIO可以是运动细化阈值，例如以防止由于编码噪声和/或不规则的局部运动而导致的误差传播，其等于218-BD。可以进一步按照下面的等式8-12中所阐述的来计算S1,S2,S3,S5和S6的值：
S1＝∑(i,j)∈Ωψx(i,j)·ψx(i,j), (8)
S3＝∑(i,j)∈Ωθ(i,j)·ψx(i,j)·2L (9)
S2＝∑(i,j)∈Ωψx(i,j)·ψy(i,j) (10)
S5＝∑(i,j)∈Ωψy(i,j)·ψy(i,j)·2 (11)
S6＝∑(i,j)∈Ωθ(i,j)·ψy(i,j)·2L+1 (12)
其中各种梯度可以在如下的等式13-15中阐述：
Figure BDA0003191524080000115
Figure BDA0003191524080000116
θ(i,j)＝I(1)(i,j)-I(0)(i,j) (15)
例如，在BMS-2.0中，等式13-15中在水平和垂直方向上的BIO梯度可以通过计算在每个L0/L1预测块的一个样本位置处的两个相邻样本之间的差(例如，水平的或垂直的，这取决于被导出的梯度的方向)来直接获得，如下面等式16和17中所述：
Figure BDA0003191524080000121
Figure BDA0003191524080000122
在等式8-12中，L可以是内部BIO过程/程序的比特深度增加，以保持数据精确度，例如，在BMS-2.0中其可被设定为5。为了避免除以较小值，等式6和7中的调节参数r和m可以如下等式18和19而被定义：
r＝500·4BD-8 (18)
m＝700·4BD-8 (19)
其中BD可以是输入视频的比特深度。基于由等式4和5导出的运动细化，可通过基于光流等式3沿着运动轨迹内插L0/L1预测样本来计算当前CU的最终双预测信号，如以下等式20和21中所规定的：
Figure BDA0003191524080000123
Figure BDA0003191524080000124
其中shift和ooffset可为可应用于组合L0和L1预测信号以用于双预测的右移和偏移，例如其可分别设定为等于15-BD和1＜＜(14-BD)+2·(1＜＜13)。rnd(.)是可以将输入值舍入到最接近的整数值的舍入函数。
代表性仿射模式
在HEVC中，平移运动(仅平移运动)模型被应用于运动补偿预测。在真实世界中，存在许多种运动(例如，放大/缩小、旋转、透视运动和其它不规则运动)。在VVC测试模型(VTM)-2.0中，可应用仿射运动补偿预测。该仿射运动模型是4参数的或6参数的。用信号发送用于每一经帧间编码的CU的第一标志以指示是平移运动模型还是仿射运动模型被应用于帧间预测。如果应用了所述仿射运动模型，那么发送第二标志以指示所述模型是4参数模型还是6参数模型。
所述4参数仿射运动模型具有以下参数：用于水平和垂直方向上的平移运动的两个参数、用于两个方向上的缩放运动的一个参数、以及用于两个方向上的旋转运动的一个参数。水平缩放参数等于垂直缩放参数。水平旋转参数等于垂直旋转参数。使用在当前CU的左上角810和右上角820处界定的两个控制点位置处的两个运动向量在VTM中对四参数仿射运动模型进行编码。其它控制点位置也是可能的，例如在所述当前CU的其它角和/或边缘处。
尽管上文描述了一个仿射运动模型，但其它仿射模型同样是可能的且可用于本文中的各种实施例中。
图8A和8B是示出了代表性四参数仿射模型和用于仿射块的子块级运动导出的示意图。参考图8A和8B，所述块的仿射运动场通过分别在第一控制点810(在当前块的左上角)和第二控制点820(在当前块的右上角)处的两个控制点运动向量而被描述。基于所述控制点运动，一个仿射编码块的运动场(vx,vy)被描述为在如下的等式22和23中所阐述的：
Figure BDA0003191524080000131
Figure BDA0003191524080000141
其中(v0x,v0y)可以是左上角控制点810的运动向量，(v1x,v1y)可以是右上角控制点820的运动向量，如图8A所示，且w可以是CU的宽度。举例来说，在VTM-2.0中，仿射编码CU的运动场可在在4×4块级别处被导出；也就是说，(vx,vy)可针对当前CU内的每一4×4块而被导出且将被应用于对应的4×4块。
4参数仿射模型的四个参数可被迭代地估计。步骤k中的MV对可以表示为
Figure BDA0003191524080000142
原始信号(例如，照度信号)可表示为I(i,j)，预测信号(例如，照度信号)可表示为I′k(i,j)。空间梯度gx(i,j)和gy(i,j)可以例如分别利用在水平和/或垂直方向上应用于所述预测信号I′k(i,j)的索贝尔(Sobel)滤波器来导出。等式3的导数可以表示为如以下等式24和25中所阐述的：
Figure BDA0003191524080000143
其中(a，b)可以是差量(delta)平移参数，并且(c，d)可以是步骤k处的差量缩放和旋转参数。控制点处的差量MV可以用其坐标导出，如下面的等式26-29中所述。例如，(0,0),(w,0)可以分别是左上和右上控制点810和820的坐标。
Figure BDA0003191524080000144
Figure BDA0003191524080000145
基于光流等式，在强度(例如，亮度)的变化与空间梯度和时间移动之间的关系在等式30中被等式化如下：
Figure BDA0003191524080000151
通过用等式24和25替换
Figure BDA0003191524080000152
和
Figure BDA0003191524080000153
参数(a，b，c，d)的等式31被获得如下：
I′k(i,j)-I(i,j)＝(gx(i,j)*i+gy(i,j)*j)*c+(-gx(i,j)*j+gy(i,j)*i)*d+gx(i,j)*a+gy(i,j)*b (31)
由于CU中的样本(例如，所有样本)满足等式31，因此可使用(例如)最小二乘误差法来求解参数集(例如，a、b、c、d)。在步骤(k+1)中，两个控制点处的
Figure BDA0003191524080000154
可用等式26-29求解，且其可被舍入到特定精度(例如，1/4像素精度(pel)或其它子像素精度等等)。通过使用迭代，可以细化两个控制点处的MV，例如直到收敛(例如，当参数(a，b，c，d)全为零或者迭代时间满足预定限制时)。
图9是示出了代表性六参数仿射模式的示意图，其中例如：V0,V1,和V2分别是控制点910、920和930处的运动向量，而(MVx,MVy)是以位置(x，y)为中心的子块的运动向量。
参看图9，仿射运动模型(例如，具有6个参数)可具有以下参数中的任意者：(1)用于水平方向上的平移移动的参数；(2)用于在垂直方向上的平移移动的参数；(3)用于在水平方向上的缩放运动的参数；(4)用于水平方向上的旋转运动的参数；(5)用于垂直方向上的缩放运动的参数；和/或(6)用于垂直方向上的旋转运动的参数。所述6参数仿射运动模型可利用在三个控制点910、920及930处的三个MV来编码。如图9所示，6参数仿射编码的CU的三个控制点910、920和930分别定义在CU的左上角、右上角和左下角。左上控制点910处的运动可以与平移运动相关，并且右上控制点920处的运动可以与水平方向上的旋转运动和/或水平方向上的缩放运动相关，并且左下控制点930处的运动可以与垂直方向上的旋转和/或垂直方向上的缩放运动相关。对于6参数仿射运动模型，所述水平方向上的旋转运动和/或缩放运动可与垂直方向上的相同运动不同。每个子块的运动向量(vx,vy)可以使用控制点910、920和930处的三个MV来导出，如下面的等式32和33中所阐述的：
Figure BDA0003191524080000161
Figure BDA0003191524080000162
其中(v2x,v2y)为左下控制点930的运动向量V2，(x,y)可为子块的中心位置，w可为CU的宽度，且h可为CU的高度。
可以类似方式估计所述6参数仿射模型的所述六个参数。等式24和25可以如等式34和35中所述的那样改变如下。
Figure BDA0003191524080000163
其中在步骤k，(a，b)可以是差量平移参数，(c，d)可以是水平方向的差量缩放和旋转参数，以及(e，f)可以是垂直方向的差量缩放和旋转参数。等式31可以如等式36中所述改变，如下：
I′k(i,j)-I(i,j)＝(gx(i,j)*i)*c+(gx(i,j)*j)*d+(gy(i,j)*i)*e+(gy(i,j)*j)*f+gx(i,j)*a+gy(i,j)*b (36)
参数集(a，b，c，d，e，f)可例如使用最小二乘法/过程/操作而通过考虑CU内的样本(例如，所有样本)来求解。左上控制点的
Figure BDA0003191524080000171
可以用等式26-29来计算。右上控制点的
Figure BDA0003191524080000172
可以用如下阐述的等式37和38来计算。左下控制点的
Figure BDA0003191524080000173
可以用如下所述的等式39和40来计算。
Figure BDA0003191524080000174
Figure BDA0003191524080000175
尽管在图8A、8B和9中展示了4参数仿射模型和6参数仿射模型，但技术人员可以理解，具有不同数目的参数和/或不同控制点的仿射模型同样是可能的。
尽管本文结合光流细化描述了仿射模型，但技术人员可以理解，结合光流细化的其它运动模型同样是可能的。
用于仿射运动补偿的代表性交织预测
利用仿射运动补偿(AMC)，例如在VTM中，编码块被分成小到4×4的子块，每个子块可以被指派由仿射模型导出的个体运动向量(MV)，例如如图8A和8B或图9所示。利用4参数或6参数仿射模型，所述MV可以从两个或三个控制点的MV而被导出。
AMC可能面临与子块的大小相关联的两难问题。使用较小的子块，AMC可以实现更好的编码性能，但是可能遭受更高的复杂度负担。
图10是示出了代表性的交织预测过程的示意图，该过程可以实现更细粒度的MV，例如，以适度增加复杂度为交换。
在图10中，编码块1010可以被划分为具有两种不同划分模式(例如，第一和第二模式0和1)的子块。第一划分模式0(例如，第一子块模式，例如4×4子块模式)可以与VTM中的相同，并且第二划分模式1(例如，重叠和/或交织的第二子块模式)可以将编码块1010划分为与第一划分模式0具有2×2偏移的4×4子块，如图10所示。AMC可以利用所述两个划分模式(例如，第一和第二划分模式0和1)来生成数个辅助预测(例如，两个辅助预测P0和P1)。划分模式0和1中的每一者中的每一子块的MV可通过所述仿射模型而被从控制点运动向量(CPMV)导出。
最终预测P可以被计算为辅助预测(例如，两个辅助预测P0和P1)的加权和，其被等式化为等式41和42所示如下：
Figure BDA0003191524080000181
图11是示出了子块中的代表性权重值(例如，与像素相关联)的示意图。参照图11，位于子块1100的中心(例如，中心像素)的辅助预测样本可以与权重值3相关联，并且位于子块1100的边界的辅助预测样本可以与权重值1相关联。
图12是示出了其中应用交织预测的区域和其中不应用交织预测的其它区域的示意图。参考图12，区域1200可以包括其中应用交织预测的例如具有4×4子块的第一区域1210(在图12中被示为非交叉阴影)以及例如其中不应用交织预测的第二区域1220(在图12中被示为交叉阴影)。为了避免小块运动补偿，例如，对于第一和第二划分模式这两者，所述交织预测可以仅应用于子块的大小满足阈值大小(例如，其为4×4)的区域。
在VTM-3.0中，子块的大小对于色度分量可以是4×4，并且交织预测可以应用于色度分量和/或亮度分量。由于在AMC中可以将用于对子块(例如，所有子块)进行运动补偿(MC)的区域作为一个整体一起被提取，所以交织预测不会增加带宽。为了灵活性，可以在切片报头中用信号通知一标志，以指示交织预测被使用还是未被使用。对于交织预测，可以将所述标志作为1比特标志(例如，可以总是被信号通知为0或1的第一逻辑水平)来用信号通知。
用于基于子块的时间运动向量预测(SbTMVP)的代表性过程
SbTMVP由VTM支持。类似于HEVC中的时间运动向量预测(TMVP)，SbTMVP可使用同位(collocated)图片中的运动场，例如以改进当前图片中的CU的合并模式和运动向量预测。TMVP所使用的相同同位图片可用于SbTMVP。SbTMVP与TMVP的不同之处如下：(1)TMVP可预测CU级的运动，而SbTMVP可预测子CU级的运动；和/或(2)TMVP可从所述同位图片中的同位块提取所述时间运动向量(例如，所述同位块可为相对于所述当前CU的右下或中心块)，而SbTMVP可在从所述同位图片提取所述时间运动信息之前，应用运动移位(例如，所述运动移位可从来自所述当前CU的所述空间相邻块中的一者的运动向量获得)等等。
图13A和13B是示出了SbTMVP过程的示意图。图13A示出了ATMVP所使用的空间相邻块，图13B示出了通过应用来自空间相邻者的运动移位并缩放来自相应的同位子CU的运动信息来导出子CU运动场。
参看图13A和13B，SbTMVP可在当前CU操作内(例如，在两个操作中)预测子CU的运动向量。在第一操作中，可以以A1、B1、B0和A0的顺序检查空间相邻块A1、B1、B0和A0。一旦识别出具有使用同位图片作为其参考图片的运动向量的第一空间相邻块和/或在识别出具有使用同位图片作为其参考图片的运动向量的第一空间相邻块之后，就可以将该运动向量选择为要应用的运动移位。如果从空间相邻块中没有识别出这样的运动，则所述运动移位可以被设置为(0，0)。在第二操作中，第一操作中识别的运动移位可被应用(例如，添加到当前块的坐标)以从同位图片获得子CU级运动信息(例如，运动向量和参考索引)，如图13B中所示。图13B中的示例示出了设定为块A1的运动的运动移位。对于每一子CU，所述同位图片中其对应块(例如，覆盖中心样本的最小运动栅格)的运动信息可用于导出针对所述子CU的运动信息。在识别出所述同位子CU的运动信息之后，可以以与HEVC的TMVP过程类似的方式将所述运动信息转换为当前子CU的运动向量和参考索引。举例来说，可应用时间运动缩放，以将时间运动向量的参考图片与当前CU的参考图片对准。
组合的基于子块的合并列表可以用于VTM-3中，并且可以包含或包括SbTMVP合并候选和仿射合并候选这两者，例如用于发信号通知基于子块的合并模式。所述SbTMVP模式可由序列参数集(SPS)标志来启用/禁用。如果启用SbTMVP模式，则可以添加SbTMVP预测器(predictor)作为基于子块的合并候选的列表的第一条目，并且其后跟随仿射合并候选。所述基于子块的合并列表的大小可以在SPS中用信号通知，并且所述基于子块的合并列表的最大允许大小可以是整数，例如在VTM3中为5。
在SbTMVP中使用的子CU大小可为固定的，例如，8×8或其他子CU大小，且针对仿射合并模式所进行的，所述SbTMVP模式可适用于(例如，可仅适用于)宽度和高度两者可大于或等于8的CU。
额外SbTMVP合并候选的编码逻辑可与用于其它合并候选的编码逻辑相同。举例来说，对于P或B切片中的每一CU，可执行额外速率失真(RD)检查以决定是否使用所述SbTMVP候选。
代表性的基于回归的运动向量场
为了提供块内运动向量的细粒度，可以实现基于回归的运动向量场(RMVF)工具(例如在JVET-M0302中)，其可以尝试基于空间相邻的运动向量而在子块级别上对每个块的运动向量进行建模。
图14是示出了可用于运动参数导出的相邻运动块(例如，4×4运动块)的示意图。在回归过程中，可以使用来自块的每一侧的以4×4子块(以及它们的中心位置)为基础的一行紧邻运动向量1410和一列紧邻运动向量1420。例如，所述相邻运动向量可用于RMVF运动参数导出。
图15是示出了可用于运动参数导出以减少相邻运动信息(例如，可减少相对于图14的回归过程中所使用的相邻运动块的数目)的相邻运动块的示意图。用于相邻4×4运动块的RMVF参数导出的相邻运动信息的减少量可用于运动参数导出(例如，约一半，例如约每隔一个相邻运动块可用于运动参数导出)。可选择、确定或预定所述行1410和所述列1420的某些相邻运动块以减少相邻运动信息。
虽然所述行1410和所述列1420的大约一半的相邻运动块被示出为是被选择的，但是可以选择其它百分比(具有其它运动块位置)，例如以减少回归过程中要使用的相邻运动块的数量。
当收集运动信息以用于运动参数导出时，可使用如图中所示的五个区域(例如，左下、左上、右上)。可将右上参考运动区域和左下参考运动区域限制为当前块的对应宽度或高度的一半(例如，仅一半)。
在RMVF模式中，所述块的运动可由6参数运动模型来定义。这些参数axx,axy,ayx,ayy,bx和by可以通过求解均方误差(MSE)意义上的线性回归模型来计算。所述回归模型的输入可以由如上定义的可用相邻4×4子块的中心位置(x，y)和/或运动向量(mvx和mvy)组成，或者可以包括如上定义的可用相邻4×4子块的中心位置(x，y)和/或运动向量(mvx和mvy))。
中心位置在(XsubPU,YsubPU)处的8×8子块的运动向量(MVX_subPU,MVY_subPU)可以如下面的等式43中所述而被计算：
Figure BDA0003191524080000221
可以相对于子块(例如，每个子块)的中心位置而为8×8子块计算所述运动向量。例如，在RMVF模式中，可以以8×8子块精度应用运动补偿。为了对运动向量场进行有效的建模，仅在来自至少三个候选区域的至少一个运动向量可用的情况下，应用所述RMVF工具。
仿射运动模型参数可用于导出CU中的某些像素(例如，每一像素)的运动向量。尽管产生基于像素的仿射运动补偿预测的复杂性可能较高(例如，非常高)，且还因为此类基于样本的MC的存储器存取带宽要求可能较高，可实施基于子块的仿射运动补偿过程/方法(例如，通过VVC)。举例来说，CU可被划分成若干子块(例如，4×4子块、正方形子块和/或非正方形子块)。每一子块可被指派有可从仿射模型参数导出的MV。该MV可以是在所述子块的中心(或子块中的另一位置)处的MV。所述子块中的像素(例如，子块中的所有像素)可共享所述子块MV。基于子块的仿射运动补偿可以是编码效率和复杂度之间的折衷。为了实现运动补偿的更精细粒度，可以实现用于仿射运动补偿的交织预测，并且可以通过对两个子块运动补偿预测进行加权平均来生成该用于仿射运动补偿的交织预测。交织预测可能需要和/或使用每子块两个或更多运动补偿预测，并且因此可能增加存储器带宽和复杂度。
在某些代表性实施例中，可以实现方法、装置、过程和/或操作以利用光流(例如，使用和/或基于光流)细化基于子块的仿射运动补偿预测。例如，在执行基于子块的仿射运动补偿之后，可以通过添加由光流等式导出的差值来细化像素强度，这被称为利用光流的预测细化(PROF)。PROF可以实现像素级粒度而不显著增加复杂度，并且可以保持与基于子块的仿射运动补偿相当的最坏情况存储器访问带宽。PROF可应用于除预测信号(例如，未细化运动预测信号和/或基于子块的运动预测信号)之外还可获得(例如，可计算)像素级运动向量场的任何情形。除了所述仿射模式之外，所述预测PROF过程还可用于其它子块预测模式中。可以实现PROF在子块模式上的应用，例如SbTMVP和/或RMVF。本文描述了PROF在双预测中的应用。
用于仿射模式的代表性PROF过程
在某些代表性实施例中，方法、装置和/或过程可被实施以例如通过应用从光流(例如，光流等式)导出的像素强度的改变来改进基于子块的仿射运动补偿预测的粒度，且可针对每一子块使用和/或需要一个运动补偿操作(例如，针对每一子块仅一个运动补偿操作)，其与例如在VVC中的现有仿射运动补偿相同。
图16是示出了在基于子块的仿射运动补偿预测之后的子块MV和像素级运动向量差Δv(i,j)(例如，其有时也被称为像素的细化MV)的示意图。
参看图16，CU 1600可包含子块1610、1620、1630和1640。每一子块1610、1620、1630及1640可包含多个像素(例如，子块1610中的16个像素)。图中示出了与子块1610的每个像素1660(i，j)相关联的子块MV 1650(例如作为粗略或平均子块MV)。对于子块1610中的每个相应像素(i，j)，可以确定细化MV 1670(i，j)(其可以指示像素1660(i，j)的实际MV与子块MV 1650之间的差(其中，(i，j)定义了子块1610中的像素位置))。为了图16的清楚，仅标记了细化MV1670(1，1)，尽管示出了其他个体的像素级运动，但是在某些代表性实施例中，可以将细化MV 1670(i，j)确定为像素级运动向量差Δv(i,j)(有时称为运动向量差)。
在某些代表性实施例中，可以实现包括以下操作中的任意操作的方法、装置、过程和/或操作：
(1)在第一操作中：可如本文所揭示来执行基于子块的AMC以产生基于子块的运动预测I(i,j)；
(2)在第二操作中：可计算每一样本位置处的基于子块的运动预测I(i,j)的空间梯度gx(i,j)和gy(i,j)(在一个示例中，可使用与BDOF中所使用的梯度生成相同的过程来生成所述空间梯度)。例如，可将样本位置处的水平梯度计算为其右边相邻样本与其左边相邻样本之间的差，和/或可将样本位置处的垂直梯度计算为其底部相邻样本与其顶部相邻样本之间的差。在另一示例中，可使用Sobel滤波器来产生空间梯度；
(3)在第三操作中：使用和/或通过光流等式可以计算CU中的每个像素的照度强度变化，例如，如下面的等式44中所阐述的：
ΔI(i,j)＝gx(i,j)*Δvx(i,j)+gy(i,j)*Δvy(i,j) (44)
其中运动向量差Δv(i,j)的值是为样本位置(i,j)计算的像素级MV(由v(i,j)表示)与覆盖像素1660(i,j)的子块的子块级MV 1650之间的差1670，如图16所示。可通过用于4参数仿射模型的等式22和23或通过用于6参数仿射模型的等式32和33从控制点MV导出所述像素级MV v(i,j)。
在某些代表性实施例中，可通过或使用等式24和25由仿射模型参数导出所述运动向量差值Δv(i,j)，其中x和y可为从像素位置到子块的中心的偏移。由于仿射模型参数和像素偏移在子块之间不改变，因此可针对第一子块计算运动向量差值Δv(i,j)，且在同一CU中的其它子块中重用所述运动向量差值Δv(i,j)。举例来说，可使用如下等式45和46来计算像素级MV与子块级MV之间的差，因为平移仿射参数(a，b)对于像素级MV和子块MV来说可是相同的。(c，d，e，f)可以是四个额外仿射参数(例如，除了平移仿射参数之外的四个仿射参数)
Figure BDA0003191524080000241
其中(i，j)可以是相对于子块的左上位置的像素位置，而(xsb,ysb)可以是相对于子块的左上位置的子块的中心位置。
图17A为用以确定对应于一子块的实际中心的运动向量的代表性程序的示意图。
请参照图17A，图中显示的两个子块SB0与SB1为4×4子块。如果子块宽度是SW并且子块高度是SH，则子块中心位置可以被设置为((SW-1)/2，(SH-1)/2)。在其它示例中，所述子块中心位置可以基于如(SW/2，SH/2)所述的位置而被估计。第一子块SB0的实际中心点为P0’，而第二子块SB1的实际中心点为P1’，其使用((SW-1)/2，(SH-1)/2)。通过使用例如(SW/2，SH/2)(例如在VVC中)，第一子块SB0的估计中心点是P0，第二子块SB1的估计中心点是P1。在某些代表性实施例中，子块的MV可以更准确地基于实际中心位置而不是估计的中心位置(其在VVC中被使用)。
图17B是示出4:2:0色度格式的色度样本的位置的示意图。参考图17B，色度子块MV可由亮度子块的MV导出。举例来说，在4:2:0色度格式中，一个4×4色度子块可对应于8×8亮度区域。尽管结合4:2:0色度格式示出了代表性实施例，但是技术人员理解，可以等同地使用其他色度格式，诸如4:2:2色度格式。
所述色度子块MV可通过平均左上4×4亮度子块MV和右下亮度子块MV而被导出。对于色度样本位置类型0、2和/或3，所导出的色度子块MV可位于或可不位于色度子块的中心。对于色度样本位置类型0、2和3，色度子块中心位置(xsb,ysb)可能或可能需要通过偏移来调整。例如，对于4:2:0色度样本位置类型0、2和3，可以如以下等式47-49中所阐述的那样应用调整：
Figure BDA0003191524080000261
Figure BDA0003191524080000262
Figure BDA0003191524080000263
可以通过添加强度变化(例如，照度强度变化，例如，如等式44中所提供的)来细化基于子块的运动预测I(i,j)。最终(即，细化的)预测I’(i,j)可以通过或通过使用如下等式50来生成。
I′(i,j)＝I(i,j)+ΔI(i,j) (50)
当应用所述细化时，所述基于子块的仿射运动补偿可以实现像素级粒度，而不增加最坏情况带宽和/或存储器带宽。
为了保持预测和/或梯度计算的精度，基于子块的AMC的操作相关性能中的比特深度可以是中间比特深度，其可以高于编码比特深度。
上述过程可用于细化色度强度(例如，除细化亮度强度之外或代替亮度强度细化)。在一个示例中，在等式50中使用的强度差可以在被加到所述预测之前乘以权重因子w，如在如下等式51中所示：
I′(i,j)＝I(i,j)+w·ΔI(i,j) (51)
其中w可以被设置为0到1之间的值，包括端值。w可在CU级或图片级中用信号表示。举例来说，可通过权重索引用信号发送w。例如，索引表1可以用于发信号通知w。
索引 0 1 2 3 4
权重 1/2 3/4 1/4 1 0
索引表1
编码器算法可以选择导致最低速率失真成本的w的值。
例如，可以以不同的方式计算预测样本的梯度，例如gx和/或gy。在某些代表性实施例中，预测样本gx和gy可通过应用2维Sobel滤波器来计算。用于水平和垂直梯度的3×3Sobel滤波器的示例如下：
水平Sobel滤波器：
Figure BDA0003191524080000271
垂直Sobel滤波器：
Figure BDA0003191524080000272
在其它代表性实施例中，梯度可用一维3抽头滤波器来计算。一个示例可以包括[-1 0 1]，其比Sobel滤波器更简单(例如，简单得多)的滤波器。
图17C是示出了扩展子块预测的示意图。阴影圆圈1710是4×4子块(例如，非阴影圆圈1720)周围的填充样本。使用Sobel滤波器作为示例，框1730中的样本可以用于计算中心处的样本1740的梯度。尽管可以使用Sobel滤波器来计算所述梯度，但是诸如3抽头滤波器的其他滤波器也是可能的。
对于上述示例梯度滤波器，例如3x3 Sobel滤波器和一维滤波器，扩展的子块预测可以被使用和/或需要用于子块梯度计算。例如，可以填充子块的顶部和底部边界处的一行以及左部和右部边界处的一列，以计算子块边界处的那些样本的梯度。
可以有不同的方法/过程和/或操作来获得所述扩展子块预测。在一个代表性实施例中，给定子块大小为N×M，可以通过使用子块MV执行(N+2)×(M+2)块运动补偿来获得(N+2)×(M+2)扩展子块预测。利用该实施例，可能会增加存储器带宽。为了避免存储器带宽增加，在某些代表性实施例中，在水平和垂直方向两者上给定K抽头内插滤波器的情况下，可提取内插之前的(N+K-1)×(M+K-1)整数参考样本以用于N×M子块的内插，可从(N+K-1)×(M+K-1)子块的邻近样本复制所述(N+K-1)×(M+K-1)块的边界样本，使得扩展区域可为(N+K-1+2)×(M+K-1+2)。所述扩展区域可用于所述(N+2)×(M+2)子块的内插。如果子块MV指向分数位置，则这些代表性实施例仍然可以使用和/或需要附加的内插操作来生成(N+2)×(M+2)预测。
举例来说，为了降低计算复杂度，在其它代表性实施例中，可通过使用子块MV的N×M块运动补偿来获得所述子块预测。(N+2)×(M+2)预测的边界可以在没有内插的情况下通过以下中的任意者来获得：(1)整数运动补偿，其中MV是子块MV的整数部分；(2)整数运动补偿，其中MV是子块MV的最近整数MV；和/或(3)从N×M子块预测中的最近邻近样本进行复制。
像素级细化MV(例如，Δvx和Δvy)的精度和/或范围可能影响PROF的准确度。在某些代表性实施例中，可以实现多比特分数分量和另一多比特整数分量的组合。例如，可以使用5比特分数分量和11比特整数分量。该5比特分数分量和11比特整数分量的组合可以利用总共16个比特来表示1/32像素精度的从-1024到1023的MV范围。
所述梯度(例如，gx和gy)的精度以及强度变化ΔI的精度可能会影响PROF的性能。在某些代表性实施例中，预测样本精度可保持为或维持在预定数目或用信号通知的数目的比特(例如，在当前VVC草案中定义的内部样本精度，其为14位)。在某些代表性实施例中，所述梯度和/或强度变化ΔI可以与预测样本保持相同的精度。
所述强度变化ΔI的范围可能会影响PROF的性能。可将所述强度变化ΔI剪切到一较小范围，以避免由不准确的仿射模型产生的假值。在一个示例中，所述强度变化ΔI可被剪切到predition_bitdepth-2。
Δvx和Δvy的分数分量的比特数、梯度的分数分量的比特数以及强度变化ΔI的比特数的组合可以一起影响某些硬件或软件实现的复杂性。在一个代表性实施例中，5比特可用于表示Δvx和Δvy的分数分量，2比特可用于表示梯度的分数分量，且12比特可用于表示ΔI，然而，它们可以是任何数量的比特。
为了降低计算复杂度，在某些情况下，可跳过PROF。例如，如果在4×4子块内的所有基于像素的差量(例如，细化)MV(Δv(i,j))的幅度小于阈值，则对于整个仿射CU，可跳过PROF。如果4×4子块内的所有样本的梯度小于阈值，则可跳过PROF。
所述PROF可以应用于色度分量，例如Cb和/或Cr分量。子块的Cb和/或Cr分量的差量MV可以重用子块的差量MV(例如，可以重用针对相同CU中的不同子块计算的差量MV)。
尽管本文公开的梯度过程(例如，使用复制的参考样本来扩展用于梯度计算的子块)被示出为与PROF操作一起使用，但是梯度过程可以与诸如BDOF操作和/或仿射运动估计操作等的其他操作一起使用。
用于其它子块模式的代表性PROF过程
PROF可以应用于除了预测信号(例如，未细化的预测信号)之外还可获得(例如，可以计算)像素级运动向量场的任何场景。例如，除了所述仿射模式之外，利用光流的预测细化可以用于其它子块预测模式中，例如，SbTMVP模式(例如，VVC中的ATMVP模式)、或者基于回归的运动向量场(RMVF)
在某些代表性实施例中，可以实施一种方法以将PROF应用于SbTMVP。例如，这样的方法可以包括以下中的任意者：
(1)在第一操作中，可基于本文所述的现有SbTMVP过程来产生子块级MV及子块预测；
(2)在第二操作中，可通过使用线性回归方法/过程通过块MV场来估计仿射模型参数；
(3)在第三操作中，可通过在第二操作中获得的仿射模型参数来导出像素级MV，且可计算相对于子块MV的相关联的像素级运动细化向量(Δv(i,j))；和/或
(4)在第四操作中，可以应用利用光流的预测细化过程来生成最终预测等。
在某些代表性实施例中，可以实现一种方法以将PROF应用于RMVF。例如，这样的方法可以包括以下中的任意者：
(1)在第一操作中，子块级MV场、子块预测和/或仿射模型参数axx,axy,ayx,ayy,bx和bx可以基于这里描述的RMVF过程而被生成；
(2)在第二操作中，从子块级MV的像素级MV偏移(Δv(i,j))可通过仿射模型参数axx,axy,ayx,ayy,bx和bx通过如下等式52而被导出：
Figure BDA0003191524080000301
其中(i,j)是从子块中心的像素偏移。由于仿射参数和/或从子块中心的像素偏移在子块之间不改变，所以可针对第一子块来计算像素MV偏移(例如，仅需要或将计算针对该第一子块的像素MV偏移)，且可针对CU中的其它子块重用该像素MV偏移；和/或
(3)在第三操作中，可以应用PROF过程，以例如通过应用等式44和50来生成最终预测。
用于双预测的代表性PROF方法
除了或代替在本文所述的单预测中使用PROF，所述PROF技术可用于双预测。当在双预测中使用时，所述PROF可以用于生成L0预测和/或L1预测，例如在它们通过权重而被组合之前。为了降低计算复杂度，PROF可以被应用(例如，可以仅被应用)到一个预测，诸如L0或L1。在某些代表性实施例中，PROF可被应用(例如，可仅被应用)到一列表(例如，与当前图片接近(例如，在阈值内)和/或最接近的参考图片相关联的列表)。
用于PROF启用的代表性过程
PROF启用可在序列参数集SPS报头、图片参数集PPS报头和/或图块群组报头处或在其中被用信号通知。在某些实施例中，可发信号通知一标志以指示所述PROF是否针对仿射模式而被启用。如果该标志被设置为第一逻辑水平(例如“真”)，则PROF可以用于单预测和双预测。在某些实施例中，如果第一标志设定为“真”，那么可使用第二标志以指示PROF针对双预测仿射模式是被启用还是未被启用。如果第一标志被设定为第二逻辑水平(例如，“假”)，那么可推断第二标志被设定为“假”。如果所述第一标志设定为“真”，那么可在SPS报头、PPS报头和/或图块群组报头处或在SPS报头、PPS报头和/或图块群组报头中用一标志来用信号通知是否将PROF应用于色度分量，使得可将PROF对亮度分量和色度分量的控制分离。
有条件启用的PROF的代表性方法
例如，为了降低复杂性，PROF可以在满足(例如，仅在满足)某些条件时被应用。例如，对于小的CU大小(例如，低于阈值水平)，仿射运动可能相对很小，使得应用PROF的好处可能受到限制。在某些代表性实施例中，当CU大小较小(例如，对于不大于16x16的CU大小，例如8x8、8x16、16x8)时或在所述情况下，可在仿射运动补偿中停用PROF以减少编码器和/或解码器这两者的复杂性。在某些代表性实施例中，当CU大小较小(低于相同或不同的阈值水平)时，在仿射运动估计中可跳过PROF(例如，仅在仿射运动估计中跳过)，例如以降低编码器复杂性，且可在解码器处执行PROF而不管CU大小如何。举例来说，在编码器侧，在搜索仿射模型参数(例如，控制点MV)的运动估计之后，可调用运动补偿(MC)过程且可执行PROF。对于运动估计期间的每次迭代，也可以调用所述MC过程。在运动估计中的MC中，可跳过PROF以节省复杂性，并且在编码器和解码器之间将不存在预测失配，因为编码器中的最终MC将运行PROF。即，当编码器搜索仿射模型参数(例如，仿射MV)以用于CU的预测时，可不应用PROF细化，且一旦编码器完成搜索或在编码器完成搜索之后，编码器便可应用PROF以使用从搜索确定的仿射模型参数来细化对所述CU的预测。
在一些代表性实施例中，CPMV之间的差可以用作确定是否启用PROF的标准。当CPMV之间的差较小(例如，低于阈值水平)使得仿射运动较小时，应用PROF的益处可受到限制，且可针对仿射运动补偿和/或仿射运动估计，停用PROF。例如，对于4参数仿射模式，如果满足以下条件(例如，满足所有以下条件)，则PROF可被停用：
Figure BDA0003191524080000321
Figure BDA0003191524080000322
对于6参数仿射模式，除了或代替以上条件，如果满足以下条件(例如，也满足所有以下条件)，那么可停用PROF：
Figure BDA0003191524080000331
Figure BDA0003191524080000332
其中T是预定义的阈值，例如4。该基于CPMV或仿射参数的PROF跳过过程可以在编码器处应用(例如，也仅应用于编码器处)，并且解码器可以或不可以跳过PROF。
与去块滤波器组合或代替去块滤波器的PROF的代表性过程
由于PROF可以是可补偿基于块的MC的逐像素细化，因此可以减小(例如，可以大大减小)块边界之间的运动差异。当应用PROF时，编码器和/或解码器可跳过去块滤波器的应用，和/或可对子块边界应用较弱的滤波器。对于被分割成多个变换单元(TU)的CU，块化效应可能会出现在变换块边界上。
在某些代表性实施例中，除非子块边界与TU边界一致，否则编码器和/或解码器可跳过去块滤波器的应用或可在子块边界上应用一个或一个以上较弱滤波器。
当PROF应用于亮度(例如，仅应用于亮度)时或在PROF应用于亮度(例如，仅应用于亮度)的条件下，编码器和/或解码器可跳过去块滤波器的应用和/或可在子块边界上为亮度(例如，仅亮度)应用一个或多个较弱滤波器。例如，边界强度参数Bs可以用于应用较弱的去块滤波器。
举例来说，当应用PROF时，编码器和/或解码器可跳过对子块边界应用去块滤波器，除非子块边界与TU边界一致。在这种情况下，可应用去块滤波器以减少或移除可能沿TU边界产生的块化效应。
作为另一示例，除非子块边界与TU边界一致，否则当应用PROF时，编码器和/或解码器可对子块边界应用较弱的去块滤波器。可以设想，“较弱”的去块滤波器可以是比在不应用PROF时通常应用于子块边界的去块滤波器更弱的去块滤波器。当子块边界与TU边界一致时，可应用较强的去块滤波器来减少或移除预期沿着与TU边界一致的子块边界更可见的块化效应。
在某些代表性实施例中，当将PROF应用(例如，仅应用)到亮度时或在将PROF应用(例如，仅应用)到亮度的条件下，编码器和/或解码器可例如尽管缺乏将PROF应用于色度，但出于设计统一目的而将针对色度的去块滤波器的应用对准到亮度。举例来说，如果PROF仅应用于亮度，那么可基于是否应用PROF(且可能基于在子块边界处是否存在TU边界)来改变用于亮度的去块滤波器的正常应用。在某些代表性实施例中，可以将去块滤波器应用于色度的子块边界，以匹配(和/或镜像)亮度去块的过程，而不是具有用于将去块滤波器应用于对应的色度像素的单独/不同的逻辑。
图18A是示出了第一代表性编码和/或解码方法的流程图。
参考图18A，用于编码和/或解码的代表性方法1800可以包括：在框1805处，编码器100或300和/或解码器200或500获得针对例如视频的当前块的基于子块的运动预测信号。在框1810处，编码器100或300和/或解码器200或500可获得针对所述当前块的基于子块的运动预测信号的一个或多个空间梯度或与所述当前块的子块相关联的一个或多个运动向量差值。在框1815处，编码器100或300和/或解码器200或500可基于所述一个或多个所获得的空间梯度或所述一个或多个所获得与所述当前块的所述子块相关联的运动向量差值，获得所述当前块的细化信号。在框1820处，编码器100或300和/或解码器200或500可以基于所述基于子块的运动预测信号和所述细化信号来获得所述当前块的细化运动预测信号。在某些实施例中，编码器100或300可基于所述细化运动预测信号，对所述当前块进行编码，或者解码器200或500可基于所述细化运动预测信号，对所述当前块进行解码。所述细化运动预测信号可以是(例如，由GBi编码器300和/或GBi解码器500)生成的一细化运动帧间预测信号，并且可以使用一个或多个PROF操作。
在某些代表性实施例中，例如与本文中描述的包含方法1850和1900的其它方法相关的代表性实施例中，所述获得所述视频的所述当前块的所述基于子块的运动预测信号可包含生成所述基于子块的运动预测信号。
在某些代表性实施例中，例如，关于本文中描述的尤其包含方法1850及1900的其它方法，所述获得所述当前块的所述基于子块的运动预测信号的一个或多个空间梯度或与所述当前块的子块相关联的一个或多个运动向量差值可包含：确定所述基于子块的运动预测信号的所述一个或多个空间梯度(例如，与梯度滤波器相关联)。
在某些代表性实施例中，例如，关于本文中描述的尤其包含方法1850及1900的其它方法的代表性实施例中，所述获得所述当前块的所述基于子块的运动预测信号的所述一个或多个空间梯度或与所述当前块的子块相关联的所述一个或多个运动向量差值可包含：确定与所述当前块的所述子块相关联的所述一个或多个运动向量差值。
在某些代表性实施例中，例如，与本文中描述的尤其包含方法1850和1900的其它方法相关的代表性实施例中，所述基于所述一个或多个所确定的空间梯度或所述一个或多个所确定的运动向量差值而获得所述当前块的所述细化信号可包含：基于所确定的空间梯度，确定所述当前块的运动预测细化信号作为所述细化信号。
在某些代表性实施例中，例如，与本文中描述的包括方法1850和1900等的其它方法相关的代表性实施例中，所述基于所述一个或多个所确定的空间梯度或所述一个或多个所确定的运动向量差值来获得所述当前块的所述细化信号可包含：基于所确定的运动向量差值，确定所述当前块的运动预测细化信号作为所述细化信号。
术语“确定(determine)”或“确定(determining)”在涉及诸如信息之类的某物时一般可以包括以下各项中的一个或多个：估计、计算、预测、获得和/或检索所述信息。例如，确定可以指从存储器或比特流等中检索某些东西。
在某些代表性实施例中，例如，与本文描述的包括方法1850和1900等的其它方法相关的代表性实施例中，所述基于所述基于子块的运动预测信号和所述细化信号来获得所述当前块的所述细化运动预测信号可包括：组合(例如，加或减等)所述基于子块的运动预测信号和所述运动预测细化信号以产生所述当前块的所述细化运动预测信号。
在某些代表性实施例中，例如，与本文中描述的包括方法1850和1900等的其它方法相关的代表性实施例中，所述基于细化运动预测信号对所述当前块进行编码和/或解码可包括：使用所述细化运动预测信号作为对所述当前块的预测来对所述视频进行编码，和/或使用所述细化运动预测信号作为对所述当前块的预测来对所述视频进行解码。
图18B是示出了第二代表性编码和/或解码方法的流程图。
参考图18B，用于对视频进行编码和/或解码的代表性方法1850可以包括：在框1855处，编码器100或300和/或解码器200或500生成基于子块的运动预测信号。在框1860处，编码器100或300和/或解码器200或500可确定所述基于子块的运动预测信号的一个或多个空间梯度(例如，与梯度滤波器相关联)。在框1865处，编码器100或300和/或解码器200或500可以基于所确定的空间梯度来确定所述当前块的运动预测细化信号。在框1870处，编码器100或300和/或解码器200或500可以组合(例如，加上或减去，等等)所述基于子块的运动预测信号和所述运动预测细化信号，以产生所述当前块的细化运动预测信号。在框1875处，编码器100或300可使用所述细化运动预测信号作为对所述当前块的预测来编码所述视频，和/或解码器200或500可使用所述细化运动预测信号作为对所述当前块的预测来解码所述视频。在某些实施例中，可以针对当前块执行框1810、1820、1830和1840处的操作，所述当前块是通常指代当前正在被编码或解码的块。所述细化运动预测信号可以是(例如，由GBi编码器300和/或GBi解码器500)生成的细化运动帧间预测信号，并且可以使用一个或多个PROF操作。
举例来说，由编码器100或300和/或解码器200或500对所述基于子块的运动预测信号的所述一个或多个空间梯度的所述确定可包含：对与第一参考图片相关联的第一组空间梯度及与第二参考图片相关联的第二组空间梯度的确定。由编码器100或300和/或解码器200或500进行的所述当前块的所述运动预测细化信号的所述确定可以基于所确定的空间梯度，并且可以包括：基于所述第一和第二组空间梯度，确定所述当前块的运动帧间预测细化信号(例如，双预测信号)，并且还可以基于加权信息W(例如，指示或包括与一个或多个参考图片相关联的一个或多个加权值)。
在至少包括代表性方法1800、1850、1900、2000、2100、2200和2600的某些代表性实施例中，编码器100或300可生成、使用和/或发送权重信息W发送到解码器200或500，和/或该解码器200或500可接收或获得所述权重信息W。例如，所述当前块的所述运动帧间预测细化信号可以基于：(1)从所述第一组空间梯度导出且根据由所述权重信息W指示的第一权重因子进行加权的第一梯度值，和/或(2)从所述第二组空间梯度导出且根据由所述权重信息W指示的第二权重因子进行加权的第二梯度值。
在至少包含代表性方法1800、1850、1900、2000、2100、2200和2600的某些代表性实施例中，这些方法可进一步包括编码器100或300和/或解码器200或500确定所述视频的所述当前块的仿射运动模型参数，使得可使用所确定的仿射运动模型参数来生成所述基于子块的运动预测信号。
在包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性实施例中，这些方法可包含由编码器100或300和/或解码器200或500确定所述基于子块的运动预测信号的一个或多个空间梯度，其可包含计算所述基于子块的运动预测信号的至少一个子块中的一个相应样本位置、部分相应样本位置、或每一相应样本位置的至少一个梯度值。例如，针对所述基于子块的运动预测信号的至少一个子块中的一个相应样本位置、部分相应样本位置、或每个相应样本位置的至少一个梯度值的计算可以包括：针对一个相应样本位置、部分相应样本位置、或每个相应样本位置，将梯度滤波器应用于所述基于子块的运动预测信号的所述至少一个子块中的所述相应样本位置。
在包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性实施例中，这些方法可进一步包括编码器100或300和/或解码器200或500确定与所述基于子块的运动预测信号的所述当前块的第一子块的样本位置相关联的一组运动向量差值。在一些示例中，可针对子块(例如，第一子块)确定所述差值且可针对当前块中的其它子块中的一些或全部而重用所述差值。在某些示例中，可通过使用仿射运动模型或不同运动模型(例如，另一基于子块的运动模型，例如SbTMVP模型)来确定所述一组运动向量差值，并可生成所述基于子块的运动预测信号。作为示例，可针对所述当前块的第一子块确定所述一组运动向量差值，且可将其用于针对所述当前块的一个或一个以上进一步的子块，确定所述运动预测细化信号。
在包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性实施例中，所述基于子块的运动预测信号的所述一个或多个空间梯度及所述一组运动向量差值可用以确定所述当前块的所述运动预测细化信号。
在包含代表性方法1800、1850、1900、2000、2100、2200和2600的某些代表性实施例中，通过使用所述当前块的仿射运动模型，可确定所述一组运动向量差值，且可生成所述基于子块的运动预测信号。
在包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性实施例中，所述确定所述基于子块的运动预测信号的所述一个或多个空间梯度可包含：对于所述当前块的一个或多个相应子块：使用所述基于子块的运动预测信号和邻接并围绕所述相应子块的邻近参考样本来确定扩展子块；以及使用所确定的扩展子块来确定所述相应子块的空间梯度，以确定所述运动预测细化信号。
图19是示出了第三代表性编码和/或解码方法的流程图。
参照图19，用于编码和/或解码视频的代表性方法1900可以包括：在框1910，编码器100或300和/或解码器200或500生成基于子块的运动预测信号。在框1920处，编码器100或300和/或解码器200或500可确定与所述当前块的子块相关联的一组运动向量差值(例如，该组运动向量差值可与例如所述当前块的所有子块相关联)。在框1930，编码器100或300和/或解码器200或500可以基于所确定的一组运动向量差值，确定所述当前块的运动预测细化信号。在框1940处，编码器100或300和/或解码器200或500可以将所述基于子块的运动预测信号和所述运动预测细化信号进行组合(例如，相加或相减等)，以产生或生成所述当前块的细化运动预测信号。在框1950处，编码器100或300可使用所述细化运动预测信号作为对所述当前块的预测来编码视频，和/或解码器200或500可使用所述细化运动预测信号作为对所述当前块的预测来解码视频。在某些实施例中，可以针对通常指代当前正被编码或解码的块的当前块执行在框1910、1920、1930和1940处的操作。在某些代表性实施例中，所述细化运动预测信号可以是(例如，由GBi编码器300或GBi解码器500)生成的细化运动帧间预测信号，并且可以使用一个或多个PROF操作。
在至少包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性实施例中，这些方法可包含由编码器100或300和/或解码器200或500确定所述视频的所述当前块的运动模型参数(例如，一个或多个仿射运动模型参数)，使得可使用所确定的运动模型参数(例如，仿射运动模型参数)产生所述基于子块的运动预测信号。
在至少包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性实施例中，这些方法可包含由编码器100或300和/或解码器200或500确定所述基于子块的运动预测信号的一个或多个空间梯度。举例来说，对所述基于子块的运动预测信号的所述一个或多个空间梯度的所述确定可包含：计算所述基于子块的运动预测信号的至少一个子块中的一个相应样本位置、一部分相应样本位置或每一相应样本位置的至少一个梯度值。例如，针对所述基于子块的运动预测信号的至少一个子块中的一个相应样本位置、一部分相应样本位置或每个相应样本位置的至少一个梯度值的所述计算可以包括：针对一个相应样本位置、一部分相应样本位置或每个相应样本位置，将梯度滤波器应用于所述基于子块的运动预测信号的所述至少一个子块中的所述相应样本位置。
在至少包括代表性方法1800、1850、1900、2000、2100、2200和2600的某些代表性实施例中，这些方法可包括由编码器100或300和/或解码器200或500使用与所述当前块的一个相应样本位置、一部分相应样本位置或每个相应样本位置的空间梯度相关联的梯度值以及所确定的与所述子块运动预测信号的所述当前块的子块(例如，任何子块)的所述样本位置相关联的一组运动向量差值来确定所述当前块的所述运动预测细化信号。
在至少包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性实施例中，所述当前块的所述运动预测细化信号的所述确定可使用与所述当前块的一个或多个子块的一个或多个相应样本位置或每一样本位置的空间梯度相关联的梯度值和所确定的一组运动向量差值。
图20是示出了第四代表性编码和/或解码方法的流程图。
参考图20，用于编码和/或解码视频的代表性方法2000可以包括：在框2010，编码器100或300和/或解码器200或500使用用于所述当前块的第一子块的至少第一运动向量和用于所述当前块的第二子块的进一步的运动向量来生成基于子块的运动预测信号。在框2020处，编码器100或300和/或解码器200或500可计算所述基于子块的运动预测信号的所述第一子块中的第一样本位置的第一组梯度值及所述基于子块的运动预测信号的所述第一子块中的第二样本位置的不同的第二组梯度值。在框2030处，编码器100或300和/或解码器200或500可以确定所述第一样本位置的第一组运动向量差值和所述第二样本位置的不同的第二组运动向量差值。举例来说，所述第一样本位置的所述第一组运动向量差值可指示所述第一样本位置处的运动向量与所述第一子块的运动向量之间的差，且所述第二样本位置的所述第二组运动向量差值可指示所述第二样本位置处的运动向量与所述第一子块的运动向量之间的差。在框2040处，编码器100或300和/或解码器200或500可使用所述第一及第二组梯度值及所述第一及第二组运动向量差值来确定预测细化信号。在框2050处，编码器100或300和/或解码器200或500可以将所述基于子块的运动预测信号与所述预测细化信号组合(例如，加或减，等等)以产生细化运动预测信号。在框2060处，编码器100或300可使用所述细化运动预测信号作为对所述当前块的预测来编码视频，和/或解码器200或500可使用所述细化运动预测信号作为对所述当前块的预测来解码视频。在某些实施例中，可以针对包括多个子块的当前块执行在框2010、2020、2030、2040和2050处的操作。
图21是示出了第五代表性编码和/或解码方法的流程图。
参考图21，用于编码和/或解码视频的代表性方法2100可以包括：在框2110，编码器100或300和/或解码器200或500生成用于当前块的基于子块的运动预测信号。在框2120处，编码器100或300和/或解码器200或500可以使用指示所述基于子块的运动预测信号的所述当前块中的多个样本位置的细化运动的光流信息来确定预测细化信号。在框2130，编码器100或300和/或解码器200或500可以将所述基于子块的运动预测信号与所述预测细化信号组合(例如，加或减，等等)，以产生细化运动预测信号。在框2140，编码器100或300可以使用所述细化运动预测信号作为对所述当前块的预测来编码视频，和/或解码器200或500可以使用所述细化运动预测信号作为对所述当前块的预测来解码视频。例如，所述当前块可以包括多个子块，并且所述基于子块的运动预测信号可以至少使用所述当前块的第一子块的第一运动向量和所述当前块的第二子块的进一步的运动向量来生成。
在至少包括代表性方法1800、1850、1900、2000、2100、2200和2600的某些代表性实施例中，这些方法可以包括由编码器100或300和/或解码器200或500确定可以使用光流信息的预测细化信号。此确定可包含由编码器100或300和/或解码器200或500计算用于所述基于子块的运动预测信号的所述第一子块中的第一样本位置的第一组梯度值及用于所述基于子块的运动预测信号的所述第一子块中的第二样本位置的不同的第二组梯度值。可以确定第一样本位置的第一组运动向量差值和第二样本位置的不同的第二组运动向量差值。举例来说，第一样本位置的第一组运动向量差值可指示第一样本位置处的运动向量与第一子块的运动向量之间的差，且第二样本位置的第二组运动向量差值可指示第二样本位置处的运动向量与第一子块的运动向量之间的差。编码器100或300和/或解码器200或500可以使用所述第一和第二组梯度值以及所述第一和第二组运动向量差值来确定所述预测细化信号。
在至少包括代表性方法1800、1850、1900、2000、2100、2200和2600的某些代表性实施例中，这些方法可以包括由编码器100或300和/或解码器200或500确定可以使用光流信息的所述预测细化信号。此确定可包含计算所述基于子块的运动预测信号的第二子块中的第一样本位置的第三组梯度值及所述基于子块的运动预测信号的第二子块中的第二样本位置的第四组梯度值。编码器100或300和/或解码器200或500可以使用所述第三和第四组梯度值以及第一和第二组运动向量差值来确定所述第二子块的预测细化信号。
图22是示出了第六代表性编码和/或解码方法的流程图。
参考图22，用于编码和/或解码视频的代表性方法2200可以包括：在框2210处，编码器100或300和/或解码器200或500确定视频的当前块的运动模型。所述当前块可以包括多个子块。例如，所述运动模型可以为当前块中的多个样本位置生成单独的(例如，每样本)运动向量。在框2220处，编码器100或300和/或解码器200或500可使用所确定的运动模型来生成所述当前块的基于子块的运动预测信号。所产生的基于子块的运动预测信号可针对所述当前块的每一子块使用一个运动向量。在框2230处，编码器100或300和/或解码器200或500可通过将梯度滤波器应用于所述基于子块的运动预测信号的所述多个样本位置的一部分来计算梯度值。在框2240处，编码器100或300和/或解码器200或500可确定所述样本位置的所述部分的运动向量差值，该运动向量差值中的每一者可指示根据所述运动模型针对相应样本位置生成的运动向量(例如，个体运动向量)与用于产生针对包含所述相应样本位置的所述子块的所述基于子块的运动预测信号的所述运动向量之间的差。在框2250处，编码器100或300和/或解码器200或500可以使用所述梯度值和所述运动向量差值来确定预测细化信号。在框2260，编码器100或300和/或解码器200或500可以将所述基于子块的运动预测信号与所述预测细化信号组合(例如，加或减，等等)，以产生所述当前块的细化运动预测信号。在框2270，编码器100或300可以使用所述细化运动预测信号作为对所述当前块的预测来对视频进行编码，和/或解码器200或500可以使用所述细化运动预测信号作为对所述当前块的预测来对视频进行解码。
图23是示出了第七代表性编码和/或解码方法的流程图。
参考图23，用于编码和/或解码视频的代表性方法2300可以包括：在框2310，编码器100或300和/或解码器200或500执行基于子块的运动补偿以生成基于子块的运动预测信号作为粗略运动预测信号。在框2320处，编码器100或300和/或解码器200或500可计算所述基于子块的运动预测信号在多个样本位置处的一个或多个空间梯度。在框2330处，编码器100或300和/或解码器200或500可基于所计算的空间梯度来计算所述当前块中的每像素的强度变化。在框2340处，编码器100或300和/或解码器200或500可基于所计算的每像素的强度变化而确定基于每像素的运动预测信号，作为细化运动预测信号。在框2350处，编码器100或300和/或解码器200或500可使用所述当前块的每一子块的所述粗略运动预测信号和使用所述当前块的每一像素的所述细化运动预测信号来预测所述当前块。在某些实施例中，可针对视频中的至少一个块(例如，当前块)执行框2310、2320、2330、2340和2350处的操作。举例来说，计算所述当前块中的每像素的强度变化可包含根据光流等式确定所述当前块中的每一像素的照度强度变化。所述当前块的预测可包括通过将包括相应像素的子块的粗略运动预测向量与相对于该粗略运动预测向量并与所述相应像素相关联的细化运动预测向量组合，以预测所述当前块中的每个相应像素的运动向量。
在至少包含代表性方法1800、1850、1900、2000、2100、2200、2300及2600的某些代表性实施例中，所述基于子块的运动预测信号的所述一个或多个空间梯度可包含以下中的任意者：水平梯度和/或垂直梯度，且举例来说，该水平梯度可被计算为子块的样本的右边相邻样本与所述子块的所述样本的左边相邻样本之间的亮度差或色度差，和/或所述垂直梯度可被计算为所述子块的所述样本的底部相邻样本与所述子块的所述样本的顶部相邻样本之间的亮度差或色度差。
在至少包含代表性方法1800、1850、1900、2000、2100、2200、2300及2600的某些代表性实施例中，可使用Sobel滤波器生成所述子块预测的所述一个或一个以上空间梯度。
在至少包括代表性方法1800、1850、1900、2000、2100、2200、2300和2600的某些代表性实施例中，所述粗略运动预测信号可使用以下之一：4参数仿射模型或6参数仿射模型。例如，所述基于子块的运动补偿可以是以下之一：(1)基于仿射子块的运动补偿；或(2)另一补偿(例如，基于子块的时间运动向量预测(SbTMVP)模式运动补偿；和/或基于回归的运动向量场(RMVF)模式的补偿)。在执行基于SbTMVP模式的运动补偿的条件下，所述方法可包含：通过线性回归操作使用子块运动向量场来估计仿射模型参数；以及使用所估计的仿射模型参数来导出像素级运动向量。在执行基于RMVF模式的运动补偿的情况下，所述方法可包含：估计仿射模型参数；以及使用所述所估计仿射模型参数从子块级运动向量导出像素级运动向量偏移。举例来说，该像素运动向量偏移可相对于所述子块的中心(例如，实际中心或距该实际中心最近的样本位置)。例如，所述子块的所述粗略运动预测向量可以基于所述子块的实际中心位置。
在至少包括代表性方法1800、1850、1900、2000、2100、2200、2300和2600的某些代表性实施例中，这些方法可以包括：编码器100或300或解码器200或500选择以下之一作为与每一子块的所述粗略运动预测向量(例如，基于子块的运动预测向量)相关联的中心位置：(1)每一子块的实际中心；或(2)最接近所述子块的中心的像素(例如，样本)位置中的一者。举例来说，使用所述当前块的所述粗略运动预测信号(例如，基于子块的运动预测信号)和使用所述当前块的每一像素(例如，样本)的细化运动预测信号来预测所述当前块可基于每一子块的选定中心位置。例如，编码器100或300和/或解码器200或500可以确定与所述子块的色度像素相关联的中心位置；且可基于与所述色度像素相关联的色度位置样本类型来确定到所述子块的所述色度像素的所述中心位置的偏移。用于所述子块的所述粗略运动预测信号(例如，所述基于子块的运动预测信号)可基于所述子块的与通过所述偏移调整的所确定的所述色度像素的中心位置相对应的实际位置。
在至少包括代表性方法1800、1850、1900、2000、2100、2200、2300和2600的某些代表性实施例中，这些方法可以包括编码器100或300生成或解码器200或500接收信息，该信息指示是否在以下之一中启用了利用光流的预测细化(PROF)：(1)序列参数集SPS报头，(2)图片参数集PPS报头，或(3)图块群组报头。举例来说，在启用PROF的条件下，可执行细化运动预测操作，使得可使用所述粗略运动预测信号(例如，基于子块的运动预测信号)及所述细化运动预测信号来预测所述当前块。作为另一示例，在所述PROF未被启用的条件下，不执行所述细化运动预测操作，使得仅可使用所述粗略运动预测信号(例如，基于子块的运动预测信号)来预测所述当前块。
在至少包含代表性方法1800、1850、1900、2000、2100、2200、2300和2600的某些代表性实施例中，这些方法可包含编码器100或300和/或解码器200或500基于所述当前块的属性和/或仿射运动估计的属性而确定是对所述当前块执行细化运动预测操作还是在所述仿射运动估计中执行细化运动预测操作。
在至少包含代表性方法1800、1850、1900、2000、2100、2200、2300和2600的某些代表性实施例中，这些方法可包含编码器100或300和/或解码器200或500基于所述当前块的属性和/或仿射运动估计的属性而确定是对所述当前块执行细化运动预测操作还是在所述仿射运动估计中执行细化运动预测操作。举例来说，基于当前块的属性确定是否对当前块执行细化运动预测操作可包含基于以下任意者来确定是否对当前块执行细化运动预测操作：(1)所述当前块的大小超过特定大小；和/或(2)控制点运动向量(CPMV)差超过阈值。
在至少包含代表性方法1800、1850、1900、2000、2100、2200、2300和2600的某些代表性实施例中，这些方法可包含编码器100或300和/或解码器200或500将第一去块滤波器应用于所述当前块的子块的与变换单元边界一致的一个或多个边界，且将第二不同去块滤波器应用于所述当前块的所述子块的不与任何变换单元边界一致的其它边界。例如，所述第一去块滤波器可以是比所述第二去块滤波器更强的去块滤波器。
图24是示出了第八代表性编码和/或解码方法的流程图。
参考图24，用于编码和/或解码视频的代表性方法2400可以包括：在框2410，编码器100或300和/或解码器200或500执行基于子块的运动补偿以生成基于子块的运动预测信号，作为粗略运动预测信号。在框2420处，编码器100或300和/或解码器200或500可针对所述当前块的子块的每一相应边界样本，将对应于邻近于该相应边界样本的样本且围绕所述子块的一个或多个参考样本确定为围绕参考样本，且可使用所述围绕参考样本及所述子块的邻近于所述相应边界样本的样本，确定与所述相应边界样本相关联的一个或多个空间梯度。在框2430处，编码器100或300和/或解码器200或500可以针对所述子块中的每个相应的非边界样本，使用所述子块的与该相应的非边界样本邻近的样本来确定与所述相应的非边界样本相关联的一个或多个空间梯度。在框2440处，编码器100或300和/或解码器200或500可使用所述子块的所确定的空间梯度来计算所述当前块中的每像素的强度变化。在框2450处，编码器100或300和/或解码器200或500可以基于所计算的每像素的强度变化来确定基于每像素的运动预测信号，作为细化运动预测信号。在框2460处，编码器100或300和/或解码器200或500可使用与所述当前块的每一子块相关联的粗略运动预测信号和使用与所述当前块的每一像素相关联的细化运动预测信号来预测所述当前块。在某些实施例中，可以针对视频中的至少一个块(例如，所述当前块)来执行框2410、2420、2430、2440、2450和2460处的操作。
在至少包括代表性方法1800、1850、1900、2000、2100、2200、2300、2400和2600的某些代表性实施例中，所述边界样本和所述非边界样本的所述一个或多个空间梯度的所述确定可以包括：使用以下中的任意者来计算所述一个或多个空间梯度：(1)垂直Sobel滤波器；(2)水平Sobel滤波器；或(3)3抽头滤波器。
在至少包括代表性方法1800、1850、1900、2000、2100、2200、2300、2400和2600的某些代表性实施例中，这些方法可包括编码器100或300和/或解码器200或500从参考存储库复制围绕参考样本而无需任何进一步的操作，并且与所述相应边界样本相关联的所述一个或多个空间梯度的所述确定可使用所复制的围绕参考样本来确定与所述相应边界样本相关联的所述一个或多个空间梯度。
图25是示出代表性梯度计算方法的流程图。
参考图25，使用与邻近于子块的边界的样本相对应的参考样本(例如，在编码和/或解码视频中使用的)来计算子块的梯度的代表性方法2500可以包括：在框2510，编码器100或300和/或解码器200或500对于所述当前块的所述子块的每个相应边界样本，确定与邻近该相应边界样本的样本相对应并且围绕所述子块的一个或多个参考样本作为围绕参考样本，并且使用该围绕参考样本和所述子块的邻近所述相应边界样本的样本来确定与所述相应边界样本相关联的一个或多个空间梯度。在框2520处，编码器100或300和/或解码器200或500针对所述子块中的每一相应非边界样本，可使用所述子块的与所述相应非边界样本邻近的样本来确定与所述相应非边界样本相关联的一个或多个空间梯度。在某些实施例中，可以针对视频中的至少一个块(例如，所述当前块)来执行框2510和2520处的操作。
在至少包含代表性方法1800、1850、1900、2000、2100、2200、2300、2400、2500及2600的某些代表性实施例中，所确定的一个或多个空间梯度可用于通过以下任一者来预测当前块：(1)利用光流的预测细化(PROF)操作；(2)双向光流操作；或(3)仿射运动估计操作。
图26是示出了第九代表性编码和/或解码方法的流程图。
参考图26，用于编码和/或解码视频的代表性方法2600可以包括：在框2610，编码器100或300和/或解码器200或500为视频的当前块生成基于子块的运动预测信号。例如，所述当前块可以包括多个子块。在框2620处，编码器100或300和/或解码器200或500可针对所述当前块的一个或多个或每一相应子块，使用所述基于子块的运动预测信号和邻接并围绕所述相应子块的邻近参考样本，确定扩展子块，并使用所确定的扩展子块，确定所述相应子块的空间梯度。在框2630处，编码器100或300和/或解码器200或500可以基于所确定的空间梯度来确定所述当前块的运动预测细化信号。在框2640处，编码器100或300和/或解码器200或500可以组合(例如，加上或减去，等等)所述基于子块的运动预测信号和所述运动预测细化信号，以产生所述当前块的细化运动预测信号。在框2650处，编码器100或300可以使用所述细化运动预测信号作为对所述当前块的预测来编码视频，和/或解码器200或500可以使用所述细化运动预测信号作为对所述当前块的预测来解码视频。在某些实施例中，可以针对视频中的至少一个块(例如，所述当前块)来执行在框2610、2620、2630、2640和2650处的操作。
在至少包括代表性方法1800、1850、1900、2000、2100、2200和2600的某些代表性实施例中，这些方法可包括编码器100或300和/或解码器200或500从参考存储库复制所述邻近参考样本而无需任何进一步的操纵。例如，所述相应子块的所述空间梯度的所述确定可使用所复制的邻近参考样本来确定与所述相应子块的边界上的样本位置相关联的梯度值。可从包含所述当前块的参考图片中的最近整数位置复制所述扩展块的所述邻近参考样本。在某些示例中，所述扩展块的所述邻近参考样本具有从原始精度舍入的最近整数运动向量。
在至少包含代表性方法1800、1850、1900、2000、2100、2200和2600的某些代表性实施例中，这些方法可包含编码器100或300和/或解码器200或500确定所述视频的所述当前块的仿射运动模型参数，使得可使用所确定仿射运动模型参数来生成所述基于子块的运动预测信号。
在至少包含代表性方法1800、1850、1900、2000、2100、2200、2300、2500及2600的某些代表性实施例中，所述相应子块的所述空间梯度的所述确定可包含：计算所述相应子块中的每一相应样本位置的至少一个梯度值。例如，针对所述相应子块中的所述每个相应样本位置的所述至少一个梯度值的所述计算可以包括：针对每个相应样本位置，将梯度滤波器应用于所述相应子块中的所述相应样本位置。作为另一示例，所述计算所述相应子块中的每个相应样本位置的所述至少一个梯度值可以包括：根据光流等式确定所述相应子块中的每个相应样本位置的强度变化。
在至少包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性实施例中，这些方法可包含编码器100或300和/或解码器200或500确定与所述相应子块的所述样本位置相关联的一组运动向量差值。举例来说，通过使用所述当前块的仿射运动模型，可生成所述基于子块的运动预测信号，且可确定所述一组运动向量差值。
在至少包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性实施例中，可针对所述当前块的所述相应子块确定所述一组运动向量差值，且可使用所述一组运动向量差值，确定所述当前块的其它剩余子块的运动预测细化信号。
在至少包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性实施例中，所述相应子块的所述空间梯度的所述确定可包含：使用以下任意者来计算所述空间梯度：(1)垂直Sobel滤波器；(2)水平索贝尔滤波器；和/或(3)3抽头滤波器。
在至少包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性实施例中，邻接及围绕所述相应子块的邻近参考样本可使用整数运动补偿。
在至少包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性实施例中，所述相应子块的所述空间梯度可包含以下各项中的任意者：水平梯度或垂直梯度。举例来说，所述水平梯度可被计算为相应样本的右边相邻样本与所述相应样本的左边相邻样本之间的亮度差或色度差；和/或所述垂直梯度可以被计算为所述相应样本的底部相邻样本与所述相应样本的顶部相邻样本之间的亮度差或色度差。
在至少包含代表性方法1800、1850、1900、2000、2100、2200和2600的某些代表性实施例中，可使用以下任意者来生成所述基于子块的运动预测信号：(1)4参数仿射模型；(2)6参数仿射模型；(3)基于子块的时间运动向量预测(SbTMVP)模式运动补偿；或(4)基于回归的运动补偿。举例来说，在执行SbTMVP模式运动补偿的条件下，所述方法可包含：通过线性回归操作使用子块运动向量场来估计仿射模型参数；和/或使用所估计的仿射模型参数来导出像素级运动向量。作为另一示例，在执行基于RMVF模式的运动补偿的条件下，该方法可以包括：估计仿射模型参数；和/或使用所估计的仿射模型参数从子块级运动向量导出像素级运动向量偏移。所述像素运动向量偏移可相对于所述相应子块的中心。
在至少包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性实施例中，用于所述相应子块的细化运动预测信号可基于所述相应子块的实际中心位置或可基于最接近所述相应子块的所述实际中心的样本位置。
例如，这些方法可以包括编码器100或300和/或解码器200或500选择以下之一作为与每个相应子块的运动预测向量相关联的中心位置：(1)每个相应子块的实际中心，或(2)最接近所述相应子块的所述实际中心的样本位置。所述细化运动预测信号可以基于每个子块的所选中心位置。
在至少包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性实施例中，这些方法可包含编码器100或300和/或解码器200或500确定与所述相应子块的色度像素相关联的中心位置；以及基于与所述色度像素相关联的色度位置样本类型，确定到所述相应子块的所述色度像素的所述中心位置的偏移。用于所述相应子块的细化运动预测信号可基于所述子块的实际位置，其对应于通过所述偏移调整的所述色度像素的所确定中心位置。
在至少包括代表性方法1800、1850、1900、2000、2100、2200和2600的某些代表性实施例中，编码器100或300可以在以下各项之一中生成并发送指示是否启用了利用光流的预测细化(PROF)的信息：(1)序列参数集SPS报头，(2)图片参数集PPS报头，或(3)图块群组报头，和/或解码器200或500可以在以下之一中接收指示PROF是否被启用的信息：(1)所述SPS报头，(2)所述PPS报头，或(3)图块群组报头。
图27是示出了第十代表性编码和/或解码方法的流程图。
参考图27，用于编码和/或解码视频的代表性方法2700可包括：在框2710，编码器100或300和/或解码器200或500确定所述当前块的每个相应子块的实际中心位置。在框2720，编码器100或300和/或解码器200或500可以使用所述当前块的每个相应子块的所述实际中心位置来生成基于子块的运动预测信号或细化运动预测信号。在框2730，(1)编码器100或300可使用所述基于子块的运动预测信号或所生成的细化运动预测信号作为对所述当前块的预测来对所述视频进行编码，或者(2)解码器200或500可使用所述基于子块的运动预测信号或所生成的细化运动预测信号作为对所述当前块的预测来对所述视频进行解码。在某些实施例中，可以针对视频中的至少一个块(例如，所述当前块)来执行在框2710、2720和2730处的操作。举例来说，所述当前块的每一相应子块的所述实际中心位置的所述确定可包含：基于色度像素的色度位置样本类型，确定与相应子块的色度像素相关联的色度中心位置及所述色度中心位置相对于所述相应子块的所述中心位置的偏移。用于所述相应子块的所述基于子块的运动预测信号或所述细化运动预测信号可以基于所述相应子块的所述实际中心位置，其对应于通过所述偏移调整的所确定的色度中心位置。尽管所述当前块的每个相应子块的实际中心被描述为被确定/用于各种操作，但是可以设想，可以确定/使用这样的子块的中心位置中的一个、一部分或全部中心位置。
在至少包含代表性方法1800、1850、1900、2000、2100、2200、2600、2700和2800的某些代表性实施例中，所述细化运动预测信号的所述生成可通过通过以下来使用所述基于子块的运动预测信号：针对所述当前块的每一相应子块，确定所述基于子块的运动预测信号的一个或多个空间梯度、基于所述所确定空间梯度来确定所述当前块的运动预测细化信号、和/或组合所述基于子块的运动预测信号与所述运动预测细化信号以产生所述当前块的所述细化运动预测信号。举例来说，对所述基于子块的运动预测信号的所述一个或多个空间梯度的所述确定可包含：使用所述基于子块的运动预测信号和邻接并围绕所述相应子块的邻近参考样本，确定扩展子块，和/或使用所述确定的扩展子块，确定所述相应子块的所述一个或多个空间梯度。
在至少包含代表性方法1800、1850、1900、2000、2100、2200、2600、2700及2800的某些代表性实施例中，所述相应子块的空间梯度的所述确定可包含：计算所述相应子块中的每一相应样本位置的至少一个梯度值。例如，所述计算所述相应子块中的每个相应样本位置的所述至少一个梯度值可以包括：对于每个相应样本位置，将梯度滤波器应用于所述相应子块中的所述相应样本位置。
作为另一示例，所述计算所述相应子块中的每个相应样本位置的所述至少一个梯度值可以包括：根据光流等式，确定所述相应子块中的一个或多个相应样本位置的强度变化。
在至少包含代表性方法1800、1850、1900、2000、2100、2200、2600、2700和2800的某些代表性实施例中，这些方法可包含编码器100或300和/或解码器200或500确定与所述相应子块的所述样本位置相关联的一组运动向量差值。通过使用所述当前块的仿射运动模型，可生成所述基于子块的运动预测信号，且可确定所述一组运动向量差值。在某些示例中，可以针对所述当前块的所述相应子块，确定所述一组运动向量差值，并且可以使用(例如，重用)该一组运动向量差值来确定所述当前块的该子块和其他剩余子块的运动预测细化信号。举例来说，所述确定所述相应子块的所述空间梯度可包含使用以下各项中的任意者来计算所述空间梯度：(1)垂直Sobel滤波器；(2)水平Sobel滤波器；和/或(3)3抽头滤波器。邻接和围绕所述相应子块的邻近参考样本可使用整数运动补偿。
在一些实施例中，所述相应子块的所述空间梯度可包含以下各项中的任意者：水平梯度或垂直梯度。举例来说，所述水平梯度可被计算为所述相应样本的右边相邻样本与所述相应样本的左边相邻样本之间的亮度差或色度差。作为另一示例，所述垂直梯度可被计算为所述相应样本的底部相邻样本与所述相应样本的顶部相邻样本之间的亮度差或色度差。
在至少包含代表性方法1800、1850、1900、2000、2100、2200、2600、2700和2800的某些代表性实施例中，可使用以下任意者来生成所述基于子块的运动预测信号：(1)4参数仿射模型；(2)6参数仿射模型；(3)基于子块的时间运动向量预测(SbTMVP)模式运动补偿；和/或(4)基于回归的运动补偿。举例来说，在执行SbTMVP模式运动补偿的条件下，所述方法可包含：通过线性回归操作使用子块运动向量场来估计仿射模型参数；和/或使用所估计的仿射模型参数来导出像素级运动向量。作为另一示例，在执行基于回归运动向量场(RMVF)模式的运动补偿的条件下，该方法可以包括：估计仿射模型参数；和/或使用所述所估计仿射模型参数从子块级运动向量导出像素级运动向量偏移，其中所述像素运动向量偏移是相对于所述相应子块的中心的。
在至少包括代表性方法1800、1850、1900、2000、2100、2200、2600、2700和2800的某些代表性实施例中，可使用与所述当前块的控制点相关联的多个运动向量来产生所述细化运动预测信号。
在至少包括代表性方法1800、1850、1900、2000、2100、2200、2600、2700和2800的某些代表性实施例中，编码器100或300可以在以下之一中生成、编码和发送一信息，并且解码器200或500可以在以下之一中接收和解码该信息，该信息指示了是否启用了利用光流的预测细化(PROF)：(1)序列参数集SPS报头，(2)图片参数集PPS报头，或(3)图块群组报头。
图28是示出了第十一代表性编码和/或解码方法的流程图。
参考图28，用于编码和/或解码视频的代表性方法2800可以包括：在框2810，编码器100或300和/或解码器200或500选择以下中的一个作为与每个相应子块的运动预测向量相关联的中心位置：(1)每个相应子块的实际中心，或(2)最接近所述相应子块的所述实际中心的样本位置。在框2820处，编码器100或300和/或解码器200或500可确定所述当前块的每一相应子块的选定中心位置。在框2830处，编码器100或300和/或解码器200或500可使用所述当前块的每一相应子块的选定中心位置来生成基于子块的运动预测信号或细化运动预测信号。在框2840处，(1)编码器100或300可使用所述基于子块的运动预测信号或所生成的细化运动预测信号作为对所述当前块的预测来编码所述视频，或(2)解码器200或500可使用所述基于子块的运动预测信号或所生成的细化运动预测信号作为对所述当前块的预测来解码所述视频。在某些实施例中，可以针对所述视频中的至少一个块(例如，所述当前块)来执行框2810、2820、2830和2840处的操作。尽管关于所述当前块的每个相应子块描述了关于中心位置的选择，但是可以设想，在各种操作中可以选择/使用这样的子块的中心位置的一个、一部分或全部中心位置。
图29是示出代表性编码方法的流程图。
参看图29，用以编码视频的代表性方法2900可包含：在框2910处，编码器100或300对视频的当前块执行运动估计，这其中包含使用迭代运动补偿操作确定所述当前块的仿射运动模型参数，以及使用所确定的仿射运动模型参数来生成所述当前块的基于子块的运动预测信号。在框2920处，在对所述当前块执行运动估计之后，所述编码器100或300可以执行利用光流的预测细化(PROF)操作以生成细化运动预测信号。在框2930，编码器100或300可以使用所述细化运动预测信号作为对所述当前块的预测来对所述视频进行编码。例如，所述PROF操作可以包括：确定所述基于子块的运动预测信号的一个或多个空间梯度；基于所确定的空间梯度来确定用于所述当前块的运动预测细化信号；和/或组合所述基于子块的运动预测信号和所述运动预测细化信号以产生所述当前块的细化运动预测信号。
在至少包含代表性方法1800、1850、1900、2000、2100、2200、2600及2900的某些代表性实施例中，可在迭代运动补偿操作完成之后(例如，仅在其之后)执行所述PROF操作。例如，在所述当前块的运动估计期间，不执行所述PROF操作。
图30是示出另一代表性编码方法的流程图。
参看图30，用以编码视频的代表性方法3000可包含：在框3010处，编码器100或300，在所述当前块的运动估计期间，使用迭代运动补偿操作来确定仿射运动模型参数，并使用所确定的仿射运动模型参数来生成基于子块的运动预测信号。在框3020，在所述当前块的运动估计之后，在当前块的大小满足或超过阈值大小的条件下，编码器100或300可以执行利用光流的预测细化(PROF)操作以生成一细化运动预测信号。在框3030处，编码器100或300可以通过以下来编码视频：(1)在所述当前块满足或超过所述阈值大小的条件下，使用所述细化运动预测信号作为对所述当前块的预测，或者(2)在所述当前块不满足所述阈值大小的条件下，使用所述基于子块的运动预测信号作为对所述当前块的预测。
图31是示出了第十二代表性编码/解码方法的流程图。
参考图31，用于编码和/或解码视频的代表性方法3100可以包括：在框3110，编码器100或300确定或获得指示当前块的大小的信息，或者解码器200或500接收指示当前块的大小的信息。在框3120处，编码器100或300或者解码器200或500可以生成基于子块的运动预测信号。在框3130处，在所述当前块的大小满足或超过阈值大小的条件下，编码器100或300或者解码器200或500可以执行利用光流的预测细化(PROF)操作以生成细化运动预测信号。在框3140处，编码器100或300可以通过以下来编码视频：(1)在所述当前块满足或超过阈值大小的条件下，使用所述细化运动预测信号作为对所述当前块的预测，或者(2)在所述当前块不满足所述阈值大小的条件下，使用所述基于子块的运动预测信号作为对所述当前块的预测，或者解码器200或500可以通过以下来解码视频：(1)在所述当前块满足或超过所述阈值大小的条件下，使用所述细化运动预测信号作为对所述当前块的预测，或者(2)在所述当前块不满足所述阈值大小的条件下，使用所述基于子块的运动预测信号作为对所述当前块的预测。
图32是示出了第十三代表性编码/解码方法的流程图。
参考图32，编码和/或解码视频的代表性方法3200可以包括：在框3210，编码器100或300确定是否要执行像素级运动补偿，或者解码器200或500接收指示是否要执行像素级运动补偿的标志。在框3220处，编码器100或300或者解码器200或500可以生成基于子块的运动预测信号。在框3230处，在要执行所述像素级运动补偿的条件下，编码器100或300或者解码器200或500可以：确定所述基于子块的运动预测信号的一个或多个空间梯度，基于所确定的空间梯度来确定所述当前块的运动预测细化信号，以及组合所述基于子块的运动预测信号和所述运动预测细化信号以产生所述当前块的细化运动预测信号。在框3240，根据确定是否要执行所述像素级运动补偿，编码器100或300可以使用所述基于子块的运动预测信号或所述细化运动预测信号作为对所述当前块的预测来编码所述视频，或者解码器200或500可以根据所述标志的指示而使用所述基于子块的运动预测信号或所述细化运动预测信号作为对所述当前块的预测来解码所述视频。在某些实施例中，可以针对所述视频中的块(例如，所述当前块)来执行在框3220和3230处的操作。
图33是示出了第十四代表性编码/解码方法的流程图。
参考图33，用于编码和/或解码视频的代表性方法3300可以包括：在框3310，编码器100或300确定或获得或解码器200或500接收指示帧间预测权重信息，其指示与第一和第二参考图片相关联的一个或多个权重。在框3320处，编码器100或300或解码器200或500针对视频的当前块，可以生成基于子块的运动帧间预测信号，可以确定与第一参考图片相关联的第一组空间梯度和与第二参考图片相关联的第二组空间梯度，可以基于所述第一组空间梯度和所述第二组空间梯度以及所述帧间预测权重信息来确定所述当前块的运动帧间预测细化信号，并且可以将所述基于子块的运动帧间预测信号和所述运动帧间预测细化信号进行组合以产生所述当前块的细化运动帧间预测信号。在框3330，编码器100或300可以使用所述细化运动帧间预测信号作为对所述当前块的预测来对所述视频进行编码，或者解码器200或500可以使用所述细化运动帧间预测信号作为对所述当前块的预测来对所述视频进行解码。例如，所述帧间预测权重信息是以下中的任意者：(1)指示符，其指示将应用于所述第一参考图片的第一加权因子和/或将应用于所述第二参考图片的第二加权因子；或(2)权重索引。在某些实施例中，所述当前块的所述运动帧间预测细化信号可以基于：(1)从所述第一组空间梯度导出且根据由所述帧间预测权重信息指示的第一权重因子加权的第一梯度值，及(2)从所述第二组空间梯度导出且根据由所述帧间预测权重信息指示的第二权重因子加权的第二梯度值。
用于实施例的实现的示例网络
图34A是示出了可以实施所公开的一个或多个实施例的示例性通信系统3400的示意图。该通信系统3400可以是为多个无线用户提供诸如语音、数据、视频、消息传递、广播等内容的多址接入系统。该通信系统3400可以通过共享包括无线带宽在内的系统资源而使多个无线用户能够访问此类内容。举例来说，通信系统3400可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT-扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块过滤OFDM以及滤波器组多载波(FBMC)等等。
如图34A所示，通信系统3400可以包括无线发射/接收单元(WTRU)3402a、3402b、3402c、3402d、RAN 3404/3413、CN 3406/3415、公共交换电话网络(PSTN)3408、因特网3410以及其他网络3412，然而应该了解，所公开的实施例设想了任意数量的WTRU、基站、网络和/或网络部件。WTRU 3402a、3402b、3402c、3402d每一者可以是被配置成在无线环境中工作和/或通信的任何类型的设备。举例来说，WTRU 3402a、3402b、3402c、3402d任何一者都可以被称为“站”和/或“STA”，其可以被配置成发射和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于签约的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴显示器(HMD)、车辆、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如机器人和/或在工业和/或自动处理链环境中工作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上工作的设备等等。WTRU 3402a、3402b、3402c、3402d中的任何一者可被可交换地称为UE。
所述通信系统3400还可以包括基站3414a和/或基站3414b。基站3414a、3414b的每一者可以是被配置成通过以无线方式与WTRU 3402a、3402b、3402c、3402d中的至少一者无线对接来促使其接入一个或多个通信网络(例如CN 3406/3415、因特网3410、和/或其他网络3412)的任何类型的设备。例如，基站3414a、3414b可以是基地收发信台(BTS)、节点B、e节点B(终端)、家庭节点B(HNB)、家庭e节点B(HeNB)、gNB、NR节点B、站点控制器、接入点(AP)、以及无线路由器等等。虽然基站3414a、3414b的每一者都被描述成了单个部件，然而应该了解，基站3414a、3414b可以包括任何数量的互连基站和/或网络部件。
基站3414a可以是RAN 3404/3413的一部分，并且该RAN还可以包括其他基站和/或网络部件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站3414a和/或基站3414b可被配置成在名为小区(未显示)的一个或多个载波频率上发射和/或接收无线信号。这些频率可以处于授权频谱、无授权频谱或是授权与无授权频谱的组合之中。小区可以为相对固定或者有可能随时间变化的特定地理区域提供无线服务覆盖。小区可被进一步分成小区扇区。例如，与基站3414a相关联的小区可被分为三个扇区。由此，在一个实施例中，基站3414a可以包括三个收发信机，也就是说，每一个收发信机都对应于小区的一个扇区。在实施例中，基站3414a可以使用多输入多输出(MIMO)技术，并且可以为小区的每一个扇区使用多个收发信机。例如，通过使用波束成形，可以在期望的空间方向上发射和/或接收信号。
基站3414a、3414b可以通过空中接口3416来与WTRU 3402a、3402b、3402c、3402d中的一者或多者进行通信，其中所述空中接口可以是任何适当的无线通信链路(例如射频(RF)、微波、厘米波、毫米波、红外线(IR)、紫外线(UV)、可见光等等)。空中接口3416可以使用任何适当的无线电接入技术(RAT)来建立。
更具体地说，如上所述，通信系统3400可以是多址接入系统，并且可以使用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如，RAN 3404/3413中的基站3414a与WTRU 3402a、3402b、3402c可以实施某种无线电技术，例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)，其中所述技术可以使用宽带CDMA(WCDMA)来建立空中接口3415/3416/3417。WCDMA可以包括如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在实施例中，基站3414a和WTRU 3402a、3402b、3402c可以实施某种无线电技术，例如演进型UMTS陆地无线电接入(E-UTRA)，其中所述技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)和/或先进LTE Pro(LTE-A Pro)来建立空中接口3416。
在实施例中，基站3414a和WTRU 3402a、3402b、3402c可以实施某种可以使用新无线电(NR)建立空中接口3416的无线电技术，例如NR无线电接入。
在实施例中，基站3414a和WTRU 3402a、3402b、3402c可以实施多种无线电接入技术。例如，基站3414a和WTRU 3402a、3402b、3402c可以共同实施LTE无线电接入和NR无线电接入(例如使用双连接(DC)原理)。由此，WTRU 3402a、3402b、3402c使用的空中接口可以通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如，终端和gNB)发送的传输来表征。
在其他实施例中，基站3414a和WTRU 3402a、3402b、3402c可以实施以下的无线电技术，例如IEEE 802.11(即，无线高保真(WiFi))、IEEE 802.16(全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强数据速率(EDGE)、以及GSM EDGE(GERAN)等等。
图34A中的基站3414b可以例如是无线路由器、家庭节点B、家庭e节点B或接入点，并且可以使用任何适当的RAT来促成局部区域中的无线连接，例如营业场所、住宅、车辆、校园、工业设施、空中走廊(例如供无人机使用)以及道路等等。在一个实施例中，基站3414b与WTRU 3402c、3402d可以通过实施IEEE 802.11之类的无线电技术来建立无线局域网(WLAN)。在实施例中，基站3414b与WTRU 3402c、3402d可以通过实施IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在再一个实施例中，基站3414b和WTRU 3402c、3402d可通过使用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等)来建立微微小区或毫微微小区。如图34A所示，基站3414b可以直连到因特网3410。由此，基站3414b不需要经由CN 3406/3415来接入因特网3410。
RAN 3404/3413可以与CN 3406/3415进行通信，所述CN可以是被配置成向WTRU3402a、3402b、3402c、3402d的一者或多者提供语音、数据、应用和/或借助网际协议语音(VoIP)服务的任何类型的网络。该数据可以具有不同的服务质量(QoS)需求，例如不同的吞吐量需求、延时需求、容错需求、可靠性需求、数据吞吐量需求、以及移动性需求等等。CN3406/3415可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等，和/或可以执行用户认证之类的高级安全功能。虽然在图34A中没有显示，然而应该了解，RAN 1084/3413和/或CN 3406/3415可以直接或间接地和其他那些与RAN3404/3413使用相同RAT或不同RAT的RAN进行通信。例如，除了与使用NR无线电技术的RAN3404/3413相连之外，CN 3406/3415还可以与使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的别的RAN(未显示)通信。
CN 3406/3415还可以充当供WTRU 3402a、3402b、3402c、3402d接入PSTN 3408、因特网3410和/或其他网络3412的网关。PSTN 3408可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网3410可以包括使用了公共通信协议(例如传输控制协议/网际协议(TCP/IP)网际协议族中的TCP、用户数据报协议(UDP)和/或IP)的全球性互联计算机网络设备系统。所述网络3412可以包括由其他服务供应商拥有和/或运营的有线或无线通信网络。例如，所述网络3412可以包括与一个或多个RAN相连的另一个CN，其中所述一个或多个RAN可以与RAN 3404/3413使用相同RAT或不同RAT。
通信系统3400中的一些或所有WTRU 3402a、3402b、3402c、3402d可以包括多模能力(例如WTRU 3402a、3402b、3402c、3402d可以包括在不同无线链路上与不同无线网络通信的多个收发信机)。例如，图34A所示的WTRU 3402c可被配置成与使用基于蜂窝的无线电技术的基站3414a通信，以及与可以使用IEEE 802无线电技术的基站3414b通信。
图34B是示出了示例性WTRU 3402的系统图示。如图34B所示，WTRU 3402可以包括处理器3418、收发信机3420、发射/接收部件3422、扬声器/麦克风3424、键盘3426、显示器/触摸板3428、不可移除存储器3430、可移除存储器3432、电源3434、全球定位系统(GPS)芯片组3436和/或周边设备3438。应该了解的是，在保持符合实施例的同时，WTRU 3402还可以包括前述部件的任何子组合。
处理器3418可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器3418可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU 3402在无线环境中工作的功能。处理器3418可以耦合至收发信机3420，收发信机3420可以耦合至发射/接收部件3422。虽然图34B将处理器3418和收发信机3420描述成单独组件，然而应该了解，处理器3418和收发信机3420也可以一起集成在一电子组件或芯片中。所述处理器3418可被配置为编码或解码视频(例如，视频帧)。
发射/接收部件3422可被配置成经由空中接口3416来发射或接收去往或来自基站(例如，基站3414a)的信号。举个例子，在一个实施例中，发射/接收部件3422可以是被配置成发射和/或接收RF信号的天线。作为示例，在另一实施例中，发射/接收部件3422可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在再一个实施例中，发射/接收部件3422可被配置成发射和/或接收RF和光信号。应该了解的是，发射/接收部件3422可以被配置成发射和/或接收无线信号的任何组合。
虽然在图34B中将发射/接收部件3422描述成是单个部件，但是WTRU 3402可以包括任何数量的发射/接收部件3422。更具体地说，WTRU 3402可以使用MIMO技术。由此，在一个实施例中，WTRU 3402可以包括两个或多个通过空中接口3416来发射和接收无线信号的发射/接收部件3422(例如多个天线)。
收发信机3420可被配置成对发射/接收部件3422所要传送的信号进行调制，以及对发射/接收部件3422接收的信号进行解调。如上所述，WTRU 3402可以具有多模能力。因此，收发信机3420可以包括允许WTRU 3402借助多种RAT(例如NR和IEEE 802.11)来进行通信的多个收发信机。
WTRU 3402的处理器3418可以耦合到扬声器/麦克风3424、数字键盘3426和/或显示器/触摸板3428(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器3418还可以向扬声器/麦克风3424、键盘3426和/或显示器/触摸板3428输出用户数据。此外，处理器3418可以从诸如不可移除存储器3430和/或可移除存储器3432之类的任何适当的存储器中存取信息，以及将信息存入这些存储器。不可移除存储器3430可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器3432可以包括订户身份模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在其他实施例中，处理器3418可以从那些并非实际位于WTRU3402的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。
处理器3418可以接收来自电源3434的电力，并且可被配置分发和/或控制用于WTRU 3402中的其他组件的电力。电源3434可以是为WTRU 3402供电的任何适当设备。例如，电源3434可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。
处理器3418还可以耦合到GPS芯片组3436，该GPS芯片组可被配置成提供与WTRU3402的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组3436的信息的补充或替换，WTRU 3402可以经由空中接口3416接收来自基站(例如基站3414a、3414b)的位置信息，和/或根据从两个或多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持符合实施例的同时，WTRU 3402可以借助任何适当的定位方法来获取位置信息。
处理器3418还可以耦合到其他周边设备3438，其中所述周边设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，所述周边设备3438可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、
Figure BDA0003191524080000661
模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、以及活动跟踪器等等。所述周边设备3438可以包括一个或多个传感器，所述传感器可以是以下的一者或多者：陀螺仪、加速度计、霍尔效应传感器、磁强计、方位传感器、邻近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物测定传感器和/或湿度传感器等。
所述WTRU 3402的处理器3418可以可操作地与各种周边设备3438通信，该周边设备3438包括例如以下中的任一者：所述一个或多个加速计、所述一个或多个陀螺仪、所述USB端口、其他通信接口/端口、所述显示器和/或其他视频/音频指示器，以实现本文公开的代表性实施例。
WTRU 3402可以包括全双工无线电设备，其中对于该无线电设备来说，一些或所有信号(例如与用于UL(例如对传输而言)和下行链路(例如对接收而言)的特定子帧相关联)的接收或传输可以是并发和/或同时的。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器3418)的信号处理来减小和/或基本消除自干扰的干扰管理单元。在实施例中，WTRU 3402可以包括传送和接收一些或所有信号(例如与用于UL(例如对传输而言)或下行链路(例如对接收而言)的特定子帧相关联)的半双工无线电设备。
图34C是示出了根据实施例的RAN 3404和CN 3406的系统图示。如上所述，RAN3404可以通过空中接口3416使用E-UTRA无线电技术来与WTRU 3402a、3402b、3402c进行通信。所述RAN 3404还可以与CN 3406进行通信。
RAN 3404可以包括e节点B 3460a、3460b、3460c，然而应该了解，在保持符合实施例的同时，RAN 3404可以包括任何数量的e节点B。e节点B 3460a、3460b、3460c每一者都可以包括通过空中接口3416与WTRU 3402a、3402b、3402c通信的一个或多个收发信机。在一个实施例中，e节点B 3460a、3460b、3460c可以实施MIMO技术。由此，举例来说，e节点B 3460a可以使用多个天线来向WTRU 3402a发射无线信号，和/或接收来自WTRU 3402a的无线信号。
e节点B 3460a、3460b、3460c每一者都可以关联于一个特定小区(未显示)，并且可被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度等等。如图34C所示，e节点B 3460a、3460b、3460c彼此可以通过X2接口进行通信。
图34C所示的CN 3406可以包括移动性管理实体(MME)3462、服务网关(SGW)3464以及分组数据网络(PDN)网关(或PGW)3466。虽然每一前述部件都被描述成是CN 3406的一部分，然而应该了解，这其中的任一部件都可以由CN运营商之外的实体拥有和/或运营。
MME 3462可以经由S1接口连接到RAN 3404中的e节点B 3460a、3460b、3460c的每一者，并且可以充当控制节点。例如，MME 3462可以负责认证WTRU 3402a、3402b、3402c的用户，执行承载激活/去激活处理，以及在WTRU 3402a、3402b、3402c的初始附着过程中选择特定的服务网关等等。MME 3462可以提供用于在RAN 3404与使用其他无线电技术(例如GSM和/或WCDMA)的其他RAN(未显示)之间进行切换的控制平面功能。
SGW 3464可以经由S1接口连接到RAN 3404中的e节点B 3460a、3460b、3460c的每一者。SGW 3464通常可以路由和转发去往/来自WTRU 3402a、3402b、3402c的用户数据分组。并且，SGW 3464还可以执行其他功能，例如在eNB间的切换过程中锚定用户平面，在DL数据可供WTRU 3402a、3402b、3402c使用时触发寻呼处理，以及管理并存储WTRU 3402a、3402b、3402c的上下文等等。
SGW 3464可以连接到PGW 146，所述PGW可以为WTRU 3402a、3402b、3402c提供分组交换网络(例如因特网3410)接入，以便促成WTRU 3402a、3402b、3402c与启用IP的设备之间的通信。
CN 3406可以促成与其他网络的通信。例如，CN 3406可以为WTRU 3402a、3402b、3402c提供对电路交换网络(例如PSTN 3408)的接入，以便促成WTRU 3402a、3402b、3402c与传统的陆线通信设备之间的通信。例如，CN 3406可以包括IP网关(例如IP多媒体子系统(IMS)服务器)或与之进行通信，并且该IP网关可以充当CN 3406与PSTN 3408之间的接口。此外，CN 3406可以为WTRU 3402a、3402b、3402c提供针对所述其他网络3412的接入，其中该网络可以包括其他服务供应商拥有和/或运营的其他有线和/或无线网络。
虽然在图34A-34D中将WTRU描述成了无线终端，然而应该想到的是，在某些代表性实施例中，此类终端与通信网络可以使用(例如临时或永久性)有线通信接口。
在代表性实施例中，所述其他网络3412可以是WLAN。
采用基础架构基本服务集(BSS)模式的WLAN可以具有用于所述BSS的接入点(AP)以及与所述AP相关联的一个或多个站(STA)。所述AP可以访问或是对接到分布式系统(DS)或是将业务量送入和/或送出BSS的别的类型的有线/无线网络。源于BSS外部且去往STA的业务量可以通过AP到达并被递送至STA。源自STA且去往BSS外部的目的地的业务量可被发送至AP，以便递送到相应的目的地。处于BSS内部的STA之间的业务量可以通过AP来发送，例如在源STA可以向AP发送业务量并且AP可以将业务量递送至目的地STA的情况下。处于BSS内部的STA之间的业务量可被认为和/或称为点到点业务量。所述点到点业务量可以在源与目的地STA之间(例如在其间直接)用直接链路建立(DLS)来发送。在某些代表性实施例中，DLS可以使用802.11e DLS或802.11z通道化DLS(TDLS))。举例来说，使用独立BSS(IBSS)模式的WLAN不具有AP，并且处于所述IBSS内部或是使用所述IBSS的STA(例如所有STA)彼此可以直接通信。在这里，IBSS通信模式有时可被称为“自组织(Ad-hoc)”通信模式。
在使用802.11ac基础设施工作模式或类似的工作模式时，AP可以在固定信道(例如主信道)上传送信标。所述主信道可以具有固定宽度(例如20MHz的带宽)或是经由信令动态设置的宽度。主信道可以是BSS的工作信道，并且可被STA用来与AP建立连接。在某些代表性实施例中，所实施的可以是具有冲突避免的载波感测多址接入(CSMA/CA)(例如在802.11系统中)。对于CSMA/CA来说，包括AP在内的STA(例如每一个STA)可以感测主信道。如果特定STA感测到/检测到和/或确定主信道繁忙，那么所述特定STA可以回退。在指定的BSS中，在任何指定时间都有一个STA(例如只有一个站)进行传输。
高吞吐量(HT)STA可以使用宽度为40MHz的信道来进行通信(例如借助于将宽度为20MHz的主信道与宽度为20MHz的相邻或不相邻信道相结合来形成宽度为40MHz的信道)。
甚高吞吐量(VHT)STA可以支持宽度为20MHz、40MHz、80MHz和/或160MHz的信道。40MHz和/或80MHz信道可以通过组合连续的20MHz信道来形成。160MHz信道可以通过组合8个连续的20MHz信道或者通过组合两个不连续的80MHz信道(这种组合可被称为80+80配置)来形成。对于80+80配置来说，在信道编码之后，数据可被传递并经过一个分段解析器，所述分段解析器可以将数据非成两个流。在每一个流上可以单独执行逆快速傅里叶变换(IFFT)处理以及时域处理。所述流可被映射在两个80MHz信道上，并且数据可以由执行传输的STA来传送。在执行接收的STA的接收机上，用于80+80配置的上述操作可以是相反的，并且组合数据可被发送至介质接入控制(MAC)。
802.11af和802.11ah支持1GHz以下的工作模式。相比于802.11n和802.11ac，在802.11af和802.11ah中使用信道工作带宽和载波有所缩减。802.11af在TV白空间(TVWS)频谱中支持5MHz、10MHz和20MHz带宽，并且802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。依照代表性实施例，802.11ah可以支持仪表类型控制/机器类型通信(MTC)(例如宏覆盖区域中的MTC设备)。MTC设备可以具有某种能力，例如包含了支持(例如只支持)某些和/或有限带宽在内的受限能力。MTC设备可以包括电池，并且该电池的电池寿命高于阈值(例如用于保持很长的电池寿命)。
对于可以支持多个信道和信道带宽的WLAN系统(例如802.11n、802.11ac、802.11af以及802.11ah)来说，这些系统包含了可被指定成主信道的信道。所述主信道的带宽可以等于BSS中的所有STA所支持的最大公共工作带宽。主信道的带宽可以由某一个STA设置和/或限制，其中所述STA源自在支持最小带宽工作模式的BSS中工作的所有STA。在关于802.11ah的示例中，即使BSS中的AP和其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽工作模式，但对支持(例如只支持)1MHz模式的STA(例如MTC类型的设备)来说，主信道的宽度可以是1MHz。载波感测和/或网络分配向量(NAV)设置可以取决于主信道的状态。如果主信道繁忙(例如因为STA(其只支持1MHz工作模式)对AP进行传输)，那么即使大多数的可用频带保持空闲并且可供使用，也可以认为整个可用频带繁忙。
在美国，可供802.11ah使用的可用频带是902MHz到928MHz。在韩国，可用频带是917.5MHz到923.5MHz。在日本，可用频带是916.5MHz到927.5MHz。依照国家码，可用于802.11ah的总带宽是6MHz到26MHz。
图34D是示出了根据实施例的RAN 3413和CN 3415的系统图示。如上所述，RAN3413可以通过空中接口3416使用NR无线电技术来与WTRU 3402a、3402b、3402c进行通信。RAN 3413还可以与CN 3415进行通信。
RAN 3413可以包括gNB 3480a、3480b、3480c，但是应该了解，在保持符合实施例的同时，RAN 3413可以包括任何数量的gNB。gNB 3480a、3480b、3480c每一者都可以包括一个或多个收发信机，以便通过空中接口3416来与WTRU 3402a、3402b、3402c通信。在一个实施例中，gNB 3480a、3480b、3480c可以实施MIMO技术。例如，gNB 3480a、3480b可以使用波束成形处理来向和/或从gNB 3480a、3480b、3480c发射和/或接收信号。由此，举例来说，gNB3480a可以使用多个天线来向WTRU 3402a发射无线信号，以及接收来自WTRU 3402a的无线信号。在实施例中，gNB 3480a、3480b、3480c可以实施载波聚合技术。例如，gNB 3480a可以向WTRU 3402a(未显示)传送多个分量载波。这些分量载波的子集可以处于无授权频谱上，而剩余分量载波则可以处于授权频谱上。在实施例中，gNB 3480a、3480b、3480c可以实施协作多点(CoMP)技术。例如，WTRU 3402a可以接收来自gNB 3480a和gNB 3480b(和/或gNB3480c)的协作传输。
WTRU 3402a、3402b、3402c可以使用与可扩缩数字配置相关联的传输来与gNB3480a、3480b、3480c进行通信。例如，对于不同的传输、不同的小区和/或不同的无线传输频谱部分来说，OFDM符号间隔和/或OFDM子载波间隔可以是不同的。WTRU 3402a、3402b、3402c可以使用具有不同或可扩缩长度的子帧或传输时间间隔(TTI)(例如包含了不同数量的OFDM符号和/或持续不同的绝对时间长度)来与gNB 3480a、3480b、3480c进行通信。
gNB 3480a、3480b、3480c可被配置成与采用独立配置和/或非独立配置的WTRU3402a、3402b、3402c进行通信。在独立配置中，WTRU 3402a、3402b、3402c可以在不接入其他RAN(例如，e节点B 3460a、3460b、3460c)的情况下与gNB 3480a、3480b、3480c进行通信。在独立配置中，WTRU 3402a、3402b、3402c可以使用gNB 3480a、3480b、3480c中的一者或多者作为移动锚点。在独立配置中，WTRU 3402a、3402b、3402c可以使用无授权频带中的信号来与gNB 3480a、3480b、3480c进行通信。在非独立配置中，WTRU 3402a、3402b、3402c会在与别的RAN(例如e节点B 3460a、3460b、3460c)进行通信/相连的同时与gNB 3480a、3480b、3480c进行通信/相连。举例来说，WTRU 3402a、3402b、3402c可以通过实施DC原理而以基本同时的方式与一个或多个gNB 3480a、3480b、3480c以及一个或多个e节点B 3460a、3460b、3460c进行通信。在非独立配置中，e节点B 3460a、3460b、3460c可以充当WTRU 3402a、3402b、3402c的移动锚点，并且gNB 3480a、3480b、3480c可以提供附加的覆盖和/或吞吐量，以便为WTRU3402a、3402b、3402c提供服务。
gNB 3480a、3480b、3480c每一者都可以关联于特定小区(未显示)，并且可以被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度、支持网络切片、双连接、实施NR与E-UTRA之间的互通处理、路由去往用户平面功能(UPF)3484a、3484b的用户平面数据、以及路由去往接入和移动性管理功能(AMF)3482a、3482b的控制平面信息等等。如图34D所示，gNB 3480a、3480b、3480c彼此可以通过Xn接口通信。
图34D所示的CN 3415可以包括至少一个AMF 3482a、3482b，至少一个UPF 3484a、3484b，至少一个会话管理功能(SMF)3483a、3483b，并且有可能包括数据网络(DN)3485a、3485b。虽然每一前述部件都被描述了CN 3415的一部分，但是应该了解，这其中的任一部件都可以被CN运营商之外的实体拥有和/或运营。
AMF 3482a、3482b可以经由N2接口连接到RAN 3413中的gNB 3480a、3480b、3480c的一者或多者，并且可以充当控制节点。例如，AMF 3482a、3482b可以负责认证WTRU 3402a、3402b、3402c的用户，支持网络切片(例如处理具有不同需求的不同协议数据单元(PDU)会话)，选择特定的SMF 3483a、3483b，管理注册区域，终止非接入层(NAS)信令，以及移动性管理等等。AMF 3482a、3482b可以使用网络切片处理，以便基于WTRU 3402a、3402b、3402c使用的服务类型来定制为WTRU 3402a、3402b、3402c提供的CN支持。作为示例，针对不同的用例，可以建立不同的网络切片，例如依赖于超可靠低延时通信(URLLC)接入的服务、依赖于增强型移动(例如，大规模移动)宽带(eMBB)接入的服务、和/或用于机器类通信(MTC)接入的服务等等。AMF 3462可以提供用于在RAN 3413与使用其他无线电技术(例如，LTE、LTE-A、LTE-A Pro和/或诸如WiFi之类的非3GPP接入技术)的其他RAN(未显示)之间切换的控制平面功能。
SMF 3483a、3483b可以经由N11接口连接到CN 3415中的AMF 3482a、3482b。SMF3483a、3483b还可以经由N4接口连接到CN 3415中的UPF 3484a、3484b。SMF 3483a、3483b可以选择和控制UPF 3484a、3484b，并且可以通过UPF 3484a、3484b来配置业务量路由。SMF3483a、3483b可以执行其他功能，例如管理和分配UE IP地址，管理PDU会话，控制策略实施和QoS，以及提供下行链路数据通知等等。PDU会话类型可以是基于IP的，不基于IP的，以及基于以太网的等等。
UPF 3484a、3484b可以经由N3接口连接RAN 3413中的gNB 3480a、3480b、3480c的一者或多者，这样可以为WTRU 3402a、3402b、3402c提供对分组交换网络(例如因特网3410)的接入，以便促成WTRU 3402a、3402b、3402c与启用IP的设备之间的通信，UPF 3484、3484b可以执行其他功能，例如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、以及提供移动性锚定处理等等。
CN 3415可以促成与其他网络的通信。例如，CN 3415可以包括或者可以与充当CN3415与PSTN 3408之间的接口的IP网关(例如IP多媒体子系统(IMS)服务器)进行通信。此外，CN 3415可以为WTRU 3402a、3402b、3402c提供针对其他网络3412的接入，这其中可以包括其他服务供应商拥有和/或运营的其他有线和/或无线网络。在一个实施例中，WTRU3402a、3402b、3402c可以经由对接到UPF 3484a、3484b的N3接口以及介于UPF 3484a、3484b与本地数据网络(DN)3485a、3485b之间的N6接口并通过UPF 3484a、3484b连接到DN 3485a、3485b。
有鉴于图34A-34D以及关于图34A-34D的相应描述，在这里对照以下的一项或多项描述的一个或多个或所有功能可以由一个或多个仿真设备(未显示)来执行：WTRU 3402a-d、基站3414a-b、e节点B 3460a-c、MME 3462、SGW 3464、PGW 3466、gNB 3480a-c、AMF3482a-b、UPF 3484a-b、SMF 3483a-b、DN 3485a-b和/或这里描述的一个或多个其他任何设备。这些仿真设备可以是被配置成模拟这里描述的一个或多个或所有功能的一个或多个设备。举例来说，这些仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。
仿真设备可被设计成在实验室环境和/或运营商网络环境中实施关于其他设备的一项或多项测试。例如，所述一个或多个仿真设备可以在被完全或部分作为有线和/或无线通信网络一部分实施和/或部署的同时执行一个或多个或所有功能，以便测试通信网络内部的其他设备。所述一个或多个仿真设备可以在被临时作为有线和/或无线通信网络的一部分实施/部署的同时执行一个或多个或所有功能。所述仿真设备可以直接耦合到别的设备以执行测试，和/或可以使用空中无线通信来执行测试。
一个或多个仿真设备可以在未被作为有线和/或无线通信网络一部分实施/部署的同时执行包括所有功能在内的一个或多个功能。例如，该仿真设备可以在测试实验室和/或未被部署(例如测试)的有线和/或无线通信网络的测试场景中使用，以便实施关于一个或多个组件的测试。所述一个或多个仿真设备可以是测试设备。所述仿真设备可以使用直接的RF耦合和/或借助RF电路(例如，该电路可以包括一个或多个天线)的无线通信来发射和/或接收数据。
与前一代视频编码标准H.264/MPEG AVC相比，HEVC标准为等效的感知质量提供了大约50％的比特率节省。尽管所述HEVC标准与其前身相比提供显著的编码改进，但额外编码效率改进可用额外编码工具实现。联合视频探索小组(JVET)发起了开发新一代视频编码标准(称为通用视频编码(VVC))的项目，例如以提供这种编码效率改进，并且称为VVC测试模型(VTM)的参考软件代码库被建立，以用于演示VVC标准的参考实现。为了便于评估新的编码工具，还生成了称为基准集(BMS)的另一个参考软件库。在所述BMS代码库中，提供较高编码效率和中等实现复杂度的附加编码工具的列表被包括在所述VTM之上，并且在VVC标准化过程期间评估类似编码技术时被用作基准。除了集成在BMS-2.0中的JEM编码工具(例如，4×4不可分离的二次变换(NSST)、广义双预测(GBi)、双向光流(BIO)、解码器侧运动向量细化(DMVR)和当前图片参考(CPR))之外，它还包括网格编码量化工具。
根据代表性实施例的用于处理数据的系统和方法可由执行包含在存储设备中的指令序列的一个或一个以上处理器来执行。这些指令可以从诸如辅助数据存储设备(一个或多个)的其它计算机可读介质读入所述存储设备。包含在所述存储设备中的指令序列的执行使得所述处理器例如如上所述地操作。在替代实施例中，可以使用硬线电路来代替软件指令或与软件指令组合来实现一个或多个实施例。这样的软件可以在处理器上运行，该处理器被远程地容纳在机器人辅助/装置(RAA)和/或另一移动设备内。在后一种情况下，数据可以经由有线或无线方式在所述RAA或包含传感器的其它移动设备与包含所述处理器的远程设备之间传输，该处理器运行执行如上所述的比例估计和补偿的软件。根据其它代表性实施例，上文关于定位描述的一些处理可在含有传感器/相机的设备中执行，而其余处理可在从含有所述传感器/相机的所述设备接收经部分处理的数据之后在第二设备中执行。
尽管上述按照特定组合描述了特征和元素，但是本领域技术人员将理解的是每个特征或元素可以被单独使用或以与其它特征和元素的任何组合来使用。此外，于此描述的方法可以在嵌入在计算机可读介质中由计算机或处理器执行的计算机程序、软件或固件中实施。非暂态计算机可读媒体的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、诸如内部硬盘和可移除磁盘之类的磁媒体、磁光媒体、以及诸如CD-ROM碟片和数字多用途碟片(DVD)之类的光媒体。与软件相关联的处理器可以用于实施在WTRU 3402、UE、终端、基站、RNC或任意主计算机中使用的射频收发信机。
此外，在上述的实施方式中，提及了处理平台、计算系统、控制器以及包含处理器的其他设备。这些设备可以包含至少一个中央处理单元(“CPU”)和存储器。根据计算机编程领域的技术人员的实践，对动作和操作或指令的符号描述的引用可以由各种CPU和存储器执行。这些动作和操作或指令可以称为“被执行”、“计算机执行”或“CPU执行”。
本领域技术人员可以理解动作和符号描述的操作或指令包括CPU对电信号的操纵。电气系统表示可以标识数据比特，其使得电信号产生变换或还原以及数据比特在存储系统中的存储位置的维持由此以重新配置或其他方式改变CPU的操作以及信号的其他处理。维持数据比特的存储位置是具有对应于或代表数据比特的特定电、磁、光或有机属性。应当理解，代表性实施方式不限于上述的平台或CPU且其他平台和CPU可以支持提供的方法。
所述数据比特也可以被维持在计算机可读介质上，其包括磁盘、光盘以及任意其他易失性(例如随机存取存储器(“RAM”))或非易失性(例如只读存储器(“ROM”))CPU可读的大存储系统。计算机可读介质可以包括协作或互连的计算机可读介质，其专门存在于处理器系统上或分布在可以是处理系统本地的或远程的多个互连处理系统间。可以理解代表性实施方式不限于上述的存储器且其他平台和存储器可以支持所描述的方法。应该理解的是，所述代表性实施例并不限于上述平台或CPU，其他平台及CPU也可支持所提供的方法。
在示出的实施方式中，这里描述的操作、处理等的任意可以被实施为存储在计算机可读介质上的计算机可读指令。该计算机可读指令可以由移动单元、网络元件和/或任意其他计算设备的处理器执行。
系统方面的硬件和软件实施之间有一点区别。硬件或软件的使用一般(但不总是，因为在某些环境中硬件与软件之间的选择可以是很重要的)是考虑成本与效率折中的设计选择。可以有影响这里描述的过程和/或系统和/或其他技术的各种工具(例如，硬件、软件、和/或固件)，且优选的工具可以随着部署的过程和/或系统和/或其他技术的上下文而改变。例如，如果实施方确定速度和精度是最重要的，则实施方可以选择主要是硬件和/或固件工具。如果灵活性是最重要的，则实施方可以选择主要是软件实施。可替换地，实施方可以选择硬件、软件和/或固件的某种组合。
上述详细描述通过使用框图、流程图和/或示例已经提出了设备和/或过程的各种实施方式。在这些框图、流程图和/或示例包含一个或多个功能和/或操作的范围内，本领域技术人员可以理解这些框图、流程图或示例内的每个功能和/或操作可以被宽范围的硬件、软件或固件或实质上的其任意组合方式单独实施和/或一起实施。合适的处理器包括例如通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、专用标准产品(ASSP)；场可编程门阵列(FPGA)电路、任意其他类型的集成电路(IC)和/或状态机。
虽然以上以特定组合提供了特征及元素，但本领域技术人员可以理解，每一特征或元素可以被单独使用或者与其他特征及元素相组合而被使用。本公开不限于本申请描述的特定实施方式，这些实施方式旨在作为各种方面的示例。在不背离其实质和范围的情况下可以进行许多修改和变形，这些对本领域技术任意是所知的。本申请的描述中使用的元素、动作或指令不应被理解为对实施例是关键或必要的除非显式说明。除了本文中列举的这些方法和装置本领域技术人员根据以上描述还可以知道在本公开范围内的功能上等同的方法和装置。这些修改和变形也应落入所附权利要求书的范围。本公开仅由所附权利要求书限定，包括其等同的全面的范围。应当理解本公开不限于特定的方法或系统。
还应理解，本文所用的术语仅是为了描述具体实施例的目的，而不是旨在限制。如这里所使用的，当这里提及术语“站”及其缩写“STA”、“用户设备”及其缩写“UE”时可以表示：(i)无线发射和/或接收单元(WTRU)，例如下面所描述的；(ii)WTRU的多个实施方式中的任一个，例如下文所描述的；(iii)一种无线和/或有线(例如可无线通信的)设备，其配置有WTRU的一些或所有结构和功能，例如下文所述；(iii)一种具有无线能力和/或有线能力的设备，其被配置为具有少于WTRU的所有结构和功能的结构和功能，例如下文所描述的；或(iv)类似物。下面参考图34A-34D提供了示例WTRU的细节，该示例WTRU可以代表这里所述的任何UE。
在某些代表性实施方式中，这里描述的主题的一些部分可以经由专用集成电路(ASIC)、场可编程门阵列(FPGA)、数字信号处理器(DSP)和/或其他集成格式来实施。但是，本领域技术人员可以理解这里公开的实施方式的一些方面，其整体或部分，可以同等地由集成电路实施，作为在一个或多个计算机上运行的一个或多个计算机程序(例如在一个或多个计算机系统上运行的一个或多个程序)、在一个或多个处理器上运行的一个或多个程序(例如在一个或多个微处理器上运行的一个或多个程序)、固件、或实质上地这些的任意组合，以及根据本公开针对该软件和/或固件设计电路和/或写代码是本领域技术人员所知的。此外，本领域技术人员可以理解这里描述的主题的机制可以被分布为各种形式的程序产品，以及这里描述的主题的示例性实施方式适用，不管用于实际执行该分布的信号承载介质的特定类型如何。信号承载介质的示例包括但不限于以下：可记录类型的介质，例如软盘、硬盘、CD、DVD、数字带、计算机存储器等，以及传输类型的介质，例如数字和/或模拟通信介质(例如光缆、波导、有线通信链路、无线通信链路等)。
这里描述的主题有时示出了不同组件，其包含在或连接到不同的其他组件。可以理解这些描绘的架构仅是示例，且实际中实施相同的功能的许多其他架构可以被实施。在概念上，实施相同功能更的组件的任何安排有效地“相关联”由此可以实施期望的功能。因此，这里组合以实施特定功能的任意两个组件可以视为彼此“相关联”由此实施期望的功能，不管架构或中间组件如何。同样地，相关联的任意两个组件也可以被视为彼此“操作上连接”或“操作上耦合”以实施期望的功能，以及任意两个能够这样相关联的组件也可以被视为彼此“操作上可耦合”以实施期望的功能。操作上可耦合的特定示例包括但不限于物理上可配对和/或物理上交互的组件和/或无线可交互的和/或无线交互的组件和/或逻辑上交互和/或逻辑上可交互的组件。
关于这里使用基本上任何复数和/或单数术语，本领域技术人员可以在适合上下文和/或应用时从复数转义到单数和/或从单数转义到复数。为了清晰，这里可以显式提出各种单数/复数置换。
本领域技术人员可以理解一般地这里使用的术语以及尤其在权利要求书中使用的术语(例如权利要求书的主体部分)一般是“开放性”术语(例如术语“包括”应当理解为“包括但不限于”，术语“具有”应当理解为“至少具有”，术语“包括”应当理解为“包括但不限于”等)。本领域技术人员还可以理解如果权利要求要描述特定数量，则在权利要求中会显式描述，且在没有这种描述的情况下不存在这种意思。例如，如果要表示仅一个项，则可以使用术语“单个”或类似的语言。为帮助理解，以下的权利要求书和/或这里的描述可以包含前置短语“至少一个”或“一个或多个”的使用以引出权利要求描述。但是，这些短语的使用不应当理解为暗示被不定冠词“一”引出的权利要求描述将包含这样的被引出的权利要求描述的任意特定权利要求限定到包含仅一个这样的描述的实施方式，即使在同一个权利要求包括前置短语“一个或多个”或“至少一个”以及不定冠词(例如“一”)(例如“一”应当被理解为表示“至少一个”或“一个或多个”)。对于用于引出权利要求描述的定冠词的使用也是如此。此外，即使引出的权利要求描述的特定数量被显式描述，但是本领域技术人员可以理解这种描述应当被理解为表示至少被描述的数量(例如光描述“两个描述”没有其他修改符，表示至少两个描述，或两个或更多个描述)。此外，在使用类似于“A、B和C等中的至少一者”的惯例的这些示例中，一般来说这种惯例是本领域技术人员理解的惯例(例如“系统具有A、B和C中的至少一者”可以包括但不限于系统具有仅A、仅B、仅C、A和B、A和C、B和C和/或A、B和C等)。在使用类似于“A、B或C等中的至少一者”的惯例的这些示例中，一般来说这种惯例是本领域技术人员理解的惯例(例如“系统具有A、B或C中的至少一者”可以包括但不限于系统具有仅A、仅B、仅C、A和B、A和C、B和C和/或A、B和C等)。本领域技术人员还可以理解表示两个或更多个可替换项的实质上任何分隔的字和/或短语，不管是在说明书中、权利要求书还是附图中，应当被理解为包括包含两个项之一、任意一个或两个项的可能性。例如，短语“A或B”被理解为包括“A”或“B”或“A”和“B”的可能性。此外，这里使用的术语“任意”之后接列举的多个项和/或多种项旨在包括该多个项和/或多种项的“任意”、“任意组合”、“任意多个”和/或“多个的任意组合”，单独或与其他项和/或其他种项结合。此外，这里使用的术语“集合”或“群组”旨在包括任意数量的项，包括零。此外，这里使用的术语“数量”旨在包括任意数量，包括零。
此外，如果按照马库什组描述本公开的特征或方面，本领域技术人员可以理解也按照马库什组的任意单独成员或成员子组来描述本公开。
本领域技术人员可以理解，出于任意和所有目的，例如为了提供书面描述，这里公开的所有范围还包括任意和所有可能的子范围以及其子范围的组合。任意列出的范围可以容易被理解为足以描述和实施被分成至少相等的两半、三份、四份、五份、十份等的相同范围。作为非限制性示例，这里描述的每个范围可以容易被分成下三分之一、中三分之一和上三分之一等。本领域技术人员还可以理解诸如“多至”、“至少”、“大于”、“小于”等的所有语言包括描述的数字并至可以随之被分成上述的子范围的范围。最后，本领域技术人员可以理解，范围包括每个单独的成员。因此，例如具有1-3个小区的群组和/或集合指具有1、2、或3个小区的群组/集合。类似地，具有1-5个小区的群组/集合指具有1、2、3、4或5个小区的群组/集合等等。
此外，权利要求书不应当理解为限制到提供的顺序或元素除非描述有这种效果。此外，在任意权利要求中术语“用于…的装置”的使用旨在援引35U.S.C.§112,
Figure BDA0003191524080000822
或装置+功能的权利要求格式，没有术语“用于…的装置”的任意权利要求不具有此种意图。
与软件相关联的处理器可以用于实施在无线发射/接收单元(WTRU)、用户设备(UE)、终端、基站、移动管理实体(MME)或演进分组核(EPC)或任何主机计算机中使用的射频收发信机。WTRU可以结合以硬件和/或软件实施的模块(包括软件定义无线电(SDR))和其他组件，该组件例如是相机、视频相机模块、视频电话、对讲电话、振动设备、扬声器、麦克风、电视收发信机、免提耳机、键盘、
Figure BDA0003191524080000821
模块、调频(FM)无线电单元、近场通信(NFC)模块、液晶显示(LCD)显示单元、有机发光二极管(OLED)显示单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器和/或任意无线局域网(WLAN)或超宽带(UWB)模块。
在整个公开中，技术人员理解，某些代表性实施例可以替代地或与其它代表性实施例组合地使用。
另外，在此所述的方法可以在结合在计算机可读介质中的计算机程序、软件或固件中，以由计算机或处理器执行。非暂态计算机可读媒体的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、诸如内部硬盘和可移除磁盘之类的磁媒体、磁光媒体、以及诸如CD-ROM碟片和数字多用途碟片(DVD)之类的光媒体。与软件相关联的处理器可用于实施用于WTRU、UE、终端、基站、RNC和任何主计算机的射频收发信机。

Claims (35)

1.一种解码方法，所述方法包括：
针对视频的当前块，获得基于子块的运动预测信号；
获得一个或多个运动向量差值或所述基于子块的运动预测信号的一个或多个空间梯度；
基于所述一个或多个所获得的空间梯度或所述一个或多个所获得的运动向量差值，获得所述当前块的细化信号；
基于所述基于子块的运动预测信号和所述细化信号，获得所述当前块的细化运动预测信号；以及
基于所述细化运动预测信号，所述当前块进行解码。
2.一种对视频进行解码的方法，所述方法包括：
对于所述视频的当前块：
生成基于子块的运动预测信号，
确定所述基于子块的运动预测信号的一个或多个空间梯度，
基于所确定的空间梯度，确定所述当前块的运动预测细化信号，以及
组合所述基于子块的运动预测信号和所述运动预测细化信号，以产生所述当前块的细化运动预测信号；以及
使用所述细化运动预测信号作为对所述当前块的预测来解码所述视频。
3.一种对视频进行编码的方法，所述方法包括：
对于所述视频的当前块：
生成基于子块的运动预测信号，
确定所述基于子块的运动预测信号的一个或多个空间梯度，
基于所确定的空间梯度，确定所述当前块的运动预测细化信号，以及
组合所述基于子块的运动预测信号和所述运动预测细化信号，以产生所述当前块的细化运动预测信号；以及
使用所述细化运动预测信号作为对所述当前块的预测来对所述视频进行编码。
4.根据权利要求2或3所述的方法，其进一步包括确定与所述基于子块的运动预测信号的所述当前块的子块的样本位置相关联的一组运动向量差值。
5.一种对视频进行解码的方法，所述方法包括：
对于所述视频的当前块：
生成基于子块的运动预测信号，
确定与所述当前块的子块相关联的一组运动向量差值，
基于所确定的一组运动向量差值，确定所述当前块的运动预测细化信号，以及
组合所述基于子块的运动预测信号和所述运动预测细化信号，以产生所述当前块的细化运动预测信号；以及
使用所述细化运动预测信号作为对所述当前块的预测来解码所述视频。
6.一种对视频进行编码的方法，所述方法包括：
对于所述视频的当前块：
生成基于子块的运动预测信号，
确定与所述当前块的子块相关联的一组运动向量差值，
基于所确定的一组运动向量差值，确定所述当前块的运动预测细化信号，以及
组合所述基于子块的运动预测信号和所述运动预测细化信号，以产生所述当前块的细化运动预测信号；以及
使用所述细化运动预测信号作为对所述当前块的预测来对所述视频进行编码。
7.根据权利要求5或6所述的方法，其进一步包括确定所述基于子块的运动预测信号的一个或多个空间梯度。
8.根据权利要求4或7所述的方法，其中所确定的所述基于子块的运动预测信号的一个或多个空间梯度和所确定的一组运动向量差值用于确定所述当前块的所述运动预测细化信号。
9.根据权利要求4、5或6所述的方法，其中通过使用针对所述当前块的仿射运动模型，所述基于子块的运动预测信号被生成，并且所述一组运动向量差值被确定。
10.根据权利要4、5或6所述的方法，其中所述一组运动向量差值是针对所述当前块的子块而被确定的，并且被用于确定针对所述当前块的一个或多个进一步的子块的运动预测细化信号。
11.根据权利要求2、3或7所述的方法，其中所述确定所述基于子块的运动预测信号的所述一个或多个空间梯度包括计算所述基于子块的运动预测信号的至少一个子块中的每一相应样本位置的至少一个梯度值。
12.根据权利要求2、3或7所述的方法，其中所述确定所述基于子块的运动预测信号的所述一个或多个空间梯度包括：
对于所述当前块的一个或多个相应子块：
使用所述基于子块的运动预测信号和邻接并围绕所述相应子块的邻近参考样本来确定扩展子块；以及
使用所确定的扩展子块来确定所述相应子块的空间梯度，以确定所述运动预测细化信号。
13.根据权利要求2、3或7所述的方法，其中：
所述确定所述基于子块的运动预测信号的一个或多个空间梯度包括：确定与第一参考图片相关联的第一组空间梯度以及与第二参考图片相关联的第二组空间梯度；以及
所述基于所确定的空间梯度确定所述当前块的所述运动预测细化信号包括：基于所述第一和第二组空间梯度和权重信息，确定所述当前块的运动帧间预测细化信号。
14.根据权利要求2、3、5或6所述的方法，其中所述细化运动预测信号是使用一个或多个利用光流的预测细化(PROF)操作而生成的细化运动帧间预测信号。
15.根据权利要求2、3、5或6所述的方法，其进一步包括确定所述视频的所述当前块的仿射运动模型参数，使得所述基于子块的运动预测信号通过使用所述所确定仿射运动模型参数而被生成。
16.根据权利要求2、3、5或6所述的方法，其中所述计算所述基于子块的运动预测信号的至少一个子块中的每一相应样本位置的所述至少一个梯度值包括：针对每一相应样本位置，将梯度滤波器应用于所述基于子块的运动预测信号的所述至少一个子块中的所述相应样本位置。
17.根据权利要求4、5或6所述的方法，其中针对所述当前块的所述运动预测细化信号的所述确定使用针对所述当前块的一个或多个子块的每个相应样本位置的至少一个梯度值和所确定的一组运动向量差值。
18.一种编码或解码视频的方法，包括：
对于包括多个子块的当前块：
使用至少用于所述当前块的第一子块的第一运动向量和用于所述当前块的第二子块的进一步的运动向量，生成基于子块的运动预测信号，
计算用于所述基于子块的运动预测信号的所述第一子块中的第一样本位置的第一组梯度值和用于所述基于子块的运动预测信号的所述第一子块中的第二样本位置的不同的第二组梯度值，以及
确定用于所述第一样本位置的第一组运动向量差值和用于所述第二样本位置的不同的第二组运动向量差值，其中用于所述第一样本位置的所述第一组运动向量差值指示所述第一样本位置处的运动向量与所述第一子块的所述运动向量之间的差，且用于第二样本位置的所述第二组运动向量差值指示所述第二样本位置处的运动向量与所述第一子块的所述运动向量之间的差；
使用所述第一和第二组梯度值以及所述第一和第二组运动向量差值，确定预测细化信号；
将所述基于子块的运动预测信号与所述预测细化信号组合以产生细化运动预测信号；以及
使用所述细化运动预测信号作为对所述当前块的预测来对所述视频进行编码或解码。
19.一种被配置为解码视频的解码器，包括：
处理器，其被配置为：
对于所述视频的当前块：
生成基于子块的运动预测信号，
确定所述基于子块的运动预测信号的一个或多个空间梯度，
基于所确定的空间梯度，确定所述当前块的运动预测细化信号，以及
组合所述基于子块的运动预测信号和所述运动预测细化信号，以产生所述当前块的细化运动预测信号；以及
使用所述细化运动预测信号作为对所述当前块的预测来解码所述视频。
20.一种被配置以编码视频的编码器，其包括：
处理器，其被配置为：
对于所述视频的当前块：
生成基于子块的运动预测信号，
确定所述基于子块的运动预测信号的一个或多个空间梯度，
基于所确定的空间梯度，确定所述当前块的运动预测细化信号，以及
组合所述基于子块的运动预测信号和所述运动预测细化信号，以产生所述当前块的细化运动预测信号；以及
使用所述细化运动预测信号作为对所述当前块的预测来编码所述视频。
21.根据权利要求19或20所述的解码器或编码器，其中所述处理器被配置为确定与所述基于子块的运动预测信号的所述当前块的子块的样本位置相关联的一组运动向量差值。
22.一种被配置为解码视频的解码器，包括：
处理器，其被配置为：
对于所述视频的当前块：
生成基于子块的运动预测信号，
确定与所述当前块的子块相关联的一组运动向量差值；
基于所述一组运动向量差值，确定所述当前块的运动预测细化信号，以及
组合所述基于子块的运动预测信号和所述运动预测细化信号，以产生所述当前块的细化运动预测信号；以及
使用所述细化运动预测信号作为对所述当前块的预测来解码所述视频。
23.一种被配置为编码视频的编码器，其包括：
处理器，其被配置为：
对于所述视频的当前块：
生成基于子块的运动预测信号，
确定与所述当前块的子块相关联的一组运动向量差值；
基于该一组运动向量差值，确定所述当前块的运动预测细化信号，以及
组合所述基于子块的运动预测信号和所述运动预测细化信号，以产生所述当前块的细化运动预测信号；以及
使用所述细化运动预测信号作为对所述当前块的预测来编码所述视频。
24.根据权利要求22或23所述的解码器或编码器，其中所述处理器被配置为确定所述基于子块的运动预测信号的一个或多个空间梯度。
25.根据权利要求21或24所述的解码器或编码器，其中所述处理器被配置为确定所述当前块的所述子块的所述一组运动向量差值，所述一组运动向量差值被用于确定所述当前块的一个或多个进一步的子块的所述运动预测细化信号。
26.根据权利要求21、22或23所述的解码器或编码器，其中所述处理器被配置为使用用于所述当前块的仿射运动模型来生成所述基于子块的运动预测信号，并且确定所述一组运动向量差值。
27.根据权利要求19、20或24所述的解码器或编码器，其中所述处理器被配置为针对所述基于子块的运动预测信号的至少一个子块中的每个相应样本位置，计算至少一个梯度值。
28.根据权利要求19、20或24所述的解码器或编码器，其中所述处理器被配置为：
对于所述当前块的一个或多个相应子块：
使用所述基于子块的运动预测信号和邻接并围绕所述相应子块的邻近参考样本，确定扩展子块；以及
使用所确定的扩展子块来确定所述相应子块的空间梯度，以确定所述运动预测细化信号。
29.根据权利要求19、20或24所述的解码器或编码器，其中所述处理器被配置为：
确定与第一参考图片相关联的第一组空间梯度以及与第二参考图片相关联的第二组空间梯度；以及
基于所述第一和第二组空间梯度及权重信息，确定所述当前块的运动帧间预测细化信号。
30.根据权利要求19、20、22或23所述的解码器或编码器，其中所述处理器被配置为使用一个或多个利用光流的预测细化(PROF)操作来生成细化运动帧间预测信号。
31.根据权利要求19、20、22或23所述的解码器或编码器，其中所述处理器被配置为确定所述视频的所述当前块的仿射运动模型参数，使得所述基于子块的运动预测信号通过使用所确定的仿射运动模型参数而被生成。
32.根据权利要求19、20、22或23所述的解码器或编码器，其中所述处理器被配置为：针对每个相应的样本位置，将梯度滤波器应用于所述基于子块的运动预测信号的所述至少一个子块中的所述相应的样本位置。
33.根据权利要求22、23或24所述的解码器或编码器，其中所述处理器被配置为使用所述当前块的一个或多个子块的每个相应样本位置的至少一个梯度值和所述一组运动向量差值，确定所述当前块的所述运动预测细化信号。
34.根据权利要求21或24所述的解码器或编码器，其中所述处理器被配置为使用所述基于子块的运动预测信号的所述一个或多个空间梯度和所述一组运动向量差值，确定所述当前块的所述运动预测细化信号。
35.一种被配置为编码或解码视频的编码器或解码器，包括：
处理器，其被配置为：
对于包括多个子块的当前块：
使用至少用于所述当前块的第一子块的第一运动向量和用于所述当前块的第二子块的另一运动向量，生成基于子块的运动预测信号，
计算针对所述基于子块的运动预测信号的所述第一子块中的第一样本位置的第一组梯度值和针对所述基于子块的运动预测信号的所述第一子块中的第二样本位置的不同的第二组梯度值，以及
确定针对所述第一样本位置的第一组运动向量差值和针对所述第二样本位置的不同的第二组运动向量差值，其中针对所述第一样本位置的所述第一组运动向量差值指示所述第一样本位置处的运动向量与所述第一子块的所述运动向量之间的差，且针对所述第二样本位置的所述第二组运动向量差值指示所述第二样本位置处的运动向量与所述第一子块的所述运动向量之间的差；
使用所述第一和第二组梯度值以及所述第一和第二组运动向量差值，确定预测细化信号；
将所述基于子块的运动预测信号与所述预测细化信号组合，以产生细化运动预测信号；以及
使用所述细化运动预测信号作为对所述当前块的预测来编码或解码所述视频。
CN202080012137.2A 2019-02-07 2020-02-04 用于利用光流的帧间预测细化的系统、装置和方法 Pending CN113383551A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210198830.4A CN114666582A (zh) 2019-02-07 2020-02-04 用于利用光流的帧间预测细化的系统、装置和方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962802428P 2019-02-07 2019-02-07
US62/802,428 2019-02-07
US201962814611P 2019-03-06 2019-03-06
US62/814,611 2019-03-06
US201962833999P 2019-04-15 2019-04-15
US62/833,999 2019-04-15
PCT/US2020/016564 WO2020163319A1 (en) 2019-02-07 2020-02-04 Systems, apparatus and methods for inter prediction refinement with optical flow

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210198830.4A Division CN114666582A (zh) 2019-02-07 2020-02-04 用于利用光流的帧间预测细化的系统、装置和方法

Publications (1)

Publication Number Publication Date
CN113383551A true CN113383551A (zh) 2021-09-10

Family

ID=69740830

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210198830.4A Pending CN114666582A (zh) 2019-02-07 2020-02-04 用于利用光流的帧间预测细化的系统、装置和方法
CN202080012137.2A Pending CN113383551A (zh) 2019-02-07 2020-02-04 用于利用光流的帧间预测细化的系统、装置和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210198830.4A Pending CN114666582A (zh) 2019-02-07 2020-02-04 用于利用光流的帧间预测细化的系统、装置和方法

Country Status (19)

Country Link
US (2) US11695950B2 (zh)
EP (2) EP4221223A1 (zh)
JP (2) JP7307184B2 (zh)
KR (2) KR102612975B1 (zh)
CN (2) CN114666582A (zh)
AU (1) AU2020219836A1 (zh)
BR (1) BR112021015598A2 (zh)
CA (1) CA3129080A1 (zh)
DK (1) DK3922025T3 (zh)
ES (1) ES2950165T3 (zh)
FI (1) FI3922025T3 (zh)
HU (1) HUE062450T2 (zh)
IL (2) IL285212B1 (zh)
MX (1) MX2021009333A (zh)
PL (1) PL3922025T3 (zh)
SG (1) SG11202108295YA (zh)
TW (1) TW202046736A (zh)
WO (1) WO2020163319A1 (zh)
ZA (1) ZA202105444B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111885387A (zh) * 2019-05-02 2020-11-03 腾讯美国有限责任公司 用于仿射光流预测值细化的视频解码方法和装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022525876A (ja) * 2019-03-17 2022-05-20 北京字節跳動網絡技術有限公司 オプティカルフローベースの予測精緻化の計算
EP3942823A4 (en) 2019-03-18 2023-04-05 Tencent America LLC VIDEO CODING METHOD AND APPARATUS
WO2021001220A1 (en) * 2019-07-01 2021-01-07 Interdigital Vc Holdings France, Sas Bi-directional optical flow refinement of affine motion compensation
WO2021050234A1 (en) * 2019-09-12 2021-03-18 Alibaba Group Holding Limited Method and apparatus for signaling video coding information
WO2021050226A1 (en) * 2019-09-12 2021-03-18 Alibaba Group Holding Limited Method and apparatus for encoding or decoding video
CN114079784A (zh) * 2020-08-20 2022-02-22 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器以及计算机存储介质
WO2022061680A1 (zh) * 2020-09-24 2022-03-31 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器以及计算机存储介质
WO2022082053A1 (en) * 2020-10-15 2022-04-21 Beijing Dajia Internet Information Technology Co., Ltd. Enhanced motion estimation for inter coding

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2719340C2 (ru) * 2011-10-18 2020-04-17 Кт Корпорейшен Способ декодирования видеосигнала
WO2016008157A1 (en) 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
WO2016070808A1 (en) * 2014-11-05 2016-05-12 Mediatek Singapore Pte. Ltd. Method and apparatus of video coding with prediction offset
US10805630B2 (en) * 2017-04-28 2020-10-13 Qualcomm Incorporated Gradient based matching for motion search and derivation
CN116866586A (zh) * 2017-05-17 2023-10-10 株式会社Kt 对图像解码的方法以及存储压缩视频数据的装置
JP7168593B2 (ja) * 2017-07-03 2022-11-09 ヴィド スケール インコーポレイテッド 双方向オプティカルフローに基づいた動き補償予測
JP7339890B2 (ja) * 2018-02-06 2023-09-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置及び復号装置
JP7181039B2 (ja) 2018-09-28 2022-11-30 能美防災株式会社 防災システム
US20200296405A1 (en) * 2019-03-14 2020-09-17 Qualcomm Incorporated Affine motion compensation refinement using optical flow

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111885387A (zh) * 2019-05-02 2020-11-03 腾讯美国有限责任公司 用于仿射光流预测值细化的视频解码方法和装置

Also Published As

Publication number Publication date
EP3922025A1 (en) 2021-12-15
ZA202105444B (en) 2023-12-20
KR102612975B1 (ko) 2023-12-11
HUE062450T2 (hu) 2023-11-28
CN114666582A (zh) 2022-06-24
PL3922025T3 (pl) 2023-09-11
ES2950165T3 (es) 2023-10-05
IL309973A (en) 2024-03-01
WO2020163319A1 (en) 2020-08-13
IL285212A (en) 2021-09-30
EP3922025B1 (en) 2023-05-24
JP2023130415A (ja) 2023-09-20
KR20210133956A (ko) 2021-11-08
US20220210462A1 (en) 2022-06-30
SG11202108295YA (en) 2021-08-30
US20230291927A1 (en) 2023-09-14
JP7307184B2 (ja) 2023-07-11
JP2022519358A (ja) 2022-03-23
BR112021015598A2 (pt) 2021-10-05
DK3922025T3 (da) 2023-07-24
KR20230170987A (ko) 2023-12-19
CA3129080A1 (en) 2020-08-13
EP4221223A1 (en) 2023-08-02
US11695950B2 (en) 2023-07-04
TW202046736A (zh) 2020-12-16
MX2021009333A (es) 2021-10-13
IL285212B1 (en) 2024-02-01
FI3922025T3 (fi) 2023-07-07
AU2020219836A1 (en) 2021-08-26

Similar Documents

Publication Publication Date Title
TWI785188B (zh) 基於區域照明補償運動補償預測
JP7168593B2 (ja) 双方向オプティカルフローに基づいた動き補償予測
JP7382332B2 (ja) マージモード用のサブブロック動き導出およびデコーダサイド動きベクトル精緻化
US20230179795A1 (en) Bl-PREDICTION FOR VIDEO CODING
US20230188748A1 (en) Bi-directional optical flow method with simplified gradient derivation
JP7307184B2 (ja) オプティカルフローを用いたインター予測リファインメントのためのシステム、装置、および方法
CN111345041A (zh) 重叠块运动补偿的复杂度降低
CN113228634A (zh) 组合的帧内及帧间预测
CN113826400A (zh) 用于利用光流的解码器侧运动向量细化的预测细化的方法和装置
KR20210142610A (ko) Affine 모션 모델 유도 방법
CN113383542A (zh) 使用合并模式运动向量候选对象的改善的帧内平面预测
EP3854096A1 (en) Affine motion estimation for affine model-based video coding
JP7495433B2 (ja) オプティカルフローを用いたブロック境界予測リファインメント
RU2811563C2 (ru) Системы, устройства и способы для уточнения интерпрогнозирования с помощью оптического потока
WO2023118309A1 (en) Gdr interaction with template based tools in inter slice
CN111316649A (zh) 重叠块运动补偿

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination