CN112715030B - 用于双向光流的复杂度降低和位宽控制 - Google Patents

用于双向光流的复杂度降低和位宽控制 Download PDF

Info

Publication number
CN112715030B
CN112715030B CN201980060852.0A CN201980060852A CN112715030B CN 112715030 B CN112715030 B CN 112715030B CN 201980060852 A CN201980060852 A CN 201980060852A CN 112715030 B CN112715030 B CN 112715030B
Authority
CN
China
Prior art keywords
array
gradient
prediction
component
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980060852.0A
Other languages
English (en)
Other versions
CN112715030A (zh
Inventor
修晓宇
贺玉文
叶艳
罗健康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Priority to CN202410474083.1A priority Critical patent/CN118474345A/zh
Publication of CN112715030A publication Critical patent/CN112715030A/zh
Application granted granted Critical
Publication of CN112715030B publication Critical patent/CN112715030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

描述了用于降低在视频译码中使用双向光流(BIO)的复杂度的系统和方法。在一些实施例中，在BIO运动细化过程中引入位宽缩减步骤以缩减用于BIO计算的最大位宽。在一些实施例中，使用简化的内插滤波器来生成当前译码单元周围的扩展区域中的预测样本。在一些实施例中，不同的内插滤波器用于垂直内插与水平内插。在一些实施例中，对于具有小高度的译码单元和/或用于使用子块级别帧间预测技术(例如，高级时间运动向量预测(ATMVP)或仿射预测)而被预测的译码单元，BIO被禁用。

Description

用于双向光流的复杂度降低和位宽控制
相关申请的交叉引用
本申请是非临时申请并根据35 U.S.C.§119(e)要求以下申请的权益：美国临时专利申请No.62/734,763(2018年9月21日递交)、美国临时专利申请No.62/738,655(2018年9月28日递交)和美国临时专利申请No.62/789,331(2019年1月7日递交)，所有这些申请的标题均为“用于双向光流的复杂度降低和位宽控制(Complexity Reduction and Bit-WidthControl for Bi-Directional Optical Flow)”，所有这些申请的全部内容通过引用而被并入本文。
背景技术
视频译码系统广泛用于压缩数字视频信号以减少这种信号的存储需要和/或传输带宽。在各种类型的视频译码系统中，例如基于块的系统、基于小波的系统和基于对象的系统，现今基于块的混合视频译码系统被最广泛地使用和部署。基于块的视频译码系统的示例包括国际视频译码标准，诸如MPEG1/2/4部分2、H.264/MPEG-4部分10AVC、VC-1和高效视频译码(HEVC)，其由ITU-T/SG16/Q.6/VCEG和ISO/IEC/MPEG的JCT-VC(视频译码联合协作团队)开发。
HEVC标准的第一版本在2013年10月完成，其与前一代视频译码标准H.264/MPEGAVC相比，提供了大约50％的比特率节省或等效的感知质量。尽管HEVC标准比其前任提供了显著的编码改进，但是有证据表明，可以利用附加译码工具实现优于HEVC的编码效率。基于此，VCEG和MPEG这两者都开始探索新的译码技术，以用于未来的视频译码标准化。联合视频探索小组(JVET)已在2015年10月由ITU-T VECG和ISO/IEC MPEG组建，以开始对关于能够实现译码效率的实质增强的先进技术的重要研究。JVET通过在HEVC测试模型(HM)上集成若干附加译码工具来维护称为联合探索模型(JEM)的参考软件。
在2017年10月，ITU-T和ISO/IEC提出了关于具有超过HEVC的能力的视频压缩的联合提案(CfP)。在2018年4月，在第10次JVET会议中接收并评估了23个CfP响应，其证明了压缩效率增益超过HEVC约40％。基于这样的评估结果，JVET启动了新的项目来开发新一代的视频译码标准，其被称为通用视频译码(VVC)。在同月，建立了一个参考软件代码库，称为VVC测试模型(VTM)，用于演示VVC标准的参考实施。同时，为了便于新译码工具的评估，还生成了称为基准集(BMS)的另一参考软件库。在所述BMS代码库中，提供较高译码效率和中等实施复杂度的附加编码工具的列表被包括在VTM之上，并且在VVC标准化过程期间评估类似译码技术时被用作基准。具体地，有5个JEM译码工具被集成在BMS-2.0中，这其中包括4×4不可分离的二次变换(NSST)、广义双向预测(GBi)、双向光流(BIO)、解码器侧运动向量细化(DMVR)和当前图片参考(CPR)。
发明内容
本文描述的实施例包括在视频编码和解码(统称为“译码”)中使用的方法。在一些实施例中，提供了一种视频译码方法，其中该方法包括：对于使用双向光流译码的视频中的至少一个当前块：基于来自第一参考图片的第一预测信号阵列I(0)(i,j)来计算第一水平梯度阵列基于来自第二参考图片的第二预测信号阵列I(1)(i,j)来计算第二水平梯度阵列通过包括对(i)所述第一水平梯度阵列和(ii)所述第二水平梯度阵列的和执行右比特移位的方法来计算缩减位宽的水平中间参数阵列ψx(i,j)；至少部分地基于所述缩减位宽的水平中间参数阵列来计算至少水平运动细化vx；以及至少使用所述水平运动细化vx并利用有双向光流来生成所述当前块的预测。
在一些实施例中，该方法还包括：通过包括计算第一预测信号阵列I(0)(i,j)和第二预测信号阵列I(1)(i,j)之间的差的方法来计算信号差参数阵列θ(i,j)；以及通过对(i)所述信号差参数阵列θ(i,j)与(ii)所述水平梯度中间参数阵列ψx(i,j)的按元素相乘的分量求和来计算信号水平梯度相关参数(correlation parameter)S3；其中计算所述水平运动细化vx包括对所述信号水平梯度相关参数S3进行比特移位以获得所述水平运动细化vx。
在一些这样的实施例中，计算所述信号差参数阵列θ(i,j)包括在计算所述第一预测信号阵列I(0)(i,j)与所述第二预测信号阵列I(1)(i,j)之间的所述差之前，对所述第一预测信号阵列I(0)(i,j)和所述第二预测信号阵列I(1)(i,j)中的每一个执行右比特移位。
在一些实施例中，该方法还包括：基于来自第一参考图片的第一预测信号阵列I(0)(i,j)来计算第一垂直梯度阵列基于来自第二参考图片的第二预测信号阵列I(1)(i,j)来计算第二垂直梯度阵列通过包括对(i)所述第一垂直梯度阵列和(ii)所述第二垂直梯度阵列的和执行右比特移位的方法来计算缩减位宽的垂直中间参数阵列ψy(i,j)；以及至少部分地基于所述缩减位宽的水平中间参数阵列ψx(i,j)和所述缩减位宽的垂直中间参数阵列ψy(i,j)来计算垂直运动细化vy；其中使用所述水平运动细化vx和所述垂直运动细化vy来生成所述当前块的所述预测。
一些这样的实施例还包括：通过包括对(i)所述水平中间参数阵列ψx(i,j)与(ii)所述垂直中间参数阵列ψy(i,j)的按元素相乘的分量求和的方法来计算交叉梯度相关参数S2；其中计算所述垂直运动细化vy包括确定(i)所述水平运动细化vx与(ii)所述交叉梯度相关参数S2的乘积。
在一些此类实施例中，确定(i)所述水平运动细化vx与(ii)所述交叉梯度相关参数S2的所述乘积包括：将所述交叉梯度相关参数S2分离成最高有效位MSB参数部分S2,m和最低有效位LSB参数部分S2,s；确定(i)所述水平运动细化vx与(ii)所述MSB参数部分S2,m的MSB乘积；确定(i)所述水平运动细化vx与(ii)所述LSB参数部分S2,S的LSB乘积；执行所述MSB乘积的左比特移位以产生经比特移位的MSB乘积；以及将所述LSB乘积与所述经比特移位的MSB乘积相加。
在一些实施例中，利用双向光流生成所述当前块的预测包括：对于所述当前块中的每个样本，基于以下计算双向光流样本偏移b：(i)所述第一水平梯度阵列(ii)所述第一垂直梯度阵列(iii)所述第二水平梯度阵列(iv)所述第二垂直梯度阵列(v)所述水平运动细化vx，以及(vi)所述垂直运动细化vy；以及对于所述当前块中的每个样本，计算至少所述第一预测信号阵列I(0)(i,j)、所述第二预测信号阵列I(1)(i,j)和所述双向光流样本偏移b的和。
在一些实施例中，计算每个所述梯度阵列 包括利用所述预测信号阵列I(0)(i,j),I(1)(i,j)内的相应最近边界样本填充所述预测信号阵列外的样本。
在一些实施例中，计算所述信号差参数阵列θ(i,j)的至少一些值包括利用所述预测信号阵列I(0)(i,j),I(1)(i,j)内部的相应最近边界样本填充所述预测信号阵列外部的样本。在一些实施例中，计算所述水平中间参数阵列ψx(i,j)的至少一些值包括利用所述水平梯度阵列内部的相应最近边界样本填充所述水平梯度阵列外部的梯度值。
在一些实施例中，计算所述垂直中间参数阵列ψy(i,j)的至少一些值包括利用所述垂直梯度阵列内部的相应最近边界样本填充所述垂直梯度阵列外部的梯度值。
在一些实施例中，针对所述当前块中的每一子块，计算所述信号水平梯度相关参数S3和所述交叉梯度相关参数S2。
本文描述的实施例可被执行以由编码器或由解码器生成视频块的预测。
在一些实施例中，对于使用双向光流译码的所述视频中的至少一个当前块，根据来自第一参考图片的第一预测信号计算第一梯度分量(例如：或)。第二梯度分量(例如，或)是根据来自第二参考图片的第二预测信号计算的。对所述第一和第二梯度分量求和，并对所得到的和执行向下的比特移位，以生成缩减位宽的相关参数(例如，Ψx或Ψy)。至少部分地基于所述缩减位宽的相关参数来计算BIO运动细化。使用所计算的运动细化利用双向光流对所述块进行预测。
在一些实施例中，对于使用双向光流译码的视频中的至少一个当前块，通过从基于第二参考图片的第二预测信号(例如，I(1))减去基于第一参考图片的第一预测信号(例如，I(0))并且执行所得差的向下比特移位来生成缩减位宽的相关参数(例如，θ)。至少部分地基于所述缩减位宽的相关参数来计算BIO运动细化。使用所计算的运动细化并利用双向光流对所述块进行预测。
在一些实施例中，对于使用双向光流译码的视频中的至少一个当前块，通过对来自第一参考图片的第一预测(例如，I(0))信号执行向下比特移位来生成缩减位宽的第一预测信号。通过对来自第二参考图片的第二预测信号(例如，I(1))执行向下比特移位来产生缩减位宽的第二预测信号。通过从所述缩减位宽的第二预测信号中减去所述缩减位宽的第一预测信号，生成缩减位宽的相关参数(例如θ)。至少部分地基于所述缩减位宽的相关参数来计算BIO运动细化，并且使用所计算的运动细化并利用双向光流对所述块进行预测。
在一些实施例中，对于使用双向光流译码的视频中的至少一个当前块，基于来自第一参考图片的缩减位宽的第一预测信号来计算缩减位宽的第一梯度分量。基于来自第二参考图片的缩减位宽的第二预测信号来生成缩减位宽的第二梯度分量。将第一和第二缩减位宽的梯度分量相加，以生成缩减位宽的相关参数。至少部分地基于所述缩减位宽的相关参数来计算运动细化，并且使用所计算的运动细化来利用双向光流预测所述块。
在一些实施例中，对于使用双向光流译码的视频中的至少一个当前块，针对所述当前块中的样本生成第一和第二运动补偿预测信号，其中针对所述当前块中的样本的第一和第二运动补偿预测信号是使用具有第一抽头数量的第一内插滤波器生成的。还针对所述当前块周围的扩展区域中的样本生成第一运动补偿预测信号和第二运动补偿预测信号，其中使用具有比所述第一抽头数量低的第二抽头数量的第二内插滤波器来生成针对所述当前块外部的样本的所述第一运动补偿预测信号和所述第二运动补偿预测信号。至少部分地基于所述第一和第二运动补偿预测信号来计算运动细化，并且使用所计算的运动细化并利用双向光流来预测所述块。
在一些实施例中，对于使用双向光流译码的视频中的至少一个当前块，生成第一和第二运动补偿预测信号，其中使用具有第一抽头数量的水平内插滤波器和具有低于所述第一抽头数量的第二抽头数量的垂直内插滤波器来生成用于所述当前块中的样本的所述第一和第二运动补偿预测信号。至少部分地基于所述第一和第二运动补偿预测信号来计算运动细化，并且使用所计算的运动细化并利用双向光流预测所述块。
在一些实施例中，对于使用双向光流译码的视频中的至少一个当前块，生成第一和第二运动补偿预测信号。使用具有第一抽头数量的水平内插滤波器和具有第二抽头数量的垂直内插滤波器来生成所述当前块中的样本的所述第一和第二运动补偿预测信号。所述水平滤波器和垂直滤波器以预定的顺序被应用，并且在该顺序中被较早应用的滤波器具有比在该顺序中被较晚应用的滤波器更高的抽头数。至少部分地基于所述第一和第二运动补偿预测信号来计算运动细化，并且使用所计算的运动细化利用双向光流预测所述块。
在一些实施例中，提供一种对包括多个译码单元的视频进行译码的方法。对于使用双向预测编码的视频中的多个译码单元，至少对于具有不大于阈值高度的译码单元，禁用双向光流(例如，对于具有四的高度的译码单元，可以禁用BIO)。对双向光流被禁用的双向预测译码单元，执行没有双向光流的双向预测(Bi-prediction)。针对双向光流未被禁用的双向预测译码单元(例如，针对双向光流未被禁用的至少一个双向预测译码单元)，执行利用双向光流的双向预测。
在一些实施例中，对于使用双向光流译码的视频中的至少一个当前块，针对该当前块中的样本生成第一和第二运动补偿预测信号。针对所述当前块周围的扩展区域中的样本，产生第一值及第二值，其中所述扩展区域不包含远离所述当前块一个以上行或列的样本。至少部分地基于所述第一和第二运动补偿预测信号以及所述扩展区域中的样本的所述第一和第二值来计算运动细化。使用所计算的运动细化并利用双向光流预测所述块。
在一些实施例中，提供一种对包括多个译码单元的视频进行译码的方法。对于所述视频中使用双向预测译码的多个译码单元，至少对于使用子块级别帧间预测技术(诸如高级时间运动向量预测和仿射预测)而被预测的译码单元，禁用双向光流。对双向光流被禁用的所述双向预测译码单元，执行没有双向光流的双向预测。针对双向光流未被禁用的双向预测译码单元(例如，针对双向光流未被禁用的双向预测译码单元中的至少一个)，执行利用双向光流的双向预测。
在一些实施例中，对于使用双向光流译码的视频中的至少一个当前块，针对所述当前块中的样本，生成第一运动补偿预测信号和第二运动补偿预测信号。使用具有第一抽头数量的水平内插滤波器和具有所述第一抽头数量的垂直内插滤波器来产生所述当前块中的样本的所述第一和第二运动补偿预测信号。还针对所述当前块周围的扩展区域中的样本生成第一运动补偿预测信号和第二运动补偿预测信号，其中使用具有第一抽头数量的水平内插滤波器和具有第二抽头数量的垂直内插滤波器来生成针对当前块外部的样本的所述第一运动补偿预测信号和第二运动补偿预测信号，其中第二抽头数量的低于第一抽头数量。至少部分地基于所述第一和第二运动补偿预测信号来计算运动细化。使用所计算的运动细化并利用双向光流预测所述块。
在另外的实施例中，提供编码器系统和解码器系统以执行本文描述的方法。编码器系统或解码器系统可以包括处理器和存储用于执行本文描述的方法的指令的非暂时性计算机可读介质。附加实施例包括一种存储使用本文描述的方法编码的视频的非暂时性计算机可读存储介质。
附图说明
图1A是示出了在其中可实施一个或多个公开的实施例的示例通信系统的系统图。
图1B是示出了根据一种实施例可在图1A所示的通信系统内使用的示例无线发射/接收单元(WTRU)的系统图。
图2A是基于块的视频编码器(例如用于VVC的编码器)的功能框图。
图2B是基于块的视频解码器(例如用于VVC的解码器)的功能框图。
图3A-3E示出了多类型树结构中的块分区：四元分区(图3A)；垂直二元分区(图3B)；水平二元分区(图3C)；垂直三元分区(图3D)；水平三元分区(图3E)。
图4是使用双向光流(BIO)的预测的示意图。
图5示出了根据一些实施例的使用简化的滤波器来生成用于BIO的扩展样本的方法。
图6示出了根据一些实施例的使用简化的滤波器来生成用于BIO的扩展样本的方法。
图7示出了根据一些实施例的样本和梯度填充，其用于减少一个BIO译码单元(CU)的扩展区域中的内插样本的数量。
图8是示出了一译码比特流结构的示例的示图。
图9是示出了示例通信系统的示图。
图10示出了使用整数样本作为扩展样本以用于BIO推导。
用于实施例的实施的示例网络
图1A是示出了可在其中实施一个或多个所公开的实施例的示例通信系统100的图示。该通信系统100可以是将诸如语音、数据、视频、消息发送、广播等的内容提供给多个无线用户的多接入系统。该通信系统100可以通过系统资源(包括无线带宽)的共享使得多个无线用户能够访问这些内容。例如，该通信系统100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾独特字DFT-扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块滤波OFDM、滤波器组多载波(FBMC)等等。
如图1A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN106/115、公共交换电话网络(PSTN)108、因特网110和其他网络112，但应理解的是所公开的实施例涵盖任意数量的WTRU、基站、网络和/或网络元件。WTRU102a、102b、102c、102d中的每一个可以是被配置成在无线环境中运行和/或通信的任何类型的设备。作为示例，WTRU 102a、102b、102c、102d中的任一者可以被称为“站”和/或“STA”，其可以被配置成传送和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于订户的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、便携式电脑、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴式显示器(HMD)、车辆、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如，在工业和/或自动处理链环境中操作的机器人和/或其他无线设备)、消费电子设备，在商业和/或工业无线网络上运行的设备等等。WTRU 102a、102b、102c、和102d中的任一者可以可互换地称为UE。
通信系统100还可以包括基站114a和/或基站114b。基站114a、114b中的每一个可以是被配置成与WTRU 102a、102b、102c、102d中的至少一者无线对接，以便于接入一个或多个通信网络(例如，CN 106/115、因特网110和/或网络112)。作为示例，基站114a、114b可以是基站收发信站(BTS)、节点B、e节点B、家用节点B、家用e节点B、gNB、NR节点B、站点控制器、接入点(AP)、无线路由器等。尽管基站114a、114b每个均被描述为单个元件，但应当理解的是基站114a、114b可以包括任何数量的互联基站和/或网络元件。
基站114a可以是RAN 104/113的一部分，其还可以包括诸如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等的其他基站和/或网络元件(未示出)。基站114a和/或基站114b可以被配置成在一个或多个载波频率上传送和/或接收无线信号，其可以被称为小区(未示出)。这些频率可在许可频谱、未经许可频谱、或许可频谱和未经许可频谱的组合中。小区可以将无线服务的覆盖范围提供给可相对固定或可随时间而改变的特定地理区域。小区还可以被划分成小区扇区。例如，与基站114a相关联的小区可以被划分成三个扇区。由此，在一种实施例中，基站114a可以包括三个收发信机，例如针对所述小区的每个扇区都有一个收发信机。在一种实施例中，基站114a可以使用多输入多输出(MIMO)技术，并且可以使用针对小区的每个扇区的多个收发信机。例如，波束成形可以用于在期望的空间方向上传送和/或接收信号。
基站114a、114b可以通过空中接口116与WTRU 102a、102b、102c、102d中的一者或多者通信，该空中接口116可以是任何合适的无线通信链路(例如，射频(RF)、微波、厘米波、微米波、红外(IR)、紫外(UV)、可见光等)。空中接口116可以使用任何合适的无线电接入技术(RAT)来建立。
更特别地，如上所述，通信系统100可以是多接入系统，并且可以使用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等。例如，在RAN 104/113中的基站114a和WTRU 102a、102b、102c可以实施诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)之类的无线电技术，其可以使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可以包括诸如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在一种实施例中，基站114a和WTRU 102a、102b、102c可以实施诸如演进型UMTS陆地无线电接入(E-UTRA)之类的无线电技术，其可以使用长期演进(LTE)和/或高级LTE(LTE-A)和/或专业版高级LTE(LTE-A Pro)来建立空中接口116。
在一种实施例中，基站114a和WTRU 102a、102b、102c可以实施诸如NR无线电接入的无线电技术，其可以使用新无线电(NR)来建立空中接口116。
在一种实施例中，基站114a和WTRU 102a、102b、102c可以实施多种无线电接入技术。例如，基站114a和WTRU 102a、102b、102c可以例如使用双连接(DC)原理来实施LTE无线电接入和NR无线电接入。因此，WTRU 102a、102b、102c所使用的空中接口可以由多种类型的无线电接入技术和/或发送到/自多种类型的基站(例如，eNB和gNB)的传输来表征。
在其他实施例中，基站114a和WTRU 102a、102b、102c可以实施诸如IEEE 802.11(即，无线保真(WiFi)、IEEE 802.16(即，全球微波互联接入(WiMAX))、CDMA2000、CDMA20001X、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、增强型数据速率GSM演进(EDGE)、GSM EDGE(GERAN)之类的无线电技术。
图1A中的基站114b可以是例如无线路由器、家用节点B、家用e节点B或者接入点，并且可以使用任何合适的RAT，以用于促进在诸如商业区、家庭、车辆、校园、工业设施、空中走廊(例如，供无人机使用)、道路之类的局部区域的无线连接。在一种实施例中，基站114b和WTRU 102c、102d可以实施诸如IEEE 802.11之类的无线电技术以建立无线局域网(WLAN)。在一种实施例中，基站114b和WTRU 102c、102d可以实施诸如IEEE 802.15的无线电技术以建立无线个域网(WPAN)。在又一种实施例中，基站114b和WTRU 102c、102d可以使用基于蜂窝的RAT(例如，WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等)以建立微微小区(picocell)或毫微微小区(femtocell)。如图1A所示，基站114b可以具有至因特网110的直接连接。由此，基站114b可不需要经由CN 106/115来接入因特网110。
RAN 104/113可以与CN 106/115通信，该CN 106/115可以是被配置成将语音、数据、应用和/或通过网际协议的语音(VoIP)服务提供到WTRU102a、102b、102c、102d中的一者或多者的任何类型的网络。数据可以具有不同的服务质量(QoS)要求，例如不同的吞吐量要求、延时要求、容错要求、可靠性要求、数据吞吐量要求，移动性要求等。CN 106/115可以提供呼叫控制、账单服务、基于移动位置的服务、预付费呼叫、网际互联、视频分配等，和/或执行高级安全性功能，例如用户验证。尽管图1A中未示出，但应理解的是RAN 104/113和/或CN106/115可以直接或间接地与其他RAN进行通信，这些其他RAN使用与RAN 104/113相同的RAT或者不同的RAT。例如，除了连接到可以采用NR无线电技术的RAN 104/113，CN 106/115也可以与使用GSM、UMTS、CDMA2000、WiMAX、E-UTRA、或者WiFi无线电技术的另一RAN(未示出)通信。
CN 106/115也可以用作WTRU 102a、102b、102c、102d接入PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供普通老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用公共通信协议的互联计算机网络及设备的全球系统，该公共通信协议例如是传输控制协议(TCP)/网际协议(IP)因特网协议套件中的TCP、用户数据报协议(UDP)和/或IP。网络112可以包括由其他服务提供方拥有和/或运营的无线和/或有线通信网络。例如，网络112可以包括连接到一个或多个RAN的另一CN，该一个或多个RAN可以使用与RAN 104/113相同的RAT或者不同的RAT。
通信系统100中的WTRU 102a、102b、102c、102d中的一些或者全部可以包括多模式能力(即WTRU 102a、102b、102c、102d可以包括用于通过不同的无线链路与不同的无线网络进行通信的多个收发信机)。例如，图1A中显示的WTRU 102c可以被配置成与可使用基于蜂窝的无线电技术的基站114a进行通信，并且与可使用IEEE 802无线电技术的基站114b进行通信。
图1B是示例WTRU 102的系统图。如图1B所示，WTRU 102可以包括处理器118、收发信机120、发射/接收元件122、扬声器/麦克风124、键盘126、显示屏/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136和其他外围设备138等。应该理解的是，在保持与实施例一致的情况下，WTRU 102可以包括上述元件的任何子组合。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其它类型的集成电路(IC)、状态机等。处理器118可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或使得WTRU 102能够运行在无线环境中的其他任何功能。处理器118可以耦合到收发信机120，该收发信机120可以耦合到发射/接收元件122。尽管图1B中将处理器118和收发信机120描述为独立的组件，但是应当理解的是处理器118和收发信机120可以被一起集成到电子封装或者芯片中。
发射/接收元件122可以被配置成通过空中接口116将信号传送到基站(例如，基站114a)，或者从基站(例如，基站114a)接收信号。例如，在一种实施例中，发射/接收元件122可以是被配置成传送和/或接收RF信号的天线。例如，在一种实施例中，发射/接收元件122可以是被配置成传送和/或接收例如IR、UV或者可见光信号的发射器/检测器。在又一种实施例中，发射/接收元件122可以被配置成传送和/或接收RF信号和光信号两者。应当理解，发射/接收元件122可以被配置成传送和/或接收无线信号的任意组合。
此外，尽管发射/接收元件122在图1B中被描述为单个元件，但是WTRU 102可以包括任何数量的发射/接收元件122。更具体地，WTRU 102可以使用MIMO技术。由此，在一种实施例中，WTRU 102可以包括两个或更多个发射/接收元件122(例如，多个天线)以用于通过空中接口116传送和/或接收无线信号。
收发信机120可以被配置成对将由发射/接收元件122传送的信号进行调制，并且被配置成对由发射/接收元件122接收的信号进行解调。如上所述，WTRU 102可以具有多模式能力。由此，收发信机120可以包括多个收发信机以使得WTRU 102能够经由多个RAT进行通信，例如NR和IEEE 802.11。
WTRU 102的处理器118可以被耦合到扬声器/麦克风124、键盘126和/或显示屏/触摸板128(例如，液晶显示(LCD)显示单元或者有机发光二极管(OLED)显示单元)，并且可以从上述装置接收用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126、和/或显示屏/触摸板128输出用户数据。此外，处理器118可以访问来自任何类型的合适的存储器中的信息，以及在任何类型的合适的存储器中存储数据，所述存储器例如可以是不可移除存储器130和/或可移除存储器132。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或者任何其他类型的存储器存储设备。可移除存储器132可以包括订户标识模块(SIM)卡、记忆棒、安全数字(SD)存储卡等。在其他实施例中，处理器118可以访问来自物理上未位于WTRU 102上(例如位于服务器或者家用计算机(未示出)上)的存储器的信息，以及在上述存储器中存储数据。
处理器118可以从电源134接收电能，并且可以被配置成将该电能分配给WTRU 102中的其他组件和/或对在WTRU 102中的其他组件的电能进行控制。电源134可以是任何用于给WTRU 102供电的设备。例如，电源134可以包括一个或多个干电池(例如，镍镉(NiCd)、镍锌(NiZn)、镍氢(NiMH)、锂离子(Li-ion)等)、太阳能电池、燃料电池等。
处理器118还可以耦合到GPS芯片组136，该GPS芯片组136可以被配置成提供关于WTRU 102的当前位置的位置信息(例如，经度和纬度)。作为来自GPS芯片组136的信息的补充或者替代，WTRU 102可以通过空中接口116从基站(例如，基站114a、114b)接收位置信息，和/或基于从两个或更多个相邻基站接收到的信号的定时来确定其位置。应当理解，在与实施例保持一致的同时，WTRU 102可以通过任何合适的位置确定方法来获取位置信息。
处理器118还可以耦合到其他外围设备138，该外围设备138可以包括提供附加特征、功能和/或无线或有线连接的一个或多个软件和/或硬件模块。例如，外围设备138可以包括加速度计、电子指南针(e-compass)、卫星收发信机、数字相机(用于照片和/或视频)、通用串行总线(USB)端口、震动设备、电视收发信机、免持耳机、模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备，活动追踪器等等。外围设备138可以包括一个或多个传感器，传感器可以是以下中的一者或多者：陀螺仪、加速计、霍尔效应传感器、磁力计、方位传感器、接近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物传感器、和/或湿度传感器。
WTRU 102可以包括全双工无线电，对于该全双工无线电，一些或全部信号(例如，与用于UL(例如，用于传输)和下行链路(例如用于接收)两者的特定子帧相关联)的传输和接收可以是并发和/或同时的。全双工无线电可以包括干扰管理单元，以通过硬件(例如扼流器)或经由处理器(例如，单独的处理器(未示出)或者经由处理器118)的信号处理来减少和/或基本上消除自干扰。在一种实施例中，WRTU 102可以包括一些或全部信号的传输和接收(例如，与用于UL(例如，用于传输)或下行链路(例如，用于接收)的特定子帧相关联)的半双工无线电。
尽管WTRU在图1A-1B中被描述为无线终端，但是可以预期的是，在某些代表性的实施例中，这样的终端可(例如，临时地或永久地)使用与通信网络的有线通信接口。
在代表性实施例中，所述其他网络112可以是WLAN。
参考图1A-1B以及相应描述，这里描述的一种或多种或所有功能可以由一个或多个模拟设备(未示出)执行。模拟设备可以是被配置为模拟本文描述的一个或多个或所有功能的一个或多个设备。例如，模拟设备可以用于测试其他设备和/或仿真网络和/或WTRU功能。
模拟设备可以被设计为实施实验室环境中和/或运营商网络环境中的其他设备的一个或多个测试。例如，一个或多个模拟设备可在完全或部分地实施和/或部署为有线和/或无线通信网络的一部分的同时执行一个或多个或所有功能，以测试通信网络内的其他设备。一个或多个模拟设备可以在作为有线和/或无线通信网络的一部分临时实施/部署的同时执行一个或多个或所有功能。模拟设备可以为了测试的目的直接耦合到另一个设备和/或可以使用空中无线通信执行测试。
一个或多个模拟设备可以执行包括所有功能的一个或多个功能，而不是作为有线和/或无线通信网络的一部分来实施/部署。例如，模拟设备可以在测试实验室和/或非部署(例如，测试)有线和或无线通信网络中的测试场景被利用以实施一个或多个组件的测试。一个或多个模拟设备可以是测试设备。模拟设备可以使用经由RF电路(例如，其可以包括一个或多个天线)的直接RF耦合和/或无线通信来传送和/或接收数据。
具体实施方式
基于块的视频译码
与HEVC类似，VVC建立在基于块的混合视频译码框架上。图2A给出了基于块的混合视频编码系统的框图。输入视频信号103被逐块(称为译码单元(CU))处理。在VTM-1.0中，CU可以高达128×128像素。然而，与仅基于四叉树来分块的HEVC不同，在VTM-1.0中，译码树单元(CTU)被分成多个CU以适应基于四叉树/二叉树/三叉树而变化的局部特性。另外，HEVC中的多个分区单元类型的概念被移除，且在VVC中不再存在CU、预测单元(PU)和变换单元(TU)的区分。相反，每一CU总是用作预测和变换这两者的基本单元，而无需进一步分区。在多类型树结构中，首先用四叉树结构对一个CTU进行分区。然后，每个四叉树叶节点可以进一步由二叉树和三叉树结构进行分区。如图3A-3E中所示，存在五种分割类型：四元分区、水平二分区、垂直二分区、水平三分区和垂直三分区。
如图2A所示，可以执行空间预测(161)和/或时间预测(163)。空间预测(或“帧内预测”)使用来自相同视频图片/切片中的已译码相邻块的样本(其被称为参考样本)的像素来预测当前视频块。空间预测减少了视频信号中固有的空间冗余。时间预测(也称为“帧间预测”或“运动补偿预测”)使用来自已译码视频图片的经重构像素来预测当前视频块。时间预测减少了视频信号中固有的时间冗余。用于给定CU的时间预测信号通常由指示了当前CU与其时间参考之间的运动量和方向的一个或一个以上运动向量(MV)用信号发送。此外，如果支持多个参考图片，则附加地发送参考图片索引，该参考图片索引用于标识时间预测信号来自参考图片存储装置(165)中的哪个参考图片。在空间和/或时间预测之后，编码器中的模式决策块(181)例如基于速率失真优化方法来选择最佳预测模式。然后从当前视频块中减去(117)预测块；并且使用变换(105)对预测残差进行去相关并对其进行量化(107)。量化的残差系数被逆量化(111)和逆变换(113)以形成重构的残差，然后将该重构的残差加回到预测块(127)以形成CU的重构的信号。在将经重构CU放入参考图片存储装置(165)中且用于译码未来视频块之前，可对其应用(167)进一步环路内滤波，例如解块滤波器、样本自适应偏移SAO和自适应环路内滤波器ALF。为了形成输出视频比特流121，译码模式(帧间或帧内)、预测模式信息、运动信息和量化的残差系数都被发送到熵译码单元(109)，以被进一步压缩和打包以形成比特流。
图2B给出基于块的视频解码器的功能框图。视频比特流202首先在熵解码单元208被解包和熵解码。编码模式和预测信息被发送到空间预测单元260(如果是帧内译码的)或时间预测单元262(如果是帧间译码的)以形成预测块。残余变换系数被发送到逆量化单元210和逆变换单元212以重构所述残余块。然后，在226处，将所述预测块和所述残差块加在一起。所述重构块在其被存储在参考图片存储装置264中之前可以进一步经过环路内滤波。然后，参考图片存储装置中的重构视频被发送出去以驱动显示设备，以及用于预测未来的视频块。
如前所述，BMS-2.0遵守与图2A和图2B所示的VTM-2.0相同的编码/解码工作流程。然而，若干译码模块(尤其是与时间预测相关联的译码模块)进一步被增强，以提高译码效率。本公开涉及降低计算复杂度并解决与BMS-2.0中现有BIO工具相关联的大位宽问题。下面介绍所述BIO工具的主要设计方面，然后对现有BIO实施方式的计算复杂度和位宽进行更详细的分析。
基于光流模型的双向预测
视频译码中的常规双向预测是从已重建的参考图片获得的两个时间预测块的简单组合。然而，由于基于块的运动补偿(MC)的限制，可能存在可在两个预测块的样本之间观察到的剩余小运动，因此降低了运动补偿预测的效率。为了解决这个问题，在BMS-2.0中应用了双向光流(BIO)以减少这种运动对块内的每个样本的影响。具体地，BIO是在使用双向预测时在基于块的运动补偿预测之上执行的按照样本的运动细化。在当前BIO设计中，对于一个块中的每个样本的细化运动向量的导出是基于经典光流模型的。设从参考图片列表k(k＝0,1)导出的预测块的坐标(x,y)处的样本值为I(k)(x,y)，并且和是该样本的水平梯度和垂直梯度。给定所述光流模型，可以通过下式导出(x,y)处的运动细化(vx,vy)：
在图4中，(MVx0,MVy0)和(MVx1,MVy1)指示用于产生两个预测块I(0)和I(1)的块级运动向量。此外，样本位置(x,y)处的运动细化(vx,vy)可通过最小化运动细化补偿(图4中的A和B)之后的样本的值之间的差Δ来计算，如以下所示：
另外，为了确保导出的运动细化的规律性，假设所述运动细化对于一个小单元(即，4×4块)内的样本是一致的。在BMS-2.0中，通过最小化每个4×4块周围的6×6窗口Ω内部的Δ来导出(vx,vy)的值，如以下所示：
为了解决(3)中指出的优化问题，BIO使用渐进方法，该方法首先优化水平方向上的运动细化，然后优化垂直方向上的运动细化。这导致了以下结果：
其中是输出小于或等于输入的最大值的地板函数，并且thBIO是运动细化阈值，以防止由于译码噪声和不规则的局部运动而导致的误差传播，其等于218-BD。运算符r(？:)是三元条件运算符；如果a的值为真，则形式为(a？b:c)的表达式评估到b，否则其评估到c。如果c<a，函数clip3(a,b,c)返回a，如果b<c，则其返回b。值S1,S2,S3,S5和S6被进一步计算为：
其中
θ(i,j)＝I(1)(i,j)-I(0)(i,j)
在BMS-2.0中，水平和垂直方向上的(6)中的BIO梯度可通过计算在每个L0/L1预测块的一个样本位置处的两个相邻样本(在水平或垂直方式上依赖于正被导出的梯度的方向)之间的差而被直接获得，例如：
在(5)中，L是内部BIO过程的位深度增加以保持数据精确度，其在BMS-2.0中被设定为5。另外，为了避免除以较小值，调节参数r和m在(4)中被定义为：
其中BD是输入视频的位深度。基于由(4)导出的运动细化，可通过基于光流等式(1)沿着运动轨迹内插L0/L1预测样本来计算当前CU的最终双向预测信号，其被指定为：
其中b是双向光流样本偏移；shift是被应用来组合L0和L1预测信号以用于双向预测的右移位，其可被设置为等于15-BD；ooffset是可以被设置为1＜＜(14-BD)+2·(1＜＜13)的位深度偏移，其可被设置为1＜＜(14-BD)+2·(1＜＜13)；以及rnd(.)是将输入值舍入到最接近的整数值的舍入函数。
BIO的位宽分析
与其先前的标准HEVC一样，对于VVC中的双向预测CU，如果MV指向分数样本位置，则L0/L1预测信号，即,I(0)(x,y)和I(1)(x,y)，以中间高精度(即，16位)生成，以保持随后的平均运算的精度。另外，在两个MV中的任一者为整数的情况下，在应用平均之前，将对应预测样本(其直接从参考图片获取)的精度增加到所述中间精度。在给定中间位深度的双向预测信号的情况下，假设输入视频是10位，表1总结了BIO过程的每个阶段所需的中间参数的位宽，如在“基于光流模型的双向预测”部分中所示的。
表1.BMS-2.0(10位输入视频)中BIO设计的中间参数的位宽
从表1可以看出，整个BIO过程的极限位宽发生在(4)中的垂直运动细化vy的计算处，其中S6(42位)被减去vx(9位)和S2(33位)的乘积。因此，现有BIO设计的最大位宽等于42+1＝43位。另外，当乘法(即，vxS2)取S2作输入时，使用33位乘法器来计算vy的值。因此，在BMS-2.0中的当前BIO的直接实施可以要求33位乘法器，并且对于中间参数，具有43位的最大位宽。
BIO的计算复杂度分析
在这一部分中，对现有BIO设计执行计算复杂度分析。具体地，根据BMS-2.0中的当前BIO实施，计算在应用BIO的情况下生成最终运动补偿预测的操作(例如，乘法和加法)的数量。此外，为了便于以下讨论，假设由BIO预测的当前CU的大小等于W×H，其中W是CU的宽度，H是CU的高度。
L0和L1预测样本的生成
如(3)所示，为了导出每个4×4块的局部运动细化(vx,vy)，需要为样本周围的6×6周围窗口中的所有样本计算样本值和梯度值。因此，为了导出CU内的所有样本的局部运动细化(vx,vy)，BIO使用(W+2)×(H+2)个样本的梯度。另外，如(7)中所示，通过直接计算两个相邻样本之间的差来获得水平和垂直梯度。因此，为了计算(W+2)×(H+2)梯度值，L0和L1预测方向上的预测样本的总数等于(W+4)×(H+4)。由于当前运动补偿基于2D可分离有限脉冲响应(FIR)8抽头滤波器，所以用于生成L0和L1预测样本的乘法和加法的数量都等于((W+4)×(H+4+7)×8+(W+4)×(H+4)×8)×2。
梯度计算
如(7)所示，由于梯度是直接从两个相邻预测样本计算的，因此每个样本仅需要一次加法。考虑到水平和垂直梯度都是在L0和L1的(W+2)×(H+2)的扩展区域中导出的，梯度导出所需的加法的总数等于((W+2)×(H+2))×2×2。
相关参数计算
如等式(5)以及(6)所示，有五个相关参数(即，S1,S2,S3,S5和S6)，其通过BIO为扩展区域(W+2)×(H+2)中的所有样本而被计算。另外，存在用于计算每个样本位置处的五个参数的五次乘法和三次加法。因此，用于计算所述相关参数的乘法和加法的总数分别等于((W+2)×(H+2))×5和((W+2)×(H+2))×3。
加和
如上所述，分别为当前CU内的每一4×4块导出BIO运动细化(vx,vy)。为了导出每个4×4块的运动细化，计算6×6周围区域内部的五个相关参数的和。因此，在这个阶段，五个相关参数的加合总共使用(W/4)×(H/4)×6×6×5次加法。
运动细化推导
如(4)所示，为了导出每个4×4块的局部运动细化(vx,vy)，存在用于将调节参数r添加到S1和S3的两次加法。另外，存在一次乘法和加法来计算vy的值。因此，为了导出CU内所有4×4块的运动细化，所使用的乘法和加法的数量分别等于(W/4)×(H/4)和(W/4)×(H/4)×3。
双向预测信号的产生
如(9)所示，给定所导出的运动细化，进一步使用两次乘法和六次加法来导出每一样本位置处的最终预测样本值。因此，在这个阶段，总共执行W×H×2次乘法和W×H×6次加法。
在一些实施例中解决的问题
如上所述，BIO可以通过改善在运动补偿阶段使用的运动向量的粒度和精度来提高双向预测的效率。虽然BIO可以有效地提高译码性能，但是它给实际的硬件实施带来了显著的复杂度增加。在本公开中，确定了在BMS-2.0中的当前BIO设计中存在的以下复杂度问题。
用于BIO的高中间位宽和大乘法器
与HEVC标准类似，当预测块的MV指向参考图片中的分数样本位置时，在运动补偿级应用2D可分离FIR滤波器来对预测块的预测样本进行内插。具体而言，首先在水平方向应用一内插滤波器，以根据MV的水平分数分量导出中间样本；然后，根据所述MV的垂直分数分量，在上述水平分数样本的顶部垂直地应用另一内插滤波器。假设输入是10位视频(即，BD＝10)，表2通过假设水平和垂直MV都指向半样本位置(其对应于来自运动补偿过程的内插样本的最坏情况位宽)，提供了VTM/BMS-2.0中的运动补偿预测过程的位宽测量。具体地，在第一步骤中，通过将与正负滤波器系数相关联的输入参考样本的值分别设置为最大输入值(即，2BD-1)和最小输入值(即，0)，计算所述第一内插过程(水平内插)之后的中间数据的最坏情况的位宽。然后，通过将用于第二内插(垂直内插)的输入数据的值设置为从所述第一内插输出的最差可能值，获得所述第二内插过程的最坏情况位宽。
表2用于运动补偿内插的中间数据的位宽
操作 每一操作之后的位宽
输入 10
水平内插 17
(BD-8)-位的第一次右移位 15
垂直内插 22
6-位的第二次右移位 16
从表2可以看出，运动补偿内插的最大位宽存在于垂直内插过程中，其中输入数据是15位，滤波器系数是7位有符号值；因此，来自垂直内插的输出数据的位宽为22位。另外，假定垂直内插过程的输入数据是15位，那么15位乘法器足以用于在运动补偿阶段产生中间分数样本值。
然而，如上所分析的，现有BIO设计要求33位乘法器，并具有43位中间参数以维持中间数据的精度。与表2相比，这两个数字都比常规运动补偿内插的数字高得多。实际上，这种显著的位宽增加(特别是所需乘法器的位宽增加)对于硬件和软件都是非常昂贵的，因此增加了BIO的实施成本。
BIO的高计算复杂度
基于以上复杂度分析，表3和表4描述了根据当前BIO对于不同CU大小的每个样本需要执行的乘法和加法的数量，并且将它们与对应于VTM/BMS-2.0中最坏情况计算复杂度的常规4×4双向预测CU的复杂度统计进行比较。对于4×4双向预测的CU，假设内插滤波器的长度(例如，8)，乘法和加法的总数等于(4×(4+7)×8+4×4×8)×2＝960(即，每个样本60)和(4×(4+7)×8+4×4×8)×2+4×4×2＝992(即，每个样本62)。
表3.BMS-2.0中的BIO针对每个样本执行的乘法的次数。最后一列示出了BIO乘法相对于4×4双向预测运动补偿的乘法的百分比
表4.在BMS-2.0中通过BIO对每个样本执行的加法的次数。最后一列显示BIO加法相对于4×4双向预测运动补偿的加法的百分比
如表3和表4所示，与常规双向预测的最坏情况复杂度相比，通过在BMS-2.0中启用现有BIO，计算复杂度会显示出显著的增加。峰值复杂度增加来自4×4双向预测的CU，其中在启用BIO的情况下乘法和加法的数量是最坏情况双向预测的数量的329％和350％。
示例实施例的概述
为了解决至少一些上述问题，在本部分中提出了在保持BIO的译码增益的同时降低基于BIO的运动补偿预测的复杂度的方法。首先，为了降低实施成本，本发明提出了位宽控制方法以降低硬件BIO实施所使用的内部位宽。在一些提出的方法中，可以利用15位乘法器和32位以内的中间值来实施启用了BIO的运动补偿预测。
其次，提出了通过使用简化的滤波器和减少用于BIO运动细化的扩展预测样本的数量来降低所述BIO的计算复杂度的方法。
另外，在一些实施例中，提出了针对CU大小(其会导致与常规双向预测相比，计算复杂度显著增加)禁用BIO操作。基于那些复杂度降低的组合，当BIO被启用时，运动补偿预测的最坏情况计算复杂度(例如，乘法和加法的数量)可被降低到与常规双向预测的最坏情况复杂度大致相同的水平。
示例BIO位宽控制方法
如上所述，在BMS-2.0中实现当前BIO可使用33位乘法器和43位位宽的中间参数，这远高于HEVC的运动补偿内插。这使得实施BIO的硬件和软件的成本非常高。在此部分中，提出了位宽控制方法以减少BIO所需的位宽。在示例方法中，首先分别将(6)中的水平中间参数阵列ψx(i，j)、垂直中间参数阵列ψy(i，j)和信号差参数阵列θ(i，j)中的一个或多个向下移位na和nb，以减少中间参数的总位宽，如以下所描绘的：
此外，为了进一步降低位宽，可以去除原始L-位内部位深度增加。随着这种改变，可以如下实现(5)中用于计算水平梯度相关参数(S1)、交叉梯度相关参数(S2)、信号水平梯度相关参数(S3)、垂直梯度相关参数(S5)和信号垂直梯度相关参数(S6)的等式：
考虑到不同数量的右移位(即，na和nb)被应用于ψx(i，j),ψy(i，j)和θ(i，j)，并且，S1,S2,S3,S5和S6的值被不同的因子缩减，这可能改变所导出的运动细化(vx，vy)的幅度。因此，可以将附加的左移位引入到(4)以提供所导出的运动细化的正确幅度范围。具体地，在示例方法中，水平运动细化vx和垂直运动细化vy可以被导出为：
注意，与(4)不同，调节参数r和m不适用于该实施例。此外，为了减小(vx，vy)的动态范围，与原始BIO设计的(4)中的thBIO＝218-BD相比，在本实施例中应用更小的运动细化阈值th′BIO＝213-BD。在(12)中，该乘积vxS2取S2作为输入，其位宽可以大于16位，使得可以调用一个多于16位的乘法器来计算vy的值。为了避免这种情况，提出了将交叉梯度相关参数S2的值划分为两部分：第一部分S2，s包含最低有效位，第二部分S2，m包含其它位。基于此，该S2值可以表示为：
然后，将(13)代入(12)，垂直运动细化vy的计算变为：
最后，由于在(11)中去除了原始L比特内部位深度增加，所以在(9)中被应用以增强双向预测样本的差量b的导出可以被修改为：
实际上，可以应用不同的na,nb和值，以实现中间位宽和计算成本之间的不同折衷。在本公开的一些实施例中，提出了如下设置三个参数的值：
·na被设定为3及nb被设定为6，以提供中间BIO参数的合理内部位宽。
·被设置为12，以便BIO中涉及的所有乘法可以通过一个15位乘法器来进行，该乘法器与用于HEVC的运动补偿的乘法器相同。
假设输入视频是10位，表5总结了当将位宽控制方法的示例应用于BIO时的中间参数的位宽。如表5所示，利用所提出的示例位宽控制方法，整个BIO过程的内部位宽不超过32位。另外，具有最差可能输入的乘法发生在输入S2，m为15位且输入vx为4位的(14)中的乘积vxS2，m处。因此，当该示例方法被应用于BIO时，一个15位乘法器就足够了。
表5.所提出的位宽控制方法的中间参数的位宽(10位输入视频)
最后，在(10)中，通过在L0和L1预测样本I(0)(i，j)和I(1)(i，j)之间的差之上应用右移位来计算BIO参数θ(i，j)。由于I(0)(i，j)和I(1)(i，j)的值都是16位，它们的差可以是一个17位值。这种设计对于基于SIMD的软件实施而言可能不是非常友好。例如，128位SIMD寄存器仅能并行处理4个样本。因此，在另一示例方法中，提出了当计算信号差参数阵列θ(i，j)时，在计算所述差之前首先应用所述右移位，即：
θ(i，j)＝(I(1)(i，j)＞＞nb)-(I(0)(i，j)＞＞nb) (16)
在这样的实施例中，每个操作的输入值不大于16位，使得可以并行处理更多的样本。例如通过使用等式(16)，8个样本可以由一个128位SIMD寄存器同时处理。在一些实施例中，类似的方法也被应用于等式(7)中的梯度计算，使得在计算L0和L1预测样本之间的差之前，应用4比特右移位以最大化每个SIMD计算的有效载荷。具体地，通过这样做，梯度值可以被计算为：
用于降低BIO计算复杂度的示例方法
如上所示，与常规双向预测的最坏情况计算复杂度相比，BMS-2.0中的现有BIO设计带来了较大的复杂度增加(例如，乘法和加法的数量)。以下，提出了用于降低BIO的最坏情况计算复杂度的方法。
通过使用简化的滤波器来生成扩展样本来降低BIO复杂度
如上所述，假设当前CU是W×H，可计算在扩展区域(W+2)×(H+2)中的样本的梯度，以用于导出该CU内的所有4×4块的运动细化。在现有的BIO设计中，用于运动补偿的相同内插滤波器(8抽头滤波器)被用于产生那些扩展样本。如表3和表4所示，由于在扩展区域中的样本的内插而导致的复杂度是BIO的复杂度瓶颈。因此，为了降低BIO复杂度，提出使用具有较短抽头长度的简化内插滤波器，而不是使用8抽头内插滤波器，以在BIO CU的扩展周围区域中产生样本。另一方面，由于扩展样本的产生可能需要从参考图片访问更多参考样本，因此这可增加BIO的存储器带宽。为了避免存储器带宽增加，可应用BMS-2.0的当前BIO中所使用的参考样本填充，其中CU的正常运动补偿的常规参考区域(即，(W+7)×(H+7))外部的参考样本由所述常规参考区域的最近边界样本填充。为了计算所填充的参考样本的大小，假设用于生成扩展样本的简化滤波器的长度是N，则沿着常规参考区域的上、左、下和右边界中的每一个的填充参考样本的数量M等于：
如等式(18)所示，通过使用8抽头滤波器来生成扩展预测样本，在常规参考区域的边界上的参考样本在每个方向上被向外填充2行或列。图5示出了使用简化的滤波器和参考样本填充以通过BIO生成扩展区域中的样本。如图5中可见，所述简化的滤波器仅用于生成在扩展区域中的预测样本。对于在当前CU的区域内的位置，其预测样本仍通过应用默认8抽头内插而产生以维持BIO译码效率。特别地，作为本公开的一个实施例，提出了使用双线性内插滤波器(即，2抽头滤波器)来生成扩展样本，这进一步减少了用于BIO的操作的数量。图6示出了使用双线性滤波器来内插用于BIO的扩展样本的情况。可由默认8抽头滤波器来内插所述CU内的预测样本。如图6所示，由于减小了滤波器长度，双线性滤波器不需要访问常规参考区域外部的附加参考样本来对扩展区域中的所需样本进行内插。因此，在这种情况下可以避免参考样本填充，这可以进一步降低BIO操作的复杂度。
另外，基于表3和表4中的不同CU大小的复杂度统计的比较，可发现复杂度增加对于具有较小高度的CU大小而言会较大。例如，尽管8×4和4×8CU包含相同数量的样本，但是它们呈现不同的复杂度增加百分比。具体地，对于8×4CU，在启用BIO之后，乘法和加法的数量分别增加149％和172％；然而，对于4×8CU，相应的复杂度增加分别为126％和149％。这种复杂度差异是由以下事实引起的：在当前运动补偿设计中，首先应用水平内插滤波器，然后应用垂直内插滤波器。当所应用的MV指向垂直方向上的分数位置时，会从水平内插产生更多中间样本且将其用作垂直内插的输入。因此，由于在扩展区域中生成更多参考样本而导致的复杂度影响对于具有较小高度的CU大小而言相对更显著。
在一些实施例中，提出了禁用具有小高度的某些CU大小以减少最差情况的BIO复杂度。除了上述通过简单地禁用特定CU大小的方法之外，解决垂直内插过程中增加的操作数量的另一方式是简化用于垂直内插的内插滤波器。在当前设计中，在水平和垂直方向两者上应用相同的8抽头内插滤波器。为了降低复杂度，在一些实施例中，提出了当BIO被启用时，为水平和垂直方向上的内插滤波器使用不同的内插滤波器；且应用于第二滤波过程(例如，垂直内插)的滤波器大小小于应用于第一滤波过程(例如，水平内插)的滤波器大小。例如，4抽头色度内插滤波器可以用于替换当前8抽头内插滤波器以用于垂直内插。通过这样做，可以为扩展区域中预测样本的生成提供大约一半的复杂度降低。在CU内，可使用用于垂直内插的8抽头滤波器来产生样本。为了进一步降低复杂度，可以使用具有甚至更小大小的内插滤波器，例如双线性滤波器。
在一个特定示例中，此处称为选项一，为了降低BIO最坏情况复杂度，提出了使用双线性滤波器来产生BIO的扩展区域中的样本值，且针对具有4的高度(即，4×4、8×4、16×4、32×4、64×4和128×4)的CU和4×8CU，完全禁用BIO。表6和表7描绘了选项一用于针对不同CU大小执行每样本的乘法和加法的数量，且将其与常规双向预测的最差情况数量进行比较。在表6和表7中，突出显示的行表示了BIO针对其而被禁用的CU大小。对于这些行，对应的BIO相关操作被设置为0，并且它们各自的复杂度与相同大小的CU的常规双向预测相同。如可以看到的，在选项一中，峰值计算复杂度来自8×8BIO CU，其中乘法和加法的数量是常规双向预测的最坏情况复杂度的110％和136％。
表6.通过所提出的选项一的BIO方法对每个样本执行的乘法的数量。最后一列示出了乘法相对于4×4双向预测运动补偿的乘法的百分比
表7.通过所提出的选项一的BIO方法对每个样本执行的加法的次数。最后一列示出了BIO加法相对于4×4双向预测运动补偿的加法的百分比
通过减小扩展区域的大小来降低BIO复杂度
如图5及图6所示，上述BIO复杂度降低方法仍可操作以在当前CU的每一边界周围内插两个额外行/列的预测样本。尽管使用简化的滤波器来减少操作的数量，但是由于需要内插的样本的数量，这仍然导致一定的复杂度增加。为了进一步降低BIO复杂度，在一些实施例中，提出了用于在每个CU边界上将扩展样本的数量从两行/列减少到一个单行/列的方法。具体而言，一些实施例仅使用(W+2)×(H+2)个样本来进一步降低复杂度，而不是由当前BIO使用(W+4)×(H+4)个样本。然而，如(7)中所示，每个样本的梯度计算会使用其左右相邻者(对于水平梯度)或上下相邻者(对于垂直梯度)的样本值。因此，通过将扩展区域尺寸缩小为(W+2)×(H+2)，一种方法仅能计算CU内的样本的梯度值，使得无法直接对位于CU区域的四个角处的4×4块执行现有的BIO运动细化。为了解决此问题，在一些实施例中，应用一种方法，其中CU外部的样本位置的梯度(即，和)和样本值(即，I(k)(x，y))这两者被设定为等于CU内部的其最近相邻者的梯度和样本值。图7示出了样本值和梯度的这种填充过程。在图7中，暗块表示CU内的预测样本，且白色块表示扩展区域中的预测样本。
在图中所示的示例中，在扩展区域中仅产生一个单一行/列的额外预测样本，使得可准确地导出CU区域(即，图7中的暗块)内的所有样本的梯度。然而，对于四个CU角处的子块(例如，图7中由加粗的黑色正方形包围的子块)，因为其BIO运动细化是从子块的周围局部区域(例如，图7中由虚线黑色正方形包围的区域)导出的，所以它们使用扩展区域中的一些样本(例如，图7中的白色块)的梯度信息，然而所述梯度信息是缺失的。为了解决此问题，这些缺失的梯度通过复制其在CU区域内最近的边界样本的梯度值来填充，如图7中的箭头所指示。另外，如果仅填充梯度，则可能导致用于扩展区域中的样本位置的梯度和样本值未对准的问题，即，样本值是其真实样本值，而梯度是它们在CU内的相邻样本的梯度。这可能降低导出的BIO运动细化的精度。因此，为了避免这种未对准，在BIO推导过程期间，可填充扩展区域中的样本的样本值和梯度这两者。
为了实现更大的复杂度降低，在一些实施例中，将所提出的填充方法与使用简化的内插滤波器的方法和如上所述的针对某些CU大小禁用BIO的方法组合。在一个特定示例中，此处称为选项二，提出了通过使用经填充的样本和梯度用于BIO推导且应用双线性滤波器以在CU边界周围的一个额外行/列中产生经扩展的样本来将经扩展的样本区域减小到(W+2)×(H+2)。此外，不允许将BIO应用于高度为4的CU(即，4×4、8×4、16×4、32×4、64×4和128×4)和4×8CU。表8和表9描绘在应用此方法之后针对不同CU大小的每一样本使用的乘法和加法的对应数量，且将它们与常规双向预测的最坏情况数量进行比较。类似于表6和表7，突出显示的行表示BIO针对其而被禁用的CU大小。可以看出，通过选项二，乘法和加法的数量是常规双向预测的最坏情况复杂度的103％和129％。
表8.通过提出的选项二的BIO方法对每个样本执行的乘法的数量
表9.通过提出的选项二的BIO方法对每个样本执行的加法的次数
在另一实施例中，提出了仍使用默认8抽头滤波器来内插BIO CU的扩展区域中的预测样本。然而，为了降低BIO复杂度，扩展区域的大小从(W+4)×(H+4)减小到(W+2)×(H+2)，即，CU的顶部、左部、底部和右部边界中的每一者上一个额外行/列。此外，如图7所示，为了计算缺失梯度并避免预测样本与梯度之间的未对准，在BIO推导过程期间，将扩展区域中样本的样本值和梯度两者都填充。此外，类似于选项一和二，可禁用某些块大小(例如，所有高度等于4的CU和大小为4×8、4×16、8×8、16×8的CU)。
在另一实施例中，提出了丢弃BIO CU的扩展区域中的所有预测样本，使得BIO过程仅涉及当前CU区域内部的预测样本的内插。通过这样做，用于产生预测样本的BIO的相应操作与常规双向预测的操作相同。然而，由于内插样本的数量减少，当前CU上的边界样本的梯度无法通过正常BIO过程导出。在此情况下，提出了将CU的内部预测样本的梯度值填充为CU边界上的样本的梯度。
在本公开的另一实施例中，本文中称为选项三，其提出了通过使用经填充的样本和梯度用于BIO推导来将经扩展的样本区域减小到(W+2)×(H+2)，且应用与用于常规运动补偿相同的的8抽头内插以在CU边界周围的一个额外行/列中产生经扩展的样本。另外，在选项三中，对于具有4的高度的CU(即，4×4、8×4、16×4、32×4、64×4和128×4)和对于4×8CU，BIO被禁用。
对于上述方法，尽管扩展区域的大小从(W+4)×(H+4)减小到(W+2)×(H+2)，但那些方法仍可操作以在BIO CU的边界周围的一个额外行/列中插入额外样本。如表8和表9所示，这些方法仍然会给总BIO复杂度带来一些不可忽略的复杂度增加。为了进一步降低BIO计算复杂度，在一些实施例中提出了直接使用位于整数样本位置(没有内插)且直接从参考图片获取的参考样本作为扩展区域中的样本，且使用它们来导出当前CU的边界样本的梯度值。图10示出了整数参考样本被用作扩展样本以用于BIO推导的实施例。如图10所示，通过应用默认的8抽头内插滤波器来生成CU区域(阴影块)内的样本。但是，对于扩展区域中的样本(无阴影的块)，不是使用内插滤波器(例如双线性滤波器或8抽头内插滤波器)，而是将它们的样本值直接设置为等于参考图片中整数样本位置处的对应样本值。通过这样做，可以避免由扩展样本的内插引入的所有操作，这可以为BIO提供显著的复杂度降低。在另一实施例中，不使用整数参考样本，而是提出了直接将扩展区域中的样本设定为等于其在CU边界上的最接近的相邻样本。
因为在上述方法中，仅使用一行/一列的额外预测样本来进行BIO推导，所以在一些实施例中，仍可应用如图7中所说明的填充方法以便在BIO推导过程期间将CU边界上的样本的样本值和梯度两者填充到扩展区域。在一些此类实施例中，可针对某些CU大小禁用BIO以便降低最坏情况BIO复杂度。例如，在一些实施例中，对于高度为4(即，4×4、8×4、16×4、32×4、64×4和128×4)的CU以及对于4×8的CU，BIO可以被禁用。
针对通过子块模式预测的所述CU而禁用BIO
在HEVC中，每一预测单元具有用于预测方向的至多一个MV。相反，在当前VTM/BMS-2.0中包括两种子块级别的帧间预测技术，这其中包括高级时间运动向量预测(ATMVP)和仿射模式。在那些译码模式中，将视频块进一步分割成多个小子块，单独导出每一子块的运动信息。然后，在运动补偿阶段，使用每个子块的运动信息来生成块的预测信号。另一方面，BMS-2.0中的当前BIO可以在CU级运动补偿预测之上提供4×4子块级的运动细化。由于通过子块译码的CU的运动场的精细粒度，来自BIO的细化运动的额外译码益处可能非常有限。在一些实施例中，针对通过所述子块模式译码的CU而禁用BIO。
针对使用预定预测模式的CU，禁用BIO
在VVC中，若干帧间双向预测模式是基于这样的假设的：运动是线性的且列表-0和列表-1的运动向量是对称的。这些模式包括与MVD模式合并(MMVD)(这在S.Jeong等人在2018年10月的JVET-L0054中“CE4极限运动向量表达(试验4.5.4)(CE4 Ultimate motionvector expression(Test 4.5.4))”一文中存在描述)以及具有双边匹配的解码器侧MV推导(这S.Esenlik等人在2018年10月的JVET-L0670的“用于包含在VVC中的简化DMVR(Simplified DMVR for inclusion in VVC)”一文中存在描述)。由于这些模式使用对称运动生成预测，因此在这些预测之上应用BIO可能不是高效的。为了降低复杂度，在一些实施例中，对于使用对称模式(例如MMVD或具有双边匹配的解码器侧MV推导)而被预测的译码单元，BIO被禁用。
帧内模式的多假设预测在下文中存在描述：M.-S.Chiang等人在2018年10月的JVET-L0100中的“CE10.1.1：用于改进AMVP模式、跳过或合并模式以及帧内模式的多假设预测(CE10.1.1:Multi-hypothesis prediction for improving AMVP mode,skip or mergemode,and intra mode)”。帧内模式的多假设预测组合了一个帧内预测和一个帧间合并索引预测。由于一个预测是从帧内预测获得的，因此在一些实施例中，对于使用该帧间和帧内组合的多假设预测而被预测的译码单元，BIO被禁用。
多假设帧间预测在下文中存在描述：M.Winken等人在2018年10月的JVET-L0679中的“CE10相关：具有简化的AMVP过程的多假设帧间预测(CE10-related:Multi-HypothesisInter Prediction with simplified AMVP process)”。在多假设帧间预测中，针对一个经帧间合并译码的CU，用信号发送至多两个额外MV。对于一个CU，最多有四个MV：来自显式信令的两个MV；以及来自合并候选者的由合并索引指示的两个MV。那些多个帧间预测与加权平均相结合。在这种情况下，所述预测可能足够好。为了降低复杂度，在一些实施例中，对于使用该多假设帧间预测模式而被预测的译码单元，可以禁用BIO。
经译码的比特流结构
图8是示出了经译码的比特流结构的示例的示图。经译码的比特1300由若干NAL(网络抽象层)单元1301组成。NAL单元可以包含经译码的样本数据(例如译码切片1306)或者高级语法元数据，例如参数集数据、切片头部数据1305或补充增强信息数据1307(其可以被称为SEI消息)。参数集是含有基本语法元素的高级语法结构，所述基本语法元素可应用于多个比特流层(例如，视频参数集1302(VPS))，或可应用于一个层内的经译码的视频序列(例如，序列参数集1303(SPS))，或可应用于一个经译码的视频序列内的若干经译码的图片(例如，图片参数集1304(PPS))。所述参数集可以与所述视频比特流的经译码的图像一起发送，或者通过其它方式(包括使用可靠信道的带外传输、硬译码等)发送。切片头部1305也是高级语法结构，其可以包含一些相对小的、或仅对于某些切片或图片类型或相关的图片相关信息。SEI消息1307可携带解码过程可能不需要但可用于各种其它目的信息，例如图片输出定时或显示以及丢失检测和隐藏。
通信设备和系统
图9是示出了通信系统的示例的示图。所述通信系统1400可以包括编码器1402、通信网络1404和解码器1406。所述编码器1402可以经由连接1408与网络1404通信，该连接可以是有线连接或无线连接。编码器1402可类似于图2A的基于块的视频编码器。编码器1402可以包括单层编解码器(例如，图2A)或多层编解码器。解码器1406可经由连接1410与网络1404通信，该连接可以是有线连接或无线连接。解码器1406可类似于图2B的基于块的视频解码器。解码器1406可包括单层编解码器(例如，图2B)或多层编解码器。
所述编码器1402和/或解码器1406可并入到各种各样的有线通信设备和/或无线发射/接收单元(WTRU)中，例如(但不限于)数字电视、无线广播系统、网络元件/终端、服务器(例如内容或web服务器(例如超文本传送协议(HTTP)服务器))、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、数码相机、数字记录设备、视频游戏设备、视频游戏控制台、蜂窝式或卫星无线电电话、数字媒体播放器和/或类似设备。
所述通信网络1404可以是合适类型的通信网络。例如，通信网络1404可以是向多个无线用户提供诸如语音、数据、视频、消息收发、广播等内容的多址系统。通信网络1404可以使多个无线用户能够通过共享包括无线带宽的系统资源来访问这样的内容。例如，通信网络1404可以采用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)和/或类似方法。通信网络1404可以包括多个连接的通信网络。通信网络1404可包括因特网和/或一个或多个私人商业网络，诸如蜂窝网络、WiFi热点、和/或因特网服务提供商(ISP)网络等。
编码器系统和解码器系统及方法
在一些实施例中，提供了一种用于视频的编码或解码的方法。该方法包括：对于使用双向光流译码的视频中的至少一个当前块：基于来自第一参考图片的第一预测信号来计算第一梯度分量；基于来自第二参考图片的第二预测信号来计算第二梯度分量；对所述第一和第二梯度分量求和，并对所得到的和执行向下比特移位，以生成缩减位宽的相关参数；至少部分地基于所述缩减位宽的相关参数来计算运动细化；以及使用所计算的运动细化并利用双向光流来预测所述块。
在某些实施例中，所述第一梯度分量是所述第二梯度分量是以及所述缩减位宽的相关参数是：
在某些实施例中，所述第一梯度分量是所述第二梯度分量是以及所述缩减位宽的相关参数是：
在一些实施例中，提供了一种对视频进行编码或解码的方法。该方法包括：对于使用双向光流译码的视频中的至少一个当前块：通过从基于第二参考图片的第二预测信号中减去基于第一参考图片的第一预测信号来生成缩减位宽的相关参数，并对所得到的差执行向下比特移位；至少部分地基于所述缩减位宽的相关参数来计算运动细化；以及使用所计算的运动细化并利用双向光流来预测所述块。
在一些实施例中，所述第一预测信号是I(0)，所述第二预测信号是I(1)，以及所述缩减位宽的相关参数是：
θ(i,j)＝(I(1)(i,j)-I(0)(i,j))＞＞nb
在一些实施例中，提供了一种对视频进行编码或解码的方法。该方法包括：对于使用双向光流译码的视频中的至少一个当前块：计算水平运动细化作为：
计算垂直运动细化作为：
以及使用所计算的水平和垂直运动细化并利用双向光流来预测所述块。在一些这样的实施方案中，
以及
在一些实施例中，提供了一种用于编码或解码视频的方法。该方法包括：对于使用双向光流译码的视频中的至少一个当前块：通过对来自第一参考图片的第一预测信号执行向下比特移位来生成缩减位宽的第一预测信号；通过对来自第二参考图片的第二预测信号执行向下比特移位来生成缩减位宽的第二预测信号；通过从所述缩减位宽的第二预测信号中减去所述缩减位宽的第一预测信号来生成缩减位宽的相关性参数；至少部分地基于所述缩减位宽的相关参数来计算运动细化；以及使用所计算的运动细化并利用双向光流来预测所述块。在一些这样的实施例中，所述缩减位宽的相关参数是：
θ(i,j)＝(I(1)(i,j)＞＞nb)-(I(0)(i,j)＞＞nb)
在一些实施例中，提供了一种对视频进行编码的方法。该方法包括：对于使用双向光流译码的视频中的至少一个当前块：基于来自第一参考图片的缩减位宽的第一预测信号来计算缩减位宽的第一梯度分量；基于来自第二参考图片的缩减位宽的第二预测信号来计算缩减位宽的第二梯度分量；对所述第一和第二缩减位宽的梯度分量进行求和以生成缩减位宽的相关参数；至少部分地基于所述缩减位宽的相关参数来计算运动细化；以及使用所计算的运动细化并利用双向光流来预测所述块。
在一些这样的实施例中，所述缩减位宽的第一梯度分量是所述缩减位宽的第二梯度分量是以及所述缩减位宽的相关参数是：
在某些实施例中，所述缩减位宽的第一梯度分量是所述缩减位宽的第二梯度分量是以及所述缩减位宽的相关参数是：
在一些实施例中，基于来自第一参考图片的缩减位宽的第一预测信号来计算所述缩减位宽的第一梯度分量包括计算：
以及基于来自第二参考图片的缩减位宽的第二预测信号来计算所述缩减位宽的第二梯度分量包括计算：
在一些实施例中，基于来自第一参考图片的缩减位宽的第一预测信号来计算所述缩减位宽的第一梯度分量包括计算：
以及基于来自第二参考图片的缩减位宽的第二预测信号来计算所述缩减位宽的第二梯度分量包括计算：
在一些实施例中，提供了一种对视频进行译码的方法，其中该方法包括：对于使用双向光流进行译码的视频中的至少一个当前块：产生用于所述当前块中的样本的第一运动补偿预测信号和第二运动补偿预测信号，其中使用具有第一抽头数量的第一内插滤波器产生用于所述当前块中的样本的所述第一运动补偿预测信号和所述第二运动补偿预测信号；针对所述当前块周围的扩展区域中的样本生成第一运动补偿预测信号和第二运动补偿预测信号，其中针对所述当前块外部的样本的所述第一运动补偿预测信号和所述第二运动补偿预测信号是使用具有比所述第一抽头数量少的第二抽头数量的第二内插滤波器生成的；至少部分地基于所述第一和第二运动补偿预测信号来计算运动细化；以及使用所计算的运动细化并利用双向光流来预测所述块。
在一些实施例中，所述第一内插滤波器是8抽头滤波器，且所述第二内插滤波器是2抽头滤波器。在一些实施例中，所述第二内插滤波器是双线性内插滤波器。
在一些实施例中，提供了一种对视频进行译码的方法，其中所述方法包括：对于使用双向光流进行译码的视频中的至少一个当前块：产生第一和第二运动补偿预测信号，其中使用具有第一抽头数量的水平内插滤波器和具有第二抽头数量的垂直内插滤波器来产生用于所述当前块中的样本的第一和第二运动补偿预测信号，其中第二抽头数量低于第一抽头数量；至少部分地基于所述第一和第二运动补偿预测信号来计算运动细化；以及使用所计算的运动细化并利用双向光流来预测所述块。
在一些实施例中，一种对视频进行译码的方法包括：对于使用双向光流进行编码的视频中的至少一个当前块：产生第一和第二运动补偿预测信号，其中使用具有第一抽头数量的水平内插滤波器和具有第二抽头数量的垂直内插滤波器来产生用于所述当前块中的样本的所述第一和第二运动补偿预测信号，其中以预定顺序应用水平和垂直滤波器，且其中在所述顺序中较早应用的滤波器具有比在所述顺序中较晚应用的滤波器高的抽头数量；至少部分地基于所述第一和第二运动补偿预测信号来计算运动细化；以及使用所计算的运动细化并利用双向光流来预测所述块。
在一些实施例中，提供一种对包括多个译码单元的视频进行译码的方法，所述方法包括针对使用双向预测译码的所述视频中的多个译码单元：至少对于具有四的高度的译码单元，禁用双向光流；对于双向光流被禁用的所述双向预测译码单元，执行没有双向光流的双向预测；以及对于双向光流未被禁用的所述双向预测译码单元，利用双向光流执行双向预测。在一些此类实施例中，对于具有八的高度和四的宽度的译码单元，双向光流被进一步禁用。
在一些实施例中，提供一种对包括多个译码单元的视频进行译码的方法。所述方法包含：针对使用双向预测译码的所述视频中的多个译码单元：至少对于具有不大于阈值高度的译码单元，禁用双向光流；对于双向光流被禁用的所述双向预测译码单元，执行没有双向光流的双向预测；以及对于双向光流未被禁用的所述双向预测译码单元，利用双向光流执行双向预测。
在一些实施例中，提供了一种对视频进行译码的方法。该方法包括：对于使用双向光流译码的所述视频中的至少一个当前块：针对所述当前块中的样本，生成第一运动补偿预测信号和第二运动补偿预测信号；针对所述当前块周围的扩展区域中的样本，产生第一值及第二值，其中所述扩展区域不包含远离所述当前块一个以上行或列的样本；至少部分地基于所述第一和第二运动补偿预测信号以及所述扩展区域中的样本的所述第一和第二值来计算运动细化；以及使用所计算的运动细化并利用双向光流来预测所述块。
在一些此类实施例中，产生所述扩展区域中的样本的所述第一值包括将所述扩展区域中的每一第一样本值设定为等于其在所述当前块中的相应最近相邻者的所述第一预测样本值。在一些实施例中，产生所述扩展区域中的样本的所述第二值包括将所述扩展区域中的每一第二样本值设定为等于其在所述当前块中的相应最近相邻者的所述第二预测样本值。
一些实施例进一步包含：在所述当前块周围的所述扩展区域中的样本处产生第一梯度值及第二梯度值，其中：在所述扩展区域中的样本处产生所述第一梯度值包括将所述扩展区域中的每一第一梯度值设定为等于使用所述第一预测信号在所述当前块中的其相应最近相邻者处计算的梯度值；且在所述扩展区域中的样本处产生所述第二梯度值包括将所述扩展区域中的每一第二梯度值设定为等于使用所述第二预测信号在所述当前块中的其相应最近相邻者处计算的梯度值。
在一些实施例中，提供一种对包括多个译码单元的视频进行译码的方法。所述方法包含：针对使用双向预测译码的所述视频中的多个译码单元：至少针对使用子块级帧间预测技术预测的所述译码单元，禁用双向光流；对于双向光流被禁用的所述双向预测译码单元，执行没有双向光流的双向预测；以及对于双向光流未被禁用的所述双向预测译码单元，利用双向光流执行双向预测。
在一些此类实施例中，至少针对使用高级时间运动向量预测(ATMVP)而被预测的译码单元，禁用双向预测。
在一些实施例中，至少针对使用仿射而被预测的译码单元，禁用双向预测。
在一些实施例中，提供一种对包括多个译码单元的视频进行译码的方法。所述方法包含：针对使用双向预测译码的所述视频中的多个译码单元：至少对于具有四的高度的译码单元，禁用双向光流；对于双向光流被禁用的所述双向预测译码单元，执行没有双向光流的双向预测；以及对于双向光流未被禁用的所述双向预测译码单元，利用双向光流执行双向预测，其中对于每个当前译码单元，利用双向光流执行双向预测包括：产生用于所述当前译码单元中的样本的第一和第二运动补偿预测信号，其中使用具有第一抽头数量的第一内插滤波器产生用于所述当前块中的样本的所述第一和第二运动补偿预测信号；针对所述当前译码单元周围的扩展区域中的样本，产生第一运动补偿预测信号和第二运动补偿预测信号，其中使用具有比所述第一抽头数量少的第二抽头数量的第二内插滤波器来产生针对所述当前译码单元外部的样本的所述第一运动补偿预测信号和所述第二运动补偿预测信号；至少部分地基于所述第一和第二运动补偿预测信号来计算运动细化；以及使用所计算的运动细化并利用双向光流来预测所述当前译码单元。
在一些此类实施例中，所述第一内插滤波器是8抽头滤波器且所述第二内插滤波器是2抽头滤波器。在一些实施例中，所述第二内插滤波器是双线性内插滤波器。
在一些实施例中，对于具有八的高度和四的宽度的译码单元，进一步禁用双向光流。
在一些实施例中，提供一种对包括多个译码单元的视频进行译码的方法。所述方法包含：针对使用双向预测译码的所述视频中的多个译码单元：至少对于具有四的高度的译码单元，禁用双向光流；对于双向光流被禁用的所述双向预测译码单元，执行没有双向光流的双向预测；以及对于双向光流未被禁用的所述双向预测译码单元，利用双向光流执行双向预测，其中对于每个当前译码单元，利用双向光流执行双向预测包括：为所述当前译码单元中的样本产生第一和第二运动补偿预测信号；产生所述当前译码单元周围的扩展区域中的样本的第一值及第二值，其中所述扩展区域不包含远离所述当前译码单元多于一行或一列的样本；至少部分地基于所述第一和第二运动补偿预测信号以及所述扩展区域中的样本的所述第一和第二值来计算运动细化；以及使用所计算的运动细化并利用双向光流来预测所述当前译码单元。
在一些实施例中，产生所述扩展区域中的样本的所述第一值包括将所述扩展区域中的每一第一样本值设定为等于其在所述当前译码单元中的相应最近相邻者的所述第一预测样本值。
在一些实施例中，产生所述扩展区域中的样本的所述第二值包括将所述扩展区域中的每一第二样本值设定为等于其在所述当前译码单元中的相应最近相邻者的所述第二预测样本值。
一些实施例进一步包含在所述当前译码单元周围的所述扩展区域中的样本处产生第一梯度值及第二梯度值，其中：在所述扩展区域中的样本处产生所述第一梯度值包括将所述扩展区域中的每一第一梯度值设定为等于使用所述第一预测信号在所述当前译码单元中其相应最近相邻者处计算的梯度值；且在所述扩展区域中的样本处产生所述第二梯度值包括将所述扩展区域中的每一第二梯度值设定为等于使用所述第二预测信号在所述当前译码单元中在其相应最近相邻者处计算的梯度值。
在一些此类实施例中，对于具有八的高度和四的宽度的译码单元，双向光流被进一步禁用。
在一些实施例中，提供了一种对视频进行译码的方法，该方法包括：对于使用双向光流进行译码的视频中的至少一个当前块：产生用于所述当前块中的样本的第一运动补偿预测信号和第二运动补偿预测信号，其中使用具有第一抽头数量的水平内插滤波器和具有所述第一抽头数量的垂直内插滤波器来产生用于所述当前块中的样本的所述第一运动补偿预测信号和所述第二运动补偿预测信号；针对所述当前块周围的扩展区域中的样本，生成第一运动补偿预测信号和第二运动补偿预测信号，其中针对所述当前块外部的样本的所述第一运动补偿预测信号和所述第二运动补偿预测信号是使用具有所述第一抽头数量的水平内插滤波器和具有比所述第一抽头数量低的第二抽头数量的垂直内插滤波器来生成的；至少部分地基于所述第一和第二运动补偿预测信号来计算运动细化；使用所计算的运动细化并利用双向光流来预测所述块。
在一些实施例中，提供一种对包括多个译码单元的视频进行译码的方法，所述方法包括：针对使用双向预测译码的所述视频中的多个译码单元：至少针对使用对称预测模式而被预测的所述译码单元，禁用双向光流；对于双向光流被禁用的所述双向预测译码单元，执行没有双向光流的双向预测；以及对于双向光流未被禁用的所述双向预测译码单元，利用双向光流执行双向预测。
在一些实施例中，至少针对使用与MVD模式的合并(MMVD)而被预测的译码单元，禁用双向预测。在一些实施例中，至少针对使用具有双边匹配的解码器侧MV导出所预测的译码单元，禁用双向预测。
在一些实施例中，提供一种对包括多个译码单元的视频进行译码的方法。所述方法包含：针对使用双向预测译码的所述视频中的多个译码单元：至少针对使用帧内模式的多假设预测而被预测的译码单元，禁用双向光流；对于双向光流被禁用的所述双向预测译码单元，执行没有双向光流的双向预测；以及对于双向光流未被禁用的所述双向预测译码单元，利用双向光流执行双向预测。
在一些实施例中，提供一种用于对包括多个译码单元的视频进行译码的方法。所述方法包含：针对使用双向预测译码的所述视频中的多个译码单元：至少针对使用多假设帧间预测而被预测的译码单元，禁用双向光流；对于双向光流被禁用的所述双向预测译码单元，执行没有双向光流的双向预测；以及对于双向光流未被禁用的所述双向预测译码单元，利用双向光流执行双向预测。
注意，所描述的实施例中的一个或多个的各种硬件元件被称为“模块”，其执行(即，运行、实行等)在此结合相应模块描述的各种功能。如本文所使用的，模块包括相关领域的技术人员认为适合于给定实施方式的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个存储器设备)。每个所描述的模块还可以包括可执行用于执行被描述为由相应模块执行的一个或多个功能的指令，并且注意，这些指令可以采取硬件(即，硬连线的)指令、固件指令、和/或软件指令等的形式或包括它们，并且可以被存储在任何合适的非暂时性计算机可读介质或媒体中，其诸如通常被称为RAM、ROM等。
虽然在上文中描述了采用特定组合或顺序的特征和元素，但是本领域普通技术人员将会认识到，每一个特征或元素既可以单独使用，也可以与其他特征和元素进行任何组合来使用。此外，这里描述的方法可以在引入计算机可读介质中以供计算机或处理器运行的计算机程序、软件或固件中实施。计算机可读存储媒体的示例包括但不局限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、诸如内部硬盘和可移除盘之类的磁媒体、磁光媒体、以及诸如CD-ROM盘和数字多用途盘(DVD)的的光媒体。与软件关联的处理器可以用于实施在WTRU、UE、终端、基站、RNC或任何主计算机中使用的射频收发信机。

Claims (20)

1.一种视频编码或解码方法，所述方法包括：对于使用双向光流进行译码的所述视频中的至少一个当前块：
基于来自第一参考图片的第一预测信号阵列I(0)(i,j)，获取关于第一分量梯度的第一阵列，其中(i,j)是样本的坐标；
基于来自第二参考图片的第二预测信号阵列I(1)(i,j)，获取关于第一分量梯度的第二阵列；
通过包括对(i)关于第一分量梯度的所述第一阵列和(ii)关于第一分量梯度的所述第二阵列的和执行右比特移位的方法来计算缩减位宽的第一分量中间参数阵列；
至少部分地基于所述缩减位宽的第一分量中间参数阵列来计算至少第一分量运动细化；以及
至少使用所述第一分量运动细化并利用双向光流来生成所述当前块的预测。
2.根据权利要求1所述的方法，还包括：
通过包括计算所述第一预测信号阵列I(0)(i,j)和所述第二预测信号阵列I(1)(i,j)之间的差的方法来计算信号差参数阵列θ(i,j)；以及
通过对(i)所述信号差参数阵列θ(i,j)与(ii)所述第一分量中间参数阵列的逐元素相乘的分量求和来计算信号第一分量梯度相关参数；
其中计算所述第一分量运动细化vx包括对所述信号第一分量梯度相关参数进行比特移位以获得所述第一分量运动细化。
3.根据权利要求2所述的方法，其中计算所述信号差参数阵列θ(i,j)包括在计算所述第一预测信号阵列I(0)(i,j)与所述第二预测信号阵列I(1)(i,j)之间的所述差之前，对所述第一预测信号阵列I(0)(i,j)和所述第二预测信号阵列I(1)(i,j)中的每一个执行右比特移位。
4.根据权利要求1所述的方法，其中所述第一分量是水平分量，关于第一分量梯度的所述第一阵列为第一水平梯度阵列关于第一分量梯度的所述的第二阵列为第二水平梯度阵列所述缩减位宽的第一分量中间参数阵列为缩减位宽的水平中间参数阵列ψx(i,j)，且所述第一分量运动细化为水平运动细化vx，所述方法还包括：
基于来自第一参考图片的第一预测信号阵列I(0)(i,j)来计算第一垂直梯度阵列
基于来自第二参考图片的第二预测信号阵列I(1)(i,j)来计算第二垂直梯度阵列
通过包括对(i)所述第一垂直梯度阵列和(ii)所述第二垂直梯度阵列的和执行右比特移位的方法来计算缩减位宽的垂直中间参数阵列ψy(i,j)；以及
至少部分地基于所述缩减位宽的水平中间参数阵列ψx(i,j)和所述缩减位宽的垂直中间参数阵列ψy(i,j)来计算垂直运动细化vy；
其中使用所述水平运动细化vx和所述垂直运动细化vy来生成所述当前块的所述预测。
5.根据权利要求4所述的方法，还包括：
通过包括对(i)所述水平中间参数阵列ψx(i,j)与(ii)所述垂直中间参数阵列ψy(i,j)的逐元素相乘的分量求和的方法来计算交叉梯度相关参数S2；
其中计算所述垂直运动细化vy包括确定(i)所述水平运动细化vx与(ii)所述交叉梯度相关参数S2的乘积。
6.根据权利要求5所述的方法，其中确定(i)所述水平运动细化vx与(ii)所述交叉梯度相关参数S2的所述乘积包括：
将所述交叉梯度相关参数S2分离成最高有效位MSB参数部分S2,m和最低有效位LSB参数部分S2,s；
确定(i)所述水平运动细化vx与(ii)所述MSB参数部分S2,m的MSB乘积；
确定(i)所述水平运动细化vx与(ii)所述LSB参数部分S2,s的LSB乘积；
执行所述MSB乘积的左比特移位以产生经比特移位的MSB乘积；以及
将所述LSB乘积与所述经比特移位的MSB乘积相加。
7.根据权利要求4所述的方法，其中利用双向光流生成所述当前块的预测包括：
对于所述当前块中的每个样本，基于以下来计算双向光流样本偏移b：
(i)所述第一水平梯度阵列(ii)所述第一垂直梯度阵列(iii)所述第二水平梯度阵列(iv)所述第二垂直梯度阵列(v)所述水平运动细化vx，以及(vi)所述垂直运动细化vy；以及
对于所述当前块中的每个样本，计算至少所述第一预测信号阵列I(0)(i,j)、所述第二预测信号阵列I(1)(i,j)和所述双向光流样本偏移b的和。
8.根据权利要求4所述的方法，其中计算所述梯度阵列 中的每一个梯度阵列包括利用所述预测信号阵列I(0)(i,j)，I(1)(i,j)内部的相应最近边界样本填充所述预测信号阵列外部的样本。
9.根据权利要求2所述的方法，其中计算所述信号差参数阵列θ(i,j)的至少一些值包括利用所述预测信号阵列I(0)(i,j)，I(1)(i,j)内部的相应最近边界样本填充所述预测信号阵列外部的样本。
10.根据权利要求1所述的方法，其中计算所述第一分量中间参数阵列的至少一些值包括利用关于第一分量梯度的所述第一和第二阵列内部的相应最近边界样本来填充关于第一分量梯度的所述第一和第二阵列外部的梯度值。
11.根据权利要求4所述的方法，其中计算所述垂直中间参数阵列ψy(i,j)的至少一些值包括利用所述垂直梯度阵列内部的相应最近边界样本来填充所述垂直梯度阵列外部的梯度值。
12.根据权利要求1所述的方法，由编码器执行。
13.根据权利要求1所述的方法，由解码器执行。
14.一种视频编码或解码装置，包括处理器，该处理器被配置为执行至少：
基于来自第一参考图片的第一预测信号阵列I(0)(i,j)，获取关于第一分量梯度的第一阵列，其中(i,j)是样本的坐标；
基于来自第二参考图片的第二预测信号阵列I(1)(i,j)，获取关于第一分量梯度的第二阵列；
通过包括对(i)关于第一分量梯度的所述第一阵列和(ii)关于第一分量梯度的所述第二阵列的和执行右比特移位的方法来计算缩减位宽的第一分量中间参数阵列；
至少部分地基于所述缩减位宽的第一分量中间参数阵列来计算至少第一分量运动细化；以及
至少使用所述第一分量运动细化并利用双向光流来生成当前块的预测。
15.根据权利要求14所述的装置，其中所述处理器还被配置为执行：
通过包括计算所述第一预测信号阵列I(0)(i,j)和所述第二预测信号阵列I(1)(i,j)之间的差的方法来计算信号差参数阵列θ(i,j)；以及
通过对(i)所述信号差参数阵列θ(i,j)与(ii)所述第一分量中间参数阵列的逐元素相乘的分量求和来计算信号第一分量梯度相关参数；
其中计算所述第一分量运动细化vx包括对所述信号第一分量梯度相关参数进行比特移位以获得所述第一分量运动细化。
16.根据权利要求15所述的装置，其中计算所述信号差参数阵列θ(i,j)包括在计算所述第一预测信号阵列I(0)(i,j)与所述第二预测信号阵列I(1)(i,j)之间的所述差之前，对所述第一预测信号阵列I(0)(i,j)和所述第二预测信号阵列I(1)(i,j)中的每一个执行右比特移位。
17.根据权利要求14所述的装置，其中所述第一分量是水平分量，关于第一分量梯度的所述第一阵列为第一水平梯度阵列关于第一分量梯度的所述的第二阵列为第二水平梯度阵列所述缩减位宽的第一分量中间参数阵列为缩减位宽的水平中间参数阵列ψx(i,j)，且所述第一分量运动细化为水平运动细化vx，所述处理器还被配置为执行：
基于来自第一参考图片的第一预测信号阵列I(0)(i,j)来计算第一垂直梯度阵列
基于来自第二参考图片的第二预测信号阵列I(1)(i,j)来计算第二垂直梯度阵列
通过包括对(i)所述第一垂直梯度阵列和(ii)所述第二垂直梯度阵列的和执行右比特移位的方法来计算缩减位宽的垂直中间参数阵列ψy(i,j)；以及
至少部分地基于所述缩减位宽的水平中间参数阵列ψx(i,j)和所述缩减位宽的垂直中间参数阵列ψy(i,j)来计算垂直运动细化vy；
其中使用所述水平运动细化vx和所述垂直运动细化vy来生成所述当前块的所述预测。
18.根据权利要求17所述的装置，其中所述处理器还被配置为执行：
通过包括对(i)所述水平中间参数阵列ψx(i,j)与(ii)所述垂直中间参数阵列ψy(i,j)的逐元素相乘的分量求和的方法来计算交叉梯度相关参数S2；
其中计算所述垂直运动细化vy包括确定(i)所述水平运动细化vx与(ii)所述交叉梯度相关参数S2的乘积。
19.根据权利要求18所述的装置，其中确定(i)所述水平运动细化vx与(ii)所述交叉梯度相关参数S2的所述乘积包括：
将所述交叉梯度相关参数S2分离成最高有效位MSB参数部分S2,m和最低有效位LSB参数部分S2,s；
确定(i)所述水平运动细化vx与(ii)所述MSB参数部分S2,m的MSB乘积；
确定(i)所述水平运动细化vx与(ii)所述LSB参数部分S2,s的LSB乘积；
执行所述MSB乘积的左比特移位以产生经比特移位的MSB乘积；以及
将所述LSB乘积与所述经比特移位的MSB乘积相加。
20.根据权利要求17所述的装置，其中利用双向光流生成所述当前块的预测包括：
对于所述当前块中的每个样本，基于以下来计算双向光流样本偏移b：
(i)所述第一水平梯度阵列(ii)所述第一垂直梯度阵列(iii)所述第二水平梯度阵列(iv)所述第二垂直梯度阵列(v)所述水平运动细化vx，以及(vi)所述垂直运动细化vy；以及
对于所述当前块中的每个样本，计算至少所述第一预测信号阵列I(0)(i,j)、所述第二预测信号阵列I(1)(i,j)和所述双向光流样本偏移b的和。
CN201980060852.0A 2018-09-21 2019-09-17 用于双向光流的复杂度降低和位宽控制 Active CN112715030B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410474083.1A CN118474345A (zh) 2018-09-21 2019-09-17 用于双向光流的复杂度降低和位宽控制

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862734763P 2018-09-21 2018-09-21
US62/734,763 2018-09-21
US201862738655P 2018-09-28 2018-09-28
US62/738,655 2018-09-28
US201962789331P 2019-01-07 2019-01-07
US62/789,331 2019-01-07
PCT/US2019/051560 WO2020061082A1 (en) 2018-09-21 2019-09-17 Complexity reduction and bit-width control for bi-directional optical flow

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410474083.1A Division CN118474345A (zh) 2018-09-21 2019-09-17 用于双向光流的复杂度降低和位宽控制

Publications (2)

Publication Number Publication Date
CN112715030A CN112715030A (zh) 2021-04-27
CN112715030B true CN112715030B (zh) 2024-04-23

Family

ID=68104762

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202410474083.1A Pending CN118474345A (zh) 2018-09-21 2019-09-17 用于双向光流的复杂度降低和位宽控制
CN201980060852.0A Active CN112715030B (zh) 2018-09-21 2019-09-17 用于双向光流的复杂度降低和位宽控制

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202410474083.1A Pending CN118474345A (zh) 2018-09-21 2019-09-17 用于双向光流的复杂度降低和位宽控制

Country Status (7)

Country Link
US (4) US11470308B2 (zh)
EP (1) EP3854089A1 (zh)
JP (2) JP7311589B2 (zh)
CN (2) CN118474345A (zh)
IL (1) IL281581A (zh)
TW (2) TW202402055A (zh)
WO (1) WO2020061082A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020061082A1 (en) 2018-09-21 2020-03-26 Vid Scale, Inc. Complexity reduction and bit-width control for bi-directional optical flow
CN112889284A (zh) * 2018-10-22 2021-06-01 北京字节跳动网络技术有限公司 基于子块的解码器侧运动矢量推导
EP3861731A4 (en) * 2018-11-05 2021-11-24 Beijing Bytedance Network Technology Co. Ltd. INTERPOLATION TO INTERPRDICTION WITH REFINEMENT
WO2020130710A1 (ko) * 2018-12-21 2020-06-25 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
EP3909241A4 (en) 2019-01-09 2022-04-06 Beijing Dajia Internet Information Technology Co., Ltd. SYSTEM AND METHODS FOR IMPROVING COMBINED INTER AND INTRA PREDICTION
PL3909247T3 (pl) * 2019-02-08 2024-08-12 Beijing Dajia Internet Information Technology Co., Ltd. Sposób i urządzenie do selektywnego stosowania udoskonalania wektora ruchu po stronie dekodera dla kodowania wideo
CN113632484A (zh) * 2019-03-15 2021-11-09 北京达佳互联信息技术有限公司 用于双向光流的比特宽度控制的方法和设备
GB2585039A (en) * 2019-06-25 2020-12-30 Sony Corp Image data encoding and decoding
US11736720B2 (en) * 2019-09-03 2023-08-22 Tencent America LLC Motion vector refinement methods for video encoding
WO2021054886A1 (en) * 2019-09-20 2021-03-25 Telefonaktiebolaget Lm Ericsson (Publ) Methods of video encoding and/or decoding with bidirectional optical flow simplification on shift operations and related apparatus
CN114079784A (zh) * 2020-08-20 2022-02-22 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器以及计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107646195A (zh) * 2015-06-08 2018-01-30 Vid拓展公司 用于屏幕内容编码的帧内块复制模式
WO2018113658A1 (en) * 2016-12-22 2018-06-28 Mediatek Inc. Method and apparatus of motion refinement for video coding
TW201826791A (zh) * 2016-10-05 2018-07-16 美商高通公司 切換內插濾波器之系統及方法
WO2018166357A1 (en) * 2017-03-16 2018-09-20 Mediatek Inc. Method and apparatus of motion refinement based on bi-directional optical flow for video coding

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06168239A (ja) 1992-11-27 1994-06-14 Toshiba Corp 文書作成装置
JP2991878B2 (ja) * 1992-11-27 1999-12-20 三菱電機株式会社 オプティカルフロー演算回路
EP2375751A1 (en) 2010-04-12 2011-10-12 Panasonic Corporation Complexity reduction of edge-detection based spatial interpolation
EP3340620A4 (en) 2015-08-23 2019-04-17 LG Electronics Inc. IMAGE PROCESSING METHOD BASED ON INTER-PREDICTION MODE AND APPARATUS THEREOF
WO2018084339A1 (ko) * 2016-11-04 2018-05-11 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US10931969B2 (en) * 2017-01-04 2021-02-23 Qualcomm Incorporated Motion vector reconstructions for bi-directional optical flow (BIO)
US10701366B2 (en) * 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
CN116866581A (zh) * 2017-05-17 2023-10-10 株式会社Kt 对视频解码和编码的方法以及存储压缩视频数据的装置
CN110771169A (zh) * 2017-06-09 2020-02-07 韩国电子通信研究院 视频编码/解码方法和装置以及存储比特流的记录介质
US10904565B2 (en) * 2017-06-23 2021-01-26 Qualcomm Incorporated Memory-bandwidth-efficient design for bi-directional optical flow (BIO)
KR20240044549A (ko) * 2017-07-03 2024-04-04 브이아이디 스케일, 인크. 양방향 광학 흐름에 기반한 모션 보상 예측
WO2019061475A1 (en) * 2017-09-30 2019-04-04 SZ DJI Technology Co., Ltd. IMAGE PROCESSING
US10776688B2 (en) * 2017-11-06 2020-09-15 Nvidia Corporation Multi-frame video interpolation using optical flow
US11109053B2 (en) * 2018-03-05 2021-08-31 Panasonic Intellectual Property Corporation Of America Encoding method, decoding method, encoder, and decoder
EP3804324A4 (en) 2018-06-11 2022-08-03 HFI Innovation Inc. BIDIRECTIONAL OPTICAL FLOW METHOD AND APPARATUS FOR VIDEO CODING
MX2021001833A (es) 2018-08-17 2021-05-12 Hfi Innovation Inc Metodos y aparatos de procesamiento de video con prediccion bidireccional en sistemas de codificacion de video.
WO2020061082A1 (en) 2018-09-21 2020-03-26 Vid Scale, Inc. Complexity reduction and bit-width control for bi-directional optical flow

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107646195A (zh) * 2015-06-08 2018-01-30 Vid拓展公司 用于屏幕内容编码的帧内块复制模式
TW201826791A (zh) * 2016-10-05 2018-07-16 美商高通公司 切換內插濾波器之系統及方法
WO2018113658A1 (en) * 2016-12-22 2018-06-28 Mediatek Inc. Method and apparatus of motion refinement for video coding
WO2018166357A1 (en) * 2017-03-16 2018-09-20 Mediatek Inc. Method and apparatus of motion refinement based on bi-directional optical flow for video coding

Also Published As

Publication number Publication date
JP7311589B2 (ja) 2023-07-19
CN112715030A (zh) 2021-04-27
EP3854089A1 (en) 2021-07-28
US20220038679A1 (en) 2022-02-03
US12003703B2 (en) 2024-06-04
TWI834722B (zh) 2024-03-11
JP7553659B2 (ja) 2024-09-18
US20230050213A1 (en) 2023-02-16
IL281581A (en) 2021-05-31
TW202402055A (zh) 2024-01-01
TW202025751A (zh) 2020-07-01
KR20210071958A (ko) 2021-06-16
JP2023118924A (ja) 2023-08-25
WO2020061082A1 (en) 2020-03-26
US11968358B2 (en) 2024-04-23
CN118474345A (zh) 2024-08-09
US20240205389A1 (en) 2024-06-20
US20230053233A1 (en) 2023-02-16
US11470308B2 (en) 2022-10-11
JP2022501906A (ja) 2022-01-06

Similar Documents

Publication Publication Date Title
CN112715030B (zh) 用于双向光流的复杂度降低和位宽控制
US20240244253A1 (en) Methods and apparatus for reducing the coding latency of decoder-side motion refinement
CN112106367A (zh) 基于编码和解码时延减少的基于模板的帧间预测技术
WO2020047132A1 (en) Adaptive motion vector precision for affine motion model based video coding
US20240107024A1 (en) Affine motion model derivation method
EP3987778B1 (en) Precision refinement for motion compensation with optical flow
US20220182634A1 (en) Methods and systems for post-reconstruction filtering
KR102708989B1 (ko) 양방향 옵티컬 플로우를 위한 복잡도 감소 및 비트 폭 제어
US20220132136A1 (en) Inter prediction bandwidth reduction method with optical flow compensation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240812

Address after: Delaware, USA

Patentee after: Interactive Digital VC Holdings

Country or region after: U.S.A.

Address before: Wilmington, Delaware, USA

Patentee before: VID SCALE, Inc.

Country or region before: U.S.A.

TR01 Transfer of patent right