CN112369032A - 用于降低解码器侧运动修正的译码等待时间的方法和装置 - Google Patents

Abstract

描述了用于降低解码器侧运动向量修正(DMVR)带来的译码等待时间的视频译码系统和方法的实施方式。在一个示例中，针对使用双向预测的采样的第一块(例如第一译码单元)的译码识别两个未修正的运动向量。未修正的运动向量的一者或两者用于预测采样的第二块(例如第二译码单元)的运动信息。使用DMVR修正两个未修正的运动向量，以及修正的运动向量用于生成采样的第一块的预测信号。这样的实施方式允许采样的第二块基本与第一块并行被译码，而不用等待第一块上的DMVR完成。在另外的实施方式中，针对运动向量修正描述基于光流的技术。

Description

用于降低解码器侧运动修正的译码等待时间的方法和装置

相关申请的交叉引用

本申请是名称为“用于降低解码器侧运动修正的译码等待时间的方法和装置”的美国临时专利申请序号62/690,507(2018年6月27日申请)的正式申请并根据35 U.S.C.§119(e)要求该申请的权益，其全部内容通过引用的方式合并于此。

背景技术

视频译码系统广泛用于压缩数字视频信号以降低这些信号的存储需求和/或传输带宽。在多种类型的视频译码系统中，例如基于块的、基于小波的、以及基于对象的系统，目前基于块的混合视频译码系统是最为广泛使用和部署的。基于块的视频译码系统的示例包括国际视频译码标准，例如MPEG1/2/4部分2、H.264/MPEG-4部分10AVC，VC-1、以及称为高效视频译码(HEVC)的最近的视频译码标准，该标准由ITU-T/SG16/Q.6/VCEG和ISO/IEC/MPEG的JCT-VC(视频译码联合工作组)开发。

第一版本的HEVC标准在2013年10月完成且与前代视频译码标准H.264/MPEG AVC相比提供大约50％比特率节省或等同感知的品质。虽然HEVC标准比其前任提供明显的译码改善，但是有证据表明，使用另外的译码工具能够比HEVC实现更优越的译码效率。基于此，VCEG和MPEG为未来视频译码标准化开始新译码技术的开发工作。由ITU-T VECG和ISO/IECMPEG于2015年10月成立的联合视频开发组(JVET)开始对先进技术的重要研究，其能够实现译码效率的本质增强。JVET通过在HEVC测试模型(HM)的基础上整合一些另外的译码工具，维护了称为联合开发模型(JEM)的参考软件。

在2017年10月，ITU-T和ISO/IEC发布了对HEVC之外能力的视频压缩的联合提案征集(CfP)。在2018年4月，接收到23份回应并在第十次JVET会议上评估，证明压缩效率增益超过HEVC大约40％。基于这种评估结果，JVET启动了新的计划来开发称为多功能视频译码(VCC)的新一代视频译码标准。同月，为证明VVC标准参考实施建立了称为VVC测试模型(VTM)的参考软件代码库。针对初始的VTM-1.0，按照现有的HEVC设计，大多数译码模块包括帧内预测、帧间预测、变换/逆变换和量化/解量化以及环内滤波器，除非在VTM中使用基于多类型树的块分区结构。同时，为了促进新译码工具的评估，也生成了称为基准集(BMS)的另一参考软件库。在BMS代码库中，在VTM的基础上还包括了提供更高译码效率和适度实施复杂性的从JEM继承过来的一系列译码工具，并在VVC标准化进程的过程中评估相似译码技术时被用作基准。整合在BMS-1.0中的JEM译码工具包括65个角度帧内预测方向、修改的系数译码、高级多重变换(AMT)+4x4不可分离二次变换(NSST)、仿射运动模型、广义自适应环路滤波器(GALF)、高级时间运动向量预测(ATMVP)、自适应运动向量预测、解码器侧运动向量修正(DMVR)以及LM色度模式。

发明内容

一些实施方式包括在视频编码(encoding)和解码(decoding)(统称为“译码”)中使用的方法。在基于块视频译码方法的一些实施方式中，包括：在第一块，修正(refine)第一未修正的运动向量和第二未修正的运动向量以生成第一修正的运动向量和第二修正的运动向量；使用第一未修正的运动向量和第二未修正的运动向量中的一者或两者，预测第二块的运动信息，第二块是第一块的空间相邻者；以及使用第一修正的运动向量和第二修正的运动向量通过双向预测来预测第一块。

在视频译码方法的示例中，识别与第一块相关联的第一未修正的运动向量和第二未修正的运动向量。使用第一未修正的运动向量和第二未修正的运动向量中的一者或两者来预测与第一块相邻的第二块的运动信息。例如使用解码器侧运动向量修正(DMVR)来修正第一未修正的运动向量和第二未修正的运动向量。修正的运动向量用于生成第一修正的运动向量和第二修正的运动向量，其可以用于第一块的双向预测。可以使用一种或多种技术以及使用一个或多个未修正的运动向量作为空间合并候选来执行使用一个或多个未修正的运动向量来预测第二块的运动信息，该技术例如是空间高级运动向量预测(AMVP)、时间运动向量预测(TMVP)、高级时间运动向量预测(TMVP)。在空间预测的情况中，第二块可以是第一块的空间相邻者；在时间预测的情况中，第二块可以是在后续译码的图片中的同位块。在一些实施方式中，至少部分基于第一未修正的运动向量和第二未修正的运动向量来确定第一块的解块滤波器强度。

在视频译码方法的另一示例中，识别与第一块相关联的第一未修正的运动向量和第二未修正的运动向量。例如使用DMVR，修正第一未修正的运动向量和第二未修正的运动向量以生成第一修正的运动向量和第二修正的运动向量。使用空间运动预测或时间运动预测来预测第二块的运动信息，其中(i)如果使用空间运动预测，第一未修正的运动向量和第二未修正的运动向量中的一者或两者用于预测运动信息，以及(ii)如果使用时间运动预测，第一修正的运动向量和第二修正的运动向量中的一者或两者用于预测运动信息。

在视频译码方法的另一示例中，至少一个预测器被选择用于预测当前块的运动信息。从可用预测器集合中选择至少一个预测器，其中可用预测器包括(i)来自当前块的空间相邻块的至少一个未修正的运动向量以及(ii)来自当前块的同位块的至少一个修正的运动向量。

在视频译码方法的另一示例中，确定切片(slice)中至少两个不重叠区域。在第一个区域中识别与第一块相关联的第一未修正的运动向量和第二未修正的运动向量。第一未修正的运动向量和第二未修正的运动向量被修正以生成第一修正的运动向量和第二修正的运动向量。响应于确定使用第一块的运动信息预测与第一块相邻的第二块的运动信息，使用以下来预测第二块的运动信息：(i)如果第一块没有在第一区域的底部边缘或右边缘则使用第一未修正的运动向量和第二未修正的运动向量中的一者或两者，以及(ii)如果第一块在第一区域的底部边缘或右边缘，则使用第一修正的运动向量和第二修正的运动向量中的一者或两者。

在视频译码方法的另一示例中，确定切片中的至少两个不重叠区域。在第一区域中识别与第一块相关联的第一未修正的运动向量和第二未修正的运动向量。第一未修正的运动向量和第二未修正的运动向量被修正以生成第一修正的运动向量和第二修正的运动向量。响应于确定使用第一块的运动信息预测与第一块相邻的第二块的运动信息，使用以下来预测第二块的运动信息：(i)如果第二块在第一区域中，则使用第一未修正的运动向量和第二未修正的运动向量中的一者或两者，以及(ii)如果第二块不在第一区域中，则使用第一修正的运动向量和第二修正的运动向量中的一者或两者。

在视频译码方法的另一示例中，确定切片中的至少两个不重叠区域。在第一区域中识别与第一块相关联的第一未修正的运动向量和第二未修正的运动向量。第一未修正的运动向量和第二未修正的运动向量被修正以生成第一修正的运动向量和第二修正的运动向量。使用空间运动预测或时间运动预测来预测第二块的运动信息，其中(i)如果第一块没有在第一区域的底部边缘或右边缘，且如果使用空间运动预测，则使用第一未修正的运动向量和第二未修正的运动向量中的一者或两者来预测运动信息，以及(ii)如果第一块在第一区域的底部边缘或右边缘，或如果使用时间运动预测，则使用第一修正的运动向量和第二修正的运动向量中的一者或两者来预测运动信息。

在视频译码方法的另一示例中，在切片中定义至少两个不重叠区域。可用预测器的集合被确定以用于预测第一区域中的当前块的运动信息，其中可用预测器集合被限制为不包括不同于第一区域的第二区域中的任意块的运动信息。

一些实施方式涉及用于修正的运动向量的方法。在一个示例中，针对当前块确定第一未修正的运动向量和第二未修正的运动向量。使用第一未修正的运动向量生成第一预测I⁽⁰⁾，以及使用第二未修正的运动向量生成第二预测I⁽¹⁾。光流模型用于确定当前块的运动修正

使用运动修正来修正第一未修正的运动向量和第二未修正的运动向量以生成第一修正的运动向量和第二修正的运动向量。使用第一修正的运动向量和第二修正的运动向量，通过双向预测来预测当前块。

在视频译码方法的另一示例中，针对当前块确定第一未修正的运动向量和第二未修正的运动向量。使用第一未修正的运动向量生成第一预测I⁽⁰⁾，以及使用第二未修正的运动向量生成第二预测I⁽¹⁾。针对当前块确定运动修正

其中

其中θ是当前块内所有采样的坐标集，且其中

使用运动修正来修正第一未修正的运动向量和第二未修正的运动向量以生成第一修正的运动向量和第二修正的运动向量。使用第一修正的运动向量和第二修正的运动向量，通过双向预测来预测当前块。

在视频译码方法的另一示例中，针对当前块确定第一运动向量和第二运动向量。通过迭代执行步骤来修正第一运动向量和第二运动向量，步骤包括以下：

(a)使用第一运动向量生成第一预测P⁰，以及使用第二运动向量生成第二预测P¹；

(b)通过对第一预测P⁰和第二预测P¹进行平均来生成双向预测模板信号P^模板；

(c)基于模板信号P^模板使用光流模型来确定针对第一运动向量的第一运动修正(Δx,Δy)^* ₀和针对第二运动向量的第二运动修正(Δx,Δy)^* ₁；以及

(d)使用第一运动修正(Δx,Δy)^* ₀来修正第一运动向量以及使用第二运动修正(Δx,Δy)^* ₁来修正第二运动向量。

另外的实施方式包括编码器和解码器(统称为“编解码器”)系统，被配置成执行这里描述的方法。该系统可以包括处理器和存储指令的非暂态计算机存储介质，该指令在处理器上被执行时可操作用于执行这里描述的方法。另外的实施方式包括存储使用这里描述的方法编码的视频的非暂态计算机可读介质。

附图说明

图1A是示出可以实施一个或多个公开的实施方式的示例通信系统的系统图；

图1B是示出根据实施方式的可以在图1A示出的通信系统内使用的示例无线发射/接收单元(WTRU)的系统图；

图2是基于块的视频编码器(例如用于VCC的编码器)的功能框图；

图3A-3E示出多类型树结构的块划分：四分划分(图3A)；垂直二分划分(图3B)；水平二分划分(图3C)；垂直三分划分(图3D)；水平三分划分(图3E)；

图4是基于块的视频解码器(例如用于VVC的解码器)的功能框图；

图5示出了空间运动向量预测的示例；

图6示出了时间运动向量预测(TMVP)的示例；

图7示出了高级时间运动向量预测(ATMVP)的示例；

图8A-8B示出了解码器侧运动向量修正(DMVR)的示例；

图9示出了针对VTM-1.0的并行解码；

图10示出了DMVR导致的解码等待时间；

图11示出了仅来自DMVR的修正的MV被用于生成双向预测信号的实施方式；

图12示出了来自DMVR的修正的MV被用于时间运动预测和解块以及未修正的MV用于空间运动预测的实施方式；

图13示出了来自DMVR的修正的MV用于时间运动预测以及未修正的MV用于空间运动预测和解块的实施方式；

图14示出了根据一些实施方式在应用针对DMVR的等待时间消除方法之后的并行解码；

图15示出了图片片段内侧的DMVR块的未修正的MV用于空间运动预测和解块的实施方式；

图16示出了当前图片被分成多个片段且针对每个片段内的块降低编码等待时间的实施方式；

图17示出了当前图片被分成多个片段且针对来自不同片段的块降低编码等待时间的实施方式；

图18是根据一些实施方式的使用光流的运动修正过程的流程图。

具体实施方式的示例网络

图1A是示出了可以实施所公开的一个或多个实施方式的例示通信系统100的图示。该通信系统100可以是为多个无线用户提供诸如语音、数据、视频、消息传递、广播等内容的多址接入系统。该通信系统100可以通过共享包括无线带宽在内的系统资源而使多个无线用户能够访问此类内容。举例来说，通信系统100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块过滤OFDM以及滤波器组多载波(FBMC)等等。

如图1A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网络(PSTN)108、因特网110以及其他网络112，然而应该了解，所公开的实施方式设想了任意数量的WTRU、基站、网络和/或网络部件。WTRU 102a、102b、102c、102d每一者可以是被配置成在无线环境中工作和/或通信的任何类型的设备。举例来说，WTRU 102a、102b、102c、102d任一者都可被称为“站”和/或“STA”，其可以被配置成发射和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于签约的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴显示器(HMD)、车辆、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如机器人和/或在工业和/或自动处理链环境中工作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上工作的设备等等。WTRU 102a、102b、102c、102d中的任意者可被可交换地称为UE。

通信系统100还可以包括基站114a和/或基站114b。基站114a、114b每一者可以是被配置成通过以无线方式与WTRU 102a、102b、102c、102d中的至少一者无线对接来促使其接入一个或多个通信网络(例如CN 106/115、因特网110、和/或其他网络112)的任何类型的设备。举例来说，基站114a、114b可以是基地收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、以及无线路由器等等。虽然基站114a、114b每一者都被描述成了单个部件，然而应该了解，基站114a、114b可以包括任何数量的互连基站和/或网络部件。

基站114a可以是RAN 104/113的一部分，并且所述RAN还可以包括其他基站和/或网络部件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站114a和/或基站114b可被配置成在名为小区(未显示)的一个或多个载波频率上发射和/或接收无线信号。这些频率可以处于授权频谱、无授权频谱或是授权与无授权频谱的组合之中。小区可以为相对固定或者有可能随时间变化的特定地理区域提供无线服务覆盖。小区可被进一步分成小区扇区。例如，与基站114a相关联的小区可被分为三个扇区。由此，在一个实施方式中，基站114a可以包括三个收发信机，也就是说，每一个收发信机都对应于小区的一个扇区。在实施方式中，基站114a可以使用多输入多输出(MIMO)技术，并且可以为小区的每一个扇区使用多个收发信机。举例来说，通过使用波束成形，可以在期望的空间方向上发射和/或接收信号。

基站114a、114b可以通过空中接口116来与WTRU 102a、102b、102c、102d中的一者或多者进行通信，其中所述空中接口可以是任何适当的无线通信链路(例如射频(RF)、微波、厘米波、微米波、红外线(IR)、紫外线(UV)、可见光等等)。空中接口116可以使用任何适当的无线电接入技术(RAT)来建立。

更具体地说，如上所述，通信系统100可以是多址接入系统，并且可以使用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如，RAN 104/113中的基站114a与WTRU 102a、102b、102c可以实施某种无线电技术，例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)，其中所述技术可以使用宽带CDMA(WCDMA)来建立空中接口116。WCDMA可以包括如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。

在实施方式中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如演进型UMTS陆地无线电接入(E-UTRA)，其中所述技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)和/或先进LTA Pro(LTE-A Pro)来建立空中接口116。

在实施方式中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如NR无线电接入，其中所述无线电技术可以使用新型无线电(NR)来建立空中接口116。

在实施方式中，基站114a和WTRU 102a、102b、102c可以实施多种无线电接入技术。举例来说，基站114a和WTRU 102a、102b、102c可以共同实施LTE无线电接入和NR无线电接入(例如使用双连接(DC)原理)。由此，WTRU 102a、102b、102c使用的空中接口可以通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如eNB和gNB)发送的传输来表征。

在其他实施方式中，基站114a和WTRU 102a、102b、102c可以实施以下的无线电技术，例如IEEE 802.11(即无线高保真(WiFi))、IEEE 802.16(全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强数据速率(EDGE)以及GSM EDGE(GERAN)等等。

图1A中的基站114b可以是无线路由器、家庭节点B、家庭e节点B或接入点，并且可以使用任何适当的RAT来促成局部区域中的无线连接，例如营业场所、住宅、车辆、校园、工业设施、空中走廊(例如供无人机使用)以及道路等等。在一个实施方式中，基站114b与WTRU102c、102d可以通过实施IEEE 802.11之类的无线电技术来建立无线局域网(WLAN)。在实施方式中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在再一个实施方式中，基站114b和WTRU 102c、102d可通过使用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等)来建立微微小区或毫微微小区。如图1A所示，基站114b可以直连到因特网110。由此，基站114b不需要经由CN106/115来接入因特网110。

RAN 104/113可以与CN 106/115进行通信，其中所述CN可以是被配置成向WTRU102a、102b、102c、102d的一者或多者提供语音、数据、应用和/或借助网际协议语音(VoIP)服务的任何类型的网络。该数据可以具有不同的服务质量(QoS)需求，例如不同的吞吐量需求、时延需求、容错需求、可靠性需求、数据吞吐量需求、以及移动性需求等等。CN 106/115可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等，和/或可以执行用户验证之类的高级安全功能。虽然在图1A中没有显示，然而应该了解，RAN 104/113和/或CN 106/115可以直接或间接地和其他那些与RAN 104/113使用相同RAT或不同RAT的RAN进行通信。例如，除了与使用NR无线电技术的RAN 104/113相连之外，CN106/115还可以与使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的别的RAN(未显示)通信。

CN 106/115还可以充当供WTRU 102a、102b、102c、102d接入PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用了公共通信协议(例如传输控制协议/网际协议(TCP/IP)网际协议族中的TCP、用户数据报协议(UDP)和/或IP)的全球性互联计算机网络设备系统。网络112可以包括由其他服务供应商拥有和/或运营的有线和/或无线通信网络。例如，网络112可以包括与一个或多个RAN相连的另一个CN，其中所述一个或多个RAN可以与RAN 104/113使用相同RAT或不同RAT。

通信系统100中一些或所有WTRU 102a、102b、102c、102d可以包括多模能力(例如，WTRU 102a、102b、102c、102d可以包括通过不同无线链路与不同无线网络通信的多个收发信机)。例如，图1A所示的WTRU 102c可被配置成与可以使用基于蜂窝的无线电技术的基站114a通信，以及与可以使用IEEE 802无线电技术的基站114b通信。

图1B是示出了例示WTRU 102的系统图示。如图1B所示，WTRU 102可以包括处理器118、收发信机120、发射/接收部件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136以及其他外围设备138。应该了解的是，在保持符合实施方式的同时，WTRU 102还可以包括前述部件的任何子组合。

处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器118可以执行信号译码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU102在无线环境中工作的功能。处理器118可以耦合至收发信机120，收发信机120可以耦合至发射/接收部件122。虽然图1B将处理器118和收发信机120描述成单独组件，然而应该了解，处理器118和收发信机120也可以一起集成在电子组件或芯片中。

发射/接收部件122可被配置成经由空中接口116来发射或接收去往或来自基站(例如基站114a)的信号。举个例子，在一个实施方式中，发射/接收部件122可以是被配置成发射和/或接收RF信号的天线。作为示例，在实施方式中，发射/接收部件122可以是被配置成发射和/或接收IR、UV或可见光信号的发射器/检测器。在再一个实施方式中，发射/接收部件122可被配置成发射和/或接收RF和光信号。应该了解的是，发射/接收部件122可以被配置成发射和/或接收无线信号的任何组合。

虽然在图1B中将发射/接收部件122描述成是单个部件，但是WTRU 102可以包括任何数量的发射/接收部件122。更具体地说，WTRU 102可以使用MIMO技术。由此，在一个实施方式中，WTRU 102可以包括两个或更多个通过空中接口116来发射和接收无线电信号的发射/接收部件122(例如多个天线)。

收发信机120可被配置成对发射/接收部件122所要传送的信号进行调制，以及对发射/接收部件122接收的信号进行解调。如上所述，WTRU 102可以具有多模能力。因此，收发信机120可以包括允许WTRU 102借助多种RAT(例如NR和IEEE 802.11)来进行通信的多个收发信机。

WTRU 102的处理器118可以耦合到扬声器/麦克风124、键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126和/或显示器/触摸板128输出用户数据。此外，处理器118可以从诸如不可移除存储器130和/或可移除存储器132之类的任何适当的存储器中存取信息，以及将数据存入这些存储器。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订户身份模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在其他实施方式中，处理器118可以从那些并非实际位于WTRU 102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。

处理器118可以接收来自电源134的电力，并且可被配置分发和/或控制用于WTRU102中的其他组件的电力。电源134可以是为WTRU 102供电的任何适当设备。例如，电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。

处理器118还可以耦合到GPS芯片组136，该芯片组可被配置成提供与WTRU 102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组136的信息的补充或替换，WTRU 102可以经由空中接口116接收来自基站(例如基站114a、114b)的位置信息，和/或根据从两个或更多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持符合实施方式的同时，WTRU 102可以借助任何适当的定位方法来获取位置信息。

处理器118还可以耦合到其他外围设备138，其中所述外围设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，外围设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、

模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、以及活动跟踪器等等。外围设备138可以包括一个或多个传感器，所述传感器可以是以下的一者或多者：陀螺仪、加速度计、霍尔效应传感器、磁强计、方位传感器、邻近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物测定传感器和/或湿度传感器。

WTRU 102可以包括全双工无线电设备，其中对于该无线电设备来说，一些或所有信号(例如与用于UL(例如对传输而言)和下行链路(例如对接收而言)的特定子帧相关联)的接收和传输可以是并发和/或同时的。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器118)的信号处理来降低和/或基本消除自干扰的接口管理单元。在实施方式中，WTRU 102可以包括传送和接收一些或所有信号(例如与用于UL(例如对传输而言)或下行链路(例如对接收而言)的特定子帧相关联)的半双工无线电设备。

虽然在图1A-1B中将WTRU描述成了无线终端，然而应该想到的是，在某些典型实施方式中，此类终端与通信网络可以使用(例如临时或永久性)有线通信接口。

在典型的实施方式中，所述其他网络112可以是WLAN。

鉴于图1A-1B以及对应的描述，这里描述的一个或多个或全部的功能可以由一个或多个仿真设备(未示出)来执行。这些仿真设备可以是被配置成模拟这里描述的一个或多个或所有功能的一个或多个设备。举例来说，这些仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。

仿真设备可被设计成在实验室环境和/或运营商网络环境中实施关于其他设备的一项或多项测试。例如，所述一个或多个仿真设备可以在被完全或部分作为有线和/或无线通信网络一部分实施和/或部署的同时执行一个或多个或所有功能，以便测试通信网络内部的其他设备。所述一个或多个仿真设备可以在被临时作为有线和/或无线通信网络的一部分实施/部署的同时执行一个或多个或所有功能。所述仿真设备可以直接耦合到别的设备以执行测试，和/或可以使用空中无线通信来执行测试。

所述一个或多个仿真设备可以在未被作为有线和/或无线通信网络一部分实施/部署的同时执行一个或多个功能(包括所有功能)。例如，所述仿真设备可以在测试实验室和/或未被部署(例如测试)的有线和/或无线通信网络的测试场景中使用，以便实施关于一个或多个组件的测试。所述一个或多个仿真设备可以是测试设备。所述仿真设备可以使用直接的RF耦合和/或借助了RF电路(作为示例，该电路可以包括一个或多个天线)的无线通信来发射和/或接收数据。

具体实施方式

基于块的视频译码

如同HEVC，VVC被构建在基于块的混合视频译码框架上。图2是基于块的混合视频编码系统的示例的功能框图。逐块处理输入视频信号103。块可以称为译码单元(CU)。在VTM-1.0中，CU能够多达128x128像素。但是，与仅基于四分树划分块的HEVC相比，在VTM-1.0中，编码树单元(CTU)可以基于四分/二分/三分树被分成多个CU以适应变化的局部特性。此外，可以去除HEVC中多划分单元类型的概念，由此在VVC中不使用CU、预测单元(PU)以及变换单元(TU)的分离；而是，每个CU可以被用作用于预测和变换的基础单元，而不需要进一步划分。在多类型树结构中，CTU首先通过四分树结构被划分。然后，每个四分树叶节点能够进一步被二分和三分树结构来划分。如图3A-3E所示，可以有五种分割类型：四分划分、水平二分划分、垂直二分划分、水平三分划分以及垂直三分划分。

在图2中，可以执行空间预测(161)和/或时间预测(163)。空间预测(或“帧内预测”)使用来自相同视频图片/切片中的已经译码的相邻块的采样(称为参考采样)的像素来预测当前视频块。空间预测降低视频信号中固有的空间冗余。时间预测(也称为“帧间预测”或“运动补偿预测”)使用来自已经译码的视频图片的重构像素来预测当前视频块。时间预测降低视频信号中固有的时间冗余。针对给定CU的时间预测信号通常通过一个或多个运动向量(MV)发送，其指示当前CU与其时间参考之间的运动量和方向。此外，如果支持多个参考图片，还发送参考图片索引，这用于识别时间预测信号来自参考图片存储库(165)中的哪个参考图片。

在空间和/或时间预测之后，编码器中的模式决定块(181)例如基于速率失真优化方法选择最佳预测模式。然后从当前视频块减掉预测块(117)，且使用变换(105)和量化(107)来对预测残差进行去相关。量化的残差系数被逆量化(111)和逆变换(113)以形成重构残差，其然后被添加回预测块(127)以形成CU的重构信号。此外，可以在重构CU被放入参考图片存储库(165)且用于编码未来的视频块之前，可以对重构CU应用(167)环内滤波，例如解块滤波器。为了形成输出视频比特流121，译码模式(间或内)、预测模式信息、运动信息以及量化的残差系数都被发送到熵译码单元(109)以进一步被压缩并打包，以形成比特流。

图4是基于块的视频解码器的功能框图。在熵解码单元208处解包并熵解码视频比特流202。译码模式和预测信息被发送到空间预测单元260(如果是内编码的)或时间预测单元262(如果是间编码的)以形成预测块。残差变换系数被发送到逆量化单元210和逆变换单元212以重构残差块。在226，预测块和残差块然后被添加在一起。重构块在其被存储到参考图片存储库264之前经过环内滤波。参考图片存储库中的重构视频然后被发送出去以驱动显示设备，以及用于预测未来的视频块。

如之前所述，BMS-1.0遵循如图2和图4中所示的VTM-1.0的相同的编码/解码工作流。但是，一些译码模块，尤其是与时间预测相关联的模块，被进一步扩展和增强。在下面描述中，简要描述在BMS-1.0或在前的JEM中包括的一些间工具。

运动向量预测

如同HEVC，为了降低信令运动信息的开销，VTM和BMS均包括两种模式来译码每个CU的运动信息，称为合并模式和非合并模式。在合并模式中，当前CU的运动信息直接从空间和时间相邻块得到，且基于竞争的方案被应用来从所有可用候选中选择最佳的相邻块；相应地，仅发送最佳候选的索引以用于在解码器重构CU的运动信息。如果在非合并模式中译码的是间译码PU，则使用从高级运动向量预测(AMVP)技术得到的MV预测器来区别地译码MV。与合并模式一样，AMVP从空间和时间相邻候选得到MV预测器。然后，MV预测器与实际MV之间的差，以及预测器的索引被传送给解码器。

图5示出了空间MV预测的示例。在要被译码的当前图片(CurrPic)中，方形CurrCU是当前CU，其在参考图片(CurrRefPic)中具有最佳匹配块CurrRefCU。CurrCU的MV(即MV2)要被预测。当前CU的空间相邻者可以是当前CU的上面、左边、左上、左下、右上的相邻CU。在图5中相邻CU被示出为上面相邻者NeighbCU。NeighbCU的参考图片(NeighbRefPic)和MV(MV1)都是已知的，因为NeighbCU在CurrCU之前已经被译码。

图6示出了时间MV预测(TMVP)的示例。图6中示出了四个图片(ColRefPic,CurrRefPic,ColPic,CurrPic)。在要被译码的当前图片(CurrPic)中方形CurrCU是当前CU，其在参考图片(CurrRefPic)中具有最佳匹配块(CurrRefCU)。CurrCU的MV(即MV2)要被预测。当前CU的时间相邻者被指定为相邻图片(ColPic)中的同位CU(ColCU)。ColCU的参考图片(ColRefPic)和MV(MV1)均是已知的，因为ColPic在CurrPic之前已经被译码。

针对空间和时间运动向量预测，给定有限时间和空间，不同块之间的MV被视为均匀速度的平移。在图5和6的示例中，CurrPic与CurrRefPic之间的时间距离是TB，以及图5中CurrPic与NeighbRefPic之间的时间距离或图6中ColPic与ColRefPic之间的时间距离是TD。缩放MV预测器可以被计算为

在VTM-1.0中，每个合并块针对每个预测方向L0和L1具有最多一个运动参数集(一个运动向量和一个参考图片索引)。相比之下，在BMS-1.0中包括基于高级时间运动向量预测(ATMVP)的另外的合并候选以能够在子块级得到运动信息。使用这种模式，通过允许CU得到CU中子块的多个MV，可以改善时间运动向量预测。一般来说，如图7所示，ATMVP分两步得到当前CU的运动信息。第一步是识别时间参考图片中当前块的对应块(称为同位块)。选择的时间参考图片称为同位图片。第二步是将当前块分成多个子块并从同位图片中对应的小块得到每个子块的运动信息。

在第一步中，通过当前块的空间相邻块的运动信息来确定同位块和同位图片。在当前设计中，考虑合并候选列表中首先可用的候选。图7示出了这种过程。具体地，在图7的示例中，基于合并候选列表的扫描顺序块A被识别为当前块的首先可用的合并候选。然后，块A的对应运动向量(MVA)以及其参考索引用于识别同位图片和同位块。同位图片中的同位块的位置通过将块A的运动向量(MVA)加到当前块的坐标来确定。

在第二步中，针对当前块中的每个子块，同位块中的其对应小块(如图7中小箭头指示的)的运动信息用于得到子块的运动信息。具体地，在识别出同位块中的每个小块的运动信息之后，运动信息以与TMVP中相同的方式被转换成当前块中对应子块的运动向量和参考索引。

解码器侧运动向量修正(DMVR)

针对VTM中的合并模式，当选择的合并候选被双向预测时，通过使用与候选的参考列表L0和L1相关联的两个MV对两个预测块进行平均来形成当前CU的预测信号。但是，合并候选的运动信息(其从当前CU的空间或时间相邻者得到)可能不够精确到代表当前CU的实际运动且因此可能危害帧间预测效率。为了进一步改善合并模式的译码性能，在BMS-1.0中应用解码器侧运动向量修正(DMVR)方法来修正合并模式的MV。具体地，当选择的合并候选被双向预测时，双向预测模板首先被生成为分别基于来自参考列表L0和L1的MV的两个预测信号的平均。然后，使用双向预测模板作为目标围绕初始MV局部执行基于块匹配的运动修正，下面将进行解释。

图8A示出了在DMVR中应用的运动修正过程。一般来说，DMVR通过以下两个步骤修正合并候选的MV。如图8A所示，在第一步骤中，通过对使用合并候选的L0和L1中的初始MV(即，MV₀和MV₁)的两个预测块进行平均来生成双向预测模板。然后，针对每个参考列表(即，L0或L1)，在围绕初始MV的局部区域中执行基于块匹配的运动搜索。针对每个MV，即该列表中围绕初始MV的对应参考列表的MV₀或MV₁，双向预测模板与使用该运动向量的对应预测块之间的成本值(例如，绝对差之和(SAD))被测量。针对两个预测方向中的每一个方向，在该预测方向中最小化模板成本的MV被认为是合并候选的参考列表中的最终MV。在当前BMS-1.0中，针对每个预测方向，在运动修正过程期间围绕初始MV的八个相邻MV(具有一个整数采样偏移)被考虑。最后，两个修正的MV(如图8A中所示的MV₀’和MV₁’)用于生成当前CU的最终双向预测信号。此外，在传统的DMVR中，为了进一步改善译码效率，DMVR块的修正的MV用于预测其空间和时间相邻块的运动信息(例如，基于空间AMVP、空间合并候选、TMVP和ATMVP)，并计算应用于当前CU的解块滤波器的边界强度值。图8B是DMVR过程示例的流程图，其中“空间AMVP”和“空间合并候选”涉及在当前图片中且按照CU译码顺序在当前CU之后译码的空间相邻CU的空间MV预测过程；“TMVP”和“ATMVP”涉及在之后的图片(基于图片译码顺序在当前图片之后译码的图片)中的未来CU的时间MV预测过程；以及“解块”涉及当前块和其空间相邻块的解块滤波过程。

在图8B示出的方法中，在802，生成双向预测模板。在804，针对L0运动向量执行运动修正，以及在806，针对L1运动向量执行运动修正。在808，使用修正的L0和L1运动向量生成最终双向预测。在图8B的方法中，修正的运动向量用于预测之后译码的块的运动。例如，修正的运动向量用于空间AMVP(810)、TMVP(814)以及ATMVP(816)。修正的运动向量还用作空间合并候选(812)并计算应用于当前CU(818)的解块滤波器的边界强度值。

双向光流

VTM/BMS-1.0中的双向是从使用平均已经被重构的参考图片得到的两个时间预测块的组合。但是，由于基于块的运动补偿的限制，在两个预测块之间能够观察到剩余的小运动，由此降低运动补偿预测的效率。为了解决这个问题，过去在JEM中使用双向光流(BIO)来补偿块内的每个采样的这种运动。具体地，BIO是在使用双向时在基于块的运动补偿预测之外还执行的采样类运动修正。一个块中每个采样的修正的运动向量的得到基于典型光流模型。设I^(k)(x,y)是在从参考图片列表k(k＝0,1)得到的预测块的坐标(x,y)处的采样值，以及

和

是采样的水平和垂直梯度。通过BIO修改后的双向信号得到为：

其中τ₀和τ₁是与I⁽⁰⁾和I⁽¹⁾相关联的参考图片Ref0和Ref1到当前图片的时间距离。此外，通过最小化在运动修正补偿之后的采样的值之间的差Δ来计算在采样位置(x,y)的运动修正(v_x,v_y)，如示出为

此外，为了提供得到的运动修正的规则性，假定运动修正在以(x,y)为中心的局部围绕区域内是一致的；因此，通过最小化在(x，y)的当前采样周围的5x5窗口Ω内的光流误差度量Δ来得到(v_x,v_y)的值，如下

应当提及的是，不同于DMVR，通过BIO得到的运动修正(v_x,v_y)仅被应用于增强双向信号但是不修改当前CU的运动信息。换言之，用于预测空间和时间相邻块的MV并用于决定当前CU的解块边界强度的MV仍然是原始MV(即，用于在应用BIO之前生成CU的基于块的运动补偿信号I⁽⁰⁾(x,y)和I⁽¹⁾(x,y)的MV)。

DMVR译码等待时间

像HEVC和其前任一样，VTM-1.0使用运动补偿预测(MCP)来有效地降低图片之间的时间冗余，由此实现高的间编码效率。由于用于生成一个CU的预测信号的MV在比特流中用信号发送或者继承自其空间/时间相邻者，因此在空间相邻CU的MCP之间没有依赖性。因此，相同图片/切片中的所有间块的MCP过程彼此独立。因此，针对VTM-1.0和针对HEVC，可以并行完成多个间块的解码过程，例如它们被分配给不同的线程以利用并行。

如上所述，在BMS-1.0中应用DMVR工具。为了避免带来额外信令开销，使用与CU的原始L0和L1 MV相关联的两个预测信号得到运动修正。因此，当从CU的空间相邻者(例如通过AMVP和合并模式)中的由DMVR译码的一者预测CU的运动信息时，其解码过程等到DMVR完全重构相邻块的MV。这会明显使得管线设计复杂，尤其在解码器侧，从而导致对硬件实施的复杂性显著增加。

为了示出DMVR导致的译码等待时间，图9和图10示出了比较VTM-1.0和BMS-1.0的解码过程的示例。为了便于解释，描述了有四个块尺寸相等的CU且所有这四个CU由DMVR译码、每个由分开的解码线程解码的情况；每个单独的解码模块(例如，MCP、DMVR、解量化和逆变换)的解码复杂性被认为对于四个CU来说是相同的。如图9所示，由于能够并行解码这四个CU，因此VTM-1.0的总解码时间等于一个CU的解码时间，即T_MCP+T_解量化+T_逆变换。由于DMVR带来的依赖性，对于BMS-1.0的解码过程(如图10所示)来说，每个单独译码块的解码不能够被调用，直到其空间相邻块的DMVR完全完成。因此，针对BMS-1.0来说四个CU的总解码时间等于T_总＝4*(T_MCP+T_DMVR)+T_解量化+T_逆变换。可以看出，DMVR使用预测采样来修正运动信息带来相邻间块之间的依赖性，由此明显增加编码和解码过程的等待时间。

等待时间降低方法概述

本公开提出的方法用于消除或降低DMVR的编码/解码等待时间同时保持其主要的译码性能。具体地，本公开的各种实施方式包括以下方面的一者或多者。

与BMS-1.0中的当前DMVR方法不同，其中一个块的修正的DMVR运动总是用于预测其空间/时间相邻块的运动并得到解块滤波器强度，在一些实施方式中提出完全或部分使用DMVR块的未修正的MV(用于生成原始双向预测信号的MV)来用于MV预测和解块过程。给定原始MV能够在没有DMVR的情况下从解析和运动向量重构(运动向量预测期加上解析运动向量差)直接得到，在相邻块之间没有依赖性，且能够并行完成多个间CU的解码过程。

由于未修正的MV没有修正的MV精确，这可能导致一些译码性能降级。为了降低这种损失，在一些实施方式中提出将图片/切片分成多个区域。此外，在一些实施方式中提出另外的限制，由此相同区域内的多个CU或来自不同区域的多个CU的解码能够独立被执行。

在一些实施方式中，提出基于光流的运动得出方法以用于替代基于块匹配的运动搜索来计算每个DMVR CU的运动修正。与在小的局部窗中执行运动搜索的基于块的方法相比，一些实施方式基于空间和时间采样得出直接计算运动修正。这不仅可以降低计算复杂性还可以增加运动修正精度，因为得出的修正的运动的值不限于搜索窗。

用于DMVR等待时间降低的未修正的运动向量的使用

如上所述，使用一个DMVR块的修正的MV作为其相邻块的MV预测器对针对实际编解码器设计的并行编码/解码来说是不友好的，因为相邻块的编码/解码不被执行，直到通过DMVR完全重构当前块的修正的MV。基于这种分析，在该部分提出用于移除DMVR造成的译码等待时间的方法。在一些实施方式中，DMVR的核心设计(例如基于块匹配的运动修正)保持与已有设计相同。但是，用于执行MV预测(例如，AMVP，合并，TMVP和ATMVP)和解块的DMVR块的MV被修改由此可以移除DMVR造成的相邻块之间的依赖性。

用于空间和时间运动预测的未修正的运动向量的使用

在一些实施方式中，不是使用修正的运动，而是提供总是使用DMVR块的未修正的运动执行MV预测和解块。图11示出了在使用这种方法之后修改的DMVR过程。如图11所示，不是使用修正的MV，而是未修正的MV(DMVR之前的原始MV)用于得到MV预测器并确定解块滤波器的边界强度。修正的MV仅用于生成块的最终双向预测信号。由于当前块的修正的MV和其相邻块的解码之间的依赖性不存在，因此这种实施方式可以用于去除DMVR的编码/解码等待时间。

用于空间运动预测的未修正的运动向量的使用

在图11的示例中，DMVR块的未修正的MV用于通过TMVP和ATMVP得到未来图片中同位块的时间运动预测器，并计算当前块与其空间相邻者之间的解块滤波器的边界强度。由于未修正的MV可以比修正的MV的精度更低，这可能导致一些译码性能损失。另一方面，时间运动预测(TMVP和ATMVP)使用之前解码的图片(具体地，同位图片)来预测当前图片中的MV。因此，在执行当前图片的时间运动预测之前，已经重构了同位图片中的DMVR CU的修正的MV。类似的情况也适用于解块滤波器过程：由于解块滤波器被应用到重构采样，其仅在当前块的采样通过MC(包括DMVR)、解量化以及逆变换完全被重构之后才能被调用。因此，在解块应用到DMVR块之前，修正的MV已经是可用的。

在图11示出的方法中，在1100，识别用于第一块的未修正的运动向量。可以使用各种可用MV信令技术中的任意针对第一块已经用信号发送未修正的运动向量。在1102，未修正的运动向量用于生成双向预测模板。在1104，针对L0运动向量执行运动修正，以及在1106，针对L1运动向量执行运动修正。在1108，使用修正的L0和L1运动向量来生成第一块的最终双向预测。在图11的方法中，未修正的运动向量用于预测后续译码的块(例如第二块)的运动。例如，针对空间AMVP(1110)、TMVP(1114)以及ATMVP(1116)使用未修正的运动向量。未修正的运动向量还用作空间合并候选(1112)以及计算解块滤波器(1118)的边界强度值。

在另一实施方式中，为了解决这些问题并实现更好的译码性能，提出了使用DMVR块的不同MV(未修正的MV和修正的MV)用于空间运动预测、时间运动预测以及解块滤波器。具体地，在该实施方式中，未修正的MV仅用于得到用于空间运动预测的MV预测器(例如，空间AMVP和空间合并候选)，而修正的MV用于不仅得到块的最终预测而且生成用于时间运动预测的MV预测器(TMVP和ATMVP)并计算解块滤波器的边界强度参数。图12示出了根据该第二实施方式的DMVR过程。

在图12示出的方法中，在1200，识别用于第一块的未修正的运动向量。使用各种可用MV信令技术的任意针对第一块已经用信号发送未修正的运动向量。在1202，未修正的运动向量用于生成双向预测模板。在1204，针对L0运动向量执行运动修正，以及在1206，针对L1运动向量执行运动修正。在1208，使用修正的L0和L1运动向量生成第一块的最终双向预测。在图12的方法中，未修正的运动向量用于预测与第一块在相同图片内的后续译码的块(例如第二块)的运动。例如，未修正的运动向量用于空间AMVP(1110)和用作空间合并候选(1212)。修正的运动向量用于例如使用TMVP(1214)或ATMVP(1216)预测其他图片中的后续译码的块(例如第三块)的运动。修正的运动向量还用于计算解块滤波器(1218)的边界强度值。

用于空间运动预测和解块的未修正的运动向量的使用

在图12的示例中，DMVR块的不同MV用于空间运动预测和解块滤波器。另一方面，不同于用于时间运动预测的MV(其存储在外部存储器中)，用于空间运动预测和解块的MV通常使用针对实际编解码器设计的芯片内存储器来存储以提高数据接入速度。因此，图12的方法的一些实施需要两个不同的芯片内存储器来存储针对每个DMVR块的未修正的和修正的MV。这会使得用于缓存MV的线缓冲器尺寸翻倍，这对于硬件实施来说是不期望的。为了保持MV存储的总芯片内存储器尺寸与VTM-1.0的相同，在进一步实施方式中提出使用DMVR块的未修正的MV用于解块过程。图13示出了根据该实施方式的DMVR过程的示例。具体地，与图12的方法一样，修正的DMVR MV除了生成最终双向预测信号之外还用于通过TMVP和ATMVP生成时间运动预测器。但是，在图13的实施方式中，未修正的MV用于不仅得到空间运动预测器(空间AMVP和空间合并)而且用于确定当前块的解块滤波器的边界强度。

在图13示出的方法中，在1300，识别用于第一块的未修正的运动向量。可以使用各种可用MV信令技术的任意来针对第一块已经用信号发送未修正的运动向量。在1302，未修正的运动向量用于生成双向预测模板。在1304，针对L0运动向量执行运动修正，以及在1306，针对L1运动向量执行运动修正。在1308，使用修正的L0和L1运动向量生成第一块的最终双向预测。在图13的方法中，未修正的运动向量用于预测与第一块在同一个图片内的后续译码的块(例如第二块)的运动。例如，未修正的运动向量用于空间AMVP(1310)和用作空间合并候选(1312)。未修正的运动向量还用于计算解块滤波器的边界强度值(1314)。修正的运动向量用于例如使用TMVP(1316)或ATMVP(1318)预测在其他图片中的后续译码的块(例如第三块)的运动。

图11-13的实施方式可以降低或去除DMVR造成的编码/解码等待时间，鉴于在这些实施方式中不存在一个块的解码对其相邻DMVR块的修正的MV的重构的依赖性。基于图10中相同的示例，图14示出了在应用图11-13的方法之一时并行解码过程的示例。如图14所示，由于能够并行执行多个DMVR块的解码，因此在相邻块之间没有解码等待时间。相应地，总解码时间可以等于一个块的解码，其可以被表示为T_MCP+T_DMVR+T_解量化+T_逆变换。

DMVR等待时间降低的基于片段的方法

如上所述，DMVR的编码/解码等待时间的一个原因是DMVR块的修正的MV的重构与其相邻块的解码之间的依赖性，这是由空间运动预测(例如，空间AMVP和空间合并模式)导致的。虽然诸如图11-13的方法能够去除或降低DMVR的译码等待时间，但是这种降低的等待时间由于精度更低的未修正的MV用于空间运动预测而以译码效率降级为代价。另一方面，如图10所示，DMVR导致的最差情况的编码/解码等待时间直接与DMVR模式译码的连续块的最大数有关。为了解决这些问题，在一些实施方式中，基于区域的方法用于降低编码/解码等待时间，同时降低使用用于空间运动预测的未修正的MV导致的译码损失。

具体地，在一些实施方式中，图片被分成多个不重叠的片段，以及片段中的每个DMVR块的未修正的MV被用作预测器来预测相同片段中的其相邻块的MV。但是，当DMVR块位于片段的右或底部边界时，将不会使用其未修正的MV；而是，该块的修正的MV被用作预测器来预测来自相邻片段的块的MV，以为了更好的空间运动预测效率。

图15示出了根据一个实施方式的DMVR过程的示例，以及图16示出了示例，其中空白块代表针对空间运动预测、空间合并以及解块使用未修正的MV的DMVR块，以及有图案的块代表针对空间运动预测、空间合并以及解块使用修正的MV的DMVR块。在图16的示例中，相同片段内的不同间块的编码/解码能够彼此独立地被执行，而来自不同片段的块的解码仍然是依赖的。例如，由于片段#2的左边界上的块可以使用片段#1中的相邻DMVR块的修正的MV作为空间MV预测器，因此它们的解码过程不会开始，直到片段#1中的这些相邻块的DMVR全部完成。此外，如图15所示，与图13的方法类似，一个DMVR块的相同MV用于空间运动预测和解块滤波器，以避免增加芯片内存储器来用于存储MV。在另一实施方式中，提出针对解块过程总是使用修正的MV。

在图15示出的方法中，在1502，确定用于第一块的未修正的运动向量。使用各种可用MV信令技术的任意来针对第一块已经用信号发送未修正的运动向量。在1504，未修正的运动向量用于生成双向预测模板。在1506，针对L0运动向量执行运动修正，以及在1508，针对L1运动向量执行运动修正。在1510，使用修正的L0和L1运动向量生成第一块的最终双向预测。

在1512，确定第一块是否位于右边或底部片段边界。如果第一块没有位于右边或底部片段边界，则未修正的运动向量用于预测与第一块同一个图片内的后续译码的块(例如第二块)的运动。例如，未修正的运动向量用于空间AMVP(1514)且用作空间合并候选(1516)。未修正的运动向量还用于计算解块滤波器(1518)的边界强度值。另一方面，如果第一块位于右边或底部片段边界，则修正的运动向量用于预测与第一块同一个图片内的后续译码的块(例如第二块)的运动(例如使用AMVP 1514和空间合并候选1516)，以及修正的运动向量还用于计算解块滤波器(1518)的边界强度值。不管在1512的确定的结果如何，修正的运动向量用于例如使用TMVP(1520)或ATMVP(1522)预测其他图片中的后续译码的块(例如第三块)的运动。

在图16的实施方式中，仅针对位于一个图片内的片段的左边/顶部边界的块的空间运动预测才启用修正的MV。但是，依据片段尺寸，能够针对空间运动预测应用修正的MV的块的总百分比相对小。结果可能仍然是对于空间运动预测性能下降不可以忽略。为了进一步改善性能，在一些实施方式中提出了允许一个片段内的DMVR块的修正的MV预测相同片段内的相邻块的MV。但是，结果是一个片段内的多个块的解码不能够并行执行。为了改善编码/解码并行性，在该方法中，还提出了禁止当前块使用来自另一片段的相邻块的MV(未修正的MV或修正的MV)作为用于空间运动预测(例如空间AMVP和空间合并)的预测器。具体地，通过这种方式，如果相邻块来自与当前块不同的片段，其将被视为对于空间运动向量预测来说是不可用的。

在图17中示出了这样的一个实施方式。在图17中，空白块代表允许使用相邻MV(如果相邻块是一个DMVR块则相邻MV可以是修正的MV，否则是未修正的MV)用于空间运动预测的CU；带图案的块代表被禁止使用来自不同片段的其相邻块的MV用于空间运动预测的CU。根据图17的实施方式允许片段间的间块的并行解码，但是不允许一个片段内的并行解码。

一般来说，仅针对具有前向和后向预测信号的双向预测的CU才启用DMVR。具体地，DMVR需要使用两个参考图片：一个具有较小图片顺序计数(POC)以及另一个具有比当前图片的POC更大的POC。相比之下，从在显示顺序比当前图片靠前的参考图片预测低延迟(LD)图片，L0和L1中的所有参考图片的POC比当前图片的POC要小。因此，DMVR不能应用于LD图片，且DMVR导致的译码等待时间在LD图片中不存在。基于这种分析，在一些实施方式中，当应用DMVR时，提出仅将上述DMVR并行限制(禁用片段边界间的空间运动预测)应用于非LD图片。针对LD图片，不应用限制，且仍然允许基于当前块的来自另一片段的空间相邻者的MV来预测当前块的MV。在进一步实施方式中，编码器/解码器基于在没有另外信令的情况下检查L0和L1中的所有参考图片的POC来确定是否应用限制。在另一实施方式中，提出添加图片/切片级标志来指示DMVR并行限制是否被应用于当前图片/切片。

在一些实施方式中，编码器选择图片/切片内的片段数以及每个片段的位置并将其用信号发送给解码器。可以与HEVC和JEM中的其他并行工具(例如，切片、图块(tile)和波前并行处理(WPP))类似地执行该信号发送。不同的选择可能导致译码性能和编码/解码并行之间不同的权衡。在一个实施方式中，提出将每个片段的尺寸设置为等于一个CTU的尺寸。在信令方面，语法元素可以在序列和/或图片级被添加。例如，每个片段中的CTU的数量可以在序列参数集(SPS)和/或图片参数集(PPS)中用信号发送，或可以在切片报头中用信号发送。语法元素的其他变化可以被使用，例如CTU行数可以被使用，或每个图片/切片中的片段数量可以被使用，以及其他的可替换方式。

运动修正方法示例

这里描述的另外的实施方式操作用于替换用于计算DMVR运动修正的块匹配运动搜索。与在小局部窗执行运动搜索的基于块匹配的方法相比，示例实施方式基于空间和时间采样衍生物直接计算运动修正。这样的实施方式降低计算复杂性并可以增加运动修正精度，因为得到的修正运动的值不限于搜索窗。

使用块级BIO的运动修正

如上所述，BIO先前在JEM中用于在双向预测块的时候除了基于块的运动补偿预测还提供采样类运动修正。基于当前设计，BIO仅增强作为修正结果的运动步长预测采样，而没有更新存储在MV缓冲器且用于空间和时间运动预测和解块滤波器的MV。这意味着，与当前DMVR相反，BIO在相邻块之间不会带来任何编码/解码的时间。但是，在当前BIO设计中，在最小单元(例如4x4)得到运动修正。这可能导致不可忽视的计算复杂性，尤其是在解码器侧。这对于硬件编解码器实施来说是不期望的。因此，为了解决DMVR的等待时间同时保持可接受的译码复杂性，在一些实施方式中提出使用基于块的BIO来计算用于DMVR译码的视频块的局部运动修正。具体地，在提出的实施方式中，BIO核心设计(例如梯度和修正的运动向量计算)保持与计算运动修正的已有设计相同。但是，为了降低复杂性，基于CU级得到运动修正量，针对CU内的所有采样聚合单个值且用于计算单个运动修正；以及当前CU内的所有采样将共享相同的运动修正。基于以上关于BIO使用的相同注释，提出的块级BIO运动修正的示例得出如下：

其中，θ是当前CU内的采样的坐标，以及其中Δ(x,y)是以上等式3中提出的光流误差度量。

如上所指示的，BIO的动机是基于在当前块内的每个采样位置的局部梯度信息改善预测采样的精度。针对包含许多采样的大视频块，可能的是在不同采样位置的局部梯度可以表现非常变化的特性。在这种情况中，以上基于块的BIO推导可能不可以提供对当前块的可靠运动修正，由此导致译码性能损失。基于这种考虑，在一些实施方式中，提出仅在DMVR块的块尺寸小(例如不大于一个给定阈值)时启用基于CU的BIO运动得出。否则，禁用基于CU的BIO运动得出；而是，已有的基于块匹配的运动修正(使用在一些实施方式中应用的上述的提出的DMVR等待时间去除/降低方法)将用于得出用于当前块的局部运动修正。

使用光流的运动修正

如上所述，BIO基于以下假定而估计局部运动修正：在每个采样位置得出的L0和L1运动修正是关于当前图片对称的，即，

以及

其中

和

是与预测列表L0和L1相关联的水平和垂直运动修正。但是，这种假定对于DMVR译码的块来说可能不是为真。例如，在已有的DMVR(如图8A所示)中，针对L0和L1执行两个分开的基于块匹配的运动搜索，由此最小化L0和L1预测信号的模板成本的MV可以是不同的。由于这种对称的运动限制，BIO得出的运动修正可能不是一直足够精确以增强针对DMVR的预测质量(有时可能甚至降级预测质量)。

在一些实施方式中，改善的运动得出方法用于计算针对DMVR的运动修正。表述图片的亮度的经典光流模型随时间变化保持恒定，表示如下，

E(x,y,t)＝E(x+dx,y+dy,t+dt) (6)

其中x和y代表空间坐标以及t代表时间。等式的右侧能够通过关于(x,y,t)的泰勒级数展开。之后，光流等式变为一阶，

使用相机捕捉时间作为基础时间单元(例如，设置dt＝1)，等式(7)能够通过将光流函数从连续域改变到离散域来离散化。令I(x,y)是从相机捕捉的采样值，则等式(7)变为

在各种实施方式中，可以基于等式(9)中左边表达式不等于零的程度来定义一个或多个误差度量。运动修正可以用于基本最小化误差度量。

在一些实施方式中，提出使用离散光流模式来估计L0和L1中的局部运动修正。具体地，通过对使用合并候选的初始L0和L1 MV的两个预测块进行平均来生成双向预测模板。但是，不是在局部区域中执行块匹配运动搜索，等式(8)中的光流模型在一些提出的实施方式中用于直接得出针对每个参考列表L0/L1的修正的MV，表述如下：

其中，P⁰和P¹是分别使用针对参考列表L0和L1的原始MV生成的预测信号，P^模板是双向预测模板信号；

和

是预测信号P⁰和P¹的水平/垂直梯度，其能够基于不同的梯度滤波器来计算，例如BIO使用的索贝尔(Sobel)滤波器或2D可分离梯度滤波器，如在以下中所描述的：J.Chen，E.Alshina，G.J.Sullivan，J.R.Ohm，J.Boyce，“联合探测测试模型的算法描述6(Algorithm description of joint exploration test model 6)”，JVET-G1001，2017年7月，都灵，意大利。等式(9)代表一组等式：一个等式针对预测信号P⁰或P¹中的每个采样，对此能够计算一个单独的

和P^模板-P^k。具有两个未知的参数Δx^k和Δy^k，通过最小化等式9的平方差的和能够解决多因素决定的问题，如下

其中

是L0/L1预测信号和双向预测模板信号之间的时间差，以及θ是译码块内的坐标集。通过解决等式(10)中的线性最小均方差(LLMSE)问题，我们能够得到(Δx,Δy)^* _k的解析式为

基于等式(11)，在一些实施方式中，为了改善得出的MV的精度，这样的方法可以以递归的方式选择运动修正(即，(Δx,Δy)^* _k)。这样的实施方式可以通过以下方式来操作：使用当前块的原始L0和L1 MV生成初始双向预测模板信号并基于等式(11)计算对应的增量运动(Δx,Δy)^* _k；修正的MV然后用作用于生成新L0和L1预测采样以及双向预测模板采样的运动，其然后用于更新局部修正(Δx,Δy)^* _k的值。该过程可以被重复直到MV不被更新或达到最大迭代次数。这样的过程的一个示例被归纳为以下过程，如图18所示。

在1802，计数器l被初始化为l＝0。在1804，使用块的原始MV

和

生成初始L0和L1预测信号

和

以及初始双向预测模板信号

在1806和1808，基于等式(11)的局部L0和L1运动修正

和

以及块的MV被更新为

和

如果

和

是零(在1810确定)或如果l＝l_max(在1812确定)，则在1814，使用修正的运动向量生成最终双向预测。否则，在1816，计数器l递增，且该过程迭代，其中使用MV

和

更新(在1806、1808)L0和L1预测信号

和

以及双向预测模板信号

图18示出了使用示例基于光流的运动得出方法来计算DMVR块的运动修正的DMVR过程的示例。如图18所示，通过基于光流模型迭代地修改原始MV来识别一个DMVR块的光MV。虽然这样的方法能够提供好的运动估计精度，其还带来大量的复杂性增加。为了降低得出复杂性，在公开的一个实施方式中，提出仅对使用提出的运动得出方法得出运动修正应用一次迭代，例如仅应用1804至1808示出的过程来得出DMVR块的修改的MV。

由于小块内采样特性间的高一致性，基于光流的运动得出模型用于小CU比用于大CU更有效率。在一些实施方式中，提出当DMVR块的块尺寸小(例如不大于给定阈值)时实现用于DMVR块的基于光流的运动得出。否则，已有的基于块匹配的运动修正将用于得出用于当前块的局部运动修正(例如与这里描述的提出的DMVR等待时间去除/降低方法一起)。

注意描述的一个或多个实施方式的各种硬件元件称为“模块”，其实施(例如运行、执行等)与各自模块相关联的本申请描述的各种功能。这里使用的模块包括本领域技术人员认为适合给定实施的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(ASIC)、一个或多个场可编程门阵列(FPGA)、一个或多个存储设备)。每个描述的模块还可以包括可执行用于在各自模块执行时执行描述的一个或多个功能的指令，且注意这些指令可以采用硬件(即硬线)指令、固件指令、和/或软件指令等的形式或包括这些，且可以被存储在任何合适的非暂态计算机可读介质或媒介，例如一般称为RAM、ROM等。

虽然以特定组合描述了上述的特征和元素，但是本领域技术人员理解每个特征或元素能够单独被使用或与其他特征和元素以任意组合的形式被使用。此外，本申请描述的方法可以在结合在计算机可读介质中的计算机程序、软件和/或固件中实现，以由计算机和/或处理器执行。计算机可读介质的示例包括但不限于电子信号(通过有线和/或无线连接传输)和/或计算机可读存储介质。计算机可读存储介质的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储器设备、磁介质(例如但不限于，内部硬盘和可移除磁盘)、磁光介质和/或光学介质(例如CD-ROM盘和/或数字通用盘(DVD))。与软件相关联的处理器可用于实现用于WTRU、UE、基站、RNC和/或任何主计算机的射频收发器。

Claims (15)

1.一种基于块的视频译码方法，包括：

在第一块，修正第一未修正的运动向量和第二未修正的运动向量以生成第一修正的运动向量和第二修正的运动向量；

使用所述第一未修正的运动向量和所述第二未修正的运动向量中的一者或两者，预测第二块的运动信息，所述第二块是所述第一块的空间相邻者；以及

使用所述第一修正的运动向量和所述第二修正的运动向量，通过双向预测来预测所述第一块。

2.根据权利要求1所述的方法，其中对所述第一未修正的运动向量和所述第二未修正的运动向量的修正是使用解码器侧运动向量修正(DMVR)而被执行的。

3.根据权利要求1所述的方法，其中修正所述第一未修正的运动向量和所述第二未修正的运动向量包括选择所述第一修正的运动向量和所述第二修正的运动向量以充分地最小化误差度量。

4.根据权利要求3所述的方法，其中所述误差度量是模板成本，以及其中修正所述第一未修正的运动向量和所述第二未修正的运动向量包括选择所述第一修正的运动向量和所述第二修正的运动向量以关于使用所述第一未修正的运动向量和所述第二未修正的运动向量通过双向预测生成的模板信号而充分地最小化所述模板成本。

5.根据权利要求4所述的方法，其中所述模板成本是绝对差之和。

6.根据权利要求3所述的方法，其中所述误差度量是光流误差度量。

7.根据权利要求1至6中任意一项所述的方法，进一步包括使用所述第一修正的运动向量和所述第二修正的运动向量中的至少一者来预测第三块的运动信息，其中所述第三块和所述第一块是不同图片中的同位块。

8.根据权利要求7所述的方法，其中预测所述第三块的运动信息是使用高级时间运动向量预测(ATMVP)而被执行的。

9.根据权利要求1至8中任意一项所述的方法，其中预测所述第二块的运动信息包括使用空间高级运动向量预测(AMVP)。

10.根据权利要求1至8中任意一项所述的方法，其中预测所述第二块的运动信息包括使用所述第一未修正的运动向量和所述第二未修正的运动向量中的至少一者作为空间合并候选。

11.根据权利要求1至8中任意一项所述的方法，其中预测所述第二块的所述运动信息包括接收标识所述第一未修正的运动向量或所述第二未修正的运动向量的至少一个索引。

12.根据权利要求1至8中任意一项所述的方法，进一步包括：

将运动向量差添加到所述第一未修正的运动向量和所述第二未修正的运动向量中的至少一者以生成至少一个重构运动向量；以及

使用所述至少一个重构运动向量生成所述第二块的帧间预测。

13.根据权利要求1至11中任意一项所述的方法，进一步包括使用所述第一未修正的运动向量和所述第二未修正的运动向量中的至少一者来生成所述第二块的帧间预测。

14.根据权利要求1至13中任意一项所述的方法，进一步包括至少部分基于所述第一未修正的运动向量和所述第二未修正的运动向量来确定用于所述第一块的解块滤波器强度。

15.一种视频译码系统，包括处理器和非暂态计算机可读介质，该非暂态计算机可读介质存储指令，该指令可操作用于执行包括视频译码方法的功能，所述视频译码方法包括：

在第一块，修正第一未修正的运动向量和第二未修正的运动向量以生成第一修正的运动向量和第二修正的运动向量；

使用所述第一未修正的运动向量和所述第二未修正的运动向量中的一者或两者，预测第二块的运动信息，所述第二块是所述第一块的空间相邻者；以及

使用所述第一修正的运动向量和所述第二修正的运动向量，通过双向预测来预测所述第一块。

Images