CN115941970B - 用于视频编解码中的解码器侧运动矢量细化的方法和装置 - Google Patents

用于视频编解码中的解码器侧运动矢量细化的方法和装置 Download PDF

Info

Publication number
CN115941970B
CN115941970B CN202211567629.5A CN202211567629A CN115941970B CN 115941970 B CN115941970 B CN 115941970B CN 202211567629 A CN202211567629 A CN 202211567629A CN 115941970 B CN115941970 B CN 115941970B
Authority
CN
China
Prior art keywords
value
motion vector
cost value
initial motion
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211567629.5A
Other languages
English (en)
Other versions
CN115941970A (zh
Inventor
陈漪纹
修晓宇
马宗全
王祥林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202211567629.5A priority Critical patent/CN115941970B/zh
Publication of CN115941970A publication Critical patent/CN115941970A/zh
Application granted granted Critical
Publication of CN115941970B publication Critical patent/CN115941970B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种用于视频解码的方法。所述方法包括：推导当前块的初始运动矢量MV；推导用于解码器侧运动矢量细化DMVR的多个MV候选；确定所述初始运动矢量MV和每个MV候选的代价值，所述代价值是绝对差和SAD；减小所述初始运动矢量MV的代价值或增大所述MV候选的代价值以获得更新的代价值；以及基于更新的代价值来推导细化的MV。

Description

用于视频编解码中的解码器侧运动矢量细化的方法和装置
本申请是申请号为202080041146.4、申请日为2020年6月17日、题目为“用于视频编解码中的解码器侧运动矢量细化的方法和装置”的发明申请的分案申请。
技术领域
本申请总体上涉及视频编解码和压缩，并且具体地但不限于，用于视频编解码中的解码器侧运动矢量细化(DMVR)的方法和装置。
背景技术
如数字电视、膝上型计算机或台式计算机、平板计算机、数码相机、数字录音设备、数字媒体播放器、视频游戏机、智能电话、视频电话会议设备、视频流式传输设备等各种电子设备都支持数字视频。电子设备通过实施视频压缩/解压缩来传输、接收、编码、解码和/或存储数字视频数据。数字视频设备实施视频编解码技术，如在由以下所定义的标准以及这种标准的扩展中描述的视频编解码技术：通用视频编解码(VVC)、联合探索测试模型(JEM)、MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分、高级视频编解码(AVC)、ITU-T H.265/高效视频编解码(HEVC)。
视频编解码通常使用预测方法(例如，帧间预测、帧内预测)进行，这些预测方法利用视频图像或序列中存在的冗余。视频编解码技术的一个重要目标在于，在避免或最小化视频质量降级的同时将视频数据压缩成使用较低比特率的形式。随着不断发展的视频服务的出现，需要具有更好编解码效率的编码技术。
视频压缩典型地包括执行空间(帧内)预测和/或时间(帧间)预测以减少或去除视频数据中固有的冗余。对于基于块的视频编解码，将视频帧分割为一个或多个条带，每个条带具有多个视频块，所述视频块也可以被称为编码树单元(CTU)。可以使用具有嵌套的多类型树结构的四叉树将CTU划分成编码单元(CU)，其中CU定义共享同一预测模式的像素区域。每个CTU可以包含一个编码单元(CU)或递归地划分成较小的CU，直到达到预定义的最小CU尺寸。每个CU(也称为叶CU)包含一个或多个变换单元(TU)，并且每个CU还包含一个或多个预测单元(PU)。可以以帧内、帧间或IBC模式对每个CU进行编解码。相对于同一视频帧内的相邻块中的参考样点，使用空间预测对视频帧的帧内编解码(I)条带中的视频块进行编码。视频帧的帧间编解码(P或B)条带中的视频块可以相对于同一视频帧内的相邻块中的参考样点使用空间预测或相对于其他先前和/或未来参考视频帧中的参考样点使用时间预测。
在本公开的一些示例中，术语“单元”定义覆盖如亮度和色度等所有分量的图像区域；术语“块”用于定义覆盖特定分量(例如亮度)的区域，并且当考虑如4:2:0的色度采样格式时，不同分量(例如亮度对色度)的块在空间位置中可能不同。
基于先前已编码的参考块(例如，相邻块)的空间或时间预测产生针对待编解码的当前视频块的预测块。查找参考块的过程可以通过块匹配算法来完成。表示待编解码的当前块与预测块之间的像素差的残差数据被称为残差块或预测误差。根据指向形成预测块的参考帧中的参考块的运动矢量、以及残差块来对帧间编解码块进行编码。确定运动矢量的过程典型地被称为运动估计。根据帧内预测模式和残差块对帧内编解码块进行编码。为了进一步压缩，将残差块从像素域变换到变换域，例如频域，从而产生残差变换系数，然后可以对所述残差变换系数进行量化。可以扫描最初布置为二维阵列的量化的变换系数，以产生变换系数的一维矢量，并且然后将其熵编码为视频比特流，以实现更多的压缩。
然后，将已编码视频比特流保存在计算机可读存储介质(例如，闪速存储器)中，以被具有数字视频能力的另一个电子设备访问，或者直接以有线或无线方式传输到电子设备。然后，电子设备通过例如解析已编码视频比特流以从比特流获得语法元素并且至少部分地基于从比特流获得的语法元素将数字视频数据从已编码视频比特流重建为其原始格式来执行视频解压缩(其是与上文描述的视频压缩相反的过程)，并且在电子设备的显示器上渲染重建数字视频数据。
随着数字视频质量从高清到4K×2K或甚至8K×4K，待编码/解码的视频数据量呈指数增长。在如何在保持解码视频数据的图像质量的同时更高效地对视频数据进行编码/解码方面一直存在挑战。
发明内容
总体上，本公开描述了与视频编解码中的解码器侧运动矢量细化(DMVR)有关的技术的示例。
根据本公开的第一方面，提供了一种用于视频编解码的方法，所述方法包括：推导当前编码单元(CU)的初始运动矢量(MV)；推导用于解码器侧运动矢量细化(DMVR)的多个运动矢量(MV)候选；确定所述初始MV和每个MV候选的代价值；通过调整所述代价值中的至少一个来获得更新的代价值以便有利于所述初始MV；以及基于所述初始MV和所述MV候选的更新的代价值来推导细化的运动矢量(MV)。
根据本公开的第二方面，提供了一种用于视频编解码的装置，所述装置包括：一个或多个处理器；以及存储器，所述存储器被配置为存储可由所述一个或多个处理器执行的指令；其中，所述一个或多个处理器在执行所述指令时被配置为：推导当前编码单元(CU)的初始运动矢量(MV)；推导用于解码器侧运动矢量细化(DMVR)的多个运动矢量(MV)候选；确定所述初始MV和每个MV候选的代价值；通过调整所述代价值中的至少一个来获得更新的代价值以便有利于所述初始MV；以及基于所述初始MV和所述MV候选的更新的代价值来推导细化的MV。
根据本公开的第三方面，提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括存储在其中的指令，其中，当一个或多个处理器执行所述指令时，所述指令使所述一个或多个处理器执行包括以下各项的动作：推导当前编码单元(CU)的初始运动矢量(MV)；推导用于解码器侧运动矢量细化(DMVR)的多个运动矢量(MV)候选；确定所述初始MV和每个MV候选的代价值；通过调整所述代价值中的至少一个来获得更新的代价值以便有利于所述初始MV；以及基于所述初始MV和所述MV候选的更新的代价值来推导细化的运动矢量(MV)。
附图说明
本公开的示例的更具体的描述将通过参照在附图中图示的具体示例来呈现。鉴于这些附图仅描绘了一些示例并且因此不应被认为是对范围的限制，将通过使用所附附图更具体和详细地描述和解释这些示例。
图1是图示了根据本公开的一些实施方式的示例性视频编码器的框图。
图2是图示了根据本公开的一些实施方式的示例性视频解码器的框图。
图3是图示了根据本公开的一些实施方式的解码器侧运动矢量细化(DMVR)的示意图。
图4是图示了根据本公开的一些实施方式的DMVR搜索过程的示例的示意图。
图5是图示了根据本公开的一些实施方式的DMVR整数亮度样点搜索模式的示例的示意图。
图6是图示了根据本公开的一些实施方式的用于视频编解码的示例性装置的框图。
图7是图示了根据本公开的一些实施方式的视频编解码中的解码器侧运动矢量细化(DMVR)的示例性过程的流程图。
具体实施方式
现在将详细参照具体实施方式，附图中图示了这些实施方式的示例。在以下详细描述中，阐述了许多非限制性的具体细节，以便帮助理解本文提出的主题。但是对于本领域普通技术人员将显而易见的是，可以使用各种替代方案。例如，对于本领域普通技术人员将显而易见的是，本文提出的主题可以在具有数字视频能力的许多类型的电子设备上实施。
贯穿本说明书对“一个实施例”、“实施例”、“示例”、“一些实施例”、“一些示例”、或类似语言的提及意味着所描述的特定特征、结构、或特性包括在至少一个实施例或示例中。除非另有明确说明，否则结合一个或一些实施例描述的特征、结构、要素、或特性也适用于其他实施例。
贯穿本公开，术语“第一”、“第二”、“第三”等都用作命名法，仅用于提及相关要素，例如设备、部件、组分、步骤等，除非另有明确说明，否则不暗示任何空间或时间顺序。例如，“第一设备”和“第二设备”可以指两个单独形成的设备，或者同一设备的两个部分、部件或工作状态，并且可以任意命名。
如本文所使用的，取决于上下文，术语“如果”或“当……时”可以被理解为意指“在……时”或“响应于”。这些术语如果出现在权利要求中，可能并不指示相关限制或特征是有条件的或可选的。
术语“模块”、“子模块”、“电路”、“子电路(sub-circuit)”、“电路”、“子电路(sub-circuitry)”、“单元”、或“子单元”可以包括存储器(共享、专用、或组)，所述存储器存储可以由一个或多个处理器执行的代码或指令。模块可以包括具有或不具有存储的代码或指令的一个或多个电路。模块或电路可以包括直接或间接连接的一个或多个部件。这些部件可能会或可能不会物理地附接到彼此或彼此相邻。
单元或模块可以纯软件实施，也可以纯硬件实施，也可以硬件与软件结合实施。例如，在纯软件实施方式中，单元或模块可以包括直接或间接链接在一起的功能相关的代码块或软件部件，以执行特定功能。
图1示出了图示可以与使用基于块的处理的许多视频编解码标准结合使用的示例性的基于块的混合视频编码器100的框图。在编码器100中，视频帧被分割成多个视频块以进行处理。对于每个给定的视频块，基于帧间预测方法或帧内预测方法来形成预测。在帧间预测中，基于来自先前重建的帧的像素，通过运动估计和运动补偿来形成一个或多个预测值。在帧内预测中，基于当前帧中的重建像素来形成预测值。通过模式决策，可以选择最佳预测值来预测当前块。
将表示当前视频块与其预测值之间的差的预测残差发送至变换电路102。然后，将变换系数从变换电路102发送至量化电路104，以进行熵减小。然后，将量化系数馈送至熵编码电路106，以生成压缩视频比特流。如图1所示，来自帧间预测电路和/或帧内预测电路112的预测相关信息110(如视频块分区信息、运动矢量、参考图片索引和帧内预测模式)也通过熵编码电路106被馈送并且被保存到压缩视频比特流114中。
在编码器100中，还需要解码器相关电路，以重建像素用于预测目的。首先，通过反量化116和逆变换电路118来重建预测残差。将该重建预测残差与块预测值120组合，以生成当前视频块的未滤波的重建像素。
空间预测(或“帧内预测”)使用来自与当前视频块相同的视频帧中的已经编码的相邻块的样点(被称为参考样点)的像素来预测当前视频块。
时间预测(也被称为“帧间预测”)使用来自已经编码的视频图片的重建像素来预测当前视频块。时间预测减少了在视频信号中固有的时间冗余。给定编码单元(CU)或编码块的时间预测信号通常由指示当前CU与其时间参考之间的运动量和运动方向的一个或多个运动矢量(MV)用信号发送。进一步地，如果支持多个参考图片，则另外发送一个参考图片索引，所述参考图片索引用于标识时间预测信号来自参考图片存储中的哪个参考图片。
在进行空间预测和/或时间预测之后，编码器100中的帧内/帧间模式决策电路121例如基于率失真优化方法来选择最佳预测模式。然后，从当前视频块减去块预测值120；并且使用变换电路102和量化电路104对所产生的预测残差进行解相关。通过反量化电路116对所产生的量化残差系数进行反量化，并通过逆变换电路118对所述量化残差系数进行逆变换，以形成重建残差，然后将所述重建残差加回到预测块以形成CU的重建信号。在将重建的CU置于图片缓冲器117的参考图片存储中并将其用于对未来的视频块进行编解码之前，可以对所述重建的CU应用进一步的环路滤波115，如去块滤波器、样点自适应偏移(SAO)和/或自适应环路滤波器(ALF)。为了形成输出视频比特流114，将编解码模式(帧间或帧内)、预测模式信息、运动信息、以及量化残差系数都发送至熵编码单元106，以进行进一步压缩和打包来形成比特流。
例如，去块滤波器在VVC的当前版本以及AVC、HEVC中是可用的。在HEVC中，定义了称为SAO(样点自适应偏移)的附加环路滤波器以进一步提高编解码效率。称为ALF(自适应环路滤波器)的另一种环路滤波器正在被积极的研究。
这些环路滤波器操作是可选的。执行这些操作有助于提高编解码效率和视觉质量。这些操作也可以按照编码器100做出的决策而被取消，以节省计算复杂度。
应该注意的是，如果这些滤波器选项被编码器100开启，则帧内预测通常基于未滤波的重建像素，而帧间预测基于滤波的重建像素。
图2是图示了可以与许多视频编解码标准结合使用的示例性的基于块的视频解码器200的框图。该解码器200类似于驻留在图1的编码器100中的重建相关部分。在解码器200中，首先通过熵解码202对传入视频比特流201进行解码以推导量化系数级别和预测相关信息。然后，通过反量化204和逆变换206来处理量化系数级别，以获得重建预测残差。在帧内/帧间模式选择器212中实施的块预测值机制被配置为基于已解码预测信息来执行帧内预测208或运动补偿210。通过使用加法器214对来自逆变换206的重建预测残差与由块预测值机制生成的预测输出进行求和来获得一组未滤波的重建像素。
重建块可以进一步通过环路滤波器209，然后被存储在用作参考图片存储的图片缓冲器213中。可以发送图片缓冲器213中的重建视频以驱动显示设备，并用于预测未来的视频块。在环路滤波器209被开启的情况下，对这些重建像素执行滤波操作，从而推导最终的重建视频输出222。
如VVC、JEM、HEVC、MPEG-4、第10部分等上文提到的视频编码/解码标准在概念上是相似的。例如，这些标准都使用基于块的处理。在联合视频专家组(JVET)会议上，JVET定义了通用视频编解码(VVC)和VVC测试模型1(VTM1)编码方法的初稿。决定包括具有嵌套多类型树的四叉树，所述嵌套多类型树使用二元和三元划分编解码块结构作为VVC的初始新编解码特征。
VVC中的解码器侧运动矢量细化(DMVR)
解码器侧运动矢量细化(DMVR)是一种用于以双向预测合并模式进行块编解码的技术。在这种模式下，可以使用双向匹配(BM)预测对块的两个运动矢量(MV)进行进一步细化。
图3是展示了解码器侧运动矢量细化(DMVR)的示例的示意图。如图3所示，双向匹配方法用于通过在当前CU 322的两个相关联的参考图片(即列表L0中的refPic 300和列表L1中的refPic 310)中沿着当前CU的运动轨迹搜索其两个参考块302、312之间的最接近匹配来细化当前CU的运动信息。基于来自合并模式的初始运动信息，图案化矩形块322、302和312指示当前CU和其两个参考块。基于在运动细化搜索过程(即运动矢量细化过程)中使用的MV候选，图案化矩形块304、314指示一对参考块。
MV候选(即MV0’和MV1’)与初始MV(即MV0和MV1)(也被称为原始MV)之间的MV差值分别为MVdiff和-MVdiff。MV候选和初始都是双向运动矢量。在DMVR期间，可以检查初始MV周围的多个这种MV候选。具体地，对于每个给定MV候选，其两个相关联的参考块可以分别位于列表0和列表1中的其参考图片中，并且可以计算这两个相关联的参考块之间的差值。
块差值也可以被称为代价值，并且通常以绝对差和(SAD)或行-子采样的SAD(即用所涉及块的每隔一行计算的SAD)计算。在一些其他示例中，均值去除SAD或平方差和(SSD)也可以用作代价值。在其两个参考块之间具有最低代价值或SAD的MV候选变成细化的MV并且用于生成双向预测的信号作为对当前CU的实际预测。
在VVC中，DMVR应用于满足以下条件的CU：
·以具有双向预测MV的CU级别合并模式(并非子块合并模式)对CU进行编解码；
·相对于当前图片，CU的一个参考图片在过去(即该参考图片的POC小于当前图片的POC)并且另一个参考图片在未来(即该参考图片的POC大于当前图片的POC)；
·两个参考图片到当前图片的POC距离(即绝对POC差)相同；以及
·CU的大小超过64个亮度样点，并且CU的高度超过8个亮度样点。
通过DMVR过程推导的细化的MV用于生成帧间预测样点，并且还在用于未来图片编解码的时间运动矢量预测中使用。而原始MV在去块过程中使用，并且还在用于未来CU编解码的空间运动矢量预测中使用。
DMVR中的搜索方案
如图3所示，MV候选(或搜索点)围绕初始MV，其中MV偏移遵循MV差值镜像规则。换句话说，由候选MV对(MV0，MV1)表示的、由DMVR检查的任何点都遵循以下两个方程：
MV0′＝MV0+MVdiff
MV1′＝MV1-MVdiff，
其中，MVdiff表示参考图片之一中的初始MV与细化的MV之间的细化偏移。在当前VVC中，细化搜索范围距初始MV两个整数亮度样点。
图4图示了DMVR搜索过程的示例。如图4所示，搜索过程包括整数样点偏移搜索阶段402和分数样点细化阶段404。
为了降低搜索复杂度，在整数样点偏移搜索阶段402应用具有提前终止机制的快速搜索方法。代替25点全搜索，应用2次迭代搜索方案来减少SAD检查点的数量。图5图示了用于整数样点偏移搜索阶段402的DMVR整数亮度样点搜索模式的示例。图5中的每个矩形方格表示点(MV)。如图5所示，根据快速搜索方法在第一次迭代中检查6个SAD(中心和P1～P5的SAD)中的最大值。在第一次迭代中，初始MV是中心。首先，将五个点(中心和P1～P4)的SAD进行比较。如果中心(即中心位置)的SAD最小，则DMVR的整数样点偏移搜索阶段402终止。否则，检查又一个位置P5(基于P1～P4的SAD分布来确定)。然后，具有最小SAD的位置(在P1～P5之间)被选择为第二次迭代搜索的中心位置。第二次迭代搜索的过程与第一次迭代搜索的过程相同。可以在第二次迭代中重新使用在第一次迭代中计算出的SAD，并且因此在第二次迭代中可能仅需要计算3个附加点的SAD。应注意，当第一次迭代中的中心点的SAD小于用于计算SAD的样点数量(其等于w*h/2，其中w和h分别表示DMVR操作单元的宽度和高度)时，整个DMVR过程提前终止，无需进行进一步搜索。
整数样点搜索402之后是分数样点细化404。为了降低计算复杂度，使用参数误差曲面方程代替具有SAD比较的附加搜索来推导分数样点细化404。基于整数样点搜索阶段的输出有条件地调用分数样点细化404。当整数样点搜索阶段402在第一次迭代搜索或第二次迭代搜索中以中心具有最小SAD而终止时，进一步应用分数样点细化。
在基于参数误差曲面的分数样点细化中，中心位置和其四个相邻位置的SAD代价(或代价值)用于适合具有以下形式的2-D抛物线误差曲面方程：
E(x，y)＝A(x-xmin)2+B(y-ymin)2+C，
其中(xmin，ymin)与具有最小SAD代价的分数位置相对应，并且C与最小代价值相对应。通过使用五个搜索点的SAD代价值来求解以上方程，(xmin，ymin)可以通过以下方程推导：
xmin＝(E(-1，0)-E(1，0))/(2(E(-1，0)+E(1，0)-2E(0，0))) (1)
ymin＝(E(0，-1)-E(0，1))/(2((E(0，-1)+E(0，1)-2E(0，0))) (2)
可以通过如下表1和表2所图示的无除法(division-free)过程来定义(xmin，ymin)的求解器。在所述过程中，当求解方程(1)和(2)时，分别用E(-1,0)和E(0,-1)的值取代sadMinus；当求解方程(1)和(2)时，分别用E(1,0)和E(0,1)取代sadPositive；用E(0,0)取代sadCenter。当推导方程(1)和(2)时，该过程的输出dMvC分别是解xmin或ymin。
表1用于获得xmin或ymin的过程
表2用于对方程(1)和(2)求解的无除法方程solver()
xmin和ymin的值进一步被限制在-8与8之间，这与1/16像素MV精度下距中心点的半像素偏移相对应。将计算出的分数偏移(xmin，ymin)添加到整数距离MV细化以得到子像素精度MV细化。
用于DMVR的双线性内插和样点填充
在VVC中，MV的分辨率是1/16亮度样点。使用8抽头内插滤波器来插入分数位置处的样点。在DMVR搜索中，当候选MV指向子像素位置时，需要插入这些相关分数位置样点。为了降低计算复杂度，在DMVR中的搜索过程中使用双线性内插滤波器来生成分数样点。
使用双线性滤波器对内插的另一个影响是，在2样点搜索范围内，DMVR搜索过程不会比标准运动补偿过程访问更多参考样点。在通过DMVR搜索过程获得细化的MV之后，应用标准8抽头内插滤波器来生成最终预测。再次，在该8抽头内插过程中，使用样点填充来避免比标准运动补偿过程访问更多参考样点。更具体地，在基于细化MV的8抽头内插过程中，超出基于原始MV的运动补偿所需样点的样点将从其相邻可用样点填充。
最大DMVR处理单元
当CU的宽度和/或高度大于16个亮度样点时，基于具有等于16个样点的最大宽度和/或高度的DMVR处理单元来执行对CU的DMVR操作。换句话说，在这种情况下，原始CU被分割成具有等于16个亮度样点的宽度和/或高度的子块，用于DMVR操作。用于DMVR搜索过程的最大处理单元大小限于16×16。
在当前VVC设计中，不存在用于控制实现DMVR的控制标志。然而，不能保证DMVR细化的MV总是细化之前的好。在这种情况下，DMVR细化过程可能产生比原始MV更差的细化的MV。根据本公开的这些示例，提出了若干种方法来减少由于这种DMVR MV细化的不确定性而产生的惩罚。
通过调整(多个)代价值而产生的针对DMVR的更新的代价值
提出了若干种示例性方法以便在DMVR过程中有利于原始MV。应注意，这些不同的方法可以独立地或联合地应用。
在本公开的一些示例中，术语“初始MV”和“原始MV”可以互换地使用。
在一些示例中，在DMVR过程中，初始MV和每个MV候选的代价值可以被调整或更新以便有利于初始MV。也就是说，在DMVR过程中计算搜索点的代价值(例如，SAD)之后，可以调整(多个)代价值以增加初始MV具有更新的代价值当中最小代价值的概率，即以便有利于初始MV。
因此，在DMVR过程中，在获得更新的代价值之后，初始MV有很大机会被选择为具有最低代价的MV。
在此，出于说明目的，SAD值被用作示例性代价值。如行-子采样的SAD、去除平均SAD或平方差和(SSD)等其他值也可以用作代价值。
在一些示例中，初始MV(或原始MV)涉及的参考块之间的SAD值相比于其他MV候选的SAD值降低了通过预定义过程计算的第一值OffsetSAD。因此，初始MV由于其SAD值降低而比其他候选MV有利。
在一个示例中，OffsetSAD的值可以被确定为与初始MV相关联的SAD值的1/N，其中，N是整数(例如4、8或16)。
在另一个示例中，OffsetSAD的值可以被确定为恒定值M。
在又一个示例中，OffsetSAD的值可以是根据当前CU中的已编码信息来确定的，已编码信息包括以下各项中的至少一项或组合：编码块大小、运动矢量的幅值、初始MV的SAD、和DMVR处理单元的相对位置。例如，OffsetSAD的值可以被确定为与初始MV相关联的SAD值的1/N，其中，N是基于当前CU的块大小而选择的整数值(例如4、8或16)。当当前块大小大于或等于预定义大小(例如16×16)时，N的值被设置为8；否则N的值被设置为4。例如，OffsetSAD的值可以被确定为与初始MV相关联的SAD值的1/N，其中，N是基于DMVR处理单元的中心位置与当前CU的中心位置之间的距离而选择的整数值(例如4、8或16)。当所述距离大于或等于预定义阈值时，N被设置为一个值(例如8)；否则N被设置为另一个值(例如4)。
在示例中，描述了将与初始MV相关联的SAD值降低某个值OffsetSAD。在实践中，这个想法可以被有区别地实施。例如，代替降低与初始MV相关联的SAD值，在DMVR搜索过程中，可以将OffsetSAD的值添加到与其他MV候选相关联的SAD，并且这两种情况的结果等同。
在一些其他示例中，非初始MV候选涉及的参考块之间的SAD值增加了通过预定义过程计算的第二值OffsetSAD’。第二值OffsetSAD’和第一值OffsetSAD可以相同或不同。因此，由于非初始MV的SAD值增加，因此有利于初始MV。
在一个示例中，OffsetSAD’的值可以被确定为与非初始MV相关联的SAD值的1/N，其中，N是整数(例如4、8或16)。
在另一个示例中，OffsetSAD’的值可以被确定为恒定值M。
在又一个示例中，OffsetSAD’的值可以是根据当前CU中的已编码信息来确定的，所述已编码信息可以包括：编码块大小、运动矢量的幅值、非初始MV的SAD值、和/或当前CU内的DMVR处理单元的相对位置。例如，该值可以被确定为来自使用非初始MV的BM的SAD值的1/N，其中，N是基于块大小而选择的整数(例如4、8或16)。当当前块大小大于或等于预定义大小(例如16×16)时，N的值被设置为8；否则，N的值被设置为4。例如，OffsetSAD’的值可以被确定为来自使用非初始MV的BM的SAD值的1/N，其中，N是基于DMVR处理单元的中心位置与当前CU的中心位置之间的距离而选择的整数值(例如4、8或16)。当所述距离大于或等于预定义阈值时，N被设置为一个值(例如8)；否则N被设置为另一个值(例如4)。
在示例中，描述了将与非初始MV候选相关联的SAD值增加某个值OffsetSAD’。在实践中，这个想法可以被有区别地实施。例如，代替增加与非初始MV相关联的SAD值，在DMVR搜索过程中，可以从与初始MV相关联的SAD中减去OffsetSAD’的值，并且结果等同。
在又一些示例中，基于用于与非初始MV相关联的SAD计算的样点的适当子集来计算与初始MV相关联的BM SAD。也就是说，相比于MV候选的SAD值，使用更少的样点来确定初始MV的SAD值。这可以与降低初始MV的SAD值相似。
在一些其他示例中，如表3所图示的，通过去除sadMinus与sadCenter之间的比较以及sadPlus与sadCenter之间的比较来简化用于推导或获得用于基于参数误差曲面的分数样点细化的xmin和ymin的过程。也就是说，在推导细化的MV时，通过去除sadMinus与sadCenter之间的比较以及sadPlus与sadCenter之间的比较来简化分数样点细化；其中，在求解以下2-D抛物线方程时，sadMinus表示E(-1,0)或E(0,-1)的值，sadPlus表示E(1,0)或E(0,1)的值，并且sadCenter表示E(0,0)的值：
E(x，y)＝A(x-xmin)2+B(y-ymin)2+C。
表3用于获得xmin或ymin的简化过程
在一些其他示例中，通过在如表4所图示的对于角落情况将dMvC限制为-4或4而降低xmin和ymin的极限以及通过如表5所图示的将迭代计数的值减小为2(例如计数的值被初始化为2)来简化用于获得用于基于参数误差曲面的分数样点细化的xmin和ymin的过程。
表4用于获得xmin或ymin的过程
表5用于对方程(1)和(2)求解的经修改的无除法方程solver()
根据以上示例，DMVR过程被修改成使得在整数样点偏移搜索阶段和/或分数样点细化阶段相比于其他MV候选更有利于初始MV，由此减少由于细化的MV比原始MV更差的可能情形而产生的惩罚。
图6是图示了根据本公开的一些实施方式的用于视频编解码的示例性装置的框图。装置600可以是如移动电话、平板计算机、数字广播终端、平板设备、或个人数字助理等终端。
如图6所示，装置600可以包括以下部件中的一个或多个：处理部件602、存储器604、电源部件606、多媒体部件608、音频部件610、输入/输出(I/O)接口612、传感器部件614、以及通信部件616。
处理部件602通常控制装置600的整体操作，如与显示、电话呼叫、数据通信、相机操作和录音操作相关的操作。处理部件602可以包括用于执行指令从而完成上述方法的全部或部分步骤的一个或多个处理器620。进一步地，处理部件602可以包括用于促进处理部件602与其他部件之间的交互的一个或多个模块。例如，处理部件602可以包括用于促进多媒体部件608与处理部件602之间的交互的多媒体模块。
存储器604被配置为存储不同类型的数据以支持装置600的操作。这种数据的示例包括用于在装置600上运行的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器604可以由任何类型的易失性或非易失性存储设备或其组合来实施，并且存储器604可以是静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、闪速存储器、磁盘或光盘。
电源部件606为装置600的不同部件供电。电源部件606可以包括电源管理系统，一个或多个电源，以及与为装置600生成、管理和分配电力相关联的其他部件。
多媒体部件608包括提供装置600与用户之间的输出接口的屏幕。在一些示例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，则屏幕可以被实施为从用户接收输入信号的触摸屏。触摸面板可以包括用于感测触摸面板上的触摸、滑动和手势的一个或多个触摸传感器。触摸传感器不仅可以感测触摸动作或滑动动作的边界，还可以检测与触摸或滑动操作相关的持续时间和压力。在一些示例中，多媒体部件608可以包括前置相机和/或后置相机。当装置600处于操作模式(如拍摄模式或视频模式)时，前置相机和/或后置相机可以接收外部多媒体数据。
音频部件610被配置为输出和/或输入音频信号。例如，音频部件610包括麦克风(MIC)。当装置600处于工作模式(如呼叫模式、录音模式和语音识别模式)时，麦克风被配置为接收外部音频信号。接收到的音频信号可以进一步存储在存储器604中或经由通信部件616发送。在一些示例中，音频部件610进一步包括用于输出音频信号的扬声器。
I/O接口612提供处理部件602与外围接口模块之间的接口。上述外围接口模块可以是键盘、点击轮、按钮等。这些按钮可以包括但不限于主页按钮、音量按钮、开始按钮和锁定按钮。
传感器部件614包括用于为装置600提供不同方面的状态评估的一个或多个传感器。例如，传感器部件614可以检测装置600的开/关状态和部件的相对位置。例如，部件是装置600的显示器和键盘。传感器部件614还可以检测装置600或装置600的部件的位置变化、用户对装置600的接触的存在或不存在、装置600的取向或加速度/减速度、以及装置600的温度变化。传感器部件614可以包括接近度传感器，所述接近度传感器被配置为在没有任何物理接触的情况下检测附近物体的存在。传感器部件614可以进一步包括光学传感器，如在成像应用中使用的CMOS或CCD图像传感器。在一些示例中，传感器部件614可以进一步包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器、或温度传感器。
通信部件616被配置为促进装置600与其他设备之间的有线或无线通信。装置600可以接入基于如WiFi、4G、或其组合等通信标准的无线网络。在示例中，通信部件616经由广播信道从外部广播管理系统接收广播信号或广播相关信息。在示例中，通信部件616可以进一步包括用于促进短距离通信的近场通信(NFC)模块。例如，NFC模块可以基于射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术以及其他技术来实施。
在示例中，装置600可以由以下各项中的一项或多项来实施以执行上述方法：专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件。
非暂态计算机可读存储介质可以是例如硬盘驱动器(HDD)、固态驱动器(SSD)、闪速存储器、混合驱动器或固态混合驱动器(SSHD)、只读存储器(ROM)、致密盘只读存储器(CD-ROM)、磁带、软盘等。
图7是图示了根据本公开的一些实施方式的视频编解码中的解码器侧运动矢量细化的示例性过程的流程图。
在步骤702中，处理器620推导当前编码单元(CU)的初始运动矢量(MV)。
在步骤704中，处理器620推导用于解码器侧运动矢量细化(DMVR)的多个运动矢量(MV)候选。
在步骤706中，处理器620确定初始MV和每个MV候选的代价值。
在步骤708中，处理器620通过调整代价值中的至少一个以便有利于初始MV来获得更新的代价值。
在步骤710中，处理器620基于初始MV和MV候选的更新的代价值来推导细化的MV。
调整代价值中的至少一个可以包括将初始MV的代价值减小使用预定义过程确定的第一值；或者将MV候选的代价值增大使用预定义过程确定的第二值。
在一些示例中，提供了一种用于视频编解码的装置。所述装置包括一个或多个处理器620；以及存储器604，所述存储器被配置为存储可由一个或多个处理器执行的指令；其中，所述一个或多个处理器在执行所述指令时被配置为执行如图7中所图示的方法。
在一些其他示例中，提供了一种其中存储有指令的非暂态计算机可读存储介质604。当所述指令由一个或多个处理器620执行时，所述指令使所述处理器执行如图7所图示的方法。
已经出于说明目的呈现了对本公开的描述，并且所述描述不旨在是穷举的、或限于本公开。受益于前述描述和相关联附图中呈现的教导，许多修改、变体和替代性实施方式对于本领域普通技术人员将是显而易见的。
选择并描述示例以便解释本公开的原理，并且使本领域其他技术人员能够理解本公开的各种实施方式并且最好地利用基本原理以及具有适合于预期的特定用途的各种修改的各种实施方式。因此，应当理解，本公开的范围不应受限于所公开的实施方式的具体示例，并且修改和其他实施方式旨在包括在本公开的范围内。

Claims (33)

1.一种视频解码的方法，所述方法包括：
推导当前块的初始运动矢量MV；
确定针对所述初始运动矢量MV和多个MV候选中的每个MV候选的代价值，其中，所述代价值是绝对差和SAD；
减小针对所述初始运动矢量MV的代价值或增大针对所述MV候选的代价值以获得更新的代价值；以及
基于所述更新的代价值来推导细化的MV。
2.如权利要求1所述的方法，其中，减小针对所述初始运动矢量MV的代价值包括：将针对所述初始运动矢量MV的代价值减小第一值，所述第一值是使用预定义过程确定的。
3.如权利要求2所述的方法，其中，所述第一值被确定为针对所述初始运动矢量MV的代价值的1/N，其中，N是整数值。
4.如权利要求2所述的方法，其中，所述第一值被确定为恒定值。
5.如权利要求2所述的方法，其中，所述第一值是根据所述当前块中的已编码信息来确定的，所述已编码信息包括以下各项中的至少一项或组合：编码块大小、运动矢量的幅值、所述初始运动矢量MV的绝对差和SAD、以及解码器侧运动矢量细化DMVR处理单元的相对位置。
6.如权利要求5所述的方法，其中，所述第一值被确定为针对所述初始运动矢量MV的代价值的1/N，其中，N是基于所述当前块的块大小而推导的整数值。
7.如权利要求5所述的方法，其中，所述第一值被确定为针对所述初始运动矢量MV的代价值的1/N，其中，N是基于所述DMVR处理单元的中心位置与所述当前块的中心位置之间的距离而推导的整数值。
8.如权利要求1所述的方法，其中，增大针对所述MV候选的代价值包括：将针对所述MV候选的代价值增大第二值，所述第二值是使用预定义过程确定的。
9.如权利要求1所述的方法，其中，相比于针对所述MV候选的代价值，使用更少的样点来确定针对所述初始运动矢量MV的代价值。
10.如权利要求1所述的方法，其中，推导所述细化的运动矢量包括分数样点细化，并且通过去除sadMinus与sadCenter之间的比较以及sadPlus与sadCenter之间的比较来简化所述分数样点细化；
其中，在对以下2-D抛物线方程求解时，sadMinus表示E(-1,0)或E(0,-1)的值，sadPlus表示E(1,0)或E(0,1)的值，并且sadCenter表示E(0,0)的值：
E(x，y)＝A(x-xmin)2+B(y-ymin)2+C。
11.如权利要求1所述的方法，其中，推导所述细化的运动矢量包括分数样点细化，并且通过对于角落情况以1/16像素MV精度将分数位置限制为-4或4以及通过在无除法方程求解器中将迭代计数减小为2来简化所述分数样点细化。
12.一种用于视频解码的装置，所述装置包括：
一个或多个处理器；以及
存储器，所述存储器被配置为存储能够由所述一个或多个处理器执行的指令；
其中，所述一个或多个处理器在执行所述指令时被配置为：
推导当前块的初始运动矢量MV；
确定针对所述初始运动矢量MV和多个MV候选中的每个MV候选的代价值，其中，所述代价值是绝对差和SAD；
减小针对所述初始运动矢量MV的代价值或增大针对所述MV候选的代价值以获得更新的代价值；以及
基于所述更新的代价值来推导细化的MV。
13.如权利要求12所述的装置，其中，减小针对所述初始运动矢量MV的代价值包括：将针对所述初始运动矢量MV的代价值减小第一值，所述第一值是使用预定义过程确定的。
14.如权利要求13所述的装置，其中，所述第一值被确定为针对所述初始运动矢量MV的代价值的1/N，其中，N是整数值。
15.如权利要求13所述的装置，其中，所述第一值被确定为恒定值。
16.如权利要求13所述的装置，其中，所述第一值是根据所述当前块中的已编码信息来确定的，所述已编码信息包括以下各项中的至少一项或组合：编码块大小、运动矢量的幅值、所述初始运动矢量MV的绝对差和SAD、以及解码器侧运动矢量细化DMVR处理单元的相对位置。
17.如权利要求16所述的装置，其中，所述第一值被确定为针对所述初始运动矢量MV的代价值的1/N，其中，N是基于所述当前块的块大小而推导的整数值。
18.如权利要求16所述的装置，其中，所述第一值被确定为针对所述初始运动矢量MV的代价值的1/N，其中，N是基于所述DMVR处理单元的中心位置与所述当前块的中心位置之间的距离而推导的整数值。
19.如权利要求12所述的装置，其中，增大针对所述MV候选的代价值包括：将针对所述MV候选的代价值增大第二值，所述第二值是使用预定义过程确定的。
20.如权利要求12所述的装置，其中，相比于针对所述MV候选的代价值，使用更少的样点来确定针对所述初始运动矢量MV的代价值。
21.如权利要求12所述的装置，其中，推导所述细化的运动矢量包括分数样点细化，并且通过去除sadMinus与sadCenter之间的比较以及sadPlus与sadCenter之间的比较来简化所述分数样点细化；
其中，在对以下2-D抛物线方程求解时，sadMinus表示E(-1,0)或E(0,-1)的值，sadPlus表示E(1,0)或E(0,1)的值，并且sadCenter表示E(0,0)的值：
E(x，y)＝A(x-xmin)2+B(y-ymin)2+C。
22.如权利要求12所述的装置，其中，推导所述细化的运动矢量包括分数样点细化，并且通过对于角落情况以1/16像素MV精度将分数位置限制为-4或4以及通过在无除法方程求解器中将迭代计数减小为2来简化所述分数样点细化。
23.一种非暂态计算机可读存储介质，包括存储在其中的指令，其中，当由一个或多个处理器执行所述指令时，所述指令使所述一个或多个处理器执行包括以下各项的动作：
接收比特流，并且根据所述比特流来推导当前块的初始运动矢量MV；
确定针对所述初始运动矢量MV和多个MV候选中的每个MV候选的代价值，其中，所述代价值是绝对差和SAD；
减小针对所述初始运动矢量MV的代价值或增大针对所述MV候选的代价值以获得更新的代价值；以及
基于所述更新的代价值来推导细化的MV。
24.如权利要求23所述的非暂态计算机可读存储介质，其中，减小针对所述初始运动矢量MV的代价值包括：将针对所述初始运动矢量MV的代价值减小第一值，所述第一值是使用预定义过程确定的。
25.如权利要求24所述的非暂态计算机可读存储介质，其中，所述第一值被确定为针对所述初始运动矢量MV的代价值的1/N，其中，N是整数值。
26.如权利要求24所述的非暂态计算机可读存储介质，其中，所述第一值被确定为恒定值。
27.如权利要求24所述的非暂态计算机可读存储介质，其中，所述第一值是根据所述当前块中的已编码信息来确定的，所述已编码信息包括以下各项中的至少一项或组合：编码块大小、运动矢量的幅值、所述初始运动矢量MV的绝对差和SAD、以及解码器侧运动矢量细化DMVR处理单元的相对位置。
28.如权利要求27所述的非暂态计算机可读存储介质，其中，所述第一值被确定为针对所述初始运动矢量MV的代价值的1/N，其中，N是基于所述当前块的块大小而推导的整数值。
29.如权利要求27所述的非暂态计算机可读存储介质，其中，所述第一值被确定为针对所述初始运动矢量MV的代价值的1/N，其中，N是基于所述DMVR处理单元的中心位置与所述当前块的中心位置之间的距离而推导的整数值。
30.如权利要求23所述的非暂态计算机可读存储介质，其中，增大针对所述MV候选的代价值包括：将针对所述MV候选的代价值增大第二值，所述第二值是使用预定义过程确定的。
31.如权利要求23所述的非暂态计算机可读存储介质，其中，相比于针对所述MV候选的代价值，使用更少的样点来确定针对所述初始运动矢量MV的代价值。
32.如权利要求23所述的非暂态计算机可读存储介质，其中，推导所述细化的运动矢量包括分数样点细化，并且通过去除sadMinus与sadCenter之间的比较以及sadPlus与sadCenter之间的比较来简化所述分数样点细化；
其中，在对以下2-D抛物线方程求解时，sadMinus表示E(-1,0)或E(0,-1)的值，sadPlus表示E(1,0)或E(0,1)的值，并且sadCenter表示E(0,0)的值：
E(x，y)＝A(x-xmin)2+B(y-ymin)2+C。
33.如权利要求23所述的非暂态计算机可读存储介质，其中，推导所述细化的运动矢量包括分数样点细化，并且通过对于角落情况以1/16像素MV精度将分数位置限制为-4或4以及通过在无除法方程求解器中将迭代计数减小为2来简化所述分数样点细化。
CN202211567629.5A 2019-06-17 2020-06-17 用于视频编解码中的解码器侧运动矢量细化的方法和装置 Active CN115941970B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211567629.5A CN115941970B (zh) 2019-06-17 2020-06-17 用于视频编解码中的解码器侧运动矢量细化的方法和装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962862674P 2019-06-17 2019-06-17
US62/862,674 2019-06-17
PCT/US2020/038253 WO2020257365A1 (en) 2019-06-17 2020-06-17 Methods and apparatuses for decoder-side motion vector refinement in video coding
CN202080041146.4A CN113940073A (zh) 2019-06-17 2020-06-17 用于视频编解码中的解码器侧运动矢量细化的方法和装置
CN202211567629.5A CN115941970B (zh) 2019-06-17 2020-06-17 用于视频编解码中的解码器侧运动矢量细化的方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202080041146.4A Division CN113940073A (zh) 2019-06-17 2020-06-17 用于视频编解码中的解码器侧运动矢量细化的方法和装置

Publications (2)

Publication Number Publication Date
CN115941970A CN115941970A (zh) 2023-04-07
CN115941970B true CN115941970B (zh) 2024-02-20

Family

ID=74040903

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202310876783.9A Active CN116916026B (zh) 2019-06-17 2020-06-17 用于视频编解码中的解码器侧运动矢量细化的方法和装置
CN202080041146.4A Pending CN113940073A (zh) 2019-06-17 2020-06-17 用于视频编解码中的解码器侧运动矢量细化的方法和装置
CN202111623595.2A Active CN114513666B (zh) 2019-06-17 2020-06-17 用于视频编解码中的解码器侧运动矢量细化的方法和装置
CN202310863124.1A Active CN117221548B (zh) 2019-06-17 2020-06-17 用于视频编解码中的解码器侧运动矢量细化的方法和装置
CN202211567629.5A Active CN115941970B (zh) 2019-06-17 2020-06-17 用于视频编解码中的解码器侧运动矢量细化的方法和装置

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN202310876783.9A Active CN116916026B (zh) 2019-06-17 2020-06-17 用于视频编解码中的解码器侧运动矢量细化的方法和装置
CN202080041146.4A Pending CN113940073A (zh) 2019-06-17 2020-06-17 用于视频编解码中的解码器侧运动矢量细化的方法和装置
CN202111623595.2A Active CN114513666B (zh) 2019-06-17 2020-06-17 用于视频编解码中的解码器侧运动矢量细化的方法和装置
CN202310863124.1A Active CN117221548B (zh) 2019-06-17 2020-06-17 用于视频编解码中的解码器侧运动矢量细化的方法和装置

Country Status (7)

Country Link
US (4) US11962797B2 (zh)
EP (1) EP3970376A4 (zh)
JP (3) JP7098847B2 (zh)
KR (2) KR102417212B1 (zh)
CN (5) CN116916026B (zh)
MX (1) MX2021015811A (zh)
WO (1) WO2020257365A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11223840B2 (en) * 2019-08-19 2022-01-11 Tencent America LLC Method and apparatus for video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108293131A (zh) * 2015-11-20 2018-07-17 联发科技股份有限公司 用于视频编解码的运动矢量预测或者运动补偿的方法和装置
CN109672894A (zh) * 2017-10-13 2019-04-23 腾讯科技（深圳）有限公司 一种帧间预测方法、装置及存储介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060069227A (ko) * 2004-12-16 2006-06-21 엘지전자 주식회사 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
US20060222074A1 (en) * 2005-04-01 2006-10-05 Bo Zhang Method and system for motion estimation in a video encoder
US7672377B2 (en) * 2006-04-21 2010-03-02 Dilithium Holdings, Inc. Method and system for video encoding and transcoding
KR100910209B1 (ko) * 2006-11-28 2009-07-30 한양대학교 산학협력단 세분화된 탐색 영역을 기반으로 하는 고속 전영역 움직임예측 방법 및 그 장치
JP5189172B2 (ja) * 2008-01-22 2013-04-24 ドルビー ラボラトリーズ ライセンシング コーポレイション 適応性動き情報コスト推定
US8446524B2 (en) * 2010-06-21 2013-05-21 Realtek Semiconductor Corp. Apparatus and method for frame rate conversion
US9749642B2 (en) * 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US10123036B2 (en) * 2014-06-27 2018-11-06 Microsoft Technology Licensing, Llc Motion vector selection for video encoding
US10511835B2 (en) * 2015-09-02 2019-12-17 Mediatek Inc. Method and apparatus of decoder side motion derivation for video coding
EP3264769A1 (en) * 2016-06-30 2018-01-03 Thomson Licensing Method and apparatus for video coding with automatic motion information refinement
EP3264768A1 (en) 2016-06-30 2018-01-03 Thomson Licensing Method and apparatus for video coding with adaptive motion information refinement
US10750203B2 (en) * 2016-12-22 2020-08-18 Mediatek Inc. Method and apparatus of adaptive bi-prediction for video coding
US20180199057A1 (en) * 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
US10595035B2 (en) * 2017-03-22 2020-03-17 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
US10477237B2 (en) 2017-06-28 2019-11-12 Futurewei Technologies, Inc. Decoder side motion vector refinement in video coding
EP3691273A4 (en) 2017-09-26 2020-08-19 Panasonic Intellectual Property Corporation of America ENCODING DEVICE, DECODING DEVICE, ENCODING PROCESS AND DECODING PROCESS
WO2019072372A1 (en) * 2017-10-09 2019-04-18 Huawei Technologies Co., Ltd. MOTION VECTOR REFINEMENT OF A MOTION VECTOR POINTING TO A FRACTIONAL SAMPLE POSITION
EP3685583A1 (en) * 2017-10-09 2020-07-29 Huawei Technologies Co., Ltd. Template update for motion vector refinement
US11750832B2 (en) * 2017-11-02 2023-09-05 Hfi Innovation Inc. Method and apparatus for video coding
WO2019110132A1 (en) * 2017-12-08 2019-06-13 Huawei Technologies Co., Ltd. Template matching function for bi-predictive mv refinement
WO2019177354A1 (ko) * 2018-03-14 2019-09-19 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US11178414B2 (en) * 2019-02-27 2021-11-16 Mediatek Inc. Classification for multiple merge tools
US11140409B2 (en) * 2019-03-22 2021-10-05 Lg Electronics Inc. DMVR and BDOF based inter prediction method and apparatus thereof
KR20220024817A (ko) * 2019-06-21 2022-03-03 후아웨이 테크놀러지 컴퍼니 리미티드 인코더, 디코더 및 해당 방법
EP4029256A4 (en) * 2019-09-12 2022-11-09 Alibaba Group Holding Limited METHOD AND DEVICE FOR SIGNALING VIDEO ENCODING INFORMATION

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108293131A (zh) * 2015-11-20 2018-07-17 联发科技股份有限公司 用于视频编解码的运动矢量预测或者运动补偿的方法和装置
CN109672894A (zh) * 2017-10-13 2019-04-23 腾讯科技（深圳）有限公司 一种帧间预测方法、装置及存储介质

Also Published As

Publication number Publication date
US20240146950A1 (en) 2024-05-02
KR102417212B1 (ko) 2022-07-05
JP2022130610A (ja) 2022-09-06
JP2024016288A (ja) 2024-02-06
KR20220098294A (ko) 2022-07-11
KR20210157919A (ko) 2021-12-29
CN116916026B (zh) 2024-05-31
JP7411023B2 (ja) 2024-01-10
CN115941970A (zh) 2023-04-07
EP3970376A1 (en) 2022-03-23
US20240146952A1 (en) 2024-05-02
EP3970376A4 (en) 2022-11-09
US20220116643A1 (en) 2022-04-14
CN117221548A (zh) 2023-12-12
MX2021015811A (es) 2022-02-03
CN114513666B (zh) 2023-01-17
CN117221548B (zh) 2024-06-25
CN114513666A (zh) 2022-05-17
JP7098847B2 (ja) 2022-07-11
CN113940073A (zh) 2022-01-14
JP2022530283A (ja) 2022-06-28
US11962797B2 (en) 2024-04-16
WO2020257365A1 (en) 2020-12-24
US20240114164A1 (en) 2024-04-04
CN116916026A (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN113784132B (zh) 用于帧间预测的运动向量舍入、截取和存储的方法和装置
CN117221532B (zh) 用于视频解码的方法、装置和存储介质
CN115643400B (zh) 用于视频解码的方法、装置和存储介质
US20240146952A1 (en) Methods and apparatuses for decoder-side motion vector refinement in video coding
WO2021030502A1 (en) Methods and apparatuses for adaptive motion vector resolution in video coding
CN114080808A (zh) 用于视频编解码中的解码器侧运动矢量细化的方法和装置
CN114051732A (zh) 用于视频编解码中的解码器侧运动矢量细化的方法和装置
CN114402618A (zh) 用于视频编解码中的解码器端运动矢量细化的方法和装置
CN114080807A (zh) 利用三角分区进行视频编解码的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant