CN111869214A - 对高级时间运动矢量预测的改进 - Google Patents

对高级时间运动矢量预测的改进 Download PDF

Info

Publication number
CN111869214A
CN111869214A CN201880091395.7A CN201880091395A CN111869214A CN 111869214 A CN111869214 A CN 111869214A CN 201880091395 A CN201880091395 A CN 201880091395A CN 111869214 A CN111869214 A CN 111869214A
Authority
CN
China
Prior art keywords
picture
block
motion vector
current
collocated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880091395.7A
Other languages
English (en)
Inventor
韩钰
K.张
L.张
W-J.钱
M.卡尔切维茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN111869214A publication Critical patent/CN111869214A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

用于解码的方法和设备，包括处理器，该处理器被配置为确定哪个图片是并置图片，并且基于使用当前编码图片中的先前解码的块，确定与在当前编码图片中的视频数据的当前块对应的并置图片中的视频数据的关联块的位置，以寻找在并置图片中的关联块与当前编码图片中的当前块之间的初始运动矢量，其中视频数据的关联块包括至少一个第一导出运动矢量。该处理器被配置为当初始运动矢量指向并置图片时，基于与并置图片中的关联块相关联的至少一个第一导出运动矢量，确定与当前编码图片中的当前块相关联的至少一个第二导出运动矢量。

Description

对高级时间运动矢量预测的改进
技术领域
本公开涉及用于视频编码的设备、系统和方法。
背景技术
数字视频能力可以结合到广泛的设备中，包括数字电视、数字直接广播系统、无线广播系统、个人数字助理(PDA)、便携式或台式计算机、平板计算机、电子书阅读器、数码相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电话、所谓的“智能电话”、视频电话会议设备、视频流设备等等。数字视频设备实现视频压缩技术，诸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分、高级视频编码(AVC)、ITU-T H.265、高效视频编码(HEVC)标准以及这些标准的扩展定义的标准中描述的那些技术。通过实现这样的视频压缩技术，视频设备可以更有效地发送、接收、编码、解码和/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测，以减少或移除视频序列中固有的冗余。对于基于块的视频编码，视频切片(即，视频帧或视频帧的一部分)可以被分割成视频块，其也可以被称为树块、编码单元(CU)和/或编码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测来编码图片的帧间编码(I)的切片中的视频块。图片的帧间编码(P或B)的切片中的视频块可以使用相对于同一图片中的相邻块中的参考样本的空间预测，或相对于其他参考图片中的参考样本的时间预测。空间或时间预测产生用于要编码的块(即，当前块)的预测块。残差数据表示要编码的原始块和预测块之间的像素差。根据指向形成预测块的参考样本的块的运动矢量和指示编码块和预测块之间的差的残差数据来对帧间编码块进行编码。根据帧间编码模式和残差数据对帧内编码块进行编码。为了进一步压缩，可以将残差数据从像素域变换到变换域，从而产生残差变换系数，然后可以对其进行量化。
发明内容
一般地，本公开描述了与对高级运动矢量预测的改进有关的技术。本公开的技术可以应用于未来的视频编码标准。
在一个示例中，该技术针对一种用于解码在当前编码图片中的视频数据的当前块的设备。该设备可以包括被配置为存储视频数据的存储器。该设备还可以包括处理器，该处理器被配置为确定哪个图片是并置图片，并且基于使用当前编码图片中的先前解码的块，确定与在当前编码图片中的视频数据的当前块相对应的在并置图片中的视频数据的关联块的位置，以寻找在并置图片中的关联块与当前编码图片中的当前块之间的初始运动矢量，其中视频数据的关联块包括至少一个第一导出运动矢量。处理器可以被配置为：当初始mv指向并置图片时，基于与并置图片中的关联块相关联的至少一个第一导出运动矢量，确定与当前编码图片中的当前块相关联的至少一个第二导出运动矢量。另外，处理器可以被配置为：基于至少一个第二导出运动矢量来确定在当前编码图片中的视频数据的当前块的运动信息，使用所确定的运动信息来获得预测块，并且基于预测块和残差块的组合来生成重构块。
在另一示例中，该技术针对一种用于解码在当前编码图片中的视频数据的当前块的方法。该方法可以包括确定哪个图片是并置图片，以及基于使用当前编码图片中的先前解码的块，确定与在当前编码图片中的视频数据的当前块相对应的在并置图片中的视频数据的关联块的位置，以寻找在并置图片中的关联块与当前编码图片中的当前块之间的初始运动矢量，其中视频数据的关联块包括至少一个第一导出运动矢量。该方法可以包括：当初始mv指向并置图片时，基于与并置图片中的关联块相关联的至少一个第一导出运动矢量，确定与当前编码图片中的当前块相关联的至少一个第二导出运动矢量。该方法还可以包括：基于至少一个第二导出运动矢量，确定在当前编码图片中的视频数据的当前块的运动信息，使用所确定的运动信息来获得预测块；以及基于预测块和残差块的组合来生成重构块。
本公开的一个或多个方面的细节在以下附图和描述中阐述。本公开中描述的技术的其他特征、目的和优点将从说明书、附图和权利要求书中显而易见。
附图说明
图1是示出可以利用本公开中描述的一种或多种技术的示例视频编码和解码系统的框图。
图2A-图2B分别是示例性列表0和列表1的概念图。
图2C示出了用于合并模式的空间相邻MV候选的第一步骤。
图3A-图3C示出了当前JEM参考软件中的流程图。
图4A-图4B示出了所提出的对当前JEM的ATMVP的改进。
图5A-图5D是示出了描述并置参考图片、参考图片和当前编码图片的相对位置的不同示例的概念图。
图6是描述本公开中的一种或多种技术的流程图。
图7是示出了可以实现本公开中描述的一种或多种技术的示例视频编码器的框图。
图8是示出了可以实现本公开中描述的一种或多种技术的示例视频解码器的框图。
具体实施方式
在视频编码中经常使用跨视频的多个帧或图片的运动补偿。可以对与先前帧或图片相关联的运动矢量和参考索引进行编码。可以使用运动矢量预测器(MVP)和运动矢量差(MVD)来导出运动矢量。
可以从从正被编码和/或解码的当前块的空间和/或时间邻域导出的两个候选中选择MVP。ATMVP模式是选择MVP的算法。在现有的ATMVP模式中，可以通过选择不同的候选来导出运动矢量和参考索引(即，运动信息)，而不必对运动矢量差进行编码。合并模式是导出运动矢量候选的表示并且预测运动矢量的编码的过程。由于图片是二维的，所以在图片之间的运动矢量的使用也是二维的。因此，运动矢量具有水平分量和垂直分量。
在现有系统中，使用高级时间运动矢量预测(ATMVP)算法，帧间预测(interprediction)可以使用先前重构的图片作为用于运动补偿的参考图片。存储来自参考图片中共同定位(co-located)的块或区域的运动信息，然后使其可用于帧间预测(interprediction)。在一些示例中，参考图片中的时间运动矢量的信息被减少到16×16块，以限制参考缓冲区中的存储(例如，参见图7中的解码图片缓冲区“DPB”1216和图8中的解码图片缓冲区“DPB”1312)。然而，每个参考图片的运动信息被存储在参考缓冲区中，这增加了功耗和存储器的大小。
如本公开中所描述的，视频编码器(coder)(即，视频编码器(encoder)或视频解码器(decoder))可以通过不需要如先前那样从参考缓冲区存储时间运动矢量的信息的替代解决方案来实现对ATMVP算法的改进。
根据在此描述的技术，提出了用于解码在当前编码图片中的视频数据的当前块的设备，该设备可以包括被配置为存储视频数据的存储器。该设备还可以包括处理器，该处理器被配置为确定哪个图片是并置(collocated)图片。例如，可以接收具有用HEVC标准发信号通知的表示的并置图片。可以使用参考索引来确定并置图片。例如，如在ITU-T H.264标准中所做的那样，可以将参考索引＝0用作默认。在本公开中，与并置图片相关联的参考索引不是必须为零，也可以是非零值。另外，处理器还可以被配置为基于使用在当前编码图片中的先前解码的块，来确定与在当前编码图片中的视频数据的当前块相对应的在并置图片中的视频数据的关联块的位置，以寻找在并置图片中的关联块与当前编码图片中的当前块之间的初始运动矢量，其中视频数据的关联块包括至少一个第一导出运动矢量(例如，参见图5D中的并置图片中的运动矢量)。因此，确定了并置图片中的关联块的位置。
在本公开内，包括基于当前编码图片的至少一个第一导出运动矢量的并置图片包括指向该并置图片的初始运动矢量，使得该并置图片可以被用作参考图片，而不需要依赖于在当前技术中包括运动信息的参考图片，该并置图片可以被称为“并置参考图片”。
而且，处理器可以被配置为基于与在并置图片中的关联块相关联的至少第一导出运动矢量，来确定与在当前编码图片中的当前块相关联的至少一个第二导出运动矢量。该至少一个第二导出运动矢量可以用于确定在当前编码图片中的视频数据的当前块的运动信息。该至少一个第二导出运动矢量可以帮助确定预测块。除了残差块，还有预测块可以用于重构当前块。
这样，不是通过存储每个参考图片的每个运动矢量信息(如在本提议之前当前技术中那样)，而是通过利用来自当前编码图片的一个或多个运动矢量来执行用于导出运动矢量的完整过程，并且可以使用并置参考图片的至少一个第一导出运动矢量来导出至少一个第二运动矢量。因此，视频编码器和视频解码器可以更有效地处理视频数据，并且视频编码器和/或视频解码器可以提供更高效的压缩和解压缩手段，其可以消耗更少的电力并且可以向显示解码的视频数据的设备提供更快的编码结果。
图1是示出可以利用本公开的技术的示例视频编码和解码系统10的框图。如图1所示，系统10包括源设备12，其提供要在稍后由目的地设备14解码的编码视频数据。具体地，源设备12经由计算机可读介质16向目的地目的地设备14提供视频数据。源设备12和目的地设备14可以包括多种设备中的任何一个，包括台式计算机、笔记本(即，便携式)计算机、平板计算机、机顶盒、诸如所谓的“智能”电话的电话手持机、平板计算机、电视、照相机、显示设备、数字媒体播放器、视频游戏机、视频流设备等。在一些情况下，源设备12和目的地设备14可以被装备用于无线通信。因此，源设备12和目的地设备14可以是无线通信设备。源设备12是示例视频编码设备(即，用于编码视频数据的设备)。目的地设备14是示例视频解码设备(即，用于解码视频数据的设备)。
在图1的示例中，源设备12包括视频源18、被配置为存储视频数据的存储介质19、视频编码器20和输出接口22。目的地设备14包括输入接口26、被配置为存储编码视频数据的存储介质28、视频解码器30和显示设备32。在其他示例中，源设备12和目的地设备14包括其他组件或布置。例如，源设备12可以从诸如外部照相机的外部视频源接收视频数据。同样，目的地设备14可以与外部显示设备接口，而不是包括集成显示设备。
图1所示的系统10仅是一个示例。用于处理视频数据的技术可以由任何数字视频编码和/或解码设备执行。虽然本公开的技术通常由视频编码设备来执行，但是这些技术也可以由视频编码器/解码器来执行，通常被称为“编解码器(CODEC)”。源设备12和目的地设备14仅仅是这样的编码设备的示例，其中，源设备12生成用于发送到目的地设备14的编码视频数据。在一些示例中，源设备12和目的地设备14可以以基本上对称的方式操作，使得源设备12和目的地设备14中的每一个都包括视频编码和解码组件。因此，系统10可以支持源设备12和目的地设备14之间的单向或双向视频传输，例如，以用于视频流、视频回放、视频广播或视频电话。
源设备12的视频源18可以包括视频捕获设备，诸如摄像机、包含先前捕获的视频的视频存档和/或用于从视频内容提供商接收视频数据的视频馈送接口。作为另一种选择，视频源18可以生成基于计算机图形的数据作为源视频，或者生成实时视频、存档视频和计算机生成的视频的组合。源设备12可以被包括配置为存储视频数据的一个或多个数据存储介质(例如，存储介质19)。本公开描述的技术一般可以适用于视频编码，并且可以应用于无线和/或有线应用。在每种情况下，捕获的、预捕获的或计算机生成的视频可以由视频编码器20编码。输出接口22可以将编码的视频信息输出到计算机可读介质16。
输出接口22可以包括各种类型的组件或设备。例如，输出接口22可以包括无线发送器、调制解调器、有线联网组件(例如，以太网卡)或另一物理组件。在输出接口22包括无线接收器的示例中，输出接口22可以被配置为接收根据诸如4G、4G-LTE、高级LTE、5G等的蜂窝通信标准调制的数据，诸如比特流。在输出接口22包括无线接收器的一些示例中，输出接口22可以被配置为接收根据诸如IEEE 802.11规范、IEEE 802.15规范(例如，ZigbeeTM)、蓝牙TM标准等的其它无线标准调制的数据，诸如比特流。在一些示例中，输出接口22的电路可以是片上系统(SoC)的一部分。SoC还可以包括其他组件，诸如通用微处理器、图形处理单元等等。
目的地设备14可以经由计算机可读介质16接收要解码的编码视频数据。计算机可读介质16可以包括能够将编码视频数据从源设备12移动到目的地设备14的任何类型的介质或设备。在一些示例中，计算机可读介质16包括通信介质，以使源设备12能够将编码的视频数据实时地直接发送给目的地设备14。可以根据诸如无线通信协议的通信标准来调制编码的视频数据，并将其发送到目的地设备14。通信介质可以包括任何无线或有线通信介质，诸如射频(RF)频谱或一条或多条物理发送线。通信介质可以形成诸如局域网、广域网或诸如互联网的全球网络的基于分组的网络的一部分。通信介质可以包括路由器、交换机、基站或可以用于促进从源设备12到目的地设备14的通信的任何其他装备。目的地设备14可以包括被配置为存储编码视频数据和解码视频数据的一个或多个数据存储介质。
在一些示例中，编码数据可以从输出接口22输出到存储设备。类似地，可以通过输入接口从存储设备访问编码数据。存储设备可以包括各种分布式或本地访问的数据存储介质中的任何一个，诸如硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪速存储器、易失性或非易失性存储器、或用于存储编码视频数据的任何其他合适的数字存储介质。在又一示例中，存储设备可以对应于可以存储由源设备12生成的编码视频的文件服务器或另一中间存储设备。目的地设备14可以经由流或下载从存储设备访问存储的视频数据。文件服务器可以是能够存储编码的视频数据并将该编码的视频数据发送给目的地设备14的任何类型的服务器。示例文件服务器包括web服务器(例如，用于网站)、FTP服务器、网络附加存储(NAS)设备或本地盘驱动器。目的地设备14可以通过包括互联网连接的任何标准数据连接来访问编码的视频数据。这可以包括适合于访问存储在文件服务器上的编码视频数据的无线信道(例如Wi-Fi连接)、有线连接(例如DSL、电缆调制解调器等)或两者的组合。来自存储设备的编码视频数据的发送可以是流发送、下载发送或其组合。
这些技术可以应用于视频编码以支持各种多媒体应用中的任何一个，诸如空中电视广播、有线电视传输、有线传输、卫星电视传输、诸如HTTP上的动态自适应流(DASH)的互联网流视频传输、编码到数据存储介质上的数字视频、对存储在数据存储介质上的数字视频的解码、或者上述示例的其他应用或组合。在一些示例中，系统10可以被配置为支持单向或双向视频传输，以支持诸如视频流、视频回放、视频广播和/或视频电话的应用。
计算机可读介质16可以包括瞬态介质，诸如无线广播或有线网络传输，或者存储介质(也就是说，非瞬态存储介质)，诸如硬盘、闪存驱动器、光盘、数字视频盘、蓝光光盘或其他计算机可读介质。在一些示例中，网络服务器(未示出)可以从源设备12接收编码的视频数据，并且例如经由网络发送将编码的视频数据提供给目的地设备14。类似地，诸如磁盘冲压设施的介质产生设施的计算设备可以从源设备12接收编码的视频数据，并且产生包含编码的视频数据的盘。因此，在各种示例中，计算机可读介质16可以理解为包括各种形式的一个或多个计算机可读介质。
目的地设备14的输入接口26从计算机可读介质16接收信息。计算机可读介质16的信息可以包括由视频编码器20的视频编码器20定义的语法信息，其也由视频解码器30使用，该语法信息包括描述块和例如图片组(GOP)的其他编码单元的特征和/或处理的语法元素。输入接口26可以包括各种类型的组件或设备。例如，输入接口26可以包括无线接收器、调制解调器、有线联网组件(例如，以太网卡)或另一物理组件。在输入接口26包括无线接收器的示例中，输入接口26可以被配置为接收根据诸如4G、4G-LTE、高级LTE、5G等的蜂窝通信标准调制的数据，诸如比特流。在输入接口26包括无线接收器的一些示例中，输入接口26可以被配置为接收根据诸如IEEE 802.11规范、IEEE 802.15规范(例如，ZigbeeTM)、蓝牙TM标准等的其它无线标准调制的数据，诸如比特流。在一些示例中，输入接口26的电路可以集成到视频解码器30和/或目的地设备14的其他组件的电路中。例如，视频解码器30和输入接口26可以是SoC的一部分。SoC还可以包括其他组件，诸如通用微处理器、图形处理单元等等。
存储介质28可以被配置为存储编码的视频数据，诸如由输入接口26接收的编码的视频数据(例如，比特流)。显示设备32向用户显示解码的视频数据，并且可以包括各种显示设备中的任何一个，诸如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或其他类型的显示设备。
视频编码器20和视频解码器30中的每一个都可以实现为各种合适的编码器电路中的任何一个，诸如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任意组合。当这些技术部分地以软件实现时，设备可以将用于软件的指令存储在合适的、非暂时性的计算机可读介质中，并且使用一个或多个处理器在硬件中运行指令以执行本公开的技术。视频编码器20和视频解码器30中的每一个可以包括在一个或多个编码器或解码器中，其中的任何一个都可以被集成为相应设备中的组合的编码器/解码器(CODEC)的一部分。
2016年，MPEG和ITU-T VCEG成立了联合探索视频团队(JVET)，以探索用于下一代视频编码标准的新的编码工具。该参考软件被称为JEM(联合勘探模型)。
在当前针对JEM、JEM和其他视频编码规范的提议中，视频数据包括一系列图片。例如，在该系列图片中可以有并置图片、一个或多个参考图片和当前编码图片。图片也可以被称为“帧”。图片可以包括一个或多个样本阵列。图片的每个相应的样本阵列可以包括用于相应颜色分量的样本阵列。在JEM中，图片可以包括三个样本阵列，表示为SL、SCb和SCr。SL是亮度样本的二维阵列(即，块)。SCb是Cb色度样本的二维阵列。SCr是Cr色度样本的二维阵列。在其他情况下，图片可以是单色的，并且可以只包括亮度样本阵列。
作为编码视频数据的一部分，视频编码器20可以对视频数据的图片进行编码。换句话说，视频编码器20可以生成视频数据的图片的编码表示。图片的编码表示在此可以被称为“编码(coded)图片”或“编码(encoded)图片”。
为了生成图片的编码表示，视频编码器20可以对图片的块进行编码。视频编码器20可以在比特流中包括视频块的编码表示。例如，为了生成图片的编码表示，视频编码器20可以将图片的每个样本阵列分割成编码树块(CTB)并对CTB进行编码。CTB可以是图片的样本阵列中的样本的N×N块。
视频编码器20可以为正被编码的当前块的预测块(例如，亮度、Cb和Cr预测块)生成预测性块(例如，亮度、Cb和Cr预测性块)。视频编码器20可以使用帧内预测或帧间预测来生成预测性块。如果视频编码器20使用帧内预测来生成预测性块，则视频编码器20可以基于包括正被编码的当前块的图片的解码样本来生成预测性块。在先前的标准和JEM中，当前块的预测性块基于参考图片(即，不同于当前图片的图片)的解码样本来编码。然而，在当前针对JEM的用来改进JEM中的高级时间运动矢量预测算法的提议中，如果视频编码器20使用帧间预测来生成当前图片的正被编码的当前块的预测性块，则视频编码器20可以基于并置参考图片(即，不同于当前图片的图片，并且不一定是参考图片)的解码样本来生成正被编码的当前块的预测性块。应当注意的是，并置参考图片可以是参考图片之一。在一些实施例中，并置参考图片可以在列表0或列表1中具有为0的参考索引(下面进一步描述)。
在一些示例中，视频编码器20跳过对变换块的变换的应用。在这样的示例中，视频编码器20可以按照与变换系数相同的方式来处理残差样本值。因此，在视频编码器20跳过变换的应用的示例中，以下对变换系数和系数块的讨论可以适用于残差样本的变换块。
在生成系数块之后，视频编码器20可以量化系数块。量化通常是指对变换系数进行量化以可能减少用于表示变换系数的数据量，从而提供进一步压缩的过程。在一些示例中，视频编码器20跳过量化。在视频编码器20量化系数块之后，视频编码器20可以生成指示量化的变换系数的语法元素。视频编码器20可以对指示量化的变换系数的语法元素中的一个或多个进行熵编码。例如，视频编码器20可以对指示量化的变换系数的语法元素执行上下文自适应二进制算术编码(CABAC)。因此，编码块(例如，编码的当前块)可以包括指示量化的变换系数的熵编码的语法元素。
视频编码器20可以输出包括编码的视频数据的比特流。换句话说，视频编码器20可以输出包括视频数据的编码表示的比特流。例如，比特流可以包括形成视频数据和相关联数据的编码图片的表示的比特序列。在一些示例中，编码图片的表示可以包括块的编码表示。
在JEM和在对JEM的当前提议中，对于每个块，一组运动信息是可用的。一组运动信息可以包括用于前向预测方向和后向预测方向的运动信息。在此，前向预测方向和后向预测方向是双向预测模式的两个预测方向，并且术语“前向”和“后向”不一定具有几何意义，相反，它们对应于当前图片的参考图片列表0(RefPicList0)和参考图片列表1(RefPicList1)。当一个参考图片列表可用于图片或切片时，RefPicList0是可用的，并且切片的每个块的运动信息都是前向的。
对于每个预测方向，运动信息可以包含参考索引和运动矢量。如前面注意到的，预测块可以基于至少一个第二导出运动矢量来确定，该第二导出运动矢量与在当前的编码图片中的当前块相关联，基于与在并置图片中的关联块相关联的至少一个第一导出运动矢量。预测块可以与前向预测方向或后向预测方向相关联。
参考索引用于识别在当前参考图片列表(RefPicList0或RefPicList1)中的参考图片。在现有技术中，运动信息可以从与参考索引相关联的参考图片的使用来导出。在对ATMVP的改进中，由于缓冲存储器(例如，图7中的DPB 1216和图8中的DPB 1312)的增加，期望在不使用用于第一导出运动矢量的参考图片的情况下导出运动信息。这是可能的，因为并置参考图片可以是参考图片之一。因此，不需要存储所有参考图片的运动信息。
在视频编码标准中广泛使用图片顺序计数(POC)来识别图片的显示顺序。尽管存在一个编码视频序列内的两个图片可能具有相同的POC值的情况，但它通常不会发生在编码视频序列内。当比特流中存在多个编码视频序列时，具有相同POC值的图片在解码顺序方面可以彼此更接近。图片的POC值通常用于参考图片列表构建。在当前对JEM的提议中，可以像在HEVC和运动矢量缩放中那样设置参考图片的导出。
在当前对JEM的提议中，以及在JEM中，存在多种帧间预测模式。帧间预测包括合并/跳过模式、FRUC模式、仿射(affine)模式和AMVP模式。在AMVP或合并模式中，维持运动矢量(MV)候选列表以用于多个运动矢量预测器。
通过从MV候选列表中选取一个候选来生成(一个或多个)运动矢量以及在合并模式中的参考索引。MV候选列表可以包含多达7个候选以用于合并模式并且仅包含两个候选以用于AMVP模式。合并候选可以包含一组运动信息，例如对应于参考图片列表(列表0和列表1)和参考索引两者的运动矢量。如果合并候选通过合并索引来识别，则将参考图片用于当前块的预测，以及确定相关联的运动矢量。
更具体地，在合并模式中，视频编码器20和视频解码器30为当前块生成匹配的合并运动矢量(MV)候选列表。当前块的合并MV候选列表可以包括一个或多个合并候选，其也可以被称为运动矢量预测器(MVP)。在当前对JEM的提议中，以及在JEM中，合并MV候选列表包含多达7个合并候选。在合并MV候选列表中的每个相应的合并候选指定一个或多个运动矢量和一个或多个参考索引。例如，合并候选可以指定列表0运动矢量和/或列表1运动矢量，并且可以指定列表0参考索引和/或列表1参考索引。列表0运动矢量是列表0中的指示参考图片中的位置的运动矢量。列表1运动矢量是列表1中的指示参考图片中的位置的运动矢量。视频编码器20可以发信号通知指示当前块的所选择的合并候选在合并MV候选列表中的位置的合并索引。视频解码器30可以使用合并索引来识别所选择的合并候选。
在当前对JEM的提议中，可以用合并列表，即，列表0或列表1，中的候选替换固定顺序(下面参考空间候选进一步解释)，以寻找具有当前块的运动信息。在一个实施例中，视频解码器30然后可以使用来自并置参考图片的(第一导出)运动矢量，以使用所选择的合并候选的参考索引来导出第二导出运动矢量作为运动矢量(即，这些可以是第二导出运动矢量)。
图2A和图2B中的图示分别示出示例性列表0和列表1的概念图。图2A中的示例性列表0示出了分别具有参考标记202A、204A、206A和208A的四个图片{P4、P3、P2和P1}。类似地，图2B中的示例性列表1示出了分别具有参考标记202A、204A、206A和208A的四个图片{P4、P3、P2和P1}。
在JEM中，在合并模式的第一步骤中，可以用图2A所示的带数字的顺序导出多达四个空间MV候选，并且固定顺序如下：左(0)、上(1)、右上(2)和左下(3)。
图片1 208A中的当前块(CB)包括周围的空间相邻者{NB1、NB2、NB3、NB4和NB5}。例如，NB1、NB2、NB3和NB4可以处于固定顺序：左(0)、上(1)、右上(2)和左下(3)。例如，空间相邻者NB4可以是运动矢量预测器(MVP)候选，因为周围的空间相邻者已经被解码，并且它们的运动信息(如果存在)已经是可用的。已经编码或解码的块(表示为AB)也可以具有其自己的预测运动矢量(如带虚线的箭头所示)。
图2C示出了用于合并模式的空间相邻MV候选的第一步骤。后续步骤可以检查ATMVP候选，检查STMVP候选。如果候选数少于6，则下一步可以检查左上(4)。然后可以执行时间候选的检查。为了得到时间候选，首先检查右下位置，如果其不可用，可以执行中心块检查。如果合并候选列表大小小于7，则可以添加附加的候选，直到列表大小等于7。
在本公开中，先前编码的块的运动信息可以用于生成初始运动矢量。先前编码的块可以是正被编码或解码的当前块的相邻块。运动信息可以包括参考索引、运动矢量和帧间方向。
初始运动矢量可用于指回已被编码或解码的并置参考图片中的对应块。
根据在此描述的技术，视频编码器20可以利用使用先前编码块的运动信息来生成初始运动矢量[例如，参见图4A-4B中的流程图]，其可以用于指向在并置参考图片中的对应块以编码视频数据。在并置参考图片中的对应块可以包括第一组导出运动矢量，其可以用于寻找第二组导出运动矢量。
例如，视频编码器20可以针对视频数据的当前图片中的当前块确定先前编码的图片中的编码块。编码块可以覆盖在先前编码的图片中的共同定位的块和在先前编码的图片内的位置。然而，先前编码的图片不一定是参考块。共同定位的块可以具有与当前块相同的形状，并且共同定位的块在先前编码的图片内的位置可以与当前块在当前图片内的位置相同。基于编码块的一个或多个运动矢量，视频编码器20可以确定当前块的一个或多个运动矢量。基于当前块的一个或多个运动矢量，视频编码器20可以使用先前编码的块的运动信息来生成初始运动矢量，其可以用于指向在并置参考图片中的对应块。然后，视频编码器20可以使用预测性块和当前块来生成残差数据。
类似地，视频解码器30可以使用编码的相邻块的运动信息来生成初始运动矢量，其可以用于指向在并置参考图片中的对应块。例如，视频解码器30可以针对视频数据的当前图片中的当前块确定先前编码的图片中的编码块。编码块可以覆盖在先前编码的图片中的共同定位的块和在先前编码的图片内的位置。共同定位的块可以具有与当前块相同的形状，并且共同定位的块在先前编码的图片内的位置可以与当前块在当前图片内的位置相同。基于编码块的一个或多个运动矢量，视频解码器30可以确定当前块的一个或多个运动矢量。
基于当前块的一个或多个运动矢量，视频解码器30可以使用先前编码的块的运动信息来生成初始运动矢量，其可以用于指向并置参考图片中的对应块。然后，视频解码器30可以使用残差数据和预测性块来重构当前块。
合并候选对应于运动信息的整个集合，而AMVP候选仅包含用于特定预测方向的一个运动矢量。用于合并模式和AMVP模式两者的候选可以类似地从相同的空间和时间相邻块导出。
在视频编码器(coder)(即，视频编码器(encoder)或视频解码器(decoder))内，可以缩放运动矢量。当缩放运动矢量时，运动矢量的值可以与处于呈现时间的图片的距离成比例。运动矢量将两个图片，并置参考图片和包含该运动矢量的图片相关联。在本公开内，运动矢量是初始运动矢量，并且并置参考图片包括第一导出运动矢量(至少一个第一导出运动矢量)，并且包含该运动矢量的图片是当前编码图片。当使用初始运动矢量来预测另一个运动矢量，即，并置参考图片中的第一导出运动矢量时，基于并置参考图片和包含图片(即，当前编码图片)的图片顺序计数(POC)值来计算包含图片和参考图片的距离。
对于要预测的运动矢量，其相关联的包含图片和并置参考图片可以是不同的。因此，计算新的距离(基于POC)。基于这两个POC距离缩放初始运动矢量。对于空间相邻候选，两个运动矢量的包含图片相同，而并置参考图片不同。在对JEM的提议中以及在JEM中，运动矢量缩放适用于针对空间相邻候选和时间相邻候选两者的TMVP和AMVP两者。
在现有的JEM、高级时间运动矢量预测(ATMVP)中，ATMVP中的运动信息(包括运动矢量和参考帧)仅来自参考图片。为了得到当前块的ATMVP，第一步骤是确定将从何处获取时间运动矢量(从图7中的DPB缓冲区1216或图8中的DPB 1312)。ATMVP可以按照固定顺序在五个相邻块中寻找第一可用运动矢量：{左、上、右上、左下和左上}。五个相邻块的定义与当前块的空间合并候选相同。为了避免先前编码的相邻块的重复扫描过程，期望在已经导出的合并候选列表中寻找第一合并候选的运动矢量，以确定在哪里获取时间运动矢量。当前块可以被划分为正方形的N×N子块(例如，N被设置为4)。然后，可以按照光栅扫描顺序递归地导出子块的运动矢量。作为示例，当前JEM参考软件中的流程图如图3A-图3C所示。
注意，在图3A的步骤1中，在步骤1中，仅从参考图片获得开始运动矢量。在图3B的步骤2中，仅从参考图片获得初始运动矢量。这些限制产生了前述问题，即在ATMVP算法中，从存储在参考缓冲区(例如，图7中的DPB缓冲区1216或图8中的DPB 1312)中的参考图片中获取运动矢量的信息。参考缓冲区中每个参考存储的运动矢量信息增加了功耗和存储器的尺寸。
图4A、图4B以及图6流程图示出了所提出的对当前JEM和未来标准的ATMVP的改进。所提出的改进是初始运动矢量可以指向并置图片，而不是参考图片，以确定运动矢量。
可以预期的是，可以仅仅从与并置参考图片中的对应块和当前编码图片相关联的运动矢量(即，第一组运动矢量)导出当前图片中的当前块的运动矢量(MV)。因此，可以将可以导出的当前图片中的当前块的运动矢量视为第二组导出运动矢量。这克服了依赖于如前所述会增加参考缓冲区的、仅在参考图片上导出运动矢量。
在一个示例中，编码器或解码器可以处于ATMVP模式，并且仅当前编码图片和并置图片的MV可以用于导出ATMVP模式下的运动矢量。在ATMVP模式内，可以存在合并模式，其中仅当前编码图片和并置图片的MV可以用于导出合并模式下的运动矢量。尽管先前通过寻找参考图片内的当前块的相邻块的运动矢量来使用运动信息，但是可以预期的是，寻找并置参考图片提高了存储器效率。
在如图4A的示例A示出的一个示例中，存在决策检查406A，其中一组图片(例如，图2A和/或图2B中的P4、P3、P2)可以具有至少一个先前被编码的块。当前图片(例如，图2A和/或图2B中的P1)可以具有要编码的当前块(CB-P1)，具有也在先前被编码的相邻块{NB1-NB5}的空间候选。也就是说，寻找初始运动矢量的决策检查基于先前被解码的块的运动矢量是否在当前编码图片中的检查。
当前图片内的先前被编码的块(包括相邻块)的运动矢量可以用于寻找与当前块相关联的对应块。可以按照固定顺序检查当前图片内的先前被编码的块(包括相邻块)的运动矢量，以寻找指向并置参考图片的初始运动矢量。例如，固定顺序可以是检查相邻块{NB1-NB5}。
如果对应的块以帧间预测进行编码，即，在当前图片(P1)和先前图片(例如，P2-P4)之间在时间上进行编码，并且寻找到匹配，则先前图片之一是并置图片，并且停止示例A：406A决策检查(是)。因此，当前图片中当前块周围的相邻块之一具有指向对应块的运动矢量，并且可以被表示为初始运动矢量410。
在示例A 406A中，期望通过首先检查在参考图片中存在当前块的相邻块的可用运动矢量来优先搜索初始运动矢量。如果存在匹配，则参考图片也是并置参考图片，并且改进的步骤1和步骤2导向改进的步骤3。因此，寻找初始运动矢量的决策检查基于固定顺序，其中固定顺序是在检查视频数据的当前图片的当前块之前先检查先前被解码的块。可替换地，决策检查可以不是寻找指向并置参考图片的初始运动矢量的最高优先级。
在图4B中，示出了改进的步骤3。对于在当前块中的每个N×N块(例如，N＝4)，初始运动矢量可以指向并置图片(参见图5D)，并且可以导出并置图片中的来自当前块所指向的对应块的运动矢量。对于每个方向，并置图片中的运动矢量可以缩放到参考ID＝0。如果由当前块使用的参考位置与由从中导出MV的块所使用的参考不同，则使用缩放。这样，寻找初始运动矢量的决策检查是基于对先前被解码块的MV的运动矢量的缩放操作。此外，寻找初始运动矢量的决策检查包括不是当前编码图片中的当前块的相邻块的其他运动矢量的缩放，以及检查缩放的其他运动矢量是否指向并置参考图片。
在一个示例中，我们强制ATMVP模式使用ID等于0的参考，因此我们必须将MV缩放到ID为0的参考。在一个实施例中，在示例A406A中的对初始运动矢量的搜索可以被实现为最高优先级，即，在其他示例B-E(406B-406E)之前执行。因此，决策检查被实现为寻找指向并置参考图片的初始运动矢量的最高优先级。
在另一示例中，示例B 406b，如果在先前检查(例如，406a)中不存在匹配(否)，则并置参考图片不是参考图片，并且并置参考图片可以在时间上处于相对于当前图片和参考图片的不同位置。
图5A-图5C的概念图中示出了三个不同的示例。在图5A-图5C的示例中，如果没有寻找到初始运动矢量，导致当前图片510的当前块512和与当前块512相关联的不同图片中的关联块相匹配，则参考图片518的邻域空间候选的运动矢量(例如，528)可以被缩放到并置参考图片526。在一个实施例中，在运动矢量528可以被缩放到并置参考图片526的情况下，示例406B中的图示可以被实现为第二高优先级，即，在其他示例406C-406E之前执行。
基于当前图片和并置参考图片的图片顺序计数(POC)值来计算当前图片和并置参考图片的距离。缩放的运动矢量可以基于线性运算，例如，基于除法、乘法、减法和/或加法。缩放的运动矢量可以被称为内插运动矢量。在一些情况下，缩放的运动矢量也可以被称为外插运动矢量。因此，缩放操作可以包括对当前编码图片中的先前被解码的块的运动矢量进行内插或外插。
例如，在图5A中，当前图片510中的当前块512的相邻空间候选的运动矢量(例如，相邻运动矢量(MV)544)可以被缩放到并置参考图片526。缩放可以被称为内插，并且所生成的缩放的矢量可以被称为内插运动矢量536，其基于并置参考图片526和参考图片518的POC值。如果基于使用当前编码图片510中的先前被解码的块(例如，相邻空间候选)，并置图片526中的视频数据的关联块528的位置对应于在当前编码图片510中的视频数据的当前块512，则内插运动矢量536可以是初始运动矢量。在图5A中，内插运动矢量536表示比相邻运动矢量544更短的时间距离，因为并置参考图片526比参考图片518离当前图片510更近。
在图5B和图5C中示出的其他实施例中，并置参考图片526不位于参考图片518和当前图片510之间，运动矢量(例如，相邻MV 544)可以被缩放到并置参考图片526。缩放可以被称为外插，并且所生成的缩放的矢量可以被称为外插矢量(例如，外插运动矢量537)，其基于并置参考图片526和参考图片518的POC值。如果基于使用当前编码图片510中的先前被解码的块(例如，相邻空间候选)，并置图片526中的视频数据的关联块528的位置对应于当前编码图片510中的视频数据的当前块512，则外插运动矢量537可以是初始运动矢量。图5B和图5C中示出的示例可以以与图5A中的示例相同的优先级来实现，或者在替代实施例中，可以以比图5A中的示例更低的优先级来实现。
在图5B中，外插运动矢量537表示比相邻运动矢量544更长的时间距离，因为并置参考图片526比参考图片518离当前图片510更远。
在图5C中，外插运动矢量537表示处于与相邻运动矢量544到参考图片518的时间距离相反方向上的时间距离。如上所述，并置参考图片526不一定需要在解码器图片缓冲区中保存参考索引。这样，与使用参考图片528相比，更期望使用并置参考图片来寻找初始运动矢量。
当缩放的运动矢量(例如，内插运动矢量536或外插运动矢量537)指向并置参考图片526时，改进的步骤1和步骤2导向改进的步骤3。然后，缩放的运动矢量成为初始运动矢量(如图5D所示)。
在示例C：406C中，可以执行决策检查(i)以缩放相邻块的运动矢量；(ii)是否可以以固定顺序(例如，NB1-NB5)检查缩放的相邻运动矢量，以发现它们是否指向列表{列表0或列表1}中的并置图片，以寻找初始运动矢量。
如果存在匹配，缩放的运动矢量指向列表中的并置参考图片，则改进的步骤1和步骤2导向改进的步骤3。然后，缩放的运动矢量成为初始运动矢量(如图5D所示)，其中并置图片位于列表{列表0或列表1}中。
如果存在匹配，缩放的运动矢量指向列表中的并置参考图片，则改进的步骤1和步骤2导向改进的步骤3。然后，缩放的运动矢量成为初始运动矢量(如图5D所示)。
在示例C 406C中，如果如关于示例406A和406B描述的先前决策检查没有导致当前图片510中的当前块与具有关联运动矢量的另一块(例如，在参考图片中(示例406A))之间的匹配，其中关联运动矢量在并置参考图片中被缩放(示例406B)，则可以以比先前示例中的任何一个更低的优先级来执行进一步的决策检查406D。因此，决策检查可能不一定是找到指向并置参考图片的初始运动矢量的最高优先级。
在示例D中：决策检查406D可以(i)首先缩放其他MV(其不是在当前图片中的当前块的相邻块)，并且(ii)检查缩放的其他MV是否指向并置图片以找到初始MV。如果缩放的其他运动矢量之一指向并置图片，则缩放的其他运动矢量可以是初始运动矢量(如图5D所示)。
如果存在匹配，缩放的其它运动矢量指向并置参考图片，则改进的步骤1和步骤2导向改进的步骤3。然后，缩放的运动矢量成为初始运动矢量(如图5D所示)。在示例E：决策检查406E中，如果所有相邻块的运动矢量都失败，则可以检查默认运动矢量(即，运动矢量(0，0))以指向并置图片，以找到初始MV。如果存在匹配，默认运动矢量指向并置参考图片，则改进的步骤1和步骤2导向改进的步骤3。然后，默认运动矢量成为初始运动矢量(如图5D所示)。
除了适用于ATMVP模式的示例A-E之外，每个块都可以是相邻块，但是相邻块可以不一定是合并候选，即，当前图片的相邻块可以不一定是合并候选。因此，作为相邻块的先前被编码的块可以用于寻找初始运动矢量。类似地，作为当前图片的相邻块并且也是合并候选的先前被编码的块可以用于寻找初始运动矢量。
因此，还可以使用合并候选列表中的合并候选来生成初始运动矢量。在一个示例中，如果多于一个空间候选可用，则检查顺序可以取决于空间候选用来生成初始运动矢量的参考图片。在另一示例中，如果多于一个合并候选可用，则检查顺序可以取决于合并候选列表中候选的顺序。在又一示例中，如果多于一个合并候选可用，则在当前编码图片中的空间候选之前检查先前被解码的图片中的时间候选。为了编码效率，在另一示例中，如果多于一个合并候选可用，则在先前被解码的图片中的时间候选之前检查当前编码图片中的空间候选。
在上述可以通过相邻块的运动矢量的功能来生成初始运动矢量的示例中，除了明确使用相邻块的运动矢量之外，还可以使用不同的变型。例如，相邻块的运动矢量的中值可以用作初始运动矢量。在另一变型中，相邻块的运动矢量的平均值可以是初始运动矢量。
利用本公开中的技术，在作为ATMVP模式内的模式的合并模式中，可以将运动矢量添加到列表，并且可以用于预测其他运动矢量(例如，初始运动矢量)。如果由合并候选使用的参考的POC不同，则可以将运动矢量缩放到并置参考图片526。
例如，406AMV(类似于示例406A)，指向并置参考图片的空间合并候选的运动矢量可以以最高优先级被实现为初始运动矢量。为方便起见，在示例406A-406E中的参考标记上附加了“MV”，以明确描述当ATMVP模式处于合并模式时示例406A-406E的适用性。
如果不能找到示例406AMV中的初始运动矢量，则(类似于示例406B)另一示例406BMV可以包括空间合并候选的运动矢量，其可以被缩放(例如，内插或外插)到并置参考图片526。缩放的运动矢量(无论是内插的还是外插的)可以被实现为初始运动矢量，并且该检查可以具有比示例406AMV低的优先级。
如果示例406AMV或406BMV中的检查没有导致找到初始矢量，则在另一示例406CMV(类似于示例406C)中，空间合并候选的运动矢量可以通过外插被缩放到并置参考图片，并视为初始运动矢量，如图5D所示。示例406CMV可以被实现为相比示例406AMV和406BMV中的任何一个的更低优先级检查。
可能未找到与示例406AMV、406BMV或406CMV中的各种实现的匹配。在这种情况下，(类似于示例406D)示例406DMV，决策检查406D可以(i)首先缩放其他MV(其不是当前图片中的当前块的相邻块)，并且(ii)检查缩放的其他MV是否指向并置图片以寻找初始MV。如果缩放的其他运动矢量之一指向并置图片，则缩放的其他运动矢量可以是初始运动矢量(如图5D所示)。示例406DMV可以实现为相比示例406AMV、406BMV或406CMV的更低优先级检查。
可能未找到与示例406AMV、406BMV、406CMV或406DMV中的各种实现的匹配。在这种情况下，(类似于示例406E)示例406EMV，决策检查406E如果所有相邻块的运动矢量都失败，则可以检查默认运动矢量(即，运动矢量(0，0))以指向并置图片，以寻找初始MV。
如果存在匹配，默认运动矢量指向并置参考图片，则改进的步骤1和步骤2导向改进的步骤3。然后，默认运动矢量成为初始运动矢量(如图5D所示)。因此，寻找初始运动矢量的决策检查可以包括使用默认运动矢量来指向并置参考图片。
应当注意的是，示例406AMV、406BMV、406CMV、406DMV和406EMV存在变型。在一个变型中，如果多于一个合并候选可用，则检查顺序可以取决于合并候选列表中候选的顺序。在另一变型中，如果有多于一个合并候选可用，则检查顺序可以取决于候选的类型。可以首先检查时间候选，然后可以检查空间候选；或者，可替换地，可以首先检查空间候选，然后可以检查时间候选。在另一变型中，合并候选的MV的中值可以用作初始运动矢量，即，初始运动矢量可以是至少两个先前被编码的块的运动矢量的平均值。通常，初始运动矢量可以基于至少两个运动矢量的比较。在另一变型中，初始运动矢量可以是至少三个先前被编码的块的运动矢量的中值。在另一变型中，合并候选的MV的平均值可以用作初始MV。在一些先前的示例或变型中，如果由合并候选使用的参考的POC不同，则可以将MV缩放到并置参考图片。
如图5D所示，初始运动矢量可以指向在并置参考图片526中的块(或子块)的位置。可以针对与在当前图片526中的当前块的位置相关联的子块导出并置参考图片526中的运动矢量606A-606D。尽管示出了四个运动矢量606A-606D，并且这四个运动矢量606A-606D是第一导出运动矢量，但是可以只有一个第一导出运动矢量606X，其中X＝A、B、C或D。这样，并置参考图片526中的关联块包括具有第一导出运动矢量的子块。可以基于决策检查来确定初始运动矢量。在一些实施例中，可以通过示例406A、406B、406C、406D或示例406E来确定初始运动矢量。在替代实施例中，可以通过示例406AMV、406BMV、406CMV、406DMV或示例406EMV来确定初始运动矢量。
可以缩放或使用第一导出运动矢量。例如，第一导出运动矢量606A-606D中的一个或多个可以指向在另一图片中的另一块。另一块可以包括另一运动矢量(即，第二导出运动矢量)。并置参考图片和另一图片之间的时间距离可以彼此不相邻。可以基于并置参考图片和另一图片的图片顺序计数(POC)值来计算并置参考图片和另一图片的距离。这样，可以缩放第一导出运动矢量。在并置参考图片和另一图片彼此相邻的情况下，可以使用(例如，复制或参考)第一导出运动矢量来生成第二导出运动矢量。在缩放至少一个第一导出运动矢量(606A、606B、606C或606D)的情况下，可以将缩放后的第一导出运动矢量应用于当前图片的当前块，以在另一图片中生成至少一个第二导出运动矢量。另一图片可以是当前编码图片。而且，至少一个第二导出运动矢量(未绘制)可以基于帧间方向指向另一图片(例如，可以是当前编码图片)。帧间方向可以包括在列表0或列表1中从块到另一块的运动矢量(如上面所讨论的)。因此，至少一个第二导出运动矢量可以指向列表0或列表1中的另一块，并且在列表0或列表1内，当前编码图片可以包括在这两个列表中的一个中。另一块可以是当前编码图片中的当前块。
另外，并置参考图片可以是具有参考索引的参考图片，并且参考索引可以具有多个值，例如0、1、2、3等。为了方便起见，参考索引可以是默认值0。应当注意的是，可以根据当前图片中的当前块相对于并置参考图片的POC来缩放并置参考图片中的关联块的至少一个第一导出运动矢量。
并置参考图片526可以与在HEVC中定义的相同，或者可以在序列级、图片级、切片级或块级将不同的图片从编码器发信号通知到解码器。例如，可以在序列参数集(SPS)、图片参数集(PPS)、切片头(SH)、编码树单元(CTU)或编码单元(CU)中发信号通知并置参考图片。
图6是示出了图1和图8的视频解码器30在执行本公开中描述的技术的各个方面时的示例操作的流程图。如图6的示例中所示，视频解码器30可以被配置为根据本公开的技术对视频数据进行解码。
视频解码器30可以被配置为包括用于存储视频数据的存储器(例如，图8中的DPB1316)和被配置为确定哪个图片是并置图片250的处理器。另外，处理器可以被配置为基于使用在当前编码图片中的先前被解码的块，确定与在当前编码图片中的视频数据的当前块对应的在并置图片中的视频数据的关联块的位置，以寻找在并置图片中的关联块与当前编码图片中的当前块之间的初始运动矢量，其中视频数据的关联块包括至少一个第一导出运动矢量252。处理器还可以被配置为基于决策检查254来确定初始运动矢量。处理器还可以被配置为基于与并置图片中的关联块相关联的至少第一导出运动矢量来确定与当前编码图片中的当前块相关联的至少一个第二导出运动矢量。处理器还可以被配置为确定在当前编码图片256中的视频数据的当前块的运动信息，并使用确定的运动信息来获得预测块，然后基于预测块和残差块258的组合来生成重构块。
图7是示出了可以实现本公开的技术的示例视频编码器20的框图。图8是为了解释的目的而提供的，而不应被认为是对本公开中广泛例示和描述的技术的限制。本公开的技术可以适用于各种编码标准或方法。
在图7的示例中，视频编码器20包括预测处理单元1200、视频数据存储器1201、残差生成单元1202、变换处理单元1204、量化单元1206、逆量化单元1208、逆变换处理单元1210、重构单元1212、滤波器单元1214、解码图片缓冲区1216和熵编码单元1218。预测处理单元1200包括帧间预测处理单元1220。
视频数据存储器1201可以被配置为存储要由视频编码器20的组件编码的视频数据。存储在视频数据存储器1201中的视频数据可以例如从视频源18获得。解码图片缓冲区1216可以是参考图片存储器，其存储参考视频数据以供视频编码器20例如以帧内或帧间编码模式编码视频数据时使用。视频数据存储器1201和解码图片缓冲区1216可以由各种存储设备中的任何一种形成，例如动态随机存取存储器(DRAM)，包括同步DRAM(SDRAM)、磁阻RAM(MRAM)、电阻RAM(RRAM)或其他类型的存储设备。视频数据存储器1201和解码图片缓冲区1216可以由相同的存储设备或分开的存储设备提供。在各种示例中，视频数据存储器1201可以与视频编码器20的其他组件一起在芯片上，或者相对于那些组件在芯片外。视频数据存储器1201可以与图1的存储介质19相同或作为其一部分。
帧间预测处理单元1220可以生成当前块的预测性数据。作为生成当前块的预测性数据的一部分，帧间预测处理单元1220可以对当前块执行帧间预测。如上所述，当前块的预测性数据可以包括当前块的预测性块和当前块的运动信息。帧间预测处理单元1220可以应用使用编码的相邻块的运动信息来生成初始运动矢量的技术，初始运动矢量可以用于指向并置参考图片中的对应块，如本公开的其他地方所描述的。
残差生成单元1202可以生成当前块的残差块，使得残差块中的每个样本具有等于当前块的编码块中的样本与当前块的对应的所选择的预测性块中的对应样本之间的差的值。
变换处理单元1204可以将当前块的残差块分割成当前块的变换块。量化单元1206可以量化系数块中的变换系数。
逆量化单元1208和逆变换处理单元1210可以分别对系数块应用逆量化和逆变换，以从系数块重构残差块。重构单元1212可以将重构的残差块添加到来自由预测处理单元1200生成的一个或多个预测性块的对应样本，以产生与当前块相关联的重构的变换块。通过以这种方式重构每个当前块的变换块，视频编码器20可以重构当前块的编码块。
滤波器单元1214可以执行一个或多个解块操作，以减少与当前块相关联的编码块中的块伪像。在滤波器单元1214对重构的编码块执行一个或多个解码操作之后，解码图片缓冲区1216可以存储重构的编码块。利用本公开中描述的技术，帧间预测处理单元1220可以使用包含重构的编码块的并置参考图片来对其他图片的当前块执行帧间预测，而不是使用包含重构的编码块的参考图片来对其他图片的当前块执行帧间预测。这允许存储器高效系统，因为DPB 1216不必为每个被编码的块存储每个参考索引。
熵编码单元1218可以从视频编码器20的其他功能组件接收数据，例如，熵编码单元1218可以从量化单元1206接收系数块，并且可以从预测处理单元1200接收语法元素。熵编码单元1218可以对数据执行一个或多个熵编码操作以生成熵编码数据。例如，熵编码单元1218可以对数据执行CABAC操作、上下文自适应可变长度编码(CAVLC)操作、可变到可变(V2V)长度编码操作、基于语法的上下文自适应二进制算术编码(SBAC)操作、概率区间分割熵(PIPE)编码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器20可以输出包括由熵编码单元1218生成的熵编码数据的比特流。例如，比特流可以包括表示当前块的变换系数的值的数据。
视频编码器20的各种组件可以运行在此描述的技术，并且利用编码的相邻块的运动信息来生成初始运动矢量，初始运动矢量可以用于指向并置参考图片中的对应块，以对视频数据进行编码。然后，视频编码器20可以使用预测性块和当前块来生成残差数据。
图8是示出了被配置为实现本公开的技术的示例视频解码器30的框图。图8是为了解释的目的而提供的，而不限于本公开中广泛例示和描述的技术。出于解释的目的，本公开在JEM编码的上下文中以及在对改进JEM编码的提议的上下文中描述了视频解码器30。然而，本公开的技术可以适用于其他编码标准或方法。
在图8的示例中，视频解码器30包括熵解码单元1300、视频数据存储器1301、预测处理单元1302、逆量化单元1304、逆变换处理单元1306、重构单元1308、滤波器单元1310和解码图片缓冲区1312。预测处理单元1302包括运动补偿单元1314和帧内预测处理单元1316。在其他示例中，视频解码器30可以包括更多、更少或不同的功能组件。
如果使用帧间预测对当前块进行编码，则运动补偿单元1314可以确定当前块的运动信息。运动补偿单元1314可以基于当前块的运动信息来确定当前图片中的一个或多个先前被解码的块，以寻找在并置参考图片中的关联块与当前编码图片中的当前块之间的初始运动矢量(即，当解码设备参考解码过程时对图片进行解码)，其中视频数据的关联块包括至少一个导出运动矢量。
运动补偿单元1314可以应用使用被编码的相邻块的运动信息来生成初始运动矢量的技术，并且基于与并置参考图片中的关联块相关联的至少第一导出运动矢量来确定与当前编码图片中的当前块相关联的至少一个第二导出运动矢量。
而且，运动补偿单元1314可以基于至少一个第二导出运动矢量来确定在当前编码图片中的视频数据的当前块的运动信息，并使用所确定的运动信息来获得预测块(或按颜色预测性块，即亮度块、CB块和Cr块)。
重构单元1308可以使用当前块的变换块(例如，亮度变换块、Cb变换块和Cr变换块)以及当前块的预测性块(例如，亮度块、Cb块和Cr块)，并且生成差值(例如，残差块)来重构当前块的编码块(例如，亮度编码块、Cb编码块和Cr编码块)。滤波器单元1310可以执行解块操作以减少与当前块的编码块相关联的块伪像。视频解码器30可以将当前块的编码块存储在解码图片缓冲区1312中。
在合并模式中，视频解码器30可以将当前块的先前编码的空间相邻者的一个或多个运动矢量用到当前块的统一合并候选列表中。这样，在使用被编码的相邻块的运动信息来生成可以用于指向当前块的并置参考图片中的对应块的初始运动矢量时，视频解码器30可以使用被编码的相邻块的运动信息来生成可以用于指向并置参考图片中的对应块的初始运动矢量，以基于当前块的统一合并候选列表中的第一运动矢量来生成当前块的预测性块。
应当注意的是，本公开中的技术也可以适用于包括用于解码在当前编码图片中的视频数据的当前块的部件的装置，该装置包括用于确定哪个图片是并置图片的部件、以及用于以下操作的部件：基于使用在当前编码图片中的先前被解码的块，确定与在当前编码图片中的视频数据的当前块对应的在并置图片中的视频数据的关联块的位置，以寻找并置图片中的关联块与当前编码图片中的当前块之间的初始运动矢量，其中视频数据的关联块包括至少一个第一导出运动矢量，当初始MV指向并置图片时，基于与并置图片中的关联块相关联的至少第一导出运动矢量，确定与当前编码图片中的当前块相关联的至少一个第二导出运动矢量。该装置还可以包括用于基于至少一个第二导出运动矢量来确定在当前编码图片中的视频数据的当前块的运动信息的部件、用于使用所确定的运动信息来获得预测块的部件、以及用于基于预测块和残差块的组合来生成重构块的部件。
本公开中描述的技术可以用于其他视频编码过程，包括目前正在开发或尚未开发的其他标准或专有视频编码过程。
本公开中描述的视频编码器(coder)可以指视频编码器(encoder)或视频解码器(decoder)。类似地，视频编码单元可以指视频编码器或视频解码器。同样地，如果适用，视频编码(coding)可以指视频编码(encoding)或视频解码(decoding)。在本公开中，短语“基于”可以表示仅基于、至少部分基于或以某种方式基于。本公开可以使用术语“视频单元”或“视频块”或“块”来指代用于对一个或多个样本块中的样本进行编码的一个或多个样本块和语法结构。
应当认识到，根据示例，在此描述的任何技术的某些动作或事件可以以不同的顺序执行，可以被添加、合并或完全省略(例如，并非所有描述的动作或事件对于技术的实践都是必需的)。而且，在某些示例中，可以例如通过多线程处理、中断处理或多个处理器而不是顺序地并发执行动作或事件。
在一个或多个示例中，所描述的功能可以以硬件、软件、固件或其任意组合来实现。如果以软件实现，则功能可以作为一个或多个指令或代码存储在计算机可读介质上或在计算机可读介质上发送，并由基于硬件的处理单元来运行。计算机可读介质可以包括计算机可读存储介质，其对应于任何有形介质，诸如数据存储介质，或者包括例如根据通信协议来促进将计算机程序从一个地方转移到另一个地方的任何介质的通信介质。以此方式，计算机可读介质一般可以对应于(1)非暂时性的有形计算机可读存储介质，或者(2)诸如信号或载波的通信介质。数据存储介质可以是可由一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
作为示例而非限制，这种计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、闪速存储器或者可以用于存储以指令或数据结构的形式的、并且可以由计算机访问的期望的程序代码任何其他介质。此外，任何连接都被适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或诸如红外、无线电和微波的无线技术从网站、服务器或其他远程源发送指令，则介质的定义包括同轴电缆、光纤电缆、双绞线、DSL或诸如红外、无线电和微波的无线技术。然而，应该理解的是，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他瞬时介质，而是针对非瞬时的有形存储介质。在此使用的磁盘和光盘包括光盘(CD)、激光光盘、光盘、数字多功能盘(DVD)、软盘和蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光光学地再现数据。上述各项的组合也应包括在计算机可读介质的范围内。
指令可以由一个或多个处理器执行，诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效的集成或离散逻辑电路。因此，在此使用的术语“处理器”可以指任何前述结构或适合于实现在此描述的技术的任何其他结构。另外，在一些方面，在此描述的功能可以在被配置用于编码和解码的专用硬件和/或软件模块内提供，或者可以结合在组合编解码器中。此外，该技术可以在一个或多个电路或逻辑元件中完全实现。
本公开的技术可以在各种设备或装置中实现，包括无线手持设备、集成电路(IC)或IC的集合(例如，芯片集合)。在本公开中描述了各种组件、模块或单元，以强调被配置成为执行所公开的技术的设备的功能方面，但不一定需要由不同的硬件单元来实现。相反，如上所述，各种单元可以组合在编解码器硬件单元中，或者由包括如上所述的一个或多个处理器的互操作硬件单元的集合结合适当的软件和/或固件来提供。
已经描述了本公开的各种示例。预期所描述的系统、操作或功能的任何组合。这些和其他示例在所附权利要求的范围内。

Claims (40)

1.一种用于解码在当前编码图片中的视频数据的当前块的设备，所述设备包括：
存储器，其被配置为存储视频数据；以及
处理器，其被配置为：
确定哪个图片是并置图片；
基于使用所述当前编码图片中的先前解码的块，确定与在所述当前编码图片中的视频数据的当前块对应的在所述并置图片中的所述视频数据的关联块的位置，以寻找在所述并置图片中的所述关联块与所述当前编码图片中的所述当前块之间的初始运动矢量，其中所述视频数据的所述关联块包括至少一个第一导出运动矢量；
当所述初始运动矢量指向所述并置图片时，基于与所述并置图片中的所述关联块相关联的所述至少一个第一导出运动矢量，确定与所述当前编码图片中的所述当前块相关联的至少一个第二导出运动矢量；
基于所述至少一个第二导出运动矢量，确定在所述当前编码图片中的视频数据的所述当前块的运动信息；
使用所确定的运动信息来获得预测块；
基于所述预测块和残差块的组合生成重构块。
2.如权利要求1所述的设备，其中，所述初始运动矢量是基于决策检查来确定的。
3.如权利要求1所述的设备，其中，所述并置图片中的所述关联块包括具有所述至少一个第一导出运动矢量的子块。
4.如权利要求3所述的设备，其中，所述至少一个第一导出运动矢量被缩放或使用。
5.如权利要求4所述的设备，其中，将缩放的至少一个第一导出运动矢量应用于所述当前图片的所述当前块，以生成至少一个第二导出运动矢量。
6.如权利要求5所述的设备，其中，所述至少一个第二导出运动矢量基于帧间方向指向图片。
7.如权利要求1所述的设备，其中，并置参考图片是具有参考索引的参考图片。
8.如权利要求7所述的设备，其中，所述参考索引为0。
9.如权利要求2所述的设备，其中，所述关联块的所述至少第一导出运动矢量是在并置参考图片中，并且是根据所述当前块相对于所述并置参考图片的图片顺序计数进行缩放的。
10.如权利要求2所述的设备，其中，所述先前编码的块是所述当前图片的相邻块，并且是合并候选。
11.如权利要求2所述的设备，其中，如果多于一个合并候选可用，则检查顺序取决于合并候选列表中候选的顺序。
12.如权利要求11所述的设备，其中，如果多于一个合并候选可用，则在所述当前编码图片中的空间候选之前检查先前解码的图片中的时间候选。
13.如权利要求11所述的设备，其中，如果多于一个合并候选可用，则在先前解码的图片中的时间候选之前检查所述当前编码图片中的空间候选。
14.如权利要求2所述的设备，其中，所述当前图片的所述相邻块不是合并候选。
15.如权利要求2所述的设备，其中，用来寻找所述初始运动矢量的所述决策检查是基于固定顺序的，其中所述固定顺序是在所述视频数据的所述当前图片的所述当前块之前检查所述先前解码的块。
16.如权利要求15所述的设备，其中，所述决策检查被实现为寻找指向并置参考图片的初始运动矢量的最高优先级。
17.如权利要求2所述的设备，其中，用来寻找所述初始运动矢量的所述决策检查基于对所述先前解码的块的运动矢量的运动矢量的缩放操作。
18.如权利要求17所述的设备，其中，所述缩放操作包括对在所述当前编码图片中的所述先前解码的块的运动矢量进行内插或外插。
19.如权利要求18所述的设备，其中，所述决策检查中的缩放操作不是寻找指向并置参考图片的初始运动矢量的最高优先级。
20.如权利要求2所述的设备，其中，用来寻找所述初始运动矢量的所述决策检查基于所述先前解码的块的运动矢量是否在所述当前编码图片中的检查。
21.如权利要求20所述的设备，其中，如权利要求21所述的决策检查不是寻找指向并置参考图片的初始运动矢量的最高优先级。
22.如权利要求2所述的设备，其中，用来寻找所述初始运动矢量的所述决策检查包括对不是所述当前编码图片中的所述当前块的相邻块的其他运动矢量的缩放，以及所缩放的其他运动矢量是否指向并置参考图片的检查。
23.根据权利要求22所述的设备，其中，如权利要求24所述的决策检查不是寻找指向并置参考图片的初始运动矢量的最高优先级。
24.如权利要求2所述的设备，其中，用来寻找所述初始运动矢量的所述决策检查包括使用默认运动矢量来指向并置参考图片。
25.如权利要求2所述的设备，其中，所述先前编码的块是相邻块，并且不是合并模式中的合并候选。
26.如权利要求2所述的设备，其中，先前编码的块是相邻块，并且是合并模式中的合并候选。
27.如权利要求1所述的设备，其中，所述初始运动矢量是至少两个先前编码的块的运动矢量的平均值。
28.如权利要求1所述的设备，其中，所述初始运动矢量是至少三个先前编码的块的运动矢量的中值。
29.如权利要求1所述的设备，其中，所述初始运动矢量是基于至少两个运动矢量的比较。
30.一种用于解码在当前编码图片中的视频数据的当前块的方法，包括：
确定哪个图片是并置图片；
基于使用所述当前编码图片中的先前解码的块，确定与在所述当前编码图片中的视频数据的当前块对应的在所述并置图片中的所述视频数据的关联块的位置，以寻找在所述并置图片中的所述关联块与所述当前编码图片中的所述当前块之间的初始运动矢量，其中所述视频数据的所述关联块包括至少一个第一导出运动矢量；
当所述初始运动矢量指向所述并置图片时，基于与所述并置图片中的所述关联块相关联的所述至少一个第一导出运动矢量，确定与所述当前编码图片中的所述当前块相关联的至少一个第二导出运动矢量；
基于所述至少一个第二导出运动矢量，确定在所述当前编码图片中的视频数据的所述当前块的运动信息；
使用所确定的运动信息来获得预测块；以及
基于所述预测块和残差块的组合生成重构块。
31.如权利要求30所述的方法，其中，所述初始运动矢量是基于决策检查来确定的。
32.如权利要求31所述的方法，其中，并置参考图片中的所述关联块包括具有所述至少一个第一导出运动矢量的子块。
33.如权利要求32所述的方法，其中，所述至少一个第一导出运动矢量被缩放或使用。
34.如权利要求33所述的方法，其中，将缩放的至少一个第一导出运动矢量应用于所述当前图片的所述当前块，以生成至少一个第二导出运动矢量。
35.如权利要求34所述的方法，其中，所述至少一个第二导出运动矢量基于帧间方向指向图片。
36.如权利要求30所述的方法，其中，并置参考图片是具有参考索引的参考图片。
37.如权利要求30所述的方法，其中，所述参考索引为0。
38.如权利要求30所述的方法，其中，用来寻找所述初始运动矢量的所述决策检查基于所述先前解码的块的运动矢量是否在当前编码图片中的检查。
39.一种用于解码在当前编码图片中的视频数据的当前块的装置，包括：
用于确定哪个图片是并置图片的部件；
用于以下操作的部件：基于使用所述当前编码图片中的先前解码的块，确定与在所述当前编码图片中的视频数据的所述当前块对应的在所述并置图片中的所述视频数据的关联块的位置，以寻找在所述并置图片中的所述关联块与所述当前编码图片中的所述当前块之间的初始运动矢量，其中所述视频数据的所述关联块包括至少一个第一导出运动矢量；
用于当所述初始运动矢量指向所述并置图片时，基于与所述并置图片中的所述关联块相关联的所述至少一个第一导出运动矢量，确定与所述当前编码图片中的所述当前块相关联的至少一个第二导出运动矢量的部件；
用于基于所述至少一个第二导出运动矢量，确定在所述当前编码图片中的视频数据的所述当前块的运动信息的部件；
用于使用所确定的运动信息来获得预测块的部件；以及
用于基于所述预测块和残差块的组合生成重构块的部件。
40.一种存储指令的计算机可读存储介质，所述指令在被运行时使一个或多个处理器执行方法权利要求30-38的任何组合。
CN201880091395.7A 2018-03-19 2018-03-19 对高级时间运动矢量预测的改进 Pending CN111869214A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/079458 WO2019178721A1 (en) 2018-03-19 2018-03-19 Improvements to advanced temporal motion vector prediction

Publications (1)

Publication Number Publication Date
CN111869214A true CN111869214A (zh) 2020-10-30

Family

ID=67988279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880091395.7A Pending CN111869214A (zh) 2018-03-19 2018-03-19 对高级时间运动矢量预测的改进

Country Status (8)

Country Link
US (1) US20210099724A1 (zh)
EP (1) EP3769528A4 (zh)
KR (1) KR102579526B1 (zh)
CN (1) CN111869214A (zh)
BR (1) BR112020018716A2 (zh)
SG (1) SG11202007843YA (zh)
TW (1) TW201941612A (zh)
WO (1) WO2019178721A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113196771B (zh) 2018-12-21 2023-12-22 北京字节跳动网络技术有限公司 基于运动矢量精度的运动矢量范围
WO2024027802A1 (en) * 2022-08-05 2024-02-08 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012191298A (ja) * 2011-03-09 2012-10-04 Fujitsu Ltd 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
CN103959791A (zh) * 2011-11-18 2014-07-30 摩托罗拉移动有限责任公司 针对高效率视频代码化(hevc)用信号发送并置图片的显式方式
AU2015200360A1 (en) * 2011-09-09 2015-02-19 Kt Corporation Method for deriving a temporal predictive motion vector, and apparatus using the method
WO2015139205A1 (en) * 2014-03-18 2015-09-24 Mediatek Singapore Pte. Ltd. An improved method for collocated picture in video coding
WO2015143603A1 (en) * 2014-03-24 2015-10-01 Mediatek Singapore Pte. Ltd. An improved method for temporal motion vector prediction in video coding
CN107534778A (zh) * 2015-04-14 2018-01-02 联发科技（新加坡）私人有限公司 获取时间运动矢量预测的方法及装置
WO2018049043A1 (en) * 2016-09-07 2018-03-15 Qualcomm Incorporated Sub-pu based bi-directional motion compensation in video coding

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4114859B2 (ja) * 2002-01-09 2008-07-09 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
US9826244B2 (en) * 2013-01-08 2017-11-21 Qualcomm Incorporated Device and method for scalable coding of video information based on high efficiency video coding
US10958927B2 (en) * 2015-03-27 2021-03-23 Qualcomm Incorporated Motion information derivation mode determination in video coding
US10560718B2 (en) * 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
US10523934B2 (en) * 2017-05-31 2019-12-31 Mediatek Inc. Split based motion vector operation reduction
EP4351139A3 (en) * 2017-06-09 2024-05-15 Electronics and Telecommunications Research Institute Video encoding/decoding method and device, and recording medium storing bit stream
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
WO2019004283A1 (ja) * 2017-06-28 2019-01-03 シャープ株式会社 動画像符号化装置及び動画像復号装置
GB2563943B (en) * 2017-06-30 2021-02-24 Canon Kk Method and apparatus for encoding or decoding video data in FRUC mode with reduced memory accesses
CN110662059B (zh) * 2018-06-29 2021-04-20 北京字节跳动网络技术有限公司 使用查找表存储先前编码的运动信息并用其编码后续块的方法和装置
US20200014931A1 (en) * 2018-07-06 2020-01-09 Mediatek Inc. Methods and Apparatuses of Generating an Average Candidate for Inter Picture Prediction in Video Coding Systems
US11057617B2 (en) * 2018-08-03 2021-07-06 Tencent America LLC Method and apparatus for video coding
CN111357294B (zh) * 2018-10-23 2022-12-30 北京字节跳动网络技术有限公司 基于子块的运动信息列表的简化熵编解码

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012191298A (ja) * 2011-03-09 2012-10-04 Fujitsu Ltd 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
AU2015200360A1 (en) * 2011-09-09 2015-02-19 Kt Corporation Method for deriving a temporal predictive motion vector, and apparatus using the method
CN103959791A (zh) * 2011-11-18 2014-07-30 摩托罗拉移动有限责任公司 针对高效率视频代码化(hevc)用信号发送并置图片的显式方式
WO2015139205A1 (en) * 2014-03-18 2015-09-24 Mediatek Singapore Pte. Ltd. An improved method for collocated picture in video coding
WO2015143603A1 (en) * 2014-03-24 2015-10-01 Mediatek Singapore Pte. Ltd. An improved method for temporal motion vector prediction in video coding
CN107534778A (zh) * 2015-04-14 2018-01-02 联发科技（新加坡）私人有限公司 获取时间运动矢量预测的方法及装置
WO2018049043A1 (en) * 2016-09-07 2018-03-15 Qualcomm Incorporated Sub-pu based bi-directional motion compensation in video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN 等: "Algorithm Description of Joint Exploration Test Model 7 (JEM 7)", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 7TH MEETING: TORINO, IT, 13–21 JULY 2017，JVET-G1001-V1, pages 1 - 2 *
QUALCOMM INCORPORATED，: "EE2.6: Modification of Merge candidate derivation: ATMVP simplification and Merge pruning", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 113RD MEETING: GENEVA, CH, 26 MAY – 1 JUNE 2016，JVET-C0035 *

Also Published As

Publication number Publication date
KR20200128036A (ko) 2020-11-11
TW201941612A (zh) 2019-10-16
EP3769528A1 (en) 2021-01-27
WO2019178721A1 (en) 2019-09-26
BR112020018716A2 (pt) 2020-12-29
SG11202007843YA (en) 2020-10-29
US20210099724A1 (en) 2021-04-01
KR102579526B1 (ko) 2023-09-15
EP3769528A4 (en) 2021-11-10

Similar Documents

Publication Publication Date Title
US11082687B2 (en) Motion vector prediction for affine motion models in video coding
US10652571B2 (en) Advanced motion vector prediction speedups for video coding
US11172229B2 (en) Affine motion compensation with low bandwidth
US10681370B2 (en) Motion vector generation for affine motion model for video coding
US11057636B2 (en) Affine motion prediction
JP7000565B2 (ja) ビデオコーディングのためのアフィン予測動き情報をコーディングすること
CN107431820B (zh) 视频译码中运动向量推导
US11425387B2 (en) Simplified local illumination compensation
US9736489B2 (en) Motion vector determination for video coding
US10542280B2 (en) Encoding optimization with illumination compensation and integer motion vector restriction
JP2021182743A (ja) 復号器側動きベクトル導出によって導出された動きベクトル情報を制約すること
JP2022504073A (ja) 履歴ベースの動きベクトル予測子の改善
US9491458B2 (en) Scalable video coding prediction with non-causal information
CN111164977A (zh) 视频译码中的仿射预测
WO2019010123A1 (en) MODEL-BASED MATCHING BASED ON PARTIAL RECONSTRUCTION FOR A MOTION VECTOR DIVERSION
CN111492662A (zh) 生成的仿射运动向量
CN110868587B (zh) 一种视频图像预测方法及装置
US20210099724A1 (en) Improvements to advanced temporal motion vector prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination