CN112806009B - 一种生成合并候选列表的方法和相关装置 - Google Patents

一种生成合并候选列表的方法和相关装置 Download PDF

Info

Publication number
CN112806009B
CN112806009B CN201980032359.8A CN201980032359A CN112806009B CN 112806009 B CN112806009 B CN 112806009B CN 201980032359 A CN201980032359 A CN 201980032359A CN 112806009 B CN112806009 B CN 112806009B
Authority
CN
China
Prior art keywords
block
candidate block
candidate
current block
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980032359.8A
Other languages
English (en)
Other versions
CN112806009A (zh
Inventor
夜静
刘杉
李贵春
许晓中
李翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN112806009A publication Critical patent/CN112806009A/zh
Application granted granted Critical
Publication of CN112806009B publication Critical patent/CN112806009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种生成合并候选列表的方法和相关装置，合并候选列表用于对视频序列进行编码或解码，包括确定第一候选块，该第一候选块包括在竖直方向上位于当前块的顶部边缘上方的竖直位置并且包括在水平方向上位于当前块的中间的水平位置。确定第二候选块，该第二候选块包括水平位置，第二候选块包括的水平位置在水平方向上位于当前块的左边缘的左侧，并且包括在竖直方向上位于当前块的中间的竖直位置。使用第一候选块和第二候选块来生成合并候选列表以允许对视频序列进行编码和解码。

Description

一种生成合并候选列表的方法和相关装置
相关申请的交叉引用
根据35 U.S.C.§119，本申请要求2018年6月4日在美国专利商标局提交的美国临时申请第62/680,486号的优先权，本申请要求于2018年12月13日向美国专利商标局提交的美国专利申请第16/219,533号的优先权，其公开的全部内容通过引用整体并入本文中。
技术领域
本公开涉及视频编解码技术，尤其涉及一种生成合并候选列表的方法和相关装置。
背景技术
在高效视频编码(HEVC)中，引入了用于帧间图片预测的合并模式。生成来自相邻块的候选运动参数的合并候选列表。然后，用信号表示索引，来标识待使用的候选。合并模式还通过将从先前已编码图片获得的候选包括在列表中来允许时间预测。
然而，目前生成合并候选列表的相关技术，会导致编码后的视频序列比特率较高、降低了性能。
发明内容
根据本公开内容的一方面，一种生成用于对视频序列进行编码或解码的合并候选列表的方法，该方法包括：确定第一候选块，该第一候选块包括在竖直方向上位于当前块的顶部边缘上方的竖直位置，并且包括在水平方向上位于该当前块的中间的水平位置；确定第二候选块，该第二候选块包括水平位置，第二候选块包括的水平位置在水平方向上位于当前块的左边缘的左侧，并且包括在竖直方向上位于当前块的中间的竖直位置；以及使用第一候选块和第二候选块生成该合并候选列表，以允许根据所述合并候选列表对视频序列进行编码或解码。
根据本公开的另一方面，一种生成用于对视频序列进行编码或解码的合并候选列表的装置，该装置包括第一确定单元、第二确定单元和生成单元：第一确定单元，用于确定第一候选块，第一候选块包括在竖直方向上位于当前块的顶部边缘上方的竖直位置，并且包括在水平方向上位于当前块的中间的水平位置；第二确定单元，用于确定第二候选块，第二候选块包括水平位置，第二候选块包括的水平位置在水平方向上位于当前块的左边缘的左侧，并且包括在竖直方向上位于当前块的中间的竖直位置；以及生成单元，用于使用第一候选块和第二候选块生成合并候选列表，以允许根据合并候选列表对视频序列进行编码或解码。
根据本公开内容的一方面，一种用于生成用于对视频序列进行编码或解码的合并候选列表的设备，该设备包括至少一个存储器，所述至少一个存储器被配置成存储程序代码；以及至少一个处理器，所述至少一个处理器被配置成读取程序代码并且按照程序代码所指示的进行操作，该程序代码包括：第一确定代码，该第一确定代码被配置成使所述至少一个处理器确定第一候选块，该第一候选块包括在竖直方向上位于当前块的顶部边缘上方的竖直位置，并且包括在水平方向上位于当前块的中间的水平位置；第二确定代码，该第二确定代码被配置成使所述至少一个处理器确定第二候选块，该第二候选块包括水平位置，第二候选块包括的水平位置在水平方向上位于当前块的左边缘的左侧，并且包括在竖直方向上位于当前块的中间的竖直位置；以及生成代码，该生成代码被配置成使所述至少一个处理器使用第一候选块和第二候选块生成合并候选列表，以允许根据所述合并候选列表对视频序列进行编码或解码。
根据本公开内容的一方面，一种存储有指令的非暂态计算机可读介质，所述指令包括：一个或更多个指令，所述一个或更多个指令在由设备的一个或更多个处理器执行时使所述一个或更多个处理器进行以下操作：确定第一候选块，该第一候选块包括在竖直方向上位于当前块的顶部边缘上方的竖直位置，并且包括在水平方向上位于当前块的中间的水平位置；确定第二候选块，该第二候选块包括水平位置，第二候选块包括的水平位置在水平方向上位于当前块的左边缘的左侧，并且包括在竖直方向上位于当前块的中间的竖直位置；使用第一候选块和第二候选块生成用于对视频序列进行编码或解码的合并候选列表，以允许根据所述合并候选列表对视频序列进行编码或解码。
由上述技术方案可以看出，本文中描述的一些实现方式允许改进的合并候选列表生成，这会使得比特率降低、性能提高以及其它技术益处。
附图说明
根据以下详细描述和附图，所公开的主题的另外的特征、性质和各种优点将更明显，在附图中：
图1是相关技术中空间合并候选的图；
图2是相关技术中合并候选列表生成的图；
图3是相关技术中来自外部区域的合并候选的图；
图4是根据一个实施例的通信系统的简化框图；
图5是根据一个实施例的流式传输环境的图；
图6是根据一个实施例的视频解码器的框图；
图7是根据一个实施例的视频编码器的框图；
图8是根据一个实施例的用于生成合并候选列表的示例处理的流程图；
图9是根据一个实施例的将当前块中间候选添加到合并候选列表的图；
图10是根据另一个实施例的将当前块中间候选添加到合并候选列表的图；
图11是根据一个实施例的添加中间候选的图；
图12是根据一个实施例的计算机系统的图。
具体实施方式
本公开中涉及的英文缩写的中文释义和英文全称请参见说明书后附的附录A。
参照图1，在HEVC中，基于以下项来生成当前块(100)的合并候选列表：一个或更多个空间合并候选(101)、(102)、(103)、(104)和/或(105)；从两个时间共同定位块导出的一个时间合并候选；和/或包括组合的双向预测候选和零运动矢量候选的附加合并候选。
在HEVC中，跳过模式用于指示对于块来说运动数据是推断得出的而不是用信号明确地表示的，并且用于指示预测残差为零，即，不传输变换系数。在HEVC中，在帧间图片预测切片中的每个编码单元(CU)的开始处，用信号表示slip_flag，该slip_flag暗示：CU仅包含一个预测单元(PU)(例如，2Nx2N)，使用合并模式来导出运动数据；和/或比特流中不存在残差数据。
在作为由联合视频探索组(JVET)研究的测试模型软件的联合探索模型7(JEM 7)中，引入了一些新的合并候选。使能子CU模式作为附加的合并候选，并且不需要附加的语法元素来用信号表示这些模式。两个附加的合并候选被添加到每个CU的合并候选列表中以表示替选时间运动矢量预测(ATMVP)模式和空间时间运动矢量预测(STMVP)模式。
如果序列参数集指示使能了ATMVP模式和STMVP模式，则使用多达七个合并候选。附加合并候选的编码逻辑与HEVC中的合并候选的编码逻辑相同，这意味着，对于预测(P)切片或双向预测(B)切片中的每个CU，对于这两个附加合并候选需要多出两次的率失真(RD)检查。在JEM 7中，插入的合并候选的顺序是A、B、C、D、ATMVP、STMVP、E(当列表中的合并候选小于6时)、时间运动矢量预测(TMVP)、组合的双向预测候选和零运动矢量候选。
在JEM 7中，合并索引的所有二进制位通过上下文自适应二进制算术编码(CABAC)进行上下文编码。而在HEVC中，仅对第一个二进制位进行上下文编码，而对其余的二进制位进行上下文旁路编码。在JEM中，合并候选的最大数目为7。
图2示出了合并候选列表生成的示例。例如，该方案以8×8块的步长大小在来自先前已编码块的候选运动矢量中进行搜索。该方案将当前块(200)的最近的空间相邻者，即，紧邻的顶行(201)、左列(202)和右上角(203)，定义为类别1。将诸如外部区域(距当前块边界最远为三个8×8块)和先前已编码帧中的并置块的其他相邻者(204)，(205)分类为类别2。从列表中除去根据不同的参考帧预测的相邻块或帧内已编码的相邻块。然后，为每个剩余的参考块分配权重。该权重与到当前块的距离有关。
在扩展合并模式中，附加的合并候选将是下一个(NEXT)合并候选的直接扩展。检查并非与当前块紧邻的左、上、左下、右上和左上候选。图1示出了被检查的详细位置。作为示例，合并候选的最大数目可以为10。
图3示出了来自外部区域的合并候选。例如，如图3所示，参考块的左上角距当前块的偏移为(-96,-96)。如候选(301)、(302)和(303)所示，每个候选B(i,j)或C(i,j)与其先前的B候选或C候选相比在竖直方向上的偏移为16。如候选(304)、(305)和(306)所示，每个候选A(i,j)或D(i,j)与其先前的A候选或D候选相比在水平方向上的偏移为16。如候选(307)、(308)和(309)所示，每个候选E(i,j)与其先前的E候选相比在水平方向和竖直方向两者上的偏移均为16。从内到外检查候选，候选的顺序是A(i,j)、B(i,j)、C(i,j)、D(i,j)和E(i,j)。
图4示出了根据本公开内容的一个实施例的通信系统(400)的简化框图。通信系统(400)可以包括经由网络(450)互连的至少两个终端(410-420)。对于单向数据传输，第一终端(410)可以在本地位置处对视频数据进行编码，以经由网络(450)传输至第二终端(420)。第二终端(420)可以从网络(450)接收另一终端例如第一终端(410)的已编码视频数据，对已编码视频数据进行解码并且显示恢复的视频数据。单向数据传输在媒体服务应用等中可能是常见的。
图4示出了第二对终端(430、440)，其被提供用于支持可能在例如视频会议期间发生的已编码视频的双向传输。对于数据的双向传输，每个终端(430、440)可以对在本地位置处捕获的视频数据进行编码，以便经由网络(450)传输至另一终端。每个终端(430、440)还可以接收由另一终端传输的已编码视频数据，可以对该已编码数据进行解码并且可以在本地显示设备处显示经恢复的视频数据。
在图4中，终端(410-440)可以被举例为服务器、个人计算机和智能电话，但是本公开内容的原理不限于此。本公开内容的实施例适用于膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。网络(450)表示在终端(410-440)之间传送已编码视频数据的任何数目的网络，包括例如有线和/或无线通信网络。网络(450)可以在电路交换和/或分组交换信道中交换数据。代表性网络包括电信网络、局域网、广域网和/或因特网。出于本申请讨论的目的，除非在下文中有所解释，否则网络(450)的架构和拓扑对于本公开内容的操作来说可能是无关紧要的。
作为所公开的主题的应用的示例，图5示出了视频编码器和解码器在流式传输环境中的放置方式。所公开的主题可以同等地适用于其它支持视频的应用，包括例如视频会议，数字TV，在包括CD、DVD、存储棒等的数字介质上存储压缩视频等。
流式传输系统可以包括捕获子系统(513)，该捕获子系统(513)可以包括创建例如未压缩的视频样本流(502)的视频源(501)，例如数字摄像装置。视频样本流(502)被描绘为粗线以在与经编码的视频比特流(504)进行比较时强调高数据量。视频样本流(502)可以由耦接至视频源(501)的视频编码器(503)处理。视频编码器(503)可以包括硬件、软件或其组合以实现或实施如下更详细地描述的所公开的主题的各方面。经编码的视频比特流(504)被描绘为细线以在与视频样本流(502)进行比较时强调较低的数据量。经编码的视频比特流(504)可以存储在流服务器(505)上以供将来使用。一个或更多个流客户端(506、508)可以访问流服务器(505)以检索经编码的视频比特流(504)的副本(507、509)。流客户端(506)可以包括视频解码器(510)，该视频解码器(510)对经编码的视频比特流的传入副本(507)进行解码，并且创建可以在显示器(512)或其它呈现设备(未描绘)上呈现的传出视频样本流(511)。在一些流式传输系统中，视频比特流(504、507、509)可以根据某些视频编码/压缩标准来进行编码。这些标准的示例包括ITU-T H.265建议书。正在开发的有非正式地称为多功能视频编码(VVC)的视频编码标准。所公开的主题可以用于VVC的上下文中。
图6可以是根据本发明的一个实施例的视频解码器(510)的功能框图。
接收器(610)可以接收要由视频解码器(510)解码的一个或更多个编解码器视频序列；在同一实施例或另一实施例中，一次接收一个已编码视频序列，其中每个已编码视频序列的解码独立于其它已编码视频序列。可以从信道(612)接收已编码视频序列，信道(612)可以是到存储该经编码的视频数据的存储设备的硬件/软件链路。接收器(610)可以接收经编码的视频数据以及其它数据，例如，可以被转发到其各自的使用实体(未描绘)的已编码音频数据和/或辅助数据流。接收器(610)可以将已编码视频序列与其它数据分开。为了防止网络抖动，缓冲存储器(615)可以耦接在接收器(610)与熵解码器/解析器(620)(此后称为“解析器”)之间。当接收器(610)从具有足够带宽和可控性的存储/转发设备或从等时同步网络接收数据时，可能不需要缓冲存储器(615)，或者缓冲存储器(615)可以是小的。为了在诸如因特网的最优分组网络上使用，可能需要缓冲存储器(615)，缓冲存储器(615)可以相对较大并且可以有利地具有自适应大小。
视频解码器(510)可以包括解析器(620)以根据已熵编码视频序列重建符号(621)。这些符号的类别包括用于管理视频解码器(510)的操作的信息，以及包括用于控制诸如显示器(512)的不是解码器的组成部分但可以耦接至解码器的呈现设备的潜在信息，如图6所示。用于(一个或更多个)呈现设备的控制信息可以是辅助增强信息(SEI消息)或视频可用性信息(VUI)参数集片段(未描绘)的形式。解析器(620)可以对接收到的已编码视频序列进行解析/熵解码。已编码视频序列的编码可以根据视频编码技术或标准进行，并且可以遵循本领域技术人员已知的原理，包括：可变长度编码、霍夫曼编码(Huffman coding)、具有或不具有上下文灵敏度的算术编码等。解析器(620)可以基于与群组对应的至少一个参数，从已编码视频序列提取视频解码器(510)中的像素的子群组中的至少一个子群组的子群组参数集。子群组可以包括：图片群组(GOP)、图片、图块、切片、宏块、编码单元(CU)、块、变换单元(TU)、预测单元(PU)等。熵解码器/解析器(620)还可以从已编码视频序列提取诸如变换系数、量化器参数(QP)值、运动矢量等的信息。
解析器(620)可以对从缓冲存储器(615)接收的视频序列执行熵解码/解析操作，从而创建符号(621)。解析器(620)可以接收经编码的数据，并且选择性地针对特定符号(621)进行解码。此外，解析器(620)可以确定特定符号(621)是否将被提供到运动补偿预测单元(653)、缩放器/逆变换单元(651)、帧内预测单元(652)或环路滤波器(656)。
取决于已编码视频图片或已编码视频图片的一部分的类型(例如：帧间图片和帧内图片、帧间块和帧内块)以及其它因素，符号(621)的重建可以涉及多个不同的单元。涉及哪些单元以及涉及方式可以通过由解析器(620)从已编码视频序列解析的子群组控制信息来控制。出于简洁起见，未描述解析器(620)与下面的多个单元之间的这种子群组控制信息的流。
除了已经提及的功能块以外，视频解码器(510)可以在概念上细分成如下文所描述的多个功能单元。在商业约束下运行的实际实现方式中，这些单元中的许多单元彼此紧密交互并且至少可以部分地彼此集成。然而，出于描述所公开的主题的目的，概念上细分为下面的功能单元是合适的。
第一单元是缩放器/逆变换单元(651)。缩放器/逆变换单元(651)从解析器(620)接收作为(一个或更多个)符号(621)的量化变换系数以及控制信息，包括使用哪种变换、块大小、量化因子、量化缩放矩阵等。缩放器/逆变换单元(651)可以输出包括样本值的块，该块可以输入到聚合器(655)中。
在一些情况下，缩放器/逆变换单元(651)的输出样本可以属于帧内编码块；即：不使用来自先前重建的图片的预测性信息，但可以使用来自当前图片的先前重建部分的预测性信息的块。这样的预测性信息可以由帧内预测单元(652)提供。在一些情况下，帧内预测单元(652)使用从当前(部分重建的)图片(658)提取的周围已经重建的信息来生成与正在重建的块的大小和形状相同的块。在一些情况下，聚合器(655)基于每个样本将帧内预测单元(652)生成的预测信息添加到由缩放器/逆变换单元(651)提供的输出样本信息。
在其它情况下，缩放器/逆变换单元(651)的输出样本可以属于帧间编码和潜在运动补偿块。在这样的情况下，运动补偿预测单元(653)可以访问参考图片存储器(657)以提取用于预测的样本。在根据属于该块的符号(621)对提取的样本进行运动补偿之后，这些样本可以由聚合器(655)添加到缩放器/逆变换单元(651)的输出(在这种情况下被称为残差样本或残差信号)，从而生成输出样本信息。运动补偿预测单元(653)从其提取预测样本的参考图片存储器(657)内的地址可以由运动矢量控制，运动矢量以符号(621)的形式可供运动补偿预测单元(653)使用，符号(621)可以具有例如X、Y和参考图片分量。运动补偿还可以包括在使用子样本精确运动矢量时从参考图片存储器(657)提取的样本值的内插、运动矢量预测机制等。
可以对聚合器(655)的输出样本在环路滤波器单元(656)中采用各种环路滤波技术。视频压缩技术可以包括环路内滤波器技术，环路内滤波器技术由被包括在已编码视频比特流中并且作为来自解析器(620)的符号(621)可用于环路滤波器单元(656)的参数进行控制，然而视频压缩技术还可以响应于在对已编码图片或已编码视频序列的先前(以解码顺序)部分进行解码期间获得的元信息，以及响应于先前重建并经环路滤波的样本值。
环路滤波器单元(656)的输出可以是样本流，该样本流可以输出至呈现设备(512)以及存储在参考图片存储器(657)以供将来帧间图片预测使用。
某些已编码图片一旦被完全重建就可以用作参考图片以用于将来预测。一旦已编码图片被完全重建并且已编码图片(通过例如解析器(620))被识别为参考图片，则当前图片(658)可以变为参考图片存储器(657)的一部分，并且可以在开始对随后的已编码图片进行重建之前重新分配新的当前图片存储器。
视频解码器(510)可以根据可以记录在例如ITU-T H.265建议书的标准中的预定视频压缩技术执行解码操作。在已编码视频序列遵循视频压缩技术或标准的语法的意义上，已编码视频序列可以符合由正使用的视频压缩技术或标准指定的语法，如在视频压缩技术文档或标准中指定的以及明确地在其中的简档文档中指定的那样。对于合规性，还要求已编码视频序列的复杂度在由视频压缩技术或标准的层级限定的范围内。在一些情况下，层级限制最大图片大小、最大帧率、最大重建样本速率(以例如每秒兆个样本为单位进行测量)、最大参考图片大小等。在一些情况下，由层级设定的限制还可以通过假定参考解码器(HRD)规范以及在已编码视频序列中用信号表示的HRD缓冲器管理的元数据来进一步限定。
在一个实施例中，接收器(610)可以连同已编码视频一起接收附加(冗余)数据。附加数据可以被包括作为(一个或更多个)已编码视频序列的一部分。附加数据可以由视频解码器(510)使用来正确地对数据进行解码和/或更准确地重建原始视频数据。附加数据可以是例如时间、空间、或信噪比(SNR)增强层、冗余切片、冗余图片、前向纠错码等形式。
图7可以是根据本公开内容的一个实施例的视频编码器(503)的功能框图。
视频编码器(503)可以从视频源(501)(其不是编码器的一部分)接收视频样本，该视频源可以捕获要由视频编码器(503)进行编码的(一个或更多个)视频图像。
视频源(501)可以提供要由视频编码器(503)编码的呈数字视频样本流形式的源视频序列，该数字视频样本流可以具有任何合适的位深度(例如：8位、10位、12位......)、任何色彩空间(例如BT.601Y CrCB、RGB......)和任何合适的采样结构(例如Y CrCb 4:2:0、Y CrCb 4:4:4)。在媒体服务系统中，视频源(501)可以是存储先前准备的视频的存储设备。在视频会议系统中，视频源(501)可以是捕获本地图像信息作为视频序列的摄像装置。可以将视频数据提供为在按次序观看时被赋予运动的多个单独的图片。这些图片自身可以被组织为空间像素阵列，其中，取决于使用的采样结构、色彩空间等，每个像素可以包括一个或更多个样本。本领域技术人员可以容易地理解像素与样本之间的关系。以下描述集中于样本进行。
根据一个实施例，视频编码器(503)可以实时地或在由应用所要求的任何其它时间约束下，将源视频序列的图片进行编码并且将其压缩成已编码视频序列(743)。施行适当的编码速度是控制器(750)的一个功能。控制器控制如下所述的其它功能单元，并且在功能上耦接至这些单元。出于简洁起见，未描绘该耦接。由控制器设置的参数可以包括：速率控制相关参数(图片跳过、量化器、率失真优化技术的λ值......)、图片大小、图片群组(GOP)布局、最大运动矢量搜索范围等。本领域技术人员可以容易地识别控制器(750)的其它功能，因为这些功能可能属于针对特定系统设计而优化的视频编码器(503)。
一些视频编码器以本领域技术人员容易地识别为“编码环路”的方式进行操作。作为非常简化的描述，编码环路可以包括：源编码器(730)的编码部分(此后称为“源编码器”)(负责基于要编码的输入图片和(一个或更多个)参考图片来创建符号)，以及嵌入在视频编码器(503)中的“本地”解码器(733)，该“本地”解码器(733)重建符号以创建(远程)解码器也将创建的样本数据(因为符号与已编码视频比特流之间的任何压缩在所公开的主题中所考虑的视频压缩技术中是无损的)。将重建的样本流输入至参考图片存储器(734)。由于符号流的解码导致与解码器位置(本地或远程)无关的位精确结果，因此参考图片存储器(734)内容在本地编码器与远程编码器之间也是位精确的。换句话说，编码器的预测部分“看到”的参考图片与解码器将在解码期间使用预测时所“看到”的样本值完全相同。参考图片同步性的这种基本原理(以及在例如由于信道误差而无法维持同步性的情况下产生的漂移)对于本领域技术人员来说是公知的。
“本地”解码器(733)的操作可以与已经在上面结合图6详细描述的“远程”解码器(510)的操作相同。然而，还简单地参照图7，当符号可用并且熵编码器(745)和解析器(620)能够无损地将符号编码/解码为已编码视频序列时，包括信道(612)、接收器(610)、缓冲存储器(615)和解析器(620)的视频解码器(510)的熵解码部分可能无法完全在“本地”解码器(733)中实现。
此时可以进行的观察是，除了存在于解码器中的解析/熵解码之外的任何解码器技术也必定以基本上相同的功能形式存在于对应的编码器中。由于编码器技术与全面描述的解码器技术互逆，因此可以简化对编码器技术的描述。下面仅在特定区域中需要并提供更详细的描述。
作为源编码器(730)的操作的一部分，源编码器(730)可以执行运动补偿预测编码，运动补偿预测编码通过参考来自视频序列中被指定为“参考帧”的一个或更多个先前已编码帧来对输入帧进行预测性编码。以此方式，编码引擎(732)对输入帧的像素块与可以被选作输入帧的(一个或更多个)预测参考的(一个或更多个)参考帧的像素块之间的差异进行编码。
“本地”解码器(733)可以基于由源编码器(730)创建的符号对可以被指定为参考帧的帧的已编码视频数据进行解码。编码引擎(732)的操作可以有利地是有损处理。当已编码视频数据可以在视频解码器(图6中未示出)处被解码时，重建的视频序列通常可以是具有一些误差的源视频序列的副本。“本地”解码器(733)复制可以由视频解码器对参考帧执行的解码处理，并且可以使重建的参考帧存储在参考图片存储器(734)中。以此方式，视频编码器(503)可以本地地存储重建的参考帧的副本，该副本与将由远端视频解码器获得的重建的参考帧具有共同内容(不存在传输误差)。
预测器(735)可以针对编码引擎(732)执行预测搜索。也就是说，对于要编码的新帧，预测器(735)可以在参考图片存储器(734)中搜索可以用作新图片的适当的预测参考的样本数据(作为候选参考像素块)或特定元数据，例如参考图片运动矢量、块形状等。预测器(735)可以基于样本块逐像素块进行操作，以找到适当的预测参考。在一些情况下，如由预测器(735)获得的搜索结果所确定的，输入图片可以具有从参考图片存储器(734)中存储的多个参考图片提取的预测参考。
控制器(750)可以管理源编码器(730)的编码操作，包括例如设置用于对视频数据进行编码的参数和子群组参数。
可以在熵编码器(745)中对所有以上提及的功能单元的输出进行熵编码。熵编码器通过根据本领域技术人员已知的技术，例如霍夫曼编码、可变长度编码、算术编码等，对符号进行无损压缩，来将由各功能单元生成的符号转换成已编码视频序列。
传输器(740)可以缓冲由熵编码器(745)创建的(一个或更多个)已编码视频序列，以为经由通信信道(760)进行传输做准备，通信信道(760)可以是到将存储经编码的视频数据的存储设备的硬件/软件链路。传输器(740)可以将来自源编码器(730)的已编码视频数据与要传输的其它数据例如已编码音频数据和/或辅助数据流(未示出来源)进行合并。
控制器(750)可以管理视频编码器(503)的操作。在编码期间，控制器(750)可以为每个已编码图片分配特定的已编码图片类型，该特定的已编码图片类型可能影响可以应用于相应的图片的编码技术。例如，通常可以将图片分配为以下帧类型中之一：
帧内图片(I图片)，其可以是可以在不将序列中的任何其它帧用作预测的源的情况下被编码和解码的图片。一些视频编解码器容许不同类型的帧内图片，包括例如独立解码器刷新图片。本领域技术人员了解I图片的这些变型及其相应的应用和特征。
预测性图片(P图片)，其可以是可以在使用至多一个运动矢量和参考索引来预测每个块的样本值的情况下使用帧内预测或帧间预测进行编码和解码的图片。
双向预测性图片(B图片)，其可以是可以在使用至多两个运动矢量和参考索引来预测每个块的样本值的情况下使用帧内预测或帧间预测进行编码和解码的图片。类似地，多个预测性图片可以使用多于两个参考图片和相关联的元数据以用于单个块的重建。
源图片通常可以在空间上细分为多个样本块(例如，每个4×4、8×8、4×8或16×16样本的块)并且逐块进行编码。可以参考通过应用于块的相应的图片的编码分配来确定的其它(已经编码的)块来对这些块进行预测性编码。例如，可以对I图片的块进行非预测性编码，或者可以参照同一图片的已经编码的块来对这些I图片的块进行预测性编码(空间预测或帧内预测)。可以参照一个先前已编码参考图片经由空间预测或经由时间预测来对P图片的像素块进行非预测性编码。可以参照一个或两个先前已编码参考图片经由空间预测或经由时间预测来对B图片的块进行非预测性编码。
视频编码器(503)可以根据预定的视频编码技术或标准，例如ITU-TH.265建议书，来执行编码操作。在视频编码器(503)的操作中，视频编码器(503)可以执行各种压缩操作，包括利用输入视频序列中的时间和空间冗余的预测性编码操作。因此，已编码视频数据可以符合由使用的视频编码技术或标准指定的语法。
在一个实施例中，传输器(740)可以传输附加数据和已编码视频。源编码器(730)可以包括这样的数据作为已编码视频序列的一部分。附加数据可以包括时间/空间/SNR增强层、诸如冗余图片和切片的其它形式的冗余数据、辅助增强信息(SEI)消息、视觉可用性信息(VUI)参数集片段等。
本公开内容涉及用于识别用于帧间图片预测编码的运动矢量预测的若干方法。本公开内容中所提出的技术可以应用于合并模式或具有差值编码的运动矢量预测两者。在下文中，使用合并模式来进行详细讨论。还提出了在扩展合并模式中添加中间合并候选。本公开内容中所提出的方法可以扩展到使用合并概念的任何视频编码方法。由于跳过模式使用合并模式来导出运动信息，因此本公开内容中的技术也可以应用于跳过模式。
图8是用于使用中间候选来生成合并候选列表的示例处理800的流程图。在一些实现方式中，图8的一个或更多个处理块可以由视频编码器503执行。在一些实现方式中，图8的一个或更多个处理块可以由与视频编码器503分开或包括视频编码器503的另一设备或一组设备，例如视频解码器510，来执行。
如图8所示，处理800可以包括确定第一候选块，该第一候选块包括竖直方向上位于当前块的顶部边缘上方的竖直位置，并且包括在水平方向上位于当前块的中间的水平位置(块810)。
如图8进一步所示，处理800可以包括确定第二候选块，该第二候选块包括水平位置，第二候选块包括的水平位置在水平方向上位于当前块的左边缘的左侧，并且包括在竖直方向上位于当前块的中间的竖直位置(块820)。
如图8进一步所示，处理800可以包括：使用第一候选块和第二候选块来生成合并候选列表，以允许对视频序列进行编码或解码(块830)。
尽管图8示出了处理800的示例块，但是在一些实现方式中，与图8所描绘的这些块相比，处理800可以包括附加的块、更少的块、不同的块或不同地布置的块。附加地或替选地，处理800的两个或更多个块可以并行执行。
图9是示出将当前块中间候选添加到合并候选列表的图。例如，在合并候选列表的生成期间，将当前块(900)的中间候选包括在合并候选列表中。如图所示，在合并候选列表的生成期间，将位于相对于当前块(900)的顶部边缘的中间处的候选(901)、(902)和(903)包括在合并候选列表中。附加地或替选地，在合并候选列表的生成期间，将位于相对于当前块(900)的左边缘的中间处的候选(904)、(905)和(906)包括在合并候选列表中。
作为示例，令W和H分别表示当前块(900)的宽度和高度；令当前块的左上像素的坐标为(0,0)；并且令G表示网格大小，使得不相邻的候选在每个类别中是水平和/或竖直分开的G个像素。
当前块(900)的顶部边缘上方的第n(n初始化为零，n为零时是最接近顶部边缘的中间候选)个中间候选(901)、(902)和(903)的左下像素的坐标可以表示如下：
当前块的顶部边缘上方的第n(n初始化为零，n为零时是最接近左边缘的中间候选)个中间候选(901)、(902)和(903)的右上像素的坐标可以表示如下：
在合并候选列表生成期间，这些中间候选可以包括在合并候选列表的前面。在一个实施例中，当将候选包括在合并候选列表中时，顺序是F(i,j)、G(i,j)、A(i,j)、B(i,j)、C(i,j)、D(i,j)、E(i,j)。作为替选方案，这些中间候选可以包括在合并候选列表的末尾。作为非限制性示例，当生成合并候选列表时，顺序可以为A(i,j)、B(i,j)、C(i,j)、D(i,j)、E(i,j)、F(i,j)、G(i,j)。
在另一实施例中，不添加两个最接近的相邻中间候选。将不与当前块(900)相邻的中间候选插入到合并候选列表中。
图10是示出将当前块中间候选添加到合并候选列表的图。如图10所示，在合并候选列表生成期间，将上方和左上方的中间候选包括在合并候选列表中。将左上方和左侧的中间候选也包括在合并候选列表中。例如，如图10所示，在合并候选列表生成期间，将位于相对于当前块(1000)的顶部边缘的中间处的候选(1001)、(1002)和(1003)包括在合并候选列表中。此外，如图10所示，在合并候选列表生成期间，将位于相对于当前块(1000)的左边缘的中间处的候选(1004)、(1005)和(1006)包括在合并候选列表中。
例如，令W和H分别表示当前块(1000)的宽度和高度；令当前块的左上像素的坐标为(0,0)；并且令G表示网格大小，使得不相邻的候选在每个类别中是水平和/或竖直分开的G个像素。
当前块(1000)的顶部边缘上方的第n(n初始化为零，n为零时是最接近顶部边缘的中间候选)个中间候选的左下像素的坐标可以表示如下：
当前块的顶部边缘上方的第n(n初始化为零，n为零时是最接近左边缘的中间候选)个中间候选的右上像素的坐标可以表示如下：
中间候选可以包括在合并候选列表的前面。作为非限制性示例，当生成合并候选列表时，顺序为F(i,j)、G(i,j)、A(i,j)、B(i,j)、C(i,j)、D(i,j)、E(i,j)。替选地，这些中间候选可以包括在合并候选列表的末尾。例如，作为非限制性示例，顺序可以为A(i,j)、B(i,j)、C(i,j)、D(i,j)、E(i,j)、F(i,j)、G(i,j)。
在另一实施例中，不添加两个最接近的相邻中间候选。将不与当前块相邻的中间候选插入到合并候选列表中。
在另一实施例中，可以从合并候选列表中移除非相邻上方候选或非相邻左候选。当添加上方区域的中间候选时，可以替换上方非相邻候选。当添加左区域中的中间候选时，可以替换左非相邻候选。
在另一实施例中，可以由中间候选替换右上非相邻候选或左下非相邻候选。
通过计算参考左位置和右位置的中间点来确定顶部或左侧的中间候选的位置。在得到这样的中间点之后，用于中间候选的参考候选位置的选择可以在中间点的左手侧或右手侧处。例如，如图11所示，A0(N/2)和A0(N/2+1)是紧邻当前块的顶部上的中间点的两个相邻块。这两个相邻块中的任一个可以被认为是中间候选。类似地，中间候选可以从紧邻左侧的中间点的上方或下方进行选择。
图11示出了当前块及作为空间合并候选的其周围的相邻子块。A00：当前块的左上子块；A0n：当前块的上方子块(n＝1～(N+M))；Lm0：当前块的左子块(m＝1～(M+N))。
本公开实施例还提供了一种生成用于对视频序列进行编码或解码的合并候选列表的装置，所述装置包括第一确定单元、第二确定单元和生成单元：所述第一确定单元，用于确定第一候选块，所述第一候选块包括在竖直方向上位于当前块的顶部边缘上方的竖直位置，并且包括在水平方向上位于所述当前块的中间的水平位置；所述第二确定单元，用于确定第二候选块，所述第二候选块包括水平位置，所述第二候选块包括的水平位置在水平方向上位于所述当前块的左边缘的左侧，并且包括在竖直方向上位于所述当前块的中间的竖直位置；所述生成单元，用于使用所述第一候选块和所述第二候选块生成所述合并候选列表，以允许根据所述合并候选列表对所述视频序列进行编码或解码。
上述技术可以使用计算机可读指令被实现为计算机软件，并且被物理地存储在一个或更多个计算机可读介质中。例如，图12示出了适于实现所公开的主题的某些实施例的计算机系统1200。
计算机软件可以使用任何合适的机器代码或计算机语言来进行编码，可以对任何合适的机器代码或计算机语言进行汇编、编译、链接等机制以创建包括可以由计算机中央处理单元(CPU)、图形处理单元(GPU)等直接执行或者通过解译、微代码执行等的指令的代码。
该指令可以在下述各种类型的计算机或其部件上执行，包括：例如个人计算机、平板电脑、服务器、智能电话、游戏设备、物联网设备等。
图12中示出的用于计算机系统1200的部件本质上是示例性的，并且不旨在对实现本公开内容的实施例的计算机软件的使用范围或功能提出任何限制。部件的配置也不应当被解释为具有与计算系统1200的示例性实施例中所示的部件中的任何一个或组合相关的任何依赖性或要求。
计算机系统1200可以包括某些人机接口输入设备。这样的人机接口输入设备可以对由一个或更多个人类用户通过例如触觉输入(诸如：击键、滑动、数据手套移动)、音频输入(诸如：语音、拍打)、视觉输入(诸如：姿势)、嗅觉输入(未示出)的输入进行响应。人机接口设备还可以用于捕获不一定与人的有意输入直接有关的某些媒体，例如，音频(诸如：语音、音乐、环境声音)、图像(诸如：扫描图像、从静态图像摄像装置获得的摄影图像)、视频(诸如二维视频、包括立体视频的三维视频)。
输入人机接口设备可以包括以下中的一个或更多个(描述的每个中的仅一个)：键盘1201、鼠标1202、触控板1203、触摸屏1210、数据手套、操纵杆1205、麦克风1206、扫描仪1207、摄像装置1208。
计算机系统1200还可以包括某些人机接口输出设备。这样的人机接口输出设备可以通过例如触觉输出、声音、光和气味/味道来刺激一个或更多个人类用户的感觉。这样的人机接口输出设备可以包括：触觉输出设备(例如，通过触摸屏1210、数据手套或操纵杆1205的触觉反馈，但是也可以存在不充当输入设备的触觉反馈设备)、音频输出设备(诸如：扬声器1209、头戴式耳机(未描绘))、视觉输出设备(诸如屏幕1210，包括阴极射线管(CRT)屏幕、液晶显示器(LCD)屏幕、等离子屏幕、有机发光二极管(OLED)屏幕，每个屏幕具有或不具有触摸屏输入能力，每个屏幕具有或不具有触觉反馈能力—其中的一些屏幕可能能够通过诸如立体图形输出的方式输出二维视觉输出或多于三维输出；虚拟现实眼镜(未描绘)、全息显示器和烟罐(未描绘))、以及打印机(未描绘)。
计算机系统1200还可以包括人类可访问存储设备及其相关联的介质，诸如包括具有CD/DVD等介质1221的CD/DVD ROM/RW 1220的光学介质、拇指驱动器1222、可移除硬盘驱动器或固态驱动器1223、诸如磁带和软盘的传统磁性介质(未描绘)、基于专用ROM/ASIC/PLD的设备，诸如安全加密狗(未描绘)等。
本领域技术人员还应当理解，结合当前公开的主题使用的术语“计算机可读介质”不包含传输介质、载波或其它瞬时信号。
计算机系统1200还可以包括到一个或更多个通信网络的(一个或更多个)网络接口1254。网络1255可以是例如无线的、有线的、光学的。网络1255还可以是本地的、广域的、城市的、车载的和工业的、实时的、延迟容忍的等。网络1255的示例包括：诸如以太网的局域网，无线LAN，包括全球移动通信系统(GSM)、第三代(3G)、第四代(4G)、第五代(5G)、长期演进(LTE)等的蜂窝网络，包括有线电视、卫星电视和地面广播电视的电视有线或无线广域数字网络，包括CANBus的车载和工业网络等。某些网络通常需要附接至某些通用数据端口或外围总线(1249)(诸如，例如计算机系统1200的通用串行总线(USB)端口)的外部网络接口适配器；其它网络通常通过附接至如下所述的系统总线(例如，到PC计算机系统的以太网接口或到智能电话计算机系统的蜂窝网络接口)而集成到计算机系统1200的核中。使用这些网络中的任何网络，计算机系统1200可以与其它实体进行通信。这样的通信可以是单向的、仅接收的(例如，广播电视)、单向仅发送的(例如，到某些CANbus设备的CANbus)、或双向的，例如使用局域或广域数字网络到其它计算机系统)。可以在如上所述的这些网络1255和网络接口1254中的每个网络1255和网络接口1254上使用特定的协议和协议栈。
上述人机接口设备、人类可访问存储设备和网络接口1254可以附接至计算机系统1200的核1240。
核1240可以包括一个或更多个中央处理单元(CPU)1241、图形处理单元(GPU)1242、现场可编程门阵列(FPGA)1243形式的专用可编程处理单元、用于某些任务的硬件加速器1244等。这些设备，连同只读存储器(ROM)1245、随机存取存储器(RAM)1246，诸如内部非用户可访问硬盘驱动器、固态驱动器(SSD)等的内部大容量存储装置1247，可以通过系统总线1248连接。在一些计算机系统中，可以以一个或更多个物理插头的形式访问系统总线1248，以使得能够通过另外的CPU、GPU等进行扩展。外围设备可以直接地或通过外围总线1249附接至核的系统总线1248。外围总线的架构包括外围部件互连(PCI)、USB等。
CPU 1241、GPU 1242、FPGA 1243和加速器1244可以执行某些指令，这些指令组合起来可以构成以上提及的计算机代码。该计算机代码可以存储在ROM 1245或RAM 1246中。过渡数据也可以存储在RAM1246中，而永久数据可以存储在例如内部大容量存储装置1247中。可以通过使用缓存存储器来实现对存储器设备中的任何存储器设备的快速存储和检索，该缓存存储器可以与一个或更多个CPU 1241、GPU 1242、大容量存储装置1247、ROM1245、RAM 1246等紧密相关联。
计算机可读介质可以在其上具有用于执行各种计算机实现的操作的计算机代码。介质和计算机代码可以是出于本公开内容的目的而专门设计和构造的介质和计算机代码，或者可以是计算机软件领域的技术人员公知且可用的类型。
作为示例而非限制，具有架构的计算机系统1200，特别是核1240，可以作为(一个或更多个)处理器(包括CPU、GPU、FPGA、加速器等)执行体现在一个或更多个有形计算机可读介质中的软件的结果来提供功能。这样的计算机可读介质可以是与如以上所介绍的用户可访问大容量存储装置相关联的介质，以及具有非暂态性的核1240的某些存储装置，例如核内部大容量存储装置1247或ROM 1245。实现本公开内容的各种实施例的软件可以存储在这样的设备中并且由核1240执行。根据特定需要，计算机可读介质可以包括一个或更多个存储器设备或芯片。软件可以使核1240，特别是其中的处理器(包括CPU、GPU、FPGA等)，执行本文中描述的特定处理或特定处理的特定部分，包括限定存储在RAM1246中的数据结构以及根据由软件限定的处理来修改这样的数据结构。另外地或替选地，计算机系统可以作为逻辑硬连线或以其它方式体现在电路(例如：加速器1244)中的结果来提供功能，该逻辑硬连线或电路可以代替软件或与软件一起操作以执行本文中描述的特定处理或特定处理的特定部分。在适当的情况下，提及软件可以包含逻辑，反之亦然。在适当的情况下，提及计算机可读介质可以包含存储用于执行的软件的电路(例如，集成电路(IC))、体现用于执行的逻辑的电路或上述两者。本公开内容包含硬件和软件的任何合适的组合。
尽管本公开内容已经描述了若干示例性实施例，但是存在落入本公开内容的范围内的改变、置换和各种替换等效物。因此将认识到，虽然本文中没有明确示出或描述，但是本领域技术人员能够设想体现本公开内容的原理并且因此在其精神和范围内的许多系统和方法。
附录A：首字母缩略词：
高效视频编码(High Efficiency Video Coding，HEVC)
编码单元(Coding Unit，CU)
预测单元(Prediction Unit，PU)
联合探索模型7(joint exploration model 7，JEM 7)
联合视频探索组(joint video explore team，JVET)
替选时间运动矢量预测(alternative temporal motion vector prediction，ATMVP)
空间时间运动矢量预测(spatial temporal motion vector prediction，STMVP)
预测(P)切片
双向预测(B)切片
率失真(Rate-distortion，RD)
时间运动矢量预测(temporal motion vector prediction，TMVP)
上下文自适应二进制算术编码(Context-based adaptive binary arithmeticcoding，CABAC)
多功能视频编码(versatile video coding，VVC)
辅助增强信息(Supplementary Enhancement Information，SEI)

Claims (11)

1.一种生成合并候选列表的方法，所述合并候选列表用于对视频序列进行编码或解码，其特征在于，所述方法包括：
确定第一候选块，所述第一候选块包括在竖直方向上位于当前块的顶部边缘上方的竖直位置，并且包括在水平方向上位于所述当前块的中间的水平位置；
确定第二候选块，所述第二候选块包括水平位置，所述第二候选块包括的水平位置在水平方向上位于所述当前块的左边缘的左侧，并且包括在竖直方向上位于所述当前块的中间的竖直位置；
确定第三候选块，所述第三候选块在竖直方向上包括在所述当前块的顶部边缘上方和在所述第一候选块上方的竖直位置，并且包括水平位置，所述第三候选块包括的水平位置在水平方向上位于所述当前块的中间的左侧，其中，所述第三候选块的左下像素的坐标为：
确定第四候选块，所述第四候选块包括水平位置，所述第四候选块包括的水平位置在水平方向上位于所述第二候选块的左边缘的左侧，并且所述第四候选块包括在竖直方向上位于所述当前块的中间的竖直位置，其中，所述第四候选块的右上像素的坐标为：
其中，W和H分别表示所述当前块的宽度和高度；n用于表示所述第三候选块是第n个第三候选块，以及所述第四候选块是第n个第四候选块，n为大于或等于1的整数；G表示所述第三候选块和所述第四个候选块的网格大小；
使用所述第一候选块、所述第二候选块、所述第三候选块和所述第四候选块生成所述合并候选列表，以允许根据所述合并候选列表对所述视频序列进行编码或解码。
2.根据权利要求1所述的方法，其特征在于，所述确定第一候选块，包括：
确定所述当前块的宽度和所述第一候选块的网格大小；
基于所述当前块的宽度和所述第一候选块的网格大小确定所述第一候选块。
3.根据权利要求1所述的方法，其特征在于，所述确定第一候选块，包括：
确定所述当前块的高度和所述第一候选块的网格大小；
基于所述当前块的高度和所述第一候选块的网格大小确定所述第一候选块。
4.根据权利要求1所述的方法，其特征在于，还包括：
确定偏移搜索范围；
基于所述偏移搜索范围确定候选块集合，所述候选块集合位于所述当前块的顶部边缘上方；
使用所述候选块集合生成所述合并候选列表。
5.根据权利要求1所述的方法，其特征在于，所述确定第一候选块，包括：
确定所述当前块的中间；
基于所述当前块的中间，确定所述第一候选块，所述第一候选块包括在竖直方向上位于所述当前块的顶部边缘上方的竖直位置，并且包括在水平方向上位于所述当前块的中间的水平位置，其中，所述第一候选块的水平位置位于所述当前块的中间的右侧。
6.根据权利要求1所述的方法，其特征在于，所述确定第一候选块，包括：
确定所述当前块的中间；
基于所述当前块的水平中心，确定所述第一候选块，所述第一候选块包括在竖直方向上位于所述当前块的顶部边缘上方的竖直位置，并且包括在水平方向上位于所述当前块的中间的水平位置，其中，所述第一候选块的水平位置位于所述当前块的中间的左侧。
7.根据权利要求1所述的方法，其特征在于，还包括：
基于确定所述第一候选块来替换参考候选块；
基于替换所述参考候选块来生成所述合并候选列表。
8.根据权利要求1所述的方法，其特征在于，所述使用所述第一候选块和所述第二候选块生成所述合并候选列表，以允许对所述视频序列进行编码或解码，包括：
发出索引信号；
基于所述索引信号，从所述合并候选列表确定候选块的运动矢量；
基于所述运动矢量对所述视频序列进行编码或解码。
9.一种生成合并候选列表的装置，所述合并候选列表用于对视频序列进行编码或解码，其特征在于，所述装置包括第一确定单元、第二确定单元和生成单元：
所述第一确定单元，用于确定第一候选块，所述第一候选块包括在竖直方向上位于当前块的顶部边缘上方的竖直位置，并且包括在水平方向上位于所述当前块的中间的水平位置；
所述第二确定单元，用于确定第二候选块，所述第二候选块包括水平位置，所述第二候选块包括的水平位置在水平方向上位于所述当前块的左边缘的左侧，并且包括在竖直方向上位于所述当前块的中间的竖直位置；
所述生成单元，用于使用所述第一候选块和所述第二候选块生成所述合并候选列表，以允许根据所述合并候选列表对所述视频序列进行编码或解码；
所述装置还用于：
确定第三候选块，所述第三候选块在竖直方向上包括在所述当前块的顶部边缘上方和在所述第一候选块上方的竖直位置，并且包括水平位置，所述第三候选块包括的水平位置在水平方向上位于所述当前块的中间的左侧，其中，所述第三候选块的左下像素的坐标为：
确定第四候选块，所述第四候选块包括水平位置，所述第四候选块包括的水平位置在水平方向上位于所述第二候选块的左边缘的左侧，并且所述第四候选块包括在竖直方向上位于所述当前块的中间的竖直位置，其中，所述第四候选块的右上像素的坐标为：
其中，W和H分别表示所述当前块的宽度和高度；n用于表示所述第三候选块是第n个第三候选块，以及所述第四候选块是第n个第四候选块，n为大于或等于1的整数；G表示所述第三候选块和所述第四个候选块的网格大小；
所述生成单元，具体用于使用所述第一候选块、所述第二候选块、所述第三候选块和所述第四候选块生成所述合并候选列表，以允许根据所述合并候选列表对所述视频序列进行编码或解码。
10.一种生成用于对视频序列进行编码或解码的合并候选列表的设备，其特征在于，所述设备包括：
至少一个存储器，其被配置成存储程序代码；
至少一个处理器，其被配置成读取所述程序代码并且按照所述程序代码所指示的进行操作，以执行如权利要求1～8项任一项所述的方法。
11.一种存储有指令的非暂态计算机可读介质，所述指令包括：一个或更多个指令，所述一个或更多个指令在由设备的一个或更多个处理器执行时使所述一个或更多个处理器执行如权利要求1～8项任一项所述的方法。
CN201980032359.8A 2018-06-04 2019-05-22 一种生成合并候选列表的方法和相关装置 Active CN112806009B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862680486P 2018-06-04 2018-06-04
US62/680,486 2018-06-04
US16/219,533 US10587885B2 (en) 2018-06-04 2018-12-13 Method and apparatus for merge mode with additional middle candidates in video coding
US16/219,533 2018-12-13
PCT/US2019/033443 WO2019236290A1 (en) 2018-06-04 2019-05-22 Method and apparatus for merge mode with additional middle candidates in video coding

Publications (2)

Publication Number Publication Date
CN112806009A CN112806009A (zh) 2021-05-14
CN112806009B true CN112806009B (zh) 2023-09-22

Family

ID=68693405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980032359.8A Active CN112806009B (zh) 2018-06-04 2019-05-22 一种生成合并候选列表的方法和相关装置

Country Status (6)

Country Link
US (2) US10587885B2 (zh)
EP (1) EP3804323A4 (zh)
JP (1) JP7130851B2 (zh)
KR (1) KR102496457B1 (zh)
CN (1) CN112806009B (zh)
WO (1) WO2019236290A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020008329A1 (en) * 2018-07-01 2020-01-09 Beijing Bytedance Network Technology Co., Ltd. Spatial motion compression
US10827195B2 (en) * 2018-08-03 2020-11-03 Tencent America LLC Method and apparatus for unifying adjacent merge candidates and non-adjacent merge candidates
US11394990B2 (en) 2019-05-09 2022-07-19 Tencent America LLC Method and apparatus for signaling predictor candidate list size
US11212545B2 (en) 2019-06-07 2021-12-28 Tencent America LLC Method and apparatus for improved implicit transform selection
CN113661703A (zh) 2019-07-11 2021-11-16 腾讯美国有限责任公司 视频编解码的方法和装置
US11616962B2 (en) 2019-07-15 2023-03-28 Tencent America LLC Method and apparatus for video coding
US11375243B2 (en) 2019-07-17 2022-06-28 Tencent America LLC Method and apparatus for video coding
KR20220063248A (ko) * 2019-09-19 2022-05-17 알리바바 그룹 홀딩 리미티드 병합 후보 목록 구성 방법
US11310511B2 (en) 2019-10-09 2022-04-19 Tencent America LLC Method and apparatus for video coding
CN113438521B (zh) * 2021-05-28 2023-04-18 曙光网络科技有限公司 视频文件生成方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103081470A (zh) * 2010-09-02 2013-05-01 Lg电子株式会社 编码和解码视频的方法和使用该方法的装置
CN103535040A (zh) * 2011-03-21 2014-01-22 Lg电子株式会社 选择运动矢量预测值的方法和使用其的设备
CN107113446A (zh) * 2014-12-09 2017-08-29 联发科技股份有限公司 视频编码中的运动矢量预测子或合并候选的推导方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4630564B2 (ja) * 2004-03-30 2011-02-09 国立大学法人浜松医科大学 手術支援装置、方法及びプログラム
US9247249B2 (en) * 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
US9699456B2 (en) * 2011-07-20 2017-07-04 Qualcomm Incorporated Buffering prediction data in video coding
US9621888B2 (en) * 2011-09-09 2017-04-11 Lg Electronics Inc. Inter prediction method and apparatus therefor
US9736489B2 (en) * 2011-09-17 2017-08-15 Qualcomm Incorporated Motion vector determination for video coding
US8964845B2 (en) * 2011-12-28 2015-02-24 Microsoft Corporation Merge mode for motion information prediction
US20130177083A1 (en) * 2012-01-05 2013-07-11 Qualcomm Incorporated Motion vector candidate index signaling in video coding
US9549180B2 (en) * 2012-04-20 2017-01-17 Qualcomm Incorporated Disparity vector generation for inter-view prediction for video coding
US9544566B2 (en) * 2012-12-14 2017-01-10 Qualcomm Incorporated Disparity vector derivation
US9521389B2 (en) * 2013-03-06 2016-12-13 Qualcomm Incorporated Derived disparity vector in 3D video coding
US10009621B2 (en) * 2013-05-31 2018-06-26 Qualcomm Incorporated Advanced depth inter coding based on disparity of depth blocks
WO2015093920A1 (ko) * 2013-12-20 2015-06-25 삼성전자 주식회사 휘도 보상을 이용한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
CN115002458A (zh) * 2015-06-05 2022-09-02 杜比实验室特许公司 图像编码和解码方法和图像解码设备
US10484703B2 (en) * 2017-02-07 2019-11-19 Mediatek Inc. Adapting merge candidate positions and numbers according to size and/or shape of prediction block
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
CA3100970A1 (en) * 2018-05-24 2019-11-28 Kt Corporation Method and apparatus for processing video signal

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103081470A (zh) * 2010-09-02 2013-05-01 Lg电子株式会社 编码和解码视频的方法和使用该方法的装置
CN103535040A (zh) * 2011-03-21 2014-01-22 Lg电子株式会社 选择运动矢量预测值的方法和使用其的设备
CN107113446A (zh) * 2014-12-09 2017-08-29 联发科技股份有限公司 视频编码中的运动矢量预测子或合并候选的推导方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
C.-W. Hsu 等.Description of SDR video coding technology proposal by MediaTek Associated Resources.《Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 10–20 Apr. 2018，JVET-J0018》.2018, *
Description of CE4: Inter prediction and motion vector coding;Haitao Yang等;《Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 10–20 Apr. 2018，JVET-J1024r2》;20180528;第1-47页 *
Description of SDR video coding technology proposal by MediaTek;Chih-Wei Hsu等;《Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 10–20 Apr. 2018，JVET-J0018》;20180411;第1-61页 *
Description of SDR, HDR and 360° video coding technology proposal by Qualcomm and Technicolor – low and high complexity versions;Y.-W. Chen;《Joint Video Exploration Team (JVET)， JVET-J0021》;20180414;第1-42页 *
Merge mode modification on top of Tencent’s software in response to CfP;J. Ye等;《Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 10–20 Apr. 2018，JVET-J0058》;20180412;第1-3页 *
R. Sjöberg 等.Description of SDR and HDR video coding technology proposal by Ericsson and Nokia.《Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 10–20 Apr. 2018，JVET-J0012》.2018, *

Also Published As

Publication number Publication date
KR102496457B1 (ko) 2023-02-07
US20190373272A1 (en) 2019-12-05
US10587885B2 (en) 2020-03-10
JP2021521751A (ja) 2021-08-26
EP3804323A1 (en) 2021-04-14
WO2019236290A1 (en) 2019-12-12
KR20210006430A (ko) 2021-01-18
US20200280728A1 (en) 2020-09-03
EP3804323A4 (en) 2022-07-06
CN112806009A (zh) 2021-05-14
US11394983B2 (en) 2022-07-19
JP7130851B2 (ja) 2022-09-05

Similar Documents

Publication Publication Date Title
CN112789850B (zh) 一种视频编解码方法、装置、设备和介质
CN115623203B (zh) 一种用于视频编码的方法和相关装置
CN110784723B (zh) 用于生成合并候选列表的方法和设备、可读存储介质
CN111937387B (zh) 用于采用并行处理的基于历史的运动矢量的预测方法和装置
CN112806009B (zh) 一种生成合并候选列表的方法和相关装置
JP7085021B2 (ja) 動画の符号化並びに復号の方法、装置及びコンピュータプログラム
CN111903127A (zh) 用于基于历史运动矢量预测的方法和装置
CN110784711B (zh) 生成用于视频序列编码或解码的合并候选列表的方法、装置
CN109996079B (zh) 视频解码方法和装置
CN115499651A (zh) 一种视频编解码方法和相关装置
KR20200125733A (ko) 비디오 코딩을 위한 방법 및 장치
CN113424546A (zh) 用于预测模式和已编码块标志(cbf)的进一步改进的上下文设计的方法和装置
CN112840657B (zh) 用于视频解码的方法、装置、设备和可读介质
KR102637503B1 (ko) 비디오 시퀀스의 디코딩 또는 인코딩을 위한 인트라-인터 예측 모드를 제어하기 위한 방법 및 장치
CN110798685A (zh) 一种视频解码方法、装置、计算机设备及存储介质
CN111919440B (zh) 用于视频解码的方法、装置和计算机可读介质
CN113812158A (zh) 可缩放视频流的输出层集的信令方法
CN113574896A (zh) 改进的最可能模式列表生成方案
US11949856B2 (en) Intra mode selection in intra prediction
CN113728628B (zh) 合并候选搜索方法和设备
CN112470475B (zh) 控制方法、控制设备、控制装置及可读介质
CN116601945A (zh) 基于dnn的交叉分量预测
JP2021517394A5 (zh)
RU2772795C1 (ru) Способ передискретизации опорного изображения со смещением в битовом потоке видеоданных
CN118633279A (zh) 改进的帧内预测融合

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40044353

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant