CN113056913A - 包括添加非相邻对角空间合并候选的构造合并候选列表的方法和系统 - Google Patents

包括添加非相邻对角空间合并候选的构造合并候选列表的方法和系统 Download PDF

Info

Publication number
CN113056913A
CN113056913A CN201980075828.4A CN201980075828A CN113056913A CN 113056913 A CN113056913 A CN 113056913A CN 201980075828 A CN201980075828 A CN 201980075828A CN 113056913 A CN113056913 A CN 113056913A
Authority
CN
China
Prior art keywords
candidates
candidate list
merge candidate
block
available
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980075828.4A
Other languages
English (en)
Inventor
H·卡瓦
B·富尔赫特
V·阿季奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OP Solutions LLC
Original Assignee
OP Solutions LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OP Solutions LLC filed Critical OP Solutions LLC
Publication of CN113056913A publication Critical patent/CN113056913A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种解码器包括电路，该电路配置为：接收比特流；确定是否为块启用合并模式；构造合并候选列表，包括将非相邻对角空间候选添加到合并候选列表；以及使用合并候选列表重构块的像素数据。还描述了相关的装置、系统、技术和物品。

Description

包括添加非相邻对角空间合并候选的构造合并候选列表的方 法和系统
相关申请的交叉引用
本申请要求2018年10月5日提交的标题为“CONSTRUCTING MERGE CANDIDATE LISTINCLUDING ADDING A NON-ADJACENT DIAGONAL SPATIAL MERGE CANDIDATE”的美国临时专利申请No.62/741,639的优先权，该专利申请的内容以其全文引用的方式并入本文中。
技术领域
本发明涉及一般视频压缩与视频解压的技术领域，包括解码与编码。特别地，本发明涉及构造合并候选列表的方法和系统，包括添加非相邻对角空间合并候选。
背景技术
视频编码解码器可以包含压缩或解压数字视频的电子电路或软件。它可以将未压缩的视频转换成压缩格式，也可将压缩视频解压成未压缩格式。在视频压缩的情况下，压缩视频(和/或执行其某些功能)的设备通常被称为编码器，解压视频(和/或执行其某些功能)的设备被称为解码器。
压缩数据的格式可以符合视频压缩规范标准。压缩文件可能是有损的，因为压缩的视频缺失源视频中存在的某些信息。随之而来的后果是，由于没有充足的信息去准确地重构原始视频，因此被压缩过的视频经解压后可能比未经压缩的原始视频质量低。
视频质量、用于表示视频的数据量(例如，由比特率决定)、编码和解码算法的复杂性、对数据丢失和错误的敏感性、便于编辑、随机访问、端到端延迟(例如，时延)等之间可存在复杂的关系。
发明内容
在一方面，解码器包括电路，该电路配置为：接收比特流；确定是否为块启用合并模式；构造合并候选列表，包括将非相邻对角空间候选添加到合并候选列表中；以及使用合并候选列表重构块的像素数据。
能够以任何一种可行的组合包括以下一个或多个特征。该电路还被配置为从比特流中提取或确定索引，并从所构造的合并候选列表中并且根据索引选择合并候选。重构块的像素数据包括：使用针对块的合并候选的运动信息来确定预测。构造合并候选列表可以包括将空间候选Al、B1、B0、A0和A2中的每一个标记为可用或不可用；确定可用空间候选的数量是否小于预定阈值；响应于可用空间候选的数量小于预定阈值，将非相邻对角空间候选标记为可用；并将可用的合并候选添加到合并候选列表中。
非相邻对角空间候选可以在距该块1个编码树单元内。非相邻对角空间候选可以位于紧邻左上方相邻空间合并候选的上方和左侧的亮度位置。解码器可以包括：熵解码器处理器，该熵解码器处理器被配置为接收比特流并将比特流解码为量化系数；以及逆量化和逆变换处理器，被配置为处理量化系数，包括执行逆离散余弦；解块滤波器；帧缓冲器以及帧内预测处理器。
构造合并候选列表可以包括：将非相邻垂直空间候选、非相邻对角空间候选和非相邻水平空间候选中的每一个标记为可用或不可用；并将可用的合并候选添加到合并候选列表中。
该块可以形成四叉树加二叉决策树的一部分。该块可以包括四叉树加二叉决策树的非叶节点。该块可以包括预测单元或编码单元。该电路可以进一步被配置为：评估时间合并候选、双向预测候选和零运动矢量候选；并将可用的时间合并候选、可用的双向预测候选和可用的零运动矢量候选添加到合并候选列表。
在另一方面，一种方法包括：通过解码器接收比特流；通过解码器确定是否为块启用合并模式；通过解码器构造合并候选列表，包括将非相邻对角空间候选添加到合并候选列表中；和通过解码器使用合并候选列表重构块的像素数据。
能够以任何一种可行的组合包括以下一个或多个特征。例如，该方法可以进一步包括：从比特流中提取或确定索引；以及从构造的合并候选列表中并根据索引选择合并候选。重构块的像素数据包括：使用针对块的合并候选的运动信息来确定预测。构造合并候选列表可以包括：将空间候选A1、B1、B0、A0和A2中的每一个标记为可用或不可用；确定可用空间候选的数量是否小于预定阈值；响应于可用空间候选的数量小于预定阈值，将非相邻对角空间候选标记为可用；并将可用的合并候选添加到合并候选列表中。
非相邻对角空间候选可以在距该块1个编码树单元内。非相邻对角空间候选可以位于紧邻左上方相邻空间合并候选的上方和左侧的亮度位置。
解码器可以包括：熵解码器处理器，配置为接收比特流并将比特流解码为量化系数；逆量化和逆变换处理器，配置为处理量化系数，包括执行逆离散余弦；解块滤波器；帧缓冲器；以及帧内预测处理器。
构造合并候选列表可以包括：将非相邻垂直空间候选、非相邻对角空间候选和非相邻水平空间候选中的每一个标记为可用或不可用；并将可用的合并候选添加到合并候选列表中。
该块可以形成四叉树加二叉决策树的一部分。该块可以包括四叉树加二叉决策树的非叶节点。该块可以包括预测单元或编码单元。该方法可以进一步包括评估时间合并候选、双向预测候选和零运动矢量候选；并将可用的时间合并候选、可用的双向预测候选和可用的零运动矢量候选添加到合并候选列表。
非暂时性计算机程序产品(即物理化的计算机程序产品)也被描述为存储指令，当一个或多个计算系统的一个或多个数据处理器执行这些指令时，使得至少一个数据处理器执行本文描述的操作。同样，还描述了可包括一个或多个数据处理器和耦合到一个或多个数据处理器的存储器的计算机系统。该存储器可以临时或永久存储导致至少一个处理器执行本文的一个或多个操作的指令。此外，方法可以由单个计算系统内或分布在两个或多个计算系统中的一个或多个数据处理器实施。此类计算机系统可以被连接，和可以通过一个或多个连接(包括通过网络的连接(如互联网、无线广域网、局域网、广域网、有线网络等))或者通过一个或多个计算机系统之间的直接连接交换数据和/或命令或其他指令等。
在所附附图和以下描述中阐述了本文描述的主题的一个或多个变型的细节。从描述和附图以及从权利要求中，本文描述的主题的其他特征和优点将是明显的。。
附图说明
图1是示出像素块分区示例的示意图；
图2是示出在合并模式的典型方法中考虑的空间候选的框图；
图3示出了当只有三个相邻空间合并候选(B1、B0和A1)可用于当前块时的分区的示例；
图4是示出能够构造合并候选列表的示例性视频编码器的系统框图，该构造包括将非相邻对角空间候选添加到合并候选列表；
图5是示出根据当前主题的一些方面对视频进行编码的示例性过程的过程流程图，其可增加压缩效率；
图6是示出了示例性解码器的系统框图，该解码器能够解码比特流并构造合并候选列表，该构造包括将非相邻对角空间候选添加到合并候选列表中；
图7是示出对比特流进行解码的示例性过程的过程流程图，该解码包括构造合并候选列表，该构造包括将非相邻对角空间候选添加到合并候选列表中；
图8示出了对于合并候选列表考虑三个潜在的非相邻空间合并候选的示例；和
图9示出了根据当前主题的一些方面的过程流程图，该过程流程图示出了使用非相邻对角空间候选构造合并候选列表的示例性过程。
具体实施方式
当前主题的一些实施方式包括构造合并候选列表，包括将非相邻对角空间候选添加到合并候选列表。在一些现有的编码和解码技术中，预定义的空间合并候选仅在它们可用时才被添加到合并候选列表中。但是，在存在最小合并候选列表大小并且可用的合并候选数量不足的情况下，合并候选列表可能具有候选副本，或者将零个候选添加到列表中，以便达到最小合并候选列表大小。但是，创建候选副本或添加零个候选可能会导致不必要的计算。此外，可能存在另一个未被添加到合并候选列表的更好候选的块。因此，当前主题的一些方面包括通过将非相邻对角空间候选添加到合并候选列表来构造合并候选列表。通过将非相邻对角空间合并候选添加到合并候选列表，可以提高压缩效率。
运动补偿可包括这样一种方法，其在给定先前帧和/或未来帧的基础上，通过考虑摄像机和/或视频中的对象的运动来预测视频帧或其一部分。它可用于对视频数据进行编码和解码，用于视频压缩，例如在编码和解码中使用运动图像专家组(MPEG)-2(也称为高级视频编码(AVC))标准。运动补偿可以根据参考图片到当前图片的变换来描述图片。与当前图片相比，参考图片可以是过去的图片，也可以是将来的照片。当可以从先前传输和/或存储的图像中准确地合成图像时，可以提高压缩效率。
块分区可以指代视频编码中的找到相似运动的区域的一种方法。可以在视频编解码器标准中找到某种形式的块分区，包括MPEG-2、H.264(也称为AVC或MPEG-4第10部分)和H.265(也称为高效视频编码(HEVC))。在示例性块分区方法中，视频帧的非重叠块可以被分区为矩形子块，以找到包含具有相似运动的像素的块分区。当块分区的所有像素具有相似的运动时，该方法可以很好地发挥作用。可以相对于先前编码的帧确定块中像素的运动。
图1是示出像素块分区示例的示意图。本身可以是子块(例如，编码树内的节点)的初始矩形图片或块100可以被分区为矩形子块。例如，在110，块100被分成两个矩形子块110a和110b。然后可以分别处理子块110a和110b。作为另一示例，再如在120处，将100被分为四个矩形子块120a、120b、120c和120d。子块本身可以进一步划分，直到确定子块内的像素共享相同的运动，达到最小块大小，或另一标准。当一个子块中的像素具有相似的运动时，运动向量可以描述该区域中所有像素的运动。
一些块可以共享相同的运动矢量信息。例如，与在屏幕上移动的对象相对应的两个块可以共享相同的运动矢量，因为它们都与相同的对象有关。在这样的情况下，一些运动补偿的方法可以利用合并模式，其中相邻块可以共享运动矢量，该运动矢量允许在第一块的比特流中对运动信息进行编码，并且第二块可以从第一块中继承(例如与第一块合并)运动信息。在编码期间，可以构造包含可用合并候选的合并候选列表。可以从构造的合并候选列表中选择合并候选，并且可以在比特流中用信号发送合并候选列表的索引。在解码期间，可以再次从可用的合并候选构造合并候选列表，并且在比特流中用信号发送的索引可以用于指示当前块将从其继承运动信息(例如，与之合并)的块。
图2是示出在合并模式的典型方法中考虑的空间候选的框图，例如针对HEVC所实现的。当前块205可以包括编码单元或预测单元。空间合并候选可以包括A0、A1、B0、B1和B2。A0、A1、B0和B2可以包括相邻预测和/或编码单元。更具体地，A0可以是左下方的块，A1可以是左方的块，B0可以是右上方的块，B1可以是上方的块，并且B2可以是左上方的块。当创建合并候选列表时，可以通过考虑从五个空间相邻块派生的多达四个空间合并候选来构造列表，如图2所示。在此示例中，可以施加五个空间候选的阈值。除了考虑图2所示的空间候选，可以考虑添加到合并候选列表的其他候选可以包括可以从两个时间上位于同一位置的块中派生的一个时间合并候选；结合了双向预测的候选和零运动矢量候选。
可以响应于确定空间合并候选可用而将其添加到合并候选列表中。在四叉树加二叉决策树(QTBT)分区中，某些相邻块可能是不对称块，因此，由于它们很可能是不对称分区的，因此它们可能不被视为空间合并候选(例如，可能被标记为不可用)，因为分区(例如，预测单元)不共享相似的运动信息。图3示出了当只有三个相邻空间合并候选(B1、B0和A1)可用于当前块时的分区的示例。在图3的示例中，对于当前块B1、B0和A1被标记为可用，因此可以作为相邻空间合并候选被添加到合并候选列表。B2和A0被标记为不可用(例如，非可用)，因为块是非对称的，并且会自动标记为不可用(例如，非可用)。因此，在合并候选列表具有最小大小和/或所需的最小数量的空间合并候选的情况下，可能需要添加额外的合并候选。代替添加零运动矢量候选，当前主题可以包括评估和/或将非相邻对角空间合并候选添加到合并候选列表中，以便达到最小数量(例如，具有五个可用的空间合并候选)。
在一些实施方式中，在可用空间合并候选的数量(当考虑图2所示的那些候选)小于预定阈值的情况下，则可以评估一个垂直、一个水平和一个对角非相邻相邻候选。确定其可用性，并且响应于确定可用性，可以将其添加到合并候选列表。图8示出了对于合并候选列表评估三个潜在的非相邻空间合并候选的示例。可以将非相邻候选定义为V(垂直)、D(对角)和H(水平)。在一些实施方式中，所考虑的非相邻块限于到当前块1个CTU的最大距离内的那些非相邻块。可以按照预定的顺序(例如垂直、水平和对角)评估非相邻空间候选块的可用性。
图9示出了根据当前主题的一些方面的过程流程图，该过程流程图示出了使用非相邻对角空间候选构造合并候选列表的示例性过程900。在905，评估空间候选A1、B1、B0、A0和A2。在一些实施方式中，可以按A1、B1、B0、A0和A2的顺序对空间候选进行评估。评估可以包括确定候选是否可用。另外，评估可以包括将候选标记为可用或不可用。如果候选标记为可用，则可以将可用候选添加到合并候选列表。
在910，可以确定已经考虑的可用候选的数量(例如，A1、B1、B0、A0和A2)是否小于预定阈值(例如5个候选)。如果候选的数量小于阈值，则可以在915处评估V、D和H候选。对候选的评估可以包括确定候选是否可用。另外，评估可以包括将候选标记为可用或不可用。如果候选标记为可用，则可以将可用候选添加到合并候选列表。
可以将被视为非相邻空间候选的块限制为距当前块最大距离为1CTU并根据方向(例如，水平、垂直和对角)的那些块。在一些实施方式中，垂直候选是位于紧邻B1上方的亮度位置处的块。在一些实施方式中，垂直候选是位于紧邻A1左侧的亮度位置处的块。在一些实施方式中，对角候选是位于紧邻B2的上方及左侧的亮度位置处的块。
在一些实施方式中，按顺序评估候选。例如，首先可以评估垂直方向(V)上的非相邻候选。然后，可以评估对角方向(V)上的非相邻候选。然后，可以评估水平方向(H)上的非相邻候选。
在920，如果适用，则可以评估时间合并候选，包括将可用候选添加到合并候选列表。在925处，如果适用，则可以评估双向预测和零运动矢量候选并将其添加到合并候选列表中。
图4是示出能够构造合并候选列表的示例性视频编码器400的系统框图，该构造包括将非相邻对角空间候选添加到合并候选列表。示例性视频编码器400接收输入视频405，该输入视频405可以根据诸如树形结构宏块分区方案(例如，四叉树加二叉决策树)之类的处理方案被初始地分区或划分。树形结构宏块分区方案的示例可以包括将图片帧分区为称为编码树单元(CTU)的大块元素。在一些实施方式中，每个CTU可以进一步被一次或多次分区为多个称为编码单元(CU)的子块。该分区的最终结果可以包括可以称为预测单元(PU)的一组子块。也可以使用变换单元(TU)。
示例性视频编码器400包括：帧内预测处理器415；能够构造合并候选列表的运动估计/补偿处理器420(也称为帧间预测处理器)，该构造包括将非相邻对角空间候选添加到合并候选列表；变换/量化处理器425；逆量化/逆变换处理器430；环内滤波器435；解码图片缓冲；器440和熵编码处理器445。在一些实施方式中，运动估计/补偿处理器420可以构造合并候选列表，该构造包括将非相邻对角空间候选添加到合并候选列表。可以将用信号发送已构造的合并候选列表的索引的比特流参数输入到熵编码处理器445，以包括在输出比特流450中。
在操作中，对于输入视频405的帧的每个块，可以确定是经由帧内图片预测还是使用运动估计/补偿来处理该块。可以将块提供给帧内预测处理器410或运动估计/补偿处理器420。如果要经由帧内预测来处理该块，则帧内预测处理器410可以执行处理以输出预测值。如果要经由运动估计/补偿来处理块，则运动估计/补偿处理器420可执行包括构造合并候选列表的处理，该构造包括将非相邻对角空间候选添加到合并候选列表。
残差可以通过从输入视频中减去预测值来形成。残差可以由变换/量化处理器425接收，其可以执行变换处理(例如，离散余弦变换(DCT))以产生可以被量化的系数。可以将量化系数和任何相关联的信号发送信息提供给熵编码处理器445，以用于熵编码并将其包括在输出比特流450中。熵编码处理器445可以支持对信号发送信息进行编码。另外，可以将量化系数提供给逆量化/逆变换处理器430，其可以再现像素，该像素可以与预测值组合并由环内滤波器435进行处理，环路滤波器的输出存储在解码图片缓冲器440中,以供由能够构造合并候选列表的运动估计/补偿处理器420使用，该构造包括将非相邻对角空间候选添加到合并候选列表。
图5是示出根据当前主题的一些方面对视频进行编码的示例性过程的过程流程图，其可增加压缩效率。在510，视频帧可以例如使用树形结构宏块分区方案经历初始块分区，其可以包括将图片帧分区成CTU和CU。在520，可以选择用于运动估计/补偿的块。该选择可以包括根据度量规则来识别将根据合并模式来处理该块。在530，可以构造合并候选列表，该构造包括将非相邻对角空间候选添加到合并候选列表中。例如，可以根据图9中描述的示例性方法来构造合并候选列表。
在540，可以从合并候选列表中选择合并候选。可以选择包括与当前块的运动矢量相似(例如，满足相似性标准)的运动矢量的合并候选。在550，可以将与所选合并候选相对应的合并候选列表的索引包括在比特流中。
图6是示出了示例解码器600的系统框图，该解码器600能够解码比特流670并构造合并候选列表，该构造包括将非相邻对角空间候选添加到合并候选列表。解码器600包括熵解码器处理器610、逆量化和逆变换处理器620、解块滤波器630、帧缓冲器640、运动补偿处理器650和帧内预测处理器660。在一些实施方式中，比特流670包括以信号发送合并模式的参数。运动补偿处理器650可以在合并模式下重构像素信息，其可以包括构造合并候选列表，该构造包括根据图9中描述的示例性方法向合并候选列表添加非相邻对角空间候选。
在操作中，解码器600可以接收比特流670，并将其输入到熵解码器处理器610，熵解码器处理器610将比特流熵解码为量化系数。可以将量化系数提供给逆量化和逆变换处理器620，其可以执行逆量化和逆变换，以创建残差信号，该残差信号可以根据处理模式被添加到运动补偿处理器650或帧内预测处理器660的输出。运动补偿处理器650和帧内预测处理器660的输出可以包括基于先前解码的块的块预测。预测和残差之和可以由解块滤波器630处理，并存储在帧缓冲器640中。对于给定的块(例如，CU或PU)，当比特流670发送该模式是合并模式的信号时，运动补偿处理器650可以利用与合并候选相关联的运动矢量来构造预测，该合并候选使用包括在比特流中的合并候选列表的索引来识别。运动补偿处理器650可以构造用于当前块的合并候选列表，该构造包括将非相邻对角空间候选添加到合并候选列表。一旦构造，合并候选列表的索引可被用于识别合并候选块以及将在解码当前块时使用的相关联的运动信息。
图7是示出了对比特流进行解码的示例性过程700的过程流程图，该解码包括构造合并候选列表，该构造包括将非相邻对角空间候选添加到合并候选列表。在710，接收块(例如，CTU、CU、PU)。接收可以包括从比特流中提取和/或解析块以及相关联的信令信息。在720，可以确定是否对该块启用合并模式(例如，真)。如果未启用合并模式(例如，假)，则解码器可以使用替代模式来处理该块。如果启用合并模式(例如，真)，则在730处，解码器可以构造合并候选列表，该构造包括例如将非相邻对角空间候选添加到合并候选列表，如参考图9所述。可以从比特流中提取或确定到合并候选列表的索引。提取或确定可以包括从比特流中识别和检索参数(例如，解析比特流)。在740处，可利用与由索引指示的合并候选相关联的运动信息来处理该块。处理该块可以包括产生该块的预测和重构像素信息。
尽管上面已经详细描述了一些变型，但是其他修改或添加是可能的。例如，可以基于编码器中的速率失真决策在比特流中用信号发送分区。每个块可以利用运动补偿的预测或帧内预测。。在添加残差之前，可以平滑预测区域的边界。对于残差编码，编码器可以在整块的矩形DCT和形状自适应DCT之间进行选择。
在一些实施方式中，可以实现四叉树加二叉决策树(QTBT)。在QTBT中，在编码树单元级别，动态地导出QTBT的分区参数以适应局部特征，而无需传输任何开销。随后，在编码单元级别，联合分类器决策树结构可以消除不必要的迭代并控制错误预测的风险。
在一些实施方式中，可以在比特流的不同层次级别处用信号发送附加的语法元素。为了对整个序列启用合并模式，可以在序列参数集(SPS)中编码启用标记。此外，可以在编码树单元(CTU)级别对CTU标记进行编码，以指示是否有任何编码单元(CU)使用合并模式。CU标记可以被编码以指示当前编码单元是否利用合并模式。
本文描述的主题提供许多技术优点。例如，通过将非相邻对角空间合并候选添加到合并候选列表，可以提高压缩效率。
可以在数字电子电路、集成电路、专门设计的专用集成电路(ASIC)、现场可编程门阵列(FPGA)计算机硬件、固件、软件和/或其组合中实现本文所述主题的一个或多个方面或特征。这些各种方面或特征可以包括在一个或多个计算机程序中的实施方式，该计算机程序可以在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用的或通用的，其耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令以及向存储系统、至少一个输入设备和至少一个输出设备发送数据和指令。可编程系统或计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器之间的关系是通过在各自计算机上运行并彼此具有客户端-服务器关系的计算机程序产生的。
这些计算机程序(也可以称为程序、软件、软件应用程序、应用程序、组件或代码)包括用于可编程处理器的机器指令，并且可以以高级过程语言、面向对象的程序设计语言、功能性编程语言、逻辑编程语言和/或汇编/机器语言来实施。如本文所用，术语“机器可读介质”是指用于提供机器指令和/或数据到可编程处理器的任何计算机程序产品、装置和/或设备，例如磁盘、光盘、存储器和可编程逻辑设备(PLD)，包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。机器可读介质可以非暂时性地存储这种机器指令，例如非暂时性固态存储器或磁性硬盘驱动器或任何等效存储介质所实现的。机器可读介质可以替代地或另外地以瞬时方式存储这样的机器指令，例如处理器缓存或与一个或多个物理处理器核相关联的其他随机存取存储器所实现的。
为了提供与用户的交互，本文描述的主题的一个或多个方面或特征可以在具有显示设备的计算机上实现，该显示设备例如是用于向用户显示信息的阴极射线管(CRT)或液晶显示器(LCD)或发光二极管(LED)监视器以及键盘和定点设备(例如鼠标或轨迹球)，用户可通过该定点设备向计算机提供输入。其他种类的设备也可以用于提供与用户的交互。例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈，并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。其他可能的输入设备包括触摸屏或其他触敏设备，例如单点或多点电阻或电容触控板、语音识别硬件和软件、光学扫描仪、光学指示器、数字图像捕获设备和相关的解释软件等。
在上述说明书和权利要求书中，诸如“……中的至少一个”或“……中的一个或多个”的短语可以后跟一连串的要素或特征。术语“和/或”也可能出现在由两个或两个以上要素或特征组成的列表中。除非以明示或暗示的方式与其所使用的上下文相矛盾，否则这个短语是指列出的要素或特征中的任何单独的一个，或者是指所列举的任何要素或特征中的任何一个与任何一个其他要素或特征相结合。例如，短语“A和B中的至少一个”、“A和B中的一个或多个”和“A和/或B”分别意指“仅A、仅B、或A和B两者”。对于包含三个或三个以上项的列表也适用类似的解释。例如，短语“A、B和C中的至少一个”、“A、B和C中的一个或多个”、和“A、B和/或C”意指“仅A、仅B、仅C、A和B两者、A和C两者、B和C、或A和B和C三者。”此外，在上述和权利要求书中使用术语“基于”意指“至少部分基于”，使得未提及的特征或要素也是允许的。
本文所描述的主题可以根据所需的配置体现在系统、设备、方法和/或物品中。上述说明书中所述的实施方式并不代表与本文所述主题一致的所有实施方式。相反，它们只是与所描述的主题相关的方面相一致的一些例子。虽然上面已经详细描述了一些变化，但其他的修改或添加是可能的。特别地，除了本文所阐述的那些以外，还可以提供进一步的特征和/或变型。例如，上面描述的实施方式可以涉及所公开的特征的各种组合和子组合，以及/或上面所公开的几个进一步特征的组合和子组合。此外，在附图和/或本文中描述的逻辑流并不一定要求显示的特定顺序、或次序，以达到理想的结果。其他实施方式可能在以下权利要求书的范围内。

Claims (26)

1.一种解码器，包括：
电路，配置为：
接收比特流；
确定是否为块启用合并模式；
构造合并候选列表，包括将非相邻对角空间候选添加到合并候选列表中；和
使用合并候选列表重构块的像素数据。
2.根据权利要求1所述的解码器，其中，所述电路还被配置为从所述比特流中提取索引，并从所构造的合并候选列表中并且根据所述索引选择合并候选。
3.根据权利要求3所述的解码器，其中，重构所述块的像素数据包括：使用针对所述块的合并候选的运动信息来确定预测。
4.根据权利要求1所述的解码器，其中构造合并候选列表包括：
将多个空间候选中的每一个标记为可用或不可用；
确定可用空间候选的数量是否小于预定阈值；
响应可用空间候选的数量小于预定阈值，将非相邻对角空间候选标记为可用；和
将可用的合并候选添加到合并候选列表中。
5.根据权利要求1所述的解码器，其中，所述非相邻对角空间候选在距所述块1个编码树单元内。
6.根据权利要求1所述的解码器，其中，所述非相邻对角空间候选位于紧邻左上相邻空间合并候选的上方和左侧的亮度位置。
7.根据权利要求1所述的解码器，进一步包括：
熵解码器处理器，配置为接收所述比特流并将所述比特流解码为量化系数；
逆量化和逆变换处理器，配置为处理所述量化系数，包括执行逆离散余弦；
解块滤波器；
帧缓冲器；和
帧内预测处理器。
8.根据权利要求1所述的解码器，其中构造合并候选列表包括：将非相邻垂直空间候选、所述非相邻对角空间候选和非相邻水平空间候选中的每一个标记为可用或不可用；以及将可用的合并候选添加到合并候选列表中。
9.根据权利要求1所述的解码器，其中，所述块形成四叉树加二叉决策树的一部分。
10.根据权利要求9所述的解码器，其中，所述块是所述四叉树加二叉决策树的非叶节点。
11.根据权利要求1所述的解码器，其中，所述块是预测单元。
12.根据权利要求1所述的解码器，其中，所述块是编码单元。
13.根据权利要求1所述的解码器，其中，所述电路还被配置为：
评估时间合并候选、双向预测候选和零运动矢量候选；和
将可用的时间合并候选、可用的双向预测候选和可用的零运动矢量候选添加到合并候选列表。
14.一种方法，包括：
通过解码器接收比特流；
通过解码器确定是否为块启用合并模式；
通过解码器构造合并候选列表，包括将非相邻对角空间候选添加到合并候选列表中；和
通过解码器使用合并候选列表重构块的像素数据。
15.根据权利要求14所述的方法，还包括：
从比特流确定索引；和
从构造的合并候选列表中并根据索引选择合并候选。
16.根据权利要求15所述的方法，其中，重构块的像素数据包括：使用针对所述块的合并候选的运动信息来确定预测。
17.根据权利要求14所述的方法，其中构造合并候选列表包括：
将多个空间候选中的每一个标记为可用或不可用；
确定可用空间候选的数量是否小于预定阈值；
响应于可用空间候选的数量小于预定阈值，将非相邻对角空间候选标记为可用；和
将可用的合并候选添加到合并候选列表中。
18.根据权利要求14所述的方法，其中，所述非相邻对角空间候选在距所述块1个编码树单元内。
19.根据权利要求14所述的方法，其中，所述非相邻对角空间候选位于紧邻左上方相邻空间合并候选的上方和左侧的亮度位置。
20.根据权利要求14所述的方法，其中，所述解码器包括：
熵解码器处理器，配置为接收所述比特流并将所述比特流解码为量化系数；
逆量化和逆变换处理器，配置为处理所述量化系数，包括执行逆离散余弦；
解块滤波器；
帧缓冲器；和
帧内预测处理器。
21.根据权利要求14所述的方法，其中构造合并候选列表包括：
将非相邻垂直空间候选、非相邻对角空间候选和非相邻水平空间候选中的每一个标记为可用或不可用；和
将可用的合并候选添加到合并候选列表中。
22.根据权利要求14所述的方法，其中，所述块形成四叉树加二叉决策树的一部分。
23.根据权利要求22所述的方法，其中，所述块是所述四叉树加二叉决策树的非叶节点。
24.根据权利要求14所述的方法，其中，所述块是预测单元。
25.根据权利要求14所述的方法，其中，所述块是编码单元。
26.根据权利要求13所述的方法，还包括：
评估时间合并候选、双向预测候选和零运动矢量候选；和
将可用的时间合并候选、可用的双向预测候选和可用的零运动矢量候选添加到合并候选列表。
CN201980075828.4A 2018-10-05 2019-10-04 包括添加非相邻对角空间合并候选的构造合并候选列表的方法和系统 Pending CN113056913A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862741639P 2018-10-05 2018-10-05
US62/741,639 2018-10-05
PCT/US2019/054816 WO2020072969A1 (en) 2018-10-05 2019-10-04 Methods and systems for constructing merge candidate list including adding a non- adjacent diagonal spatial merge candidate

Publications (1)

Publication Number Publication Date
CN113056913A true CN113056913A (zh) 2021-06-29

Family

ID=70054472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980075828.4A Pending CN113056913A (zh) 2018-10-05 2019-10-04 包括添加非相邻对角空间合并候选的构造合并候选列表的方法和系统

Country Status (4)

Country Link
US (1) US20210400289A1 (zh)
EP (1) EP3861737A4 (zh)
CN (1) CN113056913A (zh)
WO (1) WO2020072969A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140294086A1 (en) * 2011-11-07 2014-10-02 Inforbridge Pte. Ltd. Method of decoding video data
WO2017197126A1 (en) * 2016-05-13 2017-11-16 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
WO2018066959A1 (ko) * 2016-10-04 2018-04-12 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN108282661A (zh) * 2011-11-07 2018-07-13 英孚布瑞智有限私人贸易公司 合并模式下的图像解码方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2942961A1 (en) * 2011-11-23 2015-11-11 HUMAX Holdings Co., Ltd. Methods for encoding/decoding of video using common merging candidate set of asymmetric partitions
US10070147B2 (en) * 2013-10-18 2018-09-04 Lg Electronics Inc. Method predicting view synthesis in multi-view video coding and method for constituting merge candidate list by using same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140294086A1 (en) * 2011-11-07 2014-10-02 Inforbridge Pte. Ltd. Method of decoding video data
CN108282661A (zh) * 2011-11-07 2018-07-13 英孚布瑞智有限私人贸易公司 合并模式下的图像解码方法
WO2017197126A1 (en) * 2016-05-13 2017-11-16 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
WO2018066959A1 (ko) * 2016-10-04 2018-04-12 주식회사 케이티 비디오 신호 처리 방법 및 장치
CA3039155A1 (en) * 2016-10-04 2018-04-12 Kt Corporation Method and apparatus for processing video signal

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAITAO YANG: "Description of Core Experiment 4 (CE4): Inter prediction and motion vector coding（JVET-K1024-v3）", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 11TH MEETING: LJUBLJANA, SI, 10–18 JULY 2018》, pages 1 - 44 *
Y. CHEN: "Description of SDR, HDR and 360° video coding technology proposal by Qualcomm and Technicolor – low and high complexity versions（JVET-J0021）", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 10TH MEETING: SAN DIEGO, US, 10–20 APR. 2018》, pages 1 - 42 *

Also Published As

Publication number Publication date
WO2020072969A1 (en) 2020-04-09
EP3861737A4 (en) 2022-07-13
US20210400289A1 (en) 2021-12-23
EP3861737A1 (en) 2021-08-11

Similar Documents

Publication Publication Date Title
US11006123B2 (en) Method and apparatus for processing a video signal
JP6931690B2 (ja) コンテンツをエンコードする方法及び計算装置
US11695967B2 (en) Block level geometric partitioning
JP6293788B2 (ja) 高効率ビデオコーディングに基づくビデオ情報のスケーラブルコーディングのためのデバイスおよび方法
KR20210035152A (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR20210134375A (ko) 비디오 콘텐츠를 처리하기 위한 방법 및 시스템
US20210218977A1 (en) Methods and systems of exponential partitioning
JP2023521609A (ja) ビデオコーディングのための方法、コンピュータプログラム及び装置
KR102582887B1 (ko) 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법 및 동화상 복호 방법
JP2017073598A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
CN113056913A (zh) 包括添加非相邻对角空间合并候选的构造合并候选列表的方法和系统
RU2814971C2 (ru) Видеокодер, видеодекодер, способ кодирования видео, способ декодирования видео
RU2771669C1 (ru) Видеокодер, видеодекодер, способ кодирования видео, способ декодирования видео
RU2788631C2 (ru) Способы и системы экспоненциального разбиения

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination