CN105791860A - 用于处理视频信号的方法和设备 - Google Patents

用于处理视频信号的方法和设备 Download PDF

Info

Publication number
CN105791860A
CN105791860A CN201610149532.0A CN201610149532A CN105791860A CN 105791860 A CN105791860 A CN 105791860A CN 201610149532 A CN201610149532 A CN 201610149532A CN 105791860 A CN105791860 A CN 105791860A
Authority
CN
China
Prior art keywords
block
neighbours
unit
current block
merging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610149532.0A
Other languages
English (en)
Other versions
CN105791860B (zh
Inventor
林宰显
金郑善
朴胜煜
成宰源
全柄文
朴俊永
全勇俊
崔瑛喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN105791860A publication Critical patent/CN105791860A/zh
Application granted granted Critical
Publication of CN105791860B publication Critical patent/CN105791860B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及一种用于对视频信号进行编码或者解码的方法和设备。根据本发明，用于当前单元的图像预测的多个参考单元被获取并且被组合以获得单元预测值，从而提高图像预测的精确度。更加特别地，本发明涉及一种用于使用在常规的帧间预测中使用的运动矢量或者运动矢量预测值来导出各种参考单元的方法，并且还涉及组合参考单元以便获得用于当前单元的预测值的方法。另外，本发明涉及一种用于合并模式获取多个参考单元并且组合参考单元以便执行图像预测的方法。

Description

用于处理视频信号的方法和设备
本申请是2011年5月26日提交的申请号为201180026053.5(PCT/KR2011/003876)，发明名称为“用于处理视频信号的方法和设备”的专利申请的分案申请。
技术领域
本发明涉及一种用于处理视频信号的方法和设备，并且更加特别地，涉及一种用于对视频信号进行编码或者解码的方法和设备。
背景技术
压缩编码指的是用于通过通信线路发送数字化信息或以适当的形式将这样的信息存储在存储介质中的一系列的信号处理技术。压缩编码的目标的一些示例是语音、图像、文本等，并且特别地，用于执行运动图像的压缩编码的技术被称为视频图像压缩。考虑到空间相关性、时间相关性、概率相关性等，可以通过移除过剩信息来执行视频信号的压缩编码。然而，最近，随着最近各种介质和数据传输介质已经被发展，存在对用于处理视频信号的高效率的方法和设备日益增长的需求。
发明内容
技术问题
在处理视频信号的处理中，画面间预测(inter-screenprediction)通过由当前单元的运动矢量指示的参考单元获得单元预测值，并且使用其执行当前单元的解码。在此，随着单元预测单元的精确度变得较高，可以减少为解码而发送的信息。
在此，如果当前单元通过受限的参考单元获得当前单元的单元预测值，则图像预测精确度可能被降低并且根据图像的特性预测效率可能被降低。然而，如果对于更加精确的图像预测来说增加参考单元的信息量，则可能增加针对预测而发送的信息量，这是一个问题。
因此，需要对可以最小化被发送的信息量的视频信号进行处理同时提高执行解码的当前单元的图像预测精确度的有效方法。
技术方案
本发明已经被设计成解决上述问题，并且本发明的目的是通过获得用于当前单元的图像预测的多个参考单元并且通过组合所获得的参考单元获得单元预测值来提高图像预测的精确度。
特别地，本发明的目的是提供一种用于使用在常规的画面间预测(帧间预测)中使用的运动矢量或者运动矢量预测值导出(induce)各种参考单元的方法，并且提供用于组合参考单元以获得当前单元的预测值的方法。
此外，本发明的目的是提供一种用于甚至在帧间预测的合并模式中使用多个参考单元执行图像预测的方法。
另外，本发明的目的是为了提供一种存储针对下一单元的解码使用多个参考单元已经执行合并模式的单元的运动信息的方法。
有益效果
根据本发明的视频信号处理方法，通过组合多个参考单元获得当前单元的预测值，并且使用所获得的预测值执行解码，从而提高图像预测的精确度。正因如此，可以减少针对视频信号的恢复而发送的信息量。
此外，根据本发明的实施例，使用在常规的帧间预测中使用的运动矢量或者运动矢量预测值导出各种参考单元，并且因此可以减少针对参考单元的添加而发送的信息量，从而允许有效的图像处理。
此外，可以通过自适应性地选择各种参考单元候选当中的参考单元来获得当前单元的单元预测值，从而显著地提高图像预测的效率。
附图说明
图1是根据本发明的示例性实施例的视频信号编码设备的示意性框图。
图2是根据本发明的示例性实施例的视频信号解码设备的示意性框图。
图3图示根据本发明的示例性实施例的划分编译单元的示例。
图4是图示用于分层次地表示图3的划分结构的方法。
图5图示根据本发明的示例性实施例的在预测单元中划分成各种子预测单元的形式。
图6图示当前单元的空间邻居(neighbor)单元。
图7图示当前单元的时间邻居单元。
图8图示分别通过当前单元的运动矢量预测值和运动矢量指示的参考单元。
图9图示用于根据帧之间的时间距离来缩放运动矢量的方法。
图10至图12是图示根据本发明的示例性实施例的通过组合多个参考单元来获得当前单元的预测值的处理的流程图。
图13图示可以与当前单元合并的邻居单元的实施例。
图14图示关于是否通过标志值与图13的两个邻居单元中的一个合并的信息的实施例。
图15图示可以在当前单元的多个预测合并中使用的参考单元。
图16图示用于通过索引值获得在多个预测合并中使用的邻居单元的组合的实施例。
图17示意性地图示当前帧和参考帧之间的时间距离。
图18图示使用不同邻居单元的运动信息执行多个预测合并的当前单元。
图19图示具有作为邻居单元已经执行多个预测合并的单元的当前单元。
具体实施方式
通过提供用于处理视频信号的方法能够实现本发明的一个目的，该方法包括：确定当前单元是否执行多假设画面间预测(帧间预测)；在当前单元执行多假设帧间预测的情况下，获得用于帧间预测的多个参考单元；通过组合所获得的多个参考单元来获得当前单元的预测值；以及使用当前单元的预测值来恢复当前单元的像素值，其中多假设帧间预测组合多个参考单元并且使用被组合的结果作为当前单元的预测值。
在此，获得多个参考单元经由通过用于当前单元的L0预测方向的运动矢量预测值和运动矢量值和用于当前单元的L1预测方向的运动矢量预测值和运动矢量值而获得的参考单元的组合来获得参考单元。
此外，获得多个参考单元经由通过当前单元的运动矢量值和被缩放的运动矢量的运动矢量值而获得的参考单元的组合来获得参考单元。
在本发明的另一方面中，在此提供一种用于处理视频信号的方法，包括：获得指示当前单元是否使用合并模式的合并标志；在合并标志指示当前单元处于合并模式中并且有效的候选单元的数目大于1的情况下，获得指示要在合并中使用的邻居单元的组合的索引值；使用基于索引值而选择的邻居单元的运动信息来获得要在多假设合并中使用的多个参考单元；通过组合所获得的多个参考单元来获得当前单元的预测值；以及使用当前单元的预测值来恢复当前单元的像素值，其中多假设合并使用多个邻居单元的运动信息来获得每一个参考单元，组合参考单元，并且使用被组合的结果作为当前单元的预测值。
在此，获得当前单元的预测值对参考单元的图像值求平均值，并且获得平均值作为当前单元的预测值。
此外，获得当前单元的预测值与参考单元和当前帧之间的时间距离成反比例地向参考单元的图像值中的每一个给出权重，线性地组合图像值，并且获得被组合的结果作为当前单元的预测值。
用于本发明的模式
现将详细参考本发明的优选实施例，优选实施例的示例被图示在附图中。首先，在本说明书和权利要求中使用的术语学或术语不应当被解释为限于其一般的或字典意义，并且应该基于发明人能够适当地定义术语学的概念以最可能地描述本发明人的发明的原则而解释为具有根据本发明的技术思想的意义和概念。在本公开中所公开的实施例和在附图中所示出的配置仅是一个优选的实施例并且不代表本发明的所有技术思想。因此，要理解的是，本发明涵盖此发明的修改和变化，只要在提交本申请时它们落入所附权利要求和它们的等同物的范围内。
本发明中的下述术语学能够基于下述准则而解释并且根据下述意图能够解释其它的未被解释的术语学。首先，应当理解的是，本发明中的“编译”的概念能够根据情况被解释为编码或者解码。此外，在本公开中，“信息”通常包括值、参数、系数、要素等并且其意义能够被解释为偶尔不同，并且因此本发明不限于此。此外，在本公开中，“单元”意指图像处理的基本单元或者图像的特定位置，并且也可以被表达为“块”、“分割”或者“区域”等等。在本说明书中，“单元”的概念可以包括所有的编译单元、预测单元、以及变换单元。
图1是根据本发明的示例性实施例的视频信号编码设备的示意性框图。参考图1，根据本发明的视频信号编码设备100可以包括变换单元110、量化单元115、逆量化单元120、逆变换单元125、滤波单元130、预测单元150和熵编译单元160。
变换单元110变换用于输入视频信号的像素值并且然后获取变换系数值。例如，可以使用DCT(离散余弦变换)、小波变换等。通过块单元来划分输入视频信号可以执行离散余弦变换。在变换时根据变换区域内的值的分布和特征可以改变编译效率。
量化单元115对从变换单元110输出的变换系数值进行量化。逆量化单元120对变换系数值进行逆量化，并且逆变换单元125使用逆量化的变换系数值来重建原始的像素值。
滤波单元130执行对于被重建的图像的质量改进的滤波操作。例如，滤波单元130可以包括解块滤波器、自适应环路滤波器等。被滤波的图像可以被输出或者存储在存储单元156中以被用作参考图像。
为了增强编译效率，图像信号不被编译为它本身，但是使用了使用已经编译的区域来预测图像并且通过将原始图像与所预测的图像之间的残余值添加到所预测的图像来获得被重建的图像的方法。帧内预测单元152执行当前图像内的图像内预测，并且帧内预测单元152使用存储在存储单元156中的参考图像预测当前图像。帧内预测单元152根据被重建在当前图像内的区域执行帧内预测，并且将帧内编译信息发送到熵编译单元160。帧间预测单元154可以包括运动补偿单元162和运动估计单元164。运动估计单元164通过参考恢复的特定区域来获得当前区域的运动矢量。运动估计单元164允许参考区域的位置信息(参考帧、运动矢量等)等被发送到熵编译单元160，以便被包括在比特流中。运动补偿单元162使用在运动补偿单元162中发送的运动矢量值来执行帧间运动补偿。
熵编译单元160通过对从帧间预测单元154输入的被量化的变换系数值、图片内编译信息、图片间编译信息、参考块信息等执行熵编译来生成视频信号比特流。在这样的情况下，熵编译单元160能够使用可变长度编译(VLC)方案和算术编译方案。可变长度编译(VLC)方案将输入符号变换成连续的码字。码字的长度是可变的。例如，频繁地生成的符号可以被表示为短码字，而非频繁地生成的符号可以被表示为长码字。基于上下文的自适应可度长度编译(CAVLC)方案可以被用作可变长度编译方案。算术编译方案将连续的数据符号变换成单个质数。算数编译方案可以获得表示各个符号所要求的最佳的质数比特。基于上下文的自适应二进制算术编译(CABAC)可以被用作算数编译方案。
图2是根据本发明的示例性实施例的视频信号解码设备200的示意性框图。参考图2，根据本发明的一个实施例的视频信号解码设备200可以包括熵解码单元210、逆量化单元220、逆变换单元225、滤波单元230以及预测单元250。
熵解码单元210对视频信号比特流进行熵解码，并且然后提取每一个宏块的变换系数、运动矢量信息等。逆量化单元220对熵解码的变换系数进行逆量化，并且逆变换单元225使用逆量化的变换系数来重建原始的像素值。
同时，滤波单元230通过对图片进行滤波来改进图像质量。在这样的情况下，在滤波单元中可以进一步包括用于减少块失真的解块滤波器、用于消除整个图片的失真的自适应环路滤波器等。被滤波的图片可以被输出或者被保存在帧存储单元256中以被用作用于当前帧的参考图片。
此外，本发明的预测单元250包括帧内预测单元252和帧间预测单元254，并且使用通过在上面提及的熵解码单元210解码的诸如编码类型的信息、关于每一个区域的变换系数、运动矢量等来重建预测图像。
在这一点上，帧内预测单元252根据在当前图像内解码的样本来执行帧内预测。
帧间预测单元254使用存储在帧存储单元256中的参考图像来估计运动矢量，并且生成预测图像。帧间预测单元254可以包括运动补偿单元262和运动估计单元264。运动估计单元264获得示出在编译中使用的参考帧的当前块和参考块之间的关系的运动矢量，并且将运动矢量发送到运动补偿单元262。
通过添加从帧内预测单元252或者帧间预测单元254输出的预测值和从逆变换单元225输出的像素值来生成被恢复的视频帧。
在下文中，将参考图3至图5来描述在编码设备100和解码设备的操作中的划分编译单元和预测单元等的方法。
编译单元指的是在处理上面描述的视频信号的过程中的诸如帧内/帧间预测、变换、量化和/或熵编译等的处理中用于处理图像的基本单元。在对一个图像进行编译中所使用的编译单元的尺寸不是固定的。编译单元可以具有四边形形式，并且一个编译单元可以被划分成若干编译单元。
图3图示根据本发明的示例性实施例的划分编译单元的示例。例如，具有2Nx2N尺寸的一个编译单元可以被划分成具有NxN尺寸的四个编译单元。可以递归地执行这样的编译单元的划分，并且对于所有的编译单元来说没有必要以相同的形式来划分。然而，为了编译和处理过程的方便，可以存在对编译单元的最大尺寸310和最小尺寸320的限制。
对于一个编译单元，可以存储指示是否划分编译单元的信息。例如，假定，如在图3中所示，一个编译单元可以被划分为四个正方形的编译单元。图4图示用于使用0和1分层次地表示图3图示的编译单元的划分结构的方法。关于指示是否划分编译单元的信息，在单元被划分的情况下，“1”可以被分配，并且在单元没有被划分的情况下，“0”可以被分配。如在图4中所图示的，如果指示是否要被划分的编译单元的标志值是1，则与该节点相对应的编译单元被划分为四个编译单元，并且如果标志值是0，则单元不再被划分，并且可以执行用于编译单元的处理程序。
编译单元不必划分成四个正方形区域。在这样的情况下，可以通过划分信息来映射用于预定的划分方案的代码。例如，如果信息值是1，则编译单元可以被划分成两个水平的矩形子编译单元，如果信息值是2，则编译单元可以被划分成两个垂直的子编码单元，并且如果信息值是3，则编译单元可以被划分成四个正方形子编译单元。这样的方法仅是示例性的，并且本发明不限于此。
可以使用递归的树结构来表示在上面描述的编译单元的结构。即，使用作为根的一个图片或者最大尺寸的编译单元，被划分为其它的编译单元的编译单元具有在数目上等于被划分的编译单元的数目的子节点。因此，不再被划分的编译单元变成叶节点。假定对于一个编译单元来说仅正方形的划分是可能的，一个编译单元可以被划分为最多4个的其它编译单元，并且因此指示编译单元的树可以具有四叉树形式。
在编码器中，考虑视频图像的属性(例如，分辨率)或者编译效率来选择最佳的编译单元，并且在比特流中可以包括关于其的信息或者用于推导其的信息。例如，可以定义最大编译单元的尺寸和树的最大深度。在正方形的划分的情况下，编译单元的高度和宽度变成父节点的编译单元的高度和宽度的一半，并且因此可以使用上述信息来获得最小编译单元尺寸。相反地，事先定义最小编译单元尺寸和树的最大深度，并且可以使用已定义的信息来导出最大编译单元尺寸。因为在正方形的划分中以2的倍数的形式改变单元尺寸，所以实际的编译单元的尺寸被表示为以2为底的对数值，从而增强传输效率。
在解码中，可以获得指示是否划分当前编译单元的信息。如果这样的信息被设置为在特定条件下获得(发送)，则可以增强效率。例如，可以划分当前编译单元的条件是下述情况，其中将当前编译单元尺寸添加到当前位置的结果小于图片(图像)的尺寸，并且当前单元尺寸大于预设的最小编译单元尺寸，并且因此仅在这样的情况下才可以获得是否已经划分单元的信息。
在信息指示编译单元已经被划分的情况下，要被划分的编译单元的尺寸变成当前编译单元的一半，并且编译单元基于当前处理位置被划分成四个正方形的编译单元。可以对于被划分的编译单元中的每一个重复相同的处理。
对不再被划分的编译单元(即，编译单元树的叶节点)执行用于编译的图片预测(运动补偿)。执行这样的预测的基本单元被称为预测单元或者预测块。预测单元可以以各种方式进行划分，并且可以被划分成诸如正方形、矩形等的对称形式、非对称形式或者几何形式的子预测单元。例如，一个预测单元可能没有被划分(2N×2N)，并且可以被划分成如在图5中所示的N×N、2N×N、N×2N等尺寸的子预测单元。此外，在帧内编译单元和帧间编译单元中可以不同地定义可能的划分形式的预测单元。例如，在帧内编译单元中，仅2N×2N或N×N形式的划分是可能的，并且在帧间编译单元中，N×N、2N×N、N×2N或者2N×2N的划分可以是可能的。在此，在比特流中可以包括关于是否已经划分预测单元的信息或者关于已经划分单元的形式的信息。此外，可以从其它的信息导出这样的信息。
在下文中，在本说明书中使用的术语“单元”可以被用作用于代替是执行预测的基本单元的预测单元或者子预测单元的术语。然而，本发明不限于此，并且可以被理解为包括编译单元的概念。
为了恢复执行解码的当前单元，可以利用包括当前单元的当前图片(图像)或者的其它图片的被解码部分。用于在恢复中使用当前图片，即，仅执行帧内预测的图片(片)被称为帧内图片或者I图片(片)，用于使用最多一个运动矢量和参考索引以预测每个单元的图片被称作预测图片或P图片，并且使用最多两个运动矢量和参考索引的图片被称作双预测图片或B图片。
帧内预测单元执行帧内预测，该帧内预测根据当前图片内的恢复的区域来预测主题单元(subjectunit)的像素值。例如，可以在当前单元的基础上根据位于上、左、左上和/或右上侧的单元的编码的像素来预测当前单元的像素值。
取决于预测方案和在像素值的预测中所使用的参考像素所位于的参考区域的方向，帧内模式可以被大体地划分成垂直、水平、DC、角度模式等。垂直模式使用主题单元的垂直邻近区域中的值作为当前单元的预测值，并且水平模式使用水平地邻近区域中的值作为预测值。在DC模式中，参考区域的平均值被用作预测值。此外，角度模式是参考区域位于在任意方向上的情况，并且该方向可以由当前像素与参考像素之间的角度来指示。为了方便起见，可以使用预定的角度和预测模式数目，并且可以根据主题单元的尺寸来改变所使用的角度的数目。
可以对这样的各种预测方法来定义一些特定模式。可以作为指示模式的值来发送预测模式，但是预测当前单元的预测模式值的方法可以被用于增强传输效率。这时，可以通过使用是否使用用于预测模式的预测值的信息、和与实际值的差，在解码器中获得当前单元的预测模式。
此外，在帧间预测单元中，使用除了当前图片之外的被恢复的图片的信息来执行预测目标单元的像素值的帧间预测。在这里，在预测中使用的图片被称作参考图片。可以使用指示包括参考区域的参考图片的索引和运动矢量信息等来指示在帧间预测处理中在预测当前单元中使用哪一个参考区域。
帧间预测的一些示例是前向预测、后向预测以及双向预测。前向预测是使用在当前图片之前暂时地显示(或输出)的一个参考图片的预测，并且后向预测是使用在当前图片之后暂时地显示(或输出)的一个参考图片的预测。为此，一组运动信息(例如，运动矢量和参考图片索引)可能是必需的。在双向预测中，可以使用最多两个参考区域，并且这两个参考区域可以存在于相同的参考图片中，或者可以存在于不同的图片中。即，在双向预测中，可以使用最多两组运动信息(例如，运动矢量和参考图片索引)，并且两个运动矢量可以具有相同的参考图片索引或者不同的参考图片索引。在此，在当前图片之前和之后可以暂时地显示(或者输出)参考图片索引。
当前单元的运动信息可以包括运动矢量信息和参考图片索引。运动矢量信息可以包括运动矢量、运动矢量预测(mvp)或运动矢量差(mvd)，并且可以意指指定运动矢量预测的索引信息。运动矢量差可以意指运动矢量和运动矢量预测之间的差。
可以使用运动矢量和参考图片索引来获得当前单元的参考单元。参考单元存在于具有参考图片索引的参考图片中。此外，由运动矢量指定的单元的像素值或者内插值可以被用作当前单元的预测器。即，使用运动信息来执行使用先前解码的图片预测当前单元的图像的运动补偿。
此外，除了当前图片之外，参考图像列表可以由被用于帧间预测的图片来构成。B图片要求两个参考图片列表，并且该列表中的每一个被称为参考图片列表0(或者L0)和参考列表1(或者L1)。
为了减少与运动矢量有关的传输，可以使用用于使用先前编译的单元的运动信息获得运动矢量预测(mvp)并且仅发送其运动矢量差(mvd)的方法。在解码器中，使用其它被解码的单元的运动信息来计算运动矢量预测，并且使用被发送的差来获得用于当前单元的运动矢量值。在运动矢量预测中，使用已经编译的单元的运动信息来获得各种运动矢量候选值，并且可以使用获得作为运动矢量预测的所获得的值中的一个的运动矢量竞争。
在这样的运动矢量竞争中使用的运动矢量候选可以包括空间邻居单元或者时间邻居单元的运动矢量。空间邻居单元指的是与在与当前单元的图片相同的图片中的当前单元相邻(adjacent)的单元(参见图6)，并且时间邻居单元指的是除了当前单元之外的存在于与图片中的当前单元相对应的位置中的单元(参见图7)。
例如，参考图6，空间邻居单元的运动矢量包括从是一组当前单元的左邻居单元(A0,A1,…,AnA)的左边组中选择的单元的运动矢量a’、从是一组上邻居单元(B0,B1,…,BnB)的上边组中选择的运动矢量b’、以及是一组当前单元的对角线相邻单元(C，D，E)的角落组中选择的单元的运动矢量c’。此外，可以导出运动矢量a’、b’以及c’的中值，并且该中值也可以被包括在运动矢量候选中。
同样地，从包括当前单元的空间邻居单元和时间邻居单元的运动矢量的运动矢量候选可以获得运动矢量预测，并且通过添加被发送的差可以获得用于当前单元的运动矢量值。在此，在当前图片(或者片)是P图片(片)的情况下，可以获得用于L0和L1当中的预测方向(参考图片列表)中的一个的运动矢量预测和运动矢量，并且在当前图片(片)是B图片(片)的情况下，可以获得用于预测方向L0和L1的运动矢量预测和运动矢量。
可以使用所获得的当前单元的运动矢量预测和运动矢量来获得用于当前单元的图片预测的参考单元。如在图8中所图示的，如果通过当前单元的运动矢量预测(mvp)已经获得的参考单元被称为Pred_a，并且经由通过运动矢量预测(mvp)和运动矢量差(mvd)的总和的运动矢量(mv)而已经获得的参考单元被称为Pred_b，下述参考单元候选可以被用于当前单元的图像预测。
a)用于L0预测的Pred_a，b)用于L1预测的Pred_a，c)用于双向预测的Pred_a，d)用于L0预测的Pred_b，e)用于L1预测的Pred_b，f)用于双向预测的Pred_b，g)跳过/直接模式的Pred_a。
在此，可以通过计算用于L0预测的Pred_a和用于L1预测的Pred_a的平均值来获得Pred_a，并且可以通过计算用于L0预测的Pred_b和用于L1预测的Pred_b的平均值来获得用于双向预测的Pred_b。此外，在当前单元对应于P图片(或者片)时，跳过/直接模式的Pred_a可以使用用于图片的L0或者L1预测的Pred_a，并且在当前单元对应于B图片时，可以计算用于L0预测的Pred_a和用于L1预测的Pred_a的平均值。在没有单独地发送运动信息的情况下，跳过模式或者直接模式仅发送用于模式的标志，并且因此没有指定当前单元的运动矢量预测方向。
在此，为了预测当前单元的更加精确的图像，可以使用参考单元候选来执行多假设帧间预测。在本发明中，多假设帧间预测指的是通过组合两个或者更多个参考单元(预测器)来预测当前单元的图像。为了执行多假设帧间预测，可以直接地向解码器通知数个参考单元的位置，或者解码器应能够执行导出。是否应执行多假设帧间预测可以通过单独的标志值来发送，或者可以被设置为根据可以被参考的单元的数目而导出。
在此，在本发明中，在上面的a)至g)中，可以通过组合两个或者更多个更加有效的参考单元候选而获得当前单元的预测值，并且可以使用所获得的值来执行图像预测。例如，通过组合用于L0预测的Pred_a和用于L0预测的Pred_b可以获得当前单元的预测值，并且能够组合用于L0预测的Pred_b和用于双向预测的Pred_b。这时，可以通过计算参考单元的像素值的平均值来获得参考单元的组合，并且通过给出权重来计算总和也是可能的。
此外，通过扩展用于多假设帧间预测的参考单元候选组，多个运动矢量可以被用于L0和L1中的每一个的预测方向。即，可以从当前单元的邻居单元中针对L0和L1预测方向中的每一个获得多个运动矢量预测和运动矢量，并且可以通过组合参考单元来获得当前单元的预测单元。这时，为了获得用于L0和L1预测方向中的每一个的多个运动矢量预测和运动矢量，存在于当前单元的空间邻居单元和时间邻居单元中的所有有效的运动矢量可以被用作当前单元的运动矢量预测。此外，通过将合计多个运动矢量预测和每一个运动矢量差可以获得多个运动矢量。在此，如果假定通过当前单元的运动矢量预测(mvp)获得的参考单元被称为Pred_a，并且经由通过运动矢量预测(mvp)和运动矢量差(mvd)的总和的运动矢量(mv)而已经获得的参考单元被称为Pred_b，则可以如下地扩展用于当前单元的图像预测的参考单元候选。
a’)用于一组L0预测的运动信息的Pred_a，b’)用于N0组L0预测的运动信息的Pred_a，c’)用于一组L0预测的运动信息的Pred_b，d’)用于N0组L0预测的运动信息的Pred_b，e’)用于一组L1预测的运动信息的Pred_a，f’)用于N1组L1预测的运动信息的Pred_a，g’)用于一组L1预测的运动信息的Pred_b，h’)用于N1组L1预测的运动信息的Pred_b，i’)a’)至h’)的组合。
在此，通过计算如上所述的每一个参考单元的像素值的平均值可以获得在参考单元候选组中包括的参考单元的组合，并且也能够通过给出权重来计算总和。
根据本发明的另一示例性实施例，运动矢量缩放方案可以被用于获得多个参考单元。运动矢量缩放指的是用于根据参考帧和当前帧之间的时间距离成比例的扩展或者成比例的减少的方案。当执行帧间预测时，如果使用运动矢量缩放方案，则可以从不同的参考帧获得参考单元中的每一个，并且可以通过其组合执行多假设帧间预测。正因如此，解码器可以仅使用一个运动矢量来获得数个参考单元，并且可以通过组合来执行更加精确的图像预测。
图9图示用于根据帧之间的时间距离来缩放运动矢量的方法。当在当前单元的L0方向上的运动矢量是mvL0并且mvL0的参考帧是ref0时，如下地示出作为用于另一参考帧ref1的对mvL0进行缩放的结果mvL0N_scaled。
mvL0N_scaled＝mvL0*(td/tb)
在此，tb指的是当前帧和ref0之间的时间距离，并且td指的是当前帧和ref1之间的时间距离。可以通过帧之间的图片顺序计数(POC)值之差来计算帧之间的时间距离。
同样地，在使用当前单元的运动矢量mvL0在ref0帧中获得第一参考单元，并且使用当前单元的被缩放的运动矢量mvL0N_scaled从ref1获得第二参考单元之后，通过组合两个参考单元可以获得当前单元的预测值。在本发明中，使用运动矢量缩放在多假设帧间预测中使用的参考单元的数目被限于2个。即，在存储在被解码的图片缓冲器(DPB)中的参考帧的数目是2个或者更多个的情况下，通过缩放存储在DPB中的每一个帧的运动矢量可以增加可用的参考单元的数目。
在使用多个参考单元来获得当前单元的预测值的情况下，用于组合每一个参考单元的方法的一些示例是i)对于每一个参考单元的图像值计算平均值的方法，ii)通过与每一个参考单元和当前帧之间的时间距离成反比例地加权每一个参考单元的图像值来执行线性组合的方法，iii)通过与每一个参考单元和当前帧之间的时间距离的平方成反比例地加权每一个参考单元的图像值等来执行线性组合的方法。
此外，根据本发明的示例性实施例，使用运动矢量缩放的多假设帧间预测可以使用固定数目的参考单元，并且也可以使用可变数目的参考单元。图10图示使用固定数目的参考单元来执行多假设帧间预测的示例。
参考图10，在使用固定数目的参考单元的情况下，与在常规的帧间预测方法中一样，通过编译当前单元的运动矢量来发送运动矢量差，并且可以附加地发送标志(scaling_multi_hypothesys_flag)，该标志给出关于是否将使用运动矢量缩放来执行多假设帧间预测的信息。
在解码器中，通过获得被发送的运动矢量差来计算当前单元的运动矢量(S1010)，并且获得通过运动矢量指示的参考单元(S1020)。接下来，通过获得被发送的标志(scaling_multi_hypothesys_flag)(S1030)，在标志是0的情况下，与在一般的帧间预测中一样在步骤S1020中获得的参考单元被设置为当前单元的预测值(S1070)，并且执行当前单元的解码(S1080)。如果标志(scaling_multi_hypothesys_flag)是1，则根据预设数目附加地获得参考单元(S1050)。在此，通过缩放根据本发明的示例性实施例的当前单元的运动矢量从其它帧可以获得被添加的参考单元。解码器通过组合包括被添加的参考单元的多个参考单元来获得当前单元的预测值(S1060)，并且使用所获得的预测值可以执行当前单元的解码(S1080)。
此外，根据本发明的示例性实施例，使用可变数目的参考单元可以执行多假设帧间预测，并且图11和图12图示其实施例。当描述图11和图12的实施例时，将省略已经参考图10描述的多余描述。
首先，根据本发明的示例性实施例，可以使用单独地发送用于获得当前单元的预测值的参考单元的数目的方法。即，在被发送的标志(scaling_multi_hypothesys_flag)值是1的情况下，可以附加地发送提供关于被添加的参考单元的数目的信息的变量(add_predictor_num)。
在解码器中，在所获得的标志(scaling_multi_hypothesys_flag)是1的情况下，获得被发送的变量(add_predictor_num)(S1150)，并且基于该变量(add_predictor_num)的值附加地获得参考单元(S1154)。在此，可以通过缩放根据本发明的示例性实施例的当前单元的运动矢量从不同的帧获得被添加的参考单元。解码器可以通过组合包括被添加的参考单元的多个参考单元来获得当前单元的预测值(S1160)，并且使用所获得的预测值可以执行当前单元的解码(S1180)。
此外，参考图12，在被发送的标志(scaling_multi_hypothesys_flag)值是1的情况下，可以使用重复地发送标志(add_predictor_flag)，该标志给出关于是否将添加参考单元的信息。
在解码器中，在所获得的标志(scaling_multi_hypothesys_flag)是1的情况下，当指示是否将添加参考单元的标志(add_predictor_flag)是1时，并且DPB的有效的剩余的参考帧的数目是1或者大于1，附加地获得参考单元(S1254)。在标志(add_predictor_flag)是0或者可以不再添加参考单元之前(例如，当可以在预测方向上添加参考单元的有效参考帧不再存在于DPB中时)，重复添加参考单元的处理。通过上述处理，通过组合所获得的参考单元可以获得当前单元的预测值(S1260)，并且可以使用所获得的预测值来执行当前单元的解码(S1280)。
在本发明的示例性实施例中，根据各种优先级可以确定存储在DPB中的帧当中的针对参考单元的添加而选择的帧。例如，1)可以从最低的参考索引值开始以递增顺序进行选择，2)可以从离实际发送的当前单元的参考索引值最近的参考索引值开始以距离递增顺序进行选择，或者3)可以从在时间上离通过实际发送的当前单元的参考索引指示的参考帧最近的参考索引值开始以距离递增的顺序进行选择。
此外，可以通过将使用运动矢量缩放添加参考单元的方法与组合用于L0和L1预测方向的运动矢量和运动矢量预测的方法组合来使用这样的使用运动矢量缩放添加参考单元的方法。即，通过用于每一个运动矢量预测的运动矢量缩放以及用于L0和L1预测方向的运动矢量可以获得各种参考单元，并且通过组合所获得的参考单元可以执行当前单元的图像预测。
此外，对于当前单元的帧间预测来说必要的预测信息(例如，参考索引、运动矢量、预测方向等)没有被直接地包括在要被发送的比特流中，但是可以使用邻居单元导出。使用这样的方法，可以减少分配给预测信息的比特的数目，从而增加压缩率。具体地，可以利用被编译的邻居单元的预测信息作为使用帧间预测的当前单元的预测信息。当使用这样的方法时，描述当前单元已经与已经得到预测信息的邻居单元合并，并且这样的预测方法被称为合并模式。
对于合并模式，比特流可以包括指示是否已经合并当前单元(例如，像merge_flag的标志)的信息和指示当前单元已经与哪个邻居单元合并的合并信息(例如，指示当前单元是否已经与特定单元合并的标志或者指示特定邻居的索引信息等)。仅在指示当前单元已经被合并的情况下(在本示例中，当merge_flag是真或者1时)，指示当前单元已经与哪个邻居单元合并的信息才可以被设置为被获得。
例如，参考图13和图14，在合并模式中，当前单元(x)可以与上邻居单元(A)或者左邻居单元(B)合并。在此，如果在上邻居单元和左邻居单元当中存在对于合并来说有效的单元(处于帧间模式的单元)，则可以获得指示是否将合并当前单元的merge_flag1402。如果merge_flag是0，则可以执行一般的帧间预测，并且如果merge_flag是1，则可以执行合并模式。在此，如果merge_flag是1，并且对于合并来说有效的邻居单元的数目(NumMergeCandidates)大于1，则可以获得指示与当前单元合并的哪个邻居单元的merge_left_flag1404。基于当前单元，merge_left_flag包括关于当前单元将与其合并的邻居单元的方向的信息。在此，当前单元使用邻居单元的运动信息来获得参考单元，其中合并被执行，并且使用所获得的参考单元来执行图像预测。
根据本发明的示例性实施例，在这样的合并模式中，使用要合并两个或者更多个邻居单元的运动信息来获得每一个参考单元，并且可以执行使用所获得的参考单元的组合作为当前单元的预测值的多假设合并。即，在图15中，在作为当前单元(X)的要被合并的邻居单元的单元A和单元B都有效(处于帧间模式)的情况下，通过将每一个邻居单元的运动信息应用于当前单元可以在ref0帧和ref1帧中获得参考单元，并且通过组合所获得的参考单元可以执行当前单元的图像预测。
这时，可以不同地改变要被合并的邻居单元。即，在图15中当前单元的左上角中的邻居单元(c)是有效的情况下，也可以在合并中使用单元C。此外，在当前单元的左上角中的邻居单元和在当前单元的左下角中的邻居单元也是有效的情况下，它们也可以被包括在合并候选中。
同样地，当使用多个邻居单元的运动信息来执行多假设合并时，作为指示要在合并中使用的邻居单元的组合的索引值的merge_mode可以被发送以便被获得。即，如在图16中所示的，在merge_flag是1并且对于合并来说有效的邻居单元的数目(NumMergeCandidates)大于1的情况下，可以获得作为索引值的merge_mode1604，并且通过组合根据merge_mode值选择的邻居单元可以执行多假设合并。
不同于选择一个邻居单元以执行与当前单元的合并的merge_left_flag，merge_mode通知邻居单元的哪个组合将被用于合并。例如，如在图15中，在仅当前单元的上邻居单元和左邻居单元被用作合并候选的情况下，如果merge_mode是0，则可以执行与上邻居单元(A)的合并，如果merge_mode是1，则可以执行与左邻居单元(B)的合并，并且如果merge_mode是2，则可以执行与两个邻居单元(A，B)的合并。当然，在作为合并模式的合并侯选的邻居单元不同于上述的情况下，可以不同地定义merge_mode。
在根据本发明的示例性实施例执行多假设组合的情况下，可以建议用于使用两个或者更多个邻居单元执行合并的各种方法。例如，如果假定邻居单元A和B的运动矢量分别是mvA和mvB，并且参考单元分别是predA和predB，则可以如下地计算当前单元X的单元预测。
1)计算参考单元的图像值的平均值的方法
即，predX＝(predA+predB+1)>>1
2)通过缩放每一个参考单元的运动矢量mvA和mvB，并且计算通过所缩放的运动矢量获得的新参考单元predA’和predB’的图像值的方法。
3)通过与每一个参考单元和当前帧之间的时间距离成反比例地加权每一个参考单元的图像值来执行线性组合的方法。即，当在图17中mvA的参考帧是ref0并且mvB的参考帧是ref1时，邻居单元A的参考帧(ref0)和当前帧之间的时间距离是“d”，并且邻居单元B的参考单元(ref1)与当前帧之间的时间距离是“2d”。因此，考虑这样的时间距离可以通过给出权重如下地计算当前单元X的预测值predX。
predX＝(2*predA+predB)/3
此外，在合并模式中解码当前单元的情况下，应当存储用于下一个单元的解码的关于当前单元的运动信息。如在图18中图示的，已经执行多假设合并的当前单元X使用两个或者更多个邻居单元(A，B)的运动信息(motion_info(A)和motion_info(B))以执行合并。在此，每一个单元的运动信息(motion_info(A)和motion_info(B))可以具有不同的值，并且如果存储了所有的不同邻居单元的运动信息集，则当多假设合并被执行时，应当存储的运动信息集将会快速地增加。在此，为了存储已经执行多假设合并的当前单元的运动信息，可以使用下述方法。
a)常规的帧间预测编译方法当中的从比率失真(RD)的视角在最佳模式中存储信息。
b)存储要被合并的两个或者更多个有效邻居单元运动信息集的平均值(在此，当数目不是整数时，可以使用上舍入(rounded-up)、下舍入(rounded-down)或者四舍五入(rounded-off)值)。
c)存储要被合并的两个或者更多个有效邻居单元运动信息集当中的最小值。
d)具有帧间模式的邻居单元的运动信息集当中的最频繁的数值。
e)邻居单元的运动信息的中值。
f)根据图像属性，选择性地组合a)至e)的方法。
此外，如在图19中图示的，在当前单元X的邻居单元A是已经执行多假设合并的单元的情况下，为了处理当前单元X的运动信息，应参考邻居单元A的运动信息，并且因此需要用于处理邻居单元的运动信息。因此，为了参考已经执行多假设合并的邻居单元的运动信息，可以使用下述方法。
a’)参考根据已经被建议存储已经执行多假设合并的单元的运动信息的a)至f)的方法存储的运动信息。
b’)已经执行多假设合并的单元被认为是无效的单元(例如，作为帧内模式处理)。
c’)参考已经执行多假设合并的邻居单元的其它邻居单元的运动信息。
d’)通过检查多假设合并应用的连续性，根据是否超过阈值来不同地参考运动信息。
e’)根据图像属性选择性地组合a’)至d’)的方法。
同样地，根据本发明的示例性实施例，如果执行多假设帧间预测或者多假设合并，则可以获得更加精确的单元预测，并且可以减少为了图像的恢复而发送的比特率。
上文中所描述的示例性实施例是本发明的元素和特征的组合。除非另外提到，否则元素或特征可以被认为是选择性的。可以在不与其它元素或特征结合的情况下实践每个元素或特征。另外，本发明的实施例可以通过组合元素和/或特征的部分来解释。可以重新布置在本发明的实施例中描述的操作次序。任何一个实施例的一些结构可以被包括在另一实施例中并且可以用另一实施例的对应的结构来代替。
应用了本发明的解码/编码方法用计算机执行的程序来配置，然后被存储在计算机可读记录介质中。并且，具有本发明的数据结构的多媒体数据能够被存储在计算机可读记录介质中。计算机可读记录介质包括用于存储能够由计算机系统读取的数据的所有种类的存储装置。计算机可读记录介质包括ROM、RAM、CD-ROM、磁带、软盘、光数据存储装置等，并且还包括用载波(例如，经由因特网的传输)实现的装置。并且，由编码方法生成的比特流被存储在计算机可读记录介质中或经由有线/无线通信网络发送。
可以使用例如计算机软件、硬件、或其某种组合在计算机可读介质中实现本文中所描述的各种实施例。对于硬件实现，本文中所描述的实施例可以被实现在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计成执行本文中所描述的功能的其它电子单元、或其选择性的组合内。在一些情况下，通过控制器来实现这样的实施例。
对于软件实现，本文中所描述的实施例可以使用单独的软件模块来实现，诸如过程或函数，其中的每一个都执行在本文中所描述的功能和操作中的一个或多个。软件代码能够使用以任何适合编程语言编写的软件应用来实现并且可以被存储在存储器中，并且由控制器来执行。
对本领域的技术人员而言将显而易见的是，在不背离本发明的精神或范围的情况下，可以在本发明中做出各种修改和变化。因此，意图是本发明涵盖此发明的修改和变化，只要它们落入所附权利要求和它们的等同物的范围内。
工业适用性
本发明可以适用于对视频信号进行编码或解码。

Claims (14)

1.一种解码用于视频信号的比特流的方法，所述方法包括：
从所述比特流获得合并标志，所述合并标志指示当前块的帧间预测信息是否从与所述当前块相邻的邻居块导出，所述帧间预测信息包括运动矢量信息；
基于所述合并标志构建合并候选组，所述合并候选组包括包含与在与所述当前块相同的图片中的当前块相邻的邻居块的多个合并候选；
将附加的合并候选添加到构建的合并候选组，所述附加的合并候选从与在与所述当前块相同的图片中的当前块相邻的第一邻居块和第二邻居块的组合导出；
从所述比特流获得合并索引，所述合并索引指示所述合并候选组中的附加的合并候选或者多个合并候选中的一个；以及
使用由获得的合并索引指示的合并候选的帧间预测信息获得所述当前块的预测值。
2.根据权利要求1所述的方法，进一步包括：
获得所述当前块的残差值；以及
使用所述当前块的残差值和所述当前块的预测值重构所述当前块。
3.根据权利要求1所述的方法，其中所述第一邻居块是与在与所述当前块相同的图片中的当前块相邻的上邻居块，并且所述第二邻居块是与在与所述当前块相同的图片中的当前块相邻的左邻居块。
4.根据权利要求1所述的方法，其中所述第一邻居块的帧间预测信息不同于所述第二邻居块的帧间预测信息。
5.根据权利要求1所述的方法，其中所述第一邻居块和所述第二邻居块在帧间模式中被编码。
6.根据权利要求1所述的方法，其中所述邻居块包括与在与所述当前块相同的图片中的当前块相邻的上邻居块、左邻居块、左上邻居块、右上邻居块、或左下邻居块中的至少一个。
7.根据权利要求1所述的方法，其中所述帧间预测信息进一步包括参考索引信息。
8.一种解码用于视频信号的比特流的解码装置，所述解码装置包括：
用于从比特流获得合并标志的装置，所述合并标志指示当前块的帧间预测信息是否从与当前块相邻的邻居块导出，所述帧间预测信息包括运动矢量信息；
用于基于所述合并标志构建合并候选组的装置，所述合并候选组包括包含与在与所述当前块相同的图片中的当前块相邻的邻居块的多个合并候选；
用于将附加的合并候选添加到构建的合并候选组的装置，所述附加的合并候选从与在与所述当前块相同的图片中的当前块相邻的第一邻居块和第二邻居块的组合导出；
用于从所述比特流获得合并索引的装置，所述合并索引指示所述合并候选组中的附加的合并候选或者多个合并候选中的一个；以及
用于使用由获得的合并索引指示的合并候选的帧间预测信息获得所述当前块的预测值的装置。
9.根据权利要求8所述的解码装置，进一步包括：
用于获得所述当前块的残差值的装置；以及
用于使用所述当前块的残差值和所述当前块的预测值重构所述当前块的装置。
10.根据权利要求8所述的解码装置，其中所述第一邻居块是与在与所述当前块相同的图片中的当前块相邻的上邻居块，并且所述第二邻居块是与在与所述当前块相同的图片中的当前块相邻的左邻居块。
11.根据权利要求8所述的解码装置，其中所述第一邻居块的帧间预测信息不同于所述第二邻居块的帧间预测信息。
12.根据权利要求8所述的解码装置，其中所述第一邻居块和所述第二邻居块在帧间模式中被编码。
13.根据权利要求8所述的解码装置，其中所述邻居块包括与在与所述当前块相同的图片中的当前块相邻的上邻居块、左邻居块、左上邻居块、右上邻居块、或左下邻居块中的至少一个。
14.根据权利要求8所述的解码装置，其中所述帧间预测信息进一步包括参考索引信息。
CN201610149532.0A 2010-05-26 2011-05-26 用于处理视频信号的方法和设备 Active CN105791860B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US34826010P 2010-05-26 2010-05-26
US61/348,260 2010-05-26
US35468710P 2010-06-14 2010-06-14
US61/354,687 2010-06-14
US37172710P 2010-08-08 2010-08-08
US61/371,727 2010-08-08
US37528010P 2010-08-20 2010-08-20
US61/375,280 2010-08-20
CN201180026053.5A CN102934440B (zh) 2010-05-26 2011-05-26 用于处理视频信号的方法和设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201180026053.5A Division CN102934440B (zh) 2010-05-26 2011-05-26 用于处理视频信号的方法和设备

Publications (2)

Publication Number Publication Date
CN105791860A true CN105791860A (zh) 2016-07-20
CN105791860B CN105791860B (zh) 2018-10-16

Family

ID=45004585

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201610149500.0A Active CN105791859B (zh) 2010-05-26 2011-05-26 用于处理视频信号的方法和设备
CN201610149615.XA Active CN105681810B (zh) 2010-05-26 2011-05-26 用于处理视频信号的方法和设备
CN201180026053.5A Active CN102934440B (zh) 2010-05-26 2011-05-26 用于处理视频信号的方法和设备
CN201610149909.2A Active CN105744282B (zh) 2010-05-26 2011-05-26 用于处理视频信号的方法和设备
CN201610149532.0A Active CN105791860B (zh) 2010-05-26 2011-05-26 用于处理视频信号的方法和设备

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN201610149500.0A Active CN105791859B (zh) 2010-05-26 2011-05-26 用于处理视频信号的方法和设备
CN201610149615.XA Active CN105681810B (zh) 2010-05-26 2011-05-26 用于处理视频信号的方法和设备
CN201180026053.5A Active CN102934440B (zh) 2010-05-26 2011-05-26 用于处理视频信号的方法和设备
CN201610149909.2A Active CN105744282B (zh) 2010-05-26 2011-05-26 用于处理视频信号的方法和设备

Country Status (4)

Country Link
US (7) US9042450B2 (zh)
KR (7) KR102233820B1 (zh)
CN (5) CN105791859B (zh)
WO (1) WO2011149291A2 (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120016991A (ko) * 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
CN106210737B (zh) * 2010-10-06 2019-05-21 株式会社Ntt都科摩 图像预测解码装置、图像预测解码方法
US9049455B2 (en) 2010-12-28 2015-06-02 Panasonic Intellectual Property Corporation Of America Image coding method of coding a current picture with prediction using one or both of a first reference picture list including a first current reference picture for a current block and a second reference picture list including a second current reference picture for the current block
JP5982734B2 (ja) * 2011-03-11 2016-08-31 ソニー株式会社 画像処理装置および方法
KR20130004173A (ko) * 2011-07-01 2013-01-09 한국항공대학교산학협력단 비디오 부호화 방법 및 복호화 방법과 이를 이용한 장치
WO2013005966A2 (ko) 2011-07-01 2013-01-10 한국전자통신연구원 비디오 부호화 방법 및 복호화 방법과 이를 이용한 장치
JPWO2013111596A1 (ja) * 2012-01-26 2015-05-11 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 動画像符号化方法および動画像符号化装置
US9894384B2 (en) 2012-10-08 2018-02-13 Lg Electronics Inc. Multiview video signal encoding method and decoding method, and device therefor
US20150172669A1 (en) * 2013-03-15 2015-06-18 KASAH Technology, Inc. System and method for processing compressed images and video for improved data communication
WO2014163437A2 (ko) * 2013-04-05 2014-10-09 한국전자통신연구원 계층 간 결합된 화면 내 예측을 이용한 영상 부호화/복호화 방법 및 그 장치
GB2512829B (en) 2013-04-05 2015-05-27 Canon Kk Method and apparatus for encoding or decoding an image with inter layer motion information prediction according to motion information compression scheme
US20160134891A1 (en) * 2013-04-23 2016-05-12 Samsung Electronics Co., Ltd. Multi-viewpoint video encoding method using viewpoint synthesis prediction and apparatus for same, and multi-viewpoint video decoding method and apparatus for same
CN111193929B (zh) * 2013-12-16 2022-04-12 浙江大学 一种前向双假设编码图像块的编解码方法和装置
JP6731574B2 (ja) * 2014-03-06 2020-07-29 パナソニックＩｐマネジメント株式会社 動画像符号化装置および動画像符号化方法
WO2016072732A1 (ko) * 2014-11-04 2016-05-12 삼성전자 주식회사 텍스쳐 합성 기반 예측 모드를 이용하는 비디오 부호화/복호화 방법 및 장치
WO2017003063A1 (ko) * 2015-06-28 2017-01-05 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2017010073A1 (ja) * 2015-07-10 2017-01-19 日本電気株式会社 動画像符号化装置、動画像符号化方法および動画像符号化プログラムを記憶する記録媒体
CN108965871B (zh) * 2015-09-29 2023-11-10 华为技术有限公司 图像预测的方法及装置
US10958931B2 (en) * 2016-05-11 2021-03-23 Lg Electronics Inc. Inter prediction method and apparatus in video coding system
US10735720B2 (en) * 2016-06-24 2020-08-04 Kt Corporation Method and apparatus for processing video signal
US10715827B2 (en) * 2017-01-06 2020-07-14 Mediatek Inc. Multi-hypotheses merge mode
CN116193110A (zh) * 2017-01-16 2023-05-30 世宗大学校产学协力团 影像编码/解码方法
WO2018169288A1 (ko) * 2017-03-13 2018-09-20 한국전자통신연구원 비디오 부/복호화를 위한 비정형 블록 기반 움직임 예측 및 보상 방법 및 그 장치
KR20180107761A (ko) * 2017-03-22 2018-10-02 한국전자통신연구원 참조 블록을 사용하는 예측 방법 및 장치
CN114697680A (zh) * 2017-11-09 2022-07-01 三星电子株式会社 用于对运动信息进行编码的设备和方法以及解码设备和方法
CN112236995B (zh) * 2018-02-02 2024-08-06 苹果公司 基于多假设运动补偿技术的视频编码、解码方法及编码器、解码器
US11924440B2 (en) * 2018-02-05 2024-03-05 Apple Inc. Techniques of multi-hypothesis motion compensation
CN113315975B (zh) * 2018-03-29 2022-12-06 华为技术有限公司 一种双向帧间预测方法及装置
US11477474B2 (en) * 2018-06-08 2022-10-18 Mediatek Inc. Methods and apparatus for multi-hypothesis mode reference and constraints
SG11202013202YA (en) * 2018-07-02 2021-01-28 Huawei Tech Co Ltd Motion vector prediction method and related apparatus
EP3824631A4 (en) 2018-07-18 2022-07-06 HFI Innovation Inc. METHOD AND APPARATUS FOR MOTION COMPENSATION BANDWIDTH REDUCTION FOR VIDEO CODING SYSTEM USING MULTIHYPOTHEC
US11051010B2 (en) 2018-07-18 2021-06-29 Mediatek Inc. Merge candidates with multiple hypothesis
CN112602322B (zh) 2018-08-28 2023-08-22 鸿颖创新有限公司 编码视频数据的装置和方法
CN110933423B (zh) * 2018-09-20 2022-03-25 杭州海康威视数字技术股份有限公司 帧间预测方法和设备
SG11202103661XA (en) 2018-10-10 2021-05-28 Huawei Tech Co Ltd Inter prediction method and apparatus
KR20230128587A (ko) 2018-10-27 2023-09-05 후아웨이 테크놀러지 컴퍼니 리미티드 서브블록 병합 후보를 위한 개별적인 병합 목록 및 비디오 코딩을 위한 인트라-인터 기술 조화
CN118590651A (zh) 2018-11-13 2024-09-03 北京字节跳动网络技术有限公司 用于子块预测块的多假设
US10848763B2 (en) 2018-11-14 2020-11-24 Tencent America LLC Method and apparatus for improved context design for prediction mode and coded block flag (CBF)
CN113678434B (zh) * 2018-11-14 2024-06-28 腾讯美国有限责任公司 视频编解码的方法和装置
CN111263147B (zh) * 2018-12-03 2023-02-14 华为技术有限公司 帧间预测方法和相关装置
WO2020123998A1 (en) * 2018-12-13 2020-06-18 Tencent America LLC Video decoding by determining block reconstruction based on signaling information
CN111698500B (zh) * 2019-03-11 2022-03-01 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
EP3935839A4 (en) * 2019-04-09 2022-06-22 Beijing Dajia Internet Information Technology Co., Ltd. METHODS AND DEVICES FOR SIGNALING MERGE MODES IN VIDEO ENCODING
JP6960969B2 (ja) * 2019-09-20 2021-11-05 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
WO2023043223A1 (ko) * 2021-09-15 2023-03-23 주식회사 케이티 비디오 신호 부호화/복호화 방법, 그리고 비트스트림을 저장한 기록 매체

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1450812A (zh) * 2002-04-09 2003-10-22 Lg电子株式会社 采用改进直接模式的块预测方法
KR100750136B1 (ko) * 2005-11-02 2007-08-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
WO2008054176A1 (en) * 2006-11-03 2008-05-08 Samsung Electronics Co., Ltd. Method and apparatus for video predictive encoding and method and apparatus for video predictive decoding
WO2009028922A2 (en) * 2007-09-02 2009-03-05 Lg Electronics Inc. A method and an apparatus for processing a video signal
CN101647281A (zh) * 2007-03-28 2010-02-10 三星电子株式会社 视频编码和解码的方法和设备
CN101682769A (zh) * 2007-04-12 2010-03-24 汤姆森特许公司 用于视频编码和解码的跳过-直接模式的取决于环境的合并的方法和装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6043846A (en) * 1996-11-15 2000-03-28 Matsushita Electric Industrial Co., Ltd. Prediction apparatus and method for improving coding efficiency in scalable video coding
JP4114859B2 (ja) * 2002-01-09 2008-07-09 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
CN1744719A (zh) * 2002-04-09 2006-03-08 Lg电子株式会社 块的预测方法
US7289674B2 (en) 2002-06-11 2007-10-30 Nokia Corporation Spatial prediction based intra coding
KR100506864B1 (ko) * 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
JP2006517364A (ja) 2003-01-07 2006-07-20 トムソン ライセンシング マクロブロック・パーティションのインター／イントラ混在ビデオ符号化
US7599435B2 (en) * 2004-01-30 2009-10-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video frame encoding and decoding
US7848428B2 (en) * 2004-06-17 2010-12-07 Broadcom Corporation System and method for reducing visible artifacts in video coding using multiple reference pictures
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
KR100750145B1 (ko) 2005-12-12 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100728031B1 (ko) * 2006-01-23 2007-06-14 삼성전자주식회사 가변 블록 크기 움직임 예측을 위한 부호화 모드 결정 방법및 장치
PL2008460T3 (pl) * 2006-03-30 2017-10-31 Lg Electronics Inc Sposób i urządzenie do dekodowania/kodowania sygnału wideo
KR100824616B1 (ko) * 2006-06-01 2008-04-24 동국대학교 산학협력단 Ｈ.264에서의 부호화 속도를 향상시키기 위한 다중 참조영상 간 모드 생략 방법
US8238442B2 (en) * 2006-08-25 2012-08-07 Sony Computer Entertainment Inc. Methods and apparatus for concealing corrupted blocks of video data
WO2008133910A2 (en) * 2007-04-25 2008-11-06 Thomson Licensing Inter-view prediction with downsampled reference pictures
US8619853B2 (en) 2007-06-15 2013-12-31 Qualcomm Incorporated Separable directional transforms
KR101408698B1 (ko) * 2007-07-31 2014-06-18 삼성전자주식회사 가중치 예측을 이용한 영상 부호화, 복호화 방법 및 장치
US8270472B2 (en) * 2007-11-09 2012-09-18 Thomson Licensing Methods and apparatus for adaptive reference filtering (ARF) of bi-predictive pictures in multi-view coded video
US8189668B2 (en) * 2007-12-18 2012-05-29 Vixs Systems, Inc. Video codec with shared intra-prediction module and method for use therewith
KR20090095316A (ko) 2008-03-05 2009-09-09 삼성전자주식회사 영상 인트라 예측 방법 및 장치
EP2266318B1 (en) * 2008-03-19 2020-04-22 Nokia Technologies Oy Combined motion vector and reference index prediction for video coding
US20090245371A1 (en) 2008-03-28 2009-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding information about intra-prediction mode of video
US20090274213A1 (en) 2008-04-30 2009-11-05 Omnivision Technologies, Inc. Apparatus and method for computationally efficient intra prediction in a video coder
KR101377527B1 (ko) * 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1450812A (zh) * 2002-04-09 2003-10-22 Lg电子株式会社 采用改进直接模式的块预测方法
KR100750136B1 (ko) * 2005-11-02 2007-08-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
WO2008054176A1 (en) * 2006-11-03 2008-05-08 Samsung Electronics Co., Ltd. Method and apparatus for video predictive encoding and method and apparatus for video predictive decoding
CN101647281A (zh) * 2007-03-28 2010-02-10 三星电子株式会社 视频编码和解码的方法和设备
CN101682769A (zh) * 2007-04-12 2010-03-24 汤姆森特许公司 用于视频编码和解码的跳过-直接模式的取决于环境的合并的方法和装置
WO2009028922A2 (en) * 2007-09-02 2009-03-05 Lg Electronics Inc. A method and an apparatus for processing a video signal

Also Published As

Publication number Publication date
CN105791859A (zh) 2016-07-20
CN105744282B (zh) 2018-10-23
KR20200047794A (ko) 2020-05-07
KR102004836B1 (ko) 2019-07-29
US20130077689A1 (en) 2013-03-28
US20150229958A1 (en) 2015-08-13
KR20170115102A (ko) 2017-10-16
KR20190089093A (ko) 2019-07-29
CN105744282A (zh) 2016-07-06
KR102233820B1 (ko) 2021-03-29
KR102344855B1 (ko) 2021-12-28
US20240223752A1 (en) 2024-07-04
US20210297660A1 (en) 2021-09-23
KR102108078B1 (ko) 2020-05-08
CN105681810A (zh) 2016-06-15
KR101873767B1 (ko) 2018-07-03
CN105681810B (zh) 2018-11-06
US20130163669A1 (en) 2013-06-27
KR20210158888A (ko) 2021-12-31
WO2011149291A2 (ko) 2011-12-01
KR101782929B1 (ko) 2017-09-28
CN102934440A (zh) 2013-02-13
US12028511B2 (en) 2024-07-02
KR102439252B1 (ko) 2022-08-31
CN105791859B (zh) 2018-11-06
US9407930B2 (en) 2016-08-02
CN105791860B (zh) 2018-10-16
KR20180075711A (ko) 2018-07-04
KR20210036420A (ko) 2021-04-02
WO2011149291A3 (ko) 2012-04-19
US9020032B2 (en) 2015-04-28
US9042450B2 (en) 2015-05-26
US20160330444A1 (en) 2016-11-10
US20200092547A1 (en) 2020-03-19
KR20130090785A (ko) 2013-08-14
US10491892B2 (en) 2019-11-26
CN102934440B (zh) 2016-04-13
US11057618B2 (en) 2021-07-06

Similar Documents

Publication Publication Date Title
CN102934440B (zh) 用于处理视频信号的方法和设备
KR102549223B1 (ko) 비디오 신호 처리 방법 및 장치
JP6275889B2 (ja) 縮小された予測動きベクトルの候補に基づいて、動きベクトルを符号化／復号化する方法及び装置
CA2828001C (en) Method and apparatus for encodng and decoding motion vector
CN117615153A (zh) 视频解码和编码方法及用于存储压缩视频数据的装置
CN103299642A (zh) 编码和解码图像信息的方法和使用该方法的装置
CN103444182A (zh) 存储运动信息的方法和使用该方法导出时间运动矢量预测值的方法
KR101974140B1 (ko) 축소된 예측 움직임 벡터의 후보들에 기초해 움직임 벡터를 부호화, 복호화하는 방법 및 장치
JP6935553B2 (ja) 縮小された予測動きベクトルの候補に基づいて、動きベクトルを符号化／復号化する方法及び装置
AU2015201666B2 (en) Method and apparatus for encoding and decoding motion vector based on reduced motion vector predictor candidates
KR101424977B1 (ko) 움직임 벡터를 부호화, 복호화하는 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant