CN104255031B - 层间预测方法和使用层间预测方法的装置 - Google Patents

层间预测方法和使用层间预测方法的装置 Download PDF

Info

Publication number
CN104255031B
CN104255031B CN201380021904.6A CN201380021904A CN104255031B CN 104255031 B CN104255031 B CN 104255031B CN 201380021904 A CN201380021904 A CN 201380021904A CN 104255031 B CN104255031 B CN 104255031B
Authority
CN
China
Prior art keywords
layer
inter
prediction
current block
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380021904.6A
Other languages
English (en)
Other versions
CN104255031A (zh
Inventor
金哲瑾
朴胜煜
林宰显
全勇俊
朴俊永
朴奈利
全柄文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN104255031A publication Critical patent/CN104255031A/zh
Application granted granted Critical
Publication of CN104255031B publication Critical patent/CN104255031B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及层间预测方法和使用其的装置。该层间预测方法包括：从参考层推导层间运动信息的步骤；和使用层间运动信息对在当前层中的当前块执行预测的步骤。层间运动信息可以包括从参考层推导的层间运动矢量。

Description

层间预测方法和使用层间预测方法的装置
技术领域
本发明涉及视频压缩技术，尤其是，涉及用于执行可缩放的视频编译的方法和装置。
背景技术
近年来，对高分辨率和高质量视频的需要已经在各种应用领域中越来越增长。随着在视频的分辨率和质量方面的改善，视频的数据量也增加。
随着在数据量方面的增加，已经开发了具有各种性能的装置和具有各种环境的网络。
随着具有各种性能的装置和具有各种环境的网络的发展，相同的内容可以以各种质量被使用。
具体地，由于可以由终端支持的视频质量多样化，并且构成的网络环境多样化，具有一般质量的视频可以在某些环境下使用，但是具有较高质量的视频可以在其它的环境下使用。
例如，已经利用移动终端购买视频内容的用户可以在他的或者她的家中使用大屏幕显示器以更大的屏幕和更高的分辨率欣赏该视频内容。
随着近来具有高清晰度(HD)分辨率的广播服务，用户已经习惯于高分辨率和高质量的视频，并且服务提供者和用户已经对具有HDTV以及HDTV四倍以上的分辨率的超高清晰度(UHD)服务感兴趣。
因此，为了在各种环境中取决于质量提供由用户请求的视频服务，能够基于对大容量视频的高效率的编码/解码方法对视频质量，诸如视频的图像质量、视频的分辨率、视频的大小，和视频的帧率提供可缩放性。
发明内容
技术问题
本发明的一个目的是提供能够提高可缩放视频编译效果，并且降低要通过层复制发送的信息量的方法和装置。
本发明的另一个目的是提供能够提高使用基本层的信息对于增强层的编码/解码效果的方法和装置。
本发明的再一个目的是提供能够取决于各种可缩放性利用基本层信息的方法和装置。
本发明的再一个目的是提供能够使用各种层间预测方法改善编译效率的方法和装置。
本发明的再一个目的是提供能够使用纹理信息、运动信息、语法信息、单元信息、参数信息、残留信息，和基本层的差分信息的至少一个提高对于增强层的编译效率的方法和装置。
问题的解决方案
根据本发明的一个方面，提供了一种层间预测方法。该方法包括从参考层推导层间运动信息，和使用层间运动信息预测在当前层中的当前块。层间运动信息可以包括从参考层推导的层间运动矢量。在这里，层间运动矢量是通过基于参考层和当前层的分辨率比率缩放参考层的运动矢量推导的。
根据本发明的另一个方面，提供了一种可缩放视频解码器。该可缩放视频解码器包括：第一预测模块，该第一预测模块预测参考层；第二预测模块，该第二预测模块基于第一预测模块的预测，使用层间运动信息预测在当前层中的当前块。在这里，层间运动信息包括从参考层推导的层间运动矢量，并且第二预测模块基于在参考层和当前层之间的分辨率比率缩放参考层的运动矢量。
有益效果
根据本发明，能够提高可缩放视频编译效果，并且降低要通过层复制发送的信息量。
根据本发明，能够提高使用基本层的信息对于增强层的编码/解码效果。
根据本发明，能够取决于各种可缩放性利用基本层的信息。
根据本发明，能够使用各种层间预测方法改善编译效率。
附图说明
图1是示意地图示根据本发明的一个实施例的支持可缩放性的视频编码器的方框图。
图2是图示根据本发明在执行可缩放编译的视频编码器中的层间预测的示例的方框图。
图3是示意地图示根据本发明的一个实施例的支持可缩放性的视频解码器的方框图。
图4是图示根据本发明在执行可缩放编译的视频解码器中的层间预测示例的方框图。
图5是示意地图示根据本发明的层间内部预测示例的示意图。
图6是示意地图示根据本发明在层间内部预测的过程中应用的重新缩放(下采样/上采样)示例的示意图。
图7是示意地图示根据本发明的相移的上采样示例的示意图。
图8是图示根据本发明使用Interpolation_filter_indicator的方法示例的示意图，即，当Interpolation_filter_indicator的值是10的时候的采样方法。
图9是简要地图示用于不参考另一个层在层中执行中间预测的运动信息候选者的示例的示意图。
图10是图示根据本发明执行层间运动预测的方法示例的流程图。
图11是示意地图示根据本发明推导参考层的运动信息方法的示意图。
图12是示意地图示根据本发明缩放mvIL方法的示意图。
图13是简要地图示根据本发明执行层间语法预测方法的示例的示意图。
图14是示意地图示根据本发明应用层间残留预测方法的示例的示意图。
图15是示意地图示根据本发明的层间单元信息预测的示例的示意图。
图16是示意地图示根据本发明的层间单元预测的应用示例的示意图。
图17是示意地图示根据本发明的层间单元预测的另一个示例的示意图。
图18是示意地图示根据本发明的层间单元预测的再一个示例的示意图。
图19是简要地图示根据本发明执行层间纹理预测的方法示例的示意图。
图20是示意地图示根据本发明的层间滤波器参数预测的示例的示意图。
图21是示意地图示根据本发明当应用层间差分模式的时候执行内部预测方法的示意图。
具体实施方式
本发明可以以各种各形式不同地修改，并且其特定的实施例将在附图中描述和示出。但是，实施例不意欲限制本发明。在以下的描述中使用的术语仅仅用于描述特定的实施例，但是，不意欲限制本发明。单数的表示包括多数表示，只要其清楚不同地读取。诸如“包括”和“具有”的术语意欲表示存在在以下的描述中使用的特征、数目、步骤、操作、元件、组件，或者其组合，并且因此，应该理解，不排除存在或者增加一个或多个不同的特征、数目、步骤、操作、元件、组件，或者其组合的可能性。
另一方面，在本发明描述的附图中的元件是为了解释在图像编码/解码装置中的不同的特定功能的便利的目的而独立地绘制，并且不意味该元件由单独的硬件或者单独的软件实施。例如，单元的两个或更多个元件可以合并以形成单个元件，或者一个单元可以被分成多个元件。不脱离本发明的概念，单元被合并和/或分解的实施例属于本发明的范围。
在下文中，将参考附图详细描述本发明的示例性实施例。在附图中类似的组成将由类似的附图标记引用，并且不会重复地描述。
在支持可缩放性的视频编译(在下文中，称为“可缩放编译”)方法中，输入信号可以通过层来处理。取决于层，输入信号(输入视频)可以在分辨率、帧率、比特深度、颜色格式和长宽比的至少一个方面彼此不同。
在本说明书中，可缩放编译包括可缩放编码和可缩放解码。
在可缩放编码/解码中，能够通过使用在层之间的差别，也就是说，基于可缩放性执行层间预测来减少信息的重复传输/处理，并且提高压缩效率。
图1是示意地图示根据本发明的一个实施例的支持可缩放性的视频编码器的方框图。
参考图1，视频编码器100包括用于层1的编码模块105，和用于层0的编码模块155。
层0可以是基本层、参考层或者下层，并且层1可以是增强层、当前层或者上层。
用于层1的编码模块105包括中间/内部预测模块110、变换/量化模块115、滤波模块120、解码图片缓存器(DPB)125、熵编译模块130、单元参数预测模块135、运动预测/重新缩放模块140、纹理预测/重新缩放模块145、参数预测模块150和多路复用器(MUX)185。
用于层0的编码模块155包括中间/内部预测模块160、变换/量化模块165、滤波模块170、DPB 175和熵编译模块180。
中间/内部预测模块110和160可以分别对输入视频执行中间预测和内部预测。中间/内部预测模块110和160可以通过预先确定的处理单元执行预测。用于预测的处理单元可以是编译单元(CU)、预测单元(PU)，或者可以是变换单元(TU)。
例如，中间/内部预测模块110和160可以以CU为单位确定应用中间预测或者内部预测中的哪一个，可以以PU为单位确定预测模式，并且可以以PU或者TU为单位执行预测。要执行的预测包括预测块的构造和残留块(残留信号)的构造。
在中间预测中，预测可以基于当前图片的先前图片和/或后续图片的至少一个的信息执行来构造预测块。在内部预测中，预测可以基于在当前图片中的像素信息执行来构造预测块。
中间预测模式或者方法的示例包括跳过模式、合并模式、运动矢量预测(MVP)方法。在中间预测中，可以选择用于要预测的当前PU的参考图片，并且对应于当前PU的参考块可以是从参考图片中选择出来的。中间/内部预测模块160可以基于参考块来构造预测块。
预测块可以以整数像素采样为单位，或者以小于整数像素的像素采样为单位来构造。在这里，运动矢量也可以以整数像素采样为单位，或者以小于整数像素的像素采样为单位表示。
在中间预测中的运动信息，也就是说，诸如参考图片索引、运动矢量和残留信号的信息被熵编码，并且发送到视频解码器。当应用跳过模式的时候，残留信号完全可以不必产生、变换、量化和发送。
在内部预测中，预测模式可以包括33个方向预测模式，和至少2个无方向模式。无方向模式可以包括DC预测模式和平面模式。在内部预测中，在滤波应用于参考采样之后，可以构造预测的块。
PU可以是具有各种大小和形状的块。例如，在中间预测的情况下，PU可以是具有诸如2N×2N、2N×N、N×2N和N×N大小的块(这里N是整数)。在内部预测的情况下，PU可以是具有诸如2N×2N和N×N大小的块(这里N是整数)。具有N×N大小的PU可以被设置为仅仅应用于特定的情形。例如，具有N×N大小的PU可以被设置为仅仅用于最小的CU，或者可以被设置为仅仅用于内部预测。除了具有以上提及大小的PU之外，诸如N×mN块、mN×N块、2N×mN块，和mN×2N块(这里m<1)的PU可以另外定义和使用。
变换/量化模块115和165以TU为单位对残留块执行变换处理以产生变换系数，并且量化该变换系数。
变换块是采样的矩形块，并且是对其应用相同的变换的块。变换块可以是TU，并且可以具有四树结构。
变换/量化模块115和165可以取决于应用于残留块的预测模式和变换块的大小执行变换处理以产生变换系数的二维阵列。例如，当内部预测应用于残留块，并且残留块具有4×4阵列的时候，可以使用离散正弦变换(DST)来变换该残留块。另外，可以使用离散余弦变换(DCT)来变换残留块。
无论预测模式和变换块的大小如何，变换/量化模块115和165可以固定地使用特定的变换。例如，变换/量化模块115和165可以仅仅将DST应用于所有变换块。变换/量化模块115和165可以仅仅将DCT应用于所有变换块。
变换/量化模块115和165可以量化变换系数以产生量化的变换系数。
变换/量化模块115和165可以将量化的变换系数发送到熵编译模块130和180。此时，变换/量化模块115和165可以以预先确定的扫描顺序将量化的变换系数的二维阵列重新排列为一维阵列，并且可以将重新排列的一维阵列发送到熵编译模块130和180。变换/量化模块115和165可以将基于残留块和预测块产生的重建的块发送到滤波模块120和170用于中间预测，而无需变换/量化。
另一方面，变换/量化模块115和165可以跳过变换，并且仅仅执行量化，或者必要时，可以跳过变换和量化两者。例如，对于对其应用了特定预测方法或者具有特定的大小的块，或者对于对其应用了特定预测块并且具有特定大小的块，变换/量化模块115和165可以跳过变换。
熵编译模块130和180可以对量化的变换系数执行熵编码。编码方法，诸如指数Golomb方法和上下文自适应二进制算数编译(CABAC)，可以用于熵编码。
滤波模块120和170可以将去块滤波、自适应环路滤波(ALF)或者采样自适应偏移(SAO)应用于重建的图片。
去块滤波在重建的图片中除去在块之间的边界上产生的块失真。ALF基于将原始图片与其块由去块滤波器滤波的重建的图片比较的结果值执行滤波处理。SAO重建在对其应用了去块滤波的残留块和原始图片之间的偏移差值，并且以带偏移、边缘偏移等等的形式应用。
滤波模块120和170可以不必应用所有去块滤波、ALF和SAO，而是可以仅仅应用去块滤波，或者可以仅仅应用去块滤波和ALF，或者可以仅仅应用去块滤波和SAO。
DPB 125和175可以从滤波单元125和170接收和存储重建的块或者重建的图片。DPB 125和175可以将重建的块或者图片提供给执行中间预测的中间/内部预测模块110和160。
从用于层0的熵编译模块180输出的信息和从用于层1的熵编译模块130输出的信息可以由MUX 185多路复用，并且可以输出为比特流。
另一方面，用于层1的编码模块105可以包括单元参数预测模块135、运动预测/重新缩放模块140、纹理预测/重新缩放模块145，和参数预测模块150，用于使用层0的信息预测层1的视频的层间预测。
中间参数预测模块135可以推导作为增强层的单元信息使用的基本层的单元(CU、PU和/或TU)信息，或者可以基于基本层的单元信息确定增强层的单元信息。
运动预测模块140执行层间运动预测。层间运动预测也称为层间中间预测。运动预测模块140可以使用参考层(基本层)的运动信息预测当前层(增强层)的当前块。
必要时，运动预测模块140可以缩放参考层的运动信息。
纹理预测模块145可以基于层0的信息执行层间纹理预测。层间纹理预测也称为层间内部预测或者内部BL(基本层)预测。当重建参考层的参考块的时候可以使用纹理预测。在层间纹理预测中，在参考层中参考块的纹理可以用作在增强层中当前块的预测值。在这里，参考块的纹理可以通过上采样缩放。
参数预测模块150可以推导在基本层中使用的参数，供在增强层中重新使用，或者可以基于在基本层中使用的参数预测用于增强层的参数。
另一方面，为了解释便利的目的描述用于层1的编码模块105包括MUX 185，但是，MUX可以是与用于层1的编码模块105和用于层0的编码模块155无关的设备或者模块。
图2是图示根据本发明在执行可缩放编译的视频编码器中的层间预测示例的方框图。
参考图2，用于层1的预测模块210包括中间/内部预测模块220和层间预测模块230。
用于层1的预测模块210可以执行从层0的信息预测层1所必需的层间预测。
例如，层间预测模块230可以从中间/内部预测模块250和/或用于层0的滤波模块260接收层0的信息，并且可以执行预测层1所必需的层间预测。
用于层1的中间/内部预测模块220可以使用层1的信息执行中间预测或者内部预测。
用于层1的中间/内部预测模块220可以使用从层间预测模块230发送的信息基于层0的信息执行预测。
此外，用于层1的滤波模块240可以基于层0的信息执行滤波操作，或者可以基于层1的信息执行滤波操作。层0的信息可以从用于层0的滤波模块260被发送到用于层1的滤波模块240，或者可以从用于层1的层间预测模块230被发送到用于层1的滤波模块240。
另一方面，从层0发送到层间预测模块230的信息可以是有关层0的单元参数的信息、层0的运动信息、层0的纹理信息和层0的滤波器参数信息的至少一个。
因此，层间预测模块230可以包括在图1中执行层间预测的单元参数预测模块135、运动预测模块140、纹理预测模块145，和参数预测模块150的一部分或者全部。
在层1中，中间/内部预测模块220可以对应于在图1中的中间/内部预测模块110，并且滤波模块240可以对应于在图1中的滤波模块120。在层0中，中间/内部预测模块250可以对应于在图1中的中间/内部预测模块160，并且滤波模块260可以对应于在图1中的滤波模块170。
图3是示意地图示根据本发明的一个实施例的支持可缩放性的视频解码器的方框图。
参考图3，视频解码器300包括用于层1的解码模块310和用于层0的解码模块350。
层0可以是基本层、参考层或者下层，并且层1可以是增强层、当前层或者上层。
用于层1的解码模块310可以包括熵解码模块315、重排列模块320、去量化模块325、反变换模块330、预测模块335、滤波模块340和存储器345。
用于层0的解码模块350可以包括熵解码模块355、重排列模块360、去量化模块365、反变换模块370、预测模块375、滤波模块380和存储器385。
当包括视频信息的比特流从视频编码器被发送的时候，DEMUX305可以通过层多路分解信息，并且可以通过层将信息发送到解码器。
熵解码模块315和355可以执行熵解码以对应于在视频编码器中使用的熵编译方法。例如，当在视频编码器中使用CABAC的时候，熵解码模块315和355可以使用CABAC执行熵解码。
在由熵解码模块315和355解码的信息之中用于构造预测块的信息可以提供给预测模块335和375，并且经历由熵解码模块315和355熵解码的残留值，即，量化的变换系数，可以输入到重排列模块320和360。
重排列模块320和360可以基于由视频编码器使用的重新排列方法重新排列经历由熵解码模块315熵解码的比特流的信息，即，量化的变换系数。
例如，重排列模块320和360可以将一维阵列的量化的变换系数再次重新排列为二维阵列的系数。重排列模块320和360可以基于应用于当前块(变换块)的预测模式和/或变换块的大小执行扫描操作以构造系数(量化的变换系数)的二维阵列。
去量化模块325和365可以基于从视频编码器发送的量化参数和块的重新排列的系数值执行去量化操作以产生变换系数。
去量化模块325和365可以不必去量化熵解码的残留，而是可以取决于预先确定的条件，或者取决于由视频编码器使用的量化方法将残留发送到反变换模块330和370。
反变换模块330和370可以对变换系数执行由视频编码器的变换模块执行的变换的反变换。反变换模块330和370可以执行由视频编码器执行的DCT和DST的反DCT和/或反DST。
在视频编码器中的DCT和/或DST可以取决于多条信息，诸如预测方法、当前块的大小，和预测方向有选择地执行，并且视频解码器的反变换模块330和370可以基于由视频编码器使用的变换信息执行反变换。
例如，反变换模块330和370可以取决于预测模式/块大小执行反DCT和反DST。例如，反变换模块330和370可以对已经对其应用内部预测的4×4亮度块执行反DST。
反变换模块330和370可以固定地使用特定的反变换方法，无论预测模式/块大小如何。例如，反变换模块330和370可以仅仅对所有变换块执行反DST。反变换模块330和370可以仅仅对所有变换块执行反DCT。
反变换模块330和370可以对变换系数或者变换系数的块进行反向变换以构造残留信号或者残留块。
必要时或者取决于由视频编码器使用的编码方法，反变换模块330和370可以跳过变换。例如，对于对其应用了特定预测方法或者具有特定大小的块，或者具有特定的预测方法并且具有特定的大小的块，反变换模块330和370可以跳过变换。
预测模块335和375可以基于从熵解码模块315和355提供的预测块构造信息，和预先地解码的块和/或从存储器345和385提供的图片信息构造当前块的预测块。
在当前块的预测模式是内部预测模式的时候，预测模块335和375可以基于当前图片的像素信息对当前块执行内部预测。
当用于当前块的预测模式是中间预测模式的时候，预测模块335和375可以基于在当前图片的先前图片和后续图片的至少一个中包括的信息对当前块执行中间预测。中间预测所必需的运动信息的一部分或者全部可以取决于从视频编码器接收的信息被推导出。
当跳过模式用作中间预测模式的时候，残留可以不必从视频编码器发送，并且预测块可以用作重建块。
另一方面，用于层1的预测模块335可以仅仅使用在层1中的信息执行中间预测或者内部预测，并且可以使用另一个层(层0)的信息执行层间预测。
例如，用于层1的预测模块335可以使用层1的运动信息、层1的纹理信息、层1的单元信息和层1的参数信息的一个预测当前块。用于层1的预测模块335可以使用层1的运动信息、层1的纹理信息、层1的单元信息和层1的参数信息的多条信息预测当前块。
用于层1的预测模块335可以从用于层0的预测模块375接收层1的运动信息，并且可以执行运动预测。层间运动预测也称为层间中间预测。通过层间运动预测，可以使用参考层(基本层)的运动信息预测当前层(增强层)的当前块。必要时，预测模块335可以缩放和使用参考层的运动信息。
用于层1的预测模块335可以从用于层0的预测模块375接收层1的纹理信息，并且可以执行层间纹理预测。层间纹理预测也称为层间内部预测或者内部基本层(BL)预测。当重建参考层的参考块的时候可以使用层间纹理预测。在层间纹理预测中，在参考层中参考块的纹理可以用作在增强层中当前块的预测值。在这里，参考块的纹理可以通过上采样缩放。
用于层1的预测模块335可以从用于层0的预测模块375接收层1的单元参数信息，并且可以执行单元参数预测。通过单元参数预测，基本层的单元(CU、PU和/或TU)信息可以用作增强层的单元信息，或者增强层的单元信息可以基于基本层的单元信息确定。
用于层1的预测模块335可以从用于层0的预测模块375接收层1的滤波参数信息，并且可以执行参数预测。通过参数预测，用于基本层的参数可以被推导和对于增强层重新使用，或者增强层的参数可以基于用于基本层的参数来预测。
加法器390和395可以使用由预测模块335和375构造的预测块和由反变换模块330和370构造的残留块构造重建的块。在这种情况下，加法器390和395可以被认为是构造重建块的特定模块(重建块构造模块)。
由加法器390和395重建的块和/或图片可以提供给滤波模块340和380。
滤波模块340和380可以将去块滤波、SAO和/或ALF应用于重建的块和/或图片。
滤波模块340和380可以不必应用所有去块滤波、ALF和SAO，而是可以仅仅应用去块滤波，或者可以仅仅应用去块滤波和ALF，或者可以仅仅应用去块滤波和SAO。
参考在图3中图示的示例，用于层1的滤波模块340可以使用从用于层1的预测模块335和/或用于层1的滤波模块380发送的参数信息对重建的图片执行滤波操作。例如，用于层1的滤波模块340可以使用从应用于层0的滤波参数预测的参数对层1执行滤波操作，或者层间滤波操作。
存储器345和385可以存储作为参考图片或者参考块使用的重建的块或者图片。存储器345和385可以经由预先确定的输出模块(未图示)或者显示器(未图示)输出存储在存储器345和385中的重建的图片。
在图3图示的示例中，重排列模块、去量化模块、反变换模块等等已经描述为单独的模块，但是，视频解码器可以被构造使得去量化/反变换模块的一个模块顺序地执行类似在图1中图示的视频编码器的重新排列、去量化和反变换。
另一方面，已经参考图3描述预测模块，但是，如图1图示的，用于层1的预测模块可以包括使用另一个层(层0)的信息执行预测处理的层间预测模块，和不使用另一个层(层0)的信息执行预测处理的中间/内部预测模块。
图4是图示根据本发明在执行可缩放编译的视频解码器中的层间预测示例的方框图。
参考图4，用于层1的预测模块410包括中间/内部预测模块420和层间预测模块430。
用于层1的预测模块410可以执行从层0的信息预测层1所必需的层间预测。
例如，层间预测模块430可以从中间/内部预测模块450和/或用于层0的滤波模块460接收层0的信息，并且可以执行预测层1所必需的层间预测。
用于层1的中间/内部预测模块420可以使用层1的信息执行中间预测或者内部预测。
用于层1的中间/内部预测模块420可以使用从层间预测模块430发送的信息基于层0的信息执行预测。
用于层1的滤波模块440可以基于层0的信息执行滤波，或者可以基于层1的信息执行滤波。层0的信息可以从用于层0的滤波模块460发送到用于层1的滤波模块440，或者可以从用于层1的层间预测模块430发送到用于层1的滤波模块440。
另一方面，从层0发送到层间预测模块430的信息可以是有关层0的单元参数的信息、层0的运动信息、层0的纹理信息和层0的滤波器参数信息的至少一个。
在层1中，预测模块410可以对应于在图3中的预测模块355，并且滤波模块440可以对应于在图3中的滤波模块340。在层0中，预测模块450可以对应于在图3中的预测模块375，并且滤波模块460可以对应于在图3中的滤波模块380。
虽然未图示，取决于要执行的层间预测的类型(例如，运动预测、纹理预测、单元参数预测和参数预测)，层间预测模块430可以包括运动预测模块、纹理预测模块、单元参数预测模块、参数预测模块。
在可缩放视频编译中，可以使用另一个层的信息执行当前层的预测信息的层间预测。如参考图1至4描述的，运动预测、纹理预测、单元预测和参数预测可以被认为是层间预测的示例。
层间预测的相应的类型将在下面参考附图具体描述。
层间内部预测
层间内部预测也称为层间纹理预测或者内部BL(基本层)预测。在本说明书中，为了解释便利的目的，层间内部预测、纹理预测和内部BL预测的术语可以混用。
此时，为了在图片大小或者分辨率方面互相匹配基本层的重建的图片和增强层的图片，基本层的重建的图片可以经历上采样。
例如，可以使用DCTIF(基于DCT的内插滤波器)执行上采样。例如，亮度采样可以经历使用8抽头DCTIF的上采样，并且色度采样可以经历使用4抽头DCTIF的上采样。
上采样可以使用内插执行。
另一方面，根据本发明的层间内部预测取决于编码/解码单元呈现除现有技术以外的特点。例如，在编译块(例如，CU)级别，层间内部预测可以取决于单独的CU分割被应用，无论基本层的块大小如何。
在预测块(例如，PU)级别，层间内部预测的成本可以与在当前层(增强层)中的内部预测的成本相当。在这里，在无需使用内部预测模式，使用基本层(参考层)的重建的图片作为参考图片的情况下，层间内部预测在率失真优化(RDO)方面与内部预测相当。
为了应用层间内部预测，是否应用层间内部预测可以在更高级别以标记的形式用信号通知，而无需生成用于PU的新的模式。例如，表示是否使用层间内部预测的信息可以在对块模式执行分析或者分割之前，以在划分标记(split_flag)之后的位置上的标记的形式发送。
在变换块(例如，TU)级别，在保持HEVC的四树结构的情况下，层间内部预测可以被应用于执行变换。
图5是示意地图示根据本发明执行层间内部预测示例的示意图。
在图5图示的示例中，基本层的图片510和增强层的图片530具有64×64的相同的大小，但是，增强层的图片530具有基本层的图片510的分辨率四倍的分辨率。
因此，为了在预测增强层的图片530的时候参考基本层的图片510，通过上采样以内部预测模式重建的基本层的图片510构造参考图片520，并且然后用于预测增强层。
在增强层的图片530中的阴影部分表示层间内部预测没有应用于其的块。
当以这种方法应用层间内部预测的时候，基本层的图片可以经历重新缩放。
特别地，视频编码器可以对输入图片执行下采样处理，以便通过具有不同分辨率的多层编码/解码输入图片。视频编码器/视频解码器可以上采样下层的重建的图片，以便在编码/解码的过程中将下层的图片作为参考图片。
当执行下采样和上采样的时候，在相位特性上的失配可能在编码/解码过程中导致损失，并且可能对编码性能具有直接影响。
图6是示意地图示根据本发明在层间内部预测的过程中应用的重新缩放(下采样/上采样)示例的示意图。
图6(a)图示共置的整数采样用作下采样的采样的示例。图6(b)图示不使用共置的整数采样，而是使用偏离1/2相位的采样的示例。
如图6(a)和图6(b)图示的，当半像素上采样滤波器应用于通过下采样原始采样获得的采样的时候，采样可以在从下采样的采样位置偏离1/2相位的位置上产生。
在图6(a)中，其中在下采样的时候相位没有移位，通过上采样在与原始采样相同的位置上产生采样。相反地，在图6(b)中，其中相位在下采样的时候被移位，采样在除原始采样位置以外的位置(偏离1/2相位的位置)上产生。因此，在图6(b)中，由于相位失配，可能在原始采样和上采样的采样之间出现损失。
为了解决这个问题，可以考虑在上采样过程中执行在相位上匹配原始采样(原始图片)的相移上采样。
图7是示意地图示根据本发明的相移上采样的示例的示意图。
在图7中，下层的采样表示从原始采样移位1/2相位的下采样的采样，和从下采样的采样进行上采样的采样。
在图7图示的示例中，为了在下采样过程中补偿相移，在上采样过程中在1/4相位和3/4相位的位置上对下采样的采样执行上采样。
通过使用1/4相位和3/4相位的采样内插下采样的采样，能够去除相位失配。参考图7，可以看到，在离下采样的采样1/4相位和3/4相位的位置处的上采样的采样不与原始采样相位失配。
在应用上采样滤波的时候，通过什么相移在相位上匹配原始采样可以取决于在下采样的时候使用的相移来确定。
例如，为了在视频解码器中应用上采样滤波，以便在原始采样和上采样的采样之间不导致相位失配，必须从视频编码器到视频解码器发送有关由视频编码器应用的下采样滤波的信息，或者有关要由视频解码器使用的上采样滤波的信息。
表1示出根据本发明对于相位匹配发送的下采样/上采样滤波信息的示例。
<表1>
可以使用查找表，而不是明确地将滤波信息从视频编码器发送到视频解码器。
此时，视频编码器可以将在查找表中表示滤波信息的索引发送到视频解码器。发送的索引可以是表示由视频编码器使用的下采样滤波器信息的索引，或者可以是表示要由视频解码器使用的上采样滤波器信息的索引。
表2示出根据本发明用于发送滤波信息的查找表的示例。
<表2>
滤波器索引 说明
00 8抽头/半像素内插滤波器
01 4抽头/半像素内插滤波器
10 8抽头/1/4、3/4相位内插滤波器
11 4抽头/1/4、3/4相位内插滤波器
上采样/下采样滤波信息可以在编码/解码过程的预先确定的级别存储/发送。例如，滤波信息可以通过使用序列参数集发送。在这种情况下，只要没有不同地用信号通知，相同的滤波器可以用于相同的序列。滤波信息可以通过使用图片参数集发送，并且只要没有不同地用信号通知，相同的滤波器可以用于相同的图片。做为选择，通过存储和通过使用片头发送滤波信息，只要没有不同地用信号通知，相同的滤波器可以用于相同的片段。
表3简要地示出通过使用序列参数集发送滤波信息的示例。
<表3>
在表3中，Interpolation_filter_indicator表示要使用的内插滤波器的类型。
表3示出当滤波信息存储在序列参数集中的时候的语法结构，但是，这仅仅是本发明的一个示例。可以通过使用如上所述的图片参数集或者片头发送Interpolation_filter_indicator。
由Interpolation_filter_indicator表示的滤波器的类型是表示滤波器特点的信息，并且包括如表1所示的相位、抽头大小、抽头系数等等。
也就是说，Interpolation_filter_indicator可以表示如表4所示的查找表的索引。表4示出用于使用Interpolation_filter_indicator表示应用于重新缩放的滤波信息的表的示例。
<表4>
Interpolation_filter_indicator 说明
00 8抽头/半像素内插滤波器
01 4抽头/半像素内插滤波器
10 8抽头/1/4、3/4相位内插滤波器
11 4抽头/1/4、3/4相位内插滤波器
图8是图示根据本发明使用Interpolation_filter_indicator的方法示例的示意图，其是当Interpolation_filter_indicator的值是10的时候的采样方法。
图8(a)图示1/2相移应用于其的下采样的示例，并且图8(b)图示对在图8(a)中下采样的采样执行上采样的示例。
在图8(b)中，为了在原始采样和上采样的采样之间匹配相位，8抽头/1/4和3/4相位内插滤波器用于执行如由Interpolation_filter_indicator表示的上采样。
换句话说，Interpolation_filter_indicator表示要由视频解码器使用的上采样滤波器，并且表示“8抽头/1/4和3/4相位内插滤波器”将用于匹配相位，例如，当Interpolation_filter_indicator的值是10的时候。使用8抽头/1/4和3/4相位内插滤波器匹配相位指的是1/2相移应用于其的下采样已经由视频编码器执行。
迄今描述的层间内部预测可以由参考图1至4描述的层间预测模块(例如，纹理预测模块)执行。在层间内部预测中，在参考层中的参考块的纹理可以用作增强层的当前块的预测值。在这里，参考块的纹理可以通过上采样缩放。
是否应用层间内部预测可以以在表示是否分割CU的标记之后的标记的形式用信号通知。当在层间内部预测中使用缩放的时候，滤波信息可以被编码和发送。此时，要发送的信息如上所述。
层间运动预测
层间运动预测也称为层间中间预测，并且必要时，为了在本说明书中容易理解本发明的目的，层间运动预测和层间中间预测可以混用。
在层间运动预测中，可以使用参考层(基本层)的运动信息预测当前层(增强层)的当前块。
层间运动预测可以由在图1至4中图示的预测模块或者层间预测模块执行。在下文中，为了解释便利的目的，假设层间运动预测由预测模块执行。
图9是简要地图示用于不参考另一个层的在层中执行中间预测(在下文中，称为“中间预测”)的运动信息的候选者示例的示意图。
在图9中，A0、A1、B0、B1、B2和COL可以表示对应的块，或者可以表示对应块的运动信息。在这里，对应块的运动信息可以是运动矢量，或者可以是运动矢量和参考图片索引。
在这里，将描述使用基本层的中间预测方法作为示例。
在基本层中的中间预测可以由在图1至4中图示的预测模块或者中间/内部预测模块执行。在下文中，为了解释便利的目的，假设中间预测由预测模块执行。
中间预测模式包括合并模式、跳过模式和使用运动矢量预测器(MVP)的模式。为了解释便利的目的，使用MVP的模式也称为AMVP(高级的MVP)模式。
在合并模式中，在图9图示的邻近块的运动信息之中选择的运动信息(在下文中，称为运动信息候选者)可以用作当前块的运动信息。表示选择的运动信息候选者的信息可以从视频编码器发送到视频解码器。
在跳过模式中，以与合并模式相同的方式选择的运动信息候选者的运动信息用作当前块的运动信息，但是，残留不被产生/发送。
当应用合并模式或者跳过模式的时候，预测模块可以确定在当前块周围的空间候选者A0、A1、B0、B1和B2的可利用性。可利用性确定可以以预先确定的顺序实施。例如，可利用性确定可以以A1→B1→B0→A1→B2的顺序执行。
在这里，每个候选者的可利用性确定可以包括对先前的候选者均等的确定。例如，B1的可利用性可以考虑到是否运动信息是与A1相同来执行。特别地，当A1是可用的，并且A1和B1具有相同的运动信息的时候，可以确定B1是不可用的。
类似地，B0的可利用性可以考虑到是否运动信息与B1相同来执行，并且A0的可利用性可以考虑到是否运动信息与A1相同来执行。
B2的可利用性确定可以考虑到是否B2具有与A1相同的运动信息和是否B2具有与B1相同的运动信息两者来执行。此时，当先前的四个候选者A0、A1、B0、B1全部是可用的时候，可以确定B2是不可用的。
当使用COL候选者的时候，包括COL候选者的COL图片可以使用参考图片列表指定。在与当前块相同的LCU中包括COL块中预先确定的位置的预测块的运动信息可以用作COL候选者。此时，COL候选者的运动矢量可以考虑到COL图片和当前图片的参考图片缩放。COL候选者的参考索引可以被设置为预先确定的值(例如，0)。
合并候选者列表可以从确定为可用并且包括COL候选者的候选者中根据可利用性确定顺序来构造。此时，在当前块的片类型是B(也就是说，双向预测应用到的片)，并且在合并候选者列表中包括的候选者的数目小于最大数的时候，候选者(组合的双向候选者)可以被添加到合并候选者列表。
甚至在合并候选者列表如上所述构造之后，当在合并候选者列表中候选者的数目小于最大数的时候，预先确定的候选者(例如，零合并候选者)可以被添加到合并候选者列表。
预测模块可以使用在合并候选者列表中由从视频编码器发送的信息(例如，合并索引merge_idx)表示的候选者的运动信息作为当前块的运动信息来执行中间预测。例如，预测模块可以使用由合并索引选择的候选者的运动信息表示的采样作为当前块的预测的采样。
另一方面，当应用AMVP模式的时候，预测模块也可以构造包括MVP候选者的AMVP列表。
在AMVP模式中，预测模块以A0→A1的顺序确定候选者的可利用性，并且以B0→B1→B2的顺序确定候选者的可利用性。
在以A0→A1的顺序确定候选者的可利用性的时候，(1)当具有与当前块相同的参考图片的候选者作为可用的候选者给出的时候，预测模块可以将对应的候选者添加到AMVP列表。当没有满足(1)的候选者的时候，(2)基于在当前图片和当前图片的参考图片之间的POC(图片顺序计数)差，和在当前图片和候选者的参考图片之间的POC差，预测模块可以缩放预先确定为可用的候选者的运动矢量。预测模块可以将缩放的运动矢量添加到AMVP列表。
当候选者的可利用性以B0→B1→B2的顺序确定的时候，(1)当具有与当前块相同的参考图片的候选者被作为可用的候选者给出的时候，预测模块将对应的候选者添加到AMVP列表。当没有满足(1)的候选者，并且A0和A1的任何一个是不可用的时候，(2)基于在当前图片和当前图片的参考图片之间的POC差，和在当前图片和候选者的参考图片之间的POC差，预测模块可以缩放预先确定为可用的候选者的运动矢量。预测模块可以将缩放的运动矢量添加到AMVP列表。
当使用COL候选者(时间候选者)的时候，可以使用参考图片列表指定包括COL候选者的COL图片。在与当前块相同的LCU中包括COL块中预先确定的位置的预测块的运动信息可以用作COL候选者。此时，COL候选者的运动矢量可以考虑到COL图片和当前图片的参考图片被缩放。
当通过以A0→A1的顺序的候选者的可利用性确定所确定的MVP候选者是A，通过以B0→B1→B2的顺序的候选者的可利用性确定所确定的MVP候选者是B，并且通过时间候选者的可利用性确定所确定的MVP候选者是COL的时候，AMVP列表可以以[A B COL]的顺序构造。
此时，当A和B是相同的时候，预测模块可以从AMVP列表中删除A和B的一个。
当A、B和COL全部是可用的时候，预测模块可以将在AMVP列表中的MVP候选者的数目调整为2。例如，预测模块可以构造AMVP列表包括A和B，并且可以从AMVP列表中去除COL。
当在AMVP列表中候选者的数目小于2的时候，预测模块可以增加零(0)运动矢量作为候选者。
视频编码器可以将在AMVP列表中表示要在当前块的中间预测中使用的MVP的MVP索引、运动矢量差mvd，和在参考图片列表中表示用于当前块的参考图片的参考索引发送到视频解码器。参考图片列表是在中间预测中要使用的参考图片的列表，并且划分为用于前向预测的L0和用于反向预测的L1。
基于由MVP索引表示的MVP、从mvd推导的运动矢量，和由参考索引表示的参考图片，预测模块可以构造当前块的预测块。
当应用合并模式/跳过模式或者AMVP模式构造预测块的时候，预测模块可以基于预测块和残留构造当前块的重建块。当应用跳过模式的时候，残留不被发送，并且因此，预测模块可以使用预测块作为重建块。
已经使用基本层作为示例描述了中间预测方法，但是，当无需使用另一个层的信息而对增强层执行中间预测的时候，中间预测可以以与如上所述相同的方法执行。
当对如上所述的基本层执行中间预测的时候，可以使用基本层的运动信息对增强层执行层间运动预测。
层间运动预测可以由视频编码器和视频解码器的预测模块执行。
图10是示意地图示根据本发明执行层间运动预测的方法的示例的流程图。
参考图10，用于增强层的预测模块可以推导参考层的运动信息(S1010)。例如，用于增强层的层间预测模块可以基于从用于参考层的预测模块发送的信息推导参考层的运动信息。做为选择，用于增强层的预测模块可以基于从视频编码器发送的信息推导参考层的运动信息。
此时，用于增强层的预测模块可以缩放推导的参考层的运动信息，例如，推导的参考层的运动矢量。
增强层的预测模块可以使用参考层的运动信息对当前块执行层间中间预测(S1020)。例如，用于增强层的中间/内部预测模块可以使用由层间预测模块推导的参考层的运动信息作为合并模式/跳过模式或者AMVP模式的候选者预测当前块。
将参考附图具体地描述根据本发明的层间内部预测。
1.参考层的运动信息的推导
图11是示意地图示根据本发明推导参考层的运动信息方法的示意图。图11图示当前层是参考层的上层，并且当前层的分辨率高于参考层的分辨率的示例。
参考图11，当前的PU可以基于与当前层的PU 1110(当前的PU)相对应的参考层的PU 1100(参考PU)指定。
假设用于指定当前PU的位置是(xCurr，yCurr)，并且对应于当前PU的参考层的位置，例如，用于指定参考PU的位置是(xRef，yRef)。
假设要从参考层的运动矢量中推导的层间运动矢量是mvIL，并且由(xRef，yRef)指定的参考层的运动矢量(例如，参考PU的运动矢量)是mvRL。
在图11中，nPSW是当前PU 1110的宽度，并且nPSH是当前PU1110的高度。
预测模块可以基于当前PU的位置通过指定当前PU和指定参考PU推导参考PU的运动信息(例如，运动矢量)。
(1)用于指定当前PU的位置(xCurr，yCurr)的确定
用于指定当前PU的位置(xCurr，yCurr)可以被确定为是候选者①至的任何一个。
①LT＝(xP,yP)
②RT＝(xP+nPSW-1,yP)
③LB＝(xP,yP+nPSH-1)
④RB＝(xP+nPSW-1,yP+nPSH-1)
⑤LT’＝(xP-1,yP-1)
⑥RT’＝(xP+nPSW,yP-1)
⑦LB’＝(xP-1,yP+nPSH)
⑧RB’＝(xP+nPSW,yP+nPSH)
⑨C0＝(xP+(nPSW>>1)-1,yP+(nPSH>>1)-1)
⑩C1＝(xP+(nPSW>>1),yP+(nPSH>>1)-1)
C2＝(xP+(nPSW>>1)-1,yP+(nPSH>>1))
C3＝(xP+(nPSW>>1),yP+(nPSH>>1))
用于指定当前PU的位置(xCurr，yCurr)可以被确定为是①至的任何一个，并且可以固定地使用，或者可以在视频编码器中通过RDO确定，然后哪个位置用作(xCurr，yCurr)可以用信号通知。
做为选择，在参考层(基本层)中与用于指定PU的位置相对应的相同的位置可以被确定为是用于在当前层(增强层)中指定PU的位置。例如，当在参考层的PU中的左上角被用作用于指定PU的位置的时候，在当前层的PU中的左上角LT＝(xP，yP)可以确定为(xCurr，yCurr)来使用。
(2)在参考层中的目标位置(xRef，yRef)
在参考层中从其中提取运动矢量的位置(参考PU的位置)可以取决于在当前层和参考层之间的比比率当前PU的位置确定。
表达式1表示根据本发明确定在参考层中从其中提取运动矢量的位置的方法。
<表达式1>
xRef＝xCurr/缩放
yRef＝yCurr/缩放
此时，表示当前层对参考层的比率的系数缩放可以取决于两个层的分辨率确定。例如，在当前层的分辨率是参考层的分辨率二倍的时候，要施加的缩放的值是2。在当前的层的分辨率等于参考层的分辨率的时候，要施加的缩放的值是1。
缩放的值被确定为当前层对参考层的分辨率比率，但是，本发明不局限于分辨率比率。系数缩放可以取决于要在当前层和参考层之间应用的可缩放性类型确定。例如，系数缩放可以是在当前层和参考层之间的图片大小比率或者帧率比率。
预测模块可以在位置(xRef，yRef)上推导运动矢量，也就是说，覆盖位置(xRef，yRef)的PU(参考PU)的运动矢量，作为mvRL。
预测模块可以推导覆盖位置(xRef，yRef)的PU(参考PU)的参考索引作为要在层间运动预测中使用的参考索引refIdxIL。
预测模块可以通过缩放mvRL推导要在层间运动预测(层间中间预测)中使用的运动矢量mvIL。
表达式2表示根据本发明通过缩放mvRL推导mvIL的方法。
<表达式2>
mvIL＝缩放*mvRL
在表达式2中的系数缩放类似于表达式1表示当前层对参考层的比率。例如，在当前的层的分辨率是参考层的分辨率二倍的时候，要施加的缩放的值是2。
在当前层的分辨率等于参考层的分辨率的时候，要施加的缩放的值是1，并且预测模块可以将mvRL作为mvIL使用。
2.使用从参考层推导的运动信息的层间中间预测
预测模块可以使用从参考层推导的运动信息对当前层(增强层)的当前块执行层间中间预测。从参考层推导的运动信息包括运动矢量mvIL和参考索引refIdxIL。
例如，当应用合并模式/跳过模式的时候，预测模块可以将mvIL和refIdxIL作为合并候选者添加到用于当前块的合并候选者列表。
当应用AMVP模式的时候，预测模块可以将mvIL作为MVP候选者添加到用于当前块的AMVP列表。
(1)当应用合并模式的时候，
表5示出当在中间预测时不参考另一个层，并且如上所述在层中使用合并模式的时候构造的合并候选者列表的示例。
<表5>
在表5中，A1、B1、B0、A0、B2和COL等于在图9中的A1、B1、B0、A0、B2和COL。在表5中构造中间预测的合并候选者列表的方法与如上参考图9所述的中间预测的合并模式相同。
在表5中，具有最小值的索引可以分配给位于最上面位置的候选者，并且具有最大值的索引可以分配给位于最下位置的候选者。
相反地，当应用层间运动预测的时候，与表5不同，预测模块可以构造包括从参考层推导的运动信息的合并候选者列表。在这里，为了解释便利的目的，从参考层推导的运动信息称为参考层候选者REF。
REF包括mvIL和refIdxIL。
表6示出当应用根据本发明的层间运动预测的合并模式的时候，由预测模块构造的合并候选者列表的示例。表6示出根据本发明参考层候选者被添加到合并候选者列表的顺序。
<表6>
在表6中，A1、B1、B0、A0、B2和COL等同于在图9中的A1、B1、B0、A0、B2和COL。在表6中使用A1、B1、B0、A0、B2和COL构造合并候选者列表的方法与参考图9如上所述的中间预测的合并模式相同。
在表6中，具有最小值的索引可以分配给位于最上面位置的候选者，并且具有最大值的索引可以分配给位于最下位置的候选者。
在这里，如参考图9描述的，每当确定A1、B1、B0、A0和B2的可利用性时，预测模块可以考虑与先前候选者的等同性。
在构造排除了A1、B1、B0、A0和B2的等同性的列表之后，预测模块可以一次确定A1、B1、B0、A0、B2和COL的等同性。在这种情况下，在确定COL的可利用性之后，可以执行保留等同候选者的一个的操作。
当使用层间运动预测的合并模式的时候，预测模块可以将REF添加到在表6的合并候选者列表中的至的任何一个。
例如，预测模块可以将最小的索引(例如，0)分配给REF，并且可以将REF添加到在合并候选者列表中的也就是说，预测模块可以将REF添加到合并候选者列表的头部。
预测模块可以将最大的索引(例如，在合并候选者列表中的候选者的最大数目-1)分配给REF，并且可以将REF添加到在合并候选者列表中的也就是说，预测模块可以将REF添加到合并候选者列表的尾部。
预测模块可以将REF添加到空间候选者之后的也就是说，在确定空间候选者的可利用性之后，预测模块可以将REF添加到合并候选者列表。
预测模块可以前将REF添加到在当前层中的候选者之中的单向预测候选者之后且在组合的双向预测候选者之前的也就是说，在确定在当前层中在候选者之中的单向预测候选者的可利用性之后，并且在添加组合的双向预测候选者之前，预测模块可以将REF添加到合并候选者列表。
在考虑在当前层中的所有候选者之后，预测模块可以将REF添加到也就是说，在检查在当前层中的所有候选者的可利用性之后，预测模块可以将REF添加到合并候选者列表。
此外，在考虑当前块的左侧候选者和上候选者之后，预测模块可以将REF添加到也就是说，在连续地检查当前块的左侧候选者和上候选者的可利用性之后，预测模块可以将REF添加到合并候选者列表。
在表6中在层间运动预测的合并候选者列表中包括的候选者的数目，也就是说，候选者的最大数目可以与表5相同。在这种情况下，为了满足候选者的最大数目，位于REF之后的当前层的候选者可以取决于REF的位置从合并候选者列表中去除。当位于REF以前的当前层的候选者满足候选者的最大数目的时候，REF可以从合并候选者列表中去除。
在表6中在层间运动预测的合并候选者列表中包括的候选者的数目，也就是说，候选者的最大数可以不同于表5。例如，考虑到REF，在表6中候选者的最大数目可以比表5的大1。在这种情况下，合并候选者列表可以被认为是在合并候选者列表由当前层的候选者构造之后，通过将REF添加到预先确定的位置或者预先确定的顺序来完成的。在这种情况下，在合并候选者列表中的REF的位置或者顺序可以预先确定，或者可以由视频编码器命令，或者可以由视频解码器推导。
在合并候选者列表中的候选者之中哪个候选者用于执行合并模式可以由视频编码器命令。例如，预测模块可以在表6示出的合并候选者列表中选择由从视频编码器接收的信息(例如，合并索引merge_idx)表示的候选者，并且可以基于由选择的运动信息表示的块构造当前块的预测块。
(2)当应用MVP(AMVP)模式的时候
表7示出当在中间预测中不参考另一个层并且MVP模式应用于当前层的时候构造的候选者列表的示例。在本说明书中，使用MVP的中间预测模式称为AMVP模式，并且包括在那时使用的候选者MVP的列表称为AMVP列表。
<表7>
在表7中，A1、B1、B0、A0、B2、COL、A和B等同于在图9中的A1、B1、B0、A0、B2和COL，以及在参考图9描述的MVP模式中的A和B。在表7中构造中间预测的MVP候选者列表的方法与如上参考图9所述的中间预测的MVP模式相同。
在表7中，具有最小值的索引可以分配给位于最上面位置的候选者，并且具有最大值的索引可以分配给位于最下位置的候选者。
相反地，当应用层间运动预测的时候，与表7不同，预测模块可以构造包括从参考层推导的运动信息的MVP候选者列表。在这里，从参考层推导的运动矢量称为参考层候选者REF。
REF包括mvIL。
表8示出当应用根据本发明的层间运动预测的MVP模式的时候，由预测模块构造的AMVP列表的示例。表8示出根据本发明将参考层候选者添加到AMVP列表的顺序。
<表8>
在表8中，A1、B1、B0、A0、B2、COL、A和B等于在图9中的A1、B1、B0、A0、B2和COL，以及在参考图9描述的MVP模式中的A和B。在表8中使用A、B和COL构造AMVP列表的方法与如上参考图9所述的中间预测的合并模式相同。
在表8中，具有最小值的索引可以分配给位于最上面位置的候选者，并且具有最大值的索引可以分配给位于最下位置的候选者。
如参考图9描述的，当A和B作为A和B的等同性确定结果彼此等同的时候，预测模块可以从AMVP列表中去除A和B的一个。这个过程可以在确定B的可利用性的时候执行，可以在确定A和B之后执行，或者可以当确定COL的可利用性的时候，或者在确定COL的可利用性之后执行。
当应用层间运动预测的MVP模式的时候，预测模块可以将REF添加到在表8示出的AMVP列表中的至的任何一个。
例如，预测模块可以将最小的索引(例如，0)分配给REF，并且可以将REF添加到在AMVP列表中的也就是说，预测模块可以将REF添加到AMVP列表的头部。
预测模块可以将最大的索引(例如，在AMVP列表中的候选者的最大数目-1)分配给REF，并且可以将REF添加到也就是说，预测模块可以将REF添加到AMVP列表的尾部。
预测模块可以将REF添加到其是在考虑当前层的所有候选者之后的位置。
预测模块可以将REF添加到在空间候选者之后的预测模块可以将REF添加到其是在考虑当前块的左侧候选者之后且在考虑上候选者之前的位置。
在表8中在层间运动预测的AMVP列表中包括的候选者的数目，也就是说，候选者的最大数目可以与表7相同。在这种情况下，为了满足候选者的最大数目，位于REF之后的当前层的候选者可以取决于REF的位置从AMVP列表中去除。当位于REF以前的当前层的候选者满足候选者的最大数目的时候，REF可以从AMVP列表中去除。
例如，当候选者的最大数目是2的时候，在位置上的REF可以从AMVP列表中去除。
在表8中在层间运动预测的AMVP列表中包括的候选者的数目，也就是说，候选者的最大数目可以不同于表7。例如，考虑到REF，在表8中候选者的最大数目可以比表7(例如，2)的大1。在这种情况下，AMVP列表可以被认为是在AMVP列表由当前层的候选者构造之后，通过将REF添加到预先确定的位置而完成的。在这种情况下，在AMVP列表中的REF的位置或者顺序可以预先确定，或者可以由视频编码器命令，或者可以由视频解码器推导。
在AMVP列表中的候选者之中哪个候选者用于执行MVP模式可以由视频编码器命令。例如，预测模块可以在表8示出的AMVP列表中选择由从视频编码器接收的信息表示的候选者，并且可以使用选择的运动矢量和从视频编码器接收的mvd推导当前块的运动矢量。预测模块可以基于推导的运动矢量和由从视频编码器接收的参考索引表示的参考图片构造当前块的预测块。
另一方面，当预先确定的条件满足的时候，在将REF添加到AMVP列表之前，预测模块可以缩放mvIL。
例如，在当前PU的参考索引不同于参考PU的参考索引(refIdxIL)的时候，mvIL可以被缩放。换句话说，当由当前PU的参考索引表示的图片(当前PU的参考图片)的POC不同于由参考PU的参考索引表示的图片(参考PU的参考图片)的POC的时候，mvIL可以被缩放。
图12是示意地图示根据本发明缩放mvIL方法的示意图。
参考图12，在当前层的当前图片的POC和参考图片1220的当前PU 1200的POC之间的差是tb，并且在参考层的当前图片的POC和参考PU 1210的参考图片1230的POC之间的差是td。
在当前PU的参考图片1220的POC pocRef不同于参考PU 1210的参考图片1230的POC pocRefLayer的时候，预测模块可以缩放REF，即，mvIL，并且可以将缩放的REF添加到AMVP列表。
在这里，mvIL可以使用由表达式3表示的方法被缩放。缩放的mvIL称为mvIL’。
<表达式3>
tx＝(16384+(Abs(td)>>1))/td
DistScaleFactor＝Clip3(-4096,4095,(tb*tx+32)>>6)
mvIL’＝Clip3(-8192,8191.75,Sign(DistScaleFactor*mvIL)*((Abs(DistScaleFactor*mvIL)+127)>>8))
td＝Clip3(-128,127,pocCurr–pocRefLayer)
tb＝Clip3(-128,127,pocCurr–pocRef)
在表达式3中，pocCurr表示当前图片的POC，pocRef表示由当前PU的参考索引表示的图片的POC，并且pocRefLayer表示由参考PU的参考索引表示的图片的POC，也就是说，(xRef，yRef)的参考索引。
当x小于0的时候，Abs(x)等于–x，并且当x等于或者大于0的时候，等于x。当z小于x的时候，Clip3(x，y，z)等于x，当z大于y的时候，等于y，并且否则，等于z。
当pocRef和pocRefLayer彼此不同的时候，预测模块可以基于在每个层中到参考图片的距离缩放层间运动矢量，如表达式3所表示的，并且可以将缩放的运动矢量候选者(也就是说，缩放的mvIL或者缩放的REF)添加到AMVP列表。
此时，预测模块可以将缩放的REF(也就是说，缩放的mvIL)，而不是REF(也就是说，mvIL)添加到AMVP列表，并且可以以如上所述相同的方式使用AMVP模式执行层间运动预测。
当执行层间运动预测的时候，从CU级别的视点，无论基本层的块大小如何，可以使用所有CU分割。从PU级别的视点，视频编码器对中间预测和层间运动预测执行RDO，由此能够应用最佳预测模式。
层间语法预测
在层间语法预测中，使用参考层的语法信息预测或者产生当前块的纹理。此时，用于预测当前块的参考层的语法信息可以是有关内部预测模式或者运动信息的信息。
例如，参考层可以是P片或者B片，但是，在该片中的参考块可以是已经对其应用内部预测模式的块。在这种情况下，可以执行使用在参考层的语法信息之中的内部模式产生/预测当前层的纹理的层间预测。具体地，当参考层是P片或者B片，但是在片中的参考块是已经对其应用内部预测模式的块的时候，内部预测可以(1)以参考块的内部预测模式，(2)通过应用层间语法预测使用在当前层中的当前块的邻近参考像素来执行。
具体地，当参考层是P片或者B片，但是在片中的参考块是已经对其应用中间预测模式的块的时候，通过缩放在参考层的语法信息之中的运动信息产生/预测当前层的纹理的层间预测可以以与在如上所述的层间运动预测中相同的方式执行。
因此，层间语法预测可以是一起使用层间运动预测和层间纹理预测的方法。
如上所述，层间运动预测是使用参考层的运动信息在增强层中产生预测信号(预测块)的预测方法。
在这里，参考层的运动信息可以取决于在层之间分辨率的变化被缩放。
当内部预测模式应用于参考层，并且没有运动信息的块是参考块的时候，能够通过如上所述采用参考层的内部预测模式并且从增强层的邻近像素预测当前块来产生预测信号。
在层间语法预测或者层间运动信息中，亮度分量的运动信息可以从参考层以4×4块为单位提取。在这种情况下，亮度分量的运动信息可以用作色度分量的运动信息。
当执行层间语法预测的时候，通过在更高级别用信号通知应用什么预测模式，从PU级别的视点看无需产生新的PU模式，层间内部预测和层间运动预测可以取决于应用于参考层中的参考块的预测模式而自适应地应用。
表示是否应用层间语法预测的标记可以以在表示CU划分的标记(例如，CU_split_flag)之后的标记的形式发送。
图13是简要地图示根据本发明执行层间语法预测方法示例的示意图。
参考图13，内部块和中间块存在于参考层1300的参考块1310中。
当层间语法预测应用于在图13中图示的示例的时候，可以通过构造上采样以匹配当前层的图片1320并且向其应用层间语法预测来构造重建的块(1330)。
此时，可以通过参考来自在参考层中对其应用内部预测模式的块(内部)的内部预测模式，并参考来自对其应用中间预测模式的块(MV)的运动信息来执行层间语法预测。
用于当前层的目标图片的层间语法预测可以与其它的预测模式混合。在图13中，在当前图片1340中的阴影区表示其它的预测模式应用于其的区域。
层间残留预测
层间残留预测是使用参考层的残留信号产生增强层的残留预测视频，并且参考在增强层中的残留预测视频编码/解码残留视频的方法。
层间残留预测可以由在图1至4中的预测模块或者层间预测模块执行。为了解释便利的目的，假设层间残留预测由预测模块执行。
预测模块可以通过取决于在层之间的分辨率差或者比率缩放参考层的残留信号产生增强层的残留预测视频。
视频编码器可以与层间语法预测和层间内部预测无关地对层间残留预测执行RDO。当通过RDO确定执行层间残留预测的时候，用于预测残留信号的标记，也就是说，表示执行层间残留预测的标记，可以以CU为单位在残留(变换系数)以前被编码和发送。
图14是示意地图示根据本发明执行层间残留预测方法的示意图。
参考图14，可以通过取决于在层之间的分解率比率缩放在参考层的残留信号1400中用于层间预测所参考的参考块部分1410产生残留预测视频1420。
用于当前块的残留视频1430可以基于残留预测视频1420重建。此时，阴影区表示层间残留预测没有应用于其的区域。
视频编码器可以基于RDO确定是否以所有预测模式将层间残留预测应用于残留信号。表示是否应用层间残留预测的信息可以在发送有关系数(例如，残留的量化的变换系数)的信息之前以标记的形式发送。
用于层间预测的语法结构
视频编码器可以用信号通知用于以上提及的层间预测需要的信息。视频解码器可以接收用信号通知的信息，并且可以执行层间预测。
执行如上所述或者稍后要描述的层间预测的方法，和表示必需的信息语法的示例将在下面描述。
表9示出根据本发明的NAL单元语法的示例。
<表9>
表10示出根据本发明的NAL单元头部SVC扩展语法的示例。
<表10>
表11示出根据本发明的序列参数集RBSP语法的示例。
<表11>
表12示出根据本发明的子集序列参数RBSP语法的示例。
<表12>
表13示出根据本发明的序列参数集SVC扩展语法的示例。
<表13>
表14示出根据本发明的图片参数集RBSP语法的示例。
<表14>
表15示出根据本发明的缩放列表数据语法的示例。
<表15>
表16示出根据本发明的缩放列表数据语法的示例。
<表16>
表17示出根据本发明的自适应参数集RBSP语法的示例。
<表17>
表18示出根据本发明的补充增强信息RBSP语法的示例。
<表18>
表19示出根据本发明的补充增强信息消息语法。
<表19>
表20示出根据本发明的接入单元定界符RBSP语法的示例。
<表20>
表21示出根据本发明的填充符数据RBSP语法的示例。
<表21>
表22示出根据本发明的片层RBSP语法的示例。
<表22>
表23示出根据本发明的片层扩展RBSP语法的示例。
<表23>
表24示出根据本发明的RBSP片尾比特语法的示例。
<表24>
表25示出根据本发明的RBSP尾比特语法的示例。
<表25>
表26示出根据本发明的RBSP字节对准语法的示例。
<表26>
表27示出根据本发明的片头的示例。
<表27>
表28示出根据本发明在可缩放扩展语法中的片头的示例。
<表28>
表29示出根据本发明的短期参考图片集语法的示例。
<表29>
表30示出根据本发明的参考图片列表修改语法的示例。
<表30>
表31示出根据本发明的参考图片列表组合语法的示例。
<表31>
表32示出根据本发明的采样自适应偏移参数语法的示例。<表32>
表33示出根据本发明的自适应环路滤波器参数语法的示例。
<表33>
表34示出根据本发明的自适应环路滤波编译单元控制参数语法的示例。
<表34>
表35示出根据本发明的预测权重表语法的示例。
<表35>
表36示出根据本发明的片数据语法的示例。
<表36>
表37示出根据本发明在可缩放扩展语法中的片数据的示例。
<表37>
表38示出根据本发明的编译树语法的示例。
<表38>
表39示出根据本发明在可缩放扩展语法中的编译树的示例。
<表39>
表40示出根据本发明的编译单元语法的示例。
<表40>
表41示出根据本发明在可缩放扩展语法中的编译单元的示例。
<表41>
表42示出根据本发明的预测单元语法的示例。
<表42>
表43示出根据本发明的运动矢量差分编译语法的示例。
<表43>
表44示出根据本发明的变换树语法的示例。
<表44>
表45示出根据本发明的变换系数语法的示例。
<表45>
表46示出根据本发明的残留编译语法的示例。
<表46>
在以上提及的语法中，nal_unit_type可以如在表47中定义。
<表47>
dependency_id表示指示每个NAL单元的依赖关系的标识(ID)号。
quality_id表示发送去指示每个NAL单元的质量水平的ID号。
当singleloop_decoding_flag的值是1的时候，运动补偿仅仅在可缩放的比特流的最上层中执行。当singleloop_decoding_flag的值是0的时候，允许在所有层中运动补偿。
slice_type根据表48指定片的编译类型。
<表48>
slice_type slice_type的名称
0,5 EP(在可缩放扩展中的P片)
1,6 EB(在可缩放扩展中的B片)
2,7 EI(在可缩放扩展中的I片)
当inter_layer_intra_prediction_flag的值是1的时候，其指定在编译单元中自适应地使用层间内部预测操作。否则，不使用层间内部预测。当inter_layer_intra_prediction_flag不存在的时候，inter_layer_intra_prediction_flag的值可以推断为是0。ILIntraPredFlag可以推导如下。
-当singleloop_decoding_flag的值是1的时候，并且当inter_layer_intra_prediction_flag的值是1，以及slice_type是EI的时候，ILIntraPredFlag的值被设置为1。否则，ILIntraPredFlag的值被设置为0。
-当singleloop_decoding_flag的值是0的时候，ILIntraPredFlag的值被设置为与inter_layer_intra_prediction_flag的值相同。
当inter_layer_syntax_prediction_flag的值是1的时候，其指定在编译单元中自适应地使用层间语法预测操作。否则，不使用层间语法预测。当inter_layer_syntax_prediction_flag不存在的时候，inter_layer_syntax_prediction_flag的值可以推断为是0。ILSyntaxPredFlag可以推导如下。
-当inter_layer_syntax_prediction_flag的值是1，并且slice_type不是EI的时候，ILSyntaxPredFlag的值被设置为1。否则，ILSyntaxPredFlag的值被设置为0。
当inter_layer_residual_prediction_flag的值是1的时候，其指定在编译单元中自适应地使用层间残留预测操作。否则，不使用层间残留预测。当inter_layer_residual_prediction_flag不存在的时候，inter_layer_residual_prediction_flag的值可以推断为是0。ILResPredFlag可以推导如下。
-当inter_layer_residual_prediction_flag的值是1，并且slice_type不是EI的时候，ILResPredFlag的值被设置为1。否则，ILResPredFlag的值被设置为0。
cabac_init_idc指定用于确定在上下文变量的初始化过程中使用的初始化表的索引。cabac_init_idc可以具有在0至2的范围内的值。
il_mode是指示是否使用基本层信息的语法。il_mode取决于singleloop_decoding_flag的值起以下的作用。
当singleloop_decoding_flag的值是1，并且slice_type是EI的时候，以及当il_mode的值是1的时候，重建的基本层可以基于与当前层的分辨率差被缩放，然后可以用作当前CU的预测信息。当il_mode的值是0的时候，不使用基本层的重建信息。
当singleloop_decoding_flag的值是1，并且slice_type不是EI的时候，以及当il_mode的值是1的时候，考虑到与对应的当前层的分辨率差，基本层的运动信息和内部预测信息可以被缩放和复制以产生预测信号，并且其值可以用作预测器。当il_mode的值是0的时候，不使用基本层的重建信息。
当singleloop_decoding_flag的值是0，并且il_mode的值是1的时候，考虑到分辨率，基本层的重建的像素信息可以被缩放，然后可以用作预测信息。
当il_res_mode的值是1的时候，考虑到分辨率，对应的基本层的重建的残留数据可以被缩放，然后可以用作用于当前CU的残留的预测器。当il_res_mode的值是0的时候，不使用对应的基本层的重建的残留数据。
当inter_layer_differential_coding_flag的值是1的时候，其指定在编译单元中自适应地使用层间差分编译操作。否则，不使用层间差分编译。当inter_layer_differential_coding_flag不存在的时候，inter_layer_differential_coding_flag值推断为是0。ILDiffCodingFlag可以推导如下。
当singleloop_decoding_flag的值是1的时候，inter_layer_differential_coding_flag的值是1，并且slice_type是EI，ILDiffCodingFlag的值被设置为1。否则，ILDiffCodingFlag的值被设置为0。
-当singleloop_decoding_flag的值不是1的时候，ILDiffCodingFlag的值被设置为与inter_layer_differential_coding_flag的值相同。
层间单元预测
用于可缩放编译的输入信号可以在分辨率、帧率、比特深度、颜色格式、长宽比等等方面在层之间是不同的。
通过考虑到这点执行层间预测，能够减少冗余，并且提高关于同时联播的编译效率。
例如，减少有关使用基本层的信息在增强层中发送的处理单元，即，CU、PU和TU的信息量的方法可以用作降低冗余信息量的方法。
减少使用基本层的单元(CU、PU和/或TU)信息在增强层中发送的单元信息的方法称为层间单元预测。
层间单元预测可以由在图1至4中图示的预测模块或者层间预测模块执行。在下文中，为了解释便利的目的，假设层间单元预测由预测模块执行。
例如，当执行层间单元预测，并且预测模块获取基本层的单元信息的时候，可以基于获取的单元信息执行增强层的分割。
图15是示意地图示根据本发明的层间单元信息预测示例的示意图。
在图15图示的示例中，假设增强层的分辨率是基本层的分辨率二倍。
在图15中，层0可以是基本层或者参考层，并且层1可以是增强层或者当前层。
参考图15，层0的LCU块1510被分割为各种CU、Pu或者TU。在这里，为了解释便利的目的，CU、Pu和/或TU的分割信息称为CU信息或者单元信息。
预测模块可以产生参考CU信息1520，其是通过上缩放基本层的CU信息而获得的信息。预测模块可以使用参考CU信息1520推导层0的CU信息。
例如，当基本层的CU信息从参考CU信息1520推导并且应用于层1的时候，诸如LCU01530的单元结构可以用作层1的LCU结构。当不使用参考CU信息1520的时候，也就是说，当不使用基本层的CU信息的时候，诸如LCU11540的单元结构可以用作层1的LCU结构。
层0的CU信息(单元信息)的使用可能或者未必有助于提高编译效率。因此，视频编码器可以自适应地用信号通知是否使用层0的CU信息。
为了解释便利的目的，已经描述单元信息是CU、PU和TU的分割信息，但是，除了CU、PU和TU的分割结构之外，单元信息可以包括有关CU、PU和TU的信息。换句话说，基本层的CU信息可以是树形结构或者分割信息，或者可以是PU信息(是否使用跳过模式或者非跳过模式、预测方向、运动矢量、参考索引等等的信息)，或者可以包括两者。
例如，当层间单元预测与树形/分割信息的预测有关的时候，可以使用以下的语法。
表49示出用于可缩放扩展层的片数据语法的示例。
<表49>
表50示出用于可缩放扩展层的编译树语法的示例。
<表50>
当bl_tree_info_skip_flag的值是1的时候，其表示基本层(参考层或者层0)的树形信息没有任何变化地使用。当bl_tree_info_skip_flag的值是0的时候，其表示不使用基本层的树形信息。
可以参考图5以便帮助理解bl_tree_info_skip_flag。当bl_tree_info_skip_flag的值是1的时候，通过CU信息上缩放，基本层的树形信息被上缩放以匹配增强层(当前层或者层1)的分辨率。因此，当前最大的编译单元(LCU)的split_coding_unit_flag的值可以推导为与基本层的上缩放的分割信息是相同的值。
当分割信息存在于上缩放的CU信息中的时候，BLSplitInfo[x0][y0]具有1的值，并且当分割信息不存在于上缩放的CU信息中的时候，具有0的值。
例如，当增强层的分辨率是基本层的分辨率二倍，并且增强层和基本层具有相同的CU深度的时候，基本层的上缩放的分解信息具有比增强层的分割信息低一级的深度。
当分割信息在基本层中不存在的时候，可以通过将BLSplitInfo集设置为0，并且发送仅仅用于增强层的附加信息(例如，split_coding_unit_flag)用信号通知当从上缩放的基本层预测分解信息时除分割信息外进一步分解的分割信息。
类似的方法可以应用于TU。例如，用于当前层的TU分割信息可以使用预先确定的标记信息处理。
表51示出根据本发明在可缩放扩展中的编译单元语法的示例。在表51示出的示例中，用于当前层的TU分割信息的传输可以使用标记bl_tu_info_skip_flag跳过。
<表51>
表52示出根据本发明在可缩放扩展中的变换树语法的示例。
<表52>
如上所述，在表51和52中，当bl_tu_info_skip_flag的值是1的时候，基本层的上缩放的TU分割信息可以没有任何变化在当前层中使用。当bl_tu_info_skip_flag的值是0的时候，用于当前层的TU分割信息可以独立地从视频编码器发送。
另一方面，CU/PU/TU信息可以组合供层间单元预测的应用使用。为了理解本发明的目的，将在下面描述基本层和增强层的空间比是2的示例，也就是说，在两个层之间的分辨率差是2倍的示例。
图16是示意地图示根据本发明应用层间单元预测示例的示意图。
将在下面参考图16描述在应用层间单元预测的时候重复采样基本层结构的方法。
图16(a)图示基本层的CU和PU结构。
在图16(a)中，假设基本层块1600是内部编译的块，分解区域1620是N×N分割，并且另一个区域是2N×2N分割。
在图16(a)中，当对在增强层中使用的参考块1610的CU/PU信息执行二次上采样的时候，类似在图16(b)中图示的块1630的分割结构，或者类似在图16(c)中图示的块1640的分割结构可以取决于要使用的基本层的分割结构的级别(例如，CU级别或者PU级别)获得。
此时，当仅仅基本层的CU信息用于增强层的时候，增强层的CU分割结构可以类似块1630的分割结构来构造。在这种情况下，不能覆盖增强层的视频具有除块1630外的进一步分解的分割结构的情形。
相反地，当除了基本层的CU信息之外还有PU信息反映在增强层的CU分割结构中的时候，类似于图16(c)中图示的块1640，与基本层中具有除2N×2N分割以外的进一步分解的分割(例如，N×N分割)部分相对应的增强层的区域可以另外以CU分割。因此，增强层的视频可以具有进一步分解的分割结构。
另一方面，图16图示基本层是内部编译的块的示例，但是，相同的方法可以应用于基本层是中间编译的块的情形。
图17是示意地图示根据本发明应用层间单元预测的另一个示例的示意图。
在图17中，假设基本层的块1700是中间编译的块、区域1720是N×2N分割，并且区域1730是2N×N分割。
在中间编译的块的情况下，除了2N×2N分割和N×N分割之外，还可以使用各种分割类型，诸如2N×N分割、N×2N分割、2N×nU分割、2N×nD分割、nL×2N分割，和nR×2N分割。
当对在增强层中使用的基本层的参考块1710的CU/PU信息执行二次上采样的时候，类似在图17(b)中图示的块1740的分割结构，或者类似在图17(c)中图示的块1750的分割结构可以取决于要使用的基本层的分割结构的级别(例如，CU级别或者PU级别)获得。
当仅仅基本层的CU信息用于增强层的时候，除在参考块1710中的区域1720和区域1730的结构之外，增强层的CU分割结构可以通过仅仅上采样CU分割结构来构造，类似于在图17(b)中图示的块1740的分割结构。
当基本层的PU信息反映在增强层的CU分割结构中的时候，与具有在基本层中除2N×2N分割以外的分割(例如，区域1720或者区域1730的分割)的部分相对应的增强层的区域可以另外以CU分割，如在图17(c)中图示。
换句话说，当基本层的PU信息反映在图16和17中的增强层的CU分割结构中的时候，与基本层中包括PU分割区域相对应的增强层的区域可以以CU分割。
另一方面，有选择地使用基本层的分割结构的方法可以应用于增强层。
图18是示意地图示根据本发明应用层间单元预测的再一个示例的示意图。
将参考图18描述在增强层中重新使用基本层的分割结构的方法。
如在图18(a)中图示的，假设基本层的块1800具有矩形分割，诸如2N×2N或者N×N，和矩形分割，诸如2N×nU、2N×nD、nL×2N或者nR×2N。
在这种情况下，由于CU被仅仅以矩形(2N×2N或者N×N)的形式分解，可以考虑有在增强层中选择地使用基本层的分割结构的方法。
例如，如在图18(b)中图示的，参考块1810的分割结构可以反映为增强层的块1840的分割结构。
如在图18(c)中图示的，在参考块的PU分割结构中的矩形分割1820可以反映在增强层的CU分割结构中，并且在参考块的PU分割结构中的矩形分割1830可以不必反映在增强层的CU分割结构中。
以这种方法，组合和使用CU/PU/TU信息的方法可以由任意单元有选择地使用。也就是说，可以基于任意单元，诸如序列、图片组、单个图片、多个片、单个片、多个LCU和信号LCU，确定是否选择组合和使用基本层的CU/PU/TU信息以在增强层中使用的方法。
自适应的层间纹理预测
通过将滤波器应用于层间预测能够改善参考图片的质量。例如，当执行层间内部预测的时候，滤波器可以应用于参考图片以便改善参考图片的质量。
在空间可缩放性的情况下，上采样滤波器可以应用于下层的纹理信息以将层之间的分辨率调整为相等，然后调整的下层纹理信息可以用作参考图片。
此时，已经对其应用上采样滤波器的下层纹理信息可以经历额外的滤波，然后可以用作用于预测上层的参考图片。在本说明书中，这种预测方法称为自适应层间纹理预测。
图19是示意地图示根据本发明执行自适应层间纹理预测的方法示例的示意图。
参考图19，纹理预测模块1910对应于图1的纹理预测模块。因此，必要时，纹理预测模块可以与纹理预测一起执行重新缩放。
由滤波器模块1950在基本层中应用的滤波用来减少相对于由下变换器1940下变换的输入序列的差。
在增强层中通过滤波模块1920对已经由上采样模块1930上采样的纹理进行的滤波用来减少在上采样的基本层纹理和输入序列之间的误差。
应用的滤波器仅仅必须是能够实现以上提及的服务的滤波器。例如，由滤波模块1920应用的滤波器可以是以由视频编码器/解码器事先预先确定的抽头大小和预先确定的系数指定的滤波器，或者可以是自适应地用信号通知滤波器参数(诸如，抽头大小和系数)的滤波器。
当使用自适应层间纹理预测的时候，由于参考图片质量的改善，能够改善编码效率。
当使用自适应层间纹理预测的时候，参考图片的质量被改善，但是，复杂度增加，并且必须另外编码/解码滤波器参数。因此，是否使用自适应层间纹理预测可以取决于情形(例如，视频编码器和视频解码器的性能，和在输入序列和上采样的基本层纹理之间的误差)确定。
因此，由滤波模块1920使用的滤波器可以是在编码/解码环路中自适应地使用的滤波器。为了解释便利的目的，在本说明书中，假设由滤波模块1920使用的滤波器是层间ALF。当视频编码器/解码器将ALF作为环内滤波器使用的时候，作为环内滤波器的自适应环路滤波器(ALF)可以用作层间ALF。
表示是否使用层间ALF的标记是使用自适应层间纹理预测所需要的。假设表示是否使用层间ALF的标记是inter_layer_adaptive_loop_filter_enabled_flag。
当inter_layer_adaptive_loop_filter_enabled_flag的值是0的时候，其表示不使用层间ALF。当inter_layer_adaptive_loop_filter_enabled_flag的值是1的时候，其表示使用层间ALF。
标记inter_layer_adaptive_loop_filter_enabled_flag可以在序列参数集中定义。
表53示出根据本发明用于应用自适应层间纹理预测的序列参数集的示例。
<表53>
标记inter_layer_adaptive_loop_filter_enabled_flag可以在除序列参数集以外的片头中定义。
表54示出根据本发明用于应用自适应层间纹理预测的片头的示例。
<表54>
当视频编码器和视频解码器将ALF作为环内滤波器使用的时候，在图片参数集中用于使用ALF的语法可以类似地应用为层间ALF。
表55示出根据本发明用于应用自适应层间纹理预测的图片参数集的示例。
<表55>
在表55中，当shared_pps_info_enabled_flag的值是1的时候，可以使用层间ALF的参数集。与表55不同，与作为环内滤波器的ALF无关地，使用用于应用层间ALF的标记的方法可以被使用。
表56示出根据本发明当shared_pps_info_enabled_flag应用于层间ALF的时候的片数据语法的示例。
<表56>
层间滤波器参数预测
去块滤波器、采样自适应偏移(SAO)和自适应环路滤波器(ALF)的三个滤波器可以用作在环路滤波过程中可使用的滤波器。
三个滤波器可以用作环路滤波器，或者可以仅仅使用其一部分。例如，可以仅仅使用去块滤波器，或者可以仅仅使用去块滤波器和SAO。
视频编码器可以确定滤波器参数，以便使得重建的图片变得最接近于输入图片，并且可以将确定的滤波器参数发送到视频解码器。因此，由于在基本层和增强层中的图片在可缩放编译特性方面彼此非常类似，所以很可能在二个阵列中的滤波器参数彼此类似。
因此，可以考虑在增强层中重新使用已经在基本层中使用的参数的方法。这称为层间滤波器参数预测。
层间滤波器参数预测可以由在图1至4中图示的预测模块或者层间预测模块执行，或者可以由用于增强层的滤波模块执行。
图20是示意地图示根据本发明的层间滤波器参数预测的示意图。
参考图20，在用于基本层的环内滤波模块2020中使用的滤波器参数可以在用于当前层的环内滤波模块2010中重新使用。
可以通过使用自适应参数集发送SAO参数。也可以通过使用自适应参数集发送ALF参数。
表57示出根据本发明在可缩放扩展中的自适应参数集的示例。
<表57>
在这里，aps_id是用于标识在片头中参考的自适应参数集的标识符。aps_id的值从0到TBD的范围，并且取决于等级/属性。
当aps_sample_adaptive_offset_flag的值是1的时候，其表示对于在自适应参数集中当前参考的片开启SAO。当aps_sample_adaptive_offset_flag的值是0的时候，其表示对于在自适应参数集中当前参考的片关闭SAO。当激活的自适应参数集不存在的时候，aps_sample_adaptive_offset_flag的值被推断为是0。
当aps_adaptive_loop_filter_flag的值是1的时候，其表示对于在自适应参数集中当前参考的片开启ALF。当aps_adaptive_loop_filter_flag的值是0的时候，其表示对于在自适应参数集中当前参考的片关闭ALF。当激活的自适应参数集不存在的时候，aps_adaptive_loop_filter_flag的值被推断为是0。
当aps_cabac_use_flag的值是1的时候，CABAC解码过程应用于sao_param()和alf_param()，并且当aps_cabac_use_flag的值是0的时候，CAVLC解码过程应用于sao_param()和alf_param()。
aps_cabac_init_idc指定用于确定在用于SAO和ALF的上下文变量的初始化过程中使用的初始化表的索引。aps_cabac_init_idc的值从0到2的范围。
aps_cabac_init_qp_minus26指定量化参数-26的值。在这里，量化参数用于SAO和ALF的上下文变量的初始化过程。
alf_data_byte_count和sao_data_byte_point指定字节数目。
当base_pred_alf_param_flag的值是1的时候，其表示在基本层中使用的ALF参数在当前层中使用。当base_pred_alf_param_flag的值是0的时候，其表示用于当前层的ALF参数在当前层中使用。
当base_pred_sao_param_flag的值是1的时候，其表示在基本层中使用的SAO参数在当前层中使用。当base_pred_sao_param_flag的值是0的时候，其表示用于当前层的SAO参数没有在当前层中使用。
层间差分图片编译
假设基本层的重建的图片是RBL，并且通过取决于增强层的分辨率上采样RBL获得的图片是URBL。也假设增强层的重建的图片是REL。
重建的图片可以是在对其应用环内滤波之前的图片。重建的图片可以是在对其应用环内滤波(去块滤波、采样自适应偏移滤波，和/或自适应环路滤波器)的一部分之后的图片。此外，重建的图片可以是在对其应用所有环内滤波之后的图片。
在这里，当通过从REL的值中减去URBL的值获得的差分图片定义为D的时候，可以在D图片的域中执行单独的编码/解码。在本说明书中，这种方法称为层间差分图片编码，或者层间差分模式(IL-Diff模式)。
层间差分模式可以应用于序列单元、图片、片、最大的CU(LCU)、编译单元(CU)，或者预测单元(PU)。在层间差分模式应用于其的处理单元中，表示是否使用层间差分模式的标记可以从视频编码器发送到视频解码器。
使用不同的可缩放性的编译(编码/解码)不对层间差分模式应用于其的处理单元执行，而是可以仅仅使用单层编译(编码/解码)。在这种情况下，能够节省用于表示是否使用不同的可缩放性执行编译的比特。
层间差分模式可以由在图1至4中图示的预测模块或者层间预测模块执行。为了解释便利的目的，假设层间差分模式由预测模块执行。
(1)用于IL-Diff模式的内部预测
图21是示意地图示根据本发明当使用层间差分模式的时候执行内部预测方法的示意图。
参考图21，增强层的图片2100包括在当前块2115前和后的重建的区域2105和非重建的区域2110。重建的图片REL可以从重建的区域2105中获得。当增强层的图片2100被重建的时候，图片2100可以是重建的图片REL。
另一方面，通过上采样基本层的重建的图片RBL 2120获得的图片URBL 2125包括对应于当前块2115的块PBL 2130。
在编码过程中，预测模块(视频编码器的预测模块)可以推导在基本层的重建的图片和增强层的重建的图片之间的差D，如由表达式4表示的。
<表达式4>
D＝REL-URBL
在表达式4中，由于非重建的区域2110的存在，不对其应用诸如去块滤波、SAO，或者ALF的环内滤波器的图片可以用作REL。
由于基本层的图片2120的所有区域被重建，所以RBL可以是对其应用环内滤波器的所有或者一部分的重建的图片，或者可以是不对其应用环内滤波器的重建的图片。
预测模块可以参考在除差图片D 2140中排除非重建的区域2150之外的参考重建的区域2145的像素值对当前块2155执行内部预测。
在解码过程中，预测模块(视频解码器的预测模块)可以使用在与当前块相同的位置上存在的URBL的块值PBL重建当前块，如由表达式5表示的。
<表达式5>
REL＝PD+PBL+RES
在表达式5中，PD表示通过对差分图片D的重建的区域执行内部预测构造的预测块，并且RES表示残留块。
(2)用于IL-Diff模式的中间预测
在应用层间差分模式的时候，为了对当前块执行中间预测，预测模块产生用于当前图片的参考图片的差分图片DR。例如，预测模块使用用于参考图片的增强层图片的重建的图片，和用于参考图片的基本层图片的重建的图片，产生用于当前图片的参考图片的差分图片DR。
预测模块可以基于参考图片的差分图片DR产生在当前块的差分图片域中的预测块PD。
预测模块可以使用预测块重建当前块，如由表达式6表示的。
<表达式6>
REL＝PD+PBL+RES
在表达式6中，REL表示在增强层中重建的当前块。PBL表示在URBL中在与当前块相同的位置上存在的块，并且RES表示残留块。
参考图片的差分图片DR可以预先产生，并且存储在解码图片缓存器(DPB)中。DPB可以对应于参考图1至3描述的存储器。
可以每当产生REL时，通过当前块的运动信息对于在重建当前块所需的位置上指定的块计算参考图片的差分图片DR。
在以层间差分模式的中间预测时，与以层间差分模式的内部预测不同，对其应用环内滤波器的部分或者全部的重建的图片，以及不对其应用环内滤波器的重建的图片可以在产生参考图片的差分图片的时候用作在增强层中重建的参考图片。
在本说明书中，为了解释便利的目的，在支持可缩放视频编译的多层的结构中，在特定的时间点(例如，图片序列计数(POC)或者接入单元(AU))通过层重建的采样阵列称为“图片”。
在这点，在解码和输出的层(当前层)中在特定的时间点重建或者要重建的采样的阵列可以定义为图片，以便区分在参考层中重建或者要重建的采样阵列。在参考层中重建或者要重建的采样阵列可以称为代表、参考层图片、参考层采样阵列、参考层纹理等等。在这种情况下，在当前层中重建的一个解码(编码的)图片可以从每个AU输出。
虽然在以上提及的示例性系统中，该方法已经基于包括一系列步骤或者模块的流程图描述，本发明不局限于步骤顺序，并且某个步骤可以以除如上所述的顺序或者与如上所述同时的步骤或者顺序执行。以上提及的实施例可以包括各种示例。因此，本发明包括属于所附的权利要求的所有的替换、修正和改进。

Claims (20)

1.一种通过解码设备的层间预测方法，包括：
接收指示当前块的预测模式的信息；
从参考层推导层间运动信息；和
使用所述层间运动信息预测在当前层中的所述当前块，
其中，所述层间运动信息包括从所述参考层推导的所述层间运动矢量，以及
其中，所述层间运动矢量是通过基于所述参考层和所述当前层的分辨率比率缩放所述参考层的运动矢量推导的，
其中，所述当前块的预测包括：
取决于所述当前块的预测模式构造包括所述层间运动信息的候选列表，其中基于指示所述当前块的预测模式的信息导出所述预测模式；和
基于从所述候选列表的候选者中选择的运动信息预测所述当前块。
2.根据权利要求1所述的层间预测方法，其中，所述参考层的所述运动矢量是在参考位置上的运动矢量，所述参考位置对应于用于在所述参考层中指定所述当前块的位置。
3.根据权利要求2所述的层间预测方法，其中，用于指定所述当前块的位置是所述当前块的左上位置。
4.根据权利要求2所述的层间预测方法，其中，所述参考位置是通过基于所述参考层和所述当前层的分辨率比率缩放用于指定所述当前块的位置推导的。
5.根据权利要求2所述的层间预测方法，其中，所述参考位置的所述运动矢量是包括所述参考位置的预测块的运动矢量。
6.根据权利要求1所述的的层间预测方法，其中，所述当前块的所述预测模式是合并模式，以及
其中，所述层间运动信息被作为所述合并模式的候选者添加到所述候选列表的头部。
7.根据权利要求1所述的层间预测方法，其中，所述当前块的所述预测模式是合并模式，以及
其中，所述层间运动信息被作为所述合并模式的候选者添加到所述候选列表的尾部。
8.根据权利要求1所述的层间预测方法，其中，所述当前块的所述预测模式是合并模式，以及
其中，所述层间运动信息被作为所述合并模式的候选者比所述当前层的时间候选者更晚地添加到所述候选列表。
9.根据权利要求1所述的层间预测方法，其中，所述当前块的所述预测模式是合并模式，以及
其中，所述层间运动信息被作为所述合并模式的候选者比所述当前层的空间候选者更晚地添加到所述候选列表。
10.根据权利要求1所述的层间预测方法，其中，所述当前块的所述预测模式是使用运动矢量预测器(MVP)的模式，以及
其中，所述层间运动矢量被作为所述当前块的候选MVP添加到所述候选列表的头部。
11.根据权利要求1所述的层间预测方法，其中，所述当前块的所述预测模式是使用运动矢量预测器(MVP)的模式，以及
其中，所述层间运动矢量被作为所述当前块的候选MVP添加到所述候选列表的尾部。
12.根据权利要求1所述的层间预测方法，其中，所述当前块的所述预测模式是使用运动矢量预测器(MVP)的模式，以及
其中，所述层间运动矢量被作为所述当前块的候选MVP比位于所述当前块的左侧的空间候选者更晚地添加到所述候选列表。
13.根据权利要求1所述的层间预测方法，其中，所述当前块的所述预测模式是使用运动矢量预测器(MVP)的模式，以及
其中，所述层间运动矢量被作为所述当前块的候选MVP比位于所述当前块的顶端侧的空间候选者更晚地添加到所述候选列表。
14.根据权利要求1所述的层间预测方法，其中，所述当前块的所述预测模式是使用运动矢量预测器(MVP)的模式，以及
其中，所述层间运动矢量被作为所述当前块的候选MVP比所述当前块的空间候选者更晚地添加到所述候选列表。
15.根据权利要求1所述的层间预测方法，其中，所述当前块的所述预测模式是使用运动矢量预测器(MVP)的模式，以及
其中，所述层间运动矢量在被缩放之后作为所述当前块的候选MVP添加到所述候选列表。
16.根据权利要求15的层间预测方法，其中，所述参考层的所述运动矢量是包括所述参考位置的参考块的运动矢量，所述参考位置对应于用于在所述参考层中指定所述当前块的位置，
其中，当所述当前块的参考图片不同于所述参考块的参考图片时，所述当前块的预测通过缩放所述层间运动矢量添加到所述候选列表。
17.根据权利要求15所述的层间预测方法，其中，所述层间运动矢量基于以下被缩放：
在当前图片和所述当前图片的参考图片之间的POC(图片顺序计数)差；和
在图片和图片的参考图片之间的POC差，在所述参考层中从所述图片推导所述层间运动信息。
18.一种可缩放视频解码器，包括：
熵解码模块，所述熵解码模块接收指示当前块的预测模式的信息；
第一预测模块，所述第一预测模块预测参考层；和
第二预测模块，所述第二预测模块基于所述第一预测模块的预测，使用层间运动信息预测在当前层中的当前块，
其中，所述层间运动信息包括从所述参考层推导的层间运动矢量，以及
其中，所述第二预测模块基于在所述参考层和所述当前层之间的分辨率比率缩放所述参考层的运动矢量；
其中，所述第二预测模块：
取决于所述当前块的预测模式构造包括所述层间运动信息的候选列表，其中基于指示所述当前块的预测模式的信息导出所述预测模式，以及
基于从所述候选列表的候选者中选择的运动信息预测所述当前块。
19.根据权利要求18所述的可缩放视频解码器，其中，所述当前块的所述预测模式是合并模式，以及
其中，所述层间运动信息被作为所述合并模式的候选者比所述当前块的空间候选者更晚地添加到所述候选列表。
20.根据权利要求18所述的可缩放视频解码器，其中，所述当前块的所述预测模式是使用运动矢量预测器(MVP)的模式，以及
其中，所述层间运动矢量被作为所述当前块的候选MVP比所述当前块的空间候选者更晚地添加到所述候选列表。
CN201380021904.6A 2012-02-29 2013-02-28 层间预测方法和使用层间预测方法的装置 Active CN104255031B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261604538P 2012-02-29 2012-02-29
US61/604,538 2012-02-29
PCT/KR2013/001659 WO2013129878A1 (ko) 2012-02-29 2013-02-28 인터 레이어 예측 방법 및 이를 이용하는 장치

Publications (2)

Publication Number Publication Date
CN104255031A CN104255031A (zh) 2014-12-31
CN104255031B true CN104255031B (zh) 2017-12-22

Family

ID=49082997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380021904.6A Active CN104255031B (zh) 2012-02-29 2013-02-28 层间预测方法和使用层间预测方法的装置

Country Status (12)

Country Link
US (1) US9554149B2 (zh)
EP (2) EP3442227B1 (zh)
JP (1) JP6166287B2 (zh)
KR (1) KR102083011B1 (zh)
CN (1) CN104255031B (zh)
DK (1) DK2822276T3 (zh)
ES (1) ES2703628T3 (zh)
HU (1) HUE042534T2 (zh)
PL (1) PL2822276T3 (zh)
PT (1) PT2822276T (zh)
TR (1) TR201900494T4 (zh)
WO (1) WO2013129878A1 (zh)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107105305B (zh) 2011-06-24 2020-04-03 Lg 电子株式会社 图像信息编码和解码方法
US20130107962A1 (en) * 2011-10-26 2013-05-02 Intellectual Discovery Co., Ltd. Scalable video coding method and apparatus using inter prediction mode
JP2014197723A (ja) * 2012-01-06 2014-10-16 ソニー株式会社 画像処理装置および方法
CN110708542B (zh) * 2012-01-18 2023-02-17 韩国电子通信研究院 视频解码装置、视频编码装置和传输比特流的方法
CN108989822B (zh) * 2012-01-30 2021-06-08 三星电子株式会社 用于视频解码的设备
US11039138B1 (en) 2012-03-08 2021-06-15 Google Llc Adaptive coding of prediction modes using probability distributions
US9491458B2 (en) * 2012-04-12 2016-11-08 Qualcomm Incorporated Scalable video coding prediction with non-causal information
US10863170B2 (en) * 2012-04-16 2020-12-08 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding on the basis of a motion vector
GB2501517A (en) * 2012-04-27 2013-10-30 Canon Kk Scalable Encoding and Decoding of a Digital Image
US20130287109A1 (en) * 2012-04-29 2013-10-31 Qualcomm Incorporated Inter-layer prediction through texture segmentation for video coding
EP2869559A4 (en) 2012-06-29 2016-09-07 Sony Corp DECODING DEVICE AND DECODING METHOD
MY172999A (en) * 2012-07-09 2019-12-18 Vid Scale Inc Codec architecture for multiple layer video coding
CN108156463B (zh) 2012-08-29 2022-07-01 Vid拓展公司 用于可分级视频编码的运动矢量预测的方法和装置
US10448032B2 (en) * 2012-09-04 2019-10-15 Qualcomm Incorporated Signaling of down-sampling location information in scalable video coding
US9392268B2 (en) * 2012-09-28 2016-07-12 Qualcomm Incorporated Using base layer motion information
US20140140406A1 (en) * 2012-11-16 2014-05-22 General Instrument Corporation Devices and methods for processing of non-idr related syntax for high efficiency video coding (hevc)
US20140254681A1 (en) * 2013-03-08 2014-09-11 Nokia Corporation Apparatus, a method and a computer program for video coding and decoding
US9648353B2 (en) * 2013-04-04 2017-05-09 Qualcomm Incorporated Multiple base layer reference pictures for SHVC
KR20140138538A (ko) * 2013-05-24 2014-12-04 주식회사 케이티 복수의 레이어를 지원하는 비디오 코딩 방법 및 장치
EP3021589A4 (en) * 2013-07-10 2017-02-15 Sharp Kabushiki Kaisha Image decoding device and image encoding device
AU2014288482A1 (en) * 2013-07-12 2015-02-26 Sony Corporation Image coding device and method
JP6352383B2 (ja) * 2013-07-14 2018-07-04 シャープ株式会社 復号方法及び復号装置
FR3008840A1 (fr) * 2013-07-17 2015-01-23 Thomson Licensing Procede et dispositif de decodage d'un train scalable representatif d'une sequence d'images et procede et dispositif de codage correspondants
KR101709775B1 (ko) * 2013-07-23 2017-02-23 인텔렉추얼디스커버리 주식회사 영상 부호화/복호화 방법 및 장치
KR20150029593A (ko) * 2013-09-10 2015-03-18 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
EP3054683A4 (en) * 2013-09-30 2017-06-07 Nippon Hoso Kyokai Image coding device, image decoding device, and programs therefor
US9648333B2 (en) * 2013-10-11 2017-05-09 Vid Scale, Inc. High level syntax for HEVC extensions
KR20150046742A (ko) * 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015060614A1 (ko) * 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
MX360338B (es) * 2013-10-29 2018-10-30 Kt Corp Metodo y dispositivo de codificacion/decodificacion de señal de video de multiples capas.
EP3078195A4 (en) * 2013-12-02 2017-08-09 Nokia Technologies OY Video encoding and decoding
JP6441236B2 (ja) * 2013-12-19 2018-12-19 シャープ株式会社 画像復号装置及び画像符号化装置
KR20150075042A (ko) 2013-12-24 2015-07-02 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20160105861A (ko) * 2014-01-02 2016-09-07 브이아이디 스케일, 인크. 혼합된 인터레이스 및 프로그레시브 콘텐트에 의한 스케일러블 비디오 코딩을 위한 방법들, 및 시스템들
US9654794B2 (en) * 2014-01-03 2017-05-16 Qualcomm Incorporated Methods for coding an inter-layer reference picture set (RPS) and coding end of bitstream (EOB) network access layer (NAL) units in multi-layer coding
US10432928B2 (en) 2014-03-21 2019-10-01 Qualcomm Incorporated Using a current picture as a reference for video coding
US10602161B2 (en) 2014-03-24 2020-03-24 Kt Corporation Multilayer video signal encoding/decoding method and device
US9894370B2 (en) * 2014-03-24 2018-02-13 Qualcomm Incorporated Generic use of HEVC SEI messages for multi-layer codecs
US10715833B2 (en) * 2014-05-28 2020-07-14 Apple Inc. Adaptive syntax grouping and compression in video data using a default value and an exception value
US9992512B2 (en) * 2014-10-06 2018-06-05 Mediatek Inc. Method and apparatus for motion vector predictor derivation
WO2016108188A1 (en) 2014-12-31 2016-07-07 Nokia Technologies Oy Inter-layer prediction for scalable video coding and decoding
KR102617235B1 (ko) 2015-08-24 2023-12-26 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR102423880B1 (ko) 2015-10-06 2022-07-21 삼성전자주식회사 인코더의 작동방법과 상기 인코더를 포함하는 시스템 온 칩의 작동 방법
US11563938B2 (en) 2016-02-15 2023-01-24 Qualcomm Incorporated Geometric transforms for filters for video coding
KR102546142B1 (ko) * 2016-03-18 2023-06-21 로즈데일 다이나믹스 엘엘씨 비디오 코딩 시스템에서 블록 구조 도출 방법 및 장치
KR20180132756A (ko) * 2016-04-28 2018-12-12 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US10506230B2 (en) * 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
KR102302671B1 (ko) 2017-07-07 2021-09-15 삼성전자주식회사 적응적 움직임 벡터 해상도로 결정된 움직임 벡터의 부호화 장치 및 부호화 방법, 및 움직임 벡터의 복호화 장치 및 복호화 방법
JP2021005741A (ja) * 2017-09-14 2021-01-14 シャープ株式会社 画像符号化装置及び画像復号装置
US11153607B2 (en) * 2018-01-29 2021-10-19 Mediatek Inc. Length-adaptive deblocking filtering in video coding
CN110677668B (zh) * 2018-07-01 2022-06-21 北京字节跳动网络技术有限公司 空间运动压缩
US11140418B2 (en) * 2018-07-17 2021-10-05 Qualcomm Incorporated Block-based adaptive loop filter design and signaling
KR102022375B1 (ko) 2018-08-22 2019-09-18 (주)넥서스일렉트로닉스 Uhd tv용 업스케일 칩셋 모듈
KR20200030018A (ko) * 2018-09-11 2020-03-19 김기백 인터 예측을 이용한 영상 부호화/복호화 방법 및 장치
JP7342118B2 (ja) 2018-10-12 2023-09-11 ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド 多重仮定予測を用いるビデオ信号処理方法及び装置
FR3087309B1 (fr) * 2018-10-12 2021-08-06 Ateme Optimisation d'un sous-echantillonnage intervenant avant le codage d'images en compression
JP2022530172A (ja) * 2019-03-11 2022-06-28 アリババ・グループ・ホールディング・リミテッド 適応解像度ビデオ符号化のためのインター符号化
KR20210122863A (ko) * 2019-04-15 2021-10-12 엘지전자 주식회사 스케일링 리스트 데이터의 시그널링 기반 비디오 또는 영상 코딩
US11109041B2 (en) * 2019-05-16 2021-08-31 Tencent America LLC Method and apparatus for video coding
EP3886435A4 (en) * 2019-06-25 2022-01-26 Guangdong Oppo Mobile Telecommunications Corp., Ltd. MAPPING PROCESS, ENCODER, DECODER AND COMPUTER STORAGE MEDIA
CN114208205A (zh) * 2019-07-25 2022-03-18 韦勒斯标准与技术协会公司 视频信号处理方法和设备
JP7332403B2 (ja) * 2019-09-11 2023-08-23 株式会社東芝 位置推定装置、移動体制御システム、位置推定方法およびプログラム
US11438611B2 (en) 2019-12-11 2022-09-06 Hfi Innovation Inc. Method and apparatus of scaling window constraint for worst case bandwidth consideration for reference picture resampling in video coding
US11445176B2 (en) * 2020-01-14 2022-09-13 Hfi Innovation Inc. Method and apparatus of scaling window constraint for worst case bandwidth consideration for reference picture resampling in video coding
KR20230024341A (ko) * 2020-06-10 2023-02-20 엘지전자 주식회사 최대 시간 식별자에 기반하여 서브 비트스트림 추출과정을 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독가능한 기록매체
WO2024041658A1 (en) * 2022-08-26 2024-02-29 Douyin Vision Co., Ltd. On sao and ccsao

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7627037B2 (en) * 2004-02-27 2009-12-01 Microsoft Corporation Barbell lifting for multi-layer wavelet coding
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
WO2006080662A1 (en) * 2004-10-21 2006-08-03 Samsung Electronics Co., Ltd. Method and apparatus for effectively compressing motion vectors in video coder based on multi-layer
EP1694074A1 (en) 2005-02-18 2006-08-23 Thomson Licensing Process for scalable coding of images
KR100888963B1 (ko) * 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
EP1894412A1 (en) * 2005-02-18 2008-03-05 THOMSON Licensing Method for deriving coding information for high resolution images from low resoluton images and coding and decoding devices implementing said method
EP1849303A2 (en) * 2005-02-18 2007-10-31 THOMSON Licensing Method for deriving coding information for high resolution pictures from low resolution pictures
CN101171845A (zh) * 2005-03-17 2008-04-30 Lg电子株式会社 对使用层间预测编码的视频信号进行解码的方法
KR100885443B1 (ko) * 2005-04-06 2009-02-24 엘지전자 주식회사 레이어간 예측방식를 사용해 엔코딩된 영상신호를디코딩하는 방법
WO2007018688A1 (en) * 2005-07-22 2007-02-15 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
CN101356820B (zh) 2006-01-05 2011-01-26 汤姆森许可贸易公司 层间运动预测方法
US8693538B2 (en) * 2006-03-03 2014-04-08 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
KR100944333B1 (ko) 2007-07-30 2010-03-02 한국과학기술원 스케일러블 비디오 부호화에서 계층간 예측모드 고속결정방법
TWI362888B (en) * 2008-12-24 2012-04-21 Acer Inc Encoding and decoding method for video screen layout, encoding device, decoding device, and data structure
KR101165613B1 (ko) 2009-05-13 2012-07-16 미라이얼 가부시키가이샤 반도체 웨이퍼 수납용기
US9300970B2 (en) 2010-07-09 2016-03-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding motion vector
KR20120016991A (ko) * 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
WO2013003143A2 (en) * 2011-06-30 2013-01-03 Vidyo, Inc. Motion prediction in scalable video coding
JP5830993B2 (ja) 2011-07-14 2015-12-09 ソニー株式会社 画像処理装置及び画像処理方法
US20130188719A1 (en) * 2012-01-20 2013-07-25 Qualcomm Incorporated Motion prediction in svc using motion vector for intra-coded block

Also Published As

Publication number Publication date
DK2822276T3 (en) 2019-02-04
EP2822276A4 (en) 2015-11-04
EP3442227B1 (en) 2020-04-22
PT2822276T (pt) 2018-12-18
JP2015512216A (ja) 2015-04-23
ES2703628T3 (es) 2019-03-11
EP2822276A1 (en) 2015-01-07
JP6166287B2 (ja) 2017-07-19
KR20140136428A (ko) 2014-11-28
CN104255031A (zh) 2014-12-31
TR201900494T4 (tr) 2019-02-21
WO2013129878A1 (ko) 2013-09-06
PL2822276T3 (pl) 2019-04-30
US20150071356A1 (en) 2015-03-12
EP3442227A1 (en) 2019-02-13
KR102083011B1 (ko) 2020-02-28
EP2822276B1 (en) 2018-11-07
HUE042534T2 (hu) 2019-07-29
US9554149B2 (en) 2017-01-24

Similar Documents

Publication Publication Date Title
CN104255031B (zh) 层间预测方法和使用层间预测方法的装置
CN104335585B (zh) 图像解码方法和使用其的装置
CN105453564B (zh) 支持多个层的图像编码和解码方法以及使用该方法的装置
CN105284113B (zh) 分量间滤波
CN105580365B (zh) 处理视频数据的方法、装置及存储媒体
CN101529911B (zh) 用于对多层比特流数据进行信号指示的方法和系统
CN104247423B (zh) 可伸缩视频编码系统的帧内模式编码方法和装置
CN109076218A (zh) 在视频译码中自适应环路滤波中的多个滤波器的混淆
CN105247867B (zh) 用于不同层间预测类型的参考图片的独立重新采样及选择
CN104170382B (zh) 用于编码和解码量化矩阵的方法和使用其的设备
CN104871540B (zh) 编码视频的方法、解码视频的方法以及使用其的装置
CN105230018B (zh) 用于对支持多个层的视频进行编码的方法和设备
CN104255032B (zh) 层间预测方法和使用其的编码设备和解码设备
CN104885453B (zh) 支持多个层的用于编码/解码图像的方法和设备
CN105723707A (zh) 用于视频译码的色彩残差预测
CN104429076B (zh) 用于可缩放视频译码和3d视频译码的一般化残差预测
CN105052153B (zh) 用于视频信息的可缩放译码的装置和方法
CN104604228B (zh) 图像解码方法和使用其的装置
CN107408400A (zh) 用于处理视频数据的装置和方法
CN105493506A (zh) 在参数集中用信号通知视图id位深度
CN105519113A (zh) 可扩展视频信号编码/解码方法及装置
CN105453562B (zh) 支持多个层的图像编码和解码方法以及使用该方法的装置
CN105850126A (zh) 用于对多层视频信号进行编码/解码的方法和装置
CN105264895B (zh) 再取样过程中的中间数据的动态范围控制
CN107258080A (zh) 快速速率失真优化量化

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant