CN105659597A - 用于对多层视频信号进行编码/解码的方法和装置 - Google Patents

用于对多层视频信号进行编码/解码的方法和装置 Download PDF

Info

Publication number
CN105659597A
CN105659597A CN201480058388.9A CN201480058388A CN105659597A CN 105659597 A CN105659597 A CN 105659597A CN 201480058388 A CN201480058388 A CN 201480058388A CN 105659597 A CN105659597 A CN 105659597A
Authority
CN
China
Prior art keywords
layer
tile
picture
photo current
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480058388.9A
Other languages
English (en)
Other versions
CN105659597B (zh
Inventor
李培根
金柱英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KT Corp
Original Assignee
KT Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KT Corp filed Critical KT Corp
Publication of CN105659597A publication Critical patent/CN105659597A/zh
Application granted granted Critical
Publication of CN105659597B publication Critical patent/CN105659597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

根据本发明的一种用于对多层视频信号进行解码的方法：基于下层的时间级标识符确定下层中的相应图片是否被用作上层中的当前图片的层间参考图片，如果下层中的相应图片被用作上层中的当前图片的层间参考图片，则通过使用相应图片执行对当前图片的层间预测，通过使用当前图片的残差样本和通过层间预测获取的预测样本来重构当前图片，以及基于上层的层滤波器标记将环路滤波器选择性地应用于经重构的当前图片的瓦片边界。

Description

用于对多层视频信号进行编码/解码的方法和装置
技术领域
本发明涉及用于对多层视频信号进行编码/解码的方法和装置。
背景技术
近来，在各应用领域中对高分辨率、高品质图像如高清晰度(HD)图像和超高清晰度(UHD)图像的需求已经增长。随着视频数据具有较高分辨率和较高品质，视频数据在量上大于传统视频数据。因此，如果视频数据通过现有介质如有线/无线宽带电路进行传输或者被存储在现有存储介质中，则传输成本和存储成本增大。为了避免较高分辨率、较高品质的视频数据遇到这些问题，可以使用高效的视频压缩技术。
存在如下各种视频压缩技术：该技术包括其中根据当前图片(picture)的先前图片或后续图片对包括在当前图片中的像素值进行预测的图片间预测、其中使用当前图片中的像素信息对包括在当前图片中的像素值进行预测的图片内预测、以及其中将短码分配给较频繁的值和将长码分配给较不频繁的值的熵编码。使用这样的视频压缩技术可以对视频数据进行高效地压缩以及传输或存储。
随着对高分辨率视频的日益增长的需求，对三维(3D)视频内容的需求也作为新的视频服务而增长。对用于高效地提供HD和3DUHD视频内容的视频压缩技术进行讨论。
发明内容
技术问题
本发明的目的是提供一种用于在对多层视频信号进行编码/解码中确定上层的当前图片的层间参考图片的方法和装置。
本发明的另一目的是提供一种用于在对多层视频信号进行编码/解码中对下层图片进行上采样的方法和装置。
本发明的另一目的是提供一种用于在对多层视频信号进行编码/解码中通过层间预测高效地引入(induce)上层的纹理信息的方法和装置。
本发明的另一目的是提供一种用于在对多层视频信号进行编码/解码中基于层间瓦片(tile)对齐来执行层间预测的方法和装置。
本发明的另一目的是提供一种用于在对多层视频信号进行编码/解码中将环路滤波器应用于经重构的图片的瓦片边界的方法和装置。
技术方案
在根据本发明的用于对多层视频信号进行解码的方法和装置中，可以基于下层的时间级标识符(ID)确定下层的相应图片是否被用在对上层的当前图片的层间预测中，如果下层的相应图片被用在对上层的当前图片的层间预测中，则可以使用相应图片执行对当前图片的层间预测，可以使用与当前图片有关的残差样本和通过层间预测获得的预测样本来重构当前图片，以及基于与上层有关的层滤波器标记可以将环路滤波器选择性地应用于经重构的当前图片的瓦片边界。
在根据本发明的用于对多层视频信号进行解码的方法和装置中，当层滤波器标记的值为1时，施加不将环路滤波器应用于当前图片的瓦片边界的约束，当层滤波器标记的值为0时，不施加不将环路滤波器应用于当前图片的瓦片边界的约束。
在根据本发明的用于对多层视频信号进行解码的方法和装置中，层滤波器标记可以是基于属于上层的图片的瓦片的数量限制性地获得的。
在根据本发明的用于对多层视频信号进行解码的方法和装置中，当属于上层的至少一个图片包括多个瓦片时，可以从比特流获得层滤波器标记。
在根据本发明的用于对多层视频信号进行编码的方法和装置中，可以基于下层的时间级标识符(ID)确定下层的相应图片是否被用在对上层的当前图片的层间预测中，如果下层的相应图片被用在对上层的当前图片的层间预测中，则可以使用相应图片执行对当前图片的层间预测，可以使用与当前图片有关的残差样本和通过层间预测获得的预测样本来重构当前图片，以及基于与上层有关的层滤波器标记可以将环路滤波器选择性地应用于经重构的当前图片的瓦片边界。
在根据本发明的用于对多层视频信号进行编码的方法和装置中，当层滤波器标记的值为1时，施加不将环路滤波器应用于当前图片的瓦片边界的约束，当层滤波器标记的值为0时，不施加不将环路滤波器应用于当前图片的瓦片边界的约束。
在根据本发明的用于对多层视频信号进行编码的方法和装置中，层滤波器标记可以是基于属于上层的图片的瓦片的数量限制性地获得的。
在根据本发明的用于对多层视频信号进行编码的方法和装置中，当属于上层的至少一个图片包括多个瓦片时，可以从比特流获得层滤波器标记。
有益效果
根据本发明，可以通过将下层图片自适应地用作当前上层图片的层间参考图片来高效地管理存储器。
根据本发明，可以对下层图片进行高效地上采样。
根据本发明，可以通过层间预测来高效地引入上层的纹理信息。
根据本发明，可以通过基于多层结构中的层间瓦片对齐来限制性地执行层间预测以增大视频信号的编码效率。
根据本发明，可以通过将环路滤波器选择性地应用于经重构的图片的瓦片边界以增大视频信号的编码效率。
附图说明
图1是示出根据本发明的实施方式的编码装置的框图。
图2是示出根据本发明的实施方式的解码装置的框图。
图3是示出在应用本发明的实施方式中的用于使用下层的相应图片重构上层的当前图片的操作的流程图。
图4是示出在应用本发明的实施方式中的用于确定是否将下层的相应图片用作当前图片的层间参考图片的操作的流程图。
图5是示出在应用本发明的实施方式中的用于通过从比特流提取最大时间级ID来获取最大时间级标识符(ID)的方法的流程图。
图6示出了在应用本发明的实施方式中的片与瓦片之间的关系。
图7是示出在应用本发明的实施方式中的用于使用多个层之间的瓦片对齐来执行层间预测的方法的流程图。
图8是示出在应用本发明的实施方式中的用于基于可丢弃标记来自适应地执行层间瓦片对齐的方法的流程图。
图9、图10和图11是示出在应用本发明的实施方式中的用于基于下层的时间级ID(TemporalID)来自适应地执行层间瓦片对齐的方法的流程图。
图12是示出在应用本发明的实施方式中的用于根据层间瓦片对齐或层间瓦片不对齐来执行限制性层间预测的方法的流程图。
图13、图14和图15示出了在应用本发明的实施方式中的瓦片边界对齐标记的语法。
图16是示出在应用本发明的实施方式中的用于对下层的相应图片进行上采样的方法的流程图。
图17示出了在应用本发明的实施方式中的用于基于层滤波器标记将环路滤波器应用于属于上层的图片的瓦片边界的方法。
图18示出了在应用本发明的实施方式中的与层滤波器标记有关的语法。
最优实施方式
根据本发明的一种用于对多层视频信号进行解码的方法和装置，其中，基于下层的时间级标识符(ID)确定下层的相应图片是否被用在对上层的当前图片的层间预测中，如果下层的相应图片被用在对上层的当前图片的层间预测中，则使用相应图片执行对当前图片的层间预测，可以使用与当前图片有关的残差样本和通过层间预测获得的预测样本来重构当前图片，以及基于与上层有关的层滤波器标记可以将环路滤波器选择性地应用于经重构的当前图片的瓦片边界。
根据本发明的用于对多层视频信号进行解码的方法和装置，其中，当层滤波器标记的值为1时，施加不将环路滤波器应用于当前图片的瓦片边界的约束，当层滤波器标记的值为0时，不施加不将环路滤波器应用于当前图片的瓦片边界的约束。
根据本发明的用于对多层视频信号进行解码的方法和装置，其中，层滤波器标记可以是基于属于上层的图片的瓦片的数量限制性地获得的。
根据本发明的用于对多层视频信号进行解码的方法和装置，其中，当属于上层的至少一个图片包括多个瓦片时，可以从比特流获得层滤波器标记。
根据本发明的一种用于对多层视频信号进行编码的方法和装置，其中，基于下层的时间级ID确定下层的相应图片是否被用在对上层的当前图片的层间预测中，如果下层的相应图片被用在对上层的当前图片的层间预测中，则使用相应图片执行对当前图片的层间预测，可以使用与当前图片有关的残差样本和通过层间预测获得的预测样本来重构当前图片，以及基于与上层有关的层滤波器标记可以将环路滤波器选择性地应用于经重构的当前图片的瓦片边界。
根据本发明的用于对多层视频信号进行编码的方法和装置，其中，当层滤波器标记的值为1时，施加不将环路滤波器应用于当前图片的瓦片边界的约束，当层滤波器标记的值为0时，不施加不将环路滤波器应用于当前图片的瓦片边界的约束。
根据本发明的用于对多层视频信号进行编码的方法和装置，其中，层滤波器标记可以是基于属于上层的图片的瓦片的数量限制性地获得的。
根据本发明的用于对多层视频信号进行编码的方法和装置，其中，当属于上层的至少一个图片包括多个瓦片时，可以从比特流获得层滤波器标记。
本发明的实施方式
参照附图将在下面详细描述本发明的优选实施方式。在详细描述之前，应理解，如在本公开内容和权利要求中所使用的术语或词汇不应当解释为其常用或字典意义，而应当基于发明人以最佳方式合适地定义术语的概念的原则来解释为匹配本发明的范围和精神的意义和概念。因此，如下所述的实施方式和在附图中示出的配置仅是本发明的优选实施方式，并不表示本发明的所有技术主题。因此，应理解，在提交本发明时本发明的实施方式可以替换为各种等同物和修改示例。
当部件被称为“与……耦接/耦接到”或“连接到”另一部件时，应当理解为一个部件直接或者通过部件之间的任何其他部件耦接或连接到其他部件。在本公开内容中，术语“包括”并不排除存在除了特定部件以外的任何其他部件，这意指附加部件可以包括在本发明的范围或本发明的实施方式中。
如在本公开内容中所使用的术语，第一或第二可以用来描述各种部件而不是限制部件。这些表达用于将一个部件与另一部件区分开。例如，在不脱离本公开的范围的前提下，第一部件可以被称为第二部件，反之，第二部件可以被称为第一部件。
此外，本发明的实施方式中的部件被独立地示出以说明不同的特性功能，并不意指每个部件被配置在单独的硬件单元或者一个软件单元中。也就是说，为了方便描述，单独列举每个部件。因此，两个或更多个部件可以结合成一个部件或者一个部件可以被分成多个部件。部件被集成的实施方式和部件被分离的实施方式落入本发明的范围中。
一些部件可以是用于提高性能的可选部件，而不是针对本发明的主要功能的基本部件。本发明可以仅使用对于本发明的主题而言的基本的部件而不只是用来提高性能的部件来实现，其落入本发明的范围内。
支持比特流的多个层的视频编码和解码被称为可伸缩视频编码。因为多个层之间存在强关联，所以可以通过基于所述关联执行预测来去除数据的冗余分量以及增加视频编码性能。使用关于另一层的信息进行的当前层的预测被称为层间预测。
多个层可以具有不同的分辨率。分辨率可以意指空间分辨率、时间分辨率和图像品质中的至少一者。为了在层间预测期间控制分辨率，可以执行对层的重采样如上采样或下采样。
图1是示意性地示出根据本发明的实施方式的编码装置的框图。
根据本发明的编码装置100包括针对上层的编码单元100a和针对下层的编码单元100b。
上层可以被称为当前层或增强层，以及下层可以被称为与上层、基本层或参考层相比具有较低分辨率的增强层。上层与下层之间可以在下述至少之一方面不同：空间分辨率、基于帧速率的时间分辨率、颜色格式以及基于量化步长的图像品质。当针对层间预测需要改变分辨率时，可以对层执行上采样或下采样。
针对上层的编码单元100a可以包括划分单元110、预测单元120、变换单元130、量化单元140、重排单元150、熵编码单元160、逆量化单元170、逆变换单元180、滤波器单元190以及存储器195。
针对下层的编码单元100b可以包括划分单元111、预测单元125、变换单元131、量化单元141、重排单元151、熵编码单元161、逆量化单元171、逆变换单元181、滤波器单元191以及存储器196。
可以通过以下描述的本发明的实施方式中所描述的视频编码方法来实现编码单元，但是可以不执行一些部分的操作以降低编码装置的复杂度或能够进行快速实时编码。例如，针对在预测单元执行帧内预测时的实时编码，不执行其中所有的帧内预测模式方法用来选择最佳帧内编码方法的方法，而是可以执行其中从有限数量的帧内预测模式中选择一个帧内预测模式并且将所选择的一个帧内预测模式设置为最终帧内预测模式的方法。在另一示例中，用于帧间预测或帧内预测的预测块可以具有有限的形状。
在编码装置中处理的块单位可以是用于执行编码的编码单位、用于执行预测的预测单位或者用于执行变换的变换单位。编码单位、预测单位以及变换单位可以分别被称为CU、PU以及TU。
划分单元110和划分单元111各自可以基于预定基准(例如成本函数)通过将层图片划分成编码块、预测块和变换块的多个组合并且通过选择编码块、预测块和变换块的一个组合来划分层。例如，为了将层图片划分成编码单位，可以使用递归树结构如四叉树结构。在下文中，在本发明的实施方式中，编码块不仅可以意指用于编码的块而且可以意指用于解码的块。
预测块可以是用于执行预测如帧内预测或帧间预测的单位。针对帧内预测的块可以是具有方形形式如2N×2N或N×N的块。对于针对帧间预测的块，存在方形形式如2N×2N和N×N的块、矩形形式如2N×N和N×2N的块、以及具有通过使用不对称运动划分(AMP)的预测块划分方法获得的不对称形式的块。变换单元115可以根据预测块的形式使用不同的变换方法。
编码单元100a和编码单元100b的预测单元120和预测单元125各自可以包括用于执行帧内预测的帧内预测单元121或帧内预测单元126以及用于执行帧间预测的帧间预测单元122或帧间预测单元127。针对上层的编码单元110a的预测单元120还可以包括用于使用与下层有关的信息来对上层执行预测的层间预测单元123。
预测单元120和预测单元125各自可以确定是对预测块执行帧间预测还是帧内预测。在执行帧内预测时，基于预测块确定帧内预测模式，并且可以基于变换块执行用于基于所确定的帧内预测模式处理帧内预测的处理。可以将所生成的预测块与原始块之间的残差(残差块)输入至变换单元130和变换单元131。此外，可以通过熵编码单元130连同残差一起对用于预测的预测模式信息、运动信息等进行编码并且将其传输至解码装置。
在使用脉冲编码调制(PCM)模式的情况下，在不使用预测单元120和预测单元125执行预测的情况下，原始块在不改变的情况下被编码并且被传输至解码单元。
帧内预测单元121和帧内预测单元126各自可以基于位于当前块(预测目标块)周围的参考像素来生成帧内预测块。在帧内预测方法中，帧内预测模式可以包括根据预测方向来使用参考像素的方向预测模式和不考虑预测方向的非方向预测模式。用于预测亮度信息的模式可以不同于用于预测色度信息的模式。可以使用通过预测亮度信息而获得的帧内预测模式或者所预测的亮度信息来预测色度信息。同时，如果参考像素不可用，则可以通过采用其他像素来替换不可用的参考像素来生成预测块。
预测块可以包括多个变换块。如果在执行帧内预测时预测块的大小和变换块的大小相同，则可以基于预测块中的左侧像素、左上侧像素和上侧像素来对预测块执行帧内预测。然而，在帧内预测时，当预测块和变换块的大小不同并且多个变换块被包括在预测块内时，使用与变换块相邻的邻近像素作为参考像素以执行帧内预测。此处，与变换块相邻的邻近像素可以包括与预测块相邻的邻近像素和预测块中的被先前解码像素中的至少之一。
然而，如果在执行帧内预测时预测块的大小不同于变换块的大小并且因此预测块包括多个变换块，则可以根据基于变换块所确定的参考像素来执行帧内预测。
帧内预测方法可以根据帧内预测模式在将依赖于模式的帧内平滑(MDIS)滤波器应用于参考像素之后生成预测块。应用于参考像素的MDIS滤波器的类型可以不同。MDIS滤波器是应用于通过执行帧内预测而生成的帧内预测块的附加滤波器，以及MDIS滤波器可以用于减小参考像素与执行预测之后所生成的帧内预测块之间的残差。在执行MDIS滤波时，根据帧内预测模式的方向性，可以对参考像素和包括在帧内预测块中的一些列执行不同的滤波。
帧间预测单元122和帧间预测单元127各自可以通过参照关于包括在当前图片的先前图片或后续图片中的至少之一中的块的信息来执行预测。帧间预测单元122和帧间预测单元127各自可以包括参考图片插值单元、运动预测单元和运动补偿单元。
参考图片插值单元可以从存储器195和存储器196接收参考图片信息并且可以根据参考图片生成小于整数像素的关于像素的信息。对于亮度像素，可以使用基于DCT的8抽头插值滤波器，基于DCT的8抽头插值滤波器有区别地设置滤波器系数以1/4像素为单位生成小于整数像素的关于像素的信息。对于色度信号，可以使用基于DCT的4抽头插值滤波器，基于DCT的4抽头插值滤波器有区别地设置滤波器系数以1/8像素为单位生成小于整数像素的关于像素的信息。
帧间预测单元122和帧间预测单元127各自可以基于通过参考图片插值单元进行插值的参考图片来执行运动预测。对于用于计算运动矢量的方法，可以使用各种方法如基于全搜索的块匹配算法(FBMA)、三步搜索(TSS)算法以及新三步搜索(NTS)算法。运动矢量可以具有与1/2或1/4的插值像素对应的运动矢量值。帧间预测单元122和帧间预测单元127各自可以使用各种帧间预测方法中的任一方法对当前块执行预测。
作为帧间预测方法，可以使用各种方法如跳过方法、合并方法和运动矢量预测(MVP)方法。
在帧间预测中，对运动信息即关于参考索引、运动矢量和残差信号的信息进行熵编码并且将其递送至解码单元。在应用跳过模式的情况下，由于不生成残差信息，因此可以省略用于对残差信号进行变换和量化的过程。
层间预测单元123执行层间预测以用于使用关于下层的信息来预测上层。层间预测单元123可以使用下层的纹理信息、运动信息等来执行层间预测。
可以通过将下层的图片设置为参考图片并且使用下层(参考层)的图片中的运动信息对上层的当前块执行预测来执行层间预测。用作层间预测中的参考图片的参考层的图片可以是被采样以匹配当前层的分辨率的图片。此外，运动信息可以包括运动矢量和参考索引。在这种情况下，用于参考层的图片的运动矢量值可以被设置成(0，0)。
作为层间预测的示例，描述了使用下层的图片作为参考图片的预测方法，但本发明不限于此。层间预测单元123可以附加地执行层间纹理预测、层间运动预测、层间语法预测和层间残差预测等。
层间纹理预测可以基于参考层的纹理来得到当前层的纹理。可以对参考层的纹理进行采样以匹配当前层的分辨率，并且层间预测单元123可以基于经采样的参考层的纹理来预测当前层的纹理。
层间运动预测可以基于参考层的运动矢量来得到当前层的运动矢量。在这种情况下，可以按比例调节参考层的运动矢量以匹配当前层的分辨率。层间语法预测可以基于参考层的语法来预测当前层的语法。例如，层间预测单元123可以使用参考层的语法作为当前层的语法。此外，层间残差预测可以使用参考层的复原图片与当前层的复原图片之间的残差来重构当前层的图片。
生成包括残差信息的残差块并且将残差块输入至相应的变换单元130或变换单元131，其中残差信息是通过预测单元120和预测单元125各自生成的预测块与预测块的重构块之间的差值。
变换单元130和变换单元131各自可以使用变换方法如离散余弦变换(DCT)或离散正弦变换(DST)来对残差块进行变换。可以基于用于生成残差块的预测块的帧内预测模式信息和预测块的大小信息来确定是应用DCT还是应用DST对残差块进行变换。也就是说，变换单元130和变换单元131各自可以根据预测块的大小和预测方法使用不同的变换方法。
量化单元140和量化单元141各自可以对通过相应的变换单元130或变换单元131在频域中变换的值进行量化。量化系数可以根据块的类型或图片的重要性而变化。可以将通过量化单元140或量化单元141计算的值提供至逆量化单元170或逆量化单元171以及重排单元150或重排单元151。
重排单元150和重排单元151各自可以对经量化的残差值的系数值进行重排。重排单元150或重排单元151可以使用系数扫描方法将2D块格式系数变成1D矢量格式系数。例如，重排单元150或重排单元151可以通过使用Z形扫描方法对从DC系数到高频带系数范围的系数进行扫描，以将2D块格式系数变成1D矢量格式系数。替代Z形扫描方法，根据变换块的大小和帧内预测模式，可以使用用于以列方向扫描2D块格式系数的竖直扫描方法和用于以行方向扫描2D块格式系数的水平扫描方法。也就是说，根据变换块的大小和帧内预测模式，可以确定使用Z形扫描方法、竖直扫描方法和水平扫描方法中的哪种方法。
熵编码单元160和熵编码单元161各自可以基于通过重排单元150或重排单元151计算的值来执行熵编码。例如，可以使用各种编码方法如指数哥伦布码(Golomb)、上下文自适应可变长度编码(CAVLC)和上下文自适应二进制算术编码(CABAC)来实现熵编码。
熵编码单元160和熵编码单元161可以通过从重排单元150和重排单元151以及预测单元120和预测单元125接收各种信息如编码块的块类型信息和残差系数信息、预测模式信息、划分单元信息、预测块信息和传输单位信息、运动矢量信息、参考帧信息、块的插值信息、滤波信息等基于预定编码方法来执行熵编码。此外，熵编码单元160和熵编码单元161可以对从重排单元150和重排单元151输入的编码单位的系数值进行熵编码。
熵编码单元160和熵编码单元161各自可以通过对帧内预测模式信息执行二进制编码来对当前块的帧内预测模式信息进行编码。熵编码单元160和熵编码单元161可以包括用于二进制编码的码字映射单元，并且可以根据用于帧内预测的预测块的大小来以不同的方式执行二进制编码。码字映射单元可以通过二进制编码操作来自适应地生成码字映射表或者可以具有先前生成的映射表。在另一实施方式中，熵编码单元160和熵编码单元161可以使用用于执行码号映射的码号映射单元和用于执行码字映射的码字映射单元来表示关于当前块的帧内预测模式信息。码号映射单元和码字映射单元可以分别生成码号映射表和码字映射表或者可以分别具有先前生成的码号映射表和码字映射表。
逆量化单元170和逆量化单元171各自以及逆变换单元180或逆变换单元181可以对通过量化单元140或量化单元141量化的值进行逆量化以及对通过变换单元130或变换单元131变换的值进行逆变换。将通过逆量化单元170或逆量化单元171以及逆变换单元180或逆变换单元181生成的残差值与通过包括在预测单元120或预测单元125中的运动估计单元、运动补偿单元和帧内预测单元进行预测的预测块结合，并且因此生成重构块。
滤波器单元190和滤波器单元191各自可以包括去块滤波器和偏移校正单元中的至少之一。
去块滤波器可以去除由于重构图片中的块之间的边界而生成的块扭曲(blockdistortion)。可以基于包括在块的一些列或行中的像素来确定是否执行去块，即是否将去块滤波器应用于当前块。在将去块滤波器应用于块时，可以根据所需的去块滤波的强度来应用强滤波器或弱滤波器。此外，在去块滤波器的应用中，当进行竖直滤波和水平滤波时，可以并行地处理竖直滤波和水平滤波。
偏移校正单元可以以像素单位针对对其执行去块的图片与源图片之间的偏移进行校正。为了对特定图片执行偏移校正，可以使用以下方法：将包括在图片中的像素分成某些区域、确定要施加偏移的区域以及将偏移施加于区域的方法；或者在考虑关于每个像素的边缘的信息的情况下施加偏移的方法。
滤波器单元190和滤波器单元191各自可以使用仅去块滤波器、或者使用去块滤波器和偏移校正二者而不是使用所有的去块滤波器和偏移校正来实现。
存储器195和存储器196各自可以存储通过滤波器单元190或滤波器单元191计算的重构块或图片，以及可以在执行帧内预测时将存储在存储器中的重构块和图片提供至预测单元120或预测单元125。
从下层的熵编码单元100b输出的信息和从上层的熵编码单元100a输出的信息可以通过MUX197被复用并且以比特流的形式被输出。
MUX197可以包括在上层的编码单元100a或下层的编码单元100b中，或者有别于编码单元100可以被实现为独立的装置或模块。
图2是示意性地示出根据本发明的实施方式的解码装置的框图。
如图2所示，解码装置200包括上层的解码单元200a和下层的解码单元200b。
上层的解码单元200a可以包括熵解码单元210、重排单元220、逆量化单元230、逆变换单元240、预测单元250、滤波器单元260以及存储器270。
下层的解码单元200b可以包括熵解码单元211、重排单元221、逆量化单元231、逆变换单元241、预测单元251、滤波器单元261以及存储器271。
当从编码装置传输包括多个层的比特流时，解复用器(DEMUX)280可以对与每个层对应的信息进行解复用并且将结果传输至每个层的解码单元200a或解码单元200b。可以以与编码装置的处理相逆的处理来对输入的比特流进行解码。
熵解码单元210和熵解码单元211各自可以以与通过编码装置的熵编码单元执行的熵编码处理相逆的逆处理来执行熵解码。在由熵解码单元210和熵解码单元211解码的信息中，将生成预测块所需的信息提供至预测单元250和预测单元251，并且可以将通过熵解码单元执行熵解码的残差输入至重排单元220和重排单元221。
像熵编码单元160和熵编码单元161一样，熵解码单元210和熵解码单元211各自可以使用CABAC和CAVLC中的至少之一。
熵解码单元210和熵解码单元211各自可以对与通过编码装置执行的帧内预测和帧间预测有关的信息进行解码。熵解码单元210和熵解码单元211各自包括码字映射单元，码字映射单元具有用于根据所接收的码字生成帧内预测模式号的码字映射表。码字映射表可以被预先存储或可以被自适应地生成。当使用码号映射表时，可以附加地排列用于执行码号映射的码号映射单元。
重排单元220和重排单元221各自可以基于编码单元所使用的重排方法来对通过熵解码单元210或熵解码单元211进行熵解码的比特流进行重排。以一维矢量形式表示的系数可以通过被重构而被重排成2维块类型系数。重排单元220和重排单元221各自可以接收与通过编码单元执行的系数扫描方法有关的信息并且可以使用其中基于由编码单元执行的扫描的顺序以执行逆扫描的方法来对系数进行重排。
逆量化单元230和逆量化单元231各自可以基于由编码装置提供的量化参数和块的重排系数来执行逆量化。
逆变换单元240和逆变换单元241各自可以对由编码装置执行的量化结果执行逆DCT或逆DST，逆DCT或逆DST与由相应的变换单元130或变换单元131执行的DCT和DST对应。可以以由编码装置确定的传输单位来执行逆变换。在编码装置的变换单元中，可以根据多条信息如预测方法、当前块的大小、预测方向等来选择性地执行DCT和DST。解码装置的逆变换单元240或逆变换单元241可以基于关于由编码装置的变换单元所执行的变换的信息来执行逆变换。可以基于编码块来执行变换而不是基于变换块来执行变换。
预测单元250和预测单元251各自可以基于由熵解码单元210和熵解码单元211提供的预测块的生成的相关信息以及从相应的存储器270或存储器271提供的先前解码的块或图片的相关信息来生成预测块。
预测单元250和预测单元251各自可以包括预测单元确定单元、帧间预测单元和帧内预测单元。
预测单元确定单元接收各种信息、区分预测块与当前编码块并且确定预测块是执行帧间预测还是帧内预测，所述信息包括从熵解码单元输入的预测单元信息、关于帧内预测方法的预测模式信息、关于帧间预测方法的运动预测信息等。
帧间预测单元可以基于包括在当前图片的先前图片和后续图片中的至少之一中的信息、使用对于由编码装置所提供的当前预测块的帧间预测所需的信息来执行对当前预测块的帧间预测，其中该当前图片包括当前预测块。为了执行帧间预测，可以基于相应编码块来确定用作被包括在编码块中的预测块的运动预测方法的方法是否是跳过模式、合并模式或使用运动矢量预测器(MVP)的模式(AMVP模式)。
帧内预测单元可以基于关于当前图片中的重构像素的信息来生成预测块。当预测块是对其执行帧内预测的预测块时，可以基于由编码装置提供的关于预测块的帧内预测模式信息来执行帧内预测。帧内预测单元可以包括：用于对当前块的参考像素执行滤波的MDIS滤波器、用于通过对参考像素进行插值来以小于单个像素为单位生成参考像素的参考像素插值单元以及用于在当前块的预测模式是DC模式的情况下通过滤波来生成预测块的DC滤波器。
上层的解码单元200a的预测单元250还可以包括用于执行层间预测的层间预测单元，其中使用关于下层的信息来预测上层。
层间预测单元可以通过使用帧内预测模式信息、运动信息等来执行层间预测。
实施层间预测以使得可以通过采用下层图片作为参考图片并且使用与下层(参考层)的图片有关的运动信息来对上层的当前块执行预测。
在层间预测中，可以针对当前层的分辨率来对用作参考图片的参考层的图片进行适当地采样。此外，运动信息可以包括运动矢量和参考索引。在这一点上，用于参考层图片的运动矢量值可以被设置为(0，0)。
作为层间预测的示例，描述了用于使用下层图片作为参考图片的预测方法，但不限于此。层间预测单元123可以附加地执行层间纹理预测、层间运动预测、层间语法预测和层间残差预测等。
层间纹理预测可以基于参考层的纹理来得到当前层的纹理。可以针对当前层的分辨率来对参考层纹理进行适当地采样，并且层间预测单元可以基于所采样的纹理来预测当前层纹理。层间运动预测可以基于参考层的运动矢量来得到当前层的运动矢量。文中，可以针对当前层的分辨率来适当地按比例调节参考层的运动矢量。在层间语法预测中，可以基于参考层语法来预测当前层语法。例如，层间预测单元123可以使用参考层语法作为当前层语法。此外，在层间残差预测中，可以通过使用参考层的重构图像与当前层的重构图像之间的差值来重构当前层的图片。
可以将重构块或图片提供至各滤波器单元260和滤波器单元261。滤波器单元260和滤波器单元261各自可以包括去块滤波器和偏移校正单元。
可以从编码装置接收关于是否将去块滤波器应用于相应块或图片的信息以及关于在应用去块滤波器时是应用强滤波器还是应用弱滤波器的信息。解码装置的去块滤波器可以接收从编码装置提供的去块滤波器相关信息并且解码装置可以对相应块执行去块滤波。
偏移校正单元可以基于在编码时的偏移校正的类型和施加于图像的偏移值信息来对重构图像执行偏移校正。
存储器270和存储器271各自可以存储重构图片或块以使其能够用作参考图片或参考块，并且存储器270和存储器271还可以输出重构图片。
编码装置和解码装置可以对三个层或更多个层执行编码，而不是对两个层执行编码，并且在这种情况下，可以提供与上层的数量对应的针对上层的多个编码单元和解码单元。
在用于支持多层结构的可伸缩视频编码(SVC)中，存在多个层之间的关联。当通过使用该关联来执行预测时，可以去除数据重复元素并且可以改进图像编码性能。
因此，当对要被编码/解码的当前层(即增强层)的图片(即图像)进行预测时，可以执行通过使用另一层的信息的层间预测以及使用当前层的信息的帧间预测或帧内预测。
当执行层间预测时，可以通过使用用于层间预测的参考层的解码图片作为参考图片来生成用于当前层的预测样本。
在这种情况下，由于当前层与参考层之间可以在以下方面中的至少一个方面中不同：空间分辨率、时间分辨率和图像品质(由于层之间的可伸缩性的差异而引起的)，所以对参考层的解码图片进行重采用以适于当前层的可伸缩性，以及然后将其用作用于当前层的层间预测的参考图片。“重采样”是指对参考层图片的样本进行上采样或下采样以匹配当前层图片的图片大小。
在本说明书中，当前层是对其执行编码或解码的层，并且当前层可以是增强层或上层。参考层是被参考以用于当前层的层间预测的层，并且参考层可以是基本层或下层。用于当前层的层间预测的参考层的图片(即参考图片)可以被称为层间参考图片或者层之间的参考图片。
图3是示出在应用本发明的实施方式中的用于使用下层的相应图片重构上层的当前图片的操作的流程图。
参照图3，可以基于下层的时间级ID(TemporalID)确定是否将下层的相应图片用在对上层的当前图片的层间预测中(S300)。
如果增强层中的要被编码的当前图片具有低的时间分辨率(即，当前图片的时间级ID(TemporalID)具有较小的值)，则当前图片与增强层的已被解码的另一图片的显示顺序之间的差异较大。在这种情况下，由于当前图片和已解码图片的图像特征很可能不同，所以很可能使用下层的上采样图片作为当前图片的参考图片，而不是使用增强层的已解码图片作为当前图片的参考图片。
另一方面，如果增强层中的要被编码的当前图片具有高的时间分辨率(即当前图片的时间级ID(TemporalID)具有较大的值)，则当前图片与增强层的已被解码的另一图片的显示顺序之间的差异不大。在这种情况下，由于当前图片和已解码图片的图像特征很可能相似，所以很可能使用增强层的已解码图片作为当前图片的参考图片。
因为在当前图片具有低的时间分辨率时，层间预测方法是高效的，所以有必要确定是否允许层间预测。为此目的，可以以信号的形式发出下层的对其能够进行层间预测的最大时间级ID，这将参照图4进行详细描述。
同时，下层的相应图片可以是指位于与上层的当前图片的时间点相同的时间点处的图片。例如，相应图片可以是具有与上层的当前图片的图片顺序计数(POC)信息相同的图片顺序计数信息的图片。相应图片可以包括在与上层的当前图片的访问单元(AU)相同的访问单元中。
此外，视频序列可以包括根据时间/空间分辨率或量化大小进行可伸缩编码的多个层。时间级ID可以是指根据时间分辨率而被可伸缩编码的多个层的每个层进行标识的ID。
如果在步骤S300中确定将下层的相应图片用在对上层的当前图片的层间预测中，则可以使用下层的相应图片来对当前图片执行层间预测(S310)。
特别地，可以通过上层与下层之间的瓦片对齐来按照瓦片对多个层并行地执行层间预测，这将参照图7至图11来描述。
或者，可以根据多个层之间的瓦片对齐或瓦片不对齐来限制性地执行对上层的当前图片的层间预测，这将参照图12至图15来描述。
同时，如果上层的当前图片和下层的相应图片具有不同的空间分辨率，则下层的相应图片可以被上采样并且被用作当前图片的层间参考图片。将参照图16描述用于对下层的相应图片进行上采样的方法。
参照图3，可以使用与当前图片有关的残差样本和通过步骤S310中的层间预测获得的当前图片的预测样本来重构当前图片(S320)。
可以通过对接收到的比特流进行熵解码获得变换系数，以及然后将变换系数用作残差样本。可以通过对接收到的比特流进行熵解码获得变换系数，以及然后通过对变换系数执行逆量化和逆变换来获得残差样本。
另外，可以将环路滤波器应用于步骤S320中的重构当前图片。文中，环路滤波器可以包括去块滤波器或偏移补偿滤波器中的至少之一。可以基于层滤波器标记(loop_filter_across_tiles_disabled_flag)来确定是否将环路滤波器应用于当前图片，这将参照图17至图18来描述。
图4是示出在应用本发明的实施方式中的用于确定是否将下层的相应图片用作当前图片的层间参考图片的操作的流程图。
参照图4，在S400中能够获得与下层有关的最大时间级标识符。
文中，最大时间级标识符是指下层的允许上层的层间预测的时间级标识符的最大值。
能够通过由比特流提取的最大时间级指示符得到最大时间级标识符并且在图5中详细描述，或者能够基于预限定的默认时间级值得到最大时间级标识符。例如，预限定的默认时间级值可以是指其中包括最大时间级指示符的预定范围内的最大值。如果与最大时间级指示符的值有关的预定范围是0至7，则能够得到预限定的默认时间级值为7。这在针对每个层不以信号的形式发送最大时间级指示符的情况下可以应用，因为视频序列中的所有层的最大时间级指示符彼此相等。
通过对在S400处获得的最大时间级标识符与下层的时间级标识符进行比较来确定是否将下层的相应图片用作当前图片的参考图片S410。
例如，如果下层的时间级指示符大于最大时间级指示符，则不将下层的相应图片用作当前图片的层间参考图片。
另一方面，下层的时间级标识符小于或等于最大时间级标识符，能够将下层的相应图片用作当前图片的层间参考图片。即，可以使用下层的其时间级指示符小于最大时间级指示符的图片来执行对当前图片的层间预测。
图5是示出在应用本发明的实施方式中的用于通过从比特流提取最大时间级ID来获取最大时间级标识符(ID)的方法的流程图。
编码器确定最佳的最大时间级标识符，对其进行解码并且将其传输至解码器。此时，编码器能够对所确定的最大时间级标识符原样进行编码或者能够对通过向所确定的最大时间级标识符添加1而计算出的值(max_tid_il_ref_pics_plus1，在下文中称为“最大时间级指示符”)进行编码。
参照图5，能够通过比特流获得与下层有关的最大时间级指示符S500。
文中，能够获得与一个视频序列中所允许的层的最大数量一样多的最大时间级指示符。能够从比特流的视频参数集来获得最大时间级指示符。
具体地，如果所获得的最大时间级指示符的值为0，则意指不将下层的相应图片用作上层的层间参考图片。文中，下层的相应图片可以是除了随机访问图片以外的图片(非随机访问图片)。
例如，如果最大时间级指示符为0，则不将视频序列中的多个层中的第i层的图片用作被包括在第(i+1)层中的图片的层间预测的参考图片。
另一方面，如果最大时间级指示符大于0时，则意指不将下层的具有大于最大时间级标识符的时间级标识符的相应图片用作上层的层间参考图片。
例如，如果最大时间级指示符大于0，则不将视频序列中的多个层中的第i层的具有大于最大时间级标识符的时间级标识符的图片用作被包括在第(i+1)层中的图片的层间预测的参考图片。即，如果最大时间级指示符大于0，并且被包括在视频序列中的多个层中的第i层中的图片具有小于最大时间级标识符的时间级标识符，则将被包括在第i层中的图片用作被包括在第(i+1)层中的图片的层间预测的参考图片。文中，根据最大时间级指示符得到最大时间级标识符。例如，通过从最大时间级标识符减去1而得到最大时间级标识符的值。
同时，从S500处得到的最大时间级指示符具有在预定范围(例如0至7)内的值。如果在S500处得到的最大时间级指示符的值对应于在预定范围内的最大值，则不管下层的相应图片的时间级标识符(TemporalID)而能够将下层的相应图片用作上层的层间参考图片。
图6示出了在应用本发明的实施方式中的片与瓦片之间的关系。
一个图片可以被分成至少一个片。片可以是可以独立地进行熵解码的基本单元。一个片可以包括多个片段。
此外，一个图片可以被分成至少一个瓦片。瓦片是包括多个编码树单元的方形区域，并且可以按照瓦片执行熵解码。此外，可以同时对多个瓦片进行解码，即并行解码。编码器可以对最佳瓦片大小或瓦片单元进行编码并且将经编码的瓦片大小或瓦片单元传输至解码器。
或者可以执行层间瓦片对齐。也就是说，可以基于下层的瓦片大小或瓦片单元来引入上层的瓦片大小或瓦片单元。
图6的(a)示出了其中一个图片被分成一个独立片段和四个从属片段的情况。独立片段是指包括片段头部的片段，而从属片段是指没有片段头部的共享独立片段的头部的片段。此外，片段包括多个编码树单元，每个编码树单元的尺寸等于为用于视频信号处理的基本单元的编码单元的最大尺寸。
参照图6的(a)，一个瓦片可以包括多个片段，并且一个片段可以存在于一个瓦片中。或者多个瓦片可以存在于一个片中。
图6的(b)示出了其中一个瓦片包括两个或更多个片的情况。也就是说，参照图6的(b)，片0可以包括独立片段0和从属片段1，以及片1可以包括独立片段1和从属片段2。片0和片1可以被包括在一个瓦片(瓦片0)中。
图7是示出在应用本发明的实施方式中的用于使用多个层之间的瓦片对齐来执行层间预测的方法的流程图。
参照图7，可以执行多个层之间的瓦片对齐(S700)。
多个层之间的瓦片对齐可以意指上层的瓦片大小或瓦片单元是基于下层的瓦片大小或瓦片单元来引入的。例如，上层的瓦片大小或瓦片单元可以被设置为与下层的瓦片大小或瓦片单元相同。或者在上层被编码时，使用关于下层的瓦片大小或瓦片单元的信息引入上层的瓦片大小或瓦片单元。
将参照图8至图11描述用于对齐上层与下层之间的瓦片大小或瓦片单元的方法。
参照图7，可以对多个层的瓦片并行地执行层间预测(S710)。
特别地，如果基于下层的瓦片大小或瓦片单元来对齐上层的瓦片大小或瓦片单元，则可以对下层的一个瓦片进行解码，以及然后对上层的一个瓦片进行解码。在下层的下一个瓦片被解码之后，可以对上层的下一个瓦片进行解码。因为以此方式将上层与下层之间的瓦片大小或瓦片单元对齐，所以可以并行地执行上层与下层之间的层间预测。
另一方面，如果按照多个层设置不同的瓦片大小或瓦片单元，则在下层被完全解码后可以对上层进行解码。
图8是示出在应用本发明的实施方式中的用于基于可丢弃标记来自适应地执行层间瓦片对齐的方法的流程图。
参照图8，可以获取下层的相应图片的可丢弃标记(S800)。
可丢弃标记可以意指指示是否将编码图片用作参考图片或在根据解码顺序对后续图片解码期间的层间参考图片的信息。也就是说，如果可丢弃标记为1，这意指不将编码图片用作参考图片或在根据解码顺序对后续图片解码期间的层间参考图片。在这种情况下，编码图片可以被标记为不用于参考，指示不将编码图片用作参考图片，以高效地管理解码图像缓冲器(DPB)。相反地，如果可丢弃标记为0，这意指将编码图片用作参考图片或在根据解码顺序对后续图片解码期间的层间参考图片。
同时，可丢弃标记不限于按照图片获取。明显地，可以按照片或按照片段获取可丢弃标记。
可以对在步骤S800中获取的可丢弃标记的值进行检查(S810)。
如果可丢弃标记为1，则基于下层的相应图片的瓦片大小或瓦片单元对上层的当前图片不执行层间瓦片对齐(S820)。
相反地，如果可丢弃标记为0，则基于下层的相应图片的瓦片大小或瓦片单元对上层的当前图片执行层间瓦片对齐(S830)。
图9、图10和图11是示出在应用本发明的实施方式中的用于基于下层的时间级ID(TemporalID)来自适应地执行层间瓦片对齐的方法的流程图。
由于在多层结构中层间预测的效率根据时间级ID变化，所以可以根据属于特定层的图片的时间级ID来自适应地执行层间瓦片对齐。
(1)下层的最大时间级ID的使用
参照图9，可以获取下层的最大时间级ID(S900)。前面已经参照图5描述了用于获取最大时间级ID的方法，因此在此将不再进行详细描述。
可以对在步骤S900中获取的最大时间级ID与下层的相应图片的时间级ID进行比较(S910)。
在步骤S910中，如果下层的相应图片的时间级ID大于下层的最大时间级ID，则可以不将下层的相应图片用作上层的当前图片的层间参考图片。因此，基于下层的相应图片对上层的当前图片不执行层间瓦片对齐(S920)。
相反地，在步骤S910中，如果下层的相应图片的时间级ID等于或小于下层的最大时间级ID，则可以将下层的相应图片用作上层的当前图片的层间参考图片。因此，基于下层的相应图片对上层的当前图片执行层间瓦片对齐(S930)。
(2)上层的时间级ID的使用
参照图10，对上层的当前图片的时间级ID与下层的相应图片的时间级ID进行比较(S1000)。
特别地，可以确定上层的当前图片的时间级ID和下层的相应图片的时间级ID具有相同值还是具有不同值。如果上层的当前图片和下层的相应图片具有不同的时间级ID，则执行层间预测或层间瓦片对齐可能是低效的。
可以基于步骤S1000的比较结果来执行多个层之间的瓦片对齐(S1010)。
特别地，如果上层的当前图片和下层的相应图片具有不同的时间级ID，则可以不执行层间瓦片对齐。另一方面，如果上层的当前图片和下层的相应图片具有相同的时间级ID，则可以执行层间瓦片对齐。
(3)下层的最大时间级ID和上层的时间级ID的使用
可以结合上述方法(1)和方法(2)来自适应地执行层间瓦片对齐。
参照图11，可以获取下层的最大时间级ID(S1100)。
对在步骤S1100中获取的最大时间级ID与下层的相应图片的时间级ID进行比较(S1110)。
在步骤S1110中，如果下层的相应图片的时间级ID大于下层的最大时间级ID，则不将下层的相应图片用作上层的当前图片的层间参考图片。因此，基于下层的相应图片对上层的当前图片不执行层间瓦片对齐(S1120)。
相反地，在步骤S1110中，如果下层的相应图片的时间级ID等于或小于下层的最大时间级ID，则对上层的当前图片的时间级ID层与下层的相应图片的时间级ID进行比较(S1130)。
可以基于步骤S1130的比较结果来执行多个层之间的瓦片对齐(S1140)。
也就是说，如果上层的当前图片和下层的相应图片具有不同的时间级ID，则可以不执行层间瓦片对齐。另一方面，如果上层的当前图片和下层的相应图片具有相同的时间级ID，则可以执行层间瓦片对齐。
同时，虽然图11中在对下层的最大时间级ID与下层的相应图片的时间级ID进行比较之后对上层的时间级ID与下层的时间级ID进行比较，但是比较顺序不限于此。明显地，在对上层的时间级ID与下层的时间级ID进行比较之后，可以对下层的最大时间级ID与下层的相应图片的时间级ID进行比较。
图12是示出在应用本发明的实施方式中的用于根据层间瓦片对齐或层间瓦片不对齐来执行限制性层间预测的方法的流程图。
参照图12，可以确定在上层与下层之间瓦片是否已被对齐(S1200)。
例如，可以基于瓦片边界对齐标记tile_boundaries_aligned_flag[i][j]确定在上层与下层之间瓦片是否已被对齐。
特别地，如果瓦片边界对齐标记tile_boundaries_aligned_flag[i][j]的值为1，这是指如果属于第i层(即上层)的当前图片的两个样本属于一个瓦片，则属于第j层(即，下层)的相应图片的两个样本属于一个瓦片，以及如果属于第i层(即上层)的当前图片的两个样本属于彼此不同的瓦片，则属于第j层(即，下层)的相应图片的两个样本属于彼此不同的瓦片。
因此，如果瓦片边界对齐标记tile_boundaries_aligned_flag[i][j]的值为1，则这是指在上层的当前图片与下层的相应图片之间瓦片大小或瓦片单元对齐。相反地，如果瓦片边界对齐标记tile_boundaries_aligned_flag[i][j]为0，则是指在层之间瓦片未对齐。
第j层可以是与第i层具有直接依赖关系的层。可以基于直接依赖关系标记direct_dependency_flag[i][j]确定层与上层是否具有直接依赖关系。直接依赖关系标记direct_dependency_flag[i][j]可以指示是否将第j层用在对第i层的层间预测中。
例如，如果直接依赖关系标记direct_dependency_flag[i][j]的值为1，则可以将第j层用在对第i层的层间预测中，以及如果直接依赖关系标记direct_dependency_flag[i][j]的值为0，则不能将第j层用在对第i层的层间预测中。
同时，包括在第j层中的相应图片的时间级标识符可以等于或小于与第j层有关的最大时间级标识符。这种情况通过图4和图5进行了评论，因此省略关于此种情况的细节。或者，包括在第j层中的相应图片可以具有与包括在第i层中的当前图片相同的时间级标识符。
此外，属于第j层的相应图片的两个样本可以是指在与当前图片的两个样本的相同位置处的样本。
可以从视频参数集中的视频可用性信息(VUI)获取瓦片边界对齐标记tile_boundaries_algned_flag[i][j]。VUI可以是指用于解码器一致性或输出时间一致性的信息。
同时，在存在关于属于上层(即，第j层)和下层(即，第i层)的每个层中的至少一个图片的瓦片大小或瓦片单元的信息的情况下，可以获取瓦片边界对齐标记tile_boundaries_aligned_flag[i][j]。将参照图13、图14和图15描述用于获取瓦片边界对齐标记的方法。
参照图12，可以基于步骤S1200的确定结果来执行限制性层间预测(S1210)。
根据上层的当前图片的瓦片边界对齐标记，进行如下限制：不将下层的相应图片的特定区域中的样本用于上层的当前图片的层间预测。
特别地，如果当前图片的瓦片边界对齐标记的值为1，则进行如下限制：不将相应图片的瓦片的外部的样本用于对当前图片的瓦片的内部的样本的层间预测。也就是说，如果当前图片的瓦片边界对齐标记的值为1，则可以仅使用相应图片的瓦片的内部的样本对当前图片的瓦片的内部的样本执行层间预测。
相反地，如果当前图片的瓦片边界对齐标记的值为0，则可以不施加下述约束：不将相应图片的瓦片的外部的样本用于对当前图片的瓦片的内部的样本的层间预测。也就是说，如果当前图片的瓦片边界对齐标记的值为0，则可以使用相应图片的瓦片的内部和/或外部的样本对当前图片的瓦片的内部的样本执行层间预测。
当前图片的瓦片可以是指通过层间瓦片对齐与相应图片的瓦片匹配的瓦片。此外，每个当前图片的瓦片和相应图片的瓦片可以是一个瓦片或一组多个瓦片。
图13、图14和图15示出了在应用本发明的实施方式中的瓦片边界对齐标记的语法。
参照图13，可以获取瓦片边界对齐标记tile_boundaries_aligned_flag[i][j](S1300)。
如上所述，瓦片边界对齐标记tile_boundaries_aligned_flag[i][j]可以指示第i层的瓦片大小或瓦片单元与第j层的瓦片大小或瓦片单元是否被对齐。文中，第j层是被包括在视频序列中的多个层中的与第i层具有直接依赖关系的层。也就是说，第j层是指用于第i层的层间预测的层。因此，可以获取和与第i层具有直接依赖关系的层的数量NumDirectRefLayers_id_in_nuh[i]一样多的瓦片边界对齐标记tile_boundaries_aligned_flag[i][j]。
同时，可以不将层间瓦片对齐用于包括在视频序列中的任何层。为此目的，可以以信号的形式发出非瓦片对齐标记tile_boundaries_non_aligned_flag。
参照图14，可以获取非瓦片对齐标记tile_boundaries_non_aligned_flag(S1400)。
非瓦片对齐标记tile_boundaries_non_aligned_flag可以指示在视频序列的层中是否限制层间对齐。
特别地，如果非瓦片对齐标记tile_boundaries_non_aligned_flag为1，则施加下述约束：对视频序列的层不执行层间瓦片对齐。
例如，如果属于视频序列的层的图片不使用瓦片，则可以不执行层间瓦片对齐。当视频序列的图片不使用瓦片时，非瓦片对齐标记tile_boundaries_non_aligned_flag被编码成1。当非瓦片对齐标记tile_boundaries_non_aligned_flag为1时，这意指视频序列的图片不使用瓦片并且施加不执行层间瓦片对齐的约束。
相反地，如果非瓦片对齐标记tile_boundaries_non_aligned_flag为0，则这意指不施加下述约束：在视频序列的层中不执行层间瓦片对齐。例如，如果非瓦片对齐标记tile_boundaries_non_aligned_flag为0，则这意指属于视频序列的层的图片使用瓦片。此外，如果非瓦片对齐标记tile_boundaries_non_aligned_flag为0，则这意指在视频序列的层中的至少一个层中可以执行层间瓦片对齐。
因此，非瓦片对齐标记tile_boundaries_non_aligned_flag可以指示瓦片边界对齐标记是否存在或者是否从比特流提取瓦片边界对齐标记。
参照图14，仅当非瓦片对齐标记tile_boundaries_non_aligned_flag为0时，可以限制性地获取瓦片边界对齐标记tile_boundaries_aligned_flag[i][j](S1410)。
也就是说，如果非瓦片对齐标记tile_boundaries_non_aligned_flag为1，则在视频序列的任一层中不执行层间瓦片对齐。因此，不需要按照层以信号的形式发出指示是否应用瓦片对齐的瓦片边界对齐标记tile_boundaries_aligned_flag[i][j]。
如之前参照图13所描述的，瓦片边界对齐标记tile_boundaries_aligned_flag[i][j]可以指示第i层的瓦片大小或瓦片单元与第j层的瓦片大小或单元是否被对齐。文中，第j层是包括在视频序列中的多个层中的与第i层具有直接依赖关系的层。也就是说，第j层是指用于第i层的层间预测的层。因此，可以获取和与第i层具有直接依赖关系的层的数量NumDirectRefLayers_id_in_nuh[i]一样多的瓦片边界对齐标记tile_boundaries_aligned_flag[i][j]。
同时，可以出现在视频序列中的除了在其中不执行层间预测的层(例如，由H.264/AVC或HEVC编解码器编码的层)以外的所有其他层中使用层间瓦片对齐的情况。在这种情况下，可以以信号的形式发出指示是否可以得到所有其他层的瓦片边界的瓦片对齐存在标记(tile_boundaries_aligned_present_flag)。
参照图15，可以获取瓦片对齐存在标记(tile_boundaries_aligned_present_flag)(S1500)。
文中，瓦片对齐存在标记指示在视频序列中的除了在其中不执行层间预测的层以外的所有其他层上是否得到瓦片边界。
例如，当瓦片对齐存在标记为1时，针对视频序列中的除了在其中不执行层间预测的层以外的所有其他层得到瓦片边界。当瓦片对齐存在标记为0时，针对视频序列中的除了在其中不执行层间预测的层以外的所有其他层未得到瓦片边界。
因此，仅当瓦片对齐存在标记为0时，可以限制性地获取瓦片边界对齐标记(tile_boundaries_aligned_flag[i][j])(S1510)。
也就是说，如果瓦片对齐存在标记为1，则这意指得到属于图片或片的瓦片边界。因此，不需要按照层以信号的形式发出瓦片边界对齐标记。相反地，如果瓦片对齐存在标记为0，则未得到属于图片或片的瓦片边界。因此，需要按照层以信号的形式发出指示是否应用瓦片对齐的瓦片边界对齐标记。
特别地，可以基于属于图片或片的瓦片的数量来确定是否得到属于图片或片的瓦片边界。
例如，如果属于视频序列的图片的瓦片的数量是1，则这意指属于图片的一个瓦片与图片是相同的。换言之，这也意指图片不使用瓦片。在这种情况下，可以得到瓦片边界等于图片边界。因此，如果属于视频序列的图片的瓦片的数量是1，则可以将瓦片对齐存在标记编码为1并且按照层以信号的形式不发出瓦片边界存在标记。当属于视频序列的图片的瓦片的数量为1时，不获取瓦片边界存在标记。
然而，如果属于视频序列的图片的瓦片的数量为二或更大时，因为未得到瓦片边界，所以需要按照层以信号的形式发出瓦片边界对齐标记。也就是说，当属于视频序列的图片的瓦片的数量为二或更大时，可以获取瓦片边界对齐标记。文中，属于视频序列的图片的瓦片的数量为二或更大的情况意指图片使用瓦片。
瓦片边界对齐标记(tile_boundaries_aligned_flag[i][j])可以指示第i层与第j层的瓦片大小或瓦片单元是否被对齐。文中，第j层是包括在视频序列中的多个层中的与第i层具有直接依赖关系的层。也就是说，第j层是指要被用于第i层的层间预测的层。因此，可以获取和与第i层具有直接依赖关系的层的数量(NumDirectRefLayers_id_in_nuh[i])一样多的瓦片边界对齐标记。
图16是示出在应用本发明的实施方式中的用于对下层的相应图片进行上采样的方法的流程图。
参照图16，可以得到与上层的当前样本的位置对应的下层的参考样本的位置(S1600)。
由于上层和下层可以具有不同的分辨率，所以在考虑层的分辨率之间的差的情况下可以得到与上层的当前样本的位置对应的下层的参考样本的位置。也就是说，可以考虑上层的图片和下层的图片的宽高比。此外，下层的上采样图片的大小与上层的图片的大小可以不匹配，并且因此需要用于校正尺寸差的偏移量。
例如，可以考虑比例因子和经上采样的下层偏移量来确定参考样本的位置。
可以基于上层的当前图片和下层的相应图片的宽高比来计算比例因子。
经上采样的下层偏移量可以是指关于当前图片的边缘处的样本的位置与层间参考图片的边缘处的样本的位置之间的差的信息。例如，经上采样的下层偏移量可以包括关于当前图片的左顶端处的样本的位置与相应图片的左顶端处的样本的位置之间的水平/垂直方向差的信息，以及关于当前图片的右底端处的样本的位置与相应图片的右底端处的样本的位置之间的水平/垂直方向差的信息。
可以从比特流获取经上采样的下层偏移量。例如，可以从视频参数集、序列参数集、图像参数集或片头部中的至少之一获取经上采样的下层偏移量。
可以在考虑步骤S1600中确定的参考样本位置的相位的情况下确定上采样滤波器的滤波器系数(S1610)。
文中，可以将固定上采样滤波器和自适应上采样滤波器用作上采样滤波器。
1.固定上采样滤波器
固定上采样滤波器可以是指具有预定的滤波器系数而不考虑视频的特征的上采样滤波器。可以将抽头滤波器用作固定上采样滤波器，并且可以关于亮度分量和色度分量中的每个分量来对固定上采样滤波器进行限定。参照[表1]和[表2]，将描述具有1/16样本单位的精确度的固定上采样滤波器。
[表1]
[表1]针对亮度分量对固定上采样滤波器的滤波器系数进行限定。
如根据[表1]所示，将8抽头滤波器应用于对亮度分量的上采样。也就是说，可以使用参考层的与上层的当前样本对应的参考样本以及与参考样本相邻的样本来执行插值。可以根据插值方向来指定邻近样本。例如，如果沿水平方向执行插值，则邻近样本可以包括在参考样本的左边的三个连续样本以及在参考样本的右边的四个连续样本。或者，如果沿竖直方向执行插值，则邻近样本可以包括参考样本上面的三个连续样本以及参考样本下面的四个连续样本。
因为在具有1/16样本单位的精确度的情况下执行插值，所以存在总计16个相位，用于支持各种放大率如2倍、1.5倍等的分辨率。
此外，固定上采样滤波器可以针对每个相位p使用不同的滤波器系数。除了相位p为0(p＝0)的情况以外，可以将每个滤波器系数的大小限定为在0至63的范围内。这意指在具有6位精度的情况下执行滤波。如果以1/n样本的单位执行插值，则相位为0意指为n的倍数的整数样本的位置。
[表2]
[表2]针对色度分量对固定上采样滤波器的滤波器系数进行限定。
如根据[表2]所示，与亮度分量相比，将4抽头滤波器应用于对色度分量的上采样。也就是说，可以使用参考层的与上层的当前样本对应的参考样本以及与参考样本相邻的样本来执行插值。可以根据插值方向来指定邻近样本。例如，如果沿水平方向执行插值，则邻近样本可以包括在参考样本的左边的一个连续样本以及在参考样本的右边的两个连续样本。或者，如果沿竖直方向执行插值，则邻近样本可以包括参考样本上面的一个连续样本以及参考样本下面的两个连续样本。
类似于亮度分量的情况，因为在具有1/16样本单位的精确度的情况下执行插值，所以存在总计16个相位，并且固定上采样滤波器可以针对每个相位p使用不同的滤波器系数。除了相位为0(p＝0)的情况以外，可以将每个滤波器系数的大小限定为在0至63的范围内。这意指在具有6位精度的情况下执行滤波。
虽然上面描述了将8抽头滤波器和4抽头滤波器分别应用于亮度分量和色度分量的情况，但是本发明不限于此，明显地，可以在考虑编码效率的情况下可变地确定抽头滤波器的阶数。
2.自适应上采样滤波器
编码器可以在不使用固定滤波器系数的情况下通过考虑视频的特征来确定最佳滤波器系数，并且将所确定的最佳滤波器系数以信号的形式发出至解码器。以此方式，自适应上采样滤波器使用由编码器自适应地确定的滤波器系数。因为视频按照图片具有不同的特征，所以在使用能够很好地表示视频的特征的自适应上采样滤波器而非对于所有情况均使用固定上采样滤波器时可以改进编码效率。
可以通过将S1610中确定的滤波器系数应用于下层的相应图片来生成层间参考图片(S1620)。
特别地，可以通过将所确定的上采样滤波器的滤波器系数应用于相应图片的样本来执行插值。文中，首先沿水平方向执行插值，然后其次沿竖直方向对根据水平插值所生成的样本执行插值。
图17示出了在应用本发明的实施方式中的用于基于层滤波器标记将环路滤波器应用于属于上层的图片的瓦片边界的方法。
参照图17，可以获得与上层有关的层滤波器标记(S1700)。
层滤波器标记表示是否将环路滤波器应用于第i层(即上层)的瓦片边界。
例如，当层滤波器标记的值为1时，施加不将环路滤波器应用于属于第i层的每个图片的瓦片边界的约束。
相反地，当层滤波器标记的值为0时，不施加不将环路滤波器应用于属于第i层的每个图片的瓦片边界的约束。当层滤波器标记的值为0时，可以将环路滤波器应用于属于第i层的一些图片的瓦片边界并且不应用于属于第i层的其他图片的瓦片边界。
将参照图18描述用于获得层滤波器标记的方法。
可以确定步骤S1700中的层滤波器标记的值是否为1(S1710)。
当层滤波器标记的值根据步骤S1710的确定结果为1时，不将环路滤波器应用于属于第i层的每个图片的瓦片边界(S1720)。
特别地，当层滤波器标记的值为1时，这意指不将环路滤波器应用于第i层。因此，可以得到与属于第i层的每个图片有关的图片滤波器标记为0。
文中，图片滤波器标记可以表示是否将环路滤波器应用于当前图片的瓦片边界。例如，当图片滤波器标记的值为1时，将环路滤波器应用于当前图片的瓦片边界，当图片滤波器标记的值为0时，不将环路滤波器应用于当前图片的瓦片边界。
因此，因为第i层的每个图片具有等于0的图片滤波器标记，所以不将环路滤波器应用于每个图片的瓦片边界。
当层滤波器标记的值根据步骤S1710的确定结果为0时，可以基于与属于第i层的每个图片有关的图片滤波器标记将环路滤波器选择性地应用于瓦片边界(S1730)。
特别地，可以针对属于第i层的每个图片获得图片滤波器标记。当图片滤波器标记的值为1时，可以将环路滤波器应用于图片的瓦片边界。相反地，当图片滤波器标记的值为0时，不将环路滤波器应用于图片的瓦片边界。
图18示出了在应用本发明的实施方式中的与层滤波器标记有关的语法。
参照图18，可以从属于视频参数集的视频可用性信息(VUI)获得层滤波器标记(loop_filter_across_tiles_disabled_vps_flag)(S1800)。
如参照图12所描述的，不将视频可用性信息用于对亮度分量和色度分量进行解码，但是可以用于解码器一致性或输出时间一致性。
可以基于瓦片对齐存在标记(tile_boundaries_aligned_present_flag)获得层滤波器标记。
特别地，当瓦片对齐存在标记的值为1时，这意指属于第i层的片或图片的瓦片的数量是一。因此，不需要对片或图片的瓦片边界执行环路滤波器。
因此，如图18所示，当瓦片对齐存在标记的值为1时不能获得层滤波器标记是受到约束的。也就是说，当属于第i层的片或图片的瓦片的数量为一时不能获得层滤波器标记。此外，在这种情况下，可以得到指示在图片级是否应用环路滤波器的图片滤波器标记(loop_filter_across_tile_eable_flag)为0。
相反地，当瓦片对齐存在标记的值为0或者属于第i层的至少一个图片或片包括多个瓦片时，需要将环路滤波器应用于图片或片的瓦片边界。当属于第i层的至少一个图片或片包括多个瓦片时，可以获得层滤波器标记。
工业实用性
本发明可以用于对多层结构的视频信号进行编码/解码。

Claims (15)

1.一种用于对多层视频信号进行解码的方法，所述方法包括：
基于下层的时间级标识符，确定所述下层的相应图片是否被用在对上层的当前图片的层间预测中；
如果所述下层的所述相应图片被用在对所述上层的所述当前图片的层间预测中，则使用所确定的所述下层的相应图片执行对所述当前图片的层间预测；
使用与所述当前图片有关的残差样本和通过所述层间预测获得的预测样本，重构所述当前图片；以及
基于与所述上层有关的层滤波器标记，将环路滤波器选择性地应用于经重构的当前图片的瓦片边界。
2.根据权利要求1所述的方法，其中，当所述层滤波器标记的值为1时，施加不将所述环路滤波器应用于所述当前图片的所述瓦片边界的约束，以及当所述层滤波器标记的值为0时，不施加不将所述环路滤波器应用于所述当前图片的所述瓦片边界的约束。
3.根据权利要求2所述的方法，其中，所述层滤波器标记是基于属于所述上层的图片的瓦片的数量限制性地获得的。
4.根据权利要求3所述的方法，其中，当属于所述上层的至少一个图片包括多个瓦片时，从比特流获得所述层滤波器标记。
5.一种用于对多层视频信号进行解码的装置，所述装置包括：
帧间预测器，所述帧间预测器用于基于下层的时间级标识符确定所述下层的相应图片是否被用在对上层的当前图片的层间预测中，以及如果所述下层的所述相应图片被用在对所述上层的所述当前图片的层间预测中，则使用所确定的所述下层的相应图片执行对所述当前图片的层间预测；
重构单元，所述重构单元用于使用与所述当前图片有关的残差样本和通过所述层间预测获得的预测样本，重构所述当前图片；以及
滤波器单元，所述滤波器单元用于基于与所述上层有关的层滤波器标记，将环路滤波器选择性地应用于经重构的当前图片的瓦片边界。
6.根据权利要求5所述的装置，其中，当所述层滤波器标记的值为1时，施加不将所述环路滤波器应用于所述当前图片的所述瓦片边界的约束，以及当所述层滤波器标记的值为0时，不施加不将所述环路滤波器应用于所述当前图片的所述瓦片边界的约束。
7.根据权利要求6所述的装置，其中，所述层滤波器标记是基于属于所述上层的图片的瓦片的数量限制性地获得的。
8.根据权利要求7所述的装置，其中，当属于所述上层的至少一个图片包括多个瓦片时，从比特流获得所述层滤波器标记。
9.一种用于对多层视频信号进行编码的方法，所述方法包括：
基于下层的时间级标识符，确定所述下层的相应图片是否被用在对上层的当前图片的层间预测中；
如果所述下层的所述相应图片被用在对所述上层的所述当前图片的层间预测中，则使用所确定的所述下层的相应图片执行对所述当前图片的层间预测；
使用与所述当前图片有关的残差样本和通过所述层间预测获得的预测样本，重构所述当前图片；以及
基于与所述上层有关的层滤波器标记，将环路滤波器选择性地应用于经重构的当前图片的瓦片边界。
10.根据权利要求9所述的方法，其中，当所述层滤波器标记的值为1时，施加不将所述环路滤波器应用于所述当前图片的所述瓦片边界的约束，以及当所述层滤波器标记的值为0时，不施加不将所述环路滤波器应用于所述当前图片的所述瓦片边界的约束。
11.根据权利要求10所述的方法，其中，所述层滤波器标记是基于属于所述上层的图片的瓦片的数量限制性地获得的。
12.根据权利要求11所述的方法，其中，当属于所述上层的至少一个图片包括多个瓦片时，从比特流获得所述层滤波器标记。
13.一种用于对多层视频信号进行编码的装置，所述装置包括：
帧间预测器，所述帧间预测器用于基于下层的时间级标识符确定所述下层的相应图片是否被用在对上层的当前图片的层间预测中，以及如果所述下层的所述相应图片被用在对所述上层的所述当前图片的层间预测中，则使用所确定的所述下层的相应图片执行对所述当前图片的层间预测；
重构单元，所述重构单元用于使用与所述当前图片有关的残差样本和通过所述层间预测获得的预测样本，重构所述当前图片；以及
滤波器单元，所述滤波器单元用于基于与所述上层有关的层滤波器标记，将环路滤波器选择性地应用于经重构的当前图片的瓦片边界。
14.根据权利要求13所述的装置，其中，当所述层滤波器标记的值为1时，施加不将所述环路滤波器应用于所述当前图片的所述瓦片边界的约束，以及当所述层滤波器标记的值为0时，不施加不将所述环路滤波器应用于所述当前图片的所述瓦片边界的约束。
15.根据权利要求14所述的装置，其中，所述层滤波器标记是基于属于所述上层的图片的瓦片的数量限制性地获得的。
CN201480058388.9A 2013-10-22 2014-10-21 用于对多层视频信号进行编码/解码的方法和装置 Active CN105659597B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2013-0125923 2013-10-22
KR20130125923 2013-10-22
PCT/KR2014/009878 WO2015060614A1 (ko) 2013-10-22 2014-10-21 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치

Publications (2)

Publication Number Publication Date
CN105659597A true CN105659597A (zh) 2016-06-08
CN105659597B CN105659597B (zh) 2020-01-07

Family

ID=52993147

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480058388.9A Active CN105659597B (zh) 2013-10-22 2014-10-21 用于对多层视频信号进行编码/解码的方法和装置
CN201480058441.5A Active CN105684445B (zh) 2013-10-22 2014-10-22 用于对多层视频信号进行编码/解码的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480058441.5A Active CN105684445B (zh) 2013-10-22 2014-10-22 用于对多层视频信号进行编码/解码的方法和装置

Country Status (5)

Country Link
US (5) US10045036B2 (zh)
KR (3) KR20150046744A (zh)
CN (2) CN105659597B (zh)
MX (2) MX364032B (zh)
WO (1) WO2015060614A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113475070A (zh) * 2019-12-24 2021-10-01 瑞典爱立信有限公司 针对自适应环路滤波的虚拟边界处理

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013111593A1 (ja) * 2012-01-27 2013-08-01 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置及び画像符号化復号装置
US9794558B2 (en) 2014-01-08 2017-10-17 Qualcomm Incorporated Support of non-HEVC base layer in HEVC multi-layer extensions
EP3349450B1 (en) 2015-09-08 2021-08-25 LG Electronics Inc. Method for image decoding and apparatus therefor
WO2020175908A1 (ko) * 2019-02-26 2020-09-03 엘지전자 주식회사 시그널링된 정보에 기반한 픽처 파티셔닝 방법 및 장치
BR112021022673A2 (pt) * 2019-05-13 2022-04-12 Samsung Electronics Co Ltd Método de decodificação de imagem, aparelho de decodificação de imagem, método de codificação de imagem, e aparelho de codificação de imagem
CN114245988A (zh) * 2019-06-21 2022-03-25 三星电子株式会社 用于在约束预测模式下执行后重建滤波的视频编码方法和设备以及视频解码方法和设备
MX2022007230A (es) * 2019-12-12 2022-09-21 Lg Electronics Inc Dispositivo y metodo de codificacion de imagenes a base de filtrado.

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012173439A2 (ko) * 2011-06-15 2012-12-20 한국전자통신연구원 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치
WO2013063455A1 (en) * 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
CN103096078A (zh) * 2006-01-09 2013-05-08 Lg电子株式会社 用于视频信号的层间预测方法
CN103281531A (zh) * 2013-05-10 2013-09-04 北方工业大学 面向hevc的质量可伸缩层间预测编码

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060119736A (ko) 2005-05-19 2006-11-24 엘지전자 주식회사 영상 신호의 인코딩 방법
KR20060122663A (ko) 2005-05-26 2006-11-30 엘지전자 주식회사 영상신호의 엔코딩 및 디코딩에서의 픽처 정보를 전송하고이를 이용하는 방법
KR100878811B1 (ko) * 2005-05-26 2009-01-14 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 이의 장치
KR100878812B1 (ko) 2005-05-26 2009-01-14 엘지전자 주식회사 영상신호의 레이어간 예측에 대한 정보를 제공하고 그정보를 이용하는 방법
WO2007081139A1 (en) 2006-01-09 2007-07-19 Lg Electronics Inc. Inter-layer prediction method for video signal
US20070201551A1 (en) * 2006-01-09 2007-08-30 Nokia Corporation System and apparatus for low-complexity fine granularity scalable video coding with motion compensation
US8693549B2 (en) * 2006-01-16 2014-04-08 Electronics And Telecommunications Research Institute Method and apparatus for selective inter-layer prediction on macroblock basis
US8081680B2 (en) * 2006-11-28 2011-12-20 Microsoft Corporation Selective inter-layer prediction in layered video coding
EP2265026A1 (en) * 2009-06-16 2010-12-22 Canon Kabushiki Kaisha Method and device for deblocking filtering of SVC type video streams during decoding
US20120075436A1 (en) 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
EP2772052A1 (en) 2011-10-24 2014-09-03 Telefonaktiebolaget LM Ericsson (PUBL) Reference picture marking
US9258559B2 (en) 2011-12-20 2016-02-09 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding
US9351004B2 (en) 2011-12-27 2016-05-24 Ati Technologies Ulc Multiview video coding reference picture selection under a one reference picture constraint
CN104255031B (zh) * 2012-02-29 2017-12-22 Lg 电子株式会社 层间预测方法和使用层间预测方法的装置
KR20130107861A (ko) 2012-03-23 2013-10-02 한국전자통신연구원 인터 레이어 인트라 예측 방법 및 장치
KR101682999B1 (ko) * 2012-04-16 2016-12-20 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
CN104396249B (zh) * 2012-06-20 2017-12-26 寰发股份有限公司 可伸缩视频编码的层间预测的方法和设备
US20150208092A1 (en) * 2012-06-29 2015-07-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding scalable video, and method and apparatus for decoding scalable video
TWI720543B (zh) * 2012-08-06 2021-03-01 美商Ｖｉｄ衡器股份有限公司 用於多層視訊編碼與解碼的方法、裝置、系統及非暫時性電腦可讀媒體
US9596461B2 (en) * 2012-11-26 2017-03-14 Qualcomm Incorporated Loop filtering across constrained intra block boundaries in video coding
US20140218473A1 (en) * 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding
US9578339B2 (en) * 2013-03-05 2017-02-21 Qualcomm Incorporated Parallel processing for video coding
US10045021B2 (en) 2013-04-05 2018-08-07 Samsung Electronics Co., Ltd. Multi-layer video coding method for random access and device therefor, and multi-layer video decoding method for random access and device therefor
US9532067B2 (en) 2013-04-05 2016-12-27 Sharp Kabushiki Kaisha Decoding of inter-layer reference picture set and reference picture list construction
US20140301463A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding
EP3021586A4 (en) * 2013-07-07 2016-12-07 Wilus Inst Standards & Technology Inc METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNAL
JP6261215B2 (ja) * 2013-07-12 2018-01-17 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN108650514A (zh) * 2013-07-14 2018-10-12 夏普株式会社 瓦片对齐信令和一致性约束
WO2015008479A1 (en) * 2013-07-14 2015-01-22 Sharp Kabushiki Kaisha Signaling indications and constraints
US9628792B2 (en) * 2013-07-15 2017-04-18 Qualcomm Incorporated Cross-layer parallel processing and offset delay parameters for video coding
KR101712108B1 (ko) 2013-07-16 2017-03-03 삼성전자 주식회사 비트 뎁스 및 컬러 포맷의 변환을 동반하는 업샘플링 필터를 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
US9936207B2 (en) * 2013-10-14 2018-04-03 Qualcomm Incorporated Indication of parallel processing in video coding
EP3058747B1 (en) 2013-10-15 2019-11-20 Nokia Technologies Oy Scalable video encoding and decoding using syntax element
WO2017137444A1 (en) * 2016-02-09 2017-08-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for picture/video data streams allowing efficient reducibility or efficient random access

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103096078A (zh) * 2006-01-09 2013-05-08 Lg电子株式会社 用于视频信号的层间预测方法
WO2012173439A2 (ko) * 2011-06-15 2012-12-20 한국전자통신연구원 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치
WO2013063455A1 (en) * 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
CN103281531A (zh) * 2013-05-10 2013-09-04 北方工业大学 面向hevc的质量可伸缩层间预测编码

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BYEONGDOO CHOI ET.AL: "Temporal layer management for HEVC extension", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113475070A (zh) * 2019-12-24 2021-10-01 瑞典爱立信有限公司 针对自适应环路滤波的虚拟边界处理

Also Published As

Publication number Publication date
KR20150046744A (ko) 2015-04-30
US10057589B2 (en) 2018-08-21
US9979974B2 (en) 2018-05-22
US20180324445A1 (en) 2018-11-08
US20180234689A1 (en) 2018-08-16
KR20150046743A (ko) 2015-04-30
US20160249057A1 (en) 2016-08-25
CN105684445B (zh) 2020-01-03
CN105684445A (zh) 2016-06-15
US10602169B2 (en) 2020-03-24
US10602168B2 (en) 2020-03-24
WO2015060614A1 (ko) 2015-04-30
MX364017B (es) 2019-04-11
KR20150099496A (ko) 2015-08-31
MX2016005177A (es) 2016-08-12
US20160330463A1 (en) 2016-11-10
US20160269745A1 (en) 2016-09-15
CN105659597B (zh) 2020-01-07
US10045036B2 (en) 2018-08-07
MX364032B (es) 2019-04-11
MX2016005254A (es) 2016-08-12

Similar Documents

Publication Publication Date Title
CN105659597A (zh) 用于对多层视频信号进行编码/解码的方法和装置
CN105230018B (zh) 用于对支持多个层的视频进行编码的方法和设备
CN105453568A (zh) 可扩展视频信号编码/解码方法及装置
CN104335585A (zh) 图像解码方法和使用其的装置
CN105684447A (zh) 多层视频信号编码/解码方法和装置
CN105519112A (zh) 可扩展视频信号编码/解码方法及装置
CN105379276A (zh) 可伸缩视频信号编码/解码方法和装置
CN105850126B (zh) 用于对多层视频信号进行编码/解码的方法和装置
CN105379277A (zh) 用于编码/解码可伸缩视频信号的方法和装置
KR20150133681A (ko) 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
CN105247869A (zh) 用于在多层结构中引出运动信息的方法以及使用该方法的设备
CN106105213A (zh) 多层视频信号编码/解码方法和装置
KR20150064678A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
CN105659598A (zh) 用于对多层视频信号进行编码/解码的方法和装置
CN105379275A (zh) 用于对可伸缩视频信号进行编码/解码的方法和装置
KR20150133685A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150044394A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150075031A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150037660A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150009469A (ko) 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150064676A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant