CN105379277B - 用于编码/解码可伸缩视频信号的方法和装置 - Google Patents

用于编码/解码可伸缩视频信号的方法和装置 Download PDF

Info

Publication number
CN105379277B
CN105379277B CN201480040531.1A CN201480040531A CN105379277B CN 105379277 B CN105379277 B CN 105379277B CN 201480040531 A CN201480040531 A CN 201480040531A CN 105379277 B CN105379277 B CN 105379277B
Authority
CN
China
Prior art keywords
picture
layer
inter
lower layer
reference picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480040531.1A
Other languages
English (en)
Other versions
CN105379277A (zh
Inventor
李培根
金柱英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kt Co
Original Assignee
Kt Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kt Co filed Critical Kt Co
Publication of CN105379277A publication Critical patent/CN105379277A/zh
Application granted granted Critical
Publication of CN105379277B publication Critical patent/CN105379277B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种根据本发明的用于解码可伸缩视频信号的方法：基于下层的时间标识符来确定下层中的相应图片是否被用作针对上层中的当前图片的层间参考图片；根据该确定来生成针对当前图片的参考图片列表；以及基于参考图片列表来对当前图片中的当前块执行层间预测。

Description

用于编码/解码可伸缩视频信号的方法和装置
技术领域
本发明总体上涉及可伸缩视频信号编码/解码方法和装置。
背景技术
近来，在各种应用领域中对高分辨率和高品质图像例如高清晰度(HD)和超高清晰度(UHD)图像的需求已经增长。随着图像数据被改进成具有高清晰度和高品质，与现有图像数据相比，数据量相对增大。因而，当图像数据通过例如现有的无线或有线宽带线路的介质被传输并且被存储在现有的存储介质中时，传输和存储成本增大。为了解决对于具有高的分辨率和高的品质的图像数据而产生的这些限制，可以使用高效的图像压缩技术。
存在作为图像压缩技术的各种技术，例如用于根据先前或后续的图片来预测包括在当前图片中的像素值的帧间预测技术，用于通过使用当前图片内的像素信息来预测包括在当前图片中的像素值的帧内预测技术，以及用于向具有高的出现频率的值分配短码并且向具有低的出现频率的值分配长码的熵编码技术。图像数据可以被高效地压缩以通过使用这样的压缩技术进行传输或存储。
此外，与对高分辨率图像的需求一起增加的，对立体图像内容的需求也作为新的图像服务而增长。对用于高效地提供具有高分辨率和超高分辨率的立体图像内容的视频压缩技术进行讨论。
发明内容
技术问题
因此，考虑到现有技术中出现的以上问题而形成了本发明，并且本发明的目的是提供一种用于在对可伸缩视频信号进行编码/解码时将下层图片用作上层的当前图片的层间参考图片的方法和装置。
本发明的另一目的是提供一种用于在对可伸缩视频信号进行编码/解码时对下层图片进行上采样的方法和装置。
本发明的又一目的是提供一种用于在对可伸缩视频信号进行编码/解码时通过使用层间参考图片来构造参考图片列表的方法和装置。
本发明的又一目的是提供一种用于在对可伸缩视频信号进行编码/解码时通过层间预测来高效地得到上层的纹理信息的方法和装置。
本发明的又一目的是提供一种用于在播放可伸缩视频时根据用户的请求或系统条件来执行上切换的方法和装置。
技术方案
为了实现上述目的，一种根据本发明的可伸缩视频信号解码方法和装置：基于下层的时间标识符来确定下层的相应图片是否被用作针对上层的当前图片的层间参考图片；根据该确定来生成当前图片的参考图片列表；以及基于所生成的参考图片列表来针对当前图片中的当前块执行层间预测。
根据本发明的时间标识符可以意指根据时间分辨率而被可伸缩地编码的多个层中的每个层的标识符。
一种根据本发明的可伸缩视频信号解码方法和装置可以获得下层的最大时间标识符并且将所获得的最大时间标识符与下层的时间标识符进行比较以确定下层的相应图片是否被用作针对当前图片的层间参考图片。
根据本发明的最大时间标识符可以意指下层的时间标识符的针对上层的层间预测被允许的最大值。
在根据本发明的可伸缩视频信号解码方法和装置中，当下层的时间标识符大于所获得的最大时间标识符时，下层的相应图片可以不被用作针对当前图片的层间参考图片，并且当下层的时间标识符等于或小于所获得的最大时间标识符时，下层的相应图片可以被用作针对当前图片的层间参考图片。
在下层的相应图片被用作层间参考图片的情况下，当上层的当前图片是时间子层接入(TSA)图片时，下层的相应图片可以是TSA图片。
为了实现上述目的，一种根据本发明的可伸缩视频信号编码方法和装置：基于下层的时间标识符来确定下层的相应图片是否被用作针对上层的当前图片的层间参考图片；根据该确定来生成当前图片的参考图片列表；以及基于所生成的参考图片列表来针对当前图片中的当前块执行层间预测。
根据本发明的时间标识符可以意指根据时间分辨率而被可伸缩地编码的多个层中的每个层的标识符。
一种根据本发明的可伸缩视频信号编码方法和装置可以获得下层的最大时间标识符并且将所获得的最大时间标识符与下层的时间标识符进行比较以确定下层的相应图片是否被用作针对当前图片的层间参考图片。
根据本发明的最大时间标识符可以意指下层的时间标识符的针对上层的层间预测被允许的最大值。
在根据本发明的可伸缩视频信号解码方法和装置中，当下层的时间标识符大于所获得的最大时间标识符时，下层的相应图片可以不被用作针对当前图片的层间参考图片，并且当下层的时间标识符等于或小于所获得的最大时间标识符时，下层的相应图片可以被用作针对当前图片的层间参考图片。
在下层的相应图片被用作层间参考图片的情况下，当上层的当前图片是时间子层接入TSA图片时，下层的相应图片可以是TSA图片。
有益效果
根据本发明，可以通过将下层图片自适应地用作上层的当前图片的层间参考图片来高效地管理存储器。
根据本发明，可以高效地对下层图片进行上采样。
根据本发明，可以通过使用层间参考图片来高效地构造参考图片列表。
根据本发明，可以通过层间预测来高效地得到上层的纹理信息。
根据本发明，可以通过在可伸缩视频中执行层间时间子层接入(TSA)布置或层间阶梯式(stepwise)时间子层接入(STSA)布置来有效地执行在上层中的上切换。
附图说明
图1是根据本发明的实施方式的编码装置的示意性框图；
图2是根据本发明的实施方式的解码装置的示意性框图；
图3是示出作为应用了本发明的实施方式的用于通过使用下层的相应图片来执行上层的层间预测的处理的流程图；
图4示出了作为本发明的实施方式的用于确定下层的相应图片是否被用作当前图片的层间参考图片的处理；
图5是作为应用了本发明的实施方式的用于对相应下层图片进行上采样的方法的流程图；
图6示出了作为应用了本发明的实施方式的用于提取以从比特流中获得最大时间标识符的方法；
图7示出了作为应用了本发明的实施方式的用于通过使用先前的层的最大时间标识符来得到下层的最大时间标识符的方法；
图8示出了作为应用了本发明的实施方式的用于基于默认时间标记来得到最大时间标识符的方法；
图9示出了作为本发明的实施方式的在视频回放时允许上切换的图片类型；以及
图10示出了作为应用本发明的实施方式的用于在可伸缩编码视频中执行上切换的层间关系。
具体实施方式
可伸缩视频信号解码方法和装置包括：基于下层的时间标识符来确定下层的相应图片是否被用作针对上层的当前图片的层间参考图片；根据该确定来生成当前图片的参考图片列表；以及基于所生成的参考图片列表来执行针对当前图片中的当前块的层间预测。
根据本发明的时间标识符意指根据时间分辨率而被可伸缩地编码的多个层中的每个层的标识符。
根据本发明的可伸缩视频信号解码方法和装置获得下层的最大时间标识符并且将所获得的最大时间标识符与下层的时间标识符进行比较以确定下层的相应图片是否被用作针对当前图片的层间参考图片。
根据本发明的最大时间标识符意指下层的时间标识符的针对上层的层间预测被允许的最大值。
在根据本发明的可伸缩视频信号解码方法和装置中，当下层的时间标识符大于所获得的最大时间标识符时，下层的相应图片不被用作针对当前图片的层间参考图片，并且当下层的时间标识符等于或小于所获得的最大时间标识符时，下层的相应图片被用作针对当前图片的层间参考图片。
在下层的相应图片被用作层间参考图片的情况下，当上层的当前图片是TSA图片时，下层的相应图片是TSA图片。
可伸缩视频信号编码方法和装置包括：基于下层的时间标识符来确定下层的相应图片是否被用作针对上层的当前图片的层间参考图片；根据该确定来生成当前图片的参考图片列表；以及基于所生成的参考图片列表来执行针对当前图片中的当前块的层间预测。
根据本发明的时间标识符意指根据时间分辨率而被可伸缩地编码的多个层中的每个层的标识符。
根据本发明的可伸缩视频信号编码方法和装置获得下层的最大时间标识符并且将所获得的最大时间标识符与下层的时间标识符进行比较以确定下层的相应图片是否被用作针对当前图片的层间参考图片。
根据本发明的最大时间标识符意指下层的时间标识符的针对上层的层间预测被允许的最大值。
在根据本发明的可伸缩视频信号解码方法和装置中，当下层的时间标识符大于所获得的最大时间标识符时，下层的相应图片不被用作针对当前图片的层间参考图片，并且当下层的时间标识符等于或小于所获得的最大时间标识符时，下层的相应图片被用作针对当前图片的层间参考图片。
在下层的相应图片被用作层间参考图片的情况下，当上层的当前图片是TSA图片时，下层的相应图片是TSA图片。
本发明的实施方式
在下文中，将参照附图来详细描述具体实施方式。本文中所使用的术语和词汇不应当通过常见的和词典意义而被限制性地解释，而应当基于能够由发明人合适地定义术语和词汇的概念以便以最优的方式来描述本发明的原则通过遵循本发明的技术理念的意义和概念来解读。因此，对于本领域技术人员应当明显的是，对本发明的示例性实施方式的以下描述仅出于示出目的而不出于如通过所附权利要求及其等同方案所限定的限制本发明的目的来提供。
当部件被称为“连接”或“耦接”至另一部件时，其可以直接连接或耦接至其他部件或可以存在中间部件。贯穿本说明书，当部件被称为“包括”组件时，其不排除另一组件，而是可以意指附加部件可以包括在本发明的实施方式或本发明的技术精神的范围内。
将理解的是，虽然在本文中可以使用术语第一、第二等来描述各种部件，但是这些部件不应当由这些术语来限制。这些术语仅用于将一个部件与另一部件区分开。例如，在不背离示例性实施方式的范围的前提下，第一部件可以被称为第二部件，并且类似地，第二部件可以被称为第一部件。
此外，本发明的实施方式中描述的部件模块被独立地示出以指示不同的特性功能，并且其并不意指部件模块中的每个部件模块均由一个分离的硬件或一个软件形成。也就是说，部件模块出于便于描述的目的而被布置和被包括，并且部件部分中的至少两个可以形成一个部件部分或者一个部件可以被分成多个部件部分，并且多个部件部分可以执行功能。部件被集成的实施方式或一些部件被分离的实施方式被包括在本发明的范围中，除非其背离本发明的本质。
此外，在本发明中，一些部件不是用于执行基本功能的基本部件，但是可以是仅用于提高性能的可选部件。本发明可以使用除仅用于提高性能的部件之外的仅用于实现本发明的本质的基本部件来实现，仅包括除仅用于提高性能的可选部件之外的基本部件的结构包括在本发明的范围中。
可伸缩视频编码指的是对支持比特流中的多个层的视频进行编码和解码。由于多个层之间存在强关联，所以当通过使用这样的关联来执行预测时，可以去除数据复制元件并且可以提高图像编码性能。在下文中，通过使用另一层的信息来预测当前层将被表示为层间预测。
多个层可以具有不同分辨率，并且该分辨率可以意指空间分辨率、时间分辨率和图像品质中的至少一者。在层间预测时，可以执行对层的重采样例如上采样或下采样以便调整分辨率。
图1是根据本发明的实施方式的编码装置的示意性框图。
根据本发明的编码装置100包括针对上层的编码部100a和针对下层的编码部100b。
上层可以被表示为当前层或增强层，并且下层可以被表示为与上层、基本层或参考层相比具有较低分辨率的增强层。上层和下层可以在以下方面中的至少一个方面不同：空间分辨率、取决于帧速率的时间分辨率以及取决于颜色格式或量化大小的图像品质。当层间预测需要分辨率改变时，可以对层执行上采样或下采样。
上层的编码部100a可以包括分割单元110、预测单元120、变换单元130、量化单元140、重排单元150、熵编码单元160、解量化单元170、逆变换单元180、滤波器单元190和存储器195。
下层的编码部100b可以包括分割单元111、预测单元125、变换单元131、量化单元141、重排单元151、熵编码单元161、解量化单元171、逆变换单元181、滤波器单元191以及存储器196。
可以通过本发明的以下实施方式中描述的图像编码方法来实现编码部，但可以不执行其一部分的操作以便降低编码装置的复杂度或用于快速实时编码。例如，针对在预测单元中执行帧内预测的实时编码，不使用从所有的帧内预测模式方法中选择最佳帧内编码方法的方法，而是可以使用下述方法：使用有限数目的帧内预测模式中的一些帧内预测模式并且从中选择一个帧内预测模式作为最终帧内预测模式。作为另一示例，可以有限度地使用用于执行帧间预测或帧内预测的预测块类型。
在编码装置中处理的块单元可以是执行编码的编码单元、执行预测的预测单元或执行变换的变换单元。编码单元可以被称为CU，预测单元可以被称为PU并且变换单元可以被称为TU。
分割单元110和分割单元111可以根据预定准则(例如成本函数)将分层图像划分成多个编码块、预测块和变换块的组合并且选择编码块、预测块和变换块中的一个。例如，为了在分层图像中划分编码单元，可以使用诸如四叉树结构的递归树结构。在下文中，编码块还可以用于意指对其执行解码的块和对其执行编码的块。
预测块可以是对其执行诸如帧内预测或帧间预测的预测的单元。对其执行帧内预测的块可以是诸如2N×2N或N×N的方形类型块。对于对其执行帧间预测的块，存在使用诸如2N×2N或N×N的方形类型或诸如2N×N或N×2N的矩形类型或诸如不对称运动分割的不对称类型的预测块划分方法。根据预测块类型，在变换单元131中用于执行变换的方法可以变化。
编码部100a和100b的预测单元120和125可以包括用于执行帧内预测的帧内预测单元121和126以及用于执行帧间预测的帧间预测单元122和127。上层编码部110a的预测单元120还可以包括用于通过使用下层的信息来对上层执行预测的层间预测单元123。
预测单元120和125可以确定是对预测块执行帧间预测还是帧内预测。在执行帧内预测时，以预测块为单位确定帧内预测模式，并且可以基于所确定的帧内预测模式来以变换块为单位执行帧内预测处理。可以将所生成的预测块与原始块之间的残差值(残差块)输入至变换单元130和131。另外，可以在熵编码单元161中对用于预测的预测模式信息和运动信息等进行编码并且将其递送至解码装置。
在使用脉冲编码调制(PCM)编码模式的情况下，不通过预测单元120和125来执行预测，原始块在不改变的情况下被编码并被递送至编码部。
帧内预测单元121和126可以基于存在于当前块(即预测目标块)周围的参考像素来生成帧内预测块。在帧内预测方法中，帧内预测模式可以包括用于根据预测方向来使用参考像素的方向预测模式和不考虑预测方向的非方向预测模式。用于预测亮度信息的模式和用于预测色度信息的模式可以不同。可以使用预测亮度信息以便预测色度信息的帧内预测模式或所预测的亮度信息。如果参考像素不可用，则可以用其他像素来替换参考像素并且可以通过这样来生成预测块。
预测块可以包括多个变换块。在帧内预测时，当预测块和变换块的大小相同时，可以基于预测块中的左侧像素、左上侧像素、上侧像素来对预测块执行帧内预测。然而，在帧内预测时，当预测块和变换块的大小不同时，多个变换块被包括在预测块内，使用与变换块邻近的周边像素作为参考像素以执行帧内预测。此处，与变换块邻近的周边像素可以包括与预测块邻近的周边像素和预测块中的已解码像素中的至少一个。
帧内预测方法根据帧内预测模式将依赖于模式的帧内平滑(MDIS)滤波器应用于参考像素并且生成预测块。应用于参考像素的MDIS滤波器的类型可以不同。作为应用于通过执行帧内预测而获得的帧内预测块的附加滤波器，MDIS滤波器可以用于减小存在于参考像素与执行预测之后所生成的帧内预测块之间的残差。在MDIS滤波中，根据帧内预测模式的方向性，针对参考像素的滤波和针对包括在帧内预测块中的一些列的滤波可以不同。
帧间预测单元122和127可以参照关于包括在当前图片的先前图片或后续图片中至少一个中的块的信息来执行预测。帧间预测单元122和127可以包括参考图片插值部、运动预测部和运动补偿部。
参考图片插值部可以从存储器195和196接收参考图片信息并且在参考像素中生成等于或小于整数像素的像素信息。对于亮度像素，为了以1/4像素为单位生成等于或小于整数像素的像素信息，可以使用具有不同滤波器系数的基于离散余弦变换(DCT)的8抽头插值滤波器。对于色度像素，为了以1/8像素为单位生成等于或小于整数像素的像素信息，可以使用具有不同滤波器系数的基于DCT的4抽头插值滤波器。
帧间预测单元122和127可以基于通过参考图片插值部插值的参考像素来执行运动预测。对于用于计算运动矢量的方法，可以使用包括基于全搜索的块匹配算法(FBMA)、三步搜索法(TSS)、新三步搜索算法(NTS)等的各种方法。基于插值像素，运动矢量可以具有1/2像素单位或1/4像素单位的运动矢量值。帧间预测单元122和127可以应用各种帧间预测方法中的一种并且对当前块执行预测。
作为帧间预测方法，可以使用各种方法，例如跳过方法、合并方法或用于使用运动矢量预测器的方法。
在帧间预测中，对运动信息即参考索引、运动矢量或残差信号等进行熵编码并且将其递送至解码部。在应用跳过模式的情况下，由于不生成残差信息，可以省略用于残差信号的变换处理和量化处理。
层间预测单元123执行层间预测以用于通过使用下层的信息来预测上层。层间预测单元123可以通过使用下层的纹理信息或运动信息等来执行层间预测。
层间预测可以通过采用下层中的图片作为参考图片并且使用关于下层(即参考层)的图片的运动信息来对上层的当前块执行预测。在层间预测中，可以针对当前层的分辨率对用作参考图片的参考层的图片进行适当采样。另外，运动信息可以包括运动矢量和参考索引。在这一点上，用于参考层图片的运动矢量值可以被设置成(0，0)。
作为层间预测的示例，描述了用于使用下层中的图片作为参考图片的预测方法，但不限于此。层间预测单元123还可以执行层间纹理预测、层间运动预测、层间语法预测和层间差异预测等。
层间纹理预测可以基于参考层的纹理来得到当前层的纹理。可以针对当前层的分辨率对参考层纹理进行适当采样，并且层间预测单元123可以基于经采样的参考层纹理来预测当前层纹理。
层间运动预测可以基于参考层的运动矢量来得到当前层的运动矢量。在这一点上，可以针对当前层的分辨率来适当地按比例调节参考层的运动矢量。在层间语法预测中，可以基于参考层语法来预测当前层语法。例如，层间预测单元123可以使用参考层语法作为当前层语法。另外，在层间差异预测中，可以通过使用参考层的重构图像与当前层的重构图像之间的差异来重构当前层的图片。
生成包括残差信息的残差块并将残差块输入至变换单元130和131，其中残差信息是在预测单元120和125中生成的预测块与其重构块之间的差值。
变换单元130和131可以通过诸如DCT(离散正弦变换)或DST(离散正弦变换)的变换方法来对残差块进行变换。是应用DCT还是应用DST对残差块进行变换可以基于帧内预测模式信息或关于预测块的大小信息来确定。换言之，在变换单元130和131中，变化方法可以根据预测块的大小和预测方法而变化。
量化单元140和141可以对通过变换单元130和131而变换至频域的值进行量化。量化系数可以根据块或图像的重要性而变化。可以将通过量化单元140和141计算的值提供至解量化单元170和171以及重排单元150和151。
重排单元150和151可以重排用于量化的残差值的系数。重排单元150和151可以通过系数扫描方法将二维块类型系数改变成一维系数。例如，重排单元150和151可以从DC系数扫描至高频域中的系数并且通过Z形扫描方法将其改变成一维矢量类型。替代Z形扫描方法，根据变换块的大小和帧内预测模式，可以使用以列方向扫描二维块类型系数的垂直扫描方法或以行方向扫描二维块类型系数的水平扫描方法。换言之，根据变换块大小和帧内预测模式，可以确定使用Z形扫描方法、垂直扫描方法和水平扫描方法中的哪种方法。
熵编码单元160和161可以基于通过重排单元150和151计算的值来执行熵编码。熵编码可以使用诸如指数哥伦布码(Golomb)、上下文自适应可变长度编码(CAVLC)和上下文自适应二进制算术编码(CABAC)的各种编码方法。
熵编码单元160和161可以从重排单元(150，151)和预测单元(120，125)接收关于编码块和块类型信息的残差系数信息、预测模式信息、分割信息、预测块信息和传送单位信息、运动信息、参考帧信息、块插值信息以及滤波器信息，并且可以基于预定编码方法来执行熵编码。另外，熵编码单元160和161可以对从重排单元150和151输入的编码单元中的系数执行熵编码。
熵编码单元160和161可以对帧内预测模式信息执行二进制化并且对关于当前块的帧内预测模式信息进行编码。熵编码单元160和161可以包括用于执行二进制化的码字映射部并且根据执行帧内预测的预测块的大小来以不同的方式执行二进制化。在码字映射部中，码字映射表可以通过二进制化来自适应地生成或者可以被预先存储。作为另一实施方式，在熵编码单元160和161中，帧内预测模式信息可以通过使用用于执行码号映射的码号映射部和用于执行码字映射的码字映射部来表示。可以在码号映射部和码字映射部中分别生成或存储码号映射表和码字映射表。
解量化单元170和171以及逆变换单元180和181分别对通过量化单元140和量化单元141量化的值进行解量化以及对通过变换单元130和131变换的值进行逆变换。将通过解量化单元170和171以及逆变换单元180和181生成的残差值与通过包括在预测单元120和125中的运动估计部、运动补偿部和帧内预测单元预测的预测块求和，并且生成重构块。
滤波器单元190和滤波器单元191可以包括去块滤波器和偏移校正部中的至少一个。
去块滤波器可以去除由于重构图片中的块之间的边界而出现的块扭曲(blockdistortion)。为了确定是否执行去块，可以基于在包括在块中的若干列或行中所包括的的像素来确定是否将去块滤波器应用于当前块。可以根据在将去块滤波器应用于块时所需的去块滤波强度来应用强滤波器或弱滤波器。另外，在去块滤波器的应用中，可以并行地执行在水平方向上的滤波和在垂直方向上的滤波。
偏移校正部可以利用源图像以像素单位对执行去块的图像的偏移进行校正。为了对特定图片执行偏移校正，可以使用以下方法：用于将图像中的像素划分成某些区域，然后确定要校正的区域并且施加偏移的方法；或者用于在考虑关于每个像素的边缘信息的情况下施加偏移的方法。
滤波器单元190和191可以不采用去块滤波器和偏移校正二者而是可以仅采用去块滤波器，或者可以采用去块滤波器和偏移校正二者。
存储器195和196可以存储通过滤波器单元190和191计算的重构块或图片，以及可以在执行帧间预测时将所存储的重构块和图片提供至预测单元120和125。
从下层的熵编码部100b输出的信息和从上层的熵编码部100a输出的信息可以通过MUX 197被复用并被输出为比特流。
MUX 197可以被包括在上层的编码部100a或下层的编码部100b中，或者可以独立于编码部100而被实现为独立的装置或模块。
图2是根据本发明的实施方式的解码装置的示意性框图。
如图2所示，解码装置200包括上层的解码部200a和下层的解码部200b。
上层的解码部200a可以包括熵解码单元210、重排单元220、解量化单元230、逆变换单元240、预测单元250、滤波器单元260以及存储器270。
下层的解码部200b可以包括熵解码单元211、重排单元221、解量化单元231、逆变换单元241、预测单元251、滤波器单元261和存储器271。
当从解码装置传送了包括多个层的比特流时，DEMUX 280可以对用于每个层的信息进行解复用并且将其递送至层200a和层200b中的相应解码部。可以以与编码装置的过程相反的过程来对输入的比特流进行解码。
熵解码单元210和211可以以与在熵编码部执行的熵编码的过程相逆的逆过程来执行熵解码。将由熵解码单元210和211解码的信息中用于生成预测块的信息提供至预测单元250和251，并且可以将通过在熵解码单元210和211中执行熵解码而获得的残差值输入至重排单元220和221。
像熵编码单元160和161一样，熵解码单元210和211可以使用CABAC和CAVLC中的至少一个。
熵解码单元210和211可以对与在编码装置中执行的帧内预测和帧间预测有关的信息进行解码。熵解码单元210和211包括码字映射部并且还包括用于使所接收的码字作为帧内预测模式号的码字映射表。码字映射表可以被预先存储或可以被自适应地生成。当使用码号映射表时，可以附加地提供用于执行码号映射的码号映射部。
重排单元220和221可以基于编码部的重排方法来重排熵解码的比特流。
以一维矢量类型表示的系数可以被重排且被重构成以二维块类型表示的系数。重排单元220和221可以接收与通过编码部执行的系数扫描有关的信息并且基于在相应编码部中执行的扫描顺序通过逆扫描方法来执行重排。
解量化单元230和231可以基于从编码装置提供的量化参数和重排块的系数来执行解量化。
逆变换单元240和241可以针对在编码装置中执行的量化结果来执行与由变换单元130和131执行的DCT或DST相逆的逆DCT或逆DST。可以基于由编码装置确定的传送单位来执行逆变换。在编码装置的变换单元中，可以根据诸如预测方法、当前块的大小和预测方向的信息来选择性地执行DCT和DST，而在解码装置的逆变换单元240和241中，可以基于关于在编码装置的变换单元中执行的变换的信息来执行逆变换。在变换时，可以基于编码块来执行变换而不是基于变换块来执行变换。
预测单元250和251可以基于从熵解码单元210和211提供的预测块生成相关信息以及从存储器270和271提供的先前的解码块或图片信息来生成预测块。
预测单元250和251可以包括预测单元确定部、帧间预测单元和帧内预测单元。
预测单元确定部可以接收诸如从熵解码单元输入的预测单元信息、帧内预测单元的预测模式信息和与帧间预测的运动预测有关的信息的各种信息，区分预测块与当前编码块，并且可以确定是对预测块执行帧间预测还是帧内预测。
帧间预测单元可以基于包括在当前图片的先前图片和后续图片中的至少一个中的信息、通过使用对于由编码装置所提供的当前预测块的帧间预测所必需的信息来执行对当前预测块的帧间预测，其中该当前图片包括当前预测块。为了执行帧间预测，可以基于编码块来确定跳过模式、合并模式和用于使用运动矢量预测器(MVP)的模式(AMVP模式)中的哪个方法作为用于包括在相应编码块中的预测块的运动预测的方法。
帧内预测单元可以基于当前图片中的重构像素信息来生成预测块。当预测块是要执行帧内预测的预测块时，可以基于关于从编码装置提供的预测块的帧内预测模式信息来执行帧内预测。帧内预测单元可以包括：MDIS滤波器、参考像素插值部以及DC滤波器，所述MDIS滤波器用于对当前块的参考像素执行滤波；所述参考像素插值部用于对参考像素进行插值来以等于或小于整数像素为单位生成参考像素；所述DC滤波器用于在当前块的帧内预测模式是DC模式的情况下通过滤波来生成预测块。
上层解码部200a的预测单元250还可以包括层间预测单元，其用于执行层间预测以用于通过使用下层信息来预测上层。
层间预测单元可以通过使用帧内预测模式信息和运动信息等来执行层间预测。
层间预测可以通过采用下层中的图片作为参考图片并且使用关于下层(参考层)的图片的运动信息来对上层的当前块执行预测。
在层间预测中，可以针对当前层的分辨率来对用作参考图片的参考层的图片进行适当采样。另外，运动信息可以包括运动矢量和参考索引。在这一点上，用于参考层图片的运动矢量值可以被设置为(0，0)。
作为层间预测的示例，描述了用于使用下层中的图片作为参考图片的预测方法，但不限于此。另外，层间预测单元123可以附加地执行层间纹理预测、层间运动预测、层间语法预测和层间差异预测等。
层间纹理预测可以基于参考层的纹理来得到当前层的纹理。可以针对当前层的分辨率来对参考层纹理进行适当采样，并且层间预测单元可以基于所采样的纹理来预测当前层纹理。层间运动预测可以基于参考层的运动矢量来得到当前层的运动矢量。在这一点上，可以针对当前层的分辨率来适当地按比例调节参考层的运动矢量。在层间语法预测中，可以基于参考层语法来预测当前层语法。例如，层间预测单元123可以使用参考层语法作为当前层语法。另外，在层间差异预测中，可以通过使用参考层的重构图像与当前层的重构图像之间的差异来重构当前层的图片。
可以将重构块或重构图片提供至滤波器单元260和261。滤波器单元260和261可以包括去块滤波器和偏移校正部。
可以从编码装置接收关于是否将去块滤波器应用于相应块或相应图片的信息以及关于在应用去块滤波器时是应用强滤波器还是应用弱滤波器的信息。解码装置的去块滤波器可以接收从编码装置提供的去块滤波器相关信息并且解码装置可以对重构块执行去块滤波。
偏移校正部可以基于在编码时的偏移校正类型和施加于图像的偏移值信息来对重构图像执行偏移校正。
存储器270和271可以存储重构图片或重构块以使它们能够用作参考图片或参考块，并且存储器270和271还可以输出重构图片。
编码装置和解码装置可以对三个层或更多个层执行编码，而不是对两个层执行编码，并且在该情况下，可以与上层的数目对应地提供针对上层的多个编码部和解码部。
在用于支持多层结构的可伸缩视频编码(SVC)中，存在多个层之间的关联。当通过使用该关联来执行预测时，可以去除数据重复元素并且可以提高图像编码性能。
因此，当对要被编码/解码的当前层(即增强层)的图片(即图像)进行预测时，可以执行通过使用另一层的信息的层间预测以及使用当前层的信息的帧间预测或帧内预测。
当执行层间预测时，可以通过使用用于层间预测的参考层的解码图片作为参考图片来生成用于当前层的预测样本。
在这一点上，由于当前层和参考层可以在以下方面中的至少一个方面中不同：空间分辨率、时间分辨率和图像品质(即由于可伸缩性的差异而引起的)，所以针对当前层的可伸缩性来对参考层的解码图片进行适当采样，然后将其用作用于当前层的层间预测的参考图片。重采样是指对参考层图片的样本进行上采样或下采样，以便适用于当前层的大小。
在说明书中，当前层表示当前执行编码或解码的层，并且当前层可以是增强层或上层。参考层表示由当前层参考以用于层间预测的层，并且参考层可以是基本层或下层。用于当前层的层间预测的参考层的图片(即参考图片)可以被称为层间参考图片。
图3是示出作为应用了本发明的实施方式的用于通过使用下层中的相应图片来在上层中执行层间预测的处理的流程图。
参照图3，基于下层的时间标识符TemporalID，可以确定下层的相应图片是否被用作针对上层的当前图片的层间参考图片(步骤S300)。
例如，当增强层中期望被编码的当前图片的时间分辨率较低时(即，在当前图片的时间标识符TemporalID具有较小值的情况下)，在显示顺序方面与增强层中已经被解码的其他图片存在较大差异。在该情况下，由于当前图片与已解码图片之间的图像特征很可能不同，因此可以使用下层的上采样图片作为参考图片，而不是使用已解码图片作为参考图片。
另一方面，当增强层中期望被编码的当前图片的时间分辨率较高(即在当前图片的时间标识符TemporalID具有较大值的情况下)，在显示顺序方面与增强层中已经被解码的其他图片的差异不大。在该情况下，由于当前图片与已解码图片之间的图像特征很可能相似，所以可以使用当前已编码图片作为参考图片而不是使用下层的上采样图片作为参考图片。
像这样，在当前图片的时间分辨率较低时，因为层间预测有效，所以有必要通过考虑下层的特定的时间标识符TemporalID来确定是否允许层间预测。为此目的，可以将允许其层间预测的下层的最大时间标识符以信号的形式发出并且将参照图4来提供与此有关的描述。
此外，下层的对应图片可以意指位于与上层的当前图片的时间区域(time zone)相同的时间区域的图片。例如，对应的图片可以意指具有与上层的当前图片的图片顺序计数(POC(picture order count))信息相同的图片顺序计数信息的图片。
另外，视频序列可以包括根据时间/空间分辨率或量化大小进行可伸缩编码的多个层。时间标识符可以意指多个根据时间分辨率而被可伸缩地编码的层中的每一个的ID。相应地，包括在视频序列中的多个层可以具有相同的时间标识符或者不同的时间标识符。
根据S300中的确定，可以生成当前图片的参考图片列表(S310)。
具体地，当确定将下层的对应图片用作当前图片的层间参考图片时，可以对对应图片进行上采样以生成层间参考图片。随后，将参照图5来详细描述用于对下层的对应图片进行上采样的处理。
然后，可以生成包括层间参考图片的参考图片列表。例如，使用属于与包括当前块的层相同的层的参考图片即时间参考图片来构造参考图片列表，并且可以将层间参考图片布置在时间参考图片之后。
可替换地，可以将层间参考图片添加至时间参考图片之间。例如，可以将层间参考图片布置在由时间参考图片形成的参考图片列表中的第一时间参考图片之后。在参考图片列表中，第一时间参考图片可以意指具有参考索引0的参考图片。在该情况下，可以将参考索引1分配给布置在第一时间参考图片之后的层间参考图片。
另一方面，当确定未将下层的对应图片用作当前图片的层间参考图片时，则对应图片不包括在当前图片的参考图片列表中。换言之，当前图片的参考图片列表由属于与包括当前图片的层相同的层的参考图片即时间参考图片形成。像这样，因为可以从解码图片缓冲器(DPB)中排除下层的图片，所以可以有效管理DPB。
基于在S310中生成的参考图片列表，可以对当前块执行层间预测(S320)。
详细地，可以通过使用当前块的参考索引在所生成的参考图片列表中指定参考图片。另外，可以通过使用当前块的运动矢量来指定参考图片中的参考块。可以通过使用所指定的参考块对当前块执行层间预测。
可替换地，当将层间参考图片用作当前块的参考图片时，可以通过使用层间参考图片中处于相同位置的块来对当前块执行层间预测。为此目的，在当前块的参考索引指定参考图片列表中的层间参考图片时，可以将当前块的运动矢量设置为(0,0)。
图4示出作为本发明的实施方式的用于确定是否将下层的对应图片用作当前图片的层间参考图片的处理。
参照图4，可以获得下层的最大时间标识符(S400)。
在此，最大时间标识符可以意指下层的时间标识符的针对上层的层间预测被允许的最大值。
可以从比特流中直接提取最大时间标识符。可替换地，可以通过使用先前层的基于预定义的默认时间值或默认时间标记而获得的最大时间标识符来得到最大时间标识符。随后，将参照图6至图8来描述详细的获得方法。
可以将S400中获得的最大时间标识符和下层的时间标识符进行比较以确定是否将下层的对应图片用作当前图片的层间参考图片(S410)。
例如，当下层的时间标识符大于最大时间标识符时，可以不将下层的对应图片用作当前图片的层间参考图片。换言之，可以不使用下层的对应图片来对当前图片执行层间预测。
相反，当下层的时间标识符等于或小于最大时间标识符时，可以将下层的对应图片用作当前图片的层间参考图片。换言之，可以通过使用具有小于最大时间标识符的时间标识符的下层中的图片来对当前图片执行层间预测。
图5是作为应用了本发明的实施方式的用于对下层中的对应图片进行上采样的方法的流程图。
参照图5，可以得到与上层中的当前样本位置相对应的下层中的参考样本位置(S500)。
因为上层的分辨率和下层的分辨率可以不同，所以可以在考虑到其间的分辨率差的情况下得到与当前样本位置相对应的参考样本位置。换言之，可以考虑上层图片与下层中的图片之间的纵横比(aspect ratio)。另外，因为下层的经上采样的图片的大小与上层中的图片的大小可能不匹配的情况可以发生，所以会需要用于对此进行补偿的偏移。
例如，可以通过考虑比例因子和下层偏移来得到参考样本位置。在此，可以基于上层的当前图片和下层的对应图片的宽度比高度来计算比例因子。经上采样的下层的偏移可以意指位于当前图片的图片边界处的任意一个样本与位于层间参考图片的图片边界处的任意一个样本之间的位置差信息。例如，经上采样的下层的偏移可以包括：和当前图片的左上样本与层间参考图片的左上样本之间沿水平/垂直方向的位置差有关的信息；以及，和当前图片的右下样本与层间参考图片的右下样本之间沿水平/垂直方向的位置差有关的信息。可以从比特流中获得经上采样的下层的偏移。
可以通过考虑在S500中得到的参考样本位置的相位来确定上采样滤波器的滤波器系数(S510)。
在此，作为上采样滤波器，可以使用固定上采样滤波器或自适应上采样滤波器。
1.固定上采样滤波器
固定上采样滤波器可以具有预定的滤波器系数，而不考虑图像的特征。可以将抽头滤波器用作固定上采样滤波器——可以关于亮度分量和色度分量来对固定上采样滤波器进行限定。将参照表1和表2来描述具有1/16样本单位的精确度的上采样滤波器。
[表1]
表1针对亮度分量对固定上采样滤波器的滤波器系数进行限定。
如表1所示，针对对亮度分量进行上采样的情况，应用8抽头滤波器。换言之，可以通过使用参考层的与当前样本相对应的参考样本以及与参考样本相邻的邻近样本来执行插值。在此，可以根据插值的方向来指定邻近样本。例如，当沿水平方向执行插值时，邻近样本可以包括基于参考样本在左边的3个连续样本以及在右边的4个连续样本。可替换地，当沿垂直方向执行插值时，邻近样本可以包括基于参考样本朝向顶端的3个连续样本以及朝向底端的4个连续样本。
另外，因为在具有1/16样本单位的精确度的情况下执行插值，所以存在总计16个相位。这是用于支持2倍和1.5倍的各种放大率的分辨率。
另外，固定上采样滤波器可以针对每个相位p使用不同的滤波器系数。除了相位p为0的情况以外，可以将每个滤波器系数的量级限定为在0至63的范围内。这意指在具有6位精度的情况下执行滤波。在此，当以1/n样本单位执行插值时，相位p等于0意味着n的倍数个的整数样本位置。
[表2]
表2针对色度分量对固定上采样滤波器的滤波器系数进行限定。
如表2所示，在对色度分量进行上采样的情况下，与亮度分量的情况不同的是，可以应用4抽头滤波器。换言之，可以通过使用参考层的与当前样本相对应的参考样本以及与参考样本相邻的邻近样本来执行插值。在此，可以根据插值的方向来指定邻近样本。例如，当沿水平方向执行插值时，邻近样本可以包括基于参考样本在左边的1个样本以及在右边的2个连续样本。可替换地，当沿垂直方向执行插值时，邻近样本可以包括基于参考样本朝向顶端的1个样本以及朝向底端的2个连续样本。
此外，类似于亮度分量的情况，因为在具有1/16样本单位的精确度的情况下执行插值，所以存在总计16个相位并且可以针对每个相位p使用不同的滤波器系数。除了相位p为0的情况以外，可以将每个滤波器系数的量级限定为在0至63的范围内。这意指同样在具有6位精度的情况下执行滤波。
在前述中，例示了将8抽头滤波器应用于亮度分量并且将4抽头滤波器应用于色度分量的情况，但是本发明不限于此，而是可以在考虑到编码效率的情况下可变地确定抽头滤波器的阶数。
2.自适应上采样滤波器
在编码器中，在不使用固定滤波器系数的情况下通过考虑图像的特征来确定最佳的滤波器系数，并且将最佳的滤波器系数以信号的形式发出以传送至解码器。像这样，自适应上采样滤波器使用自适应地确定的滤波器系数。因为图像的特征以图片单位进行变化，所以在使用能够很好地表示图像的特征的自适应上采样滤波器时——而非对于所有情况均使用固定上采样滤波器，可以提高编码效率。
可以通过将S510中确定的滤波器系数应用于下层的对应图片来生成层间参考图片(S520)。
详细地，可以通过将所确定的上采样滤波器的滤波器系数应用于对应图片的样本来执行插值。在此，首先沿水平方向执行插值，然后其次沿垂直方向对水平插值之后所生成的样本执行插值。
图6示出作为本发明所应用于的实施方式的用于从比特流提取和获得最大时间标识符的方法。
编码器可以确定最佳的最大时间标识符，并且对其进行编码以将编码结果传送至解码器。在该点，编码器可以对所确定的最大时间标识符进行编码并且可以对通过向所确定的最大时间标识符添加1而获得的值(max_tid_il_ref_pics_plus1，在下文中称为最大时间指示符)进行编码。
参照图6，可以从比特流中获得下层的最大时间指示符(S600)。
在此，可以获得与一个视频序列所允许的层的最大数目一样多的最大时间指示符。可以从比特流的视频参数集来获得最大时间指示符。
具体地，当所获得的最大时间指示符的值为0时，它意指不将下层的对应图片用作上层的层间参考图片。在此，下层的对应图片可以是非随机访问图片。
例如，当最大时间指示符的值为0时，不将视频序列的多个层中的第i层的图片用作属于第(i+1)层的图片的层间预测的参考图片。
另一方面，当最大时间指示符的值大于0时，它意指不将具有大于最大时间标识符的时间标识符的下层的对应图片用作上层的层间参考图片。
例如，当最大时间指示符的值大于0时，不将具有大于最大时间标识符的时间标识符并且属于视频序列的多个层中的第i层的图片用作属于第(i+1)层的图片的层间预测的参考图片。相应地，仅在最大时间指示符的值大于0并且属于视频序列的多个层中的第i层的图片具有小于最大时间标识符的时间标识符时，才可以将图片用作属于第(i+1)层的图片的层间预测的参考图片。在此，最大时间标识符具有根据最大时间指示符所得到的值，并且例如最大时间标识符可以被得到为通过从最大时间指示符的值减去1而获得的值。
此外，从S600提取的最大时间指示符具有在预定范围(例如0至7)内的值。当在S600中提取的最大时间指示符的值对应于在预定范围内的值的最大值时，可以不管下层的对应图片的时间标识符TemporalID而将下层的对应图片用作上层的层间参考图片。
图7示出作为本发明所应用于的实施方式的用于通过使用先前层的最大时间标识符来得到下层的最大时间标识符的方法。
不按照原样对下层的最大时间标识符(或最大时间指示符)进行编码，而可以仅对先前层的最大时间标识符(或最大时间指示符)与下层的最大时间标识符(或最大时间指示符)之间的差进行编码，从而减小对最大时间标识符(或最大时间指示符)进行编码所需的比特量。在此，先前层可以意指与下层相比具有较低分辨率的层。
参照图7，可以针对视频序列中的多个层中的最下面的层来获得最大时间指示符(max_tid_il_ref_pics_plus1[0])(S700)。这是因为对于视频序列中最下面的层不存在用于参考以得到最大时间标识符的先前层。
在此，当最大时间指示符(max_tid_il_ref_pics_plus1[0])的值为0时，不将视频序列中最下面的层(即i等于0的层)的图片用作属于第(i+1)层的图片的层间预测的参考图片。
另一方面，当最大时间指示符(max_tid_il_ref_pics_plus1[0])的值大于0时，不将具有大于最大时间标识符的时间标识符并且属于视频序列中最下面的层的图片用作属于第(i+1)层的图片的层间预测的参考图片。相应地，仅在最大时间指示符(max_tid_il_ref_pics_plus1[0])的值大于0并且属于视频序列中最下面的层的图片具有小于最大时间标识符的时间标识符的情况下，可以将图片用作属于第(i+1)层的图片的层间预测的参考图片。在此，最大时间标识符具有根据最大时间指示符(max_tid_il_ref_pics_plus1[0])所得到的值，并且例如最大时间标识符可以被得到为通过从最大时间指示符(max_tid_i1_ref_pics_plus1[0])的值减去1而获得的值。
此外，最大时间指示符(max_tid_il_ref_pics_plus1[0])具有在预定范围(例如0至7)内的值。当最大时间指示符(max_tid_il_ref_pics_plus1[0])的值对应于在预定范围内的值的最大值时，可以不管最下面的层的对应图片的时间标识符TemporalID而将最下面的层的对应图片用作第(i+1)层的层间参考图片。
参照图7，可以针对除了视频序列中最下面的层以外的剩余的层中的每一个来获得微分时间指示符(delta_max_tid_il_ref_pics_plus1[i])(S710)。
在此，差分时间指示符可以意指第i层的最大时间指示符(max_tid_il_ref_pics_plus1[i])与第(i-1)层的最大时间指示符(max_tid_il_ref_pics_plus1[i-1])之间的差分值。
在该情况下，第i层的最大时间指示符(max_tid_il_ref_pics_plus1[i])可以被得到为所获得的差分时间指示符(delta_max_tid_il_ref_pics_plus1[i])和第(i-1)层的最大时间指示符(max_tid_il_ref_pics_plus1[i-1])的和。
另外，如图6所示，当所得到的第i层的最大时间指示符(max_tid_il_ref_pics_plus1[i])的值为0时，不将视频序列的多个层中的第i层的图片用作属于第(i+1)层的图片的层间预测的参考图片。
另一方面，当最大时间指示符(max_tid_il_ref_pics_plus1[i])的值大于0时，不将属于视频序列的多个层中的第i层并且具有大于最大时间标识符的时间指示符的图片用作属于第(i+1)层的图片的层间预测的参考图片。仅在最大时间指示符(max_tid_i1_ref_pics_plus1[i])的值大于0并且属于视频序列的多个层中的第i层的图片具有小于最大时间标识符的时间标识符的情况下，才可以将图片用作属于第(i+1)层的图片的层间预测的参考图片。在此，最大时间指示符具有根据最大时间指示符所得到的值，并且例如最大时间指示符可以被得到为通过从最大时间指示符的值减去1而获得的值。
此外，最大时间指示符(max_tid_il_ref_pics_plus1[1])具有在预定范围(例如0至7)内的值。当最大时间指示符(max_tid_il_ref_pics_plus1[i])的值对应于在预定范围内的值的最大值时，可以不管第i层的对应图片的时间标识符TemporalID而将第i层的对应图片用作第(i+1)层的层间参考图片。
在S710中提取的差分时间指示符可以具有在预定范围内的值。具体地，当第i层与第(i-1)层之间的帧速率的差较大时，因为第i层的最大时间标识符与第(i-1)层的最大时间标识符之间的差较大的情况几乎不发生，所以两个最大时间标识符之间的差分值可以不被设置为0至7中的值。例如，可以将第i层的最大时间标识符与第(i-1)层的最大时间标识符之间的差值设置为0至3中的值并且对其进行编码。在该情况下，差分时间指示符可以具有在0至3的范围内的值。
可替换地，当第(i-1)层的最大时间指示符具有在预定范围内的值的最大值时，可以将第i层的差分时间指示符的值设置为0。这是因为：在上层中，因为仅允许时间标识符的值等于或大于下层的时间标识符的值的情况，所以第i层的最大时间标识符小于第(i-1)层的最大时间标识符的情况几乎不可能发生。
图8示出作为本发明所应用于的实施方式的用于基于默认的时间标记来得到最大时间标识符的方法。
当第i层与第(i-1)层之间的帧速率的差较大时，因为第i层的最大时间标识符与第(i-1)层的最大时间标识符之间的差较大的情况几乎不发生，所以所有层的最大时间指示符(max_tid_i1_ref_pics_plus1)的值完全相同的情况非常可能发生。相应地，可以通过使用指示全部层的最大时间指示符(max_tid_il_ref_pics_plus1)的值是否相同的标记来对每一层的最大时间指示符进行有效地编码。
参照图8，可以获得视频序列的默认时间标记(isSame_max_tid_il_ref_pics_flag)(S800)。
在此，默认时间标记可以意指对视频序列中的所有层的最大时间指示符(或最大时间标识符)是否相同进行指示的信息。
当S800中获得的默认时间标记指示视频序列中的所有层的最大时间指示符相同时，可以获得默认最大时间指示符(default_max_tid_il_ref_pics_plus1)(S810)。
在此，默认最大时间指示符意指共同应用于所有层的最大时间指示符。可以从默认最大时间指示符来得到每一层的最大时间标识符。例如，每一层的最大时间标识符可以被得到为通过从默认最大时间指示符减去1所获得的值。
可替换地，默认最大时间指示符可以被得到为预定义的值。这可以应用于像视频序列中的所有层的最大时间指示符相同的情况一样的不将每一层的最大时间指示符以信号的形式发出的情况。例如，预定义的值可以意指在最大时间指示符所属的预定范围内的最大值。当最大时间指示符的值的预定的范围为0至7时，默认最大时间指示符的值可以被得到为7。
另一方面，当S800中获得的默认时间标记指示视频序列中的所有层的最大时间指示符不完全相同时，可以获得视频序列中的每一层的最大时间指示符(S820)。
具体地，可以获得与对于一个视频序列所允许的层的最大数目一样多的最大时间指示符。可以从比特流的视频参数集中获得最大时间指示符。
当所获得的最大时间指示符的值为0时，它意指不将下层的对应图片用作上层的层间参考图片。在此，下层的对应图片可以是非随机访问图片。
例如，当最大时间指示符的值为0时，不将视频序列的多个层中的第i层的图片用作属于第(i+1)层的图片的层间预测的参考图片。
另一方面，当最大时间指示符的值大于0时，它可以意指不将具有大于最大时间标识符的时间标识符的下层的对应图片用作上层的层间参考图片。
例如，当最大时间指示符的值大于0时，不将具有大于最大时间标识符的标识符并且属于视频序列的多个层中的第i层的图片用作属于第(i+1)层的图片的层间预测的参考图片。换言之，仅在最大时间指示符的值大于0并且属于视频序列的多个层中的第i层的图片具有小于最大时间标识符的时间标识符的情况下，才可以将图片用作属于第(i+1)层的图片的层间预测的参考图片。在此，最大时间标识符具有根据最大时间指示符所得到的值，并且例如最大时间指示符可以被得到为通过从最大时间指示符的值减去1而获得的值。
此外，从S820获得的最大时间指示符具有在预定范围(例如0至7)内的值。当S820中获得的最大时间指示符的值对应于在预定范围内的值的最大值时，可以不管下层的对应图片的时间标识符TemporalID而将下层的对应图片用作上层的层间参考图片。
图9示出了作为应用本发明的实施方式的在视频回放时允许上切换的图片类型。
在视频回放时，可能会出现帧速率根据用户的请求或系统条件而不同的情况。在特定时间处，相比于之前，可以提高每秒回放速度，这被称为上切换。例如，在当前正在以每秒7.5帧执行回放时，可以执行上切换以以每秒60帧来播放视频。
在不知道在哪个点处改变每秒回放速度的情况下，由于当前片周围的片全部被解码后才可以知道是否能够改变每秒回放速度，所以可能会出现系统延迟。因此，当通知每秒回放速度是可改变的片或图片时，可以在无系统延迟的情况下执行上切换。
首先，图9(a)示出了在当前图片中不能进行上切换的情况。
在解码顺序先于当前图片的解码顺序的图片当中，当时间标识符等于或大于当前图片的时间标识符TemporalID的图片被用作参考图片时，可以从当前图片开始执行上切换。
参照图9(a)，当前图片的解码顺序是10并且当前图片参考解码顺序是4的图片。此处，解码顺序是4的图片属于与当前图片的时间子层相同的时间子层。换言之，解码顺序是4的图片的时间标识符TemporalID与当前图片的时间标识符TemporalID相同。以此方式，由于当前图片使用按照解码顺序在前面并且具有相同时间标识符的图片作为参考图片，所以首先对解码顺序是4的图片进行解码以便重构当前图片。因此，在该情况下，不能从当前图片开始执行上切换。
图9(b)示出了在当前图片中可以进行上切换的情况。
在解码顺序先于当前图片的解码顺序的图片当中，当时间标识符等于或大于当前图片的时间标识符TemporalID的图片不被用作参考图片时，可以从当前图片开始执行上切换。
参照图9(b)，当前图片属于时间子层1并且当前图片参考属于时间子层0的图片。换言之，当前图片参考解码顺序先于当前图片的图片。在本文中，图片的时间标识符小于当前图片的时间标识符TemporalID。在该情况下，用于提高每秒回放速度的上切换可以从当前图片开始。例如，如图9(b)所示，可以执行用于将7.5fps的每秒回放速度提高至60fps的上切换。在下文中，像当前图片一样，在可以进行上切换的解码开始点处的图片被称为时间子层接入(TSA)图片。
图9(c)示出了可以上切换至特定回放速度的情况。
如图9(c)所示，可能会出现可以从7.5fps上切换至15fps但不能从7.5fps上切换至30fps或60fps的情况。
具体地，对于解码顺序是10的图片(在下文中被称为第一图片)，第一图片参考下述图片：该图片的解码顺序先于第一图片的解码顺序并且时间标识符小于第一图片的时间标识符。换言之，在以7.5fps播放属于时间子层0的帧时，可以从属于时间子层1的第一图片开始执行至15fps的上切换。
另一方面，对于解码顺序是11的图片(在下文中被称为第二图片)，第二图片参考解码顺序是14的图片。此处，解码顺序是14的图片在解码顺序上先于第二图片并且具有与第二图片的时间标识符相同的时间标识符。因此，在该情况下，在以7.5fps播放属于时间子层0的帧时，从属于时间子层2的第二图片开始至30fps的上切换是不可能的。在下文中，将可以执行至特定回放速度的上切换的开始点处的图片称为阶梯式时间子层接入(STSA)图片。
如上所述，可以检查可以进行上切换的片或图片，并且通过在视频顺列中布置TSA图片或STSA图来在无系统延迟的情况下进一步执行上切换。
图10示出了作为应用本发明的实施方式的用于在可伸缩编码的视频中执行上切换的层间关系。
可伸缩编码的视频中的上层的当前图片可以使用下层的相应图片作为层间参考图片。此处，下层的相应图片可以属于与上层的当前图片的AU相同的AU。当通过使用层间参考图片对上层的当前图片执行层间预测时，下层的相应图片应当可以进行上切换，使得在上层中可以进行上切换。
例如，如图10(a)所示，在上层的当前图片是TSA图片的情况下，下层的相应图片也应当是TSA图片。
可替换地，如图10(b)所示，在上层的当前图片是STSA图片的情况下，基本层的相应图片应当是TSA图片或STSA图片。
同时，可以通过考虑下层的时间标识符TemporalID来确定上层的当前图片是否使用下层的当前图片作为层间参考图片。
具体地，当下层的相应图片的时间标识符大于下层的最大时间标识符时，下层的相应图片不被用作上层的层间参考图片。
以此方式，在下层的相应图片的时间标识符大于下层的最大时间标识符的情况下，由于上层不参考下层的相应图片，所以下层的相应图片不必是TSA图片或STSA图片。换言之，即使在上层的当前图片是TSA图片而下层的相应图片不是TSA图片或STSA图片的情况下，也可以在上层中进行上切换。
然而，在下层的相应图片的时间标识符等于或小于下层的最大时间标识符的情况下，由于上层参考下层的相应图片，所以可以执行层间TSA布置或层间STSA布置以在上层的当前图片处执行上切换。
工业应用
如上所述，本发明可以用于对可伸缩视频信号进行编码。

Claims (11)

1.一种可伸缩视频信号解码方法，包括：
基于下层的时间标识符来确定所述下层的相应图片是否被用作针对上层的当前图片的层间参考图片；
根据所述确定来对所述相应图片进行上采样以生成所述层间参考图片；
根据所述确定来生成所述当前图片的参考图片列表；其中，所述参考图片列表包括属于所述上层的时间参考图片和属于所述下层的层间参考图片，并且所述层间参考图片布置在所述参考图片列表中的所述时间参考图片之间；以及
基于所生成的参考图片列表来执行针对所述当前图片中的当前块的层间预测，
其中，所述时间标识符意指根据时间分辨率而被可伸缩地编码的多个层中的每个层的标识符，以及
其中，如果所述上层的所述当前图片是时间子层接入TSA图片，则基于TSA图片执行用于提高所述上层的所述时间分辨率的上切换,
其中，所述确定包括：
从编码比特流获得所述下层的最大时间标识符；以及
将所获得的最大时间标识符与所述下层的时间标识符进行比较以确定所述下层的相应图片是否被用作针对所述当前图片的层间参考图片，
其中，所述最大时间标识符意指所述下层的所述时间标识符的针对所述上层的层间预测被允许的最大值，
其中，在没有从所述编码比特流获得所述最大时间标识符的情况下，默认最大时间标识符被得到为预定义的值，并且其中，所述预定义的值是所述最大时间标识符所属的预定范围内的最大值，
其中，所述上采样步骤包括：
在考虑所述上层中的当前样本位置的情况下通过使用比例因子和下层偏移来得到在所述下层中的参考样本位置，所述比例因子基于所述上层的所述当前图片和所述下层的对应图片的宽度比高度来计算，经上采样的下层的偏移意指位于所述当前图片的图片边界处的任意一个样本与位于层间参考图片的图片边界处的任意一个样本之间的位置差信息，
通过使用所得到的参考样本位置的16个相位来确定固定上采样滤波器的滤波器系数，以及
通过将所述滤波器系数应用于所述下层的所述相应图像来生成所述层间参考图像，
其中，针对亮度分量，将8抽头滤波器系数应用于所述固定上采样滤波器的所述滤波器系数，并且
其中，具有相位1的所述8抽头滤波器系数为{0,1,-3,63,4,-2,1,0}，具有相位2的所述8抽头滤波器系数为{-1,2,-5,62,8,-3,1,0}，具有相位3的所述8抽头滤波器系数为{-1,3,-8,60,13,-4,1,0}，具有相位4的所述8抽头滤波器系数为{-1,4,-10,58,17,-5,1,0}。
2.根据权利要求1所述的可伸缩视频信号解码方法，其中，当所述下层的所述时间标识符大于所获得的最大时间标识符时，所述下层的相应图片不被用作针对所述当前图片的所述层间参考图片，并且
当所述下层的所述时间标识符等于或小于所获得的最大时间标识符时，所述下层的所述相应图片被用作针对所述当前图片的所述层间参考图片。
3.根据权利要求2所述的可伸缩视频信号解码方法，其中，在所述下层的所述相应图片被用作所述层间参考图片的情况下，当所述上层的所述当前图片是时间子层接入TSA图片时，所述下层的所述相应图片是TSA图片。
4.一种可伸缩视频信号解码装置，包括：
层间预测单元，所述层间预测单元被配置成基于下层的时间标识符来确定所述下层的相应图片是否被用作针对上层的当前图片的层间参考图片，根据所述确定来对所述相应图片进行上采样以生成所述层间参考图片，根据所述确定来生成所述当前图片的参考图片列表，以及基于所生成的参考图片列表来执行针对所述当前图片中的当前块的层间预测，其中，所述参考图片列表包括属于所述上层的时间参考图片和属于所述下层的层间参考图片，并且所述层间参考图片布置在所述参考图片列表中的所述时间参考图片之间，以及
存储器，所述存储器被配置成存储参考图片信息，
其中，所述时间标识符意指根据时间分辨率而被可伸缩地编码的多个层中的每个层的标识符，以及
其中，如果所述上层的所述当前图片是时间子层接入TSA图片，则基于TSA图片执行用于提高所述上层的所述时间分辨率的上切换，
其中，所述层间预测单元从编码比特流获得所述下层的最大时间标识符，并且将所获得的最大时间标识符与所述下层的时间标识符进行比较以确定所述下层的所述相应图片是否被用作针对所述当前图片的所述层间参考图片，并且
其中，所述最大时间标识符意指所述下层的所述时间标识符的针对所述上层的层间预测被允许的最大值，
其中，在没有从所述编码比特流获得所述最大时间标识符的情况下，默认最大时间标识符被得到为预定义的值，并且其中，所述预定义的值是所述最大时间标识符所属的预定范围内的最大值，
其中所述层间预测单元被配置成对所述相应图片进行上采样以生成所述层间参考图片：在考虑所述上层中的当前样本位置的情况下通过使用比例因子和下层偏移来得到在所述下层中的参考样本位置，所述比例因子基于所述上层的所述当前图片和所述下层的对应图片的宽度比高度来计算，经上采样的下层的偏移意指位于所述当前图片的图片边界处的任意一个样本与位于层间参考图片的图片边界处的任意一个样本之间的位置差信息，通过使用所得到的参考样本位置的16个相位来确定固定上采样滤波器的滤波器系数，以及通过将所述滤波器系数应用于所述下层的所述相应图像来生成所述层间参考图像，
其中，针对亮度分量，8抽头滤波器系数被应用于所述固定上采样滤波器的所述滤波器系数，并且
其中，具有相位1的所述8抽头滤波器系数为{0,1,-3,63,4,-2,1,0}，具有相位2的所述8抽头滤波器系数为{-1,2,-5,62,8,-3,1,0}，具有相位3的所述8抽头滤波器系数为{-1,3,-8,60,13,-4,1,0}，具有相位4的所述8抽头滤波器系数为{-1,4,-10,58,17,-5,1,0}。
5.根据权利要求4所述的可伸缩视频信号解码装置，其中，当所述下层的所述时间标识符大于所获得的最大时间标识符时，所述下层的相应图片不被用作针对所述当前图片的所述层间参考图片，并且
当所述下层的所述时间标识符等于或小于所获得的最大时间标识符时，所述下层的所述相应图片被用作针对所述当前图片的所述层间参考图片。
6.根据权利要求5所述的可伸缩视频信号解码装置，其中，在所述下层的所述相应图片被用作所述层间参考图片的情况下，当所述上层的所述当前图片是TSA图片时，所述下层的所述相应图片是TSA图片。
7.一种可伸缩视频信号编码方法，包括：
基于下层的时间标识符来确定所述下层的相应图片是否被用作针对上层的当前图片的层间参考图片；
根据所述确定来对所述相应图片进行上采样以生成所述层间参考图片；
根据所述确定来生成所述当前图片的参考图片列表，其中，所述参考图片列表包括属于所述上层的时间参考图片和属于所述下层的层间参考图片，并且所述层间参考图片布置在所述参考图片列表中的所述时间参考图片之间；以及
基于所生成的参考图片列表来执行针对所述当前图片中的当前块的层间预测，
其中，所述时间标识符意指根据时间分辨率而被可伸缩地编码的多个层中的每个层的标识符，以及
其中，如果所述上层的所述当前图片是时间子层接入TSA图片，则基于TSA图片执行用于提高所述上层的所述时间分辨率的上切换，
其中，所述确定包括：
将最大时间标识符与所述下层的时间标识符进行比较以确定所述下层的相应图片是否被用作针对所述当前图片的层间参考图片，以及
将所述最大时间标识符以信号的形式发送至编码比特流中，
其中，所述最大时间标识符意指所述下层的所述时间标识符的针对所述上层的层间预测被允许的最大值，
其中，在所述最大时间标识符没有以信号的形式发送在所述编码比特流中时，将默认最大时间标识符以信号的形式发送至所述编码比特流中，所述默认最大时间标识符意指共同应用于所有层的预定义的值，
其中，所述上采样步骤包括：
在考虑所述上层中的当前样本位置的情况下通过使用比例因子和下层偏移来得到在所述下层中的参考样本位置，所述比例因子基于所述上层的所述当前图片和所述下层的对应图片的宽度比高度来计算，经上采样的下层的偏移意指位于所述当前图片的图片边界处的任意一个样本与位于层间参考图片的图片边界处的任意一个样本之间的位置差信息，
通过使用所得到的参考样本位置的16个相位来确定固定上采样滤波器的滤波器系数，以及
通过将所述滤波器系数应用于所述下层的所述相应图像来生成所述层间参考图像，
其中，针对亮度分量，将8抽头滤波器系数应用于所述固定上采样滤波器的所述滤波器系数，并且
其中，具有相位1的所述8抽头滤波器系数为{0,1,-3,63,4,-2,1,0}，具有相位2的所述8抽头滤波器系数为{-1,2,-5,62,8,-3,1,0}，具有相位3的所述8抽头滤波器系数为{-1,3,-8,60,13,-4,1,0}，具有相位4的所述8抽头滤波器系数为{-1,4,-10,58,17,-5,1,0}。
8.根据权利要求7所述的可伸缩视频信号编码方法，其中，当所述下层的所述时间标识符大于所获得的最大时间标识符时，所述下层的相应图片不被用作针对所述当前图片的所述层间参考图片，并且
当所述下层的所述时间标识符等于或小于所获得的最大时间标识符时，所述下层的所述相应图片被用作针对所述当前图片的所述层间参考图片。
9.根据权利要求8所述的可伸缩视频信号编码方法，其中，在所述下层的所述相应图片被用作所述层间参考图片的情况下，当所述上层的所述当前图片是TSA图片时，所述下层的所述相应图片是TSA图片。
10.一种可伸缩视频信号编码装置，包括：
层间预测单元，所述层间预测单元被配置成基于下层的时间标识符来确定所述下层的相应图片是否被用作针对上层的当前图片的层间参考图片，根据所述确定来对所述相应图片进行上采样以生成所述层间参考图片，根据所述确定来生成所述当前图片的参考图片列表，以及基于所生成的参考图片列表来执行针对所述当前图片中的当前块的层间预测，其中，所述参考图片列表包括属于所述上层的时间参考图片和属于所述下层的层间参考图片，并且所述层间参考图片布置在所述参考图片列表中的所述时间参考图片之间，以及
存储器，所述存储器被配置成存储参考图片信息，
其中，所述时间标识符意指根据时间分辨率而被可伸缩地编码的多个层中的每个层的标识符，以及
其中，如果所述上层的所述当前图片是时间子层接入TSA图片，则基于TSA图片执行用于提高所述上层的所述时间分辨率的上切换，
其中，所述层间预测单元被配置成将最大时间标识符与所述下层的时间标识符进行比较以确定所述下层的所述相应图片是否被用作针对所述当前图片的所述层间参考图片，并且将所述最大时间标识符以信号的形式发送至编码比特流中，
其中，所述最大时间标识符意指所述下层的所述时间标识符的针对所述上层的层间预测被允许的最大值，
其中，在所述最大时间标识符没有以信号的形式发送在所述编码比特流中时，将默认最大时间标识符以信号的形式发送至所述编码比特流中，所述默认最大时间标识符意指共同应用于所有层的预定义的值，
其中所述层间预测单元被配置成对所述相应图片进行上采样以生成所述层间参考图片：在考虑所述上层中的当前样本位置的情况下通过使用比例因子和下层偏移来得到在所述下层中的参考样本位置，所述比例因子基于所述上层的所述当前图片和所述下层的对应图片的宽度比高度来计算，经上采样的下层的偏移意指位于所述当前图片的图片边界处的任意一个样本与位于层间参考图片的图片边界处的任意一个样本之间的位置差信息，通过使用所得到的参考样本位置的16个相位来确定固定上采样滤波器的滤波器系数，以及通过将所述滤波器系数应用于所述下层的所述相应图像来生成所述层间参考图像，
其中，针对亮度分量，8抽头滤波器系数被应用于所述固定上采样滤波器的所述滤波器系数，并且
其中，具有相位1的所述8抽头滤波器系数为{0,1,-3,63,4,-2,1,0}，具有相位2的所述8抽头滤波器系数为{-1,2,-5,62,8,-3,1,0}，具有相位3的所述8抽头滤波器系数为{-1,3,-8,60,13,-4,1,0}，具有相位4的所述8抽头滤波器系数为{-1,4,-10,58,17,-5,1,0}。
11.根据权利要求10所述的可伸缩视频信号编码装置，其中，当所述下层的所述时间标识符大于所获得的最大时间标识符时，所述下层的相应图片不被用作针对所述当前图片的所述层间参考图片，
当所述下层的所述时间标识符等于或小于所获得的最大时间标识符时，所述下层的所述相应图片被用作针对所述当前图片的所述层间参考图片，以及
在所述下层的所述相应图片被用作所述层间参考图片的情况下，当所述上层的所述当前图片是TSA图片时，所述下层的所述相应图片是TSA图片。
CN201480040531.1A 2013-07-15 2014-07-15 用于编码/解码可伸缩视频信号的方法和装置 Active CN105379277B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2013-0083033 2013-07-15
KR20130083033 2013-07-15
PCT/KR2014/006376 WO2015009021A1 (ko) 2013-07-15 2014-07-15 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치

Publications (2)

Publication Number Publication Date
CN105379277A CN105379277A (zh) 2016-03-02
CN105379277B true CN105379277B (zh) 2019-12-17

Family

ID=52346408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480040531.1A Active CN105379277B (zh) 2013-07-15 2014-07-15 用于编码/解码可伸缩视频信号的方法和装置

Country Status (4)

Country Link
US (1) US10390031B2 (zh)
KR (2) KR20150009467A (zh)
CN (1) CN105379277B (zh)
WO (1) WO2015009021A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102068828B1 (ko) 2014-09-30 2020-01-22 에이치에프아이 이노베이션 인크. 비디오 코딩을 위한 적응적 모션 벡터 레졸루션 방법
US12022059B2 (en) * 2018-12-07 2024-06-25 Beijing Dajia Internet Information Technology Co., Ltd. Video coding using multi-resolution reference picture management
US11336894B2 (en) * 2019-09-20 2022-05-17 Tencent America LLC Signaling of reference picture resampling with resampling picture size indication in video bitstream
MX2022011425A (es) * 2020-03-20 2022-10-03 Bytedance Inc Relacion de orden entre subimagenes.
CN115398888B (zh) 2020-03-30 2024-06-11 字节跳动有限公司 用于对视频编解码中并置图片的约束的方法、装置和介质
KR20230002395A (ko) 2020-04-20 2023-01-05 바이트댄스 아이엔씨 레퍼런스 픽처 목록에 대한 제약
KR20240015978A (ko) 2022-07-28 2024-02-06 박수산 다층 수력 발전시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120138712A (ko) * 2011-06-15 2012-12-26 광운대학교 산학협력단 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100763182B1 (ko) 2005-05-02 2007-10-05 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
RU2409006C1 (ru) * 2006-10-20 2011-01-10 Нокиа Корпорейшн Маркировка виртуальных декодированных опорных изображений и список опорных изображений
US8665942B2 (en) 2007-01-23 2014-03-04 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
WO2009130561A1 (en) 2008-04-21 2009-10-29 Nokia Corporation Method and device for video coding and decoding
KR101356613B1 (ko) 2009-08-21 2014-02-06 에스케이텔레콤 주식회사 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치
KR20120016991A (ko) * 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
US20120075436A1 (en) 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
AU2012205813B2 (en) * 2011-01-14 2016-07-07 Vidyo, Inc. High layer syntax for temporal scalability
US9008181B2 (en) 2011-01-24 2015-04-14 Qualcomm Incorporated Single reference picture list utilization for interprediction video coding
US20120230409A1 (en) 2011-03-07 2012-09-13 Qualcomm Incorporated Decoded picture buffer management
KR101911012B1 (ko) 2011-04-26 2018-12-19 엘지전자 주식회사 참조 픽쳐 리스트 관리 방법 및 이러한 방법을 사용하는 장치
US20140169449A1 (en) 2011-07-05 2014-06-19 Telefonaktiebolaget L M Ericsson (Publ) Reference picture management for layered video
EP2752011B1 (en) 2011-08-31 2020-05-20 Nokia Technologies Oy Multiview video coding and decoding
US9106927B2 (en) 2011-09-23 2015-08-11 Qualcomm Incorporated Video coding with subsets of a reference picture set
MX343011B (es) * 2012-07-03 2016-10-21 Samsung Electronics Co Ltd Metodo y aparato para codificar video que tiene escalabilidad temporal y metodo y aparato para decodificar video que tiene escalabilidad temporal.
CN104937932B (zh) * 2012-09-28 2019-04-19 英特尔公司 可适性视频编码的增强参考区域利用
JP6352248B2 (ja) 2013-04-04 2018-07-04 シャープ株式会社 画像復号装置、および画像符号化装置
US9532067B2 (en) * 2013-04-05 2016-12-27 Sharp Kabushiki Kaisha Decoding of inter-layer reference picture set and reference picture list construction

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120138712A (ko) * 2011-06-15 2012-12-26 광운대학교 산학협력단 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AHG 9: Signalling Inter-layer Prediction Indication;Hendry（LG）等;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Incheon, KR》;20130409;正文第1-3章 *
SHVC Working Draft 2;Jianle Chen等;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP 3 and ISO/IEC JTC1/SC29/WG11 13th Meeting: Incheon, KR》;20130615;附件F、G *

Also Published As

Publication number Publication date
WO2015009021A1 (ko) 2015-01-22
US20160173889A1 (en) 2016-06-16
KR20150009467A (ko) 2015-01-26
CN105379277A (zh) 2016-03-02
US10390031B2 (en) 2019-08-20
KR20150133682A (ko) 2015-11-30

Similar Documents

Publication Publication Date Title
US10148949B2 (en) Scalable video signal encoding/decoding method and apparatus
CN105379277B (zh) 用于编码/解码可伸缩视频信号的方法和装置
KR102286856B1 (ko) 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
US10491910B2 (en) Scalable video signal encoding/decoding method and device
US10425650B2 (en) Multi-layer video signal encoding/decoding method and apparatus
US10178392B2 (en) Method and apparatus for encoding/decoding multilayer video signal
KR20150099496A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150133681A (ko) 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
US10602161B2 (en) Multilayer video signal encoding/decoding method and device
KR20150064677A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
US20160156913A1 (en) Method and apparatus for encoding/decoding scalable video signal
KR20150099495A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150048077A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150009468A (ko) 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
KR20140145559A (ko) 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150009469A (ko) 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150037659A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150071653A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150009470A (ko) 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150014872A (ko) 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant