CN105230018B - 用于对支持多个层的视频进行编码的方法和设备 - Google Patents

用于对支持多个层的视频进行编码的方法和设备 Download PDF

Info

Publication number
CN105230018B
CN105230018B CN201480028877.XA CN201480028877A CN105230018B CN 105230018 B CN105230018 B CN 105230018B CN 201480028877 A CN201480028877 A CN 201480028877A CN 105230018 B CN105230018 B CN 105230018B
Authority
CN
China
Prior art keywords
phase offset
layer
phase
prediction
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480028877.XA
Other languages
English (en)
Other versions
CN105230018A (zh
Inventor
李培根
金柱英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KT Corp
Original Assignee
KT Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KT Corp filed Critical KT Corp
Priority claimed from PCT/KR2014/004566 external-priority patent/WO2014189300A1/ko
Publication of CN105230018A publication Critical patent/CN105230018A/zh
Application granted granted Critical
Publication of CN105230018B publication Critical patent/CN105230018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了用于对支持多个层的视频进行编码的方法和设备。根据本发明的用于对支持多个层的视频进行编码的方法包括以下步骤：根据用于当前层图片的层间预测的参考层图片来得出参考层样本位置；基于参考层样本位置来对参考层图片进行重新采样；以及通过基于重新采样的参考层图片对当前层图片的当前块进行层间预测来生成当前块的预测样本。

Description

用于对支持多个层的视频进行编码的方法和设备
技术领域
本发明总体上涉及视频压缩技术，以及更特别地涉及用于支持多个层的视频编码的方法和设备。
背景技术
近来，对高分辨率、高质量视频例如HD(高清晰度)视频和UHD(超高清)视频的需求在各应用领域中不断增加。因为视频数据具有高分辨率、高质量图像，所以数据量高于现有视频数据。因此，当使用例如现有的有线和无线宽带线路的介质传输视频数据或者将视频数据存储于现有的存储介质中时，传输成本和存储成本增加。为了解决这些由高分辨率、高质量视频数据所引起的问题，可以使用高效视频压缩技术。
例如存在以下各种技术作为视频压缩技术：帧间预测技术，其用于根据在当前图片之前或之后的图片来预测包括在当前图片中的像素的数目；帧内预测技术，其用于使用与包括在当前图片中的像素有关的信息来预测当前图片中的像素的数目；熵编码技术，在熵编码技术中，将最短的码分配给最频繁使用的值并且将最长的码分配给最不频繁使用的值；等等。可以使用这些视频压缩技术来有效地压缩视频数据，并且然后可以对视频数据进行传输或存储。
发明内容
技术问题
本发明提供了用于在可扩展视频编码中通过执行层间预测来对增强层进行编码和解码的方法和设备。
本发明提供了用于对可扩展视频编码中的相位差进行补偿的重新采样的方法和设备。
技术方案
根据本发明的实施方式，提供了支持多个层的视频解码方法。视频解码方法包括：根据用于当前层图片的层间预测的参考层图片来导出参考层样本位置；基于参考层样本位置来对参考层图片进行重新采样；以及通过基于重新采样的参考层图片对当前层图片的当前块执行层间预测来生成当前块的预测样本。
导出参考层样本位置可以被配置成：基于与相位偏移有关的信息来导出与当前块的左上样本位置相对应的参考层样本位置，其中，相位偏移用于对层之间的相位差进行补偿。
与相位偏移有关的信息可以包括亮度分量的相位偏移和色度分量的相位偏移中的至少一个。
根据本发明的另一实施方式，提供了支持多个层的视频解码装置。视频解码装置包括预测单元，该预测单元用于：根据用于当前层图片的层间预测的参考层图片来导出参考层样本位置；基于参考层样本位置来对参考层图片进行重新采样；以及通过基于重新采样的参考层图片对当前层图片的当前块执行层间预测来生成当前块的预测样本。
预测单元可以基于与相位偏移有关的信息来导出与当前块的左上样本位置相对应的参考层样本位置，其中，相位偏移用于对层之间的相位差进行补偿。
与相位偏移有关的信息可以包括亮度分量的相位偏移和色度分量的相位偏移中的至少一个。
有益效果
当使用根据本发明的实施方式的重新采样方法执行层间预测时，可以通过得出相位偏移来减小在重新采样处理期间引起的相位差。因此，可以减小可归因于在重新采样处理中所引起的相位差的误差。此外，根据本发明的实施方式，因为减小了可归因于在重新采样处理中所引起的相位差的误差，所以可以提高预测精度，并且还可以提高编码和解码效率。
附图说明
图1为示意性地示出根据本发明的实施方式的编码装置的框图；
图2为示意性地示出根据本发明的实施方式的解码装置的框图；
图3为用于说明根据本发明的实施方式的对层间参考图片进行重新采样的方法(其对层之间的重新采样相位差进行补偿)的视图；以及
图4为示意性地描述根据本发明的实施方式的用于在可扩展编码结构中使用重新采样方法(其用于对层之间的重新采样相位差进行补偿)来执行层间预测的方法的流程图。
具体实施方式
在下文中，将参照附图来详细地描述本发明的实施方式。在对本发明的实施方式的描述中，如果认为对相关的已知元件或功能的详细描述不必要地使得本发明的主旨变模糊，则将省去对其的详细描述。
在本说明书中，在说到一个元件与另一元件“连接”或“耦接”时，这可以指一个元件可以与其它元件直接连接或耦接，并且第三元件可以“连接”或“耦接”在两个元件之间。此外，在本说明书中，在说到“包括”特定元件时，这可以指不排除除了特定元件以外的元件，并且在本发明的实施方式中或本发明的技术精神的范围内可以包括另外的元件。
例如“第一”和“第二”的术语可以用于描述各个元件，但是元件不受术语的限制。术语仅用于将一个元件与其它元件进行区分。例如，在不偏离本发明的范围的情况下，可以将第一元件命名为第二元件。同样地，可以将第二元件命名为第一元件。
此外，将在本发明的实施方式中描述的元件模块独立地示出，以表明不同的且特征性的功能，但是这并不意味着每个元件模块均由单块的硬件或软件形成。也就是说，出于描述的方便性来布置和包括元件模块，并且元件模块中的至少两个元件模块可以形成一个元件模块或者可以将一个元件模块划分成多个元件模块以执行它们自身的功能。将元件模块集成的实施方式和将元件模块分开的实施方式除非其偏离本发明的本质，否则的话均包括在本发明的范围内。
此外，在本发明中，一些元件并非用于执行本质功能的必要元件，而可能是仅用于改善性能的可选元件。可以仅使用除了仅用于改善性能的元件以外的用于实现本发明的本质的必要元件来实现本发明，并且仅包括必要元件而不包括仅用于改善性能的可选元件的结构被包括在本发明的范围内。
支持多层比特流的视频编码和解码被称为可扩展编码。因为在多个层之间存在较强的关联，所以在使用该关联来执行预测时，可以移除重复元件并且可以改善视频编码性能。使用与另一层有关的信息来预测作为预测目标的当前层被称为层间预测。
分辨率、帧速率和颜色格式中的至少一个可以在多个层之间互不相同，并且在层间预测期间可以执行对层的重新采样例如上采样或下采样，以调整分辨率。
图1为示意性地示出根据本发明的实施方式的编码装置的框图。
根据本发明的编码装置100包括用于上层的编码单元100a和用于下层的编码单元100b。
上层可以被称为当前层或增强层，而下层可以被称为参考层或基本层。分辨率、帧速率和颜色格式中的至少一个可以在上层与下层之间互不相同。当需要改变分辨率以用于层间预测时，可以对层执行上采样或下采样。
上层的编码单元100a可以包括：划分单元110、预测单元100、帧内预测单元121、帧间预测单元122、层间预测单元123、变换单元130、量化单元140、重新布置单元150、熵编码单元160、解量化单元170、逆变换单元180、滤波器单元190、存储器195和复用器(MUX)197。
下层的编码单元100b可以包括：划分单元111、预测单元125、帧内预测单元126、帧间预测单元127、变换单元131、量化单元141、重新布置单元151、熵编码单元161、解量化单元171、逆变换单元181、滤波器单元191和存储器196。
可以通过在本发明的实施方式中描述的视频编码方法(将在下面对其进行描述)来实现编码单元，但是可以不执行一些部件的操作，以减小编码装置的复杂性或者使得能够快速实时地进行编码。例如，当预测单元执行帧内预测时，可以执行从有限数目的帧内预测模式中选择一个并且将所选择的一个设置为最终的帧内预测模式的方法，以用于进行实时编码，而不是执行将所有帧内预测模式方法用来选择最佳帧内编码方法的方法。在另一示例中，用于帧内预测或帧间预测的预测块可以具有有限的形式。
在编码装置中处理的块的单元可以是用于执行编码的编码单元、用于执行预测的预测单元以及用于执行变换的变换单元。可以将编码单元、预测单元和变换单元分别表示为CU、PU和TU。
划分单元110和划分单元111可以通过以下来对层进行划分：将层图片划分成编码块、预测块和变换块的多个组合，并且基于预定的参考(例如成本函数)来选择编码块、预测块和变换块的一个组合。例如，为了将层图片划分成编码单元，可以使用递归树结构例如四叉树结构。在下文中，在本发明的实施方式中，编码块不仅可以指用于编码的块，而且可以指用于解码的块。
预测块可以是用于执行预测(例如帧内预测或帧间预测)的单元。用于帧内预测的块可以是具有正方形的形式的块，例如2N×2N或N×N。存在以下作为用于帧间预测的块：正方形形式的块，例如2N×2N或N×N；通过将具有正方形形式的预测块分成两个而获得的2N×N和N×2N形式的块；以及通过使用非对称运动划分(AMP)的预测块划分方法而获得的具有非对称形式的块。变换单元115可以根据预测块的形式而使用不同的变换方法。
编码单元100a的预测单元120和编码单元100b的预测单元125可以包括：用于执行帧内预测的帧内预测单元121和126；以及用于执行帧间预测的帧间预测单元122和126。用于上层的编码单元100a的预测单元120还包括使用与下层有关的信息对上层执行预测的层间预测单元123。
预测单元120和125可以确定是否针对预测块来执行帧内预测或帧间预测。被执行预测的处理单元可以不同于用于确定预测方法的处理块的单元。例如，当执行帧内预测时，可以基于预测块来确定预测模式，并且可以基于变换块来执行预测处理。可以将所生成的预测块与原始块之间的残差(残差块)输入至变换单元130和131。此外，用于预测的预测模式信息和运动矢量信息等连同残差一起通过熵编码单元130进行编码，并且可以被传输至解码装置。
当使用脉冲编码调制(PCM)模式时，原始块可以在无需预测单元120和125执行预测的情况下被编码，并且可以被传输至解码单元。
帧内预测单元121和126可以基于位于当前块(预测目标块)附近的参考像素来生成经帧内预测的块。在帧内预测方法中，帧内预测模式可以具有方向性预测模式和非方向性模式，其中，方向性预测模式根据预测方向来使用参考像素信息，非方向性模式在进行预测时不使用方向信息。用于预测亮度信息的模式可以不同于用于预测色度信息的模式。通过预测亮度信息所获得的帧内预测模式信息或者与所预测的亮度信号有关的信息可以用于预测色度信息。同时，如果参考像素不可用，则可以通过将不可用的参考像素用其它像素进行替换来生成预测块。
预测块可以包括多个变换块。如果当执行帧内预测时预测块的大小与变换块的大小相同，则可以基于预测块的左侧的像素、左上像素和上方的像素来执行针对预测块的帧内预测。然而，如果当执行帧内预测时预测块的大小与变换块的大小不同，并且因此预测块包括多个变换块，则可以基于以变换块为基础所确定的参考像素来执行帧内预测。
帧内预测方法可以在根据帧内预测模式将模式依赖帧内平滑(MDIS)滤波器应用于参考像素之后生成预测块。应用于参考像素的MDIS滤波器的类型可以互不相同。MDIS滤波器是应用于通过执行帧内预测而生成的经帧内预测的块的附加滤波器，并且可以用于减小参考像素与在执行预测后生成的经帧内预测的块之间的残差。当执行MDIS滤波时，可以根据帧内预测模式的方向来对参考像素以及对包括在经帧内预测的块中的一些列执行不同的滤波。
帧间预测单元122和127可以通过参考与以下的块有关的信息来执行预测：所述块被包括于在当前图片之前的图片和在当前图片之后的图片中的至少一个中。帧间预测单元122和127可以包括参考图片插值单元、运动预测单元和运动补偿单元。
参考图片插值单元可以设置有与来自存储器195或196的参考图片有关的信息，并且可以生成与来自参考图片的小于整像素的像素有关的信息。在亮度像素的情况下，可以使用具有可变滤波器系数的8抽头的基于离散余弦变换(DCT-based)的插值滤波器来生成与以1/4像素为单位的小于整像素的像素有关的信息。在色度信号的情况下，可以使用具有可变滤波器系数的4抽头的基于离散余弦变换的插值滤波器来生成与以1/8像素为单位的小于整像素的像素有关的信息。
帧间预测单元122和127可以基于通过参考图片插值单元进行插值的参考图片来执行运动预测。为了获得运动矢量，可以使用各种方法，例如基于全搜索的块匹配算法(FBMA)、三步搜索(TSS)算法和新三步搜索(NTSS)算法等。运动矢量可以基于插值的像素而具有以1/2或1/4像素为单位的运动矢量。帧间预测单元122和127可以通过应用各种帧间预测方法中的一种来对当前块执行预测。
可以使用例如以下各种方法作为帧间预测方法：跳过法(skip method)、合并法和运动矢量预测(MVP)法等。
帧间预测中的运动信息(即与参考图片的索引、运动矢量和残差信号等有关的信息)被进行熵编码并且被传输至解码单元。当应用跳过模式时，可以不执行用于生成残差、对残差进行变换、使残差量化和传输残差的处理。
层间预测单元123执行层间预测，在层间预测中使用与下层有关的信息来对上层进行预测。层间预测单元123可以使用与下层有关的纹理、帧内预测模式信息、运动信息和语法信息等来执行层间纹理预测、层间运动预测(层间帧间预测)和层间语法预测等。
“层间纹理预测”指将下层中的参考块的纹理用作上层的当前块的预测样本。在该情况下，可以通过上采样来对参考块的纹理进行扩展。
存在以下预测作为层间纹理预测：帧内BL预测，在帧内BL预测中，对下层中的参考块的重建的值进行上采样，并且将经上采样的参考块用作当前块的预测样本，以对当前块和参考块之间的残差进行编码；以及参考索引预测，在参考索引预测中，将经上采样的下层存储于存储器中，并且将所存储的下层用作参考索引。
可以使用与下层有关的帧内预测模式信息来执行上层的帧内预测，在该情况下，可以将下层的帧内预测模式称为BL帧内模式。
层间运动预测又被称为层间帧间预测。根据层间运动预测，可以使用下层的运动信息来执行针对上层的当前块的预测。运动信息可以包括运动矢量和参考图片索引。
此外，层间预测单元123可以执行层间语法预测，在层间语法预测中，使用下层的语法信息来生成或预测当前块的纹理。在该情况下，用于对当前块进行预测的下层的语法信息可以包括与帧内预测模式有关的信息、运动信息等。
根据层间残差预测(其为层间预测的另一示例)可以使用残差图片来执行针对当前块的预测，其中，基于上层的恢复的图片与通过对下层的恢复的图片进行重新采样所获得的图片之间的差而生成该残差图片。
虽然将层间纹理预测、层间运动预测、层间语法预测和层间残差预测描述为层间预测的示例，但是可以应用于本发明的层间预测并不限于以上示例。
生成包括与残差有关的信息的残差块，并且将该残差块输入至变换单元130和131，其中，残差为通过预测单元120和125生成的预测块和根据预测块重建的块之间的差。
变换单元130和131可以使用变换方法例如离散余弦变换(DCT)或离散正弦变换(DST)来对残差块进行变换。可以基于与预测块(其用于生成残差块)有关的帧内预测模式信息以及与预测块的大小有关的信息来确定是否应用DCT或DST对残差块进行变换。换言之，取决于预测块的大小和预测方法，变换单元130和131可以使用不同的变换方法。
量化单元140和141可以对由变换单元130和131变换至频域的值进行量化。量化系数可以根据图片的重要性或块而变化。由量化单元140和141计算的值可以被提供至解量化单元170和171以及重新布置单元150和151。
重新布置单元150和151可以重新布置用于经量化的残差值的系数值。重新布置单元150和151可以通过系数扫描方法将两维块型(block-type)系数变成一维矢量形式。例如，重新布置单元150和151可以使用锯齿扫描法从直流系数扫描到高频域的系数，以将两维块型系数变成一维矢量形式。可以取决于变换块的大小和帧内预测模式来使用垂直扫描方法和水平扫描方法，其中，垂直扫描方法沿垂直方向扫描两维块型系数，水平扫描法沿水平方向扫描两维块型系数。换言之，可以取决于变换块的大小和帧内预测模式来确定使用锯齿扫描法、垂直扫描法还是水平扫描法。
熵编码单元160和161可以基于由重新布置单元150和151计算的值来执行熵编码。熵编码可以使用各种编码方法，例如指数哥伦布编码、上下文自适应可变长度编码(CAVLC)和上下文自适应二进制算术编码(CABAC)。
熵编码单元160和161可以通过接收来自重新布置单元150和151以及预测单元120和125的各种信息而基于预定的编码方法来执行熵编码，其中，所述各种信息例如：编码块的残差系数信息和块类型信息、预测模式信息、划分单元信息、预测块信息和传输单元信息、运动矢量信息、参考帧信息、块的插值信息以及滤波信息等。此外，熵编码单元160和161可以对从重新布置单元150和151输入的编码单元的系数值进行熵编码。
熵编码单元160和161可以通过对帧内预测模式信息进行二进制编码来对当前块的帧内预测模式信息进行编码。熵编码单元160和161可以包括用于二进制编码的码字映射单元，并且可以取决于用于帧内预测的预测块的大小来有区别地执行二进制编码。码字映射单元可以通过二进制编码操作来适应性地生成码字映射表，或者可以具有先前生成的映射表。在另一实施方式中，熵编码单元160和161可以使用用于执行码号(code-num)映射的码号映射单元和用于执行码字映射的码字映射单元来表示与当前块有关的帧内预测模式信息。码号映射单元和码字映射单元可以分别生成码号映射表和码字映射表，或者可以分别具有先前生成的码号映射表和码字映射表。
解量化单元170和171对经由量化单元140和141量化的值进行解量化，并且逆变换单元180和181对经由变换单元130和131变换的值进行逆变换。由解量化单元170和171以及逆变换单元180和181生成的残差与预测块进行组合，由此可以生成重建的块，其中，通过运动预测单元、运动补偿单元以及包括在预测单元120和125中的帧内预测单元对预测块进行预测。
滤波器单元190和191可以包括解块滤波器、偏移校正单元和自适应环路滤波器(ALF)中的至少一个。
解块滤波器可以在重建的图片中消除由于块之间的边界而生成的块失真。可以基于包括在块的一些行或列中的像素来确定是否执行解块(即是否将解块滤波器应用于当前块)。当将解块滤波器应用于块时，可以根据所要求的解块滤波的强度来应用强滤波器或弱滤波器。此外，在应用解块滤波器中，当执行垂直滤波和水平滤波时，可以同时处理垂直滤波和水平滤波。
偏移校正单元可以以像素为单位对被执行解块的图片与原始图片之间的偏移进行校正。为了对特定图片执行偏移校正，可以使用将包括在图片中的像素分成一定数目的区域、确定要应用偏移的区域以及将偏移应用于该区域的方法，或者可以使用在考虑与每个像素的边缘有关的信息的情况下应用偏移的方法。
自适应环路滤波器(ALF)可以基于滤波后重建的图片与原始图片之间的比较来执行滤波。将包括在图片中的像素划分为一个或更多个组并且确定要应用于每一组中的滤波器，由此可以对每一组执行不同的滤波。
滤波器单元190和191可以仅应用解块滤波器，可以仅应用解块滤波器和ALF，或者可以仅应用解块滤波器和偏移校正单元。
存储器195和196可以存储由滤波器单元190和191计算的重建的块或图片，并且存储在存储器中的重建的块和图片可以在执行帧内预测时被提供至预测单元120和125。
从下层的熵编码单元100b输出的信息以及从上层的熵编码单元100a输出的信息经由复用器197多路复用，并且然后可以采用比特流的形式被输出。
可以将复用器197包括在下层的编码单元100b中，或者可以将复用器197实现为与编码单元100不同的单独的装置或模块。
图2为示意性地示出根据本发明的实施方式的解码装置的框图。
如图2所示，解码装置200包括上层的解码单元200a和下层的解码单元200b。
上层的解码单元200a可以包括熵解码单元210、重新布置单元220、解量化单元230、逆变换单元240、预测单元250、滤波器单元260和存储器270。
下层的解码单元200b可以包括熵解码单元211、重新布置单元221、解量化单元231、逆变换单元241、预测单元251、滤波器单元261和存储器271。
当对来自编码装置的包括多个层的比特流进行传输时，解复用器(DEMUX)280根据每一层对信息进行解复用，并且将信息传输至每一层的解码单元200a或200b。可以通过作为编码装置的处理的反转的处理而对输入的比特流进行解码。
熵解码单元210和211可以通过由编码装置的熵编码单元执行的熵编码处理的反转来执行熵解码。在经由熵解码单元210和211解码的信息片段中，用于生成预测块的信息被提供至预测单元250和251，并且经由熵解码单元进行熵解码的残差可以被输入至重新布置单元220和221。
像熵编码单元160和161一样，熵解码单元210和211可以通过使用CABAC和CAVLC中的至少一个来执行逆变换。
熵解码单元210和211可以对与由编码装置执行的帧内预测和帧间预测有关的信息进行解码。熵解码单元包括码字映射单元，其具有用于根据所接收的码字来生成帧内预测模式数目的码字映射表。可以预先存储码字映射表，或者可以适应性地生成码字映射表。当使用码号映射表时，用于执行码号映射的码号映射单元可以被另外布置。
重新布置单元220和221可以基于编码单元所使用的布置方法来对经由熵解码单元210和211进行熵解码的比特流进行重新布置。以一维矢量形式表示的系数可以通过被重建而被重新布置为两维块型系数。重新布置单元接收与由编码单元执行的系数扫描方法有关的信息，并且可以使用基于由编码单元执行的扫描序列来执行逆扫描的方法对系数进行重新布置。
解量化单元230和231可以基于由编码装置提供的量化参数和块的重新布置的系数来执行解量化。
逆变换单元240和241可以对由编码装置执行的量化的结果执行逆DCT和逆DST，其中，逆DCT和逆DST对应于由变换单元130和131执行的DCT和DST。可以在由编码装置确定的传输单元中执行逆变换。在编码装置的变换单元中，可以根据多个信息片段(例如预测方法、当前块的大小和预测方法等)而选择性地执行DCT和DST。逆变换单元225可以基于与由编码装置的变换单元执行的变换有关的信息来执行逆变换。可以基于编码块而非变换块来执行变换。
预测单元250和251可以基于以下来生成预测块：由熵解码单元210和211提供的与预测块的生成有关的信息以及从存储器270和271提供的与先前解码的块或图片有关的信息。
预测单元250和251可以包括预测单元确定单元、帧间预测单元和帧内预测单元。
预测单元确定单元接收各种信息，将预测块与当前编码块分开并且确定预测块是否执行帧内预测或帧间预测，其中，所述各种信息包括从熵解码单元输入的预测单元信息、与帧内预测方法有关的预测模式信息以及与帧间预测方法有关的运动预测信息等。
帧间预测单元可以使用对于由编码装置提供的当前预测块的帧间预测而言所需的信息、基于包括于在当前图片(其包括当前预测块)之前的图片和在当前图片之后的图片中的至少一个中的信息来执行针对当前预测块的帧间预测。为了执行帧间预测，可以确定基于对应的编码块而用作预测块(其包括在编码块中)的运动预测方法的方法为跳过模式、合并模式还是AMVP模式。
帧内预测单元可以基于与当前图片中的像素有关的信息来生成预测块。当预测块为被执行帧内预测的预测块时，可以基于由编码装置提供的与预测块有关的帧内预测模式信息而执行帧内预测。帧内预测单元可以包括：MDIS滤波器，其用于对当前块的参考像素执行滤波；参考像素插值单元，其用于通过对参考像素进行插值来生成以小于单像素的单位的参考像素；以及直流滤波器，其用于在当前块的预测模式为直流模式时通过滤波来生成预测块。
上层的解码单元200a的预测单元250还可以包括用于执行层间预测的层间预测部分，其中，在层间预测中，使用与下层有关的信息来对上层进行预测。
层间预测单元可以使用关于下层的纹理、帧内预测模式信息、运动信息和语法信息等来执行层间纹理预测、层间运动预测(层间帧间预测)和层间语法预测等。
根据层间纹理预测，可以执行以下预测：在该预测中，将下层中的参考块的纹理用作上层的当前块的预测样本。在该情况下，可以通过上采样来对参考块的纹理进行扩展。
存在以下预测作为层间纹理预测：帧内BL预测，在帧内BL预测中，对下层中的参考块的重建的值进行上采样，并且将经上采样的参考块用作当前块的预测样本，以对当前块和参考块之间的残差进行编码；参考索引预测，在参考索引预测中，将经上采样的下层存储于存储器中，并且将所存储的下层用作参考索引。
可以使用下层的帧内预测模式信息来执行上层的帧内预测，在该情况下，下层的帧内预测模式可以被称为BL帧内模式。
根据层间运动预测，可以使用与下层有关的运动信息来执行针对上层的当前块的层间运动预测。
此外，层间预测单元可以执行层间语法预测，在层间语法预测中，使用下层的语法信息来预测或生成当前块的纹理。在该情况下，用于对当前块进行预测的下层的语法信息可以包括与帧内预测模式有关的信息、运动信息等。
此外，层间预测单元可以执行层间残差预测，在层间残差预测中，使用残差图片对当前块进行预测，其中，基于上层的恢复的图片与通过对下层的恢复的图片进行重新采样所获得的图片之间的差而生成残差图片。
虽然将层间纹理预测、层间运动预测、层间语法预测和层间残差预测描述为层间预测的示例，但是可以应用于本发明的层间预测并不限于以上示例。
重建的块或图片可以被提供至滤波器单元260和261。滤波器单元260和261可以包括解块滤波器、偏移校正单元和ALF。
编码装置可以提供以下信息：与解块滤波器是否被应用于对应的块或图片有关的信息；以及指示在应用解块滤波器时滤波器为强滤波器或弱滤波器的信息。解码装置的解块滤波器接收与由编码装置提供的解块滤波器有关的信息，并且解码装置可以对相应的块执行解块滤波。
偏移校正单元可以基于编码期间应用于图片的偏移校正的类型以及与偏移值有关的信息来对重建的图片执行偏移校正。
自适应环路滤波器(ALF)可以基于滤波后重建的图片与原始图片之间的比较来执行滤波。可以基于由编码装置提供的以下信息而将ALF应用于编码单元：与是否应用ALF有关的信息；以及与ALF系数有关的信息等。与ALF有关的信息可以通过被包括在特定的参数集中而进行设置。
存储器270和271可以存储要被用作参考图片或参考块的重建的图片或块，并且可以将重建的图片输出。
编码设备和解码设备可以对三层或更多层——而非两层——执行编码，在该情况下，上层的编码单元和上层的解码单元可以包括在数目上与上层的数目相对应的多个编码单元和多个解码单元。
如上所述，因为在支持多层结构的可扩展高效视频编码(SHVC)技术中的多个层之间存在较强的关联，所以在使用该关联执行预测时，可以移除重复的元件并且可以改善视频编码性能。
因此，当对当前层(增强层)的编码图片或解码图片进行预测时，不仅可以执行使用与当前层有关的信息的帧间预测或帧内预测，而且可以执行使用与另一层有关的信息的层间预测。
当执行层间预测时，当前层可以将用于层间预测的参考层的解码图片用作参考图片而生成当前层的预测样本。
在该情况下，因为分辨率、帧速率、颜色格式和视点(viewpoint)中的至少一个在当前层与参考层之间互不相同(由于层之间的可扩展性的差别)，所以参考层的解码图片被重新采样以适应当前层的可扩展性，并且然后可以被用作当前层的层间预测的参考图片。“重新采样”指对参考层图片的样本进行上采样或下采样，以匹配当前层图片的大小。
在本发明中，当前层为被执行编码或解码的层，并且可以是增强层或上层。参考层为被参考用于当前层的层间预测的层，并且可以是基本层或下层。可以将用于当前层的层间预测的参考层的图片(即参考图片)称为层间参考图片。
SHVC标准限定了用于解码处理中的重新采样的重新采样滤波器(例如上采样滤波器)，但是未限定用于编码处理中的重新采样的重新采样滤波器(例如下采样滤波器)。因此，可以将各种(任意)重新采样滤波器用在用于对层进行编码的处理中，然而将标准中限定的重新采样滤波器用在用于对层进行解码的处理中。在该情况下，因为可以将不同的重新采样滤波器用于编码处理和解码处理，所以参考层(基本层)中的图片的样本的相位可能与当前层(增强层)中的图片的样本的相位不同。
换言之，SHVC标准中限定的解码处理的重新采样滤波器(上采样滤波器)基于下面的假设进行设计：在用于解码处理的重新采样滤波器(上采样滤波器)与用于编码处理的重新采样滤波器(下采样滤波器)之间不产生相位差。因此，如果将标准中未限定的重新采样滤波器用于编码处理中，则当在解码处理中执行重新采样时，生成当前层与参考层之间的相位差。
为了解决上面的问题，本发明提供了用于补偿当前层与参考层之间的相位差的方法，其中，在对层间参考图片进行重新采样的处理中可能引起该相位差。
图3为用于说明根据本发明的实施方式的对层间参考图片进行重新采样的方法(该方法对层之间的重新采样的相位差进行补偿)的视图。
参照图3，当对当前层执行层间预测时，作为预测目标的当前层图片310的当前块315可以使用层间参考图片320来获得当前块315的预测样本。
在该情况下，层间参考图片320可以被重新采样，以匹配当前层图片310的大小。在下文中，将对根据本发明的实施方式的用于对层间参考图片320进行重新采样的处理进行详细地描述。
首先，可以导出与当前层图片310的样本位置(xP，yP)相对应的参考层图片320的样本位置(xRef，yRef)。在该情况下，参考层的样本位置(xRef，yRef)可以被导出为具有1/16样本精度的位置。
等式1表示：将参考层的样本位置(xRef，yRef)导出为具有1/16样本精度的位置。
等式1
xRef＝(xRef16>>4)
yRef＝(yRef16>>4)
在此，(xRef16，yRef16)指与当前层图片310的样本位置(xP，yP)相对应的以1/16样本为单位的参考层样本位置。
此外，可以使用以1/16样本为单位的参考层样本位置(xRef16，yRef16)来导出作为等式2的在重新采样处理中使用的重新采样滤波器的相位值(xPhase，yPhase)。
等式2
xPhase＝(xRef16)％16
yPhase＝(yRef16)％16
根据本发明的实施方式，当导出以1/16样本为单位的参考层样本位置(xRef16，yRef16)时，可以补偿层之间的相位差。例如，可以使用与用于对层之间的相位差进行补偿的相位偏移有关的信息来对层之间的相位差进行补偿。
可以使用等式3和等式4来计算用于将参考层样本位置(xRef,yRef)导出为具有1/16样本精度的位置的参考层样本位置(xRef16，yRef16)。
等式3表示用于导出亮度分量的以1/16样本为单位的参考层样本位置(xRef16，yRef16)的等式。在该情况下，可以基于与亮度分量的用于对层之间的相位差进行补偿的相位偏移有关的信息来导出亮度分量的以1/16样本为单位的参考层样本位置(xRef16，yRef16)。
等式3
xRef16＝((xP*scaleFactorX+addX)>>(shiftX-4))+luma_phase_offsetX
yRef16＝((yP*scaleFactorY+addY)>>(shiftY-4))+luma_phase_offsetY
等式4表示用于导出色度分量的以1/16样本为单位的参考层样本位置(xRef16,yRef16)的等式。在该情况下，可以基于与色度分量的用于对层之间的相位差进行补偿的相位偏移有关的信息来导出色度分量的以1/16样本为单位的参考层样本位置(xRef16，yRef16)。
等式4
xRef16＝((xP*scaleFactorX+addX)>>(shiftX-4))+chroma_phase_offsetX
yRef16＝((yP*scaleFactorY+addY)>>(shiftY-4))+chroma_phase_offsetY
在等式3和等式4中，(xP，yP)表示当前层图片310中样本的位置，并且指处于当前层图片310的当前块315的左上角的样本的位置。
shiftX和shiftY可以如下：shiftX＝16，shiftY＝16。
luma_phase_offseX、luma_phase_offseY、chroma_phase_offseX和chroma_phase_offseY均为用于补偿重新采样处理中的层之间的相位差的变量。例如，luma_phase_offseX和luma_phase_offseY均为在亮度分量的情况下用于补偿层之间的相位差的变量，而chroma_phase_offseX和chroma_phase_offseY均为在色度分量的情况下用于补偿层之间的相位差的变量。在该情况下，可以基于图片或者基于片(slice)来确定用于对层之间的相位差进行补偿的变量(即luma_phase_offseX、luma_phase_offseY、chroma_phase_offseX和chroma_phase_offseY)，并且可以根据所确定的单元而通过图片参数集和片头(slice header)等来发送变量。
在等式3和等式4中，可以根据等式5来限定scaleFactorX和scaleFactorY。
等式5
scaleFactorX＝((PicWRL<<shiftX)+(scaledW>>1))/ScaledW
scaleFactorY＝((PicHRL<<shiftY)+(scaledH>>1))/ScaledH
在等式3和等式4中，可以根据等式6来限定addX和addY。
等式6
addX＝(((PicWRL*phaseX)<<(shiftX-2))+(ScaledW>>1))/ScaledW+(1<<(shiftX-5))
addY＝(((PicHRL*phaseY)<<(shiftY-2))+(ScaledH>>1))/ScaledH+(1<<(shiftY-5))
在等式5和等式6中，scaledW可以被限定为1.5*PicWRL或2.0*PicWRL，而scaledH可以被限定为1.5*PicHRL或2.0*PicHRL。PicWRL可以被限定为参考层的宽度，而PicHRL可以被限定为参考层的高度。
如上所述，如等式3至等式6所表示的，当导出参考层样本位置时，相位偏移信息例如addX、addY、phaseX、phaseY、luma_phase_offsetX、luma_phase_offsetY、chroma_phase_offsetX和chroma_phase_offsetY等可以用于补偿层之间的相位差。
在此，当导出色度分量的以1/16样本为单位的参考层样本位置时，可以使用与色度分量的相位偏移有关的信息或者与亮度分量的相位偏移有关的信息。例如，与色度分量的相位偏移有关的信息，即色度分量的addX、addY、phaseX、phaseY、chroma_phase_offsetX和chroma_phase_offsetY可以被分别导出为亮度分量的addX、addY、phaseX、phaseY、luma_phase_offsetX和luma_phase_offsetY的1/2。
接着，可以基于参考层样本位置(xRef，yRef)和相位值(xPhase，yPhase)来对当前层图片310的样本位置(xP，yP)执行插值，其中，如上所述，使用具有1/16样本精度的位置(xRef16，yRef16)来导出相位值(xPhase，yPhase)。
在该情况下，8抽头滤波器和4抽头滤波器可以分别用于插值处理中的亮度分量和色度分量。此外，对于每一相而言可以使用不同的滤波器系数。
表1表示根据在重新采样处理中使用的1/16相位的用于亮度分量的8抽头滤波器(滤波器系数)的示例，而表2表示根据在重新采样处理中使用的1/16相位的用于色度分量的4抽头滤波器(滤波器系数)的示例。
表1
表2
如上所述，基于参考层样本位置(xRef，yRef)和相位值(xPhase，yPhase)，使用表1和表2中给出的滤波器系数来对当前层的样本位置(xP，yP)执行插值，由此，可以获得重新采样的样本值(重新采样的层间参考图片)。可以使用该重新采样的层间参考图片来执行针对当前层图片310的当前块315的层间预测(运动补偿)，并且因此，可以获得当前块315的预测样本。
如上所述，为了在用于对层间参考图片进行重新采样的处理中补偿层之间的相位差，本发明的实施方式发送由图片单元或片单元确定的用于补偿层之间的相位差的相位偏移信息，并且基于发送的相位偏移信息来导出参考层样本位置。
在该情况下，可以分别发送亮度分量的相位偏移信息和色度分量的相位偏移信息，或者可以基于亮度分量的相位偏移信息来导出色度分量的相位偏移信息。
在下文中，将对根据本发明的实施方式的用于导出针对色度分量而补偿层之间的相位差的相位偏移的方法进行描述。
存在以下作为根据本发明的实施方式的用于导出色度分量的相位偏移信息的方法：1)将亮度分量的相位偏移信息用作色度分量的相位偏移信息的方法；2)基于亮度分量的相位偏移信息来导出色度分量的相位偏移信息的方法；以及3)通过发送在亮度分量的相位偏移信息与色度分量的相位偏移信息之间是否存在任意的差来导出色度分量的相位偏移信息的方法。
1)将亮度分量的相位偏移信息用作色度分量的相位偏移信息的方法
可以将色度分量的相位偏移信息设置为与亮度分量的相位偏移信息相同的值。例如，当导出与当前层图片的当前样本位置(xP，yP)相对应的以1/16样本为单位的参考层样本位置(xRef16，yRef16)时，可以使用等式3来计算亮度分量的参考样本位置和色度分量的参考样本位置这二者。
2)基于亮度分量的相位偏移信息来导出色度分量的相位偏移信息的方法
可以使用预定的操作根据亮度分量的相位偏移信息来导出色度分量的相位偏移信息。例如，可以使用操作——即将亮度分量的相位偏移信息乘以或除以特定值(例如1/2、1/4等)——来导出色度分量的相位偏移信息。
3)通过发送在亮度分量的相位偏移信息与色度分量的相位偏移信息之间是否存在任意的差来导出色度分量的相位偏移信息的方法
色度分量的相位偏移信息与亮度分量的相位偏移信息是否相同可以通过图片参数集和片头等来发送。
如果色度分量的相位偏移信息与亮度分量的相位偏移信息相同，则可以将亮度分量的相位偏移信息用作色度分量的相位偏移信息。
如果色度分量的相位偏移信息与亮度分量的相位偏移信息不同，则可以发送色度分量的相位偏移信息，或者可以发送亮度分量的相位偏移信息与色度分量的相位偏移信息之间的差。
表3表示语法的示例，在该语法的示例中，通过图片单元来确定用于补偿层之间的相位差的相位偏移信息，并且通过图片参数集来发送相位偏移信息。
表3
参照表3，luma_phase_offsetX表示亮度分量的相位的x轴分量的值。luma_phase_offsetY表示亮度分量的相位的y轴分量的值。
isSameLumaPhaseX表示色度分量的相位的x轴分量的值与亮度分量的相位的x轴分量的值是否相同。如果isSameLumaPhaseX为1，则这表示色度分量的相位的x轴分量的值与亮度分量的相位的x轴分量的值相同，而如果isSameLumaPhaseX为0，则这表示色度分量的相位的x轴分量的值与亮度分量的相位的x轴分量的值不同。
isSameLumaPhaseY表示色度分量的相位的y轴分量的值与亮度分量的相位的y轴分量的值是否相同。如果isSameLumaPhaseY为1，则这表示色度分量的相位的y轴分量的值与亮度分量的相位的y轴分量的值相同，而如果isSameLumaPhaseY为0，则这表示色度分量的相位的y轴分量的值与亮度分量的相位的y轴分量的值不同。
chroma_phase_offsetX表示色度分量的相位的x轴分量的值。chroma_phase_offsetY表示色度分量的相位的y轴分量的值。
表4表示语法的另一示例，在该语法的另一示例中，通过图片单元来确定用于补偿层之间的相位差的相位偏移信息，并且通过图片参数集来发送相位偏移信息。
表4
参照表4，luma_phase_offsetX表示亮度分量的相位的x轴分量的值。luma_phase_offsetY表示亮度分量的相位的y轴分量的值。
isSameLumaPhaseX表示色度分量的相位的x轴分量的值与亮度分量的相位的x轴分量的值是否相同。如果isSameLumaPhaseX为1，则这表示色度分量的相位的x轴分量的值与亮度分量的相位的x轴分量的值相同，而如果isSameLumaPhaseX为0，则这表示色度分量的相位的x轴分量的值与亮度分量的相位的x轴分量的值不同。
isSameLumaPhaseY表示色度分量的相位的y轴分量的值与亮度分量的相位的y轴分量的值是否相同。如果isSameLumaPhaseY为1，则这表示色度分量的相位的y轴分量的值与亮度分量的相位的y轴分量的值相同，而如果isSameLumaPhaseY为0，则这表示色度分量的相位的y轴分量的值与亮度分量的相位的y轴分量的值不同。
delta_phase_offsetX＝luma_phase_offsetX-chroma_phase_offsetX。delta_phase_offsetY＝luma_phase_offsetX-chroma_phase_offsetX。
图4为示意性地描绘根据本发明的实施方式的用于在可扩展视频编码结构中使用用于对层之间的重新采样的相位差进行补偿的重新采样方法来执行层间预测的方法。
可以由图1的编码装置和图2的解码装置来执行图4的方法，并且更具体地可以由图1的编码装置的预测单元和图2的解码装置的预测单元来执行图4的方法。此外，在图4中，出于描述的便利而示出由解码装置来执行根据本发明的实施方式的层间预测方法的示例。
可扩展视频编码结构可以包括多个层。例如，可以包括被执行解码的当前层以及用于当前层的层间预测的参考层。当前层可以是增强层，而参考层可以是与当前层相比提供较低可扩展性的基本层或较低的层。
参照图4，解码装置根据参考层图片(其用于当前层图片的层间预测)来导出参考层样本位置(S400)。
参考层样本位置为与当前层图片中的当前块的左上样本位置相对应的参考层图片中的样本位置，并且可以是在对参考层重新采样时使用的样本位置。
如上所述，因为在重新采样处理中可能生成层之间的相位差，所以有必要在重新采样处理中对层之间的相位差进行补偿。
因此，可以基于用于补偿层之间的相位差的相位偏移信息来导出参考层样本位置。相位偏移信息可以包括亮度分量的相位偏移信息和色度分量的相位偏移信息中的至少一个。
例如，解码装置可以导出以1/16样本为单位的参考层样本位置，并且可以通过对以1/16样本为单位的参考层样本位置的相位差进行补偿来使层之间的相位相匹配。如上所述，使用等式3至等式6，解码装置可以导出以1/16样本为单位的参考层样本位置，其中，对相位差进行了补偿。
在该情况下，解码装置可以根据参考层图片的颜色分量、基于亮度分量的相位偏移信息或色度分量的相位偏移信息来导出参考层样本位置。例如，如果参考层图片的颜色分量为亮度分量，则解码装置可以基于亮度分量的相位偏移信息来导出亮度分量的以1/16样本为单位的参考层样本位置，并且可以如等式3所示来获得该参考层样本位置。如果参考层图片的颜色分量为色度分量，则解码装置可以基于色度分量的相位偏移信息来导出色度分量的以1/16样本为单位的参考层样本本位，并且可以如等式4所示来获得该参考层样本位置。
可以从编码装置发送用于补偿层之间的相位差的相位偏移信息。编码装置通过图片单元、片单元等来确定相位偏移，并且可以根据所确定的单元通过图片参数集、片头等向解码装置发送相位偏移信息。当发送相位偏移信息时，编码装置可以分别发送亮度分量的相位偏移信息和色度分量的相位偏移信息，或者可以发送用于基于亮度分量的相位偏移信息来导出色度分量的相位偏移信息的信息。
如上所述，解码装置可以基于由编码装置发送的相位偏移信息来获得亮度分量的相位偏移信息和色度分量的相位偏移信息。
例如，解码装置可以将亮度分量的相位偏移用作色度分量的相位偏移。
替代地，解码装置可以基于亮度分量的相位偏移来导出色度分量的相位偏移。例如，可以使用预定的条件而根据亮度分量的相位偏移来导出色度分量的相位偏移。预定的条件可以是以下的操作：在该操作中，将亮度分量的相位偏移乘以或除以特定值(例如1/2、1/4等)
替代地，解码装置可以基于表示亮度分量的相位偏移与色度分量的相位偏移是否相同的标记来获得亮度分量的相位偏移信息和色度分量的相位偏移信息。例如，如果标记表示色度分量的相位偏移与亮度分量的相位偏移相同(例如，如果标记为1)，则解码装置可以将亮度分量的相位偏移用作色度分量的相位偏移。如果标记表示色度分量的相位偏移与亮度分量的相位偏移不相同(例如，如果标记为0)，则解码装置从图片参数集、片头等获得色度分量的相位偏移，或者可以基于色度分量的相位偏移与亮度分量的相位偏移之间的差来获得色度分量的相位偏移。例如，编码装置可以发送表3或表4中所示的语法，并且解码装置可以通过语法来获得亮度分量的相位偏移信息和色度分量的相位偏移信息。
解码装置基于参考层样本位置对参考层图片执行重新采样(S410)。
更具体地，解码装置可以导出在重新采样处理中使用的重新采样滤波器的相位值。可以使用以1/16样本为单位的参考层样本位置来导出相位值。例如，可以使用等式2来计算相位值。
接着，解码装置可以基于所导出的参考层样本位置和相位来对当前层图片的当前块的左上样本位置执行插值。
在亮度分量的情况下，解码装置可以使用表1所示的8抽头插值滤波器来对亮度分量样本执行插值。在色度分量的情况下，解码装置可以使用表2所示的4抽头插值滤波器来对色度分量样本执行插值。
换言之，解码装置可以取决于参考层样本位置和相位来使用不同的插值滤波器系数而对当前块的左上样本执行插值来获得经插值的样本值。
接着，解码装置可以根据经插值的样本值来获得参考层图片(重新采样的层间参考图片)的重新采样的样本值。
解码装置可以基于重新采样的样本值(重新采样的层间参考图片)来执行针对当前层图片的当前块的层间预测，由此可以生成当前块的预测样本(S420)。
解码装置可以基于当前块的预测样本(通过上述的层间预测来生成该预测样本)和当前块的残差样本来重建当前块。
同时，在编码处理中，可以基于通过上述的步骤S400至S420生成的当前块的预测样本来导出当前块的残差样本，并且在对当前块的残差样本执行变换和量化之后，可以对结果进行熵编码。
当如上所述使用根据本发明的实施方式的重新采样方法来执行层间预测时，可以通过得出相位偏移来补偿在重新采样处理中可能生成的相位差，从而减小可归因于在重新采样处理中生成的相位差的任何误差。此外，根据本发明的实施方式，因为减小了可归因于在重新采样处理中生成的相位差的误差，所以可以提高预测精度，并且还可以提高编码和解码效率。
可以将根据本发明的上述方法实现为可以通过各种计算机装置来执行的程序，并且可以将其记录在计算机可读存储介质上。计算机可读存储介质的示例包括ROM、RAM、CD-ROM、磁带、软盘和光数据存储器等，并且可以以载波(例如通过因特网进行传输)的形式来实现。
计算机可读存储介质可以分布于通过网络连接的计算机系统中，并且可以使用分布式方法来存储和执行计算机能够读取的代码。此外，包括本发明的技术领域的编程人员可以容易地理解用于实现上面的方法的功能性程序、代码和代码段。
虽然已经基于上面实施方式中的流程图将方法描述为步骤或块，但是本发明并不限于步骤的顺序，并且一些步骤可以按照不同的次序发生或同时发生。本领域技术人员将理解的是，流程图的步骤不是排它的，而是可以包括其它步骤，或者可以在不影响本发明的范围的情况下删除流程图的一个或更多个步骤。
上面的描述仅为本发明的技术精神的说明，并且那些具有本发明所属的技术领域内的一般知识的技术人员可以在不偏离本发明的本质特征的范围内作出修改和变型。因此，本发明的所公开的实施方式不意在限制本发明的技术精神，而是说明本发明的技术精神，并且本发明的技术精神的范围并不限于这些实施方式。对本发明的保护范围的解释应当基于所附权利要求，并且在与权利要求相当的范围内的所有技术精神应被理解为落入本发明的权利范围内。

Claims (16)

1.一种支持多个层的视频解码方法，所述视频解码方法包括：
根据用于当前层图片的层间预测的参考层图片来导出参考层样本位置；
基于所述参考层样本位置来对所述参考层图片进行重新采样；以及
通过基于重新采样的参考层图片对所述当前层图片的当前块执行层间预测来生成所述当前块的预测样本，
其中，导出所述参考层样本位置被配置成基于与相位偏移有关的信息来导出与所述当前块的左上样本位置相对应的参考层样本位置，所述相位偏移用于对层之间的相位差进行补偿，与相位偏移有关的所述信息包括亮度分量的相位偏移和色度分量的相位偏移中的至少一个，
其中，通过图片单元来确定与相位偏移有关的信息，并且通过比特流的图片参数集来获得与相位偏移有关的所述信息，
其中，所述层间预测包括层间纹理预测和层间运动预测，并且其中，当所述层间预测通过所述层间纹理预测执行时使用与相位偏移有关的所述信息，并且
其中，通过使用比例因子(scaleFactorX，scaleFactorY)和附加因子(addX，addY)来导出以1/16样本为单位的所述参考层样本位置(xRef16，yRef16)。
2.根据权利要求1所述的视频解码方法，其中，基于所述亮度分量的相位偏移来导出所述色度分量的相位偏移。
3.根据权利要求2所述的视频解码方法，其中，所述色度分量的相位偏移被导出为与所述亮度分量的相位偏移一致的值。
4.根据权利要求2所述的视频解码方法，其中，所述色度分量的相位偏移被导出为所述亮度分量的相位偏移的1/2。
5.根据权利要求1所述的视频解码方法，还包括：
获得指示所述亮度分量的相位偏移与所述色度分量的相位偏移是否一致的信息，
其中，当指示所述亮度分量的相位偏移与所述色度分量的相位偏移一致时，所述色度分量的相位偏移使用所述亮度分量的相位偏移，以及
当指示所述亮度分量的相位偏移与所述色度分量的相位偏移不一致时，根据图片参数集或片头来获得所述色度分量的相位偏移，或者基于所述亮度分量的相位偏移与所述色度分量的相位偏移之间的差来获得所述色度分量的相位偏移。
6.根据权利要求1所述的视频解码方法，其中，对所述参考层图片进行重新采样被配置成：导出在重新采样处理中使用的相位值，并且基于所述参考层样本位置和所述相位值来对所述当前块的左上样本位置执行插值。
7.根据权利要求6所述的视频解码方法，其中，对所述参考层图片进行重新采样被配置成：基于所述参考层样本位置和所述相位值，使用8抽头插值滤波器来对所述当前块的左上亮度样本位置执行插值。
8.根据权利要求6所述的视频解码方法，其中，对所述参考层图片进行重新采样被配置成：基于所述参考层样本位置和所述相位值，使用4抽头插值滤波器来对所述当前块的左上色度样本位置执行插值。
9.一种支持多个层的视频解码装置，所述视频解码装置包括：
预测单元，所述预测单元用于根据参考层图片来导出参考层样本位置，所述参考层图片用于当前层图片的层间预测，所述预测单元用于基于所述参考层样本位置来对所述参考层图片进行重新采样，并且所述预测单元用于通过基于重新采样的参考层图片对所述当前层图片的当前块执行层间预测来生成所述当前块的预测样本，
其中，所述预测单元基于与相位偏移有关的信息来导出与所述当前块的左上样本位置相对应的参考层样本位置，所述相位偏移用于对层之间的相位差进行补偿，与相位偏移有关的所述信息包括亮度分量的相位偏移和色度分量的相位偏移中的至少一个，
其中，通过图片单元来确定与相位偏移有关的信息，并且通过比特流的图片参数集来获得与相位偏移有关的所述信息，
其中，所述层间预测包括层间纹理预测和层间运动预测，并且其中，当所述层间预测通过所述层间纹理预测执行时使用与相位偏移有关的所述信息，并且
其中，通过使用比例因子(scaleFactorX，scaleFactorY)和附加因子(addX，addY)来导出以1/16样本为单位的所述参考层样本位置(xRef16，yRef16)。
10.根据权利要求9所述的视频解码装置，其中，所述预测单元基于所述亮度分量的相位偏移来导出所述色度分量的相位偏移。
11.根据权利要求10所述的视频解码装置，其中，所述预测单元将所述色度分量的相位偏移导出为与所述亮度分量的相位偏移一致的值。
12.根据权利要求10所述的视频解码装置，其中，所述预测单元将所述色度分量的相位偏移导出为所述亮度分量的相位偏移的1/2。
13.根据权利要求9所述的视频解码装置，其中，所述预测单元被配置成：
获得指示所述亮度分量的相位偏移与所述色度分量的相位偏移是否一致的信息，
当指示所述亮度分量的相位偏移与所述色度分量的相位偏移一致时，将所述亮度分量的相位偏移导出为所述色度分量的相位偏移，以及
当表示所述亮度分量的相位偏移与所述色度分量的相位偏移不一致时，根据图片参数集或片头来获得所述色度分量的相位偏移，或者基于所述亮度分量的相位偏移与所述色度分量的相位偏移之间的差来获得所述色度分量的相位偏移。
14.根据权利要求9所述的视频解码装置，其中，所述预测单元导出在重新采样处理中使用的相位值，并且基于所述参考层样本位置和所述相位值来对所述当前块的左上样本位置执行插值。
15.根据权利要求14所述的视频解码装置，其中，基于所述参考层样本位置和所述相位值，所述预测单元使用8抽头插值滤波器来对所述当前块的左上亮度样本位置执行插值。
16.根据权利要求14所述的视频解码装置，其中，基于所述参考层样本位置和所述相位值，所述预测单元使用4抽头插值滤波器来对所述当前块的左上色度样本位置执行插值。
CN201480028877.XA 2013-05-24 2014-05-22 用于对支持多个层的视频进行编码的方法和设备 Active CN105230018B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20130059332 2013-05-24
KR10-2013-0059332 2013-05-24
KR20140061080A KR20140138538A (ko) 2013-05-24 2014-05-21 복수의 레이어를 지원하는 비디오 코딩 방법 및 장치
KR10-2014-0061080 2014-05-21
PCT/KR2014/004566 WO2014189300A1 (ko) 2013-05-24 2014-05-22 복수의 레이어를 지원하는 비디오 코딩 방법 및 장치

Publications (2)

Publication Number Publication Date
CN105230018A CN105230018A (zh) 2016-01-06
CN105230018B true CN105230018B (zh) 2019-04-16

Family

ID=52459208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480028877.XA Active CN105230018B (zh) 2013-05-24 2014-05-22 用于对支持多个层的视频进行编码的方法和设备

Country Status (3)

Country Link
US (1) US10349063B2 (zh)
KR (1) KR20140138538A (zh)
CN (1) CN105230018B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015103221A1 (en) 2014-01-03 2015-07-09 Arris Enterprises, Inc. Conditionally parsed extension syntax for hevc extension processing
WO2015143090A1 (en) 2014-03-18 2015-09-24 Arris Enterprises, Inc. Scalable video coding using reference and scaled reference layer offsets
TWI589152B (zh) * 2014-04-25 2017-06-21 夏普股份有限公司 圖像解碼裝置、圖像編碼裝置以及編碼資料轉換裝置
WO2015168581A1 (en) 2014-05-01 2015-11-05 Arris Enterprises, Inc. Reference layer and scaled reference layer offsets for scalable video coding
US10785492B2 (en) * 2014-05-30 2020-09-22 Arris Enterprises Llc On reference layer and scaled reference layer offset parameters for inter-layer prediction in scalable video coding
MY201069A (en) * 2016-02-05 2024-02-01 Hfi Innovation Inc Method and apparatus of motion compensation based on bi-directional optical flow techniques for video coding
KR20190029737A (ko) * 2016-09-22 2019-03-20 엘지전자 주식회사 영상 코딩 시스템에서 조도 보상 기반 인터 예측 방법 및 장치
US11303909B2 (en) * 2019-09-18 2022-04-12 Qualcomm Incorporated Scaling ratio and output full resolution picture in video coding
CN117615155A (zh) 2019-09-19 2024-02-27 北京字节跳动网络技术有限公司 视频编解码中的参考样点位置推导
KR20220066045A (ko) * 2019-09-19 2022-05-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩의 스케일링 윈도우
CN110662071B (zh) * 2019-09-27 2023-10-24 腾讯科技（深圳）有限公司 视频解码方法和装置、存储介质及电子装置
EP4026336A4 (en) 2019-10-05 2022-12-07 Beijing Bytedance Network Technology Co., Ltd. LEVEL-BASED SIGNALING OF VIDEO CODING TOOLS
WO2021068956A1 (en) 2019-10-12 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Prediction type signaling in video coding
JP7414980B2 (ja) 2019-10-13 2024-01-16 北京字節跳動網絡技術有限公司 参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用
BR112022012807A2 (pt) 2019-12-27 2022-09-27 Beijing Bytedance Network Tech Co Ltd Método de processamento de vídeo, aparelho para processar dados de vídeo e meios não transitórios legíveis por computador

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101176346A (zh) * 2005-04-01 2008-05-07 Lg电子株式会社 可对视频信号缩放地进行编码和解码的方法
EP2044773A1 (en) * 2006-07-10 2009-04-08 Sharp Kabushiki Kaisha Methods and systems for combining layers in a multi-layer bitstream
CN101686395A (zh) * 2005-07-21 2010-03-31 Lg电子株式会社 对视频信号进行编码和解码的方法
CN102075755A (zh) * 2005-03-18 2011-05-25 夏普株式会社 用于图像上采样的方法和系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6559860B1 (en) 1998-09-29 2003-05-06 Rockwell Software Inc. Method and apparatus for joining and manipulating graphical objects in a graphical user interface
KR20060105409A (ko) 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US8761252B2 (en) 2003-03-27 2014-06-24 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
KR20060109247A (ko) 2005-04-13 2006-10-19 엘지전자 주식회사 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치
KR100880640B1 (ko) 2005-04-01 2009-01-30 엘지전자 주식회사 스케일러블 비디오 신호 인코딩 및 디코딩 방법
US8660180B2 (en) 2005-04-01 2014-02-25 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
US8755434B2 (en) 2005-07-22 2014-06-17 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
CN1794821A (zh) 2006-01-11 2006-06-28 浙江大学 可分级视频压缩中插值的方法与装置
US8130822B2 (en) 2006-07-10 2012-03-06 Sharp Laboratories Of America, Inc. Methods and systems for conditional transform-domain residual accumulation
US7840078B2 (en) 2006-07-10 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for image processing control based on adjacent block characteristics
US8532176B2 (en) 2006-07-10 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for combining layers in a multi-layer bitstream
US8422548B2 (en) 2006-07-10 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for transform selection and management
US8059714B2 (en) 2006-07-10 2011-11-15 Sharp Laboratories Of America, Inc. Methods and systems for residual layer scaling
US7535383B2 (en) 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US7885471B2 (en) 2006-07-10 2011-02-08 Sharp Laboratories Of America, Inc. Methods and systems for maintenance and use of coded block pattern information
US8767834B2 (en) 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
PL2822276T3 (pl) * 2012-02-29 2019-04-30 Lg Electronics Inc Sposób predykcji międzywarstwowej i stosujące go urządzenie
US9762920B2 (en) * 2013-06-07 2017-09-12 Qualcomm Incorporated Dynamic range control of intermediate data in resampling process

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102075755A (zh) * 2005-03-18 2011-05-25 夏普株式会社 用于图像上采样的方法和系统
CN101176346A (zh) * 2005-04-01 2008-05-07 Lg电子株式会社 可对视频信号缩放地进行编码和解码的方法
CN101686395A (zh) * 2005-07-21 2010-03-31 Lg电子株式会社 对视频信号进行编码和解码的方法
EP2044773A1 (en) * 2006-07-10 2009-04-08 Sharp Kabushiki Kaisha Methods and systems for combining layers in a multi-layer bitstream

Also Published As

Publication number Publication date
US10349063B2 (en) 2019-07-09
KR20140138538A (ko) 2014-12-04
US20160088303A1 (en) 2016-03-24
CN105230018A (zh) 2016-01-06

Similar Documents

Publication Publication Date Title
CN105230018B (zh) 用于对支持多个层的视频进行编码的方法和设备
CN105453568B (zh) 可扩展视频信号编码/解码方法及装置
CN106797466B (zh) 一种处理视频数据的方法及装置
CN104255031B (zh) 层间预测方法和使用层间预测方法的装置
CN104378637B (zh) 视频信号解码方法
CN105247869B (zh) 解码多层视频的方法和设备
CN105659597A (zh) 用于对多层视频信号进行编码/解码的方法和装置
CN105519112A (zh) 可扩展视频信号编码/解码方法及装置
CN104255032A (zh) 层间预测方法和使用其的编码设备和解码设备
CN105850127B (zh) 用于对多层视频信号进行编码/解码的方法和装置
CN105379276A (zh) 可伸缩视频信号编码/解码方法和装置
CN105379277A (zh) 用于编码/解码可伸缩视频信号的方法和装置
CN105684446A (zh) 多层视频信号编码/解码方法和装置
CN106105213B (zh) 多层视频信号编码/解码方法和装置
CN105379275A (zh) 用于对可伸缩视频信号进行编码/解码的方法和装置
CN105659598A (zh) 用于对多层视频信号进行编码/解码的方法和装置
CN106134195B (zh) 多层视频信号编码/解码方法和装置
WO2014189345A1 (ko) 멀티 레이어 구조에 있어서 움직임 정보의 유도 방법 및 이를 이용하는 장치
KR20120008321A (ko) 서브샘플링을 이용한 적응적 스캐닝 및 확장된 템플릿 매칭 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant