CN105075258A - 针对具有不同纵横比的空间可缩放性的层间参考图片建构 - Google Patents

针对具有不同纵横比的空间可缩放性的层间参考图片建构 Download PDF

Info

Publication number
CN105075258A
CN105075258A CN201480009610.6A CN201480009610A CN105075258A CN 105075258 A CN105075258 A CN 105075258A CN 201480009610 A CN201480009610 A CN 201480009610A CN 105075258 A CN105075258 A CN 105075258A
Authority
CN
China
Prior art keywords
layer
picture
size
upper sampling
enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480009610.6A
Other languages
English (en)
Other versions
CN105075258B (zh
Inventor
阿达许·克里许纳·瑞玛苏布雷蒙尼安
陈颖
李想
王益魁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105075258A publication Critical patent/CN105075258A/zh
Application granted granted Critical
Publication of CN105075258B publication Critical patent/CN105075258B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种译码视频数据的方法，其包含将参考层图片的至少一部分上取样为具有经上取样图片大小的经上取样图片。所述经上取样图片大小具有水平经上取样图片大小及垂直经上取样图片大小。所述水平或垂直经上取样图片大小中的至少一者可分别不同于增强层图片的水平图片大小或垂直图片大小。此外，可用信号表示与所述经上取样图片相关联的位置信息。可基于所述经上取样图片及所述位置信息而产生层间参考图片。

Description

针对具有不同纵横比的空间可缩放性的层间参考图片建构
技术领域
本发明大体上涉及视频译码及压缩。明确地说，本发明涉及高效率视频译码(HEVC)及其扩展，例如可缩放视频译码(SVC)、多视图视频及3D译码(MVC，3DV)，等。在一些实施方案中，本发明涉及在SVC中译码(例如，编码或解码)具有不同图片纵横比(PAR)的图片。在其它实施例中，本发明涉及用信号表示参考层及/或增强层中与层间预测有关的区域。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式发射装置及其类似者。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-TH.263或ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频译码技术。视频装置可通过实施此类视频译码技术而发射、接收、编码、解码及/或存储数字视频信息。
视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码，视频切片(即，视频帧或视频帧的一部分)可分割成视频块，视频块还可被称作树块、译码单元(CU)及/或译码节点。图片的经帧内译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测，或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测导致用于待译码块的预测性块。残差数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残差数据而编码。经帧内译码块是根据帧内译码模式及残差数据编码的。为了进一步压缩，可将残差数据从像素域变换到变换域，从而产生残差变换系数，可对残差变换系数进行量化。经量化变换系数可最初布置为二维阵列，且经扫描以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。
发明内容
根据一些实施例，一种经配置以译码视频信息的设备包含处理器，所述处理器经配置以将参考层图片的至少一部分上取样为具有经上取样图片大小的经上取样图片，所述经上取样图片大小包括水平经上取样图片大小及垂直经上取样图片大小。所述处理器可进一步经配置以用信号表示与所述经上取样图片相关联的位置信息。举例来说，所述处理器可进一步经配置以基于与增强层图片相关联的位置信息而确定与所述经上取样图片相关联的所述位置信息。与所述增强层图片相关联的所述位置信息可包括所述增强层图片的坐标。所述处理器可进一步经配置以基于所述经上取样图片及所述位置信息而产生层间参考图片。
在一些实施例中，所述参考层图片的经上取样部分的大小等于所述参考层图片的大小。所述处理器可进一步经配置以发送或接收所述用信号表示的位置信息。
在一些实施例中，所述经上取样图片大小小于或等于所述增强层图片的大小。举例来说，所述水平或垂直经上取样图片大小中的至少一者可分的水平图片大小或垂直图片大小。所述处理器可进一步经配置以确定所述经上取样图片大小与所述增强层图片的大小之间的大小差，且基于所述大小差而增大所述经上取样图片大小。在一些实施例中，所述处理器可进一步经配置以通过将像素值填补到所述经上取样图片而增大所述经上取样图片大小，且基于所述经上取样图片中的最近边界像素的值而确定经填补像素值。
在一些实施例中，所述经上取样图片大小大于或等于所述增强层图片的大小。举例来说，所述水平或垂直经上取样图片大小中的至少一者可分别大于所述增强层图片的水平图片大小或垂直图片大小。所述处理器可进一步经配置以确定所述经上取样图片大小与所述增强层图片的大小之间的大小差，且基于所述大小差而减小所述经上取样图片大小。举例来说，所述处理器可经配置以通过从所述经上取样图片裁剪像素值而减小所述经上取样图片大小。
在一些实施例中，所述处理器进一步经配置以至少部分地基于所述用信号表示的位置信息而确定用于水平或垂直方向的上取样比率。在一些实施例中，所述设备包括视频编码器。在其它实施例中，所述设备包括视频解码器。
在另一实施例中，一种译码视频信息的方法包含：将参考层图片的至少一部分上取样为具有经上取样图片大小的经上取样图片，所述经上取样图片大小包括水平经上取样图片大小及垂直经上取样图片大小；以及用信号表示与所述经上取样图片相关联的位置信息。所述方法可进一步包含基于与增强层图片相关联的位置信息而确定与所述经上取样图片相关联的所述位置信息。举例来说，与所述增强层图片相关联的所述位置信息可包括所述增强层图片的坐标。所述方法可进一步包含基于所述经上取样图片及所述位置信息而产生层间参考图片。
在另一实施例中，一种视频译码设备包含：用于将参考层图片上取样为具有经上取样图片大小的经上取样图片的装置，所述经上取样图片大小包括水平经上取样图片大小及垂直经上取样图片大小；以及用于用信号表示与所述经上取样图片相关联的位置信息的装置。所述视频译码设备可进一步包含用于基于与增强层图片相关联的位置信息而确定与所述经上取样图片相关联的所述位置信息的装置。所述视频译码设备可进一步包含确定所述经上取样图片大小与所述增强层图片的大小之间的大小差，且基于所述大小差而增大所述经上取样图片大小。
在另一实施例中，一种非暂时性计算机可读媒体具有存储于其上的指令，所述指令在由处理器执行时致使所述处理器：将参考层图片上取样为具有经上取样图片大小的经上取样图片，所述经上取样图片大小包括水平经上取样图片大小及垂直经上取样图片大小；以及用信号表示与所述经上取样图片相关联的位置信息。所述非暂时性计算机可读媒体可进一步具有存储于其上的在执行时致使所述处理器基于与增强层图片相关联的位置信息而确定与所述经上取样图片相关联的所述位置信息的指令。所述非暂时性计算机可读媒体可进一步具有存储于其上的在执行时致使所述处理器确定所述经上取样图片大小与所述增强层图片的大小之间的大小差且基于所述大小差而增大所述经上取样图片大小的指令。
附图说明
图1是说明可利用根据本发明中描述的方面的技术的实例视频编码及解码系统的框图。
图2是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
图3是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。
图4是说明根据本发明的方面的三个不同维度上的可缩放性的框图。
图5是说明根据本发明的方面的可缩放视频译码(SVC)位流的实例结构的框图。
图6是说明根据本发明的方面的位流中的实例SVC存取单元的框图。
图7是说明参考层与增强层之间的图片纵横比可缩放性的实例的图。
图8是说明参考层与增强层之间的图片纵横比可缩放性的另一实例的图。
图9是说明根据一实施例的将参考层图片的一部分上取样到增强层的实例的图。
图10A是说明根据一实施例的将参考层图片上取样到增强层的实例的图。
图10B是说明根据另一实施例的将参考层图片上取样到增强层的实例的图。
图11A是说明根据另一实施例的将参考层图片上取样到增强层的实例的图。
图11B是说明根据另一实施例的将参考层图片上取样到增强层的实例的图。
图12说明根据一实施例的用于译码视频数据的方法。
具体实施方式
本发明中描述的技术大体上涉及可缩放视频译码(SVC)及/或多视图/3D视频译码。举例来说，所述技术可与高效率视频译码(HEVC)可缩放视频译码(SVC)扩展相关，且与HEVCSVC扩展一起使用或在HEVCSVC扩展内使用。在SVC中，可存在多个视频信息层。处于最底层或视频信息的最低层级处的层可充当基础层(BL)或参考层(RL)，且处于最高层或视频信息的最高层级处的层可充当增强型层(EL)。“增强型层”可视为与“增强层”同义，且这些术语可互换使用。BL与EL之间的层可充当EL及/或RL。举例来说，给定层可为用于在所述给定层下方(例如，先于所述给定层)的层(例如基础层或任何介入增强层)的EL。另外，给定层还可充当用于在所述给定层上方(例如，在所述给定层之后)的增强层的参考层。在基础层(例如，具有例如设定为或等于“1”的层识别码(ID)的最低层)与顶层(或最高层)之间的任何给定层可由相对于给定层较高的层用作用于层间预测的参考，且可使用在所述给定层下方的层作为用于层间预测的参考来加以确定。
仅出于说明的目的，本发明中描述的技术是关于仅包含两个层(例如，例如参考层等较低层级的层及例如增强型层等较高层级的层)的实例进行描述的。应理解，本发明中描述的实例也可扩展到具有多个参考层及增强层的实例。此外，为了易于解释，以下揭示内容主要使用术语“图片”。然而，这些术语不希望是限制性的。举例来说，下文描述的技术可结合与视频单元相关联的其它术语而使用，所述术语例如块(例如，CU、PU、TU、宏块，等)、切片、帧、块等。
为支持SHVC中的层间预测，在经上取样参考层图片用作增强层图片的参考图片列表中的参考图片时，在参考层重构图片于上取样之后的分辨率不等于增强层图片的分辨率时，出现问题。举例来说，通常，对参考层图片进行上取样会增大参考层图片的分辨率。明确地说，对参考层图片进行上取样增大经上取样参考层中的像素的数目。上取样可由上取样缩放因子S＝N/M指示，其中S指示上取样缩放因子，N指示经上取样参考层图片中的输出像素的数目，且M指示参考层图片中的输入像素的数目。上取样缩放因子可在水平方向与垂直方向上相同，或上取样缩放因子可不同。然而，在经上取样参考层图片用作增强层图片的参考图片列表中的参考图片时，因为上取样缩放因子可能未知，因此出现问题。此外，如果经上取样参考层图片不具有与增强层图片的分辨率相同的分辨率，则不可将经上取样参考层图片直接(例如，不进行进一步修改)用作层间参考图片。
对于关于协调增强层图片而用信号表示经上取样参考层区域可能出现另一问题。举例来说，如果增强层图片是从多个层预测，则用信号表示对应于一个层的一组参数可能不够。此外，有可能可仅使用参考层图片的部分(例如，一部分)用于层间预测。
为减小译码复杂度且对于SHVC中的层间预测提供稳健支持，可使用诸多技术来从具有不同纵横比的层提供层间参考图片建构。举例来说，在一些实施例中，一种译码视频数据的方法包含将参考层图片的至少一部分上取样为具有经上取样图片大小的经上取样参考层图片。所述经上取样图片大小包含水平经上取样图片大小及垂直经上取样图片大小。可用信号表示与所述经上取样图片相关联的位置信息，例如偏移。举例来说，可基于与增强层图片相关联的位置信息而确定与经上取样图片相关联的位置信息。明确地说，可由相对于增强层图片的边界的偏移来指定经上取样增强层的位置。此外，与增强层图片相关联的位置信息可包括所述增强层图片的坐标。举例来说，所述偏移可指定增强层图片中的像素的数目。此外，可基于经上取样图片及位置信息而产生层间参考图片。
视频译码标准
本文中描述的某些实施例涉及在先进视频编码解码器的情况下的针对例如HEVC(高效率视频译码)等可缩放视频译码的层间预测。更确切地说，本发明涉及用于改善在HEVC的可缩放视频译码(SVC)扩展中的层间预测的性能的系统及方法。在以下描述中，描述与某些实施例有关的H.264/AVC技术；还论述HEVC标准及相关技术。虽然本文中在HEVC及/或H.264标准的上下文中描述某些实施例，但所属领域的技术人员可了解，本文中揭示的系统及方法可适用于任何合适的视频译码标准。例如，本文中揭示的实施例可适用于以下标准中的一或多者：ITU-TH.261、ISO/IECMPEG-1Visual、ITU-TH.262或ISO/IECMPEG-2Visual、ITU-TH.263、ISO/IECMPEG-4Visual及ITU-TH.264(也被称作ISO/IECMPEG-4AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。
可缩放视频译码(SVC)可用于提供质量(还被称作信噪比(SNR))可缩放性、空间可缩放性及/或时间可缩放性。举例来说，在一个实施例中，参考层(例如，基础层)包含足以在第一质量水平下显示视频的视频信息，且增强层包含相对于所述参考层的额外视频信息，以使得所述参考层及所述增强层一起包含足以在高于所述第一水平的第二质量水平(例如，更少的噪声、更大的分辨率、更好的帧速率等)下显示视频的视频信息。增强型层可具有与参考层不同的空间分辨率。举例来说，经上取样图片与参考层图片之间的空间纵横比可为1.0、1.5、2.0或其它不同比率。换句话说，经上取样图片的空间方面可等于参考层图片的空间方面的1.0倍、1.5倍或2.0倍。在一些实例中，经上取样图片的缩放因子可大于参考层图片。举例来说，增强层中的图片的大小可大于参考层中的图片的大小。以此方式，尽管并非限制，但有可能增强层的空间分辨率大于参考层的空间分辨率。
在H.264的SVC扩展中，可使用经提供用于SVC的不同层来执行当前块的预测。此预测可称作层间预测。在SVC中可利用层间预测方法以便减少层间冗余。层间预测的一些实例可包含层间帧内预测、层间运动预测、层间模式预测，及层间残差预测。层间帧内预测使用参考层中共置块的重构来预测增强层中的当前块。层间运动预测使用参考层的运动来预测增强层中的运动。层间模式预测基于参考层中的模式而预测增强层中的模式。层间残差预测使用参考层的残差来预测增强层的残差。
下文参考附图更充分地描述新颖系统、设备及方法的各种方面。然而，本发明可以许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。而是，提供这些方面以使得本发明将为透彻且完整的，且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新颖系统、设备及方法的任何方面。举例来说，可使用本文中所阐述的任何数目个方面来实施设备或实践方法。另外，本发明的范围既定涵盖使用除本文中的本发明的各种方面之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可通过技术方案的一或多个要素来体现本文中所揭示的任何方面。
尽管本文描述了特定方面，但这些方面的许多变化和排列属于本发明的范围。尽管提及优选方面的一些益处及优点，但本发明的范围无意限于特定益处、用途或目标。而是，本发明的方面既定广泛地适用于不同无线技术、系统配置、网络和传输协议，其中的一些是作为实例而在图中以及在优选实施例的以下描述中得以说明。详细描述和图式仅说明本发明，而不是限制由所附权利要求书及其等效者界定的本发明的范围。
图1为说明可利用根据本发明中描述的方面的技术的实例视频编码及解码系统的框图。如图1中所示，系统10包含源装置12，所述源装置12提供经编码视频数据以在稍后时间由目的地装置14解码。具体来说，源装置12经由计算机可读媒体16将视频数据提供给目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、所谓的“智能”板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或其类似者。此外，在一些实施例中，系统10可实施于单个装置中。举例来说，包含电话手持机的任何此类单个装置可包括源装置12及目的地装置14两者以及计算机可读媒体16。在一些情况下，源装置12及目的地装置14可经装备以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，计算机可读媒体16可包括使得源装置12能够实时将经编码视频数据直接传输到目的地装置14的通信媒体。经编码视频数据可根据通信标准(例如，无线通信协议)来调制，且被传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线路。通信媒体可形成基于包的网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或可用于促进从源装置12到目的地装置14的通信的任何其它装备。
在一些实例中，经编码数据可从输出接口22输出到存储装置。类似地，可通过输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或任何其它用于存储经编码视频数据的合适的数字存储媒体。在另一实例中，存储装置可对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取经存储的视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据传输到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。此可包含无线通道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器，等等)，或适合于存取存储于文件服务器上的经编码视频数据的以上两者的组合。经编码视频数据从存储装置的传输可能是流式传输、下载传输或其组合。
本发明的技术不必限于无线应用或环境。所述技术可应用到支持多种多媒体应用中的任一者的视频译码，例如空中协议电视广播、有线电视传输、卫星电视传输、因特网流式视频传输(例如，动态自适应HTTP流式传输(DASH))、经编码到数据存储媒体上的数字视频，存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输，以支持例如视频流式传输、视频回放、视频广播和/或视频电话等应用。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些实施例中，例如蜂窝式电话等无线通信装置可包含源装置12，所述源装置包含视频源18、视频编码器20及输出接口22。目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些实施例中，例如蜂窝式电话等无线通信装置可包含目的地装置14，所述目的地装置包含输入接口28、视频解码器30及显示装置32。举例来说，在一些情况下，单个无线通信装置可包含源装置12及目的地装置14两者。根据本发明，源装置12的视频编码器20可经配置以应用用于对包含符合多个标准或标准扩展的视频数据的位流进行译码的技术。在其它实例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如外部相机)接收视频数据。同样，目的地装置14可与外部显示装置介接，而非包含集成显示装置。
图1的所说明的系统10只是一个实例。用于确定当前块的运动向量预测符的候选列表的候选者的技术可由任何数字视频编码和/或解码装置执行。尽管本发明的技术一般通过视频编码装置来执行，但是所述技术还可通过视频编码器/解码器(通常被称作“编码解码器”)来执行。此外，本发明的技术还可通过视频预处理器来执行。源装置12及目的地装置14仅为源装置12在其中产生经译码视频数据以供传输到目的地装置14的此些译码装置的实例。在一些实例中，装置12、14可以实质上对称的方式操作，使得装置12、14中的每一者包含视频编码及解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频传播以例如用于视频流式传输、视频回放、视频广播或视频电话。
源装置12的视频源18可包含视频俘获装置，例如视频摄像机、含有先前所俘获视频的视频存档及/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、所存档视频与计算机产生的视频的组合。在一些情况下，如果视频源18是摄像机，则源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术一般来说可适用于视频译码，且可应用到无线及/或有线应用。在每一种情况下，可由视频编码器20编码所俘获、经预先俘获或计算机产生的视频。经编码视频信息可接着通过输出接口22输出到计算机可读媒体16上。
计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络传输，或存储媒体(即，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。举例来说，在其中源装置12与目的地装置14实施为单个装置(例如无线手持机)的一些实施例中，计算机可读媒体16可包含任何存储媒体。在一些实例中，网络服务器(未展示)可例如经由网络传输、直接有线通信等从源装置12接收经编码视频数据且将经编码视频数据提供给目的地装置14。类似地，媒体生产设施(例如光盘冲压设施)的计算装置可从源装置12接收经编码视频数据且生产容纳经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可理解为包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20界定的语法信息，所述语法信息还供视频解码器30使用，所述语法信息包含描述块及其它经译码单元(例如，GOP)的特性及/或处理的语法元素。显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30可根据视频译码标准(例如目前正在开发的高效率视频译码(HEVC)标准)来操作，且可符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可根据其它专有或业界标准来操作，所述标准例如是ITU-TH.264标准，也被称为MPEG-4，第10部分，高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准，包含但不限于上文所列的标准中的任一者。视频译码标准的其它实例包含MPEG-2及ITU-TH.263。在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件及软件，以处置对共同数据流或单独数据流中的音频及视频两者的编码。如果适用的话，MUX-DEMUX单元可符合ITUH.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述技术时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(CODEC)的部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置，例如蜂窝式电话。
JCT-VC正在致力于开发HEVC标准。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的演进模型。HM假设视频译码装置根据(例如)ITU-TH.264/AVC相对于现有装置的若干额外能力。举例来说，虽然H.264提供了九种帧内预测编码模式，但是HM可提供多达三十三种帧内预测编码模式。
一般来说，HM的工作模型描述视频帧或图片可分成包含亮度及色度样本两者的一连串树块或最大译码单元(LCU)。位流内的语法数据可界定最大译码单元(LCU，其在像素数目方面为最大译码单元)的大小。切片包含呈译码次序的多个连续树块。视频帧或图片可被分割成一或多个切片。每一树块可根据四叉树分裂成译码单元(CU)。一般来说，四叉树数据结构包含每个CU一个节点，其中一个根节点对应于所述树块。如果CU分裂成四个子CU，则对应于CU的节点包含四个叶节点，其中叶节点中的每一者对应于所述子CU中的一者。
四叉树数据结构的每一节点可提供相对应的CU的语法数据。举例来说，四叉树中的一节点可包含一分裂旗标，其指示对应于所述节点的所述CU是否分裂成子CU。CU的语法元素可递归地界定，且可取决于CU是否分裂成子CU。如果CU不进一步分裂，则将所述CU称为叶CU。在本发明中，叶CU的子CU也将被称作叶CU，即使不存在原始叶CU的显式分裂时也是如此。举例来说，如果16×16大小的CU不进一步分裂，则这四个8×8子CU将也被称作叶CU，虽然16×16CU从未分裂。
CU具有类似于H.264标准的宏块的目的，但是CU并不具有大小区别。举例来说，树块可分裂成四个子节点(还被称作子CU)，且每一子节点又可为父节点且可分裂成另外四个子节点。最终的未分裂子节点(被称作四叉树的叶节点)包括译码节点，还称为叶CU。与经译码位流相关联的语法数据可界定树块可分裂的最大次数，被称作最大CU深度，且还可界定译码节点的最小大小。因此，位流还可界定最小译码单元(SCU)。本发明使用术语“块”来指代在HEVC的情况下的CU、PU或TU或在其它标准的情况下的类似数据结构(例如，H.264/AVC中的宏块及其子块)中的任一者。
CU包含译码节点以及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小且形状必须是正方形。CU的大小可在从8×8像素直到具有最大64×64像素或更大的树块的大小的范围内。每一CU可含有一或多个PU及一或多个TU。举例来说，与CU相关联的语法数据可描述将CU分割成一或多个PU。分割模式可在CU被跳过或经直接模式编码、帧内预测模式编码或帧间预测模式编码之间有区别。PU可分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树被分割为一或多个TU。TU可为正方形或非正方形(例如，矩形)形状。
HEVC标准允许根据TU的变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU界定的给定CU内的PU的大小而设置，但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU的残差样本可使用被称为“残差四叉树”(RQT)的四叉树结构而细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可变换与TU相关联的像素差值以产生变换系数，可将所述变换系数量化。
叶CU可包含一或多个预测单元(PU)。一般来说，PU表示对应于相对应的CU的全部或一部分的空间区域，且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的数据。举例来说，当PU经帧内模式编码时，用于PU的数据可包含在残差四叉树(RQT)中，残差四叉树可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含界定PU的一或多个运动向量的数据。界定PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考帧，和/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。
具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。变换单元可使用RQT(还称为TU四叉树结构)来指定，如上文所论述。举例来说，分裂旗标可指示叶CU是否分裂成四个变换单元。接着，每一变换单元可进一步分裂成其它的子TU。当TU未经进一步分裂时，所述TU可被称作叶TU。总体上，对于帧内译码，所有属于一个叶CU的叶TU共用相同的帧内预测模式。即，一般应用相同帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可使用帧内预测模式针对每一叶TU计算残差值，作为CU的对应于TU的部分与原始块之间的差。TU不必限于PU的大小。因此，TU可大于或小于PU。对于帧内译码，PU可与相同CU的相对应的叶TU并置。在一些实例中，叶TU的最大大小可对应于对应叶CU的大小。
此外，叶CU的TU还可与相应四叉树数据结构(被称作残差四叉树(RQT))相关联。即，叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点一般对应于叶CU，而CU四叉树的根节点一般对应于树块(或LCU)。未经分裂的RQT的TU被称作叶TU。一般来说，除非以其它方式提及，否则本发明分别使用术语CU及TU来指叶CU及叶TU。
视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列一或多个视频图片。GOP可包含GOP的标头、图片中的一或多者的标头或其它处的语法数据，其描述GOP中所包含的图片的数目。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块操作以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且根据指定译码标准可有不同大小。
作为实例，HM支持各种PU大小的预测。假设特定CU的大小是2N×2N，则HM支持2N×2N或N×N的PU大小的帧内预测，及2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM还支持用于2N×nU、2N×nD、nL×2N及nR×2N的PU大小的帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，而将另一方向分割成25％及75％。CU的对应于25％分区的部分由“n”继之以“上(U)”、“下(D)”、“左(L)”或“右(R)”的指示来指示。因此，例如，“2N×nU”是指经水平分割的2N×2NCU，其中顶部为2N×0.5NPU，而底部为2N×1.5NPU。
在本发明中，“N×N”与“N乘N”可可互换地使用，以在垂直和水平尺寸方面指代视频块的像素尺寸，例如16×16像素或16乘16像素。一般来说，16×16块将在垂直方向上具有16个像素(y＝16)，且在水平方向上具有16个像素(x＝16)。同样地，N×N块一般在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可按行及列布置。此外，块可能不一定在水平方向与垂直方向上具有相同数目的像素。举例来说，块可包括N×M像素，其中M未必等于N。
在使用CU的PU进行帧内预测或帧间预测译码之后，视频编码器20可计算CU的TU的残差数据。PU可包括描述产生空间域(还被称作像素域)中的预测性像素数据的方法或模式的语法数据且TU可包括在对残差视频数据应用变换(例如，离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)之后的变换域中的系数。残差数据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含用于CU的残差数据的TU，且接着变换TU以产生用于CU的变换系数。
在进行用于产生变换系数的任何变换之后，视频编码器20可执行变换系数的量化。量化为既定具有其最广泛一般含义的广义术语。在一个实施例中，量化是指变换系数经量化以可能减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些系数或全部相关联的位深度。举例来说，可在量化期间将n位值向下舍入到m位值，其中n大于m。
在量化之后，视频编码器可扫描变换系数，从包含经量化变换系数的二维矩阵产生一维向量。扫描可经设计以将较高能量(且因此较低频率)的系数放置在阵列前面，且将较低能量(且因此较高频率)的系数放置在阵列的后面。在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化的变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对所述一维向量进行熵编码。视频编码器还20可对与经编码视频数据相关联的语法元素进行熵编码以供视频解码器30在对视频数据解码时使用。
为了执行CABAC，视频编码器20可向待传输的符号指派上下文模型内的上下文。上下文可涉及(例如)符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可针对待传输的符号选择可变长度码。可建构VLC中的码字以使得相对较短代码对应于更有可能的符号，而较长代码对应于不太可能的符号。(例如)与对待传输的每一符号使用等长度码字的情形相比较，以此方式，使用VLC可实现位节省。概率确定可基于指派给符号的上下文。
视频编码器20可进一步例如在帧标头、块标头、切片标头或GOP标头中将例如基于块的语法数据、基于帧的语法数据及基于GOP的语法数据等语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的帧的数目，且帧语法数据可指示用以编码对应帧的编码/预测模式。
图2是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。视频编码器20可经配置以执行本发明的技术中的任一者或全部。作为一个实例，模式选择单元40可经配置以执行本发明中描述的技术中的任一者或全部。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术(包含下文关于图9到12所描述的方法)可在视频编码器20的各种组件之间共享。在一些实例中，作为补充或替代，处理器(未展示)可经配置以执行本发明中描述的技术中的任一者或全部。
视频编码器20可执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或去除视频序列的邻接帧或图片内的视频中的时间冗余。帧内模式(I模式)可指若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指若干基于时间的译码模式中的任一者。
如图2中所示，视频编码器20接收待编码视频帧内的当前视频块。在图1的实例中，视频编码器20包含模式选择单元40、参考帧存储器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46及分割单元48。为了视频块重构，视频编码器20还包含反量化单元58、反变换单元60，及求和器62。还可包含解块滤波器(图2中未展示)以便对块边界进行滤波，以从经重构视频移除成块性假影。必要时，解块滤波器通常将对求和器62的输出进行滤波。除解块滤波器之外，还可使用额外滤波器(环路内或环路后)。为简洁起见未展示此类滤波器，但是必要时，这些滤波器可对求和器50的输出进行滤波(作为环路内滤波器)。
在编码过程期间，视频编码器20接收待译码的视频帧或切片。所述帧或切片可被划分成多个视频块。运动估计单元42及运动补偿单元44相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测译码以提供时间预测。帧内预测单元46可替代地相对于与待译码块相同的帧或切片中的一或多个相邻块执行对所接收的视频块的帧内预测译码以提供空间预测。视频编码器20可执行多个译码遍次，例如，以便为每一视频数据块选择一种适当的译码模式。
此外，分割单元48可基于前述译码遍次中的前述分割方案的评估将视频数据块分割成子块。举例来说，分割单元48最初可将帧或切片分割成LCU，且基于速率-失真分析(例如，速率-失真优化)将LCU中的每一者分割成子CU。模式选择单元40可进一步产生指示LCU划分成子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU和一或多个TU。
模式选择单元40可基于错误结果选择译码模式中的一者(帧内或帧间)，且将所得的经帧内译码或经帧间译码块提供到求和器50以便产生残差块数据，且提供到求和器62以便重构经编码块用作参考帧。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分割信息及其它此类语法信息)提供到熵编码单元56。
运动估计单元42与运动补偿单元44可高度集成，但出于概念目的分开加以说明。由运动估计单元42执行的运动估计是产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测性块相对于当前帧(或其它经译码单元)内正经译码的当前块的移位。预测性块是被发现在像素差方面与待译码块紧密匹配的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定。在一些实例中，视频编码器20可计算存储于参考帧存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置和分数像素位置执行运动搜索且输出具有分数像素精度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测性块的位置来计算经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述参考图片列表中的每一者识别存储在参考帧存储器64中的一或多个参考图片。运动估计单元42将计算出来的运动向量发送到熵编码单元56及运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量提取或产生预测性块。同样，在一些实例中，运动估计单元42与运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44便可在参考图片列表中的一者中定位所述运动向量指向的预测性块。求和器50通过从经译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残差视频块，如下文所论述。一般来说，运动估计单元42相对于亮度分量执行运动估计，且运动补偿单元44对于色度分量及亮度分量两者使用基于亮度分量计算的运动向量。模式选择单元40还可产生与视频块和视频切片相关联的供视频解码器30在对视频切片的视频块进行解码时使用的语法元素。
作为如上文所描述由运动估计单元42和运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可对当前块进行帧内预测或计算。明确地说，帧内预测单元46可确定用来编码当前块的帧内预测模式。在一些实例中，帧内预测单元46可(例如)在单独编码回合期间使用各种帧内预测模式对当前块进行编码，且帧内预测单元46(在一些实例中，或为模式选择单元40)可从所测试的模式中选择将使用的适当的帧内预测模式。
举例来说，帧内预测单元46可使用速率-失真分析计算针对各种经测试帧内预测模式的速率-失真值，且从所述经测试模式当中选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析一般确定经编码块与经编码以产生所述经编码块的原始的未经编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(即，位数目)。帧内预测单元46可根据用于各种经编码块的失真及速率计算比率，以确定哪种帧内预测模式对于所述块展现最佳速率-失真值。
在选择了用于块的帧内预测模式之后，帧内预测单元46可将指示用于所述块的选定帧内预测模式的信息提供给熵编码单元56。熵编码单元56可对指示所选帧内预测模式的信息进行编码。视频编码器20可在所传输的位流中包含配置数据，所述配置数据可包含多个帧内预测模式索引表及多个修改的帧内预测模式索引表(还被称作码字映射表)、编码用于各种块的上下文的界定，及用于所述上下文中的每一者的最可能的帧内预测模式、帧内预测模式索引表及修改的帧内预测模式索引表的指示。
视频编码器20通过从经译码的原始视频块减去来自模式选择单元40的预测数据形成残差视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用到残差块，从而产生包括残差变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。还可使用小波变换、整数变换、子频带变换或其它类型的变换。在任何情况下，变换处理单元52向残差块应用所述变换，从而产生残差变换系数的块。所述变换可将残差信息从像素值域转换到变换域，例如频域。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54将变换系数量化以进一步减小位速率。量化过程可减少与系数中的一些系数或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行对包含经量化的变换系数的矩阵的扫描。替代地，熵编码单元56可执行所述扫描。
在量化之后，熵编码单元56对经量化的变换系数进行熵译码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间划分熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的情况下，上下文可基于相邻块。在熵编码单元56的熵译码之后，可将经编码位流传输到另一装置(例如，视频解码器30)，或者将所述视频存档用于以后传输或检索。
反量化单元58及反变换单元60分别应用反量化及反变换以在像素域中重构残差块，例如以供稍后用作参考块。运动补偿单元44可通过将残差块添加到参考帧存储器64的帧中的一者的预测性块中来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用到经重新构造的残差块以计算子整数像素值以用于运动估计。求和器62将经重构的残差块添加到由运动补偿单元44产生的经运动补偿的预测块以产生经重构参考块以供存储在参考帧存储器64中。经重构视频块可由运动估计单元42及运动补偿单元44用作参考块以对后续视频帧中的块进行帧间译码。
图3是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。视频解码器30可经配置以执行本发明的技术(包含下文关于图9到12所描述的方法)中的任一者或全部。作为一个实例，运动补偿单元72及/或帧内预测单元74可经配置以执行本发明中描述的技术中的任一者或全部。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频解码器30的各种组件之间共享。在一些实例中，作为补充或替代，处理器(未展示)可经配置以执行本发明中描述的技术中的任一者或全部。
在图3的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、反量化单元76、反变换单元78、参考帧存储器82及求和器80。视频解码器30在一些实例中可执行一般与关于来自图2的视频编码器20所描述的编码回合互逆的解码回合。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。
在解码过程期间，视频解码器30从视频编码器20接收表示经解码视频切片和相关联的语法元素的视频块的经编码视频位流。视频解码器30的熵解码单元70熵解码位流以产生经量化的系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转发到运动补偿单元72。视频解码器30可接收在视频切片层级和/或视频块层级处的语法元素。
当视频切片经译码为经帧内译码(I)切片时，帧内预测单元74可基于用信号发送的帧内预测模式和来自当前图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。在视频帧被译码为经帧间译码(例如，B、P或GPB)切片时，运动补偿单元72基于运动向量及从熵解码单元70接收的其它语法元素而产生用于当前视频切片的视频块的预测性块。可从参考图片列表中的一者内的参考图片中的一者产生预测性块。视频解码器30可基于存储于参考帧存储器92中的参考图片使用默认建构技术来建构参考帧列表：列表0及列表1。运动补偿单元72通过解析运动向量及其它语法元素来确定用于当前视频切片的视频块的预测信息，且使用所述预测信息产生用于正被解码的当前视频块的预测性块。举例来说，运动补偿单元72使用所接收的语法元素中的一些语法元素来确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、用于切片的参考图片列表中的一或多者的建构信息、用于切片的每一经帧间编码视频块的运动向量、用于切片的每一经帧间译码视频块的帧间预测状态，及用以对当前视频切片中的视频块进行解码的其它信息。
运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用由视频编码器20在编码视频块期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此状况下，运动补偿单元72可根据所接收的语法信息元素而确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测性块。
反量化单元76将在位流中提供且由熵解码单元80解码的经量化变换系数反量化，例如解量化。反量化过程可包含使用视频解码器30针对视频切片中的每一视频块计算以确定应该应用的量化程度和同样反量化程度的量化参数QPY。
反变换单元78对变换系数应用反变换，例如反DCT、反整数变换或概念上类似的反变换过程，以便产生像素域中的残差块。
在运动补偿单元82基于运动向量和其它语法元素产生当前视频块的预测性块之后，视频解码器30通过对来自反变换模块78的残差块与由运动补偿单元72产生的对应预测性块求和而形成经解码视频块。求和器90表示可执行此求和运算的组件。必要时，还可应用解块滤波器以对经解码块进行滤波以便移除成块性假影。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变变平滑或者以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储在参考图片存储器92中，参考图片存储器92存储参考图片用于后续运动补偿。参考帧存储器82还存储经解码视频用于以后在显示装置(例如图1的显示装置32)上呈现。
HEVC中的运动补偿
如上文所提及，HEVC为下一代视频译码标准。通常，HEVC遵循先前视频译码标准的架构。HEVC的运动补偿环路可保持与H.264/AVC中的运动补偿环路相同，例如，当前讯框的重构等于经解量化系数r加上时间预测P：
I ^ = r + P - - - ( 1 )
其中P指示P帧或切片的单向预测或B帧或切片的双向预测。
HEVC中的运动补偿单元可不同于先前视频译码标准中的运动补偿单元。实际上，在HEVC中不存在先前视频译码标准中的宏块的概念。而是，宏块概念被基于通用四叉树方案的高度灵活的阶层式结构取代。在此方案内，定义三个类型的块，例如译码单元(CU)、预测单元(PU)及变换单元(TU)。CU是区域分裂的基本单元。CU类似于宏块的概念，但CU不限制最大大小且CU允许递归地分裂为四个相等大小的CU以改善内容适应性。PU是帧间/帧内预测的基本单元，且PU可在单个PU中含有多个任意形状的分区以有效地译码不规则的图像模式。TU是变换的基本单元。TU可独立于PU而界定；然而，TU的大小受限于TU所属的CU。此将块结构分离为三个不同概念允许每一者根据其作用被优化，这导致改善的译码效率。
可缩放视频译码
在图4中展示了在不同维度上的可缩放性400的实例。在所述实例中，在三个维度402、404、406上启用可缩放性。在时间维度402上，可通过时间可缩放性(T)支持例如具有7.5Hz、15Hz或30Hz的帧率。当支持空间可缩放性(S)404时，启用不同分辨率，例如QCIF、CIF及4CIF。对于每一特定空间分辨率及帧率，可添加SNR(Q)层406以改善图片质量。来自每一层402、404、406的位流可一起多工成单个位流。一旦已以此可缩放方式编码视频内容，便可使用提取器工具来根据应用要求调适实际递送的内容，所述应用要求可取决于(例如)客户端或传输信道。在图4中展示的实例中，每一立方体408含有具有相同帧率(时间层级)、空间分辨率及SNR层的图片。可通过在任何维度402、404、406上添加那些立方体408(图片)来实现更好的表示。当启用两个、三个或甚至更多可缩放性时，支持组合的可缩放性。
根据SVC规范，具有最低空间层410及最低质量层412的图片与H.264/AVC兼容。在最低时间层级414处的图片形成时间基础层，所述时间基础层可通过在较高时间层级处的图片来增强。除H.264/AVC兼容层之外，可添加若干空间及/或SNR增强层以提供空间及/或质量可缩放性。SNR可缩放性406还被称作质量可缩放性。每一空间增强层404或SNR增强层406自身可为时间上可缩放的，具有与H.264/AVC兼容层相同的时间可缩放性结构。对于一个空间或SNR增强层，空间或SNR增强层所取决于的较低层还被称作所述特定空间或SNR增强层的参考层(例如，基础层)。
在图5中展示SVC译码结构500的实例。具有最低空间及质量层的图片(层0502及层1504的具有QCIF分辨率的图片)与H.264/AVC兼容。其中，最低时间层级的那些图片形成时间基础层，如图5的层0502中所展示。此时间基础层(层0)502可使用较高时间层级(层1)504的图片来增强。除H.264/AVC兼容层504之外，可添加若干空间及/或SNR增强层506、508、510以提供空间及/或质量可缩放性。举例来说，增强层可为具有与层2506相同的分辨率的CIF表示。在所述实例中，层3508是SNR增强层。如所述实例中所展示，每一空间或SNR增强层自身可为在时间上可缩放的，具有与H.264/AVC兼容层相同的时间可缩放性结构。而且，增强层可增强空间空间分辨率及帧率两者。举例来说，层4510提供4CIF增强层，其进一步将帧率从15Hz增大到30Hz。
如图6中所展示，相同时间实例中的经译码切片在位流次序上是连续的，且在SVC的上下文中形成一个存取单元600。那些SVC存取单元600接着遵循解码次序，所述解码次序可不同于显示次序且(例如)是由时间预测关系来决定。
图7说明参考层与增强层之间的图片纵横比可缩放性的实例的概念图。在一些实施例中，图片纵横比(PAR)为所俘获图片的宽度:高度比率，其中宽度及高度是以相同长度(空间测量)单位测得。图片纵横比可表达为X:Y，其中X为水平宽度，且Y为垂直高度(以任意空间距离单位)。在一些实施例中，图片样本纵横比(PSAR)为图片中的明度样本阵列的列之间的水平距离与行之间的垂直距离之间的比率。图片样本纵横比可表达为h:v，其中h为水平宽度，且v为垂直高度(以任意空间距离单位)。图7说明其中PSAR在参考层与增强层之间相同，且参考层为增强层的经裁减版本的实例。明确地说，如图所示，参考层710可包括水平宽度712及垂直高度714。举例来说，水平宽度712可为853个像素，且垂直高度714可为480个像素。增强层720可包括水平宽度722及垂直高度724。举例来说，水平宽度722可为1280个像素，且垂直高度724可为720个像素。在此图中，增强层720的空间分辨率为1280×720，且参考层710的空间分辨率为853×480(WVGA)。参考层710及增强层720两者皆具有为1的PSAR。在此实例中，参考层710及增强层720两者皆具有为16:9的PAR。
图8说明参考层与增强层之间的图片纵横比可缩放性的另一实例的概念图。图8说明其中PSAR在参考层与增强层之间相同，且参考层为增强层的经缩放且经裁减版本的实例。明确地说，如图所示，参考层810可包括水平宽度812及垂直高度814。举例来说，水平宽度812可为640个像素，且垂直高度814可为480个像素。增强层820可包括水平宽度822及垂直高度824。举例来说，水平宽度822可为1280个像素，且垂直高度824可为720个像素。参考层810可经缩放，且有可能经缩放区域的部分用于预测增强层820。在图8中，增强层的空间分辨率为1280×720(PAR16:9)，且参考层的空间分辨率为640×480(PAR4:3)，且两个层皆具有为1的PSAR。因此，增强层820与参考层810具有不同的图片纵横比。
在SVC中，可在序列参数集中界定可用于层间预测的经上取样参考层图片的区域。此区域可称为经上取样区域。经上取样区域可能在垂直或水平尺寸上小于或大于当前图片(例如，增强层图片)。表1说明序列参数集svc扩展的实例。
表1
此外，类似信息可存在于切片标头中。如果明确地用信号表示，则此信息将覆写在序列参数集中用信号表示的信息。表2说明可缩放扩展中的切片标头。
表2
为支持SHVC中的层间预测，在经上取样参考层图片用作增强层图片的参考图片列表中的参考图片时，可能引起困难。举例来说，在上取样之后的参考层重构图片可能不具有与增强层图片的分辨率相同的分辨率。因此，经上取样参考层图片不可直接用作层间参考图片。
此外，在关于协调增强层图片而用信号表示参考层经上取样区域时，可能引起额外困难。举例来说，增强层图片可能是从多个层预测，因此用信号表示对应于一个层的一组参数可能不够。此外，可能有可能仅参考层图片的部分可用于层间预测。
为减小译码复杂度且对于SHVC中的层间预测提供稳健支持，可使用诸多技术来对于具有不同纵横比的层提供层间参考图片建构。举例来说，在一些实施例中，一种译码视频数据的方法包含：将参考层图片的至少一部分上取样为具有经上取样图片大小的经上取样图片，所述经上取样图片大小包括水平经上取样图片大小及垂直经上取样图片大小；以及用信号表示与所述经上取样图片相关联的位置信息。所述方法可进一步包含基于与增强层图片相关联的位置信息而确定与所述经上取样图片相关联的所述位置信息。举例来说，与所述增强层图片相关联的位置信息可包含增强层图片的坐标，例如相对于增强层图片的边界的偏移。如果未用信号表示位置信息，则可采用默认值，例如零。在一些实施例中，所述参考层图片的经上取样部分的大小等于所述参考层图片的大小。此外，在一些实施例中，所述水平或垂直经上取样图片大小中的至少一者可分别匹配(例如，等于)增强层图片的水平图片大小或垂直图片大小。可基于所述经上取样图片及所述位置信息而产生层间参考图片。
举例来说，在一些实施例中，仅参考层图片的选择性部分用以基于用于当前层(用于那一特定参考层)的用信号表示的相关窗而产生层间参考图片。相关区域内的参考层图片的选择性部分可经上取样为大小等于经上取样区域的图片，在上取样之后，经上取样区域的大小始终小于或等于增强层图片的图片大小。可使用增强层图片的坐标来进一步用信号表示且界定经上取样区域。
在其它实施例中，对整个参考层图片进行上取样。经上取样区域可在垂直或水平尺寸上大于增强层图片。由此，经上取样区域可能需要裁减(例如，减小区域大小)。在经上取样区域在垂直或水平尺度上小于增强层图片时，可能需要填补经上取样区域。可使用增强层图片的坐标来进一步用信号表示且可界定经上取样区域。
在这些实施例中的每一者中，参考层以及经上取样区域的用信号表示的相关窗或整个图片大小可用以导出用于水平或垂直方向的上取样比率。此外，基于经上取样区域的信息，可在参考层图片的经对准上取样区域周围填补(例如，添加)像素值以将经上取样图片放大到与当前图片(例如，增强层图片)相同的大小。举例来说，可以如下方式进行填补：使像素的值等于128(或2<<N，其中N+1为位深度)。此外，可执行填补，使得左边填补区域从经对准上取样区域的边界像素中的像素值水平地填补，右方填补区域从经对准上取样区域的边界像素中的像素值水平地填补；顶部填补区域从经对准上取样区域的边界像素中的像素值垂直地填补；底部填补区域从经对准上取样区域的边界像素中的像素值垂直地填补；左上、右上、左下及右下填补区域(如果可用)在填补其它区域之后水平地填补。
图9是说明根据一实施例的将参考层图片的一部分上取样到增强层的实例的图。明确地说，如图所示，参考层910可包括子部分912。可基于参考层左偏移914a、参考层右偏移914b、参考层底部偏移914c及参考层顶部偏移914d来指定子部分912。举例来说，参考层左偏移914a可指定参考层910的左边界与子部分912的左边界之间的距离(例如，偏移)。参考层右偏移914b可指定参考层910的右边界与子部分912的右边界之间的距离。参考层底部偏移914c可指定参考层910的底部边界与子部分912的底部边界之间的距离。参考层顶部偏移914d可指定参考层910的顶部边界与子部分912的顶部边界之间的距离。
参考层910的子部分912可经上取样为是增强层920的子部分的经上取样图片922。在此实例中，经上取样图片922的大小包含水平经上取样图片大小及垂直经上取样图片大小，但水平或垂直经上取样图片大小分别小于增强层920的水平图片大小及垂直图片大小。
可基于增强层左偏移924a、增强层右偏移924b、增强层底部偏移924c及增强层顶部偏移924d而指定经上取样图片922。举例来说，增强层左偏移924a可指定增强层920的左边界与子部分922的左边界之间的距离(例如，偏移)。增强层右偏移924b可指定增强层920的右边界与子部分922的右边界之间的距离。增强层底部偏移924c可指定增强层920的底部边界与子部分922的底部边界之间的距离。增强层顶部偏移924d可指定增强层920的顶部边界与子部分922的顶部边界之间的距离。
图10A及10B是说明将参考层图片上取样到增强层的实例的图，其中水平或垂直经上取样图片大小中的至少一者分别小于增强层图片的水平图片大小或垂直图片大小。明确地说，在图10A中所示的实例中，水平经上取样图片大小小于增强层图片的水平图片大小。举例来说，参考层1010可经上取样为是增强层1020的子部分的经上取样图片1022。经上取样图片1022的大小包含水平经上取样图片大小及垂直经上取样图片大小。经上取样图片1022的垂直经上取样图片大小匹配(例如，等于)增强层1020的垂直图片大小，但经上取样图片1022的水平图片大小小于增强层1020的水平图片大小。为指定经上取样图片1022的位置，可用信号表示相对于增强层1020的与经上取样图片1022相关联的位置信息。举例来说，可基于增强层左偏移1024a及增强层右偏移1024b指定经上取样图片1022。举例来说，增强层左偏移1024a可指定增强层1020的左边界与经上取样图片1022的左边界之间的距离(例如，偏移)。增强层右偏移1024b可指定增强层1020的右边界与经上取样图片1022的右边界之间的距离。可基于增强层图片1020的坐标而指定增强层左偏移1024a及增强层右偏移1024b。
在图10B中所示的实例中，水平经上取样图片大小及垂直经上取样图片大小两者皆分别小于增强层的水平图片大小及垂直图片大小。举例来说，参考层1010可经上取样为是增强层1020的子部分的经上取样图片1022。经上取样图片1022的垂直经上取样图片大小小于增强层1020的垂直图片大小，且经上取样图片1022的水平图片大小小于增强层1020的水平图片大小。为指定经上取样图片1022的位置，可用信号表示位置信息。举例来说，可基于增强层左偏移1024a、增强层右偏移1024b、增强层底部偏移1024c及增强层顶部偏移1024d而指定经上取样图片1022。举例来说，增强层左偏移1024a可指定增强层1020的左边界与经上取样图片1022的左边界之间的距离。增强层右偏移1024b可指定增强层1020的右边界与经上取样图片1022的右边界之间的距离。增强层底部偏移1024c可指定增强层1020的底部边界与经上取样图片1022的底部边界之间的距离。增强层顶部偏移1024d可指定增强层1020的顶部边界与经上取样图片1022的顶部边界之间的距离。可基于增强层图片1020的坐标而指定增强层左偏移1024a、增强层右偏移1024b、增强层底部偏移1024c及增强层顶部偏移1024d。
图11A及11B是说明将参考层图片上取样到增强层的实例的图，其中水平或垂直经上取样图片大小中的至少一者分别大于增强层图片的水平图片大小或垂直图片大小。明确地说，在图11A中所示的实例中，垂直经上取样图片大小大于增强层图片的垂直图片大小。举例来说，参考层1110可经上取样为大于增强层1120的经上取样图片1122。在此实例中，经上取样图片1122的大小包含水平经上取样图片大小及垂直经上取样图片大小。经上取样图片1122的垂直经上取样图片大小大于增强层1120的垂直图片大小，但经上取样图片1122的水平图片大小匹配增强层1120的水平图片大小。为指定经上取样图片1122的位置，可用信号表示位置信息。举例来说，可基于增强层底部偏移1124c及增强层顶部偏移1124d指定经上取样图片1122。举例来说，增强层底部偏移1124c可指定增强层1120的底部边界与经上取样图片1122的底部边界之间的距离(例如，偏移)。增强层顶部偏移1124d可指定增强层1120的顶部边界与经上取样图片1122的顶部边界之间的距离。可基于增强层图片1120的坐标而指定增强层底部偏移1124c及增强层顶部偏移1124d。
在图11B中所示的实例中，水平经上取样图片大小及垂直经上取样图片大小两者皆分别大于增强层的水平图片大小及垂直图片大小。举例来说，参考层1110可经上取样为大于增强层1120的经上取样图片1122。经上取样图片1122的垂直经上取样图片大小大于增强层1120的垂直图片大小，且经上取样图片1122的水平图片大小大于增强层1120的水平图片大小。为指定经上取样图片1122的位置，可用信号表示位置信息。举例来说，可基于增强层左偏移1124a、增强层右偏移1124b、增强层底部偏移1124c及增强层顶部偏移1124d而指定经上取样图片1122。举例来说，增强层左偏移1124a可指定增强层1120的左边界与经上取样图片1122的左边界之间的距离。增强层右偏移1124b可指定增强层1120的右边界与经上取样图片1122的右边界之间的距离。增强层底部偏移1124c可指定增强层1120的底部边界与经上取样图片1122的底部边界之间的距离。增强层顶部偏移1124d可指定增强层1120的顶部边界与经上取样图片1122的顶部边界之间的距离。可基于增强层图片1120的坐标而指定增强层左偏移1124a、增强层右偏移1124b、增强层底部偏移1124c及增强层顶部偏移1124d。
出于说明的目的，使用仅存在两个层的实例描述本发明中描述的技术。一个层可包含较低层级层或参考层，且另一层可包含较高层级层或增强层。举例来说，参考层可包含基础层或增强层上的时间参考，且增强层可包含关于参考层的增强型层。应理解，本发明中描述的实例还扩展到多个增强层。
在一些实施例中，用信号表示关于参考层的图片大小的基础视图中的相关窗，且所述相关窗的边界对准或定位于参考层图片内。此外，也可用信号表示经上取样区域。经上取样区域的边界可在增强层图片内。在待将层间参考图片添加到增强层图片的参考图片列表中时，经上取样区域扩展(例如，通过填补)到与增强层图片的大小相同的大小。
语法元素可用信号表示于视频参数集中。或者，可通过第一旗标在位流中(例如，在VPS(视频参数集)、SPS(序列参数集)、PPS(图片参数集)、切片标头或SEI(辅助增强信息)消息中)传输语法元素。
语法元素scaled_ref_layer_left_offset[i][j]、scaled_ref_layer_top_offset[i][j]、scaled_ref_layer_right_offset[i][j]、scaled_ref_layer_bottom_offset[i][j]可统称为经缩放(经上取样)区域与增强层图片之间的偏移。其表示的值可称为层i的第j参考层的经缩放参考层偏移。
语法元素rel_scaled_ref_layer_left_offset[i][j]、rel_scaled_ref_layer_top_offset[i][j]、rel_scaled_ref_layer_right_offset[i][j]及rel_scaled_ref_layer_bottom_offset[i][j]可统称为参考层的相关区域的偏移语法元素，且其指示的值可称为层i的第j参考层的相关区域偏移。表3说明视频参数集扩展语法的实例。
表3
此外，scaled_ref_layer_left_offset[i][j]、scaled_ref_layer_top_offset[i][j]、scaled_ref_layer_right_offset[i][j]、scaled_ref_layer_bottom_offset[i][j]可指定来自层i的第j参考层的经缩放参考区域的左边界、顶部边界、右边界及底部边界分别到正解码的层i的当前图片(例如，增强层图片)的左边界、顶部边界、右边界及底部边界的距离(例如，以两个明度样本为单位)。在不存在时，可推断这些语法元素的值等于0。
而且，rel_scaled_ref_layer_left_offset[i][j]、rel_scaled_ref_layer_top_offset[i][j]、rel_scaled_ref_layer_right_offset[i][j]、rel_scaled_ref_layer_bottom_offset[i][j]可指定来自层i的第j参考层的经解码参考层图片的左边界、顶部边界、右边界及底部边界分别相对于待缩放以用于对层i的当前图片(例如，增强层图片)进行层间预测的经解码参考层图片的相关区域的左边界、顶部边界、右边界及底部边界的距离(例如，以两个明度样本为单位)。在不存在时，可推断这些语法元素的值等于0。
或者，可如下描述而根据针对每一参考层用信号表示的旗标来调节对每一参考层的偏移的用信号表示。举例来说，表4说明vps扩展的实例。
表4
此外，signal_ref_layer_offsets_flag[i][j]等于1意指针对层i的第j参考层用信号表示参考层的相关区域的经缩放参考层偏移语法元素及偏移语法元素。signal_ref_layer_offsets_flag[i][j]等于0意指未针对层i的第j参考层用信号表示经缩放参考层偏移及偏移语法元素，且将其全部推断为等于0。
或者，将用信号表示将针对每一层i用信号表示其经缩放参考层偏移的参考层的数目，且除了识别层ID之外，还将用信号表示参考层的层ID。表5说明vps扩展的另一实例。
表5
此外，num_ref_layers_with_offsets[i]等于用信号表示其经缩放参考层偏移及参考层的相关区域的用于层i的参考层的数目。num_ref_layers_with_offsets[i]的值将在0到num_direct_ref_layers[i]的范围内，包含0及num_direct_ref_layers[i]。
ref_layer_id[i][j]等于在环路中用信号表示其经缩放参考层偏移及参考层的相关区域的参考层的层识别符。用以表示ref_layer_id[i][j]的位的数目为Ceil(Log2(num_direct_ref_layers+1))。
为获得用于当前层的参考层图片，对于输入Z等于L的明度样本使用一次导出过程，且对于输入Z等于C的色度样本使用一次导出过程以获得用于所述过程的变量。变量SubWidthL及SubHeightL两者皆可设定成等于1，且变量SubWidthC及SubHeightC可设定成分别等于SubWidthC及SubHeightC。
在一些实施例中，可将具有可能值L或C的变量Z输入到此过程。对于在0到vps_max_layers_minus1(包含0及vps_max_layers_minus1)范围内的i及在0到num_direct_ref_layers[i]-1(包含0及num_direct_ref_layers[i]-1)范围内的j，令RefPicWidthInLumaSamples[i][j]与RefPicHeightInLumaSamples[i][j]分别为如在VPS中界定的明度样本单元中的第i层的第j参考层图片的宽度与高度。令CurrPicWidthInLumaSamples[i]与CurrPicHeightInLumaSamples[i]分别为第i层的图片的宽度与高度，其中i处于0到vps_max_layers_minus1(包含0及vps_max_layers_minus1)的范围内。当前图片(例如，增强层图片)及参考图片的图片宽度及高度可为由用于相应图片的语法元素pic_width_in_luma_samples及pic_height_in_luma_samples界定的图片宽度及高度。
可使用相关参考区域偏移语法元素以及对应参考层宽度及高度来获得相关参考层。可如下导出变量RelRefLayerPicWidthZ[i][j]及RelRefLayerPicHeightZ[i][j]：
RelRefLayerLeftOffsetZ[i][j]＝rel_ref_layer_left_offset[i][j]<<(2-SubWidthZ)
RelRefLayerTopOffsetZ[i][j]＝rel_ref_layer_top_offset[i][j]<<(2-SubHeightZ)
RelRefLayerRightOffsetZ[i][j]＝rel_ref_layer_right_offset[i][j]<<(2-SubWidthZ)
RelRefLayerBottomOffsetZ[i][j]＝rel_ref_layer_bottom_offset[i][j]<<(2-SubHeightZ)
RelRefLayerPicWidthZ[i][j]＝RefPicWidthInLumaSamples[i][j]>>(SubWidthZ-1)-RelRefLayerLeftOffsetZ[i][j]-RelRefLayerRightOffsetZ[i][j]
RelRefLayerPicHeightZ[i][j]＝RefPicHeightInLumaSamples[i][j]>>(SubHeightZ-1)-RelRefLayerTopOffsetZ[i][j]-RelRefLayerBottomOffsetZ[i][j]
可通过如下导出的变量ScaledRefLayerPicWidthZ[i][j]及ScaledRefLayerPicHeightZ[i][j]获得经缩放/经上取样区域：
ScaledRefLayerLeftOffsetZ[i][j]＝scaled_ref_layer_left_offset[i][j]<<(2-SubWidthZ)
ScaledRefLayerTopOffsetZ[i][j]＝scaled_ref_layer_top_offset[i][j]<<(2-SubHeightZ)
ScaledRefLayerRightOffsetZ[i][j]＝scaled_ref_layer_right_offset[i][j]<<(2-SubWidthZ)
ScaledRefLayerBottomOffsetZ[i][j]＝scaled_ref_layer_bottom_offset[i][j]<<(2-SubHeightZ)
ScaledRefLayerPicWidthZ[i][j]＝CurrPicWidthInLumaSamples[i]>>(SubWidthZ-1)-ScaledRefLayerLeftOffsetZ[i][j]-ScaledRefLayerRightOffsetZ[i][j]
ScaledRefLayerPicHeightZ[i][j]＝CurrPicHeightInLumaSamples[i]>>(SubHeightZ-1)-ScaledRefLayerTopOffsetZ[i][j]-ScaledRefLayerBottomOffsetZ[i][j]
为易于描述以下解码过程，可如下界定项LeftStartZ[i][j]、TopStartZ[i][j]、RightEndZ[i][j]及BottomEndZ[i][j]：
LeftStartZ[i][j]＝ScaledRefLayerLeftOffsetZ[i][j]
TopStartZ[i][j]＝ScaledRefLayerTopOffsetZ[i][j]
RightEndZ[i][j]＝CurrPicWidthInLumaSamples[i]>>(SubWidthZ-1)-ScaledRefLayerRightOffsetZ[i][j]
BottomEndZ[i][j]＝CurrPicHeightInLumaSamples[i]>>(SubHeightZ-1)-ScaledRefLayerBottomOffsetZ[i][j]
在一些实施例中，可基于用信号表示的参考层中的相关区域与经上取样区域而计算上取样比率：
scaleFactorX＝(RightEndZ[i][j-LeftStartZ[i][j])/(RelRefLayerPicWidthZ[i][j])；
scaleFactorY＝(BottomEndZ[i][j]-TopStartZ[i][j])/(RelRefLayerPicHeightZ[i][j])。
在对参考层中的相关区域进行上取样时，可将所述区域填补若干像素或以使用参考图片中的现有像素的方式进行扩展。然而，可通过用信号表示的参考层中的相关区域及增强层中的经上取样区域而决定每一维度的上取样比率的计算。可连同本文所述的技术及方法使用多种上取样方法、填补或扩展方法中的任一者。
在一些实施例中，可在用作用于层i的参考图片之前填补经缩放参考层。对于取值L、Cb或Cr以分别表示明度样本、Cb样本及Cr样本的A，由ScaledPaddedRefLayerA[x][y]表示层i的第j参考层(其可用于层i的层间预测)的经缩放及经填补图片。令RefLayerA[i][j]表示对应于通道A(明度、Cb或Cr)的层i的第j参考层的参考层样本。对于在RelRefLayerLeftOffsetZ[i][j]到RefPicWidthInLumaSamples[i][j]>>(SubWidthZ-1)-RelRefLayerRightOffsetZ[i][j]-1(包含RelRefLayerLeftOffsetZ[i][j]及RefPicWidthInLumaSamples[i][j])范围内的x及在RelRefLayerTopOffsetZ[i][j]到RefPicHeightInLumaSamples[i][i]>>(SubHeightZ-1)-RelRefLayerBottomOffsetZ[i][i]-1(包含RelRefLayerTopOffsetZ[i][j]及RefPicHeightInLumaSamples[i][i])范围内的y，参考层的相关区域将占用那些样本RefLayerA[x][y]。对于在LeftStartZ[i][j]到RightEndZ[i][j]-1(包含LeftStartZ[i][j]及RightEndZ[i][j]-1)范围内的m及在TopStartZ[i][j]toBottomEndZ[i][j]-1(包含TopStartZ[i][j]到BottomEndZ[i][j]-1)范围内的n，经上取样图片占用ScaledPaddedRefLayerA[m][n]。
在如下所述以输入A进行填补操作之后获得最终ScaledPaddedRefLayerA[x][y]。在上取样之后，在水平及/或垂直方向上进一步填补经缩放参考层以形成与当前图片(例如，增强层图片)具有相同分辨率的层间参考图片。将具有可能值L、Cb或Cr的变量A输入到此方法。在A等于L时，Z设定成等于L，且在A等于Cb或Cr时，Z设定成等于C。表6说明描述填补操作的实例代码。
表6
或者，可首先进行经缩放参考层图片的顶部及底部部分的填补，随后进行经缩放参考层图片的左及右部分的填补。表7提供此填补方法的实例。
表7
或者，可用恒定值填充ScaledPaddedRefLayerA[x][y]中的不被经缩放参考层图片涵盖的所有像素。
在一些实施例中，对整个经解码参考层图片进行上取样。在经缩放参考层偏移中的任一者的值为负时，可对经缩放参考层应用裁剪，使得在裁剪之后的图片的边界在当前图片(例如，增强层图片)的经解码图片边界内。在此情况下，经上取样区域可小于或大于增强层图片。
语法元素可用信号表示于视频参数集中。或者，可在序列参数集或切片标头扩展等中传输此些语法元素。表8提供视频参数集扩展语法的实例。
表8
在一些实施例中，语法元素scaled_ref_layer_left_offset[i][j]、scaled_ref_layer_top_offset[i][j]、scaled_ref_layer_right_offset[i][j]、scaled_ref_layer_bottom_offset[i][j]指定来自层i的第j参考层的经缩放经解码参考层图片的左边界、顶部边界、右边界及底部边界分别到正解码的层i的当前图片(例如，增强层图片)的左边界、顶部边界、右边界及底部边界的距离(例如，以两个明度样本为单位)。在经缩放参考层边界在增强层图片之外时，将所述距离指定为负数。在不存在时，可推断这些语法元素的值等于0。
或者，可基于针对层i的每一参考层也用信号表示的旗标来调节对经缩放参考层偏移语法元素的用信号表示，这类似于上文所描述的技术。或者，用信号表示将明确地呈现其经缩放参考层偏移语法元素的用于层i的参考层的数目，随后为参考层ID及对应经缩放参考层偏移语法元素的清单，这类似于上文所描述的技术。
可以与如上文所论述相同的方式来导出变量ScaledRefLayerLeftOffsetZ[i][j]、ScaledRefLayerTopOffsetZ[i][j]、ScaledRefLayerRightOffsetZ[i][j]、ScaledRefLayerBottomOffsetZ[i][j]、ScaledRefLayerPicWidthZ[i][j]及ScaledRefLayerPicHeightZ[i][j]。
在上取样之后，在水平或垂直方向上进一步填补或裁减经缩放参考层以形成与当前图片(例如，增强层图片)具有相同分辨率的层间参考图片。经缩放参考层在宽度上具有大小ScaledRefLayerPicWidthZ[i][j]个样本，且在高度上具有大小ScaledRefLayerPicHeightZ[i][j]个样本。对于在0到ScaledRefLayerPicWidthZ[i][j]-1(包含0及ScaledRefLayerPicWidthZ[i][j]-1)范围内的x及在0到ScaledRefLayerPicHeightZ[i][j]-1(包含0及ScaledRefLayerPicHeightZ[i][j]-1)范围内的y，令层i的经缩放参考层j为ScaledLayerA[x][y]。此图片可能需要裁减以确保经缩放参考图片确实扩展而超出正解码的层i的当前图片(例如，增强层图片)的边界。可如下导出变量LeftStartZ[i][j]、TopStartZ[i][j]、RightEndZ[i][j]及BottomEndZ[i][j]。
在裁剪之后将获得的经缩放参考层图片的样本存储为ScaledPaddedRefLayerA[x][y]，且如下导出。在以下推导中，在A等于L(明度)时，Z等于L，且在A等于Cb或Cr(色度)时，Z等于C。
对于在LeftStartZ[i][j]到RightEndZ[i][j]-1(包含LeftStartZ[i][j]及RightEndZ[i][j]-1)范围内的x及在TopStartZ[i][j]到BottomEndZ[i][j]-1(包含TopStartZ[i][j]及BottomEndZ[i][j]-1)范围内的y，ScaledPaddedRefLayerA[x][y]可设定成等于ScaledLayerA[x-ScaledRefLayerLeftOffsetZ[i][j]][y-ScaledRefLayerTopOffsetZ[i][j]]。可接着对ScaledPaddedRefLayerA[x][y]执行填补，如上文所描述。此外，还可提供以上实施例的任何组合。
图12说明根据实例实施例的用于译码视频数据的实例方法1200。可例如由视频编码器20或视频解码器30的一或多个组件执行方法1200。在一些实施例中，其它组件可用以实施本文所述的步骤中的一或多者。
在框1202处，可将参考层图片的至少一部分上取样为具有经上取样图片大小的经上取样图片。在一些实施例中，可从来自存储器的视频信息获得或接收参考层图片。经上取样图片大小可包括水平经上取样图片大小及垂直经上取样图片大小。在一些实施例中，水平或垂直经上取样图片大小中的至少一者可分别不同于增强层图片的水平图片大小或垂直图片大小。举例来说，水平或垂直经上取样图片大小中的至少一者可分别小于增强层图片的水平图片大小或垂直图片大小。或者，水平或垂直经上取样图片大小中的至少一者可分别大于增强层图片的水平图片大小或垂直图片大小。
在框1204处，可用信号表示与经上取样图片相关联的位置信息。举例来说，可基于与增强层图片相关联的位置信息而确定与经上取样图片相关联的位置信息。在一些实施例中，与增强层图片相关联的位置信息包含增强层图片的坐标。可基于所述经上取样图片及所述位置信息而产生层间参考图片。
应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可用不同顺序来执行，可添加、合并或全部省略(例如，实践所述技术未必需要所有所描述动作或事件)。此外，在某些实例中，可同时(例如，通过多线程处理、中断处理或多个处理器)而非顺序地执行动作或事件。
在一或多个实例中，所描述的功能可用硬件、软件、固件或其任何组合来实施。如果用软件实施，则所述功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包含任何促进将计算机程序从一处传送到另一处的媒体(例如，根据一种通信协议)的通信媒体。以此方式，计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
以实例说明且非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、闪存存储器或可用来存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。而且，任何连接可恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输指令，则同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电及微波等无线技术包含在媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是实际上针对非暂时性的有形存储媒体。如本文所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。上文各者的组合也应包含在计算机可读媒体的范围内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文所述的功能性可提供于经配置用于编码及解码的专用硬件及/或软件模块内，或并入在组合式编解码器中。而且，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可以在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可结合合适的软件及/或固件组合在编解码器硬件单元中，或通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。已描述了各种实例。这些及其它实例属于所附权利要求书的范围内。

Claims (30)

1.一种经配置以译码视频信息的设备，其包括：
处理器，其经配置以：
将参考层图片的至少一部分上取样为具有经上取样图片大小的经上取样图片，所述经上取样图片大小包括水平经上取样图片大小及垂直经上取样图片大小；以及
用信号表示与所述经上取样图片相关联的位置信息。
2.根据权利要求1所述的设备，其中所述参考层图片的所述经上取样部分的大小等于所述参考层图片的大小。
3.根据权利要求1所述的设备，其中所述处理器进一步经配置以基于与增强层图片相关联的位置信息而确定与所述经上取样图片相关联的所述位置信息。
4.根据权利要求3所述的设备，其中与所述增强层图片相关联的所述位置信息包括所述增强层图片的坐标。
5.根据权利要求1所述的设备，其中所述水平或垂直经上取样图片大小中的至少一者分别小于增强层图片的水平图片大小或垂直图片大小。
6.根据权利要求5所述的设备，其中所述处理器进一步经配置以确定所述经上取样图片大小与所述增强层图片的大小之间的大小差，且基于所述大小差而增大所述经上取样图片大小。
7.根据权利要求6所述的设备，其中所述处理器进一步经配置以：
通过将像素值填补到所述经上取样图片而增大所述经上取样图片大小；以及
基于所述经上取样图片中的最近边界像素的值而确定经填补像素值。
8.根据权利要求1所述的设备，其中所述水平或垂直经上取样图片大小中的至少一者分别大于增强层图片的水平图片大小或垂直图片大小。
9.根据权利要求8所述的设备，其中所述处理器进一步经配置以确定所述经上取样图片大小与所述增强层图片的大小之间的大小差，且基于所述大小差而减小所述经上取样图片大小。
10.根据权利要求1所述的设备，其中所述处理器进一步经配置以至少部分地基于所述用信号表示的位置信息而确定用于水平或垂直方向的上取样比率。
11.根据权利要求1所述的设备，其中所述设备包括视频编码器。
12.根据权利要求1所述的设备，其中所述处理器进一步经配置以基于所述经上取样图片及所述位置信息而产生层间参考图片。
13.根据权利要求1所述的设备，所述设备进一步包括以下各者中的至少一者：数字电视、数字直播系统、无线广播系统、个人数字助理PDA、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话及包括存储器及所述处理器的视频电话会议装置。
14.一种译码视频数据的方法，所述方法包括：
将参考层图片的至少一部分上取样为具有经上取样图片大小的经上取样图片，所述经上取样图片大小包括水平经上取样图片大小及垂直经上取样图片大小；以及
用信号表示与所述经上取样图片相关联的位置信息。
15.根据权利要求14所述的方法，其中所述参考层图片的所述经上取样部分的大小等于所述参考层图片的大小。
16.根据权利要求14所述的方法，其进一步包括基于与增强层图片相关联的位置信息而确定与所述经上取样图片相关联的所述位置信息。
17.根据权利要求16所述的方法，其中与所述增强层图片相关联的所述位置信息包括所述增强层图片的坐标。
18.根据权利要求14所述的方法，其中所述水平或垂直经上取样图片大小中的至少一者分别小于增强层图片的水平图片大小或垂直图片大小。
19.根据权利要求18所述的方法，其进一步包括确定所述经上取样图片大小与所述增强层图片的大小之间的大小差，且基于所述大小差而增大所述经上取样图片大小。
20.根据权利要求19所述的方法，其进一步包括：
通过将像素值填补到所述经上取样图片而增大所述经上取样图片大小；以及
基于所述经上取样图片中的最近边界像素的值而确定经填补像素值。
21.根据权利要求14所述的方法，其中所述水平或垂直经上取样图片大小中的至少一者分别大于增强层图片的水平图片大小或垂直图片大小。
22.根据权利要求21所述的方法，其进一步包括确定所述经上取样图片大小与所述增强层图片的大小之间的大小差，且基于所述大小差而减小所述经上取样图片大小。
23.根据权利要求14所述的方法，其进一步包括至少部分地基于所述用信号表示的位置信息而确定用于水平或垂直方向的上取样比率。
24.根据权利要求14所述的方法，其进一步包括基于所述经上取样图片及所述位置信息而产生层间参考图片。
25.一种用于处理视频信息的设备，所述设备包括：
用于将参考层图片上取样为具有经上取样图片大小的经上取样图片的装置，所述经上取样图片大小包括水平经上取样图片大小及垂直经上取样图片大小；以及
用于用信号表示与所述经上取样图片相关联的位置信息的装置。
26.根据权利要求25所述的设备，其进一步包括用于基于与增强层图片相关联的位置信息而确定与所述经上取样图片相关联的所述位置信息的装置。
27.根据权利要求25所述的设备，其进一步包括用于确定所述经上取样图片大小与增强层图片的大小之间的大小差且基于所述大小差而增大所述经上取样图片大小的装置。
28.一种具有存储于其上的指令的非暂时性计算机可读媒体，所述指令在由处理器执行时致使所述处理器：
将参考层图片上取样为具有经上取样图片大小的经上取样图片，所述经上取样图片大小包括水平经上取样图片大小及垂直经上取样图片大小；以及
用信号表示与所述经上取样图片相关联的位置信息。
29.根据权利要求28所述的非暂时性计算机可读媒体，其进一步具有存储于其上的在执行时致使所述处理器基于与增强层图片相关联的位置信息而确定与所述经上取样图片相关联的所述位置信息的指令。
30.根据权利要求28所述的非暂时性计算机可读媒体，其进一步具有存储于其上的在执行时致使所述处理器确定所述经上取样图片大小与增强层图片的大小之间的大小差且基于所述大小差而增大所述经上取样图片大小的指令。
CN201480009610.6A 2013-03-05 2014-03-03 针对具有不同纵横比的空间可缩放性的层间参考图片建构 Active CN105075258B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361773102P 2013-03-05 2013-03-05
US61/773,102 2013-03-05
US14/194,159 US10284842B2 (en) 2013-03-05 2014-02-28 Inter-layer reference picture construction for spatial scalability with different aspect ratios
US14/194,159 2014-02-28
PCT/US2014/019958 WO2014137920A1 (en) 2013-03-05 2014-03-03 Inter-layer reference picture construction for spatial scalability with different aspect ratios

Publications (2)

Publication Number Publication Date
CN105075258A true CN105075258A (zh) 2015-11-18
CN105075258B CN105075258B (zh) 2019-04-05

Family

ID=51487787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480009610.6A Active CN105075258B (zh) 2013-03-05 2014-03-03 针对具有不同纵横比的空间可缩放性的层间参考图片建构

Country Status (6)

Country Link
US (1) US10284842B2 (zh)
EP (1) EP2965513B1 (zh)
JP (1) JP6352314B2 (zh)
KR (2) KR102276777B1 (zh)
CN (1) CN105075258B (zh)
WO (1) WO2014137920A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2935303C (en) 2014-01-03 2023-04-11 Arris Enterprises Llc Conditionally parsed extension syntax for hevc extension processing
CA2943121C (en) 2014-03-18 2020-09-08 Arris Enterprises Llc Scalable video coding using reference and scaled reference layer offsets
US9986251B2 (en) 2014-05-01 2018-05-29 Arris Enterprises Llc Reference layer and scaled reference layer offsets for scalable video coding
US10785492B2 (en) * 2014-05-30 2020-09-22 Arris Enterprises Llc On reference layer and scaled reference layer offset parameters for inter-layer prediction in scalable video coding
US11743402B2 (en) 2015-02-13 2023-08-29 Awes.Me, Inc. System and method for photo subject display optimization
EP3354029A4 (en) * 2015-09-23 2019-08-21 Nokia Technologies Oy METHOD, APPARATUS AND COMPUTER PROGRAM PRODUCT FOR ENCODING 360-DEGREE PANORAMIC VIDEO
US11297346B2 (en) 2016-05-28 2022-04-05 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds
US10694210B2 (en) * 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
EP3975559A1 (en) 2016-10-04 2022-03-30 B1 Institute of Image Technology, Inc. Image data encoding/decoding method and apparatus
CA3105474A1 (en) 2017-07-03 2019-01-10 Industry-University Cooperation Foundation Hanyang University Method and device for decoding image by using partition unit including additional region
EP3579553B1 (en) * 2018-06-05 2020-05-20 Axis AB A method, controller, and system for encoding a sequence of video frames
KR102606778B1 (ko) * 2018-06-28 2023-11-29 후아웨이 테크놀러지 컴퍼니 리미티드 모션 벡터 리파인먼트 및 모션 보상을 위한 메모리 액세스 윈도우 및 패딩
KR102641163B1 (ko) * 2018-11-29 2024-02-28 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
KR20200078378A (ko) * 2018-12-21 2020-07-01 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20220148747A (ko) 2021-04-29 2022-11-07 주식회사 라이프시맨틱스 호흡기 질환자의 재활을 위한 디지털 치료를 제공하는 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040196901A1 (en) * 1996-01-30 2004-10-07 Demos Gary A. Median filter combinations for video noise reduction
WO2006059021A1 (fr) * 2004-10-20 2006-06-08 Thomson Licensing Procede de codage d'images video de differents formats non proportionnels
US20090060034A1 (en) * 2003-03-27 2009-03-05 Seung Wook Park Method and apparatus for scalably encoding and decoding video signal
CN101658038A (zh) * 2007-04-12 2010-02-24 汤姆森许可贸易公司 针对可缩放视频编码的视频可用信息的方法和设备
CN102918836A (zh) * 2010-05-13 2013-02-06 高通股份有限公司 用于非对称立体视频的帧封装

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2406459C (en) 2000-04-07 2006-06-06 Demografx Enhanced temporal and resolution layering in advanced television
KR20060109247A (ko) 2005-04-13 2006-10-19 엘지전자 주식회사 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치
EP1849303A2 (en) * 2005-02-18 2007-10-31 THOMSON Licensing Method for deriving coding information for high resolution pictures from low resolution pictures
US7961963B2 (en) 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
EP1880552A4 (en) 2005-04-13 2011-03-09 Lg Electronics Inc METHOD AND DEVICE FOR CODING / DECODING A VIDEO SIGNAL USING REFERENCE TABLES
KR101349836B1 (ko) 2006-11-17 2014-01-10 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
US8548056B2 (en) 2007-01-08 2013-10-01 Qualcomm Incorporated Extended inter-layer coding for spatial scability
US8199812B2 (en) * 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
FR2929797A1 (fr) 2008-04-03 2009-10-09 Thomson Licensing Sas Procede et dispositif de codage d'une sequence d'images
JP2011223319A (ja) 2010-04-09 2011-11-04 Mitsubishi Electric Corp 動画像符号化装置および動画像復号装置
KR20140034053A (ko) * 2012-08-21 2014-03-19 삼성전자주식회사 트리 구조의 부호화 단위에 기초한 예측 정보의 인터-레이어 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 예측 정보의 인터-레이어 비디오 복호화 방법 및 그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040196901A1 (en) * 1996-01-30 2004-10-07 Demos Gary A. Median filter combinations for video noise reduction
US20090060034A1 (en) * 2003-03-27 2009-03-05 Seung Wook Park Method and apparatus for scalably encoding and decoding video signal
WO2006059021A1 (fr) * 2004-10-20 2006-06-08 Thomson Licensing Procede de codage d'images video de differents formats non proportionnels
CN101658038A (zh) * 2007-04-12 2010-02-24 汤姆森许可贸易公司 针对可缩放视频编码的视频可用信息的方法和设备
CN102918836A (zh) * 2010-05-13 2013-02-06 高通股份有限公司 用于非对称立体视频的帧封装

Also Published As

Publication number Publication date
KR20150122767A (ko) 2015-11-02
US10284842B2 (en) 2019-05-07
EP2965513A1 (en) 2016-01-13
KR102276777B1 (ko) 2021-07-12
US20140254679A1 (en) 2014-09-11
JP6352314B2 (ja) 2018-07-04
WO2014137920A1 (en) 2014-09-12
CN105075258B (zh) 2019-04-05
JP2016513913A (ja) 2016-05-16
EP2965513B1 (en) 2023-06-14
KR20200037462A (ko) 2020-04-08

Similar Documents

Publication Publication Date Title
CN105075258A (zh) 针对具有不同纵横比的空间可缩放性的层间参考图片建构
CN104396243B (zh) 用于视频压缩的自适应上取样滤波器
CN104604224B (zh) 可缩放视频译码中的变换基底调整
CN104737537A (zh) 用于可缩放视频译码的加权预测模式
CN105191310A (zh) 用于视频译码的并行处理
CN105284113A (zh) 分量间滤波
CN104823449A (zh) 在视频译码中用信号表示关注区和逐渐解码刷新
CN104221381A (zh) 用于视频译码的波前并行处理
CN104471942A (zh) 重新使用参数集用于视频译码
CN104718752A (zh) 在可缩放视频译码中减少取样相位信息的发信
CN105432085A (zh) 对多层视频译码的层间预测信令的优化
CN105409219A (zh) 高效率视频译码扩展中的目标输出层的选择
CN104798372A (zh) 在视频译码中针对高效率视频译码(hevc)扩展对多个层的低复杂性支持
CN103563378A (zh) 存储器高效的上下文建模
CN104429076B (zh) 用于可缩放视频译码和3d视频译码的一般化残差预测
CN105191315A (zh) 在shvc中有条件地调用再取样过程
CN104704833A (zh) 多视图或3维视频译码中的高级视图间残差预测
CN106464917A (zh) 用信号表示用于位流分区的hrd参数
CN105393536A (zh) 使用位移向量从预测性块的帧内预测
CN104813668A (zh) 在三维视频译码中的自适应性明度补偿
CN104685875A (zh) 用于视频译码中的4:2:2样本格式的帧内译码
CN104584550A (zh) 用于可缩放视频译码的帧内预测改善
CN104704843A (zh) 视频性质的指示
CN104412591A (zh) 用于差域帧内预测的帧内模式扩展
CN105247868A (zh) 使用缩放因数的再取样

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant