CN104396243A - 用于视频压缩的自适应上取样滤波器 - Google Patents

用于视频压缩的自适应上取样滤波器 Download PDF

Info

Publication number
CN104396243A
CN104396243A CN201380030069.2A CN201380030069A CN104396243A CN 104396243 A CN104396243 A CN 104396243A CN 201380030069 A CN201380030069 A CN 201380030069A CN 104396243 A CN104396243 A CN 104396243A
Authority
CN
China
Prior art keywords
video data
ground floor
video
layer
filters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380030069.2A
Other languages
English (en)
Other versions
CN104396243B (zh
Inventor
瓦迪姆·谢廖金
涂承杰
陈建乐
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104396243A publication Critical patent/CN104396243A/zh
Application granted granted Critical
Publication of CN104396243B publication Critical patent/CN104396243B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在一个实施例中，一种用于译码视频数据的视频译码器包含处理器及存储器。所述处理器至少基于用于增强型层视频数据的预测操作模式从多个滤波器组选择一滤波器组以用于对参考层视频数据上取样，且使用所述选定的滤波器组对所述参考层视频数据上取样。所述多个滤波器组中的一些滤波器组彼此具有一些不同的滤波器特性，且所述经上取样的参考层视频数据具有与所述增强型层视频数据相同的空间分辨率。所述处理器进一步至少基于所述经上取样的参考层视频数据及所述预测操作模式来译码所述增强型层视频数据。所述存储器存储所述经上取样的参考层视频数据。

Description

用于视频压缩的自适应上取样滤波器
技术领域
本发明大体上涉及视频译码，包含对视频内容的编码及解码。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频会议装置等等。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-TH.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)、目前在开发中的高效率视频译码(HEVC)标准定义的标准和所述标准的扩展部分中所描述的那些视频压缩技术，从而发射、接收以及存储数字视频信息。
视频压缩技术可执行空间(图片内)预测和/或时间(图片间)预测以减少或移除视频序列中所固有的冗余。对于基于块的视频译码，可将视频切片分割为若干视频块，所述视频块还可被称作树块、译码单元(CU)和/或译码节点。使用空间预测相对于同一图片中的相邻块中的参考样本来编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
发明内容
为了概括本发明，已在本文描述了某些方面、优点和新颖特征。将理解，不一定所有此些优点可根据本文揭示的任何特定实施例来实现。因此，可以实现或优化如本文所教示的一个优点或优点群组而不一定实现如可在本文中教示或暗示的其它优点的方式来体现或实行本文揭示的特征。
根据一些实施例，一种用于译码视频数据的视频译码器包含处理器及存储器。所述处理器可经配置以：至少基于用于第二层视频数据的预测操作模式从多个滤波器组选择一滤波器组以用于对第一层视频数据进行上取样，所述多个滤波器组中的一些滤波器组彼此具有一些不同的滤波器特性；使用所述选定的滤波器组对所述第一层视频数据上取样，所述经上取样的第一层视频数据具有与所述第二层视频数据相同的空间分辨率；及至少基于所述经上取样的第一层视频数据及所述预测操作模式来译码所述第二层视频数据。所述存储器可经配置以存储所述经上取样的第一层视频数据。
前一段的视频译码器可包含以下特征中的一或多者：所述处理器可经配置以根据所述预测操作模式是否包括帧内预测模式、帧间预测模式、残差内预测模式、残差间预测模式或纹理基础层模式中的至少一者来选择所述滤波器组。所述处理器可经配置以在所述预测操作模式是帧内预测模式时将第一滤波器组选择为所述选定的滤波器组，且在所述预测操作模式是帧间预测模式时将不同于所述第一滤波器组的第二滤波器组选择为所述选定的滤波器组。所述处理器可经配置以至少基于先前由所述处理器译码的视频数据来选择所述滤波器组。所述第二层视频数据可包含第二层块、切片或图片。所述处理器可经配置以从所述第一或第二层视频数据的一或多个语法元素或标头或至少基于先前由所述处理器译码的视频数据来确定相移；及至少基于所述所确定的相移及所述第一层视频数据与所述第二层视频数据之间的空间纵横比而从所述选定的滤波器组选择一滤波器以用于对所述第一层视频数据上取样。所述处理器可经配置以至少基于所述第一或第二层视频数据的一或多个语法元素或标头或先前由所述处理器译码的视频数据来确定移位距离；及在译码所述第二层视频数据之前根据所述所确定的移位距离在像素域中相对于所述第二层视频数据来转移所述经上取样的第一层视频数据。所述处理器可经配置以至少基于所述第二层视频数据的块大小来选择所述滤波器组。所述不同的滤波器特性可包含以下各者中的一或多者：不同的滤波器长度、不同的滤波器输出锐度，或不同的滤波器输出平滑度。所述处理器可包含解码器。所述处理器可包含编码器。所述第一层视频数据可包含第一视图视频数据，且所述第二层视频数据可包含第二视图视频数据。
根据一些实施例，一种译码视频数据的方法可包含：至少基于用于第二层视频数据的预测操作模式从多个滤波器组选择一滤波器组以用于对第一层视频数据进行上取样，所述多个滤波器组中的一些滤波器组彼此具有一些不同的滤波器特性；使用所述选定的滤波器组对所述第一层视频数据上取样，所述经上取样的第一层视频数据具有与所述第二层视频数据相同的空间分辨率；及至少基于所述经上取样的第一层视频数据及所述预测操作模式来译码所述第二层视频数据。
前一段的方法可包含以下特征中的一或多者：所述方法可进一步包含根据所述预测操作模式是否包括帧内预测模式、帧间预测模式、残差内预测模式、残差间预测模式或纹理基础层模式中的至少一者来选择所述滤波器组。所述方法可进一步包含在所述预测操作模式是帧内预测模式时将第一滤波器组选择为所述选定的滤波器组，且在所述预测操作模式是帧间预测模式时将不同于所述第一滤波器组的第二滤波器组选择为所述选定的滤波器组。所述方法可进一步包含至少基于先前译码的视频数据来选择所述滤波器组。所述第二层视频数据可包含包括第二层块、切片或图片。所述方法可包含：从所述第一或第二层视频数据的一或多个语法元素或标头或至少基于先前译码的视频数据来确定相移；及至少基于所述所确定的相移及所述第一层视频数据与所述第二层视频数据之间的空间纵横比而从所述选定的滤波器组选择一滤波器以用于对所述第一层视频数据上取样。所述方法可进一步包含：至少基于所述第一或第二层视频数据的一或多个语法元素或标头或先前译码的视频数据来确定移位距离；及在译码所述第二层视频数据之前根据所述所确定的移位距离在像素域中相对于所述第二层视频数据来转移所述经上取样的第一层视频数据。所述方法可进一步包含至少基于所述第二层视频数据的块大小来选择所述滤波器组。所述不同的滤波器特性可包含以下各者中的一或多者：不同的滤波器长度、不同的滤波器输出锐度，或不同的滤波器输出平滑度。所述方法可进一步包含接收从经编码视频位流提取的语法元素，所述语法元素包括所述预测操作模式的指示。所述方法可进一步包含至少基于所述预测操作模式而产生经编码视频位流的语法元素。所述第一层视频数据可包含第一视图视频数据，且所述第二层视频数据可包含第二视图视频数据。
根据一些实施例，一种视频译码器可包含：用于至少基于用于第二层视频数据的预测操作模式从多个滤波器组选择一滤波器组以用于对第一层视频数据进行上取样的装置，所述多个滤波器组中的一些滤波器组彼此具有一些不同的滤波器特性；用于使用所述选定的滤波器组对所述第一层视频数据上取样的装置，所述经上取样的第一层视频数据具有与所述第二层视频数据相同的空间分辨率；及用于至少基于所述经上取样的第一层视频数据及所述预测操作模式来译码所述第二层视频数据的装置。
根据一些实施例，一种存储可执行程序指令的非暂时性计算机存储装置，所述可执行程序指令引导用于译码视频数据的视频译码器执行过程，所述过程可包含：至少基于用于第二层视频数据的预测操作模式从多个滤波器组选择一滤波器组以用于对第一层视频数据进行上取样，所述多个滤波器组中的一些滤波器组彼此具有一些不同的滤波器特性；使用所述选定的滤波器组对所述第一层视频数据上取样，所述经上取样的第一层视频数据具有与所述第二层视频数据相同的空间分辨率；及至少基于所述经上取样的第一层视频数据及所述预测操作模式来译码所述第二层视频数据。
根据一些实施例，一种用于译码视频数据的视频译码器包含处理器及存储器。所述处理器可经配置以：至少基于第一层视频数据与第二层视频数据之间的相移及空间纵横比而从滤波器组选择一滤波器以用于对所述第一层视频数据上取样；使用所述选定的滤波器对所述第一层视频数据上取样，所述经上取样的第一层视频数据具有与所述第二层视频数据相同的空间分辨率；及至少基于所述经上取样的第一层视频数据来译码所述第二层视频数据。所述存储器可经配置以存储所述经上取样的第一层视频数据。
前一段的视频译码器可包含以下特征中的一或多者：所述处理器可经配置以至少基于所述相移与至少基于第一层视频数据与第二层视频数据之间的空间纵横比而确定的相位之间的比较来选择所述滤波器。所述处理器可经配置以从所述第一或第二层视频数据的一或多个语法元素或标头确定所述相移。所述处理器可经配置以至少基于先前由所述处理器译码的视频数据来确定所述相移。所述第一层视频数据可包含第一层块、切片或图片。所述处理器可包含解码器。所述处理器可包含编码器。所述第一层视频数据可包含第一视图视频数据，且所述第二层视频数据可包含第二视图视频数据。
根据一些实施例，一种译码视频数据的方法可包含：至少基于第一层视频数据与第二层视频数据之间的相移及空间纵横比而从滤波器组选择一滤波器以用于对所述第一层视频数据上取样；使用所述选定的滤波器对所述第一层视频数据上取样，所述经上取样的第一层视频数据具有与所述第二层视频数据相同的空间分辨率；及至少基于所述经上取样的第一层视频数据来译码所述第二层视频数据。
前一段的方法可包含以下特征中的一或多者：所述方法可包含至少基于所述相移与至少基于第一层视频数据与第二层视频数据之间的空间纵横比而确定的相位之间的比较来选择所述滤波器。所述方法可包含从所述第一或第二层视频数据的一或多个语法元素或标头确定所述相移。所述方法可进一步包含至少基于先前译码的视频数据来确定所述相移。所述第一层视频数据可包含第一层块、切片或图片。所述方法可进一步包含接收从经编码视频位流提取的语法元素，所述语法元素包括所述相移的指示。所述方法可进一步包含至少基于所述相移而产生经编码视频位流的语法元素。所述第一层视频数据可包含第一视图视频数据，且所述第二层视频数据可包含第二视图视频数据。
根据一些实施例，一种用于译码视频数据的视频译码器可包含：用于至少基于第一层视频数据与第二层视频数据之间的相移及空间纵横比而从滤波器组选择一滤波器以用于对所述第一层视频数据上取样的装置；用于使用所述选定的滤波器对所述第一层视频数据上取样的装置，所述经上取样的第一层视频数据具有与所述第二层视频数据相同的空间分辨率；及用于至少基于所述经上取样的第一层视频数据来译码所述第二层视频数据的装置。
根据一些实施例，一种存储可执行程序指令的非暂时性计算机存储装置，所述可执行程序指令引导用于译码视频数据的视频译码器执行过程，所述过程可包含：至少基于第一层视频数据与第二层视频数据之间的相移及空间纵横比而从滤波器组选择一滤波器以用于对所述第一层视频数据上取样；使用所述选定的滤波器对所述第一层视频数据上取样，所述经上取样的第一层视频数据具有与所述第二层视频数据相同的空间分辨率；及至少基于所述经上取样的第一层视频数据来译码所述第二层视频数据。
根据一些实施例，一种用于译码视频数据的视频译码器包含处理器及存储器。所述处理器可经配置以：使用滤波器对第一层视频数据上取样，所述经上取样的第一层视频数据具有与第二层视频数据相同的空间分辨率；在像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据；及至少基于所述经转移、经上取样的第一层视频数据来译码所述第二层视频数据。所述存储器可经配置以存储所述经转移、经上取样的第一层视频数据。
前一段的视频译码器可包含以下特征中的一或多者：所述处理器可经配置以在所述像素域中相对于所述第二层视频数据在垂直方向及水平方向上转移所述经上取样的第一层视频数据。所述处理器可经配置以在所述像素域中相对于所述第二层视频数据在三个或更多个维度上转移所述经上取样的第一层视频数据。所述处理器可经配置以：从所述第一或第二层视频数据的一或多个语法元素或标头确定移位距离；及根据所述所确定的移位距离在像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据。所述处理器可经配置以：至少基于先前由所述处理器译码的视频数据来确定移位距离；及根据所述所确定的移位距离在所述像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据。所述第一层视频数据可包含第一层块、切片或图片。所述处理器可包含解码器。所述处理器可包含编码器。所述第一层视频数据可包含第一视图视频数据，且所述第二层视频数据可包含第二视图视频数据。
根据一些实施例，一种译码视频数据的方法可包含：使用滤波器对第一层视频数据上取样，所述经上取样的第一层视频数据具有与第二层视频数据相同的空间分辨率；在像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据；及至少基于所述经转移、经上取样的第一层视频数据来译码所述第二层视频数据。
前一段的方法可包含以下特征中的一或多者：所述方法可进一步包含在所述像素域中相对于所述第二层视频数据在垂直方向及水平方向上转移所述经上取样的第一层视频数据。所述方法可进一步包含在所述像素域中相对于所述第二层视频数据在三个或更多个维度上转移所述经上取样的第一层视频数据。所述方法可进一步包含：从所述第一或第二层视频数据的一或多个语法元素或标头确定移位距离；及根据所述所确定的移位距离在像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据。所述方法可进一步包含：至少基于先前由所述处理器译码的视频数据来确定移位距离；及根据所述所确定的移位距离在所述像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据。所述第一层视频数据可包含第一层块、切片或图片。所述方法可进一步包含：接收从经编码视频位流提取的语法元素，所述语法元素包括移位距离的指示；及根据所述移位距离的所述指示在所述像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据。所述方法可进一步包含：至少基于移位距离来确定经编码视频位流的语法元素；及根据所述移位距离在所述像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据。所述第一层视频数据可包含第一视图视频数据，且所述第二层视频数据可包含第二视图视频数据。
根据一些实施例，用于译码视频数据的视频译码器可包含：用于使用滤波器对第一层视频数据上取样的装置，所述经上取样的第一层视频数据具有与第二层视频数据相同的空间分辨率；用于在像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据的装置；及用于至少基于所述经转移、经上取样的第一层视频数据来译码所述第二层视频数据的装置。
根据一些实施例，一种存储可执行程序指令的非暂时性计算机存储装置，所述可执行程序指令引导用于译码视频数据的视频译码器执行过程，所述过程可包含：使用滤波器对第一层视频数据上取样，所述经上取样的第一层视频数据具有与第二层视频数据相同的空间分辨率；在像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据；及至少基于所述经转移、经上取样的第一层视频数据来译码所述第二层视频数据。
附图说明
下文参考图式描述本文揭示的各种实施例的特征。在整个图式中，参考数字被再使用以指示参考元件之间的对应关系。提供图式以说明本文中所描述的实施例且不限制其范围。
图1为说明可利用本发明的技术的实例性视频译码系统的框图。
图2是说明可经配置以实施本发明的技术的实例性视频编码器的框图。
图3是说明可经配置以实施本发明的技术的实例性视频解码器的框图。
图4是展示可缩放视频译码(SVC)二元空间可缩放性中的基础层图片及增强层图片的实例像素位置的概念图。
图5A和5B是说明增强层相对于基础层的空间像素移位的概念图。
图6到8说明用于译码视频数据的实例方法。
具体实施方式
可缩放视频译码(SVC)是指其中使用基础层(有时被称作参考层)及一或多个可缩放增强层的视频译码。对于SVC来说，基础层可携载具有基础质量水平的视频数据。一或多个增强层可携载额外的视频数据以支持较高的空间、时间和/或信噪SNR水平。可相对于先前编码的层来界定增强层。
基础层与增强层可具有不同分辨率。可将上取样滤波(有时被称作再取样滤波)应用于基础层以便匹配增强层的空间纵横比。此过程可称为空间可缩放性。可将上取样滤波器组应用于基础层，且可基于相位(有时被称作部分像素偏移)从所述组选择一个滤波器。可基于基础层与增强层图片之间的空间纵横比来计算所述相位。
在一些系统中，可针对某些视频数据使用仅一组上取样滤波器。举例来说，仅一组上取样滤波器可用于亮度分量，且仅一个其它组上取样滤波器可用于色度分量。遗憾的是，在对基础层上取样以匹配增强层的空间纵横比时，此类系统遭受灵活性的缺乏的问题。
在本发明的一些实施例中，本发明的技术增加在对视频数据上取样中的灵活性及性能。可通过(例如)基于增强层信息(例如，增强层视频数据的预测操作模式、信令和/或块大小，或其类似者)控制或改变用于译码视频数据的上取样滤波器或通过在像素域中相对于待译码的增强层转移滤波器的输出，而以自适应的方式有利地执行所述上取样过程。根据本发明的方面，可个别地或组合地使用至少三个方法中的一或多者以自适应地进行上取样。第一，可将额外的相移添加到用于上取样滤波器选择而计算出的相位。举例来说，针对不同的分数准确度(例如第1/16或第1/12)来界定多个上取样滤波器以产生一滤波器组，其中一滤波器对应于所述滤波器组中具有某一滤波器索引的分数位置。对于此情况，滤波器相位可对应于或舍入为滤波器索引中的一者。第二，可将空间像素移位应用于上取样滤波器的输出。第三，可选择性地应用多个上取样滤波器组中的一或多个不同的上取样滤波器组。
本发明的实施例可针对于SVC或多视图视频译码(MVC)。举例来说，所述技术可与高效率视频译码(HEVC)可缩放视频译码(SVC)扩展或多视图/3D视频译码(MVC)扩展相关，且与其一起或在其内使用。在SVC中，可存在多个层。在非常底部的层级或最低层级处的层可充当基础层(BL)或参考层，且在非常顶部处的层可充当增强型层(EL)。在MVC中，可使用术语“术语”来取代术语“层”。因此，可分别用“视图”或“多个视图”来替代对“层”或“多个层”的参考。BL与EL之间的层可充当EL或BL中的任一者或两者。举例来说，层可为其下方的层(例如基础层或任何介入的增强层)的EL，并且还充当其上方的增强层的BL。出于描述的简单性起见，本发明可描述其中存在两个层(例如，BL及EL)的情况。然而，应注意，本发明适用于对任何数目的层或视图的视频译码。此外，虽然本发明中的实例可涉及SVC，但所述实例可进一步适用于MVC。
在一些情况下，对于基础或增强层压缩，可一起或组合地使用两个标准(例如，HEVC及H.264/AVC)。举例来说，HEVC、H.264/AVC或另一编解码器可用于基础层压缩，且增强层压缩可使用HEVC。
图1为说明可利用本发明的技术的实例性视频译码系统10的框图。如本文中所描述，术语“视频译码器”可指代视频编码器和视频解码器中的任一者或两者。在本发明中，术语“视频译码”或“译码”可指代视频编码及视频解码。
如图1中所示，视频译码系统10包含源装置12和目的地装置14。源装置12产生经编码视频数据。因此，源装置12可被称作视频编码装置。目的地装置14可对由源装置12产生的经编码视频数据进行解码。因此，目的地装置14可被称作视频解码装置。源装置12及目的地装置14可为视频译码装置的实例。
源装置12和目的地装置14可包括广泛范围的装置，包含桌上型计算机、移动计算装置、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如，所谓的“智能”电话)、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、汽车内计算机等。在一些实例中，源装置12和目的地装置14可经装备以用于无线通信。
目的地装置14可经由通道16从源装置12接收经编码视频数据。通道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的类型的媒体或装置。在一个实例中，通道16可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14的通信媒体。在此实例中，源装置12可根据例如无线通信协议等通信标准来调制经编码视频数据，且可将经调制视频数据发射到目的地装置14。所述通信媒体可包括无线或有线通信媒体，例如射频(RF)频谱或一条或一条以上物理传输线。通信媒体可形成例如局域网、广域网或例如因特网的全球网络的基于包的网络的部分。通信媒体可包含促进从源装置12到目的地装置14的通信的路由器、交换器、基站或其它设备。
在另一实例中，通道16可对应于存储由源装置12产生的经编码视频数据的存储媒体。在此实例中，目的地装置14可经由磁盘存取或卡存取而存取存储媒体。所述存储媒体可包含多种本地存取的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器，或用于存储经编码视频数据的其它合适的数字存储媒体。在进一步的实例中，通道16可包含文件服务器或存储由源装置12产生的经编码视频的另一中间存储装置。在此实例中，目的地装置14可经由流式传输或下载来存取存储于文件服务器或其它中间存储装置处的经编码视频数据。文件服务器可为能够存储经编码视频数据和将所述经编码视频数据发射到目的地装置14的类型的服务器。实例性文件服务器包含网络服务器(例如，用于网站)、文件传送协议(FTP)服务器、网络附接式存储(NAS)装置，或本地磁盘驱动器。目的地装置14可通过标准的数据连接(包含因特网连接)来存取经编码视频数据。数据连接的实例性类型可包含无线通道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器，等等)，或适合于存取存储于文件服务器上的经编码视频数据的以上两者的组合。经编码视频数据从文件服务器的传输可为流式传输、下载传输，或两者的组合。
本发明的技术不限于无线应用或环境。所述技术可应用于支持多种多媒体应用(例如，空中电视广播、有线电视传输、卫星电视发射、流式视频传输(例如，经由因特网))中的任一者的视频译码、供存储于数据存储媒体上的数字视频的编码、存储于数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频回放、视频广播和/或视频电话等应用。
在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)和/或发射器。在源装置12中，视频源18可包含例如视频俘获装置(例如，摄像机、含有先前俘获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频馈送接口)和/或用于产生视频数据的计算机图形系统的源，或此些源的组合。
视频编码器20可对所俘获的、预先俘获的或计算机产生的视频数据进行编码。可经由源装置12的输出接口22将经编码视频数据直接发射到目的地装置14。还可将经编码视频数据存储到存储媒体或文件服务器上以供稍后由目的地装置14存取以进行解码和/或回放。
在图1的实例中，目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些情况下，输入接口28可包含接收器和/或调制解调器。目的地装置14的输入接口28经由通道16接收经编码视频数据。经编码视频数据可包含由视频编码器20产生的表示视频数据的多种语法元素。此些语法元素可与在通信媒体上传输、存储于存储媒体上或存储于文件服务器上的经编码视频数据包含在一起。
显示装置32可与目的地装置14一起集成，或可在所述目的地装置外部。在一些实例中，目的地装置14可包含集成式显示装置，且还可经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32向用户显示经解码视频数据。显示装置32可包括多种显示装置中的任一者，例如，液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30可根据视频压缩标准来操作，例如目前在开发中的高效率视频译码(HEVC)标准，且可符合HEVC测试模型(HM)。正由ITU-T视频译码专家组(VCEG)以及ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)开发HEVC标准。被称作“HEVC工作草案7(HEVC Working Draft 7)”或“WD7”的HEVC标准的最近的草案描述于布洛斯(Bross)等人的文献JCTVC-I1003“高效率视频译码(HEVC)文本规范草案7(High efficiency video coding(HEVC)Text Specification Draft7)”，ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)第9次会议：瑞士日内瓦，2012年4月27日到2012年5月7日，所述文献的全部内容以引用的方式并入本文中。
另外或替代地，视频编码器20和视频解码器30可根据例如ITU-T H.264标准(或者被称作MPEG4第10部分，高级视频译码(AVC))或此类标准的扩展等其它专有或产业标准而操作。然而，本发明的技术不限于任何特定译码标准或技术。视频压缩标准和技术的其它实例包含MPEG-2、ITU-T H.263以及专有或开放源压缩格式，例如VP8和相关格式。在一些实例中，可根据不同的译码标准来译码基础层及增强层。
尽管图1的实例中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件及软件，以处置对共同数据流或单独数据流中的音频与视频两者的编码。在一些实例中，如果适用，MUX-DEMUX单元可符合ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。
再次，图1说明在编码装置与解码装置之间可能不包含任何数据通信的视频译码环境(例如，视频编码或视频解码)中的本发明的实例及技术。在其它实例中，可从本地存储器检索数据，经由网络流式传输数据等。编码装置可编码数据且将数据存储到存储器，且/或解码装置可从存储器检索并解码数据。在许多实例中，编码和解码是由彼此不通信而是仅将数据编码到存储器和/或从存储器检索并解码数据的装置执行。
视频编码器20和视频解码器30各自可经实施为例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合等多种合适电路中的任一者。当所述技术部分地在软件中实施时，一装置可将用于软件的指令存储于合适的非暂时性计算机可读存储媒体中，且可在硬件中使用一或多个处理器来执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含于一或多个编码器或解码器中，所述视频编码器和视频解码器中的任一者可在相应装置中被集成为组合式编码器/解码器(CODEC)的一部分。
如所提及，视频编码器20对视频数据进行编码。所述视频数据可包括一或多个图片。所述图片中的每一者是形成视频的部分的静态图像。在一些例子中，可将图片称作视频“帧”。当视频编码器20对视频数据进行编码时，视频编码器20可产生位流。所述位流可包含形成视频数据的经译码表示的位序列。所述位流可包含经译码图片和相关联的数据。经译码图片是图片的经译码表示。
为了产生位流，视频编码器20可对视频数据中的每个图片执行编码操作。当视频编码器20对图片执行编码操作时，视频编码器20可产生一系列经译码图片和相关联的数据。所述相关联的数据可包含序列参数集、图片参数集、调适参数集以及其它语法结构。序列参数集(SPS)可含有适用于零或更多图片序列的参数。图片参数集(PPS)可含有适用于零或更多图片的参数。调适参数集(APS)可含有适用于零或更多图片的参数。APS中的参数可为比PPS中的参数更有可能改变的参数。
为了产生经译码图片，视频编码器20可将图片分割为相等大小的视频块。视频块可为样本的二维阵列。视频块中的每一者与树块相关联。在一些例子中，可将树块称作最大译码单元(LCU)。HEVC的树块可广义上类似于先前标准(例如，H.264/AVC)的宏块。然而，树块不一定受限于特定大小，且可包含一或多个译码单元(CU)。视频编码器20可使用四叉树分割来将树块的视频块分割为与CU相关联的视频块，因此称为“树块”。
在一些实例中，视频编码器20可将图片分割为多个切片。所述切片中的每一者可包含整数数目的CU。在一些例子中，切片包括整数数目的树块。在其它例子中，切片的边界可在树块内。
作为对图片执行编码操作的部分，视频编码器20可对图片的每一切片执行编码操作。当视频编码器20对切片执行编码操作时，视频编码器20可产生与所述切片相关联的经编码数据。与所述切片相关联的经编码数据可被称作“经译码切片”。
为了产生经译码切片，视频编码器20可对切片中的每个树块执行编码操作。当视频编码器20对树块执行编码操作时，视频编码器20可产生经译码树块。所述经译码树块可包括表示树块的经编码版本的数据。
当视频编码器20产生经译码切片时，视频编码器20可根据光栅扫描次序对切片中的树块执行编码操作(即，编码)。换句话说，视频编码器20可以以下次序对切片的树块进行编码：越过切片中的树块的最顶行从左进行到右，随后越过树块的下一较低行从左进行到右，且以此类推，直到视频编码器20已对切片中的树块中的每一者进行编码为止。
作为根据光栅扫描次序对树块进行编码的结果，可已对给定树块的左上方的树块进行编码，但尚未对给定树块的右下方的树块进行编码。因此，视频编码器20可能够在对给定树块进行编码时存取通过对给定树块的左上方的树块进行编码而产生的信息。然而，视频编码器20可不能够在对给定树块进行编码时存取通过对给定树块的右下方的树块进行编码而产生的信息。
为了产生经译码树块，视频编码器20可对树块的视频块递归地执行四叉树分割以将视频块划分为渐进更小的视频块。较小的视频块中的每一者可与不同的CU相关联。举例来说，视频编码器20可将树块的视频块分割为四个相等大小的子块，将子块中的一或多者分割为四个相等大小的子子块，以此类推。经分割的CU可为其视频块被分割为与其它CU相关联的视频块的CU。未经分割的CU可为其视频块未被分割为与其它CU相关联的视频块的CU。
位流中的一或多个语法元素可指示视频编码器20可将树块的视频块进行分割的最大倍数。CU的视频块可为正方形形状。CU的视频块的大小(即，CU的大小)的范围可从8x8像素直到具有64x64像素或更大的树块的视频块的大小(即，树块的大小)。
视频编码器20可根据z扫描次序对树块的每一CU执行编码操作(即，编码)。换句话说，视频编码器20可以所述次序对左上CU、右上CU、左下CU以及随后右下CU进行编码。当视频编码器20对经分割的CU执行编码操作时，视频编码器20可根据z扫描次序对与经分割的CU的视频块的子块相关联的CU进行编码。换句话说，视频编码器20可以所述次序对与左上子块相关联的CU、与右上子块相关联的CU、与左下子块相关联的CU以及与右下子块相关联的CU进行编码。
作为根据z扫描次序对树块的CU进行编码的结果，可已对给定CU上方、左上方、右上方、左边以及左下方的CU进行编码。尚未对给定CU的下方及右边的CU进行编码。因此，视频编码器20可能够在对给定CU进行编码时存取通过对与给定CU相邻的一些CU进行编码而产生的信息。然而，视频编码器20可不能够在对给定CU进行编码时存取通过对与给定CU相邻的其它CU进行编码而产生的信息。
当视频编码器20编码未被分割的CU时，视频编码器20可产生用于所述CU的一或多个预测单元(PU)。CU的PU中的每一者可与CU的视频块内的不同视频块相关联。视频编码器20可产生所述CU的每一PU的所预测的视频块。PU的所预测的视频块可为样本块。视频编码器20可使用帧内预测或帧间预测来产生PU的所预测的视频块。
当视频编码器20使用帧内预测来产生PU的所预测的视频块时，视频编码器20可基于与所述PU相关联的图片的经解码样本来产生PU的所预测的视频块。如果视频编码器20使用帧内预测来产生CU的PU的所预测的视频块，那么CU是经帧内预测CU。当视频编码器20使用帧间预测来产生PU的所预测的视频块时，视频编码器20可基于除了与所述PU相关联的图片之外的一或多个图片的经解码样本来产生PU的所预测的视频块。如果视频编码器20使用帧间预测来产生CU的PU的所预测的视频块，那么CU是经帧间预测CU。
此外，当视频编码器20使用帧间预测来产生PU的所预测的视频块时，视频编码器20可产生PU的运动信息。PU的运动信息可指示PU的一或多个参考块。PU的每一参考块可为参考图片内的视频块。参考图片可为除了与PU相关联的图片之外的图片。在一些情况下，PU的参考块还可被称作PU的“参考样本”。视频编码器20可基于PU的参考块而产生PU的所预测的视频块。
在视频编码器20产生了CU的一或多个PU的所预测的视频块之后，视频编码器20可基于CU的PU的所预测的视频块而产生CU的残差数据。CU的残差数据可指示CU的PU的所预测的视频块与CU的原始视频块中的样本之间的差。
此外，作为对未经分割的CU执行编码操作的部分，视频编码器20可对CU的残差数据执行递归四叉树分割以将CU的残差数据分割成与CU的变换单元(TU)相关联的一或多个残差数据块(即，残差视频块)。CU的每一TU可与不同残差视频块相关联。
视频译码器20可向与TU相关联的残差视频块应用一或多个变换以产生与TU相关联的变换系数块(即，变换系数的块)。在概念上，变换系数块可为变换系数的二维(2D)矩阵。
在产生变换系数块之后，视频编码器20可对变换系数块执行量化过程。量化一般指代将变换系数量化以可能地减少用于表示变换系数的数据量从而提供进一步压缩的过程。量化过程可减少与变换系数中的一些或全部相关联的位深度。举例来说，n位变换系数可在量化期间下舍入到m位变换系数，其中n大于m。
视频编码器20可使每一CU与量化系数(QP)值相关联。与CU相关联的QP值可确定视频编码器20如何量化与CU相关联的变换系数块。视频编码器20可通过调整与CU相关联的QP值来调整向与CU相关联的变换系数块应用的量化的程度。
在视频编码器20量化变换系数块之后，视频编码器20可产生表示经量化变换系数块中的变换系数的多组语法元素。视频编码器20可对这些语法元素中的一些语法元素应用熵编码操作，例如上下文自适应二进制算术译码(CABAC)操作。还可使用其它熵译码技术，例如内容自适应可变长度译码(CAVLC)、概率区间分割熵(PIPE)译码，或其它二进制算术译码。
由视频编码器20产生的位流可包含一连串网络抽象层(NAL)单元。NAL单元中的每一者可为含有NAL单元中的数据的类型的指示的语法结构和含有数据的字节。举例来说，NAL单元可含有表示序列参数集、图片参数集、经译码切片、补充性增强信息(SEI)、存储单元定界符、填充符数据或另一类型的数据的数据。NAL单元中的数据可包含各种语法结构。
视频解码器30可接收由视频编码器20产生的位流。所述位流可包含由视频编码器20编码的视频数据的经译码表示。当视频解码器30接收位流时，视频解码器30可对所述位流执行解析操作。当视频解码器30执行所述解析操作时，视频解码器30可从所述位流提取语法元素。视频解码器30可基于从位流提取的语法元素来重构视频数据的图片。基于语法元素来重构视频数据的过程可一般与由视频编码器20执行以产生语法元素的过程互逆。
在视频解码器30提取与CU相关联的语法元素之后，视频解码器30可基于所述语法元素而产生CU的PU的所预测的视频块。另外，视频解码器30可对与CU的TU相关联的变换系数块进行反量化。视频解码器30可对变换系数块执行反量化以重构与CU的TU相关联的残差视频块。在产生所预测的视频块并且重构残差视频块之后，视频解码器30可基于所预测的视频块和残差视频块而重构CU的视频块。以此方式，视频解码器30可基于位流中的语法元素来重构CU的视频块。
根据本发明的实施例，包含上取样模块130的视频编码器20可经配置以译码(例如，编码)界定至少一个基础层及至少一个增强层的可缩放视频译码方案中的视频数据。上取样模块130可对至少一些视频数据上取样以作为编码过程的一部分，其中例如通过在上取样中自适应地应用相移、在上取样中应用空间改变，和/或应用不同的滤波器组以实现(例如)如关于图6到8所描述的上取样，而以自适应的方式执行上取样。
图2是说明可经配置以实施本发明的技术的实例性视频编码器20的框图。图2是为了阐释的目的而提供，且不应被视为对本发明中广义上示范和描述的技术的限制。为了阐释的目的，本发明在HEVC译码的上下文中描述视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。
在图2的实例中，视频编码器20包含多个功能组件。视频编码器20的功能组件包含预测处理模块100、残差产生模块102、变换模块104、量化模块106、反量化模块108、反变换模块110、重构模块112，滤波器模块113、经解码图片缓冲器114和熵编码模块116。预测模块100包含帧间预测模块121、运动估计模块122、运动补偿模块124和帧内预测模块126。在其它实例中，视频编码器20可包含更多、更少或不同的功能组件。此外，运动估计模块122与运动补偿模块124可高度集成，但出于阐释的目的而在图2的实例中分开地表示。
视频编码器20可接收视频数据。视频编码器20可接收从各种源接收视频数据。举例来说，视频编码器20可从视频源18(图1)或另一源接收视频数据。所述视频数据可表示一系列图片。为了对视频数据进行编码，视频编码器20可对图片中的每一者执行编码操作。作为对图片执行编码操作的部分，视频编码器20可对图片的每一切片执行编码操作。作为对切片执行编码操作的部分，视频编码器20可对切片中的树块执行编码操作。
作为对树块执行编码操作的部分，预测模块100可对树块的视频块执行四叉树分割以将视频块划分为渐进更小的视频块。较小的视频块中的每一者可与不同的CU相关联。举例来说，预测模块100可将树块的视频块分割为四个相等大小的子块，将子块中的一或多者分割为四个相等大小的子子块，以此类推。
与CU相关联的视频块的大小的范围可从8×8样本直到具有最大64×64样本或更大的树块的大小。在本发明中，“N×N”与“N乘N”可以可互换地使用，以在垂直和水平尺寸方面指代视频块的样本尺寸，例如16×16样本或16乘16样本。一般来说，16×16视频块具有在垂直方向上的十六个样本(y＝16)和在水平方向上的十六个样本(x＝16)。同样地，N×N块一般具有在垂直方向上的N个样本和在水平方向上的N个样本，其中N表示非负整数值。
此外，作为对树块执行编码操作的部分，预测模块100可产生用于树块的分层四叉树数据结构。举例来说，树块可对应于四叉树数据结构的根节点。如果预测模块100将树块的视频块分割为四个子块，那么所述根节点在所述四叉树数据结构中具有四个子节点。子节点中的每一者对应于与所述子块中的一者相关联的CU。如果预测模块100将子块中的一者分割为四个子子块，那么对应于与所述子块相关联的CU的节点可具有四个子节点，所述四个子节点中的每一者对应于与子子块中的一者相关联的CU。
所述四叉树数据结构的每一节点可含有对应的树块或CU的语法数据(例如，语法元素)。举例来说，四叉树中的节点可包含分裂旗标，其指示对应于所述节点的CU的视频块是否被分割(即，分裂)为四个子块。可递归地界定CU的语法元素，且所述语法元素可取决于CU的视频块是否被分裂为子块。其视频块未被分割的CU可对应于四叉树数据结构中的叶节点。经译码树块可包含基于对应树块的四叉树数据结构的数据。
视频编码器20可对树块的每一未分割的CU执行编码操作。当视频编码器20对未分割的CU执行编码操作时，视频编码器20产生表示未分割的CU的经编码表示的数据。
作为对CU执行编码操作的部分，预测模块100可在CU的一或多个PU之间分割CU的视频块。视频编码器20和视频解码器30可支持各种PU大小。假定特定CU的大小为2N×2N，视频编码器20和视频解码器30可支持2N×2N或N×N的PU大小，以及按2N×2N、2N×N、N×2N、N×N、2N×nN、nL×2N、nR×2N或类似者的对称PU大小的帧间预测。视频编码器20和视频解码器30还可支持用于2N×nU、2N×nD、nL×2N和nR×2N的PU大小的不对称分割。在一些实例中，预测模块100可执行几何分割以沿不以直角与CU的视频块的侧会合的边界来在CU的PU之间分割CU的视频块。
帧间预测模块121可对CU的每一PU执行帧间预测。帧间预测可提供时间压缩。为了对PU执行帧间预测，运动估计模块122可产生PU的运动信息。运动补偿模块124可基于除了与所述CU相关联的图片(即，参考图片)之外的图片的运动信息及经解码样本来产生所述PU的所预测的视频块。在本发明中，由运动补偿模块124产生的预测视频块可被称为经帧间预测视频块。
切片可为I切片、P切片或B切片。运动估计模块122和运动补偿模块124可依据CU的PU在I切片、P切片还是B切片中而对所述PU执行不同的操作。在I切片中，所有PU都被帧内预测。因此，如果PU在I切片中，那么运动估计模块122和运动补偿模块124不对PU执行帧间预测。
如果PU在P切片中，那么含有PU的图片与被称作“列表0”的参考图片列表相关联。列表0中的参考图片中的每一者含有可用于对其它图片进行帧间预测的样本。当运动估计模块122关于P切片中的PU执行运动估计操作时，运动估计模块122可搜索列表0中的参考图片以寻找用于PU的参考块。PU的参考块可为最紧密地对应于PU的视频块中的样本的一组样本，例如样本块。运动估计模块122可使用多种度量来确定参考图片中的一组样本有多紧密地对应于PU的视频块中的样本。举例来说，运动估计模块122可通过绝对差和(SAD)、平方差和(SSD)或其它差度量来确定参考图片中的一组样本有多紧密地对应于PU的视频块中的样本。
在识别P切片中的PU的参考块之后，运动估计模块122可产生指示列表0中的含有所述参考样本的参考图片的参考索引以及指示PU与参考块之间的空间移位的运动向量。在各种实例中，运动估计模块122可根据不同的精确程度产生运动向量。举例来说，运动估计模块122可以四分之一样本精度、八分之一样本精度或其它分数样本精度产生运动向量。在分数样本精度的情况下，参考块值可从整数位置样本值内插在参考图片中。运动估计模块122可将参考索引及运动向量输出为PU的运动信息。运动补偿模块124可基于由PU的运动信息识别的参考块而产生PU的所预测的视频块。
如果PU在B切片中，那么含有PU的图片可与称为“列表0”及“列表1”的两个参考图片列表相关联。在一些实例中，含有B切片的图片可与作为列表0与列表1的组合的列表组合相关联。
此外，如果PU在B切片中，那么运动估计模块122可对PU执行单向预测或双向预测。当运动估计模块122对PU执行单向预测时，运动估计模块122可搜索列表0或列表1的参考图片以寻找PU的参考块。运动估计模块122可随后产生指示列表0或列表1中的含有参考块的参考图片的参考索引以及指示PU与参考块之间的空间移位的运动向量。运动估计模块122可输出参考索引、预测方向指示符及运动向量作为用于所述PU的运动信息。所述预测方向指示符可指示参考索引是否指示列表0或列表1中的参考图片。运动补偿模块124可基于由PU的运动信息指示的参考块而产生PU的所预测的视频块。
当运动估计模块122对PU执行双向预测时，运动估计模块122可搜索列表0中的参考图片以寻找PU的参考块，且还可搜索列表1中的参考图片以寻找PU的另一参考块。运动估计模块122可随后产生指示列表0和列表1中的含有参考块的参考图片的参考图片索引以及指示参考块与PU之间的空间移位的运动向量。运动估计模块122可将PU的参考索引及运动向量输出为PU的运动信息。运动补偿模块124可基于由PU的运动信息指示的参考块而产生PU的预测视频块。
在一些情况下，运动估计模块122不将PU的整组的运动信息输出到熵编码模块116。而是，运动估计模块122可参考另一PU的运动信息而用信号发送PU的运动信息。举例来说，运动估计模块122可确定PU的运动信息足够类似于相邻PU的运动信息。在此实例中，运动估计模块122可在与PU相关联的语法结构中指示一值，所述值向视频解码器30指示PU具有与相邻的PU相同的运动信息。在另一实例中，运动估计模块122可在与PU相关联的语法结构中识别相邻的PU及运动向量差(MVD)。运动向量差指示PU的运动向量与所指示的相邻PU的运动向量之间的差。视频解码器30可使用所指示的相邻PU的运动向量及运动向量差来确定PU的运动向量。通过在用信号发送第二PU的运动信息时参考第一PU的运动信息，视频编码器20可能够使用较少的位用信号发送第二PU的运动信息。
作为对CU执行编码操作的部分，帧内预测模块126可对CU的PU执行帧内预测。帧内预测可提供空间压缩。当帧内预测模块126对PU执行帧内预测时，帧内预测模块126可基于相同图片中的其它PU的经解码样本而产生PU的预测数据。PU的预测数据可包含所预测的视频块和各种语法元素。帧内预测模块126可对I切片、P切片和B切片中的PU执行帧内预测。
为了对PU执行帧内预测，帧内预测模块126可使用多个帧内预测模式方向或帧内预测方向来产生PU的多组预测数据。当帧内预测模块126使用帧内预测方向来产生PU的一组预测数据时，帧内预测模块126可在与帧内预测方向相关联的方向和/或梯度上越过PU的视频块来扩展来自相邻PU的视频块的样本。假设用于PU、CU和树块的从左到右、从上到下编码次序，所述相邻PU可在PU的上方、右上方、左上方，或左边。帧内预测模块126可使用各种数目的帧内预测方向(例如33种帧内预测方向)，其取决于PU的大小。
预测模块100可从由运动补偿模块124针对PU产生的预测数据或者由帧内预测模块126针对PU产生的预测数据中选择PU的预测数据。在一些实例中，预测模块100基于所述组预测数据的速率/失真度量来选择PU的预测数据。
如果预测模块100选择由帧内预测模块126产生的预测数据，则预测模块100可用信号发送用于产生PU的预测数据的帧内预测模式的方向(例如，选定的帧内预测方向)。预测模块100可以各种方式用信号通知选定的帧内预测方向。举例来说，有可能选定的帧内预测方向与相邻PU的帧内预测方向相同。换句话说，相邻PU的帧内预测方向可为当前PU的最可能模式。因此，预测模块100可产生语法元素来指示选定的帧内预测方向与相邻PU的帧内预测方向相同。
在预测模块100选择了CU的PU的预测数据之后，残差产生模块102可通过从CU的视频块减去CU的PU的所预测的视频块来产生CU的残差数据。CU的残差数据可包含对应于CU的视频块中的样本的不同样本分量的2D残差视频块。举例来说，残差数据可包含对应于CU的PU的所预测的视频块中的样本的亮度分量与CU的原始视频块中的样本的亮度分量之间的差的残差视频块。另外，CU的残差数据可包含对应于CU的PU的所预测的视频块中的样本的色度分量与CU的原始视频块中的样本的色度分量之间的差的残差视频块。
预测模块100可执行四叉树分割以将CU的残差视频块分割为子块。每一未划分的残差视频块可与CU的不同TU相关联。与CU的TU相关联的残差视频块的大小和位置可基于或可不基于与CU的PU相关联的视频块的大小和位置。被称为“残差四叉树”(RQT)的四叉树结构可包含与残差视频块中的每一者相关联的节点。CU的TU可对应于RQT的叶节点。
变换模块104可通过将一或多个变换应用于与TU相关联的残差视频块而产生CU的每一TU的一或多个变换系数块。变换系数块中的每一者可为变换系数的2D矩阵。变换模块104可将各种变换应用于与TU相关联的残差视频块。举例来说，变换模块104可对与TU相关联的残差视频块应用离散余弦变换(DCT)、方向性变换或概念上类似的变换。
在变换模块104产生与TU相关联的变换系数块之后，量化模块106可量化变换系数块中的变换系数。量化模块106可基于与CU相关联的QP值来量化与CU的TU相关联的变换系数块。
视频编码器20可以各种方式使QP值与CU相关联。举例来说，视频编码器20可对与CU相关联的树块执行速率-失真分析。在速率-失真分析中，视频编码器20可通过对树块执行编码操作来产生所述树块的多个经译码表示。当视频编码器20产生树块的不同的经编码表示时，视频编码器20可使不同的QP值与CU相关联。在给定QP值与具有最低的位速率和失真度量的树块的经译码表示中的CU相关联时，视频编码器20可用信号通知给定QP值与CU相关联。
反量化模块108及反变换模块110可分别向变换系数块应用反量化及反变换，以从变换系数块重构残差视频块。重构模块112可将经重构的残差视频块添加到来自由预测模块100产生的一或多个所预测的视频块的对应样本，从而产生与TU相关联的经重构视频块。通过以此方式重构CU的每一TU的视频块，视频编码器20可重构CU的视频块。
在重构模块112重构CU的视频块之后，滤波器模块113可执行解块操作以减少与CU相关联的视频块中的成块假影。在执行一或多个解块操作之后，滤波器模块113可将CU的经重构视频块存储在经解码图片缓冲器114中。运动估计模块122和运动补偿模块124可使用含有经重构视频块的参考图片来对后续图片的PU执行帧间预测。另外，帧内预测模块126可使用经解码图片缓冲器114中的经重构视频块来对与CU相同的图片中的其它PU执行帧内预测。
熵编码模块116可从视频编码器20的其它功能组件接收数据。举例来说，熵编码模块116可从量化模块106接收变换系数块，且可从预测模块100接收语法元素。当熵编码模块116接收数据时，熵编码模块116可执行一或多个熵编码操作以产生经熵编码数据。举例来说，视频编码器20可对数据执行上下文自适应可变长度译码(CAVLC)操作、CABAC操作、可变-可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作，或另一类型的熵编码操作。熵编码模块116可输出包含经熵编码数据的位流。
作为对数据执行熵编码操作的部分，熵编码模块116可选择上下文模型。如果熵编码模块116执行CABAC操作，那么所述上下文模型可指示对特定二进位具有特定值的概率的估计。在CABAC的上下文中，术语“二进位”用于指代语法元素的二进制化版本的位。
图3是说明可经配置以实施本发明的技术的实例性视频解码器30的框图。图3是为了阐释的目的而提供，且不对本发明中广义上示范和描述的技术进行限制。为了阐释的目的，本发明在HEVC译码的上下文中描述视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。
根据本发明的实施例，包含上取样模块170的视频解码器30可经配置以译码(例如，解码)界定至少一个基础层及至少一个增强层的可缩放视频译码方案中的视频数据。上取样模块170可对至少一些视频数据上取样以作为解码过程的一部分，其中例如通过在上取样中自适应地应用相移或在滤波器组中选择滤波器索引，在上取样中应用空间改变，和/或应用不同的滤波器组以实现(例如)如关于图6到8所描述的上取样，而以自适应的方式执行上取样。
在图3的实例中，视频解码器30包含多个功能组件。视频解码器30的功能组件包含熵解码模块150、预测模块152、反量化模块154、反变换模块156、重构模块158、滤波器模块159以及经解码图片缓冲器160。预测模块152包含运动补偿模块162和帧内预测模块164。在一些实例中，视频解码器30可执行一般与关于图2的视频编码器20所描述的编码回合互逆的解码回合。在其它实例中，视频解码器30可包含更多、更少或不同的功能组件。
视频解码器30可接收包括经编码视频数据的位流。所述位流可包含多个语法元素。当视频解码器30接收位流时，熵解码模块150可对所述位流执行解析操作。作为对位流执行解析操作的结果，熵解码模块150可从所述位流提取语法元素。作为执行所述解析操作的部分，熵解码模块150可对所述位流中的经熵编码语法元素进行熵解码。预测模块152、反量化模块154、反变换模块156、重构模块158以及滤波器模块159可执行重构操作，所述重构操作基于从位流提取的语法元素而产生经解码视频数据。
如上文所论述，所述位流可包括一连串NAL单元。位流的NAL单元可包含序列参数集NAL单元、图片参数集NAL单元、SEI NAL单元，等等。作为对位流执行解析操作的部分，熵解码模块150可执行解析操作，所述解析操作从序列参数集NAL单元提取序列参数集并对其进行解码、从图片参数集NAL单元提取图片参数集并对其进行解码、从SEI NAL单元提取SEI数据并对其进行解码等等。
另外，位流的NAL单元可包含经译码切片NAL单元。作为对所述位流执行解析操作的部分，熵解码模块150可执行从经译码切片NAL单元提取经译码切片并对其进行熵解码的解析操作。所述经译码切片中的每一者可包含切片标头和切片数据。所述切片标头可含有与切片相关的语法元素。切片标头中的语法元素可包含识别与含有所述切片的图片相关联的图片参数集的语法元素。熵解码模块150可对经译码切片标头中的语法元素执行熵解码操作，例如CABAC解码操作，以恢复切片标头。
作为从经译码切片NAL单元提取切片数据的一部分，熵解码模块150可执行从切片数据中的经译码CU提取语法元素的解析操作。所提取的语法元素可包含与变换系数块相关联的语法元素。熵解码模块150可随后对所述语法元素中的一些语法元素执行CABAC解码操作。
在熵解码模块150对未经分割的CU执行解析操作之后，视频解码器30可对未经分割的CU执行重构操作。为对未经分割的CU执行重构操作，视频解码器30可对CU的每一TU执行重构操作。通过对CU的每一TU执行重构操作，视频解码器30可重构与CU相关联的残差视频块。
作为对TU执行重构操作的部分，反量化模块154可将与TU相关联的变换系数块反量化，即，解量化。反量化模块154可以类似于针对HEVC而提出或由H.264解码标准界定的反量化过程的方式将变换系数块反量化。反量化模块154可使用由视频编码器20针对变换系数块的CU所计算的量化参数QP来确定量化程度，以及同样反量化模块154要应用的反量化的程度。
在反量化模块154对变换系数块进行反量化之后，反变换模块156可产生与变换系数块相关联的TU的残差视频块。反变换模块156可将反变换应用到变换系数块以便产生所述TU的残差视频块。举例来说，反变换模块156可向变换系数块应用反DCT、反整数变换、反卡胡嫩-罗孚(Karhunen-Loeve)变换(KLT)、反旋转变换、反方向性变换，或另一反变换。
在一些实例中，反变换模块156可基于来自视频编码器20的信令来确定要应用于变换系数块的反变换。在此些实例中，反变换模块156可基于在与变换系数块相关联的树块的四叉树的根节点处的用信号通知的变换来确定反变换。在其它实例中，反变换模块156可从一或多个译码特性(例如，块大小、译码模式等)来推断反变换。在一些实例中，反变换模块156可应用级联反变换。
在一些实例中，运动补偿模块162可通过基于内插滤波器执行内插来细化PU的所预测的视频块。待用于具有子样本精度的运动补充的内插滤波器的识别符可包含在语法元素中。运动补偿模块162可使用由视频编码器20在PU的所预测的视频块的产生期间所使用的相同内插滤波器来计算参考块的子整数样本的内插值。运动补偿模块162可根据所接收的语法信息来确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生所预测的视频块。
如果使用帧内预测对PU进行编码，那么帧内预测模块164可执行帧内预测以产生PU的所预测的视频块。举例来说，帧内预测模块164可基于位流中的语法元素来确定PU的帧内预测模式方向或帧内预测方向。所述位流可包含帧内预测模块164可用于确定PU的帧内预测模式的方向的语法元素。
在一些情况下，语法元素可指示帧内预测模块164将使用另一PU的帧内预测方向来确定当前PU的帧内预测方向。举例来说，当前PU的帧内预测方向与相邻PU的帧内预测方向相同可为可能的。换句话说，相邻PU的帧内预测方向可为当前PU的最可能模式。因此，在此实例中，位流可包含小语法元素，所述小语法元素指示PU的帧内预测方向与相邻PU的帧内预测方向相同。帧内预测模块164可随后使用帧内预测方向以基于空间相邻的PU的视频块来产生PU的预测数据(例如，所预测的样本)。
重构模块158可使用与CU的TU相关联的残差视频块及CU的PU的所预测的视频块(即，帧内预测数据或帧间预测数据(在适用时))来重构CU的视频块。因此，视频解码器30可基于位流中的语法元素而产生所预测的视频块及残差视频块，且可基于所预测的视频块及残差视频块而产生视频块。
在重构模块158重构CU的视频块之后，滤波器模块159可执行解块操作以减少与所述CU相关联的成块假影。在滤波器模块159执行解块操作以减少与CU相关联的成块假影之后，视频解码器30可将所述CU的视频块存储在经解码图片缓冲器160中。经解码图片缓冲器160可提供参考图片以用于后续的运动补偿、帧内预测以及在显示装置(例如，图1的显示装置32)上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器160中的视频块对其它CU的PU执行帧内预测或帧间预测操作。
图4是展示SVC二元空间可缩放性中的基础层图片(灰色圆圈，例如第一灰色圆圈420)及增强层图片(白色圆圈，例如第一白色圆圈410)的实例像素位置的概念图400。可如本发明中所论述将上取样滤波应用于基础层以便匹配增强层的空间纵横比。在所说明的实例中，增强层图片与基础层图片之间的分数像素偏移是0.25及0.75。在MPEG AVC/SVC标准中，可以1/16准确度来量化所述相位，其可产生滤波器组中的16个滤波器。
在一些实施例中，视频译码器(例如，视频编码器20或视频解码器30)可使用上取样滤波器相移以自适应的方式执行上取样。可将额外的相移添加到使用用于上取样滤波器选择的典型程序而计算出的相位。举例来说，可添加额外的相移，例如1/16、-1/16(或另一相移)。可在若干层级中的一者处调适所述额外的相移，例如序列层级、图片层级、切片层级、瓦片层级、LCU层级、CU层级、PU层级，或另一层级。可在LCU/CU/PU层级语法处或使用较高层级标头语法(例如，切片标头、图片参数集、序列参数集或视频参数集或其类似者)用信号发送额外的相移值。
可基于增强层及基础层的已经重构的相邻像素来导出额外的相移。另外或替代地，可从先前重构的基础及增强层帧导出额外的相移。
可针对亮度色彩分量或色度色彩分量或两者应用相移。可进一步在其它色彩坐标系的一或多个维度上选择性地应用相移。所述相移可对应于滤波器组中具有某一滤波器索引的滤波器。
可将相位界定为用于上取样滤波器导出的周期性基函数的自变量。此基可基于余弦。在一些实施例中，可如下通过等式1界定上取样：
F ( x ) = Σ m = 0 N - 1 F ( m ) · Σ k = 0 N - 1 cos ( π ( m + 0.5 ) k N + α ( x , m , n , k ) ) · cos ( π ( x + 0.5 ) k N + β ( x , m , n , k ) ) - - - ( 1 )
其中x可为上取样像素位置或坐标，N可为滤波器分接头长度，且α及β是引入的值。α及β的值可为非零值且根据本发明的技术(例如)基于增强层信息(例如，增强层视频数据的预测操作模式、信令或块大小或其类似者)进行调适。在一些实施例中，α及β可为固定值或可替代地为坐标的函数，就像实例公式中的x、m及n以及求和参数k的函数。此外，在一些实施例中，用于以上公式中的基可为除余弦之外的基。在一些实施例中，可使用滤波器相位的其它定义。
此外，在一些实施例中，可针对内插滤波器应用相移及其信令以用于运动补偿预测。
在一些实施例中，视频译码器(例如，视频编码器20或视频解码器30)可使用空间像素移位以自适应的方式执行上取样。可针对例如图5A和5B所说明的上取样滤波器应用空间像素移位，其展示基础层块510及增强层块520的移位。具体来说，图5A和5B说明增强层的空间像素移位。图5A展示基础层块510及一个突出显示的基础层子块512。图5B展示增强层块520相对于基础层块510及另一突出显示的基础层子块514的移位。
考虑一维空间像素移位实例，用于上取样中的像素的数目可取决于滤波器分接头长度，且在8分接头滤波器的情况下，可使用相对于块边缘具有坐标{-4，-3，-2，-1，0，1，2，3}的以下像素。在一些实施例中，由于基础及增强层的不同分辨率，BL及EL块可彼此相抵地移位。因此，可将像素移位有利地应用于上取样滤波器的输出。举例来说，可使用+1或-1的像素位移。对于+1的像素移位，举例来说，可使用一个维度上的以下像素坐标{-3，-2，-1，0，1，2，3，4}。在二维实施例中，可在垂直或水平方向中的任一者或两者上进行移位。此外，在一些实施例中，移位可扩展到三个或更多个维度或针对像素的一部分，例如二分之一像素或四分之一像素移位。
可基于增强层及基础层的已经重构的相邻像素来导出像素移位。另外或替代地，可基于先前重构的基础及增强层帧导出像素移位。可在最大译码单元(LCU)层级、译码单元(CU)层级、预测单元(PU)层级、标头(例如，切片、图片及序列标头或其类似者)或视频参数集处用信号发送所述像素移位。可针对亮度色彩分量或色度色彩分量或两者应用移位。
此外，可针对内插滤波器应用如本发明中所描述的移位技术及其信令以用于运动补偿预测。
在一些实施例中，视频译码器(例如，视频编码器20或视频解码器30)可使用上取样滤波器调适以自适应的方式执行上取样，以使得可选择性地应用具有不同特性(例如，不同平滑度、锐度或长度)的多组上取样滤波器中的一组上取样滤波器。举例来说，所选择的或所应用的上取样滤波器组可取决于视频块、图片或切片的预测操作模式。在此些情况下，可针对每一预测操作模式或预测操作模式的一或多个群组而应用不同组上取样滤波器。举例来说，对于帧内预测预测操作模式，所述组滤波器可包含一或多个8分接头滤波器，而对于差预测操作模式，所述组滤波器可包含一或多个4分接头滤波器。有利的是，8分接头滤波器可以用于帧内预测模式以在对含有相对详细的信息(例如，经帧内预测译码的数据)的视频数据的上取样中实现比较短的滤波器增加的锐度或平滑度。此外，较短的4分接头滤波器可以用于差预测操作模式以在对含有相对较不详细的信息(例如，经差译码的数据)的视频数据的上取样中实现比较长的滤波器减少的存储器使用。
界定多组上取样滤波器的系数可为固定的且在系统中被硬译码，或所述系数可根据(例如)经译码内容而被导出(例如，“在运行中”)。可在LCU/CU/PU层级语法、标头(例如，切片、图片及序列标头或其类似者)或视频参数集处用信号发送系数滤波器组。此外，可在LCU/CU/PU层级语法、标头(例如，切片、图片及序列标头或其类似者)或视频参数集处用信号发送滤波器组索引以指示用于一或多个对应的上取样过程的滤波器组。
另外或替代地，可根据EL预测模式自适应地选择用于基础层上取样的滤波器组。在一些实施例中，所述滤波器组对于纹理BL模式、差域帧内预测模式及差域帧间预测模式可为不同的。纹理BL模式可指在BL重构可用作增强层的预测符时的模式，且差域预测模式可指在可预测经重构基础层与EL原始数据之间的差时的模式。
在一些实施例中，可基于增强层的已经重构的相邻像素和/或基础层的相邻或位于同一地点的像素来导出所使用的滤波器组。此外，可基于先前重构的基础和/或增强层帧来导出滤波器组。
在一些实施例中，可根据对应的内容统计数据来选择滤波器组。一个实例是较长的滤波器在平滑区中可为优选的，而在跨越强边缘使用滤波器的情况下较短的滤波器可为优选的。跨越强边缘的长滤波器可产生所述边缘的回声(环移假影)，其可损害压缩和/或质量。因此，在一些实施例中，可有利地应用具有不同长度的多组上取样滤波器(例如，取决于正被滤波的视频数据的内容)。此外，可将所使用的滤波器组导出到基础层图片中的对应区域的边缘统计数据。
在一些情况下，可针对亮度或色度色彩分量或两者应用不同的滤波器组。此外，可针对内插滤波器应用滤波器组及对应的导出以用于运动补偿预测。
在一些实施例中，如本发明中所使用的相移可涉及滤波器相移，其中滤波器系数与所述相移相关联。改变滤波器相位或将不同相移应用到当前相位可导致滤波器系数中的改变。滤波器相位可进一步与滤波器组中的滤波器索引相关联。
图6说明用于译码视频数据的实例方法600。所述方法600可由视频编码器20或视频解码器30的一或多个组件(包含上取样模块130或上取样模块170)执行。在一些实施例中，可以使用其它组件来实施本文中所描述的步骤中的一或多者。
在节点605处，至少基于增强层视频数据的预测操作模式选择多个滤波器组中的一或多个滤波器组以用于对基础层视频数据上取样。所述多个滤波器组中的一些滤波器组可彼此具有一些不同的滤波器特性。在节点610处，使用所述选定的滤波器组对基础层视频数据上取样。所述经上取样的基础层视频数据可具有与增强层视频数据相同的空间分辨率。在节点615处，至少基于所述经上取样的基础层视频数据及预测操作模式来译码增强层视频数据。
图7说明用于译码视频数据的实例方法700。所述方法700可由视频编码器20或视频解码器30的一或多个组件(包含上取样模块130或上取样模块170)执行。在一些实施例中，可以使用其它组件来实施本文中所描述的步骤中的一或多者。
在节点705处，至少基于基础层视频数据与增强层视频数据之间的相移及空间纵横比从滤波器组选择一滤波器。在节点710处，使用所述选定的滤波器对基础层视频数据上取样。所述经上取样的基础层视频数据可具有与增强层视频数据相同的空间分辨率。在节点715处，可至少基于经上取样的基础层视频数据来译码增强层视频数据。
图8说明用于译码视频数据的实例方法800。所述方法800可由视频编码器20或视频解码器30的一或多个组件(包含上取样模块130或上取样模块170)执行。在一些实施例中，可以使用其它组件来实施本文中所描述的步骤中的一或多者。
在节点805处，使用滤波器对基础层视频数据上取样。所述经上取样的基础层视频数据可具有与增强层视频数据相同的空间分辨率。在节点810处，在像素域中相对于增强层视频数据转移所述经上取样的基础层视频数据。在节点815处，至少基于经转移、经上取样的基础层视频数据来译码增强层视频数据。
在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一或多个指令或代码存储在计算机可读媒体上或经由计算机可读媒体进行传输且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体等有形媒体)或通信媒体，通信媒体包含促进(例如)根据通信协议将计算机程序从一处传递到另一处的任何媒体。以此方式，计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索指令、代码和/或数据结构来用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
举例来说且并非限制，所述计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，快闪存储器，或可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。同样，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源传输软件，则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它瞬时媒体，而是针对于非瞬时的、有形存储媒体。如本文中所使用，磁盘及光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常磁性地复制数据，而光盘使用激光光学地复制数据。以上各者的组合也应包含在计算机可读媒体的范围内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行所述指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于经配置以用于编码及解码的专用硬件模块和/或软件模块内，或并入组合式编解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可实施于广泛多种装置或设备中，包含无线手持机、集成电路(IC)或IC组(例如，芯片组)。本发明中描述各种组件、模块或单元来强调经配置以执行所揭示的技术的装置的若干功能性方面，但不一定需要通过不同的硬件单元来实现。而是，如上文所描述，各种单元可联合合适的软件和/或固件而组合于编解码器硬件单元中或通过互操作的硬件单元的集合(包含如上文所描述的一或多个处理器)来提供。
在又其它实例中，本发明可针对于存储经压缩视频内容的计算机可读媒体，其中根据本文中所描述的技术中的一或多者来压缩所述视频内容。
已描述各种实例。这些及其它实例属于所附权利要求书的范围内。

Claims (95)

1.一种用于译码视频数据的视频译码器，所述视频译码器包括：
处理器，其经配置以：
至少基于用于第二层视频数据的预测操作模式从多个滤波器组选择一滤波器组以用于对第一层视频数据上取样，所述多个滤波器组中的一些滤波器组彼此具有一些不同的滤波器特性，
使用所述选定的滤波器组对所述第一层视频数据上取样，所述经上取样的第一层视频数据具有与所述第二层视频数据相同的空间分辨率，及
至少基于所述经上取样的第一层视频数据及所述预测操作模式来译码所述第二层视频数据；及
存储器，其经配置以存储所述经上取样的第一层视频数据。
2.根据权利要求1所述的视频译码器，其中所述处理器经配置以根据所述预测操作模式是否包括帧内预测模式、帧间预测模式、残差内预测模式、残差间预测模式或纹理基础层模式中的至少一者来选择所述滤波器组。
3.根据权利要求1所述的视频译码器，其中所述处理器经配置以在所述预测操作模式是帧内预测模式时将第一滤波器组选择为所述选定的滤波器组，且在所述预测操作模式是帧间预测模式时将不同于所述第一滤波器组的第二滤波器组选择为所述选定的滤波器组。
4.根据权利要求1所述的视频译码器，其中所述处理器经配置以至少基于先前由所述处理器译码的视频数据来选择所述滤波器组。
5.根据权利要求1所述的视频译码器，其中所述第二层视频数据包括第二层块、切片或图片。
6.根据权利要求1所述的视频译码器，其中所述处理器经配置以：
从所述第一或第二层视频数据的一或多个语法元素或标头或至少基于先前由所述处理器译码的视频数据来确定相移；及
至少基于所述所确定的相移及所述第一层视频数据与所述第二层视频数据之间的空间纵横比而从所述选定的滤波器组选择一滤波器以用于对所述第一层视频数据上取样。
7.根据权利要求1所述的视频译码器，其中所述处理器经配置以：
至少基于所述第一或第二层视频数据的一或多个语法元素或标头或至少基于先前由所述处理器译码的视频数据来确定移位距离；及
在译码所述第二层视频数据之前根据所述所确定的移位距离在像素域中相对于所述第二层视频数据来转移所述经上取样的第一层视频数据。
8.根据权利要求1所述的视频译码器，其中所述处理器经配置以至少基于所述第二层视频数据的块大小来选择所述滤波器组。
9.根据权利要求1所述的视频译码器，其中所述不同的滤波器特性包括以下各者中的一或多者：不同的滤波器长度、不同的滤波器输出锐度，或不同的滤波器输出平滑度。
10.根据权利要求1所述的视频译码器，其中所述处理器包括解码器。
11.根据权利要求1所述的视频译码器，其中所述处理器包括编码器。
12.根据权利要求1所述的视频译码器，其中所述视频译码器是装置的一部分，所述装置选自由以下各者组成的群组：桌上型计算机、笔记本计算机、平板计算机、机顶盒、电话手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台及视频流式传输装置。
13.一种译码视频数据的方法，所述方法包括：
至少基于用于第二层视频数据的预测操作模式从多个滤波器组选择一滤波器组以用于对第一层视频数据上取样，所述多个滤波器组中的一些滤波器组彼此具有一些不同的滤波器特性；
使用所述选定的滤波器组对所述第一层视频数据上取样，所述经上取样的第一层视频数据具有与所述第二层视频数据相同的空间分辨率；及
至少基于所述经上取样的第一层视频数据及所述预测操作模式来译码所述第二层视频数据。
14.根据权利要求13所述的方法，其进一步包括根据所述预测操作模式是否包括帧内预测模式、帧间预测模式、残差内预测模式、残差间预测模式或纹理基础层模式中的至少一者来选择所述滤波器组。
15.根据权利要求13所述的方法，其进一步包括：
在所述预测操作模式是帧内预测模式时将第一滤波器组选择为所述选定的滤波器组；及
在所述预测操作模式是帧间预测模式时将不同于所述第一滤波器组的第二滤波器组选择为所述选定的滤波器组。
16.根据权利要求13所述的方法，其进一步包括至少基于先前译码的视频数据来选择所述滤波器组。
17.根据权利要求13所述的方法，其中所述第二层视频数据包括第二层块、切片或图片。
18.根据权利要求13所述的方法，其进一步包括：
从所述第一或第二层视频数据的一或多个语法元素或标头或至少基于先前译码的视频数据来确定相移；及
至少基于所述所确定的相移及所述第一层视频数据与所述第二层视频数据之间的空间纵横比而从所述选定的滤波器组选择一滤波器以用于对所述第一层视频数据上取样。
19.根据权利要求13所述的方法，其进一步包括：
至少基于所述第一或第二层视频数据的一或多个语法元素或标头或至少基于先前译码的视频数据来确定移位距离；及
在译码所述第二层视频数据之前根据所述所确定的移位距离在像素域中相对于所述第二层视频数据来转移所述经上取样的第一层视频数据。
20.根据权利要求13的方法，其进一步包括至少基于所述第二层视频数据的块大小来选择所述滤波器组。
21.根据权利要求13所述的方法，其中所述不同的滤波器特性包括以下各者中的一或多者：不同的滤波器长度、不同的滤波器输出锐度，或不同的滤波器输出平滑度。
22.根据权利要求13所述的方法，其进一步包括接收从经编码视频位流提取的语法元素，所述语法元素包括所述预测操作模式的指示。
23.根据权利要求13所述的方法，其进一步包括至少基于所述预测操作模式而产生经编码视频位流的语法元素。
24.一种用于译码视频数据的视频译码器，所述视频译码器包括：
用于至少基于用于第二层视频数据的预测操作模式从多个滤波器组选择一滤波器组以用于对第一层视频数据上取样的装置，所述多个滤波器组中的一些滤波器组彼此具有一些不同的滤波器特性；
用于使用所述选定的滤波器组对所述第一层视频数据上取样的装置，所述经上取样的第一层视频数据具有与所述第二层视频数据相同的空间分辨率；及
用于至少基于所述经上取样的第一层视频数据及所述预测操作模式来译码所述第二层视频数据的装置。
25.根据权利要求24所述的视频译码器，其中所述用于选择的装置经配置以根据所述预测操作模式是否包括帧内预测模式、帧间预测模式、残差内预测模式、残差间预测模式或纹理基础层模式中的至少一者来选择所述滤波器组。
26.根据权利要求24所述的视频译码器，其进一步包括：
用于从所述第一或第二层视频数据的一或多个语法元素或标头或至少基于先前由所述用于译码的装置译码的视频数据来确定相移的装置；及
用于至少基于所述所确定的相移及所述第一层视频数据与所述第二层视频数据之间的空间纵横比而从所述选定的滤波器组选择一滤波器以用于对所述第一层视频数据上取样的装置。
27.根据权利要求24所述的视频译码器，其进一步包括：
用于至少基于所述第一或第二层视频数据的一或多个语法元素或标头或至少基于先前由所述用于译码的装置译码的视频数据来确定移位距离的装置；及
用于在译码所述第二层视频数据之前根据所述所确定的移位距离在像素域中相对于所述第二层视频数据来转移所述经上取样的第一层视频数据的装置。
28.根据权利要求24所述的视频译码器，其中所述用于选择的装置经配置以至少基于所述第二层视频数据的块大小来选择所述滤波器组。
29.一种存储可执行程序指令的非暂时性计算机存储装置，所述可执行程序指令引导用于译码视频数据的视频译码器执行过程，所述过程包括：
至少基于用于第二层视频数据的预测操作模式从多个滤波器组选择一滤波器组以用于对第一层视频数据上取样，所述多个滤波器组中的一些滤波器组彼此具有一些不同的滤波器特性；
使用所述选定的滤波器组对所述第一层视频数据上取样，所述经上取样的第一层视频数据具有与所述第二层视频数据相同的空间分辨率；及
至少基于所述经上取样的第一层视频数据及所述预测操作模式来译码所述第二层视频数据。
30.根据权利要求29所述的非暂时性计算机存储装置，其中所述过程进一步包括根据所述预测操作模式是否包括帧内预测模式、帧间预测模式、残差内预测模式、残差间预测模式或纹理基础层模式中的至少一者来选择所述滤波器组。
31.根据权利要求29所述的非暂时性计算机存储装置，其中所述过程进一步包括：
从所述第一或第二层视频数据的一或多个语法元素或标头或至少基于先前译码的视频数据来确定相移；及
至少基于所述所确定的相移及所述第一层视频数据与所述第二层视频数据之间的空间纵横比而从所述选定的滤波器组选择一滤波器以用于对所述第一层视频数据上取样。
32.根据权利要求29所述的非暂时性计算机存储装置，其中所述过程进一步包括：
至少基于所述第一或第二层视频数据的一或多个语法元素或标头或至少基于先前译码的视频数据来确定移位距离；及
在译码所述第二层视频数据之前根据所述所确定的移位距离在像素域中相对于所述第二层视频数据来转移所述经上取样的第一层视频数据。
33.根据权利要求29的非暂时性计算机存储装置，其中所述过程进一步包括至少基于所述第二层视频数据的块大小来选择所述滤波器组。
34.一种用于译码视频数据的视频译码器，所述视频译码器包括：
处理器，其经配置以：
至少基于第一层视频数据与第二层视频数据之间的相移及空间纵横比而从滤波器组选择一滤波器以用于对所述第一层视频数据上取样，
使用所述选定的滤波器对所述第一层视频数据上取样，所述经上取样的第一层视频数据具有与所述第二层视频数据相同的空间分辨率，及
至少基于所述经上取样的第一层视频数据来译码所述第二层视频数据；及存储器，其经配置以存储所述经上取样的第一层视频数据。
35.根据权利要求34所述的视频译码器，其中所述处理器经配置以至少基于所述相移与至少基于所述第一层视频数据与所述第二层视频数据之间的所述空间纵横比而确定的相位之间的比较来选择所述滤波器。
36.根据权利要求34所述的视频译码器，其中所述处理器经配置以从所述第一或第二层视频数据的一或多个语法元素或标头确定所述相移。
37.根据权利要求34所述的视频译码器，其中所述处理器经配置以至少基于先前由所述处理器译码的视频数据来确定所述相移。
38.根据权利要求34所述的视频译码器，其中所述第一层视频数据包括第一层块、切片或图片。
39.根据权利要求34所述的视频译码器，其中所述处理器包括解码器。
40.根据权利要求34所述的视频译码器，其中所述处理器包括编码器。
41.根据权利要求34所述的视频译码器，其中所述视频译码器是装置的一部分，所述装置选自由以下各者组成的群组：桌上型计算机、笔记本计算机、平板计算机、机顶盒、电话手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台及视频流式传输装置。
42.一种译码视频数据的方法，所述方法包括：
至少基于第一层视频数据与第二层视频数据之间的相移及空间纵横比而从滤波器组选择一滤波器以用于对所述第一层视频数据上取样；
使用所述选定的滤波器对所述第一层视频数据上取样，所述经上取样的第一层视频数据具有与所述第二层视频数据相同的空间分辨率；及
至少基于所述经上取样的第一层视频数据来译码所述第二层视频数据。
43.根据权利要求42所述的方法，其进一步包括至少基于所述相移与至少基于所述第一层视频数据与所述第二层视频数据之间的所述空间纵横比而确定的相位之间的比较来选择所述滤波器。
44.根据权利要求42所述的方法，其进一步包括从所述第一或第二层视频数据的一或多个语法元素或标头确定所述相移。
45.根据权利要求42所述的方法，其进一步包括至少基于先前译码的视频数据来确定所述相移。
46.根据权利要求42所述的方法，其中所述第一层视频数据包括第一层块、切片或图片。
47.根据权利要求42所述的方法，其进一步包括接收从经编码视频位流提取的语法元素，所述语法元素包括所述相移的指示。
48.根据权利要求42所述的方法，其进一步包括至少基于所述相移而产生经编码视频位流的语法元素。
49.一种用于译码视频数据的视频译码器，所述视频译码器包括：
用于至少基于第一层视频数据与第二层视频数据之间的相移及空间纵横比而从滤波器组选择一滤波器以用于对所述第一层视频数据上取样的装置；
用于使用所述选定的滤波器对所述第一层视频数据上取样的装置，所述经上取样的第一层视频数据具有与所述第二层视频数据相同的空间分辨率；及
用于至少基于所述经上取样的第一层视频数据来译码所述第二层视频数据的装置。
50.根据权利要求49所述的视频译码器，其中所述用于选择的装置经配置以至少基于所述相移与至少基于所述第一层视频数据与所述第二层视频数据之间的所述空间纵横比而确定的相位之间的比较来选择所述滤波器。
51.根据权利要求49所述的视频译码器，其进一步包括用于从所述第一或第二层视频数据的一或多个语法元素或标头确定所述相移的装置。
52.根据权利要求49所述的视频译码器，其进一步包括用于至少基于先前由所述用于译码的装置译码的视频数据来确定所述相移的装置。
53.根据权利要求49所述的视频译码器，其中所述第一层视频数据包括第一层块、切片或图片。
54.根据权利要求49所述的视频译码器，其进一步包括用于接收从经编码视频位流提取的语法元素的装置，所述语法元素包括所述相移的指示。
55.根据权利要求49所述的视频译码器，其进一步包括用于至少基于所述相移而产生经编码视频位流的语法元素的装置。
56.一种存储可执行程序指令的非暂时性计算机存储装置，所述可执行程序指令引导用于译码视频数据的视频译码器执行过程，所述过程包括：
至少基于第一层视频数据与第二层视频数据之间的相移及空间纵横比而从滤波器组选择一滤波器以用于对所述第一层视频数据上取样；
使用所述选定的滤波器对所述第一层视频数据上取样，所述经上取样的第一层视频数据具有与所述第二层视频数据相同的空间分辨率；及
至少基于所述经上取样的第一层视频数据来译码所述第二层视频数据。
57.根据权利要求56所述的非暂时性计算机存储装置，其中所述过程进一步包括至少基于所述相移与至少基于所述第一层视频数据与所述第二层视频数据之间的所述空间纵横比而确定的相位之间的比较来选择所述滤波器。
58.根据权利要求56所述的非暂时性计算机存储装置，其中所述过程进一步包括从所述第一或第二层视频数据的一或多个语法元素或标头确定所述相移。
59.根据权利要求56所述的非暂时性计算机存储装置，其中所述过程进一步包括至少基于先前译码的视频数据来确定所述相移。
60.根据权利要求56所述的非暂时性计算机存储装置，其中所述第一层视频数据包括第一层块、切片或图片。
61.根据权利要求56所述的非暂时性计算机存储装置，其中所述过程进一步包括接收从经编码视频位流提取的语法元素，所述语法元素包括所述相移的指示。
62.根据权利要求56所述的非暂时性计算机存储装置，其中所述过程进一步包括至少基于所述相移而产生经编码视频位流的语法元素。
63.一种用于译码视频数据的视频译码器，所述视频译码器包括：
处理器，其经配置以：
使用滤波器对第一层视频数据上取样，所述经上取样的第一层视频数据具有与第二层视频数据相同的空间分辨率，
在像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据，及
至少基于所述经转移、经上取样的第一层视频数据来译码所述第二层视频数据；及
存储器，其经配置以存储所述经转移、经上取样的第一层视频数据。
64.根据权利要求63所述的视频译码器，其中所述处理器经配置以在所述像素域中相对于所述第二层视频数据在垂直方向及水平方向上转移所述经上取样的第一层视频数据。
65.根据权利要求63所述的视频译码器，其中所述处理器经配置以在所述像素域中相对于所述第二层视频数据在三个或更多个维度上转移所述经上取样的第一层视频数据。
66.根据权利要求63所述的视频译码器，其中所述处理器经配置以：从所述第一或第二层视频数据的一或多个语法元素或标头确定移位距离；及根据所述所确定的移位距离在所述像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据。
67.根据权利要求63所述的视频译码器，其中所述处理器经配置以至少基于先前由所述处理器译码的视频数据来确定移位距离；及根据所述所确定的移位距离在所述像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据。
68.根据权利要求63所述的视频译码器，其中所述第一层视频数据包括第一层块、切片或图片。
69.根据权利要求63所述的视频译码器，其中所述处理器包括解码器。
70.根据权利要求63所述的视频译码器，其中所述处理器包括编码器。
71.根据权利要求63所述的视频译码器，其中所述视频译码器是装置的一部分，所述装置选自由以下各者组成的群组：桌上型计算机、笔记本计算机、平板计算机、机顶盒、电话手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台及视频流式传输装置。
72.一种译码视频数据的方法，所述方法包括：
使用滤波器对第一层视频数据上取样，所述经上取样的第一层视频数据具有与第二层视频数据相同的空间分辨率；
在像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据；及
至少基于所述经转移、经上取样的第一层视频数据来译码所述第二层视频数据。
73.根据权利要求72所述的方法，其进一步包括在所述像素域中相对于所述第二层视频数据在垂直方向及水平方向上转移所述经上取样的第一层视频数据。
74.根据权利要求72所述的方法，其进一步包括在所述像素域中相对于所述第二层视频数据在三个或更多个维度上转移所述经上取样的第一层视频数据。
75.根据权利要求72所述的方法，其进一步包括：
从所述第一或第二层视频数据的一或多个语法元素或标头确定移位距离；及
根据所述所确定的移位距离在所述像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据。
76.根据权利要求72所述的方法，其进一步包括：
至少基于先前译码的视频数据来确定移位距离；及
根据所述所确定的移位距离在所述像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据。
77.根据权利要求72所述的方法，其中所述第一层视频数据包括第一层块、切片或图片。
78.根据权利要求72所述的方法，其进一步包括：
接收从经编码视频位流提取的语法元素，所述语法元素包括移位距离的指示；及
根据所述移位距离的所述指示在所述像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据。
79.根据权利要求72所述的方法，其进一步包括：
至少基于移位距离而产生经编码视频位流的语法元素；及
根据所述移位距离在所述像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据。
80.一种用于译码视频数据的视频译码器，所述视频译码器包括：
用于使用滤波器对第一层视频数据上取样的装置，所述经上取样的第一层视频数据具有与第二层视频数据相同的空间分辨率；
用于在像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据的装置；及
用于至少基于所述经转移、经上取样的第一层视频数据来译码所述第二层视频数据的装置。
81.根据权利要求80所述的视频译码器，其中所述用于转移的装置经配置以在所述像素域中相对于所述第二层视频数据在垂直方向及水平方向上转移所述经上取样的第一层视频数据。
82.根据权利要求80所述的视频译码器，其中所述用于转移的装置经配置以在所述像素域中相对于所述第二层视频数据在三个或更多个维度上转移所述经上取样的第一层视频数据。
83.根据权利要求80所述的视频译码器，其进一步包括用于从所述第一或第二层视频数据的一或多个语法元素或标头确定移位距离的装置，其中所述用于转移的装置经配置以根据所述所确定的移位距离来转移所述经上取样的第一层视频数据。
84.根据权利要求80所述的视频译码器，其进一步包括用于至少基于先前由所述用于译码的装置译码的视频数据来确定移位距离的装置，其中所述用于转移的装置经配置以根据所述所确定的移位距离来转移所述经上取样的第一层视频数据。
85.根据权利要求80所述的视频译码器，其中所述第一层视频数据包括第一层块、切片或图片。
86.根据权利要求80所述的视频译码器，其进一步包括用于接收从经编码视频位流提取的语法元素的装置，所述语法元素包括移位距离的指示，其中所述用于转移的装置经配置以根据所述移位距离的所述指示在所述像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据。
87.根据权利要求80所述的视频译码器，其进一步包括用于至少基于移位距离而产生经编码视频位流的语法元素的装置，其中所述用于转移的装置经配置以根据所述移位距离在所述像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据。
88.一种存储可执行程序指令的非暂时性计算机存储装置，所述可执行程序指令引导用于译码视频数据的视频译码器执行过程，所述过程包括：
使用滤波器对第一层视频数据上取样，所述经上取样的第一层视频数据具有与第二层视频数据相同的空间分辨率；
在像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据；及
至少基于所述经转移、经上取样的第一层视频数据来译码所述第二层视频数据。
89.根据权利要求88所述的非暂时性计算机存储装置，其中所述过程进一步包括在所述像素域中相对于所述第二层视频数据在垂直方向及水平方向上转移所述经上取样的第一层视频数据。
90.根据权利要求88所述的非暂时性计算机存储装置，其中所述过程进一步包括在所述像素域中相对于所述第二层视频数据在三个或更多个维度上转移所述经上取样的第一层视频数据。
91.根据权利要求88所述的非暂时性计算机存储装置，其中所述过程进一步包括：
从所述第一或第二层视频数据的一或多个语法元素或标头确定移位距离；及
根据所述所确定的移位距离在所述像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据。
92.根据权利要求88所述的非暂时性计算机存储装置，其中所述过程进一步包括：
至少基于先前译码的视频数据来确定移位距离；及
根据所述所确定的移位距离在所述像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据。
93.根据权利要求88所述的非暂时性计算机存储装置，其中所述第一层视频数据包括第一层块、切片或图片。
94.根据权利要求88所述的非暂时性计算机存储装置，其中所述过程进一步包括：
接收从经编码视频位流提取的语法元素，所述语法元素包括移位距离的指示；及
根据所述移位距离的所述指示在所述像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据。
95.根据权利要求88所述的非暂时性计算机存储装置，其中所述过程进一步包括：
至少基于移位距离而产生经编码视频位流的语法元素；及
根据所述移位距离在所述像素域中相对于所述第二层视频数据转移所述经上取样的第一层视频数据。
CN201380030069.2A 2012-06-08 2013-06-06 用于视频压缩的自适应上取样滤波器 Active CN104396243B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261657516P 2012-06-08 2012-06-08
US61/657,516 2012-06-08
US201261707127P 2012-09-28 2012-09-28
US61/707,127 2012-09-28
US13/910,995 US9420280B2 (en) 2012-06-08 2013-06-05 Adaptive upsampling filters
US13/910,995 2013-06-05
PCT/US2013/044576 WO2013184954A2 (en) 2012-06-08 2013-06-06 Adaptive upsampling filters

Publications (2)

Publication Number Publication Date
CN104396243A true CN104396243A (zh) 2015-03-04
CN104396243B CN104396243B (zh) 2018-02-09

Family

ID=48703837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380030069.2A Active CN104396243B (zh) 2012-06-08 2013-06-06 用于视频压缩的自适应上取样滤波器

Country Status (4)

Country Link
US (1) US9420280B2 (zh)
EP (1) EP2859722B1 (zh)
CN (1) CN104396243B (zh)
WO (1) WO2013184954A2 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105519118A (zh) * 2013-07-11 2016-04-20 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序
CN109792524A (zh) * 2016-10-05 2019-05-21 高通股份有限公司 切换内插滤波器的系统及方法
WO2020094000A1 (en) * 2018-11-05 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Interpolation for inter prediction with refinement
CN112422990A (zh) * 2015-06-22 2021-02-26 高通股份有限公司 使用混合递归滤波器的视频帧内预测方法、装置和可读媒体
CN116097310A (zh) * 2020-09-18 2023-05-09 松下电器（美国）知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置及三维数据解码装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130050149A (ko) 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
WO2014025741A2 (en) * 2012-08-06 2014-02-13 Vid Scale, Inc. Sampling grid information for spatial layers in multi-layer video coding
US9344718B2 (en) * 2012-08-08 2016-05-17 Qualcomm Incorporated Adaptive up-sampling filter for scalable video coding
TWI597968B (zh) 2012-12-21 2017-09-01 杜比實驗室特許公司 在高位元深度視訊的可適性編碼中，高精度升取樣
WO2014144559A1 (en) * 2013-03-15 2014-09-18 General Instrument Corporation Adaptive sampling filter process for scalable video coding
US9503733B2 (en) 2013-04-10 2016-11-22 ARRIS Enterprises, LLC Re-sampling with phase offset adjustment for luma and chroma to signal adaptive filters in scalable video coding
CA2918456C (en) * 2013-07-16 2018-09-04 Arris Enterprises, Inc. Resampling filters for scalable video coding with phase offset adjustment and signaling of same
WO2015009068A1 (ko) * 2013-07-16 2015-01-22 삼성전자 주식회사 비트 뎁스 및 컬러 포맷의 변환을 동반하는 업샘플링 필터를 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
US20160241882A1 (en) * 2013-10-11 2016-08-18 Sony Corporation Image processing apparatus and image processing method
AU2014373904B2 (en) 2014-01-03 2018-03-08 Commscope Uk Limited Conditionally parsed extension syntax for HEVC extension processing
CA2943121C (en) * 2014-03-18 2020-09-08 Arris Enterprises Llc Scalable video coding using reference and scaled reference layer offsets
US20150271495A1 (en) * 2014-03-18 2015-09-24 Arris Enterprises, Inc. Scalable Video Coding using Phase Offset Flag Signaling
WO2015168581A1 (en) 2014-05-01 2015-11-05 Arris Enterprises, Inc. Reference layer and scaled reference layer offsets for scalable video coding
CA2950749C (en) 2014-05-30 2019-02-19 Arris Enterprises Llc Reference layer offset parameters for inter-layer prediction in scalable video coding
US10764574B2 (en) * 2015-07-01 2020-09-01 Panasonic Intellectual Property Management Co., Ltd. Encoding method, decoding method, encoding apparatus, decoding apparatus, and encoding and decoding apparatus
KR20230128138A (ko) * 2015-07-08 2023-09-01 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 교차 평면 필터링을 이용한 향상된 크로마 코딩
WO2020180166A1 (ko) * 2019-03-07 2020-09-10 디지털인사이트주식회사 영상 부호화/복호화 방법 및 장치
US11595665B2 (en) 2021-02-11 2023-02-28 Qualcomm Incorporated Upsampling reference pixels for intra-prediction in video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070286283A1 (en) * 2004-10-13 2007-12-13 Peng Yin Method And Apparatus For Complexity Scalable Video Encoding And Decoding
CN101176347A (zh) * 2005-04-01 2008-05-07 Lg电子株式会社 可对视频信号缩放地进行编码和解码的方法
US20120027079A1 (en) * 2009-04-20 2012-02-02 Dolby Laboratories Licensing Corporation Adaptive Interpolation Filters for Multi-Layered Video Delivery
CN102396230A (zh) * 2009-04-24 2012-03-28 索尼公司 图像处理设备和方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6057884A (en) 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US7876833B2 (en) 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
US8755434B2 (en) * 2005-07-22 2014-06-17 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
US9014280B2 (en) 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
US8199812B2 (en) 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
US8107571B2 (en) 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070286283A1 (en) * 2004-10-13 2007-12-13 Peng Yin Method And Apparatus For Complexity Scalable Video Encoding And Decoding
CN101176347A (zh) * 2005-04-01 2008-05-07 Lg电子株式会社 可对视频信号缩放地进行编码和解码的方法
US20120027079A1 (en) * 2009-04-20 2012-02-02 Dolby Laboratories Licensing Corporation Adaptive Interpolation Filters for Multi-Layered Video Delivery
CN102396230A (zh) * 2009-04-24 2012-03-28 索尼公司 图像处理设备和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIANHUAN XIONG: "Spatial upsampling filter", 《JOINT VIDEO TEAM (JVT) OF ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 AND ITU-T SG16 Q.6) 17TH MEETING: NICE, FR》 *
SEUNG-WOOK PARK: "Intra BL prediction considering phase shift", 《JOINT VIDEO TEAM (JVT) OF ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 AND ITU-T SG16 Q.6) 15TH MEETING: BUSAN, KR》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105519118A (zh) * 2013-07-11 2016-04-20 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序
CN112422990A (zh) * 2015-06-22 2021-02-26 高通股份有限公司 使用混合递归滤波器的视频帧内预测方法、装置和可读媒体
CN109792524A (zh) * 2016-10-05 2019-05-21 高通股份有限公司 切换内插滤波器的系统及方法
WO2020094000A1 (en) * 2018-11-05 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Interpolation for inter prediction with refinement
US11064206B2 (en) 2018-11-05 2021-07-13 Beijing Bytedance Network Technology Co., Ltd. Inter prediction with refinement in video processing
US11089310B2 (en) 2018-11-05 2021-08-10 Beijing Bytedance Network Technology Co., Ltd. Interpolation for inter prediction with refinement
US11706421B2 (en) 2018-11-05 2023-07-18 Beijing Bytedance Network Technology Co., Ltd. Inter prediction with refinement in video processing
US11902535B2 (en) 2018-11-05 2024-02-13 Beijing Bytedance Network Technology Co., Ltd Prediction precision improvements in video coding
CN116097310A (zh) * 2020-09-18 2023-05-09 松下电器（美国）知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置及三维数据解码装置

Also Published As

Publication number Publication date
CN104396243B (zh) 2018-02-09
US20130329782A1 (en) 2013-12-12
WO2013184954A2 (en) 2013-12-12
US9420280B2 (en) 2016-08-16
WO2013184954A3 (en) 2014-08-07
EP2859722A2 (en) 2015-04-15
EP2859722B1 (en) 2022-02-09

Similar Documents

Publication Publication Date Title
CN104396243A (zh) 用于视频压缩的自适应上取样滤波器
CN103190147B (zh) 用于视频译码的语法元素的联合译码方法及设备
CN103797802B (zh) 用于视频译码中的短距离帧内预测的线缓冲器减少
CN104718752A (zh) 在可缩放视频译码中减少取样相位信息的发信
CN104704833A (zh) 多视图或3维视频译码中的高级视图间残差预测
CN104685876A (zh) 用于视频译码中的4:2:2样本格式的经译码块旗标(cbf)译码
CN104471942A (zh) 重新使用参数集用于视频译码
CN104737537A (zh) 用于可缩放视频译码的加权预测模式
CN105556967A (zh) 用于视频信息的可缩放译码的装置和方法
CN105474645A (zh) 当执行帧内块复制时确定区
CN104396250A (zh) 用于3d视频译码的深度图的帧内译码
CN105580365A (zh) Hevc中的基于子预测单元(pu)的时间运动向量预测和3d-hevc中的子pu设计
CN104412591A (zh) 用于差域帧内预测的帧内模式扩展
CN105580364A (zh) Hevc中的基于子预测单元(pu)的时间运动向量预测和3d-hevc中的子pu设计
CN103563378A (zh) 存储器高效的上下文建模
CN103959785A (zh) 在视频译码中用于色度分量的变换单位分割
CN105519116A (zh) 产生用于增强层中的运动预测的经调适运动向量候选者列表的可缩放hevc装置和方法
CN104823449A (zh) 在视频译码中用信号表示关注区和逐渐解码刷新
CN104205829A (zh) 合并信令及环路滤波器开/关信令
CN104335586A (zh) 运动向量舍入
CN105191310A (zh) 用于视频译码的并行处理
CN104685883A (zh) 用于3d视频的经视图间预测运动向量
CN104221381A (zh) 用于视频译码的波前并行处理
CN104521237A (zh) 用于可缩放视频译码及3d视频译码的多假设运动补偿
CN104221380A (zh) 用于并行运动估计的共同空间候选块

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant