CN105264895B - 再取样过程中的中间数据的动态范围控制 - Google Patents

再取样过程中的中间数据的动态范围控制 Download PDF

Info

Publication number
CN105264895B
CN105264895B CN201480030534.7A CN201480030534A CN105264895B CN 105264895 B CN105264895 B CN 105264895B CN 201480030534 A CN201480030534 A CN 201480030534A CN 105264895 B CN105264895 B CN 105264895B
Authority
CN
China
Prior art keywords
video
reference layer
digit
intermediate output
bit depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480030534.7A
Other languages
English (en)
Other versions
CN105264895A (zh
Inventor
陈建乐
李想
濮伟
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105264895A publication Critical patent/CN105264895A/zh
Application granted granted Critical
Publication of CN105264895B publication Critical patent/CN105264895B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

根据某些方面的一种用于对视频信息进行译码的设备包含存储器和处理器。所述存储器单元经配置以存储视频信息。所述处理器经配置以：获得参考层视频信息；在第一维度中对所述参考层视频信息上取样以产生中间输出；将所述中间输出约束到预定位深度；以及在第二维度中对所述受约束中间输出上取样，其中所述第二维度正交于所述第一维度。

Description

再取样过程中的中间数据的动态范围控制
技术领域
本发明涉及视频译码和压缩的领域。具体来说，其涉及可缩放视频译码(SVC)，包含用于高级视频译码(AVC)的SVC以及用于高效视频译码(HEVC)的SVC(其也称为可缩放HEVC(SHVC))。其还涉及3D视频译码，例如HEVC的多视图扩展(被称作MV-HEVC和3D-HEVC)。各种实施例涉及用于再取样过程中的中间数据的动态范围控制的系统和方法。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置等等。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效视频译码(HEVC)标准及这些标准的扩展中所描述的视频译码技术。视频装置可通过实施此些视频译码技术而更有效地发射、接收、编码、解码和/或存储数字视频信息。
视频译码技术包含空间(图片内)预测和/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(即，视频帧或视频帧的一部分)可以分割成视频块，视频块也可被称作树块、译码单元(CU)和/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间编码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可称为帧，且参考图片可称为参考帧。
空间或时间预测产生用于待译码块的预测块。残差数据表示待译码原始块与预测块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量和指示经译码块与预测块之间的差的残差数据编码的。经帧内译码块是根据帧内译码模式和残差数据来编码的。为了进一步压缩，可将残差数据从像素域变换到变换域，从而产生残差变换系数，接着可以对残差变换系数进行量化。可扫描最初布置成二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。
发明内容
一般来说，本发明描述与可缩放视频译码(SVC)有关的技术。下文描述的各种技术提供用于再取样过程中的中间数据的动态范围控制的所描述方法和装置。
根据某些方面的用于对视频信息进行译码的设备包含存储器和处理器。存储器单元经配置以存储视频信息。处理器经配置以：获得参考层视频信息；在第一维度中对参考层视频信息上取样以产生中间输出；将所述中间输出约束到预定位深度；以及在第二维度中对所述受约束中间输出上取样，其中所述第二维度正交于所述第一维度。
在附图和以下描述中陈述一或多个实例的细节，其并不希望限制本文中所描述的发明性概念的完整范围。其它特征、目标和优势将从所述描述和图式以及从权利要求书显而易见。
附图说明
在整个图式中，参考数字可再使用以指示参考元件之间的对应关系。提供图式以说明本文中描述的实例实施例，且并不希望限制本发明的范围。
图1是说明可利用根据本发明中描述的方面的技术的实例视频编码和解码系统的框图。
图2A为说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
图2B是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
图3A是说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。
图3B是说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。
图4为说明根据本发明的方面用于再取样过程中的中间数据的动态范围控制的实例方法的流程图。
图5为说明根据本发明的方面用于再取样过程中的中间数据的动态范围控制的另一实例方法的流程图。
具体实施方式
本发明中描述的技术一般涉及可缩放视频译码(SHVC，SVC)和多视图/3D视频译码(例如，多视图译码加上深度，MVC+D)。举例来说，所述技术可与高效视频译码(HEVC)可缩放视频译码(SVC，有时称为SHVC)扩展相关，且与其一起或在其内使用。在SHVC、SVC扩展中，可存在多个视频信息层。视频信息的最低层级处的层可充当基础层(BL)或参考层(RL)，且视频信息的最顶部(或最高层)处的层可充当增强层(EL)。“增强型层”有时被称作“增强层”，且这些术语可互换地使用。“基础层”有时被称作“参考层”，且这些术语也可互换地使用。基础层与顶层之间的所有层可充当额外EL和/或参考层。举例来说，给定层可为用于所述给定层下方(例如，在前面)的层(例如基础层或任何介入增强层)的EL。此外，给定层还可充当用于给定层上方(例如，在其之后)的一或多个增强层的RL。基础层(例如，具有例如设定为或等于“1”的层识别(ID)的最低层)与顶层(或最高层)之间的任何层可用作用于比给定层高的层的层间预测的参考，且可使用比给定层低的层作为用于层间预测的参考。举例来说，可使用比给定层低的层作为用于层间预测的参考来确定给定层。
为简单起见，根据仅两个层来呈现实例：BL及EL；然而，应很好地理解，下文描述的构想和实施例也适用于具有多个层的情况。此外，为了易于解释，常常使用术语“帧”或“块”。然而，这些术语不希望是限制性的。举例来说，下文描述的技术可与多种视频单元中的任一者一起使用，所述视频单元包含但不限于像素、块(例如，CU、PU、TU、宏块等)、切片、帧、图片等。
视频译码
视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也被称作ISO/IECMPEG-4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)及多视图译码加上深度(MVC+D)扩展。最新的HEVC草案规格(且下文中被称作HEVC WD10)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip获得。对HEVC的多视图扩展(即，MV-HEVC)也正由JCT-3V开发。下文的MV-HEVC WD3的最近工作草案(WD)可从http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/3_Geneva/wg11/JCT3V-C1004-v4.zip获得。被称为SHVC的对HEVC的可缩放扩展也是由JCT-VC开发的。SHVC的最近工作草案(WD)(且在下文被称作SHVC WD1)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1008-v1.zip获得。
在SVC和SHVC中，视频信息可作为多个层提供。在最底部层级处的层可仅充当基础层(BL)，且在最顶部层级处的层可充当增强层(EL)。顶部层与底部层之间的所有层可充当增强层和参考层两者。举例来说，在中间的层可为用于其下方的层的EL，且同时作为用于其上方的层的RL。出于描述的简单性起见，在说明下文描述的技术时，可假设存在两个层：BL和EL。然而，本文中描述的所有技术还适用于具有多个(两个以上)层的情况。
可缩放视频译码(SVC)可用于提供质量(也称为信噪比(SNR))可缩放性、空间可缩放性和/或时间可缩放性。举例来说，在一个实施例中，参考层(例如，基础层)包含足以在第一质量水平下显示视频的视频信息，且增强层包含相对于所述参考层的额外视频信息，以使得所述参考层和所述增强层一起包含足以在高于所述第一水平的第二质量水平(例如，更少的噪声、更大的分辨率、更好的帧速率等)下显示视频的视频信息。增强型层可具有与基础层不同的空间分辨率。举例来说，EL与BL之间的空间纵横比可为1.0、1.5、2.0或其它不同比率。换句话说，EL的空间纵横尺寸可等于BL的空间纵横尺寸的1.0、1.5或2.0倍。在一些实例中，EL的缩放因子可大于BL。举例来说，EL中的图片的大小可大于BL中的图片的大小。以此方式，可有可能(但非限制)EL的空间分辨率大于BL的空间分辨率。
在涉及用于H.264的SVC扩展或用于H.265的SHVC扩展(如上文所论述)的SVC中，当前块的预测可使用为SVC提供的不同层来执行。此预测可被称为层间预测。在SVC中可利用层间预测方法以便减少层间冗余。层间预测的一些实例可包含层间帧内预测、层间运动预测和层间残差预测。层间帧内预测使用基础层中的协同定位块的重建来预测增强层中的当前块。层间运动预测使用基础层的运动信息(包含运动向量)来预测增强层中的运动。层间残差预测使用基础层的残差来预测增强层的残差。
概述
在SHVC中，参考层图片可需要经再取样(例如)用于增强层中的层间预测。可通过对来自参考层图片的明度样本应用再取样滤波器而执行再取样。举例来说，可应用n-分接头滤波器。所述再取样过程可在用于二维再取样的两个步骤中发生。首先，可执行水平再取样，且随后可执行垂直再取样。举例来说，可对从水平再取样过程输出的视频信息执行垂直再取样。再取样滤波器可接收明度样本作为输入，且水平再取样过程可基于所输入的明度样本产生中间输出。中间输出可随后用作针对垂直再取样步骤的输入。在一些情形中，水平再取样过程可将额外位添加到所输入的明度样本使得中间输出与所输入明度样本相比具有较多位(例如，具有较大位深度)。额外位可使数据范围相当大，且可对垂直再取样步骤的计算复杂性具有显著影响。举例来说，用于中间数据的缓冲器可随着数据范围变高而成比例地增加。并且，内插过程(尤其乘法运算)的复杂性可很大程度取决于输入数据的位深度。此外，存在需要具有不超过特定预定最大值的位深度的输入的特定计算指令集。举例来说，可仅在具有16位(例如，具有16位位深度)的输入上使用特定16位指令集。因此，约束(例如，减小或限制)多阶段再取样过程的第一阶段的中间输出的位深度将是有利的。
为了解决这些和其它问题，本发明中描述的技术可将来自初始再取样过程(例如，水平再取样)的中间输出的位深度约束到指定位数。在一些实施例中，可通过将中间输出右移(例如，应用右移操作“>>”)特定位数而实现将位深度约束到指定位数。可基于输入到再取样滤波器的所输入明度样本的位深度确定将中间输出右移的位数。举例来说，中间输出可被约束到16位，且可通过从所输入明度样本的位深度减去8位而计算将中间输出右移的位数。可基于所输入明度样本的位数动态地确定移位的位数。如上文所提及，添加到来自初始再取样过程(例如，水平再取样)的中间输出的额外位可使数据范围较大且对接下来再取样过程(例如，垂直再取样)的计算复杂性具有显著影响。以此方式约束中间输出可缓解这些问题和/或难题。此外，以此方式约束中间输出可产生更精确结果且减小四舍五入误差，且可允许译码装置和过程利用特定更有效译码指令集。
在一些实施例中，来自垂直再取样过程的输出也可以类似方式受约束。在某些实施例中，可在水平再取样过程之前执行垂直再取样过程。所述技术还可应用于三维译码。举例来说，来自x轴中的再取样的中间输出可被约束到预定位深度，且来自y轴中的再取样的中间输出也可被约束到预定位深度。待移位的位数可基于所输入明度样本的位深度和/或来自再取样中的先前步骤的中间输出的位深度。通常，参考层图片通常经上取样，但在一些实施例中，增强层图片可经下取样。
下文参看附图更充分地描述新颖系统、设备和方法的各个方面。然而，本发明可以许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。实际上，提供这些方面以使得本发明将为透彻且完整的，并且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新颖系统、设备和方法的任何方面。举例来说，可使用本文中所陈述的任何数目个方面来实施设备或实践方法。此外，本发明的范围既定涵盖使用作为本文中所陈述的本发明的各种方面的补充或替代的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可通过权利要求的一或多个要素来体现本文中所揭示的任何方面。
尽管本文描述了特定方面，但这些方面的许多变化和排列属于本发明的范围。尽管提到了优选方面的一些益处和优点，但本发明的范围不希望限于特定益处、用途或目标。实际上，本发明的方面既定广泛地适用于不同无线技术、系统配置、网络和发射协议，其中的一些是借助于实例而在图中以及在优选方面的以下描述中说明。详细描述和图式仅说明本发明，而不具有限制性，本发明的范围由所附权利要求书及其等效物界定。
视频译码系统
图1为说明可利用根据本发明中所描述的方面的技术的实例视频译码系统10的框图。如本文中所描述地使用，术语“视频译码器”一般指代视频编码器和视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般地指代视频编码和视频解码。
如图1中所示，视频译码系统10包含源装置12和目的地装置14。源装置12产生经编码视频数据。目的地装置14可解码由源装置12产生的经编码视频数据。源装置12可经由通信信道16将视频数据提供到目的地装置14，通信信道16可包含计算机可读存储媒体或其它通信信道。源装置12和目的地装置14可包含广泛范围的装置，包含台式计算机、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话、所谓的“智能”板)、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机、视频串流装置，等等。源装置12和目的地装置14可经装备以用于无线通信。
目的地装置14可经由通信信道16接收待解码的经编码视频数据。通信信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的一类型的媒体或装置。举例来说，通信信道16可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14的通信媒体。经编码的视频数据可根据通信标准(例如无线通信协议)而调制，且被发射到目的地装置14。通信媒体可包括无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线路。通信媒体可形成分组网络(例如局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或可用于促进从源装置12到目的地装置14的通信的其它设备。
在一些实施例中，经编码数据可从输出接口22输出到存储装置。在此些实例中，信道16可对应于存储由源装置12产生的经编码视频数据的存储装置或计算机可读存储媒体。举例来说，目的地装置14可经由磁盘存取或卡存取来存取所述计算机可读存储媒体。类似地，可通过输入接口28从计算机可读存储媒体存取经编码数据。计算机可读存储媒体可包含多种分布式或在本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或用于储存视频数据的其它数字存储媒体。计算机可读存储媒体可对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由串流或下载从计算机可读存储媒体存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的地装置14的一类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由标准数据连接(包含因特网连接)来存取经编码视频数据。此可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码视频数据从计算机可读存储媒体的发射可为串流发射、下载发射或两者的组合。
本发明的技术可应用除无线应用或设定之外的应用或设定。所述技术可应用于视频译码以支持多种多媒体应用，例如空中电视广播、有线电视发射、卫星电视发射、因特网串流视频发射(例如动态自适应HTTP串流(DASH))、经编码到数据存储媒体上的数字视频，存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实施例中，系统10可经配置以支持单向或双向视频发射，以支持例如视频串流、视频重放、视频广播和/或视频电话等应用。
在图1中，源装置12包含视频源18、视频编码器20和输出接口22。目的地装置14包含输入接口28、视频解码器30和显示装置32。源装置12的视频编码器20可经配置以应用用于译码包含视频数据(符合多个标准或标准扩展)的位流的技术。在其它实施例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如，外部相机)接收视频数据。同样，目的地装置14可以与外部显示装置介接，而非包含集成显示装置。
源装置12的视频源18可包含视频俘获装置，例如视频相机、含有先前所俘获视频的视频档案和/或用于从视频内容提供者接收视频的视频馈送接口。视频源18可产生基于计算机图形的数据(作为源视频)，或实况视频、所存档视频和计算机产生的视频的组合。在一些实施例中，如果视频源18是视频相机，那么源装置12和目的地装置14可形成所谓的相机电话或视频电话。可由视频编码器20来编码所俘获视频、经预先俘获的视频或计算机产生的视频。经编码视频信息可通过输出接口22输出到通信信道16，通信信道16可包含计算机可读存储媒体，如上文所论述。
计算机可读存储媒体可包含暂时性媒体，例如无线广播或有线网络发射，或存储媒体(例如，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。网络服务器(未展示)可从源装置12接收经编码视频数据，且将经编码视频数据提供到目的地装置14(例如经由网络发射)。媒体生产设施(例如光盘冲压设施)的计算装置可从源装置12接收经编码视频数据，且生产含有所述经编码视频数据的光盘。因此，可将通信信道16理解为包含一或多个各种形式的计算机可读存储媒体。
目的地装置14的输入接口28可从通信信道16接收信息。通信信道16的信息可包含由视频编码器20定义的语法信息，所述语法信息可供视频解码器30使用，所述语法信息包含描述块和其它经译码单元(例如，GOP)的特性和/或处理的语法元素。显示装置32向用户显示经解码视频数据，且可包含多种显示元件中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器，或另一类型的显示装置。
视频编码器20和视频解码器30可根据一种视频译码标准(例如，目前正在开发的高效视频译码(HEVC)标准)来操作，且可符合HEVC测试模型(HM)。替代地，视频编码器20和视频解码器30可根据其它专属或行业标准来操作，所述标准例如ITU-T H.264标准，替代地被称为MPEG-4第10部分高级视频译码(AVC)，或这些标准的扩展。然而，本发明的技术不限于任何特定译码标准。视频译码标准的其它实例包含MPEG-2和ITU-T H.263。尽管图1中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当MUX-DEMUX单元或其它硬件和软件，以处置对共同数据流或单独数据流中的音频和视频两者的编码。如果适用，MUX-DEMUX单元可符合ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。
图1仅为实例，且本发明的技术可适用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设定(例如，视频编码或视频解码)。在其它实例中，数据可从本地存储器检索、经由网络串流或类似者。编码装置可对数据进行编码且将数据存储到存储器，且/或解码装置可从存储器检索数据且对数据进行解码。在许多实例中，通过并不彼此通信而是简单地编码数据到存储器和/或从存储器检索数据且解码数据的装置执行编码和解码。
视频编码器20和视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述技术时，装置可将用于软件的指令存储在非暂时性计算机可读媒体中且使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(CODEC)的部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置(例如，蜂窝式电话)。
JCT-VC正在致力于开发HEVC标准及其扩展且版本1已结束。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的进化模型。HM根据(例如)ITU-T H.264/AVC假设视频译码装置相对于现有装置的若干额外能力。举例来说，虽然H.264提供了九种帧内预测编码模式，但是HM可提供多达三十三种帧内预测编码模式。
一般来说，HM的工作模型描述视频帧或图片可被划分为包含明度和色度样本两者的树块或最大译码单元(LCU)的序列。位流内的语法数据可界定LCU(其是就像素数目来说的最大译码单位)的大小。切片包含按译码次序的数个连续树块。视频帧或图片可分割成一或多个切片。每一树块可根据四叉树分裂成译码单元(CU)。一般来说，四叉树数据结构包含每个CU一个节点，其中根节点对应于树块。如果CU分裂成4个子CU，那么对应于CU的节点包含四个叶节点，其中叶节点中的每一者对应于所述子CU中的一者。
四叉树数据结构的每一节点可提供用于对应的CU的语法数据。举例来说，四叉树中的一节点可包含分裂旗标，从而指示对应于所述节点的CU是否分裂成子CU。CU的语法元素可递归地定义，且可取决于CU是否分裂成子CU。如果CU不进一步分裂，那么将其称为叶CU。在本发明中，叶CU的4个子CU也将被称作叶CU，即使不存在原始叶CU的明确分裂时也如此。举例来说，如果16×16大小的CU不进一步分裂，那么这四个8×8子CU将也被称作叶CU，虽然16×16CU从未分裂。
CU具有与H.264标准的宏块类似的目的，只是CU不具有大小区别。举例来说，树块可分裂成四个子节点(也称为子CU)，且每一子节点又可为父节点且可分裂成另外四个子节点。最后的未经分裂子节点(被称作四叉树的叶节点)包括译码节点，也称为叶CU。与经译码位流相关联的语法数据可定义树块可分裂的最大次数，被称作最大CU深度，且还可定义译码节点的最小大小。因此，位流还可定义最小译码单元(SCU)。本发明使用术语“块”指代HEVC的上下文中的CU、PU或TU中的任一者，或者其它标准的上下文中的类似数据结构(例如，其在H.264/AVC中的宏块和子块)。
CU包含译码节点以及与所述译码节点相关联的预测单元(PU)和变换单元(TU)。CU的大小对应于译码节点的大小且形状必须是正方形。CU的大小可从8x8像素到具有最大64x64像素或更大的树块的大小变动。每一CU可含有一或多个PU和一或多个TU。举例来说，与CU相关联的语法数据可描述CU分割成一或多个PU。分割模式可在CU被跳过或经直接模式编码、帧内预测模式编码或帧间预测模式编码之间有区别。PU可分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树分割成一或多个TU。TU可以是正方形或非正方形(例如，矩形)形状。
HEVC标准允许根据TU的变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU的大小而设定，但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU的残差样本可使用被称为“残差四叉树”(RQT)的四叉树结构细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可变换与TU相关联的像素差值以产生可经量化的变换系数。
叶CU可包含一或多个预测单元(PU)。大体来说，PU表示对应于对应CU的全部或一部分的空间区域，且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的数据。举例来说，当PU经帧内模式编码时，用于PU的数据可包含在残差四叉树(RQT)中，残差四叉树可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含界定PU的一或多个运动向量的数据。界定PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片，和/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。
具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。变换单元可使用RQT(也称为TU四叉树结构)来指定，如上文所论述。举例来说，分裂旗标可指示叶CU是否分裂成四个变换单元。接着，每一变换单元可进一步分裂成其它子TU。当TU未经进一步分裂时，其可被称作叶TU。一般来说，对于帧内译码，属于叶CU的所有叶TU共享相同的帧内预测模式。也就是说，通常应用相同帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可使用帧内预测模式将每一叶TU的残差值计算为CU的对应于TU的部分与原始块之间的差。TU不必限于PU的大小。因而，TU比PU大或小。对于帧内译码，PU可与同一CU的对应叶TU并置。在一些实例中，叶TU的最大大小可对应于对应的叶CU的大小。
此外，叶CU的TU还可与相应四叉树数据结构(被称作残差四叉树(RQT))相关联。即，叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点通常对应于叶CU，而CU四叉树的根节点通常对应于树块(或LCU)。RQT的未分裂的TU被称作叶TU。一般来说，除非另有陈述，否则本发明分别使用术语CU和TU来指代叶CU和叶TU。
视频序列通常包含一系列视频帧或图片。图片群组(GOP)通常包括一系列一或多个视频图片。GOP可包含GOP的标头、图片中的一或多者的标头或其它处的语法数据，其描述GOP中所包含的图片的数目。图片的每一切片可包含切片语法数据，其描述用于相应切片的编码模式。视频编码器20通常对个别视频切片内的视频块进行操作以便对视频数据进行编码。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且根据指定译码标准可具有不同大小。
作为一实例，HE支持各种PU大小的预测。假设特定CU的大小为2N×2N，那么HM支持2N×2N或N×N的PU大小的帧内预测，及2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM还支持用于2N×nU、2N×nD、nL×2N和nR×2N的PU大小的帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，但是将另一方向分割成25％和75％。CU的对应于25％分区的部分通过“n”继之以“向上”、“向下”、“左”或“右”的指示来指示。因此，举例来说，“2NxnU”是指经水平分割的2Nx2N CU，其中顶部为2Nx0.5N PU，而底部为2Nx1.5N PU。
在本发明中，“N×N”与“N乘N”可互换地使用以依据垂直和水平尺寸来指代视频块的像素尺寸，例如，16×16像素或16乘16像素。一般来说，16x16块将在垂直方向上具有16个像素(y＝16)，且在水平方向上具有16个像素(x＝16)。同样地，N×N块一般在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可布置成行和列。此外，块未必需要在水平方向与垂直方向上具有相同数目的像素。举例来说，块可包括N×M个像素，其中M未必等于N。
在使用CU的PU的帧内预测或帧间预测译码之后，视频编码器20可以计算CU的TU的残差数据。PU可包括描述在空间域(也称为像素域)中产生预测像素数据的方法或模式的语法数据，且TU可包括在应用变换之后变换域中的系数，所述变换例如离散正弦变换(DST)、离散余弦变换(DCT)、整数变换、小波变换或与残差视频数据概念上类似的变换。残差数据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含用于CU的残差数据的TU，且接着变换TU以产生用于CU的变换系数。
在用以产生变换系数的任何变换后，视频编码器20可执行变换系数的量化。量化为既定具有其最广泛一般含义的广义术语。在一个实施例中，量化是指变换系数经量化以可能减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说，n位值可在量化期间被向下舍入到m位值，其中n大于m。
在量化之后，视频编码器可扫描变换系数，从而从包含经量化的变换系数的二维矩阵产生一维向量。扫描可经设计以将较高能量(以及因此较低频率)系数放置在阵列的前面，且将较低能量(以及因此较高频率)系数放置在阵列的后面。在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化的变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应性扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对一维向量进行熵编码。视频编码器20还可对与经编码视频数据相关联的语法元素进行熵编码以供视频解码器30在解码视频数据时使用。
为了执行CABAC，视频编码器20可将上下文模型内的上下文指派给待发射的符号。所述上下文可涉及(例如)符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可选择用于待发射的符号的可变长度码。VLC中的码字可经构造而使得相对短的码对应于更有可能的符号，而较长的码对应于不太可能的符号。以此方式，使用VLC可较之于例如对待发射的每一符号使用等长码字而实现位节省。概率确定可基于指派到符号的上下文。
视频编码器20可例如在帧标头、块标头、切片标头或GOP标头中进一步将例如基于块的语法数据、基于帧的语法数据和基于GOP的语法数据等语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的数个帧，且帧语法数据可指示用以对对应帧进行编码的编码/预测模式。
视频编码器
图2A为说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。视频编码器20可经配置以处理视频位流的单层(例如针对HEVC)。此外，视频编码器20可经配置以执行本发明的技术中的任一者或全部，包含但不限于上文和下文相对于图4-5更详细地描述的用于再取样过程和相关过程中的中间数据的动态范围控制的方法。作为一个实例，层间预测单元66(当提供时)可经配置以执行本发明中描述的技术中的任一者或全部。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频编码器20的各种组件之间共享。在一些实例中，另外或替代地，处理器(未图示)可经配置以执行本发明中描述的技术中的任一者或全部。
出于解释的目的，本发明描述在HEVC译码的上下文中的视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。图2A的编码器20说明编解码器的单层。然而，如将关于图2B进一步描述，可复制视频编码器20中的一些或全部以用于根据多层编解码器进行处理。
视频编码器20可执行视频切片内的视频块的帧内、帧间和层间预测(有时被称作帧内、帧间或层间译码)。帧内译码依赖于空间预测来减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。层间译码依赖于基于相同视频译码序列内的不同层内的视频的预测。帧内模式(I模式)可指代若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指代若干基于时间的译码模式中的任一者。
如图2A中所展示，视频编码器20接收待编码的视频帧内的当前视频块。在图2A的实例中，视频编码器20包含模式选择单元40、参考帧存储器64、求和器50、变换处理单元52、量化单元54和熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46、层间预测单元66和分割单元48。参考帧存储器64可包含经解码图片缓冲器。经解码图片缓冲器是具有其一般含义的广义术语，且在一些实施例中涉及视频编解码器管理的参考帧的数据结构。
对于视频块重建，视频编码器20还包含逆量化单元58、逆变换单元60，和求和器62。还可包含解块滤波器(图2A中未图示)以便对块边界进行滤波，以从经重建视频移除成块效应假影。必要时，解块滤波器通常将对求和器62的输出进行滤波。除了解块滤波器之外，还可使用额外滤波器(环路内或环路后)。为简洁起见未图示此些滤波器，但是必要时，此些滤波器可对求和器50的输出进行滤波(作为环路内滤波器)。
在编码过程期间，视频编码器20接收待译码的视频帧或切片。所述帧或切片可划分成多个视频块。运动估计单元42和运动补偿单元44可相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测译码以提供时间预测。帧内预测单元46可替代地相对于与待译码块相同的帧或切片中的一或多个相邻块执行所接收视频块的帧内预测译码以提供空间预测。视频编码器20可执行多个译码遍次，例如，以针对每一视频数据块选择适当的译码模式。
此外，分割单元48可基于先前译码遍次中的先前分割方案的评估将视频数据块分割成子块。举例来说，分割单元48可初始地将帧或切片分割为LCU，且基于速率失真分析(例如，速率失真优化等)将LCU中的每一者分割为子CU。模式选择单元40可进一步产生指示将LCU分割成子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU和一或多个TU。
模式选择单元40可例如基于误差结果选择译码模式(帧内、帧间或层间预测模式)中的一者，且将所产生的帧内、帧间或层间经译码块提供到求和器50来产生残差块数据并提供到求和器62来重建经编码块以用作参考帧。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分割信息和其它此类语法信息)提供到熵编码单元56。
运动估计单元42和运动补偿单元44可高度集成，但出于概念目的单独地加以说明。由运动估计单元42执行的运动估计是产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测块相对于当前帧(或其它经译码单元)内正经译码的当前块的位移。预测块是被发现在像素差方面与待译码块紧密匹配的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定。在一些实例中，视频编码器20可计算存储在参考帧存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插四分之一像素位置、八分之一像素位置或参考图片的其它分数像素位置的值。因此，运动估计单元42可相对于整数像素位置和分数像素位置执行运动搜索且输出具有分数像素精度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述参考图片列表中的每一者识别存储在参考帧存储器64中的一或多个参考图片。运动估计单元42将所计算的运动向量发送到熵编码单元56和运动补偿单元44。
运动补偿单元44执行的运动补偿可涉及基于运动估计单元42确定的运动向量来提取或产生预测块。在一些实例中，运动估计单元42和运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44可即刻在参考图片列表中的一者中定位所述运动向量指向的预测块。求和器50通过从经译码的当前视频块的像素值减去预测块的像素值从而形成像素差值来形成残差视频块，如下文所论述。在一些实施例中，运动估计单元42可相对于明度分量执行运动估计，且运动补偿单元44可针对色度分量和明度分量两者使用基于明度分量计算的运动向量。模式选择单元40可产生与视频块和视频切片相关联的语法元素供视频解码器30在解码视频切片的视频块时使用。
作为如上文所描述由运动估计单元42和运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可对当前块进行帧内预测或计算。确切地说，帧内预测单元46可确定用来对当前块进行编码的帧内预测模式。在一些实例中，帧内预测单元46可例如在单独编码编次期间使用各种帧内预测模式对当前块进行编码，且帧内预测单元46(或在一些实例中为模式选择单元40)可从所述测试模式中选择适当帧内预测模式来使用。
举例来说，帧内预测单元46可使用速率失真分析计算针对各种经测试帧内预测模式的速率失真值，且从所述经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析总体上确定经编码块与经编码以产生所述经编码块的原始未编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(也就是说，位数目)。帧内预测单元46可根据用于各种经编码块的失真和速率计算比率，以确定哪种帧内预测模式对于所述块展现最佳速率失真值。
在选择用于块的帧内预测模式之后，帧内预测单元46可将指示用于所述块的选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示选定帧内预测模式的信息。视频编码器20在发射的位流中可包含配置数据，其可包含多个帧内预测模式索引表和多个经修改的帧内预测模式索引表(也称为码字映射表)，对用于各种块的上下文进行编码的定义，以及对最可能帧内预测模式、帧内预测模式索引表及经修改的帧内预测模式索引表的指示以用于所述上下文中的每一者。
视频编码器20可包含层间预测单元66。层间预测单元66经配置以使用SVC中可用的一或多个不同层(例如，基础或参考层)来预测当前块(例如，EL中的当前块)。此预测可被称为层间预测。层间预测单元66利用预测方法以减少层间冗余，进而改进译码效率且降低计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测和层间残差预测。层间帧内预测使用基础层中的位于协同定位的块的重建来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残差预测使用基础层的残差来预测增强层的残差。当基础和增强层具有不同的空间分辨率时，可通过层间预测单元66执行使用时间缩放功能的空间运动向量缩放和/或层间位置映射，如下文更详细地描述。
视频编码器20通过从经译码的原始视频块减去来自模式选择单元40的预测数据而形成残差视频块。求和器50表示可执行此减法运算的一或多个组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残差块，从而产生包括残差变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。举例来说，还可使用离散正弦变换(DST)、小波变换、整数变换、子带变换或其它类型的变换。
变换处理单元52可将变换应用于残差块，从而产生残差变换系数的块。所述变换可将残差信息从像素值域转换到变换域(例如，频域)。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步减小位速率。量化过程可减少与变换系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行对包含经量化的变换系数的矩阵的扫描。替代地，熵编码单元56可执行所述扫描。
在量化之后，熵编码单元56对经量化的变换系数进行熵编码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的情况下，上下文可基于相邻块。在由熵编码单元56进行熵译码之后，可将经编码位流发射到另一装置(例如，视频解码器30)，或者将所述经编码位流存档以用于稍后发射或检索。
逆量化单元58和逆变换单元60分别应用逆量化和逆变换以在像素域中重建残差块(例如，以供稍后用作参考块)。运动补偿单元44可通过将残差块加到参考帧存储器64的帧中的一者的预测块来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重建残差块以计算子整数像素值以用于运动估计。求和器62将经重建的残差块添加到由运动补偿单元44产生的运动补偿预测块以产生经重建视频块用于存储在参考帧存储器64中。经重建的视频块可供运动估计单元42和运动补偿单元44用作参考块以对后续视频帧中的块进行帧间译码。
多层视频编码器
图2B为说明可实施根据本发明中描述的方面的技术的多层视频编码器21的实例的框图。视频编码器21可经配置以处理多层视频帧，例如，用于SHVC和多视图译码。此外，视频编码器21可经配置以执行本发明的技术中的任一者或全部。
视频编码器21包含视频编码器20A和视频编码器20B，其中的每一者可经配置为图2A的视频编码器20且可执行上文相对于视频编码器20所描述的功能。此外，如再使用参考数字所指示，视频编码器20A和20B可包含系统和子系统中的至少一些作为视频编码器20。虽然将视频编码器21说明为包含两个视频编码器20A和20B，但视频编码器21不被如此限制且可包含任何数目的视频编码器20层。在一些实施例中，视频编码器21可包含用于存取单元中的每一图片或帧的视频编码器20。举例来说，包含五个图片的存取单元可由包含五个编码器层的视频编码器处理或编码。在一些实施例中，视频编码器21可包含比存取单元中的帧更多的编码器层。在一些此类情况下，当处理一些存取单元时，一些视频编码器层可能不在作用中。
除了视频编码器20A和20B之外，视频编码器21还可包含再取样单元90。在一些情况下，再取样单元90可对所接收的视频帧的基础层上取样以(例如)创建增强层。再取样单元90可对与帧的所接收的基础层相关联的特定信息进行上取样，但不对其它信息进行上取样。例如，再取样单元90可对基础层的空间大小或像素数目上取样，但切片的数目或图片次序计数可保持恒定。在一些情况下，再取样单元90可不处理所接收的视频及/或可为任选的。举例来说，在一些情况下，模式选择单元40可执行上取样。在一些实施例中，再取样单元90经配置以对层上取样且重新组织、重新界定、修改或调整一或多个切片以符合一组切片边界规则和/或光栅扫描规则。虽然主要描述为对基础层或存取单元中的较低层上取样，但在一些情况下，再取样单元90可对层下取样。举例来说，如果在视频的串流期间减小带宽，那么可对帧下取样而不是上取样。再取样单元90还可进一步经配置以执行裁剪和/或填补操作。
再取样单元90可经配置以从较低层编码器(例如，视频编码器20A)的经解码图片缓冲器114接收图片或帧(或与图片相关联的图片信息)且对所述图片(或所接收的图片信息)上取样。随后可将经上取样图片提供到较高层编码器(例如，视频编码器20B)的模式选择单元40，所述较高层编码器经配置以编码与较低层编码器相同的存取单元中的图片。在一些情况下，较高层编码器为从较低层编码器移除的一个层。在其它情况下，在图2B的层0编码器与层1编码器之间可存在一或多个较高层编码器。
在一些情况下，可省略或绕过再取样单元90。在此些情况下，来自视频编码器20A的经解码图片缓冲器64的图片可直接提供到视频编码器20B的模式选择单元40，或至少不提供到再取样单元90。举例来说，如果提供到视频编码器20B的视频数据和来自视频编码器20A的经解码图片缓冲器64的参考图片具有相同的大小或分辨率，那么可将参考图片提供到视频编码器20B而没有任何再取样。
在一些实施例中，视频编码器21使用下取样单元94对将提供到较低层编码器的视频数据进行下取样，之后将所述视频数据提供到视频编码器20A。或者，下取样单元94可为能够对视频数据上取样或下取样的再取样单元90。在另外其它实施例中，可省略下取样单元94。
如图2B中所说明，视频编码器21可进一步包含多路复用器98或mux。多路复用器98可输出来自视频编码器21的组合位流。通过从视频编码器20A和20B中的每一者取得位流且使在给定时间输出哪一位流进行交替可产生组合位流。虽然在一些情况下，可一次一个位地交替来自两个(或在两个以上视频编码器层的情况下，两个以上)位流的位，但在许多情况下，不同地组合所述位流。举例来说，可通过一次一个块地交替选定位流来产生输出位流。在另一实例中，可通过从视频编码器20A和20B中的每一者输出非1：1比率的块来产生输出位流。举例来说，针对从视频编码器20A输出的每一块可从视频编码器20B输出两个块。在一些实施例中，可预编程来自mux 98的输出流。在其它实施例中，mux 98可基于从视频编码器21外部的系统(例如从源装置12上的处理器)接收的控制信号而组合来自视频编码器20A、20B的位流。可基于来自视频源18的视频的分辨率或位速率、基于信道16的带宽、基于与用户相关联的预订(例如，付费预订与免费预订)或基于用于确定来自视频编码器21的所要分辨率输出的任何其它因素而产生控制信号。
视频解码器
图3A是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。视频解码器30可经配置以处理视频位流的单层(例如针对HEVC)。此外，视频解码器30可经配置以执行本发明的技术中的任一者或全部，包含但不限于上文和下文相对于图4-5更详细地描述的用于再取样过程和相关过程中的中间数据的动态范围控制的方法。作为一个实例，层间预测单元75可经配置以执行本发明中描述的技术中的任一者或全部。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频解码器30的各种组件之间共享。在一些实例中，另外或替代地，处理器(未图示)可经配置以执行本发明中描述的技术中的任一者或全部。
出于解释的目的，本发明描述在HEVC译码的上下文中的视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。图3A的解码器30说明编解码器的单层。然而，如将关于图3B进一步描述，可复制视频编码器30中的一些或全部以用于根据多层编解码器进行处理。
在图3A的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、层间预测单元75、逆量化单元76、逆变换单元78、参考帧存储器82和求和器80。在一些实施例中，运动补偿单元72和/或帧内预测单元74可经配置以执行层间预测，在此情况下可省略层间预测单元75。在一些实例中，视频解码器30可执行总体上与关于视频编码器20(图2A)描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。参考帧存储器82可包含经解码图片缓冲器。经解码图片缓冲器是具有其一般含义的广义术语，且在一些实施例中涉及视频编解码器管理的参考帧的数据结构。
在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块的经编码视频位流和相关联的语法元素。视频解码器30的熵解码单元70对位流进行熵解码以产生经量化系数、运动向量或帧内预测模式指示符和其它语法元素。熵解码单元70将运动向量和其它语法元素转发到运动补偿单元72。视频解码器30可接收在视频切片层级和/或视频块层级处的语法元素。
当视频切片经译码为经帧内译码(I)切片时，帧内预测单元74可基于信令的帧内预测模式和来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。在视频帧经译码为经帧间译码(例如，B、P或GPB)切片时，运动补偿单元72基于从熵解码单元70接收的运动向量和其它语法元素产生用于当前视频切片的视频块的预测块。可从参考图片列表中的一者内的参考图片中的一者产生预测块。视频解码器30可基于存储在参考帧存储器82中的参考图片使用默认建构技术建构参考帧列表--列表0和列表1。运动补偿单元72通过解析运动向量和其它语法元素确定用于当前视频切片的视频块的预测信息，且使用所述预测信息产生用于经解码的当前视频块的预测块。举例来说，运动补偿单元72使用所接收语法元素中的一些语法元素确定用于对视频切片的视频块译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的构建信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态，以及用以解码当前视频切片中的视频块的其它信息。
运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用由视频编码器20在编码视频块期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此状况下，运动补偿单元72可根据所接收的语法元素而确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测块。
视频解码器30还可包含层间预测单元75。层间预测单元75经配置以使用SVC中可用的一或多个不同层(例如，基础或参考层)预测当前块(例如，EL中的当前块)。此预测可被称为层间预测。层间预测单元75利用预测方法以减少层间冗余，借此改进译码效率且降低计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测和层间残差预测。层间帧内预测使用基础层中的协同定位块的重建来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残差预测使用基础层的残差来预测增强层的残差。当基础和增强层具有不同的空间分辨率时，可通过层间预测单元75使用时间缩放功能执行空间运动向量缩放和/或层间位置映射，如下文更详细地描述。
逆量化单元76对提供于位流中且由熵解码单元70解码的经量化变换系数进行逆量化，例如，解量化。逆量化过程可包含使用由视频解码器30针对视频切片中的每一视频块计算的量化参数QPY来确定应应用的量化程度和同样的逆量化程度。
逆变换单元78对变换系数应用逆变换，例如逆DCT、逆DST、逆整数变换或概念上类似的逆变换过程，以便产生像素域中的残差块。
在运动补偿单元72基于运动向量和其它语法元素产生当前视频块的预测块之后，视频解码器30通过对来自逆变换单元78的残差块与由运动补偿单元72产生的对应的预测块求和而形成经解码视频块。求和器90表示执行此求和运算的一或多个组件。视需要，还可应用解块滤波器以对经解码块进行滤波，以便移除成块假影。其它环路滤波器(译码环路中或译码环路之后)也可用于使像素转变变平滑或以其它方式改进视频质量。接着将给定帧或图片中的经解码视频块存储在参考帧存储器82中，参考帧存储器82存储用于后续运动补偿的参考图片。参考帧存储器82还存储经解码视频用于稍后在显示装置(例如图1的显示装置32)上呈现。
多层解码器
图3B是说明可实施根据本发明中描述的方面的技术的多层视频解码器31的实例的框图。视频解码器31可经配置以处理多层视频帧，例如，用于SHVC和多视图译码。此外，视频解码器31可经配置以执行本发明的技术中的任一者或全部。
视频解码器31包含视频解码器30A和视频解码器30B，其中的每一者可经配置为图3A的视频解码器30且可执行上文相对于视频解码器30所描述的功能。此外，如再使用参考数字所指示，视频解码器30A和30B可包含系统和子系统中的至少一些作为视频解码器30。虽然将视频解码器31说明为包含两个视频解码器30A和30B，但视频解码器31不被如此限制且可包含任何数目的视频解码器30层。在一些实施例中，视频解码器31可包含用于存取单元中的每一图片或帧的视频解码器30。举例来说，可由包含五个解码器层的视频解码器处理或解码包含五个图片的存取单元。在一些实施例中，视频解码器31可包含比存取单元中的帧更多的解码器层。在一些此类情况下，当处理一些存取单元时，一些视频解码器层可能不在作用中。
除了视频解码器30A和30B之外，视频解码器31还可包含上取样单元92。在一些实施例中，上取样单元92可对所接收的视频帧的基础层上取样以创建将添加到用于帧或存取单元的参考图片列表的增强型层。此增强型层可存储在参考帧存储器82中(例如，其经解码图片缓冲器等中)。在一些实施例中，上取样单元92可包含相对于图2A的再取样单元90所描述的实施例中的一些或全部。在一些实施例中，上取样单元92经配置以对层进行上取样且重新组织、重新界定、修改或调整一或多个切片以符合一组切片边界规则和/或光栅扫描规则。在一些情况下，上取样单元92可为经配置以对所接收的视频帧的层上取样和/或下取样的再取样单元。
上取样单元92可经配置以从较低层解码器(例如，视频解码器30A)的经解码图片缓冲器82接收图片或帧(或与图片相关联的图片信息)且对所述图片(或所接收的图片信息)进行上取样。随后可将此经上取样的图片提供到较高层解码器(例如，视频解码器30B)的模式选择单元71，所述较高层解码器经配置以解码与较低层解码器相同的存取单元中的图片。在一些情况下，较高层解码器为从较低层解码器移除的一个层。在其它情况下，在图3B的层0解码器与层1解码器之间可存在一或多个较高层解码器。
在一些情况下，可省略或绕过上取样单元92。在此些情况下，来自视频解码器30A的经解码图片缓冲器82的图片可直接提供到视频解码器30B的模式选择单元71，或至少不提供到上取样单元92。例如，如果提供到视频解码器30B的视频数据和来自视频解码器30A的经解码图片缓冲器82的参考图片具有相同的大小或分辨率，那么可将参考图片提供到视频解码器30B而不需要上取样。另外，在一些实施例中，上取样单元92可为经配置以对从视频解码器30A的经解码图片缓冲器82接收的参考图片进行上取样或下取样的再取样单元90。
如图3B中所说明，视频解码器31可进一步包含多路分用器99或demux。多路分用器99可将经编码视频位流分裂为多个位流，其中由多路分用器99输出的每一位流被提供到不同的视频解码器30A和30B。可通过接收位流来产生多个位流，且视频解码器30A和30B中的每一者在给定时间接收位流的一部分。虽然在一些情况下，可在视频解码器(例如，在图3B的实例中的视频解码器30A和30B)中的每一者之间一次一个位地交替来自在多路分用器99处接收的位流的位，但在许多情况下，不同地划分所述位流。举例来说，可通过一次一个块地交替哪一视频解码器接收位流而划分所述位流。在另一实例中，可通过到视频解码器30A和30B中的每一者的块的非1：1比率来划分位流。举例来说，可针对提供到视频解码器30A的每一块将两个块提供到视频解码器30B。在一些实施例中，可预编程由多路分用器99对位流的划分。在其它实施例中，多路分用器99可基于从视频解码器31的外部的系统(例如从目的地装置14上的处理器)接收的控制信号而划分所述位流。可基于来自输入接口28的视频的分辨率或位速率、基于信道16的带宽、基于与用户相关联的预订(例如，付费预订与免费预订)或基于用于确定可由视频解码器31获得的分辨率的任何其它因素而产生控制信号。
再取样过程中的中间数据的动态范围控制
在SHVC中，参考层图片可需要经再取样(例如)用于增强层中的层间预测。可通过对来自参考层图片的明度样本应用再取样滤波器而执行再取样。举例来说，可应用n-分接头滤波器。所述再取样过程可在用于二维(2D)再取样的两个步骤中发生。举例来说，可应用2D可分离的内插滤波器。首先，可对明度样本执行水平再取样，且随后可对明度样本执行垂直再取样。举例来说，可对从水平再取样过程输出的视频信息执行垂直再取样。再取样滤波器可接收明度样本作为输入，且水平再取样过程可基于所输入的明度样本产生中间输出。中间输出可随后用作针对垂直再取样步骤的输入。在一些情形中，水平再取样过程可将额外位添加到所输入的明度样本使得中间输出与所输入明度样本相比具有较多位(例如，具有较大位深度)。额外位可使数据范围相当大，且可对垂直再取样步骤的计算复杂性具有显著影响。举例来说，用于中间数据的缓冲器可随着数据范围变高而成比例地增加。并且，内插过程(尤其乘法运算)的复杂性可很大程度取决于输入数据的位深度。此外，存在需要具有不超过特定预定最大值的位深度的输入的特定计算指令集。举例来说，可仅在具有16位(例如，具有16位位深度)的输入上使用特定16位指令集。
滤波器系数可以6位准确性经量化，其可与运动补偿内插滤波器的准确性相同。在SHVC的较早版本的2D可分离的内插过程中，第一内插步骤(例如，水平方向)的输出直接用作第二内插步骤(例如，垂直方向)的输入。两个维度内插步骤之间的中间数据可延伸超出特定位数，(例如)因为从第一内插步骤添加额外位。举例来说，第一内插步骤可添加8位，且当输入信号超过8位时两个维度内插步骤之间的中间数据可超出16位。此可增加硬件以及软件解决方案中再取样滤波器的实施成本。举例来说，此可增加再取样滤波器的计算复杂性，尤其当使用例如单指令多数据(SIMD)指令等指令层级并行性时。大多数现有CPU的SIMD指令可以8或16位准确性处置单一数据。因此，约束(例如，限制或减小)来自水平再取样过程的中间输出的位深度将是有利的。
为了解决这些和其它问题，本发明中描述的技术可将来自初始再取样过程(例如，水平再取样)的中间输出的位深度约束到指定位数。在一些实施例中，可通过将中间输出右移(例如，应用右移操作“>>”)特定位数而实现将位深度约束到指定位数。可基于到再取样滤波器的所输入明度样本的位深度确定将中间输出右移的位数。举例来说，中间输出可被约束到16位，且可通过从所输入明度样本的位深度减去8位而计算将中间输出右移的位数。可基于所输入明度样本的位数动态地确定移位的位数。以此方式约束中间输出可产生更精确结果且减小四舍五入误差，且可允许译码装置和过程利用特定更有效译码指令集。
在一些实施例中，来自垂直再取样过程的输出也可以类似方式受约束。在某些实施例中，可在水平再取样过程之前执行垂直再取样过程。所述技术还可应用于三个步骤处理情况。举例来说，三个步骤过程可包含2D可分离的内插过程和颜色映射过程。在此情况下，来自第一步骤的中间输出可被约束到预定位深度，且第二步骤的中间输出也可被约束到预定位深度。待移位的位数可基于所输入明度样本的位深度和/或来自先前步骤的中间输出的位深度。通常，参考层图片经上取样，但在一些实施例中，增强层图片可经下取样。
下文描述关于所述技术的特定细节。在一些实施例中，明度样本再取样过程或明度样本内插过程可接收以下作为输入：
●明度参考样本阵列rlPicSampleL，以及
●相对于当前图片的左上明度样本的明度样本位置(xP,yP)，
其中rlPicSampleL指代参考层图片的明度样本阵列，且(xP,yP)指代正经处理的当前像素的样本位置。基于所述输入，过程可产生指代由再取样过程产生的明度样本值的经再取样明度样本值rsLumaSample作为输出。表1指定可用于明度再取样过程的8-分接头滤波器系数fL[p,x]的一个实例，其中p＝0...15且x＝0...7。
表1-16-相位明度再取样滤波器
在SHVC工作草案的较早版本中，可通过应用以下经排序步骤导出经再取样明度样本rsLumaSample的值：
●样本值tempArray[n](其中n＝0…7)可导出如下：
-yPosRL＝Clip3(0,RefLayerPicHeightInSamplesL-1,yRef+n-1)
-refW＝RefLayerPicWidthInSamplesL
-tempArray[n]＝
(fL[xPhase,0]*rlPicSampleL[Clip3(0,refW-1,xRef-3),yPosRL]+
fL[xPhase,1]*rlPicSampleL[Clip3(0,refW-1,xRef-2),yPosRL]+
fL[xPhase,2]*rlPicSampleL[Clip3(0,refW-1,xRef-1),yPosRL]+
fL[xPhase,3]*rlPicSampleL[Clip3(0,refW-1,xRef),yPosRL]+
fL[xPhase,4]*rlPicSampleL[Clip3(0,refW-1,xRef+1),yPosRL]+
fL[xPhase,5]*rlPicSampleL[Clip3(0,refW-1,xRef+2),yPosRL]+
fL[xPhase,6]*rlPicSampleL[Clip3(0,refW-1,xRef+3),yPosRL]+
fL[xPhase,7]*rlPicSampleL[Clip3(0,refW-1,xRef+4),yPosRL])。
●经再取样明度样本值rsLumaSample可导出如下：
-rsLumaSample＝
(fL[yPhase,0]*tempArray[0]+fL[yPhase,1]*tempArray[1]+
fL[yPhase,2]*tempArray[2]+fL[yPhase,3]*tempArray[3]+
fL[yPhase,4]*tempArray[4]+fL[yPhase,5]*tempArray[5]+
fL[yPhase,6]*tempArray[6]+fL[yPhase,7]*tempArray[7]+
(1<<11))>>12
-rsLumaSample＝Clip3(0,(1<<BitDepthY)-1,rsLumaSample)，
其中(xRef,yRef)表示参考层图片中的并置明度样本整数像素位置，(xPhase,yPhase)表示水平和垂直方向中待内插的分数样本的相位，且BitDepthY指代当前图片的明度位深度。
根据所述技术的某些方面，可通过应用以下经排序步骤导出经再取样明度样本rsLumaSample的值：
●样本值tempArray[n](其中n＝0…7)可导出如下：
-yPosRL＝Clip3(0,RefLayerPicHeightInSamplesL-1,yRef+n-1)
-refW＝RefLayerPicWidthInSamplesL
-tempArray[n]＝
(fL[xPhase,0]*rlPicSampleL[Clip3(0,refW-1,xRef-3),yPosRL]+
fL[xPhase,1]*rlPicSampleL[Clip3(0,refW-1,xRef-2),yPosRL]+
fL[xPhase,2]*rlPicSampleL[Clip3(0,refW-1,xRef-1),yPosRL]+
fL[xPhase,3]*rlPicSampleL[Clip3(0,refW-1,xRef),yPosRL]+
fL[xPhase,4]*rlPicSampleL[Clip3(0,refW-1,xRef+1),yPosRL]+
fL[xPhase,5]*rlPicSampleL[Clip3(0,refW-1,xRef+2),yPosRL]+
fL[xPhase,6]*rlPicSampleL[Clip3(0,refW-1,xRef+3),yPosRL]+
fL[xPhase,7]*rlPicSampleL[Clip3(0,refW-1,xRef+4),yPosRL])>>shift1，
其中shift1被定义为：shift1＝RefLayerBitDepthY-8，其中RefLayerBitDepthY指代参考层图片的明度位深度。
●经再取样明度样本值rsLumaSample可导出如下：
-rsLumaSample＝
(fL[yPhase,0]*tempArray[0]+fL[yPhase,1]*tempArray[1]+
fL[yPhase,2]*tempArray[2]+fL[yPhase,3]*tempArray[3]+
fL[yPhase,4]*tempArray[4]+fL[yPhase,5]*tempArray[5]+
fL[yPhase,6]*tempArray[6]+fL[yPhase,7]*tempArray[7]+
offset>>shift2，
其中shift2被定义为：shift2＝12-(BitDepthY-8)＝20-BitDepthY，且offset被定义为：offset＝1<<(shift2-1)，其中BitDepthY指代当前图片的明度位深度。通过如上界定shift2和offset，经再取样明度样本值的数据范围可与当前图片的明度样本的数据范围相同。
-rsLumaSample＝Clip3(0,(1<<BitDepthY)-1,rsLumaSample)，
其中(xRef,yRef)表示参考层图片中的并置明度样本整数像素位置，且(xPhase,yPhase)表示水平和垂直方向中待内插的分数样本的相位。
以此方式，所述技术可将2D可分离的上取样滤波器的中间数据的动态范围控制在16位准确性内。第一上取样步骤之后右移的位可由输入信号的位深度确定。尽管16位用作实例，但可按位准确性的需要选择任何数目的位。
下文参看图4和图5阐述关于所述技术的特定细节。贯穿本发明所使用的各种术语是具有它们的一般含义的广义术语。另外，在一些实施方案中，某些术语涉及以下视频概念。图片可涉及视频图片，所述术语用于当前标准(例如，HEVC)中。
用于再取样过程中的中间数据的动态范围控制的方法
图4为说明根据本发明的方面用于再取样过程中的中间数据的动态范围控制的实例方法的流程图。取决于实施例，过程400可由编码器(例如，如图2A、2B等中所展示的编码器)、解码器(例如，如图3A、3B等中所展示的解码器)，或任何其它组件执行。相对于图3B中的解码器31描述过程400的框，但可通过如上文所提及的其它组件(例如编码器)执行过程400。取决于实施例，解码器31的层1视频解码器30B和/或解码器31的层0解码器30A可执行过程400。关于图5所描述的所有实施例可单独地或彼此组合地实施。上文阐述关于过程400的特定细节。
过程400在框401处开始。解码器31可包含用于存储与经上取样视频信息相关联的视频信息的存储器(例如，参考帧存储器82)。
在框402处，解码器31获得视频信息。举例来说，视频信息可包含经上取样的参考层图片的明度样本。明度样本可相对于当前图片的左上明度样本。
在框403处，解码器31在第一维度中对视频信息上取样以产生中间输出。在2D再取样中，第一维度可为水平方向。
在框404处，解码器31将中间输出约束到预定位深度。预定位深度可按需要选定。在一个实施例中，预定位深度可为16位。在一些实施例中，解码器31可通过确定视频信息的位深度，基于视频信息的位深度确定将中间输出移位的位数，以及将中间输出移位所述位数而将中间输出约束到预定位深度。解码器31可使用右移操作将中间输出移位所述位数。在一个实施例中，将中间输出移位的位数可被定义为：视频信息的位深度-8位。
在某些实施例中，解码器31基于所述位数确定是否移位中间输出，且响应于确定移位所述中间输出而将中间输出移位所述位数。
在框405处，解码器31在第二维度中对受约束中间输出上取样，其中所述第二维度正交于所述第一维度。在2D再取样中，第二维度可为垂直方向。
在某些实施例中，解码器31对受约束中间输出上取样以产生第二中间输出，且将第二中间输出约束到第二预定位深度。举例来说，解码器31可将第二中间输出约束到第二预定位深度以产生所获得视频信息的经上取样版本。在一个实施例中，第二预定位深度可为当前增强层图片的位深度。在一些实施例中，解码器31可通过基于视频信息的位深度确定将第二中间输出移位的第二位数，以及将第二中间输出移位所述第二位数而将第二中间输出约束到第二预定位深度。取决于实施例，视频信息可与参考层或增强层相关联。举例来说，解码器31可基于参考层视频信息的位深度确定将第二中间输出移位的第二位数。或解码器31可基于增强层视频信息的位深度确定将第二中间输出移位的第二位数。解码器31可使用右移操作将第二中间输出移位第二位数。在一个实施例中，将第二中间输出移位的第二位数可被定义为：20位-增强层的视频信息的位深度。
解码器31可应用再取样滤波器以在第一维度中对视频信息上取样且在第二维度中对受约束中间输出上取样。
在某些实施例中，所述技术可适用于3D视频信息。举例来说，解码器31可对受约束中间输出上取样以产生第二中间输出，将第二中间输出约束到第二预定位深度，且在第三维度中对受约束第二中间输出上取样，其中所述第三维度正交于所述第一维度和所述第二维度。解码器31可通过确定第二中间输出的位深度，基于第二中间输出的位深度确定将第二中间输出移位的位数，以及将第二中间输出移位所述位数而将第二中间输出约束到第二预定位深度。过程400在框406处结束。
取决于实施例，在过程400中可添加和/或省略框，且取决于实施例，可以不同次序执行过程400的框。本发明中相对于再取样描述的任何特征和/或实施例可单独地或以其任何组合来实施。举例来说，结合图4描述的任何特征和/或实施例可以与结合图5描述的任何特征和/或实施例的任何组合来实施，且反之亦然。
图5为说明根据本发明的方面用于再取样过程中的中间数据的动态范围控制的实例方法的流程图。取决于实施例，过程500可由编码器(例如，如图2A、2B中所展示对编码器)、解码器(例如，如图3A、3B等中所展示的解码器)或任何其它组件执行。相对于图3B中的解码器31描述过程500的块，但可通过如上文所提及的其它组件(例如编码器)执行过程500。取决于实施例，解码器31的层1视频解码器30B和/或解码器31的层0解码器30A可执行过程500。关于图5所描述的所有实施例可单独地或彼此组合地实施。上文例如相对于图4阐释与过程500相关的某些细节。
过程500在框501处开始。解码器31可包含用于存储与经上取样视频信息相关联的视频信息的存储器(例如，参考帧存储器82)。
在框502处，解码器31获得视频信息。举例来说，视频信息可包含经上取样的参考层图片的明度样本。明度样本可相对于当前图片的左上明度样本。
在框503处，解码器31在第一维度中对视频信息上取样以产生中间输出。在2D再取样中，第一维度可为水平方向。
在框504处，解码器31基于视频信息的位深度确定将中间输出移位的位数。在一个实施例中，移位的位数可基于16位准确性。举例来说，中间输出经移位使得其可限于总共16位。
在框505处，解码器31将中间输出移位所述位数。解码器31可使用右移操作将中间输出移位所述位数。因此，解码器31可产生经移位中间输出。在一个实施例中，将中间输出移位的位数可被定义为：视频信息的位深度-8位。
在框506处，解码器31在正交于第一维度的第二维度中对经移位中间输出上取样。在2D再取样中，第二维度可为垂直方向。过程500在框507处结束。
取决于实施例，在过程500中可添加和/或省略框，且取决于实施例，可以不同次序执行过程500的框。本发明中相对于再取样描述的任何特征和/或实施例可单独地或以其任何组合来实施。举例来说，结合图5描述的任何特征和/或实施例可以与结合图4描述的任何特征和/或实施例的任何组合来实施，且反之亦然。
术语
虽然以上揭示内容已描述特定实施例，但许多变化是可能的。举例来说，如上文所提及，以上技术可应用于3D视频编码。在3D视频的一些实施例中，参考层(例如，基础层)包含足以显示视频的第一视图的视频信息，且增强层包含相对于参考层的额外视频信息使得参考层和增强层一起包含足以显示视频的第二视图的视频信息。这两个视图可用于产生立体图像。如上文所论述，根据本发明的方面，来自参考层的运动信息可用于在编码或解码增强层中的视频单元时识别额外的隐式假设。此可提供对3D视频位流的更大译码效率。
应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可用不同序列执行、可添加、合并或全部省略(例如，实践所述技术并不需要所有的所描述动作或事件)。此外，在某些实例中，可(例如)经由多线程处理、中断处理或多个处理器同时而非循序地执行动作或事件。
可使用多种不同技术和技艺中的任一者来表示本文中所揭示的信息和信号。举例来说，可通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在整个上文描述中可能参考的数据、指令、命令、信息、信号、位、符号和码片。
结合本文中所揭示的实施例而描述的各种说明性逻辑块、模块、电路和算法步骤可被实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件与软件的此可互换性，上文已大体上关于其功能性而描述了各种说明性组件、块、模块、电路和步骤。此类功能性是实施为硬件还是软件取决于特定应用和强加于整个系统的设计约束。熟练的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但此些实施方案决策不应被解释为会导致脱离本发明的范围。
本文中所描述的技术可以硬件、软件、固件或其任一组合来实施。此些技术可实施于多种装置中的任一者中，例如通用计算机、无线通信装置手持机或集成电路装置，其具有包含在无线通信装置手持机和其它装置中的应用的多种用途。被描述为模块或组件的任何特征可共同实施于集成逻辑装置中或单独实施为离散但可互操作的逻辑装置。如果以软件实施，那么所述技术可至少部分地由包括程序代码的计算机可读数据存储媒体来实现，所述程序代码包含在执行时执行上文所描述的方法中的一或多者的指令。计算机可读数据存储媒体可形成计算机程序产品的一部分，所述计算机程序产品可包含封装材料。计算机可读媒体可包括存储器或数据存储媒体，例如随机存取存储器(RAM)(例如，同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体等等。另外或作为替代，所述技术可至少部分地由计算机可读通信媒体来实现，所述计算机可读通信媒体以指令或数据结构的形式携载或传送程序代码且可由计算机存取、读取和/或执行(例如，传播的信号或波)。
程序代码可由处理器执行，所述处理器可包含一或多个处理器，例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其它等效集成或离散逻辑电路。此处理器可经配置以执行本发明中描述的技术中的任一者。通用处理器可为微处理器；但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。还可将处理器实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器的组合、一或多个微处理器与DSP核心的联合，或任何其它此类配置。因此，如本文中所使用的术语“处理器”可指代上述结构中的任一者、上述结构的任何组合，或适用于实施本文中所描述的技术的任何其它结构或设备。另外，在某些方面中，可将本文中所描述的功能性提供于经配置以用于编码和解码的专用软件模块或硬件模块内或并入组合的视频编码器-解码器(CODEC)中。
本文论述的译码技术可为实例视频编码和解码系统中的实施例。系统包含提供经编码视频数据以在稍后时间由目的地装置解码的源装置。确切地说，源装置经由计算机可读媒体将视频数据提供到目的地装置。源装置和目的地装置可包括广泛范围的装置中的任一者，包含台式计算机、笔记本(即，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、所谓的“智能”板、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频串流装置，或类似物。在一些情况下，源装置和目的地装置可经装备以用于无线通信。
目的地装置可经由计算机可读媒体接收待解码的经编码视频数据。计算机可读媒体可包括能够将经编码视频数据从源装置移动到目的地装置的任何类型的媒体或装置。在一个实例中，计算机可读媒体可包括使得源装置12能够实时将经编码视频数据直接发射到目的地装置的通信媒体。经编码视频数据可根据通信标准(例如无线通信协议)调制，且发射到目的地装置。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线路。通信媒体可形成基于包的网络(例如局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含可用于促进从源装置到目的地装置的通信的路由器、交换器、基站或任何其它设备。
在一些实例中，经编码数据可从输出接口输出到存储装置。类似地，可以通过输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取式数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置可对应于文件服务器或可存储由源装置产生的经编码视频的另一中间存储装置。目的地装置可经由串流或下载从存储装置存取所存储的视频数据。文件服务器可为能够存储经编码视频数据和将所述经编码视频数据发射到目的地装置的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络连接存储(NAS)装置或本地磁盘驱动器。目的地装置可经由任何标准数据连接(包含因特网连接)来存取经编码的视频数据。此可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码视频数据从存储装置的发射可能是串流发射、下载发射或其组合。
本发明的技术不一定限于无线应用或设定。所述技术可应用于支持多种多媒体应用中的任一者的视频译码，例如空中协议电视广播、有线电视发射、卫星电视发射、因特网串流视频发射(例如，动态自适应HTTP串流(DASH))、经编码到数据存储媒体上的数字视频，存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统可经配置以支持单向或双向视频发射，以支持例如视频串流、视频重放、视频广播和/或视频电话等应用。
在一个实例中，源装置包含视频源、视频编码器和输出接口。目的地装置可包含包含输入接口、视频解码器和显示装置。源装置的视频编码器可经配置以应用本文所揭示的技术。在其它实例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置可从外部视频源(例如，外部相机)接收视频数据。同样，目的地装置可与外部显示装置介接，而非包含集成显示装置。
以上实例系统仅是一个实例。用于并行处理视频数据的技术可由任何数字视频编码和/或解码装置来执行。尽管本发明的技术总体上由视频编码装置执行，但是所述技术还可通过视频编码器/解码器(通常被称作“CODEC”)执行。此外，本发明的技术还可通过视频预处理器执行。源装置和目的地装置仅为源装置在其中产生经译码视频数据以供发射到目的地装置的此类译码装置的实例。在一些实例中，源装置和目的地装置可以实质上对称方式操作以使得所述装置中的每一者包含视频编码和解码组件。因此，实例系统可支持视频装置之间的单向或双向视频发射，例如用于视频串流、视频重放、视频广播或视频电话。
视频源可包含视频俘获装置，例如视频相机、含有先前所俘获视频的视频档案和/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案，视频源可产生基于计算机图形的数据作为源视频，或实况视频、存档视频与计算机产生的视频的组合。在一些情况下，如果视频源为视频相机，那么源装置和目的地装置可形成所谓的相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术可大体上适用于视频译码，且可应用于无线和/或有线应用。在每一情况下，可由视频编码器编码所俘获、预先俘获或计算机产生的视频。经编码视频信息可随后由输出接口输出到计算机可读媒体上。
如所提到，计算机可读媒体可包含暂时性媒体，例如无线广播或有线网络发射，或存储媒体(即，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可从源装置接收经编码视频数据，且例如经由网络发射将经编码视频数据提供到目的地装置。类似地，媒体生产设施(例如光盘冲压设施)的计算装置可从源装置接收经编码视频数据且生产含有经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体可理解为包含各种形式的一或多个计算机可读媒体。
目的地装置的输入接口从计算机可读媒体接收信息。计算机可读媒体的信息可包含由视频编码器定义的也供视频解码器使用的语法信息，所述语法信息包含描述块和其它经译码单元(例如，图片群组(GOP))的特性和/或处理的语法元素。显示装置向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。已经描述本发明的各种实施例。这些和其它实施例在所附权利要求书的范围内。
已经描述本发明的各种实施例。这些和其它实施例在所附权利要求书的范围内。

Claims (31)

1.一种经配置以对视频信息译码的设备，所述设备包括：
存储器，其经配置以存储与参考层和增强层相关联的视频信息，以及
处理器，其操作性地耦合到所述存储器且经配置以：
获得来自所述参考层的参考层图片；
在第一空间维度中对所述参考层图片上取样以产生中间输出；
确定所述参考层图片的位深度；
基于所述参考层图片的所述位深度确定将所述中间输出移位的位数；
将所述中间输出移位所述位数以将所述中间输出约束到预定位深度；
在第二空间维度中对所述受约束中间输出上取样以产生所述参考层图片的经上取样版本，其中所述第二空间维度正交于所述第一空间维度；以及
使用所述参考层图片的所述经上取样版本预测来自所述增强层的当前图片以便执行层间预测。
2.根据权利要求1所述的设备，其中为了将所述中间输出移位所述位数，所述处理器经配置以：
基于所述位数确定是否将所述中间输出移位；以及
响应于确定将所述中间输出移位，将所述中间输出移位所述位数。
3.根据权利要求1所述的设备，其中所述处理器经配置以确定将所述中间输出移位的所述位数为所述参考层图片的所述位深度减8位。
4.根据权利要求1所述的设备，其中所述处理器经配置以使用右移操作将所述中间输出移位所述位数。
5.根据权利要求1所述的设备，其中所述第一空间维度为水平维度且所述第二空间维度为垂直维度。
6.根据权利要求1所述的设备，其中所述参考层图片包括明度值。
7.根据权利要求1所述的设备，其中所述处理器经配置以通过将再取样滤波器应用到所述参考层图片而在所述第一空间维度中对所述参考层图片上取样且在所述第二空间维度中对所述受约束中间输出上取样。
8.根据权利要求1所述的设备，其中所述预定位深度为16位。
9.根据权利要求1所述的设备，其中所述处理器进一步经配置以：
从所述经上取样的受约束中间输出产生第二中间输出；以及
将所述第二中间输出约束到第二预定位深度。
10.根据权利要求9所述的设备，其中所述处理器进一步经配置以从所述受约束第二中间输出产生所述所获得的参考层图片的所述经上取样版本。
11.根据权利要求9所述的设备，其中所述处理器经配置以：
基于所述参考层图片的所述位深度确定将所述第二中间输出移位的第二位数；
基于所述第二位数确定是否将所述第二中间输出移位；以及
响应于确定将所述第二中间输出移位，将所述第二中间输出移位所述第二位数，以将所述第二中间输出约束到所述第二预定位深度。
12.根据权利要求9所述的设备，其中所述处理器经配置以：
基于所述增强层图片的所述位深度确定将所述第二中间输出移位的第二位数；以及
将所述第二中间输出移位所述第二位数，以将所述第二中间输出约束到所述第二预定位深度。
13.根据权利要求12所述的设备，其中所述处理器经配置以使用右移操作将所述第二中间输出移位所述第二位数。
14.根据权利要求12所述的设备，其中所述处理器进一步经配置以确定将所述第二中间输出移位的所述第二位数为：20位减所述增强层图片的所述位深度。
15.根据权利要求1所述的设备，其中所述设备包括以下各者中的一或多者：台式计算机、笔记本计算机、膝上型计算机、平板计算机、机顶盒、电话手持机、智能电话、无线通信装置、智能板、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台或视频串流装置。
16.一种对视频信息译码的方法，所述方法包括：
获得来自参考层的参考层图片；
在第一空间维度中对所述参考层图片上取样以产生中间输出；
通过以下操作将所述中间输出约束到预定位深度：
确定所述参考层图片的位深度；
基于所述参考层图片的所述位深度确定将所述中间输出移位的位数；以及
将所述中间输出移位所述位数；
在第二空间维度中对所述受约束中间输出上取样以产生所述参考层图片的经上取样版本，其中所述第二空间维度正交于所述第一空间维度；以及
使用所述参考层图片的所述经上取样版本预测来自增强层的当前图片以便执行层间预测。
17.根据权利要求16所述的方法，其中所述将所述中间输出移位所述位数包括：
基于所述位数确定是否将所述中间输出移位；以及
响应于确定将所述中间输出移位，将所述中间输出移位所述位数。
18.根据权利要求16所述的方法，其中将所述中间输出移位的所述位数确定为所述参考层图片的所述位深度减8位。
19.根据权利要求16所述的方法，其中使用右移操作执行所述将所述中间输出移位所述位数。
20.根据权利要求16所述的方法，其中所述第一空间维度为水平维度且所述第二空间维度为垂直维度。
21.根据权利要求16所述的方法，其中所述参考层图片的视频信息包括明度值。
22.根据权利要求16所述的方法，其中通过将再取样滤波器应用到所述参考层图片而执行所述在所述第一空间维度中对所述参考层图片上取样以及所述在所述第二空间维度中对所述受约束中间输出上取样。
23.根据权利要求16所述的方法，其中所述预定位深度为16位。
24.根据权利要求16所述的方法，其进一步包括：
从所述经上取样的受约束中间输出产生第二中间输出；以及
将所述第二中间输出约束到第二预定位深度。
25.根据权利要求24所述的方法，其进一步包括从所述受约束第二中间输出产生所述所获得的参考层图片的所述经上取样版本。
26.根据权利要求24所述的方法，其中所述将所述第二中间输出约束到所述第二预定位深度包括：
基于所述参考层图片的所述位深度确定将所述第二中间输出移位的第二位数；
基于所述第二位数确定是否将所述第二中间输出移位；以及
响应于确定将所述第二中间输出移位，将所述第二中间输出移位所述第二位数。
27.根据权利要求24所述的方法，其中所述将所述第二中间输出约束到所述第二预定位深度包括：
基于所述增强层图片的所述位深度确定将所述第二中间输出移位的第二位数；以及
将所述第二中间输出移位所述第二位数。
28.根据权利要求27所述的方法，其中使用右移操作执行所述将所述第二中间输出移位所述第二位数。
29.根据权利要求27所述的方法，其中将所述第二中间输出移位的所述第二位数确定为：20位减所述增强层图片的所述位深度。
30.一种包括指令的非暂时性计算机可读媒体，所述指令当在包括计算机硬件的处理器上执行时致使所述处理器：
存储与参考层和增强层相关联的视频信息；
获得来自所述参考层的参考层图片；
在第一空间维度中对所述参考层图片上取样以产生中间输出；
确定所述参考层图片的位深度；
基于所述参考层图片的所述位深度确定将所述中间输出移位的位数；
将所述中间输出移位所述位数以获得受约束中间输出；
在第二空间维度中对所述受约束中间输出上取样以产生所述参考层图片的经上取样版本，其中所述第二空间维度正交于所述第一空间维度；以及
使用所述参考层图片的所述经上取样版本预测来自所述增强层的当前图片以便执行层间预测。
31.一种经配置以对视频信息译码的设备，所述设备包括：
用于存储与参考层和增强层相关联的视频信息的装置；
用于获得来自所述参考层的参考层图片的装置；
用于在第一空间维度中对所述参考层图片上取样以产生中间输出的装置；
用于确定所述参考层图片的位深度的装置：
用于基于所述参考层图片的所述位深度确定将所述中间输出移位的位数的装置；
用于将所述中间输出移位所述位数以获得受约束中间输出的装置；
用于在第二空间维度中对所述受约束中间输出上取样以产生所述参考层图片的经上取样版本的装置，其中所述第二空间维度正交于所述第一空间维度；以及
用于使用所述参考层图片的所述经上取样版本预测来自所述增强层的当前图片以便执行层间预测的装置。
CN201480030534.7A 2013-06-07 2014-06-04 再取样过程中的中间数据的动态范围控制 Active CN105264895B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361832648P 2013-06-07 2013-06-07
US61/832,648 2013-06-07
US14/294,913 US9762920B2 (en) 2013-06-07 2014-06-03 Dynamic range control of intermediate data in resampling process
US14/294,913 2014-06-03
PCT/US2014/040909 WO2014197595A1 (en) 2013-06-07 2014-06-04 Dynamic range control of intermediate data in resampling process

Publications (2)

Publication Number Publication Date
CN105264895A CN105264895A (zh) 2016-01-20
CN105264895B true CN105264895B (zh) 2019-06-14

Family

ID=52005457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480030534.7A Active CN105264895B (zh) 2013-06-07 2014-06-04 再取样过程中的中间数据的动态范围控制

Country Status (7)

Country Link
US (1) US9762920B2 (zh)
EP (1) EP3005706A1 (zh)
JP (1) JP6479776B2 (zh)
KR (2) KR102293104B1 (zh)
CN (1) CN105264895B (zh)
BR (1) BR112015030642B1 (zh)
WO (1) WO2014197595A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140138538A (ko) * 2013-05-24 2014-12-04 주식회사 케이티 복수의 레이어를 지원하는 비디오 코딩 방법 및 장치
KR20150026927A (ko) * 2013-09-03 2015-03-11 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
US10769818B2 (en) * 2017-04-09 2020-09-08 Intel Corporation Smart compression/decompression schemes for efficiency and superior results
GB2586517B (en) * 2019-08-23 2022-06-15 Imagination Tech Ltd Methods and decompression units for decompressing a compressed block of image data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020012006A1 (en) * 1998-04-07 2002-01-31 Alps Electric Co., Ltd. Image display device and driver circuit therefor
CN1456992A (zh) * 2002-04-10 2003-11-19 微软公司 近似双立方过滤器
CN101578882A (zh) * 2007-01-09 2009-11-11 高通股份有限公司 用于可缩放视频译码的自适应上取样

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7305034B2 (en) * 2002-04-10 2007-12-04 Microsoft Corporation Rounding control for multi-stage interpolation
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
US8023569B2 (en) * 2005-12-15 2011-09-20 Sharp Laboratories Of America, Inc. Methods and systems for block-based residual upsampling
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
WO2007081134A1 (en) * 2006-01-09 2007-07-19 Lg Electronics Inc. Inter-layer prediction method for video signal
EP1933563A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer residual prediction
US20100091840A1 (en) * 2007-01-10 2010-04-15 Thomson Licensing Corporation Video encoding method and video decoding method for enabling bit depth scalability
US20100220789A1 (en) * 2007-10-19 2010-09-02 Wu Yuwen Combined spatial and bit-depth scalability
CN102388611B (zh) * 2009-02-11 2015-08-19 汤姆森特许公司 使用色调映射和反色调映射的比特深度可分级视频编码和解码的方法和装置
WO2011126272A2 (en) * 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using dynamic-range transformation, and method and apparatus for decoding video by using dynamic-range transformation
WO2012086203A1 (ja) * 2010-12-22 2012-06-28 パナソニック株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
US9432693B2 (en) * 2011-01-07 2016-08-30 Nokia Technologies Oy Motion prediction in video coding
US20120307889A1 (en) * 2011-06-01 2012-12-06 Sharp Laboratories Of America, Inc. Video decoder with dynamic range adjustments
MX354287B (es) * 2011-06-30 2018-02-22 Samsung Electronics Co Ltd Método de codificación de video con ajuste de profundidad de bits para conversión de punto fijo y aparato para el mismo, y método de decodificación de video y aparato para el mismo.
EP2779646A4 (en) * 2011-11-07 2015-08-19 Samsung Electronics Co Ltd INVERSE TRANSFORM METHOD FOR REVERSE QUANTIFICATION DATA STRETCHING, REVERSE TRANSFORMATION DURING VIDEO DECODING STEP AND CORRESPONDING DEVICE

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020012006A1 (en) * 1998-04-07 2002-01-31 Alps Electric Co., Ltd. Image display device and driver circuit therefor
CN1456992A (zh) * 2002-04-10 2003-11-19 微软公司 近似双立方过滤器
CN101578882A (zh) * 2007-01-09 2009-11-11 高通股份有限公司 用于可缩放视频译码的自适应上取样

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Description of scalable video coding technology proposal by Qualcomm(configuration 2)》;CHEN J ET AL;《11.JCT-VC MEETING;102.MPEG MEETING;SHANGHAI》;20121002;第JCTVC-K0036卷;全文 *
《Windows Media Video 9: overview and applications》;SRINIVASAN S ET AL;《ELSEVIER SCIENCEDIRECT, SIGNAL PROCESSING: IMAGE COMMUNICATION》;20041001;第851-875页 *
《一种用于层间预测的自适应插值方法》;张婵等;《解放军理工大学学报》;20091231;第10卷;第2-3页 *

Also Published As

Publication number Publication date
US20140362909A1 (en) 2014-12-11
WO2014197595A1 (en) 2014-12-11
BR112015030642A2 (pt) 2017-07-25
EP3005706A1 (en) 2016-04-13
KR20160017045A (ko) 2016-02-15
CN105264895A (zh) 2016-01-20
US9762920B2 (en) 2017-09-12
BR112015030642B1 (pt) 2023-04-11
KR102293104B1 (ko) 2021-08-23
JP6479776B2 (ja) 2019-03-06
JP2016523476A (ja) 2016-08-08
KR20200105977A (ko) 2020-09-09

Similar Documents

Publication Publication Date Title
CN105191315B (zh) 一种用于对视频信息进行译码的方法和设备
CN105284113B (zh) 分量间滤波
CN105103560B (zh) 用于仅高级语法可缩放视频译码的层间参考图片限制
CN106416259B (zh) 用于视频编码或视频解码的方法和装置
CN105247867B (zh) 用于不同层间预测类型的参考图片的独立重新采样及选择
CN105247868B (zh) 使用缩放因数的再取样
CN105075258B (zh) 针对具有不同纵横比的空间可缩放性的层间参考图片建构
CN104704833B (zh) 多视图或3维视频译码中的高级视图间残差预测
CN104718752B (zh) 在可缩放视频译码中减少取样相位信息的发信
CN104604224B (zh) 可缩放视频译码中的变换基底调整
CN104471942B (zh) 重新使用参数集用于视频译码
CN104396243B (zh) 用于视频压缩的自适应上取样滤波器
CN105493506B (zh) 在参数集中用信号通知视图id位深度
CN110326298A (zh) 译码mcts嵌套式sei消息
CN104429076B (zh) 用于可缩放视频译码和3d视频译码的一般化残差预测
CN104429072B (zh) 自适应差域空间和时间参考重构及平滑
CN106664425A (zh) 视频译码中的跨分量预测
CN106464917A (zh) 用信号表示用于位流分区的hrd参数
CN105379278B (zh) 用于视频信息的可缩放译码的装置和方法
CN105052153B (zh) 用于视频信息的可缩放译码的装置和方法
CN104221381A (zh) 用于视频译码的波前并行处理
CN104956676B (zh) 层间语法预测控制
CN105144716A (zh) 层间图片信令及相关过程
CN107251556A (zh) 用于运动搜索中低复杂度四分之一像素产生的方法及设备
CN105264895B (zh) 再取样过程中的中间数据的动态范围控制

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant