CN104737537A - 用于可缩放视频译码的加权预测模式 - Google Patents

用于可缩放视频译码的加权预测模式 Download PDF

Info

Publication number
CN104737537A
CN104737537A CN201380055118.8A CN201380055118A CN104737537A CN 104737537 A CN104737537 A CN 104737537A CN 201380055118 A CN201380055118 A CN 201380055118A CN 104737537 A CN104737537 A CN 104737537A
Authority
CN
China
Prior art keywords
predicted value
current block
layer
described current
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380055118.8A
Other languages
English (en)
Other versions
CN104737537B (zh
Inventor
瓦迪姆·谢廖金
陈建乐
李想
克里希纳坎斯·拉帕卡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104737537A publication Critical patent/CN104737537A/zh
Application granted granted Critical
Publication of CN104737537B publication Critical patent/CN104737537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

根据某些方面，用于译码视频数据的设备包含存储器及与所述存储器通信的处理器。所述存储器经配置以存储视频信息，例如基础层视频信息及增强层视频信息。所述处理器经配置以至少基于增强层视频信息的当前视频单元的至少一个颜色分量的经加权层间预测值及经加权层内预测值确定所述当前视频单元的值。

Description

用于可缩放视频译码的加权预测模式
技术领域
本发明涉及视频译码及压缩，且确切地说，涉及可缩放视频译码(SVC)。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频译码技术。视频装置可通过实施此类视频译码技术而更有效率地发射、接收、编码、解码及/或存储数字视频信息。
视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码，视频切片(即，视频帧或视频帧的一部分)可分割成视频块，视频块还可被称作树块、译码单元(CU)及/或译码节点。图片的经帧内译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测，或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测导致用于待译码块的预测性块。残差数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残差数据而编码。经帧内译码块是根据帧内译码模式及残差数据编码的。为了进一步压缩，可将残差数据从像素域变换到变换域，从而产生残差变换系数，接着可对残差变换系数进行量化。可扫描最初布置为二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。
一些基于块的视频译码及压缩方案利用可缩放技术，例如可缩放视频译码(SVC)。一般来说，可缩放视频译码是指其中使用基础层及一或多个可缩放增强层的视频译码。对于SVC，基础层通常携载具有基础质量水平的视频数据。一或多个增强层携载额外视频数据以支持较高空间、时间及/或质量(也称为信噪比或SNR)水平。在一些状况下，可以比增强层的发射更可靠的方式来发射基础层。
这些层中的每一者可包含一或多个视频块，所述视频块可以特定译码次序(例如，从左到右且逐行、从上到下而依次译码)译码。诸层可取决于层的空间分辨率而具有相同块大小或不同块大小。
发明内容
本发明的系统、方法及装置各自具有若干方面，其中无单个方面单独地负责其所要属性。在不限制如由所附权利要求书表达的本发明的范围的情况下，现在将简洁地论述一些特征。在考虑此论述之后且确切地说在阅读标题为“具体实施方式”的部分之后，读者将理解本发明的特征如何提供优点，包含基于视频数据的第一层的加权预测值与视频数据的第二层的加权预测值确定用于视频信息块的预测值。
在一个实施例中，提供一种用于译码数字视频的设备。所述设备包含经配置以存储基础层视频信息及增强层视频信息的存储器。所述设备进一步包含与所述存储器通信的处理器。所述处理器经配置以至少基于增强层视频信息的当前块的至少一个颜色分量的经加权层间预测值及所述当前块的所述至少一个颜色分量的经加权层内预测值确定所述当前块的预测值。
在另一实施例中，提供一种解码视频的方法。所述解码方法包含获得界定基础层视频信息及增强层视频信息的视频位流。所述方法还包含至少基于增强层视频信息的当前块的至少一个颜色分量的经加权层间预测值及所述当前块的所述至少一个颜色分量的经加权层内预测值确定所述当前块的预测值。
在另一实施例中，提供一种编码视频的方法。所述编码方法包含产生界定基础层视频信息及增强层视频信息的视频位流。所述编码方法还包含至少基于增强层视频信息的当前块的至少一个颜色分量的经加权层间预测值及所述当前块的所述至少一个颜色分量的经加权层内预测值确定所述当前块的预测值。
在另一实施例中，提供一种包括可执行指令的计算机可读存储媒体。所述指令致使设备获得基础层视频信息及增强层视频信息。所述指令还致使设备至少基于增强层视频信息的当前块的至少一个颜色分量的经加权层间预测值及所述当前块的所述至少一个颜色分量的经加权层内预测值确定所述当前块的预测值。
在又其它实施例中，提供一种用于译码数字视频的设备。所述设备包含用于获得基础层视频信息及增强层视频信息的装置。所述设备进一步包含用于至少基于增强层视频信息的当前块的至少一个颜色分量的经加权层间预测值及所述当前块的所述至少一个颜色分量的经加权层内预测值确定所述当前块的预测值的装置。
一或多个实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从所述描述及所述图式以及从权利要求书显而易见。
附图说明
图1是说明可利用根据本发明中描述的方面的技术的实例视频编码及解码系统的框图。
图2是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
图3是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。
图4A是说明增强层视频单元的实例预测的框图。
图4B是说明增强层视频单元的实例加权模式预测的框图。
图5是用于使用根据一或多个预测模式产生的加权预测确定视频单元的值的说明性过程的流程图。
图6是用于基于块大小限定加权模式的使用的说明性过程的流程图。
图7是用于限定运动补偿与加权模式的使用的说明性过程的流程图。
图8A及8B是说明根据本发明的方面的一般化残差预测的实例方法的流程图。
图9是说明根据本发明的方面的用于使用单循环解码的一般化残差预测的实例方法的流程图。
图10A及10B是说明根据本发明的方面的用于使用多循环解码的一般化残差预测的实例方法的流程图。
图11是说明根据本发明的方面的用于用信号发送一般化残差预测参数的实例方法的流程图。
图12是说明根据本发明的方面的用于导出一般化残差预测参数的实例方法的流程图。
图13是说明根据本发明的方面的用于对一般化残差预测中的层进行上取样或下取样的实例方法的流程图。
图14是说明根据本发明的方面的用于对一般化残差预测中的运动信息进行重新映射、上取样或下取样的实例方法的流程图。
图15是说明根据本发明的方面的用于确定一般化残差预测中的加权因子的实例方法的流程图。
具体实施方式
大体来说，本发明涉及视频译码。在视频译码过程期间，可关于个别视频单元的分量(例如，像素或像素块)进行预测。举例来说，可从其它信息预测某些像素或像素块的明度及/或色度值。此举可节省计算资源(例如，带宽、存储空间)，因为如果解码器经配置以恰当地预测经预测值，则可从位流排除所述值。在单层视频译码中，预测通常为空间预测(例如，基于相同的经译码视频帧中的其它视频单元)或时间预测(例如，基于先前或后续帧的对应视频单元)。在可缩放视频译码(SVC)中，视频信息可在逻辑上或物理上译码为多个层，例如一基础层及任何数目的增强层。SVC视频的个别帧因此可涵盖多个视频信息层。在SVC中，可如上文所描述在空间或时间基础上或在层间基础上(例如，基于用于相同帧的基础层的对应视频单元)进行对增强层帧中的块的预测。然而，在一些情况下，根据前述预测方法中的一者(例如，空间、时间或层间预测)进行的预测可能并不提供优于其它预测模式的实质性图片质量优势。此外，每一个别预测模式具有其自身的限制。在一些情况下，组合根据多个预测模式进行的预测提供优于使用根据单个预测模式进行的预测的图片质量优势。
本发明的方面涉及组合根据多个预测方法或模式进行到预测以产生视频单元的最终预测。在一些实施例中，可定义新预测模式，其可称为组合模式或加权模式。在组合模式或加权模式中，可对根据其它个别预测模式进行的预测进行加权及组合以将分集添加到最终预测(例如，加权层间预测可与加权层内预测进行组合)。在例如单个预测模式不提供优于其它预测模式或优于根据多个预测模式进行的预测的组合的实质性优势的情况下，通过将分集添加到最终预测，结果可为更好的预测。举例来说，空间预测(例如，帧内预测，如下文更详细描述)提供的结果可能只比时间预测或层间预测(例如，分别为帧间预测或BL内预测，如下文更详细描述)提供的结果稍好或根本不好于时间预测或层间预测提供的结果。帧间预测可以加权方式与一或多个其它预测进行组合。预测可经加权而使得根据一个模式进行的预测在给定视频单元的最终预测中的权重比根据不同模式进行的预测的权重大。可任选地使组合预测归一化。以此方式产生的最终预测值可比任何单个预测值提供实质上更好的结果。
在一些实施例中，用于加权模式中的权重对于视频单元的个别颜色分量(例如，明度及两个色度)中的一或多者可为不同的。举例来说，第一组权重(例如，0.5及0.5)可分别应用到视频单元的明度分量的两个不同预测值。第二组权重(例如，0及1)可分别应用到色度分量的两个不同预测值。在一些实施例中，加权模式可选择性地应用到视频单元的分量，例如仅应用到明度分量。
可经组合以产生本文所述的加权模式或组合模式中的最终预测值的预测不限于帧间预测、帧内预测及/或层间预测，例如BL内预测。确切地说，视频单元的任何预测可用于加权模式中。举例来说，还可使用基于使用残差预测技术重构的基础层块对增强层块的预测。在此层间残差预测中，基础层的残差可用以预测增强层中的当前块或其它视频单元。残差可被定义为用于视频单元与源视频单元(例如，输入视频单元)的时间预测之间的差异。在层间残差预测(在本文中还称作一般化残差预测)中，在当前增强层当前块的预测中考虑基础层的残差。下文更详细地描述残差预测技术。其它预测技术也可经组合以产生加权模式中的最终预测值。
本发明的额外方面涉及减小或消除加权模式的实施方案对视频译码、视频信息存储或位流发射的性能可能具有的任何不利影响。在一些实施例中，加权模式可仅用于某些较大块大小。此举可最小化经译码位流中所包含的额外加权模式信息的量。在额外实施例中，某些预测模式在用于加权模式中时可能受到限制或限定。举例来说，当正以加权模式产生最终预测值时，仅单向运动预测可用于增强层块。此举可减少经译码位流中包含的运动补偿信息的量及相关联计算复杂度。在另外的实施例中，某些预测模式在用于加权模式中时可能因其它原因而更改。举例来说，即使双向运动补偿信息包含在位流中，单向预测也可用于某些块大小，由此降低译码复杂度。作为另一实例，当包含双向运动补偿信息时或当待预测块低于某一大小时，可不使用加权模式，即使在位流中用信号发送加权模式旗标或将以其它方式使用加权模式。
本发明中描述的技术大体上涉及可缩放视频译码(SVC)及3D视频译码。举例来说，所述技术可涉及高效率视频译码(HEVC)可缩放视频译码(SVC)扩展，且与其一起使用或用于其内。SVC可用以提供质量(也称为信噪比(SNR))可缩放性、空间可缩放性及/或时间可缩放性。在SVC扩展中，可存在多个视频信息层。最低层级处的层可充当基础层(BL)，且最高处的层可充当增强型层(EL)。“增强型层”有时称为“增强层”，且这些术语可互换地使用。中间的所有层可充当EL或BL中的任一者或两者。举例来说，中间的层可为用于其下方的层(例如基础层或任何介入增强层)的EL，且同时充当用于其上方的增强层的BL。
仅出于说明的目的，本发明中描述的技术是关于仅包含两个层(例如，例如基础层等较低层级的层及例如增强型层等较高层级的层)的实例进行描述的。应理解，本发明中描述的实例还可扩展到具有多个基础层及增强层的实例。
增强层可具有与基础层不同的空间分辨率。举例来说，EL与BL之间的空间纵横比可为1.0、1.5、2.0或其它不同比率。换句话说，EL的空间方面可等于BL的空间方面的1.0、1.5或2.0倍。在一些实例中，EL的缩放因子可大于BL。举例来说，EL中的图片的大小可大于BL中的图片的大小。以此方式，可有可能(但不限于)EL的空间分辨率大于BL的空间分辨率。
视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(也被称为ISO/IEC MPEG-4 AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。此外，存在一种新的视频译码标准，即高效率视频译码(HEVC)，其正由ITU-T视频译码专家组(VCEG)及ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开发。从2012年6月7日起，可从http://wg11.sc29.org/jct/doc_end_user /current_document.php？id＝5885/JCTVC-I1003-v2获得HEVC的最近草案。从2012年6月7日起，可从http://phenix.it-sudparis.eu/jct/doc_end_user/documents/9_Geneva/wg11/ JCTVC-I1003-v3.zip下载被称作“HEVC工作草案7”的HEVC标准的另一最近草案。对HEVC工作草案7的完全引用是布洛斯等人的文献HCTVC-I1003“高效率视频译码(HEVC)文本规范草案7(High Efficiency Video Coding(HEVC)Text Specification Draft7)”，ITU-T SG16WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，第9次会议：瑞士日内瓦，2012年4月27日到2012年5月7日。这些参考文献中的每一者以全文引用的方式并入本文中。
下文参考附图更充分地描述新颖系统、设备及方法的各种方面。然而，本发明可以许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。而是，提供这些方面以使得本发明将为透彻且完整的，并且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新颖系统、设备及方法的任何方面。举例来说，可使用本文中所阐述的任何数目个方面或其子集来实施设备或实践方法。另外，本发明的范围既定涵盖使用除本文中的本发明的各种方面之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可通过技术方案的一或多个要素来体现本文中所揭示的任何方面。
尽管本文描述了特定方面，但这些方面的许多变化和排列属于本发明的范围。尽管提及优选方面的一些益处及优点，但本发明的范围无意限于特定益处、用途或目标。而是，本发明的方面既定广泛地适用于不同无线技术、系统配置、网络和传输协议，其中的一些是作为实例而在图中以及在优选实施例的以下描述中得以说明。详细描述和图式仅说明本发明，而不是限制由所附权利要求书及其等效者界定的本发明的范围。
图1为说明可利用根据本发明中描述的方面的技术的实例视频编码及解码系统的框图。如图1中所示，系统10包含源装置12，所述源装置12提供经编码视频数据以在稍后时间由目的地装置14解码。具体来说，源装置12经由计算机可读媒体16将视频数据提供给目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、所谓的“智能”板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或其类似者。在一些情况下，源装置12和目的地装置14可能经装备以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，计算机可读媒体16可包括使得源装置12能够实时将经编码视频数据直接传输到目的地装置14的通信媒体。经编码视频数据可根据通信标准(例如，无线通信协议)来调制，且被传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线路。通信媒体可形成基于包的网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或可用于促进从源装置12到目的地装置14的通信的任何其它装备。
在一些实例中，经编码数据可以从输出接口22输出到存储装置。类似地，可以通过输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或任何其它用于存储经编码视频数据的合适的数字存储媒体。在另一实例中，存储装置可以对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取经存储的视频数据。文件服务器可以是能够存储经编码视频数据并且将所述经编码视频数据传输到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可以通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。此可包含无线通道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器，等等)，或适合于存取存储于文件服务器上的经编码视频数据的以上两者的组合。经编码视频数据从存储装置的传输可能是流式传输、下载传输或两者的组合。
本发明的技术不必限于无线应用或环境。所述技术可以应用到支持多种多媒体应用中的任一者的视频译码，例如空中协议电视广播、有线电视传输、卫星电视传输、因特网流式视频传输(例如，动态自适应HTTP流式传输(DASH))、经编码到数据存储媒体上的数字视频，存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输，以支持例如视频流式传输、视频回放、视频广播和/或视频电话等应用。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。目的地装置14包含输入接口28、视频解码器30和显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用用于对包含符合多个标准或标准扩展的视频数据的位流进行译码的技术。在其它实例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如外部相机)接收视频数据。同样，目的地装置14可以与外部显示装置介接，而非包含集成显示装置。
图1的所说明的系统10只是一个实例。用于确定当前块的运动向量预测符的候选列表的候选者的技术可由任何数字视频编码和/或解码装置执行。尽管本发明的技术一般通过视频编码装置来执行，但是所述技术还可通过视频编码器/解码器(通常被称作“编码解码器”)来执行。此外，本发明的技术还可通过视频预处理器来执行。源装置12及目的地装置14仅为源装置12在其中产生经译码视频数据以供传输到目的地装置14的此些译码装置的实例。在一些实例中，装置12、14可以实质上对称的方式操作，使得装置12、14中的每一者包含视频编码及解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频传播以例如用于视频流式传输、视频回放、视频广播或视频电话。
源装置12的视频源18可包含视频俘获装置，例如视频摄像机、含有先前所俘获视频的视频存档及/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、所存档视频与计算机产生的视频的组合。在一些情况下，如果视频源18是摄像机，则源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术一般来说可适用于视频译码，且可应用到无线及/或有线应用。在每一种情况下，可由视频编码器20编码所俘获、经预先俘获或计算机产生的视频。经编码视频信息可接着通过输出接口22输出到计算机可读媒体16上。
计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络传输，或存储媒体(也就是说，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未展示)可例如经由网络传输、直接有线通信等从源装置12接收经编码视频数据且将经编码视频数据提供给目的地装置14。类似地，媒体生产设施(例如光盘冲压设施)的计算装置可以从源装置12接收经编码视频数据并且生产容纳经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可以理解为包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20界定的语法信息，所述语法信息还供视频解码器30使用，所述语法信息包含描述块及其它经译码单元(例如，GOP)的特性及/或处理的语法元素。显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30可以根据视频译码标准(例如目前正在开发的高效率视频译码(HEVC)标准)来操作，并且可以符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可以根据其它专有或业界标准来操作，所述标准例如是ITU-TH.264标准，也被称为MPEG-4，第10部分，高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准，包含但不限于上文所列的标准中的任一者。视频译码标准的其它实例包含MPEG-2及ITU-T H.263。尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件及软件，以处置对共同数据流或单独数据流中的音频及视频两者的编码。如果适用的话，MUX-DEMUX单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述技术时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(CODEC)的部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置，例如蜂窝式电话。
JCT-VC正在致力于开发HEVC标准。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的演进模型。HM假设视频译码装置根据(例如)ITU-TH.264/AVC相对于现有装置的若干额外能力。举例来说，虽然H.264提供了九种帧内预测编码模式，但是HM可提供多达三十三种帧内预测编码模式。
一般来说，HM的工作模型描述视频帧或图片可以分成包含亮度及色度样本两者的一连串树块或最大译码单元(LCU)。位流内的语法数据可以界定最大译码单元(LCU，其在像素数目方面为最大译码单元)的大小。切片包含呈译码次序的多个连续树块。视频帧或图片可以被分割成一或多个切片。每一树块可以根据四叉树分裂成译码单元(CU)。一般来说，四叉树数据结构包含每个CU一个节点，其中一个根节点对应于所述树块。如果CU分裂成四个子CU，则对应于CU的节点包含四个叶节点，其中叶节点中的每一者对应于所述子CU中的一者。
四叉树数据结构的每一节点可以提供相对应的CU的语法数据。举例来说，四叉树中的一节点可包含一分裂旗标，其指示对应于所述节点的所述CU是否分裂成子CU。CU的语法元素可以递归地界定，且可以取决于CU是否分裂成子CU。如果CU不进一步分裂，则将其称为叶CU。在本发明中，叶CU的子CU也将被称作叶CU，即使不存在原始叶CU的显式分裂时也是如此。举例来说，如果16×16大小的CU不进一步分裂，则这四个8×8子CU将也被称作叶CU，虽然16×16CU从未分裂。
CU具有类似于H.264标准的宏块的目的，但是CU并不具有大小区别。举例来说，树块可以分裂成四个子节点(还被称作子CU)，并且每一子节点又可以是父节点并且可以分裂成另外四个子节点。最终的未分裂子节点(被称作四叉树的叶节点)包括译码节点，还称为叶CU。与经译码位流相关联的语法数据可以界定树块可以分裂的最大次数，被称作最大CU深度，并且还可界定译码节点的最小大小。因此，位流还可界定最小译码单元(SCU)。本发明使用术语“块”来指代在HEVC的情况下的CU、PU或TU或在其它标准的情况下的类似数据结构(例如，H.264/AVC中的宏块及其子块)中的任一者。
CU包含译码节点以及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小并且形状必须是正方形。CU的大小可以在从8×8像素直到具有最大64×64像素或更大的树块的大小的范围内。每一CU可含有一或多个PU及一或多个TU。举例来说，与CU相关联的语法数据可描述将CU分割成一或多个PU。分割模式可以在CU被跳过或经直接模式编码、帧内预测模式编码或帧间预测模式编码之间有区别。PU可分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树被分割为一或多个TU。TU可以是正方形或非正方形(例如，矩形)形状。
HEVC标准允许根据TU的变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU界定的给定CU内的PU的大小而设置，但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU的残差样本可以使用被称为“残差四叉树”(RQT)的四叉树结构而细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可以变换与TU相关联的像素差值以产生变换系数，可以将所述变换系数量化。
叶CU可包含一或多个预测单元(PU)。一般来说，PU表示对应于相对应的CU的全部或一部分的空间区域，并且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的数据。举例来说，当PU经帧内模式编码时，用于PU的数据可以包含在残差四叉树(RQT)中，残差四叉树可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含界定PU的一或多个运动向量的数据。界定PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考帧，和/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。
具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。变换单元可以使用RQT(还称为TU四叉树结构)来指定，如上文所论述。举例来说，分裂旗标可以指示叶CU是否分裂成四个变换单元。接着，每一变换单元可以进一步分裂成其它的子TU。当TU未经进一步分裂时，其可被称作叶TU。总体上，对于帧内译码，所有属于一个叶CU的叶TU共用相同的帧内预测模式。也就是说，一般应用相同帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可以使用帧内预测模式针对每一叶TU计算残差值，作为CU的对应于TU的部分与原始块之间的差。TU不必限于PU的大小。因此，TU可大于或小于PU。对于帧内译码，PU可以与相同CU的相对应的叶TU并置。在一些实例中，叶TU的最大大小可以对应于对应叶CU的大小。
此外，叶CU的TU还可与相应四叉树数据结构(被称作残差四叉树(RQT))相关联。也就是说，叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点一般对应于叶CU，而CU四叉树的根节点一般对应于树块(或LCU)。未经分裂的RQT的TU被称作叶TU。一般来说，除非以其它方式提及，否则本发明分别使用术语CU及TU来指叶CU及叶TU。
视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列一或多个视频图片。GOP可包含GOP的标头、图片中的一或多者的标头或其它处的语法数据，其描述GOP中所包含的图片的数目。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块操作以便编码视频数据。视频块可以对应于CU内的译码节点。视频块可以具有固定或变化的大小，并且根据指定译码标准可以有不同大小。
作为实例，HM支持各种PU大小的预测。假设特定CU的大小是2N×2N，则HM支持2N×2N或N×N的PU大小的帧内预测，及2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM还支持用于2N×nU、2N×nD、nL×2N及nR×2N的PU大小的帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，而将另一方向分割成25％及75％。CU的对应于25％分区的部分由“n”继之以“上”、“下”、“左”或“右”的指示来指示。因此，例如，“2N×nU”是指经水平分割的2N×2NCU，其中顶部为2N×0.5N PU，而底部为2N×1.5N PU。
在本发明中，“N×N”与“N乘N”可以可互换地使用，以在垂直和水平尺寸方面指代视频块的像素尺寸，例如16×16像素或16乘16像素。一般来说，16×16块将在垂直方向上具有16个像素(y＝16)，并且在水平方向上具有16个像素(x＝16)。同样地，N×N块一般在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可按行及列布置。此外，块可能不一定在水平方向与垂直方向上具有相同数目的像素。举例来说，块可包括N×M像素，其中M未必等于N。
在使用CU的PU进行帧内预测或帧间预测译码之后，视频编码器20可以计算CU的TU的残差数据。PU可包括描述产生空间域(还被称作像素域)中的预测性像素数据的方法或模式的语法数据且TU可包括在对残差视频数据应用变换(例如，离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)之后的变换域中的系数。残差数据可以对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可以形成包含用于CU的残差数据的TU，并且接着变换TU以产生用于CU的变换系数。
在进行用于产生变换系数的任何变换之后，视频编码器20可执行变换系数的量化。量化为既定具有其最广泛一般含义的广义术语。在一个实施例中，量化是指变换系数经量化以可能减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些系数或全部相关联的位深度。举例来说，可在量化期间将n位值向下舍入到m位值，其中n大于m。
在量化之后，视频编码器可以扫描变换系数，从包含经量化变换系数的二维矩阵产生一维向量。扫描可以经设计以将较高能量(并且因此较低频率)的系数放置在阵列前面，并且将较低能量(并且因此较高频率)的系数放置在阵列的后面。在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化的变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可以执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对所述一维向量进行熵编码。视频编码器还20可对与经编码视频数据相关联的语法元素进行熵编码以供视频解码器30在对视频数据解码时使用。
为了执行CABAC，视频编码器20可以向待传输的符号指派上下文模型内的上下文。上下文可涉及(例如)符号的相邻值是否为非零。了执行CAVLC，视频编码器20可针对待传输的符号选择可变长度码。可建构VLC中的码字以使得相对较短代码对应于更有可能的符号，而较长代码对应于不太可能的符号。(例如)与对待传输的每一符号使用等长度码字的情形相比较，以此方式，使用VLC可实现位节省。概率确定可基于指派给符号的上下文。
视频编码器20可进一步例如在帧标头、块标头、切片标头或GOP标头中将例如基于块的语法数据、基于帧的语法数据及基于GOP的语法数据等语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的帧的数目，且帧语法数据可指示用以编码相对应的帧的编码/预测模式。
图2是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。视频编码器20可经配置以执行本发明的技术中的任一者或全部。作为一个实例，模式选择单元40可经配置以执行本发明中描述的技术中的任一者或全部。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频编码器20的各种组件之间共享。在一些实例中，作为补充或替代，处理器(未展示)可经配置以执行本发明中描述的技术中的任一者或全部。
在一些实施例中，模式选择单元40、运动估计单元42、运动补偿单元44、层间预测单元45、帧内预测单元46、加权预测单元47或模式选择单元40的另一组件(展示或未展示)或编码器20的另一组件(展示或未展示)可执行本发明的技术。举例来说，模式选择单元40可接收用于编码的视频数据，可将所述视频数据编码到基础层及对应的一或多个增强层中。模式选择单元40、运动估计单元42、运动补偿单元44、层间预测单元45、帧内预测单元46、加权预测单元47或编码器20的另一适当单元可至少部分基于两个或两个以上加权预测(包含帧内预测、帧间预测、例如BL内预测等层间预测、一般化残差预测，等)的组合确定当前视频单元的值。编码器20可编码视频单元，且在位流中用信号发送加权因子或加权信息。
视频编码器20可以执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或去除视频序列的邻接帧或图片内的视频中的时间冗余。帧内模式(I模式)可以指若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可以指若干基于时间的译码模式中的任一者。
如图2中所示，视频编码器20接收待编码视频帧内的当前视频块。在图1的实例中，视频编码器20包含模式选择单元40、参考帧存储器64、求和器50、变换处理单元52、量化单元54及熵译码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、层间预测单元45、帧内预测单元46、加权预测单元47及分割单元48。为了视频块重构，视频编码器20还包含反量化单元58、反变换单元60，及求和器62。还可包含解块滤波器(图2中未展示)以便对块边界进行滤波，以从经重构视频移除成块性假影。必要时，解块滤波器通常将对求和器62的输出进行滤波。除解块滤波器之外，还可使用额外滤波器(环路内或环路后)。为简洁起见未展示此类滤波器，但是必要时，这些滤波器可以对求和器62的输出进行滤波(作为环路内滤波器)。
在编码过程期间，视频编码器20接收待译码的视频帧或切片。所述帧或切片可被划分成多个视频块。运动估计单元42及运动补偿单元44相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测译码以提供时间预测。层间预测单元45可替代地相对于不同视频信息层的一或多个块(例如基础层的共置块)执行所接收视频块的层间预测性译码，如下文更详细描述。帧内预测单元46可替代地相对于与待译码块相同的帧或切片中的一或多个相邻块执行对所接收的视频块的帧内预测译码以提供空间预测。视频编码器20可以执行多个译码遍次，例如，以便为每一视频数据块选择一种适当的译码模式。加权预测单元47可替代地使用根据各种预测模式进行的预测的组合执行加权预测，如下文更详细描述。
此外，分割单元48可以基于前述译码遍次中的前述分割方案的评估将视频数据块分割成子块。举例来说，分割单元48最初可以将帧或切片分割成LCU，并且基于速率-失真分析(例如，速率-失真优化)将LCU中的每一者分割成子CU。模式选择单元40可以进一步产生指示LCU划分成子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU和一或多个TU。
模式选择单元40可以基于错误结果选择译码模式中的一者(帧内或帧间)，并且将所得的经帧内译码或经帧间译码块提供到求和器50以便产生残差块数据，并且提供到求和器62以便重构经编码块用作参考帧。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分割信息及其它此类语法信息)提供到熵译码单元56。
运动估计单元42与运动补偿单元44可高度集成，但出于概念目的分开加以说明。由运动估计单元42执行的运动估计是产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可以指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测块相对于当前帧(或其它经译码单元)内正经译码的当前块的移位。预测块是被发现在像素差方面与待译码块紧密匹配的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定。在一些实例中，视频编码器20可计算存储于参考帧存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可以内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置和分数像素位置执行运动搜索并且输出具有分数像素精度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测块的位置来计算经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述参考图片列表中的每一者识别存储在参考帧存储器64中的一或多个参考图片。运动估计单元42将计算出来的运动向量发送到熵编码单元56及运动补偿单元44。
由运动补偿单元44执行的运动补偿可以涉及基于由运动估计单元42确定的运动向量提取或产生预测块。同样，在一些实例中，运动估计单元42与运动补偿单元44可以在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44便可以在参考图片列表中的一者中定位所述运动向量指向的预测块。求和器50通过从经译码的当前视频块的像素值减去预测块的像素值从而形成像素差值来形成残差视频块，如下文所论述。一般来说，运动估计单元42相对于亮度分量执行运动估计，并且运动补偿单元44对于色度分量及亮度分量两者使用基于亮度分量计算的运动向量。模式选择单元40还可产生与视频块和视频切片相关联的供视频解码器30在对视频切片的视频块进行解码时使用的语法元素。
作为如上文所描述由运动估计单元42和运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可以对当前块进行帧内预测或计算。明确地说，帧内预测单元46可以确定用来编码当前块的帧内预测模式。在一些实例中，帧内预测单元46可(例如)在单独编码回合期间使用各种帧内预测模式对当前块进行编码，且帧内预测单元46(在一些实例中，或为模式选择单元40)可从所测试的模式中选择将使用的适当的帧内预测模式。
举例来说，帧内预测单元46可以使用速率-失真分析计算针对各种经测试帧内预测模式的速率-失真值，并且从所述经测试模式当中选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析一般确定经编码块与经编码以产生所述经编码块的原始的未经编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(也就是说，位数目)。帧内预测单元46可以根据用于各种经编码块的失真及速率计算比率，以确定哪种帧内预测模式对于所述块展现最佳速率-失真值。
在选择了用于块的帧内预测模式之后，帧内预测单元46可将指示用于所述块的选定帧内预测模式的信息提供给熵译码单元56。熵译码单元56可以对指示所选帧内预测模式的信息进行编码。视频编码器20可在所传输的位流中包含配置数据，所述配置数据可包含多个帧内预测模式索引表及多个修改的帧内预测模式索引表(还被称作码字映射表)、编码用于各种块的上下文的界定，及用于所述上下文中的每一者的最可能的帧内预测模式、帧内预测模式索引表及修改的帧内预测模式索引表的指示。
视频编码器20通过从经译码的原始视频块减去来自模式选择单元40的预测数据形成残差视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用到残差块，从而产生包括残差变换系数值的视频块。变换处理单元52可以执行概念上类似于DCT的其它变换。还可使用小波变换、整数变换、子频带变换或其它类型的变换。在任何情况下，变换处理单元52向残差块应用所述变换，从而产生残差变换系数的块。所述变换可将残差信息从像素值域转换到变换域，例如频域。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54将变换系数量化以进一步减小位速率。量化过程可减少与系数中的一些系数或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可以接着执行对包含经量化的变换系数的矩阵的扫描。替代地，熵编码单元56可以执行所述扫描。
在量化之后，熵译码单元56对经量化的变换系数进行熵译码。举例来说，熵译码单元56可以执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间划分熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的情况下，上下文可以基于相邻块。在熵译码单元56的熵译码之后，可以将经编码位流传输到另一装置(例如视频解码器30)，或者将所述视频存档用于以后传输或检索。
反量化单元58及反变换单元60分别应用反量化及反变换以在像素域中重构残差块，例如以供稍后用作参考块。运动补偿单元44可以通过将残差块添加到参考帧存储器64的帧中的一者的预测块中来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用到经重新构造的残差块以计算子整数像素值以用于运动估计。求和器62将经重构的残差块添加到由运动补偿单元44产生的经运动补偿的预测块以产生经重构参考块以供存储在参考帧存储器64中。经重构视频块可由运动估计单元42及运动补偿单元44用作参考块以对后续视频帧中的块进行帧间译码。
图3是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。视频解码器30可经配置以执行本发明的技术中的任一者或全部。作为一个实例，运动补偿单元72、层间预测单元73、帧内预测单元74及/或加权预测单元75可经配置以执行本发明中描述的技术中的任一者或全部。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频解码器30的各种组件之间共享。在一些实例中，作为补充或替代，处理器(未展示)可经配置以执行本发明中描述的技术中的任一者或全部。
在一些实施例中，熵解码单元70、运动补偿单元72、层间预测单元73、帧内预测单元74、加权预测单元75或解码器30的另一组件(展示或未展示)可执行本发明的技术。举例来说，熵解码单元70可接收经编码视频位流，所述经编码视频位流可编码与基础层及对应的一或多个增强层相关的数据。运动补偿单元72、层间预测单元73、帧内预测单元74、加权预测单元75或解码器30的另一适当单元可至少部分基于两个或两个以上加权预测(包含帧内预测、帧间预测、BL内预测、一般化残差预测，等)的组合确定当前视频单元的值。解码器30可解码视频单元，且在位流中接收加权因子或加权信息。
在图3的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、层间预测单元73、帧内预测单元74、加权预测单元75、反量化单元76、反变换单元78、参考帧存储器82及求和器80。视频解码器30在一些实例中可执行一般与关于来自图2的视频编码器20所描述的编码回合互逆的解码回合。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。
在解码过程期间，视频解码器30从视频编码器20接收表示经解码视频切片和相关联的语法元素的视频块的经编码视频位流。视频解码器30的熵解码单元70熵解码位流以产生经量化的系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转发到运动补偿单元72。视频解码器30可以接收在视频切片层级和/或视频块层级处的语法元素。
当视频切片经译码为经帧内译码(I)切片时，帧内预测单元74可以基于用信号发送的帧内预测模式和来自当前图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。在视频帧被译码为经帧间译码(例如，B、P或GPB)切片时，运动补偿单元72基于运动向量及从熵解码单元70接收的其它语法元素而产生用于当前视频切片的视频块的预测块。可以从参考图片列表中的一者内的参考图片中的一者产生预测块。视频解码器30可基于存储于参考帧存储器92中的参考图片使用默认建构技术来建构参考帧列表：列表0及列表1。运动补偿单元72通过解析运动向量及其它语法元素来确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于正被解码的当前视频块的预测块。举例来说，运动补偿单元72使用所接收的语法元素中的一些语法元素来确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、用于切片的参考图片列表中的一或多者的建构信息、用于切片的每一经帧间编码视频块的运动向量、用于切片的每一经帧间译码视频块的帧间预测状态，及用以对当前视频切片中的视频块进行解码的其它信息。
运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用由视频编码器20在编码视频块期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此状况下，运动补偿单元72可根据所接收的语法信息元素而确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测块。
反量化单元76将在位流中提供且由熵解码单元80解码的经量化变换系数反量化，例如解量化。反量化过程可包含使用视频解码器30针对视频切片中的每一视频块计算以确定应该应用的量化程度和同样反量化程度的量化参数QPY。
反变换单元78对变换系数应用反变换，例如反DCT、反整数变换或概念上类似的反变换过程，以便产生像素域中的残差块。
在运动补偿单元82基于运动向量和其它语法元素产生当前视频块的预测块之后，视频解码器30通过对来自反变换模块78的残差块与由运动补偿单元72产生的对应预测块求和而形成经解码视频块。求和器90表示可执行此求和运算的组件。必要时，还可应用解块滤波器以对经解码块进行滤波以便移除成块性假影。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变变平滑或者以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储在参考图片存储器92中，参考图片存储器92存储参考图片用于后续运动补偿。参考帧存储器82还存储经解码视频用于以后在显示装置(例如图1的显示装置32)上呈现。
上文所描述的实例编码器20及解码器30仅为说明性的，且并不既定为限制性的。在一些实施例中，经配置以执行所述技术且提供本文所述的功能性的编码器或解码器可包含额外或较少组件。在一些实施例中，其它组件或装置可提供本文所述的功能性，例如经配置以执行存储于计算机可读媒体中的特定指令的通用计算机处理器。
如上文所描述，加权模式预测可包含根据各种预测模式产生的个别预测的组合。举例来说，单个加权模式预测可包含帧内预测及/或帧间预测。SVC特定预测模式还可用以提供用于加权模式的个别预测。举例来说，根据BL内模式、差域帧内模式进行的预测、一般化残差预测及其类似物可彼此组合及/或与帧间预测、帧内预测等组合。下文更详细地描述这些及其它预测模式。前述预测模式仅为说明性的且不既定为限制性的。一般来说，根据任何预测模式或技术进行的预测可在本文所述的加权模式中加以组合。
图4A展示用于特定视频单元的说明性预测，包含层内及层间预测两者。可从处于相同帧及不同帧以及处于相同层或不同层中的各种源预测增强层(EL)帧140的块或其它视频单元。如图4A所示，可从处于相同帧140及相同层(EL)中的另一块144在(A)处预测当前块142。还可从相同层中的参考帧130中的对应块132在(B)处预测当前块142。还可从不同层(基础层(BL))的帧120中的对应块122在(C)处预测当前块142。在其中EL与BL具有不同(例如较大)分辨率的情况下(例如，EL提供空间增强)，可应用BL经重构块的上取样以在预测对应EL块之前匹配EL的分辨率。
层间预测的一些实例可包含层间帧内预测、层间运动预测及层间残差预测。层间帧内预测或BL内使用基础层中共置块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动来预测增强层中的运动。层间残差预测使用基础层的残差来预测增强层的残差。
在层间残差预测中，基础层的残差可用于预测增强层中的当前块。可将所述残差界定为对视频单元的时间预测与源视频单元之间的差。在一些实施例中，可使用从增强层的残差、从增强层的时间预测及从基础层的残差来重构当前EL块。可根据以下等式重构当前块：
I ^ e = r e + P e + r b - - - ( 1 )
其中(或)表示当前块的重构，re表示从增强层的残差，Pe(或Pc)表示从增强层的时间预测，且rb表示从基础层的残差预测。
为了对于增强层中的块使用层间残差预测，基础层中的共置块应为经帧间译码块，且共置基础层块的残差可根据增强层的空间分辨率比进行上取样(例如，因为SVC中的层可能具有不同空间分辨率)。在层间残差预测中，增强层的残差与经上取样基础层的残差之间的差可译码于位流中。可基于基础层及增强层的量化步长之间的比率来归一化基础层的残差。下文更详细地描述层间残差预测。
为将更多分集添加到最终预测，来自上文所描述的预测模式或其它预测模式的预测值可经加权及组合以产生加权模式预测值。图4B展示对于以加权模式产生的当前块142的说明性预测。从相同层中的块144的帧内预测可与从基础层中的块122的加权BL内预测进行加权及组合。在另一实例中，从相同层中的块132的帧间预测可与从基础层中的块122的加权BL内预测进行加权及组合。在又一实例中，所有三个所提及的预测(帧内、帧间及层间)可经加权及组合。结果，块142的重构可基于从若干个别预测确定的不同预测。此可帮助避免错误及个别预测模式中固有的其它限制。
一般来说，可如下确定加权模式预测值：
WMpredictor = 1 Norm · Σ i w i · Predictor i - - - ( 2 )
其中Predictori为来自某一预测模式的预测值，wi为对应于所述预测模式的权重，且Norm为归一化因子。对数目i个预测模式执行求和。在一些实施例中，预测模式的数目i可大于2。
等式(2)中的权重及归一化因子可为任何数目(例如，浮点数或整数)，且对于不同颜色分量可为不同的。在一个特定非限制性实施例中，对于明度分量，w1＝1，w2＝1且Norm＝2，而对于色度分量，w1＝0，w2＝1且Norm＝1。这些权重仅为说明性的。在一些实施例中，权重对于所预测视频单元的每一颜色分量可为相同的。
在一些实施例中，可对于等式(2)外加额外约束，使得
Norm = Σ i w i - - - ( 3 )
如等式(3)中所见，归一化因子Norm可等于加权因子的总和。当将此类约束外加于Norm时，等式(2)可产生多个预测值的加权平均值。
图5展示用于使用加权模式确定当前视频单元(例如像素或像素块)的值的实例方法或过程500。举例来说，例如上文所描述的编码器20或解码器30等数字视频译码器可使用过程500来以加权模式产生预测。在一些实施例中，过程500可由某一其它组件或设备执行。说明性地，随后的描述关于加权预测单元75及图3中的解码器30的其它组件描述过程500的步骤。
过程500开始于框502。在框504处，存储视频信息。举例来说，可在框504处存储与基础层、增强层、经上取样层、经下取样层、参考层或任何组合相关联的视频信息。
在框506处，使用根据个别预测模式产生的加权预测确定(或预测)当前视频单元(例如像素或像素块)的值。加权模式可应用到视频单元的所有颜色分量或其某一子集。举例来说，加权模式可应用到明度及两个色度，或替代地，其可选择性地应用到一或多个分量，例如仅应用到明度分量。在加权模式中，可使用视频单元的至少一个颜色分量的一或多个加权预测确定所述视频单元的值。举例来说，可通过取决于所利用的个别预测模式选择性地将加权因子应用到视频信息的一或多个颜色分量来确定所述值。
返回到图4B中的实例，用于EL块142的加权模式预测将基于使用帧内预测及BL内预测两者进行的预测。首先，可使用来自EL块144的值及加权因子对于EL块142中的视频单元进行帧内预测。可基于任何数目的因素确定加权因子。在一些实施例中，可确定用于最终加权模式预测中的每一预测的加权因子，使得每一预测(例如，在此情况下，帧内预测及BL内预测)均匀地加权。在一些实施例中，加权因子可至少部分基于待预测的视频单元的位置。对于接近于相同层及帧中的先前经重构视频单元或块的视频单元(例如子块或像素)，可对于帧内预测比BL内预测使用更高的加权因子。在图4B的实例中，可向对于接近于EL块142的顶部且因此接近于先前重构的EL块144的像素或其它视频单元的帧内预测给出接近于或等于1的权重。可向对于距EL块142的顶部较远的视频单元的帧内预测给出较低权重，例如向EL块142的底部处的视频单元给出接近或等于零的权重。此实例仅为说明性的，且假定许多细节，例如垂直预测方向，等。可使用用于确定加权因子的其它因素及技术，如所属领域的技术人员将了解。
在508处，过程500确定是否存在任何额外加权因子适用于根据个别预测模式进行的预测。如果是，则过程500返回到506。返回到图4B的实例，对于EL块142中的给定视频单元的BL内预测可为从基础层中的共置或以其它方式对应的块122的加权预测。对于接近于EL块142的顶部的视频单元，加权因子对于BL内预测可接近于或等于零。对于较接近或处于EL块142的底部的视频单元，用于BL内预测的加权因子可接近或等于1。可将当前视频单元的值确定为所有加权预测的总和或加权预测值的选定群组的总和。
如果在框508处不存在额外加权因子，则所述过程可在框510处终止。
加权模式可明确地至少在块、PU、CU、LCU、切片、帧、序列层级或其它层级作为额外旗标(例如，weighted_mode_flag＝0或1)在经译码位流中用信号发送。举例来说，实施以上过程500的编码器20可首先确定将使用加权模式，且接着在位流中用信号发送加权模式旗标，以使得解码器可知晓用于随后以加权模式编码的特定块、PU、CU、LCU、切片、帧或序列层级的视频信息。实施过程500的解码器30可检测所述加权模式旗标，且接着使用过程500来解码所述位流的至少一部分。或者，可从BL信息、EL信息、其某一组合等导出是否使用加权模式的确定。
在一些实施例中，如果用信号发送加权模式旗标，则还可针对每一块、PU、CU、LCU、切片、帧、序列层级或其它层级用信号发送权重。或者，如上文所描述，用于加权模式的权重可为固定的(例如，wi＝1，或0.5(当组合两个预测时))，从先前重构的相邻者导出，或基于距块边界的距离来确定。举例来说，对于帧内加权模式，可向用于接近于块边界的像素的帧内预测模式给出较大权重，因为帧内预测可能具有与紧邻像素的更好相关。
在一些实施例中，权重可组织于具有一或多个条目的列表中，其中一或多个权重指派给列表的每一权重索引。所述权重索引可在位流中用信号发送。此列表可为固定的或以其它方式使编码器及解码器两者获知。在其它实施例中，列表隐含地或明确地导出。举例来说，可基于从先前经译码块获得的权重的命中率来确定权重列表。替代地或另外，列表对于加权模式的不同预测模式可为不同的。举例来说，一个列表可用于帧内预测块，且另一列表可用于帧间预测块。可例如基于来自先前经处理块的统计来单独地更新这些列表。可通过一或多个标头(例如切片、图片、序列标头或视频参数集)中的语法元素来指示此模式的使用。
在一个特定非限制性实施例中，等式(2)中的Predictor1可为经重构(例如，在空间可缩放性情况下经上取样)BL块或BL内预测值。常规帧内或帧间模式预测值可以用作Predictor2。权重w1＝1及w2＝1以及Norm＝2可用于明度分量，且w1＝0，w2＝1及Norm＝1可用于两个色度分量。
当以上实例中的Predictor2为根据帧内预测模式产生的预测值时，所有帧内方向或其某一子集可用以预测明度分量及/或色度分量。在一些实施例中，为了减少帧内方向额外负荷，帧内DC或DM预测可用于两个色度分量。结果，不需要用信号发送色度帧内方向。此举可减少额外负荷信令及编码器复杂度中的任一者或两者，因为对最佳帧内方向的搜索是不必要的。
可取决于加权模式应用而使用不同语法结构。举例来说，可每CU、PU等用信号发送“weighted_mode”旗标。如果对于基础块的各种上取样应用加权，则可在明度及色度帧内预测方向之前用信号发送所述旗标。在此些情况下，可抑制明度及/或色度帧间方向的用信号发送。
作为又一实例，不同上取样滤波器可应用到BL块，且加权模式可应用到差异上取样器的结果。可使用其它模式组合、权重及归一化因素，如所属领域的技术人员将了解。
在一些实施例中，一个上下文模型用以译码所有块的加权模式旗标。在其它实施例中，上下文模型可取决于哪些个别预测模式与加权模式一起使用。举例来说，一个上下文模型可指派给帧内预测块，且另一上下文模型可指派给帧间预测块。
在额外实施例中，可根据使用哪一帧间预测模式(例如，单向预测或双向预测)来区分上下文模型。举例来说，单向预测块可使用一个上下文模型，且双向预测块可使用另一上下文模型。在另外的实施例中，上下文模型可取决于其它因素，例如帧内方向、合并旗标、跳过旗标、CU深度或切片类型。加权模式上下文模型成本可用以从用于EL上下文模型初始化的现有初始化表确定最佳CABAC初始化表。
在某些情形中，由使用加权模式引入的带宽要求及/或译码复杂度可降低性能或以其它方式产生不令人满意的结果。举例来说，在与HEVC单层译码技术相比时，对于增强层使用双向子像素(sub-pixel，sub-pel)运动补偿且对于基础层使用上取样的加权模式可导致新的“最差情况情境”。在HEVC单层译码中，“最差情况情境”仅涉及双向预测。为减少使用加权模式的SVC的带宽要求及/或译码复杂度，可应用下文关于图6及7描述的技术及过程。
图6展示用于限制对某些块大小使用加权模式的实例过程600。有利地，此举可减小用信号发送加权模式特定信息所需的带宽。过程600可由任何数目的组件或装置实施，所述组件或装置例如编码器20的加权预测单元47、解码器30的加权预测单元75或上文所描述的编码器20及/或解码器30的某一其它组件。
过程600开始于框602处。在604处，确定待重构的当前EL块的大小。举例来说，块大小范围可在4×4到32×32，包含其间的各种大小。
在决策框606处，实施过程600的组件或装置可确定以上确定的大小是否超过阈值。如果是，则过程600前进到608，其中通过选择性地将加权因子应用到预测来确定当前EL块中的视频单元的至少一个颜色分量的值，如上文关于图5所描述。举例来说，可使用加权预测模式译码(例如，编码或解码)大于8×8或大于16×16的块。
对于未能满足或超过阈值(如上文在606处所确定)的块，过程600前进到610。在610处，使用个别预测模式(例如，而不对根据多个预测模式进行的加权预测进行求和)产生当前块中的视频单元的值。
在一些实施例中，可不必使用阈值大小。替代地，可维持可对其使用加权模式的块大小的列表或群组。在一些实施例中，可界定可对其使用加权模式的最小块大小及分割模式。在一个特定非限制性实例中，可仅对大于或等于8×8且具有等于2N×2N的分割模式的CU大小使用加权模式。对于此些块，过程600前进到上文所描述的608。对于分割模式不同于2N×2N的8×8CU，可禁止、限定或抑制加权模式(例如，编码器20不用信号发送用于CU的加权模式旗标，或解码器30忽略加权模式旗标)，且过程600前进到610。
作为又一实施例，加权模式可仅与某些个别预测模式一起使用。举例来说，当使用残差内预测模式、帧间跳过模式等时，可抑制加权模式(且不用信号发送加权模式旗标，或忽略用信号发送的加权模式旗标)。作为另一实例，加权模式可仅与使用某些帧内方向进行的帧内预测一起使用。作为另一实例，当使用加权模式时，可抑制、限定或限制某些类型的运动补偿，或当使用某些类型的运动补偿时，可抑制加权模式。
图7展示用于限制、限定或抑制与某些类型的运动补偿预测模式一起使用加权模式的实例过程700。有利地，此举可减小在使用加权模式时用信号发送加权模式特定信息所需的带宽。此举还可减小使用加权模式确定视频单元值的复杂度。过程700可由任何数目的组件或装置实施，所述组件或装置例如编码器20的加权预测单元47、解码器30的加权预测单元75或上文所描述的编码器20及/或解码器30的某一其它组件。
过程700开始于框702处。在框704处，执行过程700的组件或装置可确定待对于当前块使用运动补偿。在决策框706处，执行过程700的组件或装置可确定运动补偿是否为双向的或是否将以其它方式使用双向预测。举例来说，在合并模式中，用于帧间预测的运动向量候选者可为双向的。如果是，过程700前进到708。否则，过程700前进到710。
在708处，可将用于当前视频单元或块的运动补偿转换为单向预测以便节省带宽(例如，在编码器20处)或降低译码复杂度(例如，在解码器30处)。在一个特定非限制性实施例中，使用单一L0方向或单一L1方向而非两者的帧间预测与用于加权模式的BL内预测组合使用。双向运动向量在运动补偿之前或期间转换为单一L0或单一L1方向(例如，使用来自L0或L1列表的单个运动向量)。或者，可在合并列表建构期间将双向运动向量候选者转换为单向(单一L0或单一L1)运动向量。
在一些实施例中，可仅针对明度分量抑制双向预测或将其转换为单向预测，而色度分量可经双向预测。在一些实施例中(例如，对于基于AMVP模式的加权模式)，在编码器处抑制双向运动向量，且仅单向运动向量译码于位流中。在额外实施例中，可限定帧间方向信令，使得位流仅含有单一L0或单一L1方向。结果，与双向相关联的任何冗余位不包含在位流中。在另外的实施例中，仅使用整数像素运动向量。结果，带宽可得以减小，因为不存在进行内插的需要，甚至对于双向预测也是这样。
在一些实施例中，通过施加规范性位流约束以避免语法元素信令的改变来将双向预测限定于加权模式。可在以下限定下执行译码：如果使用加权模式，则不可在位流中用信号发送双向预测(例如与双向预测相关联的所有语法)。举例来说，如果启用加权模式(例如，当weighted_mode_flag等于1时)，则双向运动向量、双向帧间方向及两个参考索引(用于列表L0及列表L0)不可存在于位流中。而是，仅单向运动信息(单向运动向量、单向帧间方向及仅一个参考索引)可存在于位流中。此限定意味着例如merge_index、MVPidx、MVD等相关联语法也符合所述约束且不会导致双向预测。
上文关于图6到7所描述的块大小及运动预测限制及抑制技术可加以组合。加权模式可仅对于特定块大小及分割模式利用双向预测。作为一个特定、非限制性实例，可例如对于从16×16及分割模式2N×2N开始的CU大小使用利用加权模式的双向预测。对于16×16CU及不同于2N×2N的分割模式，仅单向预测可用于加权模式，如上文所描述。此外，合并模式运动向量候选者可转换为单向候选者，且用于AMVP模式的帧间方向信令可对于那些块限定为单向，也如上文所描述。在一些实施例中，对于某些CU(例如，具有16×16大小与非2N×2N分割模式)，可仅对于给定CU中的某些预测单元(例如，仅对于第一预测单元)阻断或抑制双向预测，且可对于其它预测单元(例如，对于第二PU)使用双向预测。尽管在8×8及16×16CU块大小的上下文中描述以上实例，但所述技术可容易地应用到具有任何其它大小的块。
在一些实施例中，可通过根据块大小或帧间方向改变加权模式预测的行为来抑制或限定加权模式而不修改语法。举例来说，可将双向运动向量用信号发送到解码器，且如果对于加权模式限定双向预测以减小复杂度，则替代加权模式而执行正常帧间预测，即使用信号发送了加权模式(例如，“weighted_mode_flag”等于1)也是这样。如果存在单向运动向量且用信号发送了加权模式，则执行加权模式预测。
为将“最坏情况”复杂度保持在HEVC单层译码的当前“最坏情况”内，可使用加权模式的条件性信令。举例来说，可对于8×4及4×8PU抑制或限定加权模式。然而，对于所有CU大小仍可用信号发送加权模式。当用信号发送加权模式(例如，“weighted_mode_flag”等于1)时，可在预测阶段执行PU大小的检查。如果PU大小为4×8或8×4，则代替加权模式预测而执行正常帧间预测(例如，单向或双向预测)，即使用信号发送了加权模式也是这样。仅在用信号发送了单向运动向量且PU块大小不为8×4或4×8的情况下才执行加权预测。可经由合并或AMVP模式完成运动向量信令。在一些实施例中，可对于不同于8×4或4×8的块大小类似地限定加权模式。另外，加权模式的限定可基于分割模式，或基于合并还是AMVP模式信令用于加权模式的运动信息。
前述技术中的任一者可单独或组合地使用以减小带宽及/或译码复杂度。
现转而参看图8到15，将更详细地描述一般化残差预测(GRP)。如上文所描述，加权模式可使用任何类型的预测，包含GRP。下文描述的GRP技术可解决与SVC中的层间残差预测及差域运动补偿有关的问题。在GRP中，权重用于一般化残差预测的各个分量，如下文所描述。在经帧间预测块中，加权模式可用于所有GRP权重。在一些实施例中，加权模式可仅应用到某些GRP权重。举例来说，仅当GRP权重等于2时才可使用加权模式。在此情况下，应在GRP权重之后用信号发送加权模式旗标或其它加权模式信息以利用模式相依性。在此实例中，对于某些GRP权重(例如当GRP权重≠2时)可跳过或抑制加权模式旗标信令，由此减小带宽及/或存储要求。在另一实施例中，加权模式与某些GRP权重一起使用，例如当GRP权重＝1或2时，且因此将不必用信号发送不用于组合模式的GRP权重的加权模式旗标或信息，例如当GRP权重＝零时。可使用GRP权重与加权模式抑制的其它组合。
对H.264的SVC扩展需要单循环解码以用于运动补偿，以便维持解码器的低复杂度。一般来说，如下通过将当前块的时间预测与残差相加来执行运动补偿：
I ^ = r + P - - - ( 4 )
其中表示当前帧，r表示残差，且P表示时间预测。在单循环解码中，可使用单一运动补偿循环来解码SVC中的每一支持的层。为了实现此，使用受约束的帧内预测来译码用于对较高层进行层间帧内预测的所有层。在受约束帧内预测中，对帧内模式块进行帧内译码而不参考来自相邻经帧间译码块的任何样本。另一方面，HEVC允许用于SVC的多循环解码，其中可使用多个运动补偿循环来解码SVC层。举例来说，首先完全解码基础层，且接着解码增强层。
上文所描述的等式(1)中所列出的残差预测可为H.264SVC扩展中的有效技术。然而，可在HEVC SVC扩展中进一步提高其性能，尤其在多循环解码用于HEVC SVC扩展中时。
在多循环解码的情况下，可使用差域运动补偿来取代残差预测。在SVC中，可使用像素域译码或差域译码来译码增强层。在像素域译码中，对于非SVC HEVC层，可译码用于增强层像素的输入像素。另一方面，在差域译码中，可译码用于增强层的差值。所述差值可为用于增强层的输入像素与对应的经缩放基础层经重构像素之间的差。此些差值可用于对差域运动补偿的运动补偿中。
对于使用差域的帧间译码，基于增强层参考图片中的对应经预测块样本与经缩放基础层参考图片中的对应经预测块样本之间的差值来确定当前经预测块。所述差值可被称为差预测块。将共置基础层经重构样本添加到差预测块以便获得增强层经重构样本。
然而，在层间预测中使用差域运动补偿会引入两组运动估计及运动补偿，因为运动估计及运动补偿常常用于像素域及差域两者。引入两组运动估计及运动补偿可导致较高的缓冲器及计算成本，这对于编码器或解码器来说可能不实际。另外，译码两组运动向量可降低译码效率，因为在两组运动向量具有不同特性且在译码单元(CU)层级处交错时，运动场可变得不规则。此外，差域中的运动估计需要基础层及增强层共享相同运动。此外，差域运动补偿不与单循环解码一起工作，因为两个层之间的差分图片的导出是基于每一层的充分经重构图片。因此，在使用差域运动补偿时在具有两组运动估计及运动补偿中避免冗余将是有利的。而且，在单环路解码中扩展差域运动补偿将是有利的。
如上文所解释，层间残差预测在预测当前视频单元(例如，块或帧)中使用参考层的残差。在一般化残差预测中，当前视频单元的层间残差预测可基于当前层的残差、当前层的时间预测及参考层的残差。参考层的残差可通过加权因子来调整。加权因子可基于且包含各种类型的信息。此类信息的实例可包含加权候选者的数目、加权步长、加权索引及加权表。
根据本发明的方面的GRP框架可通过并入加权因子而适应各种类型的残差预测。恰当地调整加权因子可导致用于残差预测的显著译码增益。另外，在GRP框架中，可使用不必是传统的残差预测中的基础层的参考层来执行残差预测。举例来说，可从当前增强层导出参考层。在加权因子被设定成1时，GRP还可适应传统的残差预测。GRP框架可与单循环解码及多循环解码两者一起使用。另外，在GRP框架中，差域中的运动估计可不是必需的，且因此，当前层及增强层不必共享用于运动估计的相同运动。GRP框架可适用于许多不同类型的残差预测，且如等式(1)中界定的传统的残差预测及差域运动补偿是使用GRP框架的两种特定情形。所述技术可提高HEVC的可缩放扩展中的运动补偿的性能，且还可适用于HEVC的3D视频译码扩展。
根据某些方面，当前(例如，增强)层的预测与参考(例如，基础)层的预测之间的差值可用作差预测符。在一些实施例中，差值可被称为差分像素。因为增强层及基础层可具有不同的质量目标，所以当前层的时间预测及基础层的运动可不同。在一些情形中，使用差值的重构可更有效及/或产生较好的结果。举例来说，在存在场景改变或切割以使得连续帧可能彼此非常不同时，使用差预测符的重构可为优选的。可将加权因子应用到所述差值。此技术可被称为加权差预测(WDP)。在一些实施例中，可将WDP实施为对GRP框架的扩展。
图8A和8B是分别说明用于使用残差像素(例如，)及差分像素(例如，Pc-Pr)的一般化残差预测的实例方法的流程图。本发明中描述的技术可提供一般化残差预测(GRP)框架。如上文所解释，层间残差预测在预测当前视频单元(例如，帧)中使用参考层的残差。在一般化残差预测中，当前视频单元的层间残差预测可基于当前层的残差、当前层的时间预测及参考层的残差。参考层的残差可通过加权因子来调整。可如下界定GRP方案：
I ^ c = r c + P c + w · r r - - - ( 5 )
其中表示当前帧的重构，rc表示从当前层的残差预测，Pc表示从相同层的时间预测，rr表示从参考层的残差预测，且w表示加权因子。
加权因子可基于且包含各种类型的信息。此类信息的实例可包含加权候选者的数目、加权步长、加权索引及加权表。加权候选者的数目可指示可用于应用到参考层的残差的不同加权因子的数目。加权步长可指示可用的加权因子之间的增量或单位的大小。加权索引可指示可用的加权因子当中的特定加权因子。加权表可包含关于加权因子的信息且可通过加权索引进行存取，类似于查找表。在特定实例中，三个加权因子候选者可为可用的：0.0、0.5及1.0。在此实例中，加权候选者的数目是3，因为三个加权因子候选者是可用的。所述3个加权候选者之间的加权步长是0.5。每一加权候选者可由加权索引识别。加权因子0通过索引0识别，加权因子0.5通过索引1识别，且加权因子1.0通过索引2识别。加权步长及索引可用于导出加权因子，这是因为用信号发送分数可能成本较高。
根据本发明的方面的GRP框架可通过并入加权因子而适应各种类型的残差预测。恰当地调整加权因子可导致用于残差预测的显著译码增益。GRP可通过在残差预测中并入用于参考层的加权信息而在减少存储器的量及计算成本的同时提高译码性能。举例来说，由于加权残差预测更准确，所以GRP可提高译码性能。而且，可(例如)因为通常不使用如在差域运动补偿中的两组运动补偿循环而减少存储器的量及计算成本。另外，在GRP框架中，可使用不必是传统的残差预测中的基础层的参考层来执行残差预测。举例来说，可从当前层的增强层导出参考层。在加权因子被设定成1时，GRP还可适应传统的残差预测。GRP框架可与单循环解码及多循环解码两者一起使用。
相对于差域运动补偿，可在单循环解码中应用GRP框架。如上文所解释，在H.264中，无法在单循环解码情形中采用差域运动补偿，这是因为必须基于每一层的完全经重构图片来计算层之间的差分图片。为了获得差域运动补偿中的差图片，常常使用每一层的完全重构，且对于每一层，可使用一个运动补偿循环来用于完全重构。举例来说，常常使用两个运动补偿循环以具有两个层的完全重构。因此，无法在单循环解码中采用差域运动补偿。相比而言，GRP可支持单循环解码及多循环解码两者。另外，在GRP框架中，差域中的运动估计可不是必需的。因此，当前层及增强层不必共享用于运动估计的相同运动。GRP框架适用于许多不同类型的残差预测，且如等式(1)中界定的传统的残差预测及差域运动补偿是使用GRP框架的两种特定情形。
现将参考图8A解释根据本发明的方面的用于一般化残差预测的实例方法。过程800A可由编码器(例如，如图2中所展示的编码器)、解码器(例如，如图3中所展示的解码器)或任何其它组件来执行。相对于图3中的解码器30来描述过程800A的步骤，但过程800A可由如上文所提及的其它组件(例如编码器)执行。
在框801A处，解码器30将加权因子应用到从参考层的残差预测。如上文所解释，一般化残差预测(GRP)可将加权因子应用到从参考层的残差。可针对特定情形(例如单循环解码)确定加权因子是最佳的。所述加权因子可包含信息，例如加权候选者的数目、加权步长、加权索引及加权表。
在框802A处，解码器30获得从增强层的残差预测。在框803A处，解码器30获得从增强层的时间预测。
在框804A处，解码器30基于通过加权因子调整的从参考层的残差预测、从增强层的残差预测及从增强层的时间预测来确定当前视频单元。如上文所解释，在GRP中，可根据等式(5)预测当前视频单元。
现将参考图8B解释根据本发明的方面的用于一般化残差预测的实例方法。过程800B可由编码器(例如，如图2中所展示的编码器)、解码器(例如，如图3中所展示的解码器)或任何其它组件来执行。相对于图3中的解码器30来描述过程800B的步骤，但过程800B可由如上文所提及的其它组件(例如编码器)执行。
在框801B处，解码器30将加权因子应用到差预测。一般化残差预测(GRP)可将加权因子应用到当前或增强层的预测(Pe)与参考或基础层的预测(Pb)之间的差。可针对特定情形(例如单循环解码)确定加权因子是最佳的。所述加权因子可包含信息，例如加权候选者的数目、加权步长、加权索引及加权表。
在框802B处，解码器30获得从增强层的残差预测。在框803B处，解码器30在参考层中获得当前图片的重构。
在框804B处，解码器30基于通过加权因子调整的差预测、从增强层的残差预测及参考层重构来确定当前视频单元。可根据下文论述的等式(7B)来预测当前视频单元。
根据关于图8A及图8B所描述的本发明的方面的用于一般化残差预测的实例方法可实施在各种译码层级处，例如序列、图片、帧群组、帧、切片群组、切片、译码单元(CU)群组、译码单元(CU)、预测单元(PU)群组、预测单元(PU)、块或像素区。另外，关于图8A和8B所描述的所有实施例可单独地或彼此组合地实施。
图9是说明根据本发明的方面的用于使用单循环解码的一般化残差预测的实例方法的流程图。如上文所解释，在单循环解码中，使用一个循环用于增强层的运动补偿。在单循环解码的情形中，得不到基础层的完全重构。因此，基础层的归一化的残差可直接用作基础残差预测符。对于增强层，可如下确定重构
I ^ e = r e + P e + w · r b = r e + P e + w · r b ′ · ( Q e / Q b ) - - - ( 6 )
其中re及Pe表示增强层的的经解量化残差及时间预测，rb表示归一化的基础层残差预测符(在空间可缩放情况中经上取样)，rb′表示基础层残差，且Qe及Qb分别表示增强层及基础层的量化步长。
现将参考图9解释根据本发明的方面的用于使用单循环解码的一般化残差预测的实例方法。过程900可由编码器(例如，如图2中所展示的编码器)、解码器(例如，如图3中所展示的解码器)或任何其它组件来执行。相对于图3中的解码器30来描述过程900的步骤，但过程900可由如上文所提及的其它组件(例如编码器)执行。在框901处，解码器30在用于GRP框架的单循环解码中确定用于从参考层的残差预测的加权因子。在框902处，解码器30基于通过加权因子调整的从RL的残差预测、从EL的残差预测及从EL的时间预测来确定当前视频单元。举例来说，如上文关于等式(6)所解释，归一化的基础层残差可用于RL残差预测。根据关于图9所描述的本发明的方面的用于一般化残差预测的实例方法可实施在各种译码层级处，例如序列、图片、帧群组、帧、切片群组、切片、译码单元(CU)群组、译码单元(CU)、预测单元(PU)群组、预测单元(PU)、块或像素区。另外，关于图9所描述的所有实施例可单独地或彼此组合地实施。
图10A及图10B是说明根据本发明的方面的用于使用多循环解码的一般化残差预测的实例方法的流程图。如上文所解释，在多循环解码中，使用多个循环用于增强层的运动补偿。在多循环解码的情形中，在编码/解码增强层时可得到基础层的完全重构。因此，先前经译码的增强层及基础层的重构之间的差值(必要时经上取样)可用作残差预测符。对于增强层，可如下确定重构
I ^ e = r e + P e + w · ( I ^ b - P b ) - - - ( 7 A )
其中re re指示增强层中的当前视频单元的经解量化残差，Pe及Pb分别指示增强层及基础层中的当前视频单元的时间预测，且指示基础层中的当前视频单元的完全重构。因为增强层及基础层可具有不同的质量目标，所以时间预测Pe及Pb的运动可不同。
如果基础层与增强层具有相同运动，则时间预测Pe及Pb的运动是相同的，且可以直接采用等式(7A)。在解码增强层的帧间视频单元时，其增强层及基础层时间预测Pe及Pb两者都可用。基础层重构也可用。因此，可从可如关于图11及12更详细解释用信号发送或导出的经解量化的残差re及w获得重构
如果基础层与增强层具有不同运动，则增强层及基础层时间预测Pe及Pb的运动是不同的，且基础层的残差及增强层的残差可不相关。在此情况下，残差预测可不产生良好结果。为了提高残差预测的性能，可假设增强层及基础层时间预测共享相同的运动。作为假设EL及BL时间预测共享相同运动的补充或替代，可强制将基础层的运动或增强层的运动应用到另一层以产生残差预测符。举例来说，可将增强层时间预测Pe的运动应用到基础层以获取Pb。在此情况下，常常使用两个运动补偿来解码增强层，这是因为可使用Pe的运动产生Pe及Pb两者。
在另一实施例中，当前(例如，增强)层的预测与参考(例如，基础)层的预测之间的差值可用作差预测符。对于增强层，可如下确定重构
I ^ e = r e + I ^ b + w · ( P e - P b ) - - - ( 7 B )
其中re指示增强层中的当前视频单元的经解量化残差，Pe及Pb分别指示增强层及基础层中的当前视频单元的时间预测，且指示基础层中的当前视频单元的完全重构。因为增强层及基础层可具有不同的质量目标，所以时间预测Pe及Pb的运动可不同。在许多情形中，根据等式(7A)的重构将比根据等式(7B)的重构更有效。然而，在一些情形中，根据等式(7B)的重构将更有效及/或产生更好的结果。举例来说，在存在场景改变或切割以使得连续帧彼此非常不同时，根据等式(7B)的重构是优选的。
在一个实施例中，将不同的加权索引指派给正常的GRP加权因子及WDP加权因子。举例来说，在一个实施例中，在CU层级处允许四个加权索引。加权索引0、1及2指示等式(7A)用于预测计算，其中分别地w＝0、0.5及1。加权索引3指示等式(7B)用于预测计算，且w＝0.5。在另一实施例中，GRP加权因子(例如，等式(7A))全部停用且仅允许WDP加权因子(例如，等式(7B))。本文中关于GRP所描述的所有方法(包含但不限于参数信令/导出方法、加权因子确定方法、相关图片/运动上取样、下取样方法等)还可应用到WDP。
现将参考图10A及图10B解释根据本发明的方面的用于使用多循环解码的一般化残差预测的实例方法。过程1000A及过程1000B可由编码器(例如，如图2中所展示的编码器)、解码器(例如，如图3中所展示的解码器)或任何其它组件执行。过程1000A及过程1000B的步骤是相对于图3中的解码器30来描述，但过程1000A及过程1000B可由如上文所提及的其它组件(例如编码器)执行。
参考图10A，在框1001A处，解码器30在用于GRP框架的多循环解码中确定用于从参考层的残差预测的加权因子。在框1002A处，解码器30基于通过加权因子调整的从RL的残差预测、从EL的残差预测及从EL的时间预测来确定当前视频单元。举例来说，如上文关于等式(7)所解释，可用于RL残差预测。
参考图10B，在框1001B处，解码器30在用于GRP框架的多循环解码中确定用于差预测的加权因子。在框1002B处，解码器30基于通过加权因子调整的差预测、从EL的残差预测及RL重构(例如，参考层中的当前图片的完全重构)来确定当前视频单元。举例来说，如上文关于等式(7B)所解释，Pe-Pb(或Pc-Pr)可用于差预测。
根据关于图10A及图10B所描述的本发明的方面的用于使用多循环解码的一般化残差预测的实例方法可实施在各种译码层级处，例如序列、图片、帧群组、帧、切片群组、切片、译码单元(CU)群组、译码单元(CU)、预测单元(PU)群组、预测单元(PU)、块或像素区。另外，关于图10A和图10B所描述的所有实施例可单独地或彼此组合地实施。
在一些情形中，残差像素(例如，)及差分像素(例如，Pe-Pb)可扩展超过所分配的或所要的位深度。举例来说，在一些情形中，这些像素可不能够以8或16位表示。此可造成硬件实施方案的复杂化。因此，在一些实施例中，执行修剪以截断残差或差分像素以确保每一者属于所要的范围内，例如(但不限于)8位或16位表示。
图11是说明根据本发明的方面的用于用信号发送一般化残差预测参数的实例方法的流程图。如上文所解释，加权信息可包含加权候选者的数目、加权步长(或加权表)及加权索引。可基于此类加权信息确定加权因子w。加权候选者的数目可由Nw指示。加权步长可由Sw指示，且加权表由WT指示。加权索引可由iw指示。在一个实施例中，如下基于加权步长Sw及加权索引iw导出加权因子w：
w＝Sw·iw     (8)
在另一实施例中，可根据索引iw从查找表WT获得w。
可以各种方式用信号发送可包含(但不限于)Nw、Sw、WT及iw的加权因子信息。在一些实施例中，可硬译码或用信号发送加权步长Sw或加权表WT。可在序列层级或图片层级处用信号发送Sw或WT。可在较低层级(例如CU及PU)处用信号发送加权索引iw。
在一个实施例中，使用3位量化(Sw可为1/8，2/8，…，8/8)及在序列参数集(SPS)中译码的无正负号的整数指数-哥伦布来表示加权步长Sw。考虑到Nw≥1，(Nw-1)也是在SPS中译码的无正负号的整数指数-哥伦布。加权索引iw首先使用截断的一元码(其中Nw作为最大数目)二进制化且随后经CABAC译码。在CABAC译码中，第一二进位使用一个上下文被译码，且剩余二进位使用另一上下文被译码。为了译码加权索引iw，所述上下文可取决于先前经译码的参数。举例来说，在空间上相邻的CU(例如CU的左边及顶部)的iw可用作当前CU的加权索引iw的上下文。而且，当前CU的类型(例如当前CU被跳过还是被合并译码)或当前CU的大小可用作上下文。
在其它实施例中，不同的CU模式可具有不同的加权因子信令方法。举例来说，对于跳过及合并模式，可选择并用信号发送三个加权因子(例如w＝0、w＝0.5及w＝1)。对于除跳过及合并模式之外的帧间模式，可选择并用信号发送仅两个加权因子(例如w＝0及w＝1)。或者，对于除跳过及合并模式之外的帧间模式，可应用仅一个固定加权因子。在此情况下，可不使用用于加权因子的额外信令。
现将参考图11解释根据本发明的方面的用于用信号发送一般化残差预测参数的实例方法。过程1100可由编码器(例如，如图2中所展示的编码器)、解码器(例如，如图3中所展示的解码器)或任何其它组件来执行。过程1100的步骤是相对于图2中的编码器20来描述，但过程1100可由如上文所提及的其它组件(例如解码器)执行。在框1101处，编码器20用信号发送加权步长或加权表。在框1102处，编码器20用信号发送加权候选者的数目。在框1103处，编码器20用信号发送加权索引。过程1100中的步骤可以不同次序执行。举例来说，可在加权步长(或加权表)之前用信号发送加权候选者的数目。根据关于图11所描述的本发明的方面的用于用信号发送一般化残差预测参数的实例方法可实施在各种译码层级处，例如序列、图片、帧群组、帧、切片群组、切片、译码单元(CU)群组、译码单元(CU)、预测单元(PU)群组、预测单元(PU)、块或像素区。另外，关于图11所描述的所有实施例可单独地或彼此组合地实施。
图12是说明根据本发明的方面的用于导出一般化残差预测参数的实例方法的流程图。可如关于图11所解释用信号发送GRP参数。还可从包含在位流中的信息导出GRP参数。可完全或部分从位流中的信息导出GRP参数。在一个实施例中，根据相关的CU大小在CU层级处导出加权步长Sw。在下表中列举加权步长Sw与CU大小之间的实例映射。
CU大小 Sw
64×64 1/8
32×32 1/4
16×16 1/2
8×8 1/2
表1-加权步长与CU大小之间的实例映射
在另一实施例中，基于先前经译码的信息(例如CU模式、CU大小及量化)在CU层级处调整加权候选者的最大数目。举例来说，对于小于16×16的CU，可允许仅两个加权候选者(例如)以便节省信令成本。
现将参考图12解释根据本发明的方面的用于导出一般化残差预测参数的实例方法。过程1200可由编码器(例如，如图2中所展示的编码器)、解码器(例如，如图3中所展示的解码器)或任何其它组件来执行。相对于图3中的解码器30来描述过程1200的步骤，但过程1200可由如上文所提及的其它组件(例如编码器)执行。
在框1201处，解码器30从位流获得信息或获得先前经译码的信息以便确定加权信息。举例来说，如上文所解释，GRP参数可基于CU大小。或GRP参数可基于先前经译码的信息，例如CU模式、CU大小及量化。在框1202处，解码器30基于在框1201处获得的信息来确定用于一般化残差预测的一或多个参数。举例来说，解码器30可基于CU大小来确定加权步长Sw。解码器30还可基于CU大小来确定加权候选者的数目Nw。解码器30还可基于先前经译码的信息(例如CU模式、CU大小及量化)来调整加权信息。根据关于图8所描述的本发明的方面的用于导出一般化残差预测参数的实例方法可实施在各种译码层级处，例如序列、图片、帧群组、帧、切片群组、切片、译码单元(CU)群组、译码单元(CU)、预测单元(PU)群组、预测单元(PU)、块或像素区。另外，关于图12所描述的所有实施例可单独地或彼此组合地实施。
图13是说明根据本发明的方面的用于对一般化残差预测中的层进行上取样或下取样的实例方法的流程图。在层间预测过程中，将上取样或下取样滤波过程应用到基础层图片以与增强层的空间纵横比匹配。甚至在基础层及增强层的图片大小相同时也可应用例如平滑滤波器等滤波过程。一般来说使用并硬译码一个固定上取样、下取样及平滑滤波器组。所述过滤器可选自根据分数像素偏移(有时被称作相位)的组，所述分数像素偏移是基于基础层与增强层图片之间的空间纵横比而计算。
在GRP框架中，可应用变型滤波组以提高层间预测性能。可在序列或图片层级处硬译码或用信号发送滤波组。可在较低层级(例如CU及PU)处用信号发送或导出滤波器组索引。可基于加权因子w的值而导出滤波器组索引，或可基于加权索引iw而导出滤波器组索引。可在序列或图片层级处硬译码或用信号发送滤波组索引与加权因子w之间或滤波组与加权索引iw之间的导出映射表。
现将参考图13解释根据本发明的方面的用于对一般化残差预测中的层进行上取样或下取样的实例方法。过程1300可由编码器(例如，如图2中所展示的编码器)、解码器(例如，如图3中所展示的解码器)或任何其它组件来执行。相对于图3中的解码器30来描述过程1300的步骤，但过程1300可由如上文所提及的其它组件(例如编码器)执行。
在框1301处，解码器30确定是对参考层上取样还是对增强层下取样。在空间可缩放性中，执行此类上取样及下取样以使得可在相同分辨率下执行层间预测。如果在框1302处确定将对参考层上取样，则在框1303处，解码器30将参考层上取样到增强层的分辨率。另一方面，如果在框1302处确定将对参考层下取样，则在框1304处，解码器30将增强层下取样到参考层的分辨率。在框1305处，解码器30将平滑滤波器应用到经上取样或经下取样的图片。即使增强层及参考层图片相同，也可应用平滑滤波器。可恰当地选择平滑滤波器。在框1306处，解码器30基于经上取样或经下取样的图片使用GRP确定当前视频单元。
根据关于图13所描述的本发明的方面的用于对一般化残差预测中的层进行上取样或下取样的实例方法可实施在各种译码层级处，例如序列、图片、帧群组、帧、切片群组、切片、译码单元(CU)群组、译码单元(CU)、预测单元(PU)群组、预测单元(PU)、块或像素区。另外，关于图13所描述的所有实施例可单独地或彼此组合地实施。
图14是说明根据本发明的方面的用于对一般化残差预测中的运动信息进行重新映射、上取样或下取样的实例方法的流程图。在一些情况下，在将一个层的运动信息应用到另一层以产生残差预测符时，一个层中可用的参考可能不可用于另一层中。在此情况下，运动重新映射是必需的。在一个实施例中，如果参考仅可用于一个层中，则将其标记为不可用，以使得此参考将不用于产生所提出的GRP框架中的残差预测符。在另一实施例中，通过相关参考列表的开头处的参考取代不可用的参考，且将运动设定成零运动。
在3D视频译码中，SVC视频数据还包含用于不同视图的视频数据。因为视图可与不同角度相关，所以在不同视图之间可存在视差。如果在3D视频译码的情况下重新映射运动，则可在重新映射运动中考虑视差向量。
在空间可缩放情况中，可归因于增强层与基础层之间的不同分辨率而对运动向量上取样或下取样。在一个实施例中，运动向量缩放直接基于分辨率。在另一实施例中，可在直接缩放之后应用额外的相移(+1或-1)。可在位流中用信号发送或基于先前经译码的信息(例如PU大小、运动向量、CU深度等)导出所述额外的相移。
现将参考图14解释根据本发明的方面的用于对运动信息进行重新映射、上取样或下取样的实例方法。过程1400可由编码器(例如，如图2中所展示的编码器)、解码器(例如，如图3中所展示的解码器)或任何其它组件来执行。相对于图3中的解码器30来描述过程1400的步骤，但过程1400可由如上文所提及的其它组件(例如编码器)执行。在框1401处，如果用于运动信息的参考不可用于层中的一者中，则在框1402处，解码器30重新映射运动信息。举例来说，如果另一层中的对应参考不可用，则解码器30可将参考标记为不可用。或解码器30可将所述参考重新映射到相关参考列表中的参考。如果在框1401处，用于运动信息的参考在层中可用于帧间预测，则解码器30可不执行进一步的处理，如框1403中所展示。在框1404处，如果使用空间SVC，则在框1405处，解码器30确定是对参考层运动信息上取样还是对增强层运动信息下取样。如果未使用空间可缩放性，则在框1406处，解码器30可不执行任何进一步处理。在框1407处，如果确定将对参考层运动信息上取样，则在框1008处，解码器30将参考层运动信息上取样到增强层的分辨率。另一方面，如果在框1407处确定将对增强层运动信息下取样，则在框1409处，解码器30将增强层运动信息下取样到参考层的分辨率。在框1410处，解码器30使用经上取样或经下取样的图片使用GRP确定当前视频单元。
根据关于图10所描述的本发明的方面的用于对运动信息进行重新映射、上取样或下取样的实例方法可实施在各种译码层级处，例如序列、图片、帧群组、帧、切片群组、切片、译码单元(CU)群组、译码单元(CU)、预测单元(PU)群组、预测单元(PU)、块或像素区。另外，关于图14所描述的所有实施例可单独地或彼此组合地实施。
图15是说明根据本发明的方面的用于确定用于在一般化残差预测中编码的加权因子的实例方法的流程图。所述实例方法可适用于编码器侧优化。在一个实施例中，通过使用每一加权因子候选者检查CU速率-失真成本来确定用于每一CU的最佳加权因子w。将具有最小成本的加权因子选择为用于所述CU的加权因子w。在另一实施例中，通过将增强层时间预测Pe的运动应用到基础层时间预测Pb而导出残差预测符。可如下确定加权因子w：
w = Σ x , y { ( I - P e ) · ( I ^ b - P b ) } Σ x , y { ( I ^ b - P b ) 2 } - - - ( 9 )
其中I指示用于增强层的源图片，指示差分块(I-Pe)及的点积的总和。
现将参考图15解释根据本发明的方面的用于确定用于在一般化残差预测中编码的加权因子的实例方法。过程1500可由编码器(例如，如图2中所展示的编码器)、解码器(例如，如图3中所展示的解码器)或任何其它组件来执行。过程1500的步骤是相对于图2中的编码器20来描述，但过程1500可由如上文所提及的其它组件(例如解码器)执行。在框1501处，编码器20通过将EL时间预测的运动应用到BL时间预测而导出EL的残差预测。在框1502处，解码器30基于所导出的残差预测而导出加权因子。根据关于图15所描述的本发明的方面的用于确定用于在一般化残差预测中编码的加权因子的实例方法可实施在各种译码层级处，例如序列、图片、帧群组、帧、切片群组、切片、译码单元(CU)群组、译码单元(CU)、预测单元(PU)群组、预测单元(PU)、块或像素区。另外，关于图15所描述的所有实施例可单独地或彼此组合地实施。
应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可用不同顺序执行、可添加、合并或全部省略(例如，实践所述技术并不需要所有的所描述动作或事件)。此外，在某些实例中，可例如通过多线程处理、中断处理或多个处理器同时而非依序执行动作或事件。
在一或多个实例中，所描述的功能可以用硬件、软件、固件或其任何组合来实施。如果以软件实施，则所述功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包含任何促进将计算机程序从一处传送到另一处的媒体(例如，根据通信协议)的通信媒体。以此方式，计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可以包含计算机可读媒体。
举例来说且并非限制，所述计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，快闪存储器，或可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。同样，任何连接可恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，则同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。然而，应理解，所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是实际上针对非暂时性的有形存储媒体。如本文所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式重现数据，而光盘使用激光以光学方式重现数据。上述各者的组合也应包含在计算机可读媒体的范围内。
指令可以由一或多个处理器执行，所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可以在经配置用于编码和解码的专用硬件和/或软件模块内提供，或者并入在组合编解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可实施于广泛多种装置或设备中，包含无线手持机、集成电路(IC)或IC组(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示技术的装置的功能方面，但不必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可以结合合适的软件及/或固件组合在编码解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
已描述各种实例。这些及其它实例在所附权利要求书的范围内。

Claims (74)

1.一种用于译码数字视频的设备，所述设备包括：
存储器，其经配置以存储基础层视频信息及增强层视频信息；以及
与所述存储器通信的处理器，所述处理器经配置以至少基于增强层视频信息的当前块的至少一个颜色分量的经加权层间预测值及所述当前块的所述至少一个颜色分量的经加权层内预测值确定所述当前块的预测值。
2.根据权利要求1所述的设备，其中所述处理器进一步经配置以使用归一化因子，所述归一化因子包括与所述经加权层间预测值相关联的加权因子及与所述经加权层内预测值相关联的加权因子的总和。
3.根据权利要求2所述的设备，其中所述经加权层内预测值包括加权因子与空间预测值或时间预测值中的至少一者的乘积。
4.根据权利要求1所述的设备，其中所述经加权层间预测值包括加权因子与时间预测值、空间预测值或残差预测值中的至少一者的乘积。
5.根据权利要求1所述的设备，其中所述处理器进一步经配置以至少部分基于所述当前块的一或多个额外经加权预测值确定所述当前块的所述预测值，且其中所述经加权层间预测值、所述经加权层内预测值及所述一或多个额外经加权预测值中的每一者与不同视频译码模式相关联。
6.根据权利要求1所述的设备，其中所述处理器进一步经配置以至少基于所述当前块的第二颜色分量的第二经加权层间预测值及所述当前块的所述第二颜色分量的第二经加权层内预测值确定所述当前块的所述预测值。
7.根据权利要求6所述的设备，其中用于所述层间预测值的第一加权因子不同于用于所述第二层间预测值的第二加权因子。
8.根据权利要求1所述的设备，其中所述处理器进一步经配置以至少基于所述当前块的空间相邻块、第二增强层块与所述当前块之间的距离或所述当前块中的像素距所述当前块的块边界的距离中的一者确定至少一个加权因子。
9.根据权利要求1所述的设备，其中所述处理器进一步经配置以至少基于预定义加权因子列表确定加权因子。
10.根据权利要求9所述的设备，其中所述处理器进一步经配置以识别所述预定义加权因子列表中的加权索引，所述加权索引与所述加权因子相关联。
11.根据权利要求1所述的设备，其中所述处理器经配置以响应于确定将至少基于所述经加权层间预测值及所述经加权层内预测值确定所述当前块的所述预测值而阻止用信号发送与所述当前块的至少一个颜色分量相关联的帧间方向。
12.根据权利要求1所述的设备，其中所述处理器经配置以响应于确定与残差预测模式相关联的加权因子为受限定值而阻止用信号发送指示将至少基于经加权层间预测值及经加权层内预测值确定增强层块的预测值的旗标。
13.根据权利要求1所述的设备，其中所述处理器经配置以响应于确定与所述经加权层内预测值相关联的预测模式不为受限定预测模式而至少基于所述经加权层间预测值及所述经加权层内预测值确定所述当前块的所述预测值。
14.根据权利要求1所述的设备，其中所述处理器进一步经配置以确定指示将至少基于所述经加权层间预测值及所述经加权层内预测值确定所述当前块的所述预测值的旗标，且其中至少基于由以下各者组成的群组中的一者确定用以译码所述旗标的上下文模型：与所述当前块相关联的预测模式、与所述当前块相关联的帧间方向、与所述当前块相关联的帧内方向、合并旗标、跳过旗标、CU深度或切片类型。
15.根据权利要求1所述的设备，其中所述处理器进一步经配置以响应于确定所述当前块包括大小大于预定值的视频信息块而至少基于所述经加权层间预测值及所述经加权层内预测值确定所述当前块的所述预测值。
16.根据权利要求1所述的设备，其中所述处理器进一步经配置以将运动补偿信息的使用限定于单向运动补偿信息以确定所述当前块的所述预测值。
17.根据权利要求16所述的设备，其中所述处理器进一步经配置以将双向运动向量转换为单向运动向量。
18.根据权利要求17所述的设备，其中所述经转换双向运动向量与所述当前块的明度分量相关联，且其中与所述当前块的色度分量相关联的双向运动向量不转换为单向运动向量。
19.根据权利要求1所述的设备，其中所述处理器进一步经配置以在不执行内插的情况下确定所述当前块的所述预测值。
20.根据权利要求1所述的设备，其中所述处理器进一步经配置以限定用以确定所述当前块的至少一个颜色分量的内插滤波器长度。
21.根据权利要求1所述的设备，其中所述处理器进一步经配置以仅当所述当前块满足块大小准则及分割模式准则时才至少基于所述经加权层间预测值及所述经加权层内预测值确定所述当前块的所述预测值。
22.根据权利要求1所述的设备，其中所述处理器进一步经配置以在所述当前块具有大于或等于块大小阈值的块大小及等于分割模式阈值的分割模式时使用双向预测确定所述当前块的所述预测值，且在所述当前块具有小于所述块大小阈值的块大小或不等于所述分割模式阈值的分割模式时使用单向预测确定所述当前块的所述预测值。
23.根据权利要求1所述的设备，其中所述处理器进一步经配置以在至少基于所述经加权层间预测值及所述经加权层内预测值译码所述当前块时阻止用信号发送双向语法元素。
24.根据权利要求1所述的设备，其中所述处理器进一步经配置以：
识别指示将至少基于所述经加权层间预测值及所述经加权层内预测值确定所述当前块的所述预测值的旗标；以及
仅当所述当前块具有不等于受限定块大小的块大小时且仅当将使用单向预测来确定所述经加权层内预测值时才至少基于所述经加权层间预测值及所述经加权层内预测值确定所述当前块的所述预测值。
25.根据权利要求1所述的设备，其中所述设备包括解码器，所述解码器经配置以响应于从位流提取的高阶语法而至少基于所述经加权层间预测值及所述经加权层内预测值确定所述当前块的所述预测值。
26.根据权利要求1所述的设备，其中所述设备包括编码器，所述编码器经配置以用信号发送指示将至少基于所述经加权层间预测值及所述经加权层内预测值确定所述当前块的所述预测值的旗标，且其中所述旗标仅响应于确定所述当前块具有大于或等于块大小阈值的块大小及等于分割模式阈值的分割模式而用信号发送。
27.根据权利要求1所述的设备，其中所述设备是装置的一部分，所述装置选自由以下各者组成的群组：桌上型计算机、笔记本计算机、平板计算机、机顶盒、电话手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台及视频流式传输装置。
28.一种解码视频的方法，所述方法包括：
获得界定基础层视频信息及增强层视频信息的视频位流；以及
至少基于增强层视频信息的当前块的至少一个颜色分量的经加权层间预测值及所述当前块的所述至少一个颜色分量的经加权层内预测值确定所述当前块的预测值。
29.根据权利要求28所述的方法，其进一步包括使用归一化因子，所述归一化因子包括与所述经加权层间预测值相关联的加权因子及与所述经加权层内预测值相关联的加权因子的总和。
30.根据权利要求28所述的方法，其中所述经加权层间预测值包括加权因子与时间预测值、空间预测值或残差预测值中的至少一者的乘积。
31.根据权利要求28所述的方法，其进一步包括至少部分基于所述当前块的一或多个额外经加权预测值确定所述当前块的所述预测值，且其中所述经加权层间预测值、所述经加权层内预测值及所述一或多个额外经加权预测值中的每一者与不同视频译码模式相关联。
32.根据权利要求28所述的方法，其进一步包括至少基于所述当前块的第二颜色分量的第二经加权层间预测值及所述当前块的所述第二颜色分量的第二经加权层内预测值确定所述当前块的所述预测值。
33.根据权利要求32所述的方法，其中用于所述层间预测值的第一加权因子不同于用于所述第二层间预测值的第二加权因子。
34.根据权利要求28所述的方法，其进一步包括至少基于所述当前块的空间相邻块、第二增强层块与所述当前块之间的距离或所述当前块中的像素距所述当前块的块边界的距离中的一者确定至少一个加权因子。
35.根据权利要求28所述的方法，其进一步包括至少基于预定义加权因子列表确定加权因子。
36.根据权利要求35所述的方法，其进一步包括识别所述预定义加权因子列表中的加权索引，所述加权索引与所述加权因子相关联。
37.根据权利要求28所述的方法，其进一步包括响应于确定与所述经加权层内预测值相关联的预测模式不为受限定预测模式而至少基于所述经加权层间预测值及所述经加权层内预测值确定所述当前块的所述预测值。
38.根据权利要求28所述的方法，其进一步包括确定指示将至少基于所述经加权层间预测值及所述经加权层内预测值确定所述当前块的所述预测值的旗标，且其中至少基于由以下各者组成的群组中的一者确定用以译码所述旗标的上下文模型：与所述当前块相关联的预测模式、与所述当前块相关联的帧间方向、与所述当前块相关联的帧内方向、合并旗标、跳过旗标、CU深度或切片类型。
39.根据权利要求28所述的方法，其进一步包括响应于确定所述当前块包括大小大于预定值的视频信息块而至少基于所述经加权层间预测值及所述经加权层内预测值确定所述当前块的所述预测值。
40.根据权利要求28所述的方法，其进一步包括将运动补偿信息的使用限定于单向运动补偿信息以确定所述当前块的所述预测值。
41.根据权利要求40所述的方法，其进一步包括将双向运动向量转换为单向运动向量。
42.根据权利要求41所述的方法，其中所述经转换双向运动向量与所述当前块的明度分量相关联，且其中与所述当前块的色度分量相关联的双向运动向量不转换为单向运动向量。
43.根据权利要求28所述的方法，其进一步包括在不执行内插的情况下确定所述当前块的所述预测值。
44.根据权利要求28所述的方法，其进一步包括限定用以确定所述当前块的至少一个颜色分量的内插滤波器长度。
45.根据权利要求28所述的方法，其进一步包括仅当所述当前块满足块大小准则及分割模式准则时才至少基于所述经加权层间预测值及所述经加权层内预测值确定所述当前块的所述预测值。
46.根据权利要求28所述的方法，其进一步包括在所述当前块具有大于或等于块大小阈值的块大小及等于分割模式阈值的分割模式时使用双向预测确定所述当前块的所述预测值，且在所述当前块具有小于所述块大小阈值的块大小或不等于所述分割模式阈值的分割模式时使用单向预测确定所述当前块的所述预测值。
47.根据权利要求28所述的方法，其进一步包括：
识别指示将至少基于所述经加权层间预测值及所述经加权层内预测值确定所述当前块的所述预测值的旗标；以及
仅当所述当前块具有不等于受限定块大小的块大小时且仅当将使用单向预测来确定所述经加权层内预测值时才至少基于所述经加权层间预测值及所述经加权层内预测值确定所述当前块的所述预测值。
48.一种编码视频的方法，所述方法包括：
产生界定基础层视频信息及增强层视频信息的视频位流；以及
至少基于增强层视频信息的当前块的至少一个颜色分量的经加权层间预测值及所述当前块的所述至少一个颜色分量的经加权层内预测值确定所述当前块的预测值。
49.根据权利要求48所述的方法，其进一步包括使用归一化因子，所述归一化因子包括与所述经加权层间预测值相关联的加权因子及与所述经加权层内预测值相关联的加权因子的总和。
50.根据权利要求48所述的方法，其中所述经加权层间预测值包括加权因子与时间预测值、空间预测值或残差预测值中的至少一者的乘积。
51.根据权利要求48所述的方法，其进一步包括至少部分基于所述当前块的一或多个额外经加权预测值确定所述当前块的所述预测值，且其中所述经加权层间预测值、所述经加权层内预测值及所述一或多个额外经加权预测值中的每一者与不同视频译码模式相关联。
52.根据权利要求48所述的方法，其进一步包括至少基于所述当前块的第二颜色分量的第二经加权层间预测值及所述当前块的所述第二颜色分量的第二经加权层内预测值确定所述当前块的所述预测值。
53.根据权利要求52所述的方法，其中用于所述层间预测值的第一加权因子不同于用于所述第二层间预测值的第二加权因子。
54.根据权利要求48所述的方法，其进一步包括至少基于所述当前块的空间相邻块、第二增强层块与所述当前块之间的距离或所述当前块中的像素距所述当前块的块边界的距离中的一者确定至少一个加权因子。
55.根据权利要求48所述的方法，其进一步包括至少基于预定义加权因子列表确定加权因子。
56.根据权利要求55所述的方法，其进一步包括识别所述预定义加权因子列表中的加权索引，所述加权索引与所述加权因子相关联。
57.根据权利要求48所述的方法，其进一步包括响应于确定将至少基于所述经加权层间预测值及所述经加权层内预测值确定所述当前块的所述预测值而阻止用信号发送与所述当前块的至少一个颜色分量相关联的帧间方向。
58.根据权利要求48所述的方法，其进一步包括响应于确定与残差预测模式相关联的加权因子为受限定值而阻止用信号发送指示将至少基于经加权层间预测值及经加权层内预测值确定增强层块的预测值的旗标。
59.根据权利要求48所述的方法，其进一步包括响应于确定与所述经加权层内预测值相关联的预测模式不为受限定预测模式而至少基于所述经加权层间预测值及所述经加权层内预测值确定所述当前块的所述预测值。
60.根据权利要求48所述的方法，其进一步包括确定指示将至少基于所述经加权层间预测值及所述经加权层内预测值确定所述当前块的所述预测值的旗标，且其中至少基于由以下各者组成的群组中的一者确定用以译码所述旗标的上下文模型：与所述当前块相关联的预测模式、与所述当前块相关联的帧间方向、与所述当前块相关联的帧内方向、合并旗标、跳过旗标、CU深度或切片类型。
61.根据权利要求48所述的方法，其进一步包括响应于确定所述当前块包括大小大于预定值的视频信息块而至少基于所述经加权层间预测值及所述经加权层内预测值确定所述当前块的所述预测值。
62.根据权利要求48所述的方法，其进一步包括将运动补偿信息的使用限定于单向运动补偿信息来确定所述当前块的所述预测值。
63.根据权利要求62所述的方法，其进一步包括将双向运动向量转换为单向运动向量。
64.根据权利要求63所述的方法，其中所述经转换双向运动向量与所述当前块的明度分量相关联，且其中与所述当前块的色度分量相关联的双向运动向量不转换为单向运动向量。
65.根据权利要求48所述的方法，其进一步包括在不执行内插的情况下确定所述当前块的所述预测值。
66.根据权利要求48所述的方法，其进一步包括限定用以确定所述当前块的至少一个颜色分量的内插滤波器长度。
67.根据权利要求48所述的方法，其进一步包括仅当所述当前块满足块大小准则及分割模式准则时才至少基于所述经加权层间预测值及所述经加权层内预测值确定所述当前块的所述预测值。
68.根据权利要求48所述的方法，其进一步包括在所述当前块具有大于或等于块大小阈值的块大小及等于分割模式阈值的分割模式时使用双向预测确定所述当前块的所述预测值，且在所述当前块具有小于所述块大小阈值的块大小或不等于所述分割模式阈值的分割模式时使用单向预测确定所述当前块的所述预测值。
69.根据权利要求48所述的方法，其进一步包括在至少基于所述经加权层间预测值及所述经加权层内预测值译码所述当前块时阻止用信号发送双向语法元素。
70.根据权利要求48所述的方法，其进一步包括：
识别指示将至少基于所述经加权层间预测值及所述经加权层内预测值确定所述当前块的所述预测值的旗标；以及
仅当所述当前块具有不等于受限定块大小的块大小时且仅当将使用单向预测来确定所述经加权层内预测值时才至少基于所述经加权层间预测值及所述经加权层内预测值确定所述当前块的所述预测值。
71.一种包括可由设备的处理器执行的指令的计算机可读存储媒体，所述指令致使所述设备：
获得存储基础层视频信息及增强层视频信息；以及
至少基于增强层视频信息的当前块的至少一个颜色分量的经加权层间预测值及所述当前块的所述至少一个颜色分量的经加权层内预测值确定所述当前块的预测值。
72.根据权利要求71所述的计算机可读存储媒体，所述指令进一步致使所述设备将运动补偿信息的使用限定于单向运动补偿信息以确定所述当前块的所述预测值。
73.一种用于译码数字视频的设备，所述设备包括：
用于获得基础层视频信息及增强层视频信息的装置；以及
用于至少基于增强层视频信息的当前块的至少一个颜色分量的经加权层间预测值及所述当前块的所述至少一个颜色分量的经加权层内预测值确定所述当前块的预测值的装置。
74.根据权利要求73所述的设备，其进一步包括用于响应于确定所述当前块包括大小大于预定值的视频信息块而至少基于所述经加权层间预测值及所述经加权层内预测值确定所述当前块的所述预测值的装置。
CN201380055118.8A 2012-09-07 2013-09-06 用于译码数字视频的设备、解码视频的方法、编码视频的方法及计算机可读存储媒体 Active CN104737537B (zh)

Applications Claiming Priority (17)

Application Number Priority Date Filing Date Title
US201261698526P 2012-09-07 2012-09-07
US61/698,526 2012-09-07
US201261707843P 2012-09-28 2012-09-28
US61/707,843 2012-09-28
US201361754490P 2013-01-18 2013-01-18
US61/754,490 2013-01-18
US201361807271P 2013-04-01 2013-04-01
US61/807,271 2013-04-01
US201361809800P 2013-04-08 2013-04-08
US61/809,800 2013-04-08
US201361814288P 2013-04-21 2013-04-21
US61/814,288 2013-04-21
US201361814640P 2013-04-22 2013-04-22
US61/814,640 2013-04-22
US14/019,468 2013-09-05
US14/019,468 US9906786B2 (en) 2012-09-07 2013-09-05 Weighted prediction mode for scalable video coding
PCT/US2013/058482 WO2014039802A2 (en) 2012-09-07 2013-09-06 Weighted prediction mode for scalable video coding

Publications (2)

Publication Number Publication Date
CN104737537A true CN104737537A (zh) 2015-06-24
CN104737537B CN104737537B (zh) 2018-09-21

Family

ID=50233265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380055118.8A Active CN104737537B (zh) 2012-09-07 2013-09-06 用于译码数字视频的设备、解码视频的方法、编码视频的方法及计算机可读存储媒体

Country Status (7)

Country Link
US (1) US9906786B2 (zh)
EP (2) EP3687169B1 (zh)
JP (1) JP2015531561A (zh)
KR (1) KR20150052259A (zh)
CN (1) CN104737537B (zh)
ES (1) ES2892479T3 (zh)
WO (1) WO2014039802A2 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107015900A (zh) * 2016-01-27 2017-08-04 中国科学院声学研究所 一种视频网站的服务性能预测方法
CN109417641A (zh) * 2016-07-05 2019-03-01 株式会社Kt 用于处理视频信号的方法和装置
CN109479128A (zh) * 2016-08-05 2019-03-15 联发科技股份有限公司 视频编解码的方法与装置
CN109479149A (zh) * 2016-07-05 2019-03-15 株式会社Kt 视频信号处理方法和设备
CN109565603A (zh) * 2016-08-15 2019-04-02 高通股份有限公司 使用解耦树结构的视频内译码
CN110063056A (zh) * 2016-12-07 2019-07-26 株式会社Kt 用于处理视频信号的方法和设备
WO2019210546A1 (zh) * 2018-05-04 2019-11-07 上海芯仑光电科技有限公司 一种数据处理方法及计算设备
CN110771164A (zh) * 2017-06-23 2020-02-07 高通股份有限公司 视频译码中的帧间预测与帧内预测的组合
CN110800302A (zh) * 2017-06-07 2020-02-14 联发科技股份有限公司 用于视频编解码的帧内-帧间预测的方法及装置
WO2020073920A1 (en) * 2018-10-10 2020-04-16 Mediatek Inc. Methods and apparatuses of combining multiple predictors for block prediction in video coding systems
CN111034194A (zh) * 2017-08-08 2020-04-17 联发科技股份有限公司 画面内合并预测
CN111149358A (zh) * 2017-09-21 2020-05-12 华为技术有限公司 仿射帧间预测中子块尺寸推导的限制
CN111436227A (zh) * 2018-11-12 2020-07-21 北京字节跳动网络技术有限公司 在视频处理中使用组合帧间-帧内预测
CN113228661A (zh) * 2018-11-14 2021-08-06 腾讯美国有限责任公司 用于对帧内-帧间预测模式进行改进的方法和装置
WO2023122968A1 (zh) * 2021-12-28 2023-07-06 Oppo广东移动通信有限公司 帧内预测方法、设备、系统、及存储介质
US11838539B2 (en) 2018-10-22 2023-12-05 Beijing Bytedance Network Technology Co., Ltd Utilization of refined motion vector
US11930165B2 (en) 2019-03-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd Size dependent inter coding
US11956465B2 (en) 2018-11-20 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Difference calculation based on partial position

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2723079A4 (en) 2011-06-15 2015-03-04 Korea Electronics Telecomm MODULABLE VIDEO ENCODING AND DECODING METHOD AND DEVICE APPLYING THE SAME
US9420302B2 (en) * 2012-01-24 2016-08-16 Dolby Laboratories Licensing Corporation Weighted multi-band cross color channel predictor
WO2014007515A1 (ko) 2012-07-02 2014-01-09 엘지전자 주식회사 영상 정보 코딩 방법 및 이를 이용하는 장치
SG11201500314WA (en) * 2012-09-28 2015-02-27 Intel Corp Inter-layer residual prediction
JP6763664B2 (ja) * 2012-10-01 2020-09-30 ジーイー ビデオ コンプレッション エルエルシー エンハンスメント層作動パラメータのためのベース層ヒントを使用するスケーラブルビデオ符号化
US9491460B2 (en) * 2013-03-29 2016-11-08 Qualcomm Incorporated Bandwidth reduction for video coding prediction
WO2015062002A1 (en) * 2013-10-31 2015-05-07 Mediatek Singapore Pte. Ltd. Methods for sub-pu level prediction
US10178384B2 (en) * 2013-12-19 2019-01-08 Sharp Kabushiki Kaisha Image decoding device, image coding device, and residual prediction device
US10536731B2 (en) * 2014-05-12 2020-01-14 Apple Inc. Techniques for HDR/WCR video coding
US10327001B2 (en) 2014-06-19 2019-06-18 Qualcomm Incorporated Systems and methods for intra-block copy
WO2016072775A1 (ko) 2014-11-06 2016-05-12 삼성전자 주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US10250904B2 (en) * 2015-05-05 2019-04-02 Avago Technologies International Sales Pte. Limited Apparatus and method for overlapped motion compensation for video coding
WO2016200100A1 (ko) * 2015-06-10 2016-12-15 삼성전자 주식회사 적응적 가중치 예측을 위한 신택스 시그널링을 이용하여 영상을 부호화 또는 복호화하는 방법 및 장치
GB2557809B (en) * 2015-08-28 2021-12-01 Kt Corp Method and device for processing video signal
WO2017043941A1 (ko) * 2015-09-10 2017-03-16 엘지전자(주) 예측 각도에 따른 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2017043816A1 (ko) * 2015-09-10 2017-03-16 엘지전자(주) 인터-인트라 병합 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2017135692A1 (ko) * 2016-02-02 2017-08-10 엘지전자(주) 픽셀 순환 코딩과 변환 코딩의 결합에 기초하여 비디오 신호를 처리하는 방법 및 장치
US11032550B2 (en) * 2016-02-25 2021-06-08 Mediatek Inc. Method and apparatus of video coding
CN109121465B (zh) * 2016-05-06 2023-06-06 交互数字麦迪逊专利控股公司 用于运动补偿残差预测的系统和方法
EP3456049B1 (en) 2016-05-13 2022-05-04 VID SCALE, Inc. Systems and methods for generalized multi-hypothesis prediction for video coding
US10944963B2 (en) 2016-05-25 2021-03-09 Arris Enterprises Llc Coding weighted angular prediction for intra coding
CN116708782A (zh) * 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
CN116600109A (zh) 2016-08-11 2023-08-15 Lx 半导体科技有限公司 图像编码/解码方法和图像数据的发送方法
AU2016231584A1 (en) * 2016-09-22 2018-04-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
WO2018054269A1 (en) * 2016-09-22 2018-03-29 Mediatek Inc. Method and apparatus for video coding using decoder side intra prediction derivation
WO2018062892A1 (ko) * 2016-09-28 2018-04-05 엘지전자(주) 가중치 인덱스에 기초하여 최적의 예측을 수행하는 방법 및 장치
US10798404B2 (en) 2016-10-05 2020-10-06 Qualcomm Incorporated Systems and methods of performing improved local illumination compensation
WO2018070632A1 (ko) * 2016-10-11 2018-04-19 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
JP6769231B2 (ja) * 2016-10-17 2020-10-14 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム
US11496747B2 (en) * 2017-03-22 2022-11-08 Qualcomm Incorporated Intra-prediction mode propagation
WO2018212569A1 (ko) * 2017-05-16 2018-11-22 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR102426387B1 (ko) * 2017-06-19 2022-07-28 엘지전자 주식회사 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN108876841B (zh) * 2017-07-25 2023-04-28 成都通甲优博科技有限责任公司 一种视差图视差求精中插值的方法及系统
CN111801946B (zh) * 2018-01-24 2024-07-19 Vid拓展公司 用于具有降低的译码复杂性的视频译码的广义双预测
CN110113600B (zh) * 2018-02-01 2022-08-26 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机可读存储介质和计算机设备
CN112154502B (zh) 2018-04-05 2024-03-01 瑞典爱立信有限公司 支持生成舒适噪声
WO2019203517A1 (ko) * 2018-04-15 2019-10-24 엘지전자 주식회사 영상 코딩 시스템에서 움직임 정보 도출 방법 및 장치
CN110636296B (zh) * 2018-06-22 2022-05-27 腾讯美国有限责任公司 视频解码方法、装置、计算机设备以及存储介质
WO2020017910A1 (ko) * 2018-07-18 2020-01-23 한국전자통신연구원 지역 조명 보상을 통한 효과적인 비디오 부호화/복호화 방법 및 장치
BR112021004890A2 (pt) 2018-09-13 2021-06-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. intrapredições ponderadas lineares afins
KR102584455B1 (ko) * 2018-09-24 2023-10-05 후아웨이 테크놀러지 컴퍼니 리미티드 품질 최적화된 디블로킹을 수행하기 위한 이미지 처리 디바이스 및 방법
CN112997489B (zh) * 2018-11-06 2024-02-06 北京字节跳动网络技术有限公司 具有几何分割的帧间预测的边信息信令
US11240497B2 (en) * 2018-11-15 2022-02-01 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking in a video encoder and/or video decoder
US11652984B2 (en) * 2018-11-16 2023-05-16 Qualcomm Incorporated Position-dependent intra-inter prediction combination in video coding
US20200162737A1 (en) 2018-11-16 2020-05-21 Qualcomm Incorporated Position-dependent intra-inter prediction combination in video coding
JP2022508244A (ja) * 2018-11-27 2022-01-19 オーピー ソリューションズ， エルエルシー 明示的信号伝達および暗黙的信号伝達を用いた、使用不可参照フレームの適応ブロック更新
WO2020130617A1 (ko) * 2018-12-18 2020-06-25 엘지전자 주식회사 비디오 데이터를 처리하기 위한 방법 및 장치
US10855992B2 (en) 2018-12-20 2020-12-01 Alibaba Group Holding Limited On block level bi-prediction with weighted averaging
CN113170166B (zh) 2018-12-30 2023-06-09 北京字节跳动网络技术有限公司 具有几何分割的帧间预测在视频处理中有条件的应用
CN113366853B (zh) 2019-02-02 2024-08-02 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的缓冲区初始化
WO2020156547A1 (en) 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Buffer resetting for intra block copy in video coding
US11290726B2 (en) 2019-02-07 2022-03-29 Qualcomm Incorporated Inter-intra prediction mode for video data
CN117395439A (zh) 2019-03-01 2024-01-12 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的基于方向的预测
CN113545068B (zh) 2019-03-01 2023-09-15 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的基于顺序的更新
KR20240132530A (ko) 2019-03-04 2024-09-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사의 구현 형태
US11197009B2 (en) 2019-05-30 2021-12-07 Hulu, LLC Processing sub-partitions in parallel using reference pixels
US11202070B2 (en) * 2019-05-30 2021-12-14 Hulu, LLC Parallel bi-directional intra-coding of sub-partitions
CN114208171A (zh) * 2019-06-14 2022-03-18 Lg电子株式会社 用于推导用于生成预测样本的权重索引信息的图像解码方法和装置
CA3146016C (en) 2019-07-06 2024-05-07 Beijing Bytedance Network Technology Co., Ltd. Virtual prediction buffer for intra block copy in video coding
CN114175633B (zh) 2019-07-10 2023-12-29 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的样点标识
JP2022539887A (ja) 2019-07-11 2022-09-13 北京字節跳動網絡技術有限公司 映像符号化におけるイントラブロックコピーのためのビットストリーム適合性の制約

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1623333A (zh) * 2002-11-25 2005-06-01 松下电器产业株式会社 动态补偿方法、图像编码方法及图像解码方法
CN1917647A (zh) * 2005-04-19 2007-02-21 三星电子株式会社 自适应地选择用于熵编码的上下文模型的方法和设备
CN101176350A (zh) * 2005-05-26 2008-05-07 株式会社Ntt都科摩 对运动和预测加权参数进行编码的方法和装置
US20090003718A1 (en) * 2007-06-26 2009-01-01 Shan Liu Inverse Tone Mapping for Bit-Depth Scalable Image Coding Adapted to Variable Block Sizes
CN101461244A (zh) * 2006-04-04 2009-06-17 三星电子株式会社 使用扩展宏块跳过模式进行编码/解码的方法和装置
CN101491107A (zh) * 2006-07-07 2009-07-22 艾利森电话股份有限公司 视频数据管理

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148858A (ja) * 1999-11-18 2001-05-29 Sony Corp 画像情報変換装置及び画像情報変換方法
US8406301B2 (en) 2002-07-15 2013-03-26 Thomson Licensing Adaptive weighting of reference pictures in video encoding
CN1323553C (zh) 2003-01-10 2007-06-27 汤姆森许可贸易公司 隐藏由宏块流构成的编码图像中的空间差错的方法
US20080151106A1 (en) * 2004-02-23 2008-06-26 Koninklijke Philips Electronics, N.V. Reducing Artefacts In Scan-Rate Conversion Of Image Signals By Combining Interpolation And Extrapolation Of Images
KR20060063608A (ko) * 2004-12-06 2006-06-12 엘지전자 주식회사 영상신호의 엔코딩/디코딩시에 영상블록에 대한 레지듀얼예측을 수행하는 방법 및 장치
KR100888962B1 (ko) * 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR100703748B1 (ko) 2005-01-25 2007-04-05 삼성전자주식회사 다 계층 기반의 비디오 프레임을 효율적으로 예측하는 방법및 그 방법을 이용한 비디오 코딩 방법 및 장치
KR100763179B1 (ko) * 2005-04-01 2007-10-04 삼성전자주식회사 비동기 픽쳐의 모션 벡터를 압축/복원하는 방법 및 그방법을 이용한 장치
KR100746007B1 (ko) * 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
US8619860B2 (en) 2005-05-03 2013-12-31 Qualcomm Incorporated System and method for scalable encoding and decoding of multimedia data using multiple layers
WO2006129184A1 (en) * 2005-06-03 2006-12-07 Nokia Corporation Residual prediction mode in scalable video coding
WO2007018688A1 (en) * 2005-07-22 2007-02-15 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
KR100891662B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
BRPI0616619B1 (pt) 2005-10-12 2019-09-10 Interdigital Madison Patent Holdings método e aparelho para prognóstico ponderal na codificação e decodificação de vídeo com abordagem de escala
KR100772868B1 (ko) * 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
KR100736096B1 (ko) * 2005-12-12 2007-07-06 삼성전자주식회사 비디오 신호를 그룹별로 인코딩 및 디코딩하는 방법 및장치
CN101401440A (zh) * 2006-01-09 2009-04-01 诺基亚公司 可伸缩视频编码中的差错恢复模式判决
KR100791295B1 (ko) * 2006-01-12 2008-01-04 삼성전자주식회사 플래그 부호화 방법, 플래그 복호화 방법, 및 상기 방법을이용한 장치
WO2008004940A1 (en) * 2006-07-07 2008-01-10 Telefonaktiebolaget Lm Ericsson (Publ) Video data management
US20080089411A1 (en) * 2006-10-16 2008-04-17 Nokia Corporation Multiple-hypothesis cross-layer prediction
KR100896289B1 (ko) * 2006-11-17 2009-05-07 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
WO2008084817A1 (ja) 2007-01-09 2008-07-17 Kabushiki Kaisha Toshiba 画像符号化と復号化の方法及び装置
JP5185266B2 (ja) 2007-07-02 2013-04-17 日本電信電話株式会社 動画像スケーラブル符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体
CN101877785A (zh) 2009-04-29 2010-11-03 祝志怡 一种基于混合预测的视频编码方法
KR20120118782A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 적응적 필터링을 이용한 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US20130051467A1 (en) * 2011-08-31 2013-02-28 Apple Inc. Hybrid inter/intra prediction in video coding systems
US9467692B2 (en) 2012-08-31 2016-10-11 Qualcomm Incorporated Intra prediction improvements for scalable video coding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1623333A (zh) * 2002-11-25 2005-06-01 松下电器产业株式会社 动态补偿方法、图像编码方法及图像解码方法
CN1917647A (zh) * 2005-04-19 2007-02-21 三星电子株式会社 自适应地选择用于熵编码的上下文模型的方法和设备
CN101176350A (zh) * 2005-05-26 2008-05-07 株式会社Ntt都科摩 对运动和预测加权参数进行编码的方法和装置
CN101461244A (zh) * 2006-04-04 2009-06-17 三星电子株式会社 使用扩展宏块跳过模式进行编码/解码的方法和装置
CN101491107A (zh) * 2006-07-07 2009-07-22 艾利森电话股份有限公司 视频数据管理
US20090003718A1 (en) * 2007-06-26 2009-01-01 Shan Liu Inverse Tone Mapping for Bit-Depth Scalable Image Coding Adapted to Variable Block Sizes

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ITU-T: "《H.263建议书》", 《H系列：视听和多媒体系统》 *
SEUNG HWAN KIM.ETC: "《Adaptive multiple reference frame based scalable video coding algorithm》", 《PROCEEDINGS.INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107015900A (zh) * 2016-01-27 2017-08-04 中国科学院声学研究所 一种视频网站的服务性能预测方法
CN107015900B (zh) * 2016-01-27 2019-08-06 中国科学院声学研究所 一种视频网站的服务性能预测方法
US11805255B2 (en) 2016-07-05 2023-10-31 Kt Corporation Method and apparatus for processing video signal
CN109479149A (zh) * 2016-07-05 2019-03-15 株式会社Kt 视频信号处理方法和设备
CN109417641B (zh) * 2016-07-05 2022-03-18 株式会社Kt 用于处理视频信号的方法和装置
US11190770B2 (en) 2016-07-05 2021-11-30 Kt Corporation Method and apparatus for processing video signal
US11876999B2 (en) 2016-07-05 2024-01-16 Kt Corporation Method and apparatus for processing video signal
CN109417641A (zh) * 2016-07-05 2019-03-01 株式会社Kt 用于处理视频信号的方法和装置
CN109479128A (zh) * 2016-08-05 2019-03-15 联发科技股份有限公司 视频编解码的方法与装置
CN109479128B (zh) * 2016-08-05 2021-07-30 联发科技股份有限公司 视频编解码的方法与装置
CN109565603A (zh) * 2016-08-15 2019-04-02 高通股份有限公司 使用解耦树结构的视频内译码
CN109565603B (zh) * 2016-08-15 2023-10-10 高通股份有限公司 使用解耦树结构的视频内译码
US11736686B2 (en) 2016-12-07 2023-08-22 Kt Corporation Method and apparatus for processing video signal
US12095987B2 (en) 2016-12-07 2024-09-17 Kt Corporation Method and apparatus for processing video signal
CN110063056A (zh) * 2016-12-07 2019-07-26 株式会社Kt 用于处理视频信号的方法和设备
CN110063056B (zh) * 2016-12-07 2023-09-12 株式会社Kt 用于处理视频信号的方法和设备
US11716467B2 (en) 2016-12-07 2023-08-01 Kt Corporation Method and apparatus for processing video signal
CN110800302A (zh) * 2017-06-07 2020-02-14 联发科技股份有限公司 用于视频编解码的帧内-帧间预测的方法及装置
CN110771164A (zh) * 2017-06-23 2020-02-07 高通股份有限公司 视频译码中的帧间预测与帧内预测的组合
CN110771164B (zh) * 2017-06-23 2024-03-15 高通股份有限公司 视频译码中的帧间预测与帧内预测的组合
CN111034194A (zh) * 2017-08-08 2020-04-17 联发科技股份有限公司 画面内合并预测
CN111149358B (zh) * 2017-09-21 2022-06-14 华为技术有限公司 仿射帧间预测中子块尺寸推导的限制
CN111149358A (zh) * 2017-09-21 2020-05-12 华为技术有限公司 仿射帧间预测中子块尺寸推导的限制
WO2019210546A1 (zh) * 2018-05-04 2019-11-07 上海芯仑光电科技有限公司 一种数据处理方法及计算设备
US11481908B2 (en) 2018-05-04 2022-10-25 Omnivision Sensor Solution (Shanghai) Co., Ltd Data processing method and computing device
US11818383B2 (en) 2018-10-10 2023-11-14 Hfi Innovation Inc. Methods and apparatuses of combining multiple predictors for block prediction in video coding systems
WO2020073920A1 (en) * 2018-10-10 2020-04-16 Mediatek Inc. Methods and apparatuses of combining multiple predictors for block prediction in video coding systems
US11838539B2 (en) 2018-10-22 2023-12-05 Beijing Bytedance Network Technology Co., Ltd Utilization of refined motion vector
US11889108B2 (en) 2018-10-22 2024-01-30 Beijing Bytedance Network Technology Co., Ltd Gradient computation in bi-directional optical flow
US12041267B2 (en) 2018-10-22 2024-07-16 Beijing Bytedance Network Technology Co., Ltd. Multi-iteration motion vector refinement
US11956449B2 (en) 2018-11-12 2024-04-09 Beijing Bytedance Network Technology Co., Ltd. Simplification of combined inter-intra prediction
US11843725B2 (en) 2018-11-12 2023-12-12 Beijing Bytedance Network Technology Co., Ltd Using combined inter intra prediction in video processing
CN111436227A (zh) * 2018-11-12 2020-07-21 北京字节跳动网络技术有限公司 在视频处理中使用组合帧间-帧内预测
CN111436227B (zh) * 2018-11-12 2024-03-29 北京字节跳动网络技术有限公司 在视频处理中使用组合帧间-帧内预测
CN113228661B (zh) * 2018-11-14 2022-05-06 腾讯美国有限责任公司 用于视频解码的方法和装置、存储介质和计算机设备
CN113228661A (zh) * 2018-11-14 2021-08-06 腾讯美国有限责任公司 用于对帧内-帧间预测模式进行改进的方法和装置
US11956465B2 (en) 2018-11-20 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Difference calculation based on partial position
US11930165B2 (en) 2019-03-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd Size dependent inter coding
WO2023122968A1 (zh) * 2021-12-28 2023-07-06 Oppo广东移动通信有限公司 帧内预测方法、设备、系统、及存储介质

Also Published As

Publication number Publication date
EP2893704B1 (en) 2019-12-11
WO2014039802A3 (en) 2014-06-05
EP3687169B1 (en) 2021-09-01
JP2015531561A (ja) 2015-11-02
ES2892479T3 (es) 2022-02-04
US20140072041A1 (en) 2014-03-13
EP3687169A1 (en) 2020-07-29
EP2893704A2 (en) 2015-07-15
KR20150052259A (ko) 2015-05-13
WO2014039802A2 (en) 2014-03-13
CN104737537B (zh) 2018-09-21
US9906786B2 (en) 2018-02-27

Similar Documents

Publication Publication Date Title
CN104737537A (zh) 用于可缩放视频译码的加权预测模式
CN105493507B (zh) 用于帧内块复制的残余预测
WO2020068599A1 (en) Adaptive multiple transform coding
CN104704833A (zh) 多视图或3维视频译码中的高级视图间残差预测
CN104604224B (zh) 可缩放视频译码中的变换基底调整
CN104521237A (zh) 用于可缩放视频译码及3d视频译码的多假设运动补偿
CN105284113A (zh) 分量间滤波
CN104584550A (zh) 用于可缩放视频译码的帧内预测改善
CN104412591A (zh) 用于差域帧内预测的帧内模式扩展
CN103141100A (zh) 用于视频译码的帧内平滑滤波器
CN104718752A (zh) 在可缩放视频译码中减少取样相位信息的发信
CN103563378A (zh) 存储器高效的上下文建模
CN105075258A (zh) 针对具有不同纵横比的空间可缩放性的层间参考图片建构
CN104221381A (zh) 用于视频译码的波前并行处理
CN104937936A (zh) 用于帧内预测的模式决策简化
CN104396243A (zh) 用于视频压缩的自适应上取样滤波器
CN105359532A (zh) 帧内运动补偿延伸
CN104798372A (zh) 在视频译码中针对高效率视频译码(hevc)扩展对多个层的低复杂性支持
CN103959785A (zh) 在视频译码中用于色度分量的变换单位分割
CN104704843A (zh) 视频性质的指示
CN104221380A (zh) 用于并行运动估计的共同空间候选块
CN104685875A (zh) 用于视频译码中的4:2:2样本格式的帧内译码
CN104303501A (zh) 用于视频译码的量化矩阵和解块滤波器
CN104620576A (zh) 可缩放视频译码中的替代变换
CN104620577A (zh) 在一般化残差预测的框架下的经加权差预测

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant