CN103797801A - 视频译码中的非正方形变换单元和预测单元 - Google Patents

视频译码中的非正方形变换单元和预测单元 Download PDF

Info

Publication number
CN103797801A
CN103797801A CN201280044246.8A CN201280044246A CN103797801A CN 103797801 A CN103797801 A CN 103797801A CN 201280044246 A CN201280044246 A CN 201280044246A CN 103797801 A CN103797801 A CN 103797801A
Authority
CN
China
Prior art keywords
subregion
video
intra prediction
converter unit
prediction mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280044246.8A
Other languages
English (en)
Other versions
CN103797801B (zh
Inventor
翔林·王
马尔塔·卡切维奇
郭立威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103797801A publication Critical patent/CN103797801A/zh
Application granted granted Critical
Publication of CN103797801B publication Critical patent/CN103797801B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Abstract

本发明提出用于帧内预测视频译码过程中的变换分割的技术。在一个实例中，对于给定经帧内预测块，基于某些条件，允许减少数目的变换单元分区选项。在另一实例中，使变换单元从用于经帧内预测块的预测单元去耦。对于给定预测单元，可应用与所述预测单元不同大小和形状的变换。在另一实例中，对于具有非方形状的预测单元，允许减少数目的帧内预测模式。

Description

视频译码中的非正方形变换单元和预测单元
本申请案主张2011年9月12日申请的第61/533,703号美国临时申请案、2011年9月19日申请的第61/536,414号美国临时申请案以及2011年10月27日申请的第61/552,216号美国临时申请案的权益，所述临时申请案中的每一者的整个内容以引用的方式并入本文中。
技术领域
本发明涉及视频译码，且更明确地说，涉及在译码视频数据时为经帧内预测块选择和信令变换单元和预测单元分区的技术。
背景技术
数字视频能力可并入到较宽范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置等。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4，第10部分，高级视频译码(AVC)界定的标准，或目前正在开发的高效视频译码(HEVC)标准或此些标准的扩展中所描述的那些技术，以更高效地发射、接收和存储数字视频信息。
视频压缩技术包含空间预测和/或时间预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将一视频帧或切片分割成若干块。可进一步分割每一块。相对于经帧内译码(I)帧或片中的相邻块中的参考样本，使用空间预测来编码同一帧或片中的块。经帧间译码(P或B)帧或片中的块可相对于同一帧或片中的相邻块中的参考样本使用空间预测，或相对于其它参考帧中的参考样本使用时间预测。空间或时间预测得出待译码的块的预测块。残差数据表示待译码的原始块与预测块之间的像素差。
根据指向形成所述预测块的参考样本块的运动向量以及指示经译码块与预测块之间的差的残差数据来编码经帧间译码的块。根据帧内译码模式和残差数据来编码经帧内译码的块。为了进一步压缩，可将残差数据从像素域变换到变换域，从而得出接着可量化的残差变换系数。可以特定次序扫描经量化变换系数(初始布置成二维阵列)，以产生变换系数的一维向量用于熵译码。
发明内容
一般来说，本发明描述用于译码视频数据的技术。本发明描述用于在允许非正方形变换分区的视频编码过程中选择和信令变换分区的技术。在一些实例中，基于帧内预测译码模式选择变换分区。在其它实例中，变换分区不取决于预测单元的大小和形状，而是可独立地选自对预测残差的测试。另外，本发明描述用于通过减少可用于短距帧内预测(SDIP)分区的帧内模式集合的数目来减小经编码视频位速率且降低编码器复杂性的技术。
在本发明的一个实例中，一种视频编码器可经配置以从视频数据块的多个预测单元分区中确定一预测单元分区，且基于所确定的预测单元分区确定一组帧内预测模式。在一个实例中，所确定的预测单元分区为垂直定向的非正方形预测单元分区，且所述组帧内预测模式包含垂直定向的帧内预测模式。在另一实例中，所确定的预测单元分区为水平定向的非正方形预测单元分区，且所述组帧内预测模式包含水平定向的帧内预测模式。
在本发明的另一实例中，一种视频编码器可进一步经配置以从视频数据块的一组帧内预测模式确定一帧内预测模式，基于所确定的帧内预测模式确定所述视频数据块的变换单元分区，且使用所确定的变换单元分区来编码视频数据块。
在本发明的另一实例中，视频编码器可经配置以基于帧内预测模式从一组变换单元分区确定所述变换单元分区。在一个实例中，所确定的帧内预测模式为垂直定向的帧内预测模式，且所述组变换单元分区包含垂直定向的非正方形变换单元分区。在另一实例中，所确定的帧内预测模式为水平定向的帧内预测模式，且所述组变换单元分区包含水平定向的非正方形变换单元分区。在又一实例中，所确定的帧内预测模式为DC模式、平面模式或对角线模式，且所述组变换单元分区包含正方形变换单元分区。
在本发明的另一实例中，一种视频解码器可经配置以接收来自视频数据块的多个预测单元分区中的一预测单元分区的指示，且基于所述预测单元分区确定一组帧内预测模式。在一个实例中，所述预测单元分区为垂直定向的非正方形预测单元分区，且所述组帧内预测模式包含垂直定向的帧内预测模式。在另一实例中，所述预测单元分区为水平定向的非正方形预测单元分区，且所述组帧内预测模式包含水平定向的帧内预测模式。
在本发明的另一实例中，一种视频解码器可进一步经配置以接收来自视频数据块的一组帧内预测模式的一帧内预测模式的指示，基于所确定的帧内预测模式确定所述视频数据块的变换单元分区，且使用所确定的变换单元分区来解码视频数据块。
在本发明的另一实例中，视频编码器可经配置以基于帧内预测模式从一组变换单元分区确定所述变换单元分区。在一个实例中，所确定的帧内预测模式为垂直定向的帧内预测模式，且所述组变换单元分区包含垂直定向的非正方形变换单元分区。在另一实例中，所确定的帧内预测模式为水平定向的帧内预测模式，且所述组变换单元分区包含水平定向的非正方形变换单元分区。在又一实例中，所确定的帧内预测模式为DC模式、平面模式或对角线模式，且所述组变换单元分区包含正方形变换单元分区。
还将在方法、设备、装置和计算机可读存储媒体的方面描述本发明的实例。
在附图及下文描述中陈述一个或一个以上实例的细节。将从描述和图式且从所附权利要求书明白其它特征、目标和优点。
附图说明
图1是说明根据本发明的实例而操作的实例视频编码和解码系统的框图。
图2是说明实例帧内预测模式方向的概念图。
图3是实例四叉树块结构的概念图。
图4A是实例垂直定向非正方形变换和预测分区的概念图。
图4B是实例水平定向非正方形变换和预测分区的概念图。
图5A是经帧内预测块的实例正方形变换单元分区的概念图。
图5B是经帧内预测块的实例非正方形变换单元分区的概念图。
图6是用于帧内预测的实例预测单元的概念图。
图7是说明根据本发明的实例而操作的实例视频编码器的框图。
图8是说明根据本发明的实例而操作的实例视频解码器的框图。
图9是描绘根据本发明实例的实例视频编码方法的流程图。
图10是描绘根据本发明实例的实例视频解码方法的流程图。
具体实施方式
一般来说，本发明描述用于译码视频数据的技术。本发明描述用于在视频译码过程中选择和信令变换单元(TU)分区和/或预测单元(PU)分区的技术。明确地说，本发明的实例技术允许使用非正方形TU分区和/或非正方形PU变换。
对于经帧内预测的块，由于TU与PU耦合在一起(即，其具有相同大小和/或形状)，因此检查块内的TU分区的不同选项可涉及执行多次预测和重构，因为每一唯一TU分区与一唯一PU分区匹配。因此，在正检查和信令额外非正方形分区的情况下，编码复杂性变得相当高。此高编码器复杂性可使得在一些情形中除正方形变换之外使用非正方形变换来译码经帧内预测块不切实际。鉴于这些缺点，本发明旨在以降低的复杂性实现经帧内预测块的非正方形TU分区，同时保留译码效率。
本发明呈现用于解决这些缺点的若干技术。作为一个实例，对于给定经帧内预测块，基于某些条件，允许减少数目的TU分区选项。在另一实例中，本发明提出将TU从经帧内预测块的PU去耦。对于给定PU，可应用与对应PU不同大小和形状的TU。在此情况下，用以变换特定PU的残差数据的至少一些TU可具有与此些PU不同的大小和/或形状。因此，检查不同TU分区将不要求单独获得所述块的对应预测，因为可将不同TU形状应用于从一个PU大小和形状获得的预测。
当例如结合短距帧内预测(SDIP)使用非正方形PU时，每一PU可使用多个帧内预测模式/方向(例如，图2的35种模式)中的一者。此布置存在若干缺点。首先，为了将选定模式用信号通知给每一PU的解码器，在经编码视频位流中信令选定模式的索引。由于将使用哪一帧内预测的不确定性较高(即，可存在35种模式)，因此使用相对较大数目的位来编码所述索引，这增加了经压缩视频的位速率。第二，编码器可能必须检查每个模式来确定最佳模式来使用，或至少识别满足要求(例如速率失真阈值)的模式。对于每一PU可能的所有帧内预测模式/方向，此检查过程增加编码器处的计算负担。
本发明提出用于通过减少用于正方形和非正方形SDIP分区的可能帧内预测模式的数目来减小经编码视频位速率且降低编码器复杂性的技术。可能帧内预测模式的数目的此减少是基于以下观察：对于经垂直分区的CU(例如，hN×2N PU)，较可能选择垂直或几乎垂直的帧内预测模式(例如，模式1、22、23...)作为最佳模式。类似地，对于经水平分区的CU(例如，2NxhN PU)，较可能选择水平或几乎水平帧内预测模式(例如，模式2、30、31...)作为最佳模式。就是说，将可能选择此些模式，因为其针对给定分区类型较可能产生较有利的速率失真结果。
图1是说明根据本发明实例的可经配置以利用帧内预测译码技术的实例视频编码和解码系统10的框图。如图1中所示，系统10包含源装置12，其经由通信信道16将经编码的视频发射到目的地装置14。经编码视频数据还可存储在存储媒体34或文件服务器36上，且可由目的地装置14在需要时存取。当存储到存储媒体或文件服务器时，视频编码器20可将经译码视频数据提供给另一装置，例如用于将经译码视频数据存储到存储媒体的网络接口、压缩光盘(CD)、蓝光或数字视频光盘(DVD)烧录器或冲压设施装置，或其它装置。同样地，与视频解码器30分开的装置，例如网络接口、CD或DVD读取器等，可从存储媒体检索经译码视频数据，并将检索到的数据提供给视频解码器30。
源装置12和目的地装置14可包括各种各样的装置中的任一者，包含桌上型计算机、笔记本型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的智能电话)、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台等。在许多情况下，此些装置可为无线通信而配备。因此，通信信道16可包括适合传输经编码视频数据的无线信道、有线信道或无线与有线信道的组合。类似地，目的地装置14可经由任何标准数据连接(包含因特网连接)接入文件服务器36。这可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或两者的组合，其适合存取存储在文件服务器上的经编码视频数据。
根据本发明的实例，帧内预测译码技术可应用于支持多种多媒体应用(例如空中电视广播、有线电视发射、卫星电视发射、流式视频发射(例如经由因特网))中的任一者的视频译码，编码数字视频以供存储在数据存储媒体上、解码存储在数据存储媒体上的数字视频，或其它应用。在一些实例中，源装置10可经配置以支持单向或双向视频发射以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。
在图1的实例中，源装置12包含视频源18、视频编码器20、调制器/解调器22以及发射器24。在源装置12中，视频源18可包含例如视频捕获装置等来源，例如视频相机、含有先前所捕获视频的视频存档、用以接收来自视频内容提供者的视频的视频馈送接口，和/或用于产生计算机图形数据作为源视频的计算机图形系统，或此些来源的组合。作为一个实例，如果视频源18为视频相机，那么源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而，本发明中所描述的技术可适用于一般视频译码，且可应用于无线和/或有线应用，或其中将经编码视频数据存储在本地磁盘上的应用。
所捕获、预捕获或计算机产生的视频可由视频编码器20编码。经编码的视频信息可由调制解调器22根据通信标准(例如无线通信协议)来调制，且经由发射器24发射到目的地装置14。调制解调器22可包含经设计以用于信号调制的各种混频器、滤波器、放大器或其它组件。发射器24可包含经设计以用于发射数据的电路，包含放大器、滤波器及一个或一个以上天线。
由视频编码器20编码的所捕获、预捕获或计算机产生的视频还可存储到存储媒体34或文件服务器36上以供以后消耗。存储媒体34可包含蓝光光盘、DVD、CD-ROM、快闪存储器，或任何其它用于存储经编码视频的合适数字存储媒体。存储在存储媒体34上的经编码视频可接着由目的地装置14存取，以用于解码和重放。
文件服务器36可为能够存储经编码视频且将所述经编码视频发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置、本地磁盘驱动器，或能够存储经编码视频数据并将其发射到目的地装置的任何其它类型的装置。经编码视频数据从文件服务器36的发射可为流式发射、下载发射或两者的组合。目的地装置14可经由任何标准数据连接(包含因特网连接)接入文件服务器36。这可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器、以太网、USB等)，或两者的组合，其适合存取存储在文件服务器上的经编码视频数据。
在图1的实例中，目的地装置14包含接收器26、调制解调器28、视频解码器30以及显示装置32。目的地装置14的接收器26经由信道16接收信息，且调制解调器28解调所述信息以为视频解码器30产生经解调位流。经由信道16传送的信息可包含由视频编码器20产生的多种语法信息，以供视频解码器30在解码视频数据时使用。此语法还可与存储在存储媒体34或文件服务器36上的经编码视频数据包含在一起。视频编码器20和视频解码器30中的每一者可形成能够编码或解码视频数据的相应编码器-解码器(CODEC)的部分。
显示装置32可与目的地装置14集成或可在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，且还可经配置以与外部显示装置交互。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32向用户显示经解码的视频数据，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
在图1的实例中，通信信道16可包含任何无线或有线通信媒体，例如，射频(RF)频谱或一个或一个以上物理传输线、或无线和有线媒体的任一组合。通信信道16可形成例如局域网、广域网或例如因特网等全局网络的基于包的网络的部分。通信信道16一般表示用于将视频数据从源装置12发射到目的地装置14的任何合适的通信媒体或不同通信媒体的集合，包括有线或无线媒体的任何合适组合。通信信道16可包含可用于促进从源装置12到目的装置14的通信的路由器、交换器、基站或任何其它设备。
视频编码器20和视频解码器30可根据视频压缩标准来操作，例如目前在开发的高效视频译码(HEVC)标准，且可符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可根据其它专有或行业标准来操作，例如ITU-T H.264标准，或者称为MPEG-4，部分10，高级视频译码(AVC)，或此些标准的扩展。然而，本发明的技术不限于任何特定译码标准。其它实例包括MPEG-2和ITU-T H.263。
尽管图1中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件，以处置对共同数据流或单独数据流中的音频与视频两者的编码。在一些实例中，如果适用，MUX-DEMUX单元可符合ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。
视频编码器20和视频解码器30各自可经实施为例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合的多种合适编码器电路中的任一者。当所述技术部分以软件来实施时，装置可将用于所述软件的指令存储在合适的非暂时计算机可读媒体中，且使用一个或一个以上处理器来在硬件中执行所述指令以实施本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一个或一个以上编码器或解码器中，其中的任一者可集成为相应装置中的组合式视频编码器/解码器(CODEC)的部分。
视频编码器20可实施本发明的用于视频编码过程中的帧内预测译码的技术中的任一者或全部。同样地，视频解码器30可实施用于视频译码过程中的帧内预测译码的这些技术中的任一者或全部。如本发明中所描述，视频译码器可指代视频编码器或视频解码器。类似地，视频译码单元可指代视频编码器或视频解码器。同样地，视频译码可指代视频编码或视频解码。
根据下文进一步详细论述的本发明的实例，视频编码器20可经配置以从视频数据块的多个预测单元分区中确定一预测单元分区，且基于所确定的预测单元分区确定一组帧内预测模式。在一个实例中，所确定的预测单元分区为垂直定向的非正方形预测单元分区，且所述组帧内预测模式包含垂直定向的帧内预测模式。在另一实例中，所确定的预测单元分区为水平定向的非正方形预测单元分区，且所述组帧内预测模式包含水平定向的帧内预测模式。
在本发明的另一实例中，视频编码器20可进一步经配置以从视频数据块的一组帧内预测模式确定一帧内预测模式，基于所确定的帧内预测模式确定所述视频数据块的变换单元分区，且使用所确定的变换单元分区来编码视频数据块。
在本发明的另一实例中，视频编码器20可经配置以基于帧内预测模式从一组变换单元分区确定所述变换单元分区。在一个实例中，所确定的帧内预测模式为垂直定向的帧内预测模式，且所述组变换单元分区包含垂直定向的非正方形变换单元分区。在另一实例中，所确定的帧内预测模式为水平定向的帧内预测模式，且所述组变换单元分区包含水平定向的非正方形变换单元分区。在又一实例中，所确定的帧内预测模式为DC模式、平面模式或对角线模式，且所述组变换单元分区包含正方形变换单元分区。
在本发明的另一实例中，视频解码器30可经配置以接收来自视频数据块的多个预测单元分区中的一预测单元分区的指示，且基于所述预测单元分区确定一组帧内预测模式。在一个实例中，所述预测单元分区为垂直定向的非正方形预测单元分区，且所述组帧内预测模式包含垂直定向的帧内预测模式。在另一实例中，所述预测单元分区为水平定向的非正方形预测单元分区，且所述组帧内预测模式包含水平定向的帧内预测模式。
在本发明的另一实例中，视频解码器30可进一步经配置以接收来自视频数据块的一组帧内预测模式的一帧内预测模式的指示，基于所确定的帧内预测模式确定所述视频数据块的变换单元分区，且使用所确定的变换单元分区来解码视频数据块。
在本发明的另一实例中，视频解码器30可经配置以基于帧内预测模式从一组变换单元分区确定所述变换单元分区。在一个实例中，所确定的帧内预测模式为垂直定向的帧内预测模式，且所述组变换单元分区包含垂直定向的非正方形变换单元分区。在另一实例中，所确定的帧内预测模式为水平定向的帧内预测模式，且所述组变换单元分区包含水平定向的非正方形变换单元分区。在又一实例中，所确定的帧内预测模式为DC模式、平面模式或对角线模式，且所述组变换单元分区包含正方形变换单元分区。
数字视频装置实施视频压缩技术来较高效地编码和解码数字视频信息。视频压缩可应用空间(帧内)预测和/或时间(帧间)预测技术以减少或去除视频序列中固有的冗余。
典型的视频编码器将原始视频序列的每一帧分区成称为“块”或“译码单元”的连续矩形区。在“帧内模式”(I模式)下或在“帧间模式”(P模式或B模式)下编码这些块。
对于P模式，编码器首先搜索与由Fref表示的“参考帧”中正编码的块类似的块。搜索通常受限于不多于从待编码块的某一空间位移。当已识别到最佳匹配或“预测”时，其以二维(2D)运动向量(Δx、Δy)的形式表达，其中Δx为水平位移，且Δy为垂直位移。远动向量与参考帧一起用以构造预测性块Fpred，如下：
Fpred(x，y)＝Fref(x+Δx，y+Δy)
像素在帧内的位置由(x，y)表示。对于在I模式下编码的块，使用来自同一帧内的先前经编码相邻块的空间预测来形成预测性块。对于I模式和P或B模式两者，预测误差(即，正编码的块中的像素值与预测性块中的像素值之间的差)表示为某一离散变换(例如离散余弦变换(DCT))的一组经加权基础函数。可基于不同大小的块(例如4×4、8×8或16×16以及更大)执行变换。变换块的形状不总是正方形的。还可使用例如具有16x4、32×8等变换块大小的矩形形状变换块。
随后量化权重(即，变换系数)。量化引入信息损失，且由此，经量化系数具有比原始变换系数低的精度。可单独地预测、量化和变换像素的亮度和色度分量。就是说，可将译码过程应用于像素的亮度分量块，以及应用于像素的一个或一个以上色度分量的块。
经量化变换系数和运动向量是“语法元素”的实例。这些语法元素加上一些控制信息形成视频序列的经译码表示。还可对语法元素进行熵译码，从而进一步减少其表示所需的位的数目。熵译码是旨在通过利用其分布的特性(一些符号比其它服务出现得频繁)来最小化表示所发射或所存储符号(在我们的情况下为语法元素)所需的位的数目的无损操作。
在解码器中，通过首先以与编码器中相同的方式构造其预测，且通过将经压缩预测误差添加到所述预测来获得当前帧中的块。通过使用经量化系数对变换基础函数进行加权以产生像素差值来找到经压缩预测误差。所重构的帧与原始帧之间的差称为重构误差。
可通过调整量化变换系数时所使用的量化参数(QP)的值来控制压缩比，即用来表示原始序列和经压缩序列的位数目的比率。压缩比可取决于所使用的熵译码的方法。
存在新的视频译码标准，即正由ITU-T视频译码专家组(VCEG)和ISO-IEC运动图片专家组(MPEG)的视频译码联合协作团队(JCT-VC)开发的高效视频译码(HEVC)。布罗斯等人在文献JCTVC-I1003，“高效视频译码(HEVC)文本规范草案7”(ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合协作团队(JCT-VC)第9次会议)中描述HEVC标准的最新草案，称为“HEVC工作草案7”或“WD7”：日内瓦，CH，2012年4月27日至5月7日，截止2012年8月21日为止，其可从http：//phenix.int-evry.fr/jct/doc_end_user/documents/9_Geneva/wgll/JCTVC-I1003-v6.zip下载。
作为一个实例，对于根据目前正由JCT-VC开发的HEVC标准的视频译码，可将视频帧分区为若干译码单元。译码单元(CU)通常指代充当对其应用各种译码工具以进行视频压缩的基础单元的图像区。CU通常具有亮度分量，表示为Y，以及两个色度分量，表示为U和V。取决于视频取样格式，在样本数目方面，U和V分量的大小可与Y分量的大小相同或不同。CU通常是正方形的，且可被视为类似于所谓的宏块，例如根据其它视频译码标准，例如ITU-T H.264。
为了实现较佳译码效率，译码单元可取决于视频内容具有可变大小。另外，可将CU分裂成较小的块以进行预测或变换。明确地说，每一CU可进一步被分区成预测单元(PU)和变换单元(TU)。根据其它视频译码标准(例如H.264)，可将PU视为类似于所谓的分区。变换单元(TU)指代可对其应用变换以产生变换系数的残差数据块。
出于说明的目的，本申请案中将描述根据正开发的HEVC标准的当前所提出方面中的一些方面的译码。然而，本发明中所描述的技术可对其它视频译码过程有用，例如根据ITU-T H.264或其它标准所定义的过程或专有视频译码过程。
HEVC标准化努力是基于视频译码装置的称为HEVC测试模型(HM)的模型。HM假定视频译码装置有优于根据例如ITU-T H.264/AVC的装置的若干能力。举例来说，H.264提供九种帧内预测编码模式，而HM提供多达三十五种帧内预测编码模式。
HEVC中的三十五种帧内预测模式包含一种DC模式、一种平面模式以及33种不同的定向预测模式。对于定向预测模式，沿所述模式所指示的某一方向基于相邻块经重构像素执行预测。图2中展示与不同预测模式相关联的方向(0到34)。
根据HM，CU可包含一个或一个以上PU和/或一个或一个以上TU。位流中的语法数据可界定最大译码单元(LCU)，其为依据像素数目的最大CU。一般来说，CU具有与H.264的宏块类似的目的，只是CU不具有大小差别。因此，CU可分裂为若干子CU。一般来说，本发明中对CU的参考可指代图片的最大译码单元或LCU的子CU。可将LCU分裂为若干子CU，且每一子CU可进一步分裂为若干子CU。用于位流的语法数据可界定LCU可分裂的最大次数，称为CU深度。因此，位流还可界定最小译码单元(SCU)。本发明还使用术语“块”、“分区”或“部分”来指代CU、PU或TU中的任一者。一般来说，“部分”可指代视频帧的任一子集。
LCU可与四叉树数据结构相关联。一般来说，四叉树数据结构每CU包含一个节点，其中根节点对应于LCU。如果CU分裂为四个子CU，那么对应于CU的节点包含四个叶节点，其各自对应于子CU中的一者。四叉树数据结构的每一节点可提供用于对应CU的语法数据。举例来说，四分数中的节点可包含分裂旗标，指示对应于所述节点的CU是否被分裂为子CU。CU的语法元素可递归地界定，且可取决于CU是否分裂为子CU。如果不进一步分裂CU，那么将其称为叶CU。
此外，叶CU的TU还可与相应的四叉树数据结构相关联。就是说，叶CU可包含指示如何将叶CU分割为TU的四叉树。本发明将指示如何分割LCU的四叉树称为CU四叉树，且将指示如何将叶CU分割为TU的四叉树称为TU四叉树。TU四叉树的根节点通常对应于叶CU，而CU四叉树的根节点通常对应于LCU。TU四叉树的不再分裂的TU称为叶TU。
叶CU可包含一个或一个以上预测单元(PU)。一般来说，PU表示对应CU的全部或一部分，且可包含用于检索PU的参考样本的数据。举例来说，当PU经帧间模式编码时，PU可包含描述PU的运动向量的数据。界定运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，整数像素精度、四分之一像素精度或八分之一像素精度)、运动向量指向的参考帧，和/或运动向量的参考列表(例如，列表0或列表1)。界定PU的叶CU的数据还可描述(例如)将CU分割为一个或一个以上PU。分割模式可依据CU未经预测性译码、经帧内预测模式编码还是经帧间预测模式编码而不同。对于帧内译码，可将PU视为与下文所述的叶变换单元相同。
HEVC还允许四叉树型变换单元分区结构。如图3中所示，例如，外部块为原始CU。内部块表示根据四叉树结构的变换块分解的结果。当然，此结果只是许多可能分解之一。在图3的实例中，存在三个等级的变换分解。对于等级1分解，将整个变换块分裂成四个四分之一大小的块。接着，在等级2处，进一步将第二四分之一大小的变换块(在右上)分裂成四个1/16大小的变换块。接着，在等级3处，进一步将第四个1/16大小的变换块分裂成四个更小的变换块。等级0处的变换单元意味着将整个译码单元一起变换，而无进一步分裂。在此情况下，变换单元具有译码单元的相同大小。实际上，基于速率失真优化来确定是否进一步分裂变换单元。
在针对HEVC的一个提议中，除正方形变换单元(例如图3中所示的那些单元)之外，还可使用非正方形形TU。图4A的块1是实例垂直定向非正方形变换分区的概念图。举例来说，对于大小为2N×2N的经帧间预测块，可使用大小为0.5N×2N的四个变换块(其也可称为变换单元)，如块1中所示。此些变换可结合2N×2N PU分区使用，或在PU分区呈块2、3或4的形式时使用。块2为分成两个分区的2N×2N PU，每一分区具有为原始块大小的一半的大小。块2中的分区有时称为N×2N分区。将块3和4的PU分成分别具有原始块大小的1/4和3/4的大小的两个分区。块3的左分区有时称为0.5Nx2N分区，而块3的右分区有时称为1.5Nx2N分区。同样地，块4的左分区有时称为1.5N×2N分区，而块4的右分区有时称为0.5×2N分区。
在图4A中，PU的分区垂直定向。如图4B中所示，当PU的分区水平定向时，可使用类似的TU分割。图4B的块5是实例水平定向非正方形变换分区的概念图。举例来说，对于大小为2N×2N的经帧间预测块，可使用大小为2N×0.5N的四个变换块(其也可称为变换单元)，如块5中所示。此些变换可结合2N×2N PU分区使用，或在PU分区呈块6、7或8的形式时使用。块6为分成两个分区的2N×2N PU，每一分区具有为原始块大小的一半的大小。块6中的分区有时称为2N×N分区。将块7和8的PU分成分别具有原始块大小的1/4和3/4的大小的两个分区。块7的上分区有时称为2Nx0.5N分区，而块7的下分区有时称为2N×1.5N分区。同样地，块8的上分区有时称为2Nx1.5N分区，而块8的下分区有时称为2×0.5N分区。
可看出，根据经帧间预测块的HEVC，取决于当前块的分区模式，使用非正方形变换。如果以垂直定向方式对PU进行分区，如图4A的块2、3和4中所示，那么可使用垂直定向的变换块。如果以水平定向方式对PU进行分区，如图4B的块6、7和8中所示，那么可使用水平定向的变换块。
与经帧间预测块形成对比，针对HEVC的先前提议仅允许经帧内预测块的正方形TU。另外，使TU的形状的大小与用于经帧内预测块的PU的形状和大小对准。图5A中展示经帧内预测块的实例TU和PU。将块11分区为四个四分之一大小的分区。在块13中，进一步将第二四分之一大小的分区(在右上)分区为具有原始块大小的1/16的大小的四个较小分区。基于针对HEVC的较早提议，单独地预测、变换和重构图5A中所示的每一块。在每一情况下，TU大小与PU大小相同。
HEVC中的最新提议要求在经帧内预测块中使用非正方形变换。图5B描绘可用于经帧内预测块的非正方形TU和PU的实例。在图5B的实例中，PU还可具有矩形形状。并且，TU与PU对准，且具有相同的大小和形状。块15展示具有垂直定向矩形形状的TU和PU，且块17展示具有水平定向矩形形状的TU和PU。一个接一个，从经重构像素的相邻块预测(即，使用帧内预测来预测)每一分区，其中使用与用于预测的PU相同大小的TU来变换预测残差。
除图5A的正方形TU和PU之外，可使用图5B中所示的实例非正方形TU和PU。换句话说，对于给定块，允许图5A和5B中所例示的情况。举例来说，在四叉树分解等级1处，可选择块11中所示的变换分区。在另一情况下，可选择块15或17中所示的变换分区。在编码器侧，测试所有可允许PU和TU分区(包含图5A和5B中所示的那些分区)，以确定展现最佳速率失真度量(或满足规定的速率失真阈值)的分区模式，并在经编码位流中用信号通知最佳分区模式。测试已显示，实现除正方形变换之外的非正方形形变换可改进经帧内预测块的译码效率。
对于经帧内预测的块，由于TU与PU耦合在一起，因此检查块内的TU分区的不同选项可涉及执行多次预测和重构，因为每一唯一TU分区与一唯一PU分区匹配。因此，在正检查和信令额外非正方形分区的情况下，编码复杂性变得相当高。此高编码器复杂性可使得在一些情形中除正方形变换之外使用非正方形变换来译码经帧内预测块不切实际。鉴于这些缺点，本发明提出用于以降低的复杂性实现经帧内预测块的非正方形变换同时保留译码效率的技术。
本发明呈现用于解决这些缺点的若干技术。作为一个实例，对于给定经帧内预测块，基于某些条件，允许减少数目的变换单元分区选项。在另一实例中，本发明提出将TU大小和形状从经帧内预测的块的PU大小和形状去耦。就是说，对于给定PU，可应用与PU不同大小和形状的TU。因此，检查不同TU分区可不需要在所有情况下单独地获得所述块的对应预测。
根据本发明的一个实例，对于经帧内预测的块，基于用于对应PU的帧内预测方向(或帧内预测模式)，允许减少数目个TU分区选项。举例来说，如果当前PU的帧内预测模式指示从垂直方向预测PU，例如帧内预测模式0，那么仅允许垂直定向非正方形变换(例如，图5B中的块15中的TU分区)。对于使用垂直定向帧内预测模式预测的PU，不允许正方形变换。另外，也不允许水平定向的非正方形TU(例如，图5B中的块17中的TU分区)。一般来说，可将此约束应用于主要垂直定向的所有帧内预测方向，例如模式0、21、22、11和12。模式0、21、22、11和12仅为实例垂直定向帧内预测模式。在其它实例中，可将额外帧内预测模式分类为垂直定向。
类似地，根据本发明的另一实例，如果当前PU的帧内预测模式指示从水平方向预测PU，例如帧内预测模式1，那么仅允许水平定向非正方形TU(例如，图5B中的块17中的TU分区)。对于使用水平定向帧内预测模式预测的PU，不允许正方形变换。另外，也不允许垂直定向的非正方形TU(例如，图5B中的块15中的TU分区)。一般来说，可将此约束应用于主要水平定向的所有帧内预测方向，例如模式1、29、30、15和16。模式1、29、30、15和16仅为实例水平定向帧内预测模式。在其它实例中，可将额外帧内预测模式分类为水平定向。
在本发明的另一实例中，如果用于当前PU的帧内预测模式不具有任何明显方向偏好，例如DC模式2或平面模式34，对于所述块仅允许正方形TU。一般来说，可将此约束应用于既不水平也不垂直定向的所有帧内预测方向。举例来说，对正方形TU的约束也可应用于主要对角线定向的那些帧内预测方向，例如模式3、18和26。模式3、18和26仅为实例对角线定向的帧内预测模式。在其它实例中，可将额外帧内预测模式分类为对角线定向。
上文未具体提到的例如图2中所示的其它帧内预测模式可对可允许的TU分区的类型无约束。举例来说，可允许正方形TU分区、非正方形垂直定向TU分区以及非正方形水平定向TU分区。
上文所述的基于帧内预测模式的TU分区约束(即，某些TU分区对每一帧内预测模式的约束)可在模式决策级(即，选择帧内预测模式时)进行，且可用于整个编码过程(即，在模式决策级和熵译码级)。
模式决策级(例如，图7的模式选择单元40)指代编码器测试可能TU分区且基于位速率/失真标准选择一个分区的级。如果仅在模式决策级处应用TU约束，那么视频编码器20仅测试选定帧内预测模式允许的选定TU(其可为所有可用TU的子集)。在熵译码级(例如，图7的熵编码单元56)处，视频编码器20考虑所有可能TU，不仅是选定帧内预测所允许的子集，如可用于信令。举例来说，假设存在总共三个可能TU分区(例如，垂直定向(分区A)、水平定向(分区B)和正方形(分区C))。假设对于帧内模式k，在模式决策级，仅允许考虑变换A。然而，在熵译码级，视频编码器20假定所有分区A、B和C可用，且因此，考虑到所有这些可能性而用信号通知分区A的选择。举例来说，视频编码器20可用信号通知square_tranform_flag＝1以指示选择分区C，或可用信号通知square_transform_flag＝0以指示非正方形变换(即，A或B)，以及transform_dir_flag＝1(或0)以指示选择变换A或B中的哪一者。语法元素transform_dir_flag＝1可对应于水平定向的TU，而transform_dir_flag＝0可对应于垂直定向的TU，且反之亦然。
将TU分区约束应用于整个编码过程意味着将可用变换的约束应用于模式决策级(如上文所述)且应用于熵译码级。在熵译码级中，当用信号通知TU分区选择时，仅考虑选定帧内预测模式所允许的变换。举例来说，如果对于帧内模式k，仅允许变换A和C(不允许B)，那么视频编码器20用信号通知一个旗标(旗标＝1，选择A；旗标＝0，选择C)。在另一实例中，如果对于模式k，仅允许变换A，那么视频编码器20将无需发送任何旗标，因为可在解码器处从帧内模式推断所述变换。
根据本发明的一个实例，可供使用的TU分区取决于为在视频编码器20处使用而选择的帧内预测模式。在此实例中，对于每一帧内预测模式，仅指定一个TU分区。可用的TU分区的类型可包含正方形TU分区、垂直定向非正方形TU分区以及水平定向非正方形TU分区。
可使帧内预测模式与TU分区之间的依赖性例如以存储在存储器中的映射表的形式或作为一组所实施公式或规则在视频编码器20和视频解码器30处可用。因此，在此实例中，不需要将所使用的TU分区的类型从编码器用信号通知给解码器。代替地，在视频解码器30处，一旦解码块或PU的帧内预测模式，就可以如编码器处相同的方式，即从基于帧内预测模式的映射表或规则，确定其从属TU分区。
根据本发明的另一实例，所选择的TU分区仍取决于当前块/PU的选定帧内预测模式，然而，对于每一预测方向，可存在所指定且允许的一个或一个以上TU分区。当存在为某一帧内预测模式指定的一个以上TU分区时，除在经编码视频位流中用信号通知选定帧内预测模式之外，还用信号通知额外位或旗标，以指示将使用为选定帧内预测模式指定的哪一TU分区。举例来说，对于垂直预测方向(例如，模式0)，可使用垂直定向的非正方形TU分区或正方形TU分区。对于水平定向的预测方向(例如，模式1)，可使用水平定向的非正方形TU分区或正方形TU分区。
在此上下文中，在经编码位流中用信号通知TU分区不要求将此些元素从编码器实时发射到解码器，而是意味着将此些语法元素编码到位流中，并使其可被解码器以任何形式存取。这可包含实时发射(例如，在视频会议中)以及将经编码位流存储在计算机可读媒体上，以供解码器将来使用(例如，在流式传输、下载、磁盘存取、卡存取、DVD、蓝光等中)。
如果对于帧内预测模式，仅存在一个所指定TU分区，那么当使用此帧内预测模式时，不需要用信号通知额外位或旗标，以将TU分区从编码器向解码器指示。代替地，可在编码器和解码器两者处推断相关联的TU分区。举例来说，在DC模式或平面模式下，可仅使正方形TU分区可供使用。并且，可使帧内预测模式、所允许的TU分区的数目以及所允许的TU分区的类型之间的依赖性例如以存储在存储器中的映射表的形式或作为一组所实施的公式或规则，在编码器和解码器两者处可用。
根据本发明的又一实例，所选择的TU分区仍取决于当前块的帧内预测模式，然而，对于每一帧内预测方向，可存在相同数目的所指定且允许的TU分区。举例来说，对于每一预测模式，存在两个所指定且允许的TU分区。
这样做的动机是为了在使用例如CABAC等熵译码器时避免与第二实例的方案相关联的剖析问题。根据上文所述的第二实例，依据帧内预测模式，可需要或可不需要发送指示变换分区的额外位或旗标。在视频解码器30处，为了知晓是否为当前块剖析额外一个位或旗标，必须完整地解码所述块的帧内预测模式。这在使用例如CABAC等熵译码器时可引发解码器处的问题。
在其中每个帧内预测模式具有相同数目的所指定TU分区(例如，两个TU分区)的实例中，与选择哪一帧内预测模式无关，用信号通知一个额外位或旗标以指示用于所述块/PU的TU分区。因此，在解码器侧剖析此额外位或旗标不取决于块的实际帧内预测模式，因为将总是发送旗标的额外位。
根据本发明的另一实例，对于经帧内预测的块，在大小和/或形状方面，TU不再与PU耦合。换句话说，TU可具有与对应PU不同的大小和/或形状。举例来说，如图6中所示，具有2N×2N分区模式的经帧内预测块的PU19可具有与CU相同的大小。具有N×N分割模式的经帧内预测块的PU21的每一分区可具有为CU大小的四分之一的大小。
对于每一PU，首先使用经重构像素的相邻块来执行帧内预测，与什么TU分区将用于PU无关。一旦预测残差可用于PU，就可进一步确定和用信号通知PU内的TU分区。
对于此技术，由于TU和PU不再耦合在一起，预测残差保持不变，与什么TU分区用于特定PU无关。因此，在编码器侧，可测试不同TU分区，而不每次重新计算预测和预测残差。由此，可降低编码器复杂性。
举例来说，当使用图6的PU19的分割时，首先获得整个CU的预测方向。在那之后，为整个CU计算残差。接着，基于预测残差，可测试如图4A和4B中所示的不同TU分区，且在经编码视频位流中用信号通知最佳TU分区。
根据本发明的又一实例，对于经帧内预测块，TU不与PU耦合。换句话说，TU可具有与对应PU不同的大小或形状。然而，取决于所选择的帧内预测模式，可允许减少数目的TU分区。
举例来说，对于给定帧内预测模式，某些TU分区可极不可能得出最佳速率失真度量。在此情况下，通过为给定帧内预测模式排除不可能使用的TU分区来减少所允许的pTU分区的数目可减少TU分区的信令开销，且改进译码效率。
当存在可用于给定帧内预测模式的TU分区的一个以上选项时，在经编码视频位流中用信号通知当前块/PU的最佳TU分区的索引。举例来说，当存在可用于特定帧内预测模式的TU分区的三个选项时，可用信号通知索引值0、1或2，以分别指示为块/PU选择哪一TU分区。
为了改进用信号通知此索引值中的译码效率，可将当前块的帧内预测模式用作上下文。取决于帧内预测模式，在用信号通知TU分区的索引值时可使用自适应译码(例如，CABAC)中所使用的不同概率模型。就是说，对于给定帧内预测模式，将使用具有考虑此较高可能性的概率模型的CABAC来译码已展示有较高可能性具有最佳速率失真度量的TU分区。根据本发明的另一实例，可将用于当前块的相邻块的TU分区的索引值用作译码当前块的变换单元分区的索引值是的上下文。
根据本发明的其它实例，描述用于用信号通知非正方形PU的技术。明确地说，本发明描述用于通过减少用于非正方形短距帧内预测分区的帧内模式集合来减小经编码视频位速率且降低编码器复杂性的技术。
如上文所论述，HEVC、H.264以及其它视频译码标准中的基于先前块的帧内译码使用一个N×N正方形块作为重构单元和预测单元。可从相邻经重构块的边界预测正方形块内部的像素。这可导致与序列的一些区中的其它像素相比，正方形块的右下部分上的像素的不是最佳的预测。为了更好地利用空间相关性，最近已提出了短距帧内预测(SDIP)译码方案，以供HEVC标准中使用。SDIP技术包含将一个N×N正方形块分割成具有矩形形状的若干行或非正方形块。在所述块中，逐行或逐矩形预测和重构像素。因此，缩短了预测距离。
在SDIP的一个实例中，将小于32×32的一个N×N正方形块分成具有非正方形矩形形状的若干个像素行或非正方形块。在所述块中，逐行或逐矩形预测和重构像素。
在SDIP的另一实例中，可将小于64x64的一个CU分区为具有矩形形状的行或非正方形块。举例来说，可将32×32CU分区为四个8×32PU或四个32×8PU。在另一实例中，16×16CU可不仅划分成四个8×8PU，而且划分成四个4x16/16x4PU，且4×16/16×4PU可进一步分裂成四个1×16/16×1分区。类似地，还可将一个8x8CU划分成四个2×8/8×2PU，且可将每个4x4PU进一步划分成四个1×4/4×1分区。
更一般地说，对于大小为2N×2N的帧内CU，存在先前用于HEVC中的两个PU大小。2N×2N和N×N(当前在最小CU等级下仅允许N×N)。图5中展示实例2N×2N和N×N分区。对于2N×2N分区19，整个CU仅具有一个PU(大小为2N×2N)。通过引入SDIP，添加两个新的预测单元：2NxhN和hN×2N。对于2N×hN分区，CU具有42N×hN PU个，且对于hN×2N，CU具有4个hN×2N PU。每一PU具有其自己的帧内预测模式(即，如图2中所示的35种模式中的一者)。图4B的块17展示实例2N×hN PU分区。图4B的块15展示实例hN×2N PU分区。
当例如结合SDIP使用非正方形PU时，每一PU可使用多个帧内预测模式/方向(例如，图2的35种模式)中的一者。此布置存在若干缺点。首先，为了将选定模式用信号通知给每一PU的解码器，在经编码视频位流中信令选定模式的索引。由于选择哪一帧内预测的不确定性较高(即，可存在35种模式)，因此使用相对较大数目的位来编码所述索引，这增加了经压缩视频的位速率。第二，编码器可能必须检查每个模式来确定最佳模式来使用，或至少识别满足要求(例如速率失真阈值)的模式。每一PU所允许的所有帧内预测模式/方向，此检查过程增加编码器处的计算负担。
本发明提出用于通过减少用于正方形和非正方形SDIP分区的可能帧内预测模式的数目来减小经编码视频位速率且降低编码器复杂性的技术。可能帧内预测模式的数目的此减少是基于以下观察：对于经垂直分区的CU(例如，hN×2N PU)，较可能选择垂直或几乎垂直的帧内预测模式(例如，模式1、22、23…)作为最佳模式。类似地，对于经水平分区的CU(例如，2NxhN PU)，较可能选择水平或几乎水平帧内预测模式(例如，模式2、30、31…)作为最佳模式。
在本发明中，提出依赖于SDIP分区的帧内预测模式。SDIP PU分区(例如，2N×hN和hH×2N分区)的帧内预测模式集合可不同于用于正方形PU分区(例如，2N×2N和N×xN分区)的帧内预测模式集合。举例来说，SDIP PU分区的帧内预测模式集合可为可用于正方形PU分区的模式总数(例如，图2的35种模式)。换句话说，SDIP PU分区的帧内预测模式集合可包含比用于正方形PU分区的帧内预测模式集合少的模式。此外，帧内预测模式集合可取决于SDIP分区方向。举例来说，经垂直分区的hN×2N分区以及经水平分区的2N×hN分区可具有不同的帧内预测模式集合。
通过减少某些SDIP分区的给定集合中的帧内预测模式的量，用来编码选定帧内预测模式的码字可较短，且因此可保留位且可降低位速率。另外，由于为SDIP分区检查较少帧内预测模式，因此编码过程上的计算负担可减少，且编码可加速。通过使帧内预测模式集合取决于SDIP分区方向，预期35种帧内预测模式的完整补充所提供的大多数编码增益可用选定帧内预测模式候选者(即，减小的帧内预测模式集合)保持。
在本发明的一个实例中，对于hN×2N PU分区，帧内预测模式集合可包含那些垂直或几乎垂直的帧内预测模式，包含帧内预测模式0、21、22、11和12，但排除其它帧内预测模式(例如，水平或几乎水平模式、DC模式、平面模式以及其它有角度模式)。对于2N×hN PU，帧内预测模式集合可包含那些水平或几乎水平的帧内预测模式，包含模式1、29、30、15和16，但排除其它帧内预测模式(例如，垂直或几乎垂直模式、DC模式、平面模式以及其它有角度模式)。
在本发明的另一实例中，对于hN×2N PU分区，帧内预测模式集合可包含那些垂直或几乎垂直的帧内预测模式以及不具有较强方向性的其它模式(例如，DC模式和/或平面模式)，但排除其它帧内预测模式(例如，水平或几乎水平模式以及其它有角度模式)。具有较强方向性的模式是垂直或几乎垂直的那些模式以及水平或几乎水平的模式。对于2N×hN PU分区，帧内预测模式集合可包含那些水平或几乎水平的帧内预测模式以及不具有较强方向性的其它模式(例如，DC模式和/或平面模式)，但排除其它帧内预测模式(例如，垂直或几乎垂直模式以及其它有角度模式)。
在本发明的另一实例中，对于hN×2N PU分区，帧内预测模式集合可包含那些垂直或几乎垂直的帧内模式，不具有较强方向性的其它模式(例如，DC模式和/或平面模式)，以及一些水平或几乎水平的模式(例如，模式2)。此帧内模式集合中的模式总数可小于用于正方形分区的模式总数(例如，所有35种模式)。对于2NxhN PU分区，帧内预测模式集合可包含那些水平或几乎水平的帧内模式，不具有较强方向性的其它模式(例如，DC模式和/或平面模式)，以及一些垂直或几乎垂直的模式(例如，模式1)。此帧内模式集合中的模式总数可小于用于正方形分区的模式总数(例如，小于包含所有35种模式的集合)。
本发明还提出用于使特定PU分区的可用帧内预测模式集合也取决于CU大小的技术。举例来说，具有hN×2N SDIP PU分区的32x32CU可具有与具有hN×2N SDIP PU分区的16x16CU不同的帧内模式集合。在此实例中，对于32x32CU(具有hN×2N SDIPPU分区)，帧内模式集合包含模式0、21和22；对于16x16CU(具有hN×2N SDIP PU分区)，帧内模式集合包含模式0、21、22、11、12、20和23。并且，帧内预测模式集合还可取决于其它边信息，如图片类型。举例来说，对于帧内片段/图片，具有hN×2N SDIPPU分区的CU的帧内预测模式集合包含模式0、21、22、11、12、20和23。对于P或B片，具有hN×2N SDIP PU分区的CU的帧内预测模式集合包含所有35种模式。
在一些实例中，用于SDIP分区的帧内预测模式集合可为固定集合，且可存储在视频编码器20和视频解码器30两者处。在其它实例中，还可使用某一高级语法在经编码位流中用信号通知帧内预测模式集合。举例来说，可在SPS(序列参数集合)和/或PPS(图片参数集合)中用信号通知此语法。
在本发明的另一实例中，可对SDIP帧内预测模式集合中的模式进行重新编号(例如，连续地从0开始)，使得熵译码可较简单且较高效。举例来说，假设用于hN×2N分区的帧内预测模式集合包含3种模式：0、21和22(如图2中所示)。可将模式0、21和22重新编号为0、1和2(例如，0-＞0、21-＞1、22-＞2)，以进行熵译码。在视频解码器30处，可将经重新编号的帧内预测模式重新映射到原始模式编号(在此实例中为0、21和22)，使得可执行具有正确方向的帧内预测。
使用最可能模式(MPM)来用信号通知帧内预测模式。在HM软件的一个版本中，存在两种MPM。一种MPM为顶部PU(即，在当前PU正上方的PU)的模式，且另一MPM为左侧PU(即，直接在当前PU左侧的PU)的模式。如果当前PU的模式与MPM PU中的一者的模式相同，那么在经编码视频位流中用信号通知旗标。如果旗标为真，那么将在经编码视频位流中用信号通知另一旗标，以指示当前PU的模式与哪一MPM匹配。使用MPM信令技术减少了用信号通知PU的选定帧内预测模式所需的位的量。
如本发明中所提出，两个SDIP PU(即，hN×2N和2NxhN)以及正方形PU可具有不同的帧内预测模式集合。这可导致基于MPM的帧内预测模式信令中的一些问题和/或低效。举例来说，如果左侧PU和顶部PU具有与当前PU的帧内预测模式集合不同的帧内预测模式集合，那么从左侧和顶部PU得出的MPM有可能不同于可用于当前PU的任何帧内预测模式，且因此MPM译码变得没用。
鉴于此缺点，本发明进一步提出在用于PU A和B的帧内预测模式集合为不同的情况下，当将PU(A)的模式用作另一PU(B)的MPM时，执行模式映射/量化。将S(A)界定为PU(A)的帧内预测模式集合，且将m(A)界定为用于PU(A)的模式。类似地，将S(B)界定为PU(B)的帧内预测模式集合，且将m(B)界定为用于PU(B)的模式。可执行映射以将m(A)映射到S(B)中的模式Y，且将Y用作用于编码m(B)的MPM。视频编码器20可执行此正向映射。另外，视频解码器30也可执行正向映射以获得原始帧内预测模式。
在一个实例中，将Y界定为具有与m(A)最类似的方向的S(B)中的模式。在另一实例中，S(A)中的模式到S(B)中的模式的映射是固定的，且在编码器和解码器两者处可用。在另一实例中，S(A)中的模式到S(B)中的模式的映射是编码器界定的，且使用某一高级语法(例如，在SPS或PPS中)发射。就是说，根据映射算法在编码器处执行映射，且在经编码视频位流中用信号通知用以执行映射的算法(或所述算法的索引)。在另一实例中，S(A)中的模式到S(B)中的模式的映射取决于边信息(例如，CU/PU大小、图片类型等)。
图7是说明可使用如本文中所述的用于TU和PU选择和信令的技术的视频编码器20的实例的框图。出于说明的目的，将在HEVC译码的上下文中描述视频编码器20，但就可能需要变换系数的译码的其它译码标准或方法而论不限制本发明。视频编码器20可执行视频帧内的CU的帧内和帧间译码。帧内译码依靠空间预测来减少或去除给定视频帧内的视频数据中的空间冗余。帧间译码依靠时间预测来减少或去除视频序列的当前帧与先前译码帧之间的时间冗余。帧内模式(I模式)可涉及若干基于空间的视频压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指代若干基于时间的视频压缩模式中的任一者。
如图7中所示，视频编码器20接收待编码视频帧内的当前视频块。在图7的实例中，视频编码器20包含运动补偿单元44、运动估计单元42、帧内预测模块46、参考帧缓冲器64、求和器50、变换模块52、量化单元54以及熵编码单元56。对于视频块重构，视频编码器20还包含逆量化单元58、逆变换模块60以及求和器62。还可包含解块滤波器或其它环路内滤波器(图7中未展示)以对块边界进行滤波，以从经重构的视频去除成块性假影。在需要时，解块滤波器将通常对求和器62的输出进行滤波。
模式选择单元40可例如基于每一模式的速率失真分析来选择译码模式中的一者(帧内或帧间)，且将所得经帧内预测或帧间预测的块(例如，预测单元(PU))提供给求和器50以产生残差块数据，且提供给求和器62以重构经编码块以用于参考帧中。求和器62将所预测的块与来自用于所述块的逆变换模块60的经逆量化、逆变换数据进行组合，以重构经编码块，如下文更详细地描述。可将一些视频帧指定为I帧，其中I帧中的所有块均以帧内预测模式编码。在一些情况下，帧内预测模块46可执行P或B帧中的块的帧内预测编码，例如当运动估计单元42所执行的运动搜索未得出所述块的充足预测时。
在编码过程期间，视频编码器20接收待译码的视频帧或切片。可将帧或切片分为多个视频块(例如，最大译码单元(LCU))。运动估计单元42和运动补偿单元44相对于一个或一个以上参考帧中的一个或一个以上块执行对所接收的视频块的帧间预测译码以提供时间压缩。帧内预测模块46可相对于与待译码的块在同一帧或切片中的一个或一个以上相邻块执行所接收视频块的帧内预测译码，以提供空间压缩。
运动估计单元42与运动补偿单元44可高度集成，但出于概念上的目的而分开予以说明。运动估计(或运动搜索)是产生估计视频块的运动的运动向量的过程。举例来说，运动向量可指示当前帧中的预测单元相对于参考帧的参考样本的移位。运动估计单元42通过将预测单元与存储在参考帧缓冲器64中的参考帧的参考样本进行比较来计算经帧间译码的帧的预测单元的运动向量。参考样本可为发现与CU的包含正依据像素差译码的PU的部分密切匹配的块，其可由绝对差和(SAD)、平方差和(SSD)或其它差度量确定。参考样本可出现在参考帧或参考片内的任何地方，且不一定在参考帧或片的块(例如，译码单元)边界处。在一些实例中，参考样本可出现在分数像素位置处。
运动估计单元42将所计算的运动向量发送到熵编码单元56和运动补偿单元44。由运动向量识别的参考帧的部分可称为参考样本。运动补偿单元44可例如通过检索由PU的运动向量识别的参考样本来计算当前CU的预测单元的预测值。
作为运动估计单元42和运动补偿单元44所执行的帧间预测的替代方案，帧内预测模块46可对接收到的块执行帧内预测。在假定块的从左到右、从上到下编码次序的情况下，帧内预测模块46可相对于相邻的先前经译码块(例如在当前块上方、上方且右侧、上方且左侧或左侧的块)预测接收到的块。帧内预测模块46可经配置以根据多种不同帧内预测模式中的一者执行帧内预测。举例来说，帧内预测模块46了基于正编码的CU的大小配置有某一数目的定向预测模式，例如三十五种定向预测模式。
帧内预测模块46可通过例如为各种帧内预测模式计算误差值且选择得出最低误差值的模式来选择帧内预测模式。定向预测模式可包含用于组合空间上相邻像素的值且将组合值应用于PU中的一个或一个以上像素位置的功能。一旦已计算PU中的所有像素位置的值，帧内预测单元46可基于PU与待编码当前块之间的像素差来计算所述预测模式的误差值。帧内预测模块46可继续测试帧内预测模式，直到发现得出可接受误差值的帧内预测模式为止。帧内预测模块46可接着将预测性块发送到求和器50。
视频编码器20通过将运动补偿单元44或帧内预测模块46所计算的预测数据从正译码的原始视频块减去来形成残差块。求和器50表示执行此减法运算的组件。残差块可对应于像素差值的二维矩阵，其中残差块中的值的数目与对应于所述残差块的预测性块中的像素的数目。残差块中的值可对应于预测性块中与待译码的原始块中位于同一位置的像素的值之间的差，即误差。所述差可为取决于被译码块的类型的色度和亮度差。
变换模块52可从残差块形成一个或一个以上TU。变换模块52从多个变换之中选择变换。可基于一个或一个以上译码特性(例如，块大小、译码模式等)来选择变换。变换模块52接着将选定变换应用于TU，从而产生包括变换系数的二维阵列的视频块。变换模块52可根据上文所述的本发明的技术选择变换分区。另外，变换模块52可用信号通知经编码视频位流中的选定变换分区。
变换模块52可将所得变换系数发送到量化单元54。量化单元54可接着量化变换系数。熵编码单元56可接着根据扫描模式执行矩阵中的经量化变换系数的扫描。本发明将熵编码单元56描述为执行所述扫描。然而，应理解，在其它实例中，其它处理单元(例如量化单元54)可执行所述扫描。
一旦将变换系数扫描到一维阵列中，熵编码单元56就可对所述系数应用熵译码，例如CAVLC、CABAC、基于语法的上下文自适应二进制算术译码(SBAC)或另一熵译码方法。
为了执行CAVLC，熵编码单元56可为待发射的符号选择可变长度代码。可构造VLC中的码字，使得相对较短的代码对应于概率较大的符号，而较长的代码对应于概率较小的符号。以此方式，与例如对待发射的每一符号使用等长码字相比，VLC的使用可实现位节省。
为了执行CABAC，熵编码单元56可选择上下文模型来应用于某一上下文以编码待发射的符号。所述上下文可与例如相邻值是非零还是零有关。熵编码单元56还可对语法元素(例如代表选定变换的信号)进行熵编码。根据本发明的技术，熵编码单元56可基于(例如)帧内预测模式的帧内预测方向、对应于语法元素的系数的扫描位置、块类型和/或变换类型以及用于上下文模型选择的其它因素选择用以编码这些语法元素的上下文模型。
在熵译码单元56进行的熵译码之后，可将所得经编码视频发射到另一装置(例如视频解码器30)或加以存档以用于稍后发射或检索。
在一些情况下，熵编码单元56或视频编码器20的另一单元可经配置以执行除熵译码之外的其它译码功能。举例来说，熵编码单元56可经配置以确定CU和PU的经译码块模式(CBP)值。并且，在一些情况下，熵编码单元56可执行系数的游程长度译码。
逆量化单元58和逆变换模块60分别应用逆量化和逆变换，以在像素域中重构残差块，例如以供稍后用作参考帧的参考块。运动补偿单元44可通过将残差块与参考帧存储器64的帧中的一者的预测块相加来计算参考块。运动补偿单元44还可将一个或一个以上内插滤波器应用于经重构的残差块，以计算用于运动估计中的子整数像素值。求和器62将经重构残差块加到由运动补偿单元44所产生的经运动补偿预测块以产生经重构视频块以供存储于参考帧缓冲器64中。参考帧缓冲器64有时称为经解码图片缓冲器(DPB)。经重构视频块可由运动估计单元42和运动补偿单元44用作参考块以对后续视频帧中的块进行帧间预测。
图8是说明对经编码视频序列进行解码的视频解码器30的实例的框图。在图8的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测模块74、逆量化单元76、逆变换单元78、参考帧缓冲器82以及求和器80。视频解码器30在一些实例中可执行一般与关于视频编码器20(见图7)所描述的编码遍次互逆的解码遍次。
熵解码单元70对经编码位流执行熵解码过程，以检索变换系数的一维阵列。所使用的熵解码过程取决于视频编码器20所使用的熵译码(例如，CABAC、CAVLC等)。可在经编码位流中用信号通知编码器所使用的熵译码过程，或其可为预定义过程。
在一些实例中，熵解码单元70(或逆量化单元76)可使用反映视频编码器20的熵编码单元56(或量化单元54)所使用的扫描模式的扫描来扫描接收到的值。尽管可在逆量化单元76中执行系数的扫描，但将出于说明的目的，将扫描描述为由熵解码单元70执行。另外，尽管为了便于说明展示为单独的功能单元，但视频解码器30的熵解码单元70、逆量化单元76以及其它单元的结构和功能性可彼此高度集成。
逆量化单元76将提供于位流中且由熵解码单元70解码的经量化的变换系数逆量化(即，去量化)。逆量化过程可包括(例如)类似于为HEVC所提出或由H.264解码标准界定的过程的常规过程。逆量化过程还包含针对CU使用由视频编码器20计算的量化参数QP来确定量化程度以及同样的应应用逆量化的程度。在将系数从一维阵列转换为二维阵列之前或之后，逆量化单元76可对变换系数进行逆量化。
逆变换单元78将逆变换应用于经逆量化的变换系数。在一些实例中，逆变换单元78可基于来自视频编码器20的信令或通过从例如块大小、译码模式等一个或一个以上译码特性推断变换来确定逆变换。在一些实例中，逆变换单元78可基于包含当前块的LCU的四叉树的根节点处的用信号通知的变换，确定要应用于当前块的变换。或者，可在LCU四叉树中的叶节点CU的TU四叉树的根部用信号通知变换。在一些实例中，逆变换单元78可应用级联逆变换，其中逆变换单元78将两个或两个以上逆变换应用于正解码的当前块的变换系数。
另外，逆变换模块74可根据上文所述的本发明的技术应用逆变换来产生变换单元分区。就是说，逆变换模块74可将变换应用于如根据本发明的技术用信号通知的正方形或非正方形TU分区。
帧内预测模块74可基于用信号通知的帧内预测模式以及来自当前帧的先前经解码块的数据为当前帧的当前块产生预测数据。
基于检索到的运动预测方向、参考帧索引以及所计算的当前运动向量，运动补偿单元产生当前部分的经运动补偿的块。这些经运动补偿的块本质上重新创建用以产生残差数据的预测性块。
运动补偿单元72可产生经运动补偿的块，从而可能执行基于内插滤波器的内插。待用于具有子像素精度的运动补偿的内插滤波器的识别符可包含于语法元素中。运动补偿单元72可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器来计算参考块的子整数像素的经内插值。运动补偿单元72可根据所接收的语法元素来确定视频编码器20所使用的内插滤波器，且使用内插滤波器来产生预测块。
另外，在HEVC实例中，运动补偿单元72和帧内预测模块74可使用语法信息(例如由四叉树提供)中的一些来确定用以编码经编码视频序列的帧的LCU的大小。运动补偿单元72和帧内预测模块74还可使用语法信息来确定描述如何分裂经编码视频序列的帧的每一CU(且同样地，如何分裂子CU)的分裂信息。明确地说，帧内预测模块74可使用减少数目的帧内预测模式来对非正方形SDIP PU分区执行帧内预测，如本发明在上文所述。语法信息还可包含指示如何编码每一分裂的模式(例如，帧内或帧间预测，且用于帧内预测编码模式的帧内预测)、每一经帧间编码PU的一个或一个以上参考帧(和/或含有参考帧的指示符的参考列表)，以及用以解码经编码视频序列的其它信息。
求和器80对残差块与由运动补偿单元72或帧内预测模块74产生的对应预测块进行组合以形成经解码块。如果需要的话，还可应用解块滤波器来对经解码块进行滤波，以便去除成块假象。接着将经解码的视频块存储在参考帧缓冲器82中，参考帧缓冲器82提供用于后续运动补偿的参考块且还产生用于在显示装置(例如，图1的显示装置32)上呈现的经解码视频。
图9是描绘根据本发明实例的实例视频编码方法的流程图。图9的方法可由视频编码器20的一个或一个以上结构执行。
最初，作为任选步骤，视频编码器20可经配置以从视频数据块的多个预测单元(PU)分区中确定一预测单元分区(920)，且基于所确定的预测单元分区确定一组帧内预测模式(922)。
在一个实例中，所确定的预测单元分区为垂直定向的非正方形预测单元分区，且所述组帧内预测模式包含垂直定向的帧内预测模式。在另一实例中，所确定的预测单元分区为水平定向的非正方形预测单元分区，且所述组帧内预测模式包含水平定向的帧内预测模式。
视频编码器20可进一步经配置以从视频数据块的一组帧内预测模式确定一帧内预测模式(924)，基于所确定的帧内预测模式确定所述视频数据块的变换单元(TU)分区(926)，且使用所确定的变换单元分区来编码视频数据块(928)。视频编码器20可接着经配置以在经编码视频位流中用信号通知所确定的变换分区(930)。
在一个实例中，所述视频数据块为预测单元，且预测单元分区具有与所述所确定的变换单元分区相同的大小和形状。在另一实例中，所述视频数据块为预测单元，且预测单元分区具有与所确定的变换单元不同的大小和形状。
在本发明的另一实例中，视频编码器20可经配置以基于帧内预测模式从一组变换单元分区确定所述变换单元分区。在一个实例中，所确定的帧内预测模式为垂直定向的帧内预测模式，且所述组变换单元分区包含垂直定向的非正方形变换单元分区。在另一实例中，所确定的帧内预测模式为水平定向的帧内预测模式，且所述组变换单元分区包含水平定向的非正方形变换单元分区。在又一实例中，所确定的帧内预测模式为DC模式、平面模式或对角线模式，且所述组变换单元分区包含正方形变换单元分区。
变换单元分区集合可具有不同数目的分区。在一个实例中，变换单元分区集合每帧内预测模式仅包含一个变换单元分区。在另一实例中，多个帧内预测模式中的每一者的每一组变换单元分区中存在相等数目的变换单元分区。
在本发明的另一实例中，确定变换单元分区(926)可包含：根据所确定的帧内预测模式对视频数据块执行帧内预测以产生预测残差；根据预测残差测试多个变换分区；以及基于所述测试选择所述多个变换分区中的一者。
图10是描绘根据本发明实例的实例视频解码方法的流程图。图10的方法可由视频解码器30的一个或一个以上结构执行。
最初，作为任选步骤，视频解码器30可经配置以接收来自视频数据块的多个预测单元(PU)分区中的一预测单元分区的指示(1020)，且基于所述预测单元分区确定一组帧内预测模式(1022)。
在一个实例中，所述预测单元分区为垂直定向的非正方形预测单元分区，且所述组帧内预测模式包含垂直定向的帧内预测模式。在另一实例中，所述预测单元分区为水平定向的非正方形预测单元分区，且所述组帧内预测模式包含水平定向的帧内预测模式。
视频解码器30可进一步经配置以接收来自视频数据块的一组帧内预测模式的一帧内预测模式的指示(1024)，基于所确定的帧内预测模式确定所述视频数据块的变换单元分区(1026)，且使用所确定的变换单元分区来解码视频数据块(1028)。
在一个实例中，所述视频数据块为预测单元，且预测单元分区具有与所述所确定的变换单元分区相同的大小和形状。在另一实例中，所述视频数据块为预测单元，且预测单元分区具有与所确定的变换单元不同的大小和形状。
在本发明的另一实例中，视频解码器30可经配置以基于帧内预测模式从一组变换单元分区确定所述变换单元分区。在一个实例中，所确定的帧内预测模式为垂直定向的帧内预测模式，且所述组变换单元分区包含垂直定向的非正方形变换单元分区。在另一实例中，所确定的帧内预测模式为水平定向的帧内预测模式，且所述组变换单元分区包含水平定向的非正方形变换单元分区。在又一实例中，所确定的帧内预测模式为DC模式、平面模式或对角线模式，且所述组变换单元分区包含正方形变换单元分区。
变换单元分区集合可具有不同数目的分区。在一个实例中，变换单元分区集合每帧内预测模式仅包含一个变换单元分区。在另一实例中，多个帧内预测模式中的每一者的每一组变换单元分区中存在相等数目的变换单元分区。
在一个或一个以上实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么所述功能可作为一个或一个以上指令或代码存储在计算机可读媒体上或经由计算机可读媒体而传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体等有形媒体，或包含例如根据通信协议促进计算机程序从一处到另一处的传送的任何媒体的通信媒体。以此方式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一个或一个以上计算机或一个或一个以上处理器存取以检索指令、代码和/或数据结构以供实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
作为实例(而非限制)，所述计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置，或其它磁性存储装置，快闪存储器，或可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。同样，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电及微波等无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它瞬态媒体，而是针对非瞬态有形存储媒体。如本文中所使用，磁盘及光盘包括紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常磁性地复制数据，而光盘使用激光光学地复制数据。上文的组合也应包括在计算机可读媒体的范围内。
指令可由一个或一个以上处理器执行，例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其它等效集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文所述的功能性可提供于经配置以用于编码和解码的专用硬件和/或软件模块内，或并入在组合式编解码器中。并且，可将所述技术完全实施于一个或一个以上电路或逻辑元件中。
本发明的技术可在各种各样的装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元，以强调经配置以执行所揭示技术的装置的功能方面，但不一定要求由不同硬件单元来实现。相反，如上文所述，各种单元可组合在编解码器硬件单元中，或由互操作硬件单元的集合提供，包含如上文所述的一个或一个以上处理器，结合合适的软件和/或固件。
已描述了各种实例。这些和其它实例在所附权利要求书的范围内。

Claims (56)

1.一种视频编码方法，其包括：
从视频数据块的一组帧内预测模式确定一帧内预测模式；
基于所述所确定的帧内预测模式确定所述视频数据块的变换单元分区；以及
使用所述所确定的变换单元分区来编码所述视频数据块。
2.根据权利要求1所述的视频编码方法，
其中所述视频数据块为预测单元，且其中所述预测单元的分区具有与所述所确定的变换单元分区相同的大小和形状。
3.根据权利要求1所述的视频编码方法，所述方法进一步包括：
基于所述所确定的帧内预测模式确定一组变换单元分区，其中确定所述视频数据块的所述变换单元分区包括从所述组变换单元分区确定所述变换单元分区。
4.根据权利要求3所述的视频编码方法，其中所述所确定的帧内预测模式为垂直定向的帧内预测模式，且所述组变换单元分区包含垂直定向的非正方形变换单元分区。
5.根据权利要求3所述的视频编码方法，其中所述所确定的帧内预测模式为水平定向的帧内预测模式，且所述组变换单元分区包含水平定向的非正方形变换单元分区。
6.根据权利要求3所述的视频编码方法，其中所述所确定的帧内预测模式为DC模式、平面模式或对角线模式，且其中所述组变换单元分区包含正方形变换单元分区。
7.根据权利要求3所述的视频编码方法，其中所述组变换单元分区每帧内预测模式仅包含一个变换单元分区。
8.根据权利要求3所述的视频编码方法，其中所述多个帧内预测模式中的每一者的每一组变换单元分区中存在相等数目的变换单元分区。
9.根据权利要求1所述的视频编码方法，
其中所述视频数据块为预测单元，且其中所述预测的分区具有与所述所确定的变换单元分区不同的大小和形状。
10.根据权利要求1所述的视频编码方法，其进一步包括：
根据所述所确定的帧内预测模式对所述视频数据块执行帧内预测以产生预测残差，
其中确定所述变换单元分区包括：
根据所述预测残差测试多个变换分区；以及
基于所述测试选择所述多个变换分区中的一者作为所述所确定变换分区。
11.根据权利要求1所述的视频编码方法，其进一步包括：
在经编码视频位流中用信号通知所述所确定变换分区。
12.根据权利要求1所述的视频编码方法，其进一步包括：
从所述视频数据块的多个预测单元分区中确定一预测单元分区；以及
基于所述所确定的预测单元分区确定所述组帧内预测模式。
13.根据权利要求12所述的视频编码方法，其中所述所确定的预测单元分区为垂直定向的非正方形预测单元分区，且其中所述组帧内预测模式包含垂直定向的帧内预测模式。
14.根据权利要求12所述的视频编码方法，其中所述所确定的预测单元分区为水平定向的非正方形预测单元分区，且其中所述组帧内预测模式包含水平定向的帧内预测模式。
15.一种视频解码方法，其包括：
接收来自视频数据块的多个帧内预测模式中的一帧内预测模式的指示；
基于所述所接收到的帧内预测模式确定所述视频数据块的变换单元分区；以及
使用所述所确定的变换单元分区来解码所述视频数据块。
16.根据权利要求15所述的视频解码方法，
其中所述视频数据块为预测单元，且其中所述预测单元的分区具有与所述所确定的变换单元分区相同的大小和形状。
17.根据权利要求15所述的视频解码方法，所述方法进一步包括：
基于所述帧内预测模式确定一组变换单元分区，其中确定所述视频数据块的所述变换单元分区包括从所述组变换单元分区确定所述变换单元分区。
18.根据权利要求17所述的视频解码方法，其中所述帧内预测模式为垂直定向的帧内预测模式，且其中所述组变换单元分区包含垂直定向的非正方形变换单元分区。
19.根据权利要求17所述的视频解码方法，其中所述帧内预测模式为水平定向的帧内预测模式，且其中所述组变换单元分区包含水平定向的非正方形变换单元分区。
20.根据权利要求17所述的视频解码方法，其中所述帧内预测模式为DC模式、平面模式或对角线模式，且其中所述组变换单元分区包含正方形变换单元分区。
21.根据权利要求17所述的视频解码方法，其中所述组变换单元分区每帧内预测模式仅包含一个变换单元分区。
22.根据权利要求17所述的视频解码方法，其中所述多个帧内预测模式中的每一者的每一组变换单元分区中存在相等数目的变换单元分区。
23.根据权利要求15所述的视频解码方法，
其中所述视频数据块为预测单元，且其中所述预测单元的分区具有与所述所确定的变换单元分区不同的大小和形状。
24.根据权利要求15所述的视频解码方法，其进一步包括：
接收来自所述视频数据块的多个预测单元分区的一预测单元分区的指示；以及基于所述预测单元分区确定所述组帧内预测模式。
25.根据权利要求24所述的视频解码方法，其中所述预测单元分区为垂直定向的非正方形预测单元分区，且其中所述组帧内预测模式包含垂直定向的帧内预测模式。
26.根据权利要求24所述的视频解码方法，其中所述预测单元分区为水平定向的非正方形预测单元分区，且其中所述组帧内预测模式包含水平定向的帧内预测模式。
27.一种视频编码设备，其包括：
视频编码器，其经配置以：
从视频数据块的一组帧内预测模式确定一帧内预测模式；
基于所述所确定的帧内预测模式确定所述视频数据块的变换单元分区；以及
使用所述所确定的变换单元分区来编码所述视频数据块。
28.根据权利要求27所述的视频编码设备，
其中所述视频数据块为预测单元，且其中所述预测单元的分区具有与所述所确定的变换单元分区相同的大小和形状。
29.根据权利要求27所述的视频编码设备，其中所述视频编码器进一步经配置以：
基于所述所确定的帧内预测模式确定一组变换单元分区，其中确定所述视频数据块的所述变换单元分区包括从所述组变换单元分区确定所述变换单元分区。
30.根据权利要求29所述的视频编码设备，其中所述所确定的帧内预测模式为垂直定向的帧内预测模式，且所述组变换单元分区包含垂直定向的非正方形变换单元分区。
31.根据权利要求29所述的视频编码设备，其中所述所确定的帧内预测模式为水平定向的帧内预测模式，且所述组变换单元分区包含水平定向的非正方形变换单元分区。
32.根据权利要求29所述的视频编码设备，其中所述所确定的帧内预测模式为DC模式、平面模式或对角线模式，且其中所述组变换单元分区包含正方形变换单元分区。
33.根据权利要求29所述的视频编码设备，其中所述组变换单元分区每帧内预测模式仅包含一个变换单元分区。
34.根据权利要求29所述的视频编码设备，其中所述多个帧内预测模式中的每一者的每一组变换单元分区中存在相等数目的变换单元分区。
35.根据权利要求27所述的视频编码设备，
其中所述视频数据块为预测单元，且其中所述预测单元的分区具有与所述所确定的变换单元分区不同的大小和形状。
36.根据权利要求27所述的视频编码设备，其中所述视频编码器进一步经配置以：
根据所述所确定的帧内预测模式对所述视频数据块执行帧内预测以产生预测残差；
根据所述预测残差测试多个变换分区；以及
基于所述测试选择所述多个变换分区中的一者作为所述所确定变换分区。
37.根据权利要求27所述的视频编码设备，其中所述视频编码器进一步经配置以：
在经编码视频位流中用信号通知所述所确定变换分区。
38.根据权利要求27所述的视频编码设备，其中所述视频编码器进一步经配置以：
从所述视频数据块的多个预测单元分区中确定一预测单元分区；以及
基于所述所确定的预测单元分区确定所述组帧内预测模式。
39.根据权利要求38所述的视频编码设备，其中所述所确定的预测单元分区为垂直定向的非正方形预测单元分区，且其中所述组帧内预测模式包含垂直定向的帧内预测模式。
40.根据权利要求38所述的视频编码设备，其中所述所确定的预测单元分区为水平定向的非正方形预测单元分区，且其中所述组帧内预测模式包含水平定向的帧内预测模式。
41.一种视频解码设备，其包括：
视频解码器，其经配置以：
接收来自视频数据块的多个帧内预测模式中的一帧内预测模式的指示；
基于所述所接收到的帧内预测模式确定所述视频数据块的变换单元分区；以及
使用所述所确定的变换单元分区来解码所述视频数据块。
42.根据权利要求41所述的视频解码设备，
其中所述视频数据块为预测单元，且其中所述预测单元的分区具有与所述所确定的变换单元分区相同的大小和形状。
43.根据权利要求41所述的视频解码设备，其中所述视频解码器进一步经配置以：
基于所述帧内预测模式确定一组变换单元分区，其中确定所述视频数据块的所述变换单元分区包括从所述组变换单元分区确定所述变换单元分区。
44.根据权利要求43所述的视频解码设备，其中所述帧内预测模式为垂直定向的帧内预测模式，且所述组变换单元分区包含垂直定向的非正方形变换单元分区。
45.根据权利要求43所述的视频解码设备，其中所述帧内预测模式为水平定向的帧内预测模式，且所述组变换单元分区包含水平定向的非正方形变换单元分区。
46.根据权利要求43所述的视频解码设备，其中所述帧内预测模式为DC模式、平面模式或对角线模式，且其中所述组变换单元分区包含正方形变换单元分区。
47.根据权利要求43所述的视频解码设备，其中所述组变换单元分区每帧内预测模式仅包含一个变换单元分区。
48.根据权利要求43所述的视频解码设备，其中所述多个帧内预测模式中的每一者的每一组变换单元分区中存在相等数目的变换单元分区。
49.根据权利要求41所述的视频解码设备，
其中所述视频数据块为预测单元，且其中所述预测单元的预测分区具有与所述所确定的变换单元分区不同的大小和形状。
50.根据权利要求41所述的视频解码设备，其中所述视频解码器进一步经配置以：
接收来自所述视频数据块的多个预测单元分区的一预测单元分区的指示；以及
基于所述预测单元分区确定所述组帧内预测模式。
51.根据权利要求50所述的视频解码设备，其中所述预测单元分区为垂直定向的非正方形预测单元分区，且其中所述组帧内预测模式包含垂直定向的帧内预测模式。
52.根据权利要求50所述的视频解码设备，其中所述预测单元分区为水平定向的非正方形预测单元分区，且其中所述组帧内预测模式包含水平定向的帧内预测模式。
53.一种视频编码设备，其包括：
用于从视频数据块的一组帧内预测模式确定一帧内预测模式的装置；
用于基于所述所确定的帧内预测模式确定所述视频数据块的变换单元分区的装置；以及
用于使用所述所确定的变换单元分区来编码所述视频数据块的装置。
54.一种视频解码设备，其包括：
用于接收来自视频数据块的多个帧内预测模式中的一帧内预测模式的指示的装置；
用于基于所述所接收到的帧内预测模式确定所述视频数据块的变换单元分区的装置；以及
用于使用所述所确定的变换单元分区来解码所述视频数据块的装置。
55.一种存储指令的计算机可读存储媒体，所述指令在被执行时致使经配置以编码视频数据的一个或一个以上处理器：
从视频数据块的一组帧内预测模式确定一帧内预测模式；
基于所述所确定的帧内预测模式确定所述视频数据块的变换单元分区；以及
使用所述所确定的变换单元分区来编码所述视频数据块。
56.一种存储指令的计算机可读存储媒体，所述指令在被执行时致使经配置以解码视频数据的一个或一个以上处理器：
接收来自视频数据块的多个帧内预测模式中的一帧内预测模式的指示；
基于所述所接收到的帧内预测模式确定所述视频数据块的变换单元分区；以及使用所述所确定的变换单元分区来解码所述视频数据块。
CN201280044246.8A 2011-09-12 2012-09-11 视频译码中的非正方形变换单元和预测单元 Expired - Fee Related CN103797801B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201161533703P 2011-09-12 2011-09-12
US61/533,703 2011-09-12
US201161536414P 2011-09-19 2011-09-19
US61/536,414 2011-09-19
US201161552216P 2011-10-27 2011-10-27
US61/552,216 2011-10-27
US13/608,380 2012-09-10
US13/608,380 US9787982B2 (en) 2011-09-12 2012-09-10 Non-square transform units and prediction units in video coding
PCT/US2012/054654 WO2013039908A2 (en) 2011-09-12 2012-09-11 Non-square transform units and prediction units in video coding

Publications (2)

Publication Number Publication Date
CN103797801A true CN103797801A (zh) 2014-05-14
CN103797801B CN103797801B (zh) 2017-10-17

Family

ID=46852425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280044246.8A Expired - Fee Related CN103797801B (zh) 2011-09-12 2012-09-11 视频译码中的非正方形变换单元和预测单元

Country Status (6)

Country Link
US (1) US9787982B2 (zh)
EP (1) EP2756676B1 (zh)
JP (2) JP6022579B2 (zh)
KR (1) KR101671080B1 (zh)
CN (1) CN103797801B (zh)
WO (1) WO2013039908A2 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108172168A (zh) * 2017-12-22 2018-06-15 深圳市华星光电半导体显示技术有限公司 一种补偿表压缩方法
CN108702508A (zh) * 2016-02-12 2018-10-23 汤姆逊许可公司 用于帧内预测编码/解码包括画面数据的编码单元的方法和设备，所述帧内预测编码取决于预测树和变换树
CN109792519A (zh) * 2016-08-08 2019-05-21 Lg电子株式会社 基于帧内预测模式的图像处理方法及其装置
CN110572649A (zh) * 2016-04-29 2019-12-13 世宗大学校产学协力团 用于对图像信号进行编码和解码的方法和装置
US10652550B2 (en) 2017-12-22 2020-05-12 Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Ltd. Compensation table compressing method
CN111885380A (zh) * 2015-03-23 2020-11-03 Lg 电子株式会社 在内预测模式的基础上处理图像的方法及其装置
CN112042190A (zh) * 2018-04-24 2020-12-04 三星电子株式会社 视频编码方法和装置以及视频解码方法和装置
CN112534812A (zh) * 2018-06-01 2021-03-19 腾讯美国有限责任公司 用于视频编码的方法和装置
WO2023274360A1 (en) * 2021-06-30 2023-01-05 Beijing Bytedance Network Technology Co., Ltd. Utilization of recursive prediction unit in video coding

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130089136A1 (en) * 2011-10-10 2013-04-11 Texas Instruments Incorporated Spatial Intra Prediction Estimation Based on Mode Suppression in Macroblocks of a Video Frame
CN104126303B (zh) * 2011-11-29 2018-03-06 华为技术有限公司 用于高效率视频译码的统一分割结构和信令方法
WO2013106986A1 (en) * 2012-01-16 2013-07-25 Mediatek Singapore Pte. Ltd. Methods and apparatuses of intra mode coding
AU2012200319B2 (en) 2012-01-19 2015-11-26 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit
AU2012200345B2 (en) * 2012-01-20 2014-05-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map residual coefficients of a transform unit
EP2829065B1 (en) * 2012-03-21 2020-05-13 MediaTek Singapore Pte Ltd. Method and apparatus for intra mode derivation and coding in scalable video coding
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9344742B2 (en) * 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
US9819965B2 (en) * 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
WO2014110652A1 (en) * 2013-01-16 2014-07-24 Blackberry Limited Context determination for entropy coding of run-length encoded transform coefficients
US9544597B1 (en) 2013-02-11 2017-01-10 Google Inc. Hybrid transform in video encoding and decoding
US9967559B1 (en) 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
US9674530B1 (en) 2013-04-30 2017-06-06 Google Inc. Hybrid transforms in video coding
WO2015015681A1 (ja) 2013-07-31 2015-02-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像符号化方法および画像符号化装置
CN113784124B (zh) * 2014-01-01 2024-03-19 上海天荷电子信息有限公司 使用多种形状子块进行精细划分的块匹配编码和解码方法
WO2015139173A1 (en) * 2014-03-17 2015-09-24 Mediatek Singapore Pte. Ltd. Improved method for block vector coding
US9565451B1 (en) 2014-10-31 2017-02-07 Google Inc. Prediction dependent transform coding
GB201421095D0 (en) * 2014-11-27 2015-01-14 British Broadcasting Corp HEVC Optimization techniques
WO2016154963A1 (en) * 2015-04-01 2016-10-06 Mediatek Inc. Methods for chroma coding in video codec
EP3306920A4 (en) * 2015-06-05 2019-01-16 Intellectual Discovery Co., Ltd. METHOD AND DEVICE FOR CODING AND DECODING INTRA-FRAME PREDICTION
US9769499B2 (en) 2015-08-11 2017-09-19 Google Inc. Super-transform video coding
KR20170026276A (ko) 2015-08-28 2017-03-08 주식회사 케이티 비디오 신호 처리 방법 및 장치
ES2844525B1 (es) * 2015-09-11 2022-07-05 Kt Corp Metodo para decodificar un video
US10277905B2 (en) 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
KR20180044943A (ko) * 2015-09-23 2018-05-03 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측 방법 및 장치
CN108353194B (zh) * 2015-10-15 2022-07-05 Lg 电子株式会社 编码和解码视频信号的方法和装置
US9807423B1 (en) 2015-11-24 2017-10-31 Google Inc. Hybrid transform scheme for video coding
US10200719B2 (en) * 2015-11-25 2019-02-05 Qualcomm Incorporated Modification of transform coefficients for non-square transform units in video coding
US10560702B2 (en) * 2016-01-22 2020-02-11 Intel Corporation Transform unit size determination for video coding
EP3407950B1 (en) 2016-01-28 2021-08-11 Invent Medical Corporation System for preventing cross-contamination in flow generation systems
CN105578190B (zh) * 2016-02-03 2018-05-04 珠海全志科技股份有限公司 应用于视频硬解码的无损压缩方法及系统
KR20180107097A (ko) 2016-02-16 2018-10-01 삼성전자주식회사 비디오 복호화 방법 및 그 장치 및 비디오 부호화 방법 및 그 장치
US11032550B2 (en) * 2016-02-25 2021-06-08 Mediatek Inc. Method and apparatus of video coding
CN116506600A (zh) 2016-03-11 2023-07-28 数字洞察力有限公司 视频编码方法以及装置
WO2017176030A1 (ko) 2016-04-06 2017-10-12 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2017188565A1 (ko) * 2016-04-25 2017-11-02 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
GB2550579A (en) * 2016-05-23 2017-11-29 Sony Corp Image data encoding and decoding
US11736712B2 (en) 2016-05-28 2023-08-22 Industry Academy Cooperation Foundation Of Sejong University Method and apparatus for encoding or decoding video signal
CN114222141A (zh) * 2016-05-28 2022-03-22 世宗大学校产学协力团 视频信号的解码方法及视频信号的解码装置
WO2018012660A1 (ko) * 2016-07-15 2018-01-18 엘지전자(주) 예측 유닛 분할을 위한 변환 도메인 예측을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
CN116634140A (zh) * 2016-08-03 2023-08-22 株式会社Kt 用于对视频进行编码和解码的方法和装置
US11159812B2 (en) * 2016-08-31 2021-10-26 Kt Corporation Method and apparatus for processing video signal
CA3037685C (en) * 2016-09-20 2023-03-28 Bae Keun Lee Method and apparatus for processing video signal
JP6792996B2 (ja) * 2016-10-12 2020-12-02 日本放送協会 符号化装置、復号装置及びプログラム
KR20190062585A (ko) 2016-11-21 2019-06-05 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
WO2018092869A1 (ja) * 2016-11-21 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2018105759A1 (ko) * 2016-12-05 2018-06-14 엘지전자(주) 영상 부호화/복호화 방법 및 이를 위한 장치
HUE062025T2 (hu) * 2016-12-23 2023-09-28 Huawei Tech Co Ltd Kódoló berendezés egy kiterjesztési irányú intra-predikciós mód jelzésére irányított intra-predikciós módok csoportján belül
FI20175006A1 (en) * 2017-01-03 2019-02-15 Nokia Technologies Oy Video and image coding using wide-angle intra-prediction
WO2018164504A1 (ko) 2017-03-09 2018-09-13 주식회사 케이티 비디오 신호 처리 방법 및 장치
US11399187B2 (en) * 2017-03-10 2022-07-26 Intel Corporation Screen content detection for adaptive encoding
CN116684601A (zh) * 2017-03-31 2023-09-01 松下电器（美国）知识产权公司 图像编码装置、图像解码装置及存储介质
WO2018199675A1 (ko) 2017-04-28 2018-11-01 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
JP2020109884A (ja) * 2017-04-28 2020-07-16 シャープ株式会社 動画像符号化装置及び動画像復号装置
EP3451663A1 (en) * 2017-08-31 2019-03-06 Thomson Licensing Pools of transforms for local selection of a set of transforms in video coding
WO2019096221A1 (en) * 2017-11-17 2019-05-23 Fg Innovation Ip Company Limited Device and method for coding video data based on adjusted intra mode list
WO2019107997A1 (ko) * 2017-11-30 2019-06-06 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
US20190045195A1 (en) * 2018-03-30 2019-02-07 Intel Corporation Reduced Partitioning and Mode Decisions Based on Content Analysis and Learning
SG11202009345QA (en) * 2018-05-10 2020-10-29 Samsung Electronics Co Ltd Video encoding method and apparatus, and video decoding method and apparatus
MX2020012068A (es) * 2018-05-14 2021-02-09 Interdigital Vc Holdings Inc Direcciones de prediccion intra adaptativas a la forma de bloque para arbol cuadruple-arbol binario.
WO2020017987A1 (en) 2018-06-29 2020-01-23 Huawei Technologies Co., Ltd Intra-prediction apparatus, encoding apparatus, decoding apparatus and methods
CN110677679B (zh) * 2018-07-01 2022-07-26 北京字节跳动网络技术有限公司 依赖形状的帧内编码
US10382772B1 (en) * 2018-07-02 2019-08-13 Tencent America LLC Method and apparatus for video coding
US10284844B1 (en) 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
CN108989801B (zh) * 2018-07-27 2021-10-08 福州大学至诚学院 一种基于时空特性的自适应模式选择快速方法
WO2020040626A1 (ko) * 2018-08-24 2020-02-27 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
FR3086485A1 (fr) * 2018-09-21 2020-03-27 Orange Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image.
US20210377553A1 (en) * 2018-11-12 2021-12-02 Interdigital Vc Holdings, Inc. Virtual pipeline for video encoding and decoding
GB2579824B (en) 2018-12-14 2022-05-18 British Broadcasting Corp Video encoding and video decoding
CN116962710A (zh) * 2018-12-15 2023-10-27 华为技术有限公司 图像重建方法和装置
GB2580326A (en) 2018-12-28 2020-07-22 British Broadcasting Corp Video encoding and video decoding
US11445203B2 (en) * 2019-01-04 2022-09-13 Qualcomm Incorporated Sub-partition intra prediction in video coding
US11172197B2 (en) 2019-01-13 2021-11-09 Tencent America LLC Most probable mode list generation scheme
CN113348671A (zh) * 2019-02-05 2021-09-03 北京达佳互联信息技术有限公司 使用帧内子分区编码模式的视频编码
US11533506B2 (en) * 2019-02-08 2022-12-20 Tencent America LLC Method and apparatus for video coding
WO2020180151A1 (ko) * 2019-03-07 2020-09-10 엘지전자 주식회사 비디오 신호를 처리하기 위한 방법 및 장치
GB2582023A (en) * 2019-03-08 2020-09-09 British Broadcasting Corp Method of signalling in a video codec
US10666986B1 (en) * 2019-03-08 2020-05-26 Sony Corporation Sub-block based entropy coding for embedded image codec
CN113661712A (zh) * 2019-03-12 2021-11-16 夏普株式会社 在视频编码中用于执行帧内预测编码的系统和方法
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression
WO2020256523A1 (ko) * 2019-06-20 2020-12-24 엘지전자 주식회사 광각 화면 내 예측을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
CN112135147B (zh) * 2019-06-24 2023-02-28 杭州海康威视数字技术股份有限公司 编码方法、解码方法及装置
US11363295B2 (en) 2019-11-27 2022-06-14 Tencent America LLC Method and system for intra mode coding
US20220150518A1 (en) * 2020-11-11 2022-05-12 Tencent America LLC Method and apparatus for video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1476253A (zh) * 2003-07-04 2004-02-18 清华大学 一种基于预测块组的采用帧内预测的帧内编码帧编码方法
WO2010039822A2 (en) * 2008-10-03 2010-04-08 Qualcomm Incorporated VIDEO CODING USING TRANSFORMS BIGGER THAN 4x4 AND 8x8
US20110038412A1 (en) * 2009-08-14 2011-02-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding video in consideration of scanning order of coding units having hierarchical structure, and method and apparatus for decoding video in consideration of scanning order of coding units having hierarchical structure
WO2011049119A1 (ja) * 2009-10-20 2011-04-28 シャープ株式会社 動画像符号化装置、動画像復号装置、動画像符号化・復号システム、動画像符号化方法および動画像復号方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8582663B2 (en) * 2006-08-08 2013-11-12 Core Wireless Licensing S.A.R.L. Method, device, and system for multiplexing of video streams
US8571104B2 (en) * 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
KR101379187B1 (ko) 2008-06-23 2014-04-15 에스케이 텔레콤주식회사 블록 변환을 이용한 인트라 예측 방법 및 장치와 그를이용한 영상 부호화/복호화 방법 및 장치
JP4937224B2 (ja) 2008-09-30 2012-05-23 株式会社東芝 画像符号化装置
US8483285B2 (en) * 2008-10-03 2013-07-09 Qualcomm Incorporated Video coding using transforms bigger than 4×4 and 8×8
US8503527B2 (en) * 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
US20100098156A1 (en) * 2008-10-16 2010-04-22 Qualcomm Incorporated Weighted prediction based on vectorized entropy coding
US8611435B2 (en) * 2008-12-22 2013-12-17 Qualcomm, Incorporated Combined scheme for interpolation filtering, in-loop filtering and post-loop filtering in video coding
CN104717505B (zh) 2009-04-08 2019-01-11 夏普株式会社 运动图像编码装置以及运动图像解码装置
CN102648628B (zh) * 2009-12-04 2017-09-29 汤姆森许可贸易公司 视频编码和解码中针对帧间帧的改进色度变换的方法和装置
KR101700358B1 (ko) * 2009-12-09 2017-01-26 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
WO2011083573A1 (ja) 2010-01-07 2011-07-14 株式会社 東芝 動画像符号化装置及び動画像復号化装置
KR101503269B1 (ko) 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
CN105472386B (zh) 2010-04-09 2018-09-18 Lg电子株式会社 处理视频数据的方法和装置
US20110249743A1 (en) 2010-04-09 2011-10-13 Jie Zhao Super-block for high performance video coding
EP2947878B1 (en) 2010-04-23 2017-02-15 M&K Holdings Inc. Apparatus for encoding an image
US8344917B2 (en) * 2010-09-30 2013-01-01 Sharp Laboratories Of America, Inc. Methods and systems for context initialization in video coding and decoding
US8494290B2 (en) * 2011-05-05 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Method for coding pictures using hierarchical transform units

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1476253A (zh) * 2003-07-04 2004-02-18 清华大学 一种基于预测块组的采用帧内预测的帧内编码帧编码方法
WO2010039822A2 (en) * 2008-10-03 2010-04-08 Qualcomm Incorporated VIDEO CODING USING TRANSFORMS BIGGER THAN 4x4 AND 8x8
US20110038412A1 (en) * 2009-08-14 2011-02-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding video in consideration of scanning order of coding units having hierarchical structure, and method and apparatus for decoding video in consideration of scanning order of coding units having hierarchical structure
WO2011049119A1 (ja) * 2009-10-20 2011-04-28 シャープ株式会社 動画像符号化装置、動画像復号装置、動画像符号化・復号システム、動画像符号化方法および動画像復号方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHOU-LING CHANG等: "Direction-Adaptive Partitioned Block Transform for Color Image Coding", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
MATHIAS WIEN: "《Dissertation der Rheinisch-Westfaelischen Technischen Hochschule Aachen》", 17 November 2004 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111885380B (zh) * 2015-03-23 2024-04-12 Lg电子株式会社 在内预测模式的基础上处理图像的方法及其装置
CN111885380A (zh) * 2015-03-23 2020-11-03 Lg 电子株式会社 在内预测模式的基础上处理图像的方法及其装置
CN108702508A (zh) * 2016-02-12 2018-10-23 汤姆逊许可公司 用于帧内预测编码/解码包括画面数据的编码单元的方法和设备，所述帧内预测编码取决于预测树和变换树
CN108702508B (zh) * 2016-02-12 2023-04-11 交互数字Vc控股公司 用于帧内预测编码/解码的方法和设备
CN113810699A (zh) * 2016-04-29 2021-12-17 世宗大学校产学协力团 用于对图像信号进行编码和解码的方法和装置
CN110572649A (zh) * 2016-04-29 2019-12-13 世宗大学校产学协力团 用于对图像信号进行编码和解码的方法和装置
CN110572649B (zh) * 2016-04-29 2023-04-07 世宗大学校产学协力团 用于对图像信号进行编码和解码的方法和装置
CN113810711A (zh) * 2016-04-29 2021-12-17 世宗大学校产学协力团 用于对图像信号进行编码和解码的方法和装置
CN109792519A (zh) * 2016-08-08 2019-05-21 Lg电子株式会社 基于帧内预测模式的图像处理方法及其装置
US11889067B2 (en) 2016-08-08 2024-01-30 Lg Electronics Inc. Intra-prediction mode-based image processing method and device therefor
US10652550B2 (en) 2017-12-22 2020-05-12 Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Ltd. Compensation table compressing method
CN108172168A (zh) * 2017-12-22 2018-06-15 深圳市华星光电半导体显示技术有限公司 一种补偿表压缩方法
CN108172168B (zh) * 2017-12-22 2019-11-15 深圳市华星光电半导体显示技术有限公司 一种补偿表压缩方法
CN112042190A (zh) * 2018-04-24 2020-12-04 三星电子株式会社 视频编码方法和装置以及视频解码方法和装置
US11870981B2 (en) 2018-04-24 2024-01-09 Samsung Electronics Co., Ltd. Video encoding method and device and video decoding method and device
CN112042190B (zh) * 2018-04-24 2024-01-23 三星电子株式会社 视频编码方法和装置以及视频解码方法和装置
CN112534812B (zh) * 2018-06-01 2022-11-08 腾讯美国有限责任公司 用于视频解码的方法和相关装置
CN112534812A (zh) * 2018-06-01 2021-03-19 腾讯美国有限责任公司 用于视频编码的方法和装置
US11722661B2 (en) 2018-06-01 2023-08-08 Tencent America LLC Method and apparatus for video coding
WO2023274360A1 (en) * 2021-06-30 2023-01-05 Beijing Bytedance Network Technology Co., Ltd. Utilization of recursive prediction unit in video coding

Also Published As

Publication number Publication date
US9787982B2 (en) 2017-10-10
JP2014530537A (ja) 2014-11-17
CN103797801B (zh) 2017-10-17
KR20140049098A (ko) 2014-04-24
EP2756676A2 (en) 2014-07-23
EP2756676B1 (en) 2022-10-19
JP6022579B2 (ja) 2016-11-09
WO2013039908A2 (en) 2013-03-21
JP2016201808A (ja) 2016-12-01
WO2013039908A3 (en) 2013-05-10
KR101671080B1 (ko) 2016-10-31
US20130136175A1 (en) 2013-05-30

Similar Documents

Publication Publication Date Title
CN103797801A (zh) 视频译码中的非正方形变换单元和预测单元
CN103931182B (zh) 帧内预测视频译码中的非正方形变换
CN103891279A (zh) 用于帧内预测译码的最大概率变换
CN103891293A (zh) 用于色度分量的自适应环路滤波
CN103959775A (zh) 帧内模式视频译码
CN103609118A (zh) 用于视频译码的并行化友好合并候选者
CN103947207A (zh) 用于图片分割方案的统一设计
CN103339935A (zh) 运动向量预测
CN104221374A (zh) 在视频译码中分群经旁路译码语法元素
CN103238323A (zh) 在视频译码中基于视频块的扫描次序对块内的最后有效系数的位置进行译码
CN104247420A (zh) 转换系数译码
CN103444178A (zh) 用于视频译码的变换系数的译码
CN103703781A (zh) 使用自适应运动向量分辨率的视频译码
CN103843347A (zh) 用于视频译码的运动向量预测值候选剪裁移除
CN103181169A (zh) 使用联合上下文模型对系数进行熵译码
CN104221380A (zh) 用于并行运动估计的共同空间候选块
CN103597832A (zh) 用于使用相邻模式的视频译码的增强的帧内预测模式信令
CN103329525A (zh) 用于视频译码的组合参考图片列表建构
CN103609123A (zh) 统一合并模式和自适应运动向量预测模式候选者选择
CN103299620A (zh) 在视频译码中使用最可能扫描次序对用于视频块的扫描次序信息进行有效译码
CN103141100A (zh) 用于视频译码的帧内平滑滤波器
CN103975596A (zh) 用于视频译码的瓦片的分组
CN103563378A (zh) 存储器高效的上下文建模
CN103797799A (zh) 用于视频译码的运动向量确定
CN104025457A (zh) 用于最后有效系数位置译码的上下文最优化

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171017

Termination date: 20210911