CN102204251B - 使用大于4x4和8x8的变换的视频译码 - Google Patents

使用大于4x4和8x8的变换的视频译码 Download PDF

Info

Publication number
CN102204251B
CN102204251B CN200980139698.2A CN200980139698A CN102204251B CN 102204251 B CN102204251 B CN 102204251B CN 200980139698 A CN200980139698 A CN 200980139698A CN 102204251 B CN102204251 B CN 102204251B
Authority
CN
China
Prior art keywords
block
transform
syntactic element
video
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980139698.2A
Other languages
English (en)
Other versions
CN102204251A (zh
Inventor
叶琰
陈培松
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Priority claimed from PCT/US2009/059014 external-priority patent/WO2010039822A2/en
Publication of CN102204251A publication Critical patent/CN102204251A/zh
Application granted granted Critical
Publication of CN102204251B publication Critical patent/CN102204251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

在视频处理系统中，提供一种用于应用大于8×8的变换和非矩形变换且产生用于视频解码的指示所述变换的变换大小语法元素的方法和系统。可由编码器基于视频块的预测块大小和所述视频块的内容来产生所述变换大小语法元素。另外，可根据用以在编码过程期间从4×4、8×8和更大变换大小进行选择的一组规则来产生所述变换大小语法元素。解码器可基于所述变换大小语法元素和由所述编码器使用的所述规则来执行逆变换。可将所述变换大小语法元素作为经编码视频位流的一部分发射到所述解码器。

Description

使用大于4x4和8x8的变换的视频译码
优先权主张
本申请案主张2008年10月3日申请的第61/102,783号美国临时申请案以及2009年5月18日申请的第61/179,228号美国临时申请案的权益，每一临时申请案的全部内容以引用的方式并入本文中。
技术领域
本发明涉及使用大于8×8的变换大小来对视频数据进行编码和解码。
背景技术
可将数字视频能力并入到大范围的装置内，包括数字电视、数字直播系统、例如无线电电话手持机等无线通信装置、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、视频游戏装置、视频游戏控制台等。数字视频装置实施例如MPEG-2、MPEG-4或H.264/MPEG-4第10部分高级视频译码(AVC)等视频压缩技术，以更高效地发射且接收数字视频。视频压缩技术执行空间和时间预测以减少或移除视频序列中固有的冗余。
视频压缩通常包括空间预测和/或时间预测。特定来说，帧内编码(intra-coding)依靠空间预测来减少或移除给定经译码单元内的视频块之间的空间冗余，所述给定经编码单元可包含视频帧、视频帧的片段等。相比之下，帧间编码(inter-coding)依靠时间预测来减少或移除视频序列的连续的经译码单元的视频块之间的时间冗余。针对帧内编码，视频编码器基于同一经译码单元内的其它数据来执行空间预测以压缩数据。针对帧间编码，视频编码器执行运动估计和运动补偿以追踪两个或两个以上相邻的经译码单元的匹配视频块的移动。
在空间或时间预测后，通过从正被译码的原始视频块减去在预测过程期间产生的预测视频块而产生残余块。所述残余块因此指示预测块与正被译码的当前块之间的差。视频编码器可应用变换、量化和熵译码过程来进一步减小与残余块的通信相关联的位速率。变换技术可将一组像素值变成变换系数，所述变换系数在频域中表示像素值的能量。将量化应用于变换系数，且量化一般涉及限制与任一给定系数相关联的位的数目的过程。在熵编码前，视频编码器将量化系数块扫描成一维系数向量。视频编码器对量化变换系数的所述向量进行熵编码以进一步压缩残余数据。
视频解码器可执行熵解码操作以检索所述系数。还可在解码器处执行逆扫描以从接收到的一维系数向量形成二维块。视频解码器接着将所述系数进行逆量化和逆变换以获得重构的残余块。视频解码器接着基于包括运动信息的预测信息来解码预测视频块。视频解码器接着将预测视频块添加到对应的重构的残余块以便产生重构的视频块且产生经解码的视频信息序列。
发明内容
本申请案的系统、方法和装置各自具有若干方面，所述方面中无单一方面单独负责其合意属性。在不限制由所附权利要求书表达的本申请案的范围的情况下，现将简要论述其较突出的特征。在考虑此论述后，且尤其在阅读标题为“具体实施方式”的章节后，将理解本申请案的范例特征可如何提供一些改进，其中(尤其)包括(例如)改进的视频译码效率。
在一个实施例中，存在一种编码视频数据的方法，所述方法包含：基于预测模式将空间预测或运动补偿应用于视频帧内的原始视频块以产生预测视频块；从所述视频帧内的所述原始视频块减去所述预测视频块以形成残余块；选择具有第一变换大小的变换以应用于所述残余块；产生指示所述选定变换的标头数据，所述标头数据包含具有指示至少一个变换大小的第一值的第一语法元素和指示所述预测视频块的预测块大小的第二语法元素，其中所述第一语法元素与所述第二语法元素共同指示所述第一变换大小；将所述选定变换应用于所述残余块以产生残余变换系数；以及基于所述标头数据和所述残余变换系数来产生视频信号。
在另一实施例中，存在一种解码视频数据的方法，所述方法包含：接收指示视频帧内的至少一个块的视频信号，所述视频信号包含用于所述至少一个块的标头数据和用于所述至少一个块的残余变换系数，所述标头数据包含具有指示至少一个变换大小的第一值的第一语法元素和指示所述至少一个块的预测块大小的第二语法元素，其中所述第一语法元素与所述第二语法元素共同指示具有用以编码所述至少一个块的第一变换大小的变换；将空间预测或运动补偿应用于所述至少一个块以产生所述至少一个块的所述预测块大小的预测视频块；基于所述第一语法元素和所述第二语法元素来确定用以编码所述至少一个块的所述第一变换大小；对所述残余变换系数应用所述所确定的第一变换大小的逆变换以获得经解码的残余块；以及将所述经解码的残余块添加到所述预测视频块以获得经解码的视频块。
在另一实施例中，存在一种用于编码视频数据的设备，所述设备包含：用于基于预测模式将空间预测或运动补偿应用于视频帧内的原始视频块以产生预测视频块的装置；用于从所述视频帧内的所述原始视频块减去所述预测视频块以形成残余块的装置；用于选择具有第一变换大小的变换以应用于所述残余块的装置；用于产生指示所述选定变换的标头数据的装置，所述标头数据包含具有指示至少一个变换大小的第一值的第一语法元素和指示所述预测视频块的预测块大小的第二语法元素，其中所述第一语法元素与所述第二语法元素共同指示所述第一变换大小；用于将所述选定变换应用于所述残余块以产生残余变换系数的装置；以及用于基于所述标头数据和所述残余变换系数来产生视频信号的装置。
在另一实施例中，存在一种用于解码视频数据的设备，所述设备包含：用于接收指示视频帧内的至少一个块的视频信号的装置，所述视频信号包含用于所述至少一个块的标头数据和用于所述至少一个块的残余变换系数，所述标头数据包含具有指示至少一个变换大小的第一值的第一语法元素和指示所述至少一个块的预测块大小的第二语法元素，其中所述第一语法元素与所述第二语法元素共同指示具有用以编码所述至少一个块的第一变换大小的变换；用于将空间预测或运动补偿应用于所述至少一个块以产生所述至少一个块的所述预测块大小的预测视频块的装置；用于基于所述第一语法元素和所述第二语法元素来确定用以编码所述至少一个块的所述第一变换大小的装置；用于对所述残余变换系数应用所述所确定的第一变换大小的逆变换以获得经解码的残余块的装置；以及用于将所述经解码的残余块添加到所述预测视频块以获得经解码的视频块的装置。
在另一实施例中，存在一种编码视频数据的系统，所述系统包含：预测单元，其经配置以基于预测模式将空间预测或运动补偿应用于视频帧内的原始视频块以产生预测视频块；求和器，其经配置以从所述视频帧内的所述原始视频块减去所述预测视频块以形成残余块；处理器，其经配置以选择具有第一变换大小的变换以应用于所述残余块且产生指示所述选定变换的标头数据，所述标头数据包含具有指示至少一个变换大小的第一值的第一语法元素和指示所述预测视频块的预测块大小的第二语法元素，其中所述第一语法元素与所述第二语法元素共同指示所述第一变换大小；块变换单元，其经配置以将所述选定变换应用于所述残余块以产生残余变换系数；以及熵编码单元，其经配置以基于所述标头数据和所述残余变换系数来产生视频信号。
在另一实施例中，存在一种解码视频数据的系统，所述系统包含：接收器，其经配置以接收指示视频帧内的至少一个块的视频信号，所述视频信号包含用于所述至少一个块的标头数据和用于所述至少一个块的残余变换系数，所述标头数据包含具有指示至少一个变换大小的第一值的第一语法元素和指示所述至少一个块的预测块大小的第二语法元素，其中所述第一语法元素与所述第二语法元素共同指示具有用以编码所述至少一个块的第一变换大小的变换；预测单元，其经配置以将空间预测或运动补偿应用于所述至少一个块以产生所述至少一个块的所述预测块大小的预测视频块；处理器，其经配置以基于所述第一语法元素和所述第二语法元素来确定用以编码所述至少一个块的所述第一变换大小；逆变换单元，其经配置以对所述残余变换系数应用所述所确定的第一变换大小的逆变换以获得经解码的残余块；以及求和器，其经配置以将所述经解码残余块添加到所述预测视频块以获得经解码的视频块。
附图说明
图1为说明用于视频信号的编码和解码的源装置和目的装置的框图。
图2为图1的视频编码器的一实施例的框图。
图3为设定用于将图1的编码器所使用的变换的类型信令到图1的解码器的旗标值的过程的一实施例的流程图。
图4为设定用于将图1的编码器所使用的变换的类型信令到图1的解码器的旗标值的过程的另一实施例的流程图。
图5为选择正确的逆变换以用于解码根据图3的过程编码的视频数据的过程的一实施例的流程图。
图6为选择正确的逆变换以用于解码根据图4的过程编码的视频数据的过程的另一实施例的流程图。
图7为图1的视频解码器的一实施例的框图。
具体实施方式
以下详细描述针对某些具体实施例。然而，可以大量不同方式来应用本文中的教示。在此描述中，对图式进行参考，其中始终用相似数字表示相似部分。
一个实施例针对用于视频编码和解码的变换大小语法元素。通过在图像和视频信号的编码和解码过程中实施一组简化的变换选择规则和指导方针，有可能创建低位速率语法。如所描述，变换大小语法是在编码器处指示特定变换大小的方式以及在解码器处解译所述变换大小的方式。变换大小语法元素可用以指示将使用的变换大小且可包括包含若干位的旗标值。注意，以下详细描述可通常互换地使用术语“视频”、“图像”与“图片”。因此，本发明的各个方面的范围不应受术语之间的差异的概念限制。
图1为说明执行如本发明中所描述的译码技术的视频编码和解码系统10的框图。如图1中所示，系统10包括经由通信信道16将经编码视频数据发射到目的装置14的源装置12。源装置12可包括视频源18、视频编码器20和发射器22。源装置12的视频源18可包括视频俘获装置(例如，视频摄影机)、含有先前俘获的视频的视频档案，或来自视频内容提供者的视频馈入。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或实况视频与计算机产生的视频的组合。在一些情况下，源装置12可为无线电话或视频电话，在此情况下，视频源18可为电话上的视频摄影机。在每一情况下，所俘获、预先俘获或计算机产生的视频可由视频编码器20编码以经由发射器22和通信信道16从源装置12发射到目的装置14。
视频编码器20从视频源18接收视频数据。从视频源18接收的视频数据可为一系列视频帧。视频编码器20将所述系列的帧分为译码单元且处理所述译码单元以编码所述系列的视频帧。举例来说，译码单元可为整个帧或帧的部分(即，片段)。因此，在一些情况下，可将帧分为片段。视频编码器20将每一译码单元分为像素块(本文中被称作视频块或块)且对个别译码单元内的视频块进行操作以便编码视频数据。因而，译码单元(例如，帧或片段)可含有多个视频块。换句话说，视频序列可包括多个帧，一帧可包括多个片段，且一片段可包括多个视频块。
视频块可具有固定或变化的大小，且大小可根据规定的译码标准而不同。作为一实例，国际电信联盟标准化部门(ITU-T)H.264/MPEG-4第10部分高级视频译码(AVC)(在下文中为“H.264/MPEG-4第10部分AVC”标准)支持以各种块大小(例如，针对亮度分量的16×16、8×8或4×4像素，和针对色度分量的8×8像素)进行的帧内预测。可以各种块大小(例如，针对亮度分量的16×16、16×8、8×16、8×8、8×4、4×8和4×4像素，和针对色度分量的对应按比例缩放的大小)来执行帧间预测。在H.264中，举例来说，可将16乘16像素的每一视频块(常被称作宏块(MB))再分为更小大小的子块且在子块中加以帧内或帧间预测。一般来说，可认为MB和各种子块为视频块。因此，可认为MB为视频块，且如果被分割或再分割，那么可认为MB自身定义视频块的集合。
针对视频块中的每一者，视频编码器20为所述块选择块类型。块类型可指示是使用帧间预测还是帧内预测来预测所述块，且指示所述块的预测块大小。举例来说，H.264/MPEG-4第10部分AVC标准支持若干帧间和帧内预测块类型，包括帧间16×16、帧间16×8、帧间8×16、帧间8×8、帧间8×4、帧间4×8、帧间4×4、帧内16×16、帧内8×8和帧内4×4。如以下详细地描述，视频编码器20可针对待编码的视频块中的每一者选择所述块类型中的一者。
视频编码器20还为所述视频块中的每一者选择预测模式。在经帧内编码的视频块的情况下，预测模式可确定使用一个或一个以上先前编码的视频块来预测当前视频块的方式。在H.264/MPEG-4第10部分AVC标准中，举例来说，视频编码器20可为每一帧内4×4块选择以下九个可能的单向预测模式中的一者：垂直预测模式、水平预测模式、DC预测模式、对角向下-向左预测模式、对角向下-向右预测模式、垂直-向右预测模式、水平-向下预测模式、垂直-向左预测模式和水平-向上预测模式。可使用类似的预测模式来预测每一帧内8×8块。针对帧内16×16块，视频编码器20可选择以下四个可能的单向模式中的一者：垂直预测模式、水平预测模式、DC预测模式和平面预测模式。在一些情况下，视频编码器20可从一组预测模式选择预测模式，所述组预测模式不仅包括单向预测模式，而且还包括定义所述单向模式的组合的一个或一个以上多向预测模式。举例来说，所述一个或一个以上多向预测模式可为组合两个单向预测模式的双向预测模式。
在选择用于视频块的预测模式后，视频编码器20使用选定的预测模式产生预测视频块。从原始视频块减去预测视频块以形成残余块。残余块包括一组像素差值，所述组像素差值量化原始视频块的像素值与所产生的预测块的像素值之间的差。可以二维块格式(例如，像素差值的二维矩阵或阵列)来表示残余块。
在产生残余块后，视频编码器20可在编码所述块前对残余块执行若干其它操作。视频编码器20可将变换(例如，整数变换、DCT变换、定向变换或小波变换)应用于像素值的残余块以产生变换系数的块。变换系数可为残余块的频域表示。因此，视频编码器20将残余像素值转换为变换系数(也称作残余变换系数)。残余变换系数可被称作变换块或系数块。当应用不可分离式变换时，残余变换系数可为系数的一维表示，或者当应用可分离式变换时，残余变换系数可为系数的二维表示。不可分离式变换可包括不可分离式定向变换。可分离式变换可包括可分离式定向变换、DCT变换、整数变换和小波变换。
在变换后，视频编码器20执行量化以产生量化变换系数(也称作量化系数或量化残余系数)。再次，可以一维向量格式或二维块格式来表示量化系数。量化通常指代系数经量化而有可能减少用来表示所述系数的数据量的过程。量化过程可减小与所述系数中的一些或全部相关联的位深度。如本文中所使用，术语“系数”可表示变换系数、量化系数或其它类型的系数。在一些情况下，可将本发明的技术应用于残余像素值、量化残余像素值，以及变换系数和量化变换系数。
当使用可分离式变换且以二维块格式来表示系数块时，视频编码器20将系数从二维格式扫描到一维格式。换句话说，视频编码器20可扫描来自二维块的系数以将所述系数串行化为一维系数向量。根据本发明的方面中的一者，视频编码器20可基于所收集的统计量来调整用以将系数块转换为一维的扫描次序。统计量可包含对二维块的每一位置中的给定系数值为零还是非零的可能性的指示，且可(例如)包含与二维块的系数位置中的每一者相关联的计数、机率或其它统计度量。在一些情况下，可仅针对块的系数位置的子集来收集统计量。当评估扫描次序时(例如，在特定数目个块之后)，可改变扫描次序，使得在块内的经确定为具有非零系数的机率较低的系数位置之前扫描块内的经确定为具有非零系数的机率较高的系数位置。以此方式，初始扫描次序可适于更高效地使非零系数聚集在一维系数向量的开始处且使零值系数聚集在一维系数向量的结束处。因为在一维系数向量的开始处在非零系数之间存在较短的零连串(run of zeros)且在一维系数向量的结束处存在一个较长的零连串，所以此又可减少在熵译码上花费的位的数目。
在扫描所述系数后，视频编码器20使用多种熵译码方法(例如，上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、运行长度译码等)中的任一者来编码所述译码单元的视频块中的每一者。源装置12经由发射器22和信道16将经编码视频数据发射到目的装置14。通信信道16可包含任何无线或有线通信媒体(例如，射频(RF)频谱或者一个或一个以上物理发射线)或无线媒体与有线媒体的任何组合。通信信道16可形成基于包的网络(例如，局域网、广域网或全球网络(例如，因特网))的一部分。通信信道16通常表示用于将经编码视频数据从源装置12发射到目的装置14的任何适合的通信媒体或不同通信媒体的集合。
目的装置14可包括接收器24、视频解码器26和显示装置28。接收器24(其为一个接收视频信号的装置)经由信道16从源装置12接收经编码的视频位流。视频解码器26应用熵解码以解码经编码的视频位流以获得经译码单元的经译码视频块的标头信息、运动向量和量化残余系数。如上所述，由源装置12编码的量化残余系数被编码为一维向量。视频解码器26因此扫描经译码视频块的量化残余系数以将一维系数向量转换为量化残余系数的二维块。与视频编码器20一样，视频解码器26可收集指示视频块中的给定系数位置为零还是非零的可能性的统计量，且借此以与编码过程中所使用的方式相同的方式来调整扫描次序。因此，可由视频解码器26应用相反的自适应扫描次序，以便将串行化的量化变换系数的一维向量表示转换回到量化变换系数的二维块。
视频解码器26使用经解码的标头信息和经解码的残余信息来重构经译码单元的块中的每一者。特定来说，视频解码器26可使用作为标头信息的一部分而包括的预测和运动信息来产生用于当前视频块的预测视频块，且组合所述预测块与对应的残余视频块以重构所述视频块中的每一者。目的装置14可经由显示装置28向用户显示所述重构的视频块。显示装置28可包含多种显示装置中的任一者，例如，阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、发光二极管(LED)显示器、有机LED显示器或另一类型的显示单元。
在一些情况下，源装置12和目的装置14可以大体上对称的方式操作。举例来说，源装置12和目的装置14可各自包括视频编码和解码组件。因此，系统10可支持装置12、14之间的单向或双向视频发射(例如)以用于视频串流、视频广播或视频电话。包括视频编码和解码组件的装置还可形成普通的编码、归档和重放装置(例如，数字视频记录器(DVR))的一部分。
视频编码器20和视频解码器26可根据多种视频压缩标准中的任一者而操作，视频压缩标准例如：由动画专家组(MPEG)在MPEG-1、MPEG-2和MPEG-4中定义的标准；ITU-TH.263标准；H.264/MPEG4第10部分AVC标准；电影与电视工程师协会(SMPTE)421M视频CODEC标准(通常被称作“VC-1”)；由中国音频视频译码标准工作组定义的标准(通常被称作“AVS”)；以及由标准团体定义的或由一组织作为专属标准所开发的任何其它视频译码标准。尽管在图1中未图示，但在一些方面中，视频编码器20和视频解码器26各自可分别与音频编码器和解码器集成，且可包括适当的MUX-DEMUX单元或其它硬件和软件以处置共同数据流或单独的数据流中的音频和视频两者的编码。以此方式，源装置12和目的装置14可对多媒体数据进行操作。适用时，MUX-DEMUX单元可遵照ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。
在一些方面中，针对视频广播，本发明中所描述的技术可应用于增强型H.264视频译码，以用于在陆地移动多媒体多播(TM3)系统中使用仅前向链路(FLO)空中接口规范“陆地移动多媒体多播的仅前向链路空中接口规范(Forward Link Only Air InterfaceSpecification for Terrestrial Mobile Multimedia Multicast)”来传递实时视频服务，所述规范作为技术标准TIA-1099(“FLO规范”)在2007年7月公布。也就是说，通信信道16可包含用以根据FLO规范或类似者来广播无线视频信息的无线信息信道。FLO规范包括定义位流语法和语义的实例和适合于FLO空中接口的解码过程。
或者，可根据例如DVB-H(手持式数字视频广播)、ISDB-T(陆地集成服务数字广播)或DMB(数字媒体广播)等其它标准来广播视频。因此，源装置12可为移动无线终端、视频串流服务器或视频广播服务器。然而，本发明中所描述的技术不限于任何特定类型的广播、多播或点对点系统。在广播的情况下，源装置12可向多个目的装置广播视频数据的若干信道，所述目的装置中的每一者可类似于图1的目的装置14。因此，虽然图1中针对视频广播应用展示了单一目的装置14，但源装置12将通常向许多目的装置同时广播视频内容。
在其它实例中，发射器22、通信信道16和接收器24可经配置以用于根据任何有线或无线通信系统进行通信，有线或无线通信系统包括以太网、电话(例如，POTS)、电缆、电力线以及光纤系统和/或无线系统中的一者或一者以上，所述无线系统包含下列中的一者或一者以上：码分多址(CDMA或CDMA2000)通信系统、频分多址(FDMA)系统、正交频分多址(OFDM)系统、时分多址(TDMA)系统(例如，GSM(全球移动通信系统)、GPRS(通用包无线电服务)或EDGE(增强型数据GSM环境))、TETRA(陆地集群无线电)移动电话系统、宽带码分多址(WCDMA)系统、高数据速率1xEV-DO(第一代仅演进数据)或1xEV-DO Gold Multicast系统、IEEE 802.18系统、MediaFLO.TM.系统、DMB系统、DVB-H系统或用于两个或两个以上装置之间的数据通信的另一方案。
视频编码器20和视频解码器26各自可实施为一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。视频编码器20和视频解码器26中的每一者可包括于一个或一个以上编码器或解码器中，其中任一者可集成为相应移动装置、订户装置、广播装置、服务器等中的组合式编码器/解码器(CODEC)的一部分。此外，源装置12和目的装置14各自可包括在适用时用于对经编码视频的发射和接收的适当的调制、解调、频率转换、滤波和放大器组件，所述组件包括射频(RF)无线组件和足以支持无线通信的天线。然而，为了易于说明，在图1中将此类组件概述为源装置12的发射器22和目的装置14的接收器24。
图2为说明视频编码器20的一实例的框图。视频解码器26可包括与视频编码器20类似的组件。视频编码器20可执行视频帧内的块的帧内和帧间编码。帧内编码依靠空间预测来减少或移除给定视频帧内的视频中的空间冗余。帧间编码依靠时间预测来减少或移除相邻帧内的视频中的时间冗余。针对帧间编码，视频编码器20执行运动估计以追踪两个或两个以上相邻帧之间的匹配视频块的移动。
如图2中所示，视频编码器20接收待编码的视频帧内的当前视频块21。在图2的实例中，视频编码器20包括运动预测单元23、参考帧存储装置25、块变换单元29、量化单元31、逆量化单元33、逆变换单元35、熵译码单元37、模式决策单元43、空间预测单元47和解块滤波器49。视频编码器20还包括求和器39、求和器41和开关51。视频编码器20还可包括用于扫描量化系数的扫描单元(未图示)。图2说明视频编码器20的用于视频块的帧间编码的时间预测组件和用于视频块的帧内编码的空间预测组件。开关51可受模式决策单元43控制且可用以在空间预测视频块或时间预测视频块之间作出选择以作为用于输入视频块的预测视频块。
为了评估帧间编码，运动预测单元23比较视频块21与一个或一个以上相邻视频帧中的块以产生一个或一个以上运动向量。可从参考帧存储装置25检索所述相邻帧。可对具有可变大小(例如，16×16、16×8、8×16、8×8或更小块大小)的块执行运动估计。运动预测单元23(例如，基于速率失真模型)识别相邻帧中的最紧密匹配于当前视频块21的块，且确定所述块之间的位移。基于此操作，运动预测单元23产生指示所述位移的量值和轨迹的运动向量。
运动向量可具有二分之一或四分之一像素精度，或者甚至更精细的精度，从而允许视频编码器20以比整数像素位置高的精度来追踪运动且获得更好的预测块。当使用具有分数像素值的运动向量时，可在运动预测单元23中进行内插操作。举例来说，在AVC/H.264标准中，为了获得在二分之一像素位置处的亮度信号，可使用具有系数(1，-5，20，20，-5，1)/32的6分接头式维纳(Wiener)滤波器。为了获得在四分之一像素位置处的亮度信号，可使用对在整数像素位置处的值和在二分之一像素位置处的内插值的双线性滤波。在针对色度分量的分数像素内插中也可使用双线性滤波器，其可具有高达1/8像素精度。在使用速率失真模型来识别视频块的最佳运动向量后，运动预测单元23通过运动补偿来输出预测视频块。
在替代方案中，为了评估帧内编码，使用空间预测单元47以使用同一译码单元(例如，同一帧)中的已译码的块来形成预测视频块。举例来说，可比较视频块21与在与视频块21相同的帧中的其它已译码的块。在一些实施例中，可从参考帧存储装置25检索已译码的块。在一些实施例中，可使用各种空间预测方法。举例来说，在H.264/MPEG-4AVC中，可对大小为4×4、8×8和/或16×16的视频块执行定向空间预测。另外，可将总共9个预测方向用于4×4和8×8亮度块。可将总共4个预测方向用于16×16亮度块和色度块。可在同一译码单元内执行其它类型的空间预测。举例来说，可使用与运动估计类似的过程在当前译码单元的已译码的部分中识别当前视频块的匹配视频块。另外，可确定匹配视频块与当前视频块之间的位移量且接着作为当前视频块的经译码视频标头数据的一部分加以信令。模式决策单元43可基于预定义的准则(例如，拉格朗日(Lagrangian)速率失真模型)选择最佳空间预测模式(例如，预测块大小、预测方向或预测视频块的位移等)。
视频编码器20通过在求和器39(其为一种用于从原始块减去预测块的装置)处从原始当前视频块21减去由运动预测单元23或空间预测单元47产生的预测视频块而形成残余视频块。块变换单元29(其为一种用于应用变换的装置)将变换应用于残余块。可由模式决策单元43对块变换单元29指示将使用的变换的大小和类型。量化单元31量化变换系数以进一步减小位速率。熵译码单元37(其为一种用于产生视频信号的装置)对量化系数进行熵译码以更进一步减小位速率。视频解码器26执行逆操作以重构经编码视频。
逆量化单元33和逆变换单元35分别应用逆量化和逆变换以重构所述残余块。求和器41将重构的残余块添加到预测块以产生重构的视频块以用于存储于参考帧存储装置25中。由运动预测单元23或空间预测单元47使用所述重构的视频块来编码在当前视频帧或后续视频帧中的后续视频块。
在对当前视频帧21中的给定块执行运动补偿时，运动预测单元23可使用一组固定的滤波器对来自参考帧的参考块进行内插。如果当前块经单向预测，那么需要一个参考块，或如果当前块经双向预测，那么需要两个参考块。在H.264中，在一些情况下可使用在正向和反向方向中的多个参考帧。在运动预测单元23中使用的实际滤波器视运动向量的分数部分而定。举例来说，如果运动向量在给定维度中指向参考帧中的二分之一像素位置以获得所述二分之一像素位置的值，那么在具有二分之一像素运动向量的所述维度中使用例如(1，-5，20，20，-5，1)/32等6分接头式滤波器。如果两个运动向量分量均指向整数位置，那么可在不执行任何内插滤波操作的情况下直接使用来自参考帧存储装置25中的参考帧的像素值。
图7为说明视频解码器26的一实例的框图。将经编码位流馈入到系统700中。所述位流的部分可对应于不同视频块。另外，那些视频块中的若干视频块可构成单一视频帧。在熵解码单元702处对所述位流的对应于给定视频块的一部分进行熵解码以形成包含量化残余变换系数的残余块。接着可在逆扫描单元(未图示)处逆扫描所述残余块。还可在逆量化单元706处逆量化所述残余块且在逆变换单元708处逆变换所述残余块以形成经解码的残余块。熵解码单元702可基于接收到的标头数据来确定要执行的逆变换的类型和/或大小(如下文所论述)。产生预测视频块且在添加单元710处将其添加到经解码的残余块。
可使用两种类型的预测方法(帧内和帧间)中的一者来形成所述预测视频块。空间预测单元716使用在同一视频帧中(或如果使用视频片段作为译码单元，那么在同一视频片段中)的已译码的块以产生帧内预测块。运动补偿单元718使用存储于参考帧存储装置720处的先前和/或未来帧以产生帧间预测块。视指示用以编码所述视频块的译码模式的接收到的标头数据而定，可切换开关722以调用空间预测单元716或运动补偿单元718来产生帧内或帧间预测块。接着在添加单元710处将预测块添加到经解码的残余块以产生经解码的视频块。
接着将所得重构的视频块发送到解块滤波单元712，在解块滤波单元712处，可在块边缘处对其进行滤波以防止可能在视觉上无吸引力的块假影(blocking artifact)。产生的输出为最终的经解码的视频块。可将最终的经解码的视频块存储于参考帧存储装置720中以用于在相同的或其它的视频帧中的其它视频块的重构。
为了适当地解码经编码视频流，解码器应知晓已使用哪种类型的变换来编码视频数据。解码器可接着应用对应于在编码器处使用的正变换的适当的逆变换。因此，需要将指示用以编码视频块的变换的类型的数据作为视频位流的一部分发送到解码器来适当地解码所述视频块。
如关于图2所描述，块变换单元29将变换应用于残余视频块。对残余块应用变换提供了所要的能量集中，其在与量化和熵译码组合时实现高压缩效率。在流行的基于块的视频译码系统(例如MPEG2和H.264/AVC)中使用的变换的实例包括8×8DCT变换以及4×4和8×8整数变换。
H.264/AVC标准为提供高译码效率的最新视频译码标准。H.264/AVC使用各种类型的块变换。针对经帧内(空间预测)和帧间(时间预测)预测的块，H.264/AVC使用基于4×4DCT变换的4×4整数变换或基于8×8DCT变换的8×8整数变换。
针对视频信号的色度信号，对每一块中的2×2DC分量应用额外层次的2×2哈达马德(Hadamard)变换。
针对视频信号的亮度信号，如下选择变换。首先确定块是经帧内预测还是经帧间预测。如果块经帧间预测，那么接下来确定块大小是否小于8×8。如果块小于8×8，那么使用4×4整数变换。如果块不小于8×8，那么使用4×4或8×8整数变换。
如果块经帧内预测，那么确定所述块是否使用INTRA_16×16模式加以预测。如果所述块使用INTRA_16×16模式加以预测，那么将4×4整数变换应用于所述块且对每一块中的4×4DC分量应用额外层次的4×4哈达马德变换。如果所述块并非使用INTRA_16×16模式加以预测，那么在所述块使用INTRA_4×4模式加以预测的情况下使用4×4整数变换，且在所述块使用INTRA_8×8模式加以预测的情况下使用8×8整数变换。
在可对块使用4×4或8×8变换的情况下，变换的选择视正在使用的H.264/AVC规范而定。在并非高规范的任何H.264规范(例如，基线规范、扩展的基线规范、主规范)下，仅使用4×4整数变换。在H.264/AVC高规范(即，保真度范围扩展)下，还可对亮度信号使用基于8×8DCT变换的8×8整数变换。通过额外语法元素transform_size_8×8_flag来信令对4×4或8×8整数变换的选择。在可使用4×4或8×8变换(例如，具有不小于8×8的大小的经帧间编码的块)的情况下，将transform_size_8×8_flag与经编码视频数据一起发送到解码器。如果transform_size_8×8_flag经设定为1，那么对残余块应用8×8整数变换；否则(如果transform_size_8×8_flag经设定为0)，对残余块应用4×4整数变换。
在H.264/AVC中，可对例如16×16、16×8、8×16、8×8、8×4、4×8和4×4等各种块大小执行运动预测(即，运动分割)。虽然在对象边缘和具有大量细节的区域周围通常使用较小运动分割，但在较平滑的区域周围通常选择较大运动分割。因此，在运动预测后的残余块也通常较平滑，即，其往往含有较多的低频分量。针对此类信号，应用较大的变换可提供较好的能量集中。用于选择运动分割和变换大小的方法和编码器描述于第5,107,345号美国专利、第6,996,283号美国专利和第6,600,836号美国专利中，所述专利全部在此以引用的方式并入。如上所述，H.264/AVC针对被帧间译码的视频块仅使用4×4和8×8整数变换。4×4和8×8整数变换由transform_size_8×8_flag的值指示，所述值当前限于1位大小。因此，无法指示具有在H.264中使用的当前语法的额外变换大小，因为1位的transform_size_8×g_flag可仅信令两种变换类型。以下描述允许指示由编码器和解码器使用的额外变换大小的语法和语法元素。在一些实施例中，语法元素包含指示变换大小的2位旗标值。可包括所述旗标值作为发送到解码器的标头信息的一部分。
在以下实施例中，可结合所描述的方法而使用经帧间预测的视频块或经帧内预测的视频块。即，可通过运动补偿或空间预测来形成视频块的预测块。在使用运动补偿的实施例中，预测块大小等于运动分割大小；因此，可互换地使用术语“预测块”与“运动分割”。另外，在使用空间预测的实施例中，预测块大小等于所使用的空间预测块的大小。因此，可互换地使用“预测块”与“帧内预测块”或“空间预测块”。举例来说，可针对使用INTRA_16×16和INTRA_8×8预测予以译码的视频块使用多个变换选择。除了4×4变换之外，还可将16×16、16×8、8×16或8×8变换应用于经INTRA_16×16预测的视频块；且将8×8变换应用于经INTRA_8×8预测的视频块。针对经帧内预测的块，可以类似于经帧间预测的视频块的方式进行对变换大小的信令。可将变换大小旗标语法元素与预测块大小语法元素组合；且可使用变换大小旗标语法元素的可变长度译码。
以下描述的语法使用旗标值以及给定块的预测块大小两者来指示变换大小。块的预测块大小与旗标值的组合允许指示比当使用旗标值与变换大小之间的1对1对应关系时多的变换大小。举例来说，在变换大小与旗标值之间的1对1对应关系中，2位旗标将仅指示4个不同变换大小，其中每一旗标值指示单一变换大小。然而，通过进一步利用块的预测块大小，可针对旗标使用相同数目个位而指示额外变换大小。举例来说，如果旗标值00指示变换大小应等于块的预测块大小且预测块大小可具有N个不同块大小，那么单一旗标值00可指示N个不同变换大小。因此，在一个实施例中，旗标值中的一者或一者以上可指示正使用的变换大小等于块的预测块大小。在另一实施例中，可使用可变长度译码来译码旗标值。
图3为在编码器处设定旗标值的过程300的示范性实施例，所述旗标值信令由编码器20针对给定视频块所使用的变换大小。可在模式决策单元43处确定每一视频块的预测块大小，且可在块变换单元29处执行变换(见图2)。可由模式决策单元43进行预测块大小的选择和对块使用的变换大小的选择。在过程300的第一步骤302处，确定给定块的预测块大小是否大于8×8。如果预测块大小不大于8×8，那么过程继续到步骤306。或者，如果预测块大小大于8×8，那么过程继续进行到步骤338。
在步骤306处，确定预测块大小是否小于8×8。如果预测块大小小于8×8，那么过程300继续进行到步骤310，在步骤310中将4×4变换应用于块。过程300接着继续到步骤314，在步骤314中不设定将发送到解码器的旗标值。或者，如果在步骤306处确定预测块大小不小于8×8，那么过程继续进行到步骤318，在步骤318中确定将对块使用的变换大小是否为8×8。如果确定将不使用8×8变换大小，那么过程300继续到步骤322，在步骤322中将4×4变换应用于块，且过程300接着继续到步骤326，在步骤326中设定将发送到解码器的值为0的1位旗标。在替代方案中，在步骤318处确定将使用8×8变换，过程继续到步骤330，在步骤330中将8×8变换应用于块，且过程接着继续到步骤334，在步骤334中设定将发送到解码器的值为1的1位旗标。
如果在步骤302处确定预测块大小大于8×8，那么过程继续进行到步骤338。在步骤338处，在编码器处自动或手动地确定是否将对给定块使用大于8×8的变换大小。如果将不使用大于8×8的变换大小，那么过程300继续到步骤342，在步骤342中确定将对给定块使用的变换大小是否为8×8。如果将使用的变换大小不是8×8，那么过程300继续到步骤346，在步骤346中将4×4变换应用于块，且过程300接着继续到步骤350，在步骤350中设定将发送到解码器的1位旗标值0。在替代方案中，如果将使用的变换大小为8×8，那么过程300继续到步骤354，在步骤354中将8×8变换应用于块，且过程300接着继续到步骤358，在步骤358中设定将发送到解码器的2位旗标值10。
如果在步骤338处确定将使用的变换大小大于8×8，那么过程300继续到步骤362。在步骤362处确定给定块的预测块大小是否为16×16。如果确定预测块大小为16×16，那么过程300继续进行到步骤366，在步骤366中将16×16变换应用于所述块，且过程300接着继续进行到步骤382。或者，如果在步骤362处确定预测块大小不是16×16，那么过程300继续到步骤370，在步骤370中确定预测块大小是否为8×16。如果确定预测块大小为8×16，那么过程300继续到下一步骤374，在步骤374中将8×16变换应用于所述块，且过程300接着继续到步骤382。或者，如果确定预测块大小不是8×16，那么过程300继续到下一步骤374，在步骤374中将16×8变换应用于所述块，且过程300接着继续到步骤382。在步骤382处，设定将发送到解码器的2位旗标值11。
根据过程300，旗标值对应于以下变换类型：
表1
旗标值 预测块大小 变换/逆变换大小
无旗标 4×4、4×8、8×4 4×4
0 8×8 4×4
1 8×8 8×8
0 8×8、8×16、16×8、16×16 4×4
10 8×8、8×16、16×8、16×16 8×8
11 8×16 8×16
11 16×8 16×8
11 16×16 16×16
所属领域的一般技术人员将认识到，可省略过程300的步骤中的一些，或可添加新步骤以实现相同结果。另外，可按不同次序进行所述步骤中的一些。应注意，可重排列旗标值(例如，0为8×8变换且10为4×4变换)。
图4为在编码器处设定旗标值的另一过程400的示范性实施例，所述旗标值信令由编码器20针对给定视频块所使用的变换大小。可在模式决策单元43处确定预测块大小，且可在块变换单元29处执行变换。由模式决策单元43进行预测块大小的选择和对块使用的变换大小的选择。在过程400的第一步骤402处，确定给定块的预测块大小是否大于8×8。如果预测块大小不大于8×8，那么过程继续到步骤406。或者，如果预测块大小大于8×8，那么过程继续进行到步骤438。
在步骤406处，确定预测块大小是否小于8×8。如果预测块大小小于8×8，那么过程400继续进行到步骤410，在步骤410中将4×4变换应用于块。过程400接着继续到步骤414，在步骤414中不设定将发送到解码器的旗标值。或者，如果在步骤406处确定预测块大小不小于8×8，那么过程继续进行到步骤418，在步骤418中确定将对块使用的变换大小是否为8×8。如果确定将不使用8×8变换大小，那么过程400继续到步骤422，在步骤422中将4×4变换应用于块，且过程400接着继续到步骤426，在步骤426中设定将发送到解码器的值为0的1位旗标。在替代方案中，在步骤418处确定将使用8×8变换，过程继续到步骤430，在步骤430中将8×8变换应用于块，且过程接着继续到步骤434，在步骤434中设定将发送到解码器的值为1的1位旗标。
如果在步骤402处确定预测块大小大于8×8，那么过程继续进行到步骤438。在步骤438处确定预测块大小是否为16×16。如果预测块大小为16×16，那么过程400继续进行到步骤442，在步骤442中确定将应用于块的变换大小是否为8×8。如果确定将使用的变换大小为8×8，那么过程400继续进行到步骤446，在步骤446中将8×8变换应用于给定块，且过程400接着继续进行到步骤450，在步骤450中设定将发送到解码器的值为00的两位旗标。或者，如果在步骤442处确定将应用的变换大小不是8×8，那么过程442继续进行到步骤454，在步骤454中确定是否将对所述块应用16×16变换。如果将应用16×16变换，那么过程400继续到步骤458，在步骤458中将16×16变换应用于给定块，且过程400接着继续到步骤462，在步骤462中设定将发送到解码器的值为01的两位旗标。如果改为在步骤454处确定将应用的变换大小不为16×16，那么过程400继续到步骤466，在步骤466中确定将应用于所述给定块的变换大小是否为16×8。如果将应用的变换大小为16×8，那么过程400继续到步骤470，在步骤470中将16×8变换应用于所述给定块，且过程400接着继续到步骤474，在步骤474中设定将发送到解码器的值为10的两位旗标。在替代方案中，如果在步骤466处确定将应用于所述块的变换大小不是16×8，那么过程400继续到步骤478，在步骤478中将8×16变换应用于所述给定块，且过程400接着继续到步骤482，在步骤482中设定将发送到解码器的值为11的两位旗标。
如果在步骤438处确定预测块大小不是16×16，那么过程400继续到步骤484，在步骤484中确定将应用于所述给定块的变换大小是否为8×8。如果将应用的变换为8×8，那么过程400继续到步骤492，在步骤492中将8×8变换应用于所述块，且过程400接着继续到步骤426，在步骤426中设定将发送到解码器的1位旗标值0。在替代方案中，如果在步骤484处确定将应用于所述块的变换大小不是8×8，那么过程继续到步骤486，在步骤486中确定预测块大小是否为16×8。如果预测块大小为16×8，那么过程400继续到步骤488，在步骤488中对块执行16×8变换，且过程400接着继续到步骤434。在替代方案中，如果在步骤486处确定预测块大小不是16×8，那么过程400继续到步骤490，在步骤490中对块执行8×16变换，且过程400接着继续到步骤434。在步骤434处，设定将发送到解码器的值为1的一位旗标。
根据过程400，旗标值对应于以下变换类型：
表2
旗标值 预测块大小 变换/逆变换大小
无旗标 4×4、4×8、8×4 4×4
0 8×8 4×4
0 8×16、16×8 8×8
1 8×8 8×8
1 8×16 8×16
1 16×8 16×8
00 16×16 8×8
01 16×16 16×16
10 16×16 16×8
11 16×16 8×16
所属领域的一般技术人员将认识到，可省略过程400的步骤中的一些，或可添加新步骤以实现相同结果。另外，可按不同次序进行所述步骤中的一些。应注意，可重排列旗标值(例如，00为16×16变换且01为8×8变换)。
图5为用于在解码器26处对由编码器20使用过程300予以编码的块执行逆变换的过程500的示范性实施例。可包括(尤其)熵解码单元、空间预测单元、运动补偿单元、逆量化单元、逆变换单元、熵解码单元和求和器等组件的解码器26为一种执行过程500的步骤的装置。另外，解码器26的各种组件可用以执行过程500的不同步骤。在步骤502处确定预测块大小是否大于8×8。如果预测块大小大于8×8，那么过程继续进行到步骤518，在步骤518中，解码器寻找1位或2位旗标值且基于旗标值和预测块大小来执行逆变换。表1中展示了将使用的逆变换的类型。或者，如果在步骤502处确定预测块大小不大于8×8，那么过程500继续到步骤506，在步骤506中确定预测块大小是否小于8×8。如果预测块大小小于8×8，那么过程500继续进行到下一步骤510，在步骤510中执行4×4逆变换。如果改为在步骤506处确定预测块大小不小于8×8，那么过程继续进行到步骤514，在步骤514中，解码器寻找1位旗标值且基于旗标值来执行逆变换。表1中展示了将使用的逆变换的类型。
图6为用于在解码器26处对由编码器20使用过程400予以编码的块执行逆变换的过程600的示范性实施例。解码器26(其可为处理器)为一种执行过程600的步骤的装置。在步骤602处确定预测块大小是否大于8×8。如果预测块大小大于8×8，那么过程继续进行到步骤618，在步骤618中确定预测块大小是否为16×16。如果预测块大小为16×16，那么过程600继续到步骤622，在步骤622中，解码器寻找2位旗标值且根据旗标值对块执行逆变换。表2中展示了将使用的逆变换的类型。或者，如果在步骤618处确定预测块大小不是16×16，那么过程600继续到步骤626，在步骤626中，解码器寻找1位旗标值且基于1位值和运动分割大小来执行逆变换。表2中展示了将使用的逆变换的类型。
如果在步骤602处确定预测块大小不大于8×8，那么过程600继续到步骤606，在步骤606中确定预测块大小是否小于8×8。如果预测块大小小于8×8，那么过程600继续进行到下一步骤610，在步骤610中执行4×4逆变换。如果改为在步骤606处确定预测块大小不小于8×8，那么过程继续进行到步骤614，在步骤614中，解码器寻找1位旗标值且基于旗标值来执行逆变换。表2中展示了将使用的逆变换的类型。
过程300、400、500和600描述用于确定对视频块使用的变换的大小的特定语法。所属领域的一般技术人员将认识到，所述过程仅为编码并解码块并且设定旗标值的示范性过程。应注意，可使用具有额外步骤、较少步骤或具有经重排列的步骤的其它过程来实现与表1或表2中所展示的语法相同的语法。另外，所属领域的一般技术人员将认识到，可改变指派给每一变换指示的特定旗标值。另外，可形成类似于在表1和表2中见到的语法的语法。
还应注意，可使用额外变换大小(例如，32×32)和预测块大小(例如，32×32)以编码并解码块并且设定旗标值。举例来说，虽然针对旗标值仍仅使用2个位(如上所述)，但旗标可指示32×32的变换大小。举例来说，在过程300中，步骤362可确定预测块大小是否等于32×32，且步骤370可确定预测块大小是否等于16×32。接着可修改步骤366、374和378以使得在每一步骤处分别对块执行32×32、16×32或32×16变换。因此，在步骤358处设定的旗标值将指示32×32、16×32或32×16的变换，而不是16×16、8×16或16×8的变换。可进行额外修改以使用旗标值与预测块大小的组合来指示额外变换大小。
将旗标值的位作为经编码视频数据的一部分沿着通信信道16发送。视编码方案而定，沿着所发送的位流，旗标值的位的放置可不同。旗标值可为发送到解码器的标头的一部分。所述标头可含有可识别当前视频块的特定特性(例如，块类型、预测模式、针对亮度和色度的经译码块模式(CBP)、预测块大小和一个或一个以上运动向量)的额外标头语法元素。举例来说，可在视频编码器20内的熵译码单元37处产生这些标头语法元素。
在一个实施例中，标头包括用以指示在编码块中是否存在非零系数的位。如果存在非零系数，那么指示变换大小的位也包括于标头中。如果不存在非零系数，那么不发送变换大小位。在另一实施例中，不管是否存在非零系数，均在每一标头中发送变换大小元素。
本发明中描述的技术可实施于硬件、软件、固件或其任何组合中。描述为单元或组件的任何特征可一起实施于集成式逻辑装置中或单独实施为离散但可交互操作的逻辑装置。如果实施于软件中，那么所述技术可至少部分地由包含指令的计算机可读媒体实现，所述指令在被执行时执行上述方法的一者或一者以上。计算机可读媒体可形成计算机程序产品的一部分，所述计算机程序产品可包括封装材料。计算机可读媒体可包含例如同步动态随机存取存储器(SDRAM)等随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体等。另外或作为替代，所述技术可至少部分地由计算机可读通信媒体实现，所述计算机可读通信媒体载运或传送呈指令或数据结构的形式的代码且可由计算机存取、读取和/或执行。
所述代码可由一个或一个以上处理器执行，例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。因此，如本文中使用的术语“处理器”可指代前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。此外，在一些方面中，本文中所描述的功能性可提供于经配置以用于编码和解码的专用软件单元或硬件单元内，或并入于组合式视频编码器-解码器(CODEC)中。将不同特征描绘为单元希望突出所说明的装置的不同功能方面，且未必暗示此类单元必须由单独的硬件或软件组件实现。事实上，与一个或一个以上单元相关联的功能性可集成于共同或单独的硬件或软件组件内。
已描述本发明的各种实施例。这些和其它实施例在所附权利要求书的范围内。

Claims (68)

1.一种编码视频数据的方法，所述方法包含：
基于预测模式将空间预测或运动补偿应用于视频帧内的原始视频块以产生预测视频块；
从所述视频帧内的所述原始视频块减去所述预测视频块以形成残余块；
选择具有第一变换大小的变换以应用于所述残余块；
将所选择的变换应用于所述残余块以产生残余变换系数；
产生指示所述选定变换的标头数据，所述标头数据包含具有指示至少三个变换大小的第一值的第一语法元素和指示所述预测视频块的预测块大小的第二语法元素，其中，所述至少三个变换大小包括至少一个NxM变换大小且M和N中的至少之一等于或大于16，其中，仅将所述第一语法元素的第一值与所述第二语法元素组合起来以指示所述第一变换大小，且其中，所述标头数据还包括第三语法元素，所述第三语法元素用以指示所述残余变换系数是否包括一个或多个非零系数；以及
基于所述标头数据和所述残余变换系数来产生视频信号。
2.根据权利要求1所述的方法，所述第三语法元素包含第二值，且其中如果所述第二值为非零，那么所述第一语法元素依序跟在所述第三语法元素之后。
3.根据权利要求1所述的方法，其中所述第一语法元素的所述第一值对应于多个变换大小。
4.根据权利要求3所述的方法，其中所述第一值基于所述预测视频块的所述预测块大小而映射到所述第一变换大小。
5.根据权利要求1所述的方法，其中所述第一变换大小为大小X×Y，其中X不等于Y。
6.根据权利要求5所述的方法，其中X和Y中的至少一者等于8，且X和Y中的至少一者等于16。
7.根据权利要求1所述的方法，其中所述第一变换大小等于所述预测视频块的所述预测块大小。
8.根据权利要求1所述的方法，其中所述第一变换大小为N×M，且M和N中的至少一者等于或大于16。
9.根据权利要求1所述的方法，其中产生指示所述选定变换的标头数据包含：
确定所述预测块大小是否大于第一阈值；以及
确定所述预测块大小是否小于第二阈值。
10.根据权利要求9所述的方法，其中所述第一阈值为8×8，且所述第二阈值为8×8。
11.根据权利要求1所述的方法，其中产生指示所述选定变换的标头数据包含：
确定所述预测块大小是否大于第一阈值；以及
确定所述预测块大小是否等于第二值。
12.根据权利要求11所述的方法，其中所述第一阈值为8×8，且所述第二值为16×16。
13.根据权利要求11所述的方法，其中所述第一阈值为8×8，且所述第二值为16×8。
14.根据权利要求1所述的方法，其中所述选定变换为整数变换。
15.根据权利要求1所述的方法，其中所述选定变换为离散余弦变换。
16.根据权利要求1所述的方法，其中所述选定变换为定向变换。
17.一种解码视频数据的方法，所述方法包含：
接收指示视频帧内的至少一个块的视频信号，所述视频信号包含用于所述至少一个块的标头数据和用于所述至少一个块的残余变换系数，所述标头数据包含具有指示至少三个变换大小的第一值的第一语法元素和指示所述至少一个块的预测块大小的第二语法元素，其中，所述至少三个变换大小包括至少一个NxM变换大小且M和N中的至少之一等于或大于16，其中，仅将所述第一语法元素的第一值与所述第二语法元素组合起来以指示具有用以编码所述至少一个块的第一变换大小的变换，且其中，所述标头数据还包括第三语法元素，所述第三语法元素用以指示所述残余变换系数是否包括一个或多个非零系数；
将空间预测或运动补偿应用于所述至少一个块以产生所述至少一个块的所述预测块大小的预测视频块；
基于所述第一语法元素和所述第二语法元素来确定用以编码所述至少一个块的所述第一变换大小；
对所述残余变换系数应用所述所确定的第一变换大小的逆变换以获得经解码的残余块；以及
将所述经解码的残余块添加到所述预测视频块以获得经解码的视频块。
18.根据权利要求17所述的方法，所述第三语法元素包含第二值，且其中如果所述第二值为非零，那么所述第一语法元素依序跟在所述第三语法元素之后。
19.根据权利要求17所述的方法，其中所述第一语法元素的所述第一值对应于多个变换大小。
20.根据权利要求19所述的方法，其中所述第一值基于所述至少一个块的所述预测块大小而映射到所述第一变换大小。
21.根据权利要求17所述的方法，其中所述第一变换大小为大小X×Y，其中X不等于Y。
22.根据权利要求21所述的方法，其中X和Y中的至少一者等于8，且X和Y中的至少一者等于16。
23.根据权利要求17所述的方法，其中所述第一变换大小等于所述至少一个块的所述预测块大小。
24.根据权利要求17所述的方法，其中所述第一变换大小为N×M，且M和N中的至少一者等于或大于16。
25.根据权利要求17所述的方法，其中确定所述第一变换大小包含：
确定所述预测块大小是否大于第一阈值；以及
确定所述预测块大小是否小于第二阈值。
26.根据权利要求25所述的方法，其中所述第一阈值为8×8，且所述第二阈值为8×8。
27.根据权利要求17所述的方法，其中确定所述第一变换大小包含：
确定所述预测块大小是否大于第一阈值；以及
确定所述预测块大小是否等于第二值。
28.根据权利要求27所述的方法，其中所述第一阈值为8×8，且所述第二值为16×16。
29.根据权利要求27所述的方法，其中所述第一阈值为8×8，且所述第二值为16×8。
30.根据权利要求17所述的方法，其中所述逆变换为整数变换。
31.根据权利要求17所述的方法，其中所述逆变换为离散余弦变换。
32.根据权利要求17所述的方法，其中所述逆变换为定向变换。
33.一种用于编码视频数据的设备，所述设备包含：
用于基于预测模式将空间预测或运动补偿应用于视频帧内的原始视频块以产生预测视频块的装置；
用于从所述视频帧内的所述原始视频块减去所述预测视频块以形成残余块的装置；
用于选择具有第一变换大小的变换以应用于所述残余块的装置；
用于将所选择的变换应用于所述残余块以产生残余变换系数的装置；
用于产生指示所述选定变换的标头数据的装置，所述标头数据包含具有指示至少三个变换大小的第一值的第一语法元素和指示所述预测视频块的预测块大小的第二语法元素，其中，所述至少三个变换大小包括至少一个NxM变换大小且M和N中的至少之一等于或大于16，其中，仅将所述第一语法元素的第一值与所述第二语法元素组合起来以指示所述第一变换大小，且其中，所述标头数据还包括第三语法元素，所述第三语法元素用以指示所述残余变换系数是否包括一个或多个非零系数；以及
用于基于所述标头数据和所述残余变换系数来产生视频信号的装置。
34.根据权利要求33所述的设备，其中所述用于应用空间预测或运动补偿的装置包含预测单元，所述用于减去的装置包含求和器，所述用于选择所述变换大小的装置包含模式决策单元，所述用于产生标头数据的装置包含熵编码单元，所述用于应用所述选定变换的装置包含块变换单元，且所述用于产生视频信号的装置包含所述熵编码单元。
35.一种用于解码视频数据的设备，所述设备包含：
用于接收指示视频帧内的至少一个块的视频信号的装置，所述视频信号包含用于所述至少一个块的标头数据和用于所述至少一个块的残余变换系数，所述标头数据包含具有指示至少三个变换大小的第一值的第一语法元素和指示所述至少一个块的运动分割大小的第二语法元素，其中，所述至少三个变换大小包括至少一个NxM变换大小且M和N中的至少之一等于或大于16，其中，仅将所述第一语法元素的第一值与所述第二语法元素组合起来以指示具有用以编码所述至少一个块的第一变换大小的变换，且其中，所述标头数据还包括第三语法元素，所述第三语法元素用以指示所述残余变换系数是否包括一个或多个非零系数；
用于将空间预测或运动补偿应用于所述至少一个块以产生所述至少一个块的所述预测块大小的预测视频块的装置；
用于基于所述第一语法元素和所述第二语法元素来确定用以编码所述至少一个块的所述第一变换大小的装置；
用于对所述残余变换系数应用所述所确定的第一变换大小的逆变换以获得经解码的残余块的装置；以及
用于将所述经解码的残余块添加到所述预测视频块以获得经解码的视频块的装置。
36.根据权利要求35所述的设备，其中所述用于接收的装置包含接收器，所述用于应用空间预测或运动补偿的装置包含预测单元，所述用于确定所述第一变换大小的装置包含熵解码单元，所述用于应用逆变换的装置包含逆变换单元，且所述用于添加的装置包含求和器。
37.一种用于编码视频数据的系统，所述系统包含：
预测单元，其经配置以将空间预测或运动补偿应用于视频帧内的原始视频块以产生预测视频块；
求和器，其经配置以从所述视频帧内的所述原始视频块减去所述预测视频块以形成残余块；
模式决策单元，其经配置以选择具有第一变换大小的变换以应用于所述残余块；
块变换单元，其经配置以将所述选定变换应用于所述残余块以产生残余变换系数；以及
熵编码单元，其经配置以：产生指示所述选定变换的标头数据，所述标头数据包含具有指示至少三个变换大小的第一值的第一语法元素和指示所述预测视频块的预测块大小的第二语法元素，其中，所述至少三个变换大小包括至少一个NxM变换大小且M和N中的至少之一等于或大于16，其中，仅将所述第一语法元素的第一值与所述第二语法元素组合起来以指示所述第一变换大小；且基于所述标头数据和所述残余变换系数来产生视频信号，其中，所述标头数据还包括第三语法元素，所述第三语法元素用以指示所述残余变换系数是否包括一个或多个非零系数。
38.根据权利要求37所述的系统，所述第三语法元素包含第二值，且其中如果所述第二值为非零，那么所述第一语法元素依序跟在所述第三语法元素之后。
39.根据权利要求37所述的系统，其中所述第一语法元素的所述第一值对应于多个变换大小。
40.根据权利要求39所述的系统，其中所述第一值基于所述预测视频块的所述预测块大小而映射到所述第一变换大小。
41.根据权利要求37所述的系统，其中所述第一变换大小为大小X×Y，其中X不等于Y。
42.根据权利要求41所述的系统，其中X和Y中的至少一者等于8，且X和Y中的至少一者等于16。
43.根据权利要求37所述的系统，其中所述第一变换大小等于所述预测视频块的所述预测块大小。
44.根据权利要求37所述的系统，其中所述第一变换大小为N×M，且M和N中的至少一者等于或大于16。
45.根据权利要求37所述的系统，其中所述熵编码单元进一步经配置以确定所述预测块大小是否大于第一阈值且确定所述预测块大小是否小于第二阈值。
46.根据权利要求45所述的系统，其中所述第一阈值为8×8，且所述第二阈值为8×8。
47.根据权利要求37所述的系统，其中所述熵编码单元进一步经配置以确定所述预测块大小是否大于第一阈值且确定所述预测块大小是否等于第二值。
48.根据权利要求47所述的系统，其中所述第一阈值为8×8，且所述第二值为16×16。
49.根据权利要求47所述的系统，其中所述第一阈值为8×8，且所述第二值为16×8。
50.根据权利要求37所述的系统，其中所述选定变换为整数变换。
51.根据权利要求37所述的系统，其中所述选定变换为离散余弦变换。
52.根据权利要求37所述的系统，其中所述选定变换为定向变换。
53.一种用于解码视频数据的系统，所述系统包含：
接收器，其经配置接收指示视频帧内的至少一个块的视频信号，所述视频信号包含用于所述至少一个块的标头数据和用于所述至少一个块的残余变换系数，所述标头数据包含具有指示至少三个变换大小的第一值的第一语法元素和指示所述至少一个块的预测块大小的第二语法元素，其中，所述至少三个变换大小包括至少一个NxM变换大小且M和N中的至少之一等于或大于16，其中，仅将所述第一语法元素的第一值与所述第二语法元素组合起来以指示具有用以编码所述至少一个块的第一变换大小的变换，其中，所述标头数据还包括第三语法元素，所述第三语法元素用以指示所述残余变换系数是否包括一个或多个非零系数；
预测单元，其经配置以将空间预测或运动补偿应用于所述至少一个块以产生所述至少一个块的所述预测块大小的预测视频块；
熵解码单元，其经配置以基于所述第一语法元素和所述第二语法元素来确定用以编码所述至少一个块的所述第一变换大小；
逆变换单元，其经配置以对所述残余变换系数应用所述所确定的第一变换大小的逆变换以获得经解码的残余块；以及
求和器，其经配置以将所述经解码的残余块添加到所述预测视频块以获得经解码的视频块。
54.根据权利要求53所述的系统，所述第三语法元素包含第二值，且其中如果所述第二值为非零，那么所述第一语法元素依序跟在所述第三语法元素之后。
55.根据权利要求53所述的系统，其中所述第一语法元素的所述第一值对应于多个变换大小。
56.根据权利要求55所述的系统，其中所述第一值基于所述至少一个块的所述预测块大小而映射到所述第一变换大小。
57.根据权利要求53所述的系统，其中所述第一变换大小为大小X×Y，其中X不等于Y。
58.根据权利要求57所述的系统，其中X和Y中的至少一者等于8，且X和Y中的至少一者等于16。
59.根据权利要求53所述的系统，其中所述第一变换大小等于所述至少一个块的所述预测块大小。
60.根据权利要求53所述的系统，其中所述第一变换大小为N×M，且M和N中的至少一者等于或大于16。
61.根据权利要求53所述的系统，其中所述熵解码单元进一步经配置以确定所述预测块大小是否大于第一阈值且确定所述预测块大小是否小于第二阈值。
62.根据权利要求61所述的系统，其中所述第一阈值为8×8，且所述第二阈值为8×8。
63.根据权利要求53所述的系统，其中所述熵解码单元进一步经配置以确定所述预测块大小是否大于第一阈值且确定所述预测块大小是否等于第二值。
64.根据权利要求63所述的系统，其中所述第一阈值为8×8，且所述第二值为16×16。
65.根据权利要求63所述的系统，其中所述第一阈值为8×8，且所述第二值为16×8。
66.根据权利要求53所述的系统，其中所述逆变换为整数变换。
67.根据权利要求53所述的系统，其中所述逆变换为离散余弦变换。
68.根据权利要求53所述的系统，其中所述逆变换为定向变换。
CN200980139698.2A 2008-10-03 2009-09-30 使用大于4x4和8x8的变换的视频译码 Active CN102204251B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US10278308P 2008-10-03 2008-10-03
US61/102,783 2008-10-03
US17922809P 2009-05-18 2009-05-18
US61/179,228 2009-05-18
US12/508,434 US8483285B2 (en) 2008-10-03 2009-07-23 Video coding using transforms bigger than 4×4 and 8×8
US12/508,434 2009-07-23
PCT/US2009/059014 WO2010039822A2 (en) 2008-10-03 2009-09-30 VIDEO CODING USING TRANSFORMS BIGGER THAN 4x4 AND 8x8

Publications (2)

Publication Number Publication Date
CN102204251A CN102204251A (zh) 2011-09-28
CN102204251B true CN102204251B (zh) 2017-06-30

Family

ID=42075798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980139698.2A Active CN102204251B (zh) 2008-10-03 2009-09-30 使用大于4x4和8x8的变换的视频译码

Country Status (7)

Country Link
US (1) US8483285B2 (zh)
EP (1) EP2345253B1 (zh)
CN (1) CN102204251B (zh)
DK (1) DK2345253T3 (zh)
ES (1) ES2775068T3 (zh)
HU (1) HUE047978T2 (zh)
TW (1) TWI445408B (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7289674B2 (en) * 2002-06-11 2007-10-30 Nokia Corporation Spatial prediction based intra coding
NO326065B1 (no) * 2007-01-11 2008-09-08 Tandberg Telecom As Atte pixlers heltallstransform
US8634456B2 (en) * 2008-10-03 2014-01-21 Qualcomm Incorporated Video coding with large macroblocks
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
US8619856B2 (en) * 2008-10-03 2013-12-31 Qualcomm Incorporated Video coding with large macroblocks
US9635368B2 (en) * 2009-06-07 2017-04-25 Lg Electronics Inc. Method and apparatus for decoding a video signal
CN104796717B (zh) 2009-07-01 2018-11-06 汤姆森特许公司 用于视频编码器和解码器的方法和装置
US8995527B2 (en) * 2010-02-19 2015-03-31 Qualcomm Incorporated Block type signalling in video coding
US8942282B2 (en) 2010-04-12 2015-01-27 Qualcomm Incorporated Variable length coding of coded block pattern (CBP) in video compression
KR101791078B1 (ko) 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
US8855188B2 (en) * 2010-07-15 2014-10-07 Sharp Laboratories Of America, Inc. Method of parallel video coding based on mapping
US8837577B2 (en) * 2010-07-15 2014-09-16 Sharp Laboratories Of America, Inc. Method of parallel video coding based upon prediction type
JP2012028858A (ja) * 2010-07-20 2012-02-09 Sony Corp 画像処理装置及び画像処理方法
SG10201506682SA (en) * 2010-09-30 2015-10-29 Mitsubishi Electric Corp Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
US20120082225A1 (en) * 2010-10-01 2012-04-05 Qualcomm Incorporated Selective indication of transform sizes
CN103262542A (zh) * 2010-10-26 2013-08-21 数码士有限公司 自适应帧内预测编码和解码方法
US9210442B2 (en) 2011-01-12 2015-12-08 Google Technology Holdings LLC Efficient transform unit representation
US9380319B2 (en) * 2011-02-04 2016-06-28 Google Technology Holdings LLC Implicit transform unit representation
US9788019B2 (en) * 2011-03-09 2017-10-10 Hfi Innovation Inc. Method and apparatus of transform unit partition with reduced complexity
CN108337522B (zh) * 2011-06-15 2022-04-19 韩国电子通信研究院 可伸缩解码方法/设备、可伸缩编码方法/设备和介质
US20120320972A1 (en) * 2011-06-16 2012-12-20 Samsung Electronics Co., Ltd. Apparatus and method for low-complexity optimal transform selection
CN102857755B (zh) * 2011-07-01 2016-12-14 华为技术有限公司 确定变换块尺寸的方法和设备
US9807426B2 (en) * 2011-07-01 2017-10-31 Qualcomm Incorporated Applying non-square transforms to video data
US9787982B2 (en) * 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
US9699457B2 (en) 2011-10-11 2017-07-04 Qualcomm Incorporated Most probable transform for intra prediction coding
US9247254B2 (en) * 2011-10-27 2016-01-26 Qualcomm Incorporated Non-square transforms in intra-prediction video coding
JP5871628B2 (ja) * 2011-11-07 2016-03-01 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
KR20130050149A (ko) * 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
JP2013102297A (ja) 2011-11-07 2013-05-23 Canon Inc 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム
TWI559747B (zh) * 2011-12-28 2016-11-21 Jvc Kenwood Corp A dynamic image coding apparatus, a motion picture coding method and a motion picture coding program, and a motion picture decoding apparatus, a motion picture decoding method, and a motion picture decoding program
US20130265305A1 (en) * 2012-04-04 2013-10-10 Jon N. Hasselgren Compressed Depth Cache
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
FI2869557T3 (fi) 2012-06-29 2023-11-02 Electronics & Telecommunications Res Inst Menetelmä ja laite kuvien koodaamiseksi/dekoodaamiseksi
US10333547B2 (en) * 2012-08-13 2019-06-25 Gurologic Microsystems Oy Encoder and method for encoding input data using a plurality of different transformations or combinations of transformations
AU2012232992A1 (en) * 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
US9544597B1 (en) 2013-02-11 2017-01-10 Google Inc. Hybrid transform in video encoding and decoding
US9967559B1 (en) * 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
US9674530B1 (en) 2013-04-30 2017-06-06 Google Inc. Hybrid transforms in video coding
US20150055697A1 (en) * 2013-08-20 2015-02-26 Media Tek Inc. Method and Apparatus of Transform Process for Video Coding
US9591313B2 (en) * 2014-03-04 2017-03-07 Vixs Systems, Inc. Video encoder with transform size preprocessing and methods for use therewith
TWI594211B (zh) * 2014-10-31 2017-08-01 鴻海精密工業股份有限公司 監控設備及動態物件監控方法
US9565451B1 (en) 2014-10-31 2017-02-07 Google Inc. Prediction dependent transform coding
US9769499B2 (en) 2015-08-11 2017-09-19 Google Inc. Super-transform video coding
US10277905B2 (en) 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
US9807423B1 (en) 2015-11-24 2017-10-31 Google Inc. Hybrid transform scheme for video coding
US10708164B2 (en) * 2016-05-03 2020-07-07 Qualcomm Incorporated Binarizing secondary transform index
CN114339228B (zh) * 2016-05-04 2024-04-12 夏普株式会社 用于对变换数据进行编码的系统和方法
US10652575B2 (en) * 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
CN116074508A (zh) 2018-09-05 2023-05-05 Lg电子株式会社 对图像信号进行编码/解码的设备及发送图像信号的设备
US11218694B2 (en) * 2018-09-24 2022-01-04 Qualcomm Incorporated Adaptive multiple transform coding
EP3874746A1 (en) * 2018-11-01 2021-09-08 InterDigital VC Holdings, Inc. Video encoding and decoding using multiple transform selection
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression
US11252410B2 (en) * 2019-06-11 2022-02-15 Tencent America LLC Method and apparatus for video coding
US11375220B2 (en) * 2019-11-27 2022-06-28 Tencent America LLC Method and apparatus for video decoding using a nominal directional mode and an angular offset
EP4088453A4 (en) 2020-02-14 2023-05-10 Beijing Bytedance Network Technology Co., Ltd. COLOCATED IMAGE INDICATION IN VIDEO BITSTREAMS
US20230107012A1 (en) * 2021-10-05 2023-04-06 Mellanox Technologies, Ltd. Hardware accelerated video encoding

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6633611B2 (en) 1997-04-24 2003-10-14 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for region-based moving image encoding and decoding
DE10022331A1 (de) 2000-05-10 2001-11-15 Bosch Gmbh Robert Verfahren zur Transformationscodierung von Bewegtbildsequenzen
JP4163618B2 (ja) 2001-08-28 2008-10-08 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化伝送システム、動画像符号化伝送方法、これらに用いて好適な符号化装置、復号化装置、符号化方法、復号化方法及びプログラム
JP2005519543A (ja) 2002-03-05 2005-06-30 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ レイヤ映像符合化のための方法及びシステム
JP2006517364A (ja) 2003-01-07 2006-07-20 トムソン ライセンシング マクロブロック・パーティションのインター／イントラ混在ビデオ符号化
US9210441B2 (en) 2003-06-25 2015-12-08 Thomson Licensing Fast mode-decision encoding for interframes
US7830963B2 (en) 2003-07-18 2010-11-09 Microsoft Corporation Decoding jointly coded transform type and subblock pattern information
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US8116374B2 (en) * 2004-05-07 2012-02-14 Broadcom Corporation Method and system for generating a transform size syntax element for video decoding
WO2006028088A1 (ja) 2004-09-08 2006-03-16 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法および動画像復号化方法
DE102004056446A1 (de) 2004-11-23 2006-06-29 Siemens Ag Verfahren zur Transcodierung sowie Transcodiervorrichtung
US7830960B2 (en) * 2005-01-13 2010-11-09 Qualcomm Incorporated Mode selection techniques for intra-prediction video encoding
EP2720466A1 (en) 2005-09-26 2014-04-16 Mitsubishi Electric Corporation Moving image coding method
JP2007243427A (ja) 2006-03-07 2007-09-20 Nippon Hoso Kyokai <Nhk> 符号化装置及び復号化装置
BRPI0715770B1 (pt) 2006-08-25 2020-03-10 Interdigital Vc Holdings, Inc. Método, aparelho e mídia de armazenamento para particionamento com menor resolução
CN101888555B (zh) 2006-11-17 2013-04-03 Lg电子株式会社 用于解码/编码视频信号的方法及装置
US8335261B2 (en) 2007-01-08 2012-12-18 Qualcomm Incorporated Variable length coding techniques for coded block patterns
JP4901772B2 (ja) 2007-02-09 2012-03-21 パナソニック株式会社 動画像符号化方法及び動画像符号化装置
US8428133B2 (en) 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
JP5509564B2 (ja) * 2008-09-30 2014-06-04 富士通株式会社 メッセージ送信方法及びプログラム
US8250413B2 (en) * 2008-09-30 2012-08-21 Hewlett-Packard Development Company, L.P. Connection broker assignment status reporting
US8619856B2 (en) 2008-10-03 2013-12-31 Qualcomm Incorporated Video coding with large macroblocks
US8634456B2 (en) 2008-10-03 2014-01-21 Qualcomm Incorporated Video coding with large macroblocks
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
US20100086031A1 (en) 2008-10-03 2010-04-08 Qualcomm Incorporated Video coding with large macroblocks

Also Published As

Publication number Publication date
HUE047978T2 (hu) 2020-05-28
EP2345253B1 (en) 2019-12-04
ES2775068T3 (es) 2020-07-23
DK2345253T3 (da) 2020-02-24
CN102204251A (zh) 2011-09-28
TWI445408B (zh) 2014-07-11
US8483285B2 (en) 2013-07-09
EP2345253A2 (en) 2011-07-20
TW201028011A (en) 2010-07-16
US20100086049A1 (en) 2010-04-08

Similar Documents

Publication Publication Date Title
CN102204251B (zh) 使用大于4x4和8x8的变换的视频译码
CN101743751B (zh) 视帧内预测模式而定的残差块的自适应变换
CN101946515B (zh) Cabac译码器的二回合量化
AU2009298559B2 (en) Video coding using transforms bigger than 4x4 and 8x8
CN103404144B (zh) 视频译码中的经量化脉码调制
KR101339878B1 (ko) 효율적인 2ｄ-3ｄ 렌더링을 위한 비디오 디코더에서의 텍스쳐 압축
CN103891279B (zh) 用于帧内预测译码的最大概率变换
CN101911702B (zh) 针对支持cabac的视频编码过程而量化视频块的系数的方法和装置
TWI689195B (zh) 用於調色板寫碼之寫碼逃脫像素
TWI413416B (zh) 基於視訊寫碼中活動量度之濾波預測
CN104685887B (zh) 于视频译码中发信用于操作点的层识别符
CN103636207B (zh) 用于明度及色度块的可变长度译码系数译码
CN103181170A (zh) 用于视频译码的变换系数的自适应扫描
CN101690227A (zh) 用于对子带进行熵译码的子带扫描技术
GB2434050A (en) Encoding at a higher quality level based on mixed image prediction factors for different quality levels
CN105379272B (zh) 在vps中用信号通知位速率信息及图片速率信息
TW201334534A (zh) 頻域取樣自適應偏移（ｓａｏ）
CN110199522A (zh) 处理用于图像块帧内预测的参考样本
JP2012506215A (ja) ベクトル化エントロピーコーディングに基づく加重予測
CN104322066B (zh) 用于视频数据译码的交错块处理排序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant