CN103140877A - 使用帧内预测的视频译码 - Google Patents
使用帧内预测的视频译码 Download PDFInfo
- Publication number
- CN103140877A CN103140877A CN2011800477689A CN201180047768A CN103140877A CN 103140877 A CN103140877 A CN 103140877A CN 2011800477689 A CN2011800477689 A CN 2011800477689A CN 201180047768 A CN201180047768 A CN 201180047768A CN 103140877 A CN103140877 A CN 103140877A
- Authority
- CN
- China
- Prior art keywords
- mode
- intra prediction
- decoding unit
- inner estimation
- frame inner
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一般来说,本发明的技术与确定与视频数据的译码单元相关联的预测特性相关,其中确定所述预测特性包括确定界定与所述译码单元相关联的许多预测单元的预测类型。本发明的技术还可与基于所述预测特性产生用于所述译码单元的可用帧内预测模式集合、从所述可用帧内预测模式中选择帧内预测模式且应用所述可用帧内预测模式中的一者以译码所述译码单元相关。
Description
技术领域
本发明涉及视频译码。
背景技术
数字视频能力可并入到广泛范围的装置中,所述装置包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置等。数字视频装置实施视频压缩技术(例如,在由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准以及这些标准的扩展中所描述的视频压缩技术),以更有效率地发射和接收数字视频信息。
视频压缩技术执行空间预测和/或时间预测以减少或移除视频序列中所固有的冗余。对于基于块的视频译码,可将视频帧或片段分割成若干译码单元,所述译码单元还可通常称为块。可进一步分割每一块。使用关于同一帧或片段中的相邻参考块的空间预测来编码经帧内译码(I)帧或片段中的块。经帧间译码(P或B)帧或片段中的块可使用关于同一帧或片段中的相邻块的空间预测或关于其它参考帧的时间预测。
发明内容
一般来说,本发明描述用于译码视频数据的技术。明确地说,本发明描述用于确定用于帧内译码视频数据的可用模式的技术。举例来说,本发明描述用于确定何时编码器或解码器可在编码或解码过程期间使用平面帧内译码模式的技术。本发明还描述用于发信号通知选定帧内预测模式的技术。举例来说,本发明的技术包括由视频编码器通过识别最可能模式且将选定帧内预测模式与所述最可能模式进行比较来发信号通知选定帧内预测模式。本发明的技术还包括(例如)由视频解码器解码此信令。
在一个实例中,一种方法包括确定与视频数据的译码单元相关联的预测特性,其中确定所述预测特性包括确定界定与所述译码单元相关联的许多预测单元的预测类型。所述方法还包括基于所述预测特性产生用于所述译码单元的可用帧内预测模式集合,从所述可用帧内预测模式中选择帧内预测模式,且应用所述可用帧内预测模式中的一者以译码所述译码单元。
在另一实例中,一种用于译码视频数据的设备包括处理器,所述处理器经配置以确定与视频数据的译码单元相关联的预测特性,其中确定所述预测特性包括确定界定与所述译码单元相关联的许多预测单元的预测类型。所述处理器还经配置以基于所述预测特性产生用于所述译码单元的可用帧内预测模式集合,从所述可用帧内预测模式中选择帧内预测模式,且应用所述可用帧内预测模式中的一者以译码所述译码单元。
在另一实例中,一种用于译码视频数据的设备包括用于确定与视频数据的译码单元相关联的预测特性的装置,其中确定所述预测特性包括确定界定与所述译码单元相关联的许多预测单元的预测类型。所述设备还包括基于所述预测特性产生用于所述译码单元的可用帧内预测模式集合的装置。所述设备还包括用于从所述可用帧内预测模式中选择帧内预测模式的装置以及用于应用所述可用帧内预测模式中的一者以译码所述译码单元的装置。
在另一实例中,一种计算机程序产品包含上面存储有指令的计算机可读存储媒体,所述指令在执行时致使用于译码视频数据的装置的处理器:确定与视频数据的译码单元相关联的预测特性,其中确定所述预测特性包括确定界定与所述译码单元相关联的许多预测单元的预测类型;基于所述预测特性产生用于所述译码单元的可用帧内预测模式集合;从所述可用帧内预测模式中选择帧内预测模式;且应用所述可用帧内预测模式中的一者以译码所述译码单元。
附图说明
图1为说明根据本发明的方面的可利用用于确定用于对译码单元进行译码的可用帧内预测模式的技术的实例视频编码和解码系统的框图。
图2为说明根据本发明的方面的可实施用于确定可用帧内预测模式、选择帧内预测模式且发信号通知选定帧内预测模式的技术中的任一者或全部的视频编码器的实例的框图。
图3为说明根据本发明的方面的用于确定用于对译码单元进行译码的可用帧内预测模式且解码经编码视频序列的视频解码器的实例的框图。
图4为说明根据本发明的方面的帧内预测模式集合的概念图。
图5A为说明根据本发明的方面的用于译码单元的实例四叉树结构的概念图。
图5B为说明根据本发明的方面的实例最大译码单元(LCU)的概念图。
图6A为说明根据本发明的方面的用于译码单元的实例2Nx2N预测类型的概念图。
图6B为说明根据本发明的方面的用于译码单元的实例NxN预测类型的概念图。
图7为说明根据本发明的方面的用于确定用于预测视频数据的可用帧内预测模式、选择帧内预测模式且发信号通知选定帧内预测模式的实例方法的流程图。
图8为说明根据本发明的方面的用于基于译码单元预测类型约束确定可用帧内预测模式的实例方法的流程图。
图9为说明根据本发明的方面的用于基于译码单元预测大小约束确定可用帧内预测模式的实例方法的流程图。
图10为说明根据本发明的方面的用于基于最可能模式发信号通知帧内模式的实例方法的流程图。
图11为说明根据本发明的方面的用于基于最可能模式发信号通知帧内模式的另一实例方法的流程图。
图12为说明根据本发明的方面的用于确定用于预测视频数据的可用帧内预测模式、从可用帧内预测模式解码帧内模式且使用经解码帧内模式解码视频数据的实例方法的流程图。
具体实施方式
一般来说,本发明描述用于译码视频数据的技术。明确地说,本发明描述与确定某些帧内预测模式是否可用于预测目的相关的技术。根据本发明的方面,视频编码器和视频解码器可分别使用可用帧内预测模式来编码和解码视频数据。替代地,当帧内预测模式不被考虑来编码或解码视频数据时,所述帧内预测模式可被称为“不可用的”。举例来说,当选择帧内预测模式来编码或解码视频数据块时,可不考虑不可用的预测模式。此外,可在视频编码器与视频解码器之间不发信号通知不可用的预测模式。因此,如下文较详细描述,可通过使得某些帧内预测模式不可用来减小信令开销(即,在编码器与解码器之间发信号通知可用预测模式所需要的位数目)。
经编码的视频数据可包括预测数据和残余数据。视频编码器可使用帧内预测模式或帧间预测模式来产生预测数据。帧内预测通常涉及相对于同一图片的相邻的经先前译码块中的参考样本来预测所述图片的块中的像素值。帧间预测通常涉及相对于经先前译码图片的数据来预测图片的块中的像素值。
在帧内或帧间预测之后,视频编码器可计算块的残余像素值。残余值通常对应于用于所述块的所预测的像素值数据与所述块的真实像素值数据之间的差。举例来说,残余值可包括指示经译码像素与预测性像素之间的差的像素差值。在一些实例中,经译码像素可与待译码的像素块相关联,且预测性像素可与用以预测所述经译码块的一个或一个以上像素块相关联。为了进一步压缩块的残余值,可将残余值转换为一组变换系数,所述变换系数将尽可能多的数据(还称为“能量”)压缩成尽可能少的系数。所述变换将像素的残余值从空间域转换为变换域。变换系数对应于大小一般与原始块相同的二维系数矩阵。换句话说,存在恰好如原始块中的像素那么多的变换系数。然而,归因于所述变换,许多变换系数可具有接近于或等于零的值。
视频编码器可接着量化变换系数以进一步压缩视频数据。量化通常涉及将相对较大范围内的值映射到相对较小范围中的值,因此减小变换系数的熵。在一些情况下,量化可将一些值减小到零。在量化之后,视频编码器可扫描变换系数,从而从包括经量化变换系数的二维矩阵产生一维向量。视频编码器可在扫描之前或之后将某些系数置零,例如除了矩阵的左上角之外的所有系数或阵列中的从位置N到阵列末端的所有系数。
视频编码器可接着对所得阵列进行熵编码以更进一步压缩所述数据。在一些实例中,视频编码器可经配置以使用可变长度码(VLC)来表示所述阵列的各种可能经量化变换系数,例如使用上下文自适应可变长度译码(CAVLC)。在其它实例中,视频编码器可经配置以使用二进制算术译码来编码所得经量化系数,例如使用上下文自适应二进制算术译码(CABAC)。
当前正在致力于开发新的视频译码标准,当前称为高效率视频译码(HEVC)。即将到来的标准有时还非正式地称为ITU-T H.265,但尚未正式地做出此命名。所述标准化努力是基于称为HEVC测试模型(HM)的视频译码装置的模型。HM假设视频译码装置优于根据(例如)ITU-T H.264/AVC的其它装置的若干种能力。举例来说,H.264提供9个帧内预测编码模式,而HM提供多达35个帧内预测编码模式。
HM将视频数据块称为译码单元(CU)。位流内的语法数据可界定最大译码单元(LCU),其在像素数目方面为最大的译码单元。一般来说,CU具有与根据H.264进行译码的宏块类似的用途,除了CU不具有大小区别之外。因此,CU可被分裂成若干子CU。一般来说,本发明中对CU的参考可指代图片的最大译码单元或LCU的子CU。LCU可被分裂成若干子CU,且每一子CU可被分裂成若干子CU。用于位流的语法数据可界定LCU可被分裂的最大次数,称为CU深度。因此,位流还可界定最小译码单元(SCU)。
LCU可与四叉树数据结构相关联。一般来说,四叉树数据结构对于每个CU包括一个节点,其中根节点对应于LCU。如果CU被分裂成4个子CU,那么对应于CU的节点包括4个叶节点,其每一者对应于所述子CU中的一者。四叉树数据结构的每一节点可提供用于对应CU的语法数据。举例来说,四叉树中的节点可包括分裂旗标,其指示对应于所述节点的CU是否被分裂成若干子CU。可递归地界定用于CU的语法元素,且其可取决于所述CU是否被分裂成若干子CU。
未被分裂的CU可包括一个或一个以上预测单元(PU)。一般来说,PU表示对应CU的全部或一部分,且包括用于检索所述PU的参考样本的数据。举例来说,当PU经帧内模式编码时,所述PU可包括描述用于所述PU的帧内预测模式的数据。举例来说,界定PU的用于CU的数据还可描述将所述CU分割成一个或一个以上PU。分割模式可在CU未经译码、经帧内预测模式编码或经帧间预测模式编码之间有所不同。
具有一个或一个以上PU的CU还可包括一个或一个以上变换单元(TU)。在使用PU的预测之后,视频编码器可计算所述CU的对应于所述PU的部分的残余值。可对残余值进行变换、量化和扫描。TU不必限于PU的大小。因此,TU可大于或小于同一CU的对应PU。在一些实例中,TU的最大大小可为对应CU的大小。本发明使用术语“块”来指代CU、PU或TU中的任一者。
一般来说,本发明的技术涉及确定用于(例如)由视频编码器或视频解码器(通常称为“视频译码器”)预测视频数据的可用帧内预测模式。明确地说,本发明的技术包括基于CU的特性(例如CU预测类型或CU预测大小)确定平面帧内模式是否可用。也就是说,本发明的方面涉及基于将CU作为未划分的2Nx2N预测类型还是分裂NxN预测类型进行预测来确定平面模式是否可用。本发明的方面还涉及基于CU预测大小(例如,64x64个像素、32x32个像素、16x16个像素等)确定平面模式是否可用。也就是说,本发明的方面涉及确定与CU相关联的一个或一个以上PU的大小,且基于PU的大小确定平面模式是否可用。本发明的技术还包括确定何时平面模式归因于(例如)块类型或块大小约束而不可用,且因此修改最可能模式确定过程。
如上文所提,根据本发明的方面,当预测模式被称为对于特定块“不可用”时,使得所述预测模式不被编码器考虑来编码所述特定块或不被解码器考虑来解码所述特定块。举例来说,当选择预测模式来编码所述块时,不考虑不可用的预测模式。此外,不在编码器与解码器之间传送的位流中发信号通知不可用的预测模式,且解码器不使用所述预测模式来解码所述块。因此,可通过使得某些模式不可用来减小信令开销(即,在编码器与解码器之间发信号通知可用预测模式所需要的位数目)。在一实例中,可需要某一数目的位来从编码器向解码器发送界定HM中所提供的35个帧内预测模式的信息。通过使得某些预测模式不可用,相对于发送HM中所提供的35个帧内预测模式所需要的位数目,从编码器向解码器发送剩余的可用预测模式所需要的位数目可得以减小。
本发明大体上参考CU“预测类型”,其界定与CU相关联的许多预测单元。也就是说,举例来说,CU预测类型可识别CU是否出于帧内预测目的而作为整体来预测(例如,其还可被称为“未分裂”)。举例来说,CU可被称为作为未划分2Nx2N类型来预测(例如,未分裂),这意味着CU被作为整体来帧内预测。也就是说,CU具有适用于所述CU中的所有像素的单个相关联PU。CU还可被称为作为NxN类型来预测(例如,划分成4个部分),这意味着CU可潜在地使用一个以上帧内预测模式来帧内预测。举例来说,作为NxN类型来预测的CU可被分裂成4个块,其中所述块中的每一者具有发信号通知的单独相关联PU和独立帧内预测模式。
本发明还大体上将“预测大小”称为在垂直和水平维度方面识别与CU相关联的一个或一个以上PU的像素尺寸。举例来说,大小为64x64个像素的CU将在垂直方向上具有64个像素(y=64)且在水平方向上具有64个像素(x=64)。在一个实例中,CU可作为未划分2Nx2N类型来预测,且具有64x64个像素的预测大小(例如,对应于单个64x64像素PU)。替代地,CU可作为分裂NxN类型来预测,其具有预测大小为32x32个像素的4个相关联PU,所述PU中的每一者可包括独立帧内预测模式。
符合ITU-T H.264的编码器可基于正被编码的块的大小而配置有不同可用帧内预测模式。举例来说,视频编码器可从4个不同可用帧内预测模式进行选择来编码宏块(16x16个像素)。明确地说,视频编码器可从垂直帧内模式、水平帧内模式、DC帧内模式和平面帧内模式进行选择。在另一实例中,对于具有4x4个像素的块,符合H.264的编码器可从9个不同帧内模式进行选择。然而,根据H.264规范,平面帧内模式对于4x4个像素的块为不可用的,因为平面模式可在具有平滑变化亮度的区域中很好地工作,但可能对于较小大小的块不能很好地工作。因此,符合H.264的编码器基于待编码的块的大小而限于某些可用帧内模式。
本发明的技术涉及使用HM的灵活CU译码结构提供对何时使某些帧内模式可用的较灵活确定。举例来说,如上文所描述,符合H.264的编码器受限于在正被编码的块小于宏块的情况下使得某些帧内模式不可用。然而,HEVC中的CU不具有大小区别。因此,H.264中的对于小于宏块的块未使得可用的某些帧内模式可仍为HEVC译码或对于块不具有大小区别的其它译码中的用于多种CU和子CU的可行候选者。
本发明的技术包括其中编码器或解码器可基于待编码或解码的CU的特性确定哪些帧内模式可用的较灵活方法。在一实例中,编码器或解码器可基于待编码的CU的预测类型确定哪些帧内模式可用。也就是说,举例来说,编码器或解码器可基于预测类型确定哪些帧内模式可用,所述预测类型界定与正被编码或解码的CU相关联的许多预测单元(例如,所述CU是否出于预测目的而被分裂)。在另一实例中,编码器或解码器可基于CU预测大小(例如,与CU相关联的一个或一个以上PU的大小)确定哪些帧内模式可用。
虽然可关于视频编码器来描述本发明的某些技术,但应理解,所述技术还可由视频解码器应用。举例来说,可出于实例目的来关于视频编码器描述用于基于CU的预测类型或基于CU预测大小确定哪些帧内模式可用的某些技术。然而,还可由视频解码器应用此些技术来确定哪些帧内模式可用。此外,可关于一般“视频译码器”来描述本发明的一些技术,所述视频译码器可包含视频编码器或视频解码器,这取决于其中使用所述术语的上下文。也就是说,视频译码器可在描述为编码视频数据时指代视频编码器,而视频译码器可在描述为解码视频数据时指代视频解码器。
当基于CU预测类型确定哪些帧内模式可用时,视频译码器可考虑是否用单个PU来预测所述CU或是否使用一个以上PU来预测所述CU。举例来说,如果视频译码器确定CU具有2Nx2N预测类型,其中所述CU被作为整体来预测,那么视频译码器可使平面帧内预测模式可用于预测CU。替代地,如果视频译码器确定CU具有NxN预测类型,其中用多个单独预测模式预测所述CU,那么视频译码器可使平面帧内预测不可用于预测所述CU。明确地说,视频编码器可针对所述CU既不使用也不发信号通知平面帧内预测模式。
当基于CU预测大小确定哪些帧内模式可用时,视频译码器可将PU的大小与预定阈值大小进行比较。举例来说,视频译码器可仅使得平面帧内预测模式可用于超过预定阈值大小的PU。根据本发明的一些方面,视频译码器可使得平面帧内预测模式可用于大于8x8个像素的PU大小。然而,8x8像素阈值仅被提供作为一个实例,且视频译码器可实施替代的PU大小阈值(例如,4x4个像素、16x16个像素等)。
本发明的技术包括以用于确定可用帧内模式集合的相同准则配置编码器和解码器,例如,使编码器和解码器两者配置有相同预定类型或大小阈值。本发明的技术还包括由编码器在作为参数的序列标头或片段标头中发信号通知用于确定可用帧内模式集合的准则。发信号通知用于确定可用帧内模式集合的准则可允许帧的不同序列或片段可具有用于确定可用帧内模式集合的不同准则。
本发明的某些方面还涉及发信号通知帧内预测模式。在一实例中,视频编码器可基于上下文模型来发信号通知用于块的帧内预测模式。也就是说,视频编码器可识别环绕当前正被编码的块的经先前编码块的帧内预测模式。视频编码器可接着基于用于当前块的帧内预测模式是否与经先前编码的环绕块的帧内预测模式相同来发信号通知当前块的帧内预测模式。视频解码器可接收此信令且使用由编码器应用的相同准则来解码所述信号。也就是说,视频解码器可应用与视频编码器相同的上下文模型来确定用以编码块的帧内预测模式。
在一些实例中,编码器可将在待编码块的相对顶部和左侧的经先前编码块的帧内预测模式识别为用于待编码块的最可能帧内预测模式。如果用于当前块的帧内预测模式实际上与最可能模式相同,那么编码器可使用一位最可能模式旗标来发信号通知帧内预测模式。也就是说,视频编码器可发信号通知用于当前块的帧内预测模式与最可能模式相同,而不必明确地识别用于当前块的帧内预测模式。根据本发明的方面,视频编码器可发信号通知用于当前块的帧内预测模式与最可能模式相同,即使当最可能模式(例如,环绕块的模式)为平面模式时。接着,视频解码器可接收最可能模式旗标且使用相同过程来确定最可能模式,进而识别用以预测所接收块的帧内模式。如果用于当前块的帧内预测模式与最可能模式不相同,那么视频编码器可使用额外位发信号通知用于当前块的帧内模式。
本发明的技术包括基于最可能模式发信号通知帧内预测模式,即使当最可能模式为平面帧内模式且平面帧内模式不可用于正被编码的块时。举例来说,本发明的方面涉及基于正被编码的CU的特性来识别平面帧内模式是否可用。如果平面帧内模式(例如)归因于CU预测类型或CU预测大小约束而不可用,那么视频编码器可实施经修改的最可能模式发信号通知过程。举例来说,编码器可将使用平面帧内模式的相邻块的帧内预测模式映射到另一帧内模式,例如DC模式。在此实例中,可接着正常地识别所述最可能模式。也就是说,在相邻者映射到不是平面模式的模式的情况下,视频编码器可发信号通知最可能模式,而不可能选择不可用的平面模式。另外,视频解码器可应用与视频编码器相同的相邻者映射方案来确定最可能模式,而不可能选择不可用的平面模式。
在另一实例中,视频编码器可首先识别最可能模式而不修改相邻模式。如果视频编码器确定最可能模式为平面模式且平面模式不可用,那么视频编码器可改为选择另一模式,例如DC模式。根据本发明的一些方面,当平面模式不可用时,视频编码器和视频解码器可用相同最可能模式发信号通知过程来配置。也就是说,举例来说,如果视频解码器确定最可能模式为平面模式且平面模式不可用,那么视频解码器可改为选择与视频编码器相同的模式,例如DC模式。
根据本发明的一些方面,视频编码器可使用唯一模式识别符发信号通知所有可用帧内预测模式,包括平面帧内预测模式。也就是说,举例来说,视频编码器可针对每一可用帧内预测模式(包括平面帧内预测模式(在可用时))产生唯一识别编号,且将所述识别编号发射到视频解码器。视频解码器可接着使用所接收的识别编号来识别由编码器使用来编码视频数据的帧内预测模式。举例来说,视频解码器可识别可用帧内预测模式且从可用帧内预测模式解码由视频编码器发信号通知的帧内预测模式。
以此方式,视频编码器和视频解码器可基于正被编码的CU的特性确定可用帧内预测模式集合。举例来说,视频译码器可基于正被编码的CU的预测类型(例如,2Nx2N、NxN等)确定可用帧内预测模式集合,且仅在CU被作为未划分2Nx2N类型来预测时将平面帧内预测模式包括在所述可用模式集合中。在另一实例中,视频译码器可基于CU预测大小(例如,64x64个像素、32x32个像素、16x16个像素等)确定可用帧内预测模式集合,且仅在与CU相关联的PU大于预定大小阈值(例如,8x8个像素)时将平面帧内预测模式包括在所述可用模式集合中。另外,视频编码器可基于最可能帧内模式来发信号通知选定帧内模式,而不管所有模式是否可用于对当前块进行帧内译码。视频解码器可接收此信令且使用由视频编码器应用的相同准则来解码所述信号。
图1为说明可利用用于确定用于对译码单元进行译码的可用帧内模式的技术的实例视频编码和解码系统10的框图。如图1中所示,系统10包括源装置12,其经由通信信道16将经编码的视频发射到目的地装置14。源装置12和目的地装置14可包含广泛范围的装置中的任一者。在一些情况下,源装置12和目的地装置14可包含无线通信装置,例如无线手持机、所谓的蜂窝式或卫星无线电电话,或可经由通信信道16(在此情况下,通信信道16为无线的)传送视频信息的任何无线装置。
然而,本发明的关于确定用于对译码单元进行译码的可用帧内模式的技术不必限于无线应用或设置。举例来说,这些技术可应用于空中电视广播、有线电视发射、卫星电视发射、因特网视频发射、被编码到存储媒体上的经编码的数字视频,或其它情况。因此,通信信道16可包含适合于发射或存储经编码的视频数据的无线或有线媒体的任何组合。
在图1的实例中,源装置12包括视频源18、视频编码器20、调制器/解调器(调制解调器)22和发射器24。目的地装置14包括接收器26、调制解调器28、视频解码器30和显示装置32。根据本发明,源装置12的视频编码器20可经配置以应用本发明的用于确定可用帧内模式的技术。在其它实例中,源装置和目的地装置可包括其它组件或布置。举例来说,源装置12可从外部视频源18(例如外部相机)接收视频数据。同样,目的地装置14可与外部显示装置介接,而非包括集成显示装置。
图1所说明的系统10仅为一个实例。用于确定用于对译码单元进行译码的可用帧内模式的技术可由任何数字视频编码和/或解码装置执行。虽然本发明的技术通常由视频编码装置或视频解码装置执行,但所述技术还可由视频编码器/解码器(通常称为“编解码器”)执行。源装置12和目的地装置14仅为这些译码装置的实例,其中源装置12产生用于发射到目的地装置14的经译码视频数据。在一些实例中,装置12、14可以大致上对称的方式操作以使得装置12、14中的每一者包括视频编码和解码组件。因此,系统10可支持视频装置12、14之间的单向或双向视频发射,例如用于视频串流、视频重放、视频广播或视频电话。
源装置12的视频源18可包括视频俘获装置(例如摄像机)、含有先前所俘获视频的视频档案和/或来自视频内容提供者的视频馈送。作为另一替代方案,视频源18可产生基于计算机图形的数据作为源视频,或产生实况视频、存档视频与计算机产生的视频的组合。在一些情况下,如果视频源18为摄像机,那么源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而,如上文所提及,本发明中所描述的技术可大体上适用于视频译码,且可应用于无线和/或有线应用。在每一情况下,可由视频编码器20编码经俘获的、经预先俘获的或计算机产生的视频。经编码的视频信息可接着由调制解调器22根据通信标准来调制,且经由发射器24发射到目的地装置14。调制解调器22可包括各种混频器、滤波器、放大器或经设计以用于信号调制的其它组件。发射器24可包括经设计以用于发射数据的电路,包括放大器、滤波器和一个或一个以上天线。
目的地装置14的接收器26经由信道16接收信息,且调制解调器28解调所述信息。同样,视频编码过程可实施本文中所描述的技术中的一者或一者以上以确定用于对译码单元进行译码的可用帧内模式,选择帧内模式,且发信号通知选定帧内模式。经由信道16传送的信息可包括由视频编码器20界定的语法信息,所述语法信息还由视频解码器30使用,且包括描述经译码视频数据的译码单元或其它单元(例如,图片群组(GOP)、片段、帧等)的特性和/或处理的语法元素。四叉树数据结构可形成用于最大译码单元的语法信息的一部分。也就是说,每一LCU可包括呈四叉树形式的语法信息,其可描述LCU如何被分裂成若干子CU以及关于LCU和子CU如何被编码的信令信息。
视频解码器30可实施本文中所描述的技术中的一者或一者以上以确定用于对译码单元进行译码的可用帧内模式。另外,视频解码器30可使用所述四叉树来确定如何解码所接收图片的CU。视频解码器30可接着解码所述CU且将经解码的视频数据发送到显示装置32。显示装置32向用户显示经解码的视频数据,且可包含多种显示装置中的任一者,例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
在图1的实例中,通信信道16可包含任何无线或有线通信媒体(例如射频(RF)频谱或一个或一个以上物理传输线)或无线与有线媒体的任何组合。通信信道16可形成例如局域网、广域网或全球网络(例如因特网)等基于包的网络的一部分。通信信道16大体上表示用于将视频数据从源装置12发射到目的地装置14的任何合适的通信媒体或不同通信媒体的集合,包括有线或无线媒体的任何合适组合。通信信道16可包括可有用于促进从源装置12到目的地装置14的通信的路由器、交换器、基站或任何其它设备。
视频编码器20和视频解码器30可根据视频压缩标准(例如ITU-T H.264标准,替代地称为MPEG-4第10部分高级视频译码(AVC))进行操作。作为另一实例,视频编码器20和视频解码器30可根据高效率视频译码(HEVC)标准进行操作,且可符合HEVC测试模型(HM)。然而,本发明的技术不限于任何特定译码标准,且可应用于HEVC或当前可用或将来可能出现的其它标准或专有译码过程。其它实例包括MPEG-2和ITU-TH.263。尽管图1中未展示,但在一些方面中,视频编码器20和视频解码器30可各自与音频编码器和解码器集成,且可包括适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件和软件,以处理对共同数据流或单独数据流中的音频与视频两者的编码。如果适用,多路复用器-多路分用器单元可符合ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。
ITU-T H.264/MPEG-4(AVC)标准是由ITU-T视频译码专家组(VCEG)连同ISO/IEC动画专家组(MPEG)制定以作为被称为联合视频小组(JVT)的集体伙伴关系的产品。在一些方面中,本发明中所描述的技术可应用于大体上符合H.264标准的装置。在ITU-T研究组于2005年3月所作的ITU-T建议H.264“用于通用视听服务的高级视频译码(Advanced Video Coding for generic audiovisual services)”中描述了H.264标准,其在本文中可被称作H.264标准或H.264规范或H.264/AVC标准或规范。联合视频小组(JVT)继续致力于对H.264/MPEG-4 AVC的扩展。
视频编码器20和视频解码器30各自可经实施为多种合适编码器电路中的任一者,例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当以软件实施所述技术时,装置可将用于所述软件的指令存储于合适的非暂时性计算机可读媒体中且使用一个或一个以上处理器执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包括于一个或一个以上编码器或解码器中,所述编码器或解码器中的任一者可作为组合式编码器/解码器(编解码器)的一部分而集成于相应相机、计算机、移动装置、订户装置、广播装置、机顶盒、服务器等中。
视频序列通常包括一系列视频帧。图片群组(GOP)通常包含一系列一个或一个以上视频帧。GOP可在GOP的标头、GOP的一个或一个以上帧的标头或其它地方中包括语法数据,所述语法数据描述GOP中所包括的许多帧。每一帧可包括描述用于相应帧的编码模式的帧语法数据。视频编码器20通常对个别视频帧内的译码单元进行操作以便编码所述视频数据。译码单元可对应于LCU或子CU,且术语“CU”可指代LCU或子CU。用于LCU的标头信息可描述LCU的大小、LCU可被分裂的次数(在本发明中称为CU深度)和其它信息。每一视频帧可包括多个片段,且每一片段可包括多个LCU。
作为实例,HEVC测试模型(HM)支持各种CU大小的预测。LCU的大小可由语法信息界定。假设特定CU的大小为2Nx2N,那么HM支持类型2Nx2N或NxN的帧内预测以及对称类型2Nx2N、2NxN、Nx2N或NxN的帧间预测。
在本发明中,“NxN”和“N乘N”可互换使用以指代块(例如,CU、PU或TU)的在垂直和水平维度方面的像素尺寸,例如16x16个像素或16乘16个像素。一般来说,16x16块将在垂直方向上具有16个像素(y=16)且在水平方向上具有16个像素(x=16)。同样,NxN块通常在垂直方向上具有N个像素且在水平方向上具有N个像素,其中N表示非负整数值。块中的像素可布置成若干行和若干列。此外,块未必需要在水平方向上具有与在垂直方向上相同数目的像素。举例来说,块可包含NxM个像素,其中M不必等于N。
CU的PU可包含空间域(还称为像素域)中的像素数据,而CU的TU可包含变换域中的系数,例如在将例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换等变换应用于残余视频数据之后。残余数据通常表示PU的原始值与PU的预测性值之间的像素差。TU可包括变换域中的经量化值。当使用变换来将TU的残余数据变换为变换系数时,TU的系数可被称为在频域中。
视频编码器20和视频解码器30可实施本发明的技术中的任一者或全部以确定用于对译码单元进行译码的可用帧内模式。一般来说,本发明的技术是针对于确定用于对译码单元进行译码的可用帧内模式。然而,还可关于帧间预测编码和/或解码来实施本发明的某些方面。出于实例的目的,相对于CU的帧内预测编码和解码来描述这些技术。应理解,还可结合帧间预测编码和/或解码来执行这些技术。
视频编码器20可接收LCU且确定是否将LCU分裂成4个象限,每一象限包含一个子CU,或确定是否在不进行分裂的情况下编码所述LCU。在决定将LCU分裂成若干子CU之后,视频编码器20可确定是否将每一子CU分裂成4个象限,每一象限包含一个子CU。视频编码器20可持续递归地确定是否分裂CU,其中最大分裂数目由LCU深度指示。视频编码器20可提供指示LCU和LCU的子CU的分裂的四叉树数据结构。LCU可对应于四叉树的根节点。四叉树的每一节点可对应于LCU的CU。此外,每一节点可包括指示对应CU是否被分裂的分裂旗标值。
举例来说,如果LCU被分裂,那么视频编码器20可设置根节点中的分裂旗标的值以指示LCU被分裂。接着,视频编码器20可设置根节点的子节点的值以指示LCU的哪些子CU(如果有的话)被分裂。不被分裂的CU可对应于四叉树数据结构的叶节点,其中叶节点没有子节点。
视频编码器20可编码LCU的对应于四叉树数据结构中的叶节点的每一子CU。出于实例的目的,本发明相对于帧内预测编码来描述所述技术。因此,根据这个假设,视频编码器20可针对对应于四叉树数据结构中的叶节点的每一CU形成预测单元(PU)。视频编码器20可通过首先将CU分类为预测类型来对每一CU进行帧内译码。也就是说,举例来说,视频编码器20可确定是否用单个2Nx2N PU来预测CU或者是否分裂所述CU且利用4个PU来预测所述CU。根据本发明的方面,视频编码器20还可确定用以预测所述CU的PU中的每一者的大小。
根据本发明的技术,视频编码器20和视频解码器30可基于待编码的CU的特性确定可用帧内模式。在一实例中,视频编码器20或视频解码器30可基于待编码或解码的CU的预测类型确定哪些帧内模式可用。也就是说,举例来说,视频编码器20或视频解码器30可基于预测类型确定哪些帧内模式可用,所述预测类型界定与正被编码或解码的CU相关联的许多预测单元(例如,CU是否出于预测目的而被分裂)。在另一实例中,视频编码器20或视频解码器30可基于待编码或解码的CU的CU预测大小(例如,与CU相关联的一个或一个以上PU的大小)确定哪些帧内模式可用。明确地说,一个或一个以上帧内预测模式可能不可用于某些特定预测类型,例如NxN预测类型。同样,对于小于预定阈值大小的CU预测大小,一个或一个以上帧内预测模式可为不可用的。
关于视频编码器20,当基于CU预测类型确定哪些帧内模式可用时,视频编码器20可考虑是否用单个PU来预测CU或是否使用一个以上PU来预测CU。举例来说,如果视频编码器20将所述CU分类为2Nx2N预测类型,其中视频编码器20将CU作为整体用单个PU来预测,那么视频编码器20可使平面帧内预测模式可用于预测所述CU。替代地,如果视频编码器20将所述CU分类为NxN预测类型,其中视频编码器20出于预测目的而分裂所述CU(例如,将所述CU分裂成4个区段,且用单独PU预测所述区段中的每一者),那么视频编码器20可使平面帧内模式不可用于与所述CU相关联的PU。
当基于CU预测大小确定哪些帧内模式可用时,视频编码器20可将PU的大小与预定阈值大小进行比较。举例来说,视频编码器20可仅使平面帧内预测模式可用于超过预定阈值大小的PU,且不可用于小于或等于预定阈值大小的PU。根据本发明的一些方面,视频编码器20可使平面帧内预测模式可用于大于8x8个像素的PU大小,但也可使用其它阈值(例如,4x4个像素、16x16个像素等)。
在进行帧内预测性或帧间预测性译码来产生用于CU的PU之后,视频编码器20可计算残余数据以产生用于所述CU的一个或一个以上变换单元(TU)。残余数据可对应于CU的PU的像素与其预测值之间的像素差。视频编码器20可基于用于所述CU的残余数据形成一个或一个以上TU。视频编码器20可接着变换所述TU。根据本发明的技术,视频编码器20可基于用以预测用于所述CU的PU的帧内预测模式选择变换。
通过变换用于TU的残余数据,视频编码器20产生变换系数矩阵。此矩阵通常具有与所述变换的输入块相同的大小。一般来说,向变换系数施加量化,其进一步压缩所述数据。量化通常指代其中量化变换系数以有可能减小用以表示所述系数的数据的熵的过程。量化过程可减小与系数中的一些或全部相关联的位深度。举例来说,n位值可在量化期间被下舍入到m位值,其中n大于m。
在一些实例中,视频编码器20可利用预定义扫描次序来扫描经量化变换系数以产生可被熵编码的向量。在其它实例中,视频编码器20可执行自适应扫描。
在扫描所述变换矩阵以形成一维向量之后,视频编码器20可对所述一维向量进行熵编码,例如根据内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)或另一熵译码方法。
为了执行CAVLC,视频编码器20可选择用于待发射的符号的可变长度码。VLC中的码字可经构造以使得相对较短的代码对应于较有可能的符号,而较长代码对应于较不可能的符号。以此方式,VLC的使用可实现优于(例如)针对待发射的每一符号使用相等长度的码字的位速率节省。
为了执行CABAC,视频编码器20可选择上下文模型来应用于用以编码待发射的符号的特定上下文。举例来说,所述上下文可涉及相邻值是否为非零。视频编码器20还可对语法元素(例如在执行自适应扫描时产生的有效系数旗标和最后系数旗标)进行熵编码。根据本发明的技术,视频编码器20可基于(例如)帧内预测方向、对应于语法元素的系数的扫描位置、块类型和/或变换类型以及用于上下文模型选择的其它因子选择用以编码这些语法元素的上下文模型。
根据本发明的技术,视频编码器20可通过基于最可能模式编码CU来发信号通知选定帧内预测模式。举例来说,视频编码器20可基于包括经先前编码块的上下文模型发信号通知用于当前块的帧内预测模式。在一实例中,视频编码器20可基于在相对顶部和相对左侧处与当前块接界的经先前编码块确定最可能模式,其中假设用于块的从左到右、从上到下的编码次序。这些块可具有拥有与当前块相同的帧内模式的高概率。
在一个实例中,如果在当前块的顶部和左侧的块用不同模式来编码,那么视频编码器20可根据由视频编码器20维持的预定义帧内模式等级来选择具有较低数值等级的帧内模式作为最可能模式。在另一实例中,如果在当前块的顶部和左侧的块用不同模式来编码,那么视频编码器20可选择预定义默认模式(例如DC帧内模式)作为最可能模式。然而,在当前块的上下文包括一个以上帧内模式时选择最可能模式的过程仅被提供作为实例,且视频编码器20和视频解码器30可经配置以按多种其它方式确定最可能模式。
在确定最可能帧内模式之后,视频编码器20可基于最可能模式与用以编码当前块的选定帧内模式的比较来设置旗标(例如,most_probable_mode旗标)。举例来说,如果最可能模式与用于当前块的选定帧内模式相同,那么视频编码器20可将最可能模式旗标设置为值1,从而指示选定模式和最可能模式为相同的。在此实例中,不需要额外位来发信号通知选定模式。也就是说,在接收到已被设置为1的最可能模式旗标后,视频解码器30可即刻再现用于确定最可能模式的相同程序(例如,由编码器使用),且接着使用最可能模式来解码所接收的块。
如果最可能模式与用于当前块的选定帧内模式不相同,那么视频编码器20可将最可能模式旗标设置为值0,从而指示所述模式为不相同的。在此实例中,可需要额外位来向视频解码器30发信号通知用以编码当前块的实际帧内模式。根据一些实例,视频编码器20可维持帧内模式的数值等级,其中最常用帧内模式具有最低数值等级。在此些实例中,视频编码器20可基于数值等级或另一数值识别符发信号通知用以编码当前块的实际帧内模式。举例来说,根据本发明的一些方面,视频编码器20可使用唯一模式识别符发信号通知所有可用帧内预测模式,包括平面帧内预测模式。也就是说,举例来说,视频编码器20可针对每一可用帧内预测模式(包括平面帧内预测模式(在可用时))产生唯一识别编号,且将识别编号发射到视频解码器30。
根据本发明的方面,如果平面模式被识别为最可能模式且平面模式(例如)基于预测类型或PU大小而不可用于当前块,那么视频编码器20可实施经修改的最可能模式推导过程。在一实例中,当视频编码器20确定平面帧内模式为最可能模式但平面帧内模式归因于(例如)预测类型或预测大小约束而不可用于当前块时,视频编码器20可将相邻块的帧内预测模式映射到另一帧内模式,例如DC模式。视频编码器20可接着前进到基于经映射的相邻者确定最可能模式。
在另一实例中,视频编码器20可识别最可能模式而不修改相邻模式。也就是说,如果视频编码器20确定最可能模式为平面模式且平面模式不可用于当前块,那么视频编码器20可改为选择预定义默认模式作为用于当前块的最可能模式。在一个实例中,视频编码器20可选择DC帧内模式作为预定义默认模式。
尽管可关于视频编码器20描述本发明的某些技术,但应理解,所述技术还可由视频解码器30应用。举例来说,视频解码器30可以本质上与视频编码器20的方式对称的方式进行操作。视频解码器30可接收表示经编码CU的经熵编码数据,包括经编码PU和TU数据。此所接收的数据可包括指示用以编码PU数据的帧内预测模式的信息,其中假设所述CU是经帧内预测编码的。视频解码器30可对所接收的数据进行熵解码(或剖析),从而形成经编码的量化系数。
当视频编码器20使用可变长度码算法对数据进行熵编码时,视频解码器30可使用一个或一个以上VLC表来确定对应于所接收的码字的符号。当视频编码器20使用算术译码算法对数据进行熵编码时,视频解码器30可使用上下文模型来解码所述数据,所述上下文模型可对应于由视频编码器20使用来编码数据的相同上下文模型。也就是说,根据本发明的方面,当视频编码器20归因于(例如)预测类型或预测大小约束而更改VLC表或上下文模型时,视频解码器30可应用类似约束以更新VLC表或上下文模型。
视频解码器30可接着使用镜射视频编码器20所使用的扫描的逆扫描来逆扫描经解码系数。为了自适应地逆扫描所述系数,视频解码器30可解码包括有效系数旗标和最后系数旗标的语法元素来再生由视频编码器20使用来执行自适应扫描的统计。视频解码器30可进而从由熵解码过程产生的一维向量形成二维矩阵。
接下来,视频解码器30可逆量化由逆扫描产生的二维矩阵中的系数。视频解码器30可接着将一个或一个以上逆变换应用于二维矩阵。逆变换可对应于由视频编码器20应用的变换。视频解码器30可基于(例如)用以形成PU的帧内预测模式确定待应用的逆变换。
根据本发明的技术,视频解码器30可基于由视频编码器20应用的相同准则识别用以编码数据的帧内模式。举例来说,视频解码器30可基于待解码的CU的特性确定可用帧内模式。也就是说,举例来说,视频解码器30可基于待解码的CU的预测类型确定哪些帧内模式可用。在另一实例中,视频解码器30可基于CU预测大小(例如,与CU相关联的一个或一个以上PU的大小)确定哪些帧内模式可用。
根据本发明的一些方面,在确定可用帧内预测模式之后,视频解码器30可识别由视频编码器20发信号通知的帧内预测模式。也就是说,视频解码器30可识别由视频编码器20识别的相同可用帧内预测模式,且使用所识别的可用帧内预测模式来解码由视频编码器20发信号通知(例如,使用唯一识别符发信号通知)的帧内预测模式。在一些实例中,视频解码器30可以与其它帧内预测模式相同的方式接收并解码用于平面帧内模式(在可用时)的唯一识别编号。
根据本发明的一些方面,视频编码器20可在作为参数的序列标头或片段标头中发信号通知用于确定可用帧内模式集合的准则。发信号通知用于确定可用帧内模式集合的准则可允许帧的不同序列或片段具有用于确定可用帧内模式集合的不同准则。视频编码器20和视频解码器30还可经配置以按相同方式进行最可能模式推导过程。
视频编码器20和视频解码器30各自可经实施为多种合适的编码器或解码器电路中的任一者(在适用时),例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器20和视频解码器30中的每一者可包括在一个或一个以上编码器或解码器中,所述编码器或解码器中的任一者可集成为组合式视频编码器/解码器(编解码器)的一部分。包括视频编码器20和/或视频解码器30的设备可包含集成电路、微处理器和/或无线通信装置,例如蜂窝式电话。
图2为说明可实施本发明中描述的用于确定可用帧内预测模式、选择适当帧内预测模式且发信号通知帧内预测模式的技术中的任一者或全部的视频编码器20的实例的框图。视频编码器20可执行视频帧内的CU的帧内和帧间译码。帧内译码依赖于空间预测来减少或移除给定视频帧内的视频中的空间冗余。帧间译码依赖于时间预测来减少或移除当前帧与视频序列的经先前译码帧之间的时间冗余。帧内模式(I模式)可指代若干个基于空间的压缩模式中的任一者,且帧间模式(例如单向预测(P模式)或双向预测(B模式))可指代若干个基于时间的压缩模式中的任一者。
如图2中所示,视频编码器20接收待编码视频帧内的当前视频块。在图2的实例中,视频编码器20包括运动补偿单元44、运动估计单元42、帧内预测单元46、参考帧存储装置64、求和器50、变换单元52、量化单元54和熵译码单元56。图2中所说明的变换单元52为执行实际变换的单元,不应与CU的TU混淆。对于视频块重构,视频编码器20还包括逆量化单元58、逆变换单元60和求和器62。还可包括解块滤波器(图2中未展示)以对块边界进行滤波,以从经重构的视频移除成块假影。在需要时,解块滤波器将通常对求和器62的输出进行滤波。
在编码过程期间,视频编码器20接收待译码的视频帧或片段。帧或片段可被划分成多个视频块,例如,最大译码单元(LCU)。运动估计单元42和运动补偿单元44相对于一个或一个以上参考帧中的一个或一个以上块执行对所接收的视频块的帧间预测性译码以提供时间压缩。帧内预测单元46可相对于与待译码块相同的帧或片段中的一个或一个以上相邻块执行对所接收的视频块的帧内预测性译码以提供空间压缩。
模式选择单元40可(例如)基于在每一译码模式下的误差结果与发信号通知视频数据所需要的位数目(例如,有时称为速率-失真)选择译码模式(帧内或帧间)中的一者,且将所得的经帧内或帧间译码块提供到求和器50以产生残余块数据且提供到求和器62以重构经编码块以供在参考帧中使用。一些视频帧可被称为I帧,其中I帧中的所有块是在帧内预测模式中进行编码的。在一些情况下,帧内预测单元46可执行P或B帧中的块的帧内预测编码,例如,当由运动估计单元42执行的运动搜索不产生所述块的充分预测时。
运动估计单元42和运动补偿单元44可为高度集成的,但出于概念目的而分开地说明。运动估计是用于帧间译码的产生运动向量的过程,所述运动向量估计视频块的运动。举例来说,运动向量可指示当前帧中的预测单元相对于参考帧的参考样本的位移。参考样本为被发现在像素差方面与CU的包括正被译码的PU的那部分紧密匹配的块,所述像素差可由绝对差总和(SAD)、平方差总和(SSD)或其它差异量度确定。由运动补偿单元44执行的运动补偿可涉及基于由运动估计确定的运动向量取出或产生用于预测单元的值。同样,在一些实例中,运动估计单元42和运动补偿单元44可在功能上集成。
运动估计单元42通过将预测单元与存储在参考帧存储装置64中的参考帧的参考样本进行比较来计算经帧间译码帧的预测单元的运动向量。在一些实例中,视频编码器20可计算用于存储在参考帧存储装置64中的参考帧的子整数像素位置的值。举例来说,视频编码器20可计算参考帧的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此,运动估计单元42可相对于全像素位置和分数像素位置执行运动搜索且输出具有分数像素精确度的运动向量。运动估计单元42将所计算得的运动向量发送到熵译码单元56和运动补偿单元44。由运动向量识别的参考帧的部分可被称为参考样本。运动补偿单元44可计算用于当前CU的预测单元的预测值,例如,通过检索由用于所述PU的运动向量识别的参考样本。
作为由运动估计单元42和运动补偿单元44执行的帧间预测的替代方案,帧内预测单元46可执行用于译码所接收的块的帧内预测。帧内预测单元46可相对于相邻的经先前译码块(例如,在当前块的上方、右上方、左上方或左侧的块)编码所接收的块,其中假设用于块的从左到右、从上到下的编码次序。帧内预测单元46可配置有多种不同帧内预测模式。举例来说,帧内预测单元46可基于正被编码的CU的大小而配置有某一数目的预测模式,例如35个预测模式。
帧内预测单元46可通过(例如)针对各种帧内预测模式计算速率-失真(例如,试图在不超过预定失真的情况下最大化压缩)且选择产生最佳结果的模式来从可用帧内预测模式中选择帧内预测模式。帧内预测模式可包括用于组合空间相邻像素的值且将组合值应用于用以预测PU的预测性块中的一个或一个以上像素位置的函数。一旦已经计算了用于预测性块中的所有像素位置的值,帧内预测单元46便可基于PU与预测性块之间的像素差计算预测模式的误差值。帧内预测单元46可继续测试帧内预测模式,直到发现产生可接受的误差值与发信号通知视频数据所需要的位的帧内预测模式为止。帧内预测单元46可接着将PU发送到求和器50。
根据本发明的技术,帧内预测单元46可使用帧内模式可用性单元48来确定哪些帧内模式可用于预测目的。在一些实例中,帧内模式可用性单元48可限制可用于预测某一块的帧内模式的数目。举例来说,如当前所提议的,HM规范支持多达35个帧内预测模式(例如,如关于图4较详细描述)。然而,某些模式可能对于所有大小的块均不是有效的。在一实例中,平面帧内模式可包括出于预测目的适合于所述块的线性平面函数。平面帧内模式可在具有平滑变化亮度的区域中很好地工作。平面帧内模式可对于预测较大块来说为值得的,但可能对于预测较小块来说不是有效的。也就是说,通过使得平面帧内模式可用于相对较小的块来实现的预测误差减小可被与使平面帧内模式可用相关联的信令开销超过。
本发明的方面涉及基于待编码CU的特性限制平面帧内预测模式的可用性。也就是说,帧内模式可用性单元48可基于(例如)与待编码的当前CU相关联的预测类型(例如,其界定与CU相关联的许多预测单元)或与当前CU相关联的预测大小确定平面帧内模式是否可用。举例来说,帧内模式可用性单元48可经配置以基于正被编码的当前CU的预测类型是2Nx2N还是NxN来确定哪些帧内模式可用。根据本发明的一些方面,帧内模式可用性单元48可使平面帧内模式可用于2Nx2N的预测类型,但不可用于NxN的预测类型。如果帧内模式可用性单元48使平面帧内模式不可用,那么帧内预测单元46可在编码当前CU时不使用平面帧内预测模式。在此情况下,视频编码器20不发信号通知平面帧内模式,且可减小与发信号通知可用帧内预测模式相关联的信令开销,因为较少帧内预测模式可用。举例来说,视频编码器20不将平面帧内模式包括在发射到视频解码器(例如视频解码器30(图1和3))的可用帧内模式集合中。
在另一实例中,帧内模式可用性单元48可经配置以基于与当前CU相关联的预测单元(PU)的大小与预定阈值大小的比较来确定哪些帧内模式可用。在此实例中,帧内模式可用性单元48可被预编程有预定阈值大小。一个实例阈值大小可为8x8个像素,但可使用其它大小(例如,4x4个像素、16x16个像素等)。根据本发明的一些方面,帧内模式可用性单元48可使平面帧内模式可用于大于阈值大小的PU大小,但不可用于等于或小于阈值大小的PU大小。如同上文所描述的预测类型约束,如果帧内模式可用性单元48使平面帧内模式不可用,那么帧内预测单元46可在编码当前CU时不使用平面帧内预测模式。在此情况下,视频编码器20不发信号通知平面帧内模式,且可减小与发信号通知可用帧内预测模式相关联的信令开销,因为较少帧内预测模式可用。
同样,应理解,视频编码器20的某些组件(例如帧内预测单元46和帧内模式可用性单元48)可为高度集成的或包括在同一物理组件中,但出于概念目的而分开地说明。
视频编码器20通过从正被译码的原始视频块减去由运动补偿单元44或帧内预测单元46计算的预测数据来形成残余块。求和器50表示执行此减法运算的组件。残余块可对应于二维值矩阵,其中残余块中的值的数目与对应于残余块的PU中的像素的数目相同。残余块中的值可对应于预测性块中和待译码的原始块中的所排列像素之间的差。
变换单元52将例如离散余弦变换(DCT)、整数变换或概念上类似的变换等变换应用于残余块,从而产生包含残余变换系数值的视频块。变换单元52可执行概念上类似于DCT的其它变换,例如由H.264标准界定的变换。也可使用子波变换、整数变换、子带变换或其它类型的变换。在任何情况下,变换单元52将变换应用于残余块,从而产生残余变换系数块。变换单元52可将残余信息从像素值域转换到变换域,例如频域。量化单元54量化残余变换系数以进一步减小位速率。量化过程可减小与所述系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。
在量化之后,熵译码单元56对经量化的变换系数进行熵译码。举例来说,熵译码单元56可执行内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)或另一熵译码技术。在由熵译码单元56进行熵译码之后,可将经编码视频发射到另一装置或加以存档以用于稍后发射或检索。在上下文自适应二进制算术译码(CABAC)的情况下,上下文可基于相邻译码单元。
在一些情况下,除了熵译码之外,熵译码单元56或视频编码器20的另一单元还可经配置以执行其它译码功能。举例来说,熵译码单元56可经配置以确定用于译码单元和分区的CBP值。而且,在一些情况下,熵译码单元56可执行译码单元或其分区中的系数的游程长度译码。明确地说,熵译码单元56可应用Z字形扫描或其它扫描型式来扫描译码单元或分区中的变换系数且编码零游程以用于进一步压缩。熵译码单元56还可用适当的语法元素构造标头信息以用于在经编码的视频位流中进行发射。
在一些实例中,熵译码单元56可经配置以使用唯一模式识别符发信号通知所有可用帧内预测模式,包括平面帧内预测模式。也就是说,举例来说,熵译码单元56可针对每一可用帧内预测模式(包括平面帧内预测模式(在可用时))产生唯一识别编号。根据一些实例,熵译码单元56可通过选择用于待发射的每一识别编号的可变长度码字来发射用于每一可用帧内预测模式的唯一识别编号。在此实例中,当一个或一个以上帧内预测模式归因于预测类型或预测大小约束而不可用时,熵译码单元56可不发信号通知不可用模式,进而减小向视频解码器发信号通知帧内预测模式的开销。
根据本发明的一些方面,熵译码单元56可经配置以在编码已被帧内预测的块时设置旗标,例如most_probable_mode旗标。举例来说,熵译码单元56可经配置以基于包括经先前编码块的上下文模型确定用于当前块的最可能帧内模式。在一些实例中,熵译码单元56可基于在当前块的左侧和顶部的经先前编码块确定最可能模式,其中假设用于块的从左到右、从上到下的编码次序。如果在当前块的顶部和左侧的块用不同模式来编码,那么熵译码单元56可根据由熵译码单元56维持的预定义帧内模式等级来选择具有较低数值等级的帧内模式作为最可能模式或可选择预定义默认模式(例如DC帧内模式)作为最可能模式。
熵译码单元56可根据最可能模式与用以编码当前块的选定帧内模式的比较来设置最可能模式旗标。如果最可能模式与用于当前块的选定帧内模式相同,那么熵译码单元56可将最可能模式旗标设置为值1,从而指示所述模式为相同的。在此实例中,不需要额外位来发信号通知选定模式。如果最可能模式与用于当前块的选定帧内模式不相同,那么熵译码单元56可将最可能模式旗标设置为值0,从而指示所述模式为不相同的。在此实例中,可需要额外位来向视频解码器30发信号通知用以编码当前块的实际帧内模式。根据一些实例,熵译码单元56可维持帧内模式的数值等级,其中最常用帧内模式具有最低数值等级。此等级可基于(例如)预定义统计,或可根据帧内预测单元46应用帧内模式的发生次数来动态地更新。在此些实例中,熵译码单元56可根据帧内模式的数值等级发信号通知用以编码当前块的实际帧内模式。也就是说,熵译码单元56可使用对应于帧内模式的数值等级的识别符或码字识别选定帧内模式。
本发明的技术包括在熵译码单元56确定最可能模式为平面模式且平面模式不可用于当前块(例如,归因于预测类型或预测大小约束)的情况下更改最可能模式推导过程。在一实例中,如果熵译码单元56确定平面帧内模式不可用于当前块,那么熵译码单元56可将使用平面帧内预测模式的相邻块的帧内预测模式映射到另一帧内模式。在一些实例中,熵译码单元56可将使用平面帧内模式的相邻块的帧内模式映射到DC模式,但也可使用其它帧内模式中的任一者。熵译码单元56可接着前进到基于经映射的相邻者确定最可能模式。
在另一实例中,如果熵译码单元56确定最可能模式为平面模式且平面模式不可用,那么熵译码单元56可改为选择预定义默认模式。在一个实例中,视频编码器20可选择DC帧内模式作为预定义默认模式,但也可使用其它帧内模式中的任一者。
虽然出于实例的目的而关于熵译码单元56进行描述,但应理解,可由视频编码器20的另一组件(例如帧内预测单元46)进行最可能模式确定过程。在此实例中,帧内预测单元46可确定最可能模式旗标的适当值,而熵译码单元56可设置位流中的所述旗标的值。
逆量化单元58和逆变换单元60分别施加逆量化和逆变换以在像素域中重构残余块,例如以供稍后用作参考块。运动补偿单元44可通过将残余块加到参考帧存储装置64的帧中的一者的预测性块来计算参考块。运动补偿单元44还可将一个或一个以上内插滤波器应用于经重构的残余块以计算子整数像素值用于在运动估计中使用。求和器62将经重构的残余块加到由运动补偿单元44所产生的经运动补偿的预测块以产生经重构的视频块以供存储于参考帧存储装置64中。经重构的视频块可由运动估计单元42和运动补偿单元44用作参考块来对后续视频帧中的块进行帧间译码。
以此方式,视频编码器20为经配置以基于正被预测的译码单元(CU)的预测特性来确定可用帧内预测模式集合的视频编码器的实例。明确地说,视频编码器20为经配置以基于正被编码的CU的预测类型或预测大小确定平面帧内预测模式是否可用的视频编码器的实例。视频编码器20也是经配置以从可用帧内预测模式中选择帧内预测模式且基于最可能帧内预测模式发信号通知选定帧内预测模式的视频编码器的实例。明确地说,视频编码器20为经配置以在视频编码器20将平面帧内预测模式识别为最可能模式且平面帧内预测模式归因于(例如)预测类型和/或预测大小约束而不可用时实施经修改的最可能模式选择和发信号通知过程的视频编码器的实例。
图3为说明用于确定用于对译码单元进行译码的可用帧内预测模式且解码经编码视频序列的视频解码器30的实例的框图。在图3的实例中,视频解码器30包括熵解码单元70、运动补偿单元72、帧内预测单元74、逆量化单元76、逆变换单元78、参考帧存储装置82和求和器80。在一些实例中,视频解码器30可执行大体上与关于视频编码器20(图2)所描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据。帧内预测单元74可基于发信号通知的帧内预测模式和来自当前帧的经先前解码块的数据产生用于当前帧的当前块的预测数据。
在一些实例中,熵解码单元70或逆量化单元76可使用镜射由视频编码器20使用的扫描的扫描来扫描所接收的值。因此,视频解码器30可基于(例如)用于当前块的帧内译码模式的指示、用于当前块的变换、用于当前块的级联变换或由视频编码器20使用来选择扫描的其它因子来选择扫描。以此方式,视频解码器30可从所接收的一维系数阵列产生二维经量化变换系数矩阵。
逆量化单元76逆量化(即,解量化)所述位流中所提供且由熵解码单元70解码的经量化变换系数。逆量化过程可包括常规过程,例如,如由H.264解码标准或由HEVC界定。逆量化过程可包括使用由视频编码器20针对CU计算和发信号通知的量化参数QP来确定量化程度以及应当应用的逆量化程度。
逆变换单元78施加逆变换,例如逆DCT、逆整数变换、逆旋转变换或逆定向变换。在一些实例中,逆变换单元78可基于针对所接收的经帧内预测编码块发信号通知的帧内预测模式确定逆变换。可(例如)基于最可能模式发信号通知帧内预测模式,如关于图2中所示的视频编码器20所描述。
运动补偿单元72产生经运动补偿块,有可能基于内插滤波器执行内插。待用于具有子像素精确度的运动估计的内插滤波器的识别符可包括在语法元素中。运动补偿单元72可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器来计算参考块的子整数像素的内插值。运动补偿单元72可根据所接收的语法信息确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测性块。
运动补偿单元72和帧内预测单元74使用用以确定用以编码经编码视频序列的帧的LCU的大小的语法信息(例如,由四叉树提供)、描述经编码视频序列的帧的每一CU如何被分裂(且同样,子CU如何被分裂)的分裂信息、指示每一分裂如何被编码的模式(例如,帧内或帧间预测,且对于帧内预测,帧内预测编码模式)、用于每一经帧间编码PU的一个或一个以上参考帧(和/或含有用于参考帧的识别符的参考列表)以及用以解码经编码视频序列的其它信息中的一些信息。
根据本发明的一些方面,帧内预测单元74可经配置以实施与视频编码器20相同的帧内模式约束。也就是说,帧内预测单元74可基于由视频编码器20施加的相同预测类型(例如,其界定与CU相关联的许多预测单元)或预测大小约束来确定可用帧内预测模式。帧内预测单元74可接着使用所识别的可用帧内模式来解码已使用哪个帧内模式来编码特定块。也就是说,举例来说,视频解码器30可接收用以识别由视频编码器20使用来编码视频数据的帧内预测模式的识别编号。因此,在确定可用帧内预测模式之后,帧内预测单元74可使用识别编号来解码可用帧内预测模式中的一者。
在其它实例中,帧内预测单元74可接收信息,例如作为参数的序列标头或片段标头,其发信号通知帧内模式的可用性。发信号通知用于确定可用帧内模式集合的准则可允许帧的不同序列或片段具有用于确定可用帧内模式集合的不同准则。
根据本发明的方面,帧内预测单元74可经配置以接收并使用最可能模式旗标。也就是说,举例来说,如果帧内预测单元74接收具有值1的最可能模式旗标,那么帧内预测单元74可确定用以编码当前块的帧内模式与某些相邻块相同。替代地,如果帧内预测单元74接收具有值0的最可能模式旗标,那么帧内预测单元74可通过解码识别帧内模式的额外位来确定用以编码当前块的帧内模式。根据一些实例,帧内预测单元74可维持与由视频编码器20维持的等级相同的帧内模式的数值等级,其中最常用帧内模式具有最低数值等级。
本发明的技术包括在最可能模式为平面模式且平面模式不可用于当前块(例如,归因于预测类型或预测大小约束)的情况下更改解码器30的最可能模式推导过程。在一实例中,如果帧内预测单元74确定平面帧内模式不可用于当前块,那么帧内预测单元74可将使用平面帧内预测模式的相邻块的帧内预测模式映射到另一帧内模式。在一些实例中,帧内预测单元74可将使用平面帧内模式的相邻块的帧内模式映射到DC模式,但也可使用其它帧内模式中的任一者。帧内预测单元74可接着前进到基于经映射的相邻者确定最可能模式。
在另一实例中,如果帧内预测单元74确定最可能模式为平面模式且平面模式不可用,那么帧内预测单元74可改为选择预定义默认模式。在一个实例中,视频解码器30可选择DC帧内模式作为预定义默认模式,但也可使用其它帧内模式中的任一者。
求和器80将残余块与由运动补偿单元72或帧内预测单元74产生的对应预测性块组合以形成经解码块。如果需要的话,还可应用解块滤波器以对经解码块进行滤波,以便移除成块假影。接着将经解码的视频块存储于参考帧存储装置82中,参考帧存储装置82提供用于后续运动补偿的参考块且还产生用于在显示装置(例如,图1的显示装置32)上呈现的经解码视频。
图4为说明可用于使用视频数据的一个或一个以上相邻像素对视频数据的块(例如,CU)进行帧内预测的帧内预测模式的概念图。举例来说,根据本发明的一些方面,视频编码器20和视频解码器30(图1到3)可使用图4中所示的帧内预测模式来编码和解码视频数据。一般来说,图4中所描绘的帧内预测模式仅出于实例的目的来展示,且表示可用于根据H.264规范编码和解码宏块的4个帧内模式。图4中未展示的额外帧内预测模式也可能可用于编码或解码视频数据。举例来说,上文所论述的即将到来的基于HM的HEVC标准中包括35个帧内预测模式,其中包括多种定向帧内预测模式。
本发明的技术大体上涉及确定哪些帧内模式可用以对视频数据的CU进行帧内译码,从可用模式中选择帧内模式,且发信号通知选定帧内模式。因此,应理解,本文中所描述的与确定可用帧内预测模式、选择适当帧内预测模式且发信号通知帧内预测模式相关的技术可应用于多种帧内模式,包括图4中所示的帧内模式、即将到来的基于HM的HEVC标准中所包括的定向帧内模式或任何其它帧内预测模式集合,假设此些模式为可用的。
图4为说明帧内预测模式90A到90D(统称为帧内预测模式90)的概念图。帧内预测模式90可不与预测角度相关联。也就是说,帧内预测模式90A对应于垂直帧内模式,帧内预测模式90B对应于水平帧内模式,帧内预测模式90C对应于DC帧内模式,且帧内预测模式90D对应于平面帧内模式。虽然图4中所示的实例为16x16像素块,但一般来说,块可具有任何数目的像素,例如4x4、8x8、16x16、32x32、64x64、128x128等。
一般来说,对于帧内预测模式90A,可从位于经预测像素92上方的相邻像素(阴影块94)外推经预测像素(无阴影块92)。举例来说,对于帧内预测模式90A,可向给定列的经预测像素92指派与位于其上方的相邻像素94相同的值。对于帧内预测模式90B,可从位于经预测像素92的左侧的相邻像素94外推经预测像素92。举例来说,对于帧内预测模式90B,可向给定行的经预测像素92指派与位于其左侧的相邻像素94相同的值。对于帧内预测模式90C,可从位于经预测像素92上方的相邻像素94和位于经预测像素的左侧的相邻像素94的平均值导出经预测像素92。
对于帧内预测模式90D,可从线性平面函数导出经预测像素92。也就是说,对于平面帧内预测模式90D,可使用产生适合于上方和左侧相邻像素的线性平面的函数来导出经预测像素92。平面帧内预测模式90D可在具有平滑变化亮度的区域中很好地工作,然而,通过使用平面帧内模式预测相对较小数目的像素来实现的误差减小可被使平面帧内模式可用的信令开销超过。举例来说,除非平面帧内预测模式90D有可能减小块的预测误差,否则与从编码器向解码器发信号通知平面帧内预测模式90D的可用性相关联的信令开销可能是不值得的。
根据本发明的一些方面,视频编码器(例如视频编码器20(图1和2))可基于CU预测类型或CU预测大小确定帧内模式90是否可为可用以对经预测像素92进行帧内编码。明确地说,视频编码器20可基于CU预测类型或CU预测大小确定平面帧内预测模式90D是否可用。举例来说,根据本发明的一些方面,视频编码器20可在作为整体来预测CU(例如,预测类型2Nx2N)时使平面帧内预测模式90D可用,且可在用一个以上预测单元来预测CU(例如,预测类型NxN)时使平面帧内预测模式90D不可用。在另一实例中,视频编码器20可仅在与正被编码的CU相关联的预测单元大于预定阈值时使平面帧内预测模式90D可用。
本发明的技术还包括由视频解码器30确定平面帧内预测模式90D是否可用。也就是说,视频解码器30可基于CU预测类型或CU预测大小确定平面帧内预测模式90D是否可用。以此方式,视频解码器30可实施由视频编码器20实施的相同帧内预测模式可用性确定,这可需要确定视频编码器20已使用哪个帧内预测模式来编码特定块。
同样,除了图4中所示的帧内预测模式之外,根据一些实例,帧内预测模式可与方向相关联,如在HM中提供。本发明的方面大体上涉及基于(例如)预测类型或预测大小约束确定可用帧内预测模式集合。尽管本发明的某些方面涉及确定平面模式是否可用(例如,图4中所示的帧内预测模式90D),但应理解,本发明的技术还可应用于基于预测类型或预测大小约束确定多种其它帧内模式(例如HM中所提供的定向模式,或任何其它帧内预测模式集合)是否可用。
图5A和5B为说明实例四叉树150和对应最大译码单元172的概念图。图5A描绘实例四叉树150,其包括布置成分级型式的节点。四叉树(例如四叉树150)中的每一节点可为不具有子节点的叶节点,或具有4个子节点。在图5A的实例中,四叉树150包括根节点152。根节点152具有4个子节点,包括叶节点156A到156C(叶节点156)和节点154。因为节点154不是叶节点,所以节点154包括4个子节点,在此实例中,所述4个子节点为叶节点158A到158D(叶节点158)。
四叉树150可包括描述对应最大译码单元(LCU)(例如此实例中的LCU 172)的特性的数据。举例来说,四叉树150通过其结构可描述LCU分裂为若干子CU。假设LCU 172具有2Nx2N的大小。在此实例中,LCU 172具有4个子CU 176A到176C(子CU 176)和174,其每一者的大小为NxN。子CU 174被进一步分裂成4个子CU 178A到178D(子CU 178),其每一者的大小为N/2xN/2。在此实例中,四叉树150的结构对应于LCU 172的分裂。也就是说,根节点152对应于LCU 172,叶节点156对应于子CU 176,节点154对应于子CU 174,且叶节点158对应于子CU 178。
用于四叉树150的节点的数据可描述对应于节点的CU是否被分裂。如果CU被分裂,那么可在四叉树150中存在4个额外节点。在一些实例中,四叉树的节点可类似于以下伪码来实施:
split_flag值可为表示对应于当前节点的CU是否被分裂的一位值。如果CU不被分裂,那么split_flag值可为“0”,而如果CU被分裂,那么split_flag值可为“1”。关于四叉树150的实例,分裂旗标值阵列可为101000000。
子CU 176和子CU 178中的每一者可与单独预测单元(PU)相关联。也就是说,子CU 176和子CU 178中的每一者可根据与每一相应子CU 176和子CU 178相关联的预测单元(PU)来帧内预测编码。一般来说,PU包括用于检索用于PU的参考样本的数据。举例来说,当PU经帧内模式编码时,PU可包括描述用于PU的帧内预测模式的数据。另外,如关于图6A和6B描述,每一PU可被进一步细分,使得一个以上帧内预测模式用以对每一子CU 176和子CU 178进行帧内预测编码。
图6A和6B为说明用于使用一个或一个以上预测单元(PU)预测CU的实例预测类型的概念图。根据本发明的方面,“预测类型”可指代与预测单元(PU)相关联的分裂。一般来说,举例来说,用于帧内预测的PU可与两个预测类型或分裂相关联。也就是说,PU可不被分裂(例如,2Nx2N),或可被分裂成四分之一(NxN)。不被分裂的PU可作为整体来预测,而被分裂的PU可具有一个以上相关联预测模式。在一些实例中,预测单元大小可与另一译码机制(例如变换单元大小)链接。
举例来说,图6A描绘实例2Nx2N预测类型,而图6B描绘实例NxN预测类型。关于图6A,一般来说,2Nx2N预测类型包括描述用于整个CU的帧内预测模式180的数据。替代地,关于图6B,NxN预测类型用以使用一个以上帧内预测模式184A到184D(统称为帧内预测模式184)预测CU。也就是说,NxN预测类型包括描述用于CU的4个单独帧内预测模式184的数据。尽管图6B展示使用4个相等大小的PU来预测CU,但应理解,其它划分也是可能的。
根据本发明的技术,视频编码器(例如视频编码器20(图1到2))可基于用于PU的预测类型或预测大小确定可用帧内预测模式集合。举例来说,根据本发明的一些方面,视频编码器20可基于是使用2Nx2N预测类型还是使用NxN预测类型预测CU来确定可用帧内预测模式集合。在一实例中,视频编码器20可在使用2Nx2N预测类型预测CU的情况下使一些模式(例如平面帧内预测模式)可用,但在使用NxN预测类型预测CU的情况下使其不可用。
另外或替代地,视频编码器20可基于用以编码CU的PU的大小确定可用帧内预测模式集合。举例来说,视频编码器20可在特定PU不超过预定大小阈值的情况下使一些模式不可用。在一实例中,视频编码器20可在PU的大小不大于8x8个像素的情况下使平面帧内预测模式不可用,但可使用其它阈值(例如,4x4个像素、16x16个像素、32x32个像素等)。
图7为说明用于确定用于预测视频数据的可用帧内预测模式、选择适当帧内模式且发信号通知选定帧内模式的实例方法200的流程图。虽然出于解释的目的而大体上描述为由视频编码器20(图2)的组件执行,但应理解,例如视频解码器、处理器、处理单元、基于硬件的译码单元(例如编码器/解码器(编解码器))等其它视频编码单元也可经配置以执行图7的方法。
根据图7中所示的方法,视频编码器20最初接收用于帧内译码的CU(204)。在接收用于帧内译码的CU之后,视频编码器20可确定与所述CU相关联的预测特性(206)。根据本发明的技术,视频编码器20可确定与CU相关联的预测类型(例如,2Nx2N预测类型或NxN预测类型)且/或确定CU的预测大小(例如,与CU相关联的一个或一个以上PU的大小)。
在确定与CU相关联的预测特性之后,视频编码器20可基于预测特性确定可用帧内预测模式集合(208)。根据本发明的一些方面,帧内模式可用性单元48可基于预测类型(例如,是否使用2Nx2N预测类型(图6A)预测CU或是否使用NxN预测类型(图6B)预测CU)限制可用以帧内预测CU的帧内预测模式的类型。也就是说,帧内模式可用性单元48可基于预测类型确定HM中所界定的35个帧内模式中的哪些模式可用以帧内预测CU。在一实例中,如关于图8较详细描述,帧内模式可用性单元48可使平面帧内预测模式可用于2Nx2N预测类型,但不可用于NxN预测类型。如果帧内模式可用性单元48使平面帧内模式不可用,那么帧内预测单元46可在编码当前CU时不使用平面帧内预测模式。
根据本发明的一些方面,帧内模式可用性单元48可根据预测大小(例如,用以预测CU的一个或一个以上PU的大小)限制可用以帧内预测CU的帧内预测模式的类型。在一实例中,如关于图9较详细描述,帧内模式可用性单元48可使平面帧内预测模式可用于超过预定阈值大小的PU,但不可用于不超过预定阈值大小的PU。根据一个实例,帧内模式可用性单元48可包括8x8个像素的阈值大小,但也可使用其它大小(例如,4x4个像素、16x16个像素、32x32个像素等)。
在确定哪些帧内预测模式可用之后,视频编码器20可从可用帧内预测模式中选择帧内预测模式(210)。在一实例中,帧内预测单元46可基于(例如)与不同译码模式相关联的速率-失真选择帧内预测模式。
视频编码器20可接着确定最可能模式(212)且基于最可能模式发信号通知选定帧内模式(214)。视频编码器20可基于用以编码一个或一个以上相邻CU的帧内预测模式确定最可能模式。在一实例中,视频编码器20可根据用以预测位于当前CU上方的CU的帧内模式和用以预测位于当前CU左侧的CU的帧内模式确定最可能模式,其中假设用于块的从左到右、从上到下的编码次序。
视频编码器20可通过将选定帧内模式与最可能模式进行比较来基于最可能模式发信号通知选定帧内模式。在一实例中,如果视频编码器20确定最可能模式与用于当前CU的选定帧内模式相同,那么视频编码器20可使用旗标(例如,一位最可能模式旗标)来指示所述模式为相同的。如果视频编码器20确定最可能模式与用于当前CU的选定帧内模式不相同,那么视频编码器20可指示所述模式为不相同的且提供选定帧内模式的额外指示。
根据本发明的一些方面,如关于图10和11描述,视频编码器20可实施经修改的最可能模式确定以解决其中特定帧内模式不可用于CU但所述特定帧内模式为最可能模式的情形。在一实例中,如果平面模式被识别为最可能模式,且平面模式不可用于当前块,那么视频编码器20可实施经修改的最可能模式推导过程。
以此方式,图7的方法为包括基于正被预测的译码单元(CU)的预测特性确定可用帧内预测模式集合、从可用帧内预测模式中选择帧内预测模式且基于最可能帧内预测模式发信号通知选定帧内预测模式的方法的实例。尽管出于实例的目的而将图7的实例大体上描述为由视频编码器20执行,但应理解,视频解码器(例如视频解码器30)可执行本质上与图7中所示的实例的方法对称的方法(例如,如关于图12展示和描述)。也就是说,视频解码器30可执行包括基于正被预测的译码单元(CU)的预测特性确定可用帧内预测模式集合、基于最可能帧内预测模式从可用帧内预测模式中解码帧内预测模式且选择经解码帧内预测模式以解码所述CU的方法。
还应理解,关于图7展示和描述的步骤仅被提供作为一个实例。也就是说,图7的方法的步骤未必需要按图7中所示的次序来执行,且可执行较少、额外或替代步骤。根据另一实例,视频编码器20可基于预测特性确定可用帧内预测模式,但可不基于最可能模式发信号通知帧内预测模式。根据另一实例,视频编码器20可在确定可用模式(208)和选择可用模式(210)之前确定最可能模式(212)。
图8为说明用于基于CU预测类型约束确定可用帧内预测模式的实例方法220的流程图。明确地说,图8中所示的方法220说明用于基于CU预测类型约束确定是否将平面帧内预测模式包括在可用帧内预测模式集合中的实例方法。虽然出于解释的目的而被大体上描述为由视频编码器20(图2)的组件执行,但应理解,视频解码器和其它视频译码单元(例如处理器、处理单元、基于硬件的译码单元(例如编码器/解码器(编解码器))等)也可经配置以执行图8的方法。
视频编码器最初通过确定是否将基于预测类型的约束应用于帧内预测模式集合(224)来开始帧内预测模式可用性确定(222)。举例来说,视频编码器20可经配置以具有某一数目的可用帧内预测模式。在HM中,视频编码器20可经配置以具有可用于帧内预测目的的35个帧内模式。根据本发明的技术,视频编码器20还可经配置以应用基于预测类型的约束来限制可用的帧内预测模式的数目。
如果视频编码器20不将基于预测类型的约束应用于确定可用帧内预测模式集合,那么视频编码器20可使用任何可用帧内模式用于编码CU(例如,HM中所指定的所有35个帧内模式)(226)。如果视频编码器20将预测类型约束应用以确定可用帧内预测模式集合,那么视频编码器20可确定与CU相关联的预测类型(228)。在图8所示的实例方法中,视频编码器20确定是作为整体来预测CU(例如,2Nx2N类型)还是使用一个以上预测单元来预测CU(例如,NxN类型)(230)。根据本发明的一些方面,如果视频编码器20确定CU的预测类型不是2Nx2N,那么视频编码器20可使平面帧内预测模式不可用(232)。也就是说,视频编码器20可不考虑平面帧内模式,使得可不使用平面帧内预测模式来对CU进行帧内预测。如果CU预测类型为2Nx2N,那么视频编码器20可包括平面帧内预测模式以及其它可用帧内模式(234)。
以此方式,图8中所示的方法为包括基于CU预测类型确定是否将平面帧内预测模式包括在可用帧内预测模式集合中的实例方法。尽管出于实例的目的而将图8的实例大体上描述为由视频编码器20执行,但应理解,视频解码器(例如视频解码器30)可执行本质上与图8中所示的实例的方法对称的方法。也就是说,视频解码器30可执行包括基于CU预测类型确定是否将平面帧内预测模式包括在可用帧内预测模式集合中的方法。
还应理解,关于图8展示和描述的步骤仅被提供作为一个实例。举例来说,尽管图8与基于CU的预测类型确定平面帧内预测模式是否可用相关,但应理解,本发明的与确定帧内模式的可用性相关的技术还可应用于其它帧内预测模式。此外,图8的方法的步骤未必需要按图8中所示的次序来执行,且可执行较少、额外或替代步骤。
图9为说明用于基于CU预测大小约束确定可用帧内预测模式的实例方法238的流程图。明确地说,图9中所示的方法238说明用于基于CU预测大小(例如,用以预测CU的一个或一个以上PU的大小)约束来确定是否将平面帧内预测模式包括在可用帧内预测模式集合中的实例方法。虽然出于解释的目的而被大体上描述为由视频编码器20(图2)的组件执行,但应理解,视频解码器和其它视频译码单元(例如处理器、处理单元、基于硬件的译码单元(例如编码器/解码器(编解码器))等)也可经配置以执行图9的方法。
视频编码器20最初通过确定是否将基于CU预测大小的约束应用于可用帧内预测模式集合(242)来开始帧内预测模式可用性确定(240)。举例来说,如上文关于图8所描述,视频编码器20可经配置以具有某一数目的可用帧内预测模式。在HM中,视频编码器20可经配置以具有可用于帧内预测目的的35个帧内模式。根据本发明的技术,视频编码器20还可经配置以应用基于预测大小的约束来限制可用的帧内预测模式的数目。
如果视频编码器20不将基于预测大小的约束应用于确定可用帧内预测模式集合(242),那么视频编码器20可使用任何可用帧内模式用于编码所述CU(例如,HM中所指定的所有35个帧内模式)(244)。如果视频编码器20将预测大小约束应用以确定可用帧内预测模式集合(242),那么视频编码器20可确定与CU相关联的PU的大小(246)。
在图9中所示的实例方法中,视频编码器20将CU预测大小(例如,与CU相关联的一个或一个以上PU的大小)与预定阈值进行比较(248)。在一实例中,阈值可为8x8个像素,但可使用其它阈值(例如,4x4个像素、16x16个像素、32x32个像素等)。根据本发明的一些方面,如果视频编码器20确定CU的预测大小不大于阈值大小(248),那么视频编码器20可使平面帧内预测模式不可用(250)。也就是说,视频编码器20可不考虑平面帧内模式,使得可不使用平面帧内预测模式对CU进行帧内预测。如果视频编码器20确定CU的预测大小大于阈值大小(248),那么视频编码器20可包括平面帧内预测模式以及其它可用帧内模式(252)。
以此方式,图9中所示的方法为包括基于CU预测大小(例如,用以预测CU的一个或一个以上PU的大小)确定是否将平面帧内预测模式包括在可用帧内预测模式集合中的实例方法。尽管出于实例的目的而将图9的实例大体上描述为由视频编码器20执行,但应理解,视频解码器(例如视频解码器30)可执行本质上与图9中所示的实例的方法对称的方法。也就是说,视频解码器30可执行包括基于CU预测大小(例如,用以预测CU的一个或一个以上PU的大小)确定是否将平面帧内预测模式包括在可用帧内预测模式集合中的方法。
还应理解,关于图9展示和描述的步骤仅被提供作为一个实例。举例来说,尽管图9与基于CU预测大小确定平面帧内预测模式是否可用相关,但应理解,本发明的与确定帧内模式的可用性相关的技术还可应用于其它帧内预测模式。此外,图9的方法的步骤未必需要按图9中所示的次序来执行,且可执行较少、额外或替代步骤。
图10为说明用于基于最可能模式发信号通知帧内模式的实例方法260的流程图。明确地说,图10说明用于在平面模式为最可能模式但平面模式不可用于当前CU时基于最可能模式发信号通知帧内预测模式的实例方法260。虽然出于解释的目的而被大体上描述为由视频编码器20(图2)的组件执行,但应理解,视频解码器和其它视频译码单元(例如处理器、处理单元、基于硬件的译码单元(例如编码器/解码器(编解码器))等)也可经配置以执行图10的方法。
视频编码器20最初通过确定平面帧内预测模式是否可用(264)来开始最可能模式推导(262)。根据本发明的一些方面,平面帧内预测模式可能归因于(例如)预测类型约束(例如,如关于图8描述)或预测大小约束(例如,如关于图9描述)而不可用以帧内编码CU。如果平面帧内模式可用,那么视频编码器20可继续基于一个或一个以上相邻CU确定最可能帧内预测模式(266)。举例来说,视频编码器20可基于位于当前CU上方和左侧的经先前译码CU确定最可能模式,但也可使用其它参考CU。同样,相对紧密接近当前CU的经先前译码CU可具有拥有与当前CU相同的帧内模式的高概率。
视频编码器20还可基于最可能模式发信号通知选定帧内模式(268)。也就是说,举例来说,视频编码器20可基于最可能模式与用以编码当前块的选定帧内模式的比较来设置最可能模式旗标。如果最可能模式与用于当前块的选定帧内模式相同,那么视频编码器20可将最可能模式旗标设置为值1,从而指示所述模式为相同的。如果最可能模式与用于当前块的选定帧内模式不相同,那么视频编码器20可将最可能模式旗标设置为值0且发送额外信息以识别适当的选定帧内模式。
如果平面帧内模式不可用(264),那么视频编码器20可确定用于确定最可能模式的相邻CU的帧内模式(270)。视频编码器20可接着确定平面帧内模式是否用以预测相邻CU(272)。如果平面帧内模式不用以预测相邻CU(272),那么视频编码器20可继续确定最可能模式(266)且基于最可能模式发信号通知选定帧内模式(268)。
如果平面帧内模式用以预测相邻CU中的一者或一者以上(274),但平面帧内模式不可用于当前CU,那么根据本发明的方面,视频编码器20可实施经修改的最可能模式推导过程。在图10所示的实例中,视频编码器20可将使用平面帧内模式预测的任何相邻者的模式映射到另一模式,例如DC帧内模式,但也可使用其它帧内模式(274)。使用经映射的相邻者,视频编码器20可继续确定最可能帧内模式(266)且基于最可能模式发信号通知当前CU的选定模式(268)。
以此方式,图10中所示的方法为包括在平面模式为最可能模式但平面模式不可用于当前CU时基于最可能模式发信号通知帧内预测模式的实例方法。尽管出于实例的目的而将图10的实例大体上描述为由视频编码器20执行,但应理解,视频解码器(例如视频解码器30)可执行本质上与图10中所示的实例的方法对称的方法。也就是说,视频解码器30可执行包括在平面模式为最可能模式但平面模式不可用于当前CU时基于最可能模式解码并识别帧内预测模式的方法。
还应理解,关于图10展示和描述的步骤仅被提供作为一个实例。举例来说,尽管图10大体上与在平面帧内模式不可用时的经修改的最可能模式推导和发信号通知过程相关,但应理解,本发明的与实施经修改的最可能模式过程相关的技术还可应用于其它帧内预测模式。此外,图10的方法的步骤未必需要按图10中所示的次序来执行,且可执行较少、额外或替代步骤。
图11为说明用于基于最可能模式发信号通知帧内模式的实例方法280的流程图。明确地说,图11说明用于在平面模式为最可能模式但平面模式不可用于当前CU时基于最可能模式发信号通知帧内预测模式的实例方法280。虽然出于解释的目的而被大体上描述为由视频编码器20(图2)的组件执行,但应理解,视频解码器和其它视频编码单元(例如处理器、处理单元、基于硬件的译码单元(例如编码器/解码器(编解码器))等)也可经配置以执行图11的方法。
视频编码器20最初通过基于(例如)一个或一个以上相邻CU确定最可能帧内预测模式(282)来开始。如关于图11所描述,视频编码器20可基于位于当前CU上方和左侧的经先前译码CU确定最可能模式,但也可使用其它参考CU。
视频编码器20可接着确定最可能模式是否为平面帧内模式(284)。如果平面帧内模式不是最可能模式,那么视频编码器20可通过基于最可能模式发信号通知选定帧内模式(286)来继续。举例来说,如关于图11描述,视频编码器20可基于最可能模式与用以编码当前块的选定帧内模式的比较来设置最可能模式旗标。
如果最可能模式为平面帧内模式,那么视频编码器20可确定平面帧内模式是否可用于当前CU(288)。也就是说,视频编码器20可确定是否已归因于(例如)预测类型或预测大小约束而使平面帧内模式不可用。如果平面帧内模式可用(288),那么视频编码器20可通过基于最可能模式发信号通知选定帧内模式(286)来继续。如果平面帧内模式为最可能模式(290),但平面帧内模式不可用,那么视频编码器20可将最可能模式设置为另一帧内模式,例如DC模式(290)。视频编码器20可接着将经修改的最可能模式与选定帧内模式进行比较(292)且基于经修改的最可能模式发信号通知选定帧内模式(294)。
以此方式,图11中所示的方法为包括在平面模式为最可能模式但平面模式不可用于当前CU时基于最可能模式发信号通知帧内预测模式的实例方法。尽管出于实例的目的而将图11的实例大体上描述为由视频编码器20执行,但应理解,视频解码器(例如视频解码器30)可执行本质上与图11中所示的实例的方法对称的方法。也就是说,视频解码器30可执行包括在平面模式为最可能模式但平面模式不可用于当前CU时基于最可能模式解码并识别帧内预测模式的方法。
还应理解,关于图11展示和描述的步骤仅被提供作为一个实例。举例来说,尽管图11大体上与在平面帧内模式不可用时的经修改的最可能模式推导和发信号通知过程相关,但应理解,本发明的与实施经修改的最可能模式过程相关的技术还可应用于其它帧内预测模式。此外,图11的方法的步骤未必需要按图11中所示的次序来执行,且可执行较少、额外或替代步骤。
图12为说明根据本发明的方面的用于确定用于预测视频数据的可用帧内预测模式、从可用帧内预测模式解码帧内模式且使用经解码帧内模式解码视频数据的实例方法300的流程图。虽然出于解释的目的而被大体上描述为由视频解码器30(图3)的组件执行,但应理解,例如处理器、处理单元、基于硬件的译码单元(例如编码器/解码器(编解码器))等其它视频译码单元也可经配置以执行图12的方法。
根据图12中所示的方法,视频解码器30最初接收经帧内译码CU(304)。在接收CU之后,视频解码器30可确定与CU相关联的预测特性(306)。根据本发明的技术,视频解码器30可确定与CU相关联的预测类型(例如,2Nx2N预测类型或NxN预测类型)且/或确定CU的预测大小(例如,与CU相关联的一个或一个以上PU的大小)。
在确定与CU相关联的预测特性之后,视频解码器30可基于预测特性确定可用帧内预测模式集合(308)。举例来说,视频解码器30可识别可用帧内预测模式(如由视频编码器20确定)以用于解码CU。根据本发明的一些方面,视频解码器30可确定一个或一个以上帧内预测模式(例如,HM中所界定的35个帧内预测模式中的一个或一个以上帧内预测模式)归因于预测类型或预测大小约束而不可用。
在一实例中,视频解码器30可确定平面模式归因于预测类型约束(例如,是否使用2Nx2N预测类型(图6A)预测CU或是否使用NxN预测类型(图6B)预测CU)而不可用。在一些实例中,视频解码器30可实施与关于图8展示和描述的方法互逆的方法。也就是说,视频解码器30可确定平面帧内预测模式可用于2Nx2N预测类型,但不可用于NxN预测类型。
在另一实例中,视频解码器30可确定平面帧内模式归因于CU预测大小约束(例如,用以预测CU的一个或一个以上PU的大小)而不可用。在一些实例中,视频解码器30可实施与关于图9展示和描述的方法互逆的方法。也就是说,视频解码器30可确定平面帧内预测模式可用于超过预定阈值大小的PU,但不可用于不超过预定阈值大小的PU。根据一个实例,阈值大小可为8x8个像素,但也可使用其它大小(例如,4x4个像素、16x16个像素、32x32个像素等)。
在确定哪些帧内预测模式可用之后,视频解码器30可确定最可能模式是否已用以编码当前CU(310)。举例来说,视频解码器30可基于所接收的most_probable_mode旗标(例如,值1指示已使用最可能模式,值0指示未使用最可能模式)确定最可能模式是否已用以编码当前CU。
如果最可能模式未用以编码当前CU,那么视频解码器30可解码额外数据以从可用帧内模式中识别哪个帧内模式已用以编码当前CU(312)。也就是说,视频解码器30可识别由视频编码器20使用来编码CU的可用帧内预测模式,且解码可用帧内预测模式中的一者以解码CU。根据一些实例,视频解码器30可使用由视频编码器20指派给帧内模式的识别符以及所识别的可用帧内模式列表来解码可用帧内模式中的一者。视频解码器30可接着使用经解码帧内模式来解码当前CU(314)。
如果最可能模式已用以编码当前CU,那么视频解码器30可使用与视频编码器20互逆的过程识别最可能模式(316)。也就是说,视频解码器30可基于用以编码一个或一个以上相邻CU的帧内预测模式确定最可能模式。在一实例中,视频解码器30可根据用以预测位于当前CU上方的CU的帧内模式和用以预测位于当前CU左侧的CU的帧内模式确定最可能模式,其中假设用于块的从左到右、从上到下的编码次序。
根据本发明的一些方面,视频解码器30可使用与关于图10和11展示和描述的方法类似的过程来确定最可能模式。也就是说,视频解码器30可实施经修改的最可能模式确定以解决其中特定帧内模式不可用于当前CU但所述特定帧内模式为最可能模式的情形。在一实例中,如果平面帧内模式被识别为最可能模式且平面帧内模式不可用于当前块,那么视频解码器30可实施经修改的最可能模式推导过程。
在识别最可能模式(316)之后,视频解码器30可使用最可能模式解码当前CU(318)。以此方式,图12的方法为包括确定用于预测视频数据的可用帧内预测模式、从所确定的可用帧内预测模式中解码帧内模式且使用经解码的帧内模式解码视频数据的方法的实例。
应理解,关于图12展示和描述的步骤仅被提供作为一个实例。也就是说,图12的方法的步骤未必需要按图12中所示的次序来执行,且可执行较少、额外或替代步骤。
在一个或一个以上实例中,所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施,那么所述功能可作为一个或一个以上指令或代码存储于计算机可读媒体上或经由计算机可读媒体传输,且由基于硬件的处理单元执行。计算机可读媒体可包括对应于有形媒体(例如数据存储媒体)的计算机可读存储媒体或通信媒体,所述通信媒体包括促进(例如)根据通信协议将计算机程序从一处传送到另一处的任何媒体。以此方式,计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一个或一个以上计算机或一个或一个以上处理器存取以检索指令、代码和/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包括计算机可读媒体。
借助于实例而非限制,所述计算机可读存储媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器,或可用于以指令或数据结构的形式存储所要程序代码且可由计算机存取的任何其它媒体。同样,任何连接被恰当地称作计算机可读媒体。举例来说,如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令,那么同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电和微波等无线技术包括于媒体的定义中。然而,应理解,计算机可读存储媒体和数据存储媒体不包括连接、载波、信号或其它暂时媒体,而是针对于非暂时性的有形存储媒体。如本文中所使用,磁盘和光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字通用光盘(DVD)、软性磁盘和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘借助激光以光学方式再现数据。以上各项的组合也应包括在计算机可读媒体的范围内。
指令可由一个或一个以上处理器来执行,例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。因此,如本文所使用,术语“处理器”可指代前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外,在一些方面中,本文中所描述的功能性可在经配置用于编码和解码的专用硬件和/或软件模块内提供,或并入在组合式编解码器中。而且,所述技术可完全在一个或一个以上电路或逻辑元件中实施。
本发明的技术可实施于广泛多种装置或设备中,包括无线手持机、集成电路(IC)或IC集合(例如,芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示的技术的装置的功能方面,但未必需要由不同硬件单元来实现。而是,如上文所描述,各种单元可组合于编解码器硬件单元中或由协同操作的硬件单元的集合(包括如上文所描述的一个或一个以上处理器)结合合适的软件和/或固件来提供。
Claims (35)
1.一种用于译码视频数据的方法,所述方法包含:
确定与视频数据的译码单元相关联的预测特性,其中确定所述预测特性包括确定界定与所述译码单元相关联的许多预测单元的预测类型;
基于所述预测特性产生用于所述译码单元的可用帧内预测模式集合;
从所述可用帧内预测模式中选择帧内预测模式;以及
应用所述可用帧内预测模式中的一者以译码所述译码单元。
2.根据权利要求1所述的方法,其中应用所述可用帧内预测模式中的一者包含解码所述译码单元。
3.根据权利要求1所述的方法,其中应用所述可用帧内预测模式中的一者包含编码所述译码单元。
4.根据权利要求1所述的方法,其中确定所述预测类型包括确定是否用单个预测单元将所述译码单元作为2Nx2N类型进行预测。
5.根据权利要求4所述的方法,其中产生所述帧内预测模式集合包含在将所述译码单元作为2Nx2N类型进行预测时将平面帧内预测模式包括在所述可用帧内预测模式集合中。
6.根据权利要求1所述的方法,其中确定所述预测类型包括确定是否用四个预测单元将所述译码单元作为NxN类型进行预测。
7.根据权利要求6所述的方法,其中产生所述帧内预测模式集合包含在将所述译码单元作为NxN类型进行预测时使平面帧内预测模式在所述可用帧内预测模式集合中不可用。
8.根据权利要求1所述的方法,其进一步包含基于最可能模式发信号通知所述选定所应用帧内预测模式,其中确定所述最可能模式包含基于至少一个相邻译码单元的帧内预测模式将帧内预测模式识别为所述最可能模式。
9.根据权利要求8所述的方法,其进一步包含在所述可用帧内预测模式集合不包括平面帧内预测模式且平面帧内预测模式被确定为所述最可能模式时,将所述至少一个相邻译码单元映射到不同帧内预测模式且基于所述至少一个经映射的相邻译码单元确定所述最可能模式。
10.根据权利要求8所述的方法,其进一步包含在所述可用帧内预测模式集合不包括平面帧内预测模式且平面帧内预测模式被确定为所述最可能模式时,选择另一预定义帧内预测模式来代替平面模式。
11.一种用于译码视频数据的设备,所述设备包含处理器,所述处理器经配置以:确定与视频数据的译码单元相关联的预测特性,其中确定所述预测特性包括确定界定与所述译码单元相关联的许多预测单元的预测类型;基于所述预测特性产生用于所述译码单元的可用帧内预测模式集合;从所述可用帧内预测模式中选择帧内预测模式;以及应用所述可用帧内预测模式中的一者以译码所述译码单元。
12.根据权利要求11所述的设备,其中所述处理器为视频解码装置的组件。
13.根据权利要求11所述的设备,其中所述处理器为视频编码装置的组件。
14.根据权利要求11所述的设备,其中所述处理器经配置以通过确定是否用单个预测单元将所述译码单元作为2Nx2N类型进行预测来确定所述预测类型。
15.根据权利要求14所述的设备,其中所述处理器经配置以通过在将所述译码单元作为2Nx2N类型进行预测时将平面帧内预测模式包括在所述可用帧内预测模式集合中来产生所述帧内预测模式集合。
16.根据权利要求11所述的设备,其中所述处理器经配置以通过确定是否用四个预测单元将所述译码单元作为NxN类型进行预测来确定所述预测类型。
17.根据权利要求16所述的设备,其中产生所述帧内预测模式集合包含在将所述译码单元作为NxN类型进行预测时使平面帧内预测模式在所述可用帧内预测模式集合中不可用。
18.一种用于译码视频数据的设备,所述设备包含:
用于确定与视频数据的译码单元相关联的预测特性的装置,其中确定所述预测特性包括确定界定与所述译码单元相关联的许多预测单元的预测类型;
用于基于所述预测特性产生用于所述译码单元的可用帧内预测模式集合的装置;
用于从所述可用帧内预测模式中选择帧内预测模式的装置;以及
用于应用所述可用帧内预测模式中的一者以译码所述译码单元的装置。
19.根据权利要求18所述的设备,其中所述设备包含视频解码装置。
20.根据权利要求18所述的设备,其中所述设备包含视频编码装置。
21.根据权利要求18所述的设备,其中确定所述预测类型包括确定是否用单个预测单元将所述译码单元作为2Nx2N类型进行预测。
22.根据权利要求21所述的设备,其中产生所述帧内预测模式集合包含在将所述译码单元作为2Nx2N类型进行预测时将平面帧内预测模式包括在所述可用帧内预测模式集合中。
23.根据权利要求18所述的设备,其中确定所述预测类型包括确定是否用四个预测单元将所述译码单元作为NxN类型进行预测。
24.根据权利要求23所述的设备,其中产生所述帧内预测模式集合包含在将所述译码单元作为NxN类型进行预测时使平面帧内预测模式在所述可用帧内预测模式集合中不可用。
25.根据权利要求18所述的设备,其进一步包含用于基于最可能模式发信号通知所述选定所应用帧内预测模式的装置,其中确定所述最可能模式包含基于至少一个相邻译码单元的帧内预测模式将帧内预测模式识别为所述最可能模式。
26.根据权利要求25所述的设备,其进一步包含在所述可用帧内预测模式集合不包括平面帧内预测模式且平面帧内预测模式被确定为所述最可能模式时,将所述至少一个相邻译码单元映射到不同帧内预测模式且基于所述至少一个经映射的相邻译码单元确定所述最可能模式。
27.根据权利要求25所述的设备,其进一步包含在所述可用帧内预测模式集合不包括平面帧内预测模式且平面帧内预测模式被确定为所述最可能模式时,选择另一预定义帧内预测模式来代替平面模式。
28.一种计算机程序产品,其包含上面存储有指令的计算机可读存储媒体,所述指令在执行时致使用于译码视频数据的装置的处理器:
确定与视频数据的译码单元相关联的预测特性,其中确定所述预测特性包括确定界定与所述译码单元相关联的许多预测单元的预测类型;
基于所述预测特性产生用于所述译码单元的可用帧内预测模式集合;
从所述可用帧内预测模式中选择帧内预测模式;以及
应用所述可用帧内预测模式中的一者以译码所述译码单元。
29.根据权利要求28所述的计算机程序产品,其进一步包含致使所述处理器确定是否用单个预测单元将所述译码单元作为2Nx2N类型进行预测的指令。
30.根据权利要求29所述的计算机程序产品,其进一步包含致使所述处理器在将所述译码单元作为2Nx2N类型进行预测时将平面帧内预测模式包括在所述可用帧内预测模式集合中的指令。
31.根据权利要求28所述的计算机程序产品,其进一步包含致使所述处理器确定是否用四个预测单元将所述译码单元作为NxN类型进行预测的指令。
32.根据权利要求31所述的计算机程序产品,其进一步包含致使所述处理器在将所述译码单元作为NxN类型进行预测时使平面帧内预测模式在所述可用帧内预测模式集合中不可用的指令。
33.根据权利要求28所述的计算机程序产品,其进一步包含致使所述处理器基于最可能模式发信号通知所述选定所应用帧内预测模式的指令,其中确定所述最可能模式包含基于至少一个相邻译码单元的帧内预测模式将帧内预测模式识别为所述最可能模式。
34.根据权利要求28所述的计算机程序产品,其进一步包含致使所述处理器在所述可用帧内预测模式集合不包括平面帧内预测模式且平面帧内预测模式被确定为所述最可能模式时将所述至少一个相邻译码单元映射到不同帧内预测模式且基于所述至少一个经映射的相邻译码单元确定所述最可能模式的指令。
35.根据权利要求28所述的计算机程序产品,其进一步包含致使所述处理器在所述可用帧内预测模式集合不包括平面帧内预测模式且平面帧内预测模式被确定为所述最可能模式时选择另一预定义帧内预测模式来代替平面模式的指令。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US38917510P | 2010-10-01 | 2010-10-01 | |
US61/389,175 | 2010-10-01 | ||
US201161500014P | 2011-06-22 | 2011-06-22 | |
US61/500,014 | 2011-06-22 | ||
US13/247,812 US8923395B2 (en) | 2010-10-01 | 2011-09-28 | Video coding using intra-prediction |
US13/247,812 | 2011-09-28 | ||
PCT/US2011/054040 WO2012044840A1 (en) | 2010-10-01 | 2011-09-29 | Video coding using intra-prediction |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103140877A true CN103140877A (zh) | 2013-06-05 |
CN103140877B CN103140877B (zh) | 2016-05-04 |
Family
ID=45889815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180047768.9A Active CN103140877B (zh) | 2010-10-01 | 2011-09-29 | 使用帧内预测的视频译码 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8923395B2 (zh) |
EP (1) | EP2622577B1 (zh) |
JP (3) | JP2013543314A (zh) |
KR (1) | KR101534416B1 (zh) |
CN (1) | CN103140877B (zh) |
WO (1) | WO2012044840A1 (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111448798A (zh) * | 2017-12-05 | 2020-07-24 | 交互数字Vc控股公司 | 基于块形状的视频编码和解码的方法和装置 |
CN113678459A (zh) * | 2019-04-12 | 2021-11-19 | 北京字节跳动网络技术有限公司 | 基于矩阵的帧内预测的适应性 |
US11451784B2 (en) | 2019-05-31 | 2022-09-20 | Beijing Bytedance Network Technology Co., Ltd. | Restricted upsampling process in matrix-based intra prediction |
US11457207B2 (en) | 2019-04-16 | 2022-09-27 | Beijing Bytedance Network Technology Co., Ltd. | Matrix derivation in intra coding mode |
US11463729B2 (en) | 2019-05-01 | 2022-10-04 | Beijing Bytedance Network Technology Co., Ltd. | Matrix-based intra prediction using filtering |
US11546633B2 (en) | 2019-05-01 | 2023-01-03 | Beijing Bytedance Network Technology Co., Ltd. | Context coding for matrix-based intra prediction |
US11606570B2 (en) | 2019-10-28 | 2023-03-14 | Beijing Bytedance Network Technology Co., Ltd. | Syntax signaling and parsing based on colour component |
US11659185B2 (en) | 2019-05-22 | 2023-05-23 | Beijing Bytedance Network Technology Co., Ltd. | Matrix-based intra prediction using upsampling |
US11805275B2 (en) | 2019-06-05 | 2023-10-31 | Beijing Bytedance Network Technology Co., Ltd | Context determination for matrix-based intra prediction |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012044104A2 (ko) * | 2010-09-30 | 2012-04-05 | 삼성전자 주식회사 | 계층적 구조의 심볼을 부호화하는 비디오 부호화 방법 및 그 장치, 계층적 구조의 심볼을 복호화하는 비디오 복호화 방법 및 그 장치 |
WO2012081895A1 (ko) | 2010-12-13 | 2012-06-21 | 한국전자통신연구원 | 인트라 예측 방법 및 그 장치 |
KR102086145B1 (ko) | 2010-12-13 | 2020-03-09 | 한국전자통신연구원 | 인트라 예측 방법 및 그 장치 |
EP2661880A4 (en) * | 2011-01-07 | 2016-06-29 | Mediatek Singapore Pte Ltd | METHOD AND DEVICE FOR IMPROVED CODING OF INTRA-LUMA PREDICTION MODE |
KR20120138712A (ko) | 2011-06-15 | 2012-12-26 | 광운대학교 산학협력단 | 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치 |
CN102857764B (zh) | 2011-07-01 | 2016-03-09 | 华为技术有限公司 | 帧内预测模式处理的方法和装置 |
US9516349B2 (en) * | 2011-07-12 | 2016-12-06 | Futurewei Technologies, Inc. | Pixel-based intra prediction for coding in HEVC |
US9699457B2 (en) | 2011-10-11 | 2017-07-04 | Qualcomm Incorporated | Most probable transform for intra prediction coding |
EP2773118B1 (en) * | 2011-10-24 | 2020-09-16 | Innotive Ltd | Method and apparatus for image decoding |
CN104247432B (zh) | 2011-11-11 | 2019-06-11 | Ge视频压缩有限责任公司 | 使用深度图估计和更新的高效多视点编码 |
WO2013068548A2 (en) | 2011-11-11 | 2013-05-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Efficient multi-view coding using depth-map estimate for a dependent view |
EP3739886A1 (en) | 2011-11-18 | 2020-11-18 | GE Video Compression, LLC | Multi-view coding with efficient residual handling |
US20130170543A1 (en) * | 2011-12-30 | 2013-07-04 | Ning Lu | Systems, methods, and computer program products for streaming out of data for video transcoding and other applications |
CN104041034B (zh) | 2012-01-19 | 2018-10-16 | 索尼公司 | 图像处理设备和方法 |
US10091515B2 (en) * | 2012-03-21 | 2018-10-02 | Mediatek Singapore Pte. Ltd | Method and apparatus for intra mode derivation and coding in scalable video coding |
US9264713B2 (en) * | 2012-07-11 | 2016-02-16 | Qualcomm Incorporated | Rotation of prediction residual blocks in video coding with transform skipping |
US10863184B2 (en) * | 2012-08-15 | 2020-12-08 | Texas Instruments Incorporated | Fast intra-prediction mode selection in video coding |
US20140064366A1 (en) * | 2012-09-03 | 2014-03-06 | Texas Instruments Incorporated | Intra-Prediction Estimation Using Approximate Reconstructed Samples |
JP5798539B2 (ja) * | 2012-09-24 | 2015-10-21 | 株式会社Nttドコモ | 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法 |
JP6301932B2 (ja) | 2012-10-01 | 2018-03-28 | ジーイー ビデオ コンプレッション エルエルシー | エンハンスメント層の中の変換係数ブロックの副ブロックに基づいた符号化を使用するスケーラブルビデオ符号化 |
US10015515B2 (en) * | 2013-06-21 | 2018-07-03 | Qualcomm Incorporated | Intra prediction from a predictive block |
JP2015185897A (ja) | 2014-03-20 | 2015-10-22 | パナソニックIpマネジメント株式会社 | 画像符号化方法及び画像符号化装置 |
US20160044340A1 (en) * | 2014-08-07 | 2016-02-11 | PathPartner Technology Consulting Pvt. Ltd. | Method and System for Real-Time Video Encoding Using Pre-Analysis Based Preliminary Mode Decision |
CN111885381B (zh) * | 2015-03-23 | 2023-10-13 | Lg 电子株式会社 | 在内预测模式的基础上处理图像的方法及其装置 |
KR101621358B1 (ko) * | 2015-04-16 | 2016-05-17 | 아주대학교 산학협력단 | Hevc 부호화 장치 및 그 인트라 예측 모드 결정 방법 |
US10390020B2 (en) | 2015-06-08 | 2019-08-20 | Industrial Technology Research Institute | Video encoding methods and systems using adaptive color transform |
WO2017190288A1 (en) | 2016-05-04 | 2017-11-09 | Microsoft Technology Licensing, Llc | Intra-picture prediction using non-adjacent reference lines of sample values |
US10547854B2 (en) | 2016-05-13 | 2020-01-28 | Qualcomm Incorporated | Neighbor based signaling of intra prediction modes |
GB2550579A (en) | 2016-05-23 | 2017-11-29 | Sony Corp | Image data encoding and decoding |
US10506228B2 (en) | 2016-10-04 | 2019-12-10 | Qualcomm Incorporated | Variable number of intra modes for video coding |
US11909961B2 (en) * | 2017-11-22 | 2024-02-20 | Intellectual Discovery Co., Ltd. | Image encoding/decoding method and apparatus, and recording medium for storing bitstream that involves performing intra prediction using constructed reference sample |
CN112585975B (zh) * | 2018-08-20 | 2024-08-09 | 日本放送协会 | 编码装置、解码装置以及程序 |
US11006150B2 (en) | 2018-09-24 | 2021-05-11 | Tencent America LLC | Method and apparatus for video coding |
US11109023B2 (en) | 2018-11-27 | 2021-08-31 | Tencent America LLC | Intra mode selection in intra prediction |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101330617A (zh) * | 2008-07-31 | 2008-12-24 | 上海交通大学 | 基于模式映射的多标准帧内预测器的硬件实现方法及装置 |
CN101682771A (zh) * | 2007-06-15 | 2010-03-24 | 高通股份有限公司 | 视频译码中的自适应系数扫描 |
CN101743751A (zh) * | 2007-06-15 | 2010-06-16 | 高通股份有限公司 | 视帧内预测模式而定的残差块的自适应变换 |
CN101765008A (zh) * | 2009-12-28 | 2010-06-30 | 北京工业大学 | 视频编解码方法、装置和系统 |
CN101822052A (zh) * | 2007-08-09 | 2010-09-01 | 国立大学法人大阪大学 | 视频流处理设备及其控制方法、程序和记录介质 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6980596B2 (en) | 2001-11-27 | 2005-12-27 | General Instrument Corporation | Macroblock level adaptive frame/field coding for digital video content |
PT2268040E (pt) | 2001-11-21 | 2015-10-15 | Google Technology Holdings LLC | Codificação adaptativa de quadro/campo ao nível dos macroblocos para o conteúdo de vídeo digital |
KR20050072526A (ko) * | 2004-01-06 | 2005-07-12 | 삼성전자주식회사 | 예측 부호화 장치, 예측 부호화 방법 및 상기 예측 부호화방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한기록매체 |
KR100654436B1 (ko) * | 2004-07-07 | 2006-12-06 | 삼성전자주식회사 | 비디오 코딩 방법과 디코딩 방법, 및 비디오 인코더와디코더 |
KR20060008523A (ko) * | 2004-07-21 | 2006-01-27 | 삼성전자주식회사 | 영상의 인트라 예측 방법 및 그 장치 |
WO2006087319A2 (en) * | 2005-02-18 | 2006-08-24 | Thomson Licensing | Method for deriving coding information for high resolution pictures from low resoluton pictures and coding and decoding devices implementing said method |
KR100746007B1 (ko) * | 2005-04-19 | 2007-08-06 | 삼성전자주식회사 | 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더 |
US9055298B2 (en) | 2005-07-15 | 2015-06-09 | Qualcomm Incorporated | Video encoding method enabling highly efficient partial decoding of H.264 and other transform coded information |
KR100727972B1 (ko) * | 2005-09-06 | 2007-06-14 | 삼성전자주식회사 | 영상의 인트라 예측 부호화, 복호화 방법 및 장치 |
US8379723B2 (en) * | 2006-06-27 | 2013-02-19 | Intel Corporation | Chroma motion vector processing apparatus, system, and method |
CA2659351A1 (en) | 2006-07-28 | 2008-01-31 | Kabushiki Kaisha Toshiba | Method and apparatus for encoding and decoding image |
JP2009218742A (ja) | 2008-03-07 | 2009-09-24 | Canon Inc | 画像符号化装置 |
JP2010016454A (ja) | 2008-07-01 | 2010-01-21 | Sony Corp | 画像符号化装置および方法、画像復号装置および方法、並びにプログラム |
WO2010035731A1 (ja) * | 2008-09-24 | 2010-04-01 | ソニー株式会社 | 画像処理装置および方法 |
US10455248B2 (en) | 2008-10-06 | 2019-10-22 | Lg Electronics Inc. | Method and an apparatus for processing a video signal |
KR101452860B1 (ko) * | 2009-08-17 | 2014-10-23 | 삼성전자주식회사 | 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치 |
KR101750046B1 (ko) * | 2010-04-05 | 2017-06-22 | 삼성전자주식회사 | 트리 구조에 따른 부호화 단위에 기반한 인루프 필터링을 수반하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치 |
-
2011
- 2011-09-28 US US13/247,812 patent/US8923395B2/en not_active Expired - Fee Related
- 2011-09-29 KR KR1020137011289A patent/KR101534416B1/ko active IP Right Grant
- 2011-09-29 WO PCT/US2011/054040 patent/WO2012044840A1/en active Application Filing
- 2011-09-29 JP JP2013531867A patent/JP2013543314A/ja not_active Withdrawn
- 2011-09-29 CN CN201180047768.9A patent/CN103140877B/zh active Active
- 2011-09-29 EP EP11767576.9A patent/EP2622577B1/en not_active Not-in-force
-
2015
- 2015-04-16 JP JP2015084351A patent/JP6165798B2/ja not_active Expired - Fee Related
-
2017
- 2017-02-10 JP JP2017023225A patent/JP2017123665A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101682771A (zh) * | 2007-06-15 | 2010-03-24 | 高通股份有限公司 | 视频译码中的自适应系数扫描 |
CN101743751A (zh) * | 2007-06-15 | 2010-06-16 | 高通股份有限公司 | 视帧内预测模式而定的残差块的自适应变换 |
CN101822052A (zh) * | 2007-08-09 | 2010-09-01 | 国立大学法人大阪大学 | 视频流处理设备及其控制方法、程序和记录介质 |
CN101330617A (zh) * | 2008-07-31 | 2008-12-24 | 上海交通大学 | 基于模式映射的多标准帧内预测器的硬件实现方法及装置 |
CN101765008A (zh) * | 2009-12-28 | 2010-06-30 | 北京工业大学 | 视频编解码方法、装置和系统 |
Non-Patent Citations (1)
Title |
---|
GARY SULLIVAN 等: "Joint Model Reference Encoding Methods and Decoding Concealment Methods", 《JOINT VIDEO TEAM (JVT) OF ISO/IEC MPEG AND ITU-T VCEG》, 31 December 2003 (2003-12-31) * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111448798A (zh) * | 2017-12-05 | 2020-07-24 | 交互数字Vc控股公司 | 基于块形状的视频编码和解码的方法和装置 |
US11463702B2 (en) | 2019-04-12 | 2022-10-04 | Beijing Bytedance Network Technology Co., Ltd. | Chroma coding mode determination based on matrix-based intra prediction |
CN113678459A (zh) * | 2019-04-12 | 2021-11-19 | 北京字节跳动网络技术有限公司 | 基于矩阵的帧内预测的适应性 |
US11425389B2 (en) | 2019-04-12 | 2022-08-23 | Beijing Bytedance Network Technology Co., Ltd. | Most probable mode list construction for matrix-based intra prediction |
US11831877B2 (en) | 2019-04-12 | 2023-11-28 | Beijing Bytedance Network Technology Co., Ltd | Calculation in matrix-based intra prediction |
US11451782B2 (en) | 2019-04-12 | 2022-09-20 | Beijing Bytedance Network Technology Co., Ltd. | Calculation in matrix-based intra prediction |
US11457220B2 (en) | 2019-04-12 | 2022-09-27 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between matrix-based intra prediction and other coding tools |
US11457207B2 (en) | 2019-04-16 | 2022-09-27 | Beijing Bytedance Network Technology Co., Ltd. | Matrix derivation in intra coding mode |
US11546633B2 (en) | 2019-05-01 | 2023-01-03 | Beijing Bytedance Network Technology Co., Ltd. | Context coding for matrix-based intra prediction |
US11463729B2 (en) | 2019-05-01 | 2022-10-04 | Beijing Bytedance Network Technology Co., Ltd. | Matrix-based intra prediction using filtering |
US11659185B2 (en) | 2019-05-22 | 2023-05-23 | Beijing Bytedance Network Technology Co., Ltd. | Matrix-based intra prediction using upsampling |
US11451784B2 (en) | 2019-05-31 | 2022-09-20 | Beijing Bytedance Network Technology Co., Ltd. | Restricted upsampling process in matrix-based intra prediction |
US11943444B2 (en) | 2019-05-31 | 2024-03-26 | Beijing Bytedance Network Technology Co., Ltd. | Restricted upsampling process in matrix-based intra prediction |
US11805275B2 (en) | 2019-06-05 | 2023-10-31 | Beijing Bytedance Network Technology Co., Ltd | Context determination for matrix-based intra prediction |
US11606570B2 (en) | 2019-10-28 | 2023-03-14 | Beijing Bytedance Network Technology Co., Ltd. | Syntax signaling and parsing based on colour component |
Also Published As
Publication number | Publication date |
---|---|
CN103140877B (zh) | 2016-05-04 |
JP2013543314A (ja) | 2013-11-28 |
US20120082222A1 (en) | 2012-04-05 |
JP2015173459A (ja) | 2015-10-01 |
EP2622577B1 (en) | 2018-01-03 |
WO2012044840A1 (en) | 2012-04-05 |
US8923395B2 (en) | 2014-12-30 |
EP2622577A1 (en) | 2013-08-07 |
KR101534416B1 (ko) | 2015-07-06 |
KR20130063028A (ko) | 2013-06-13 |
JP2017123665A (ja) | 2017-07-13 |
JP6165798B2 (ja) | 2017-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103140877B (zh) | 使用帧内预测的视频译码 | |
CN103190147B (zh) | 用于视频译码的语法元素的联合译码方法及设备 | |
US9826242B2 (en) | Palette-based video coding | |
CN103299621B (zh) | 用于视频译码中的一般化p/b帧的参考图片列表构造 | |
CN103931182B (zh) | 帧内预测视频译码中的非正方形变换 | |
CN103535033B (zh) | 用于样本自适应偏移的偏移类型及系数信令方法 | |
CN103299620B (zh) | 在视频译码中使用最可能扫描次序对用于视频块的扫描次序信息进行有效译码 | |
CN103026709B (zh) | 用于视频译码的帧间预测模式和参考图片列表索引的译码 | |
CN103404144B (zh) | 视频译码中的经量化脉码调制 | |
JP5922244B2 (ja) | ビデオコーディングにおいて適応ループフィルタとマージされたサンプル適応オフセット | |
CN102172023B (zh) | 用大宏块进行视频译码 | |
CN104126301B (zh) | 在视频译码中使用码簿对环路滤波器参数进行译码 | |
CN103181169A (zh) | 使用联合上下文模型对系数进行熵译码 | |
CN103181170A (zh) | 用于视频译码的变换系数的自适应扫描 | |
CN103141100A (zh) | 用于视频译码的帧内平滑滤波器 | |
CN103202016A (zh) | 用于视频译码的自适应运动向量分辨率信令 | |
CN103891279A (zh) | 用于帧内预测译码的最大概率变换 | |
CN103597832A (zh) | 用于使用相邻模式的视频译码的增强的帧内预测模式信令 | |
CN104221374A (zh) | 在视频译码中分群经旁路译码语法元素 | |
CN103155555A (zh) | 视频译码中的译码预测模式 | |
CN103348677A (zh) | 像素层级自适应帧内平滑化 | |
CN103843347A (zh) | 用于视频译码的运动向量预测值候选剪裁移除 | |
CN103262533A (zh) | 指示用于视频译码的帧内预测模式选择 | |
CN103947205A (zh) | 帧内模式译码中的参考模式选择 | |
CN103238323A (zh) | 在视频译码中基于视频块的扫描次序对块内的最后有效系数的位置进行译码 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |