CN102308586A - 用于视频编码器和解码器隐式和半隐式帧内模式信令的方法和装置 - Google Patents

用于视频编码器和解码器隐式和半隐式帧内模式信令的方法和装置 Download PDF

Info

Publication number
CN102308586A
CN102308586A CN2010800068663A CN201080006866A CN102308586A CN 102308586 A CN102308586 A CN 102308586A CN 2010800068663 A CN2010800068663 A CN 2010800068663A CN 201080006866 A CN201080006866 A CN 201080006866A CN 102308586 A CN102308586 A CN 102308586A
Authority
CN
China
Prior art keywords
mode
frame mode
frame
adjacent forms
adjacent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800068663A
Other languages
English (en)
Other versions
CN102308586B (zh
Inventor
许茜
J.索尔
郑云飞
吕小安
尹鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN102308586A publication Critical patent/CN102308586A/zh
Application granted granted Critical
Publication of CN102308586B publication Critical patent/CN102308586B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种方法和装置，用于视频编码器和解码器的一种装置，包括：编码器(600)，用于对图像的至少一部分编码图像数据，其中所述编码器(600)从相邻模板数据推导应用于该部分的帧内模式并且放弃显式信号化用于所述部分的帧内模式，所述相邻模板数据对应于从所述部分的相邻像素形成的相邻模板。

Description

用于视频编码器和解码器隐式和半隐式帧内模式信令的方法和装置
相关申请的引用
本发明要求2009年2月6日提交的美国临时申请No.61/150,431的优先权，其内容在此全文并入作为参考。
技术领域
本发明总体上涉及视频编解码，具体而言，涉及用于视频编码器和解码器隐式和半隐式帧内模式信令(signaling)的方法和装置。
背景技术
国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组-4(MPEG-4)的第十部分高级视频编码(AVC)标准/国际电信联盟、电信部分(ITU-T)H.264推荐标准(下文称为“MPEG-4AVC”标准)是第一个对帧内编码采用空间方向预测(spatial directional prediction)的视频编码标准。MPEG-4AVC标准提供了更加灵活的预测体系，从而相对于只在变换域进行帧内预测的先前标准而言，编码效率得到极大提高。在MPEG-4AVC标准中，利用周围的可用样本(surrounding available samples)进行空间帧内预测，所述可用样本是在解码器处可得到的相同条(slice)内先前重建的样本。对于亮度(luma)样本，可以在4x4块基(block basis)上进行帧内预测(表示为帧内_4x4)、在8x8块基上进行帧内预测(表示为帧内_8x8)、在16x16块基上进行帧内预测(表示为帧内_16x16)。请参看图1A，附图标记100总体上表示相对于4x4块基的MPEG-4AVC标准方向帧内预测。附图标记110表示预测方向，附图标记120表示图像块，附图标记130表示当前块。除了亮度预测之外，还另外进行色度(chroma)预测。对于帧内_4x4和帧内_8x8总共具有9种预测模型，对于帧内_16x16具有4种预测模型，对于色度分量具有4种预测模式。编码器通常选择能够使预测与将要编码的原始块间的差异最小化的预测模式。另外一种称为I_PCM的帧内编码模式能够使编码器简单地绕开预测并变换编码过程。帧内编码模式I_PCM使编码器能够精确地表示样本的值并且对可能包含在编码宏块中的比特数量设置绝对极限而不限制解码的图像质量。
请参看图2，附图标记200总体上表示MPEG-4AVC标准中用于帧内4x4的预测样本的示例性标记(labeling)。在图2中，当前块之上和左边的样本(用字母A至M标记)之前被编码并且重建，因此，它们可以在编码器和解码器用于形成预测。
请参看图3B-J，附图标记300总体上表示MPEG-4AVC标准的帧内_4x4亮度预测模式。基于样本A至M利用帧内_4x4亮度预测模式计算预测块的样本a、b、c...p。图3B-J中的箭头表示每个帧内_4x4模式300的预测方向。帧内_4x4亮度预测模式300包括模式0至8，模式0(图3B，由附图标记310表示)对应于垂直预测模式，模式1(图3C，由附图标记311表示)对应于水平预测模式，模式2(图3D，由附图标记312表示)对应于DC模式，模式3(图3E，由附图标记313表示)对应于对角线左下(diagonal down-left)模式，模式4(图3F，由附图标记314表示)对应于对角线右下(diagonaldown-right)模式，模式5(图3G，由附图标记315表示)对应于垂直向右(vertical-right)模式，模式6(图3H，由附图标记316表示)对应于水平向下(horizontal-down)模式，模式7(图3I，由附图标记317表示)对应于垂直向左(vertical-left)模式，模式8(图3J，由附图标记318表示)对应于水平向上(horizontal-up)模式。图3A示出了与每一个帧内_4x4模式300的总体预测方向330。在模式3-8(对应于图3E-J)中，由预测样本(prediction sample)A-M的加权平均值形成预测的样本(predicted sample)。在对应于图3D的DC模式中，预测的样本是预测样本A至D和I至L的平均值。帧内_8x8基本上是利用与帧内_4x4预测相同的原理，但是具有8x8的块大小并且用预测器的低通滤波来改善预测性能。
请参看图4A-D，附图标记400总体上表示MPEG-4AVC标准的四个帧内_16x16模式。所述四个帧内_16x16模式包括模式0-3，模式0(图4A，由附图标记410表示)对应于垂直预测模式，模式1(图4B，由附图标记411表示)对应于水平预测模式，模式2(图4C，由附图标记412表示)对应于DC预测模式，模式3(图4D，由附图标记413表示)对应于平面预测模式。帧内编码的宏块的每个8x8色度分量从其上和/或左边的先前编码的色度样本来预测。两个色度分量都利用相同的预测模式。所述四个预测模式与帧内_16x16模式非常相似，不同在于模式的编号不同。模式为DC(模式0)、水平(模式1)、垂直(模式2)和平面(模式3)。
信号化帧内预测模式
每个4x4块的帧内预测模式的选择必须向解码器进行信号化(signal)，这将有可能需要很多比特。MPEG-4AVC标准具有专门方法来信号化所述帧内模式以避免使用大量比特。相邻4x4块的帧内模式通常是相关的。为了利用此相关性，在MPEG-4AVC标准中采用了预测编码以信号化4x4帧内模式。请参看图5，附图标记500总体上表示上述原理可能采用的示例性块分割。附图标记“E”表示当前块。对于每个块(例如图5中的块E)，编码器和解码器计算最可能的预测模式(the most probable prediction mode)，其是块A和块B的预测模式的最小值。如果这些相邻块都不可用(在当前条之外或者不是用4x4模式编码)，将用于缺失块(missing block)(A或B)的相应模式值设置为2(DC预测模式)。
编码器发送用于每个4x4块的标志(flag)，即pre_intra4x4_pred_mode。如果该标志等于1，则使用最可能的预测模式。如果该标记等于0，则发送另外的参数rem_intra4x4_pred_mode以指示模式的改变。如果rem_intra4x4_pred_mode小于当前最可能模式，则将预测模式设置为rem_intra4x4_pred_mode。否则，将预测模式设置为(rem_intra4x4_pred_mode+1)。按照这种方式，只使用传输选择的rem_intra4x4_pred_mode的8个数值(0至7)来信号化当前帧内模式(0至8)。
帧内8x8的信令与帧内4x4的信令相同。用于帧内16x16模式中亮度编码的预测模式或者帧内模式中的色度编码在宏块头中信号化并且在这些情况下不使用所述模式的预测编码。
虽然最可能模式易于计算并且降低了用于编码预测模式所需比特，但在获取块特征的局部变化方面并非是最理想的。
位移帧内预测(DIP)
在ITU-T H.26L标准的开发过程中，提出了位移帧内预测(displaced intraprediction)。该提议再次使用了MPEG-4AVC标准中对于帧内预测规定的可变块大小帧间预测的概念。请参看图1B，附图标记150总体上表示位移帧内预测的实例。位移帧内预测150包括帧内编码区152、当前块154、候选块156以及位移矢量158。一般而言，一个条内的先前编码的帧内区(例如候选块156)可以通过位移矢量(例如位移矢量158)来参考用于当前帧内块(例如当前块154)的预测。在宏块基础上实施位移帧内预测。与MPEG-4AVC标准中的帧间运动矢量类似，利用相邻块的平均值的预测对位移矢量进行差分编码。
虽然当在帧内编码图像中纹理或图案重复出现时先前的位移帧内预测法有效地改善了编码效率，先前的位移帧内预测法的局限性在于，需要额外的比特来传输位移矢量值。
模板匹配预测(TMP)
模板匹配预测是一种纹理合成(texture synthesis)原理，用来处理近似给定样本的连续纹理的产生。
已经有提议在MPEG-4AVC标准范畴中使用模板匹配的帧内预测。在该提议中，将方案整合为用于MPEG-4AVC标准中的帧内4x4或帧内8x8预测的附加模式。采用模板匹配预测，利用图像区域的自相似(self-similarities)进行预测。可以再使用一个条的先前编码的帧内区域来进行预测。TMP算法通过选择解码数据的(一个或多个像素的)至少一个补丁(patch)递归地确定受预测的当前像素的值。根据匹配规则选择，其中相邻于像素的补丁与相邻于像素的当前块相比较，并且选择具有最大相似性的补丁。请参看图1C，附图标记170总体上表示模板匹配帧内预测的实例。模板匹配帧内预测170包括候选邻居172、候选补丁174、模板176和目标178。由于当前像素(例如目标178)的搜索域和邻居(例如候选邻居172)对于编码器和解码器侧是已知的，不需要传输额外辅助信息(side information)，并且在两侧获得相同预测。此处，在2x2亮度样本网格(sample grid)上进行模板匹配以在4:2:0视频序列中获得对于亮度和色度样本的联合预测。
位移帧内预测(DIP)和模板匹配预测(TMP)法都搜索当前图像中先前编码的区域。但是，DIP需要发送位移运动矢量而TM不需要。TM通过比较模板进行位移矢量的隐式推导。隐式推导节省了传输位移矢量的比特。
发明内容
本发明用于克服上述限于技术的缺点和不足，涉及一种用于视频编码器和解码器的隐式和半隐式帧内模式信号化的方法和装置。
根据本发明的一个方面，提供了一种装置。所述装置包括用于编码用于图像的至少一部分的图像数据的编码器。所述编码器从相邻模板数据推导应用于该部分的帧内模式并且放弃显式信号化用于该部分的帧内模式。所述相邻模板数据对应于从该部分的相邻像素形成的相邻模板。
根据本发明的另一个方面，提供了一种视频编码器中的方法。所述方法包括编码用于图像的至少一部分的图像数据，方式是通过从相邻模板数据推导应用于该部分的帧内模式并且放弃显式信号化用于该部分的帧内模式。所述相邻模板数据对应于从该部分的相邻像素形成的相邻模板。
根据本发明的另一个方面，提供了一种装置。所述装置包括用于解码用于图像的至少一部分的图像数据的解码器。所述解码器在不接收用于该部分的帧内模式的显式信令的情况下从相邻模板数据推导应用于该部分的帧内模式。所述相邻模板数据对应于从该部分的相邻像素形成的相邻模板。
根据本发明的另一个方面，提供了一种视频解码器中的方法。所述方法包括解码用于图像的至少一部分的图像数据，方式是通过在不接收用于该部分的帧内模式的显式信令的情况下从相邻模板数据推导应用于该部分的帧内模式。所述相邻模板数据对应于从该部分的相邻像素形成的相邻模板。
通过下面结合附图对本发明的示例性实施方式进行说明，本发明的上和和其他方面、特征和优点将变得显而易见。
附图说明
下面将见解和附图对本发明进行说明，其中：
图1A是显示相对于4x4块基的MPEG-4AVC标准方向帧内预测(帧内_4x4)的示意图；
图1B是显示位移帧内预测实例的示意图；
图1C是显示模板匹配帧内预测实例的示意图；
图2是显示MPEG-4AVC标准中用于帧内_4x4的预测样本的示例性标记的示意图；
图3A-J是显示MPEG-4AVC标准的帧内_4x4亮度预测模式的示意图；
图4A-D是分别显示对应于MPEG-4AVC标准的四个帧内_16x16模式的示意图；
图5是显示可以应用本发明的示例性块分割的示意图；
图6是根据本发明实施方式的可以应用本发明的示例性视频编码器的框图；
图7是根据本发明实施方式的可以应用本发明的示例性视频解码器的框图；
图8是根据本发明实施方式的用于视频编码器中隐式帧内模式信令的示例性方法的流程图；
图9是根据本发明实施方式的用于视频解码器中隐式帧内模式信令的示例性方法的流程图；
图10是根据本发明实施方式的用于视频编码器中半隐式帧内模式信令的示例性方法的流程图；
图11是根据本发明实施方式的用于视频解码器中半隐式帧内模式信令的示例性方法的流程图；
图12是根据本发明实施方式的用于能够支持MPEG-4AVC标准的视频编码器中隐式帧内模式信令的示例性方法的流程图；
图13是根据本发明实施方式的用于能够支持MPEG-4AVC标准的视频解码器中隐式帧内模式信令的示例性方法的流程图；
图14是根据本发明实施方式的用于视频编码器中隐式帧内模式信令的示例性方法的流程图；
图15是根据本发明实施方式的用于视频解码器中隐式帧内模式信令的示例性方法的流程图；
图16是根据本发明实施方式的用于视频编码器中隐式帧内模式信令的示例性方法的流程图；
图17是根据本发明实施方式的用于视频解码器中隐式帧内模式信令的示例性方法的流程图；
图18是根据本发明实施方式的用于视频编码器中半隐式帧内模式信令的示例性方法的流程图；
图19是根据本发明实施方式的用于视频解码器中半隐式帧内模式信令的示例性方法的流程图。
具体实施方式
本发明涉及用于视频编码器和解码器的隐式和半隐式帧内模式信令的方法和装置。
本说明书解释了本发明的原理。虽然在本说明书中并未描述，但本领域普通技术人员在本发明的原理和范围之内能够设想出各种实施方式。
本说明书中所采用的示例性和条件性的语言的目的在于帮助阅读者理解由发明人对现有技术进行改进的本发明的原理和概念，本发明并不局限于这种特定的实例和条件。
并且，对于本发明原理、方面和实施方式以及特定实例的所有陈述都意在包括等同的结构和功能。另外，这种等同结构和功能包括当前已知和以后开发出来的结构和功能、即不论结构如何而用来执行相同功能的任何元件。
因此，例如，本领域普通技术人员可以理解，说明书中的框图表示根据本发明原理的实施方式的示例性电路的概念性图示。类似地，可以理解，任何流程图、操作程序图、状态转换图、伪代码等都表示能够有计算机可读介质表示并因而由计算机或处理器执行的各种过程步骤，这种计算机或处理器是否明确示出并无关系。
附图中所示各种元件的功能可以与适当的软件联合通过使用专用硬件以及能够执行软件的硬件来提供。当通过处理器提供时，该功能可以通过单个专用处理器、单个共享处理器或者多个处理器(某些可以共享)来提供。并且，术语“处理器”或者“控制器”的明确使用不应当被理解为专指能够执行软件的硬件，还可以非限制性地包括数字信号处理器(DSP)、用于存储软件的只读存储器(ROM)、随机访问存储器(RAM)以及非易失性存储器。
其他普通和/或定制硬件也可以包括进来。类似地，图中所示的任何开关都是概念性的。其功能可以通过程序逻辑、专用逻辑、程序控制和专用逻辑的相互作用甚至手动操作来执行，实施者可以根据应用环境选择特定的技术。
在权利要求中，任何被表达为用于执行特定功能的元件都包括执行该功能的任何方式，例如：a)执行该功能的电路元件的组合；b)任何形式的软件，包括固件、微代码等，与适当的电路结合以执行该软件从而执行该功能。这些权利要求限定的本发明的原理基于的事实是，各个引用的装置所提供的功能型以权利要求要求的方式结合在一起。因此可以认为任何能够提供这些功能性的装置都等同于所述装置。
说明书中所提到的本发明原理的“一个实施方式”或“实施方式”表示特定结合该实施方式描述的特征、结构、要素包括在本发明原理的至少一个实施方式中。因此，说明书各个地方出现的表述“在一个实施方式中”或“在实施方式中”不一定指同一实施方式。
可以理解，用法“/”、“和/或”以及“至少其中之一”，例如“A/B”“A和/或B”和“A和B至少其中之一”，目的是包括选择列出的第一选项(A)、列出的第二选项(B)或者选择两个选项(A和B)。作为进一步的例子，在“A、B和/或C”和“A、B和C至少其中之一”的情况下，这种措辞目的是包括选择列出的第一选项(A)、列出的第二选项(B)、列出的第三选项(C)、第一和第二选项(A和B)、第一和第三选项(A和C)、第二和第三选项(B和C)、或者选择全部三个选项(A和B和C)。对于列举的许多项目，本领域和相关领域普通技术人员可以清楚地理解。
并且，虽然结合MPEG-4AVC标准对本发明一个或多个实施方式进行了说明，但是本发明并不局限于此标准，而是在本发明原理范围内能够应用于其他视频编码标准、推荐性标准及其扩展，包括MPEG-4AVC的扩展。
在说明书中，“高级语法(high level syntax)”指位于在层次结构中宏块层之上的比特流中的语法。例如，说明书中所用的高级语法可能但不局限于指的是在条标题(slice header)级、补充增强信息(SEI)级、图像参数集级、序列参数集级和NAL(网络抽象层)单元标题级的语法。
另外，本说明书中“相邻块”指最接近特定图像中当前块的块。
并且，在本说明书中，“相邻模板”指图像中由一个或多个相邻像素形成或者对应于所述一个或多个相邻像素的区域。换言之，“相邻模板”例如是指相邻像素的设置和/或选择，从中可以推导出用于当前块的信息(例如相邻模板数据)。
另外，在本说明书中，“相邻模板数据”指基于所述相邻模板推导出和/或获得的数据。例如，该数据可以是与形成相邻模板的一个或多个相邻像素相关的数据。另一个例子是，该数据可以包括但不局限于与相乘相邻模板的一个或多个相邻像素相关的帧内模式信息。
请参看图6，附图标记600总体上表示根据本发明的示例性视频编码器。
视频编码器600包括帧排序缓存器610，帧排序缓存器610的输出与合成器685的同相输入信号通信。合成器685的输入与转换器和量化器625的第一输入相连接以进行信号通信。转换器和量化器625的输出与熵编码器645的第一输入和逆转换器和逆量化器650的第一输入相连接以进行信号通信。熵编码器645的输出与合成器690的第一同相输入相连接以进行信号通信。合成器690的输出与输出缓存器635的第一输入相连接以进行信号通信。
编码器控制器605的第一输出与帧排序缓存器610的第二输入、逆转换器和逆量化器650的第二输入、图像类型判断模块615的输入、宏块类型(MB-type)判断模块620的第一输入、帧内预测模块660的第一输入、解块滤波器665的第二输入、运动补偿器670的第一输入、运动估计器675的第一输入和参考图像缓存器680的第二输入相连接以进行信号通信。
编码器控制器605的第二输出与附加增强信息(SEI)插入器630的第一输入、转换器和量化器625的第二输入、上编码器645的第二输入、输出缓存器635的第二输入以及序列参数集(SPS)和图像参数集(PPS)插入器640的输入相连接以进行信号通信。
SEI插入器630的输出与合成器690的第二同相输入相连接以进行信号通信。
图像类型判断模块615的第一输出与帧排序缓存器610的第三输入相连接以进行信号通信。图像类型判断模块615的第二输出与帧排序缓存器610的第三输入相连接以进行信号通信。
序列参数集(SPS)和图像参数集(PPS)插入器640的输出与合成器690的第三同相输入相连接以进行信号通信。
逆转换器和逆量化器650的输出与合成器619的第一同相输入相连接以进行信号通信。合成器619的输出与帧内预测模块660的第一输入和解块滤波器665的第一输入相连接以进行信号通信。解块滤波器665的输出与参考图像缓存器680的第一输入相连接以进行信号通信。参考图像缓存器680的输出与运动估计器675的第二输入和运动补偿器670的第三输入相连接以进行信号通信。运动估计器675的第一输出与运动补偿器670的第二输入相连接以进行信号通信。运动估计器675的第二输出与熵编码器645的第三输入相连接以进行信号通信。
运动补偿器670的输出与开关697的第一输入相连接以进行信号通信。帧内预测模块660的输出与开关697的第二输入相连接以进行信号通信。宏块类型判断模块620的输出与开关697的第三输入相连接以进行信号通信。开关697的第三输入判断开关的“数据”输入(与控制输入、即第三输入相比较而言)应由运动补偿器670还是帧内预测模块660来提供。开关697的输出与合成器619的第二同相输入和合成器685的倒相输入相连接以进行信号通信。
帧排序缓存器610的第一输入和编码器控制器605的输入可以作为编码器600的输入，用于接收输入图像。并且，附加增强信息(SEI)插入器630的第二输入可以作为编码器600的输入，用于接收输入图像。输出缓存器635的输出可以作为编码器600的输出，用于输出比特流。
请参看图7，附图标记700总体上表示可以应用本发明的示例性视频解码器。
视频编码器700包括输入缓存器710，输入缓存器710的输出与熵解码器745的第一输入相连接以进行信号通信。熵解码器745的第一输出与逆转换器和逆量化器750的第一输入相连接以进行信号通信。逆转换器和逆量化器650的输出与合成器725的第二同相输入第一输入相连接以进行信号通信。合成器725的输出与解块滤波器765的第二输入和帧内预测模块765的第一输入相连接以进行信号通信。解块滤波器765的第二输出与参考图像缓存器780的第一输入相连接以进行信号通信。参考图像缓存器780的输出与运动补偿器770的第二输入相连接以进行信号通信。
熵解码器745的第二输出与运动补偿器770的第三输入和解块滤波器765的第一输入相连接以进行信号通信。熵解码器745的第三输出与解码器控制器705的输入相连接以进行信号通信。解码器控制器705的第一输出与熵解码器745的第二输入相连接以进行信号通信。解码器控制器705的第二输出与逆转换器和逆量化器750的第二输入相连接以进行信号通信。解码器控制器705的第三输出与解块滤波器765的第三输入相连接以进行信号通信。解码器控制器705的第四输出与帧内预测模块760的第二输入、运动补偿器670的第一输入以及参考图像缓存器780的第二输入相连接以进行信号通信。
运动补偿器770的输出与开关797的第一输入相连接以进行信号通信。帧内预测模块760的输出与开关797的第二输入相连接以进行信号通信。开关797的输出与合成器725的第一同相输入相连接以进行信号通信。
输入缓存器710的输入可以作为解码器700的输入，用于接收输入比特流。解块滤波器765的第一输出可以作为解码器700的输出，用于输出比输出图像。
如上所述，本发明涉及用于视频编码器和解码器的隐式和半隐式帧内模式信令的方法和装置。在一个实施方式中，本发明基于模板匹配。
有利地，隐式帧内模式推导节省用于指示所选帧内模式的比特传输。另外，说明书中还描述了显式推导与隐式推导的结合。此种模式被称为半隐式模式。
另外，如上所述，虽然现有技术所采用的最可能模式易于计算并降低了用于编码预测模式所需比特数量，但在获得块特征的局部变化方面不是最理想的。因此，根据本发明，将块特征的局部变化考虑在内提供了最可能模式的改善预测，因此降低了信号化所选帧内模式所需比特数量。
用于信号化帧内预测模式的方法对于用于帧内编码的当前视频编码器是至关重要。现有技术并未充分利用相邻数据来确定最佳预测和预测模型。根据本发明，提出了一种新的途径来推导帧内模式。在各个实施方式中，对用于隐式和半隐式信令以及其结合的多个方法进行了描述。隐式信令不需要发送比特以传达应使用何种预测模式。半隐式推导有助于获得将要使用的帧内模式的更佳的预测(例如相对于速率失真)。并且，隐式和显式信令的结合可以将先前方法的优势结合起来。
因此，根据本发明，提议使用隐式和半隐式帧内模式信令。在一个实施方式中，提出的方案基于由相邻样本构成的样本预测帧内模式。对于将要预测的帧的区域或块的模式，检测已经解码的当前块的相邻模板。将用于相邻补丁的最佳模式预测为当前块的帧内模式。说明书将描述帧内模式的隐式信令的实施例和该模式的半隐式推导的实施例，以及隐式和半隐式结合的实施例。虽然本说明书在MPEG-4AVC标准的背景下对本发明的现有技术进行说明，并且将本发明与MPEG-4AVC标准进行优点和益处的对比，但是本发明总体上能够应用于视频编码和解码，而非局限于(并且实际上并非符合)现有标准或推荐性标准。
在一个实施方式中，解码器例如可以利用隐式或半隐式模式信令选择是否发送模式预测误差。由于当前像素的邻居在编码器侧和解码器侧是已知的，不需要传输额外的辅助信息，并且在两侧(编码器侧和解码器侧)能够获得相同的预测。
请参看图8，附图标记800总体上表示视频编码器中隐式帧内模式信令的方法。所述方法800包括起始框805，其将控制传递至功能框810。功能框810将帧内模式预测为最可能模式mp，并将控制传递至功能框815。功能框815利用最可能模式mp编码当前块并将控制传递至结束框899。
请参看图9，附图标记900总体上表示视频解码器中隐式帧内模式信令的方法。所述方法900包括起始框905，其将控制传递至功能框910。功能框910将帧内模式预测为最可能模式mp，并将控制传递至功能框915。功能框915利用最可能模式mp解码当前块并将控制传递至结束框999。
请参看图10，附图标记1000总体上表示视频编码器中半隐式帧内模式信令的方法。所述方法1000包括起始框1005，其将控制传递至功能框1010。功能框1010将帧内模式预测为最可能模式mL，并将控制传递至功能框1015和判断框1020。功能框1015将帧内模式推导为最佳率失真基础模式mRD(也称为“best_mode RD based”)，并将控制传递至判断框1020。判断框判断是否mL＝mRD。如果是，则控制传递至功能块1025。否则控制传递至功能框1035。
功能框1025设置most_probable_mode＝1，并将控制传递至功能框1030。功能框1030利用mRD编码当前块并将控制传递至结束框1099。
功能框1035设置most_probable_mode＝0，并将控制传递至功能框1040。功能框1040信号化帧内预测模式并将控制传递至功能框1030。
请参看图11，附图标记1100总体上表示视频解码器中半隐式帧内模式信令的方法。所述方法1100包括起始框1105，其将控制传递至功能框1110。功能框1110解析所述比特流，并将控制传递至功能框1115。功能框1115将当前块的帧内模式预测为最可能模式，并将控制传递至判断框1120。判断框1120读取most_probable_mode并判断most_probable_mode是否被设置为1或0。如果most_probable_mode＝1，将控制传递至功能框1125。否则将控制传递至功能框1135。
功能框1125输出帧内模式，并将控制传递至功能框1130。功能框1130利用mRD解码当前块并将控制传递至结束框1199。
功能框1135读取帧内预测模式并将控制传递至功能框1125。
在下面参照附图12和13说明的第一实施方式中，为了判断当前块的帧内模式，首先搜索其相邻补丁的最佳帧内模式。该编码器利用用于帧内_4x4和帧内_8x8的9种模式或者用于帧内_16x16的4中模式计算其相邻补丁的预测。然后，编码器选择能使预测和解码的相邻补丁之间的差异(SAD、MSE和/或其他等等)最小化的模式。将采用模式mode_p来编码当前块。可以在解码器进行相同操作并且产生相同预测模式。
请参看图12，附图标记1200总体上表示能够支持MPEG-4AVC标准的视频编码器中隐式帧内模式信令的方法。所述方法1200包括起始框1205，其将控制传递至循环限制框1210。循环限制框1210从0至num_MBs_minus1在当前图像(字段或帧)或图像的一部分的每一个宏块上开始循环i，并将控制传递至循环限制框1215。循环限制框1215从1至num_Intra_Modes在每个帧内模式上开始循环j，并将控制传递至功能框1220。功能框1220以模式j计算预测和块i的相邻区域的绝对差值和(SAD)，并将控制传递至循环限制框1225。循环限制框1225结束循环j，并将控制传递至功能框1230。功能框1230设置mode_p＝具有最小SAD的模式j并将控制传递至功能框1235。功能框1235利用mode_p编码当前块，并将控制传递至循环限制框1240。循环限制框1240结束循环i，并将控制传递至结束框1299。
请参看图13，附图标记1300总体上表示能够支持MPEG-4AVC标准的视频解码器中隐式帧内模式信令的方法。所述方法1300包括起始框1305，其将控制传递至循环限制框1310。循环限制框1310从0至num_MBs_minus1在当前图像(字段或帧)或图像的一部分的每一个宏块上开始循环i，并将控制传递至循环限制框1315。循环限制框1315从1至num_Intra_Modes在每个帧内模式上开始循环j，并将控制传递至功能框1320。功能框1320以模式j计算预测和块i的相邻区域的绝对差值和(SAD)，并将控制传递至循环限制框1325。循环限制框1325结束循环j，并将控制传递至功能框1330。功能框1330设置mode_p＝具有最小SAD的模式j并将控制传递至功能框1335。功能框1235利用mode_p解码当前块，并将控制传递至循环限制框1340。循环限制框1340结束循环i，并将控制传递至结束框1399。
在下面参照附图14和15说明的第二实施方式中，考虑MPEG-4AVC标准的最可能模式并通过只在有限范围内搜索来降低计算复杂性。图14和15分别说明视频编码器和解码器中包括的隐式帧内模式信令。在编码当前块之前，如下设置最可能模式：
mode_a＝f(mode_neighbor_1，mode_neighbor_2，...，mode_neighbor_n)
其中mode_neighbor_i是各个相邻块的帧内模式，f(.)是相邻块模式的函数。为了判断当前块的帧内模式，只以与mode_a相关的模式集检测其相邻补丁。换言之，在集合M＝ψ(mode_a)中对每个模式计算预测和SAD，然后从M中选择最佳模式mode_p。ψ是输入模式并输出模式范围的函数。将使用模式mode_p协助编码当前块。可以在解码器进行相同操作并且产生相同预测模式。
请参看图14，附图标记1400总体上表示能够支持MPEG-4AVC标准的视频编码器中隐式帧内模式信令的方法。所述方法1400包括起始框1405，其将控制传递至循环限制框1410。循环限制框1410从0至num_MBs_minus1在当前图像(字段或帧)或图像的一部分的每一个宏块上开始循环i，并将控制传递至功能框1415。功能框1415设置mode_a＝f(mode_neighbor_1，mode_neighbor_2，...，mode_neighbor_n)，并将控制传递至循环限制框1420。循环限制框1420从1至num_Intra_Modes在每个帧内模式上开始循环j，并将控制传递至判断框1425。判断框1425判断是否(mode_a)。如果是，则将控制传递至功能框1430。否则将控制传递至循环限制框1435。
功能框1430以模式j计算预测和块i的相邻区域的绝对差值和(SAD)，并将控制传递至循环限制框1435。
循环限制框1435结束循环j，并将控制传递至功能框1440。功能框1440设置mode_p＝具有最小SAD的模式j并将控制传递至功能框1445。功能框1445利用mode_p编码当前块，并将控制传递至循环限制框1450。循环限制框1450结束循环i，并将控制传递至结束框1499。
请参看图15，附图标记1500总体上表示能够支持MPEG-4AVC标准的视频解码器中隐式帧内模式信令的方法。所述方法1500包括起始框1505，其将控制传递至循环限制框1510。循环限制框1510从0至num_MBs_minus1在当前图像(字段或帧)或图像的一部分的每一个宏块上开始循环i，并将控制传递至功能框1515。功能框1515设置mode_a＝f(mode_neighbor_1，mode_neighbor_2，...，mode_neighbor_n)，并将控制传递至循环限制框1520。循环限制框1520从1至num_Intra_Modes在每个帧内模式上开始循环j，并将控制传递至判断框1525。判断框1525判断是否
Figure BDA0000081708250000142
(mode_a)。如果是，则将控制传递至功能框1530。否则将控制传递至循环限制框1535。
循环限制框1530以模式j计算预测和块i的相邻区域的绝对差值和(SAD)，并将控制传递至循环限制框1535。
循环限制框1535结束循环j，并将控制传递至功能框1540。功能框1540设置mode_p＝具有最小SAD的模式j并将控制传递至功能框1545。功能框1545利用mode_p解码当前块，并将控制传递至循环限制框1550。循环限制框1550结束循环i，并将控制传递至结束框1599。
在下面参照附图16和17说明的第三实施方式中，利用MPEG-4AVC标准的最可能模式来降低帧内预测残差并提高编码效率。图16和17分别说明视频编码器和解码器中包括的隐式帧内模式信令。在编码器选择用于相邻补丁的最佳帧内模式mode_b之后，将当前块的帧内模式预测为
Figure BDA0000081708250000151
Figure BDA0000081708250000152
(mode_b，mode_neighbor_1，mode_neighbor_2，...，mode_neighbor_n)。利用该模式编码当前块。可以在解码器进行相同操作并且产生相同预测模式。
请参看图16，附图标记1600总体上表示能够支持MPEG-4AVC标准的视频编码器中隐式帧内模式信令的方法。所述方法1600包括起始框1605，其将控制传递至循环限制框1610。循环限制框1610从0至num_MBs_minus1在当前图像(字段或帧)或图像的一部分的每一个宏块上开始循环i，并将控制传递至循环限制框1615。循环限制框1615从1至num_Intra_Modes在每个帧内模式上开始循环j，并将控制传递至功能框1620。功能框1620以模式j计算预测和块i的相邻区域的绝对差值和(SAD)，并将控制传递至循环限制框1625。循环限制框1625结束循环j，并将控制传递至功能框1630。功能框1630设置mode_b＝具有最小SAD的模式j并将控制传递至功能框1635。功能框1635设置模式预测器
Figure BDA0000081708250000153
(mode_b_，mode_neighboring_1，...，mode_neighbor_n)，并将控制传递至功能框1640。功能框1640利用mode_p编码当前块，并将控制传递至循环限制框1645。循环限制框1645结束循环i，并将控制传递至结束框1699。
请参看图17，附图标记1700总体上表示能够支持MPEG-4AVC标准的视频解码器中隐式帧内模式信令的方法。所述方法1700包括起始框1705，其将控制传递至循环限制框1710。循环限制框1710从0至num_MBs_minus1在当前图像(字段或帧)或图像的一部分的每一个宏块上开始循环i，并将控制传递至循环限制框1715。循环限制框1715从1至num_Intra_Modes在每个帧内模式上开始循环j，并将控制传递至功能框1720。功能框1720以模式j计算预测和块i的相邻区域的绝对差值和(SAD)，并将控制传递至循环限制框1725。循环限制框1725结束循环j，并将控制传递至功能框1730。功能框1730设置mode_b＝具有最小SAD的模式j并将控制传递至功能框1735。功能框1735设置模式预测器
Figure BDA0000081708250000161
(mode_b_，mode_neighboring_1，...，mode_neighbor_n)，并将控制传递至功能框1740。功能框1740利用mode_p解码当前块，并将控制传递至循环限制框1745。循环限制框1745结束循环i，并将控制传递至结束框1799。
在下面参照附图18和19说明的第四实施方式中，编码器可以向解码器发送模式预测误差。图18和19分别说明视频编码器和解码器中包括的半隐式帧内模式信令。在编码当前块之前，将最可能模式设置为mode_a＝f(mode_neighbor_1，mode_neighbor_2，...，mode_neighbor_n)，其中mode_neighbor_i是相邻块的帧内模式，f(.)是相邻块模式的函数。作为具体实施方式，可以设置mode_a＝min(mode_up，mode_left)，与MPEG-4AVC标准最可能模式类似。为了判断当前块的帧内模式，只以与mode_a相关的模式集检测其相邻补丁。在集合M＝ψ(mode_a)中对每个模式计算预测和SAD，然后从M中选择最佳模式mode_p。具体而言，如果像MPEG-4AVC标准那样排序帧内模式，可以将ψ(mode_a)设置在mode_max是最大模式系数的区域[max{0，mode_a-2}，min{mode_a+1，mode_max}]。然后，将当前块的帧内模式预测为
Figure BDA0000081708250000162
(mode_b，mode_neighbor_1，mode_neighbor_2，...，mode_neighbor_n)。函数的一个可能实施方式是mode_p＝median{mode_b，mode_up，mode_left}。此后，对当前块进行率失真(RD)最优化模式判断。最佳模式mode_rd是提供最小RD成本的模式，这需要考虑相对于mode_p编码模式所需速率。最后，像MPEG-4AVC标准那样向解码器信号化mode_rd与mode_p之间的差异，可以在解码器进行相同操作并且产生相同预测模式。
请参看图18，附图标记1800总体上表示视频编码器中半隐式帧内模式信令的方法。所述方法1800包括起始框1805，其将控制传递至循环限制框1810。循环限制框1810从0至num_MBs_minus1在当前图像(字段或帧)或图像的一部分的每一个宏块上开始循环i，并将控制传递至功能框1815。功能框1815设置mode_a＝f(mode_neighbor_1，mode_neighbor_2，...，mode_neighbor_n)，并将控制传递至循环限制框1820。循环限制框1820从1至num_Intra_Modes在每个帧内模式上开始循环j，并将控制传递至判断框1825。判断框1825判断是否
Figure BDA0000081708250000164
(mode_a)。如果是，则将控制传递至功能框1830。否则将控制传递至循环限制框1835。
功能框1830以模式j计算预测和块i的相邻区域的绝对差值和(SAD)，并将控制传递至循环限制框1835。
循环限制框1835结束循环j，并将控制传递至功能框1840。功能框1840设置mode_p＝具有最小SAD的模式j并将控制传递至功能框1845。功能框1845设置模式预测器
Figure BDA0000081708250000171
(mode_b_，mode_neighboring_1，...，mode_neighbor_n)，并将控制传递至功能框1850。功能框1850将对当前块进行模式判断为mode_rd，并将控制传递至功能框1855。功能框1855相对于mode_p熵编码mode_rd，并将控制传递至循环限制框1860。循环限制框1860结束循环i，并将控制传递至结束框1899。
请参看图19，附图标记1900总体上表示视频解码器中半隐式帧内模式信令的方法。所述方法1900包括起始框1905，其将控制传递至循环限制框1910。循环限制框1910从0至num_MBs_minus1在当前图像(字段或帧)或图像的一部分的每一个宏块上开始循环i，并将控制传递至功能框1915。功能框1915设置mode_a＝f(mode_neighbor_1，mode_neighbor_2，...，mode_neighbor_n)，并将控制传递至循环限制框1920。循环限制框1920从1至num_Intra_Modes在每个帧内模式上开始循环j，并将控制传递至判断框1925。判断框1925判断是否
Figure BDA0000081708250000172
(mode_a)。如果是，则将控制传递至功能框1930。否则将控制传递至循环限制框1935。
功能框1930以模式j计算预测和块i的相邻区域的绝对差值和(SAD)，并将控制传递至循环限制框1935。
循环限制框1935结束循环j，并将控制传递至功能框1940。功能框1940设置mode_p＝具有最小SAD的模式j并将控制传递至功能框1945。功能框1945设置模式预测器
Figure BDA0000081708250000173
(mode_b_，mode_neighboring_1，...，mode_neighbor_n)，并将控制传递至功能框1950。功能框1950基于mode_p解码mode_rd，并将控制传递至功能框1955。功能框1955利用mode_rd解码当前块，并将控制传递至循环限制框1960。循环限制框1960结束循环i，并将控制传递至结束框1999。
在第五实施方式中，对于某些块使用隐式模式，对于其他块使用显式模式。这种模式的隐式-显式结合对于全部显式块提供了率失真(RD)方面的最佳选择，这对于隐式块是满意的锚图像(anchor)。同时，对于“隐式块”不需要像对于“显式块”那样发送辅助信息，但是“隐式块”利用“显式块”作为良好参考来推导最可能模式。利用此块的结合，可以同时获得隐式和显式信令的优势。
本发明的启用(enabling)或禁用(disabling)可以用高级语法来信号化。如果所述，高级语法可能包括但不局限于在条标题(slice header)级、补充增强信息(SEI)级、图像参数集级、序列参数集级和NAL(网络抽象层)单元标题级的语法。
下面将对本发明带来的许多优势/特征进行说明，其中一些已经在上文中提及。例如，一个优势/特征是一种装置，所述装置包括用于编码用于图像的至少一部分的图像数据的编码器。所述编码器从相邻模板数据推导应用于该部分的帧内模式并且放弃显式信号化用于该部分的帧内模式。所述相邻模板数据对应于从该部分的相邻像素形成的相邻模板。
另一个优势/特征是如上所述具有编码器的装置，其中利用所述相邻模板数据试验可用帧内模式集的子集来隐式推导出所述部分的帧内模式，并且基于最小失真测量选择所述子集内的特定帧内模式作为所述部分的帧内模式。
另一个优势/特征是如上所述具有编码器的装置，其中利用所述相邻模板数据试验可用帧内模式集的子集来隐式推导出所述部分的帧内模式，并且基于最小失真测量选择所述子集内的特定帧内模式作为所述部分的帧内模式，其中基于绝对差值的和或者均方差确定所述最小失真测量。
另一个优势/特征是如上所述具有编码器的装置，其中利用所述相邻模板数据试验可用帧内模式集的子集来隐式推导出所述部分的帧内模式，并且基于最小失真测量选择所述子集内的特定帧内模式作为所述部分的帧内模式，其中基于用于相邻块的帧内模式的函数确定所述子集。
另一个优势/特征是如上所述具有编码器的装置，其中利用所述相邻模板数据试验可用帧内模式集的子集来隐式推导出所述部分的帧内模式，并且基于最小失真测量选择所述子集内的特定帧内模式作为所述部分的帧内模式，其中按照相邻块的帧内模式和相邻模板的最佳模式的函数进一步隐式推导用于所述部分的帧内模式。
另一个优势/特征是如上所述具有编码器的装置，其中按照相邻块的帧内模式和相邻模板的最佳模式的函数进一步隐式推导用于所述部分的帧内模式，其中通过试验用于相邻模板的数个或全部帧内模式并且从用于相邻模板的数个或全部帧内模式中选择提供最小失真测量的给定帧内模式作为用于所述相邻模板的最佳模式来确定所述用于相邻模板的最佳模式。
另一个优势/特征是如上所述具有编码器的装置，其中按照相邻块的帧内模式和相邻模板的最佳模式的函数进一步隐式推导用于所述部分的帧内模式，其中所述函数是中值函数。
另一个优势/特征是如上所述具有编码器的装置，其中对于图像中块子集进行隐式帧内模式推导，而对于所述图像中的其他块进行显式帧内模式信令，所述块的子集是所述部分。
基于上述说明，本领域普通技术人员可以理解本发明的其他特征和优势。可以理解，本发明的原理可以通过各种形式的硬件、软件、固件、专用处理器及其组合来实现。
最优选地，本发明的原理可以作为硬件和软件的组合来实现。并且，软件可以作为嵌入在程序存储单元上地应用程序来实现。应用程序可以被上载至包含任何适当集结构的机器并由其执行。优选地，该机器在具有硬件的计算极平台上执行，所述硬件例如是一个或多个中央处理器(CPU)、随机访问存储器(RAM)、输入输出(I/O)接口。计算机平台还可以包括操作系统和微指令代码。本文所述各种处理和功能可以是能够由CPU处理的微指令代码的一部分或应用程序的一部分，或者它们的组合。另外，各种外围设备可以连接至计算机平台，例如附加数据存储单元和打印单元。
可以进一步理解的是，因为附图中描述的某些系统构成部件和方法优选由软件实现，系统元件或者处理功能框之间的实际连接根据本发明的原理被编程的方式可能存在不同之处。基于本发明的原理，本领域普通技术人员可以设想到用来实现本发明原理的上述和其他方式或结构。
虽然结合目前优选实施例对本发明进行了说明，但是可以理解本发明并不局限于公开的实施例。而且，在本发明的原理和范围之内，可以对本发明进行修改以引入本说明书未说明的任何变化、改变、替换或者等同设置。因此，本发明不应被视为由上述说明来限制，而是由所附权利要求的范围来限定。

Claims (33)

1.一种装置，包括：
编码器(600)，用于对图像的至少一部分编码图像数据，其中所述编码器从相邻模板数据推导应用于所述部分的帧内模式并且放弃显式信号化用于所述部分的帧内模式，所述相邻模板数据对应于从所述部分的相邻像素形成的相邻模板。
2.根据权利要求1所述装置，其中利用所述相邻模板数据试验可用帧内模式集的子集来隐式推导出所述部分的帧内模式，并且基于最小失真测量选择所述子集内的特定帧内模式作为所述部分的帧内模式。
3.根据权利要求2所述装置，其中基于绝对差值的和或者均方差确定所述最小失真测量。
4.根据权利要求2所述装置，其中基于用于相邻块的帧内模式的函数确定所述子集。
5.根据权利要求2所述装置，其中按照相邻块的帧内模式和相邻模板的最佳模式的函数进一步隐式推导用于所述部分的帧内模式。
6.根据权利要求5所述装置，其中通过试验用于相邻模板的数个或全部帧内模式并且从用于相邻模板的数个或全部帧内模式中选择提供最小失真测量的给定帧内模式作为用于所述相邻模板的最佳模式来确定所述用于相邻模板的最佳模式。
7.根据权利要求5所述装置，其中所述函数是中值函数。
8.根据权利要求1所述装置，其中对于图像中块的子集进行隐式帧内模式推导，而对于所述图像中的其他块进行显式帧内模式信令，所述块的子集是所述部分。
9.一种视频编码器中的方法，包括：
通过从相邻模板数据推导应用于图像的至少一部分的帧内模式编码用于所述部分的图像数据(1220，1230，1415，1425，1430，1440，1620，1630，1635)；并且
放弃显式信号化用于所述部分的帧内模式，
其中所述相邻模板数据对应于从所述部分的相邻像素形成的相邻模板。
10.根据权利要求9所述方法，其中利用所述相邻模板数据试验可用帧内模式集的子集来隐式推导出所述部分的帧内模式，并且基于最小失真测量选择所述子集内的特定帧内模式作为所述部分的帧内模式(1220，1230，1430，1440，1620，1630，1830，1840)。
11.根据权利要求10所述方法，其中基于绝对差值的和或者均方差确定所述最小失真测量。
12.根据权利要求10所述方法，其中基于用于相邻块的帧内模式的函数确定所述子集(1415，1425，1815，1825)。
13.根据权利要求10所述方法，其中按照相邻块的帧内模式和相邻模板的最佳模式的函数进一步隐式推导用于所述部分的帧内模式(1635)。
14.根据权利要求13所述方法，其中通过试验用于相邻模板的数个或全部帧内模式并且从用于相邻模板的数个或全部帧内模式中选择提供最小失真测量的给定帧内模式作为用于所述相邻模板的最佳模式来确定所述用于相邻模板的最佳模式(1620，1630)。
15.根据权利要求13所述方法，其中所述函数是中值函数(1635，1845)。
16.根据权利要求9所述方法，其中对于图像中块的子集进行隐式帧内模式推导，而对于所述图像中的其他块进行显式帧内模式信令(1815，1825，1830，1840，1845，1855)，所述块的子集是所述部分。
17.一种装置，包括：
解码器(700)，用于对图像的至少一部分解码图像数据，其中所述解码器在不接收用于所述部分的帧内模式的显式信令的情况下从相邻模板数据推导应用于所述部分的帧内模式，所述相邻模板数据对应于从所述部分的相邻像素形成的相邻模板。
18.根据权利要求17所述装置，其中利用所述相邻模板数据试验可用帧内模式集的子集来隐式推导出所述部分的帧内模式，并且基于最小失真测量选择所述子集内的特定帧内模式作为所述部分的帧内模式。
19.根据权利要求18所述装置，其中基于绝对差值的和或者均方差确定所述最小失真测量。
20.根据权利要求18所述装置，其中基于用于相邻块的帧内模式的函数确定所述子集。
21.根据权利要求18所述装置，其中按照相邻块的帧内模式和相邻模板的最佳模式的函数进一步隐式推导用于所述部分的帧内模式。
22.根据权利要求21所述装置，其中通过试验用于相邻模板的数个或全部帧内模式并且从用于相邻模板的数个或全部帧内模式中选择提供最小失真测量的给定帧内模式作为用于所述相邻模板的最佳模式来确定所述用于相邻模板的最佳模式。
23.根据权利要求21所述装置，其中所述函数是中值函数。
24.根据权利要求17所述装置，其中对于图像中块的子集进行隐式帧内模式推导，而对于所述图像中的其他块进行显式帧内模式信令，所述块的子集是所述部分。
25.一种视频解码器中的方法，包括：
在不接收用于图像的至少一部分的帧内模式的显式信令的情况下从相邻模板数据推导应用于所述部分的帧内模式对所述部分进行解码，
其中所述相邻模板数据对应于从所述部分的相邻像素形成的相邻模板(1220，1230，1415，1425，1430，1440，1620，1630，1635)。
26.根据权利要求25所述方法，其中利用所述相邻模板数据试验可用帧内模式集的子集来隐式推导出所述部分的帧内模式，并且基于最小失真测量选择所述子集内的特定帧内模式作为所述部分的帧内模式(1320，1330，1330，1340，1720，1730，1930，1940)。
27.根据权利要求26所述方法，其中基于绝对差值的和或者均方差确定所述最小失真测量。
28.根据权利要求26所述方法，其中基于用于相邻块的帧内模式的函数确定所述子集(1515，1525，1915，1925)。
29.根据权利要求26所述方法，其中按照相邻块的帧内模式和相邻模板的最佳模式的函数进一步隐式推导用于所述部分的帧内模式(1735)。
30.根据权利要求29所述方法，其中通过试验用于相邻模板的数个或全部帧内模式并且从用于相邻模板的数个或全部帧内模式中选择提供最小失真测量的给定帧内模式作为用于所述相邻模板的最佳模式来确定所述用于相邻模板的最佳模式(1720，1730)。
31.根据权利要求29所述方法，其中所述函数是中值函数(1735，1945)。
32.根据权利要求25所述方法，其中对于图像中块的子集进行隐式帧内模式推导，而对于所述图像中的其他块进行显式帧内模式信令(1915，1925，1930，1940，1945，1955)，所述块的子集是所述部分。
33.一种计算机可读存储介质，其上编码有视频信号数据，包括：
用于对图像的至少一部分的编码的图像数据，其中从相邻模板数据推导应用于所述部分的帧内模式来编码所述图像数据，其中所述相邻模板数据对应于从所述部分的相邻像素形成的相邻模板，并且所述编码的图像数据设置为对应解码器在不接收用于所述部分的帧内模式的显式信令的情况下能够确定应用于所述部分的帧内模式。
CN201080006866.3A 2009-02-06 2010-02-05 用于视频编码器和解码器隐式和半隐式帧内模式信令的方法和装置 Expired - Fee Related CN102308586B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15043109P 2009-02-06 2009-02-06
US61/150,431 2009-02-06
PCT/US2010/000321 WO2010090749A1 (en) 2009-02-06 2010-02-05 Methods and apparatus for implicit and semi-implicit intra mode signaling for video encoders and decoders

Publications (2)

Publication Number Publication Date
CN102308586A true CN102308586A (zh) 2012-01-04
CN102308586B CN102308586B (zh) 2015-03-25

Family

ID=42035841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080006866.3A Expired - Fee Related CN102308586B (zh) 2009-02-06 2010-02-05 用于视频编码器和解码器隐式和半隐式帧内模式信令的方法和装置

Country Status (7)

Country Link
US (1) US9288494B2 (zh)
EP (1) EP2394437B1 (zh)
JP (1) JP5564061B2 (zh)
KR (1) KR101665547B1 (zh)
CN (1) CN102308586B (zh)
BR (1) BRPI1008081A2 (zh)
WO (1) WO2010090749A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105721878A (zh) * 2012-01-20 2016-06-29 索尼公司 Hevc视频编解码中执行帧内预测的图像处理装置及方法
TWI665907B (zh) * 2016-06-03 2019-07-11 聯發科技股份有限公司 用於圖像和視訊編碼的基於模板的圖框內預測的方法和裝置
CN112204985A (zh) * 2018-04-11 2021-01-08 索尼公司 图像处理设备和方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2744316T3 (es) 2009-07-01 2020-02-24 Interdigital Vc Holdings Inc Métodos y aparato para señalización de predicción intra para grandes bloques para codificadores y decodificadores de vídeo
BR112013012814B1 (pt) * 2010-10-26 2019-10-08 Nec Corporation Dispositivo de decodificação de vídeo e método de decodificação de vídeo
KR101756442B1 (ko) * 2010-11-29 2017-07-11 에스케이텔레콤 주식회사 인트라예측모드의 중복성을 최소화하기 위한 영상 부호화/복호화 방법 및 장치
KR20120070479A (ko) 2010-12-21 2012-06-29 한국전자통신연구원 화면 내 예측 방향 정보 부호화/복호화 방법 및 그 장치
AU2011354441B2 (en) * 2011-01-07 2014-07-17 Hfi Innovation Inc. Method and apparatus of improved intra luma prediction mode coding
JP5781313B2 (ja) * 2011-01-12 2015-09-16 株式会社Ｎｔｔドコモ 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
KR101522391B1 (ko) * 2011-03-10 2015-05-21 니폰덴신뎅와 가부시키가이샤 양자화 제어 장치 및 방법, 및 양자화 제어 프로그램
CN102685474B (zh) * 2011-03-10 2014-11-05 华为技术有限公司 预测模式的编解码方法、编解码设备及网络系统
GB2491391B (en) * 2011-06-02 2014-09-03 Canon Kk Encoding mode values representing prediction modes
US9654785B2 (en) * 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
DK2838270T3 (da) * 2011-06-28 2017-01-02 Samsung Electronics Co Ltd Videoafkodningsfremgangsmåde ved anvendelse af intraforudsigelse
GB2494468B (en) * 2011-09-12 2014-01-15 Canon Kk Method and device for encoding or decoding information representing prediction modes
CN104170379B (zh) * 2011-10-24 2016-01-20 英孚布瑞智有限私人贸易公司 用于图像解码的方法和装置
US9154796B2 (en) 2011-11-04 2015-10-06 Qualcomm Incorporated Intra-mode video coding
EP2777273B1 (en) 2011-11-11 2019-09-04 GE Video Compression, LLC Efficient multi-view coding using depth-map estimate for a dependent view
WO2013068547A2 (en) 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient multi-view coding using depth-map estimate and update
WO2013072484A1 (en) 2011-11-18 2013-05-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-view coding with efficient residual handling
US9628789B2 (en) * 2011-11-18 2017-04-18 Qualcomm Incorporated Reference mode selection in intra mode coding
CN104247423B (zh) * 2012-03-21 2018-08-07 联发科技（新加坡）私人有限公司 可伸缩视频编码系统的帧内模式编码方法和装置
JP6763664B2 (ja) 2012-10-01 2020-09-30 ジーイー ビデオ コンプレッション エルエルシー エンハンスメント層作動パラメータのためのベース層ヒントを使用するスケーラブルビデオ符号化
US9674543B2 (en) 2012-11-14 2017-06-06 Samsung Electronics Co., Ltd. Method for selecting a matching block
US10003792B2 (en) 2013-05-27 2018-06-19 Microsoft Technology Licensing, Llc Video encoder for images
US10136140B2 (en) 2014-03-17 2018-11-20 Microsoft Technology Licensing, Llc Encoder-side decisions for screen content encoding
KR20220162877A (ko) 2014-10-31 2022-12-08 삼성전자주식회사 고정밀 스킵 부호화를 이용한 비디오 부호화 장치 및 비디오 복호화 장치 및 그 방법
US10924743B2 (en) 2015-02-06 2021-02-16 Microsoft Technology Licensing, Llc Skipping evaluation stages during media encoding
US10038917B2 (en) * 2015-06-12 2018-07-31 Microsoft Technology Licensing, Llc Search strategies for intra-picture prediction modes
US10136132B2 (en) 2015-07-21 2018-11-20 Microsoft Technology Licensing, Llc Adaptive skip or zero block detection combined with transform size decision
WO2017043816A1 (ko) * 2015-09-10 2017-03-16 엘지전자(주) 인터-인트라 병합 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US10390021B2 (en) * 2016-03-18 2019-08-20 Mediatek Inc. Method and apparatus of video coding
WO2017192995A1 (en) * 2016-05-06 2017-11-09 Vid Scale, Inc. Method and system for decoder-side intra mode derivation for block-based video coding
CA3024900C (en) 2016-05-17 2021-02-16 Arris Enterprises Llc Template matching for jvet intra prediction
EP3451665A1 (en) * 2017-09-01 2019-03-06 Thomson Licensing Refinement of internal sub-blocks of a coding unit
US10999604B2 (en) * 2018-04-13 2021-05-04 Mediatek Inc. Adaptive implicit transform setting
US11197001B2 (en) * 2020-02-05 2021-12-07 Tencent America LLC Method and apparatus for interactions between decoder-side intra mode derivation and adaptive intra prediction modes
WO2023219289A1 (ko) * 2022-05-12 2023-11-16 현대자동차주식회사 참조 화소에 기초하는 인트라 예측모드 유도를 위한 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1198288A (zh) * 1996-05-28 1998-11-04 松下电器产业株式会社 图像预测编码装置和方法、图像预测解码装置和方法以及记录媒体
US6148027A (en) * 1997-05-30 2000-11-14 Sarnoff Corporation Method and apparatus for performing hierarchical motion estimation using nonlinear pyramid
US6430317B1 (en) * 1997-12-31 2002-08-06 Sarnoff Corporation Method and apparatus for estimating motion using block features obtained from an M-ary pyramid
CN1810037A (zh) * 2003-06-25 2006-07-26 汤姆森许可贸易公司 帧间的快速模式确定编码
WO2008048487A2 (en) * 2006-10-18 2008-04-24 Thomson Licensing Local illumination and color compensation without explicit signaling
CN101222641A (zh) * 2007-01-11 2008-07-16 华为技术有限公司 帧内预测编解码方法及其装置
US20080304763A1 (en) * 2007-06-11 2008-12-11 Nagori Soyeb N Transform Domain Fast Mode Search for Spatial Prediction in Advanced Video Coding

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003522489A (ja) * 2000-02-01 2003-07-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 選択可能な画像解像度を伴なうビデオ符号化及び復号
EP1404136B1 (en) * 2001-06-29 2018-04-04 NTT DoCoMo, Inc. Image encoder, image decoder, image encoding method, and image decoding method
JP3968774B2 (ja) * 2002-01-08 2007-08-29 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びにプログラム
JP2003319391A (ja) * 2002-04-26 2003-11-07 Sony Corp 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム
MY137061A (en) * 2002-06-11 2008-12-31 Nokia Corp Spatial prediction based intra coding
KR20050026318A (ko) * 2003-09-09 2005-03-15 삼성전자주식회사 인트라 스킵 모드를 포함하는 비디오 인코딩_디코딩 장치및 방법
KR100640592B1 (ko) * 2004-10-25 2006-11-01 삼성전자주식회사 향상된 압축 속도를 가지는 동영상 압축 장치 및 그 방법
KR100678911B1 (ko) * 2005-07-21 2007-02-05 삼성전자주식회사 방향적 인트라 예측의 적용을 확장하여 비디오 신호를인코딩하고 디코딩하는 방법 및 장치
JP2007116351A (ja) 2005-10-19 2007-05-10 Ntt Docomo Inc 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
EP1995973A4 (en) * 2006-03-10 2011-10-26 Nec Corp INTERNAL PREDICTION MODE SELECTION METHOD, ANIMATED IMAGE ENCODING METHOD, AND DEVICE AND PROGRAM USING SAME
JP2008199587A (ja) * 2007-01-18 2008-08-28 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号化装置および方法
KR101086435B1 (ko) * 2007-03-29 2011-11-25 삼성전자주식회사 영상 데이터 스트림의 에러 검출 방법 및 그 장치
KR100871588B1 (ko) 2007-06-25 2008-12-02 한국산업기술대학교산학협력단 인트라 부호화 장치 및 그 방법
KR100905059B1 (ko) * 2007-08-16 2009-06-30 한국전자통신연구원 동영상 부호화에 있어서 비트 발생 가능성 예측을 이용한블록 모드 결정 방법 및 장치
WO2009089032A2 (en) * 2008-01-10 2009-07-16 Thomson Licensing Methods and apparatus for illumination compensation of intra-predicted video
KR20090090152A (ko) * 2008-02-20 2009-08-25 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR100939917B1 (ko) * 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
EP2101504B1 (en) 2008-03-09 2012-07-25 LG Electronics Inc. Video coding using template matching
US8279937B2 (en) * 2008-04-22 2012-10-02 Core Logic, Inc. Correcting moving image wavering
US20120201475A1 (en) * 2009-10-05 2012-08-09 I.C.V.T. Ltd. Method and system for processing an image

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1198288A (zh) * 1996-05-28 1998-11-04 松下电器产业株式会社 图像预测编码装置和方法、图像预测解码装置和方法以及记录媒体
US6148027A (en) * 1997-05-30 2000-11-14 Sarnoff Corporation Method and apparatus for performing hierarchical motion estimation using nonlinear pyramid
US6430317B1 (en) * 1997-12-31 2002-08-06 Sarnoff Corporation Method and apparatus for estimating motion using block features obtained from an M-ary pyramid
CN1810037A (zh) * 2003-06-25 2006-07-26 汤姆森许可贸易公司 帧间的快速模式确定编码
WO2008048487A2 (en) * 2006-10-18 2008-04-24 Thomson Licensing Local illumination and color compensation without explicit signaling
CN101222641A (zh) * 2007-01-11 2008-07-16 华为技术有限公司 帧内预测编解码方法及其装置
US20080304763A1 (en) * 2007-06-11 2008-12-11 Nagori Soyeb N Transform Domain Fast Mode Search for Spatial Prediction in Advanced Video Coding

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105721878A (zh) * 2012-01-20 2016-06-29 索尼公司 Hevc视频编解码中执行帧内预测的图像处理装置及方法
TWI665907B (zh) * 2016-06-03 2019-07-11 聯發科技股份有限公司 用於圖像和視訊編碼的基於模板的圖框內預測的方法和裝置
US10397569B2 (en) 2016-06-03 2019-08-27 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding
CN112204985A (zh) * 2018-04-11 2021-01-08 索尼公司 图像处理设备和方法
US11399189B2 (en) 2018-04-11 2022-07-26 Sony Corporation Image processing apparatus and method
CN112204985B (zh) * 2018-04-11 2023-03-10 索尼公司 图像处理设备和方法

Also Published As

Publication number Publication date
US9288494B2 (en) 2016-03-15
BRPI1008081A2 (pt) 2017-10-17
KR20110113741A (ko) 2011-10-18
WO2010090749A1 (en) 2010-08-12
EP2394437B1 (en) 2015-04-08
JP2012517736A (ja) 2012-08-02
EP2394437A1 (en) 2011-12-14
US20110286520A1 (en) 2011-11-24
JP5564061B2 (ja) 2014-07-30
CN102308586B (zh) 2015-03-25
KR101665547B1 (ko) 2016-10-12

Similar Documents

Publication Publication Date Title
CN102308586B (zh) 用于视频编码器和解码器隐式和半隐式帧内模式信令的方法和装置
CN102484709B (zh) 用于视频编码器和解码器的对大块的帧内预测进行信令的方法和装置
CN101584219B (zh) 基于帧内预测进行编码和解码的方法和设备
US9277244B2 (en) Decoding a video signal using intra-prediction mode information
CN102577380B (zh) 用于改进的帧内色度编码和解码的方法及装置
CN101371571B (zh) 处理多视图视频
CN106464870A (zh) 用于对帧内画面进行编码和解码的基于模板匹配的方法和装置
CN102668566B (zh) 将dc帧内预测模式用于视频编码和解码的方法和装置
JP2016026454A (ja) ブロック分割及びブロック統合をサポートする画像符号化
CN102812706A (zh) 用于视频编码和解码的隐式自适应运动向量预测值选择的方法和装置
CN103348651A (zh) 具有降低复杂性的变换单元分割的方法及装置
CN103220522A (zh) 对视频编码的方法和设备及对视频解码的方法和设备
CN101507280A (zh) 用于降低分辨率划分的方法和装置
KR20070005848A (ko) 인트라 예측 모드 결정 방법 및 장치
KR20140005257A (ko) 기하학적 기반 인트라 예측을 위한 방법 및 장치
CN102893606A (zh) 帧内编码将像素指定给各组的块的方法和装置
CN104488268B (zh) 具有增加数量的可能编码模式的空间预测
CN101945277A (zh) 处理多视图视频

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190212

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190212

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150325

Termination date: 20210205