CN104969552B - 存储减少的帧内预测模式决策 - Google Patents

存储减少的帧内预测模式决策 Download PDF

Info

Publication number
CN104969552B
CN104969552B CN201480007440.8A CN201480007440A CN104969552B CN 104969552 B CN104969552 B CN 104969552B CN 201480007440 A CN201480007440 A CN 201480007440A CN 104969552 B CN104969552 B CN 104969552B
Authority
CN
China
Prior art keywords
intra prediction
prediction mode
cost
current block
approximate cost
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480007440.8A
Other languages
English (en)
Other versions
CN104969552A (zh
Inventor
钱威俊
王翔林
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104969552A publication Critical patent/CN104969552A/zh
Application granted granted Critical
Publication of CN104969552B publication Critical patent/CN104969552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一般来说，本发明描述用于减少在从多个不同预测模式进行选择时存储速率失真值所需的空间的技术。包括处理器的视频译码装置可执行所述技术。所述处理器可确定视频数据的当前块的帧内预测模式的第一和第二集合。帧内预测模式的所述第一集合和所述第二集合可包含共同地小于帧内预测模式的总数的帧内预测模式。所述处理器可计算包含在帧内预测模式的所述第一集合和所述第二集合中的每一帧内预测模式的近似成本。所述处理器可将在帧内预测模式的所述第一集合和所述第二集合中所识别的每一帧内预测模式的所述近似成本存储到存储器。所述处理器可执行帧内预测以使用所述第一或第二集合中的至少一者中所识别的模式对所述当前块进行编码。

Description

存储减少的帧内预测模式决策
技术领域
本发明涉及视频译码，并且更确切地说涉及视频译码的帧内预测方面。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及其类似者。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)定义的标准和所述标准的扩展部分中所描述的那些视频压缩技术，以更有效地发射和接收数字视频信息。正在研发新视频译码标准，例如，由“视频译码联合合作小组”(JCT-VC)开发的高效率视频译码(HEVC)标准，其为MPEG与ITU-T之间的合作成果。新出现的的HEVC标准有时被称作ITU-T H.265，但此名称尚未正式确定。
发明内容
一般来说，本发明描述用于减少当从多个不同预测模式进行选择时存储速率失真值所需的空间的技术。通常，视频译码器可使用帧内模式编码(例如，相对于同一图片的其它块而编码)或帧间模式编码(相对于先前译码的图片块而编码)对图片块进行译码。在一些实例中，视频译码器可从大量不同模式中选择译码给定块的模式。视频译码器可基于表示所选模式的近似失真速率的对应近似成本值而选择模式。视频译码器可存储所有可能的预测模式的子集的近似成本值而不是存储每一可能预测模式的近似成本值。由于子集中所指定的预测模式的总数小于所有可能预测模式的总数，所以本发明的技术可减少存储这些近似成本值所需的片上存储器的量。在一些实例中，减少片上存储器要求可改善并行和/或串行处理视频译码器中的视频译码性能。
在一个实施例中，方法包含确定待编码的视频数据的当前块的帧内预测模式的第一集合。帧内预测模式的第一集合可包含小于能够用于编码当前块的帧内预测模式的总数的帧内预测模式。所述方法可进一步包含确定除帧内预测模式的第一预定义集合之外的用于当前块的帧内预测模式的第二集合。帧内预测模式的第二集合包含数量小于或等于能够用于编码当前块的帧内预测模式的总数的帧内预测模式。第一集合和第二集合均可共同地包含总计小于能够用于编码当前块的帧内预测模式的总数的帧内预测模式。所述方法可进一步包含计算包含在帧内预测模式的第一集合中的每一帧内预测模式和包含在帧内预测模式的第二集合中的每一帧内预测模式的近似成本。所述近似成本可粗略估计使用帧内预测模式中的对应一者编码视频数据的当前块的速率失真成本。所述方法还可包含将在帧内预测模式的第一集合中所识别的每一帧内预测模式和在帧内预测模式的第二集合中所识别的每一帧内预测模式的近似成本存储到存储器。所述方法可进一步包含基于针对帧内预测模式的第一集合和帧内预测模式的第二集合中所识别的每一帧内预测模式而计算的近似成本执行帧内预测以根据通过帧内预测模式的第一集合或帧内预测模式的第二集合识别的帧内预测模式中的一者编码当前块。
在一个实施例中，经配置以执行帧内预测过程以译码视频数据的视频译码装置可包含处理器，其经配置以确定用于待编码的视频数据的当前块的帧内预测模式的第一集合。帧内预测模式的第一集合可包含小于能够用于编码当前块的帧内预测模式的总数的帧内预测模式。视频译码装置还可经配置以确定除帧内预测模式的第一预定义集合之外的用于当前块的帧内预测模式的第二集合。帧内预测模式的第二集合可包含数量小于或等于能够用于编码当前块的帧内预测模式的总数的帧内预测模式。第一集合和第二集合均可共同地包含总计小于能够用于编码当前块的帧内预测模式的总数的帧内预测模式。视频译码装置还可经配置以计算包含在帧内预测模式的第一集合中的每一帧内预测模式和包含在帧内预测模式的第二集合中的每一帧内预测模式的近似成本。所述近似成本可粗略估计使用帧内预测模式中的对应一者编码视频数据的当前块的速率失真成本。视频译码装置还可经配置以将在帧内预测模式的第一集合中所识别的每一帧内预测模式和在帧内预测模式的第二集合中所识别的每一帧内预测模式的近似成本存储到存储器。视频译码装置还可经配置以基于针对帧内预测模式的第一集合和帧内预测模式的第二集合中所识别的每一帧内预测模式而计算的近似成本执行帧内预测以根据通过帧内预测模式的第一集合或帧内预测模式的第二集合识别的帧内预测模式中的一者编码当前块。
在一个实施例中，经配置以执行帧内预测过程以译码视频数据的视频译码装置包含用于确定待编码的视频数据的当前块的帧内预测模式的第一集合的装置(means)。帧内预测模式的第一集合可包含小于能够用于编码当前块的帧内预测模式的总数的帧内预测模式。视频译码装置还可包含确定除帧内预测模式的第一预定义集合之外的用于当前块的帧内预测模式的第二集合的装置。帧内预测模式的第二集合可包含数量小于或等于能够用于编码当前块的帧内预测模式的总数的帧内预测模式。第一集合和第二集合均可共同地包含总计小于能够用于编码当前块的帧内预测模式的总数的帧内预测模式。视频译码装置还可进一步包含用于计算包含在帧内预测模式的第一集合中的每一帧内预测模式和包含在帧内预测模式的第二集合中的每一帧内预测模式的近似成本的装置。所述近似成本可粗略估计使用帧内预测模式中的对应一者编码视频数据的当前块的速率失真成本。视频译码装置还可包含用于将在帧内预测模式的第一集合中所识别的每一帧内预测模式和在帧内预测模式的第二集合中所识别的每一帧内预测模式的近似成本存储到存储器的装置。视频译码装置可进一步包含用于基于针对帧内预测模式的第一集合和帧内预测模式的第二集合中所识别的每一帧内预测模式而计算的近似成本执行帧内预测以根据通过帧内预测模式的第一集合或帧内预测模式的第二集合识别的帧内预测模式中的一者编码当前块的装置。
一或多个实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从描述及附图和从权利要求书中显而易见。
附图说明
图1是说明实例视频编码及解码系统的框图，所述视频编码及解码系统可经配置以利用本发明中所描述的技术以用于减少当从多个不同预测模式中进行选择时存储速率失真值所需的空间。
图2是说明视频编码器的实例的框图，所述视频编码器可实施用于减少当从多个不同预测模式中进行选择时存储速率失真值所需的空间的技术。
图3是说明可实施本发明中描述的技术的视频解码器的实例的框图。
图4A是说明根据本发明中描述的技术的视频译码器可选择的帧内预测模式的概念表示的框图。
图4B是说明根据本发明中描述的技术的待进行帧内预测性译码的当前块和相邻块的概念表示的框图。
图5是说明根据本发明的技术的视频译码器(例如图2中所示的视频编码器)在执行减少当从多个不同预测模式中进行选择时存储速率失真值所需的空间的方面中的示范性操作的流程图。
图6是说明根据本发明的技术的视频译码器(例如图2中所示的视频编码器)在执行减少当从多个不同预测模式中进行选择时存储速率失真值所需的空间的方面中的示范性操作的流程图。
图7是说明根据本发明的技术的视频译码器(例如图2中所示的视频编码器)在执行减少当从多个不同预测模式中进行选择时存储速率失真值所需的空间的方面中的示范性操作的流程图。
图8是说明根据本发明的技术的视频译码器(例如图2中所示的视频编码器)在执行减少当从多个不同预测模式中进行选择时存储速率失真值所需的空间的方面中的示范性操作的流程图。
具体实施方式
本发明描述可使视频编码器(其可被称为“视频译码器”)能够减少当从多个不同预测模式中进行选择时存储速率失真值所需的空间的技术。一般来说，经编码的视频数据可包含预测数据和残余数据。举例来说，视频编码器可在帧内预测模式或帧间预测模式期间产生预测数据。例如，帧内预测总体上涉及相对于同一图片的相邻的先前译码块中的一或多个参考块(其亦可被称为“参考样本”)预测图片块中的像素值，其中所选的先前译码块可被称为参考块。帧内预测也可被称作空间预测，因为所选参考块来自与待预测块相同的图片。帧间预测通常涉及相对于按时间移除的图片中的一或多个参考样本预测图片块中的像素值。出于此原因，帧间预测可被称为时间预测，因为所选参考块来自与具有待预测块的图片不同的图片(且因此按时间移除)。
在执行帧内预测时，视频编码器可从多个不同帧内预测模式中进行选择(例如，如图4A中进一步说明)，从而计算与每一帧内预测模式相关联的近似成本。此近似成本可粗略估计在执行可被视为资源密集全速率失真优化过程的过程时常用的速率失真成本。计算速率失真成本通常要求视频编码器使用帧内预测模式中的每一者计算经预测块并确定经预测块中的每一者与当前块之间的差异(通常被称为“残余块”，其指定上文参考的残余像素值)。视频编码器接下来将每一残余块从空间域变换到频域并量化每一经变换残余块中的系数值以产生系数的对应的经编码视频块。最后，视频编码器可对经编码视频块进行解码并将每一经解码视频块与当前块进行比较来确定失真度量。此外，此速率失真分析可涉及在给定量化层级的情况下针对帧内预测模式中的每一者计算用以用信号表示经编码视频块中的每一者的位的量。
视频编码器可计算近似成本，而不是针对使用帧内预测模式中的对应一者预测的每一经预测块执行全速率失真分析。如本发明中进一步描述，存在粗略估计全速率失真成本的大量不同方式。在一些实例中，视频编码器可避免针对帧内预测模式中的每一者计算近似成本而相反在帧内预测译码期间识别一或多个所谓的“最可能”帧内预测模式。为识别最可能模式，视频编码器可识别经先前编码块(其常为邻近于当前块并已经帧内预测的相邻块，例如，在当前块的顶部或上方及左边的块)的帧内预测模式。这些所谓的相邻块的帧内模式由于相邻块到当前块的空间接近度而可具有与当前块相同或类似的相对高概率。在这方面中，视频编码器可仅对这些最可能模式或者这些最可能模式和与其它模式相比以统计方式更可能在执行帧内预测时使用的其它可能模式(例如平面和DC模式)减少近似成本计算的数目。
然而，在一些实施中,视频编码器可并行执行关于大量块的帧内预测，其可不允许视频编码器确定这些最可能模式。举例来说，视频编码器可执行关于最大译码单元(LCU)的帧内预测，所述最大译码单元可经分割成大量不同大小的译码单元。如果这些CU中的每一者同时经帧内预测或帧间预测，那么视频编码器可不能使用其来确定当前块的最可能模式。
由于不能利用执行帧内预测时的最可能模式，所以视频编码器可试图针对关于LCU中的每一CU的每一帧内预测模式计算近似成本。视频编码器可存储这些近似成本。一旦视频编码器完成对相邻块的编码，那么视频编码器可随后使用针对当前块计算的近似成本识别当前块的最可能模式，以识别各种模式中的哪一者应使用更复杂速率失真分析来更完全测试。通过以此方式使用最可能模式，视频编码器可减少使用全速率失真分析而分析的经预测块的数目。换句话说，可根据速率失真分析消除一些所述模式中，从而潜在地减少执行速率失真分析所需的资源量(其可指代存储器及/或处理器利用率)。
虽然以上针对关于LCU中的每一CU的每一帧内预测模式计算近似成本的过程可通过减少使用全速率失真分析而分析的经预测块的数目使高度平行的视频译码器(意义在于视频编码器同时执行关于大量块的帧内预测或帧间预测)能够更高效地执行帧内预测，但此过程可由于存储近似成本所需的存储器而产生昂贵的视频编码器。鉴于视频编码器通常要求以局部或片上方式存储这些近似成本并且要求所述片上存储器可为成本高的并消耗视频编码器芯片上的显著空间(其可被称为“板空间”)，所以实施以上过程的视频编码器可比可顺序地编码每一块的较不平行的视频编码器更昂贵。
根据本发明中所描述的技术，视频译码器，例如平行视频编码器(表示在编码当前块的同时编码相邻块的视频编码器)，可仅存储全帧内预测模式的子集的近似成本，从而减少片上存储器要求并提供在视频编码器生产方面的成本节约。在操作中，视频编码器可确定用于当前块的帧内预测模式的第一预定义集合。在一些实例中，当前块可总体上指代视频译码器当前编码过程中的视频块。第一预定义集合中的帧内预测模式的数目可小于能够用于编码当前块的帧内预测模式的总数。通常，帧内预测模式(例如，模式0、1及26)的此第一预定义集合包括一个、两个或三个帧内预测模式，其已经以统计方式识别为在比帧内预测模式的剩余模式更频繁的基础上出现。
视频编码器还可确定除帧内预测模式的第一预定义集合之外的用于当前块的帧内预测模式的第二集合。另外，帧内预测模式的此第二集合可包含小于能够用于编码当前块的帧内预测模式的总数的帧内预测模式。模式的第二集合可未经预定义。换句话说，可设定帧内预测模式的第一预定义集合(但模式的具体列表可横跨LCU、切片、图片、序列等而变化)，而第二集合是通过取样或一些其它选择过程来随机导出或确定的。
在任何情况下，视频编码器可随后针对在帧内预测模式的第一预定义集合中所识别的每一帧内预测模式和在帧内预测模式的第二集合中所识别的每一帧内预测模式计算近似成本。视频编码器可将在帧内预测模式的第一预定义集合中所识别的每一帧内预测模式和在帧内预测模式的第二集合中所识别的一些帧内预测模式的近似成本存储到存储器(其中此存储器又可表示片上存储器，例如1层(L1)高速缓存)。鉴于在第一预定义集合中指定的帧内预测模式和第二集合中的所选择模式的总数((即，总和)小于可用于编码器当前块的帧内预测模式的总数(例如，35个模式)，视频编码器可减少(在帧内预测模式的第一集合与第二集合之间总计指定仅一些模式(例如5个或6个模式)的情况下，有时显著地减少)存储这些近似成本所需的片上存储器的量。
图1是说明实例视频编码及解码系统10的框图，所述视频编码及解码系统可经配置以利用本发明中所描述的技术以用于减少当从多个不同预测模式中进行选择时存储速率失真值所需的空间。如图1的实例中所示，系统10包含源装置12，其产生供目的地装置14解码的经编码视频。源装置12可以经由通信信道16向目的地装置14发射经编码视频，或者可以在存储媒体34或文件服务器36上存储所述经编码视频，以使得目的地装置14可以按需要接入经编码视频。源装置12和目的地装置14可包括广泛多种装置中的任一者，包含台式计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(包含蜂窝电话或手持机以及所谓的智能电话)、电视、相机、显示装置、数字媒体播放器、视频游戏控制台或类似装置。
在许多情况下，此些装置可经配备用于无线通信。因此，通信信道16可包括无线信道。或者，通信信道16可包括适合于发射经编码的视频数据的有线信道、无线和有线信道的组合或任何其它类型的通信信道或通信信道的组合，例如射频(RF)频谱或一或多个实体发射线路。在一些实例中，通信信道16可形成例如局域网(LAN)、广域网(WAN)或例如因特网的全球网络的封包式网络的一部分。因此，通信信道16一般表示用于将视频数据从源装置12发射到目的地装置14的任何合适的通信媒体或不同通信媒体的集合，包含有线或无线媒体的任何合适组合。通信信道16可包含可用于促进从源装置12到目的装置14的通信的路由器、交换器、基站或任何其它设备。
如图1的实例中进一步展示，源装置12包含视频源18、视频编码器20、调制器/解调器22(“调制解调器22”)和发射器24。在源装置12中，视频源18可包含例如视频捕获装置的源。借助于实例，视频捕获装置可包含摄像机、含有先前捕获的视频的视频档案、用以从视频内容提供者接收视频的视频馈送接口和/或用于产生计算机图形数据作为源视频的计算机图形系统中的一者或多者。作为一个实例，如果视频源18是摄像机，那么源装置12和目的地装置14可以形成所谓的相机电话或视频电话。然而，本发明中描述的技术不限于无线应用或设置，并且可以应用于包含视频编码和/或解码能力的非无线装置。因此，源装置12和目的地装置14仅是可以支持本文所述的技术的译码装置的实例。
视频编码器20可以对捕获、预捕获或计算机产生的视频进行编码。一旦经编码，视频编码器20可以向调制解调器22输出这个经编码视频。调制解调器22可以接着根据一种通信标准(例如无线通信协议)调制经编码视频，于是发射器24可以向目的地装置14发射经调制的经编码视频数据。调制解调器22可包含各种混频器、滤波器、放大器或经设计以用于信号调制的其它组件。发射器24可包含经设计以用于发射数据的电路，包含放大器、滤波器及一或多个天线。
被视频编码器20编码的捕获、预先捕获或计算机产生的视频还可存储到存储媒体34或文件服务器36上以用于稍后检索、解码和消耗。存储媒体34可包含蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码视频的任何其它合适的数字存储媒体。目的地装置14可以接入存储在存储媒体34或文件服务器36上的经编码视频，并且对这个经编码视频进行解码以产生经解码视频并回放这个经解码视频。
文件服务器36可为任何类型的能够存储经编码视频并将经编码视频发射到目的地装置14的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置、本机磁盘驱动器或任何其它类型的能够存储经编码的视频数据并将经编码的视频数据发射到目的地装置的装置。经编码的视频数据从文件服务器36的发射可能是流式发射、下载发射或两者的组合。目的地装置14可以根据任何标准数据连接(包含因特网连接)接入文件服务器36。这个连接可包含无线信道(例如，Wi-Fi连接或无线蜂窝式数据连接)、有线连接(例如，DSL、电缆调制解调器等)、有线和无线信道两者的组合或任何其它类型的适合于接入存储在文件服务器上的经编码视频数据的通信信道。
在图1的实例中，目的地装置14包含接收器26、调制解调器28、视频解码器30和显示装置32。目的地装置14的接收器26经由信道16接收信息，并且调制解调器28对所述信息进行解调以产生用于视频解码器30的经解调位流。经由信道16传送的信息可包含由视频编码器20产生以供视频解码器30在对相关联经编码视频数据进行解码时使用的多种语法信息。此类语法还可包含在存储于存储媒体34或文件服务器36上的经编码的视频数据中。视频编码器20和视频解码器30中的每一者可以形成能够对视频数据进行编码或解码的相应编码器-解码器(编解码器)的一部分。
目的地装置14的显示装置32表示任何类型的能够呈现视频数据以供观看者消费的显示器。虽然展示为与目的地装置14集成，但是显示装置32可以与目的地装置14集成或者在其外部。在一些实例中，目的地装置14可包含集成式显示装置，且还经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30可根据视频压缩标准(例如，目前正在开发的高效率视频译码(HEVC)标准)操作，且可符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可根据其它专属或业界标准(例如ITU-T H.264标准，或者被称为MPEG-4第10部分高级视频译码(AVC))或此类标准的扩展来操作。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-T H.263。
尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件，以处理对共同数据流或单独数据流中的音频与视频两者的编码。在一些实例中，如果适用的话，MUX-DEMUX单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)的其它协议。
视频编码器20和视频解码器30各自可经实施为例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合的多种合适编码器电路中的任一者。当部分以软件实施所述技术时，装置可将用于所述软件的指令存储于合适的非暂时性计算机可读媒体中并使用一或多个处理器以硬件执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可以包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可以集成为相应装置中的组合编码器/解码器(编解码器)的一部分。
JCT-VC正在致力于开发HEVC标准。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的演进模型。HM假设视频译码装置根据例如ITU-T H.264/AVC相对于现存装置的几个额外能力。举例来说，虽然H.264提供了九种帧内预测编码模式，但HM可提供多达三十三种帧内预测编码模式。
一般来说，HM的工作模型描述视频帧或图片可以分成包含亮度及色度样本两者的一连串树块或最大译码单元(LCU)。树块具有与H.264标准的宏块类似的目的。切片包含译码次序的多个连续树块。视频帧或图片可以分割成一或多个切片。每一树块可根据四叉树分裂成译码单元(CU)。举例来说，作为四叉树的根节点的树块可分裂成四个子节点，且每一子节点又可为父节点且可分裂成另外四个子节点。作为四叉树的叶节点的最后的未经分裂的子节点包括译码节点，即，经译码视频块。与经译码位流相关联的语法数据可定义树块可分裂的最大次数，且还可定义译码节点的最小大小。
CU包含译码节点和与所述译码节点相关联的预测单元(PU)和变换单元(TU)。CU的大小对应于译码节点的大小并且形状必须是正方形。CU的大小可以从8x8像素到具有最大64x64像素或更大的树块的大小变动。每一CU可以含有一或多个PU和一或多个TU。举例来说，与CU相关联的语法数据可描述将CU分割成一或多个PU。分割模式可以在CU被跳过或经直接模式编码、帧内预测模式编码或帧间预测模式编码之间有区别。PU可分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述根据四叉树将CU分割成一或多个TU。TU可为正方形或非正方形形状。
HEVC标准允许根据TU的变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU的大小而确定，但情况可能并非始终如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU的残余样本可使用被称为“残余四叉树”(RQT)的四叉树结构细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可以变换与TU相关联的像素差值以产生变换系数，所述变换系数可经量化。
一般来说，PU包含与预测过程有关的数据。举例来说，当PU经帧内模式编码时，PU可包含描述PU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义PU的一或多个运动向量的数据。举例来说，定义PU的运动向量的数据可描述运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考图片、运动向量的预测方向(不论是双向预测还是单向预测)和/或参考列表(例如，列表0、列表1，或列表C)。
一般来说，TU用于变换和量化过程。具有一或多个PU的给定CU还可包含一或多个变换单元(TU)。在预测之后，视频编码器20可计算对应于PU的残余值。残余值包括像素差值，所述像素差值可变换成变换系数、经量化且使用TU进行扫描以产生串行化变换系数用于熵译码。本发明通常使用术语“视频块”来指代CU的译码节点。在一些特定情况下，本发明还可使用术语“视频块”来指代包含译码节点以及PU及TU的树块，即，LCU或CU。
视频序列通常包含一系列视频帧或图片。图片群组(GOP)总体上包括一系列一或多个视频图片。GOP可包含在GOP的标头、图片中的一或多者的标头或其它地方中的语法数据，所述语法数据描述GOP中所包含的图片的数目。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块操作以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而大小不同。
作为实例，HM支持各种PU大小的预测。假设特定CU的大小是2Nx2N，那么HM支持2Nx2N或NxN的PU大小的帧内预测，及2Nx2N、2NxN、Nx2N或NxN的对称PU大小的帧间预测。HM还支持用于2NxnU、2NxnD、nLx2N及nRx2N的PU大小的帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，而另一方向分割成25％及75％。CU的对应于25％分割区的部分通过“n”后接续“上”、“下”、“左”或“右”指示来指示。因而，举例来说，“2NxnU”是指水平地分割的2Nx2N CU，其中顶部为2Nx0.5N PU，而底部为2Nx1.5N PU。
在本发明中，“N×N”与“N乘N”可互换地使用以依据垂直及水平尺寸来指代视频块的像素尺寸，例如，16×16像素或16乘16像素。一般来说，16×16块将在垂直方向上具有16个像素(y＝16)，并且在水平方向上具有16个像素(x＝16)。同样，N×N块一般在垂直方向上具有N个像素，并且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可布置成行及列。此外，块未必需要在水平方向与垂直方向上具有相同数目个像素。举例来说，块可包括N×M像素，其中M未必等于N。
在使用CU的PU进行帧内预测性或帧间预测性译码之后，视频编码器20可以计算用于CU的TU的残余数据。PU可包括空间域(还被称作像素域)中的像素数据，且在将变换应用到残余视频数据之后，TU可包括变换域中的系数，所述变换例如为离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换。残余数据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可以形成包含用于CU的残余数据的TU，并且接着变换TU以产生用于CU的变换系数。
在任何用于产生变换系数的变换之后，视频编码器20可以执行变换系数的量化。量化通常是指将变换系数量化以可能减少用以表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说，可在量化期间将n位值向下舍入到m位值，其中n大于m。
在一些实例中，视频编码器20可以利用预定义扫描次序来扫描经量化变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可以执行自适应扫描。在扫描经量化的变换系数以形成一维向量之后，视频编码器20可以例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对一维向量进行熵编码。视频编码器20还可熵编码与经编码视频数据相关联的语法元素以供视频解码器30在解码视频数据时使用。
为了执行CABAC，视频编码器20可以向待发射的符号指配上下文模型内的上下文。所述上下文可(例如)与符号的相邻值是否为非零有关。为了执行CAVLC，视频编码器20可以选择用于待发射的符号的可变长度码。可建构VLC中的码字以使得相对较短代码对应于更有可能的符号，而较长代码对应于不太可能的符号。以此方式，使用VLC可例如实现优于针对待发射的每一符号使用等长度码字的位节省。概率确定可基于指配给符号的上下文。
如上文所描述，视频编码器20可执行帧内预测。在执行帧内预测时，常规视频编码器可常通过执行关于每一模式的速率失真分析而从多个不同帧内预测模式中进行选择(例如，如图4A中进一步说明)。计算速率失真成本通常要求视频编码器使用帧内预测模式中的每一者计算经预测块并确定经预测块中的每一者与当前块之间的差异(通常被称为“残余块”，其指定上文参考的残余像素值)。视频编码器接下来将每一残余块从空间域变换到频域并量化每一经变换残余块中的系数值以产生系数的对应经编码视频块。最后，视频编码器可对经编码视频块进行解码，从而将每一经解码视频块与当前块进行比较来确定失真度量。此外，此速率失真分析可涉及在给定量化层级的情况下针对帧内预测模式中的每一者计算用以用信号表示经编码视频块中的每一者的位的量。
根据本发明中描述的技术，视频编码器20可基于一或多个选择技术确定预定义预测模式的第一集合并另外确定预测模式的第二集合。共同地，第一和第二集合包括所有可能预测模式的子集。视频译码器可接着存储对应于子集的一或多个模式的近似成本值以供稍后在译码给定块时使用。基于子集中的预测模式的近似成本值，视频译码器随后选择预测模式来译码给定块。例如，下图2中说明所述技术的更多细节。
视频解码器30可接收包括经译码数据的位流且根据从视频编码器20接收的对应语法元素对所述数据进行解码。视频解码器30可大体上执行与上文关于视频编码器20描述的那些操作互逆的操作。也就是说，视频解码器30可对经编码视频数据的每一块进行熵解码，执行逆量化以解量化经编码视频数据的块，且应用逆变换以将经编码视频数据的解量化块从频域变换到空间域。经编码视频数据的此经变换块可表示残余数据的经重构版本。在预测过程中，视频解码器30可选择对应预测模式以基于用信号表示预测模式的语法元素而对给定块进行解码。也就是说，视频编码器20可根据本发明的技术发送用信号表示用于给定块的预测模式的一或多个语法元素，视频解码器30可随后使用所述语法元素来对给定块进行解码。
图2是说明视频编码器20的实例的框图，所述视频编码器可实施用于潜在地减少当从多个不同预测模式中进行选择时存储速率失真值所需的空间的技术。视频编码器20可对视频切片内的视频块执行帧内及帧间译码。帧内译码依赖于空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指若干基于空间的压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)的帧间模式可指代若干基于时间的压缩模式中的任一者。
在图2的实例中，视频编码器20包含分割单元40、预测单元41、参考图片存储器64、求和器50、变换处理单元52、量化单元54，及熵编码单元56。预测单元41包含运动估计单元42、运动补偿单元44及帧内预测单元46。为了视频块重建，视频编码器20还包含逆量化单元58、逆变换处理单元60，及求和器62。还可包括解块滤波器(图2中未展示)以将块边界滤波，以从经重建的视频去除成块性假影。在需要时，解块滤波器通常对求和器62的输出进行滤波。除解块滤波器之外，还可使用额外环路滤波器(环路内或环路后)。视频编码器20还包含模式选择单元43。模式选择单元43可例如基于错误结果选择帧内或帧间译码模式中的一者。如图2中进一步描述，模式选择单元43可实施用于减少当从多个不同预测模式进行选择时存储速率失真值所需的空间的技术。
如图2中所示，视频编码器20接收视频数据，且分割单元40将所述数据分割成视频块。此分割还可包含分割成切片、单元片或其它较大单元，以及例如根据LCU及CU的四叉树结构的视频块分割。视频编码器20总体上说明对待编码视频切片内的视频块进行编码的组件。一般来说，切片可以划分成多个视频块(并且可能划分成被称作单元片的视频块集合)。
模式选择单元43可基于错误结果(例如，译码速率及失真等级)针对当前视频块选择多种可能译码模式中的一者，例如多种帧内译码模式中的一者或多种帧间译码模式中的一者。预测单元41可将所得经帧内或帧间译码块提供到求和器50以产生残余块数据，且提供到求和器62以重建经编码块以用作参考图片。在一些实例中，模式选择单元43可分析经重建视频块中的每一者以通过通常被称为“速率失真优化”的过程(其可简称为“RDO”)选择最佳速率-失真比。下文描述的图2的进一步细节说明根据本发明的一或多个方面的模式选择技术。
本发明的方面大体上涉及帧内译码。因此，本发明的某些技术可由模式选择单元43执行。也就是说，例如，模式选择单元43可执行下文关于图2至8描述的本发明的技术。在其它实例中，视频编码器20的一或多个其它单元(例如，帧内预测单元46)可另外、共同地或可替代地负责执行本发明的技术。
预测单元41内的运动估计单元42及运动补偿单元44相对于一或多个参考图片中的一或多个预测性块执行当前视频块的帧间预测性译码以提供时间压缩。运动估计单元42可经配置以根据用于视频序列的预定模式确定用于视频切片的帧间预测模式。预定模式可将序列中的视频切片指明为P切片、B切片或GPB切片。运动估计单元42与运动补偿单元44可高度集成，但出于概念上的目的而分开予以说明。由运动估计单元42执行的运动估计是产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可以指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的移位。
预测性块为发现在像素差值方面紧密匹配待译码视频块的PU的块，所述像素差值可由绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定。在一些实例中，视讯编码器20可计算存储于参考图片记忆体64中的参考图片的次整数像素位置的值。举例来说，视讯编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置及分数像素位置执行运动搜索并且输出具有分数像素精度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测性块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可以选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，其中的每一者识别存储在参考图片存储器64中的一或多个参考图片。运动估计单元42将所计算的运动向量发送到熵编码单元56和运动补偿单元44。
由运动补偿单元44执行的运动补偿可以涉及基于通过运动估计(有可能执行对子像素精度的内插)确定的运动向量提取或产生预测性块。在接收到当前视频块的PU的运动向量后，运动补偿单元44可以在参考图片列表中的一者中定位所述运动向量指向的预测性块。视频编码器20通过从正被译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块。像素差值形成用于所述块的残余数据，并且可包含明度和色度差分量两者。求和器50表示执行此减法运算的组件。运动补偿单元44还可产生与视频块及视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。
预测单元41内的帧内预测单元46可相对于与待译码当前块在同一图片或切片中的一或多个相邻块执行当前视频块的帧内预测性译码，以提供空间压缩。因此，作为如上文所描述由运动估计单元42及运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可以对当前块进行帧内预测。
确切地说，模式选择单元43可基于对应于给定模式和块的速率失真的量而确定用以对当前块进行编码的帧内预测模式。在一些实例中，帧内预测单元46可使用例如在单独的编码遍次期间从模式选择单元43接收的各种帧内预测模式对当前块进行编码。
模式选择单元43可使用针对各种经测试帧内预测模式的速率失真分析计算速率失真值，并且从所述经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析总体上涉及确定经编码块与经编码以产生所述经编码块的原始未编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(即，位数目)。模式选择单元43可以根据用于各种经编码块的失真和速率计算比率，以确定哪个帧内预测模式对于所述块展现最佳速率失真值。根据所提议的HEVC标准，可存在多达35个帧内预测模式，且每一帧内预测模式可与索引相关联。
当执行帧内预测时，模式选择单元43可分析与每一可能帧内预测模式相关联的近似成本而不是执行全速率失真分析。此近似成本可粗略估计速率失真成本。计算速率失真成本通常要求视频编码器使用帧内预测模式中的每一者计算经预测块，确定预测块中的每一者与当前块之间的差异(通常被称为“残余块”，其指定上文参考的残余像素值)，将残余块中的每一者从空间域变换到频域，量化经变换残余块中的每一者中的系数值以产生系数的对应经编码视频块，且随后对经编码视频块进行解码，从而将经解码视频块中的每一者与当前块进行比较以确定失真度量。此外，此速率失真分析可涉及在给定量化层级的情况下针对帧内预测模式中的每一者计算用以用信号表示经编码视频块中的每一者的位的量。
如上文所描述，模式选择单元43可计算一或多个帧内预测模式的近似成本，而不是针对使用35个帧内预测模式中的对应一者预测的经预测块中的每一者执行全速率失真分析。模式选择单元43可实施一或多个实例技术以粗略估计全速率失真成本。一些实例技术可总体上被称为拉格朗日速率失真近似。为了从大量可能的模式中确定最佳模式，可应用拉格朗日乘数来测量每一不同模式的成本。拉格朗日乘数可基于失真度量D和速率度量R。所述失真度量可针对不同实施方案不同地定义，例如平方误差总和(SSE)、绝对差总和(SAD)或绝对变换差总和(SATD)。所述速率度量表示需要多少位来对当前模式信息进行编码。举例来说，速率度量可包含用以用信号表示预测模式类型、帧内模式索引或运动向量等的位。一旦获得D和R的值，便可如等式(1)中所示计算成本C，其中λ是预定义常数：
C＝D+λ*R (1)
模式选择单元43可通过选择产生最小C的模式而选择最佳模式。
作为一个实例，模式选择单元43可实施计算平方失真总和(SSD)、绝对差总和(SAD)及绝对变换差总和(SATD)的技术。模式选择单元43可实施SATD作为粗略估计速率失真成本的方式，且模式选择单元43可根据以下等式(2)计算SATD：
在等式(1)中，表示针对当前块的经预测块，TNxN(·)是N×N变换(例如阿达马变换)，λ是拉格朗日乘数(其可凭经验选择)，且Rmode是用于编码所述模式的位的数目。
模式选择单元43可避免针对可能的帧内预测模式中的每一者计算近似成本而相反在帧内预测译码期间识别一或多个所谓的“最可能”帧内预测模式。为了识别最可能模式，模式选择单元43可识别经先前编码块(其常为邻近于当前块的相邻块)的帧内预测模式。这些所谓的相邻块的帧内模式由于相邻块到当前块的空间接近度而可具有与当前块相同或类似的相对高概率。在这方面中，模式选择单元43可仅对这些最可能模式或者这些最可能模式和与其它模式相比以统计方式更可能在执行帧内预测时使用的其它可能模式(例如平面和DC模式)减少近似成本计算的数目。
在一些实施中,视频编码器可并行地执行关于大量块的帧内预测，其可不允许视频编码器确定这些最可能模式。举例来说，视频编码器可执行关于最大译码单元(LCU)的帧内预测，所述最大译码单元可经分割成大量不同大小的译码单元。如果这些CU中的每一者同时经帧内预测或经帧间预测，那么视频编码器可不能够使用其来确定当前块的最可能模式。由于不能利用执行帧内预测时的最可能模式，所以视频编码器可试图针对关于LCU中的每一CU的每一帧内预测模式使用上文所述的SATD成本来计算近似成本。虽然以上过程可通过减少使用全速率失真分析而分析的经预测块的数目使高度平行的视频编码器能够更高效地执行帧内预测，但此过程可由于存储近似成本所需的存储器而产生昂贵的视频编码器。
为了减少所需的存储，本发明提出基于所有可能的帧内预测模式的子集的近似成本值确定针对当前块的帧内预测模式的技术。举例来说，视频编码器可从所有可能的帧内预测模式中形成帧内预测模式的子集。对于在所述子集内的那些帧内预测模式，视频编码器可存储失真度量，例如，如本发明中所描述的近似成本值。举例来说，视频编码器可从使用拉格朗日乘数中选择性地存储一或多个最佳模式，例如具有低于阈值的近似成本值的模式。
参考图2，根据本发明的技术，模式选择单元43可仅存储全帧内预测模式的子集的近似成本，从而减少片上存储器要求并且从而提供在视频编码器生产方面的成本节约。举例来说，模式选择单元43可最初从分割单元40确定当前块以进行编码。模式选择单元43可针对待由帧内预测单元46编码的视频数据的当前块确定帧内预测模式的第一集合。帧内预测模式的第一集合可包含小于能够由帧内预测单元46用来编码当前块的帧内预测模式的总数的帧内预测模式。在一些实例中，帧内预测模式(例如，模式0、1及26)的此第一预定义集合包括一个、两个或三个帧内预测模式，其已经以统计方式识别为在比帧内预测模式的剩余模式更频繁的基础上出现。也就是说，在一些实例中，帧内预测单元46可确定一或多个统计数据，其指示一或多个模式由模式选择单元43选择的出现次数，且至少部分地基于统计数据，模式选择单元43可选择帧内预测模式的第一集合中所包含的模式。
在一些实例中，模式选择单元43可针对视频数据(例如，LCU、CU、切片、图片、序列等)的离散数量确定帧内预测模式的第一集合。在一些实例中，模式选择单元43可确定跨越视频数据(例如，LCU、CU、切片、图片、序列等)的离散数量而变化的预定义帧内预测模式的不同第一集合。举例来说，模式选择单元43可针对不同的相应LCU选择预定义帧内预测模式的不同第一集合。作为另一实例，模式选择单元43可针对不同的相应切片、图片、序列等选择预定义帧内预测模式的不同第一集合。
模式选择单元43还可判定除帧内预测模式的第一预定义集合之外的用于当前块的帧内预测模式的第二集合。模式的第二集合可未经预定义。实情为，模式选择单元43可根据一或多个选择技术确定第二集合。举例来说，模式选择单元43可实施其中模式选择单元43随机选择一或多个模式的随机选择技术。在一些实例中，由模式选择单元43随机选择的模式的数目可能小于阈值。在其它实例中，由模式选择单元43随机选择的模式的数目可能大于阈值。
在选择技术的其它实例中，模式选择单元43可实施取样技术以选择一或多个模式。举例来说，模式选择单元43可对是当前块的相邻块的一或多个样本块进行取样。基于与是当前块的相邻块的一或多个样本块相关联的模式，模式选择单元43可选择用于当前块的一或多个模式。相邻块可为邻近于包含当前块的图片中的当前块的块。在一些实例中，相邻块可以是在与当前块相同的水平、垂直及/或对角线维度上的先前相邻块。在其它实例中，相邻块可以是在到当前块的光栅次序中的先前块。在任何情况下，在确定一或多个样本块的模式后，模式选择单元43可确定出现次数大于阈值的由模式选择单元43选择的样本块的一或多个模式。在一些实例中，由模式选择单元43基于样本块所选择的模式的数目可能小于阈值。在一些实例中，由模式选择单元43基于统计数据所选择的模式的数量可能大于阈值。在其它实例中，由模式选择单元43基于统计数据所选择的模式的数量可能小于阈值。
在选择技术的其它实例中，模式选择单元43可实施取样技术以基于经先前编码的帧内预测图片选择一或多个模式。举例来说，模式选择单元43可针对由模式选择单元43在经先前编码的帧内预测图片(即，显示及解码次序小于包含当前块的图片的经帧内预测图片)中所选择的模式产生统计数据。举例来说，模式选择单元43可包含对应于一或多个帧内预测模式的一或多个计数器。模式选择单元43可对相应模式在经选择用于帧内预测图片块时的计数器进行增量。在一些实例中，基于所述统计数据，模式选择单元43可选择一或多个模式包含在预测模式的第二集合中。举例来说，模式选择单元43可选择一或多个模式，其具有值大于阈值的对应计数器。在一些实例中，由模式选择单元43基于统计数据所选择的模式的数目可能小于阈值。在一些实例中，由模式选择单元43基于统计数据所选择的模式的数量可能大于阈值。在其它实例中，由模式选择单元43基于统计数据所选择的模式的数量可能小于阈值。
在一些实例中，预定义预测模式的第一集合和所确定的预测模式的第二集合中的每一者中的模式的数目可为相同的。在其它实例中，预定义预测模式的第一集合中的模式的数目可不同于所确定的预测模式的第二集合中的模式的数目。举例来说，预定义预测模式的第一集合中的模式的数目可小于所确定的预测模式的第二集合中的模式的数目。在其它实例中，预定义预测模式的第一集合中的模式的数目可大于所确定的预测模式的第二集合中的模式的数目。在一些实例中，帧内预测模式的第二集合可包含比能够用于编码当前块的帧内预测模式的总数更少的帧内预测模式。帧内预测模式的第一集合可包含比能够用于编码当前块的帧内预测模式的总数更少的帧内预测模式。
如上文所描述，模式选择单元43可因此确定预定义的帧内预测模式的第一集合和基于一或多个选择技术的帧内预测模式的第二集合。共同地，帧内预测模式的第一和第二集合可包括所有可能的帧内预测模式的子集。在一些实例中，模式选择单元43可计算包含在帧内预测模式的第一集合中的每一帧内预测模式和包含在帧内预测模式的第二集合中的每一帧内预测模式的近似成本。在其它实例中，模式选择单元43可计算每一可能的帧内预测模式的近似成本并存储帧内预测模式的第二集合中的帧内预测模式的子集。模式选择单元43可使用上文所描述的一或多个实例失真测量技术(例如，平方失真总和(SSD)、绝对差总和(SAD)和绝对变换差总和(SATD))计算近似成本。近似成本粗略估计使用包含在帧内预测模式的第一和/或第二集合中的对应一者编码视频数据的当前块的速率失真成本。
在确定每一帧内预测模式的近似成本后，模式选择单元43可将在帧内预测模式的第一集合中所识别的每一帧内预测模式和在帧内预测模式的第二集合中所识别的一些或全部帧内预测模式的近似成本存储到存储器。在其它实例中，模式选择单元43可针对在帧内预测模式的第一集合中所识别的帧内预测模式中的一或多者和/或针对在帧内预测模式的第二集合中所识别的帧内预测模式中的一或多者存储近似成本的子集。模式选择单元43可将近似成本存储到其的存储器可为片上存储器。也就是说，片上存储器(例如，寄存器、片上高速缓存等)可包含在实施视频编码器20的一些部分或全部的微处理器中或与所述微处理器集成。在其它实例中，模式选择单元43可将近似成本存储到其的存储器可为片外存储器。片外存储器可包含(例如)微处理器经由外部存储器接口所接入的动态随机存取存储器(DRAM)。在任何情况下，通过平行的视频编码器仅存储全帧内预测模式的子集的近似成本，模式选择单元43可减少片上存储器要求并由此提供在视频编码器生产方面的成本节约。
模式选择单元43可从模式选择单元43针对其产生近似成本的帧内预测模式的第一集合和/或第二集合中选择一种模式。举例来说，模式选择单元43可选择与最低近似成本相关联的模式。在其它实例中，模式选择单元43可确定包含在第一和第二集合中的一或多个模式的最近所使用的集合。模式选择单元43可在一或多个模式的近来所使用的集合中选择与最低近似成本相关联的模式。包含在近来所使用的集合中的模式可以是在由模式选择单元43进行的最近选择的先前数目中所选择的模式。一或多个模式的最近所使用的集合可以是共同地包含在第一和第二集合中的所有模式的子集。在选择译码当前块的模式后，基于一或多个模式的近似成本，模式选择单元43可将数据发送到帧内预测单元46以对具有所选择模式的当前块进行编码。在一些实例中，本发明的技术可由视频编码器20并行地执行。也就是说，视频编码器20可执行关于视频数据的邻近于当前块的一或多个相邻块的帧内预测或帧间预测，同时执行帧内预测来编码当前块。
帧内预测单元46可根据由帧内预测模式的第一集合或帧内预测模式的第二集合所识别的帧内预测模式中的一者(即由模式选择单元43为当前块所选择的模式)来执行帧内预测以编码当前块。以此方式，帧内预测单元46可基于针对在帧内预测模式的第一集合和帧内预测模式的第二集合中所识别的每一帧内预测模式计算的近似成本而对当前块进行编码。使用由模式选择单元43指示的所选择模式，帧内预测单元46可确定预测性块来对当前块进行编码。举例来说，预测模式可指示将评估哪一块或块群组帧内预测模式来选择预测性块。
在帧内预测单元46确定当前视频块的预测性块之后，求和器50通过从当前视频块减去预测性块而形成残余视频块。残余块中的残余视频数据可包含在一或多个TU中并应用于变换处理单元52。变换处理单元52使用例如离散余弦变换(DCT)或概念上类似的变换等变换将残余视频数据变换成残余变换系数。变换处理单元52可将残余视频数据从像素域转换到变换域，例如频域。
变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步减小位速率。量化过程可减少与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行对包含经量化变换系数的矩阵的扫描。或者，熵编码单元56可执行所述扫描。
在量化之后，熵编码单元56对经量化变换系数进行熵编码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法或技术。熵编码单元56还可对正被编码的当前视频切片的运动向量及其它语法元素进行熵编码。在熵编码单元56进行的熵编码之后，可将经编码位流发射到视频解码器30，或将经编码位流存档以供稍后发射或由视频解码器30检索。
熵译码单元56可根据本发明的技术编码指示所选择的帧内预测模式的信息。视频编码器20可在所发射的位流中包含配置数据、一或多个帧内预测模式索引表和多个经修改的帧内预测模式索引表(也被称作码字映射表)、用于各种块的编码上下文的定义、经编码视频数据等。视频编码器20可在所发射的位流中包含的这些类型的信息是示范性的，且许多其它类型的信息也可以包含于位流中。
逆量化单元58和逆变换处理单元60分别应用逆量化和逆变换以在像素域中重建残余块，例如以供稍后用作参考图片的参考块。运动补偿单元44可以通过将残余块添加到参考图片列表中的一者内的参考图片中的一者的预测性块中来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重建的残余块以计算子整数像素值用于运动估计。求和器62将经重建的残余块添加到由运动补偿单元44产生的运动补偿预测块以产生参考块用于存储在参考图片存储器64中。参考块可由运动估计单元42和运动补偿单元44用作参考块以对后续视频帧或图片中的块进行帧间预测。
图3是说明可实施本发明中描述的技术的实例视频解码器30的框图。在图3的实例中，视频解码器30包含熵解码单元70、预测单元73、逆量化单元76、逆变换处理单元78、求和器80和参考图片存储器82。预测单元73包含运动补偿单元72和帧内预测单元74。在一些实例中，视频解码器30可执行总体上与关于来自图2的视频编码器20描述的编码遍次互逆的解码遍次。
在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块和相关联语法元素的经编码视频位流。根据本发明的技术，除了其它信息外，经编码位流可包含对应于块且如先前关于图2所描述由模式选择单元43选择的预测模式。视频解码器30的熵解码单元70可对位流进行熵解码以产生经量化系数、运动向量和其它语法元素。熵解码单元70可将运动向量和其它语法元素转发到预测单元73。视频解码器30可以接收在视频切片层级和/或视频块层级处的语法元素。
当视频切片经译码为经帧内译码(I)切片时，预测单元73的帧内预测单元74可以基于用信号表示的帧内预测模式和来自当前帧或图片的经先前解码块的数据产生用于当前视频切片的视频块的预测数据。帧内预测单元74可基于对应于当前块的帧内预测模式的索引而确定用于对视频数据的当前块进行解码的适当帧内预测模式。所述帧内预测模式可能在先前已经如先前关于图2描述由模式选择单元43选择，且所述索引可能已经包含于由视频编码器20发送到视频解码器30的经编码位流中。帧内预测单元74可基于对应于所述索引的帧内预测模式而选择预测性块。求和器80可将来自逆变换处理单元78的预测性块数据和残余块数据相加以产生经解码的当前块。存储器82可存储经解码的当前块，其可随后由显示装置输出或发送到另一计算装置。
如上所述，本发明的方面总体上涉及帧内译码。因此，本发明的某些技术可由帧内预测单元74执行。也就是说，例如，帧内预测单元74可执行下文关于图4A至8所描述的本发明的技术。在其它实例中，视频解码器30的一或多个其它单元可另外或替代地负责执行本发明的技术。
当视频图片经译码为经帧间译码(即，B、P或GPB)切片时，预测单元73的运动补偿单元72基于从熵解码单元70接收到的运动向量和其它语法元素产生用于当前视频切片的视频块的预测性块。可以从参考图片列表中的一者内的参考图片中的一者产生预测性块。视频解码器30可基于存储在参考图片存储器82中的参考图片使用默认建构技术建构参考图片列表(列表0和列表1)。
运动补偿单元72通过剖析运动向量及其它语法元素确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于正经解码的当前视频块的预测性块。举例来说，运动补偿单元72使用一些接收到的语法元素确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的建构信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态和用以对当前视频切片中的视频块进行解码的其它信息。
运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用由视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的次整数像素的内插值。在此情况下，运动补偿单元72可根据所接收的语法元素确定由视频编码器20使用的内插滤波器并使用所述内插滤波器来产生预测性块。
逆量化单元76将提供于位流中且由熵解码单元70解码的经量化变换系数逆量化，例如，解量化。逆量化过程可包含使用由视频编码器20针对视频切片中的每一视频块计算的量化参数以确定应应用的量化程度及同样确定应应用的逆量化程度。逆变换处理单元78对变换系数应用逆变换(例如，逆DCT、逆整数变换，或概念上类似的逆变换过程)，以便产生像素域中的残余块。
在运动补偿单元72基于运动向量及其它语法元素产生当前视频块的预测性块后，视频解码器30通过对来自逆变换处理单元78的残余块与由运动补偿单元72产生的对应预测性块求和而形成经解码的视频块。求和器80表示执行此求和运算的一或多个组件。如果需要的话，还可应用去块滤波器以对经解码块进行滤波，以便去除成块假象。其它环路滤波器(译码环路中抑或译码环路之后)也可用于使像素转变变平滑或以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储在参考图片存储器82中，所述参考图片存储器存储用于后续运动补偿的参考图片。参考图片存储器82还存储经解码视频以用于稍后在显示装置(例如，图1的显示装置32)上呈现。
图4A是说明根据本发明中描述的技术的视频译码器可选择的帧内预测模式的概念表示的框图。例如H.264/AVC、MPEG-2和HEVC等视频译码标准使用基于块的混合视频译码框架。在此类框架中，将图片划分成不同大小的块，所述块在HEVC中称为CU(译码单元)。如先前所描述，每一CU可分裂成用于预测(PU)或变换(TU)的较小块。每一PU可在帧内模式的情况下在当前切片内预测或在帧间模式的情况下从时间相邻切片预测。使用如图1到3中描述的可变长度译码技术对预测误差进行变换、量化和译码。
在视频数据中，在矩形区域中的样本与紧邻于所述区域的样本之间可存在相对高相关性。在一些实例中，例如HEVC等视频译码技术使用帧内预测来从邻近的经先前译码PU中的样本预测当前PU。在HEVC中，帧内预测提供用于不同PU的35个模式。所述35个模式包含平面模式(模式0)、DC模式(模式1)以及对应于角+/-[0,2,5,9,13,17,21,26,32]/32的33个预测方向的33个角度预测模式。
图4A说明HEVC中所定义的所有模式的35个角度预测方向。在平面模式(标示为“模式0”或“0”)中，视频编码器20可根据在邻近于当前块的左列的列中的像素值预测当前块的像素值。在DC模式(标示为“模式1”或“1”)中，视频编码器20可根据当前块的顶部行上方的行中的像素的值与邻近于当前块的最左列的列中的像素的值的总和的平均值来计算预测性块。在角度预测模式中，视频编码器20可通常根据当前块的顶部行上方的行的像素值或邻近于当前块的最左列的列的像素值沿着给定角度(上文展示为帧内预测模式2-34)预测像素。
在一些实施中,视频编码器可要求与当前块的不同帧内预测模式相关联的速率失真值即使在针对一些相依相邻块判定预测模式之前是可获得的。可能由于实施复杂性(或成本)与译码性能(例如译码效率、吞吐量等)之间的设计折衷而需要所述要求。举例来说，在分别检查帧内模式成本和帧间模式成本中，视频编码器可必须并行地处置多个块，例如LCU中的所有可能的块。在这种情况下，对于那些块中的当前块，在可确定其相依相邻块的预测模式(例如，帧内预测模式或帧间预测模式)之前，视频编码器可能需要计算使用不同帧内预测模式译码当前块的失真值。
在这些实施中，就位数目来说，可不能获得用于当前块的帧内预测模式的发信成本，因为其取决于与在那一时刻所确定的相邻块的预测模式。因此，也可能不能获得针对当前块的失真速率。视频编码器可针对LCU中的每一块的每一帧内预测模式存储所有失真值。后期在视频编码器确定相依相邻块的预测模式时，视频编码器可即时确定与每一帧内预测模式相关联的当前块的失真值速率且可利用所检索的相关失真值计算成本。在此类方案使得能够使用拉格朗日倍数对每一块的所有可能的帧内预测模式进行成本评估时，保持一个LCU中的所有可能块的所有失真值所需要的存储量可较大。举例来说，假设LCU的大小为32×32并还假设每一失真值取32位且每一模式索引取6位来进行存储，表1中展示LCU中的所有可能块的每一帧内预测模式的所需存储。
PU大小 LCU中的PU编号(#) 存储(位)(32位失真、6位模式索引)
4x4 64 2432
8x8 16 608
16x16 4 152
32x32 1 38
总计 85 3230
表1
在表1中所示的3230个位中，2720个位用于存储失真度量和510位模式索引值。如果针对LCU中的每一PU(或块)存储如图4B中所说明的所有35个模式，那么需要总数为2720*35＝95200的位以用于存储失真度量。这种存储大小实际上可能是昂贵的。如图4B中进一步描述，视频编码器可避免针对35个帧内预测模式中的每一者计算近似成本而相反在帧内预测译码期间识别一或多个“最可能”帧内预测模式。然而，在一些实施中,视频编码器可并行地执行关于大量块的帧内预测，其可不允许视频编码器确定这些最可能模式。
根据本发明的技术，视频编码器20可确定所有可能的预测模式的子集的近似成本值而不是确定每一可能的预测模式的近似成本值。也就是说，视频编码器20可基于表示所选择模式的近似失真速率的对应近似成本值来选择模式。视频编码器20可确定所有可能的预测模式的子集的近似成本值而不是确定每一可能的预测模式的近似成本值。举例来说，视频编码器20可基于如图2中所描述的一或多个选择技术确定预定义预测模式的第一集合并另外确定预测模式的第二集合。共同地，第一和第二集合包括所有可能预测模式的子集。视频编码器20可随后存储对应于子集的一或多个模式的近似成本值以供稍后在译码给定块时使用。基于子集中的预测模式的近似成本值，视频编码器20随后选择预测模式来译码给定块。由于第一集合和第二集合中所指定的预测模式的总数小于所有可能预测模式的总数，所以视频编码器23所需的用来存储这些近似成本值的片上储存器的量可小于计算所有可能预测模式的近似成本值。
图4B是说明根据本发明中描述的技术的待进行帧内预测性译码的当前块和相邻块的概念表示的框图。图4B说明可被称为当前译码单元(“当前CU”)的当前块100以及可在帧内译码期间考虑的两个相邻块(块102(“块A”)和块104(“块B”))的实例。举例来说，视频编码器可将用以对相邻块102(定位于当前块的左边)和相邻块104(定位于当前块的上方)进行译码的帧内预测模式视为当前块的最可能帧内模式。
如图2和4A中先前所描述，视频编码器可计算可粗略估计速率失真成本的近似成本而不是计算全速率失真成本。替代于计算可能的帧内预测模式中的每一者的近似成本，视频编码器可在帧内预测译码期间识别一或多个所谓的“最可能”帧内预测模式。为了识别最可能模式，视频编码器可识别经先前编码块(其常是邻近于当前块的相邻块)的帧内预测模式。这些所谓的相邻块的帧内模式由于相邻块到当前块的空间接近度而可具有与当前块相同或类似的相对高概率。视频编码器可仅对这些最可能模式或者这些最可能模式和与其它模式相比以统计方式更可能当执行帧内预测时使用的其它可能模式(例如平面和DC模式)减少近似成本计算的数目。
然而，在一些实施中,视频编码器可并行地执行关于大量块的帧内预测，其可不允许视频编码器确定这些最可能模式。举例来说，视频编码器可执行关于最大译码单元(LCU)的帧内预测，其可经分割成大量不同大小的译码单元。如果这些CU中的每一者同时经帧内预测或经帧间预测，那么视频编码器可不能够使用其来确定当前块的最可能模式。为进行说明，视频编码器可对图4B中所示的相邻块102及104进行帧内预测，同时还执行关于当前块100的帧内预测。鉴于视频编码器尚未完成对块102及104的帧内预测，视频编码器尚未知晓用于对块102及104进行编码的帧内预测模式并因此可能能够确定在试图执行关于当前块100的帧内预测时的最可能模式。
由于不能利用执行帧内预测时的最可能模式，所以视频编码器可试图针对关于LCU中的每一CU的每一帧内预测模式计算近似成本。视频编码器可使用6个位将这些近似成本存储为(例如)32位值，以指示32位近似成本所对应的模式。一旦视频编码器完成对相邻块102及104的编码，视频编码器可随后使用针对当前块计算的近似成本识别当前块100的最可能模式，以识别应使用更复杂速率失真分析来完全测试各种模式中的哪一者。
虽然以上过程可通过减少使用全速率失真分析而分析的经预测块的数目使高度平行的视频译码器(意义在于视频编码器同时执行关于大量块的帧内预测或帧间预测)能够更高效地执行帧内预测，但此过程可由于存储近似成本所需的存储器而产生昂贵的视频编码器。
根据本发明中所描述的技术，在一些实例中，例如为视频编码器20的平行视频编码器(表示在编码当前块100的同时编码相邻块102及104的视频编码器)可仅存储图4A中所说明的全35个帧内预测模式的子集的近似成本，从而可减少片上存储器要求并提供在视频编码器20的生产方面的成本节约。在操作中，视频编码器20可确定当前块100的帧内预测模式的第一预定义集合。第一预定义集合中的帧内预测模式的所述数目小于能够由视频编码器20用来对当前块进行编码的帧内预测模式的总数(例如，图4A中所示的35个帧内预测模式)。通常，帧内预测模式的此第一预定义集合包括一个、两个或三个帧内预测模式，其已经以统计方式识别为在比帧内预测模式(例如，模式0、1和26)的剩余模式更频繁的基础上出现。
视频编码器20还可确定除帧内预测模式的第一预定义集合之外的用于当前块100的帧内预测模式的第二集合。此外，帧内预测模式的第二集合包含数量小于或等于能够由视频编码器20用来对当前块100进行编码的帧内预测模式的总数的帧内预测模式。模式的第二集合可未经预定义。换句话说，可设定帧内预测模式的第一预定义集合(但模式的具体列表可横跨LCU、切片、图片、序列等而变化)，而第二集合是通过取样或一些其它过程来随机导出或确定的，如先前在图2中所描述。
视频编码器20可随后针对在帧内预测模式的第一预定义集合中所识别的每一帧内预测模式和在帧内预测模式的第二集合中所识别的每一帧内预测模式计算近似成本。视频编码器20可随后将在帧内预测模式的第一预定义集合中所识别的每一帧内预测模式和在帧内预测模式的第二集合中所识别的每一帧内预测模式的近似成本存储到存储器。鉴于在第一预定义集合中指定的帧内预测模式和第二集合中的所选择模式的总数((即，总和)小于可用于编码器当前块100的帧内预测模式的总数，视频编码器200可减少存储这些近似成本所需的片上存储器的量。
图5是说明根据本发明的技术的视频译码器(例如图2中所示的视频编码器20)在执行减少当从多个不同预测模式中进行选择时存储速率失真值所需的空间的方面时的示范性操作的流程图。在一些实例中，视频编码器20可针对每一PU存储与M个预定义帧内预测模式的失真度量。在一些实例中，视频编码器20可利用通过视频编码器20所确定和/或存储的失真度量从所有可能的剩余模式中选择出N个模式。以此方式，视频编码器20可将M+N个模式的总数存储为所有可能模式的子集。作为一个实例，视频编码器20可将M设定为模式1，其经固定为平面模式。视频编码器20可将N设定为模式2或模式3。视频编码器20可随后基于可用的速率信息使用拉格朗日乘数从子集中选择“最佳”模式。举例来说，视频编码器20可从子集中选择“最佳”模式作为具有最低近似成本的模式。现参考图5的流程图来进一步说明这些实例技术。
最初，首先参考视频编码器20，预测单元41可接收视频数据的一或多个视频块以用于编码。响应于确定待译码的当前块，模式选择单元43可确定待编码的视频数据的当前块的帧内预测模式的第一集合，如上文所描述(120)。在一些实例中，帧内预测模式的第一集合包含帧内预测模式的预定义群组。帧内预测模式(例如模式0、1及26)的预定义群组可包含已经以统计方式识别为在比帧内预测模式的剩余模式更频繁的基础上出现的帧内预测模式。在一些实例中，帧内预测模式的第一集合包含小于能够用于编码当前块的帧内预测模式的总数的帧内预测模式。
模式选择单元43可接下来确定除帧内预测模式的第一预定义集合之外的用于当前块的帧内预测模式的第二集合(122)。如图2中所描述，模式选择单元43可实施一或多个选择技术(例如随机选择、抽样选择等)来选择一或多个帧内预测模式。帧内预测模式的第二集合可包含比能够用于编码当前块的帧内预测模式的总数更少的帧内预测模式。此外，第一集合和第二集合均可共同地包含总计小于能够用于编码当前块的帧内预测模式的总数的帧内预测模式。
在一些实例中，模式选择单元43接着计算包含在帧内预测模式的第一集合中的每一帧内预测模式和包含在帧内预测模式的第二集合中的每一帧内预测模式的近似成本(124)。如图2中所描述，近似成本可粗略估计使用帧内预测模式中的对应一者编码视频数据的当前块的速率失真成本。模式选择单元43可使用一或多个实例失真度量(例如，平方失真总和(SSD)、绝对差总和(SAD)及绝对变换差总和(SATD))来实施一或多个实例成本近似技术。
模式选择单元43可接着将在帧内预测模式的第一集合中所识别的每一帧内预测模式和在帧内预测模式的第二集合中所识别的一些或所有帧内预测模式的近似成本存储到存储器(126)。存储器可以是包含在实施视频编码器20的微处理器中或与所述微处理器集成的片上存储器(例如，寄存器、片上高速缓存等)。包含在第一和第二集合中的帧内预测模式的近似成本可因此可由视频编码器20检索以供稍后使用。
模式选择单元43可从帧内预测模式的第一集合和/或第二集合中选择帧内预测单元46可使用以对当前块进行帧内译码的模式(128)。举例来说，模式选择单元43可从第一和第二集合中选择与最低近似成本相关联的最佳模式。在选择模式之后，模式选择单元43可将指定所选择模式的数据发送到帧内预测单元46。
使用从模式选择单元43接收的模式，帧内预测单元46可执行帧内预测以根据所选模式对当前块进行编码，如图2的实例中进一步描述(130)。以此方式，帧内预测是基于针对模式选择单元43从中选择最佳模式的帧内预测模式的第一集合和帧内预测模式的第二集合中所识别的每一帧内预测模式所计算的近似成本。
图6是说明根据本发明的技术的视频译码器(例如图2中所示的视频编码器20)在执行减少当从多个不同预测模式中进行选择时存储速率失真值所需的空间的方面时的示范性操作的流程图。在一些实例中，视频编码器20可针对每一PU存储失真度量，例如与M个预定义帧内预测模式相关联的近似成本。在一些实例中，视频编码器20可接着使用本文所描述的一或多个选择技术基于所述失真度量从剩余的可能模式中选择出N个模式来形成子集。视频编码器20可接着将所述N个模式的失真度量与M个预定义模式的加权失真度量进行比较。加权因子可小于1并大小0，因此如果给定的预定义模式的失真度量与那些N个模式的相应失真度量之间的差小于阈值(即，给定的预定义模式的失真度量并不比N个模式的那些失真度量大很多)，那么视频编码器20可选择给定的预定义模式并将其添加到视频编码器20将稍后从其中选择最佳模式来对当前块进行帧内预测的模式的组合子集。以此方式，视频编码器20可将总数为T的模式存储于模式的组合子集中，其中T等于1或介于N与N+M之间。视频编码器20可随后基于可用的速率信息使用拉格朗日乘数从子集中选择“最佳”模式。举例来说，视频编码器20可从子集中选择“最佳”模式作为具有最低近似成本的模式。现参考图6的流程图来进一步说明这些实例技术。
最初，首先参考视频编码器20，预测单元41可接收视频数据的一或多个视频块以用于编码。响应于确定待译码的当前块，模式选择单元43可确定待编码的视频数据的当前块的帧内预测模式的第一集合，如上文所描述(140)。在一些实例中，帧内预测模式的第一集合包含帧内预测模式的预定义群组。帧内预测模式的预定义群组可包含已经以统计方式识别为在比帧内预测模式的剩余模式更频繁的基础上出现的帧内预测模式。在一些实例中，帧内预测模式的第一集合包含小于能够用于编码当前块的帧内预测模式的总数的帧内预测模式。
模式选择单元43可接下来确定除帧内预测模式的第一预定义集合之外的用于当前块的帧内预测模式的第二集合(142)。如图2中所描述，模式选择单元43可实施一或多个选择技术(例如随机选择、抽样选择等)来选择一或多个帧内预测模式。帧内预测模式的第二集合可包含比能够用于编码当前块的帧内预测模式的总数更少的帧内预测模式。此外，第一集合和第二集合均可共同地包含总计小于能够用于编码当前块的帧内预测模式的总数的帧内预测模式。
在一些实例中，模式选择单元43接着计算包含在帧内预测模式的第二集合中的每一帧内预测模式的近似成本(144)。如图2中所描述，近似成本可粗略估计使用帧内预测模式中的对应一者编码视频数据的当前块的速率失真成本。模式选择单元43可使用一或多个失真度量(例如，平方失真总和(SSD)、绝对差总和(SAD)及绝对变换差总和(SATD))来实施一或多个实例成本近似技术。
在一些实例中，模式选择单元43接着计算包含在帧内预测模式的第一集合中的每一帧内预测模式的加权近似成本(146)。也就是说，模式选择单元43将权重应用于针对在帧内预测模式的第一预定义集合中识别的每一帧内预测模式所计算的近似成本中的每一者，以计算在帧内预测模式的第一集合中识别的每一帧内预测模式的加权近似成本。举例来说，模式选择单元43可确定加权因子，其至少部分地基于帧内预测模式的第一集合中具有最低成本的两个或两个以上模式的平均数。也就是说，模式选择单元43可在平均数较大时应用较大加权因子并在平均数较小时应用较小加权因子。加权因子的量值可与两个或两个以上模式的平均数成比例。在其它实例中，可类似地使用帧内预测模式的第一集合中的两个或两个以上模式的成本方差。在一些实例中，加权因子可包含在0至1的范围内，但连续和/或离散值的任何合适范围是可能的。作为一个实例，为了应用加权因子，模式选择单元43可产生给定的帧内预测模式的加权近似成本作为加权因子与给定的帧内预测模式的近似成本的乘积。在其它实例中，模式选择单元可产生给定的帧内预测模式的加权近似成本作为加权因子与给定的帧内预测模式的近似成本的总和。
模式选择单元43可接下来从第一集合中选择与给定模式相关联的加权近似成本(148)。在选择加权近似成本后，模式选择单元43可确定加权近似成本与第二集合中的模式的近似成本之间的差是否小于阈值(147)。也就是说，模式选择单元43可将加权近似成本与针对帧内预测模式的第二集合中识别的每一帧内预测模式所计算的近似成本中的每一者进行比较。在一些实例中，模式选择单元43可确定加权近似成本与第二集合中的多个模式的近似成本之间的差是否小于阈值。举例来说，模式选择单元43可确定第二集合中的多个近似成本的平均数或基于多个近似成本确定任何其它合适的经计算值。
在任何情况下，如果加权近似成本与第二集合的近似成本之间的差小于阈值(152)，那么模式选择单元43可将模式存储于模式的组合集合中，所述组合集合包含至少所选择模式和第二集合的一或多个模式(154)。模式选择单元43还可存储与所述模式相关联的近似成本。或者，如果加权近似成本与第二集合的近似成本之间的差不小于阈值(150)，那么模式选择单元43可不将模式存储于模式的组合集合中。也就是说，模式选择单元43可基于上文在(147)处描述并说明的比较将针对帧内预测模式的第一预定义集合中所识别的帧内预测模式计算的近似成本存储到存储器。在一些实例中，模式选择单元43可确定是否存在与加权近似成本相关联的第一集合中的尚未由模式选择单元43评估的任何额外模式(155)。
如果额外未评估模式存在于第一集合中，那么模式选择单元43可选择下一未评估模式(156)并随后评估选择模式(148)。或者，如果模式选择单元43已评估第一集合中的每一模式(158)，那么模式选择单元43可接下来基于与所述模式相关联的近似成本从模式的组合集合中选择一模式(160)。在一些实例中，模式选择单元43可选择与最低近似成本相关联的模式。在从模式选择单元43接收到对所选模式的指示后，帧内预测单元46可执行帧内预测以根据所选模式对当前块进行编码(162)。
图7是说明根据本发明的技术的视频译码器(例如图2中所示的视频编码器20)在执行减少当从多个不同预测模式中进行选择时存储速率失真值所需的空间的方面时的示范性操作的流程图。在一些实例中，视频编码器20可针对每一PU仅选择最佳N个模式(在没有速率R的情况下仅关于失真度量D)来形成子集，且模式选择单元43可存储对应的失真度量。也就是说，在一些情况下，模式选择单元43可确定包括帧内预测模式的零集合或空集合的帧内预测模式的第一预定义集合，表示利用速率失真分析来仅测试帧内预测模式的第二集合。这可进一步减少对于视频编码器的片上存储器要求。在速率信息是可用的时，模式选择单元43可使用拉格朗日乘数从子集中选择最佳模式。举例来说，视频编码器20可从子集中选择“最佳”模式作为具有最低近似成本的模式。现参考图7的流程图来进一步说明这些实例技术。
最初，模式选择单元43可使用一或多个选择技术确定所有可能的帧内预测模式的子集(180)。举例来说，如图2中所描述，模式选择单元43可实施一或多个选择技术(例如随机选择、抽样选择等)来选择一或多个帧内预测模式。在一些实例中，模式选择单元43可选择数量小于阈值的模式。在其它实例中，模式选择单元43可选择数量大于阈值的模式。
模式选择单元43可接下来计算包含在帧内预测模式的子集中的每一帧内预测模式的近似成本(182)。如本发明中先前所描述，模式选择单元43可使用一或多个失真度量(例如，平方失真总和(SSD)、绝对差总和(SAD)及绝对变换差总和(SATD))来实施一或多个实例成本近似技术。模式选择单元可使用一或多个实例成本近似技术来计算每一近似成本。
模式选择单元43可接下来将子集中所识别的每一帧内预测模式的近似成本存储到存储器(184)。存储器可以是包含在实施视频编码器20的微处理器中或与所述微处理器集成的片上存储器(例如，寄存器、片上高速缓存等)。包含在子集中的帧内预测模式的近似成本可因此通过视频编码器20检索以供稍后使用。
模式选择单元43可从帧内预测模式的子集中选择帧内预测单元46可使用以对当前块进行帧内译码的模式(186)。举例来说，模式选择单元43可从第一和第二集合中选择与最低近似成本相关联的最佳模式。在选择模式之后，模式选择单元43可将指定所选择模式的数据发送到帧内预测单元46。
使用从模式选择单元43接收的模式，帧内预测单元46可执行帧内预测以根据所选模式对当前块进行编码，如图2的实例中进一步描述(188)。以此方式，帧内预测是基于针对模式选择单元43从中选择最佳模式的帧内预测模式的子集中所识别的每一帧内预测模式所计算的近似成本。
图8是说明根据本发明的技术的视频译码器(例如图2中所示的视频编码器20)在执行减少当从多个不同预测模式中进行选择时存储速率失真值所需的空间的方面时的示范性操作的流程图。在某些实例中，对于一些PU，视频编码器20可已经对当前块的一些相邻块进行编码。视频编码器20可为高度平行的，表示视频编码器可在执行所述帧内预测的同时对相邻块进行编码。视频编码器20可因此利用相邻块的信息连同当前块的失真度量来改善给定模式的成本估计。举例来说，如果当前块在LCU边界上，那么其相邻块可经编码且所述相邻块的一些或全部信息可因此是可用的。由于已知相邻块的帧内模式，所以视频编码器20可使用相邻块的信息更准确地估计失真速率并获得关于当前块的每一模式的拉格朗日乘数成本。对于其相邻块经完全编码及重建的其它块(例如在包含当前块的LCU内的那些块)，视频解码器20恢复到使用图1至7中先前所描述的一或多个技术来选择模式以对当前块进行帧内预测。
以此方式，帧内预测模式的第一集合的确定、帧内预测模式的第二集合的确定、帧内预测模式的第一集合中识别的每一帧内预测模式和帧内预测模式的第二集合中识别的每一帧内预测模式的近似成本的计算以及近似成本的存储可基于用于对邻近于当前块的视频数据的相邻块进行编码的帧内预测模式是否可用于确定当前块的最可能帧内预测模式而动态地发生。现参考图8的流程图来进一步说明这些实例技术。
最初，模式选择单元43可确定待编码的当前块的至少一个相邻块(200)。举例来说，当前块可沿着包含至少一个相邻块的邻近LCU的垂直块边界。在另一个实例中，当前块可沿着包含至少一个相邻块的邻近LCU的水平块边界。在任何情况下，在确定至少一个相邻块后，模式选择单元43可确定至少一个相邻块是否已经编码(202)。
如果相邻块已经编码(206)，那么模式选择单元43可确定相邻块的帧内预测模式(208)。模式选择单元43可确定当前块的失真速率(例如，图2中所描述的R)等于相邻块的失真速率的估计值或相邻块的实际失真速率值。基于当前块的失真度量(例如，图2中所描述的D)和相邻块的失真速率，模式选择单元43可确定当前块的所选模式的成本(210)。也就是说，模式选择单元43可基于相邻块的模式及失真速率和当前块的失真度量确定当前块的成本。
在一些实例中，模式选择单元43可确定多个相邻块的每一模式的成本。在其它实例中，模式选择单元43可使用由模式选择单元43应用以编码相邻块的模式来确定当前块的成本。在任何情况下，模式选择单元43将基于相邻块的信息的一或多个模式存储于所有可能的帧内预测模式的子集中。在一些实例中，子集还可包含一或多个预定义帧内预测模式和/或使用本文所描述的选择技术确定的一或多个模式。模式选择单元43可接着基于由模式选择单元43确定的一或多个模式的成本选择当前块的模式(218)。在一些实例中，模式选择单元43可选择与最低近似成本相关联的模式。在从模式选择单元43接收到所选模式的指示后，帧内预测单元46可执行帧内预测以根据所选模式对当前块进行编码(220)。
返回操作(202)，如果模式选择单元43确定至少一个相邻块未经编码(204)，那么模式选择单元43可恢复到使用图1至7的实例中描述的一或多个技术来选择最佳模式对当前块进行帧内预测。举例来说，模式选择单元43可确定所有可能帧内预测模式的至少一个子集。举例来说，至少一个子集可包含一或多个预定义模式。在其它实例中，子集可包含由模式选择单元43使用本文先前所描述的选择技术选择的一或多个模式。在又其它实例中，模式选择单元43可确定分别包含预定义模式和使用一或多个选择技术选择的模式的预测模式的两个子集(212)。
在任何情况下，模式选择单元43可接下来确定包含在帧内预测模式的至少一个子集中的每一帧内预测模式的近似成本(214)。模式选择单元43可使用一或多个失真度量(例如，平方失真总和(SSD)、绝对差总和(SAD)及绝对变换差总和(SATD))来实施一或多个实例成本近似技术。在确定近似成本值后，模式选择单元43可接下来将所有可能的帧内预测模式的至少一个子集中识别的每一帧内预测模式的近似成本存储到存储器(216)。存储器可以是包含在实施视频编码器20的微处理器中或与所述微处理器集成的片上存储器(例如，寄存器、片上高速缓存等)。包含在第一和第二集合中的帧内预测模式的近似成本可因此可由视频编码器20检索以供稍后使用。
模式选择单元43可从帧内预测模式的至少一个子集中选择帧内预测单元46可使用以对当前块进行帧内译码的模式(218)。举例来说，模式选择单元43可从第一和第二集合中选择与最低近似成本相关联的最佳模式。在选择模式之后，模式选择单元43可将指定所选择模式的数据发送到帧内预测单元46。
使用从模式选择单元43接收的模式，帧内预测单元46可执行帧内预测以根据所选模式对当前块进行编码，如图2的实例中进一步描述(220)。以此方式，帧内预测是基于针对模式选择单元43从中选择最佳模式的帧内预测模式的第一集合和帧内预测模式的第二集合中所识别的每一帧内预测模式所计算的近似成本。
在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果实施于软件中，则可将功能作为计算机可读媒体上的一或多个指令或码而加以存储或传输。计算机可读媒体可包含计算机数据存储媒体或通信媒体，通信媒体包含促进将计算机程序从一处传送到另一处的任何媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用的媒体。以实例方式(且并非限制)，所述计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于载送或存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。同样，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源传输软件，则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。如本文中所使用，磁盘及光盘包括紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常磁性地复制数据，而光盘使用激光光学地复制数据。上文的组合也应包含在计算机可读媒体的范围内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路的一或多个处理器来执行代码。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文所述的功能性可在经配置用于编码和解码的专用硬件和/或软件模块内提供，或并入在组合编解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可以在广泛多种装置或设备中实施，所述装置或设备包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示技术的装置的功能方面，但未必需要通过不同硬件单元来实现。实际上，如上文所描述，各种单元可以结合合适的软件及/或固件而组合在编解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
已描述了各种实例。这些及其它实例属于以下权利要求书的范围内。

Claims (36)

1.一种对视频数据进行编码的方法，所述方法包括：
在同时执行关于所述视频数据的邻近于当前块的一或多个相邻块的帧内预测或帧间预测时：
确定待编码的所述视频数据的所述当前块的帧内预测模式的第一集合，其中帧内预测模式的所述第一集合为预定义帧内预测模式且包含数量小于能够用于编码所述当前块的帧内预测模式的总数的帧内预测模式；
确定除帧内预测模式的所述第一集合之外的用于所述当前块的帧内预测模式的第二集合，其中帧内预测模式的所述第二集合不为预定义的且包含数量小于或等于能够用于编码所述当前块的帧内预测模式的所述总数的帧内预测模式，其中帧内预测模式的所述第一集合和帧内预测模式的所述第二集合共同地包含总计小于能够用于编码所述当前块的帧内预测模式的所述总数的帧内预测模式；
计算近似成本，其粗略估计包含在帧内预测模式的所述第一集合中的每一帧内预测模式和包含在帧内预测模式的所述第二集合中的每一帧内预测模式的全速率失真成本，其中所述近似成本粗略估计使用所述帧内预测模式中的对应一者编码视频数据的所述当前块的速率失真成本；
为执行使用全速率失真优化的帧内预测，仅将帧内预测模式的所述第一集合中识别的每一帧内预测模式和帧内预测模式的所述第二集合中识别的每一帧内预测模式的所述近似成本存储到存储器；以及
基于针对帧内预测模式的所述第一集合和帧内预测模式的所述第二集合中所识别的每一帧内预测模式而计算的所述近似成本，执行使用全速率失真优化的帧内预测以根据通过帧内预测模式的所述第一集合或帧内预测模式的所述第二集合识别的所述帧内预测模式中的一者编码所述当前块。
2.根据权利要求1所述的方法，其中存储仅针对帧内预测模式的所述第一集合中所识别的每一帧内预测模式和帧内预测模式的所述第二集合中所识别的每一帧内预测模式的所述近似成本包括：
将权重应用于针对在帧内预测模式的所述第一集合中识别的每一帧内预测模式所计算的所述近似成本中的每一者，以计算在帧内预测模式的所述第一集合中识别的每一帧内预测模式的加权近似成本；
将所述加权近似成本与针对帧内预测模式的所述第二集合中识别的每一帧内预测模式所计算的所述近似成本中的每一者进行比较；以及
基于所述比较将针对帧内预测模式的所述第一集合中识别的帧内预测模式计算的所述近似成本存储到所述存储器。
3.根据权利要求2所述的方法，其中将所述加权近似成本与针对帧内预测模式的所述第二集合中识别的每一帧内预测模式所计算的所述近似成本中的每一者进行比较进一步包括：
从所述加权近似成本中选择加权近似成本；
确定所述加权近似成本与针对每一经帧内预测模式计算的所述近似成本的近似成本之间的差；以及
确定所述差小于阈值。
4.根据权利要求1所述的方法，其中确定帧内预测模式的所述第一集合包括确定帧内预测模式的零集合。
5.根据权利要求1所述的方法，其中以下中的至少一者是至少部分地基于用于对视频数据的邻近于所述当前块的相邻块进行编码的帧内预测模式是否可用于确定所述当前块的最可能帧内预测模式而动态地发生：
帧内预测模式的所述第一集合的所述确定，
帧内预测模式的所述第二集合的所述确定，
帧内预测模式的所述第一集合中识别的每一帧内预测模式和帧内预测模式的所述第二集合中识别的每一帧内预测模式的所述近似成本的所述计算，以及
所述近似成本的所述存储。
6.根据权利要求5所述的方法，其进一步包括：
确定所述当前块的相邻块；
响应于确定所述相邻块经编码，确定所述相邻块的所述帧内预测模式；以及
至少部分地基于所述相邻块的所述帧内预测模式确定所述当前块的速率失真成本。
7.根据权利要求1所述的方法，其中确定待编码的所述视频数据的所述当前块的帧内预测模式的所述第一集合包括确定待编码的所述视频数据的所述当前块的帧内预测模式的第一预定义集合。
8.根据权利要求1所述的方法，其进一步包括：
产生至少一个统计数据，其指示先前选择帧内预测模式以编码经先前预测块的出现的数量；以及
响应于确定所述出现数量大于阈值，将所述帧内预测模式包含在帧内预测模式的所述第二集合中。
9.根据权利要求1所述的方法，其中执行帧内预测以编码所述当前块进一步包括：
确定与帧内预测模式相关联的近似成本，其中所述确定的近似成本具有所述近似成本的最低近似成本；以及
使用与具有所述最低近似成本的所述确定的近似成本相关联的模式对所述当前块进行帧内预测。
10.一种视频译码装置，其经配置以执行帧内预测过程以对视频数据进行译码，所述视频译码装置包括：
处理器，其经配置以在同时执行关于所述视频数据的邻近于当前块的一或多个相邻块的帧内预测或帧间预测时进行以下操作：
确定待编码的所述视频数据的所述当前块的帧内预测模式的第一集合，其中帧内预测模式的所述第一集合为预定义帧内预测模式且包含数量小于能够用于编码所述当前块的帧内预测模式的总数的帧内预测模式；
确定除帧内预测模式的所述第一集合之外的用于所述当前块的帧内预测模式的第二集合，其中帧内预测模式的所述第二集合不为预定义的且包含数量小于或等于能够用于编码所述当前块的帧内预测模式的所述总数的帧内预测模式，其中帧内预测模式的所述第一集合和帧内预测模式的所述第二集合共同地包含总计小于能够用于编码所述当前块的帧内预测模式的所述总数的帧内预测模式；
计算近似成本，其粗略估计包含在帧内预测模式的所述第一集合中的每一帧内预测模式和包含在帧内预测模式的所述第二集合中的每一帧内预测模式的全速率失真成本，其中所述近似成本粗略估计使用所述帧内预测模式中的对应一者编码视频数据的所述当前块的速率失真成本；
为执行使用全速率失真优化的帧内预测，将帧内预测模式的所述第一集合中识别的每一帧内预测模式和帧内预测模式的所述第二集合中识别的每一帧内预测模式的所述近似成本存储到存储器；以及
基于针对帧内预测模式的所述第一集合和帧内预测模式的所述第二集合中所识别的每一帧内预测模式而计算的所述近似成本，执行使用全速率失真优化的帧内预测以根据通过帧内预测模式的所述第一集合或帧内预测模式的所述第二集合识别的所述帧内预测模式中的一者编码所述当前块。
11.根据权利要求10所述的视频译码装置，其中所述处理器经进一步配置以进行以下操作：
将权重应用于针对在帧内预测模式的所述第一集合中识别的每一帧内预测模式所计算的所述近似成本中的每一者，以计算在帧内预测模式的所述第一集合中识别的每一帧内预测模式的加权近似成本；
将所述加权近似成本与针对帧内预测模式的所述第二集合中识别的每一帧内预测模式所计算的所述近似成本中的每一者进行比较；以及
基于所述比较将针对帧内预测模式的所述第一集合中识别的帧内预测模式计算的所述近似成本存储到所述存储器。
12.根据权利要求11所述的视频译码装置，其中所述处理器经进一步配置以进行以下操作：
从所述加权近似成本中选择加权近似成本；
确定所述加权近似成本与针对每一经帧内预测模式计算的所述近似成本的近似成本之间的差；以及
确定所述差小于阈值。
13.根据权利要求10所述的视频译码装置，其中所述处理器经进一步配置以确定帧内预测模式的零集合。
14.根据权利要求10所述的视频译码装置，其中以下中的至少一者是至少部分地基于用于对视频数据的邻近于所述当前块的相邻块进行编码的帧内预测模式是否可用于确定所述当前块的最可能帧内预测模式而动态地发生：
帧内预测模式的所述第一集合的所述确定，
帧内预测模式的所述第二集合的所述确定，
帧内预测模式的所述第一集合中识别的每一帧内预测模式和帧内预测模式的所述第二集合中识别的每一帧内预测模式的所述近似成本的所述计算，以及
所述近似成本的所述存储。
15.根据权利要求14所述的视频译码装置，其中所述处理器经进一步配置以进行以下操作：
确定所述当前块的相邻块；
响应于确定所述相邻块经编码，确定所述相邻块的所述帧内预测模式；以及
至少部分地基于所述相邻块的所述帧内预测模式确定所述当前块的速率失真成本。
16.根据权利要求10所述的视频译码装置，其中所述处理器经进一步配置以确定待编码的所述视频数据的所述当前块的帧内预测模式的第一预定义集合。
17.根据权利要求10所述的视频译码装置，其中所述处理器经进一步配置以进行以下操作：
产生至少一个统计数据，其指示先前选择帧内预测模式以编码经先前预测块的出现的数量；以及
响应于确定所述出现数量大于阈值，将所述帧内预测模式包含在帧内预测模式的所述第二集合中。
18.根据权利要求10所述的视频译码装置，其中所述处理器经进一步配置以进行以下操作：
确定与帧内预测模式相关联的近似成本，其中所述确定的近似成本具有所述近似成本的最低近似成本；以及
使用与具有所述最低近似成本的所述确定的近似成本相关联的模式对所述当前块进行帧内预测。
19.一种视频译码装置，其经配置以在同时执行关于所述视频数据的邻近于当前块的一或多个相邻块的帧内预测或帧间预测时执行帧内预测过程以对视频数据进行译码，所述视频译码装置包括：
用于确定待编码的所述视频数据的所述当前块的帧内预测模式的第一集合的装置，其中帧内预测模式的所述第一集合为预定义帧内预测模式且包含数量小于能够用于编码所述当前块的帧内预测模式的总数的帧内预测模式；
用于确定除帧内预测模式的所述第一集合之外的用于所述当前块的帧内预测模式的第二集合的装置，其中帧内预测模式的所述第二集合不为预定义的且包含数量小于或等于能够用于编码所述当前块的帧内预测模式的所述总数的帧内预测模式，其中帧内预测模式的所述第一集合和帧内预测模式的所述第二集合共同地包含总计小于能够用于编码所述当前块的帧内预测模式的所述总数的帧内预测模式；
用于计算近似成本的装置，所述近似成本粗略估计包含在帧内预测模式的所述第一集合中的每一帧内预测模式和包含在帧内预测模式的所述第二集合中的每一帧内预测模式的全速率失真成本，其中所述近似成本粗略估计使用所述帧内预测模式中的对应一者编码视频数据的所述当前块的速率失真成本；
用于为执行使用全速率失真优化的帧内预测而仅将帧内预测模式的所述第一集合中识别的每一帧内预测模式和帧内预测模式的所述第二集合中识别的每一帧内预测模式的所述近似成本存储到存储器的装置；以及
用于基于针对帧内预测模式的所述第一集合和帧内预测模式的所述第二集合中所识别的每一帧内预测模式而计算的所述近似成本，执行使用全速率失真优化的帧内预测以根据通过帧内预测模式的所述第一集合或帧内预测模式的所述第二集合识别的所述帧内预测模式中的一者编码所述当前块的装置。
20.根据权利要求19所述的视频译码装置，其进一步包括：
用于将权重应用于针对在帧内预测模式的所述第一集合中识别的每一帧内预测模式所计算的所述近似成本中的每一者，以计算在帧内预测模式的所述第一集合中识别的每一帧内预测模式的加权近似成本的装置；
用于将所述加权近似成本与针对帧内预测模式的所述第二集合中识别的每一帧内预测模式所计算的所述近似成本中的每一者进行比较的装置；以及
用于基于所述比较将针对帧内预测模式的所述第一集合中识别的帧内预测模式计算的所述近似成本存储到所述存储器的装置。
21.根据权利要求20所述的视频译码装置，其进一步包括：
用于从所述加权近似成本中选择加权近似成本的装置；
用于确定所述加权近似成本与针对每一经帧内预测模式计算的所述近似成本的近似成本之间的差的装置；以及
用于确定所述差小于阈值的装置。
22.根据权利要求19所述的视频译码装置，其进一步包括用于确定帧内预测模式的零集合的装置。
23.根据权利要求19所述的视频译码装置，其中以下中的至少一者是至少部分地基于用于对视频数据的邻近于所述当前块的相邻块进行编码的帧内预测模式是否可用于确定所述当前块的最可能帧内预测模式而动态地发生：
帧内预测模式的所述第一集合的所述确定，
帧内预测模式的所述第二集合的所述确定，
帧内预测模式的所述第一集合中识别的每一帧内预测模式和帧内预测模式的所述第二集合中识别的每一帧内预测模式的所述近似成本的所述计算，以及
所述近似成本的所述存储。
24.根据权利要求23所述的视频译码装置，其进一步包括：
用于确定所述当前块的相邻块的装置；
用于响应于确定所述相邻块经编码，确定所述相邻块的所述帧内预测模式的装置；以及
用于至少部分地基于所述相邻块的所述帧内预测模式确定所述当前块的速率失真成本的装置。
25.根据权利要求19所述的视频译码装置，其进一步包括用于确定待编码的所述视频数据的所述当前块的帧内预测模式的第一预定义集合的装置。
26.根据权利要求19所述的视频译码装置，其进一步包括：
用于产生至少一个统计数据的装置，所述统计数据指示先前选择帧内预测模式以编码经先前预测块的出现的数量；以及
用于响应于确定所述出现数量大于阈值将所述帧内预测模式包含在帧内预测模式的所述第二集合中的装置。
27.根据权利要求19所述的视频译码装置，其进一步包括：
用于确定与帧内预测模式相关联的近似成本的装置，其中所述确定的近似成本具有所述近似成本的最低近似成本；以及
用于使用与具有所述最低近似成本的所述确定的近似成本相关联的模式对所述当前块进行帧内预测的装置。
28.一种具有存储于其上的指令的非暂时性计算机可读存储媒体，所述指令当经执行时致使一或多个处理器在同时执行关于所述视频数据的邻近于当前块的一或多个相邻块的帧内预测或帧间预测时进行以下操作：
确定待编码的所述视频数据的所述当前块的帧内预测模式的第一集合，其中帧内预测模式的所述第一集合为预定义帧内预测模式且包含数量小于能够用于编码所述当前块的帧内预测模式的总数的帧内预测模式；
确定除帧内预测模式的所述第一集合之外的用于所述当前块的帧内预测模式的第二集合，其中帧内预测模式的所述第二集合不为预定义的且包含数量小于或等于能够用于编码所述当前块的帧内预测模式的所述总数的帧内预测模式，其中帧内预测模式的所述第一集合和帧内预测模式的所述第二集合共同地包含总计小于能够用于编码所述当前块的帧内预测模式的所述总数的帧内预测模式；
计算近似成本，其粗略估计包含在帧内预测模式的所述第一集合中的每一帧内预测模式和包含在帧内预测模式的所述第二集合中的每一帧内预测模式的全速率失真成本，其中所述近似成本粗略估计使用所述帧内预测模式中的对应一者编码视频数据的所述当前块的速率失真成本；
为执行使用全速率失真优化的帧内预测，仅将帧内预测模式的所述第一集合中识别的每一帧内预测模式和帧内预测模式的所述第二集合中识别的每一帧内预测模式的所述近似成本存储到存储器；以及
基于针对帧内预测模式的所述第一集合和帧内预测模式的所述第二集合中所识别的每一帧内预测模式而计算的所述近似成本，执行使用全速率失真优化的帧内预测以根据通过帧内预测模式的所述第一集合或帧内预测模式的所述第二集合识别的所述帧内预测模式中的一者编码所述当前块。
29.根据权利要求28所述的非暂时性计算机可读存储媒体，其中所述指令当经执行时致使所述一或多个处理器进行以下操作：
将权重应用于针对在帧内预测模式的所述第一集合中识别的每一帧内预测模式所计算的所述近似成本中的每一者，以计算在帧内预测模式的所述第一集合中识别的每一帧内预测模式的加权近似成本；
将所述加权近似成本与针对帧内预测模式的所述第二集合中识别的每一帧内预测模式所计算的所述近似成本中的每一者进行比较；以及
基于所述比较将针对帧内预测模式的所述第一集合中识别的帧内预测模式计算的所述近似成本存储到所述存储器。
30.根据权利要求29所述的非暂时性计算机可读存储媒体，其中所述指令当经执行时致使所述一或多个处理器进行以下操作：
从所述加权近似成本中选择加权近似成本；
确定所述加权近似成本与针对每一经帧内预测模式计算的所述近似成本的近似成本之间的差；以及
确定所述差小于阈值。
31.根据权利要求28所述的非暂时性计算机可读存储媒体，其中所述指令当经执行时致使所述一或多个处理器确定帧内预测模式的零集合。
32.根据权利要求28所述的非暂时性计算机可读存储媒体，其中以下中的至少一者是至少部分地基于用于对视频数据的邻近于所述当前块的相邻块进行编码的帧内预测模式是否可用于确定所述当前块的最可能帧内预测模式而动态地发生：
帧内预测模式的所述第一集合的所述确定，
帧内预测模式的所述第二集合的所述确定，
帧内预测模式的所述第一集合中识别的每一帧内预测模式和帧内预测模式的所述第二集合中识别的每一帧内预测模式的所述近似成本的所述计算，以及
所述近似成本的所述存储。
33.根据权利要求32所述的非暂时性计算机可读存储媒体，其中所述指令当经执行时致使所述一或多个处理器进行以下操作：
确定所述当前块的相邻块；
响应于确定所述相邻块经编码，确定所述相邻块的所述帧内预测模式；以及
至少部分地基于所述相邻块的所述帧内预测模式确定所述当前块的速率失真成本。
34.根据权利要求28所述的非暂时性计算机可读存储媒体，其中所述指令当经执行时致使所述一或多个处理器确定待编码的所述视频数据的所述当前块的帧内预测模式的第一预定义集合。
35.根据权利要求28所述的非暂时性计算机可读存储媒体，其中所述指令当经执行时致使所述一或多个处理器进行以下操作：
产生至少一个统计数据，其指示先前选择帧内预测模式以编码经先前预测块的出现的数量；以及；
响应于确定所述出现数量大于阈值，将所述帧内预测模式包含在帧内预测模式的所述第二集合中。
36.根据权利要求28所述的非暂时性计算机可读存储媒体，其中所述指令当经执行时致使所述一或多个处理器进行以下操作：
确定与帧内预测模式相关联的近似成本，其中所述确定的近似成本具有所述近似成本的最低近似成本；以及
使用与具有所述最低近似成本的所述确定的近似成本相关联的模式对所述当前块进行帧内预测。
CN201480007440.8A 2013-02-06 2014-01-06 存储减少的帧内预测模式决策 Active CN104969552B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/760,750 US9148667B2 (en) 2013-02-06 2013-02-06 Intra prediction mode decision with reduced storage
US13/760,750 2013-02-06
PCT/US2014/010345 WO2014123650A1 (en) 2013-02-06 2014-01-06 Intra prediction mode decision with reduced storage

Publications (2)

Publication Number Publication Date
CN104969552A CN104969552A (zh) 2015-10-07
CN104969552B true CN104969552B (zh) 2018-08-28

Family

ID=50033789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480007440.8A Active CN104969552B (zh) 2013-02-06 2014-01-06 存储减少的帧内预测模式决策

Country Status (6)

Country Link
US (1) US9148667B2 (zh)
EP (1) EP2954678A1 (zh)
JP (1) JP6054552B2 (zh)
KR (1) KR101670623B1 (zh)
CN (1) CN104969552B (zh)
WO (1) WO2014123650A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9426473B2 (en) 2013-02-01 2016-08-23 Qualcomm Incorporated Mode decision simplification for intra prediction
WO2014190468A1 (en) 2013-05-27 2014-12-04 Microsoft Corporation Video encoder for images
KR102116985B1 (ko) * 2013-08-16 2020-05-29 삼성전자 주식회사 비디오 인코딩을 위한 인트라 리프레쉬 방법
US20150103883A1 (en) * 2013-10-11 2015-04-16 Mediatek Inc. Method and apparatus for fast intra prediction
KR102185857B1 (ko) 2014-02-13 2020-12-02 삼성전자주식회사 영상 부호화, 복호화 방법 및 장치
EP3120556B1 (en) 2014-03-17 2021-01-13 Microsoft Technology Licensing, LLC Encoder-side decisions for screen content encoding
US20150271491A1 (en) * 2014-03-24 2015-09-24 Ati Technologies Ulc Enhanced intra prediction mode selection for use in video transcoding
WO2015200822A1 (en) * 2014-06-26 2015-12-30 Huawei Technologies Co., Ltd Method and device for reducing a computational load in high efficiency video coding
US10142626B2 (en) 2014-10-31 2018-11-27 Ecole De Technologie Superieure Method and system for fast mode decision for high efficiency video coding
CN106416254B (zh) 2015-02-06 2019-08-02 微软技术许可有限责任公司 在媒体编码期间跳过评估阶段
US10038917B2 (en) * 2015-06-12 2018-07-31 Microsoft Technology Licensing, Llc Search strategies for intra-picture prediction modes
US10136132B2 (en) 2015-07-21 2018-11-20 Microsoft Technology Licensing, Llc Adaptive skip or zero block detection combined with transform size decision
KR102465914B1 (ko) * 2016-03-04 2022-11-14 한국전자통신연구원 영상 부호화 장치의 부호화 방법
US9432668B1 (en) * 2016-03-15 2016-08-30 NGCodec Inc. Apparatus and method for inter and intra mode selection and block partitioning
FR3053555A1 (fr) * 2016-06-29 2018-01-05 B<>Com Procede de codage d'une image numerique, procede de decodage, dispositifs, terminal et programmes d'ordinateurs associes
WO2018047952A1 (ja) * 2016-09-12 2018-03-15 日本電気株式会社 イントラ予測モード決定方法、イントラ予測モード決定装置およびイントラ予測モード決定プログラムを記憶する記憶媒体
KR101873993B1 (ko) * 2016-11-18 2018-07-05 전자부품연구원 적응적 샘플 오프셋 파라미터 예측 방법 및 이를 위한 장치
KR101967028B1 (ko) * 2016-12-21 2019-04-09 전자부품연구원 고효율 비디오 부호화 모드 결정방법 및 결정장치
EP3565248A4 (en) * 2016-12-28 2020-12-02 LG Electronics Inc. -1- INTERPREDICTION-BASED IMAGE PROCESSING METHOD AND DEVICE FOR IT
CN117336474A (zh) * 2017-01-02 2024-01-02 Lx 半导体科技有限公司 图像编码/解码设备以及发送图像数据的设备
CN116170584A (zh) * 2017-01-16 2023-05-26 世宗大学校产学协力团 影像编码/解码方法
EP3370424A1 (en) * 2017-03-02 2018-09-05 Thomson Licensing A method and a device for picture encoding and decoding
US11496747B2 (en) * 2017-03-22 2022-11-08 Qualcomm Incorporated Intra-prediction mode propagation
US10630978B2 (en) * 2017-05-12 2020-04-21 Blackberry Limited Methods and devices for intra-coding in video compression
US20180376148A1 (en) 2017-06-23 2018-12-27 Qualcomm Incorporated Combination of inter-prediction and intra-prediction in video coding
CN107801024B (zh) * 2017-11-09 2019-07-12 北京大学深圳研究生院 一种用于帧内预测的边界滤波方法
CN108712648B (zh) * 2018-04-10 2021-04-30 天津大学 一种深度视频快速帧内编码方法
GB2620500B (en) * 2019-03-20 2024-05-15 V Nova Int Ltd Low complexity enhancement video coding
WO2020263472A1 (en) * 2019-06-24 2020-12-30 Alibaba Group Holding Limited Method and apparatus for motion vector refinement
CN111277824B (zh) * 2020-02-12 2023-07-25 腾讯科技（深圳）有限公司 图像预测处理方法、装置、终端及计算机可读存储介质
US20220201295A1 (en) * 2020-12-21 2022-06-23 Electronics And Telecommunications Research Institute Method, apparatus and storage medium for image encoding/decoding using prediction
CN114979656A (zh) * 2021-02-21 2022-08-30 腾讯科技（深圳）有限公司 视频编解码方法、装置、计算机可读介质及电子设备
KR20230034789A (ko) 2021-09-03 2023-03-10 삼성전자주식회사 디코딩 장치 및 그의 동작 방법
US11700382B1 (en) * 2021-11-03 2023-07-11 Meta Platforms, Inc. Systems and methods for improving mode decisions in hardware video encoders
CN118301323A (zh) * 2024-04-01 2024-07-05 摩尔线程智能科技(北京)有限责任公司 编码单元cu编码模式确定方法及装置、电子设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101971631A (zh) * 2007-12-21 2011-02-09 艾利森电话股份有限公司 自适应帧内模式选择

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1604530A4 (en) 2003-03-03 2010-04-14 Agency Science Tech & Res FAST-DECISION ALGORITHM FOR INTRAPRADICTION FOR ADVANCED VIDEO CODING
BRPI0517069A (pt) 2004-11-04 2008-09-30 Thomson Licensing previsão rápida intra modo para um codificador de vìdeo
JP2007251865A (ja) * 2006-03-20 2007-09-27 Sony Corp 画像データの処理装置、画像データの処理方法、画像データの処理方法のプログラム及び画像データの処理方法のプログラムを記録した記録媒体
TW200910971A (en) * 2007-08-22 2009-03-01 Univ Nat Cheng Kung Direction detection algorithms for H.264 intra prediction
JP2009055542A (ja) * 2007-08-29 2009-03-12 Toshiba Corp 動画像符号化装置および動画像符号化方法
KR102139535B1 (ko) * 2007-10-16 2020-07-30 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US20090161757A1 (en) 2007-12-21 2009-06-25 General Instrument Corporation Method and Apparatus for Selecting a Coding Mode for a Block
KR101353301B1 (ko) 2008-04-11 2014-01-21 에스케이 텔레콤주식회사 인트라 예측 모드 결정 방법 및 그 장치와 이를 이용한영상 부호화/복호화 방법 및 그 장치
US8665964B2 (en) 2009-06-30 2014-03-04 Qualcomm Incorporated Video coding based on first order prediction and pre-defined second order prediction mode
KR101702553B1 (ko) 2009-07-04 2017-02-03 에스케이 텔레콤주식회사 영상 부호화/복호화 방법 및 장치
US20110002386A1 (en) 2009-07-06 2011-01-06 Mediatek Singapore Pte. Ltd. Video encoder and method for performing intra-prediction and video data compression
KR101507344B1 (ko) 2009-08-21 2015-03-31 에스케이 텔레콤주식회사 가변 길이 부호를 이용한 인트라 예측모드 부호화 방법과 장치, 및 이를 위한기록 매체
WO2011031332A1 (en) 2009-09-14 2011-03-17 Thomson Licensing Methods and apparatus for efficient video encoding and decoding of intra prediction mode
US9467705B2 (en) 2009-12-30 2016-10-11 Ariscale Inc. Video encoding apparatus, video decoding apparatus, and video decoding method for performing intra-prediction based on directionality of neighboring block
US8913662B2 (en) 2011-01-06 2014-12-16 Qualcomm Incorporated Indicating intra-prediction mode selection for video coding using CABAC
US8811760B2 (en) * 2011-10-25 2014-08-19 Mitsubishi Electric Research Laboratories, Inc. Coding images using intra prediction modes
US9426473B2 (en) 2013-02-01 2016-08-23 Qualcomm Incorporated Mode decision simplification for intra prediction

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101971631A (zh) * 2007-12-21 2011-02-09 艾利森电话股份有限公司 自适应帧内模式选择

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Fast intra mode decision for HEVC video encoder;Ajit Singh Motra et al;《20th International Conference on Software,Telecommunications and Computer Networks》;20120911;1-5 *

Also Published As

Publication number Publication date
KR20150115886A (ko) 2015-10-14
CN104969552A (zh) 2015-10-07
KR101670623B1 (ko) 2016-10-28
JP2016509433A (ja) 2016-03-24
US9148667B2 (en) 2015-09-29
EP2954678A1 (en) 2015-12-16
US20140219349A1 (en) 2014-08-07
WO2014123650A1 (en) 2014-08-14
JP6054552B2 (ja) 2016-12-27

Similar Documents

Publication Publication Date Title
CN104969552B (zh) 存储减少的帧内预测模式决策
CN104937936B (zh) 用于视频译码的方法和装置
CN104221378B (zh) 在视频译码中用于量化矩阵的均匀粒度
CN105940677B (zh) 低复杂性样本自适应偏移编码
CN103959775B (zh) 一种视频数据编解码的方法及设备
CN103959777B (zh) 视频译码中的与自适应环路滤波器合并的样本自适应偏移
CN103190147B (zh) 用于视频译码的语法元素的联合译码方法及设备
CN106105198B (zh) 对视频数据译码的方法、装置以及计算机可读介质
CN104737537B (zh) 用于译码数字视频的设备、解码视频的方法、编码视频的方法及计算机可读存储媒体
CN103999465B (zh) 自适应性重叠块运动补偿
CN104604224B (zh) 可缩放视频译码中的变换基底调整
CN103141100B (zh) 用于视频译码的帧内平滑滤波器
CN104685875B (zh) 用于视频译码的方法、设备、计算机可读存储媒体
CN105493507B (zh) 用于帧内块复制的残余预测
CN104081777B (zh) 对视频数据进行编码或解码的方法、装置、设备及非暂时计算机可读媒体
CN103931182B (zh) 帧内预测视频译码中的非正方形变换
CN103329523B (zh) 使用经映射变换和扫描模式的视频译码
CN103299620B (zh) 在视频译码中使用最可能扫描次序对用于视频块的扫描次序信息进行有效译码
CN104429072B (zh) 自适应差域空间和时间参考重构及平滑
CN103238323A (zh) 在视频译码中基于视频块的扫描次序对块内的最后有效系数的位置进行译码
CN103181170A (zh) 用于视频译码的变换系数的自适应扫描
CN104137546A (zh) 用信号发送用于视频译码的量化矩阵
CN104255027B (zh) 用于视频译码的层间纹理预测
CN104303501A (zh) 用于视频译码的量化矩阵和解块滤波器
CN103563378A (zh) 存储器高效的上下文建模

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant