CN101015215A - 用于在视频编码解码器中实施快速模式决策的方法及设备 - Google Patents

用于在视频编码解码器中实施快速模式决策的方法及设备 Download PDF

Info

Publication number
CN101015215A
CN101015215A CN200580013918.9A CN200580013918A CN101015215A CN 101015215 A CN101015215 A CN 101015215A CN 200580013918 A CN200580013918 A CN 200580013918A CN 101015215 A CN101015215 A CN 101015215A
Authority
CN
China
Prior art keywords
coding mode
macro block
select
plural number
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200580013918.9A
Other languages
English (en)
Other versions
CN101015215B (zh
Inventor
梁宜
哈立德·希勒米·厄勒-马列
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101015215A publication Critical patent/CN101015215A/zh
Application granted granted Critical
Publication of CN101015215B publication Critical patent/CN101015215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

本发明提供通过利用在空间及/或时间上相接近的各编码模式决策之间的关联性来降低编码模式决策的计算复杂度的方法及设备。对当前宏功能块的模式决策是基于对在空间及/或时间上相接近的宏功能块的模式决策。

Description

用于在视频编码解码器中实施快速模式决策的方法及设备
根据35U.S.C.§119主张优先权
本专利申请案主张基于2004年3月11日提出申请且名称为“用于视频编码的低复杂性内/间模式决策(Low-Complexity Intra/inter Mode Decision for VideoCoding)”的第60/552,156号临时申请案的优先权，所述临时申请案受让给本发明的受让人且特此明确地以引用方式并入本文中。
技术领域
本发明大体而言涉及数字图像处理领域，且更具体而言涉及视频编码及解码领域。
背景技术
随着人们为提高通信通道的数据容量所作的开发，通过无线或有线通信通道传输视频已成为可能。而且，已制定了各种标准以利于使用具有数字存储媒体的电子装置(例如移动电话、个人计算机、个人数字助理(PDA)及其它电子装置)来实现视频传输及接收。一些使视频图像能够通过通信通道进行传输的视频标准的实例为运动图像专家组-1(MPEG-1)、MPEG-2及MPEG-4、由国际标准化组织(ISO)颁布的国际电信联盟(ITU)H.263、H.264。另一著名的标准制定实体为中国音频视频编码标准工作组(AVS)。
为了提供此种视频服务，必须以一不会超过通信通道的数据容量的方式来对原始图像进行压缩。例如，在电路交换式陆线电话系统中，通信通道通常仅限于64千位/秒。然而，此种位速率不足以用于将视频流以可接受的感觉质量以其原始格式进行传输。然而，实施所述压缩的方式不应该牺牲接收机处的所感觉到的图像质量。
为了平衡这两个对立的要求，许多视频编码器使用变换编码技术与运动补偿技术的组合来压缩原始视频序列。所述变换编码技术用于消除空间冗余而所述运动补偿技术用于消除时间冗余。
所属领域的技术人员普遍知道，使用变换编码及运动压缩技术来压缩原始图像的计算强度很大。实施压缩所需的指令数量(度量单位为MIPS(每秒百万个指令))很大并可消耗原本可分配给其它应用程序的硬件资源。因为所述压缩通常要在小型便携式电子装置内实施，所以实施这些压缩技术的硬件资源可能有限。因此，当前需要降低对视频编码器的MIPS或硬件的要求而不使所感觉到的视频图像的质量过度劣化。
发明内容
本发明提供用于解决上述需要的方法及设备。在一个方面中，提供一种用于对一当前宏功能块作出一编码模式决策的方法，所述方法包括：对复数个分别与一邻近宏功能块相关联的编码模式进行评价；并根据对所述复数个编码模式的评价来为所述当前宏功能块选择所述编码模式。
在另一个方面中，在一视频编解码器中提供一种用于对一当前宏功能块实施一模式决策的设备，所述设备包括：至少一个存储元件；及至少一个处理元件，其以通信方式耦接至所述至少一个存储元件并经配置以执行一组存储于所述至少一个存储元件上的指令，所述一组指令用于：对复数个分别与一邻近宏功能块相关联的编码模式进行评价；并根据对所述复数个编码模式的所述评价为所述当前宏功能块选择所述模式。
附图说明
图1A&1B为由一视频编码器使用的传统视频压缩方案的流程图。
图2为一传统视频编码器的一方块图。
图3为一过后模式编码决策算法的一实例。
图4A为一预先模式决策算法实施例的一方块图。
图4B为一可在一前模式决策算法实施例中执行的决策标准的一方块图。
图5A为一图解说明一混合模式决策算法实施例的方块图。
图5B为一图解说明一可在一混合模式决策算法实施例中作为一决策标准执行的交错图案的一方块图。
具体实施方式
更新一代的视频压缩标准采用一视频现象来降低编码的复杂性。视频仅仅是一系列在时间上快速、接连出现的称作帧的静止图像。可能会观察到一些视频帧表现出与邻近帧具有空间相似性及关联性，同时一些视频帧还表现出与邻近帧的时间相似性。因此，大多数视频压缩标准对“内编码帧”(其为探测其空间冗余的帧)与“间编码帧”(其为探测其时间冗余的帧)实施不同的编码技术。对包含空间或时间冗余的帧通常使用预测性编码。为了方便说明，内编码帧在本文中将称作I帧且间编码帧将在本文中称作P帧。为了对I帧及P帧进行编码，一典型的视频编解码器将对一图像帧的宏功能块而不是所述图像帧的全部进行处理。在使用四分之一通用中间格式(Quarter Common Intermediate Format，QCIF)的标准尺寸度量单位时，一个块包括一8×8像素组而一宏功能块包括一16×16像素组。一由176×144个像素构成的QCIF帧具有99个宏功能块。为了方便说明，所述内编码宏功能块在本文中将称作“内MB”且使用运动补偿及时间预测进行编码的宏功能块在本文中将称作“间MB”。
图1A为一图解说明内编码的流程图。在步骤100处，使一内MB中的像素经历一变换编码。在步骤110处，随后对变换的系数进行量化。在步骤120处，随后对经量化的系数进行无损编码以供传输。由于以MPEG-4格式进行标准化的变换编码技术为离散余弦变换(DCT)，因此在本文中将各实施例描述为使用DCT。然而，所属领域的技术人员将认识到，各实施例并不仅限于DCT，而是也可用于使用其它变换编码技术的视频编码器。因为在一相对少量的系数中可能压缩有大量的能量，所以常常选择DCT作为视频编码标准的变换代码。
内MB编码涉及图1A所示过程的一逆转形式：对所接收的信息进行无损耗编码、解量化、及随后使用步骤100处所用变换的逆变换来进行变换。
内MB的编码过程相对简单且对计算强度不大。对内MB进行编码需要使用很多个位，从而需要使用大量存储器及传输带宽。因此，此编码过程消耗存储器而不是处理器循环。根据图1A中所示的方法对整个视频流进行编码的效率将偏低，因为传输通道将无法携载为每秒传送多个帧所需的总位数。
与I帧相比，P帧进一步逐帧地探测并降低时间冗余，此可与空间冗余的降低一道用来减少需要存储于存储器中的位数。在一对低运动性行为进行的视频记录中，如果对一个帧与下一个帧之间的运动进行补偿，则这两个帧之间的像素差将较小。因为在运动补偿后几乎不存在或根本不存在运动，所以可使用有关前一及/或将来帧的信息来预测当前帧将显示什么。并非对当前帧中的所有位进行编码及传输，而是仅编码及传输对当前帧可能包含什么内容的预测的剩余位，从而减少需要存储或传输的位数。然而，由于为估测所述运动所需的估测计算的数量，对P帧的编码的计算强度很高。
图1B为一图解说明对间MB进行编码的流程图。在步骤140处，使用运动估测技术来确定一P帧内各像素块之间的平移运动。所述运动通常由一运动矢量表示。可对各组块(即宏功能块)进行比较来为每一P帧确定复数个运动矢量。请注意，对运动矢量的搜索的计算强度很高，因为对每一个块均实施对一最佳运动矢量的搜索。在步骤150处，使用所述运动矢量来预测一经运动补偿的宏功能块。在步骤160处，从一当前宏功能块中减去所述经运动补偿的宏功能块以形成一剩余宏功能块。在步骤170处，使所述剩余宏功能块经历一变换，对所变换的剩余宏功能块的系数进行量化，并随后进行无损编码。由于所述剩余宏功能块携载的信息少于原始P帧的宏功能块，因此减少了需要传输至一接收方的位数。
通常，一视频编解码器会选择将每第N个帧编码成一I帧而将其余帧编码成P帧。各I帧之间的此持续时间称作一“内周期”。I帧的存在用作刷新所述P帧的参考。在所指定的P帧内，所述视频编解码器偶尔也会选择某些宏功能块作为不是使用时间预测来编码的内编码宏功能块。
图2为一在一电子装置中由一传统视频编解码器实施的编码的方块图。经由所述编解码器的信号路径取决于所述输入图像信号是一I帧还是一P帧，或者另一选择为，取决于一P帧内的一宏功能块是一内MB还是一间MB。为了方便说明，在下文中将使用术语内MB及间MB来阐述对一P帧的编码。如果所述输入图像信号是一内MB，则一开关200建立一经由DCT块202、量化器块204及随后的无损编码块206的信号路径。所述信号离开所述编解码器以在所述电子装置内作进一步处理。进一步处理的一实例是在位流编码块208处进行编码，位流编码块208以一适于所述传输媒体的传输格式对所述信号进行编码。
虽然内MB编码结束于块204处，但所述内MB需要为间MB编码用作一参考MB。因此，离开量化器块204的量化值还进入所述视频编解码器的一解码部分210。解码部分210包括一解量化器块212及一逆DCT块213。所述量化值穿过解量化器块212并随后穿过逆DCT块213，以重构所述内MB来用于刷新由运动补偿块230及运动估测块232所存取的缓冲器222。经由DCT块202、量化器块204及随后经由无损编码块206的路径也适用于对通过所述间MB编码所产生的剩余MB进行编码。
如果所述输入图像信号为一间MB，则开关200建立一包括运动补偿块230及运动估测块232的新的信号路径。运动估测块232自缓冲器222接收当前的间MB及一组所存储的参考MB并在复数个运动矢量中搜索能最好地说明当前间MB与参考MB之间的运动之运动矢量。应注意，所述参考MB为存储的自所述视频编解码器的解码部分210输出的先前或将来MB的重构像素。然后，所述运动矢量输入至运动补偿块230中。
运动补偿块230自运动补偿块230接收所述运动矢量并自缓冲器222接收所述参考MB，以根据所述参考MB产生一新的预测性MB，即所述当前间MB的一预测性形式。当进行间MB编码时，应对所述参考MB进行更新。因此，开关240“接通”，以便通过求和元件220将所述预测性MB加至自解码部分210输出的经解码的剩余MB。将所述结果作为一新参考MB存储于缓冲器222中。
来自运动补偿块230的预测性MB由减法元件224从所述当前间MB中减去。然后，如上文针对内MB编码所述对所述剩余MB进行处理。使经量化和变换的剩余MB进一步穿过解码部分210，以使所述剩余MB可由所述视频编解码器用来更新存储于缓冲器222中的参考MB，所述参考MB又可由运动补偿块230及运动评价块232存取以用来对将来或过去的帧的MB进行编码。应注意，预测性编码技术可为双向的，因为可使用过去的信息预测当前帧或可使用将来的信息预测当前帧。
对所述内MB的编码也可使用空间预测。对所述间MB的编码采用时间预测。图2所示传统视频编解码器设计的问题在于，非预测性编码消耗太多的存储资源且预测性编码消耗太多的处理资源。如果所属领域的技术人员决定需要降低MIPS要求以实施其它任务，则增加I帧或内MB的数量为一可能的解决方案，此是通过降低所述内周期值N来实现的。然而，此解决方案有缺陷，因为对存储资源的需求会相应地增加。此外，所述视频图像在一通信通道上的总传输速率将增加，因为与预测性信息相比，需要更多的位来传送空间信息。对于无线应用(例如通过蜂窝电话的视频流)而言，如果所述无线或陆线通信通道不能适应增大的传输位速率，则增加的传输位可能导致合成图像信号劣化。
相反地，如果所属领域的技术人员确定存储资源有限，则一种解决方案是实施更具时间预测性的编码，此是通过增大内周期值N来实现的。然而，时间预测性编码需要使用处理元件的更多循环，如果负载超过一最大阈值，则所述处理元件将放下帧处理任务来实施具有更高优先级的任务。所放下的任务则往往使合成图像的质量劣化。另外，每当在图像内出现高速活动时，合成图像的质量也会劣化，因为使用太多经预测编码的帧可能导致所述视频编解码器的运动估测能力不足。
因此，除了在各种宏功能块尺寸选择之间作出一最佳预测模式确定外，视频编解码器运行中的一重要考虑因素是对于确定一P帧MB是应编码成一内MB还是应编码成一间MB的设计。例如，在H.264中，对于内编码而言，存在用于4×4块尺寸的九种编码模式及用于16×16MB的四种编码模式。对于间MB而言，在一些高级编解码器(例如H.264)中的一重要考虑因素也是在各个MB尺寸选择之间进行一最佳预测模式确定。例如，H.264支持四种编码类型，包括用于间MB的16×16、16×8、8×16及8×8的块尺寸。
传统上，视频编解码器是根据对每一MB实施的测量来进行编码模式决策。在视频编解码器中，涉及运动估测及空间估测的预测性编码的计算强度很高，因为其在选定一能达到最佳压缩效率的最佳模式前要采用对多个编码模式的穷尽性搜索。
图3为一编码模式决策算法的一实例。在步骤300处，由一运动估测/空间估测(ME/SE)引擎实施广泛的计算来确定一帧内每一宏功能块的每一可允许编码模式的失真量度或质量量度。在步骤310处，根据所允许编码模式的失真量度/质量量度来为所述MB选择最佳编码模式。一种这样的质量量度为绝对差的和(SAD)值，其为一基于一当前MB与前一帧中的一MB之间的绝对差的失真量度。另一量度可是为查找能产生最小成本的编码模式而花费在对运动矢量及余量进行编码上的位数。
如果所述MB为一内MB，则所述程序流进行至步骤320。例如，在H.264中，对于一4×4内MB存在九种编码模式且对于一16×16内MB存在四种编码模式。对于一4×4内MB而言，所述九种编码模式为垂直预测、水平预测、DC预测、左下对角预测、右下对角预测、右垂直预测、下水平预测、左垂直预测及上水平预测。对于一16×16内MB而言，所述四种编码模式为垂直预测、水平预测、DC预测及平面预测。
如果在步骤310处确定所述MB为一间MB，则所述程序流进行至步骤330，随后对所述间MB进行预测性编码。在H.264中，存在与16×16、16×8、8×16、及8×8的块尺寸相关联的四种编码类型。
在步骤320或步骤330后，以一适于传输的格式对所编码的MB进行无损编码。
应注意，在步骤310处，在所述运动估测(ME)及/或所述空间估测(SE)搜索后，进行编码模式决策。通过在所有可能的编码模式进行穷尽性搜索来实施此编码模式决策，并在所有搜索后进行一选择。由于这种原因，将所述决策算法归类为一“过后模式”决策算法。由于所述过后模式决策算法需要进行ME及/或SE搜索，因此为实施所述算法，必须消耗大量硬件或数字信号处理器(DSP)资源。
本发明所提供的各实施例是用于通过降低所述编码模式决策对穷尽性SE及ME搜索的依赖来降低用于实施一编码模式决策的计算复杂度。在一实施例中，提供一种用于为MB的一部分预先确定预测模式的方法及设备。所述实施例可称作预先模式决策算法。在此实施例的一个方面中，对过去及/或当前可用的预测模式进行分析以为一当前MB确定一预测模式。在另一实施例中，将用于预先确定所述预测模式的方法及设备与一过后模式决策相结合来创建一混合模式决策算法。
空间预测及运动估测的基础是一特定帧内的强的空间关联性及各连续帧之间强的时间及空间关联性。本文的各实施例是基于如下前提：通过前述过后模式决策算法所确定的当前MB的最佳预测模式也将很强地与其它MB的最佳预测模式相关联。例如，一帧中一相对平坦的区域可促使一过后模式决策算法将一组MB指定为尺寸为16×16的间MB，将另一组MB指定为尺寸为8×8的间MB并将另一组MB指定为尺寸为4×4的内MB。因此，一MB往往会得到与在空间上/时间上相接近的其它MB相同的编码模式指定。
图4A为一图解说明一预先模式决策算法的一实施例的方块图。在步骤400处，所述视频编解码器对来自一过去及/或当前帧的所选的在空间上及/或时间上相接近的MB(即邻近MB)的编码模式进行评价。在步骤410处，所述编解码器使用一决策标准来确定当前MB的编码模式。
图4B为一可在所述预先模式决策算法的一实施例中执行的简单决策标准的方块图。将来自一过去及/或当前帧的邻近MB的已作出的模式决策420a、420b、...、420n输入至一实施一简单的多数表决选择430的逻辑。对当前MB的模式决策是基于所述已作出的模式决策420a、420b、...、420n的多数表决的结果。
在所述实施例的一个方面中，可使用一交错图案来实施对所述已作出的模式决策420a、420b、...、420n的选择，以使来自一过去帧的模式决策可与来自所述当前帧的模式决策一起用作多数表决选择逻辑430的备选项。换句话说，作为一例示性实例，如果所述MB位于一帧T中的位置(x、y)处，则可选择来自帧T中位置(x-1、y)、(x+1、y)、(x、y-1)及(x、y+1)处的模式决策及来自帧T-1中位置(x-1、y-1)、(x+1、y-1)、(x-1、y+1)及(x+1、y+1)处的模式决策作为往多数表决选择逻辑的输入。
在所述实施例的另一方面中，可使用一自适应性交错图案而不是一固定的交错图案来选择备选MB。此外，可使用不同的交错图案，只要符合某一标准即可。例如，仅将符合某一可信度水平或超过某一(某些)阈值的MB用于预先模式决策。此类MB未必位于一固定的图案中。
在另一方面中，所述多数表决选择逻辑可接收来自所有备选MB的模式作为输入并根据一加权因数对每一模式进行加权。例如，可使用一备选MB在空间及/或时间上距当前MB的距离的倒数作为一加权因数以在所述多数表决选择时对一模式进行加权。
可对上述预先模式决策实施例加以改进以防止错误模式决策的传播。所述预先模式决策算法可与一过后模式决策算法相结合以创建一混合模式决策实施例。
图5A为一图解说明一混合模式决策算法的一实施例的方块图。
在步骤500处，针对选择MB实施一预先模式决策。上文已针对图4A及4B阐述了所述预先模式决策过程。下文将进一步根据图5B来阐述用于选择使哪些MB经历所述预先模式决策过程的方法。在步骤510处，所述ME/SE引擎对未作出预先模式决策的MB实施穷尽性ME及SE两种搜索。在步骤520处，为经历所述运动及空间估测搜索的MB选择最佳编码模式。
如果所述MB为一内MB，则所述程序流进行至步骤530。
如果确定出所述MB为一间MB，则所述程序流进行至步骤540，在此处对所述间MB进行预测性编码。
在步骤530或步骤540后，以一适于传输的格式在步骤550处对所编码的MB进行无损编码。
图5B为一显示如何对图5A所示混合模式决策实施例应用一交错图案来确定将使用一预先模式决策过程还是一过后模式决策过程来确定一MB的编码模式的图式。
图5B为一交错图案的一实例，其中当前MB(以一虚的X进行标记)处于一其中将实施一预先模式决策过程的位置上。所述预先模式决策将基于早已对阴影位置上的MB作出的模式决策。在此示例中，所述预先模式决策将基于对当前帧T及前一帧T-1使用过后模式决策过程所确定出的三个备选项。因此，交错图案可用于确定将进行一预先模式还是一过后模式决策，且所述模式还可用于确定要在所述预先模式决策过程中使用哪些备选项。
图5B中所具体显示的交错图案仅作为可用于混合模式决策实施例的交错图案的一实例。在预先模式决策实施例中所述的交错图案也可适用于此实施例。可使用一自适应性或一固定的交错图案来选择要经历预先模式决策而不是过后模式决策的MB。此外，只要符合某一标准，也可使用不同的交错图案。应注意，使用任何种类的交错图案均使所述编解码器能够控制所作出的预先模式决策的数量而不是过后模式决策的数量。如果所述处理资源短缺，例如，当在容纳所述编解码器的电子装置上正在运行多个应用程序时，可对所述编解码器进行设定以减少过后模式决策的数量，从而相应减少对最佳编码模式的穷尽性计算搜索的数量。在此示例中将适合使用一需要作出较少过后模式决策的交错图案。
在所述混合模式实施例的另一方面中，可根据来自一特征提取单元(图5A中的方块560)的输入或根据网络反馈(图5A中的方块570)或根据速率控制(图5A中的方块555)来决定使一MB经历一预先模式还是过后模式决策。例如，所述实施例可实施成适应具有不同图像尺寸、位速率及/或帧速率的视频流。在再一方面中，所述实施例可实施成适应易于出现通道错误的可变传输通道。在再一方面中，所述实施例可实施成适应一用户自定义的质量量度。在再一方面中，所述实施例可实施成适应硬件资源短缺。如本文中所示，所述实施例可用于适应可源自于容纳所述视频编解码器的电子装置的不同部分的诸多不同需要。配置信号可源自于所述电子装置的任一部分，或者另一选择为，所述配置信号可源自于一由所述电子装置存取的网络。
也可具有不同的实施例，其中所述混合模式决策可出现在所述编码过程的不同层次上。特别是，所述预先模式决策可按三种不同层次实施。在一实施例中，所述预先模式决策只确定一MB应为内编码式还是间编码式，并随后将子模式决策留给由所述ME/SE引擎及所述过后模式决策过程所进行的进一步搜索。在H.264中，子模式可指代所述九种4×4内编码模式或所述四种16×16内编码模式或所述16×16、16×8、8×16、8×8间编码模式中的一者。在另一实施例中，所述预先模式决策首先为当前MB确定下列模式中的一者：内4×4、内16×16、间16×16、间16×8、间8×16及间8×8，以便只对所选模式中的可能的子模式实施所述过后模式决策过程。在另一实施例中，所述预先模式决策首先确定一特定子模式(例如(举例而言)内4×4垂直预测)，以便只需对已预先确定的一特定模式实施进一步的SE或ME搜索。
本文中所述的各实施例是用于降低对P帧及/或I帧及/或双向帧(B帧)的编码过程的计算复杂度。通过利用编码模式决策之间的关联性来减少穷尽性SE及/或ME搜索的数量，将使对视频编码的计算复杂度(DSPMIPS或硬件功率)的要求能够得到降低而不会使所感觉到的视频的质量过度劣化。
硬件(例如一数字信号处理器或其它处理元件及存储元件)可配置成执行用于实施上述方法步骤的指令。此种硬件可容易地实施于任何符合MPEG、ITU-TH.26x或AVS标准的当前现有的视频编解码器中。
所属领域的技术人员应了解，结合本文所揭示实施例来阐述的各种例示性逻辑块、模块、电路及算法步骤可实施为电子硬件、计算机软件或二者的组合。为清晰地显示硬件与软件的互换性，上文是根据功能度来概述各种例示性组件、块、模块、电路、及步骤。此种功能度是实施为硬件还是软件取决于特定应用及施加于整个系统的设计约束条件。所属领域的技术人员可针对每一特定应用以不同方式实施所述功能度，但不应认为此类实施决定导致背离本发明的范围。
结合本文所揭示实施例来阐述的各例示性逻辑块、模块及电路可使用下列装置构建或实施：通用处理器、数字信号处理器(DSP)、应用专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门电路或晶体管逻辑电路、离散硬件组件、或其设计用于实施上文所示各功能的任何组合。通用处理器可为一微处理器，但另一选择为，处理器也可为任何传统处理器、控制器、微控制器或状态机。处理器也可构建为一运算装置的组合，例如，一DSP与一微处理器的组合、多个微处理器的组合、一或多个微处理器与DSP核心的联合，或任何其它此类配置。
本文结合所揭示实施例来阐述的方法或算法步骤可直接实施于硬件、由处理器执行的软件模块或两者的组合中。软件模块可驻存于RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动式磁盘、CD-ROM、或所属领域已知的任一其他形式的存储媒体内。一实例性存储媒体耦接至所述处理器，以使所述处理器可自所述存储媒体读取信息及向所述存储媒体写入信息。或者，所述存储媒体可为处理器的组成部分。所述处理器及存储媒体可驻存于ASIC中。所述ASIC则可驻存于一用户终端机中。另一选择为，所述处理器及存储媒体可作为分立组件驻存于一用户终端机中。
上文对所揭示实施例的说明旨在使所属领域的技术人员能够制作或使用本发明。所属领域的技术人员将易知这些实施例的各种修改形式，且本文所界定的一般原理也可适用于其它实施例，此并不背离本发明的精神或范围。因此，本文并非意欲将本发明限定于本文所示实施例，而欲赋予其与本文所揭示原理及新颖特征相一致的最宽广范围。

Claims (27)

1、一种用于对一当前宏功能块作出一编码模式决策的方法，其包括：
对复数种分别与一邻近宏功能块相关联的编码模式进行评价；及
根据对所述复数种编码模式的所述评价为所述当前宏功能块选择所述编码模式。
2、如权利要求1所述的方法，其中评价所述复数种编码模式包括：
选择一宏功能块位置图案；及
根据所述宏功能块位置图案选择所述复数种编码模式。
3、如权利要求1所述的方法，其中评价所述复数种编码模式包括：
根据一源自于一视频编解码器的配置信号选择所述复数种编码模式。
4、如权利要求1所述的方法，其中评价所述复数种编码模式包括：
根据一源自于一容纳一视频编解码器的电子装置的配置信号选择所述复数种编码模式。
5、如权利要求1所述的方法，其中评价所述复数种编码模式包括：
根据一源自于一网络资源的配置信号选择所述复数种编码模式。
6、如权利要求2所述的方法，其中选择所述宏功能块位置图案包括：
选择其中使用一过后模式选择过程作出编码模式决策的宏功能块位置。
7、如权利要求2所述的方法，其中选择所述宏功能块位置图案包括选择一交错的宏功能块位置图案。
8、如权利要求2所述的方法，其中选择所述宏功能位置图案包括选择一自适应性宏功能块位置图案。
9、如权利要求1所述的方法，其中为所述当前宏功能块选择所述编码模式包括：
使用一多数规则选择标准来为所述当前宏功能块选择所述编码模式。
10、如权利要求9所述的方法，其中使用一多数规则选择标准来为所述当前宏功能块选择所述编码模式包括：
对所述多数规则选择标准使用加权。
11、如权利要求1所述的方法，其进一步包括：
决定是根据一预先模式决策过程还是一过后模式决策过程来进行所述模式决策；
如果选择所述预先模式决策过程，则对所述复数种编码模式进行评价并根据对所述复数种编码模式的所述评价来为所述当前宏功能块选择所述编码模式；及
如果选择所述过后模式决策过程，则从所述当前宏功能块中提取一质量量度并根据所述质量量度来选择所述编码模式。
12、如权利要求1所述的方法，其进一步包括：
从一视频帧中提取特征；及
根据对所述复数种编码模式的所述评价及来自所述视频帧的所述特征来为所述当前宏功能块选择所述编码模式。
13、一种在一视频编解码器中用于对一当前宏功能块实施一编码模式决策的设备，其包括：
至少一个存储元件；及
至少一个处理元件，其以通信方式耦接至所述至少一个存储元件并经配置以执行一组存储于所述至少一个存储元件上的指令，所述组指令用于：
对复数种分别与一邻近宏功能块相关联的编码模式进行评价；及
根据对所述复数种编码模式的所述评价为所述当前宏功能块选择所述编码模式。
14、如权利要求13所述的设备，其中所述至少一个处理元件包括一用于选择所述编码模式的表决逻辑。
15、如权利要求13所述的设备，其中所述视频编解码器为一符合MPEG的编解码器。
16、如权利要求13所述的设备，其中所述视频编解码器为一符合ITU-T H.26x系列的编解码器。
17、如权利要求13所述的设备，其中所述视频编解码器为一符合AVS的编解码器。
18、如权利要求13所述的设备，其中所述视频编解码器为一使用时间及空间预测并使用内模式及间模式二者的混合编解码器。
19、如权利要求13所述的设备，其中所述至少一个处理元件进一步经配置以执行一组指令，所述组指令用于：
选择一交错的宏功能块位置图案；及
根据所述交错的宏功能块位置图案选择所述复数种编码模式。
20、如权利要求13所述的设备，其中所述至少一个处理元件进一步经配置以执行一组指令，所述组指令用于：
选择一自适应性宏功能块位置图案；及
根据所述自适应性宏功能块位置图案选择所述复数种编码模式。
21、如权利要求13所述的设备，其中所述至少一个处理元件进一步经配置以执行一组指令，所述组指令用于：
根据一源自于一视频编解码器的配置信号选择所述复数种编码模式。
22、如权利要求13所述的设备，其中所述至少一个处理元件进一步经配置以执行一组指令，所述组指令用于：
根据一源自于一容纳一视频编解码器的配置信号选择所述复数种编码模式。
23、如权利要求13所述的设备，其中所述至少一个处理元件进一步经配置以执行一组指令，所述组指令用于：
根据一源自于一网络资源的配置信号选择所述复数种编码模式。
24、如权利要求13所述的设备，其中所述至少一个处理元件进一步经配置以执行一组指令，所述组指令用于：
选择复数种与其中使用一过后模式选择过程作出过去模式决策的宏功能块位置相关联的编码模式，然后将所述所选择的复数种编码模式用于进行评价。
25、如权利要求13所述的设备，其中所述至少一个处理元件进一步经配置以执行一组指令，所述组指令用于：
使用一多数规则选择标准来为所述当前宏功能块选择所述模式决策。
26、如权利要求13所述的设备，其中所述至少一个处理元件进一步经配置以执行一组指令，所述组指令用于：
决定根据一预先模式决策过程还是一过后模式决策过程来作出所述模式决策；
如果选择所述预先模式决策过程，则对所述复数种编码模式进行评价并根据对所述复数种编码模式的所述评价来为所述当前宏功能块选择所述编码模式；及
如果选择所述过后模式决策过程，则从所述当前宏功能块中提取一质量量度并根据所述质量量度作出所述编码模式决策。
27、如权利要求13所述的设备，其中所述至少一个处理元件进一步经配置以执行一组指令，所述组指令用于：
从一视频帧中提取特征；及
根据对所述复数种编码模式的所述评价及来自所述视频帧的所述特征来为所述当前宏功能块选择所述编码模式。
CN200580013918.9A 2004-03-11 2005-03-09 用于在视频编码解码器中实施快速模式决策的方法及设备 Active CN101015215B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US55215604P 2004-03-11 2004-03-11
US60/552,156 2004-03-11
US10/957,512 US7881386B2 (en) 2004-03-11 2004-09-30 Methods and apparatus for performing fast mode decisions in video codecs
US10/957,512 2004-09-30
PCT/US2005/008044 WO2005088975A1 (en) 2004-03-11 2005-03-09 Methods and apparatus for performing fast mode decisions in video codecs

Publications (2)

Publication Number Publication Date
CN101015215A true CN101015215A (zh) 2007-08-08
CN101015215B CN101015215B (zh) 2011-01-12

Family

ID=34922758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200580013918.9A Active CN101015215B (zh) 2004-03-11 2005-03-09 用于在视频编码解码器中实施快速模式决策的方法及设备

Country Status (4)

Country Link
US (1) US7881386B2 (zh)
CN (1) CN101015215B (zh)
MX (1) MXPA06010360A (zh)
WO (1) WO2005088975A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1605706A2 (en) * 2004-06-09 2005-12-14 Broadcom Corporation Advanced video coding (AVC) intra prediction scheme
US8199825B2 (en) * 2004-12-14 2012-06-12 Hewlett-Packard Development Company, L.P. Reducing the resolution of media data
US8948246B2 (en) * 2005-04-11 2015-02-03 Broadcom Corporation Method and system for spatial prediction in a video encoder
JP2007116351A (ja) * 2005-10-19 2007-05-10 Ntt Docomo Inc 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
FR2897741B1 (fr) * 2006-02-17 2008-11-07 Canon Kk Procede et dispositif de generation de donnees representatives d'un degre d'importance de blocs de donnees et procede et dispositif de transmission d'une sequence video encodee
US7456760B2 (en) 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
US20080126278A1 (en) * 2006-11-29 2008-05-29 Alexander Bronstein Parallel processing motion estimation for H.264 video codec
EP2136564A1 (en) * 2007-01-09 2009-12-23 Kabushiki Kaisha Toshiba Image encoding and decoding method and device
KR101476138B1 (ko) * 2007-06-29 2014-12-26 삼성전자주식회사 코덱의 구성 설정 방법 및 이를 적용한 코덱
US20090274213A1 (en) * 2008-04-30 2009-11-05 Omnivision Technologies, Inc. Apparatus and method for computationally efficient intra prediction in a video coder
US20090274211A1 (en) * 2008-04-30 2009-11-05 Omnivision Technologies, Inc. Apparatus and method for high quality intra mode prediction in a video coder
KR100949917B1 (ko) * 2008-05-28 2010-03-30 한국산업기술대학교산학협력단 적응적 인트라 예측을 통한 고속 부호화 방법 및 시스템
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
WO2010036772A2 (en) * 2008-09-26 2010-04-01 Dolby Laboratories Licensing Corporation Complexity allocation for video and image coding applications
KR20100079037A (ko) * 2008-12-30 2010-07-08 삼성전자주식회사 비디오 영상 부호화 방법 및 장치
KR101702553B1 (ko) * 2009-07-04 2017-02-03 에스케이 텔레콤주식회사 영상 부호화/복호화 방법 및 장치
US9762898B2 (en) * 2010-02-01 2017-09-12 Kelly Y Kishore Method and system for parallelizing video compression
US8976856B2 (en) 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
US8755438B2 (en) * 2010-11-29 2014-06-17 Ecole De Technologie Superieure Method and system for selectively performing multiple video transcoding operations
US20120170653A1 (en) * 2010-12-30 2012-07-05 General Instrument Corporation Block based sampling coding systems
TWI487381B (zh) * 2011-05-19 2015-06-01 Nat Univ Chung Cheng Predictive Coding Method for Multimedia Image Texture
JP2013115583A (ja) * 2011-11-28 2013-06-10 Canon Inc 動画像符号化装置及びその制御方法並びにプログラム
US9769475B2 (en) * 2012-09-28 2017-09-19 Intel Corporation Enhanced reference region utilization for scalable video coding
CN103402084A (zh) * 2013-07-22 2013-11-20 张新安 基于avs的运动估计快速算法
US9286653B2 (en) 2014-08-06 2016-03-15 Google Inc. System and method for increasing the bit depth of images
US10142647B2 (en) * 2014-11-13 2018-11-27 Google Llc Alternating block constrained decision mode coding
US10735773B2 (en) * 2015-06-04 2020-08-04 Apple Inc. Video coding techniques for high quality coding of low motion content

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07131793A (ja) 1993-11-01 1995-05-19 Toshiba Corp 映像信号高能率符号化装置
US5731835A (en) * 1996-02-26 1998-03-24 David Sarnoff Research Center, Inc. Dynamic coding rate control in a block-based video coding system
US6697430B1 (en) * 1999-05-19 2004-02-24 Matsushita Electric Industrial Co., Ltd. MPEG encoder
JP3934568B2 (ja) * 2003-03-04 2007-06-20 松下電器産業株式会社 動画符号化方法および装置
US9210441B2 (en) * 2003-06-25 2015-12-08 Thomson Licensing Fast mode-decision encoding for interframes

Also Published As

Publication number Publication date
CN101015215B (zh) 2011-01-12
WO2005088975A1 (en) 2005-09-22
US20050201627A1 (en) 2005-09-15
MXPA06010360A (es) 2007-01-19
US7881386B2 (en) 2011-02-01

Similar Documents

Publication Publication Date Title
CN101015215B (zh) 用于在视频编码解码器中实施快速模式决策的方法及设备
CN101946515B (zh) Cabac译码器的二回合量化
CN1879418B (zh) 用于视频编解码器的复杂度控制的方法和装置
CN101909211B (zh) 基于快速模式判决的h.264/avc高效转码器
CN103442228B (zh) 从h.264/avc标准到hevc标准的快速帧内转码方法及其转码器
CN103733621A (zh) 基于低复杂度差错传播追踪的速率失真优化的视频编码模式选择
CN101009838B (zh) 可抑制漂移误差的比特率转换编码方法,转换编码器,及集成电路
CN100542287C (zh) 用于手持设备的编码的方法
CN103327325A (zh) 基于hevc标准的帧内预测模式快速自适应选择方法
CN102857746A (zh) 环路滤波编解码方法及装置
CN101331773B (zh) 使用速率失真特性进行速率受控视频编码的装置和方法
CN109151472A (zh) 一种视频编码器及视频编码方法
CN102572428B (zh) 面向多媒体传感网分布式编解码的边信息估计方法
CN101998117B (zh) 视频转码方法和装置
JP5241743B2 (ja) デュアルステージイントラプレディクションビデオエンコーディングシステム及び方法
CN100456832C (zh) 用于手持装置的视频编码方法及编码器
CN100366094C (zh) 细粒度可伸缩视频数据设备及操作方法，接收数据的方法
CN102088608B (zh) 一种基于部分重建的可伸缩视频编码质量优化方法
CN1848960B (zh) 使用非标准化矢量量化编码器的符合视频标准的残差编码
CN101287124A (zh) 一种视频解码装置和方法
Lim et al. Video streaming on embedded devices through GPRS network
CN102333220A (zh) 一种选择在变换域完成预测编码的视频编解码方法
Wang et al. A fast mode decision algorithm applied in medium-grain quality scalable video coding
CN115499648A (zh) 视频编码方法、电子设备及存储介质
MXPA06005393A (en) Selective and/or scalable complexity control for video codecs

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1104892

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1104892

Country of ref document: HK