CN1934871B - 在视频编码中对帧间预测进行模式判定的方法和系统 - Google Patents

在视频编码中对帧间预测进行模式判定的方法和系统 Download PDF

Info

Publication number
CN1934871B
CN1934871B CN200480027851XA CN200480027851A CN1934871B CN 1934871 B CN1934871 B CN 1934871B CN 200480027851X A CN200480027851X A CN 200480027851XA CN 200480027851 A CN200480027851 A CN 200480027851A CN 1934871 B CN1934871 B CN 1934871B
Authority
CN
China
Prior art keywords
frame mode
inter
check
mode prediction
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200480027851XA
Other languages
English (en)
Other versions
CN1934871A (zh
Inventor
林庆帆
吴达军
吴思
王逸平
潘峰
林晓
李政国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agency for Science Technology and Research Singapore
Original Assignee
Agency for Science Technology and Research Singapore
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agency for Science Technology and Research Singapore filed Critical Agency for Science Technology and Research Singapore
Publication of CN1934871A publication Critical patent/CN1934871A/zh
Application granted granted Critical
Publication of CN1934871B publication Critical patent/CN1934871B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于在视频编码中帧间模式预测的方法,所述方法包含:对图像的数据块作零运动检验;基于对零运动的检验来计算数据块的帧差;以及基于所计算的帧差做出帧间模式预测选择。

Description

在视频编码中对帧间预测进行模式判定的方法和系统
发明领域
本发明涉及视频编码、视频压缩、视频通信、视频信号处理、图像处理、模式识别以及计算机视觉,尤其涉及H.264高级视频编码。
背景技术
新兴的视频信号编解码(即H.264)的提议者预计:该方案会允许以小于1Mbit/秒的数据速率进行基于互联网协议的广播品质视频的传送。虽然在2004年之前对H.264的需求可能不会达到很大量,但是该编解码器正在通过广播行业而被快速地认识,并且该编解码器足以使长期以来作为MPEG-2的逻辑交互提升的MPEG-4在混洗中消逝。H.264提议者同样评论:编解码器把带宽降低百分之五十或更多的能力有潜能让电话公司无须修改它们的基础设施即可传递广播品质的视频。H.264可以令有线及卫星営运者能够提供更多频道,并让消费者于个人录像机内储存多两倍的节目或在DVD录像机记录高分辨率电影。
典型地,一种H.264的16×16宏块包括一种尺寸的宏块的四种类型110以及另一种尺寸的宏块的四种子类型120,如图1所示。四种子类型块120是部分P8×8类型宏块107。四种宏块类型尺寸110包括一16×16类型宏块101、一16×8类型宏块103、一8×16类型宏块以及一P8×8类型宏块107。四种子类型包括8×8子类型109、8×4子类型111、4×8子类型113、4×4子类型115。
通常,对每个块都执行运动估计,而不考虑尺寸。每个块的编码都遵循运动估计。通过寻找其产生最佳率失真性能的块尺寸而确定块的最佳尺寸,如图2所示。
如图2中所示,在步骤201执行对每个16×16、16×8和8×16宏块类 型(101、103、105)的快速运动估计。在步骤203,以不同的尺寸编码并且存储最佳率失真的结果。在步骤205,对四种(8×8、8×4、4×8、4×4)子类型宏块(109、111、113、115)中的每一个执行快速运动估计。在步骤207,把不同的8×8子类型宏块编码并且存储最佳率失真的结果。在步骤209,从来自三种16×16、16×8、8×16宏块(101、103、105)和四种子类型(109、111、113、115)的所存储结果中选择其产生最佳率失真的模式。
假定不得不执行二十一次运动估计以便寻找每个可变尺寸的块的运动矢量,很明显帧间模式判定可能是一种很耗费时间的处理。此外,仅利用属于最佳尺寸块的运动矢量而其余的运动矢量最后被丢弃,导致了计算资源的浪费。
在至少优选实施例中,本发明设法提供了一种快速编码技术以符合这种需求并满足行业需要。
根据本发明第一方面,提供了一种用于在视频编码中帧间模式预测的方法,所述方法包含:
对图像的数据块作零运动检验;
基于对零运动的检验来计算数据块的帧差;以及
基于所计算的帧差做出帧间模式预测选择。
所述方法进一步包含步骤:
检验数据块的均匀性,以及
基于数据块均匀性的检验做出帧间模式预测选择。
进一步基于数据块均匀性检验而做出帧间模式预测选择进一步包含基于帧内模式预测选择做出帧间模式选择。
帧内模式预测选择包含垂直对水平的帧内模式预测选择。
垂直对水平的帧内模式预测选择包含产生图像的边缘方向信息,以及
检测图像的一个或多个边缘的方向。
对图像的数据块作零运动检验之前实施帧内模式预测选择。
所述方法进一步包含进一步基于数据块子类型的均匀性检验而做出帧间模式预测选择。
所述方法进一步包含基于帧间模式预测选择在不同的所选块尺寸上执行运动估计。
所述方法进一步包含基于帧间模式预测选择在不同的所选块尺寸上执行率失真优化。
对数据块作零运动检验包含检验并列的前数据块是否具有零运动向量。
根据本发明的第二方面,提供了一种用于在视频编码中帧间模式预测的系统,所述系统包含:
运动检测单元,对图像的数据块作零运动检验;以及
处理器单元,基于对零运动的检验来计算数据块的帧差;以及基于所计算的帧差做出帧间模式预测选择。
所述系统进一步包含:均匀性检测单元,检验数据块的均匀性;以及
处理器单元,基于数据块均匀性的检验而进一步做出帧间模式预测选择。
在基于数据块均匀性的检验而做出帧间模式预测选择中,处理器单元进一步基于帧内模式预测选择而做出帧间模式选择。
帧内模式预测选择包含垂直对水平的帧内模式预测选择。
垂直对水平的帧内模式预测选择包含产生图像的边缘方向信息,以及检测图像的一个或多个边缘的方向。
所述系统进一步包含由均匀性检测单元基于数据块子类型均匀性的检验而做出帧间模式预测选择。
处理器单元基于帧间模式预测选择在不同的所选块尺寸上进一步执行 运动估计。
处理器单元基于帧间模式预测选择在不同的所选块尺寸上进一步执行率失真优化。
运动检测单元检验并列的前数据块是否具有零运动向量以对数据块作零运动检验。
根据本发明第三方面,提供了一种具有其上存储了计算机可读代码装置的数据存储媒体,所述计算机可读代码装置用于指示计算机在视频编码中执行帧间模式预测方法,所述方法包含:
对图像的数据块作零运动检验;
基于对零运动的检验来计算数据块的帧差;以及
基于所计算的帧差做出帧间模式预测选择。
所述方法进一步包含步骤:
检验数据块的均匀性,以及
基于数据块均匀性的检验做出帧间模式预测选择。
所述方法进一步包含由均匀性检测单元基于数据块子类型均匀性的检验而做出帧间模式预测选择。
对数据块作零运动检验包含检验并列的前数据块是否具有零运动向量。
附图说明
仅通过举例的方式并连同附图,从以下所写的说明书中所属领域普通技术人员将更好地理解本发明的实施例,并且对于所属领域普通技术人员来说本发明的实施例将更容易明白,其中:
图1是用于H.264的不同宏块类型的方框图;
图2是显示通过率失真优化而确定最佳帧间模式的步骤的示意图;以及
图3是显示快速帧间模式算法的实施例的流程图。
图4是举例说明用于实现根据实施例的方法和系统的计算机系统的简图。
具体实施方式
如上所述,在H.264中,总共有用于一个宏块(16×16块)的7种不同的块尺寸(16×16、16×8、8×16、8×8、8×4、4×8、以及4×4块)。
运动估计和率失真优化(Rate Distortion Optimisation,RDO)被执行以在导致编码器处大量计算负载的宏块中找到最佳块尺寸。如果准确地预测出所述块尺寸,那么对于运动估计和RDO计算来说将显著地节约时间。
可以看出当视频对象移动时,视频对象的各部分会一起移动。“空间运动的平滑性”从这个观察中出现并且″空间运动的平滑性″通常用于数据压缩中。根据观察,在自然或合成的视频序列中均匀的区域可能属于相同的视频对象并且从而也一起移动。在H.264中利用可变块尺寸的一个主要原因是为了更充分地表现视频对象的运动。由于均匀的区域势必一起移动,所以帧中的均匀块应该具有类似的运动并且不应该被进一步拆分成较小的块。为了避免用于拆分块的进一步计算,在示例实施例中的均匀块检测包括以下步骤:
1)检测均匀块。
2)如果所述块是均匀的,则采用示例实施例中此处公开的算法。
3)继续进行RDO优化以找到最佳块尺寸。
参考图3,在检验发现上述所配置的16×16块具有零运动向量并且预测误差小于固定阈值之后,当前宏块被认为是16×16宏块类型并且完全跳过RDO计算。
当16×16块被检测为均匀的块(步骤S313)时,选择16×16块尺寸,以及,此外,也考察16×8或8×16块尺寸(步骤S323)。下面将描述步骤S323的细节。在16×8或8×16块结构上包括RDO计算的原因是为了迎合当 编解码器从上述帧中找不到16×16均匀块的较好预测时的情况。然而值得注意的是,由于RDO之后大多数的均匀区域不会分为较小的块尺寸因此这些机会是非常小的。16×8或8×16块的选择取决于示例实施例中的快速帧内模式判定方法的结果。如果所选帧内模式是垂直预测,则除16×16以外还采用8×16块。如果选择模式是水平预测,则除16×16之外,作为替代还采用16×8块。否则,只采用16×16块。
当8×8块被检测为均匀区域时,最后所选尺寸仅仅是8×8块,跳过对8×4、4×8以及4×4块尺寸的RDO计算。
除利用空间特性之外,也利用视频对象的静止特性。当视频对象停止移动时,存在一种很高的趋势,即它是16×16块。因此,如果来自上述帧的所配置16×16块被发现是零运动的,那么计算宏块的差异。如果差异很小,则仅采用16×16块尺寸。
图3显示了示例实施例的详细步骤。对于宏块的每个不同尺寸来说存在八种标志。当设置标志时,表示要采用相应的块尺寸。按照表1来定义所述模式:
o. 模式 描述
1 16×16块
2 16×8块
3 8×16块
4 8×8块
5 8×4块
6 4×8块
7 4×4块
8 P8×8块
表1
在步骤S301采用苏贝尔边缘算子以利用等式(1)检测并产生图像的边缘映射。在步骤S303,边缘方向的直方图被产生以便用于快速帧内模式判定步骤。
在步骤S305,对表1中所示的八种不同模式设置标志。在步骤S307,完成并列的前16×16块是否具有零运动向量的检验。如果步骤S307结果为“否”,则完成步骤S313以检测宏块是否是均匀的。
如果步骤S307结果为“是”,则在步骤S309计算宏块的帧差。如果宏块的帧差大于阈值Thddiff(步骤S311),则在步骤S313完成检验以确定宏块是否是均匀的。
如果宏块的帧差小于阈值Thddiff,则清除除模式1(表1所示)之外的所有模式标志。接着,在16×16宏块上执行运动估计并且对它编码。继续编码另一个宏块。
在步骤S313,做出宏块估算以通过在等式(3)中计算Hn.m来检测它是否是均匀的。
在步骤S313,如果宏块是均匀的,则H.264编码器在16×16以及选择性地(参考步骤S323)在16×8或8×16块上执行RDO。在步骤s317跳过对不同尺寸(表1的模式4、5、6、7、8)的其他计算并且从刚才计算的模式中选择最佳方式。
16×8或8×16块的选择取决于步骤S323的快速帧内模式判定的结果。如果所选帧内模式是垂直预测,则除了16×16块尺寸之外,是8×16块。如果所选模式是水平预测,则除了16×16块尺寸之外,作为替代采用16×8块尺寸。否则,仅采用16×16块尺寸。在步骤S327,在所选定的块尺寸上执行RDO和运动估计。保存最佳模式的结果。具有最低RDO成本的那个模式被选作所选定的模式尺寸。
在步骤S313,如果宏块是不均匀的,那么对于每个8×8块,在步骤S319完成检验以通过计算等式(3)确定它是否是均匀的。当从步骤S313移动到步骤S319时,清除标志1、2和3。
如果在S319的检验结果为“否”,则在步骤S325做出检验以确定是否已经计算了宏块中的所有四个8×8块。如果在步骤S325的检验结果为 “否”,那么对下一个8×8块执行步骤S319。如果在步骤S325的检验结果为“是”,那么在步骤S327,在设置了它们的标志的相应宏块类型和子类型上执行运动估计和RDO。
如果在S319检验结果为“是”,则在步骤S321,对于那个具体的8×8块清除模式5、6、7标志。因此在步骤S325,做出检验以确定是否已经处理了宏块中的所有四个8×8块。如果在步骤S325的检验结果为“否”,那么对下一个8×8块执行步骤S319。如果在步骤S325的检验结果为“是”,那么在步骤S327,在设置了它们的标志的相应宏块类型和子类型上执行运动估计和RDO。
上述步骤被集成到帧间模式预测功能模块中,所述帧间模式预测功能模块由H.264编码器来运行以执行适当的宏块编码。
ThdH和Thddiff的值是固定的或者是适合于量化参数的。通过对量化参数修改阈值,改善了时间节约并且与固定阈值相比在从低到高比特率的视频品质性能中不存在杂音信息。比特率也不会升高。阈值的计算如下:
Thd=λ1(5/16+3/128QP)
其中QP是量化参数。当Thd=ThdH时,对16×16块来说λ1的典型值是19000,而对8×8块来说λ1是200。当Thd=Thddiff时,λ1的典型值是190。
如果区域中的纹理具有非常类似的空间性质,则区域是均匀的。最简单的方法是通过利用诸如标准差、变异、偏度和峰度之类的统计测度来测量纹理性质。甚至可以利用高斯马尔科夫随机场(Gaussian Markov RandomField)来对纹理建立模型。也可以在纹理的可变窗口尺寸上利用基于假设并测试的方法来分别对不同的纹理进行标注,这是非常有效的,但是计算密集并且可能降低执行快速帧间模式判定中的总速度增益。
在示例的实施例中,均匀的区域被实际地、有效地且快速地检测。
示例实施例采用了边缘检测方法,其用于快速帧内模式判定技术。快速帧内模式判定用来加快在相互参考帧编码期间的编码时间。由于在快速帧内模式判定之前已经计算了对检测均匀的区域的预计算,因此会减少所述预计算。
在示例实施例中,通过在垂直与水平方向中利用苏贝尔算子(Sobel operator)而以快速帧内模式判定技术计算了边缘映射。对于尺寸为N行M列的图像帧中的像素pij,i∈1,2,K,N,j∈1,2,K,M,相应的边缘向量  D → i , j = { dx i , j , dy i , j } 计算如下:
dxi,j=pi-1,j+1+2×pi,j+1+pi+j+1-pi-1,j-1-2pi,j-1-pi+1,j-1  (1)
dyi,j=pi+1,j-1+2×pi+1,j+pi+1,j+1-pi-1,j-1-2×pi-1,j-pi-1,j+1
其中dxi,j和dyi,j表示在垂直与水平方向的各自差异程度。边缘向量的幅值按照以下来计算:
Amp ( D → i , j ) = | dx i , j | + | dy i , j | - - - ( 2 )
这是为了利用快速帧内模式判定中的边缘向量的预计算幅值(Amp)来确定块是否是均匀的。如果在块中的所有像素位置处边缘向量的幅值之和小于ThdH,则将它分类为均匀的块,否则它是不均匀的。如果n和m指宏块MBn,m行和列的索引,那么:
Figure DEST_PATH_G200480027851X01D00043
其中Hn,m=1表示宏块MBn,m是均匀的块,否则是不均匀的。必须强调的是在快速帧内模式判定之前已经完成了所述计算并且在这一阶段唯一的附加作业是等式(3)中的加法运算。
快速帧间(INTER)模式预测实现为JM5.0c编码器方案。所采用的快速运动估计算法来自于JVT-F017,而快速帧内(INTRA)预测方法来自于JVT-G013。利用现有的系统(快速运动估计+快速帧内(INTRA))得出如在示例实施例中所描述的快速帧间模式选择算法的结果(包含快速运动估计,快速帧内(INTRA)+快速帧间(INTER))。
试验条件如下:
1)采用哈达马(Hadamard)变换。
2)启动RD优化。
3)参考帧数目等于5。
4)启动CABAC。
5)MV分辨率是1/4像素。
6)禁止ABT模式。
7)GOP结构是IPPP或者IPBPB。
8)序列中的帧数是150。
利用4种量化参数在测试序列上执行一组实验,所述量化参数即QP=28、32、36和40。所述结果根据表2到表9被制表。
PCHG表示整个视频序列的平均PSNR(功率信噪比)的变化。BINC表示整个序列的平均比特率增量。TSAV表示整个序列的编码时间的节约百分比。
  序列  GOP结构   PCHG(dB)   BINC(%)   TSAV(%)
  Stefan  IPPP   -0.02   0.23   19.38
  沉默(Silent)  IPPP   -0.08   0.88   50.00
  新闻(News)  IPPP   -0.05   0.59   46.88
  移动(Mobile)  IPPP   -0.01   -0.01   10.96
  容器(Container)  IPPP   -0.01   0.56   47.52
  技术员(Forman)  IPPP   -0.06   0.93   27.03
  巴黎(Paris)  IPPP   -0.04   0.73   34.73
表2测试条件视频序列比较(QP=28、IPPP)
  序列   GOP结构   PCHG(dB)   BINC(%)   TSAV(%)
  Stefan   IPPP   -0.02   0.04   17.18
  沉默(Silent)   IPPP   -0.01   0.33   49.51
  新闻(News)   IPPP   -0.03   0.77   43.96
  移动(Mobile)   IPPP   -0.01   -0.02   10.04
  容器(Conta iner)   IPPP   -0.01   -0.60   44.09
  技术员(Forman)   IPPP   -0.05   0.47   25.93
  巴黎(Paris)   IPPP   -0.02   0.59   33.49
表3测试条件视频序列比较(QP=32、IPPP)
  序列  GOP结构   PCHG(dB)   BINC(%)   TSAV(%)
  Stefan  IPPP   -0.01   -0.11   16.70
  沉默(Silent)  IPPP   0   -0.18   43.00
  新闻(News)  IPPP   -0.06   0.28   41.38
  移动(Mobile)  IPPP   0.01   0.17   9.26
  容器(Container)  IPPP   -0.03   0.22   37.65
  技术员(Forman)  IPPP   0   0.56   24.76
  巴黎(Paris)  IPPP   -0.02   0.04   31.25
表4测试条件视频序列比较(QP=36、IPPP)
  序列  GOP结构   PCHG(dB)   BINC(%)   TSAV(%)
  Stefan  IPPP   0.01   0.27   16.02
  沉默(Silent)  IPPP   0.01   0.00   37.50
  新闻(News)  IPPP   -0.04   -0.93   37.65
  移动(Mobile)  IPPP   0   0.28   9.54
  容器(Container)  IPPP   -0.01   0.62   36.25
  技术员(Forman)  IPPP   -0.04   0.27   22.77
  巴黎(Paris)  IPPP   -0.03   0.12   27.72
表5测试条件视频序列比较(QP=40、IPPP)
  序列  GOP结构   PCHG(dB)   BI NC(%)   TSAV(%)
  Stefan  IBBP   -0.01   0.33   18.44
  沉默(Silent)  IBBP   -0.07   1.44   49.12
  新闻(News)  IBBP   -0.06   0.76   43.81
  移动(Mobile)  IBBP   -0.02   0.03   10.19
  容器(Container)  IBBP   -0.01   -0.80   43.52
  技术员(Forman)  IBBP   -0.08   1.37   28.23
  巴黎(Paris)  IBBP   -0.08   0.67   28.88
表6测试条件视频序列比较(QP=28、IBBP)
  序列  GOP结构   PCHG(dB)   BINC(%)   TSAV(%)
  Stefan   IBBP   -0.01   -0.06   16.20
  沉默(Silent)   IBBP   -0.04   0.52   46.79
  新闻(News)   IBBP   -0.03   -0.02   41.84
  移动(Mobile)   IBBP   -0.01   0.04   9.07
  容器(Container)   IBBP   -0.01   -0.83   40.82
  技术员(Forman)   IBBP   -0.03   0.84   27.12
  巴黎(Paris)   IBBP   -0.02   0.79   27.52
表7测试条件视频序列比较(QP=32、IBBP)
  序列  GOP结构   PCHG(dB)   BINC(%)   TSAV(%)
  Stefan  IBBP   -0.02   0.25   15.45
  沉默(Silent)  IBBP   -0.01   0.52   45.71
  新闻(News)  IBBP   0.04   0.87   38.71
  移动(Mobile)  IBBP   -0.01   -0.72   8.85
  容器(Container)  IBBP   -0.02   -0.73   35.96
  技术员(Forman)  IBBP   0.02   0.73   25.66
  巴黎(Pari s)  IBBP   -0.01   0.74   25.90
表8测试条件视频序列比较(QP=36、IBBP)
  序列   GOP结构   PCHG(dB)   BI NC(%)   TSAV(%)
  Stefan   IBBP   0.00   -0.25   14.87
  沉默(Silent)   IBBP   -0.01   -0.25   41.58
  新闻(News)   IBBP   -0.02   0.07   37.08
  移动(Mobile)   IBBP   0.00   -0.08   8.66
  容器(Container)   IBBP   0.00   0.00   34.52
  技术员(Forman)   IBBP   -0.06   -1.49   24.30
  巴黎(Paris)   IBBP   -0.01   -0.26   23.43
表9测试条件视频序列比较(QP=40、IBBP)
从试验结果中可以看出,正如示例实施例所定义的本发明已经降低了平均30%的编码时间。它显示出在移动视频序列中对于所有视频序列的速度上具有最小增益8.66%的一致性增益,而在静止的视频序列中最大增益 为50%。由于最高损耗在0.08dB,PSNR损耗可以忽略。由于最高升高1.44%,比特率升高也可以忽略。
从以上所示实验中,快速帧间(INTER)模式判定技术利用视频对象纹理的均匀性和视频序列中的时间特性。新技术能够实现编码时间平均缩短30%,并有可忽略的0.02dB平均PSNR损耗和0.2%比特率升高。
可在计算机系统800上实现示例实施例的方法和系统,其示意性地显示在图4中。它可以实现为软件,诸如在计算机系统800内执行的计算机程序,并且指示计算机系统800以实施所述示例实施例的方法。
计算机系统800包含计算机模块802、诸如键盘804和鼠标806之类的输入模块,以及诸如显示器808之类的多个输出设备、以及打印机810。
计算机模块802经由适当的发送接收器设备814连接到计算机网络812,以访问例如互联网(Internet)或诸如局域网(Local Area Network,LAN)或广域网(Wide Area Network,WAN)之类的网络系统。
该例子中计算机模块802包括处理器818、随机存取存储器(RandomAccess Memory,RAM)820以及只读存储器(Read Only Memory,ROM)822。计算机模块802也包括多个输入/输出(I/O)接口、例如到显示器808的I/O接口824,以及到键盘804的I/O接口826。
计算机模块802的元件典型地经由中间联接总线828、并以相关领域技术人员已知的方式进行通信。
应用程序典型地编码在诸如CD-ROM或软盘之类的数据存储媒体上提供给计算机系统800的用户,并且利用数据存储装置830的相应数据存储媒体驱动器被读取。所述应用程序在其执行中由处理器818读取和控制。程序数据的中间存储器可能是利用RAM 820来完成。
所属领域技术人员应当知道,在不脱离大致如所述的本发明的精神和范围下可对如具体实施例所示的本发明做出众多变化和/或修改。因此,当前实施例无论从哪一点来看都应看作是说明性的而非限制性的。

Claims (19)

1.一种用于在视频编码中帧间模式预测的方法,所述方法包含:
对图像的数据块作零运动检验;
基于对零运动的检验来计算数据块的帧差;以及
基于所计算的帧差做出帧间模式预测选择;
其中帧间模式预测选择包括根据所计算的帧差选择用于编码的块大小。
2.如权利要求1所要求的方法,进一步包含步骤:
检验数据决的均匀性,以及
基于数据块均匀性的检验做出帧间模式预测选择。
3.如权利要求2所要求的方法,其中进一步基于数据块均匀性检验做出帧间模式预测选择进一步包含基于帧内模式预测选择做出帧间模式选择。
4.如权利要求3所要求的方法,其中帧内模式预测选择包含垂直对水平的帧内模式预测选择。
5.如权利要求4所要求的方法,其中垂直对水平的帧内模式预测选择包含产生图像的边缘方向信息,以及检测一个或多个图像边缘的方向。
6.如权利要求4所要求的方法,其中对图像的数据块作零运动检验之前实施帧内模式预测选择。
7.如权利要求2到6中任一个所要求的方法,进一步包含基于数据块子类型均匀性的检验做出帧间模式预测选择。
8.如权利要求7所要求的方法,进一步包含基于帧间模式预测选择在不同的所选块尺寸上执行运动估计。
9.如权利要求8所要求的方法,进一步包含基于帧间模式预测选择在不同的所选块尺寸上执行率失真优化。
10.如权利要求2到6中任一个所要求的方法,其中对数据块作零运动检验的步骤包含检验并列的前数据块是否具有零运动向量。
11.一种用于在视频编码中帧间模式预测的系统,所达系统包含:
运动检测单元,对图像的数据块作零运动检验;以及
处理器单元,基于对零运动的检验来计算数据块的帧差;以及基于所计算的帧差做出帧间模式预测选择;
其中帧间模式预测选择包括根据所计算的帧差选择用于编码的块大小。
12.如权利要求11所要求的系统,进一步包含步骤:均匀性检测单元,检验数据块的均匀性,以及
处理器单元,进一步基于数据块均匀性的检验做出帧间模式预测选择。
13.如权利要求12所要求的系统,其中,在进一步基于数据块均匀性检验做出帧间模式预测选择中,处理器单元进一步基于帧内模式预测选择做出帧间模式选择。
14.如权利要求13所要求的系统,其中帧内模式预测选择包含垂直对水平的帧内模式预测选择。
15.如权利要求14所要求的系统,其中垂直对水平的帧内模式预测选择包含产生图像的边缘方向信息,以及检测一个或多个图像边缘的方向。
16.如权利要求11到15中任一个所要求的系统,进一步包含由均匀性检测单元基于数据块子类型均匀性的检验做出帧间模式预测选择。
17.如权利要求16所要求的系统,其中处理器单元基于帧间模式预测选择在不同的所选块尺寸上进一步执行运动估计。
18.如权利要求17所要求的系统,其中处理器单元基于帧间模式预测选择在不同的所选的块尺寸上进一步执行率失真优化。
19.如权利要求11到15中任一个所要求的系统,其中运动检测单元检验并列的前数据块是否具有零运动向量以检验数据块的零运动。
CN200480027851XA 2003-08-25 2004-08-25 在视频编码中对帧间预测进行模式判定的方法和系统 Expired - Fee Related CN1934871B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US49759803P 2003-08-25 2003-08-25
US60/497,598 2003-08-25
US52605903P 2003-12-01 2003-12-01
US60/526,059 2003-12-01
PCT/SG2004/000256 WO2005020588A1 (en) 2003-08-25 2004-08-25 Mode decision for inter prediction in video coding

Publications (2)

Publication Number Publication Date
CN1934871A CN1934871A (zh) 2007-03-21
CN1934871B true CN1934871B (zh) 2011-08-10

Family

ID=34221481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200480027851XA Expired - Fee Related CN1934871B (zh) 2003-08-25 2004-08-25 在视频编码中对帧间预测进行模式判定的方法和系统

Country Status (7)

Country Link
US (1) US8094720B2 (zh)
EP (1) EP1687985A4 (zh)
JP (1) JP4777889B2 (zh)
KR (1) KR101054543B1 (zh)
CN (1) CN1934871B (zh)
TW (1) TWI358951B (zh)
WO (1) WO2005020588A1 (zh)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004114668A1 (en) 2003-06-16 2004-12-29 Thomson Licensing S.A. Decoding method and apparatus enabling fast channel change of compressed video
US7362376B2 (en) * 2003-12-23 2008-04-22 Lsi Logic Corporation Method and apparatus for video deinterlacing and format conversion
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
JP4031455B2 (ja) * 2004-03-29 2008-01-09 株式会社東芝 画像符号化装置
KR100677118B1 (ko) * 2004-06-11 2007-02-02 삼성전자주식회사 움직임 추정 방법 및 그 장치
FR2872975A1 (fr) * 2004-07-06 2006-01-13 Thomson Licensing Sa Procede et dispositif pour choisir un mode de codage
CN100397906C (zh) * 2005-08-24 2008-06-25 天津大学 一种视频信息的快速帧间模式选择方法
EP1972153A4 (en) * 2006-01-09 2015-03-11 Lg Electronics Inc INTER-LAYER PREDICTION PROCEDURE FOR A VIDEO SIGNAL
JP2007184846A (ja) * 2006-01-10 2007-07-19 Toshiba Corp 動画像符号化装置
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
JP5057104B2 (ja) * 2006-03-10 2012-10-24 日本電気株式会社 イントラ予測モード選択方法及び動画像符号化と、これを用いた装置とプログラム
KR101365569B1 (ko) 2007-01-18 2014-02-21 삼성전자주식회사 인트라 예측 부호화, 복호화 방법 및 장치
CN100558169C (zh) * 2007-03-23 2009-11-04 武汉大学 视频转码中帧间模式的快速选择方法
US8570373B2 (en) * 2007-06-08 2013-10-29 Cisco Technology, Inc. Tracking an object utilizing location information associated with a wireless device
KR100898176B1 (ko) * 2007-06-12 2009-05-19 한국전자통신연구원 비디오 인코딩을 위한 인터 모드 결정 방법
US8077772B2 (en) * 2007-11-09 2011-12-13 Cisco Technology, Inc. Coding background blocks in video coding that includes coding as skipped
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8355041B2 (en) 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
US8319819B2 (en) 2008-03-26 2012-11-27 Cisco Technology, Inc. Virtual round-table videoconference
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
US20090323810A1 (en) * 2008-06-26 2009-12-31 Mediatek Inc. Video encoding apparatuses and methods with decoupled data dependency
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
WO2010069381A1 (en) * 2008-12-18 2010-06-24 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for rate distortion optimisation
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US8477175B2 (en) * 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
US9729888B2 (en) 2009-09-10 2017-08-08 Dolby Laboratories Licensing Corporation Speedup techniques for rate distortion optimized quantization
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
USD626102S1 (en) 2010-03-21 2010-10-26 Cisco Tech Inc Video unit with integrated features
USD628968S1 (en) 2010-03-21 2010-12-14 Cisco Technology, Inc. Free-standing video unit
USD626103S1 (en) 2010-03-21 2010-10-26 Cisco Technology, Inc. Video unit with integrated features
USD628175S1 (en) 2010-03-21 2010-11-30 Cisco Technology, Inc. Mounted video unit
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
USD678307S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD678894S1 (en) 2010-12-16 2013-03-26 Cisco Technology, Inc. Display screen with graphical user interface
USD678308S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682864S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen with graphical user interface
USD678320S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682294S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD682293S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
TWI487381B (zh) * 2011-05-19 2015-06-01 Nat Univ Chung Cheng Predictive Coding Method for Multimedia Image Texture
CA2833902C (en) * 2011-06-24 2018-09-04 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, and image prediction device
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
US9843621B2 (en) 2013-05-17 2017-12-12 Cisco Technology, Inc. Calendaring activities based on communication processing
US10368072B2 (en) * 2015-05-29 2019-07-30 Qualcomm Incorporated Advanced arithmetic coder
US9955186B2 (en) 2016-01-11 2018-04-24 Qualcomm Incorporated Block size decision for video coding
CN117499650A (zh) * 2016-04-29 2024-02-02 英迪股份有限公司 图像解码方法、图像编码方法和用于发送比特流的方法
US10440366B2 (en) * 2016-07-01 2019-10-08 Intel Corporation Method and system of video coding using content based metadata
CN111479110B (zh) * 2020-04-15 2022-12-13 郑州轻大产业技术研究院有限公司 针对h.266/vvc的快速仿射运动估计方法
CN113163199B (zh) * 2021-05-10 2023-06-30 浙江裕瀚科技有限公司 一种基于h265的视频快速预测方法、快速编码方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010019586A1 (en) * 2000-02-22 2001-09-06 Kang Hyun Soo Motion estimation method and device
WO2002077920A2 (en) * 2001-03-26 2002-10-03 Dynapel Systems, Inc. Method and system for the estimation and compensation of brightness changes for optical flow calculations

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6990248B2 (en) * 1996-05-09 2006-01-24 Koninklijke Philips Electronics N.V. Segmented video coding and decoding method and system
EP0953253B1 (en) * 1997-11-17 2006-06-14 Koninklijke Philips Electronics N.V. Motion-compensated predictive image encoding and decoding
US6188728B1 (en) * 1998-09-29 2001-02-13 Sarnoff Corporation Block motion video coding and decoding
US6639942B1 (en) * 1999-10-21 2003-10-28 Toshiba America Electronic Components, Inc. Method and apparatus for estimating and controlling the number of bits
WO2003026315A1 (en) * 2001-09-14 2003-03-27 Ntt Docomo, Inc. Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program
US20030202590A1 (en) * 2002-04-30 2003-10-30 Qunshan Gu Video encoding using direct mode predicted frames
KR100961760B1 (ko) * 2002-08-13 2010-06-07 퀄컴 인코포레이티드 이산코사인변환 계수를 참조하는 움직임 추정 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010019586A1 (en) * 2000-02-22 2001-09-06 Kang Hyun Soo Motion estimation method and device
WO2002077920A2 (en) * 2001-03-26 2002-10-03 Dynapel Systems, Inc. Method and system for the estimation and compensation of brightness changes for optical flow calculations

Also Published As

Publication number Publication date
JP2007503757A (ja) 2007-02-22
JP4777889B2 (ja) 2011-09-21
TW200516992A (en) 2005-05-16
US8094720B2 (en) 2012-01-10
KR101054543B1 (ko) 2011-08-04
US20070140337A1 (en) 2007-06-21
CN1934871A (zh) 2007-03-21
TWI358951B (en) 2012-02-21
EP1687985A4 (en) 2011-10-12
KR20060080184A (ko) 2006-07-07
EP1687985A1 (en) 2006-08-09
WO2005020588A1 (en) 2005-03-03

Similar Documents

Publication Publication Date Title
CN1934871B (zh) 在视频编码中对帧间预测进行模式判定的方法和系统
CN101731012B (zh) 用于视频编码器中的快速几何模式判定的方法和设备
US10003792B2 (en) Video encoder for images
US9967589B2 (en) Method and apparatus for updating predictions when coding motion information
CN101416524B (zh) 运动估计搜索范围和扩展的运动矢量范围的动态选择
CN110839155B (zh) 运动估计的方法、装置、电子设备及计算机可读存储介质
CN101019435A (zh) 动态图像编码方法及动态图像解码方法
CN1750656B (zh) 编码和解码图像
CN102668566B (zh) 将dc帧内预测模式用于视频编码和解码的方法和装置
CN103297781A (zh) 一种基于纹理方向的hevc帧内编码方法、装置和系统
CN101023674A (zh) 用于中间帧的快速模式判定的方法和装置
KR20100038335A (ko) 비디오 데이터의 인코딩을 위한 인코딩 유형 및 예측 모드 선택
CN101014125A (zh) 用于判定帧内预测模式的方法和设备
CN105282557A (zh) 一种预测运动矢量的h264快速运动估计方法
Kim et al. Fast SKIP mode decision with rate-distortion optimization for high efficiency video coding
JP2005244749A (ja) 動画像符号化装置
JP2006020217A (ja) 画像符号化装置
US20150237345A1 (en) Video coding device, video coding method, and video coding program
JP4373423B2 (ja) 映像符号化方法,映像符号化装置,映像符号化プログラムおよびその記録媒体
Thanh et al. Learning adaptive motion search for fast versatile video coding in visual surveillance systems
Kim et al. Fast mode decision scheme using sum of the absolute difference‐based Bayesian model for the H. 264/AVC video standard
KR102152144B1 (ko) 기계학습을 이용한 객체정보 기반 고속 고효율 비디오 코덱 영상 부호화 방법
KR101938311B1 (ko) 기계학습을 이용한 객체정보 기반 고속 고효율 비디오 코덱 영상 부호화 시스템
CN101771870B (zh) 一种视频编码技术中块运动匹配的快速搜索方法
KR100845644B1 (ko) 고속 움직임 모드 결정 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110810

Termination date: 20120825