CN1482810A - 通过参考离散余弦变换系数来估计运动的方法及其装置 - Google Patents

通过参考离散余弦变换系数来估计运动的方法及其装置 Download PDF

Info

Publication number
CN1482810A
CN1482810A CNA031530842A CN03153084A CN1482810A CN 1482810 A CN1482810 A CN 1482810A CN A031530842 A CNA031530842 A CN A031530842A CN 03153084 A CN03153084 A CN 03153084A CN 1482810 A CN1482810 A CN 1482810A
Authority
CN
China
Prior art keywords
smoothness
dct
pixel
dct coefficient
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA031530842A
Other languages
English (en)
Other versions
CN1232125C (zh
Inventor
李承�
李承徹
李和纯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1482810A publication Critical patent/CN1482810A/zh
Application granted granted Critical
Publication of CN1232125C publication Critical patent/CN1232125C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/57Motion estimation characterised by a search window with variable size or shape
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

公开了一种通过离散余弦变换(DCT)和运动估计(ME)来编码视频信号的方法及其装置。通过参考DCT系数,用于编码视频信号的方法简化了ME。在使用DCT的视频帧压缩系统中的用于估计运动的方法中,根据在以块为单位变换的DCT系数中具有非零值的DCT系数的个数,来确定块的平滑度。通过从某些或全部与块的平滑度相对应的DCT系数中恢复视频帧数据,来形成参考帧。根据参考帧的平滑度,来动态改变当前视频帧的当前宏块(MB)的运动估计(ME)精度。

Description

通过参考离散余弦变换系数 来估计运动的方法及其装置
技术领域
本发明涉及一种通过离散余弦变换和运动估计来编码视频信号的方法及其装置,并且特别涉及一种通过参考离散余弦变换系数来编码视频信号、以便简化运动估计的装置及其方法。
背景技术
通常,使用两种方法来压缩视频信号。一种是帧内压缩,而另一种是帧间压缩。根据帧内压缩,压缩一视频帧内的信息。帧内压缩包括离散余弦变换(DCT)。根据DCT,通过二维绕轴旋转(pivoting)来消除数据的相关性。以块为单位来分割输入帧,并将每块图像从空间域变换到频域。变换的数据趋向于聚集在一侧,较低区域。通过使用量化器仅量化聚集的数据,来消除空间重迭。
根据帧间压缩,通过基于连续视频帧之间相应像素值中的差值来编码图像,来消除暂时重迭。由于在短暂的连续图像中,人或物仅在屏面中心移动,而没有背景中的改变,所以可以使用这个特性来消除暂时重迭。也就是说,通过不编码相似部分且参照前一图像,在屏面不改变或者即使屏面改变时,也可以极大地降低数据量。这样的方法被称为运动估计(motion estimation,ME)技术。在诸如运动图像专家组(MPEG)-4,以及H.261、MPEG-1、MPEG-2、MPEG-3和H.263的几乎所有图像编码标准中,将ME技术用作帧间压缩方法。
图1说明了用于压缩数字视频信号的传统编码系统100,例如,使用MPEG-2方法的图像编码系统。现在将参照图1描述通过DCT和ME压缩图像的传统方法。
帧类型(frame-type)输入视频信号被输入到帧存储器101中。在帧存储器101中将该帧存储为像素数据的连续块,以便以块为单位处理它。通常帧块具有8×8到16×16的像素大小。为了便于解释,将描述具有8×8像素大小的块。但是,具有其它像素大小的块也可以应用于本发明。
DCT 103离散余弦变换由帧存储器101以块为单位读取的输入视频信号,并生成DCT系数。量化器105量化所生成的DCT系数。比特率控制器107确定量化表,其将用于由量化器105进行的量化,以便调整目标传输比特率,从而控制比特率。以“之”字形扫描量化DCT系数,并将其输入到可变长编码器107。可变长编码器107将所扫描的量化DCT系数变换成可变长编码数据,并经未示出的比特流发生器将该数据作为编码连续比特流输出。
量化器105的输出也被输入到反量化器109。由反离散余弦变换(inversediscrete cosine transform,IDCT)111对从反量化器109输出的DCT系数进行反离散余弦变换,并变成成以块为单位的恢复的像素数据。将恢复像素数据以块为单位存储在帧存储器113中。顺序恢复视频帧的所有块,并将其存储在帧存储器113中。存储在帧存储器113中的恢复图像帧被用作ME的参考帧。
在编码系统100处理完第一视频帧的所有块之后,将第二视频帧输入到编码系统100。运动估计器115在存储在帧存储器113中的参考帧的搜索区域内,搜索与第二帧的第一宏块(MB)最相似的区域。通常,搜索区域包括多个候选MB。运动估计器115以半个像素为单位在搜索区域内上、下、左、右移动具有与MB相同的像素大小的参考区域,并比较MB的像素和参考区域的像素。通常,MB具有8×8或16×16的大小。使用诸如全搜索块匹配算法(full searching block matching algorithm,FBMA)、3步搜索(three step search,TSS)、菱形搜索和分级运动估计或块匹配技术的各种通用搜索算法。确定运动矢量(MV),其说明了所搜索参考帧的最相似参考区域的位置和第二图像帧的MB之间的关系。
加法器119获得第二帧的第一MB和参考帧的最相似参考区域之间的差值。由DCT 103、量化器105和可变长编码器107以及MV来编码该差值。通过分离装置和分离过程来获得该差值和该MV。但是,可以在一个过程中获得该MV和该差值。该差值被输入到反量化器109和IDCT 111中,并作为下一帧的用于ME的恢复像素数据而被存储在帧存储器113中。顺序将这些过程全面应用于第二帧的所有块。
如上所述,用于ME的参考帧不是原始的图像帧,而是来自已编码数据,即量化的DCT系数的解码的恢复帧。这是为了通过从解码系统接收编码图像数据,并经受与编码过程相同的过程,来最小化编码系统和解码系统之间的误差。用于解码过程的N×N反离散余弦变换表达式如下所示:
[表达式1] f ( x , y ) = 2 N Σ u = 0 N - 1 Σ v = 0 N - 1 C ( u ) C ( v ) F ( u , v ) cos ( 2 x + 1 ) uπ 2 N cos ( 2 y + 1 ) vπ 2 N 其中,
且F(u,v)是参考帧函数,其提供了来自先前编码(量化)的DCT系数的解码的解码DCT系数,而u和v是DCT块中的坐标。
[表达式1]具有O(n3)的计算复杂度。通过[表达式1]来对整个量化的DCT系数进行反离散余弦变换。结果,使用比在将原始图像帧用作参考帧的情况下的运算量更多的运算量。同时,编码方法的效率变差了。由于ME 115对参考帧的搜索区域与当前MB的所有像素进行相互比较,所以估计运动所需的时间和运算量增加了。
诸如移动终端的便携系统具有有限的运算能力和供电能力。对便携系统来说,ME所要求的极大的运算量是很重的负担。然而,在经无线信道发送运动图像的情况下,就生成了数量极大的数据。同时,可用的频带是有限的。为了通过有限的频带发送数量极大的运动图像数据,就必须使用ME来降低所发送数据的数量。因此,需要使用ME来压缩运动图像数据并减少ME所要求的过大的运算量,以便降低发送数据的数量。
发明内容
因此,做出本发明以便解决在现有技术中出现的上述问题,并且本发明的目的在于提供一种方法及其装置,该方法在通过离散余弦变换和ME来编码视频图像信号的系统中,在保持高图像质量和压缩效率的同时,降低运动估计(ME)所要求的运算量。
本发明的另一目的是提供一种方法及其装置,该方法在通过离散余弦变换和ME来编码视频图像信号的系统中,在考虑到图像的情况下,通过恢复用于ME的参考帧,来降低上述运算的量。
本发明的另一目的是提供一种方法及其装置,该方法在通过ME来消除运动图像之间的暂时重迭的系统中,在考虑到图像的特性的情况下,通过动态控制当前图像和参考图像之间的像素比较精度和搜索精度,来减少上述运算的量。
为了实现这些目的,提供了一种方法,其用于在使用离散余弦变换(DCT)的视频帧压缩系统中估计运动。该方法包括步骤:根据在以块为单位变换的DCT系数中具有非零值的DCT系数的个数,来确定块的平滑度(flatness)。通过从某些或全部与块的平滑度相对应的DCT系数中恢复视频帧数据,来形成参考帧。根据参考帧的平滑度,来动态改变当前视频帧的当前宏块(MB)的运动估计(ME)精度。
提供了一种用于压缩视频帧的系统,其通过DCT和编码在变换过程中生成的DCT系数,将以帧为单位输入的输入视频数据从空间域变换到频域。该系统包括平滑度确定器,用于根据DCT系数的值,来确定相应块的平滑度。IDCT,用于通过参照平滑度,将DCT系数从频域反变换到空间域,并反离散余弦变换视频数据。运动估计器,用于通过参照平滑度,估计在所恢复的视频数据中与当前视频数据最相似的区域。加法器将运动估计区域与当前视频数据的误差输入DCT。
附图说明
通过下面结合附图进行的详细描述,本发明的上述和其他目的、特点和优点将会变得更加清楚,其中:
图1是说明用于压缩数字视频信号的传统编码系统的框图;
图2说明了使用不同个解码离散余弦变换(DCT)系数恢复的图像;
图3是说明根据本发明的优选实施例的用于在考虑到图像的特性的情况下执行图像编码和运动估计(ME)的系统的框图;
图4说明了根据本发明的实施例的、在通过平滑度发生器和零线发生器之后8×8块的DCT系数;
图5说明了根据本发明的优选实施例的在考虑到平滑度的情况下的块比较方法;
图6是说明根据本发明的优选实施例的、确定DCT块的平滑度的过程的流程图;
图7是根据本发明的优选实施例的、在自适应运动估计器中参照图像帧的所有宏块(MB)的估计运动的过程的流程图;和
图8说明了根据本发明的优选实施例的、估计MB的运动的过程。
具体实施方式
以下,将参照附图来描述本发明的优选实施例。即使相同部件显示在不同的附图上,也用相同的参考数字或标号来表示这些部件。在本发明的下列描述中,将省略对本申请中的已知功能和结构的详细描述,以便使描述集中于本发明的主题。
图2说明了当反量化和反离散余弦变换,即解码编码像素数据,即量化的DCT系数,从而将其恢复成原始像素数据时,使用不同个解码离散余弦变换(DCT)系数恢复的图像。图2示出了一种情况,其中,块大小是8×8。参考数字201表示当在8×8块中变换6×6,即36个DCT系数时所恢复的图像。参考数字203表示当解码4×4,即16个DCT系数时所恢复的图像。参考数字205表示当解码3×3,即9个DCT系数时所恢复的图像。参考数字207表示当解码2×2,即4个DCT系数时所恢复的图像。参考数字209表示当解码1×1,即1个DCT系数时所恢复的图像。如上所述,当仅解码某些DCT系数时,根据各个块的特性,在某些块中没有产生误差,然而,在其它块中产生了严重的误差。
在一般图像中,从DCT和量化处理得到的大多数DCT系数具有零值。由于DCT系数频率低,即DCT DC系数主要具有非零值,所以非零DCT系数通常分布在8×8块的左上角的低频区域中。同时,分布在块的右下角的高频DCT系数,即DCT AC系数主要具有零值。因此,在其中大多数DCT系数具有零值的平滑图像中,即使仅解码某些DCT系数,也只产生小误差。当离散余弦变换晴朗的天空(clear sky)时,即使仅解码一个DCT系数,可能也不会产生误差。在图2中,为了方便起见,假设块大小是8×8。但是,本领域任何技术人员应该明白:可以将具有诸如4x4和16×16的不同块大小的块应用于本发明。
根据本发明,在考虑到编码图像的特性的情况下,可以降低编码过程和ME过程的计算复杂度。图3说明了根据本发明的优选实施例的、用于在考虑到图像的特性的情况下执行图像编码和运动估计(ME)的系统。
以块为单位将帧类型输入视频信号输入到帧存储器301中并存储它。DCT 303离散余弦变换以块为单位从帧存储器301读取的输入视频信号,并生成DCT系数。平滑度表发生器305确定在块的DCT系数中的非零DCT系数的个数。具有不为零但是小于参考值的值的DCT系数被认为是具有零值。根据本发明,假设:至少某些DCT系数具有小于参考值的值。该参考值可以是特定常数,但是,最好使用与块相对应的量化表的量化值。这是因为在量化过程中,具有小于量化值的值的DCT系数具有零值。
根据非零DCT系数的个数来确定块的平滑度。根据本发明,根据包括在相应块中的非零DCT系数的个数来确定块的平滑度。平滑度表发生器305在表中存储帧的各个块的平滑度。零线发生器307用值“0”来取代所确定的具有小于参考值(由平滑度表发生器305预先设置的)的值的DCT系数。在图3中,说明了彼此分离的平滑度表发生器305和零线发生器307。但是,可以将这两个装置实现在一个装置中。
图4说明了在通过平滑发生器305和零线发生器307之后的8×8块的DCT系数的示例分布。参考数字401表示具有非零值的DCT系数的区域。参考数字403表示具有零值的DCT系数的区域。因此确定该块的平滑度为6。
量化器309使用由比特率控制器311确定的量化表来量化输入DCT系数。以之字型扫描量化的DCT系数,并由可变长编码器313将其变换成可变长编码数据,然后,将其作为由比特流发生器(未示出)编码的连续比特流输出。
由反量化器(inverse quantizer)315对量化的DCT系数进行反量化,并将其输入到自适应反离散余弦变换器(IDCT)317。自适应IDCT 317反离散余弦变换DCT系数,DCT系数的个数是根据由平滑度表发生器305确定的相应块的平滑度确定的。在其平滑度低的块,即看起来平滑或均匀的图像中,反离散余弦变换少量的DCT系数。在其平滑度高的块,即对比度大时,反离散余弦变换大量的DCT系数。根据传统技术,反离散余弦变换64个DCT系数。根据本发明,根据平滑度来变换较少的DCT系数。因此,在使用具有O(n3)的计算复杂度的[表达式1]的反离散余弦变换中,根据传统技术,在8×8块的情况下必须执行512次乘法运算。根据本发明,当平滑度是6时执行216次乘法运算。根据本发明,当平滑度是4时执行64次乘法运算。
在帧存储器319中以块为单位存储恢复的像素数据,以便其被用作ME的参考帧。在编码系统200处理了第一图像帧的全部块之后,将第二图像帧输入到编码系统200。自适应运动估计器321通过使用参考帧的搜索区域的平滑度所确定的像素距离,来比较搜索区域的像素和第二帧的第一宏块(MB)的像素。
现在将参照图5来描述作为根据平滑度进行的块比较方法的优选实施例的三种方法。但是,在不背离本发明的保护范围的情况下,可以通过使用不是下面三种方法的方法来做各种变化。同时,为了便于解释,假设参考帧的搜索区域是由3×3的候选MB形成的。在图5中,参考数字501表示当前输入的第二视频帧。参考数字509表示将在第二视频帧中估计其当前运动的MB。参考数字503表示存储在帧存储器319中的参考帧。参考数字505表示用于估计MB509的运动的搜索区域。搜索区域505是由9个候选MB 911形成的。参考数字507表述在搜索区域505中当前与MB 509进行比较的参考区域。
在第一方法中,基于参考区域507所遍布的候选MB的平滑度中的最大平滑度,来确定像素距离。当使用该方法时,基于4个MB中的最大平滑度,5,来确定像素距离。
在第二方法中,根据参考区域507所遍布的每个候选MB的平滑度,来确定每个像素距离。在这种情况下,基于参考区域507的左边的平滑度4、基于右上角的平滑度2、和基于右下角的平滑度5,来确定像素距离。
在第三方法中,基于在参考区域507所遍布的候选MB中遍布了最大区域的候选MB的平滑度,来确定像素距离。也就是说,在图5的情况下,基于平滑度4,来确定像素距离。
诸如全搜索块匹配算法(FBMA)、3步搜索(TSS)、菱形搜索和分级运动估计的各种通用搜索算法可以用于块比较。
图6是说明用于确定DCT块的平滑度的过程的流程图。参照图4和6来描述由平滑度表发生器305和零线发生器307确定8×8的DCT块的平滑度的方法。
当从DCT303输入DCT系数时,过程前进到步骤601,并且平滑度表发生器305开始确定平滑度的过程。平滑度确定过程从具有高频分量的DCT系数开始,并前进到具有低频分量的DCT系数,即,从图4的其平滑度是8的区域到其平滑度是1的区域。在步骤601,准备DCT[8][8],即用于存储DCT系数的8×8二维排列。CurRes,其是用于表示平滑度的变量,被设为8。“Count”,其是用于对所测试的DCT系数进行计数的变量,被设为1。“zeroCount”,其是用于对具有零值的DCT系数的个数进行计数的变量,被设为0。
在步骤603,将DCT[CurRes][Count]系数值,即当前要被测试的DCT系数与先前设置的参考值threshold_B[CurRes][Count]相比较。threshold_B[CurRes][Count]是用于确定具有零值的DCT系数的参考值,其是在量化表中与DCT系数相对应的量化值或者是将特定权值与量化值相乘而得到的值。由于CurRes为8且Count为1,所以,将DCT[8][1]系数值与threshold_B[8][1]值相比较。在步骤603,将DCT[8][1]、DCT[8][2]、......、DCT[8][8]系数的值与相应的参考值相比较。
当DCT系数小于参考值时,在步骤605,平滑度表发生器305确定DCT系数具有零值,且增加“zeroCount”。零线发生器307用零来取代DCT系数的值,并前进到步骤607。当在步骤603中当前测试的DCT系数大于参考值时,过程前进到步骤607。
在步骤607,将Count与1相比较且当前的Count为1,过程前进到步骤613。在步骤613,将Count与CurRes相比较。由于当前的Count小于CurRes,步骤前进到步骤615,并且,在将Count加1之后,过程返回到步骤603。因此,Count变为2。
在步骤603和605,确定DCT[8][2]的值是否为零(见图6),并过程前进到步骤607。由于在步骤607中当前的Count大于1,过程前进到步骤609。在步骤609,将DCT[Count-1][CurRes]的系数值与threshold_B[1][8]相比较。在步骤609,将DCT[1][8]、DCT[2][8]、......、DCT[7][8]系数的值与相应的参考值相比较。
当DCT[1][8]系数的值小于threshold_B[1][8]的值时,过程前进到步骤611。在步骤611,平滑度表发生器305确定DCT系数具有零值,且将zeroCount加1。零线发生器307用零来取代DCT系数的值,且过程前进到步骤613。重复该例程处理,直到Count变为8。通过zeroCount对其平滑度为8的区域中的、具有小于threshold_B的值的dct系数的个数进行计数。
当Count变为8时,在步骤613,将zeroCount的值与threshold_A[CurRes]的值相比较。threshold_A[CurRes]是每个平滑区域中预先设置的参考值。在低频区域中,存在较多的具有零值的DCT系数。因此,最好在低频区域中,将threshold_A值设得比较大。但是,可以将threshold_A值在所有区域中设为相同值,也可以根据其它方法来设置它。
当在步骤617中具有零值的DCT系数的个数小于threshold_A的个数时,在步骤619,将当前CurRes确定为当前块的平滑度,并且在步骤621,终止平滑度确定程序。但是,当具有零值的DCT系数的个数大于threshold_A的个数时,在步骤619,将CurRes加1,初始化Count和zeroCount,并对下一区域的DCT系数中的具有零值的系数的个数进行计数。
已经参照图4和6描述了确定块的平滑度的方法。平滑度表发生器通过将该程序应用于整个视频帧,并生成二维的平滑度表,来确定视频帧的所有块的平滑度。
现在参照图7和8来描述通过参考所确定的平滑度来估计运动的方法。假设:视频帧是由176×144个像素构成的,并且用于估计运动的MB具有8×8的大小。因此,视频帧是由22×18个MB构成的。但是,本领域技术人员应该明白:可以将经常用于MPEG-2和MPEG-4的16×16大小的MB应用于本发明。
图7是说明由图3的自适应ME 321估计视频帧的所有MB的运动的过程的流程图。在步骤701,CurPic[176*144]表示当前图像缓冲区,而Refpic[176*144]表示参考图像缓冲区。变量x和y用于对x和y轴方向上的MB的个数进行计数,并被初始化为0。
在步骤703,当y小于18时,过程前进到步骤705。当y大于18时,过程前进到步骤713,并且由于对视频帧的所有MB都完成了ME,所以终止该过程。由于初始化的y为0,所以过程前进到步骤705。在步骤705,将x与22相比较。由于x被初始化为0,所以过程前进到步骤709。在步骤709,对当前MB CurPic[(x+y*176)*8]和参考区域Refpic[(x+y*176)*8]执行ME。现在将参照图8来描述该ME方法。当完成对当前MB的ME时,将x加1,并重复步骤705到711。当完成对第一行的MB的ME且x达到22时,过程前进到步骤707,y加1,将x初始化为0,并且过程返回到步骤703。当完成对图像帧的所有MB的ME时,在步骤713完成该ME。
现在,参照图8详细描述步骤709中的用于MB的ME方法。在步骤801,CurPic[(x+y*176)*8]是要估计其当前运动的MB。变量i和j用于表示在将当前MB用作参考点的参考帧的搜索区域中参考区域的位置。假设:沿着基于当前MB的x轴的向左方向是-i方向,而沿着x轴的向右方向是+i方向,而沿着y轴的向上方向是+j方向,而沿着y轴的向下方向是-j方向。假设:使用各种搜索算法中的FBMA(全搜索块匹配算法)算法(FBMA是一种逐像素搜索方法,其在整个图像范围内进行搜索)。同时,假设:在基于当前MB的x轴和y轴的每一个方向上,参考帧的搜索区域包括3个MB。3个MB是示例,然而,帧的搜索范围可以更多或更少。此外,本发明可以应用于这种情况,其中,使用了其它搜索算法,或者搜索区域的大小改变了。
在步骤803,当j小于3*8时,过程前进到步骤805。在步骤805,从平滑度表中读取参考区域的平滑度。当参考区域遍布多个候选MB时,使用如图5所述的方法来确定平滑度。根据x和y轴方向上的所确定的平滑度,来分别确定Weight_X和Weight_Y。例如,当平滑度为4时,Weight_X和Weight_Y为4。当平滑度为2时,Weight_X和Weight_Y为2。由于当前的j为-3*8,且小于3*8,所以过程前进到步骤805,并获得了权值。然后,过程前进到步骤807。
当在步骤807中i小于3*8时,在步骤809,以二次抽样的像素为单位,根据在步骤805中所确定的权值,对CurPic[(x+y*176)*8]和Refpic[(i+j*176)*8]块进行相互比较。例如,当权值为2时,按照像素距离1来执行二次抽样。当权值为4时,按照像素距离2来执行二次抽样。因此,与将MB中的所有像素彼此进行比较的传统技术相比,极大地减少了运算量。本领域技术人员应该明白:可以使用诸如绝对差分之和(sum ofabsolute differences,SAD)和差量的众所周知的算法,来执行像素的比较。
当完成像素的比较时,在步骤811根据Weight_X来增加i值。在搜索区域中将参考区域移动根据Weight_X增加的像素单位。然后,执行像素的比较。例如,当Weight_X为2时,将参考区域移动一个像素。当Weight_X为4时,将参考区域移动两个像素。在传统技术中,以半个像素为单位移动搜索区域中的参考区域。然而,根据本发明,确定反映了平滑度的运动像素单位,即参考区域的搜索精度,上述平滑度是由图像的特性确定的。
当对搜索区域中的位于最低位置上的候选MB完成了像素的比较,即i大于或等于3*8时,过程从步骤807前进到步骤813。在步骤813,根据Weight_Y来增加j值,且将i初始化为3*8。然后,过程返回步骤803。当对所有搜索区域完成了像素的比较时,过程前进到步骤815,并终止。如上所述,根据本发明,通过在考虑到图像的特性的情况下确定像素比较距离和参考区域的搜索精度,极大地降低了运算量。
如上所述,根据本发明,在通过以块为单位DCT变换图像来消除空间重迭和使用ME技术来消除暂时重迭的系统中,当平滑图像遍布大的块时,极大地降低了为了生成用于ME的参考帧而要进行的反离散余弦变换的DCT系数的个数。因此,降低了计算复杂度。同时,通过根据块匹配过程中的参考帧的块的平滑度,来控制像素比较的精度和搜索精度,也降低了运算量。
虽然已参照本发明的优选实施例,示出和描述了本发明,但是本领域技术人员应该明白:在不背离由所附权利要求所限定的本发明的精神和保护范围的情况下,可以在细节和形式上对本发明做各种变化。

Claims (19)

1.一种在使用离散余弦变换(DCT)的视频帧压缩系统中用于估计运动的方法,包括步骤:
(a)根据在以块为单位变换的DCT系数中具有非零值的DCT系数的个数,来确定块的平滑度;
(b)通过从某些或全部与块的平滑度相对应的DCT系数中恢复视频帧数据,来形成参考帧;和
(c)根据参考帧的平滑度,来动态改变当前视频帧的当前宏块(MB)的运动估计(ME)精度。
2.如权利要求1所述的方法,其中步骤(c)还包括步骤:根据平滑度来确定参考帧的参考区域和当前视频帧的像素比较距离。
3.如权利要求1所述的方法,其中步骤(c)还包括步骤:根据搜索精度来移动参考帧的参考区域,上述搜索精度是根据平滑度确定的。
4.如权利要求3所述的方法,其中搜索精度是参考区域的多个像素单位。
5.如权利要求1所述的方法,其中步骤(a)还包括步骤:将DCT系数与预定第一参考值相比较,并用值0来取代具有小于第一参考值的值的DCT系数的值。
6.如权利要求5所述的方法,其中通过与各个块相对应的量化表来确定第一参考值。
7.如权利要求1所述的方法,其中步骤(a)还包括步骤:将具有非零值的DCT系数的个数与预定第二参考值相比较。
8.一种压缩视频帧的方法,其用于通过离散余弦变换(DCT)和编码在该变换中生成的变换系数,来将以块为单位输入的输入视频数据从空间域变换到频域,包括步骤:
(a)根据DCT系数的值,来确定相应块的平滑度;
(b)参考块的平滑度,将DCT系数从频域反变换到空间域,并恢复视频数据;
(c)估计在参考块的平滑度所恢复的视频数据中与当前视频数据最相似的区域;和
(d)将运动估计区域与当前视频数据的误差输入到DCT。
9.如权利要求8所述的方法,其中步骤(a)还包括步骤:根据各个块的DCT系数中的具有非零值的DCT系数的个数,来确定平滑度。
10.如权利要求8所述的方法,其中步骤(c)还包括步骤:按照通过平滑度确定的像素比较距离,比较当前视频数据的像素和视频数据的像素。
11.如权利要求10所述的方法,其中步骤(c)还包括步骤:比较所恢复的视频数据的参考区域的像素和当前视频数据的像素,并以通过平滑度确定的像素为单位在所恢复的视频数据中移动参考区域。
12.一种为了压缩视频帧而编码以块为单位输入的视频帧数据的方法,包括步骤:
通过DCT,以块为单位将视频帧数据变换成DCT系数;
根据块的DCT系数中的具有非零值的DCT系数的个数,来确定块的平滑度;
通过量化器量化DCT系数,并通过编码器编码量化的DCT系数;
通过反量化器来对量化的DCT系数进行反量化;
反变换至少某些或全部与块的平滑度相对应的反量化的DCT系数,并恢复视频帧数据,从而形成参考帧;
按照均匀像素距离来比较当前视频帧的宏块的像素(MB)和参考帧的参考区域的像素,以便确定最相似区域,并且根据属于MB和参考区域之间的搜索区域的块的平滑度,来确定均匀像素距离;和
将当前视频帧的当前MB和最相似区域的差值作为视频数据输入给DCT。
13.一种通过使用离散余弦变换(DCT)和运动估计(ME)来执行编码的装置,包括:
DCT,用于变换以块为单位输入的视频数据,并生成DCT系数;
平滑度确定器,用于计算所生成的DCT系数中具有非零值的DCT系数的个数,并根据该个数,来确定相应块的平滑度;
反离散余弦变换(IDCT),用于解码某些或全部与块的平滑度相对应的DCT系数,并恢复原始视频帧数据;
运动估计器,用于按照均匀像素距离来比较当前输入视频帧的当前块的像素和参考帧的搜索区域的像素,以便确定最相似区域,并且根据包括在参考帧的搜索区域中的块的平滑度,来确定均匀像素距离;
加法器,用于将当前视频帧的当前MB和最相似区域之间的差值作为视频数据输入给DCT。
14.如权利要求13所述的方法,其中平滑度确定器比较DCT系数和预定第一参考值,并用0来取代具有小于第一参考值的值的DCT系数的值。
15.如权利要求13所述的方法,其中运动估计器以通过平滑度确定的像素为单位,来移动参考区域,并比较当前视频帧的当前块的像素和搜索区域的像素。
16.一种用于压缩视频帧的系统,其通过DCT和编码在该变换过程中生成的变换系数,来将以块为单位输入的输入视频数据从空间域变换到频域,所述系统包括:
平滑度确定器,用于根据DCT系数的值,来确定相应块的平滑度;
IDCT,用于参照平滑度,将DCT系数从频域反变换到空间域,并反离散余弦变换视频数据;
运动估计器,用于通过参照平滑度,估计在所恢复的视频数据中与当前视频数据最相似的区域;
加法器,用于将运动估计区域与当前视频数据的误差输入DCT。
17.如权利要求16所述的系统,其中平滑度确定器根据在块的DCT系数中具有非零值的DCT系数的个数,来确定相应块的平滑度。
18.如权利要求16所述的系统,其中运动估计器按照根据平滑度确定的像素比较距离,比较当前视频数据的像素和反离散余弦变换的视频数据的像素。
19.如权利要求16所述的系统,其中运动估计器比较反离散余弦变换的视频数据的参考区域的像素和当前视频数据的像素,并以通过平滑度确定的像素为单位,移动所恢复的视频数据中的参考区域。
CNB031530842A 2002-08-13 2003-08-12 通过参考离散余弦变换系数来估计运动的方法及其装置 Expired - Fee Related CN1232125C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR47739/2002 2002-08-13
KR20020047739A KR100961760B1 (ko) 2002-08-13 2002-08-13 이산코사인변환 계수를 참조하는 움직임 추정 방법 및 장치
KR47739/02 2002-08-13

Publications (2)

Publication Number Publication Date
CN1482810A true CN1482810A (zh) 2004-03-17
CN1232125C CN1232125C (zh) 2005-12-14

Family

ID=30768214

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB031530842A Expired - Fee Related CN1232125C (zh) 2002-08-13 2003-08-12 通过参考离散余弦变换系数来估计运动的方法及其装置

Country Status (5)

Country Link
US (1) US7203369B2 (zh)
EP (1) EP1389875A3 (zh)
JP (1) JP4417054B2 (zh)
KR (1) KR100961760B1 (zh)
CN (1) CN1232125C (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100422986C (zh) * 2004-07-07 2008-10-01 联发科技股份有限公司 执行离散余弦转换/反离散余弦转换的装置及其方法
CN101742291B (zh) * 2008-11-14 2012-11-07 北大方正集团有限公司 压缩图像目标的定位与识别方法及装置
CN105933717A (zh) * 2016-04-25 2016-09-07 北京奇艺世纪科技有限公司 一种编码单元的模式决策方法和装置
CN110300977A (zh) * 2017-02-17 2019-10-01 考吉森公司 用于图像处理和视频压缩的方法
CN113170133A (zh) * 2018-11-27 2021-07-23 Op方案有限责任公司 用于图片的基于块的空间活动度量

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4777889B2 (ja) * 2003-08-25 2011-09-21 エージェンシー フォー サイエンス,テクノロジー アンド リサーチ 映像符号化における中間予測のためのモード判定
KR100681258B1 (ko) * 2004-10-02 2007-02-09 삼성전자주식회사 트랜스코딩을 위한 움직임벡터 정밀화 기반 출력움직임벡터 추정방법 및 이를 이용한 트랜스코더
KR100681252B1 (ko) * 2004-10-02 2007-02-09 삼성전자주식회사 트랜스코딩을 위해 출력 매크로블록 모드와 출력움직임벡터를 추정하는 방법 및 이를 이용한 트랜스코더
KR100809013B1 (ko) * 2005-06-29 2008-03-06 영남대학교 산학협력단 복잡도 가변형 동영상 부호화 장치 및 그 방법
KR100716791B1 (ko) * 2005-08-08 2007-05-14 삼성전기주식회사 이미지 압축디바이스 및 그 방법
JP2008271039A (ja) * 2007-04-18 2008-11-06 Toshiba Corp 画像符号化装置及び画像復号化装置
US9055301B2 (en) * 2008-03-18 2015-06-09 Texas Instruments Incorporated Changing motion estimation precision to maintain encoding within desired time
JP5141633B2 (ja) * 2009-04-24 2013-02-13 ソニー株式会社 画像処理方法及びそれを用いた画像情報符号化装置
KR101715007B1 (ko) 2011-11-28 2017-03-13 한국전자통신연구원 매크로 블록 가변 크기 분할 방식의 인트라 프리딕션을 적용한 인코딩 방법 및 장치
KR20130111061A (ko) 2012-03-30 2013-10-10 한국전자통신연구원 이진 분할 트리를 이용한 영상 인코딩 방법
JP6173199B2 (ja) * 2013-12-09 2017-08-02 オリンパス株式会社 画像処理装置、画像処理方法、および撮像装置
CN107124608A (zh) * 2016-02-24 2017-09-01 北京数码视讯科技股份有限公司 一种编码方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5121216A (en) 1989-07-19 1992-06-09 Bell Communications Research Adaptive transform coding of still images
US5614952A (en) 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
AU6099594A (en) 1993-02-03 1994-08-29 Qualcomm Incorporated Interframe video encoding and decoding system
JPH07322252A (ja) 1994-05-23 1995-12-08 Canon Inc 画像符号化装置
KR0178198B1 (ko) * 1995-03-28 1999-05-01 배순훈 영상 신호 부호화 장치
US6151360A (en) * 1995-04-28 2000-11-21 Sony Corporation Method for encoding video signal using statistical information
JP4223571B2 (ja) * 1995-05-02 2009-02-12 ソニー株式会社 画像符号化方法及び装置
KR100229796B1 (ko) 1996-08-30 1999-11-15 전주범 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템
KR100225348B1 (ko) * 1996-09-25 1999-10-15 전주범 양자화번호 결정을 위한 양자화계수 카운트장치
US5986709A (en) 1996-11-18 1999-11-16 Samsung Electronics Co., Ltd. Adaptive lossy IDCT for multitasking environment
JPH10164581A (ja) * 1996-12-03 1998-06-19 Sony Corp 画像信号符号化方法及び装置、信号記録媒体
US6243417B1 (en) * 1996-12-12 2001-06-05 Sony Corporation Device and method for encoding image data, and image data transmission method
JP3633159B2 (ja) * 1996-12-18 2005-03-30 ソニー株式会社 動画像信号符号化方法及び装置、並びに動画像信号伝送方法
KR100247966B1 (ko) * 1997-07-02 2000-03-15 윤종용 압축 부호화 장치 및 방법
US6434196B1 (en) 1998-04-03 2002-08-13 Sarnoff Corporation Method and apparatus for encoding video information
KR100305582B1 (ko) * 1999-02-22 2001-11-05 이형도 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속예측방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100422986C (zh) * 2004-07-07 2008-10-01 联发科技股份有限公司 执行离散余弦转换/反离散余弦转换的装置及其方法
CN101742291B (zh) * 2008-11-14 2012-11-07 北大方正集团有限公司 压缩图像目标的定位与识别方法及装置
CN105933717A (zh) * 2016-04-25 2016-09-07 北京奇艺世纪科技有限公司 一种编码单元的模式决策方法和装置
CN105933717B (zh) * 2016-04-25 2019-03-12 北京奇艺世纪科技有限公司 一种编码单元的模式决策方法和装置
CN110300977A (zh) * 2017-02-17 2019-10-01 考吉森公司 用于图像处理和视频压缩的方法
CN110300977B (zh) * 2017-02-17 2024-04-16 英特尔公司 用于图像处理和视频压缩的方法
CN113170133A (zh) * 2018-11-27 2021-07-23 Op方案有限责任公司 用于图片的基于块的空间活动度量

Also Published As

Publication number Publication date
JP2004080786A (ja) 2004-03-11
KR20040015477A (ko) 2004-02-19
CN1232125C (zh) 2005-12-14
EP1389875A3 (en) 2005-02-02
JP4417054B2 (ja) 2010-02-17
US7203369B2 (en) 2007-04-10
US20040032987A1 (en) 2004-02-19
EP1389875A2 (en) 2004-02-18
KR100961760B1 (ko) 2010-06-07

Similar Documents

Publication Publication Date Title
CN1232125C (zh) 通过参考离散余弦变换系数来估计运动的方法及其装置
US10687075B2 (en) Sub-block transform coding of prediction residuals
CN1196340C (zh) 用于数字视频运动补偿的搜索方法和处理器
CN1071526C (zh) 图象数据的自适应可变长度编码和译码方法
US8942290B2 (en) Dynamic coefficient reordering
US6084908A (en) Apparatus and method for quadtree based variable block size motion estimation
CN1541482A (zh) 用于数字视频信号的运动自适应降噪预处理
CN1906948A (zh) 利用旋转匹配预测运动的图像编码设备和方法
CN1525762A (zh) 一种用于视频编码的编码端/解码端双向预测方法
CN106170093B (zh) 一种帧内预测性能提升编码方法
CN1969564A (zh) 用于表示一组相关图像的方法与系统
CN1823328A (zh) 利用快速搜索块匹配的运动估计
CN1320830C (zh) 噪声估计方法和设备、以及利用其编码视频的方法和设备
CN1325220A (zh) 运动向量编码方法
CN1212014C (zh) 基于时空域相关性快速运动估计的视频编码方法
AU2001293994A1 (en) Compression of motion vectors
EP1325636A2 (en) Compression of motion vectors
CN1848960A (zh) 使用非标准化矢量量化编码器的符合视频标准的残差编码
CN101146227A (zh) 嵌套式渐进可伸缩性三维小波视频编码算法
CN1301015C (zh) 适应性降低画面速率视讯转换编码系统
CN1672426A (zh) 编码器内的数据传送方法
AU2007202001A1 (en) Compression of motion vectors

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: QUALCOMM CO., LTD.

Free format text: FORMER OWNER: SAMSUNG ELECTRONICS CO., LTD

Effective date: 20100607

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: GYEONGGI-DO, SOUTH KOREA TO: CALIFORNIA, USA

TR01 Transfer of patent right

Effective date of registration: 20100607

Address after: American California

Patentee after: Qualcomm Inc.

Address before: Gyeonggi Do, South Korea

Patentee before: Samsung Electronics Co., Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20051214

Termination date: 20190812