JP2005318296A - 動画像符号化方法と装置及びプログラム - Google Patents

動画像符号化方法と装置及びプログラム Download PDF

Info

Publication number
JP2005318296A
JP2005318296A JP2004134252A JP2004134252A JP2005318296A JP 2005318296 A JP2005318296 A JP 2005318296A JP 2004134252 A JP2004134252 A JP 2004134252A JP 2004134252 A JP2004134252 A JP 2004134252A JP 2005318296 A JP2005318296 A JP 2005318296A
Authority
JP
Japan
Prior art keywords
encoding
coding
mode
code amount
modes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004134252A
Other languages
English (en)
Other versions
JP4227067B2 (ja
Inventor
Wataru Asano
渉 浅野
Shinichiro Koto
晋一郎 古藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2004134252A priority Critical patent/JP4227067B2/ja
Priority to US11/114,115 priority patent/US20050243930A1/en
Publication of JP2005318296A publication Critical patent/JP2005318296A/ja
Application granted granted Critical
Publication of JP4227067B2 publication Critical patent/JP4227067B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】複数の符号化モードの中からいずれかのモードを選択して動画像符号化を行う際に、処理負担の増加を抑えつつ好適なモード選択を行う。
【解決手段】入力動画像信号１１を予測符号化ユニット１０１〜１０８によって複数の符号化モードで符号化して得られる符号化要素１３、１６及び１７から符号量計測部１１１によって符号量を処理負担の大きな算術符号化を行う前のBin数として計測し、符号量の計測結果から符号化モード選択部１１２により最も符号量の小さい符号化モードを選択する。次に、選択された符号化モードで得られる符号化要素１３、１６及び１７に対し、算術符号化器１１０によって算術符号化を施して符号化データ１８を得る。
【選択図】図１

Description

本発明は、複数の符号化モードから一つのモードを選択して予測符号化を行い、予測符号化により得られる符号化要素に対して算術符号化を行う動画像符号化方法と装置及びプログラムに関する。
従来、ＭＰＥＧ−２、ＭＰＥＧ−４及びＨ．２６４などの動画像符号化方式の国際標準においては、参照画像の選択、画素ブロック形状、及び予測信号の生成方法などに関して複数の符号化モードが存在している。これらの符号化モードの中から、画素ブロック毎に一つのモードを選択して符号化を行う。
これらの動画像符号化方法では、符号化の際に最適な、つまり符号化効率の最もよい符号化モードを行うことが好ましい。最適な符号化モードが選択されなかった場合には、最適な符号化モードが選択がなされた場合と比較して、同一ビットレートで符号化した際の画質が悪化したり、あるいは同一の画質で再生するために必要な符号量が増加したりすることになる。画素ブロック毎に最適な符号化モードを行うことは重要であり、従来から選択方法に関する技術が種々提案されている。
例えば、特許文献１（特開平１０−２９０４６４号公報）には、予測誤差信号などから符号量を推定して、推定された符号量が最小となる符号化モードを選択する方法が開示されている。
一方、非特許文献１(Thomas Wiegand and Berand Girod, “Multi-frame motion-compensated prediction for video transmission”, Kluwer Academic Publishers 2001)には、各符号化モードでそれぞれ実際に符号化を行って符号量を求めると共に、各符号化モード毎に符号化歪、すなわち復号化された画像と原画像との誤差を計算し、符号量と符号化歪とのバランスにおいて最適な符号化モードを選択する方法が開示されている。
特開平１０−２９０４６４号公報 Thomas Wiegand and Berand Girod, "Multi-frame motion-compensated prediction for video transmission", Kluwer Academic Publishers 2001
特許文献１の方法では、符号量の推定に基づいて符号化モードを選択しているので、予測が誤った場合には符号化モードの選択が適切でない場合もあり、必ずしも符号化効率の向上は望めない。
一方、非特許文献１の方法によると、実際の符号化による符号量計測結果に基づいて符号化モードの選択を行っているので、符号化効率が改善する。しかしながら、非特許文献１では選択可能な複数の符号化モードについて実際に符号化を行って符号量を計測しなければならないため、符号化モードの数が多い場合には、符号化に必要な演算量やハードウェア規模が大きくなり、エンコーダのコスト増を招くという問題がある。特に、ITU-T Rec. H.264のようにエントロピー符号化に算術符号化を用いる場合、この問題は顕著である。
本発明は、複数の符号化モードの中から一つのモードを選択して動画像の符号化を行う際に、処理負担の増加を抑えつつ好適なモード選択を行うことができる動画像符号化方法と装置及びプログラムを提供することを目的とする。
上記課題を解決するため、本発明の第１の観点では入力される動画像信号に対して複数の符号化モードに従った予測符号化を施して符号化要素を生成する符号化要素生成ステップと、前記符号化要素について算術符号化前の符号量を前記符号化モード毎に計測する符号量計測ステップと、前記符号量に基づいて前記複数の符号化モードから一つの符号化モードを選択する選択ステップと、選択された符号化モードに対応する前記符号化要素に対して算術符号化を行う符号化ステップとを具備する動画像符号化方法を提供する。
本発明の第２の観点では、入力される動画像信号に対して複数の符号化モードに従った予測符号化を施して符号化要素を生成する符号化要素生成ステップと、前記符号化要素について算術符号化前の符号量を前記符号化モード毎に計測する符号量計測ステップと、前記動画像信号と前記符号化要素に基づいて生成される局部復号画像信号間の誤差を計測する誤差計測ステップと、前記符号量及び誤差に基づいて前記複数の符号化モードから一つの符号化モードを選択する選択ステップと、選択された符号化モードに対応する前記符号化要素に対して算術符号化を行う符号化ステップとを具備する動画像符号化方法を提供する。
好ましい実施の態様によると前記符号量計測ステップでは、例えば前記符号化要素に対応するbin数を累積加算することにより前記符号量を計測する。前記選択ステップでは、例えば前記符号化モード毎に計測される前記符号量及び誤差の重み付き加算値を算出するステップを含み、該重み付き加算値が最小となる符号化モードを選択する。さらに、前記重み付き加算値を算出するステップでは、例えば前記予測符号化における量子化パラメータに応じて変化する重み係数、あるいは前記算術符号化における過去一定期間での圧縮率によって変化する重み係数を用いる。
本発明の他の観点では、入力される動画像信号に対して複数の符号化モードに従った予測符号化を施して符号化要素を生成する予測符号化手段と、前記符号化要素について算術符号化前の符号量を前記符号化モード毎に計測する符号量計測手段と、前記符号量に基づいて前記複数の符号化モードから一つの符号化モードを選択する選択手段と、選択された符号化モードに対応する前記符号化要素に対して算術符号化を行う算術符号化手段とを具備する動画像符号化装置を提供する。
この場合、前記動画像信号と前記符号化要素に基づいて生成される局部復号画像信号間の誤差を計測する誤差計測手段をさらに具備し、前記選択手段では前記符号量及び誤差に基づいて前記複数の符号化モードから一つの符号化モードを選択してもよい。
本発明のさらに別の観点によると、入力される動画像信号に対して複数の符号化モードに従った予測符号化を施して符号化要素を生成する符号化要素生成ステップと、前記符号化要素について算術符号化前の符号量を前記符号化モード毎に計測する符号量計測ステップと、前記符号量に基づいて前記複数の符号化モードから一つの符号化モードを選択する選択ステップと、選択された符号化モードに対応する前記符号化要素に対して算術符号化を行う符号化ステップとを含む動画像符号化処理をコンピュータに実行させるためのプログラム、あるいは入力される動画像信号に対して複数の符号化モードに従った予測符号化を施して符号化要素を生成する符号化要素生成ステップと、前記符号化要素について算術符号化前の符号量を前記符号化モード毎に計測する符号量計測ステップと、前記動画像信号と前記符号化要素に基づいて生成される局部復号画像信号間の誤差を計測する誤差計測ステップと、前記符号量及び誤差に基づいて前記複数の符号化モードから一つの符号化モードを選択する選択ステップと、選択された符号化モードに対応する前記符号化要素に対して算術符号化を行う符号化ステップとを含む動画像符号化処理をコンピュータに実行させるためのプログラムを提供することもできる。
本発明によれば、複数のモードの中からいずれかのモードを選択して動画像符号化を行う際に、処理負担等の増加を抑えつつ、かつ好適なモード選択を行うことができる。
以下、添付図面を参照して本発明の実施の形態を説明する。
（第１の実施形態）
本発明の第１の実施形態に従う動画像符号化装置では、図１に示されるように符号化対象画像の入力動画像信号１１が画素ブロック毎に減算器１０１に入力され、ここで入力動画像信号１１と予測画像信号１５との差がとられることにより、予測誤差信号１２が生成される。予測誤差信号１２に対して直交変換器１０２により直交変換が施され、直交変換係数が生成される。直交変換係数は、量子化器１０３により量子化される。
量子化された直交変換係数情報は、逆量子化器１０４により逆量子化された後、逆直交変換器１０５により逆直交変換されることによって、予測誤差信号が再生される。加算器１０６では、再生された予測誤差信号と予測画像信号１５が加算されることによって、局部復号画像信号１４が生成される。局部復号画像信号１４は参照画像メモリ１０７に参照画像信号として蓄積され、参照画像メモリ１０７から読み出される参照画像信号は、予測器１０８に入力される。参照画像メモリ１０７は、複数のフレームメモリを含んでいる。
予測器１０８では、フレーム内（イントラ）予測またはフレーム間（インター）予測が行われ、予測画像信号１５が生成される。フレーム間予測では参照画像メモリ１０７からの参照画像信号に対して動き補償予測が行われ、フレーム内予測では符号化中のフレームの符号化済みの領域から符号化モードに応じた予測が行われる。予測画像信号１５は入力動画像信号１１との差分をとるために減算器１０１に送られ、さらに局部復号画像信号１４を生成するために加算器１０６にも送られる。予測器１０８からは、さらにフレーム予測かフレーム間予測かを示す予測モード、参照画像メモリ１０７から選択した参照画像の番号及び予測時のブロックサイズなどの符号化モード情報１６と、フレーム間予測（動き補償予測）に用いた動きベクトル情報１７が出力される。
量子化器１０３から出力される量子化された直交変換係数情報１３、予測器１０８から出力される符号化モード情報１６及び動きベクトル情報１７を総称して符号化要素（シンタックス・エレメント)と呼ぶ。これらの符号化要素は、切替器１０９に入力される。切替器１０９は、入力された符号化要素を算術符号化器１１０に入力するか、あるいは符号量計測器１１１に入力するかの切り替えを行う。
算術符号化器１１０では、符号化要素である量子化直交変換係数情報１３、動きベクトル情報１６及び符号化モード情報１７にそれぞれ対応して符号が生成され、これらの符号が多重化されることによって、ビットストリームの符号化データ１８として出力される。符号化データ１８は、図示しない蓄積系あるいは伝送路へ送出される。
符号量計測部１１１は、切替器１０９を介して入力される符号化要素から算術符号化前のBin数を符号変換テーブルあるいは計算を用いて求め、さらにBin数から算術符号化器１１０の符号量を計測する。
Figure 2005318296
表１に、算術符号化に用いられる符号変換テーブルの一例を示す。直交変換係数情報や符号化モード情報等の符号化要素を示すValueがあり、各Valueに対して可変長符号のBin stringが割り当てられている。符号量計測部１１１は、例えば表１のような符号変換テーブルを参照して各Valueに対応するBin数を累積加算することで、算術符号化器１１０での算術符号化前の符号量の計測を行う。符号量計測部１１１の別の例では、例えば図２に示されるような処理でValueをBin stringに変換して符号量を計測することもできる。ここで符号量計測部１１１では、算術符号化データの出力は行わず、符号量の計測のみを行う。
符号量計測部１１１で計測された符号量の情報は、符号化モード選択部１１２に入力される。符号化モード選択部１１２は、符号量計測部１１１から供給される符号量情報に基づき符号化モードを決定する。具体的には、符号化モード選択部１１２は切替器１０９の出力が符号量計測部１１１側に切り替えられている状態で複数の符号化モードから一つの符号化モードを順次選択し、選択した符号化モードを予測器１０８に対して設定する。
この後、符号化モード選択部１１２は各符号化モードで符号化がなされた場合に符号量計測部１１１から供給される符号化モード毎の符号量情報に基づいて最終的に一つの符号化モードを選択する。すなわち、このとき動画像符号化装置は符号化対象の画素ブロックに対して、複数の符号化モードの各々で実際に予測符号化及び符号量の計測を行う。符号化モード選択部１１２は、各符号化モード時に得られる符号量情報を比較して、例えば最も符号量の小さい一つの符号化モードを選択する。
このようにして符号化モード選択部１１２が一つの符号化モードを選択すると、選択された符号化モードに従った予測符号化により生成される符号化要素、すなわち量子化直交変換係数情報１３、符号化モード情報１６及び動き補償予測モード時に得られる動きベクトル情報１７が切替器１０９を経由して算術符号化器１１０に入力される。算術符号化器１１０は、上述したように選択された符号化モードで生成された量子化直交変換係数情報１３、符号化モード情報１６及び動きベクトル情報１７等の符号化要素に対して算術符号化を行い、符号化データ１８を出力する。
算術符号化器１１０は、図３に示されるようにBin string生成部２１０、context選択部２０２及び算術符号生成部２０３を有する。Bin string生成部２０１は、表１に示したテーブルや図２に示される変換によって、量子化直交変換係数情報１３や符号化モード情報１６及び動きベクトル情報１７といった符号化要素を示すValueを“０”，“１”からなるBin stringに変換して出力する。一方、context選択部２０２は、入力された量子化直交変換係数情報１３や符号化モード情報１６及び動きベクトル情報１７のそれぞれに対応した確率モデルを選択して出力する。算術符号生成部２０３は、入力されたBin stringと確率モデルに従って符号化データ１８を出力する。こうして算術符号化器１１０から出力される符号化データ１８が動画像符号化装置の出力となる。
次に、第１の実施形態に従う動画像符号化装置のより具体的な処理手順を説明する。図１の動画像符号化装置に１フレーム単位で動画像信号１１が入力されると（ステップＳ１０１）、画素ブロック毎に符号化が開始される(ステップＳ１０２)。この場合、まず符号化モード選択部１１２は符号化モードを示すインデックスindexに０をセットし、さらに最小コストを示す変数min_costを最大値で初期化する(ステップＳ１０３)。
次に、符号化モード選択部１１２は切替器１０９の出力が符号量計測部１１１に接続された状態で、indexの値で示される符号化モードを予測器１０８に対して設定する。これによって、indexの値で示される符号化モードによる仮予測符号化が行われ（ステップＳ１０４）、そのときの符号量が符号量計測部１１１で計測される（ステップＳ１０５）。ここで計測される符号量は、算術符号化器１１０が算術符号化を行う前のBin数に基づいて求められる。従って、符号量の計測に際しては実際に算術符号化を行わないので、その分だけ符号量計測のための演算処理の負担は軽く抑えられる。
符号化モード選択部１１２は、こうして計測された符号量に基づいて符号化コスト（cost）の計算を行う（ステップＳ１０６）。計算される符号化コストは、例えば符号量そのものである。次に、符号化モード選択部１１２は計算した符号化コスト（cost）が最小コストmin_costより小さいか否かを判定し（ステップＳ１０７）、小さい場合にはその符号化コストで最小コストmin_costを更新すると共に、その際の仮予測符号化の符号化モードを示す符号化モードindexをbest_modeインデックスとして保持する。また、このときの仮予測符号化結果、つまりindexで示される符号化モードに対応した予測符号化によって生成された符号化要素の情報を保持しておく（ステップＳ１０８）。
次に、符号化モード選択部１１２は符号化モードindexをインクリメントし、インクリメント後の符号化モードindexが予め定められた値maxより小さいか否かを判定する（ステップＳ１０９）。ここで、予め定められた値maxは選択可能な符号化モードの個数である。従って、ステップＳ１０９の判定結果が“ＮＯ”であることは、全ての符号化モードについてステップＳ１０４〜Ｓ１０８の処理が終了したことを意味する。
インクリメント後の符号化モードindexが値maxより小さい場合（ステップＳ１０９の判定結果が“ＹＥＳ”の場合）には、インクリメント後の符号化モードindexで示される符号化モードでステップＳ１０４〜Ｓ１０９の処理を行う。この後、符号化モードindexが予め定められた値max以上になったとき（ステップＳ１０９の判定結果が“ＮＯ”のとき）には、選択可能な符号化モードの全てについてステップＳ１０４〜Ｓ１０８の処理を繰り返し、符号化モード選択部１１２は最適な符号化モード（best_mode）を選択する。すなわち、best_modeインデックスに保持されるindexに示される符号化モードを最適な符号化モードとして選択する。このように各符号化モードでの符号量に対応する符号化コストを比較し、符号化コストの最も小さいモードを最適な符号化モード（best_mode）として選択することができる。
この後、選択された最適な符号化モード（best_mode）での予測符号化データ（符号化Value系列）を切替器１０９により算術符号化器１１０に供給してBin stringに対して実際に算術符号化を行い（ステップＳ１０）、符号化データ１８を出力する。以上のステップＳ１０２〜Ｓ１１０の処理を１フレーム内の全ての画素ブロックに対して行うと（ステップＳ１１１で“ＹＥＳ”）、１フレームの画素ブロックの符号化が終了する。
なお、量子化器１０３より出力される量子化直交変換係数１３から逆量子化器１０４及び逆直交変換器１０５を経て局部復号画像信号１４を生成して参照画像メモリ１０７に参照画像データとして蓄積する処理は、最終的に選択された最適な符号化モードでのみ行えばよい。従って、局部復号画像信号１４の生成のための処理は、符号化モード選択のためのループ内では必ずしも実行する必要はない。
以上説明したように第１の実施形態によれば、選択可能な複数の符号化モードについて実際に近い符号化処理を行い、各符号化モードでの符号化データの符号量の最も小さいモードを選択し、選択した符号化モードで符号化を行う。従って、符号化効率の高い符号化モード、つまり画素ブロックの内容等に応じて最適な符号化モードを選択することが可能となる。
また、本実施形態によると、符号化モード選択のために符号量計測部１１１によって行われる符号量計測では、処理が重くかつ１入力毎の処理が必要な算術符号化を行う必要がないので、符号化モード毎に繰返す符号量計測を高速に実行することが可能となる。さらに、選択された符号化モードで得られる符号化要素に対する最終的なエントロピー符号化は、算術符号化器１１０によって高い圧縮率でなされるので、最終的に得られる符号化データ１８の符号化効率は高いものとなる。
このように本実施形態では、高速かつ好適な符号化モード選択により、高速で圧縮効率の高い動画像符号化を実現することが可能となる。特に、ITU-T Rec. H.264のような動画符号化では、エントロピー符号化として算術符号化が採用されており、本実施形態の方式が有用である。
（第２の実施形態）
次に、図５を用いて本発明の第２の実施形態に従う動画像符号化装置を説明する。図５に示すように、第２の実施形態における動画像符号化装置では第１の実施形態の動画像符号化装置に符号化歪計測部１１３が追加されている。
以下、図１中の構成要素と同一要素に同一符号を付して第１の実施形態との相違点を中心に説明すると、符号歪計測部１１３は符号化対象画像である入力動画像信号１１と、逆量子化器１０４、逆直交変換器１０５及び加算器１０６を経て生成される局部復号画像信号１４間の誤差である符号化歪（例えば、二乗誤差）を計算する。ここで、符号化歪計測部１１３による符号化歪の計算は、符号化モード選択部１１２によって選択され設定される各符号化モード、つまり動画像符号化装置で選択可能な複数の符号化モード毎に行われる。すなわち、符号化モード毎に予測符号化により得られる符号化要素を局部復号して得られる画像信号と入力動画像との画像差分を表す符号化歪が計測される。
第２の実施形態においては、符号化モード選択部１１２は符号量計測部１１１により計測される符号化モード毎の符号量と、符号歪計測部１１３により計測される符号化モード毎の符号化歪に基づいて、複数の符号化モードの中から一つのモードを選択する。
符号化モード選択部１１２による符号化モードの選択基準としては、例えば符号化モード毎に符号量と符号化歪コストを数値化し、両者の重み付き加算値が最も小さいモードを選択するという基準を用いることができる。重み付き加算値を算出する際に用いる重み係数は、例えば非特許文献１に開示されているレート（符号量）−歪（符号化歪）最適化方法（Rate-Distortion Optimization）などにより、決定することが可能である。このように符号化歪も考慮して符号化モードを選択すれば、符号量と符号化歪とのバランスにおいて好適な符号化モードを選択でき、符号化効率をより向上させることが可能となる。
重み付き加算に用いる重み係数は、実際の符号量を用いる場合を想定して決定される。一方、符号量計測部１１１で計測される符号量は、算術符号化を行う前のBin stringsの符号量である。従って、実際の符号量は算術符号化による圧縮率分だけ、計測される符号量より少なくなることが考えられる。算術符号化による圧縮率は、入力動画像の種類、量子化器１０３での量子化パラメータ（量子化幅、量子化ステップサイズともいう）、符号化の予測構造（フレーム内予測、フレーム間予測等）によって変化する。
そこで、重み付き加算に用いる重み係数を例えば（ａ）予測符号化における量子化パラメータに応じて変化させる、（ｂ）直前フレームの圧縮率に比例して変化させるあるいは（ｃ）入力動画像信号１１の符号化対象画像（現符号化フレーム）と同じ予測構造を用いて符号化した符号化済み画像（既符号化フレーム）の圧縮率に比例して変化させる、などのように適応的に変化させることで、より的確な最適化が可能となる。（ｂ）（ｃ）では、要するに算術符号化における過去一定期間での圧縮率によって変化する重み係数を用いることになる。
このようにして符号化モード選択部１１２が一つの符号化モードが選択されると、第１の実施形態と同様、選択された符号化モードに従った予測符号化により生成される量子化直交変換係数情報１３、符号化モード情報１６及び動き補償予測モード時に得られる動きベクトル情報１７が切替器１０９を経由して算術符号化器１１０に入力される。算術符号化器１１０は、選択された符号化モードで生成された量子化直交変換係数情報１３、符号化モード情報１６及び動きベクトル情報１７に対して算術符号化を行い、符号化データ１８を出力する。
次に、第２の実施形態に従う動画像符号化装置のより具体的な処理手順を説明する。図５の動画像符号化装置に１フレーム単位で動画像信号１１が入力されると（ステップＳ２０１）、画素ブロック毎に符号化が開始される(ステップＳ２０２)。この場合、まず符号化モード選択部１１２は符号化モードを示すインデックスindexに０をセットし、さらに最小コストを示す変数min_costを最大値で初期化する(ステップＳ２０３)。
次に、符号化モード選択部１１２は切替器１０９の出力が符号量計測部１１１に接続された状態で、indexの値で示される符号化モードを予測器２０８に対して設定する。これにより、indexの値で示される符号化モードによる仮予測符号化が行われ（ステップＳ２０４）、そのときの符号量が符号量計測部１１１で計測される（ステップＳ２０５）。ここで計測される符号量は、算術符号化器１１０が算術符号化を行う前のBin数に基づいて求められる。従って、符号量の計測に際しては実際に算術符号化を行わないので、その分だけ符号量計測のための演算処理の負担は軽く抑えられる。
一方、量子化器１０３より出力される量子化直交変換係数１３から逆量子化器１０４及び逆直交変換器１０５を経て局部復号画像信号１４（仮デコード画像）を生成する（ステップＳ２０６）。
次に、符号化歪計測部１１３によって符号化対象画像である入力動画像信号１１とステップＳ２０６で生成される局部復号画像信号１４間の誤差である符号化歪（例えば、二乗誤差）を計算する（ステップＳ２０７）。
次に、符号化モード選択部１１２は、ステップＳ２０５で計測された符号量に基づいて符号化コスト（cost）の計算を行う（ステップＳ２０８）。計算される符号化コストは、例えば符号量そのものである。
次に、符号化モード選択部１１２は計算した符号化コスト及び符号化歪を数値化した値の加算値（cost）が最小コストmin_costより小さいか否かを判定し（ステップＳ２０９）、小さい場合にはその符号化コストで最小コストmin_costを更新すると共に、その際の仮予測符号化の符号化モードを示す符号化モードindexをbest_modeインデックスとして保持する。また、このときの仮予測符号化結果、つまりindexで示される符号化モードに対応した予測符号化によって生成された符号化要素の情報を保持しておく（ステップＳ２１０）。
次に、符号化モード選択部１１２は符号化モードindexをインクリメントし、インクリメント後の符号化モードindexが予め定められた値maxより小さいか否かを判定する（ステップＳ２１１）。ここで、予め定められた値maxは選択可能な符号化モードの個数である。従って、ステップＳ２１１の判定結果が“ＮＯ”であることは、全ての符号化モードについてステップＳ２０４〜Ｓ２１０の処理が終了したことを意味する。
インクリメント後の符号化モードindexが値maxより小さい場合（ステップＳ２１１の判定結果が“ＹＥＳ”の場合）には、インクリメント後の符号化モードindexで示される符号化モードでステップＳ２０４〜Ｓ２１０の処理を行う。この後、符号化モードindexが予め定められた値max以上になったとき（ステップＳ２１１の判定結果が“ＮＯ”のとき）には、選択可能な符号化モードの全てについてステップＳ２０４〜Ｓ２１０の処理を繰り返し、符号化モード選択部１１２は最適な符号化モード（best_mode）を選択する。すなわち、best_modeインデックスに保持されるindexに示される符号化モードを最適な符号化モードとして選択する。このように各符号化モードでの符号量に対応する符号化コストを比較し、符号化コストの最も小さいモードを最適な符号化モード（best_mode）として選択することができる。
この後、選択された最適な符号化モード（best_mode）での予測符号化データ（符号化Value系列）を切替器２０９により算術符号化器１２０に供給してBin stringに対して実際に算術符号化を行い（ステップＳ２１２）、符号化データ１８を出力する。以上のステップＳ２０２〜Ｓ２１２の処理を１フレーム内の全ての画素ブロックに対して行うと（ステップＳ２１３で“ＹＥＳ”）、１フレームの画素ブロックの符号化が終了する。
なお、量子化器２０３から出力される量子化直交変換係数１３から逆量子化器２０４及び逆直交変換器２０５を経て局部復号画像信号１４を生成して参照画像メモリ２０７に参照画像データとして蓄積する処理は、最終的に選択された最適な符号化モードでのみ行えばよい。従って、局部復号画像信号１４の生成のための処理は、符号化モード選択のためのループ内では必ずしも実行する必要はない。
以上説明したように第２の実施形態では、選択可能な複数の符号化モードについて実際に近い符号化処理を行い、各符号化モードでの符号化データの符号量を計測すると共に、符号化モード毎に符号化歪を計測し、符号化モード毎の符号量及び符号化歪に基づいて画像劣化が少なく、かつ符号量も小さい一つの符号化モードを選択することができる。
また、第１の実施形態と同様、符号化モード選択のために符号量計測部１１１によって行われる符号量計測では、処理が重くかつ１入力毎の処理が必要な算術符号化を行う必要がないので、符号化モード毎に繰返す符号量計測を高速に実行することが可能となる。
さらに、選択された符号化モードで得られる符号化要素に対する最終的なエントロピー符号化は、算術符号化器１１０によって高い圧縮率でなされるので、最終的に得られる符号化データ１８の符号化効率は高いものとなる。従って、第１の実施形態と同様に高速かつ好適な符号化モード選択により、高速で圧縮効率の高い動画像符号化を実現することが可能となる。
なお、上述した各実施形態で行われる動画像符号化処理は、専用のハードウェア回路によって実現されてもよいし、ＣＰＵがプログラムに従って動作することにより、符号化モード選択を含む図４や図６に示したような動画像符号化処理が実行されるようにしてもよい。また、このような動画像符号化処理をコンピュータに実行させるためのプログラムをインターネットのようなの通信回線を介してユーザに提供するようにしてもよいし、当該プログラムをＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）のようなコンピュータ読み取り可能な記録媒体に記録してユーザに提供するようにしてもよい。
本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
本発明に従う動画像符号化技術は、動画像信号を圧縮して記録したり伝送する用途に有用である。
本発明の第１の実施形態に従う動画像符号化装置のブロック図 図１中の符号量計測部に用いられるBin stringを生成する手順の一例を示す図 図１中の算術符号化部の具体例のブロック図 第１の実施形態における動画像符号化の手順を示すフローチャート 本発明の第２の実施形態に従う動画像符号化装置のブロック図 第２の実施形態における動画像符号化の手順を示すフローチャート
符号の説明
１１…入力動画像信号
１２…予測誤差信号
１３…量子化直交変換係数
１４…局部復号画像信号
１５…予測画像信号
１６…符号化モード情報
１７…動きベクトル情報
１８…符号化データ
１０１…減算器
１０２…直交変換器
１０３…量子化器
１０４…逆量子化器
１０５…逆直交変換器
１０６…加算器
１０７…参照画像メモリ
１０８…予測器
１０９…切替器
１１０…算術符号化器
１１１…符号量計測器
１１２…符号化モード選択器
１１３…符号化歪計測部
２０１…Bin string生成部
２０２…context選択部
２０３…算術符号生成部

Claims (10)

  1. 入力される動画像信号に対して複数の符号化モードに従った予測符号化を施して符号化要素を生成する符号化要素生成ステップと、
    前記符号化要素について算術符号化前の符号量を前記符号化モード毎に計測する符号量計測ステップと、
    前記符号量に基づいて前記複数の符号化モードから一つの符号化モードを選択する選択ステップと、
    選択された符号化モードに対応する前記符号化要素に対して算術符号化を行う符号化ステップとを具備する動画像符号化方法。
  2. 入力される動画像信号に対して複数の符号化モードに従った予測符号化を施して符号化要素を生成する符号化要素生成ステップと、
    前記符号化要素について算術符号化前の符号量を前記符号化モード毎に計測する符号量計測ステップと、
    前記動画像信号と前記符号化要素に基づいて生成される局部復号画像信号間の誤差を計測する誤差計測ステップと、
    前記符号量及び誤差に基づいて前記複数の符号化モードから一つの符号化モードを選択する選択ステップと、
    選択された符号化モードに対応する前記符号化要素に対して算術符号化を行う符号化ステップとを具備する動画像符号化方法。
  3. 前記符号量計測ステップは、前記符号化要素に対応するbin数を累積加算することにより前記符号量を計測する請求項１または２のいずれか１項に記載の動画像符号化方法。
  4. 前記選択ステップは、前記符号化モード毎に計測される前記符号量及び誤差の重み付き加算値を算出するステップを含み、該重み付き加算値が最小となる符号化モードを選択する請求項２に記載の動画像符号化方法。
  5. 前記重み付き加算値を算出するステップは、前記予測符号化における量子化パラメータに応じて変化する重み係数を用いる請求項４に記載の動画像符号化方法。
  6. 前記重み付き加算値を算出するステップは、前記算術符号化における過去一定期間での圧縮率によって変化する重み係数を用いる請求項４に記載の動画像符号化方法。
  7. 入力される動画像信号に対して複数の符号化モードに従った予測符号化を施して符号化要素を生成する予測符号化手段と、
    前記符号化要素について算術符号化前の符号量を前記符号化モード毎に計測する符号量計測手段と、
    前記符号量に基づいて前記複数の符号化モードから一つの符号化モードを選択する選択手段と、
    選択された符号化モードに対応する前記符号化要素に対して算術符号化を行う算術符号化手段とを具備する動画像符号化装置。
  8. 前記動画像信号と前記符号化要素に基づいて生成される局部復号画像信号間の誤差を計測する誤差計測手段をさらに具備し、前記選択手段は前記符号量及び誤差に基づいて前記複数の符号化モードから一つの符号化モードを選択する動画像符号化装置。
  9. 入力される動画像信号に対して複数の符号化モードに従った予測符号化を施して符号化要素を生成する符号化要素生成ステップと、
    前記符号化要素について算術符号化前の符号量を前記符号化モード毎に計測する符号量計測ステップと、
    前記符号量に基づいて前記複数の符号化モードから一つの符号化モードを選択する選択ステップと、
    選択された符号化モードに対応する前記符号化要素に対して算術符号化を行う符号化ステップとを含む動画像符号化処理をコンピュータに実行させるためのプログラム。
  10. 入力される動画像信号に対して複数の符号化モードに従った予測符号化を施して符号化要素を生成する符号化要素生成ステップと、
    前記符号化要素について算術符号化前の符号量を前記符号化モード毎に計測する符号量計測ステップと、
    前記動画像信号と前記符号化要素に基づいて生成される局部復号画像信号間の誤差を計測する誤差計測ステップと、
    前記符号量及び誤差に基づいて前記複数の符号化モードから一つの符号化モードを選択する選択ステップと、
    選択された符号化モードに対応する前記符号化要素に対して算術符号化を行う符号化ステップとを含む動画像符号化処理をコンピュータに実行させるためのプログラム。
JP2004134252A 2004-04-28 2004-04-28 動画像符号化方法と装置及びプログラム Expired - Fee Related JP4227067B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004134252A JP4227067B2 (ja) 2004-04-28 2004-04-28 動画像符号化方法と装置及びプログラム
US11/114,115 US20050243930A1 (en) 2004-04-28 2005-04-26 Video encoding method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004134252A JP4227067B2 (ja) 2004-04-28 2004-04-28 動画像符号化方法と装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2005318296A true JP2005318296A (ja) 2005-11-10
JP4227067B2 JP4227067B2 (ja) 2009-02-18

Family

ID=35187089

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004134252A Expired - Fee Related JP4227067B2 (ja) 2004-04-28 2004-04-28 動画像符号化方法と装置及びプログラム

Country Status (2)

Country Link
US (1) US20050243930A1 (ja)
JP (1) JP4227067B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008065814A1 (en) 2006-11-30 2008-06-05 Panasonic Corporation Coder
WO2008111511A1 (ja) * 2007-03-14 2008-09-18 Nippon Telegraph And Telephone Corporation 符号量推定方法、装置、そのプログラムおよび記録媒体
US7688234B2 (en) 2007-08-28 2010-03-30 Sony Corporation Coding apparatus, coding method, program for executing the method, and recording medium storing the program
US8170359B2 (en) 2006-11-28 2012-05-01 Panasonic Corporation Encoding device and encoding method
JP2012178660A (ja) * 2011-02-25 2012-09-13 Hitachi Kokusai Electric Inc 動画像符号化装置及び動画像符号化方法
WO2012137656A1 (ja) * 2011-04-06 2012-10-11 ソニー株式会社 画像処理装置および方法
US8396130B2 (en) 2007-03-14 2013-03-12 Nippon Telegraph And Telephone Corporation Motion vector search method and apparatus, program therefor, and storage medium which stores the program
US8487332B2 (en) 2010-04-27 2013-07-16 Semiconductor Energy Laboratory Co., Ltd. Light-emitting device
US9161042B2 (en) 2007-03-14 2015-10-13 Nippon Telegraph And Telephone Corporation Quantization control method and apparatus, program therefor, and storage medium which stores the program
US9635366B2 (en) 2013-08-30 2017-04-25 Fujitsu Limited Quantization method, coding apparatus, and computer-readable recording medium storing quantization program

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101196429B1 (ko) * 2004-03-12 2012-11-01 삼성전자주식회사 동영상 트랜스코딩 방법 및 그 장치, 이에 사용되는움직임 벡터 보간방법
JP4690966B2 (ja) * 2006-08-11 2011-06-01 株式会社東芝 動画像符号化装置
CA2679767C (en) * 2007-03-14 2013-06-25 Nippon Telegraph And Telephone Corporation Encoding bit-rate control method and apparatus, program therefor, and storage medium which stores the program
JP2009100125A (ja) * 2007-10-15 2009-05-07 Toshiba Corp 符号化装置
JP5149427B2 (ja) * 2011-06-22 2013-02-20 シャープ株式会社 符号化装置、復号化装置、符復号化システム、符号化方法及び復号化方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4122440A (en) * 1977-03-04 1978-10-24 International Business Machines Corporation Method and means for arithmetic string coding
US5802213A (en) * 1994-10-18 1998-09-01 Intel Corporation Encoding video signals using local quantization levels
US6192081B1 (en) * 1995-10-26 2001-02-20 Sarnoff Corporation Apparatus and method for selecting a coding mode in a block-based coding system
US6507616B1 (en) * 1998-10-28 2003-01-14 Lg Information & Communications, Ltd. Video signal coding method
JP2005151391A (ja) * 2003-11-19 2005-06-09 Toshiba Corp 動画像符号化方法、動画像符号化装置およびプログラム

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8170359B2 (en) 2006-11-28 2012-05-01 Panasonic Corporation Encoding device and encoding method
US7839312B2 (en) 2006-11-30 2010-11-23 Panasonic Corporation Coder
WO2008065814A1 (en) 2006-11-30 2008-06-05 Panasonic Corporation Coder
US9161042B2 (en) 2007-03-14 2015-10-13 Nippon Telegraph And Telephone Corporation Quantization control method and apparatus, program therefor, and storage medium which stores the program
KR101074870B1 (ko) 2007-03-14 2011-10-19 니폰덴신뎅와 가부시키가이샤 부호량 추정 방법, 장치, 그 프로그램 및 기록매체
JPWO2008111511A1 (ja) * 2007-03-14 2010-06-24 日本電信電話株式会社 符号量推定方法、装置、そのプログラムおよび記録媒体
US9455739B2 (en) 2007-03-14 2016-09-27 Nippon Telegraph And Telephone Corporation Code amount estimating method and apparatus, and program and storage medium therefor
WO2008111511A1 (ja) * 2007-03-14 2008-09-18 Nippon Telegraph And Telephone Corporation 符号量推定方法、装置、そのプログラムおよび記録媒体
US8396130B2 (en) 2007-03-14 2013-03-12 Nippon Telegraph And Telephone Corporation Motion vector search method and apparatus, program therefor, and storage medium which stores the program
US7688234B2 (en) 2007-08-28 2010-03-30 Sony Corporation Coding apparatus, coding method, program for executing the method, and recording medium storing the program
US8487332B2 (en) 2010-04-27 2013-07-16 Semiconductor Energy Laboratory Co., Ltd. Light-emitting device
JP2012178660A (ja) * 2011-02-25 2012-09-13 Hitachi Kokusai Electric Inc 動画像符号化装置及び動画像符号化方法
US9210435B2 (en) 2011-02-25 2015-12-08 Hitachi Kokusai Electric Inc. Video encoding method and apparatus for estimating a code amount based on bit string length and symbol occurrence frequency
JP2012222531A (ja) * 2011-04-06 2012-11-12 Sony Corp 画像処理装置および方法
WO2012137656A1 (ja) * 2011-04-06 2012-10-11 ソニー株式会社 画像処理装置および方法
US9723304B2 (en) 2011-04-06 2017-08-01 Sony Corporation Image processing device and method
US10171817B2 (en) 2011-04-06 2019-01-01 Sony Corporation Image processing device and method
US9635366B2 (en) 2013-08-30 2017-04-25 Fujitsu Limited Quantization method, coding apparatus, and computer-readable recording medium storing quantization program

Also Published As

Publication number Publication date
US20050243930A1 (en) 2005-11-03
JP4227067B2 (ja) 2009-02-18

Similar Documents

Publication Publication Date Title
JP4528694B2 (ja) 動画像符号化装置
JP4227067B2 (ja) 動画像符号化方法と装置及びプログラム
JP5310614B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
JP2006140758A (ja) 動画像符号化方法、動画像符号化装置および動画像符号化プログラム
JP2006262004A (ja) 動画像符号化／復号化の方法及び装置
JPWO2008132890A1 (ja) 画像符号化と画像復号化の方法及び装置
JP2012034213A (ja) 画像処理装置、画像処理システムおよび画像処理方法
US7333660B2 (en) Apparatus for and method of coding moving picture
JP2015515812A (ja) ビデオ符号化のための量子化係数を提供するための機器および方法
JP2008011431A (ja) 画像符号化装置
JP2007019995A (ja) 画像処理装置、画像処理方法およびそのプログラム
JP4130617B2 (ja) 動画像符号化方法および動画像符号化装置
JP3674535B2 (ja) 動画像符号化方法および装置
JP5016561B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、及び動画像復号方法
JP4357560B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP4713972B2 (ja) 符号化装置
JP3491001B1 (ja) 信号符号化方法、信号復号方法、信号符号化装置、信号復号装置、信号符号化プログラム、及び、信号復号プログラム
JP2007067526A (ja) 画像処理装置
JP2008206211A (ja) 動画像符号化／復号化の方法及び装置
JP2009049969A (ja) 動画像符号化装置及び方法並びに動画像復号化装置及び方法
JP6875566B2 (ja) 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法及び動画像予測復号プログラム
KR101500300B1 (ko) 부호화기와 복호화기 사이에 상호작용이 가능한 선택적 저전력 비디오 코덱 장치, 이를 이용한 부호화 및 복호화 방법
KR20100082700A (ko) 와이너-지브 부호화 및 복호화 시스템 및 방법
KR20120095814A (ko) 복수 참조 영상을 이용한 영상 부복호화 방법 및 이러한 방법을 사용하는 장치
JP2005348207A (ja) 符号化装置、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081125

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081127

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121205

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121205

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131205

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees