JP2007266970A - 動画像復号方法及び装置 - Google Patents

動画像復号方法及び装置 Download PDF

Info

Publication number
JP2007266970A
JP2007266970A JP2006088883A JP2006088883A JP2007266970A JP 2007266970 A JP2007266970 A JP 2007266970A JP 2006088883 A JP2006088883 A JP 2006088883A JP 2006088883 A JP2006088883 A JP 2006088883A JP 2007266970 A JP2007266970 A JP 2007266970A
Authority
JP
Japan
Prior art keywords
image signal
image
picture
compressed
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006088883A
Other languages
English (en)
Other versions
JP4384130B2 (ja
Inventor
Shinichiro Koto
晋一郎 古藤
Ryusuke Hirai
隆介 平井
Noboru Yamaguchi
昇 山口
Wataru Asano
渉 浅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2006088883A priority Critical patent/JP4384130B2/ja
Priority to EP20070004239 priority patent/EP1853067A1/en
Priority to CN2007101288459A priority patent/CN101080014B/zh
Priority to KR20070024547A priority patent/KR100874518B1/ko
Priority to US11/688,507 priority patent/US8553767B2/en
Publication of JP2007266970A publication Critical patent/JP2007266970A/ja
Application granted granted Critical
Publication of JP4384130B2 publication Critical patent/JP4384130B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428—Recompression, e.g. by spatial or temporal decimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】動画像符号化データの復号時のメモリバンド幅を削減しつつ、参照画像の生成過程で圧縮を用いた場合に発生する歪の時間方向への伝播を最小限に抑える。
【解決手段】動画像復号装置は、動画像符号化データ１００を復号して復号画像信号を生成する復号部１０１〜１０４、復号画像信号を圧縮して圧縮画像信号を生成する圧縮器１１５、復号画像信号を記憶する第１のメモリ１１３、圧縮画像信号を記憶する第２のメモリ１１４、メモリ１１４から圧縮画像信号を読み込んで圧縮伸張画像信号を生成する伸張器１１７、のフレーム単位の符号化タイプやブロック単位の予測モードに応じてメモリ１１３から読み込まれる復号画像信号及び伸張器１１７から出力される圧縮伸張画像信号のいずれかを参照画像信号として選択する参照画像選択器１２０、及び選択された参照画像信号に対し動き補償を行って予測画像信号を生成する動き補償部１０６を有する。
【選択図】 図１

Description

本発明は、動画像復号方法及び装置に関する。
MPEG-2 (ISO/IEC 13818-2|ITU-T Rec. H.262), MPEG-4 (ISO/IEC 14496-2), あるいはH.264 (ITU-T Rec. H.264|ISO/IEC 14496-10) などの動画像符号化国際標準方式では、フレーム間もしくはフィールド間のインター予測符号化が採用されている。インター予測符号化方式に基づく動画像符号化データの復号処理においては、画像メモリに記憶された複数フレームの参照画像を用いて動き補償を行うことにより予測画像が生成される。
参照画像を記憶する画像メモリとしては、ＤＲＡＭのような外部メモリ、または復号ＬＳＩに内蔵される内部メモリが用いられる。予測画像の生成に際しては、画像メモリに対して頻繁にメモリアクセスが発生し、高帯域なメモリバンド幅を必要とする。メモリバンド幅を高めるためには、データビット幅の増大によるＬＳＩのピン数の増加や外部メモリ個数の増加、あるいは動作周波数の引き上げが必要となり、結果として実装コストを増加させる。
メモリアクセスの頻度を低減する、すなわちメモリバンド幅を削減するために、復号画像を圧縮して画像メモリに記憶する手法が提案されている。この手法においては、画像メモリに記憶された復号画像は参照画像あるいは表示用の再生画像として使用されるときに読み込まれ、伸張される。例えば、特許文献１及び特許文献２によると、復号画像はフィルタリングにより縮小画像とされてから画像メモリに記憶される。参照画像は、画像メモリから読み込まれる縮小画像を拡大することによって生成される。
特許文献３によると、復号処理は動画像符号化データの低域成分のみを用いて縮小画像ベースで行われる。参照画像は、復号画像をアダマール変換及び量子化により圧縮することにより生成され、画像メモリに記憶される。復号時には、画像メモリから読み込まれる圧縮された参照画像が逆量子化及び逆アダマール変換により伸張される。
特開２０００−５０２７２号公報 特開２０００−７８５６８号公報 特開２０００−０４４４０号公報
特許文献１、２あるいは３に記載されたメモリバンド幅削減手法では、いずれも参照画像生成のために復号画像に対してフィルタリング、あるいはアダマール変換及び量子化といった、非可逆な圧縮及び伸張の処理が施される。このため、復号処理における圧縮歪が参照画像に重畳される。ＭＰＥＧのような動画像符号化方式では、参照画像の歪は次の復号画像に重畳され、歪の重畳された復号画像はさらに次の参照画像として用いられる。このように復号時に発生する歪は時間的に累積され、再生画像において大きなノイズとして知覚される。
本発明では、復号時のメモリバンド幅を削減しつつ、参照画像の生成過程で圧縮を用いた場合に発生する歪の時間方向への伝播を最小限に抑え、再生画像の大きな画質劣化を防止する動画像復号方法及び装置を提供することを目的とする。
本発明の一態様によると、動画像信号に対する予測画像信号を用いて動画像符号化データを復号して復号画像信号を生成するステップと；前記復号画像信号を圧縮して圧縮画像信号を生成するステップと；前記復号画像信号を第１のメモリに記憶するステップと；前記圧縮画像信号を第２のメモリに記憶するステップと；前記第２のメモリから前記圧縮画像信号を読み込んで伸張し、圧縮伸張画像信号を生成するステップと；前記動画像符号化データのフレーム単位の符号化タイプ及びブロック単位の予測モードの少なくとも一方に応じて前記第１のメモリから読み込まれた復号画像信号及び前記圧縮伸張画像信号のいずれかを参照画像信号として選択するステップと；前記参照画像信号に対し動き補償を行って前記予測画像信号を生成するステップと；を具備する動画像復号方法が提供される。
本発明の他の態様によると、動画像信号に対する予測画像信号を用いて動画像符号化データを復号して復号画像信号を生成する復号部と；前記復号画像信号を圧縮して圧縮画像信号を生成する圧縮器と；前記復号画像信号を記憶する第１のメモリと；前記圧縮画像信号を記憶する第２のメモリと；前記第２のメモリから前記圧縮画像信号を読み込んで伸張し、圧縮伸張画像信号を生成する伸張器と；前記動画像符号化データのフレーム単位の符号化タイプ及びブロック単位の予測モードの少なくとも一方に応じて前記第１のメモリから読み込まれた復号画像信号及び前記圧縮伸張画像信号のいずれかを参照画像信号として選択する参照画像選択器と；前記選択された参照画像信号に対し動き補償を行って前記予測画像信号を生成する動き補償部と；を具備する動画像復号装置が提供される。
本発明のさらに別の態様によると、動画像信号に対する予測画像信号を用いて動画像符号化データを復号して復号画像信号を生成する処理と；前記復号画像信号を圧縮して圧縮画像信号を生成する処理と；前記復号画像信号を第１のメモリに記憶する処理と；前記圧縮画像信号を第２のメモリに記憶する処理と；前記第２のメモリから前記圧縮画像信号を読み込んで伸張し、圧縮伸張画像信号を生成する処理と；前記動画像符号化データのフレーム単位の符号化タイプ及びブロック単位の予測モードの少なくとも一方に応じて前記第１のメモリから読み込まれた復号画像信号及び前記圧縮伸張画像信号のいずれかを参照画像信号として選択する処理と；前記参照画像信号に対し動き補償を行って前記予測画像信号を生成する処理と；を含む動画像復号処理をコンピュータに行わせるためのプログラムが提供される。
本発明によれば、復号画像信号と復号画像信号を圧縮した圧縮画像信号の両方をメモリに記憶し、復号時に参照画像信号の生成のために適応的に読み込む画像信号を選択することで、復号時のメモリバンド幅を削減しつつ、復号で発生する歪の時間方向への伝播を最小限に抑えて再生画像の大きな画質劣化を防ぐことが可能となる。
以下、図面を参照して本発明の実施の形態について説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に従う動画像復号装置の構成を示している。動画像復号装置には、ＭＰＥＧ−２のような動き補償予測符号化方式によって動画像を符号化して得られる動画像符号化データ１００（例えばＭＰＥＧ−２ビットストリーム）が入力される。動画像符号化データ１００は、まず可変長復号器１０１によって可変長復号、すなわち可変長符号を復号する処理が行われる。可変長復号器１０１は、量子化された直交変換係数（例えばＤＣＴ係数）及び符号化モード情報１１９を生成する。
符号化モード情報１１９は、動画像符号化データの符号化タイプ、すなわちピクチャ単位の符号化タイプ（符号化ピクチャタイプ）、画素ブロック単位（例えばマクロブロック単位）の符号化タイプ（符号化マクロブロックタイプ）、あるいは画素ブロック単位の予測モードなどを表す情報を含む。量子化された直交変換係数は、逆量子化器１０２によって逆量子化される。逆量子化された直交変換係数は、逆直交変換器１０３によって逆直交変換され、これによって予測残差信号が生成される。
加算器１０４では、逆直交変換器１０３から出力される予測残差信号と動き補償部１０６から出力される予測画像信号１０７とが画素ブロック単位で加算されることにより、画素ブロック単位の復号画像信号１０８が生成される。画素ブロックとは、複数の画素を含む２次元または１次元のブロックである。復号画像信号１０８は、外部メモリ１１２内の第１フレームメモリ１１３に書き込まれる。復号画像信号１０８は、さらに圧縮器１１５により圧縮される。圧縮器１１５により生成される圧縮画像信号は、第２フレームメモリ１１４に書き込まれる。第１フレームメモリ１１３及び第２フレームメモリ１１４は、図１の例では外部メモリ１１２（復号ＬＳＩの外部にあるＤＲＡＭのようなメモリ）内に設けられているが、内部メモリ（復号ＬＳＩに内蔵されるメモリ）内にあってもよい。
参照画像選択器１２０は、可変長復号器１０１から出力される符号化モード情報１１９（符号化ピクチャタイプ、符号化マクロブロックタイプ、あるいは画素ブロック単位の予測モード）に応じて復号モードを選択し、選択した復号モードに適した参照画像信号の選択を行う。すなわち、参照画像選択器１２０は選択した復号モードに応じて、第１フレームメモリ１１３から読み込まれる復号画像信号か、あるいは第２フレームメモリ１１４から読み込まれる圧縮画像信号を第１伸張器１１６により伸張して得られる画像信号（以下、圧縮伸張画像信号）のいずれかを参照画像信号として選択する。復号モードの選択方法については、後に詳しく説明する。参照画像選択器１２０によって選択された参照画像信号は、動き補償部１０６に入力される。
第２フレームメモリ１１４から読み込まれる圧縮画像信号は、第２伸張器１１７により伸張される。第２伸張器１１７から出力される画像信号は、復号画像信号を圧縮器１１５により圧縮した後に第２フレームメモリ１１４を介して第２伸張器１１７により伸張した信号であるため、圧縮伸張画像信号という。圧縮伸張画像信号は、バックエンド処理部１０５へ供給される。バックエンド処理部１０５では、入力される圧縮伸張画像信号に対してスケーリング、エッジエンハンス及び色補正などの後処理を行い、表示のための画像信号（再生画像信号という）１１０を出力する。再生画像信号１１０は図示しない表示部へ供給され、ここで動画像（映像）の表示が行われる。
一般に、動画像復号処理では（ａ）画像メモリへの復号画像信号の書き込み、（ｂ）表示すなわち再生画像信号の生成のための、画像メモリからの復号画像信号の読み込み、及び（ｃ）予測画像信号生成のための、画像メモリからの参照画像信号の読み込みが必要とされる。従って、画像メモリに対する単位時間当たりのデータ転送量、すなわちメモリバンド幅が非常に高くなる。特に、高精細フレーム(high-definition television: HDTV)のような画素レートの高い映像信号の動画像符号化データを復号する場合、非常に高いメモリバンド幅が要求される。
通常は、高いメモリバンド幅に対応するため、複数の画像メモリを並列に配置することで同時に転送するデータのビット幅を大きくし、且つ高速の転送が可能なメモリ素子を用いる。このため、画像メモリのコストが動画像復号装置の実装コストに大きく影響する。動き補償予測によって符号化された動画像データを復号する場合、参照画像信号の読み込みに際しては、画像メモリ内の動きベクトルで指し示される位置の画素ブロックに対するランダムアクセスが必要となる。従って、メモリアクセスのオーバヘッドが大きく、特に高いバンド幅が要求される。一方、画像メモリへの復号画像信号の書き込みは画素ブロック単位で連続的に行われ、また画像メモリからの表示のための復号画像信号の読み込みはライン単位で連続的に行われる。従って、復号画像信号の書き込み／読み込みのためのメモリアクセスのオーバヘッドは小さい。
本発明の第１の実施形態では、大きなメモリバンド幅を必要とする、予測画像信号の生成のために外部メモリ１１２から参照画像信号を読み込む際のデータ転送量を削減することにより、全体のメモリバンド幅を削減し、もって復号装置のコストを低減する。すなわち、第１の実施形態によると図１に示されるように外部メモリ１１２内に通常の復号画像信号を一時記憶する第１フレームメモリ１１３に加えて、圧縮器１１５により圧縮した復号画像信号を一時記憶する第２フレームメモリ１１４が設けられる。
参照画像選択器１２０においては、参照画像信号を得るために（ａ）外部メモリ１１２から画像信号を読み込む際、第１フレームメモリ１１３に記憶されている非圧縮の復号画像信号を読み込むか、あるいは（ｂ）第２フレームメモリ１１４に記憶されている圧縮画像信号を読み込んで伸張器１１６により伸張するかが、符号化ピクチャタイプ、符号化マクロブロックタイプあるいは予測モードを表す符号化モード情報に応じた復号モードに従って適応的に選択される。これにより、常に非圧縮の復号画像信号を画像メモリから読み込んで参照画像信号を生成する通常の動画像復号化装置に比較して、外部メモリ１１２から画像信号を読み込む際のメモリバンド幅が効率的に削減される。
一方、復号画像信号を圧縮して画像メモリに一時記憶し、画像メモリから読み込まれた復号画像信号を伸張して参照画像信号を生成すると、参照画像信号の歪みが時間的に累積され、再生画像信号に大きなノイズが重畳される。本発明の第１の実施形態によると、このような問題点も解決される。
以下、図２乃至図５を用いて本発明の第１の実施形態に従う動画像復号装置の動作を通常の動画像復号装置あるいは、先の特許文献１、２あるいは３に記載されたような、メモリバンド幅を削減させた比較例に従う動画像復号装置の動作と対比して説明する。
図２は、ＭＰＥＧ−２など動き補償予測フレーム間符号化の予測構造を示している。図２中のＩ０，Ｐ１，・・・は動画像符号化データの各符号化画像のフレームを示しており、矢印は参照画像から符号化画像へのフレーム間予測の関係を示している。Ｉはフレーム内符号化画像（Ｉピクチャ）、Pは前方予測符号化画像（Ｐピクチャ）、そしてＢは双方向予測符号化画像（Ｂピクチャ）をそれぞれ示している。Ｉ，Ｐ，Ｂに付加されている数字は、表示フレーム順序を示している。前述した符号化ピクチャタイプは、符号化画像がＩピクチャ、Ｐピクチャ及びＢピクチャのいずれかを表す。
通常の動画像復号装置では、まずＩ０ピクチャが復号され、Ｉ０ピクチャの復号画像を参照画像として用いてＰ３ピクチャが復号される。さらにＩ０ピクチャ及びＰ３ピクチャの復号画像を参照画像として用いて、Ｂ１ピクチャ及びＢ２ピクチャの復号が行われる。次に、Ｐ３ピクチャの復号画像を参照画像として用いてＰ６ピクチャの復号が行われる。このようにして順次復号が行われる。
図３は、比較例に従う動画像復号装置の復号動作を示している。各ピクチャの復号の順序は、図２と同様である。まず、Ｉ０ピクチャの復号が行われ、Ｉ０ピクチャの復号画像に対して非可逆な圧縮伸張処理が施されることによって、圧縮伸張画像４００が生成される。圧縮伸張画像４００には、非可逆な圧縮処理に起因して発生する圧縮ノイズ（図中の記号＊によって表される）が重畳される。Ｐ３ピクチャは圧縮伸張画像４００を参照画像として用いて復号されるので、圧縮伸張画像４００に重畳されているノイズがそのままＰ３ピクチャの復号画像にも重畳される。Ｐ３ピクチャの復号画像に対して非可逆な圧縮伸張処理が施され、圧縮伸張画像４０１が生成される。圧縮伸張画像４０１には、さらなる非可逆な圧縮処理により圧縮ノイズが重畳される。
次に、圧縮伸張画像４００及び４０１を参照画像として用いてＢ１ピクチャ及びＢ２ピクチャの復号が行われる。Ｂ１ピクチャ及びＢ２ピクチャの復号画像には、圧縮伸張画像４００及び４０１の持つ圧縮ノイズが重畳される。但し、Ｂピクチャの双方向予測では、２つの参照画像の平均値を予測画像とするため、参照画像の平均化処理により参照画像の圧縮に起因するランダムな圧縮ノイズは軽減される。次に、圧縮伸張画像４０１を用いてＰ６ピクチャの復号が行われ、さらにＰ６ピクチャの復号画像に非可逆な圧縮処理が施されて圧縮伸張画像４０２が生成される。圧縮伸張画像４０２には、さらなる非可逆な圧縮処理より累積的に圧縮ノイズが重畳される。
このように図３に示した比較例に従う復号処理では、参照画像の圧縮処理による圧縮ノイズがフレーム間予測符号化の構造に従って時間的に累積する。さらに、累積した圧縮ノイズは表示に供される復号画像にも累積的に重畳されるため、再生画像信号に大きな画質劣化が発生する。
図４は、図１に示した本発明の第１の実施形態に従う動画像復号装置の復号動作を示している。各ピクチャの復号の順序は図１及び図２と同様である。まず、図２と同様にＩ０ピクチャの復号が行われ、Ｉ０ピクチャの復号画像に対して非可逆な圧縮処理が施された後、第２フレームメモリに一時保存され、さらに伸張処理が施されることによって圧縮伸張画像４１０が生成される。非可逆な圧縮処理により、圧縮伸張画像４１０には圧縮ノイズ（図中の記号＊によって表される）が重畳される。Ｐ３ピクチャは、圧縮伸張画像４１０ではなく、Ｉ０ピクチャの非圧縮の復号画像を参照画像として用いて復号処理が行われるため、Ｐ３ピクチャの復号画像には参照画像の圧縮による圧縮ノイズは重畳されない。
次に、Ｐ３ピクチャの復号画像に対して非可逆な圧縮処理が施され、圧縮伸張画像４１１が生成される。圧縮伸張画像４１１には、非可逆な圧縮処理により圧縮ノイズが重畳される。次に、圧縮伸張画像４１０及び４１１を参照画像として用いてＢ１ピクチャ及びＢ２ピクチャの復号が行われる。Ｂ１ピクチャ及びＢ２ピクチャの復号画像には、圧縮伸張画像４１０及び４１１の圧縮ノイズが重畳される。但し、Ｂピクチャの双方向予測では２つの参照画像の平均値を予測画像とするため、参照画像の平均化処理により、参照画像の圧縮に起因するランダムな圧縮ノイズは軽減される。次に、Ｐ３ピクチャの非圧縮の復号画像を参照画像として用いて、Ｐ６ピクチャの復号が行われる。
このように本発明の第１の実施形態に従う動画像復号装置では、復号画像が参照画像として用いられるＰピクチャは、非圧縮の復号画像（例えば、Ｉ０ピクチャの復号画像）を参照画像として用いて復号されるため、参照画像の圧縮処理に起因する圧縮ノイズの累積が起こらない。一方、復号画像が参照画像として用いられないＢピクチャは、圧縮伸張画像を参照画像として用いて復号されるため、画像の読み込みに伴うメモリバンド幅を低減することができる。Ｂピクチャの復号画像は参照画像として用いられないため、参照画像の圧縮ノイズの時間方向への累積は発生せず、画質劣化を大きくすることはない。Ｂピクチャの双方向予測では２つの参照画像のための読み込みが必要となり、Ｐピクチャよりも高いメモリバンド幅を必要とするが、圧縮伸張画像を参照画像として用いることで効果的にピークのメモリバンド幅の削減を行うことが可能となる。
図５は、図１に示した本発明の第１の実施形態に従う動画像復号装置の他の復号動作例を示している。まず、Ｉ０ピクチャの復号画像に対して圧縮４３０が行われ、圧縮画像４２０が生成される。次に、図４と同様にＩ０ピクチャの非圧縮の復号画像を参照画像として用いてＰ３ピクチャの復号が行われる。Ｐ３ピクチャの復号画像は圧縮され、圧縮画像４２３が生成される。次に、Ｉ０ピクチャ及びＰ３ピクチャの非圧縮の復号画像と、これらをそれぞれ圧縮処理した圧縮画像４２０及び４２３を用いてＢ１ピクチャの復号が行われる。
Ｂピクチャにおいては、前方参照フレーム（ここではＩ０ピクチャ）のみから予測を行う前方予測画素ブロックｆｗと、後方参照フレーム（ここではＰ３ピクチャ）のみから予測を行う後方予測画素ブロックｂｗ、及び双方向の参照フレーム（ここではＩ０ピクチャ及びＰ３ピクチャ）の予測画像の平均値で予測を行う双方向予測画素ブロックｂｉが混在する。言い換えれば、ＢピクチャにはＢピクチャの予測画素ブロックが前方予測画素ブロック、後方予測画素ブロック及び双方向予測画素ブロックのいずれかであるかを表す画素ブロック単位の予測モードが用意されている。
図５の復号動作例では、前方予測画素ブロックｆｗはＩ０ピクチャの非圧縮の復号画像を参照画像として用いて復号され、後方予測画素ブロックｂｗはＰ３ピクチャの非圧縮の復号画像を参照画像として用いて復号される。このように前方予測画素ブロックあるいは後方予測画素ブロックでは、復号に一つの参照画像しか必要としないため、高いメモリバンド幅を必要としない。従って、上記のように圧縮ノイズのない非圧縮の復号画像を参照画像として用いることにより、前方予測画素ブロック及び後方予測画素ブロックに対応する復号画像の劣化が防止される。
一方、双方向予測画素ブロックｂｉに対しては、圧縮画像４２０及び４２３を外部メモリから読み込み、それぞれに伸張４３１及び４３２を施して得られる２つの圧縮伸張画像を参照画像として用いて、当該２つの参照画像の平均値により予測画像が生成される。一般に２つの参照画像が必要となる双方向予測画素ブロックでは、高いメモリバンド幅が要求される。これに対して、図５の復号動作例では外部メモリに圧縮画像を記憶しておき、これを読み込みかつ伸張して得られる圧縮伸張画像を参照画像として用いて予測画像信号を生成することで、メモリバンド幅を低減することができる。さらに、双方向予測画素ブロックに対しては、２つの参照画像の平均値により予測画像が生成されるため、参照画像の圧縮ノイズは平均化処理により低減され、画質劣化は大きくならない。
このようにＢピクチャの双方向予測画素ブロックについてのみ、圧縮伸張画像を参照画像として用いた動き補償予測により復号を行うことにより、ピークのメモリバンド幅を低減できる。また、圧縮伸張画像を用いることによる復号画像の画質劣化を最小限に抑えることができる。
参照画像として用いられないＢ１ピクチャの復号画像は圧縮処理が施され、圧縮画像４２１として外部メモリに記憶される。参照画像として用いられるＩピクチャ及びＰピクチャの復号画像に関しては、非圧縮の復号画像信号と圧縮画像信号の双方が外部メモリに一時記憶されるのに対して、Ｂピクチャの復号画像に関しては圧縮画像信号のみが外部メモリに一時記憶される。Ｂ２ピクチャについては、Ｂ１ピクチャと同様に復号処理が行われる。次に、Ｐ４ピクチャの復号が行われる。Ｐ４ピクチャは、表示順でＰ３ピクチャに連続する。
ＭＰＥＧ−２方式では、時間的にＩまたはＰピクチャと連続するＰピクチャに対して、１つ参照画素ブロックを用いる前方予測画素ブロックに加えて、２つの参照画素ブロックの平均値を予測画像とするデュアルプライム(dual-prime)予測と呼ばれる予測モードのブロック（デュアルプライム予測画素ブロックという）を選択することが可能である。言い換えれば、時間的にＩまたはＰピクチャと連続するＰピクチャには、少なくとも予測画素ブロックが単一の参照画像を用いた前方予測画素ブロック及び複数の参照画像を用いたデュアルプライム予測画素ブロックのいずれかであるかを表す画素ブロック単位の予測モードが用意されている。デュアルプライム予測では、Ｂピクチャの双方向予測と同様に、２つの参照画像の読み込みが必要となり、高いメモリバンド幅が要求される。
図５の復号動作例に従うと、時間方向に連続する２つのＰピクチャ（例えば、Ｐ３ピクチャ及びＰ４ピクチャ）の後方側のＰピクチャ（ここではＰ４ピクチャ）において、前方予測画素ブロックｆｗは非圧縮の参照画像（ここではＰ３ピクチャ）を用いて復号される。デュアルプライム予測画素ブロックに対しては、外部メモリに記憶された圧縮画像４２３中の２つの参照ブロックが読み込まれ、それぞれに伸張処理４３３及び４３４が施される。伸張後の２つの参照ブロックの平均値から予測画像が生成されることによって、ピークのメモリバンド幅が削減される。デュアルプライム予測では、Ｂピクチャの双方向予測と同様に、２つの参照画像の平均値または線形和で予測画像を生成するため、圧縮画像の圧縮ノイズは平均化により低減され、画質劣化も最小限に抑えられる。Ｐ４ピクチャの復号画像に対して圧縮処理４３５が施されることにより圧縮画像４２４が生成され、画像４２４が外部メモリに記憶される。
復号画像は、符号化順序から表示順序へと並べ替えが行われて表示される。図５の復号動作例では、外部メモリ１１２に記憶された圧縮画像４２０，４２１，４２３及び４２４は表示順に読み込まれ、それぞれ伸張器１１７により伸張された後、バックエンド処理部１０５を経て表示部に送られ、動画像が表示される。このように動画像の表示に圧縮伸張画像を用いることで、表示のための外部メモリ１１２からの復号画像の読み込みデータ量が削減され、メモリバンド幅を低減することができる。また、Ｂピクチャは参照画像として用いられないため、圧縮画像のみを外部メモリ１１２に一時記憶すればよく、外部メモリ１１２への画像の書き込みデータ量を削減することが可能となる。
以上まとめると、本発明の第１の実施形態では以下の利点がある。
（１）外部メモリ１１２からの画像のランダム読み込みに際して、特に高いメモリバンド幅が要求される、２つの参照画像を用いる予測画素ブロックの復号、及び参照画像として用いられないＢピクチャの復号時には圧縮画像を読み込む。これによって、画像のランダム読み込み時のメモリバンド幅を大幅に削減できる。
（２）外部メモリ１１２への復号画像の書き込みに際しては、参照画像として用いられないＢピクチャについては復号画像を圧縮してから書き込みを行うことにより、メモリバンド幅を削減することができる。
（３）動画像の表示のために外部メモリ１１２から復号画像を読み込む際には、圧縮された復号画像（圧縮画像）を読み込み、それを伸張した後に再生画像信号を生成することにより、メモリバンド幅を削減することができる。
（４）参照画像として用いられるＩピクチャ及びＰピクチャの復号画像を外部メモリ１１２に書き込む際には、通常の非圧縮の復号画像に加えて圧縮された復号画像も書き込む必要があるため、メモリバンド幅が増加する。しかし、復号画像の書き込みは連続したアドレスについて行われるため、メモリアクセスのオーバヘッドは参照画像のための読み込みに比べて十分小さく、また他のメモリバンド幅削減効果に比較してメモリバンド幅の増加量は小さい。
このように復号処理におけるトータルのメモリバンド幅は、通常の動画像復号装置に比べて大幅に削減される。すなわち、本発明の第１の実施形態によれば、外部メモリに対するメモリバンド幅の削減により、外部メモリのビット幅や外部メモリの個数を削減でき、外部メモリの動作クロックを削減することも可能となる。従って、画質劣化を最小限に抑えつつ、動画像復号装置の低コスト化や低消費電力化を実現することが可能となる。
（復号モードの選択方法について）
本発明の実施形態では、後述するように参照画像を非圧縮の復号画像と圧縮画像のどちらかから選択することと、表示に供される復号画像を非圧縮の復号画像と圧縮された復号画像のどちらかから選択することが可能である。なお、参照画像及び表示のための再生画像共に非圧縮の復号画像を用いた場合は、通常の復号と同様となる。
以下の説明では、非圧縮の復号画像を参照画像及び再生画像に用いる通常の復号モードを“フルデコード”と呼ぶ。また、圧縮伸張画像を参照画像として用いる復号モードを“圧縮参照デコード”と呼び、非圧縮の復号画像を参照画像として用いる復号モードを“フル参照デコード”と呼ぶ。以下、本発明の実施形態における種々の復号モード選択方法について説明する。
（第１の復号モード選択方法）
図６は、第１の復号モード選択方法の処理手順を示している。第１の復号モード選択方法では、符号化された動画像シーケンス単位で復号モードを選択する。まず、符号化された動画像シーケンスのフレームレートと画像サイズの情報を読み込む（ステップＳ１００）。フレームレートと画像サイズとを乗算して、単位時間当たりの画素数である画素レート(pixel per second: PPS)を計算する（ステップＳ１０１）。ステップＳ１０１で計算された画素レートと閾値ＴＨ１を比較し（ステップＳ１０２）、画素レートがＴＨ１を下回ればフルデコードモードを選択し（ステップＳ１０３）、画素レートがＴＨ１以上の場合は圧縮参照モードを選択する（ステップＳ１０４）。外部メモリ１１２のメモリバンド幅は通常、画素レートと比例関係にあると仮定できる。閾値ＴＨ１を復号装置がフルデコードモードで処理できる最大の画素レートか、あるいはそれ以下の値に設定することで、画質劣化を最小限に抑えた最適な復号モードを選択することが可能となる。
（第２の復号モード選択方法）
次に、図７を参照して本発明の実施形態に従う第２の復号モード選択方法を説明する。第２の復号モード選択方法では、第１の復号モード選択方法と同様に、符号化された動画像シーケンス単位で動作モードを選択する。まず、第１の復号モード選択方法と同様に、符号化された動画像シーケンスのフレームレートと画像サイズの情報を読み込み（ステップＳ１１０）、それらを乗算して画素レート（pixel per second（ＰＰＳ）を計算する（ステップＳ１１１）。ステップＳ１１１で計算された画素レートと第１閾値ＴＨ１を比較し（ステップＳ１１２）、画素レートがＴＨ１を下回れば、フルデコードモードを選択する（ステップＳ１１３）。
次に、画素レートがＴＨ１以上の場合は、画素レートと第２閾値ＴＨ２を比較する（ステップＳ１１４）。画素レートがＴＨ２を下回る場合は、参照画像に対しては圧縮・非圧縮切替モード、再生画像に対しては非圧縮モードをそれぞれ選択する（ステップＳ１１５）。圧縮・非圧縮モードでは、第１フレームメモリ１１３から読み出される非圧縮の復号画像と、第２フレームメモリ１１４から読み出される圧縮された復号画像を伸張して得られる圧縮伸張画像のいずれかを適応的に切り替える。非圧縮モードでは、非圧縮の復号画像を選択する（ステップＳ１１５）。
一方、画素レートがＴＨ２以上の場合は、参照画像に対してはステップＳ１１５と同様に圧縮・非圧縮モードを選択し、再生画像に対して圧縮伸張画像を用いる圧縮モードを選択する（ステップＳ１１７）。閾値ＴＨ２は閾値ＴＨ１より大きな値であり、復号装置がステップＳ１１５の処理により正しく復号動作することが可能となるように、すなわちメモリバンド幅の不足が発生しないように設定される。
同一画素レートの動画像符号化データに対して、復号処理で必要となるメモリバンド幅は、ステップＳ１１７、ステップＳ１１５、ステップＳ１１３の順に高くなる。従って、第２の復号モード選択方法を用いることで、入力される動画像符号化データの画素レートに応じて最も画質劣化の少ない最適な復号モードを選択することが可能となる。
（第３の復号モード選択方法）
次に、図８を用いて本発明の実施形態に従う第３の復号モード選択方法について説明する。図８のフローチャートでは、図７に対して画素レートと第３の閾値ＴＨ３との比較を行うステップＳ１１６が付加されている。ステップＳ１１６において画素レートがＴＨ３を上回る場合は、参照画像及び再生画像に対して常に圧縮モードを選択する（ステップＳ１１９）。すなわち、ステップＳ１１９では第２フレームメモリ１１４から参照画像生成のための読み込み及び再生画像生成のための読み込みを行い、第２フレームメモリ１１４から読み出される圧縮された復号画像を伸張して得られる圧縮伸張画像を用いて参照画像及び再生画像を生成する。
一方、ステップＳ１１６において画素レートがＴＨ３以下の場合は、参照画像に対してはステップＳ１１５と同様に圧縮・非圧縮モードを選択し、再生画像に対して圧縮伸張画像を用いる圧縮モードを選択する（ステップＳ１１７）。図８中の他の処理は、図７と同様である。閾値ＴＨ３は閾値ＴＨ２より大きな値であり、ステップＳ１１７で復号が可能な最大の画素レートから決定される。
同一画素レートの動画像符号化データに対して、復号処理で必要となるメモリバンド幅はステップＳ１１９、ステップＳ１１７、ステップＳ１１５及びステップＳ１１３の順に高くなる。従って、第３の復号モード選択方法を用いることにより、入力される動画像符号化データに対して、画素レートに応じて最も画質劣化の少ない最適な復号モードを選択することが可能となる。
（第４の復号モード選択方法）
次に、図９を用いて本発明の実施形態に従う第４の復号モード選択方法について説明する。第４の復号モード選択方法では、動画像符号化データ１００の符号化ピクチャ単位で動作モードを選択する。復号を開始すると（ステップＳ１２０）、まず符号化ピクチャ毎のヘッダ情報（ピクチャヘッダ情報）の読み込みを行う（ステップＳ１２１）。ピクチャヘッダ情報に従って、該符号化ピクチャが参照ピクチャか否か（参照ピクチャとして用いられるインター符号化ピクチャか否か）の判定を行う（ステップＳ１２２）。例えば、動画像符号化データ１００の符号化方式がＭＰＥＧ−２の場合を例にとると、ステップＳ１２２ではピクチャヘッダ情報を解析することにより、ピクチャヘッダのシンタックスエレメントである符号化タイプ（“picture_coding_type”）を調べる。この符号化タイプがBピクチャであれば “Ｎｏ”、すなわち符号化ピクチャが参照ピクチャでないと判定し、ＩピクチャまたはＰピクチャであれば“Ｙｅｓ”、すなわち符号化ピクチャが参照ピクチャであると判定する。
一方、動画像符号化データ１００の符号化方式がＨ．２６４であれば、ステップＳ１２２ではＨ．２６４規格で規定されるＮＡＬユニットシンタックスの“nal_ref_idc”を参照する。“nal_ref_idc”の値が０の場合は参照ピクチャとはならないため、ステップＳ１２２では“Ｎｏ”、すなわち符号化ピクチャが参照ピクチャでないと判定し、“nal_ref_idc”の値が非ゼロの場合は参照ピクチャとなるため、ステップＳ１２２は“Ｙｅｓ”すなわち符号化ピクチャが参照ピクチャであると判定する。
ステップＳ１２２で“Ｙｅｓ”が選択された符号化ピクチャは、フル参照デコードモード（ステップＳ１２３）により復号され、ステップＳ１２３で“Ｎｏ”が選択された符号化ピクチャは、第２フレームメモリ１１４から読み出される圧縮された復号画像を伸張して得られる圧縮伸張画像を参照画像とする圧縮参照デコードモード（ステップＳ１２４）により復号される。
次に、復号の継続の有無をチェックする（ステップＳ１２５）。継続して復号を行う場合は、次のピクチャの復号処理を行うためにステップＳ１２１に戻り、復号を停止する場合はステップＳ１２６で復号を終了する。
このように第４の復号モード選択方法によると、参照画像として用いられる符号化ピクチャに対しては通常のフル参照デコードを行うことで、参照画像の圧縮による圧縮ノイズの時間方向の伝播を防ぐことができる。一方、参照画像として用いられない符号化ピクチャに対しては、圧縮伸張画像を参照画像として用いることで、参照画像のための画像読み込みのメモリバンド幅が削減される。従って、復号画像の画質劣化を抑えつつ、メモリバンド幅が効率的に削減することができる。
（第５の復号モード選択方法）
次に、図１０を用いて本発明の実施形態に従う第５の復号モード選択方法について説明する。第５の復号モード選択方法では、第４の復号モード選択方法と同様に、符号化ピクチャ単位で復号モードを選択する。第４の復号モード選択方法では、図９に示したようにフル参照デコード（ステップＳ１２３）と圧縮参照フレームメモリを用いた圧縮参照デコード（ステップＳ１２４）との選択を、復号対象の符号化ピクチャが参照ピクチャとして用いられるか否かをステップＳ１２２で判定することによって行う。
これに対し、第５の復号モード選択方法においては、外部メモリ１１２に対するメモリアクセスの負荷を計測し（ステップＳ１４０）、計測された負荷が所定値を超える過負荷となっているか否かを調べる（ステップＳ１４１）。この結果、過負荷の場合には圧縮参照デコードモードを選択し（ステップＳ１２４）、負荷が所定値を下回る場合は通常のフル参照デコードモードを選択する（ステップＳ１２３）。
このように第４の復号モードの選択方法によると、外部メモリ１１２に対するアクセスの負荷に応じて最適な復号モードを選択できる。従って、復号処理による画質劣化を最小限に抑えつつ、メモリアクセスの過負荷による復号の破綻を防ぐことか可能となる。
（第６の復号モード選択方法）
次に、図１１を参照して本発明の実施形態に従う第６の復号モード選択方法について説明する。第６の復号モード選択方法では、符号化された画素ブロック単位で復号モードを選択する。１つの符号化ピクチャのデコードが開始されると（ステップＳ１３０）、まず符号化単位であるマクロブロックのヘッダ情報の読み込みを行う（ステップＳ１３１）。読み込んだヘッダ情報に従って、復号対象の画素ブロックに対する予測モードが「複数参照予測モード」、すなわち複数の参照画像を用いて予測画像信号を生成するモードか否かを判定する（ステップＳ１３２）。具体的には、複数参照予測モードでは複数の参照画像の平均値あるいは線形和によって予測画像信号を生成する。
ステップＳ１３２において予測モードが複数参照予測モードと判定された場合は、第２フレームメモリ１１４から読み出される圧縮された復号画像を伸張して得られる圧縮伸張画像を参照画像とする圧縮参照デコードモードで復号を行う（ステップＳ１３３）。一方、ステップＳ１３２において複数参照予測モードでないと判定された場合、言い換えれば単一の参照画像を用いて予測画像信号を生成する単一参照予測モードと判定された場合は、通常のフル参照デコードモードで復号を行う（ステップＳ１３４）。このような復号の処理を符号化ピクチャ内の全てのマクロブロックについて行い（ステップＳ１３５）、符号化ピクチャ内の全てのマクロブロックの復号が終了したら、該符号化ピクチャの復号を終了する（ステップＳ１３６）。
複数参照予測モードが適用される画素ブロックでは、参照画像の読み込みのためにより高いメモリバンド幅が要求される。これに対し、単一参照予測モードでは必要なメモリバンド幅は小さい。第６の復号モード選択方法によれば、符号化画素ブロック単位でフレーム間予測モードの違いに応じて、メモリバンド幅が高くなる複数参照予測モードでは、圧縮参照デコードモードで復号を行い、単一参照予測モードでは非圧縮デコードモードで復号を行う。これによってピークのメモリバンド幅を削減しつつ、再生画像の画質劣化を最小限に抑えることができる。
（第７の復号モード選択方法）
次に、図１２を用いて本発明の実施形態に従う第７の復号モード選択方法について述べる。第７の復号モード選択方法は、第６の復号モード選択方法と同様に、符号化された画素ブロック単位で動作モードを選択する。第６の復号モードの選択方法では、図１１に示したようにフル参照デコードモード（ステップＳ１３４）と圧縮参照フレームメモリを用いた圧縮参照デコードモード（ステップＳ１３３）との選択を各画素ブロック（マクロブロック）の予測モードによって選択している（ステップＳ１３２）。
これに対して、第７の復号モード選択方法では、外部メモリ１１２に対するメモリアクセスの負荷を計測し（ステップＳ１４２）、計測された負荷が所定値を超える過負荷となっているか否かを調べる（ステップＳ１４３）。この結果、過負荷の場合には圧縮参照デコードモードを選択し（ステップＳ１３３）、負荷が所定値を下回る場合は通常のフル参照デコードモードを選択する（ステップＳ１３４）。このような復号モードの選択を画素単位で、ステップＳ１３５において全てのマクロブロック（ＭＢ）のデコードが終了したと判断されるまで行う。
このように第７の復号モード選択方法によれば、メモリアクセスの負荷に応じて画素ブロック単位に最適な復号モードを選択できるので、復号処理による画質劣化を最小限に抑えつつ、メモリアクセスの過負荷による復号の破綻を防ぐことが可能となる。
（フル参照デコード処理）
次に、図１３を用いて図６乃至図１２中に示したフル参照デコード（ステップＳ１０３，Ｓ１１３，Ｓ１２３及びＳ１３４）の処理の詳細について説明する。図１３は、マクロブロック単位のフル参照デコード処理のフローを示している。
各符号化マクロブロックの復号が開始されると（ステップＳ１５０)、符号化マクロブロックデータのエントロピー符号の復号を行い、量子化された直交変換係数、予測モード及び動きベクトルの情報を生成する（ステップＳ１５１）。ステップＳ１５１で生成された直交変換係数に対して逆量子化（ステップＳ１５２）及び逆直交変換（ステップＳ１５４）を順次行い、予測残差信号Ｅを生成する。一方、ステップＳ１５１で生成される予測モードや動きベクトルの情報に基づいて参照画像信号の読み込みを行い（ステップＳ１５３）、予測モードに応じて予測画像Ｐを生成する（ステップＳ１５５）。予測残差信号Ｅと生成された予測画像Ｐを加算し、復号画像を生成する（ステップＳ１５６）。生成された復号画像は、第１フレームメモリ１１３に書き込まれる（ステップＳ１５７）、また圧縮処理（ステップＳ１５８）を経て第２フレームメモリ１１４に書き込まれる（ステップＳ１５９）。フレームメモリ１１３及び１１４への書き込みは、符号化ピクチャのピクチャタイプに応じて以下のルールによって行われる。
（ルール１）参照画像として用いられる符号化ピクチャ（ＭＰＥＧ−２の場合はＩピクチャ及びＰピクチャ）：非圧縮の復号画像を第１フレームメモリ１１３に書き込み、圧縮伸張復号画像を第２フレームメモリ１１４に書き込む。
（ルール２）参照画像として用いられない符号化ピクチャ（ＭＰＥＧ−２の場合はＢピクチャ）：圧縮伸張画像を表示のための再生画像信号に用いる場合は、第２フレームメモリ１１４への圧縮画像の書き込み（ステップＳ１５９）のみを行い、第１フレームメモリ１１３への非圧縮の復号画像の書き込み（ステップＳ１５７）は行わない。
非圧縮の復号画像を表示のための再生画像に用いる場合は、復号画像の圧縮（ステップＳ１５８）及び第２フレームメモリ１１４への圧縮画像の書き込み（ステップＳ１５９）は行わず、第１フレームメモリ１１３への非圧縮の復号画像の書き込み（ステップＳ１５７）のみ行う。
（圧縮参照デコード処理）
次に、図１４を参照して図６乃至図１２中に示した圧縮参照デコード（ステップＳ１０４，Ｓ１１５，Ｓ１１７，Ｓ１１９，Ｓ１２４及びＳ１３３）の処理の詳細について説明する。図１４は、マクロブロック単位の圧縮参照デコード処理のフローを示している。
図１４において、予測残差信号Ｅを生成するまでの過程は図１３のフルデコードの処理と同様である。一方、予測画像Ｐの生成は以下に示すように圧縮伸張画像を参照画像として用いて行われる。エントロピー復号処理（ステップＳ１５１）で生成された予測モード及び動きベクトルの情報に基づいて第２フレームメモリ１１４から圧縮画像を読み込み（ステップＳ１６０）、読み込まれた圧縮画像の伸張を行い（ステップＳ１６１）、これによって得られる圧縮伸張画像を参照画像として用いて予測画像Ｐの生成を行う（ステップＳ１５５）。
このようにして生成された予測残差信号Ｅと予測画像Ｐを加算することで、復号画像を生成する（ステップＳ１５６）。復号画像のフレームメモリ１１３及び１１４への書き込みは、図１３のフル参照デコードと同様にルール１及び２に従って行われる。
次に、本発明の実施形態に従う動画像復号装置における復号画像の圧縮伸張処理の具体例について説明する。
（圧縮伸張処理の第１の具体例）
図１５及び図１６は、復号画像の圧縮伸張処理の第１の具体例を示している。第１の圧縮伸張方法では、復号画像信号５００が４×４や８×８の２次元ブロック単位、あるいは４×１や８×１の１次元ブロック単位で図１５に示される圧縮器（図１中の圧縮器１１５に相当）に入力される。図１５の圧縮器では、入力されるブロック毎にアダマール変換器５０１によりアダマール変換を行い、それによって生成される変換係数に対して非線形量子化器５０２により非線形量子化を施すことでデータ量を圧縮する。非線形量子化が施された変換係数５０３の情報は、第２フレームメモリ１１４に圧縮画像信号として記憶される。
一方、図１６に示される伸張器には圧縮画像信号５１０、すなわち非線形量子化された変換係数が第２フレームメモリ１１４から読み込まれる。伸張器に入力された圧縮画像信号５１０に対して、まず非線形逆量子化器５１１により非線形逆量子化が施され、非線形逆量子化後の変換係数に対して逆アダマール変換器５１２によって逆アダマール変換が施されることにより、伸張された画像信号５１３（圧縮伸張画像信号）が生成される。
（伸張処理の変形例）
図１７は、図１６に示した伸張処理の変形例を示しており、逆アダマール変換器５１２の後段にローパスフィルタ５２０が配置される。圧縮伸張処理の第１の具体例では、量子化処理が用いられるため、伸張された画像信号５１３は圧縮器に入力される復号画像信号５００に圧縮ノイズが重畳された信号となる。第１の圧縮伸張処理は画素ブロック単位のアダマール変換及び非線形量子化の基づいているため、圧縮ノイズは画素ブロック単位のノイズとなる。画素ブロック単位のノイズは、圧縮伸張画像に対して画素ブロック境界でのステップ状の非連続を発生させる。このステップ状の圧縮ノイズを除去するためには、圧縮伸張画像に対してローパスフィルタ処理を施すことが有効である。
図１７に示す例では、非線形逆量子化及び逆アダマール変換により得られた圧縮伸張画像５１３からローパスフィルタ５２０によりステップ状ノイズで発生する高周波成分を除去することで、圧縮伸張で生じる圧縮歪を低減し、主観的に画質劣化の少ない画像を再生することを可能とする。
図１に示した動画像復号装置において、第２フレームメモリ１１４に一時記憶されている圧縮画像信号を予測画像生成のための参照画像として読み込んで伸張する伸張器１１６には、図１６に示したローパスフィルタのない伸張器が好適である。一方、第２フレームメモリ１１４に一時記憶されている圧縮画像信号を表示のために読み込んで伸張する伸張器１１７には、図１７に示したローパスフィルタ５２０を含む伸張器が好適である。すなわち、主観画質に影響する表示のための再生画像に対しては、ローパスフィルタ５２０で圧縮ノイズの除去を行い、参照画像として読み込む場合はローパスフィルタを省くことで復号処理の演算量またはハードウエアコストを低減する。これによって表示される再生画像の主観画質を向上しつつ、復号処理の演算量またはハードウエアコスト最小限に抑えることが可能となる。
（圧縮伸張処理の第２の具体例）
図１８及び図１９は、復号画像の圧縮伸張処理の第２の具体例を示している。第２の圧縮伸張方法では、図１８に示される圧縮器（図１中の圧縮器１１５に相当）において復号画像信号５３０に対してまず２次元または１次元のローパスィルタ５３１により２次元または１次元の帯域制限が施される。この後、サブサンプリング部５３２により水平または垂直の一方または両方の画素間引きが行われることにより縮小処理が行われ、圧縮画像５３３が生成される。
一方、図１９に示される伸張器には、縮小処理による圧縮画像５４０が入力される。圧縮画像信号５４０に対してオーバーサンプリング部５４１及びローパスフィルタ５４２による画素補充によって拡大処理が行われ、伸張された画像信号５４３（圧縮伸張画像信号）が生成される。
（圧縮伸張処理の第３の具体例）
次に、図２０及び図２１を用いて復号画像の圧縮伸張処理の第３の具体例について説明する。圧縮伸張処理の第３の具体例では、復号画像信号のうち輝度信号については４点の１次元アダマール変換を行い、直流成分については線形量子化、交流成分については非線形量子化を行うことで、データ量を１／２に圧縮する。色差信号については、水平方向に２画素ずつ平均化することで、水平画素数を１／２にサブサンプリングしてデータ量を１／２に圧縮する。
図２０に示される圧縮器では、復号画像信号中の輝度信号は各画素が８ビットで構成され、水平方向に連続する４画素が４×１アダマール変換器６００に入力される。アダマール変換器６００からは、アダマール変換によって生成される１０ビットのアダマール変換係数が出力される。数式（１）は、４×１アダマール変換器６００の演算を表している。
Figure 2007266970
ここで、Ｙ0, Ｙ1, Ｙ2及びＹ3は入力画素信号であり、ｙ’0, ｙ’1, ｙ’2及びｙ’3は出力されるアダマール変換係数を示している。
アダマール変換係数のうち、最高周波数成分であるｙ’3は破棄され、y’0， y’1及び y’2はビットシフタ６０１により２ビットシフトされ、８ビットの信号に線形量子化される。８ビットの信号に量子化されたアダマール変換係数の直流成分ｙ’0は、多重化器６０４を経てそのまま出力される。アダマール変換係数の中域周波数成分であるｙ’1及びｙ’2はそれぞれビットシフタ６０１により８ビットの信号に量子化された後、非線形量子化テーブル６０２及び６０３により５ビット及び３ビットの信号にそれぞれ量子化される。８ビットの信号に量子化された直流成分と５ビット及び３ビットの信号に量子化された中域周波数成分は、多重化器６０４によりビット多重されることによって１６ビットの信号として出力される。上記の処理により、復号画像信号の輝度成分は４画素×８ビットの３２ビットの信号から１６ビットの信号に変換され、データ量が１／２圧縮される。
復号画像信号中の色差信号は、それぞれ８ビットのＣｂ信号及びＣｒ信号によって構成される。Ｃｂ信号及びＣｒ信号は、水平２画素単位でサブサンプル部６０５に入力され、２画素の平均値が計算されて出力される。これによりＣｂ信号及びＣｒ信号のそれぞれの水平２画素単位の平均値は８ビットに丸められ、多重化器６０６によってＣｂ信号及びＣｒ信号合わせて１６ビットにビット多重されて出力される。上記の処理により、色差信号は水平１／２サブランプル処理が行われる結果、データ量が１／２に圧縮される。
このように図２０の圧縮器では、輝度信号についてはアダマール変換により圧縮すべき復号画像信号の１／２以上の周波数成分を保持しつつ、信号分布に最適化した非線形量子化により圧縮ノイズを抑えて１／２にデータを削減する。一方、色差信号については、高周波成分は重要度が低いことを利用して簡単な演算により水平１／２サブサンプリングを行うことにより、低コストでデータ量を１／２にする。従って、画質劣化を抑えつつ、少ない演算量またはハードウエアコストで復号画像の圧縮を実現することが可能となる。
図２１は、図２０の圧縮器により圧縮された復号画像信号の伸張処理を行う伸張器を示している。図２１の伸張器では、輝度信号については４画素毎に１６ビットに圧縮された信号がビット分離部７０４に入力される。ビット分離部７０４では輝度信号の直流成分に相当する８ビットの信号、中域周波数成分に相当する５ビット及び３ビットの信号が分離される。中域周波数成分の２つの信号は、非線形逆量子化テーブル７０２及び７０３によりそれぞれ逆量子化される。直流成分及び逆量子化された中域周波数成分は、４×１逆アダマール変換器７００に入力される。逆アダマール変換器７００には、さらに最高周波数成分に相当する係数として０が入力される。逆アダマール変換器７００により４×１逆アダマール変換が行われ、輝度信号は４画素単位に伸張された復号画像信号が出力される。
一方、色差信号については、Ｃｂ信号及びＣｒ信号それぞれ２画素ずつが圧縮され多重化された１６ビットの信号がビット分離部７０６に入力される。ビット分離部７０６から各々８ビットのＣｂ信号及びＣｒ信号が出力される。各々８ビットのＣｂ信号及びＣｒ信号は、アップサンプル部７０５によりそれぞれ水平２画素の信号にアップサンプリングすなわちダブリングされ、それぞれ２画素のデータとして出力される。
このように図２１の伸張器では、輝度信号については非線形逆量子化及び逆アダマール逆変換により、圧縮前の復号画像信号の１／２以上の周波数成分の再現が可能である。色差信号については、画素の２重化という非常に簡単な処理で伸張を行うことができる。従って、画質劣化を抑えつつ、少ない演算量またはハードウエアコストで、圧縮された復号画像の伸張を実現することが可能となる。
（第２の実施形態）
図２２は、本発明の第２の実施形態に従う動画像復号装置を示している。図１に示した本発明の第１の実施形態では、復号画像の表示のために第２フレームメモリ１１４に記憶されている圧縮画像信号を読み込み、それを第２伸張器１１７により伸張した後にバックエンド処理部１０５に送って再生画像信号１１０を生成している。これに対し、第２の実施形態では図２２に示すように、圧縮画像信号が記憶されている第２フレームメモリ１１４からでなく、非圧縮の復号画像信号が記憶されている第１フレームメモリ１１３から復号画像信号１０９を読み込み、画像信号１０９をバックエンド処理部１０５へ供給している。そのため、図１における第２伸張器１１７は不要となる。
このように非圧縮の復号画像信号を表示系のバックエンド処理部１０５に供給することにより、圧縮ノイズが軽減された、より画質劣化の少ない映像を表示することが可能となる。第２の実施形態では、第１の実施形態に比べて表示のための復号画像信号１０９の読み込みデータ転送量が増加し、またＢピクチャの復号画像を非圧縮の状態で第１フレームメモリ１１３に書き込む必要があるため、必要なメモリバンド幅は増加する。しかし、第１の実施形態と同様に、一般に高いメモリバンド幅が要求される参照画像信号の読み込みに関しては、第２フレームメモリ１１４に記憶された圧縮画像信号を利用することが可能であるため、メモリバンド幅の大幅な削減効果がある。従って、通常の復号装置に比べてトータルのメモリバンド幅を削減できる。
（第３の実施形態）
図２３は、本発明の第３の実施形態に従う動画像復号装置を示している。これまでの説明から明らかなように、第１の実施形態と第２の実施形態とでは、再生画像信号１１０の品質、すなわち表示画像の画質とメモリバンド幅削減量とのトレードオフが存在する。そこで、第３の実施形態では再生画像信号の生成法に関して、第１及び第２の実施形態に示した手法を適応的に選択可能としている。
図２３によると、第１フレームメモリ１１３から読み出される非圧縮の復号画像信号と、第２フレームメモリ１１４から読み出され第２伸張器１１７によって伸張された圧縮伸張画像信号とを切り替えて選択的にバックエンド処理部１０５に供給する切替器１２１が追加されている。このような構成に基づき、例えばメモリバンド幅の削減量を重視する場合は第２伸張器１１７からの圧縮伸張画像信号をバックエンド処理部１０５に供給し、表示画像の画質を優先させたい場合は非圧縮の復号画像信号をバックエンド処理部１０５に供給するように切替器１２１を動作させればよい。
（第４の実施形態）
図２４に示される本発明の第４の実施形態に従う動画像復号装置では、加算器１０４と圧縮器１１５との間にノイズ除去部３０１が挿入されている。加算器１０４の出力である復号画像信号１０８に対して、ノイズ除去部３０１によりノイズ除去が施され、ノイズ除去後の復号画像信号が圧縮器１１５により圧縮されて第２フレームメモリ１１４に記憶される。
第４の実施形態によると、これまでの実施形態と同様に、外部メモリに対するメモリバンド幅が削減される。ノイズ除去部３０１は、ＭＰＥＧ−２などで圧縮された動画像符号化データ１００のブロック歪やモスキートノイズなどの、圧縮方式固有の符号化歪を除去する目的で挿入されており、可変長復号器１０１によって生成される量子化ステップ幅や符号化モードなどの情報３００を用いて適応的にノイズ除去を行う。
通常の動画像復号化装置では、符号化時とは異なるノイズ除去処理を復号ループ内に入れると、参照画像の符号化時と復号時との不整合が発生し、復号画像に歪が生じる。一方、第４の実施形態では圧縮処理を行わない非圧縮の復号画像信号に対してはノイズ除去を行わず、圧縮されて第１フレームメモリ１１３に記憶される復号画像信号に対してのみノイズ除去を施す。これにより非圧縮の復号画像信号を参照画像信号として用いた復号処理では、符号化と復号との不整合が発生しない。圧縮画像信号を参照画像信号として用いた復号処理では、動画像符号化データ１００のノイズ除去に加えて、圧縮ノイズの低減が可能となる。さらに、ノイズ除去が施された復号画像信号について圧縮及び伸張を施した画像信号がバックエンド処理部１０５を経て表示系に供給されるため、トータルのメモリバンド幅を削減しつつ、ノイズの低減された高画質な映像を再生することが可能となる。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
本発明の第１の実施形態に従う動画像復号装置の構成を示すブロック図 動き補償予測フレーム間符号化の予測構造を示す図 メモリバンド幅削減が可能な比較例の動画像復号装置の復号動作を示す図 本発明の第１の実施形態における復号動作例を示す図 本発明の第１の実施形態における他の復号動作例を示す図 本発明の実施形態における第１の復号モード選択方法を説明するためのフローチャート 本発明の実施形態における第２の復号モード選択方法を説明するためのフローチャート 本発明の実施形態における第３の復号モード選択方法を説明するためのフローチャート 本発明の実施形態における第４の復号モード選択方法を説明するためのフローチャート 本発明の実施形態における第５の復号モード選択方法を説明するためのフローチャート 本発明の実施形態における第６の復号モード選択方法を説明するためのフローチャート 本発明の実施形態における第７の復号モード選択方法を説明するためのフローチャート 非圧縮画像を用いたマクロブロック単位のデコード処理の手順を示すフローチャート 圧縮画像を用いたマクロブロック単位のデコード処理の手順を示すフローチャート 復号画像のための圧縮器の第１の例を示すブロック図 復号画像のための伸張器の第１の例を示すブロック図 図１６の伸張器を変形した例を示すブロック図 復号画像のための圧縮器の第２の例を示すブロック図 復号画像のための伸張器の第２の例を示すブロック図 復号画像のための圧縮器の第３の例を示すブロック図 復号画像のための伸張器の第３の例を示すブロック図 本発明の第２の実施形態に従う動画像復号装置の構成を示すブロック図 本発明の第３の実施形態に従う動画像復号装置の構成を示すブロック図 本発明の第４の実施形態に従う動画像復号装置の構成を示すブロック図
符号の説明
１００・・・動画像符号化データ
１０１・・・可変長復号器
１０２・・・逆量子化器
１０３・・・逆直交変換器
１０４・・・加算器
１０５・・・バックエンド処理部
１０６・・・動き補償器
１１１・・・非圧縮画像信号
１１２・・・外部メモリ
１１３・・・第１フレームメモリ
１１４・・・第２フレームメモリ
１１５・・・圧縮器
１１６・・・伸張器
１１７・・・伸張器
１１８・・・圧縮画像信号
１１９・・・符号化モード情報
１２０・・・参照画像選択器
３００・・・符号化モード情報
３０１・・・ノイズ除去部
５０１・・・アダマール変換器
５０２・・・非線形量子化器
５１１・・・非線形逆量子化器
５１２・・・逆アダマール変換器
５２０・・・ローパスフィルタ
５３１・・・ローパスフィルタ
５３２・・・サブサンプリング部
５４１・・・オーバーサンプリング部
５４２・・・ローパスフィルタ
６００・・・４×１アダマール変換器
６０１・・・ビットシフタ
６０２・・・非線形量子化テーブル
６０３・・・非線形量子化テーブル
６０４・・・ビット多重化部
６０５・・・サブサンプル部
６０６・・・ビット多重化部
７００・・・４×１逆アダマール変換器
７０２・・・非線形逆量子化テーブル
７０３・・・非線形逆量子化テーブル
７０４・・・ビット分離部
７０５・・・アップサンプリング部
７０６・・・ビット分離部

Claims (15)

  1. 動画像信号に対する予測画像信号を用いて動画像符号化データを復号して復号画像信号を生成するステップと；
    前記復号画像信号を圧縮して圧縮画像信号を生成するステップと；
    前記復号画像信号を第１のメモリに記憶するステップと；
    前記圧縮画像信号を第２のメモリに記憶するステップと；
    前記第２のメモリから前記圧縮画像信号を読み込んで伸張し、圧縮伸張画像信号を生成するステップと；
    前記動画像符号化データのフレーム単位の符号化タイプ及びブロック単位の予測モードの少なくとも一方に応じて前記第１のメモリから読み込まれた復号画像信号及び前記圧縮伸張画像信号のいずれかを参照画像信号として選択するステップと；
    前記参照画像信号に対し動き補償を行って前記予測画像信号を生成するステップと；を具備する動画像復号方法。
  2. 動画像信号に対する予測画像信号を用いて動画像符号化データを復号して復号画像信号を生成する復号部と；
    前記復号画像信号を圧縮して圧縮画像信号を生成する圧縮器と；
    前記復号画像信号を記憶する第１のメモリと；
    前記圧縮画像信号を記憶する第２のメモリと；
    前記第２のメモリから前記圧縮画像信号を読み込んで伸張し、圧縮伸張画像信号を生成する伸張器と；
    前記動画像符号化データのフレーム単位の符号化タイプ及びブロック単位の予測モードの少なくとも一方に応じて前記第１のメモリから読み込まれた復号画像信号及び前記圧縮伸張画像信号のいずれかを参照画像信号として選択する参照画像選択器と；
    前記選択された参照画像信号に対し動き補償を行って前記予測画像信号を生成する動き補償部と；を具備する動画像復号装置。
  3. 前記参照画像選択器は、前記フレーム単位の符号化タイプが前記復号部により生成される復号画像信号が前記参照画像信号として用いられるタイプのときは、前記第１のメモリから読み込まれた復号画像信号を選択し、前記フレーム単位の符号化タイプが前記復号部により生成される復号画像信号が前記参照画像信号として用いられないタイプのときは、前記圧縮伸張画像信号を選択する請求項２に記載の動画像復号装置。
  4. 前記フレーム単位の符号化タイプはＩピクチャ、Ｐピクチャ及びＢピクチャのいずれかを表し、前記参照画像選択器は前記復号部により生成される復号画像信号が前記Ｐピクチャのときは、前記第１のメモリから読み込まれた復号画像信号を選択し、前記復号部により生成される復号画像信号が前記Ｂピクチャのときは、前記圧縮伸張画像信号を選択する請求項２に記載の動画像復号装置。
  5. 前記参照画像選択器は、前記ブロック単位の予測モードが前記動き補償部において前記参照画像信号の単一ブロックから前記予測画像信号が生成される第１モードのときは、前記第１のメモリから読み込まれた復号画像信号を選択し、前記ブロック単位の予測モードが前記動き補償部において前記参照画像信号の複数ブロックの平均値または線形和により前記予測画像信号が生成される第２モードのときは、前記圧縮伸張画像信号を選択する請求項２に記載の動画像復号装置。
  6. 前記ブロック単位の予測モードは、Ｂピクチャの予測画素ブロックが前方予測画素ブロック、後方予測画素ブロック及び双方向予測画素ブロックのいずれかであるかを表し、前記参照画像選択器は前記ブロック単位の予測モードが前記前方予測画素ブロックまたは後方予測画素ブロックを表すときは、前記第１のメモリから読み込まれた復号画像信号を選択し、前記ブロック単位の予測モードが前記双方向予測画素ブロックを表すときは、前記圧縮伸張画像信号を選択する請求項２に記載の動画像復号装置。
  7. 前記ブロック単位の予測モードは、少なくともＰピクチャの予測画素ブロックが単一の参照画像を用いた前方予測画素ブロック及び複数の参照画像を用いたデュアルプライム予測画素ブロックのいずれかであるかを表し、前記参照画像選択器は前記ブロック単位の予測モードが前記単一の参照画像を用いた前方予測画素ブロックを表すときは、前記第１のメモリから読み込まれた復号画像信号を選択し、前記ブロック単位の予測モードが前記デュアルプライム予測画素ブロックを表すときは、前記圧縮伸張画像信号中の二つの参照ブロックを選択する請求項２に記載の動画像復号装置。
  8. 前記圧縮伸張画像信号を処理して動画像の表示のための再生画像信号を生成する処理部をさらに具備する請求項２に記載の動画像復号装置。
  9. 前記第１のメモリから読み込まれる復号画像信号を処理して動画像の表示のための再生画像信号を生成する処理部をさらに具備する請求項２に記載の動画像復号装置。
  10. 前記圧縮伸張画像信号と前記第１のメモリから読み込まれる復号画像信号のいずれかを選択する表示用選択器と、該表示用選択器により選択された画像信号を処理して動画像の表示のための再生画像信号を生成する処理部をさらに具備する請求項２に記載の動画像復号装置。
  11. 前記復号画像信号に含まれる符号化ノイズを除去するノイズ除去部をさらに具備し、前記圧縮器は前記符号化ノイズが除去された後の復号画像信号を圧縮するように構成される請求項２に記載の動画像復号装置。
  12. 前記圧縮器は、帯域制限フィルタ及びサブサンプリングによって前記復号画像信号を圧縮するように構成される請求項２に記載の動画像復号装置。
  13. 前記圧縮器は、アダマール変換及び非線形量子化によって前記復号画像信号を圧縮するように構成される請求項２に記載の動画像復号装置。
  14. 前記圧縮器は、前記復号画像信号中の輝度信号に対してはアダマール変換及び非線形量子化によって前記復号画像信号を圧縮し、前記復号画像信号中の色差信号に対しては帯域制限フィルタ及びサブサンプリングによって前記復号画像信号を圧縮するように構成される請求項２に記載の動画像復号装置。
  15. 動画像信号に対する予測画像信号を用いて動画像符号化データを復号して復号画像信号を生成する処理と；
    前記復号画像信号を圧縮して圧縮画像信号を生成する処理と；
    前記復号画像信号を第１のメモリに記憶する処理と；
    前記圧縮画像信号を第２のメモリに記憶する処理と；
    前記第２のメモリから前記圧縮画像信号を読み込んで伸張し、圧縮伸張画像信号を生成する処理と；
    前記動画像符号化データのフレーム単位の符号化タイプ及びブロック単位の予測モードの少なくとも一方に応じて前記第１のメモリから読み込まれた復号画像信号及び前記圧縮伸張画像信号のいずれかを参照画像信号として選択する処理と；
    前記参照画像信号に対し動き補償を行って前記予測画像信号を生成する処理と；を含む動画像復号処理をコンピュータに行わせるためのプログラム。
JP2006088883A 2006-03-28 2006-03-28 動画像復号方法及び装置 Expired - Fee Related JP4384130B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006088883A JP4384130B2 (ja) 2006-03-28 2006-03-28 動画像復号方法及び装置
EP20070004239 EP1853067A1 (en) 2006-03-28 2007-03-01 Video decoding method and apparatus
CN2007101288459A CN101080014B (zh) 2006-03-28 2007-03-02 视频解码方法和装置
KR20070024547A KR100874518B1 (ko) 2006-03-28 2007-03-13 동화상 복호화 방법 및 장치
US11/688,507 US8553767B2 (en) 2006-03-28 2007-03-20 Video decoding method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006088883A JP4384130B2 (ja) 2006-03-28 2006-03-28 動画像復号方法及び装置

Publications (2)

Publication Number Publication Date
JP2007266970A true JP2007266970A (ja) 2007-10-11
JP4384130B2 JP4384130B2 (ja) 2009-12-16

Family

ID=38519849

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006088883A Expired - Fee Related JP4384130B2 (ja) 2006-03-28 2006-03-28 動画像復号方法及び装置

Country Status (5)

Country Link
US (1) US8553767B2 (ja)
EP (1) EP1853067A1 (ja)
JP (1) JP4384130B2 (ja)
KR (1) KR100874518B1 (ja)
CN (1) CN101080014B (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012005106A1 (ja) * 2010-07-08 2012-01-12 日本電気株式会社 映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラム
JP2012195703A (ja) * 2011-03-15 2012-10-11 Fujitsu Ltd トランスコード装置及びトランスコード方法
WO2012160614A1 (ja) * 2011-05-25 2012-11-29 パナソニック株式会社 動画像復号装置
WO2013145051A1 (ja) * 2012-03-28 2013-10-03 日本電気株式会社 ノイズ除去処理システム、ノイズ除去処理回路、プログラムを格納した非一時的なコンピュータ可読媒体、記憶媒体、ノイズ除去処理方法
JP2014506441A (ja) * 2011-01-12 2014-03-13 シーメンス アクチエンゲゼルシヤフト ビデオデコーダにおける参照画像の圧縮方法及び伸長方法
US9008185B2 (en) 2008-12-02 2015-04-14 Samsung Electronics Co., Ltd. Apparatus and method of lossless compression/restoration of selective image information
US10666982B2 (en) 2015-01-09 2020-05-26 Kabushiki Kaisha Toshiba Video transmission system, coding apparatus, and moving picture compression method
JP2020108135A (ja) * 2018-12-25 2020-07-09 廈門星宸科技有限公司 映像復号装置および映像復号方法
JP2020527764A (ja) * 2017-10-31 2020-09-10 グーグル エルエルシー 映像フレームコーデックアーキテクチャ

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8121196B2 (en) 2006-11-02 2012-02-21 Corel Corporation Method and apparatus for multi-threaded video decoding
KR100939917B1 (ko) 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
JP2009267689A (ja) * 2008-04-24 2009-11-12 Panasonic Corp 動画像符号化装置、及び動画像符号化方法
US9326004B2 (en) * 2008-06-03 2016-04-26 Broadcom Corporation Reduced memory mode video decode
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
US20100098166A1 (en) * 2008-10-17 2010-04-22 Texas Instruments Incorporated Video coding with compressed reference frames
TWI387317B (zh) * 2008-12-11 2013-02-21 Novatek Microelectronics Corp 產生重新取樣參考畫面之裝置及其方法與影像解碼系統
CN101847394B (zh) * 2009-03-26 2012-03-07 珠海扬智电子有限公司 用以解码及显示视讯文件的存储器映射方法及装置
TW201101840A (en) * 2009-06-30 2011-01-01 Sunplus Technology Co Ltd Apparatus and method for reducing memory access bandwidth in video decoding
CN101841711B (zh) * 2010-04-17 2012-01-04 上海交通大学 用于视频解码的反量化装置及其实现方法
JP5807638B2 (ja) * 2010-07-13 2015-11-10 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
US8503528B2 (en) * 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter
JP5496047B2 (ja) * 2010-10-07 2014-05-21 パナソニック株式会社 画像再生方法、画像再生装置、画像再生プログラム、撮像システム、および再生システム
JP5850214B2 (ja) * 2011-01-11 2016-02-03 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US10034009B2 (en) * 2011-01-14 2018-07-24 Vidyo, Inc. High layer syntax for temporal scalability
CN102685475B (zh) * 2011-03-11 2015-04-29 杭州海康威视数字技术股份有限公司 视频减帧率的隔行压缩显示方法及其系统
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US9521434B2 (en) * 2011-06-09 2016-12-13 Qualcomm Incorporated Internal bit depth increase in video coding
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
KR101885341B1 (ko) * 2011-10-20 2018-08-07 삼성전자 주식회사 디스플레이 드라이버와 이미지 데이터 처리 장치의 동작 방법
KR20150081373A (ko) * 2011-12-21 2015-07-13 인텔 코포레이션 움직임 보상 및 디스플레이 리프레시의 전력 소모를 감소시키는 dram 압축 방안
TWI606718B (zh) * 2012-01-03 2017-11-21 杜比實驗室特許公司 規定視覺動態範圍編碼操作及參數
JP5727398B2 (ja) 2012-01-26 2015-06-03 日本電信電話株式会社 動画像符号化方法，動画像符号化装置および動画像符号化プログラム
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
JP5969914B2 (ja) 2012-12-20 2016-08-17 株式会社日立情報通信エンジニアリング 動画像圧縮伸張装置
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
CN106303544B (zh) 2015-05-26 2019-06-11 华为技术有限公司 一种视频编解码方法、编码器和解码器
KR101770300B1 (ko) 2015-06-09 2017-08-22 삼성전자주식회사 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US10681380B2 (en) * 2015-06-12 2020-06-09 Panasonic Intellectual Property Management Co., Ltd. Image encoding method, image decoding method, image encoding apparatus, and image decoding apparatus
KR102171119B1 (ko) * 2015-11-05 2020-10-28 삼성전자주식회사 복수개의 블록 기반의 파이프라인을 이용한 데이터 처리 속도 개선 장치 및 그 동작 방법
JP6679290B2 (ja) * 2015-11-30 2020-04-15 ルネサスエレクトロニクス株式会社 半導体装置
TWI601410B (zh) * 2016-01-11 2017-10-01 晨星半導體股份有限公司 視訊串流解碼方法及視訊串流解碼系統
CN107820095B (zh) * 2016-09-14 2020-01-03 北京金山云网络技术有限公司 一种长期参考图像选择方法及装置
JP2019080291A (ja) * 2017-10-27 2019-05-23 ルネサスエレクトロニクス株式会社 データ処理装置及びデータ処理方法
US11308873B2 (en) * 2019-05-23 2022-04-19 Samsung Display Co., Ltd. Redundancy assisted noise control for accumulated iterative compression error
US11245931B2 (en) 2019-09-11 2022-02-08 Samsung Display Co., Ltd. System and method for RGBG conversion
KR20210077087A (ko) 2019-12-16 2021-06-25 삼성디스플레이 주식회사 발광 구동부 및 이를 포함하는 표시장치
US11516477B2 (en) 2021-02-11 2022-11-29 Qualcomm Incorporated Intra block copy scratch frame buffer

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5376968A (en) * 1993-03-11 1994-12-27 General Instrument Corporation Adaptive compression of digital video data using different modes such as PCM and DPCM
DE69619002T2 (de) * 1995-03-10 2002-11-21 Toshiba Kawasaki Kk Bildkodierungs-/-dekodierungsvorrichtung
US5777677A (en) * 1996-02-09 1998-07-07 International Business Machines Corporation Approximate MPEG decoder with compressed reference frames
US6744925B2 (en) * 1996-03-19 2004-06-01 Mitsubishi Denki Kabushiki Kaisha Encoding apparatus, decoding apparatus, encoding method, and decoding method
US6477202B1 (en) * 1997-09-03 2002-11-05 Matsushita Electric Industrial Co., Ltd. Apparatus of layered picture coding, apparatus of picture decoding, methods of picture decoding, apparatus of recording for digital broadcasting signal, and apparatus of picture and audio decoding
JP3568392B2 (ja) 1998-06-17 2004-09-22 三洋電機株式会社 動画像復号化装置
JP2000050272A (ja) 1998-07-31 2000-02-18 Sony Corp 復号化装置及び方法
JP2000078568A (ja) 1998-08-28 2000-03-14 Sony Corp 復号化装置及び方法
JP2001257887A (ja) * 2000-03-14 2001-09-21 Fuji Xerox Co Ltd 画像符号化装置および画像復号装置ならびに画像符号化方法および画像復号方法
US20020075961A1 (en) * 2000-12-19 2002-06-20 Philips Electronics North America Corporaton Frame-type dependent reduced complexity video decoding
JP3643777B2 (ja) * 2001-02-28 2005-04-27 三洋電機株式会社 動画像復号装置および動画像復号方法
KR20020095260A (ko) * 2001-03-12 2002-12-20 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 인코더 및 재코딩 장치
KR20030001625A (ko) * 2001-06-25 2003-01-08 (주)아이디스 동영상 압축시 예측 프레임 생성 및 재생 방법
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US6983017B2 (en) * 2001-08-20 2006-01-03 Broadcom Corporation Method and apparatus for implementing reduced memory mode for high-definition television
US7085421B2 (en) * 2002-08-05 2006-08-01 Shih-Zheng Kuo Image processing method for facilitating data transmission
KR100497760B1 (ko) * 2003-02-18 2005-06-29 (주) 멀티비아 이동통신 단말기용 동영상 부호화 시스템 및 방법
JP2005020294A (ja) * 2003-06-25 2005-01-20 Sony Corp ブロック歪低減装置
JP2005124091A (ja) * 2003-10-20 2005-05-12 Sony Corp 復号装置及び復号方法
US20070195882A1 (en) * 2004-03-08 2007-08-23 Koninklijke Philips Electronics N.V. A Corporation Video decoder with scalable compression and buffer for storing and retrieving reference frame data
JP4411131B2 (ja) * 2004-05-06 2010-02-10 Ｋｄｄｉ株式会社 符号化動画像再生装置
KR100640876B1 (ko) * 2004-11-17 2006-11-02 엘지전자 주식회사 이동 방송 수신기의 비디오 디코딩 시스템
US7949044B2 (en) * 2005-04-12 2011-05-24 Lsi Corporation Method for coefficient bitdepth limitation, encoder and bitstream generation apparatus

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9008185B2 (en) 2008-12-02 2015-04-14 Samsung Electronics Co., Ltd. Apparatus and method of lossless compression/restoration of selective image information
WO2012005106A1 (ja) * 2010-07-08 2012-01-12 日本電気株式会社 映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラム
US9258560B2 (en) 2010-07-08 2016-02-09 Nec Corporation Video decoding apparatus, video coding apparatus, video decoding method, video coding method, and program
JPWO2012005106A1 (ja) * 2010-07-08 2013-09-02 日本電気株式会社 映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラム
JP5835585B2 (ja) * 2010-07-08 2015-12-24 日本電気株式会社 映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラム
US9398292B2 (en) 2011-01-12 2016-07-19 Siemens Aktiengesellschaft Compression and decompression of reference images in video coding device
JP2014506441A (ja) * 2011-01-12 2014-03-13 シーメンス アクチエンゲゼルシヤフト ビデオデコーダにおける参照画像の圧縮方法及び伸長方法
JP2012195703A (ja) * 2011-03-15 2012-10-11 Fujitsu Ltd トランスコード装置及びトランスコード方法
WO2012160614A1 (ja) * 2011-05-25 2012-11-29 パナソニック株式会社 動画像復号装置
JPWO2013145051A1 (ja) * 2012-03-28 2015-08-03 日本電気株式会社 ノイズ除去処理システム、ノイズ除去処理回路、プログラム、ノイズ除去処理方法
WO2013145051A1 (ja) * 2012-03-28 2013-10-03 日本電気株式会社 ノイズ除去処理システム、ノイズ除去処理回路、プログラムを格納した非一時的なコンピュータ可読媒体、記憶媒体、ノイズ除去処理方法
US10666982B2 (en) 2015-01-09 2020-05-26 Kabushiki Kaisha Toshiba Video transmission system, coding apparatus, and moving picture compression method
JP7057378B2 (ja) 2017-10-31 2022-04-19 グーグル エルエルシー 映像フレームコーデックアーキテクチャ
JP2020527764A (ja) * 2017-10-31 2020-09-10 グーグル エルエルシー 映像フレームコーデックアーキテクチャ
JP2022105012A (ja) * 2017-10-31 2022-07-12 グーグル エルエルシー 映像フレームコーデックアーキテクチャ
US11425404B2 (en) 2017-10-31 2022-08-23 Google Llc Video frame codec architectures
JP7421589B2 (ja) 2017-10-31 2024-01-24 グーグル エルエルシー 映像フレームコーデックアーキテクチャ
US11962795B2 (en) 2017-10-31 2024-04-16 Google Llc Video frame codec architectures
US11968381B2 (en) 2017-10-31 2024-04-23 Google Llc Video frame codec architectures
JP7017542B2 (ja) 2018-12-25 2022-02-08 星宸科技股▲ふん▼有限公司 映像復号装置および映像復号方法
JP2020108135A (ja) * 2018-12-25 2020-07-09 廈門星宸科技有限公司 映像復号装置および映像復号方法

Also Published As

Publication number Publication date
US8553767B2 (en) 2013-10-08
CN101080014A (zh) 2007-11-28
KR100874518B1 (ko) 2008-12-16
EP1853067A1 (en) 2007-11-07
JP4384130B2 (ja) 2009-12-16
US20070230572A1 (en) 2007-10-04
CN101080014B (zh) 2011-01-19
KR20070097309A (ko) 2007-10-04

Similar Documents

Publication Publication Date Title
JP4384130B2 (ja) 動画像復号方法及び装置
JP6701391B2 (ja) 改良情報を用いてダウンサンプリング／アップサンプリングすることによるデジタルフレームの符号化／復号化
US6301304B1 (en) Architecture and method for inverse quantization of discrete cosine transform coefficients in MPEG decoders
US9380311B2 (en) Method and system for generating a transform size syntax element for video decoding
US7324595B2 (en) Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction
US8121195B2 (en) Memory reduced H264/MPEG-4 AVC codec
JP4393875B2 (ja) 複雑さの軽減された復号化に適したシングルレイヤビデオ符号化されたビットストリームを供給するシステム及び方法
US6404817B1 (en) MPEG video decoder having robust error detection and concealment
JP4334768B2 (ja) 圧縮映像のブリージングアーチファクトを低減する方法および装置
US20040179610A1 (en) Apparatus and method employing a configurable reference and loop filter for efficient video coding
WO2010092740A1 (ja) 画像処理装置、画像処理方法、プログラムおよび集積回路
US7787541B2 (en) Dynamic pre-filter control with subjective noise detector for video compression
US8811493B2 (en) Method of decoding a digital video sequence and related apparatus
JPH09214981A (ja) イメージを表す情報を処理するシステムおよびｍｐｅｇ符号化イメージを表すデータのディジタル・データストリームを処理する方法
JPH0851626A (ja) 動画像信号の変換係数量子化方法及び装置、並びに動画像信号圧縮装置
JPH1098723A (ja) メモリの低減を実現するｍｐｅｇビデオデコーダ回路および方法
Chen et al. Introduction to H. 264 advanced video coding
US20070076802A1 (en) Video presentation at fractional speed factor using time domain interpolation
US9386310B2 (en) Image reproducing method, image reproducing device, image reproducing program, imaging system, and reproducing system
WO2007148619A1 (ja) 動画像復号装置、復号画像記録装置、それらの方法及びプログラム
KR100364748B1 (ko) 영상 변환 부호화 장치
JP2009510822A (ja) ビデオ誤り隠蔽を改善するための符号化／復号化方法及び装置
JP3599909B2 (ja) 動画像符号化装置
JP2000049617A (ja) 符号化高精細ビデオ信号から復号化低解像度ビデオ信号を得るためのシステムの方法
US8233709B2 (en) Color effects for compressed digital video

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090901

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090924

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131002

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees