JP2007311924A - 帯域分析装置及び方法、帯域合成装置及び方法、画像符号化装置及び方法、画像復号装置及び方法、並びにプログラム及び記録媒体 - Google Patents

帯域分析装置及び方法、帯域合成装置及び方法、画像符号化装置及び方法、画像復号装置及び方法、並びにプログラム及び記録媒体 Download PDF

Info

Publication number
JP2007311924A
JP2007311924A JP2006136876A JP2006136876A JP2007311924A JP 2007311924 A JP2007311924 A JP 2007311924A JP 2006136876 A JP2006136876 A JP 2006136876A JP 2006136876 A JP2006136876 A JP 2006136876A JP 2007311924 A JP2007311924 A JP 2007311924A
Authority
JP
Japan
Prior art keywords
end line
filtering
picture
subband
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006136876A
Other languages
English (en)
Other versions
JP4371120B2 (ja
Inventor
Takahiro Fukuhara
隆浩 福原
Katsutoshi Ando
勝俊 安藤
Naoto Nishimura
直人 西村
Yuki Tanaka
祐樹 田中
Katsuji Shimura
勝治 志村
Hiroo Takahashi
裕雄 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006136876A priority Critical patent/JP4371120B2/ja
Priority to US11/745,132 priority patent/US7907785B2/en
Priority to TW96116127A priority patent/TW200803524A/zh
Priority to KR1020070047213A priority patent/KR101376385B1/ko
Priority to CN2007101041263A priority patent/CN101076118B/zh
Publication of JP2007311924A publication Critical patent/JP2007311924A/ja
Application granted granted Critical
Publication of JP4371120B2 publication Critical patent/JP4371120B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41Bandwidth or redundancy reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】動画像信号をリアルタイムにウェーブレット変換・ウェーブレット逆変換する。
【解決手段】帯域分析装置10は、垂直分析フィルタ部13において、Nライン分のラインデータD12に対して垂直方向の低域分析フィルタリングと高域分析フィルタリングとを行い、水平分析フィルタ部14において、低域成分及び高域成分D13に対して水平方向の低域分析フィルタリングと高域分析フィルタリングとを行うことにより、ビデオ信号D10を構成する各ピクチャをウェーブレット変換する。この際、帯域分析装置10は、現ピクチャ及び現ピクチャの各サブバンドの下端ラインでの対称拡張処理のタイミングを早めることにより、次ピクチャが入力される前に、現ピクチャのウェーブレット変換を終了させる。
【選択図】図1

Description

本発明は、動画像を構成する各ピクチャをフィルタバンクによって帯域分析し、複数のサブバンドに分割する帯域分析装置及びその方法、複数のサブバンドに分割されたピクチャをフィルタバンクによって帯域合成する帯域合成装置及びその方法、動画像を構成する各ピクチャをフィルタバンクによって帯域分析して符号化し、符号化コードストリームを生成する画像符号化装置及びその方法、符号化コードストリームを復号し、フィルタバンクによって帯域合成し、動画像を復元する画像復号装置及びその方法、並びにプログラム及び記録媒体に関する。
従来の代表的な画像圧縮方式として、ISO(International Standards Organization)によって標準化されたJPEG(Joint Photographic Experts Group)方式がある。これは、離散コサイン変換(Descrete Cosine Transform;DCT)を用い、比較的高いビットが割り当てられる場合には、良好な符号化画像及び復号画像を供することが知られている。しかし、ある程度以上に符号化ビット数を少なくすると、DCT変換特有のブロック歪みが顕著になり、主観的に劣化が目立つようになる。
一方、近年ではフィルタバンクと呼ばれる低域フィルタと高域フィルタとを組み合わせたフィルタによって画像を複数の帯域(サブバンド)に分割し、サブバンド毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット変換符号化は、DCT変換のように高圧縮でブロック歪みが顕著になるという欠点がないことから、DCT変換に代わる新たな技術として有力視されている。
2001年1月に国際標準化が完了したJPEG2000方式は、このウェーブレット変換と、高能率なエントロピー符号化(ビットプレーン単位のビットモデリングと算術符号化)とを組み合わせた方式を採用しており、JPEG方式に比べて符号化効率の大きな改善を実現している。
特開2001−197499号公報
ところで、JPEG2000方式は、基本的に静止画像を符号化するための規格であり、衛星画像や地図画像、証明用写真の画像等に応用が期待されているが、動画像を構成する各ピクチャをJPEG2000方式に従って符号化するMotion−JPEG2000方式も、JPEG2000方式の拡張版のパート3規格として標準化されている。
しかしながら、ビデオ信号等の動画像をJPEG2000方式で符号化するためには、連続して入力される各ピクチャをリアルタイムに符号化しなければならない。特に、JPEG2000方式で用いられているウェーブレット変換は、圧縮効率を向上させるために、各ピクチャを所望の分割レベルまで帯域分割することが一般的であるため、現ピクチャの最終分割レベルの分析フィルタリングを次ピクチャが入力される前に終了していなければならない。
このことは、JPEG2000方式に限らず、動画像を構成する各ピクチャをウェーブレット変換によって複数のサブバンドに分割し、サブバンド毎に符号化を行う他の画像圧縮方式においても同様である。
ここで、専用のハードウェアの場合には、ハードウェアの処理クロック数を上げてウェーブレット変換の動作速度を向上させることで対応可能であるが、処理クロック数を上げると消費電力が大きくなるという問題がある。また、FPGA(Field Programmable Gate Array)やPLD(Programmable Logic Device)などのプログラマブルなハードウェアでは、処理クロックが低いために対応できないという問題もある。
本発明は、このような従来の実情に鑑みて提案されたものであり、動画像信号をリアルタイムにウェーブレット変換・ウェーブレット逆変換する帯域分析装置及びその方法、帯域合成装置及びその方法、動画像信号をリアルタイムにウェーブレット変換・ウェーブレット逆変換しながら符号化・復号する画像符号化装置及びその方法、画像復号装置及びその方法、並びにプログラム及び記録媒体を提供することを目的とする。
上述した目的を達成するために、本発明に係る帯域分析装置は、複数のピクチャで構成される動画像信号を入力する入力手段と、各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより、複数のサブバンドを生成するウェーブレット変換手段とを備え、上記ウェーブレット変換手段は、次ピクチャの上端ラインの分析フィルタリングを行う時刻よりも前に現ピクチャの下端ラインの分析フィルタリングが終了するように、現ピクチャ及び現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの分析フィルタリングを行うことを特徴とする。
また、上述した目的を達成するために、本発明に係る帯域合成装置は、動画像信号を構成する各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより生成した複数のサブバンドの係数データを入力する入力手段と、上記複数のサブバンドの係数データに対して、各サブバンドの上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の合成フィルタリングを階層的に行うことにより、上記動画像信号の各ピクチャを生成するウェーブレット逆変換手段とを備え、上記ウェーブレット逆変換手段は、次ピクチャの各サブバンドの上端ラインの合成フィルタリングを行う時刻よりも前に現ピクチャの各サブバンドの下端ラインの合成フィルタリングが終了するように、現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの合成フィルタリングを行うことを特徴とする。
また、上述した目的を達成するために、本発明に係る画像符号化装置は、複数のピクチャで構成される動画像信号を入力する入力手段と、各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより、複数のサブバンドを生成するウェーブレット変換手段と、上記ウェーブレット変換手段によって生成された複数のサブバンドの係数データを符号化し、符号化コードストリームを生成する符号化手段とを備え、上記ウェーブレット変換手段は、次ピクチャの上端ラインの分析フィルタリングを行う時刻よりも前に現ピクチャの下端ラインの分析フィルタリングが終了するように、現ピクチャ及び現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの分析フィルタリングを行うことを特徴とする。
また、上述した目的を達成するために、本発明に係る画像復号装置は、動画像信号を構成する各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより複数のサブバンドを生成し、該複数のサブバンドの係数データを符号化して生成された符号化コードストリームを入力する入力手段と、上記符号化コードストリームを復号して上記複数のサブバンドの係数データを生成する復号手段と、上記複数のサブバンドの係数データに対して、各分割レベルのサブバンドの上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の合成フィルタリングを階層的に行うことにより、上記動画像信号の各ピクチャを生成するウェーブレット逆変換手段とを備え、上記ウェーブレット逆変換手段は、次ピクチャの各サブバンドの上端ラインの合成フィルタリングを行う時刻よりも前に現ピクチャの各サブバンドの下端ラインの合成フィルタリングが終了するように、現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの合成フィルタリングを行うことを特徴とする。
また、本発明に係るプログラムは、上述した帯域分析処理、帯域合成処理、画像符号化処理、画像復号処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
本発明によれば、次ピクチャをウェーブレット変換・ウェーブレット逆変換する時刻よりも前に現ピクチャのウェーブレット変換・ウェーブレット逆変換が終了するため、動画像信号をリアルタイムにウェーブレット変換・ウェーブレット逆変換することができる。
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
(第1の実施の形態)
第1の実施の形態では、入力されたビデオ信号を分析フィルタバンクによって帯域分析し、複数のサブバンドに分割する帯域分析装置について説明する。
第1の実施の形態における帯域分析装置の概略構成を図1に示す。図1に示すように、帯域分析装置10は、画像ライン入力部11と、ラインバッファ部12と、垂直分析フィルタ部13と、水平分析フィルタ部14とから構成されている。
画像ライン入力部11は、ビデオ信号D10をライン毎に入力し、画像ラインのデータ列D11をラインバッファ部12に供給する。
ビデオ信号は通常規格で定められており、例えば現在我々が視聴しているテレビジョン放送の規格はNTSC(National Television Standards Committee)方式である。また、HDTV(High Definition TeleVision)方式は、米国の規格化団体SMPTE(The Society of Motion Picture and Television Engineers)によってSMPTE274Mという規格番号で標準化されている。以下ではHDTV方式(1920×1080の解像度)を例に取って説明する。
HDTV方式のSMPTE274M規格の信号のうち、インタレース信号の信号分布図を図2に示す。この図2において、上段は第1フィールド、下段は第2フィールドを示す。第1フィールドの実際の信号は、図中22Hとある22ライン分の垂直ブランク信号(V_BLK1)の後ろの図中の21ライン目から560ライン目まで(560−21+1=540ライン)に位置する。一方、第2フィールドの実際の信号は、図中23Hとある23ライン分の垂直ブランク信号(V_BLK2)の後ろの図中の584ライン目から1123ライン目まで(1123−584+1=540ライン)に位置する。
このように、ビデオ信号は、実際のデータの前後に垂直ブランク信号が存在している。第1、第2フィールドの実画像領域とブランク領域とを図3に示す。この図3には、上述のV_BLK1、V_BLK2についても併せて図示している。
なお、帯域分析装置10におけるウェーブレット変換は、ビデオ信号を構成するピクチャ(フィールド、フレーム)単位で行われるため、ピクチャの終端を検出し、分析フィルタリングの動作をリセットする必要がある。そこで、画像ライン入力部11は、ビデオ信号の垂直ブランク信号を検出することにより、ピクチャの終端を検出する。
ラインバッファ部12は、画像ラインのデータ列D11をライン毎に記憶・保持し、図4に示すように、垂直フィルタリングに必要なライン数(Nライン)分だけ記憶するまで、これを継続する。
垂直分析フィルタ部13は、Nライン分のラインデータD12を順次読み出し、垂直方向の低域分析フィルタリングと高域分析フィルタリングとを行う。この垂直フィルタリングにより、図5に示すように、垂直分割結果の低域成分(L)及び高域成分(H)D13が生成される。
水平分析フィルタ部14は、低域成分及び高域成分D13の水平方向のサンプル数が水平フィルタリングに必要なサンプル数(Mサンプル)になり次第、水平方向の低域分析フィルタリングと高域分析フィルタリングとを行う。この水平フィルタリングにより、図6に示すように、水平分割結果の低域成分(1LL)D14と、高域成分(1HL、1LH、1HH)D15とが生成される。なお、図6における“L”及び“H”の順序は、前側が水平フィルタリングを行った結果の帯域を示し、後側が垂直フィルタリングを行った結果の帯域を示す。また、“L”及び“H”の前の数字は分割レベルを示す。
以上が分割レベル=1の分析フィルタリングであり、この結果、垂直フィルタ部14において低域成分(1LL)D14と、高域成分(1HL、1LH、1HH)D15とが生成される。
通常、ウェーブレット変換では、所望の分割レベルまで低域成分が階層的に分割される。したがって、本実施の形態においても、低域成分(1LL)D14は、分析フィルタバンクによってさらに分割するため、ラインバッファ部12に供給される。そして、ラインバッファ部12において再び垂直方向の分析フィルタリングが可能になるだけのライン数がバッファリングされた時点で、直ちに分割レベル=2の分析フィルタリングが行われる。このように、低域成分が繰り返し分割されるのは、画像信号のエネルギの大部分が低域成分に集中しているためである。
分割レベル=2の分析フィルタリングでは、垂直分析フィルタ部13は、図6に示すように、N/2ライン分のラインデータD12を順次読み出し、垂直方向の低域分析フィルタリングと高域分析フィルタリングとを行う。そして、水平分析フィルタ部14は、低域成分及び高域成分D13の水平方向のサンプル数がMサンプルになり次第、水平方向の低域分析フィルタリングと高域分析フィルタリングとを行う。この水平フィルタリングにより、図7に示すように、低域成分(2LL)と、高域成分(2HL、2LH、2HH)とが生成される。図7から分かるように、分割レベル=1の1LLのサブバンドが、2LL、2HL、2LH、2HHの4つのサブバンドに分割され、計7つのサブバンドが生成されている。
さらに分割レベル数を増やす場合には、低域成分に対して繰り返し分析フィルタリングを行えばよい。実際の画像を分析フィルタリングによって分割レベル=3まで帯域分割した例を図8に示す。
なお、ラインバッファ部12に記憶・保持される各サブバンドのライン数Nは、分割レベルが1つ小さくなる毎に2倍になる。したがって、図8のように、分割レベル=3のサブバンドにおけるライン数が1ラインであるとき、分割レベル=2のサブバンドでは2ラインとなり、分割レベル=1では4ラインとなる。これは、ウェーブレット変換の原理に起因する。
ここで、上述した分析フィルタリングで最も一般的な演算方法は、畳み込み演算と呼ばれる方法である。この畳み込み演算は、デジタルフィルタの最も基本的な実現手段であり、フィルタのタップ係数に実際の入力データを畳み込み乗算するものである。しかしながら、この畳み込み演算では、タップ長が長いとその分計算負荷が増えるという問題がある。
この問題を解決する方法として、論文「W. Swelden,“The lifting scheme: A custom-design construction of Biorthogonal wavelets.”, Appl. Comput. Harmon. Anal., vol.3, no.2, pp.186-200, 1996」で紹介されたウェーブレット変換のリフティング技術が知られている。
JPEG2000規格でも採用されている9×7分析フィルタのリフティング構成を図9に示す。9×7分析フィルタに対してリフティング技術を適用したときの分析フィルタリングについて、この図9を用いて概略的に説明する。
図9において、1段目(最上段)は入力画像のサンプル群を示し、2,3段目はそれぞれステップ1,2の処理で生成される成分を示す。また、4段目はステップ3の処理で生成される高域成分出力を示し、5段目(最下段)はステップS4の処理で生成される低域成分出力を示す。1段目は、入力画像のサンプル群に限らず、先の分析フィルタリングで得られた係数であってもよい。ここでは、1段目が入力画像のサンプル群であるものとし、四角印(■)が偶数番目のサンプル又はライン、丸印(●)が奇数番目のサンプル又はラインとする。
9×7分析フィルタに対してリフティング技術を適用したときの分析フィルタリングでは、ステップ3の処理で高域成分が得られ、ステップ4の処理で低域成分が得られる。なお、ステップ1〜4の処理は、以下の計算式で表される。
ステップ1:d =d +α(s +si+1
ステップ2:s =s +β(di−1 +d
ステップ3:d =d +γ(s +si+1
ステップ4:s =s +δ(di−1 +d
この図9に示すリフティング構成を利用した分析フィルタリングにより、1つの分割レベルでの分析が行えるため、これを多段階に行うことで所望の分割レベルまでの分析フィルタリングを行うことができる。
なお、以下の説明では、例えば表示デバイス等において画面の左上隅の画素を先頭として、各画素が画面の左端から右端に向けて走査されて1ラインが構成され、ライン毎の走査が画面の上端から下端に向けて行われて1画面が構成されるものとする。
9×7分析フィルタに対してリフティング技術を適用したときの分析フィルタリングを分割レベル=2まで行った例を図10に示す。図9と異なり、図10では入力画像のラインを図中縦方向に示している。すなわち、分析フィルタリングは、垂直分析フィルタを用いて画面上をサンプルが縦に走査されて行われる。
分割レベル=1の分析フィルタリングでは、図中上から下の方向に、高域成分(1)→低域成分(2)→高域成分(3)→低域成分(4)→・・・の順序で各成分が生成される。また、分割レベル=2の分析フィルタリングでは、図中上から下の方向に、高域成分(1)→低域成分(2)→高域成分(3)→低域成分(4)→・・・の順序で各成分が生成される。なお、実際には分析レベル=1の分析フィルタリングを行いながら分析レベル=2の分析フィルタリングが行われるが、ここでは説明を省略する。
図10から分かるように、分割レベル=2で高域成分及び低域成分が生成されるタイミングは、分割レベル=1で高域成分及び低域成分が生成されるタイミングの2倍に遅くなっている。これは、リフティング構成を利用した分析フィルタリングの特徴でもある。
前述したように、ウェーブレット変換では各ピクチャを所望の分割レベルまで帯域分割することが一般的である。しかしながら、上述のように分割レベルが大きくなるほど高域成分及び低域成分の生成されるタイミングが2倍ずつ遅くなるため、ビデオ信号D10をウェーブレット変換する場合には、現ピクチャのウェーブレット変換が図2に示した垂直ブランク期間内に終了せず、次ピクチャが入力される虞がある。
現ピクチャのウェーブレット変換が、次ピクチャが入力されるまでに終了しない例を図11に示す。この図11では、現ピクチャと次ピクチャとをウェーブレット変換するときの分割レベル=4までの処理を時系列的に示している。図中のライン番号は、図2のSMPTE274M規格から引用したものである。図11に示すように、次ピクチャの分割レベル=1の分析フィルタリングが行われる時点で、現ピクチャの分割レベル=3,4の分析フィルタリングが終了していない。
そこで、本実施の形態における帯域分析装置10では、図12に示すように、現ピクチャの各分割レベルの分析フィルタリングにおいて、下端ラインの分析フィルタリングのタイミングを早める。これにより、次ピクチャの分割レベル=1の分析フィルタリングが行われる時点までに、現ピクチャの分割レベル=4までの分析フィルタリングを終了させることができる。
以下、現ピクチャの各分割レベルの分析フィルタリングにおいて、下端ラインの分析フィルタリングのタイミングを早める方法について説明する。
図10と同様に、9×7分析フィルタに対してリフティング技術を適用したときの分析フィルタリングを分割レベル=4まで行った例を図13に示す。この図13では、現ピクチャの下端1123ライン目と、その後ろの22ラインの垂直ブランク信号、さらにその後ろの21ライン目からの次ピクチャのサンプルが示されている。
分割レベル=1の下端ラインの分析フィルタリングでは、図中の(10)→(11)→(12)の順序で各成分が生成され、最後に高域成分(13)と低域成分(14)とが生成される。同様に、分割レベル=2の下端ラインの分析フィルタリングでは、図中の(20)→(21)→(22)の順序で各成分が生成され、最後に高域成分(23)と低域成分(24)とが生成される。分割レベル=3の下端ラインの分析フィルタリングでは、図中の(30)→(31)→(32)の順序で各成分が生成され、最後に高域成分(33)と低域成分(34)とが生成される。また、分割レベル=4の下端ラインの分析フィルタリングでは、図中の(40)→(41)→(42)の順序で各成分が生成され、最後に高域成分(43)と低域成分(44)とが生成される。
この図13では、現ピクチャからブランク期間内の画素に向けて矢印があるが、これはサンプルが対称拡張されたことを意味している。ここで、対称拡張とは、ピクチャ又はサブバンドの境界領域で分析フィルタリングを行う際、実際にサンプルが存在しない部分を画像領域から対称拡張して補填するものである。その結果、補填されたサンプルと補填元のサンプルとは鏡像関係の位置にあることになる。また、図13において、現ピクチャの領域内で例えば(10’)という成分は、ブランク期間内の(10)という成分の補填元になったことを意味している。同様に、分割レベル=1では、(11’)→(11)、(12’)→(12)、(13’)→(13)、(14’)→(14)という対称拡張が行われる。他の分割レベルについても同様である。
図13では、分割レベル=4の分析フィルタリングはブランク期間内に終了しているが、分割レベル=5まで分析フィルタリングを行った場合には、ブランク期間内に終了しないことになる。また、ブランク期間のライン数が少ない場合にも同様の問題が生じる。
そこで、本実施の形態における帯域分析装置10では、この下端ラインでの対称拡張処理のタイミングを早めることにより、現ピクチャの下端ラインでの分析フィルタリングのタイミングを早める。すなわち、図14に示すように、現ピクチャ及び現ピクチャの各サブバンドの下端ラインで対称拡張の補填元になるサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの分析フィルタリングを行う。
これにより、帯域分析装置10では、分割レベル数が大きい場合等であっても、次ピクチャの上端ラインの分析フィルタリングを行う前に、現ピクチャの最終分割レベルまでの分析フィルタリングを終了することができる。
(第2の実施の形態)
第2の実施の形態では、ウェーブレット変換により生成される係数データを圧縮符号化する画像符号化装置について説明する。
第2の実施の形態における画像符号化装置の概略構成を図15に示す。図15に示すように、画像符号化装置20は、分析フィルタバンク部21と、量子化部22と、エントロピー符号化部23と、レート制御部24とから構成されている。
分析フィルタバンク部21は、図1に示した帯域分析装置10と同様の構成とされる。すなわち、分析フィルタバンク部21は、入力したビデオ信号D20に対して分析フィルタリングを行い、分析後の係数データD21を量子化部22に供給する。特に、分析フィルタバンク部21は、現ピクチャ及び現ピクチャの各サブバンドの下端ラインで対称拡張の補填元になるサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの分析フィルタリングを行うことにより、次ピクチャの先頭ラインの分析フィルタリングを行う前に、現ピクチャの最終分割レベルまでの分析フィルタリングを終了させる。
量子化部22は、分析フィルタバンク部21によって生成される係数データD21を例えば量子化ステップサイズで除算することにより量子化し、量子化係数データD22を生成する。
エントロピー符号化部23は、量子化部22で生成された量子化係数データD22を情報源符号化し、圧縮された符号化コードストリームD23を生成する。情報源符号化としては、例えばJPEG方式やMPEG(Moving Picture Experts Group)方式で用いられているハフマン符号化や、JPEG2000方式で用いられているさらに高精度な算術符号化を用いることができる。
レート制御部24は、最終的に目標のビットレート又は圧縮率に合わせるための制御を行い、レート制御後の符号化コードストリームD24を外部に出力する。例えば、このレート制御部24は、ビットレートを上げる場合には量子化ステップサイズを小さくし、ビットレートを下げる場合には量子化ステップサイズを大きくするように、量子化部22に対して制御信号D25を送信する。
(第3の実施の形態)
第3の実施の形態では、第1の実施の形態における帯域分析装置10に対応した帯域合成装置について説明する。
第3の実施の形態における帯域合成装置の概略構成を図16に示す。図16に示すように、帯域合成装置30は、コラムバッファ部31と、水平合成フィルタ部32と、ラインバッファ部33と、垂直合成フィルタ部34と、垂直ブランク信号挿入部35とから構成されている。
コラムバッファ部31は、低域成分D30及び高域成分D31をコラム(列)毎に記憶・保持し、Mサンプル分だけ記憶するまで、これを継続する。なお、ラインバッファ部31に低域成分D30が入力されるのは最低域のサブバンドについてのみであり、以降は合成フィルタリングによって生成された低域成分D35が垂直合成フィルタ部34から供給される。
水平合成フィルタ部32は、Mサンプル分のコラムデータD32を順次読み出し、水平方向の低域合成フィルタリングと高域合成フィルタリングとを行う。この水平フィルタリングにより、水平合成結果の低域成分及び高域成分D33が生成される。
ラインバッファ33は、水平合成結果の低域成分及び高域成分D33をライン毎に記憶・保持し、Nライン分だけ記憶するまで、これを継続する。
垂直合成フィルタ部34は、Nライン分のラインデータD34を順次読み出し、垂直方向の低域合成フィルタリングと高域合成フィルタリングとを行う。この垂直フィルタリングにより、垂直合成結果の低域成分D35が生成される。この低域成分D35は、コラムバッファ部31に供給され、次の分割レベルの合成フィルタリングが実行されるまで記憶・保持される。
ウェーブレット逆変換では、例えば分割レベル=4から分割レベル=1まで、ウェーブレット変換とは逆の順序で合成フィルタリングが行われる。そして、低域成分D35と高域成分D31とから1段階小さい分割レベルでの低域信号を生成する処理を繰り返すことにより、最終的に画像データ列D35が生成される。この画像データ列D35は、垂直ブランク信号挿入部35に供給される。
垂直ブランク信号挿入部35は、図2に示したように、画像データ列D35に対して所定のタイミングで垂直ブランク信号を挿入し、生成したビデオ信号D36を外部に出力する。
ここで、合成フィルタリングにおいては、上述と同様にリフティング技術が適用される。しかしながら、リフティング構成を利用した合成フィルタリングでは、分割レベルが大きくなるほど高域成分及び低域成分の生成されるタイミングが2倍ずつ遅くなるため、現ピクチャのウェーブレット逆変換が図2に示した垂直ブランク期間内に終了せず、次ピクチャが入力される虞がある。
現ピクチャのウェーブレット逆変換が、次ピクチャが入力されるまでに終了しない例を図17に示す。この図17では、現ピクチャと次ピクチャとをウェーブレット逆変換するときの分割レベル=4までの処理を時系列的に示している。図中のライン番号は、図2のSMPTE274M規格から引用したものである。図17に示すように、次ピクチャの分割レベル=1の合成フィルタリングが行われる時点で、現ピクチャの分割レベル=2,1の分析フィルタリングが終了していない。
そこで、本実施の形態における帯域合成装置10では、図18に示すように、現ピクチャの各分割レベルの合成フィルタリングにおいて、下端ラインの合成フィルタリングのタイミングを早める。これにより、次ピクチャの分割レベル=4の合成フィルタリングが行われる時点までに、現ピクチャの分割レベル=1までの合成フィルタリングを終了させることができる。なお、図18では、さらに次ピクチャの所定の1つ以上の分割レベル(分割レベル=4,3)の合成フィルタリングのタイミングを遅らせている。
以下、現ピクチャの各分割レベルの合成フィルタリングにおいて、下端ラインの合成フィルタリングのタイミングを早める方法について説明する。
9×7合成フィルタに対してリフティング技術を適用したときの合成フィルタリングを分割レベル=4から分割レベル1まで行った例を図19に示す。
分割レベル=4の下端ラインの分析フィルタリングでは、図中の(40)→(41)→(42)の順序で各成分が生成され、最後に低域成分(43)と高域成分(44)とが生成される。同様に、分割レベル=3の下端ラインの分析フィルタリングでは、図中の(30)→(31)→(32)の順序で各成分が生成され、最後に低域成分(33)と高域成分(34)とが生成される。分割レベル=3の下端ラインの分析フィルタリングでは、図中の(20)→(21)→(22)の順序で各成分が生成され、最後に低域成分(23)と高域成分(24)とが生成される。また、分割レベル=1の下端ラインの分析フィルタリングでは、図中の(10)→(11)→(12)の順序で各成分が生成され、最後に低域成分(13)と高域成分(14)とが生成される。
この図19では、分割レベル=4の合成フィルタリングがブランク期間内に終了しておらず、この結果、次ピクチャが入力されるまでに現ピクチャのウェーブレット逆変換が終了しない。
そこで、本実施の形態における帯域合成装置30では、下端ラインでの対称拡張処理のタイミングを早めることにより、現ピクチャの下端ラインでの合成フィルタリングのタイミングを早める。すなわち、図20に示すように、現ピクチャの各サブバンドの下端ラインで対称拡張の補填元になるサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの合成フィルタリングを行う。
さらに、本実施の形態における帯域合成装置30では、図18に示したように、次ピクチャの所定の1つ以上の分割レベルの合成フィルタリングのタイミングを遅らせることにより、現ピクチャのウェーブレット逆変換と次ピクチャのウェーブレット逆変換とで時間的な重なりが生じないようにする。すなわち、図21に示すように、例えば分割レベル=4,3の上端の1つ以上のラインの合成フィルタリングを停止することにより、現ピクチャのウェーブレット逆変換との間で時間的な重なりが生じないようにする。その後は、その1つ以上のラインの合成フィルタリングを含め、合成フィルタリングの処理タイミングを早めることにより、さらに次のピクチャとの間での時間的な重なりを防止する。
これにより、帯域合成装置30では、分割レベル数が大きい場合等であっても、次ピクチャの上端ラインの合成フィルタリングを行う前に、現ピクチャの分割レベル=1までの合成フィルタリングを終了することができる。
なお、下端ラインでの対称拡張処理のタイミングを早めるのみで、現ピクチャのウェーブレット逆変換と次ピクチャのウェーブレット逆変換とで時間的な重なりが生じなくなる場合には、図21に示したように次ピクチャの所定の分割レベルの合成フィルタリングのタイミングを遅らせなくても構わない。
(第4の実施の形態)
第4の実施の形態では、第2の実施の形態における画像符号化装置20に対応した画像復号装置について説明する。
第4の実施の形態における画像復号装置の概略構成を図22に示す。図22に示すように、画像復号装置40は、エントロピー復号部41と、逆量子化部42と、合成フィルタバンク部43とから構成されている。
エントロピー復号部41は、入力した符号化コードストリームD40を情報源復号し、量子化係数データD41を生成する。情報源復号としては、上述したように、ハフマン復号や高効率な算術復号などを用いることができる。
逆量子化部42は、量子化係数データD41に量子化ステップサイズを乗算することにより逆量子化し、係数データD42を生成する。この量子化ステップサイズは、通常、符号化コードストリームのヘッダなどに記述されている。
合成フィルタバンク部43は、図16に示した帯域合成装置30と同様の構成とされる。すなわち、合成フィルタバンク部43は、係数データD42に対して合成フィルタリングを行って画像データ列を生成し、さらに垂直ブランク信号を挿入して、生成したビデオ信号D43を外部に出力する。特に、合成フィルタバンク部43は、現ピクチャの各サブバンドの下端ラインで対称拡張の補填元になるサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの合成フィルタリングを行うことにより、次ピクチャの先頭ラインの合成フィルタリングを行う前に、現ピクチャの分割レベル=1までの合成フィルタリングを終了させる。この際、合成フィルタバンク部43は、上述と同様に次ピクチャの所定の1つ以上の分割レベルの合成フィルタリングのタイミングを遅らせるようにしても構わない。
以上、本発明を実施するための最良の形態について説明したが、本発明は上述した第1〜第4の実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
例えば、上述した第1の実施の形態における帯域分析装置10では、垂直フィルタリングを行った後に水平フィルタリングを行うものとして説明したが、水平フィルタリングを行った後に垂直フィルタリングを行うようにしても構わない。この場合の帯域分析装置の概略構成を図23に示す。
帯域分析装置50において、画像ライン入力部51は、ビデオ信号D50をライン毎に入力し、画像ラインのデータ列D51をコラムバッファ部52に供給する。コラムバッファ部52は、画像ラインのデータ列D51をコラム毎に記憶・保持し、Mサンプル分だけ記憶するまで、これを継続する。水平分析フィルタ部53は、Mサンプル分のコラムデータD52を順次読み出し、水平方向の低域分析フィルタリングと高域分析フィルタリングとを行う。この水平フィルタリングにより、水平分割結果の低域成分及び高域成分D53が生成される。垂直分析フィルタ部54は、低域成分及び高域成分D53のライン数がNラインになり次第、垂直方向の低域分析フィルタリングと高域分析フィルタリングとを行う。この垂直フィルタリングにより、垂直分割結果の低域成分(1LL)D54と、高域成分(1HL、1LH、1HH)D55とが生成される。低域成分(1LL)D54は、分割レベル=2の分析フィルタリングを行うため、コラムバッファ部52に供給される。
このように、垂直フィルタリングを行った後に水平フィルタリングを行った場合であっても、水平フィルタリングを行った後に垂直フィルタリングを行った場合であっても、生成されるサブバンドは同一である。
また、上述した実施の形態では、ハードウェアの構成として説明したが、一連の処理をソフトウェアにより実行するようにしても構わない。この場合、そのソフトウェアを構成するプログラムをコンピュータの専用ハードウェア、例えばROM(Read Only Memory)やハードディスクに予め組み込むようにしてもよく、また、各種プログラムをインストールすることで各種機能を実行することが可能な汎用のパーソナルコンピュータなどに対して、ネットワークや記録媒体を介してインストールするようにしてもよい。記録媒体としては、例えば磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD−ROM(Compact Disk-Read Only Memory)及びDVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)(商標)を含む)、或いは半導体メモリなどのパッケージメディアが利用可能である。
以上説明した本発明は、動画像を圧縮して伝送し、受信して伸長する装置に好適に適用することができる。具体的には、モバイル通信機、テレビジョン会議システム、監視カメラ・レコーダシステム、医用遠隔医療診断、放送局内のビデオ圧縮・伝送、ライブ映像の配信、生徒と教師間のインタラクティブ通信、無線での画像伝送、対話型ゲームアプリケーション等に適用可能である。
第1の実施の形態における帯域分析装置の概略構成を示す図である。 SMPTE274M規格の信号のうちインタレース信号の信号分布図と、垂直ブランク信号の挿入位置とを示す図である。 第1、第2フィールドの実画像領域とブランク領域とを示す図である。 Nライン毎にバッファリングする様子を示す図である。 分割レベル=1の分析フィルタリングにおける垂直フィルタリングを説明する図である。 分割レベル=1の分析フィルタリングにおける水平フィルタリングを説明する図である。 分割レベル=2まで分析フィルタリングを行った結果を示す図である。 実際の画像に対して分割レベル=3まで分析フィルタリングを行った結果を示す図である。 9×7分析フィルタのリフティング構成を示す図である。 9×7分析フィルタに対してリフティング技術を適用したときの分析フィルタリングを分割レベル=2まで行った例を示す図である。 従来において、現ピクチャのウェーブレット変換が次ピクチャが入力されるまでに終了しない例を示す図である。 本実施の形態において、下端ラインの分析フィルタリングのタイミングを早めることにより、現ピクチャのウェーブレット変換が次ピクチャが入力されるまでに終了する例を示す図である。 従来における、現ピクチャの下端ラインでの分析フィルタリングのタイミングを示す図である。 本実施の形態における、現ピクチャの下端ラインでの分析フィルタリングのタイミングを示す図である。 第2の実施の形態における画像符号化装置の概略構成を示す図である。 第3の実施の形態における帯域合成装置の概略構成を示す図である。 従来において、現ピクチャのウェーブレット逆変換が次ピクチャが入力されるまでに終了しない例を示す図である。 本実施の形態において、下端ラインの合成フィルタリングのタイミングを早めることにより、現ピクチャのウェーブレット逆変換が次ピクチャが入力されるまでに終了する例を示す図である。 従来における、現ピクチャの下端ラインでの合成フィルタリングのタイミングを示す図である。 本実施の形態における、現ピクチャの下端ラインでの合成フィルタリングのタイミングを示す図である。 次ピクチャの所定の1つ以上の分割レベルの合成フィルタリングのタイミングを遅らせる例を示す図である。 第4の実施の形態における画像復号装置の概略構成を示す図である。 帯域分析装置の他の構成を示す図である。
符号の説明
10 帯域分析装置、11 画像ライン入力部、12 ラインバッファ部、13 垂直分析フィルタ部、14 水平分析フィルタ部、20 画像符号化装置、21 分析フィルタバンク部、22 量子化部、23 エントロピー符号化部、24 レート制御部、30 帯域合成装置、31 コラムバッファ部、32 水平合成フィルタ部、33 ラインバッファ部、34 垂直合成フィルタ部、35 垂直ブランク信号挿入部、40 画像復号装置、41 エントロピー復号部、42 逆量子化部、43 合成フィルタバンク部

Claims (25)

  1. 複数のピクチャで構成される動画像信号を入力する入力手段と、
    各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより、複数のサブバンドを生成するウェーブレット変換手段とを備え、
    上記ウェーブレット変換手段は、次ピクチャの上端ラインの分析フィルタリングを行う時刻よりも前に現ピクチャの下端ラインの分析フィルタリングが終了するように、現ピクチャ及び現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの分析フィルタリングを行う
    ことを特徴とする帯域分析装置。
  2. 上記ウェーブレット変換手段は、リフティング構成により実現されることを特徴とする請求項1記載の帯域分析装置。
  3. 上記ウェーブレット変換手段は、垂直方向のライン数が所定数に達する毎に、垂直方向の低域分析フィルタリング及び高域分析フィルタリングを行って低域成分及び高域成分を生成し、生成された低域成分及び高域成分の水平方向のサンプル数が所定数に達する毎に、水平方向の低域分析フィルタリング及び高域分析フィルタリングを行い、複数のサブバンドを生成することを特徴とする請求項1記載の帯域分析装置。
  4. 上記ウェーブレット変換手段は、水平方向のサンプル数が所定数に達する毎に、水平方向の低域分析フィルタリング及び高域分析フィルタリングを行って低域成分及び高域成分を生成し、生成された低域成分及び高域成分の垂直方向のライン数が所定数に達する毎に、垂直方向の低域分析フィルタリング及び高域分析フィルタリングを行い、複数のサブバンドを生成することを特徴とする請求項1記載の帯域分析装置。
  5. 上記動画像信号はビデオ信号であり、
    該ビデオ信号の垂直ブランク信号を検出することにより各ピクチャの終端を検知する検知手段をさらに備える
    ことを特徴とする請求項1記載の帯域分析装置。
  6. 複数のピクチャで構成される動画像信号を入力する入力工程と、
    各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に、垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより、複数のサブバンドを生成するウェーブレット変換工程とを有し、
    上記ウェーブレット変換工程では、次ピクチャの上端ラインの分析フィルタリングを行う時刻よりも前に現ピクチャの下端ラインの分析フィルタリングが終了するように、現ピクチャ及び現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの分析フィルタリングを行う
    ことを特徴とする帯域分析方法。
  7. 複数のピクチャで構成される動画像信号を入力する入力工程と、
    各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に、垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより、複数のサブバンドを生成するウェーブレット変換工程と
    を有する帯域分析処理をコンピュータに実行させることを特徴とするプログラムであって、
    上記ウェーブレット変換工程では、次ピクチャの上端ラインの分析フィルタリングを行う時刻よりも前に現ピクチャの下端ラインの分析フィルタリングが終了するように、現ピクチャ及び現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの分析フィルタリングを行う
    ことを特徴とするプログラム。
  8. 複数のピクチャで構成される動画像信号を入力する入力工程と、
    各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に、垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより、複数のサブバンドを生成するウェーブレット変換工程と
    を有する帯域分析処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
    上記ウェーブレット変換工程では、次ピクチャの上端ラインの分析フィルタリングを行う時刻よりも前に現ピクチャの下端ラインの分析フィルタリングが終了するように、現ピクチャ及び現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの分析フィルタリングを行う
    ことを特徴とする記録媒体。
  9. 動画像信号を構成する各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより生成した複数のサブバンドの係数データを入力する入力手段と、
    上記複数のサブバンドの係数データに対して、各サブバンドの上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の合成フィルタリングを階層的に行うことにより、上記動画像信号の各ピクチャを生成するウェーブレット逆変換手段とを備え、
    上記ウェーブレット逆変換手段は、次ピクチャの各サブバンドの上端ラインの合成フィルタリングを行う時刻よりも前に現ピクチャの各サブバンドの下端ラインの合成フィルタリングが終了するように、現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの合成フィルタリングを行う
    ことを特徴とする帯域合成装置。
  10. 上記ウェーブレット逆変換手段は、リフティング構成により実現されることを特徴とする請求項9記載の帯域合成装置。
  11. 上記動画像信号はビデオ信号であり、
    上記ウェーブレット逆変換手段によって生成された各ピクチャ間に垂直ブランク信号を挿入し、ビデオ信号を復元する垂直ブランク信号挿入手段をさらに備える
    ことを特徴とする請求項9記載の帯域合成装置。
  12. 上記ウェーブレット逆変換手段は、次ピクチャの各サブバンドの上端ラインの合成フィルタリングを行う時刻が現ピクチャの各サブバンドの下端ラインの合成フィルタリングを行う時刻よりも後になるように、次ピクチャの1つ以上の分割レベルのサブバンドの上端の1つ以上のラインの合成フィルタリングを所定期間停止することを特徴とする請求項9記載の帯域合成装置。
  13. 動画像信号を構成する各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより生成した複数のサブバンドの係数データを入力する入力工程と、
    上記複数のサブバンドの係数データに対して、各分割レベルのサブバンドの上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の合成フィルタリングを階層的に行うことにより、上記動画像信号の各ピクチャを生成するウェーブレット逆変換工程とを有し、
    上記ウェーブレット逆変換工程では、次ピクチャの各サブバンドの上端ラインの合成フィルタリングを行う時刻よりも前に現ピクチャの各サブバンドの下端ラインの合成フィルタリングが終了するように、現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの合成フィルタリングを行う
    ことを特徴とする帯域合成方法。
  14. 動画像信号を構成する各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより生成した複数のサブバンドの係数データを入力する入力工程と、
    上記複数のサブバンドの係数データに対して、各分割レベルのサブバンドの上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の合成フィルタリングを階層的に行うことにより、上記動画像信号の各ピクチャを生成するウェーブレット逆変換工程と
    を有する帯域合成処理をコンピュータに実行させることを特徴とするプログラムであって、
    上記ウェーブレット逆変換工程では、次ピクチャの各サブバンドの上端ラインの合成フィルタリングを行う時刻よりも前に現ピクチャの各サブバンドの下端ラインの合成フィルタリングが終了するように、現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの合成フィルタリングを行う
    ことを特徴とするプログラム。
  15. 動画像信号を構成する各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより生成した複数のサブバンドの係数データを入力する入力工程と、
    上記複数のサブバンドの係数データに対して、各分割レベルのサブバンドの上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の合成フィルタリングを階層的に行うことにより、上記動画像信号の各ピクチャを生成するウェーブレット逆変換工程と
    を有する帯域合成処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
    上記ウェーブレット逆変換工程では、次ピクチャの各サブバンドの上端ラインの合成フィルタリングを行う時刻よりも前に現ピクチャの各サブバンドの下端ラインの合成フィルタリングが終了するように、現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの合成フィルタリングを行う
    ことを特徴とする記録媒体。
  16. 複数のピクチャで構成される動画像信号を入力する入力手段と、
    各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより、複数のサブバンドを生成するウェーブレット変換手段と、
    上記ウェーブレット変換手段によって生成された複数のサブバンドの係数データを符号化し、符号化コードストリームを生成する符号化手段とを備え、
    上記ウェーブレット変換手段は、次ピクチャの上端ラインの分析フィルタリングを行う時刻よりも前に現ピクチャの下端ラインの分析フィルタリングが終了するように、現ピクチャ及び現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの分析フィルタリングを行う
    ことを特徴とする画像符号化装置。
  17. 上記符号化手段は、上記ウェーブレット変換手段によって生成された複数のサブバンドの係数データを量子化して量子化係数データを生成する量子化手段と、生成された量子化係数データをエントロピー符号化し、符号化コードストリームを生成するエントロピー符号化手段とを有することを特徴とする請求項16記載の画像符号化装置。
  18. 複数のピクチャで構成される動画像信号を入力する入力工程と、
    各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより、複数のサブバンドを生成するウェーブレット変換工程と、
    上記ウェーブレット変換工程にて生成された複数のサブバンドの係数データを符号化し、符号化コードストリームを生成する符号化工程とを有し、
    上記ウェーブレット変換工程では、次ピクチャの上端ラインの分析フィルタリングを行う時刻よりも前に現ピクチャの下端ラインの分析フィルタリングが終了するように、現ピクチャ及び現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの分析フィルタリングを行う
    ことを特徴とする画像符号化方法。
  19. 複数のピクチャで構成される動画像信号を入力する入力工程と、
    各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより、複数のサブバンドを生成するウェーブレット変換工程と、
    上記ウェーブレット変換工程にて生成された複数のサブバンドの係数データを符号化し、符号化コードストリームを生成する符号化工程と
    を有する画像符号化処理をコンピュータに実行させることを特徴とするプログラムであって、
    上記ウェーブレット変換工程では、次ピクチャの上端ラインの分析フィルタリングを行う時刻よりも前に現ピクチャの下端ラインの分析フィルタリングが終了するように、現ピクチャ及び現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの分析フィルタリングを行う
    ことを特徴とするプログラム。
  20. 複数のピクチャで構成される動画像信号を入力する入力工程と、
    各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより、複数のサブバンドを生成するウェーブレット変換工程と、
    上記ウェーブレット変換工程にて生成された複数のサブバンドの係数データを符号化し、符号化コードストリームを生成する符号化工程と
    を有する画像符号化処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
    上記ウェーブレット変換工程では、次ピクチャの上端ラインの分析フィルタリングを行う時刻よりも前に現ピクチャの下端ラインの分析フィルタリングが終了するように、現ピクチャ及び現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの分析フィルタリングを行う
    ことを特徴とする記録媒体。
  21. 動画像信号を構成する各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより複数のサブバンドを生成し、該複数のサブバンドの係数データを符号化して生成された符号化コードストリームを入力する入力手段と、
    上記符号化コードストリームを復号して上記複数のサブバンドの係数データを生成する復号手段と、
    上記複数のサブバンドの係数データに対して、各分割レベルのサブバンドの上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の合成フィルタリングを階層的に行うことにより、上記動画像信号の各ピクチャを生成するウェーブレット逆変換手段とを備え、
    上記ウェーブレット逆変換手段は、次ピクチャの各サブバンドの上端ラインの合成フィルタリングを行う時刻よりも前に現ピクチャの各サブバンドの下端ラインの合成フィルタリングが終了するように、現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの合成フィルタリングを行う
    ことを特徴とする画像復号装置。
  22. 上記復号手段は、上記符号化コードストリームをエントロピー復号して上記複数のサブバンドの量子化係数データを生成するエントロピー復号手段と、生成された量子化係数データを逆量子化して上記複数のサブバンドの係数データを生成する逆量子化手段とを有することを特徴とする請求項21記載の画像復号装置。
  23. 動画像信号を構成する各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより複数のサブバンドを生成し、該複数のサブバンドの係数データを符号化して生成された符号化コードストリームを入力する入力工程と、
    上記符号化コードストリームを復号して上記複数のサブバンドの係数データを生成する復号工程と、
    上記複数のサブバンドの係数データに対して、各分割レベルのサブバンドの上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の合成フィルタリングを階層的に行うことにより、上記動画像信号の各ピクチャを生成するウェーブレット逆変換工程とを有し、
    上記ウェーブレット逆変換工程では、次ピクチャの各サブバンドの上端ラインの合成フィルタリングを行う時刻よりも前に現ピクチャの各サブバンドの下端ラインの合成フィルタリングが終了するように、現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの合成フィルタリングを行う
    ことを特徴とする画像復号方法。
  24. 動画像信号を構成する各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより複数のサブバンドを生成し、該複数のサブバンドの係数データを符号化して生成された符号化コードストリームを入力する入力工程と、
    上記符号化コードストリームを復号して上記複数のサブバンドの係数データを生成する復号工程と、
    上記複数のサブバンドの係数データに対して、各分割レベルのサブバンドの上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の合成フィルタリングを階層的に行うことにより、上記動画像信号の各ピクチャを生成するウェーブレット逆変換工程と
    を有する画像復号処理をコンピュータに実行させることを特徴とするプログラムであって、
    上記ウェーブレット逆変換工程では、次ピクチャの各サブバンドの上端ラインの合成フィルタリングを行う時刻よりも前に現ピクチャの各サブバンドの下端ラインの合成フィルタリングが終了するように、現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの合成フィルタリングを行う
    ことを特徴とするプログラム。
  25. 動画像信号を構成する各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより複数のサブバンドを生成し、該複数のサブバンドの係数データを符号化して生成された符号化コードストリームを入力する入力工程と、
    上記符号化コードストリームを復号して上記複数のサブバンドの係数データを生成する復号工程と、
    上記複数のサブバンドの係数データに対して、各分割レベルのサブバンドの上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の合成フィルタリングを階層的に行うことにより、上記動画像信号の各ピクチャを生成するウェーブレット逆変換工程と
    を有する画像復号処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
    上記ウェーブレット逆変換工程では、次ピクチャの各サブバンドの上端ラインの合成フィルタリングを行う時刻よりも前に現ピクチャの各サブバンドの下端ラインの合成フィルタリングが終了するように、現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの合成フィルタリングを行う
    ことを特徴とする記録媒体。
JP2006136876A 2006-05-16 2006-05-16 画像処理装置及び画像処理方法、プログラム及び記録媒体 Expired - Fee Related JP4371120B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006136876A JP4371120B2 (ja) 2006-05-16 2006-05-16 画像処理装置及び画像処理方法、プログラム及び記録媒体
US11/745,132 US7907785B2 (en) 2006-05-16 2007-05-07 Image processing apparatus and image processing method
TW96116127A TW200803524A (en) 2006-05-16 2007-05-07 Image processing apparatus and image processing method
KR1020070047213A KR101376385B1 (ko) 2006-05-16 2007-05-15 화상 처리 장치 및 화상 처리 방법
CN2007101041263A CN101076118B (zh) 2006-05-16 2007-05-16 图像处理设备和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006136876A JP4371120B2 (ja) 2006-05-16 2006-05-16 画像処理装置及び画像処理方法、プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JP2007311924A true JP2007311924A (ja) 2007-11-29
JP4371120B2 JP4371120B2 (ja) 2009-11-25

Family

ID=38712039

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006136876A Expired - Fee Related JP4371120B2 (ja) 2006-05-16 2006-05-16 画像処理装置及び画像処理方法、プログラム及び記録媒体

Country Status (5)

Country Link
US (1) US7907785B2 (ja)
JP (1) JP4371120B2 (ja)
KR (1) KR101376385B1 (ja)
CN (1) CN101076118B (ja)
TW (1) TW200803524A (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010147678A (ja) * 2008-12-17 2010-07-01 Sony Corp 情報処理装置および方法
JP2010239288A (ja) * 2009-03-30 2010-10-21 Sony Corp 情報処理装置および方法
WO2010137502A1 (ja) 2009-05-27 2010-12-02 ソニー株式会社 情報処理装置および方法
WO2011037049A1 (ja) 2009-09-24 2011-03-31 ソニー株式会社 画像処理装置および方法
EP2312855A2 (en) 2009-09-24 2011-04-20 Sony Corporation Low delay scalable image coding
WO2012020686A1 (ja) * 2010-08-12 2012-02-16 ソニー株式会社 情報処理装置および方法、並びにプログラム
EP2472800A1 (en) 2010-12-28 2012-07-04 Sony Corporation Transmitting apparatus, transmitting method, and program
WO2012141014A1 (ja) 2011-04-11 2012-10-18 ソニー株式会社 表示制御装置、表示制御方法、及びプログラム
WO2012173020A1 (ja) 2011-06-13 2012-12-20 ソニー株式会社 送信装置、送信方法、及びプログラム
US8498498B2 (en) 2008-09-30 2013-07-30 Samsung Electronics Co., Ltd. Apparatus and method of obtaining high resolution image
US8527846B2 (en) 2010-04-09 2013-09-03 Sony Corporation Information processing device, method and program
US8948252B2 (en) 2010-03-30 2015-02-03 Sony Corporation Moving picture transmission apparatus, moving picture transmission system, moving picture transmission method, and program
US9697328B2 (en) 2012-11-01 2017-07-04 Sony Corporation Transmission apparatus, transmission method, reception apparatus, reception method, and computer program
US10659082B2 (en) 2014-07-18 2020-05-19 Sony Corporation Receiving device and receiving method

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5098404B2 (ja) * 2006-10-27 2012-12-12 ソニー株式会社 音声処理方法および音声処理装置
JP4356031B2 (ja) * 2007-05-17 2009-11-04 ソニー株式会社 情報処理装置および方法
JP4356033B2 (ja) * 2007-05-17 2009-11-04 ソニー株式会社 画像データ処理装置および方法
JP4356032B2 (ja) * 2007-05-17 2009-11-04 ソニー株式会社 情報処理装置および方法
JP4525704B2 (ja) * 2007-05-17 2010-08-18 ソニー株式会社 符号化装置および方法、記録媒体、並びにプログラム。
JP4356029B2 (ja) * 2007-05-17 2009-11-04 ソニー株式会社 情報処理装置および方法
JP4793320B2 (ja) * 2007-05-17 2011-10-12 ソニー株式会社 情報処理装置および方法
JP4356028B2 (ja) * 2007-05-17 2009-11-04 ソニー株式会社 情報処理装置および方法
JP4356030B2 (ja) * 2007-05-17 2009-11-04 ソニー株式会社 情報処理装置および方法
US8718743B2 (en) * 2008-04-24 2014-05-06 Duke University Methods for single-pass volumetric bidirectional blood flow imaging spectral domain optical coherence tomography using a modified hilbert transform
US8538189B2 (en) * 2008-11-14 2013-09-17 Ati Technologies Ulc Image noise filter and method
JP4670947B2 (ja) * 2008-12-05 2011-04-13 ソニー株式会社 情報処理装置および方法
JP4626707B2 (ja) * 2008-12-08 2011-02-09 ソニー株式会社 情報処理装置および方法
JP4883076B2 (ja) * 2008-12-12 2012-02-22 ソニー株式会社 情報処理装置および方法
JP5640370B2 (ja) 2009-12-18 2014-12-17 ソニー株式会社 画像処理装置,画像処理方法及び撮像装置
CN102215324B (zh) * 2010-04-08 2013-07-31 安凯(广州)微电子技术有限公司 用于对视频图像进行滤波操作的滤波电路及其滤波方法
JP5590390B2 (ja) * 2010-07-15 2014-09-17 ソニー株式会社 画像処理装置および方法
JP5598155B2 (ja) 2010-08-12 2014-10-01 ソニー株式会社 情報処理装置および方法、並びに送受信システム
CN104144310B (zh) * 2014-07-31 2017-08-01 广东威创视讯科技股份有限公司 超高清分辨率图像处理方法和装置
TWI705666B (zh) * 2015-06-15 2020-09-21 日商新力股份有限公司 傳送裝置、接收裝置、通信系統

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0735775B1 (en) * 1995-03-31 2003-05-14 Canon Kabushiki Kaisha Image processing apparatus and method
US5999656A (en) * 1997-01-17 1999-12-07 Ricoh Co., Ltd. Overlapped reversible transforms for unified lossless/lossy compression
US6091777A (en) * 1997-09-18 2000-07-18 Cubic Video Technologies, Inc. Continuously adaptive digital video compression system and method for a web streamer
JP2001258034A (ja) 2000-03-13 2001-09-21 Canon Inc 符号化装置及び符号化方法、記録媒体
JP2002091943A (ja) 2000-09-19 2002-03-29 Mega Chips Corp リフティング方法
US6898323B2 (en) * 2001-02-15 2005-05-24 Ricoh Company, Ltd. Memory usage scheme for performing wavelet processing
JP2002304624A (ja) 2001-04-05 2002-10-18 Canon Inc フィルタ処理装置及び撮像装置
JP2003023632A (ja) 2001-07-11 2003-01-24 Fujitsu Ltd 符号化復号化方法及び符号化復号化システム
JP3954459B2 (ja) 2002-07-23 2007-08-08 株式会社リコー 動画像処理装置、動画像処理方法、及び、監視カメラシステム
JP2004135070A (ja) 2002-10-10 2004-04-30 Kyoshin Technosonic Co Ltd 符号化方法及び画像処理装置
JP4361755B2 (ja) 2003-05-08 2009-11-11 株式会社リコー 動画像処理装置、プログラム、記憶媒体および動画像処理方法
JP2005094212A (ja) 2003-09-16 2005-04-07 Canon Inc 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8498498B2 (en) 2008-09-30 2013-07-30 Samsung Electronics Co., Ltd. Apparatus and method of obtaining high resolution image
US8391616B2 (en) 2008-12-17 2013-03-05 Sony Corporation Information processor and method therefor
CN101754018B (zh) * 2008-12-17 2012-10-03 索尼株式会社 信息处理器及其方法
JP2010147678A (ja) * 2008-12-17 2010-07-01 Sony Corp 情報処理装置および方法
US8687488B2 (en) 2009-03-30 2014-04-01 Sony Corporation Information processing device and method
JP2010239288A (ja) * 2009-03-30 2010-10-21 Sony Corp 情報処理装置および方法
WO2010137502A1 (ja) 2009-05-27 2010-12-02 ソニー株式会社 情報処理装置および方法
WO2011037049A1 (ja) 2009-09-24 2011-03-31 ソニー株式会社 画像処理装置および方法
EP2312855A2 (en) 2009-09-24 2011-04-20 Sony Corporation Low delay scalable image coding
US8634665B2 (en) 2009-09-24 2014-01-21 Sony Corporation Image processing apparatus and image processing method
US8948252B2 (en) 2010-03-30 2015-02-03 Sony Corporation Moving picture transmission apparatus, moving picture transmission system, moving picture transmission method, and program
US8527846B2 (en) 2010-04-09 2013-09-03 Sony Corporation Information processing device, method and program
US8964921B2 (en) 2010-08-12 2015-02-24 Sony Corporation Information processing apparatus, method, and program
JP2012044253A (ja) * 2010-08-12 2012-03-01 Sony Corp 情報処理装置および方法、並びにプログラム
WO2012020686A1 (ja) * 2010-08-12 2012-02-16 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8654641B2 (en) 2010-12-28 2014-02-18 Sony Corporation Transmitting apparatus, transmitting method, and program
EP2472800A1 (en) 2010-12-28 2012-07-04 Sony Corporation Transmitting apparatus, transmitting method, and program
WO2012141014A1 (ja) 2011-04-11 2012-10-18 ソニー株式会社 表示制御装置、表示制御方法、及びプログラム
WO2012173020A1 (ja) 2011-06-13 2012-12-20 ソニー株式会社 送信装置、送信方法、及びプログラム
US9697328B2 (en) 2012-11-01 2017-07-04 Sony Corporation Transmission apparatus, transmission method, reception apparatus, reception method, and computer program
US10659082B2 (en) 2014-07-18 2020-05-19 Sony Corporation Receiving device and receiving method
US11418218B2 (en) 2014-07-18 2022-08-16 Sony Corporation Receiving device and receiving method

Also Published As

Publication number Publication date
CN101076118A (zh) 2007-11-21
US20070269122A1 (en) 2007-11-22
TW200803524A (en) 2008-01-01
CN101076118B (zh) 2011-08-03
US7907785B2 (en) 2011-03-15
KR101376385B1 (ko) 2014-03-20
JP4371120B2 (ja) 2009-11-25
KR20070111361A (ko) 2007-11-21

Similar Documents

Publication Publication Date Title
JP4371120B2 (ja) 画像処理装置及び画像処理方法、プログラム及び記録媒体
JP4360379B2 (ja) 画像処理装置及び画像処理方法、プログラム及び記録媒体
JP4254017B2 (ja) 画像符号化装置及び方法
CN101516031B (zh) 图像处理装置和图像处理方法
JP4182446B2 (ja) 情報処理装置および方法、プログラム、並びに記録媒体
US8098947B2 (en) Method and apparatus for processing image data by rearranging wavelet transform data
JP4429968B2 (ja) Svcの圧縮率を高めるシステムおよび方法
JP2008022403A (ja) ウェーブレット変換装置および方法、ウェーブレット逆変換装置および方法、プログラム、並びに記録媒体
US20080089406A1 (en) Information processing device and method, and program
JP2007142614A (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体
US8238434B2 (en) Apparatus and method for processing wavelet information
US8213731B2 (en) Information processing device and method
US9064294B2 (en) Image processing apparatus and method
US9241163B2 (en) VC-2 decoding using parallel decoding paths
US8249375B2 (en) Information processing apparatus and method
JP2006042371A (ja) 画像記録再生装置及び画像再生装置
JP2011114592A (ja) 情報処理装置および方法
JPH0799654A (ja) 高能率符号化装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080422

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090602

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090811

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090824

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120911

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120911

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120911

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130911

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees