JP2002520958A - 動きベクトル処理方法 - Google Patents

動きベクトル処理方法

Info

Publication number
JP2002520958A
JP2002520958A JP2000559697A JP2000559697A JP2002520958A JP 2002520958 A JP2002520958 A JP 2002520958A JP 2000559697 A JP2000559697 A JP 2000559697A JP 2000559697 A JP2000559697 A JP 2000559697A JP 2002520958 A JP2002520958 A JP 2002520958A
Authority
JP
Japan
Prior art keywords
motion vector
picture portion
motion
signal
selection instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000559697A
Other languages
English (en)
Other versions
JP4932987B2 (ja
Inventor
ペー クレイホースト リチャード
ファン デル アフォイルト アンドレ
アー ダ シルヴァ クルツ ルイス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Electronics NV filed Critical Philips Electronics NV
Publication of JP2002520958A publication Critical patent/JP2002520958A/ja
Application granted granted Critical
Publication of JP4932987B2 publication Critical patent/JP4932987B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Abstract

(57)【要約】 動きベクトル処理方法では、或る予定した組の動きベクトルのうちから動きベクトルを選択することに基づいて、或る所定のピクチャ部分（I）に対する動きベクトル（MV）を生成して選択動きベクトルを得て（MV-EVAL,MV-MEM）、所定のピクチャ部分（I）を選択動きベクトルの選択指示信号と一緒に供給する（EOC）。画像信号デコーダでは、選択指示信号（SI）から動きデータを得て、所定のピクチャ部分(I)と動きデータとに基づいて出力ピクチャ部分を生成する。

Description

【発明の詳細な説明】
【０００１】 本発明は、動きベクトルを伝送又は記憶させるのに必要とされるデータ量を低
減させる動きベクトル処理方法に関するものである。
【０００２】 EP0,691,789には、動きフィールド推定、セグメンテーション及び符号化用の方
法及び装置が開示されている。動き推定技法は、フレームが次第に小さくなる多
数レベルに対して動きベクトル更新ルーチンを行う階層法を用いている。動きベ
クトル更新ルーチンは、小領域に割当てられた最初の動きベクトル、これに隣接
する領域の動きベクトル及び前記小領域に対してブロック整合法を行って得た整
合動きベクトルのうちから選択した最良の動きベクトルを前記小領域に割当てる
ことによって、この小領域の動きベクトルを更新する。各領域に対する最良の動
きベクトルは、優先スキーム及び或る予定したしきい値に従って選択される。こ
の場合、同じ動きベクトルを有している隣接領域を一緒に併合し、且つ領域形状表
現ルーチンを用いて輪郭画素を特定し、併合領域をデコーダによって再生し得る
ようにする。次いで、輪郭符号化ルーチンを用いて、輪郭画素を符号化して、デコ
ーダへ伝送する。
【０００３】 本発明の目的は特に、領域併合及び輪郭符号化ルーチンを必要としない有効な
符号化スキームを提供することにある。このために本発明の第1の要点は、請求
項1及び２に記載したような動きベクトル処理方法及び装置を提供することにあ
る。本発明の第2の要点は、請求項3及び4に記載したような画像信号デコーダ及
び画像信号表示装置を提供することにある。
【０００４】 本発明の要点による動きベクトル処理方法では、或る予定した組の動きベクト
ルのうちから或る動きベクトルを選択することに基づいて、或る所定のピクチャ
部分に対する動きベクトルを生成して、選択動きベクトルを得て、そして前記所
定のピクチャ部分を前記選択動きベクトルの選択指示信号と一緒に供給する。画
像信号デコーダでは、選択指示信号から動きデータを得て、前記所定のピクチャ
部分と前記動きデータとに基づいて出力ピクチャ部分を生成する。
【０００５】 （発明を実施するための最良の形態） 本発明をより詳細に説述するために、添付の図面に従ってこれを説明する。
【０００６】 図1の伝送スキームでは、ビデオ信号VinをエンコーダCODに供給して、符号化画
像信号I並びに動きベクトルMVを生成する。符号化画像信号I及び動きベクトルMV
はデコーダDECによって受信されて、出力ビデオ信号Voutを生成する。特に、符号
化画像信号I及び動きベクトルMV用に利用できる総ビット数をかなり低減させる
低ビットレートのビデオ符号化用途では、動きベクトルMVの伝送に必要とされる
ビットが斯かる総ビット数のかなりの部分を占める。
【０００７】 本発明の目的は、動きベクトルデータの伝送に必要とされるビット数を減らし
て、符号化画像信号I用に利用できるビット数を増やして、よりよい画像品質を達
成し得るようにすること及び/又はビット総数を減らすことにある。
【０００８】 本発明は、或る所定のピクチャ部分C（例えば、図２の画素ブロック参照）に
対する動きベクトルが、画像信号の現在のフィールドにおける既に推定した動き
ベクトル１，２及び/又は先のフィールドにおける既に推定した動きベクトル３
に基づくものとする動きベクトル推定アルゴリズムでは、出力動きベクトルを伝
送又は記憶させるのではなくて、選択した近隣の動きベクトルの指示信号を伝送
又は記憶させることにより、動きベクトルに対するビット数をかなり減らすこと
ができると言う認識に基づいて成したものである。そこで、近隣ブロック２に対
する動きベクトルが最良の結果をもたらすものと思える場合には、そのベクトル
のｘ成分に対する８ビットと、ベクトルのｙ成分に対する８ビットとの、各それ
ぞれの動きベクトルに対する全部で１６ビットの代わりに、“２”を伝送又は記
憶させるだけとする。選択する近隣ベクトルが３つ又は４つある場合でも、選択
指示信号を伝送又は記憶させるのに僅か２ビットを必要とするだけであり、この
例ではビット数が１/８に低減する。この本発明の要点は、デコーダDECが動きベ
クトルMVを受信するのではなくて、近隣動きベクトルの選択指示信号を受信する
のであるということをこのデコーダDECが知っているということを前提としてい
る。これは、構内又は専有の符号化−復号化システムでは容易に達成することが
できる。デコーダを標準のディジタル的に符号化したピクチャ信号（例えば、H.
261,H263,MPEG）と、本発明により符号化した動きベクトルを有するピクチャ信
号との双方を受信するのに用いる場合には、伝送の開始時に、制御信号が本発明
の使用を指示し得るようにする。
【０００９】 本発明は、近隣動きベクトルを所定の画像部分に対するそれらベクトルの有効
性について試験する前に、これら近隣動きベクトルの全て、又はその幾つかに短
い更新ベクトルを周期的に加える場合にも用いることができる。この場合にも、
近隣動きベクトルの指示信号を伝送するか、又は記憶させるだけである。このア
プリケーションは、デコーダDECが全動きベクトルではなくて、選択指示信号を受
信するということをこのデコーダDECが知っているだけでなく、短い更新ベクトル
が近隣動きベクトルに如何様に加えられているかということもわかっており：そ
のシーケンス及びその開始時点が共にわかっているということを前提としている
。これも構内又は専有の符号化−復号化システムでは問題にならない。本発明は
、国際的に同意されている標準規格（例えば、Ｈ.２６１,Ｈ２６３,MPEG）に従
って符号化／複合化することもできる機器に適用するのが好適である。
【００１０】 図３は本発明によるエンコーダの実施例を示す。入力ビデオ信号Vinを動きベ
クトル評価回路MV-EVALに供給して、動きベクトルメモリMV-MEMに記憶されている
複数個の以前に生成した動きベクトルに基づいて、所定のブロックCに対する動
きベクトルMVを生成する。このために、動きベクトル評価回路MV-EVALによって
得た動きベクトルMVを動きベクトルメモリMV-MEMに供給する。動きベクトル評価
回路MV-EVALはさらに、近隣動きベクトルのうちのどの動きベクトルを選択した
のかを示す選択指示信号SIをエンコーダの出力回路EOCに供給する。
【００１１】 入力ビデオ信号VinはビデオエンコーダV-CODにも供給して、所定ブロックCに
対応する符号化画像信号Iを得る。エンコーダの出力回路EOCは、符号化画像信号
Iと、選択指示信号SIとからデータ流DSを生成する。
【００１２】 図４は本発明による表示装置の実施例を示す。データ流DSをデマルチプレクサ
DEMUXに供給して、画像信号I及び選択指示信号SIを得る。選択指示信号SIを動き
プロセッサMPに供給して動きデータMDを得る。画像信号IをビデオデコーダV-DEC
に供給して動きデータMDに依存する出力ピクチャ部分OPPを得る。この出力ピク
チャ部分OPPを出力プロセッサOPによって処理して、表示デバイスDに供給される
表示信号を得る。
【００１３】 なお、本発明は上述した実施例のみに限定されるものでなく、添付した請求の
範囲の範疇を逸脱することなく、幾多の変更を加え得ることは当業者に明らかで
ある。そこで、本発明は特に、1992年にアインドフォーフェン所在のG.deHaan’s
の学術論文“Motion Estimation and Compensation，An integrated appro
ach to consumer display field rate conversion”に発表された動き推
定及び補償技法に使用するのに好適であるが、本発明の用途はこれに限定される
ものではない。例えば、上述した実施例では、選択する動きベクトルの予定した
組が、所定のピクチャ部分に空間的−時間的に隣接するピクチャ部分に対して決
定した動きベクトルを含むようにするも、階層動き推定法にて、低解像度バージョ
ンの画像で決定した或る予定した組の動きベクトルから選択するようにすること
もできる。所定のピクチャ部分は、例えばMPEG標準規格から既知のように、動き
−補償離散コサイン変換（DCT）符号化形態のような、符号化形態で供給すること
ができる。選択指示信号を可変長符号化（VLC）形態の如き符号化形態で供給し
て、動きデータに必要とされるビット数をさらに低減させることができる。請求
の範囲における用語「具える」は、請求の範囲に掲げた以外の要素又はステップの
存在を除外するものではない。また、用語「隣接」は必ずしも「直接の隣接」を意味
するのではなく、上述した学術論文の幾つかの例からも明らかなように、例えば、
２つの「隣接」ブロック間に1つのブロックがあることとすることができる。本発
明は幾つかの個別の素子を具えているハードウエアによって及び適切にプログラ
ムしたコンピュータによって実施することができる。装置の請求項に列挙してい
る手段のうちの幾つかのものは全く同じアイテムのハードウエアで実現すること
ができる。
【図面の簡単な説明】
【図1】 伝送スキームの例を示す図である。
【図2】 候補動きベクトルを生成する１つのやり方を示す図である。
【図3】 本発明によるエンコーダの実施例を示す図である。
【図4】 本発明による表示装置の実施例を示す図である。
───────────────────────────────────────────────────── フロントページの続き (71)出願人 Ｇｒｏｅｎｅｗｏｕｄｓｅｗｅｇ １， 5621 ＢＡ Ｅｉｎｄｈｏｖｅｎ， Ｔｈ ｅ Ｎｅｔｈｅｒｌａｎｄｓ (72)発明者 ルイス アー ダ シルヴァ クルツ オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン ６ Ｆターム(参考） 5C059 MA00 MA05 MA23 ME01 NN10 PP04 RB02 RC16 SS06 TA65 TB07 UA02 UA05 UA38

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 或る予定した組の動きベクトルのうちから1つの動きベクトルを選
    択することに基づいて或る所定のピクチャ部分に対する動きベクトルを生成して
    、選択動きベクトルを得るステップと； 前記選択した動きベクトルの選択指示信号を供給するステップと； 前記所定のピクチャ部分と前記選択指示信号とを供給するステップと； を具えている動きベクトル処理方法。
  2. 【請求項2】 或る予定した組の動きベクトルのうちから1つの動きベクトルを選
    択することに基づいて或る所定のピクチャ部分に対する動きベクトルを生成して
    、選択動きベクトルを得る手段と； 前記選択した動きベクトルの選択指示信号を供給する手段と； 前記所定のピクチャ部分と前記選択指示信号とを供給する手段と； を具えている動きベクトル処理装置。
  3. 【請求項3】 或る予定した組の動きベクトルのうちから或る所定のピクチャ部
    分に対して選択した選択動きベクトルを示す選択指示信号を処理して、動きデー
    タを得る手段；及び 前記所定のピクチャ部分及び前記動きデータに基づいて出力ピクチャ部分を生
    成する手段； を具えている画像信号デコーダ。
  4. 【請求項4】 請求項３に記載の画像信号デコーダ； 前記出力ピクチャ部分を受信すべく結合されて、表示信号を形成する出力プロ
    セッサ；及び 前記表示信号を表示する表示デバイス； を具えている画像信号表示装置。
JP2000559697A 1998-07-10 1999-06-24 動きベクトル処理方法 Expired - Lifetime JP4932987B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US9814467 1998-07-10
US9814467 1998-07-10
USUS9814467 1998-07-10
PCT/IB1999/001194 WO2000003545A2 (en) 1998-07-10 1999-06-24 Motion vector processing

Publications (2)

Publication Number Publication Date
JP2002520958A true JP2002520958A (ja) 2002-07-09
JP4932987B2 JP4932987B2 (ja) 2012-05-16

Family

ID=22267468

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000559697A Expired - Lifetime JP4932987B2 (ja) 1998-07-10 1999-06-24 動きベクトル処理方法

Country Status (3)

Country Link
EP (1) EP1034660A2 (ja)
JP (1) JP4932987B2 (ja)
WO (1) WO2000003545A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010515399A (ja) * 2007-01-03 2010-05-06 サムスン エレクトロニクス カンパニー リミテッド 複数の動きベクトル・プレディクタを使用して動きベクトルを推定する方法、装置、エンコーダ、デコーダ及びデコーディング方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6735249B1 (en) * 1999-08-11 2004-05-11 Nokia Corporation Apparatus, and associated method, for forming a compressed motion vector field utilizing predictive motion coding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63313987A (ja) * 1987-06-09 1988-12-22 Sony Corp ディジタルテレビジョン画像の動きベクトル数の減少方法
JPH02134085A (ja) * 1988-11-15 1990-05-23 Kokusai Denshin Denwa Co Ltd <Kdd> 動き補償符号化方法
JPH07274181A (ja) * 1994-03-31 1995-10-20 Mitsubishi Electric Corp 映像信号符号化方式
JPH0879767A (ja) * 1994-07-05 1996-03-22 Ricoh Co Ltd 動きベクトル符号化および復号化方式
JPH09154138A (ja) * 1995-05-31 1997-06-10 Toshiba Corp 動画像符号化／復号化装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0250534B2 (en) * 1985-12-24 1994-09-28 British Broadcasting Corporation Bandwidth compression for television signals
DE3851786T2 (de) * 1987-06-09 1995-03-09 Sony Corp Auswahl eines Bewegungsvektors in Fernsehbildern.
US5430487A (en) * 1992-09-30 1995-07-04 Matsushita Electric Corporation Of America Method and apparatus for improving temporal video signal processing using motion vectors transmitted with the video signal
US5594504A (en) * 1994-07-06 1997-01-14 Lucent Technologies Inc. Predictive video coding using a motion vector updating routine

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63313987A (ja) * 1987-06-09 1988-12-22 Sony Corp ディジタルテレビジョン画像の動きベクトル数の減少方法
JPH02134085A (ja) * 1988-11-15 1990-05-23 Kokusai Denshin Denwa Co Ltd <Kdd> 動き補償符号化方法
JPH07274181A (ja) * 1994-03-31 1995-10-20 Mitsubishi Electric Corp 映像信号符号化方式
JPH0879767A (ja) * 1994-07-05 1996-03-22 Ricoh Co Ltd 動きベクトル符号化および復号化方式
JPH09154138A (ja) * 1995-05-31 1997-06-10 Toshiba Corp 動画像符号化／復号化装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010515399A (ja) * 2007-01-03 2010-05-06 サムスン エレクトロニクス カンパニー リミテッド 複数の動きベクトル・プレディクタを使用して動きベクトルを推定する方法、装置、エンコーダ、デコーダ及びデコーディング方法
US8385420B2 (en) 2007-01-03 2013-02-26 Samsung Electronics Co., Ltd. Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method
US8625674B2 (en) 2007-01-03 2014-01-07 Samsung Electronics Co., Ltd. Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method
US8831105B2 (en) 2007-01-03 2014-09-09 Samsung Electronics Co., Ltd. Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method
US9113111B2 (en) 2007-01-03 2015-08-18 Samsung Electronics Co., Ltd. Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method
US9113112B2 (en) 2007-01-03 2015-08-18 Samsung Electronics Co., Ltd. Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method
US9113110B2 (en) 2007-01-03 2015-08-18 Samsung Electronics Co., Ltd. Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method
US9313518B2 (en) 2007-01-03 2016-04-12 Samsung Electronics Co., Ltd. Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method
US9369731B2 (en) 2007-01-03 2016-06-14 Samsung Electronics Co., Ltd. Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method

Also Published As

Publication number Publication date
WO2000003545A3 (en) 2000-04-13
EP1034660A2 (en) 2000-09-13
JP4932987B2 (ja) 2012-05-16
WO2000003545A2 (en) 2000-01-20

Similar Documents

Publication Publication Date Title
JP3621152B2 (ja) 特徴点の特定装置及びその方法
US5686973A (en) Method for detecting motion vectors for use in a segmentation-based coding system
US5699128A (en) Method and system for bidirectional motion compensation for compression of motion pictures
EP1379000A1 (en) Signal encoding method and apparatus and decoding method and apparatus
JPH09179987A (ja) 動きベクトル検出方法及び動きベクトル検出装置
JPH03117992A (ja) ビデオ信号を全体運動ベクトルと局部運動ベクトルとして符号化し且つ伝送する方法
KR20010082934A (ko) 움직임 추정 방법 및 장치
JP2000512091A (ja) 動作ベクトル処理
US6996175B1 (en) Motion vector estimation
JP2006518157A (ja) オブジェクトベースの動き補償の方法及び装置
US6249548B1 (en) Motion vector processing
KR20010034255A (ko) 비디오 프레임의 해상도 증가 방법
JPH08242456A (ja) 動きベクトル検出方法
US20030118101A1 (en) Method and system for image compression using block size heuristics
JP4932987B2 (ja) 動きベクトル処理方法
US6526178B1 (en) Picture mapping apparatus and picture mapping method, and picture generation apparatus and picture generation method
JP2002199349A (ja) 画像処理装置および方法
JPH07336695A (ja) 動画像の符号化及び復号化方法
JP2002523987A (ja) ディジタル画像の符号化方法および符号化装置ならびにディジタル画像の復号方法および復号装置
JP4154772B2 (ja) 画像情報変換装置および変換方法
JPH08242457A (ja) 動きベクトル検出方法
JPS5997284A (ja) 動画像信号の動き内插方式およびその装置
KR101895822B1 (ko) 프로파일 정보 기반 움직임 추정장치 및 방법
Jeon et al. Stereo image coding with disparity compensation using dynamic programming
JP4264606B2 (ja) データ処理装置およびデータ処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060621

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110118

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110411

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110719

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111216

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20111227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120216

R150 Certificate of patent or registration of utility model

Ref document number: 4932987

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term