JP2002148732A - 3次元動画入力装置 - Google Patents

3次元動画入力装置

Info

Publication number
JP2002148732A
JP2002148732A JP2000348023A JP2000348023A JP2002148732A JP 2002148732 A JP2002148732 A JP 2002148732A JP 2000348023 A JP2000348023 A JP 2000348023A JP 2000348023 A JP2000348023 A JP 2000348023A JP 2002148732 A JP2002148732 A JP 2002148732A
Authority
JP
Japan
Prior art keywords
lens
image
opening
openings
shielding plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000348023A
Other languages
English (en)
Other versions
JP3564383B2 (ja
Inventor
Yasuo Ishigure
康雄 石榑
Takayuki Okimura
隆幸 沖村
Hajime Noto
肇 能登
Kazutake Kamihira
員丈 上平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2000348023A priority Critical patent/JP3564383B2/ja
Publication of JP2002148732A publication Critical patent/JP2002148732A/ja
Application granted granted Critical
Publication of JP3564383B2 publication Critical patent/JP3564383B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

(57)【要約】 【課題】 撮影レンズの開口部をレンズの光軸に垂直な
面内で移動させる単一レンズステレオ撮像法では、開口
部を機械的に移動させる必要があるため、動画像を撮影
できない。 【解決手段】 レンズ11の後部に2つの開口部をもつ
遮蔽板12を設けることにより、各開口部を通過する光
線をミラー13で各々独立に各開口部に対応する受光素
子14により受光することにより、動画の視差画像を撮
影する。また、撮像中、または撮像後に三角測量の原理
で左右画像間の対応点マッチングを取ることにより距離
画像を生成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、3次元空間撮像技
術の分野に属するものであり、特に、複数の視差画像か
ら三角測量の原理に基づき対応点マッチングにより距離
情報を得る3次元動画入力装置に関する。
【0002】
【従来の技術】図10は距離情報を得るために従来から
用いられている多眼ステレオ法の原理図である。図10
において、101は左カメラ、102は右カメラであ
り、両カメラは平行に配置される。各カメラで被写体1
05を撮影して得られた画像が各々103,104であ
る。ここで、被写体105中の一点をPとし、これが左
右画像103,104中に撮影された位置は左画像10
3ではPL、右画像104ではPRとする。各々の画像
上の座標を(x1,y1)、(xr,yr)とし、さら
にカメラ間の距離をb、左右カメラレンズの焦点距離を
fとすると、カメラからPまでの距離zは、
【0003】
【数1】z=bf/λd となる。ここで、dは左右画像上の視差(xr−x
1)、λは撮像素子の画素サイズである。
【0004】この方法は、2台以上のカメラを平行に並
べるだけで撮像可能であるため簡便であり、さらに、動
画を撮像できる特徴を有する。
【0005】しかし、カメラやレンズを複数必要とする
のでカメラ間のキャリブレーションを精密に行うことが
困難であり、これが距離画像の誤差要因となる。さら
に、被写体相互の遮蔽(以下、オクルージョン)により
1台のカメラに撮影されている領域が他のカメラでは撮
影されない領域が生じ、これを減少させるためにはさら
に多くのカメラとレンズが必要となり、装置がより高価
となる。この方法は、例えば下記文献1に開示されてい
る。
【0006】文献1「M.0kutomi and T.Kanade:A Multi
ple-Baseline Stereo,IEEE Trans.Pattern Analysis an
d Machine Intelligence,Vol.15,No.4,PP.353-363(199
3)」 図11は距離情報が得られる単一レンズステレオ撮像法
の原理図である。単一レンズステレオ撮像法は、例えば
下記文献2,3,4に開示され、「撮影レンズの開口部
をレンズの光軸に垂直な面内で移動させると視差の効果
が得られる」という光学特性を利用するものである。
【0007】図11(a)に示すように、レンズ116
のピントが焦点面115に一致しており、その面上に物
体Aとする111が配置され、より遠方に物体Bとする
112が、より近方に物体Cとする113が配置される
場合、開口部の位置を紙面に向かつてより上方114に
移動させると、A’、B’、C’の位置に結像され、結
果として、受光素子117面上ではA”、B”、C”の
位置に写る。
【0008】次に、開口部の位置を図11(b)のよう
に、より下方118に移動させると、受光素子面上の位
置がA”は図11(a)の場合と同じであるのに対し
て、B”、C”は図11(b)中の矢印119の方向に
移動して写る。
【0009】これは、撮像対象の距離によって変化する
ため、結果として視差と同一の効果となる。この原理を
利用したものが、単一レンズステレオ撮像法である。こ
の方法は単眼のレンズのみ用いて視差画像が得られるた
め、多眼ステレオ法のようなカメラ間のキャリブレーシ
ョンの必要がなく、レンズのロストの削減にも繋がる。
しかし、開口部を機械的に移動させる必要があるため、
動画像は撮影できない。
【0010】文献2「小野修司:単一レンズによる三次
元イメージ撮像システム、三次元画像コンファレンス2
000」 文献3「島田聡:立体テレビジョン装置、特開昭49−
87223号公報」 文献4「E.Adelson and J.Wang:Single Lens Stereo wi
th a Plenoptic Camera,IEEE Tras. Pattern Analyisis
and Machine Intelligence,Vol.14,No.2,PP.99-106(19
92)」
【0011】
【発明が解決しようとする課題】前記のように、多眼ス
テレオ法では、各カメラ間を平行に精密に配置する必要
があるが、実際には完全に平行に配置することは困難で
あり、距離画像の誤差要因となる。また、オクルージョ
ンによる距離情報欠如の減少等のためにレンズ系を複数
使用する必要が生じ、装置が高価になるという問題があ
った。
【0012】これを回避する方法として、前記の単一レ
ンズステレオ撮像法があるが、これも従来の方法では開
口部を機械的に移動させる必要があるため、動画像を撮
影できないという問題がある。
【0013】それゆえに、本発明の主たる目的は、前記
の多眼ステレオ法の問題を回避する単一レンズステレオ
撮像の原理に基づく方法で、3次元情報の動画を撮像す
る手法を提供することである。
【0014】
【課題を解決するための手段】本発明は、単一レンズス
テレオ撮像法を基本原理とした3次元動画入力装置を構
成するために、レンズに複数の開口部を有する遮蔽板を
装着し、各開口部を通過した光線をミラーにより開口部
毎に独立に反射させ、各開口部に対応する複数の受光素
子で各々独立に受光できるように構成されるものであ
る。つまり、本発明は、従来の単一レンズステレオ撮像
装置と異なる点は、複数の開口部を通過した光線をそれ
ぞれ独立に取り出すため、1枚以上のミラーと複数の受
光素子を配置し、動画の視差画像が得られるようにした
ものである。
【0015】また、本発明は、受光素子の数を削減する
ため、開口部の開閉を液晶や機械式等のシャッターを用
いて高速に行い、一つの受光素子が同時に一つの開口部
のみからの光線を受光することにより時分割で視差画像
が撮影されるように構成されるものである。つまり、本
発明は従来の単一レンズステレオ撮像装置と異なる点
は、複数の開口部からの光線を1つ又は少数の受光素子
で受光するために各開口部に対応するシャッターを用い
て視差画像を高速に時間的にずらして動画撮像を可能に
したものである。
【0016】以上のように、本発明に係わる3次元動画
入力装置は、レンズに複数の開口部を有する遮蔽板を付
加し、各開口部を通過する光線をミラーを用いて反射さ
せることにより、対応する複数の受光素子で独立に受
光、もしくは開口部に代わるシャッターを付加し、連続
的に各シャッターを開閉して時分割で一つ又は少数の受
光素子に受光することにより、各開口部を通過する画像
を各々独立に撮像することが可能となり、得られた複数
の画像が視差を有することから三角測量の原理を用いれ
ば、本発明の目的である単一レンズステレオ撮像法を基
本原理とした3次元の動画撮像を、開口部を機械的に動
かすことなく行うことができるようにするもので、以下
の構成を特徴とする。
【0017】1枚以上のレンズから成るレンズ群と、前
記レンズ群の前部あるいは後部に配した複数の開口部を
有する遮蔽板と、前記レンズ群と遮蔽板の後部に配置さ
れ、該レンズ群と遮蔽板の開口部を通過した光線を該開
口部毎に独立に反射させるための1枚以上のミラーと、
前記レンズ群と遮蔽板の開口部を通過した光線を該開口
部毎に受光するための複数の受光素子またはフィルムと
から構成されることを特徴とする。
【0018】また、前記複数の開口部をシャッターを用
いて高速に一つずつ順次開閉することにより、各開口部
に対応した視差画像を時分割撮影することを特徴とす
る。
【0019】
【発明の実施の形態】(第1の実施形態)図1は第1の
実施形態を説明する斜視図であり、図2は図1の平面図
であり符号の末尾を対応付けて示す。図1の11はレン
ズであり、12は2つの開口部をもつ遮蔽板、13はミ
ラー、14は撮像素子(CCD,CMOSセンサ、フィ
ルム等を含む)である。
【0020】図1,2に示すように、レンズ後部に複数
(図1,2では2つ)の開口部22をもつ遮蔽板を設け
ることにより、これらを通過する画像は、前記単一レン
ズステレオ撮像法の原理に基づき、カメラからの距離に
応じて変化する視差画像となる。そのため、各開口部を
通過する光線を各々独立に各開口部に対応する受光素子
24により受光すれば、三角測量の原理で距離情報が得
られる。
【0021】これを実現するために、請求項1に関する
発明では図1,2に示すように、各開口部を通過した光
線をミラー23で反射させ、その後各開口部に対応する
受光素子24で受光することにより、動画の視差画像が
撮影できる。撮像中、または撮像後に三角測量の原理で
左右画像間の対応点マッチングを取ることにより距離画
像が生成される。
【0022】この方法によれば、従来の技術に比べ、レ
ンズ系が単眼で済むことから多眼ステレオ法で問題とな
っているキャリブレーションを必要としない簡便で安価
な3次元動画像の撮像が可能となる。
【0023】なお、図1,2ではレンズが1枚のみの例
を示しているが、図3に示すようにレンズが複数枚から
構成される場合でも同様の効果を奏する。また、図1,
2,3では遮蔽板をレンズの光軸に対し垂直に配した例
を示したが、図4に示すように、遮蔽板をレンズの光軸
に対し垂直からある角度をもって配した場合も同様の効
果を奏する。さらに、図5のように、ミラーの数を減ら
し受光素子の配置を変更することにより、多眼ステレオ
法のレンズが単眼で済むことに加え、さらに小型化する
ことも可能である。
【0024】なお、開口部の設置位置は、レンズの焦点
距離以内であれば、視差画像を撮影することができる。
また、実際には、画像の明るさや撮影範囲に違いが画像
に影響するが、レンズにできるだけ近いほうが好まし
い。
【0025】また、開口部の大きさ(上下限)は、上限
では遮蔽板に複数の開口部を独立に作成できればよい
が、実際には開口部が大きすぎると被写界深度の関係で
画像がぼけるため、ピントが合っている距離から前後に
離れるほどステレオマッチングが難しくなるため、これ
ら条件との兼ね合いで制限する。また、基本的には制限
がなく、下限は被写界深度が不覚なることから小さい方
がよいが、各開口部を通過した光線が視差が検出できる
程度に明るく受光できる大きさが好ましい。
【0026】また、隣接する開口部との距離は、開口部
が広いほど視差が大きくなり、同じ受光素子またはフィ
ルムを用いた場合には検出距離の分解能を高くすること
ができる。
【0027】また、遮蔽板をレンズの光軸に対し垂直か
らある角度をもって配する場合、その傾けを大きくする
ほど画像の明るさやぼけ方が変化するため、ステレオマ
ッチングが困難となるが、視差を含んだ画像を得ること
だけについては開口部の位置がレンズの光軸と垂直方向
でずれてさえいればよいため、レンズに直角に遮蔽板が
配置されていない限りは撮影可能である。
【0028】上記までの開口部の設置位置や大きさ、距
離、遮蔽板の角度等については、以後の実施形態でも同
様になる。
【0029】(第2の実施形態)図6は、第2の実施形
態を説明する図であり、第1の実施形態の開口部を有す
る遮蔽板の位置をレンズの前面に移動させたものであ
る。開口部を通過した光線をミラー63を用いて確実に
分離できれば、第1の実施形態と同様に単一レンズステ
レオ法の原理に基づき、ステレオ画像が撮像できる。レ
ンズ構成や用途に応じて、遮蔽板の位置を変更させるこ
とが可能となる。
【0030】(第3の実施形態)図7は、第3の実施形
態を説明する図であり、71はレンズ、72はシャッタ
ー、73は受光素子、74は被写体である。図7に示す
ように、開口部の代わりに液晶や機械式等のシャッター
72を配置し、また、複数用いていた受光素子73を1
個のみ使用し、ミラーを不要とするものである。本実施
形態では、各シャッターを時間的に連続的に高速に切り
替えることにより、1つのレンズと受光素子により、視
差画像を時間的にずらして撮影するものである。この方
法では、レンズ後部に高速に動作するシャッターを設置
するだけで容易に視差画像が得られるので、安価に小型
のステレオ動画撮像が可能となる。
【0031】(第4の実施形態)図8は第4の実施形態
を説明する図であり、81はレンズ、82はミラー(8
枚)、83は受光素子(5つ)、84は開口部(5つ)
である。図8は第1の実施形態において、開口部または
シャッターの数を5つにした場合の実施形態を示す。開
口部の数を3つ以上として視差画像の対を複数得ること
により、距離画像の信頼度を向上できると共に、前記オ
クルージョンの問題を減少させることが可能となる。例
えば、図1,2のように2つの開口部を有する場合は被
写体間のオクルージョンにより片方の受光素子にのみ撮
像される領域が生じるが、その領域については、図8に
おいて付加した開口部を通過した光線を受光する受光素
子からの画像対において距離情報を得ることが可能とな
る。
【0032】(第5の実施形態)図9は第5の実施形態
を説明する図であり、91はレンズ、92は開口部の移
動が可能なシャッター、93は受光素子、94は被写体
である。本実施形態では、液晶等を用いたシャッターに
より開口部の位置制御を電気的に高精度にかつ高速に行
うものである。接写等により微小な物体を撮像する場
合、小型の多眼カメラをキャリブレーションすることは
非常に困難であるが、本実施形態のように開口部の位置
を高精度にかつ高速に切り替え可能な方法により、被写
体の大きさにあわせて最適な視差動画像を得ることが可
能となる。
【0033】
【発明の効果】以上のように、この発明によれば、単眼
のレンズで視差画像が動画で得られるため、装置を小型
化でき、キャリブレーションを必要とせず、安価に画像
の3次元情報を得ることができる。
【0034】また、この3次元動画像入力装置を応用す
ることにより、既存の3次元ディスプレイの入力装置と
して利用でき、さらには工業用等の3次元情報計測装置
としても利用できる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態を示す図(鳥瞰図)。
【図2】本発明の第1の実施形態を示す図(平面)。
【図3】本発明の第1の実施形態のレンズの数を増やし
た例を示す図(平面)。
【図4】本発明の第1の実施形態の遮蔽板の傾きを変え
た例を示す図(平面)。
【図5】本発明の第1の実施形態を小型化した例を示す
図(平面)。
【図6】本発明の第2の実施形態を示す図。
【図7】本発明の第3の実施形態を示す図。
【図8】本発明の第4の実施形態を示す図。
【図9】本発明の第5の実施形態を示す図。
【図10】多眼ステレオ法の原理図。
【図11】単一レンズステレオ撮像法の原理図。
【符号の説明】
11、21、41、51、61、71、81、91、1
16…レンズ 12、22、32、42、52、62、84…開口部 13、23、33、43、53、63、82…ミラー 14、24、34、44、54、64、73、83、9
3…受光素子 15、25、35、45、55、65、74、85、9
4、105…被写体 72…シャッター 92…可動式開口部又はシャッター 101…左カメラ 102…右カメラ 103…左画像 104…右画像 111…物体A(焦点) 112…物体B(遠) 113…物体C(近) 114…開口部(上) 115…焦点面 117…受光素子面 118…開口部(下) 119…視差
───────────────────────────────────────────────────── フロントページの続き (72)発明者 能登 肇 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 (72)発明者 上平 員丈 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 Fターム(参考) 2H059 AA03 5C061 AA14 AB04 AB06

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 1枚以上のレンズから成るレンズ群と、 前記レンズ群の前部あるいは後部に配した複数の開口部
    を有する遮蔽板と、 前記レンズ群と遮蔽板の後部に配置され、該レンズ群と
    遮蔽板の開口部を通過した光線を該開口部毎に独立に反
    射させるための1枚以上のミラーと、 前記レンズ群と遮蔽板の開口部を通過した光線を該開口
    部毎に受光するための複数の受光素子またはフィルム
    と、から構成されることを特徴とする3次元動画入力装
    置。
  2. 【請求項2】 前記複数の開口部をシャッターを用いて
    高速に一つずつ順次開閉することにより、各開口部に対
    応した視差画像を時分割撮影することを特徴とする請求
    項1に記載の3次元動画入力装置。
JP2000348023A 2000-11-15 2000-11-15 3次元動画入力装置 Expired - Fee Related JP3564383B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000348023A JP3564383B2 (ja) 2000-11-15 2000-11-15 3次元動画入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000348023A JP3564383B2 (ja) 2000-11-15 2000-11-15 3次元動画入力装置

Publications (2)

Publication Number Publication Date
JP2002148732A true JP2002148732A (ja) 2002-05-22
JP3564383B2 JP3564383B2 (ja) 2004-09-08

Family

ID=18821670

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000348023A Expired - Fee Related JP3564383B2 (ja) 2000-11-15 2000-11-15 3次元動画入力装置

Country Status (1)

Country Link
JP (1) JP3564383B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011083542A1 (ja) * 2010-01-05 2011-07-14 パナソニック株式会社 3次元撮像装置
CN102640036A (zh) * 2009-07-10 2012-08-15 Isee3D有限公司 生成三维图像信息的方法和装置
US8284988B2 (en) 2009-05-13 2012-10-09 Applied Vision Corporation System and method for dimensioning objects using stereoscopic imaging
US8508591B2 (en) 2010-02-05 2013-08-13 Applied Vision Corporation System and method for estimating the height of an object using tomosynthesis-like techniques
US8781159B2 (en) 2009-05-13 2014-07-15 Applied Vision Corporation System and method for dimensioning objects using stereoscopic imaging

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8284988B2 (en) 2009-05-13 2012-10-09 Applied Vision Corporation System and method for dimensioning objects using stereoscopic imaging
US8781159B2 (en) 2009-05-13 2014-07-15 Applied Vision Corporation System and method for dimensioning objects using stereoscopic imaging
CN102640036A (zh) * 2009-07-10 2012-08-15 Isee3D有限公司 生成三维图像信息的方法和装置
JP2012532348A (ja) * 2009-07-10 2012-12-13 アイシー3ディー、インコーポレイテッド 3次元画像情報を生成する方法および装置
WO2011083542A1 (ja) * 2010-01-05 2011-07-14 パナソニック株式会社 3次元撮像装置
WO2011083543A1 (ja) * 2010-01-05 2011-07-14 パナソニック株式会社 3次元撮像装置
JP5421365B2 (ja) * 2010-01-05 2014-02-19 パナソニック株式会社 3次元撮像装置
JP5421364B2 (ja) * 2010-01-05 2014-02-19 パナソニック株式会社 3次元撮像装置
US9036004B2 (en) 2010-01-05 2015-05-19 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional image capture device
US9041770B2 (en) 2010-01-05 2015-05-26 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional image capture device
US8508591B2 (en) 2010-02-05 2013-08-13 Applied Vision Corporation System and method for estimating the height of an object using tomosynthesis-like techniques

Also Published As

Publication number Publication date
JP3564383B2 (ja) 2004-09-08

Similar Documents

Publication Publication Date Title
JP4981124B2 (ja) 改良型プレノプティック・カメラ
US8305425B2 (en) Solid-state panoramic image capture apparatus
US5602584A (en) Apparatus for producing a panoramic image using a plurality of optical systems
JP5809390B2 (ja) 測距・測光装置及び撮像装置
JP2003143459A (ja) 複眼撮像系およびこれを備えた装置
JP2015194706A5 (ja)
CN101577795A (zh) 一种实现全景图像的实时预览的方法和装置
CN115335768B (zh) 具有可旋转反射器的成像系统
EP3480648A1 (en) Adaptive three-dimensional imaging system
JP2002191060A (ja) 3次元撮像装量
JP2011215545A (ja) 視差画像取得装置
JP2002010126A (ja) 撮像装置
JP2002148732A (ja) 3次元動画入力装置
US11330161B2 (en) Device comprising a multi-aperture imaging device for accumulating image information
US11924395B2 (en) Device comprising a multi-aperture imaging device for generating a depth map
JP2010231192A (ja) ステレオ撮像装置
KR102455520B1 (ko) 마이크로렌즈 어레이를 이용한 초박형 카메라 장치 그리고 이의 다기능 이미징 방법
JP4360180B2 (ja) 立体映像撮影装置
US20240111203A1 (en) Imaging method and device for autofocusing
JPH08251625A (ja) 立体映像撮影用光学装置
WO2024101256A1 (ja) 光学装置及び撮像装置
JPS5934504A (ja) オ−トフオ−カス装置
JPH09214991A (ja) 撮像装置
JP2003279847A (ja) 撮影レンズのピント状態検出装置
JP2005277817A (ja) デジタルカメラ

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040607

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090611

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090611

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100611

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100611

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110611

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120611

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130611

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140611

Year of fee payment: 10

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees