JP2002330451A - 立体映像表示装置における頭部位置検出装置の設定方法および頭部位置検出装置 - Google Patents

立体映像表示装置における頭部位置検出装置の設定方法および頭部位置検出装置

Info

Publication number
JP2002330451A
JP2002330451A JP2001132569A JP2001132569A JP2002330451A JP 2002330451 A JP2002330451 A JP 2002330451A JP 2001132569 A JP2001132569 A JP 2001132569A JP 2001132569 A JP2001132569 A JP 2001132569A JP 2002330451 A JP2002330451 A JP 2002330451A
Authority
JP
Japan
Prior art keywords
head position
display device
position detecting
image
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001132569A
Other languages
English (en)
Other versions
JP3454798B2 (ja
Inventor
Masutaka Inoue
益孝 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2001132569A priority Critical patent/JP3454798B2/ja
Publication of JP2002330451A publication Critical patent/JP2002330451A/ja
Application granted granted Critical
Publication of JP3454798B2 publication Critical patent/JP3454798B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【目的】 光学調整が正確且つ比較的容易に行える立体
映像表示装置における頭部位置検出装置の設定方法を提
供する。 【構成】 右眼用映像と左眼用映像を分離して観察者の
右眼と左眼にそれぞれ導くように構成された立体映像表
示装置の前方観察位置にスクリーン10を配置する。こ
のスクリーン10には立体映像表示装置の表示映像に基
づく濃淡パターンが映し出される。そして、映像表示面
とパララックスバリアやレンチキュラーレンズの位置合
わせの微妙なずれは前記濃淡パターンとなって現れる。
かかる濃淡パターンに基づいて頭部位置検出装置の設定
を行う。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、特殊な眼鏡を必要と
せずに観察者に立体視させる立体映像表示装置にかか
り、特に観察者の頭部位置を検出して立体視可能範囲を
拡大させる立体映像表示装置に設けられる頭部位置検出
装置を設定する方法および頭部位置検出装置に関する。
【0002】
【従来の技術】従来より、特殊な眼鏡を必要とせずに立
体映像表示を実現する方法しとて、パララックスバリア
方式(いわゆるイメージスプリッタ方式)やレンチキュ
ラーレンズ方式などが知られている。これら方式の立体
映像表示装置では、いずれも右眼映像と左眼映像がそれ
ぞれ観察者の右眼と左眼によって観察される正視領域の
他に、右眼画像が左眼に左眼画像が右眼に導かれてしま
う逆視領域、或いは両画像が一つの眼に観察されてしま
うクロストーク領域が存在する。このため、観察者の頭
部位置を検出し、左右眼の表示画像の切り換え制御等を
行うことによって立体視可能範囲を拡大させることが考
えられている。
【0003】特開平10−333091号公報には、頭
部位置検出装置が開示されている。この頭部位置検出装
置は、正視領域用の第1受光素子及び逆視領域用の第2
受光素子を横方向に並べて成る受光手段、正視領域に位
置する観察者の顔部分にて反射された光を第1受光素子
に、逆視領域に位置する観察者の顔部分にて反射された
光を第2受光素子に、それぞれ導くレンズ手段、及び第
1受光素子にて検出される光量と第2受光素子にて検出
される光量とを比較して観察者が正視領域と逆視領域の
どちらに位置しているかを判断する判断手段から成る。
【0004】
【発明が解決しようとする課題】しかしながら、パララ
ックスバリア方式やレンチキュラーレンズ方式を用いる
立体映像表示装置では、映像表示装置(直視型の液晶表
示パネルや液晶プロジェクタなど)とパララックスバリ
アやレンチキュラーレンズの位置合わせ精度によって、
正視・逆視領域の位置が大きく変化してしまう。このた
め、頭部位置検出装置はその取り付け角度等が調整可能
に設けられ、各立体映像表示装置ごとに光学調整を行う
必要がある。この調整作業には熟練が必要であり、ま
た、光学調整した後でも当該頭部位置検出装置が動いて
しまうと、その都度光学調整を行わなければならず、煩
わしいものとなっている。
【0005】この発明は、上記の事情に鑑み、立体映像
表示装置における頭部位置検出装置の光学調整が正確且
つ比較的容易に行える設定方法、光学調整が不要である
設定方法および頭部位置検出装置を提供することを目的
とする。
【0006】
【課題を解決するための手段】この発明の立体映像表示
装置における頭部位置検出装置の設定方法は、上記の課
題を解決するために、両眼視差を有する映像を分離して
観察者の右眼と左眼にそれぞれ導くように構成された立
体映像表示装置に設けられる頭部位置検出装置の設定方
法において、観察位置に投影面を存在させて前記立体映
像表示装置の表示映像に基づく濃淡パターンを映し出
し、この濃淡パターンに基づいて頭部位置検出装置の設
定を行うことを特徴とする。
【0007】上記構成において、映像表示面とパララッ
クスバリアやレンチキュラーレンズの位置合わせの微妙
なずれは前記濃淡パターンに現れる。従って、かかる濃
淡パターンに基づくことで、頭部位置検出装置の設定が
正確且つ比較的容易に行えることになる。
【0008】頭部位置検出装置は水平方向に二以上の受
光エリアを有する光センサーから成っていてもよい。こ
の場合において、各受光エリアに入射する光量が等しく
なるように光学要素の調整を行うのがよい。
【0009】頭部位置検出装置は撮像素子を有して成っ
ていてもよい。この場合において、撮像素子にて撮像さ
れる濃淡パターンを撮像素子上の所定の位置に合わせる
べく光学要素の調整を行うのがよい。
【0010】また、撮像素子にて撮像した濃淡パターン
のエッジ検出を行い、エッジ箇所の撮像素子上での座標
を記憶するのがよい。これによれば、上記エッジ座標を
基準に観察領域(観察者位置)を判断することができ、
光学調整を行わずに頭部位置検出装置の設定が行えるこ
とになる。
【0011】また、これらの構成において、左右映像の
一方のみ表示するか又は左右映像を異ならせることで各
眼の表示映像領域を判断するようにしてもよい。
【0012】また、この発明の立体映像表示装置におけ
る頭部位置検出装置は、両眼視差を有する映像を分離し
て観察者の右眼と左眼にそれぞれ導くように構成された
立体映像表示装置に設けられる頭部位置検出装置におい
て、撮像素子と、撮像素子にて撮像された映像のエッジ
を検出する手段と、撮像素子上でのエッジ座標を記憶す
る手段と、前記エッジ座標を基準に観察者位置を判断す
る手段と、を備えたことを特徴とする。
【0013】かかる構成であれば、上記エッジ座標を基
準に観察領域(観察者位置)を判断することができ、光
学調整を行わずに頭部位置検出装置の設定が行えること
になる。
【0014】
【発明の実施の形態】以下、この発明の実施形態の立体
映像表示装置における頭部位置検出装置の設定方法及び
頭部位置検出装置を図1乃至図7に基づいて説明する。
【0015】イメージスプリッタ方式の立体映像表示装
置では、映像表示パネル上に両眼視差を有する右眼用映
像(R)と左眼用映像(L)とが短冊状に交互に表示さ
れることになる。そして、映像表示パネルの前方には両
眼視差を生じさせる分離手段であるパララックスバリア
やレンチキュラーレンズが配置される。かかる構成は一
般的な構成であり、これ以外に、分離手段を映像表示パ
ネルの後方に配置したり、映像表示パネルの前後に配置
する構成や、映像表示パネル上に両眼視差を有する右眼
用映像(R)と左眼用映像(L)とを時分割で表示して
各々の映像を右眼と左眼に分離して導く方式などがあ
る。更に、例えばレンチキュラーレンズの一つのレンズ
部に対して8個の画素を対応させ、各画素に8台のカメ
ラにて撮像した映像をそれぞれ表示させる多眼式立体映
像表示装置や、同様の構成を採用しつつ表示映像は2台
のカメラの撮像映像として頭部位置の変化による画像切
り換えをなめらかにする頭部追従型立体映像表示装置な
どがある。そして、頭部追従については、従来項で挙げ
た立体映像表示装置(特開平10−333091号公
報)に示されているように、遮光板として例えば液晶パ
ネルを用い、遮光部と非遮光部との位置を移動させたり
入れ換えたりできるように構成し、更に右眼映像と左眼
映像の表示を切り換えることができるように構成し、観
察者の頭部位置に追従して遮光板や映像表示パネルを制
御するようになっている。
【0016】このようなイメージスプリッタ方式の立体
映像表示装置において例えば両眼映像ともに白色映像と
した場合、図1に示すように、立体映像表示装置9の前
方観察位置にスクリーン10を配置してみると、このス
クリーン10上には白黒の濃淡パターンが現れる。これ
は、右眼用映像及び左眼用映像の到達領域のうち各々の
中央部分は輝度が高く、右眼用映像と左眼用映像との境
界領域では各画素から到達する光が少なくて輝度が低い
ことによる。濃淡パターンは眼間ピッチに対応したもの
となっている。
【0017】図2は、頭部位置検出装置が受光素子11
及びレンズ群12から成る構成を示している。受光素子
11は水平方向に二つの受光領域11a,11bを有し
て成り、一方の受光領域11aにはスクリーン10上の
左眼投影領域の光がレンズ群12にて導かれ、他方の受
光領域11aにはスクリーン10上の右眼投影領域の光
がレンズ群12にて導かれるように光学調整されること
になる。また、この図2においては、映像表示面とパラ
ラックスバリアやレンチキュラーレンズの位置合わせが
正確に行われており、画面中央の真正面の観察位置に濃
淡パターンにおける中央の濃部分が形成されている状態
を示している。この状態においては、一方の受光領域1
1aにはスクリーン10上の左眼投影領域の光が正確に
導かれ、他方の受光領域11aにはスクリーン10上の
右眼投影領域の光が正確に導かれており、受光素子11
及びレンズ群12の位置関係は適正である。すなわち、
実際に観察者が画面中央の真正面の観察位置(図2にお
いては、この観察者位置が正面の正視位置となる)にい
るとき、顔の左半分にて反射されて受光領域11aに導
かれる光量と、顔の右半分にて反射されて受光領域11
bに導かれる光量とが等しくなり、この光量が等しいと
いうことに基づいて観察者が正視位置に居るとの判断
は、正しい判断となる。
【0018】図3は、映像表示面とパララックスバリア
やレンチキュラーレンズの位置合わせにずれが生じ、濃
淡パターンが幾分図において右側にシフトした状態を示
している。このような場合には、観察者が中央ライン
(一点鎖線で示す)から幾分右側にずれて位置するとき
が正視位置となる。そして、この場合には、元のレンズ
群12の位置(点線で示している)では濃淡パターンを
受光したとき受光領域11aと受光領域11bとで受光
量に偏りが生じる。レンズ群12を図の実線の位置にく
るように微調整することにより、受光領域11aと受光
領域11bとの受光量を等しくする。このような光学調
整が行われることで、実際に観察者が画面中央から幾分
右にずれた位置(図3においては、この位置が正面の正
視位置となる)にいるとき、顔の左半分にて反射されて
受光領域11aに導かれる光量と、顔の右半分にて反射
されて受光領域11bに導かれる光量とが等しくなり、
この光量が等しいことで観察者が正視位置に居るとの判
断は、正しい判断となり、正確なヘッドトラッキングが
行われることになる。
【0019】なお、受光素子11に水平方向に4つの受
光領域を設け、クロストーク領域の検出に対応する構成
としてもよい。
【0020】図4は、頭部位置検出装置が撮像素子(C
CD等)21、レンズ22、エッジ検出回路23、処理
回路24、及びメモリ25から成る。撮像素子21はス
クリーン10上の濃淡パターンを撮像して映像信号に変
換する。エッジ検出回路23は、撮像素子21から出力
される映像信号を入力し、微分処理などを行うことによ
って濃淡のエッジを検出する。処理回路24はエッジ箇
所を撮像素子21上の座標情報(例えば、撮像素子の左
端から何画素目かといった情報)を生成し、この座標情
報を不揮発性のメモリ25に格納すると共に、前記撮像
素子21から得られる実際の観察者の映像信号に基づく
頭部位置判定において前記エッジの座標情報を考慮す
る。
【0021】図5においては、観察者と、観察領域(正
視位置,逆視位置)と、左右眼映像と、スクリーン10
上の濃淡パターンと、撮像素子21の撮像映像と、を対
応付けて示している。そして、この場合、中央の濃部分
映像の中心(中央のHigh部分の中心)が撮像素子2
1の左端から100画素目であったとする。メモリ25
には100画素目という情報(座標情報)が格納される
ことになる。勿論、他のエッジ箇所についての情報も格
納される。
【0022】図6(a)は、設定時における撮像素子2
1の撮像映像を示し、同図(b)はヘッドトラッキング
時の撮像映像を示している。上記のごとく中央の濃部分
映像の中心(中央のHigh部の中心)が撮像素子21
の左端から100画素目であったとすれば、ヘッドトラ
ッキング時、観察者映像の中心部が撮像素子21の左端
から100画素目であるとすると、観察者はその立体映
像表示装置においては中央の正視位置に位置しているこ
とになる。処理回路24は、上記100画素目といった
情報に相当するエッジ座標情報をメモリ25から取得す
ることができ、撮像素子上の観察者映像中心部分がどの
エッジ箇所にあるか及びそのエッジ箇所からどれくらい
(何画素分)離れているかを算出することにより、観察
者が正視位置に居るか逆視位置に居るか或いはクロスト
ーク領域に居るかの正確な判断が行えることになる。な
お、どの濃淡部分が左眼映像又は右眼映像に対応するか
の判定は、図7(a)(b)に示すように、スクリーン
投影時(設定時)に、一方の眼映像は黒映像で他方の眼
映像は白映像とするなど、左右眼映像を異ならせること
で判定可能となる。
【0023】また、上記の構成ではエッジ箇所をメモリ
に記憶して演算処理を行うことで光学調整は不要とした
が、頭部位置検出装置に撮像素子を用いる構成におい
て、濃淡パターンに基づき撮像素子を左右方向に微動さ
せるなど、光学調整にて立体映像表示装置における頭部
位置検出装置の設定を行うようにしてもよい。
【0024】また、濃淡パターンのピッチは眼間距離に
限るものではなく、例えば、多眼式或いは多眼式構成を
採用しつつ2眼式として頭部追従による画像変化をなめ
らかにするタイプなどでは、濃淡パターンのピッチは狭
くなり、この濃淡パターン(多眼式の場合、見る位置に
よって或る映像が右眼映像となり、その隣の映像が左眼
映像となる)で設定を行うことになる。また、スクリー
ン10の配置を通常の観察位置(適視位置)よりも手前
に配置した場合も濃淡パターンのピッチは変化し、この
ピッチの濃淡パターンで設定を行うこととしてもよい。
【0025】
【発明の効果】以上説明したように、この発明によれ
ば、光学調整を正確且つ比較的容易に行うことができ
る。また、頭部位置検出装置に撮像素子を用いると共に
濃淡パターンのエッジ箇所をメモリに記憶して演算処理
を行う構成であれば、光学調整を不要にできるという効
果を奏する。
【図面の簡単な説明】
【図1】この発明の実施形態の立体映像表示装置におけ
る頭部位置検出装置の設定方法を説明する説明図であ
る。
【図2】この発明の実施形態の立体映像表示装置におけ
る頭部位置検出装置の設定方法を説明する説明図であ
る。
【図3】この発明の実施形態の立体映像表示装置におけ
る頭部位置検出装置の設定方法を説明する説明図であ
る。
【図4】この発明の実施形態の立体映像表示装置におけ
る頭部位置検出装置の設定方法の他の例を説明する説明
図である。
【図5】図4に対応する図であって、観察者と、観察領
域(正視位置,逆視位置)と、左右眼映像と、スクリー
ン上の濃淡パターンと、撮像素子の撮像映像と、を対応
付けて示した説明図である。
【図6】同図(a)は設定時の撮像素子の撮像映像を示
し、ヘッドトラッキング時の撮像素子の撮像映像を示し
た説明図である。
【図7】同図(a)(b)はそれぞれ一方の眼映像が黒
で他方の眼映像を白としたときの濃度パターンを示した
説明図である。
【符号の説明】
9 立体映像表示装置 10 スクリーン 11 受光素子 12 レンズ群 21 撮像素子 22 レンズ 23 エッジ検出回路 24 処理回路 25 メモリ

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 両眼視差を有する映像を分離して観察者
    の右眼と左眼にそれぞれ導くように構成された立体映像
    表示装置に設けられる頭部位置検出装置の設定方法にお
    いて、観察位置に投影面を存在させて前記立体映像表示
    装置の表示映像に基づく濃淡パターンを映し出し、この
    濃淡パターンに基づいて頭部位置検出装置の設定を行う
    ことを特徴とする立体映像表示装置における頭部位置検
    出装置の設定方法。
  2. 【請求項2】 請求項1に記載の立体映像表示装置にお
    ける頭部位置検出装置の設定方法において、頭部位置検
    出装置は水平方向に二以上の受光エリアを有する光セン
    サーを備えて成ることを特徴とする立体映像表示装置に
    おける頭部位置検出装置の設定方法。
  3. 【請求項3】 請求項2に記載の立体映像表示装置にお
    ける頭部位置検出装置の設定方法において、各受光エリ
    アに入射する光量が等しくなるように光学要素の調整を
    行うことを特徴とする立体映像表示装置における頭部位
    置検出装置の設定方法。
  4. 【請求項4】 請求項1に記載の立体映像表示装置にお
    ける頭部位置検出装置の設定方法において、頭部位置検
    出装置は撮像素子を有して成ることを特徴とする立体映
    像表示装置における頭部位置検出装置の設定方法。
  5. 【請求項5】 請求項4に記載の立体映像表示装置にお
    ける頭部位置検出装置の設定方法において、撮像素子に
    て撮像される濃淡パターンを撮像素子上の所定の位置に
    合わせるべく光学要素の調整を行うことを特徴とする立
    体映像表示装置における頭部位置検出装置の設定方法。
  6. 【請求項6】 請求項4に記載の立体映像表示装置にお
    ける頭部位置検出装置の設定方法において、撮像素子に
    て撮像した濃淡パターンのエッジ検出を行い、エッジ箇
    所の撮像素子上での座標を記憶することを特徴とする立
    体映像表示装置における頭部位置検出装置の設定方法。
  7. 【請求項7】 請求項1乃至請求項6のいずれかに記載
    の立体映像表示装置における頭部位置検出装置の設定方
    法において、左右映像の一方のみ表示するか又は左右映
    像を異ならせることで各眼の表示映像領域を判断するこ
    とを特徴とする立体映像表示装置における頭部位置検出
    装置の設定方法。
  8. 【請求項8】 両眼視差を有する映像を分離して観察者
    の右眼と左眼にそれぞれ導くように構成された立体映像
    表示装置に設けられる頭部位置検出装置において、撮像
    素子と、撮像素子にて撮像された映像のエッジを検出す
    る手段と、撮像素子上でのエッジ座標を記憶する手段
    と、前記エッジ座標を基準に観察者位置を判断する手段
    と、を備えたことを特徴とする立体映像表示装置におけ
    る頭部位置検出装置。
JP2001132569A 2001-04-27 2001-04-27 立体映像表示装置における頭部位置検出装置の設定方法および頭部位置検出装置 Expired - Fee Related JP3454798B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001132569A JP3454798B2 (ja) 2001-04-27 2001-04-27 立体映像表示装置における頭部位置検出装置の設定方法および頭部位置検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001132569A JP3454798B2 (ja) 2001-04-27 2001-04-27 立体映像表示装置における頭部位置検出装置の設定方法および頭部位置検出装置

Publications (2)

Publication Number Publication Date
JP2002330451A true JP2002330451A (ja) 2002-11-15
JP3454798B2 JP3454798B2 (ja) 2003-10-06

Family

ID=18980563

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001132569A Expired - Fee Related JP3454798B2 (ja) 2001-04-27 2001-04-27 立体映像表示装置における頭部位置検出装置の設定方法および頭部位置検出装置

Country Status (1)

Country Link
JP (1) JP3454798B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100728778B1 (ko) * 2004-10-28 2007-06-19 삼성에스디아이 주식회사 입체 영상 표시장치
WO2020095801A1 (ja) * 2018-11-05 2020-05-14 京セラ株式会社 3次元表示装置、ヘッドアップディスプレイシステム、移動体、およびプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100728778B1 (ko) * 2004-10-28 2007-06-19 삼성에스디아이 주식회사 입체 영상 표시장치
WO2020095801A1 (ja) * 2018-11-05 2020-05-14 京セラ株式会社 3次元表示装置、ヘッドアップディスプレイシステム、移動体、およびプログラム
JP2020077913A (ja) * 2018-11-05 2020-05-21 京セラ株式会社 3次元表示装置、ヘッドアップディスプレイシステム、移動体、およびプログラム
CN112970248A (zh) * 2018-11-05 2021-06-15 京瓷株式会社 三维显示装置、平视显示器系统、移动体以及程序
JP7207954B2 (ja) 2018-11-05 2023-01-18 京セラ株式会社 3次元表示装置、ヘッドアップディスプレイシステム、移動体、およびプログラム

Also Published As

Publication number Publication date
JP3454798B2 (ja) 2003-10-06

Similar Documents

Publication Publication Date Title
JP3443271B2 (ja) 立体映像表示装置
EP2299728B1 (en) Stereoscopic image display apparatus
US8456518B2 (en) Stereoscopic camera with automatic obstruction removal
CN101674491B (zh) 用于分析图像数据的设备、方法和计算机程序
JP2920051B2 (ja) 3次元ディスプレイ装置
US20120176474A1 (en) Rotational adjustment for stereo viewing
US9513490B2 (en) Three channel delivery of stereo images
US20120176296A1 (en) Monocular display apparatus
JP2000206459A (ja) 眼鏡無し立体映像表示装置
JP3469884B2 (ja) 立体映像表示装置
CN102970559A (zh) 立体图像显示装置
US9179139B2 (en) Alignment of stereo images pairs for viewing
JPS62122494A (ja) 立体視装置
JPH08327948A (ja) 立体画像表示方法及び立体画像表示装置
JP5474530B2 (ja) 立体画像表示装置
JP2006267767A (ja) 画像表示装置
JP3454798B2 (ja) 立体映像表示装置における頭部位置検出装置の設定方法および頭部位置検出装置
JP2010231192A (ja) ステレオ撮像装置
JP3500083B2 (ja) 眼鏡無し立体映像表示装置
JPH10115878A (ja) 指向性スクリーンを用いる3次元画像投写システム
KR20050076946A (ko) 입체영상 표시장치 및 방법
JP2001218231A (ja) 立体画像を表示する装置および方法
CN104041026A (zh) 图像输出装置、方法以及程序及其记录介质
JP4360180B2 (ja) 立体映像撮影装置
JPH09298759A (ja) 立体映像表示装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080725

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080725

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090725

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100725

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100725

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130725

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees