JP2004012626A - Stereoscopic video display device and stereoscopic video display method - Google Patents
Stereoscopic video display device and stereoscopic video display method Download PDFInfo
- Publication number
- JP2004012626A JP2004012626A JP2002163292A JP2002163292A JP2004012626A JP 2004012626 A JP2004012626 A JP 2004012626A JP 2002163292 A JP2002163292 A JP 2002163292A JP 2002163292 A JP2002163292 A JP 2002163292A JP 2004012626 A JP2004012626 A JP 2004012626A
- Authority
- JP
- Japan
- Prior art keywords
- detection value
- viewer
- position sensor
- stereoscopic
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、映像投影装置から立体表示用の映像、例えば鑑賞者の左右の目に別々の視差を有した映像をスクリーンに投影することで、鑑賞者に立体映像を見せることができる立体映像表示装置及び立体映像表示方法に関する。
【0002】
【従来の技術】
映像投影装置を用いて立体視を実現する場合は、映像投影装置から立体表示用の映像、例えば鑑賞者の左右の目に別々の視差を有した映像をスクリーンに投影することで実現させることができる。
【0003】
この立体視は、例えば車両の車体の形状や部品等の評価を、実物を作製せずに、仮想物体(実物大のモデル等)で行うことができる点で有望視されている。
【0004】
現在、立体視を実現させる具体的構成例としては、大型のスクリーンに映像を投影する、いわゆるwall型と、1つの閉所空間内において1つのスクリーンを設置し、該スクリーンに映像を投影する、いわゆる箱型とがある。
【0005】
wall型によるモデルの評価は、通常、鑑賞者を椅子などに座らせてその位置を固定し、投影された映像のモデルを動かして評価するようになっている。スクリーンのサイズを大きくとることが可能であるため、複数台の映像投影装置によって例えば1つのモデルの映像を投影するようにしている。なお、モデルが二輪車等の比較的小さなサイズのものであれば、1つの映像投影装置で投影可能となっている。
【0006】
wall型の装置構成としては、大型のスクリーンと、該スクリーンの後ろに設置される1台あるいは複数台の映像投影装置と、鑑賞者に装着される例えば液晶シャッタ眼鏡が挙げられる。
【0007】
一方、箱型の立体映像表示装置では、鑑賞者の位置に応じたモデルの映像を瞬時に計算し、投影するようになっており(例えば特開2000−330709号公報参照)、鑑賞者自身がモデルの周りを動いて評価することも可能となっている。
【0008】
この箱型の装置構成としては、閉所空間を構成する部屋と、スクリーンに映像を投影する1台の映像投影装置と、鑑賞者に装着される例えば液晶シャッタ眼鏡と、鑑賞者の位置を検出する位置センサが挙げられる。
【0009】
特に、この箱型は、wall型と違って場所をとらないことと、モデルの鑑賞者が動きながらモデルを確認できるため、上述した車体等の設計や評価に最適である。
【0010】
【発明が解決しようとする課題】
ところで、位置センサとしては、例えば磁気式位置センサ、超音波式位置センサ及び撮像型位置センサ等がある。磁気式位置センサは、安価である反面、金属類の影響を受けやすいという欠点がある。超音波式位置センサは、高価であり、センサ本体のサイズも大きいという問題がある。撮像型位置センサは、超音波式位置センサよりも高価であり、鑑賞者の頭部に取り付けられる撮像対象のマーカーのサイズが大きくかさばるという問題がある。
【0011】
そこで、安価な磁気式位置センサを用いることが考えられるが、上述の撮像型位置センサ以外は、検出精度が撮像型位置センサよりも低く、立体映像でのモデル評価時に虚像のゆがみを生ずる。
【0012】
この場合、センサと鑑賞者との距離が大きく離れても、センサの検出精度にずれがあるため、鑑賞者の位置によっては、鑑賞者の動きが忠実に検出されず、実際の鑑賞者の目の位置と、計算上の目の位置とが食い違うという問題が生じ、鑑賞者は違和感のある立体映像を見ることになる。
【0013】
本発明はこのような課題を考慮してなされたものであり、実際の鑑賞者の目の位置に合わせた立体映像をリアルタイムに表示することができ、立体映像の効果を十分に発揮させることができる立体映像表示装置及び立体映像表示方法を提供することを目的とする。
【0014】
【課題を解決するための手段】
本発明に係る立体映像表示装置は、1つ以上の映像投影装置と、前記1つ以上の映像投影装置に対応して設置され、前記映像投影装置からの映像が投影される1つ以上のスクリーンと、鑑賞者の位置を検出する位置センサと、前記1つ以上の映像投影装置に対して、少なくとも鑑賞者の位置に応じた立体表示用の画像データを送出する制御装置とを有する立体映像表示装置において、前記位置センサの検出値を、該位置センサと前記鑑賞者との距離に応じて補正する補正手段を有することを特徴とする。
【0015】
これにより、位置センサの感度が鑑賞者の位置に拘わらず一定になるように補正されることから、実際の鑑賞者の位置と、計算上の位置とが食い違うというような問題が解消される。その結果、鑑賞者の位置に合わせた立体映像をリアルタイムに表示することができる。
【0016】
そして、前記補正手段は、予め設定された原点から前記鑑賞者の距離に対応する前記位置センサからの検出値の特性を線形特性に補正する手段を有するようにしてもよい。
【0017】
また、前記構成において、前記制御装置は、前記位置センサからの検出値を取り込む位置検出部と、前記位置検出部からの検出値に基づいて前記鑑賞者の位置を求める座標演算機能部とを有する場合に、前記補正手段は、前記位置検出部あるいは前記座標演算機能部に設置するようにしてもよい。
【0018】
この場合、前記補正手段は、前記位置センサからの検出値を取り込む手段と、予め設定された原点からの絶対距離に対する前記位置センサの理論値と検出値との対応テーブルに基づいて前記取り込んだ検出値に対応する補正値を求める手段と、前記取り込んだ検出値に該補正値を加算して真の検出値とする手段とを有するようにし、前記座標演算機能部において、前記真の検出値に基づいて前記鑑賞者の位置を演算するようにしてもよい。
【0019】
次に、本発明に係る立体映像表示方法は、1つ以上の映像投影装置に対して、少なくとも鑑賞者の位置に応じた立体表示用の画像データを送出し、前記1つ以上の映像投影装置に対応して設置された1つ以上のスクリーンに映像を投影することによって立体映像を作像する立体映像表示方法において、前記立体映像の鑑賞者の位置を検出する位置センサの検出値を、該位置センサと前記鑑賞者との距離に応じて補正して前記立体映像を作像することを特徴とする。
【0020】
これにより、実際の鑑賞者の位置と、計算上の位置とが食い違うというような問題が解消され、鑑賞者の位置に合わせた立体映像をリアルタイムに表示することができる。
【0021】
そして、予め設定された原点から前記鑑賞者の距離に対応する前記位置センサからの検出値の特性を線形特性に補正するようにしてもよい。
【0022】
また、前記方法は、予め設定された原点からの絶対距離に対する位置センサの理論値と検出値との差を補正値として単位距離毎にプロットし、単位距離毎の検出値に対応する補正値が配列された対応テーブルを作成するステップと、前記位置センサからの検出値を取り込み、前記対応テーブルに基づいて前記検出値に対応する補正値を求め、前記検出値に該補正値を加算して真の検出値とするステップと、前記真の検出値に基づいて前記鑑賞者の位置を演算するステップとを有するようにしてもよい。
【0023】
【発明の実施の形態】
以下、本発明に係る立体映像表示装置及び立体映像表示方法の実施の形態例を図1〜図15を参照しながら説明する。
【0024】
まず、本実施の形態に係る立体映像表示装置10は、図1及び図3に示すように、箱状に枠組みされた枠体12によって区画され、複数人の鑑賞者14(14a〜14c)を収容可能な空間16と、該空間16を仕切るように配された3枚のスクリーン18a、18b及び18cと、各スクリーン18a、18b及び18cに対応して設置された3台の映像投影装置(以下、プロジェクタと記す)20a、20b及び20cと、各プロジェクタ20a、20b及び20cに画像データを供給する制御装置22と、鑑賞者14に装着される液晶シャッタ眼鏡24(図2参照)とを有する。液晶シャッタ眼鏡24には磁気式位置センサ26が取り付けられている。
【0025】
3枚のスクリーン18a、18b及び18cは、空間16の正面に1枚、側面に1枚及び床面に1枚配置され、それぞれ枠体12に固定されている。
【0026】
そして、この実施の形態では、プロジェクタからの映像が直接スクリーンに投影される第1の投影系と、プロジェクタからの映像が反射ミラー部材での反射を介してスクリーンに投影される第2の投影系とを有する。
【0027】
具体的には、正面のスクリーン18aの後方に、第1のプロジェクタ20aが設置され、前記正面のスクリーン18aに第1のプロジェクタ20aからの映像が直接投影されるようになっており、第1の投影系30を構成している。
【0028】
正面のスクリーン18aと側面のスクリーン18bとの境界部分の近傍に、第2のプロジェクタ20bが設置され、更に、側面のスクリーン18bの後方に、反射ミラー部材32が設置され、第2のプロジェクタ20bからの映像が反射ミラー部材32での反射を介して側面のスクリーン18bに投影されるようになっており、第2の投影系34を構成している。
【0029】
正面のスクリーン18aの上部近傍に、第3のプロジェクタ20cが設置され、更に、空間16の天井部分に反射ミラー部材36が設置され、第3のプロジェクタ20cからの映像が反射ミラー部材36での反射を介して床面のスクリーン18cに投影されるようになっており、この場合も第2の投影系34を構成している。
【0030】
なお、第3のプロジェクタ20cは、空間16を区画する枠体12の後方に設置されたプロジェクタ設置用の枠体38に固定され、反射ミラー部材36もこの枠体38に所定の角度をもって固定されている。
【0031】
また、空間16を区画する枠体12の1つの梁40には、位置センサ26(図2参照)にて感受される磁界を発生するための磁界発生装置42が固定され、鑑賞者14が装着した液晶シャッタ眼鏡24の位置センサ26からの情報に基づいて複数の鑑賞者14の位置がそれぞれ検出されるようになっている。
【0032】
制御装置22は、図4に示すように、各種プログラムを実行するCPU50と、プログラムの実行用のエリアやデータの格納エリアとして使用されるメインメモリ52と、スクリーン18a、18b及び18cと鑑賞者14の位置に応じた画像データが描画される画像メモリ54と、外部機器に対してデータの入出力を行う入出力ポート56とを有する。これらCPU50、メインメモリ52、画像メモリ54及び入出力ポート56はシステムバス58を通じて接続されている。
【0033】
入出力ポート56には、プログラムやデータの保存並びに仮想記憶領域として使用されるハードディスク60に対してデータのアクセスを行うハードディスクドライブ62と、立体映像で表示すべきモデルのCADデータやテクスチャデータが登録されたデータベース64と、液晶シャッタ眼鏡24を制御する眼鏡制御部66と、位置センサ26からの検出値を取り込む位置検出部68とが接続されている。
【0034】
ここで、正面のスクリーン18aに対向する面(背面)のうち、該正面のスクリーン18aの下端の中心点に対向する点を原点P0とし、例えば正面のスクリーン18aの面に直交する方向をX方向、原点P0から側面のスクリーン18bに向かう方向をY方向、原点P0から天井に向かう方向をZ方向としたとき、位置センサ26からの検出値は、これら3軸方向の検出値が含まれることになる。
【0035】
次に、制御装置22で実行されるソフトウェアとしての画像データ処理手段80について図5を参照しながら説明する。この画像データ処理手段80は、各プロジェクタ20a、20b及び20cに対して、それぞれスクリーン18a、18b及び18cに応じた立体表示用の画像データを作成して送出するという機能を有する。
【0036】
この画像データ処理手段80は、図5に示すように、位置検出部68を通じて各位置センサ26からの検出値を取り込んで、各鑑賞者14の目の位置(座標)を求める座標演算機能部82と、第1〜第3のプロジェクタ20a、20b及び20cに対してそれぞれスクリーン18a、18b及び18cに応じ、かつ、各鑑賞者14の目の位置(座標)に応じた画像データを作成して画像メモリ54に描画する画像作成機能部84と、画像メモリ54に描画された画像データを対応するプロジェクタ20a、20b及び20cに送出する画像出力機能部86とを有する。
【0037】
ここで、画像データ処理手段80での処理について図6及び図7のフローチャートを参照しながら説明する。
【0038】
まず、図6のステップS1において、CPU50は、位置検出部68を通じて位置センサ26からの検出値を読み出す。その後、ステップS2において、座標演算機能部82は、前記検出値に基づいて例えば右目の位置(座標)を求める。
【0039】
次に、ステップS3において、画像関係の処理に入る。まず、図7のステップS101において、画像作成機能部84は、前記座標演算機能部82にて求められた目の位置をカメラ視点の座標として入力する。
【0040】
その後、ステップS102において、画像作成機能部84は、表示すべきオブジェクトの画像データのうち、前記カメラ視点を基準とした画像データを演算して、画像メモリ54に描画する(レンダリング処理)。その後、ステップS103において、画像出力機能部86は、描画された画像データをスクリーン毎に振り分け、ステップS104において、各プロジェクタ20a〜20cに出力する。即ち、図6におけるステップS3での処理によって、右目に関する画像データが各スクリーン18a〜18cに投影されることになる。
【0041】
次に、図6のステップS4において、CPU50は、眼鏡制御部66を通じて、液晶シャッタ眼鏡24にエミッタ信号を出力する。
【0042】
その後、ステップS5において、座標演算機能部82は、前記検出値(ステップS1において読み出した検出値)に基づいて今度は左目の位置(座標)を求める。その後、ステップS6において、画像関係の処理に入り、左目に関する画像データを各スクリーン18a〜18cに投影する。
【0043】
次に、ステップS7において、CPU50は、眼鏡制御部66を通じて、液晶シャッタ眼鏡24にエミッタ信号を出力する。
【0044】
上述のステップS1〜S7までの処理を各鑑賞者14a〜14cに対して行うことにより、各鑑賞者14a〜14cに対して、それぞれ目の位置に応じた立体映像を見せることが可能となる。
【0045】
ところで、本実施の形態のように、反射ミラー部材32及び36が設置されていない第1の投影系30と、反射ミラー部材32及び36が設置された第2の投影系34とが混在する場合、各スクリーン18a、18b及び18cに投影される映像の直線偏光成分(縦横の波の振動方向)に調和がとれず、色むらとなって現れるおそれがある。
【0046】
そこで、本実施の形態では、図8A〜図8Cに示すように、第1のプロジェクタ20aと正面のスクリーン18aとの間に位相板90を設置し、更に、第3のプロジェクタ20cと反射ミラー部材36との間に位相板92を設置するようにしている。そのため、各スクリーン18a、18b及び18cに投影される映像の直線偏光成分を全て合わせることが可能となり、色むらの問題は解消される。
【0047】
位相板90及び92を設置する態様としては、上述のほか、以下の態様がある。例えば各プロジェクタ20a、20b及び20cから直線偏光の映像が出射される場合を想定したとき、第1の投影系30では、第1のプロジェクタ20aからの例えば直線偏光の映像が直接スクリーン18aに投影され、第2の投影系34では、第2及び第3のプロジェクタ20b及び20cからの例えば直線偏光の映像が一旦反射ミラー部材32及び36にて反射されて例えば楕円偏光の映像となり、この楕円偏光の映像が側面のスクリーン18b及び床面のスクリーン18cに投影される。
【0048】
この状態で立体映像を作像すると、偏光成分に調和がとれず、色むらとなる場合が生じる。
【0049】
そこで、第1の投影系30あるいは第2の投影系34に位相板90及び/又は92を設置する。図9A〜図9Cに示すように、例えば第1の投影系30に、第1のプロジェクタ20aからの例えば直線偏光を楕円偏光に変換する位相板90を設置することで、偏光成分に調和がとれ、色むらの問題は解消する。
【0050】
一方、第2の投影系34に位相板90及び92を設置する場合は、図10A〜図10Cに示すように、第2及び第3のプロジェクタ20b及び20cと各反射ミラー部材32及び36との間や、図11A〜図11Cに示すように、各反射ミラー部材32及び36と側面及び床面のスクリーン18b及び18cの間に、それぞれ位相板90及び92を設置することが考えられる。
【0051】
図10A〜図10Cに示すように、第2及び第3のプロジェクタ20b及び20cと各反射ミラー部材32及び36との間にそれぞれ位相板90及び92を設置する場合は、位相板90及び92を透過した映像光が反射ミラー部材32及び36で直線偏光に変換されるような位相板を設置することが好ましい。
【0052】
図11A〜図11Cに示すように、反射ミラー部材32及び36と側面及び床面のスクリーン18b及び18cとの間にそれぞれ位相板90及び92を設置する場合は、反射ミラー部材32及び36を反射した楕円偏光の映像光を直線偏光に変換するような位相板を設置することが好ましい。
【0053】
ただ、直線偏光の映像を各スクリーン18a、18b及び18cに投影して立体映像を作像すると、その場で実車(設計品)を見ている感覚ではなく、模型を見ているような感覚となるため、なるべく楕円偏光の映像を各スクリーン18a、18b及び18cに投影して立体映像を作像することが好ましい。つまり、図8A〜図8Cに示すように、第1のプロジェクタ20aと正面のスクリーン18aとの間に位相板90を設置し、第3のプロジェクタ20cと床面のスクリーン18cとの間に位相板92を設置することが好ましい。
【0054】
一方、位置センサ26としては、磁気式位置センサを用いているが、通常は、検出精度が低く、立体映像でのモデル評価時に虚像のゆがみを生ずる。
【0055】
そこで、本実施の形態では、空間16内での鑑賞者14(14a〜14c)の絶対位置と磁気式位置センサ26の検出値を実測した後、実測した絶対位置と検出値との対応関係をプロット(マップ化)し、このプロットの情報に基づいて、磁気式位置センサ26の出力をリニアライズ化するための補正関数を求める。
【0056】
具体的には、例えば正面のスクリーン18aの面に直交する方向をX方向と定義し、正面のスクリーン18aに対向する面(背面)のうち、スクリーン18aの下端の中心点に対向する点を原点P0としたとき、鑑賞者14が原点P0からスクリーン18aに向かって移動したときの位置センサ26の出力を取り込み、原点P0からの絶対距離に対する位置センサ26の検出値を単位距離(例えば1cm)毎にプロットした。
【0057】
図12に、位置センサ26の理論値(線形特性)による直線Aと、検出値(実測値)のプロットによる特性曲線Bを示す。検出値の特性曲線Bからもわかるように、位置によって検出精度にばらつきが生じている。従って、鑑賞者14が大きく動いても、鑑賞者14がいる位置によっては、その動きが忠実に検出されず、座標演算機能部82(図5参照)での座標計算において、実際の鑑賞者14の目の位置と、計算上の目の位置とが食い違うという問題が生じる。この場合、鑑賞者14は違和感のある立体映像を見ることになる。
【0058】
そこで、本実施の形態では、位置センサ26の検出値の変化が線形特性となるように、即ち、位置センサ26の感度が鑑賞者14の位置にかかわらず一定になるように補正を行う。構成上は、図5の二点鎖線で示すように、前記補正を行うための手段である補正機能部100を、上述した座標演算機能部82か、あるいは位置検出部68に組み込む。
【0059】
そして、予め原点P0からの絶対距離Txに対する位置センサ26の理論値(線形特性)LDxと検出値Dxとの差ΔDx(補正値)を単位距離(例えば1cm)毎にとって関数化する。即ち、単位距離毎の検出値に対応する補正値ΔDxが配列された対応テーブル(補正関数テーブルTBLx)を作成し、制御装置22に備えられた例えばハードディスク60(図4参照)に関数と共に記録しておく。図13に検出値Dxに対する補正値ΔDxの対応を示す特性曲線Cを示す。
【0060】
上述の補正関数の算出は、X方向のほか、Y方向(原点P0から側面のスクリーン18bに向かう方向と原点P0からスクリーン18bに対して遠ざかる方向)及びZ方向(原点P0から天井に向かう方向)も行い、それぞれの補正関数テーブルTBLx、TBLy及びTBLzを作成してハードディスク60にそれぞれ関数と共に記録する。
【0061】
補正機能部100は、図14に示すように、位置センサ26あるいは位置検出部68からの検出値Dx、Dy及びDzを取り込む検出値取込手段102と、各補正関数テーブルTBLx、TBLy及びTBLzに基づいて前記取り込んだ検出値Dx、Dy及びDzに対応する補正値ΔDx、ΔDy及びΔDzを求める補正値演算手段104と、前記取り込んだ検出値Dx、Dy及びDzに前記演算された補正値ΔDx、ΔDy及びΔDzを加算して真の検出値tDx、tDy及びtDzを求める検出値演算手段106とを有する。
【0062】
そして、実際の使用時においては、補正機能部100は、位置センサ26からの検出値Dx、Dy及びDzを取り込み、各補正関数テーブルTBLx、TBLy及びTBLzに基づいて前記検出値に対応する補正値ΔDx、ΔDy及びΔDzを求め、前記検出値Dx、Dy及びDzに補正値ΔDx、ΔDy及びΔDzを加算して真の検出値tDx、tDy及びtDzとする。そして、制御装置22における座標演算機能部82では、求められらた真の検出値tDx、tDy及びtDzに基づいて鑑賞者14の位置を演算する。
【0063】
このように、本実施の形態に係る立体映像表示装置10においては、前記補正機能部100によって、位置センサ26の感度が鑑賞者14の位置にかかわらず一定になるように補正され、実際の鑑賞者14の目の位置と、計算上の目の位置とが食い違うというような問題が解消される。その結果、鑑賞者14の目の位置に合わせた立体映像がリアルタイムに表示されることになる。
【0064】
また、第2のプロジェクタ20bと側面のスクリーン18bとの間、並びに第3のプロジェクタ20cと床面のスクリーン18cとの間にそれぞれ反射ミラー部材32及び36が存在することから、例えば第2及び第3のプロジェクタ20b及び20cを正面のスクリーン18a及び側面のスクリーン18bの近傍に設置することが可能となる。
【0065】
即ち、第2及び第3のプロジェクタ20b及び20cからの出射光を反射ミラー部材32及び36で反射させて各スクリーン18b及び18cに投影させることで光路の見かけ上の距離をかせぐことができることから、第2及び第3のプロジェクタ20b及び20cを正面及び側面のスクリーン18a及び18bの近傍に設置しても、側面のスクリーン18b及び床面のスクリーン18cのほぼ全域に映像を投影させることができる。
【0066】
これは、本実施の形態のように、3つのスクリーン18a〜18cと3つのプロジェクタ20a〜20cの設置空間を狭くする上で有利になり、例えばこれらスクリーン18a〜18cとプロジェクタ20a〜20cを閉所空間に設置する場合、閉所空間のサイズを小さくすることが可能となる。従って、図15に示すように、本実施の形態に係る立体映像表示装置10を、車両等の移動体110という限られた閉所空間112内に設置することが可能となり、立体映像表示装置10と移動体110からなる立体映像表示設備114を構成することができる。
【0067】
この立体映像表示設備114においては、立体映像を作像できる立体映像表示装置10を移動体110の閉所空間112内に収容して運搬することが可能となることから、例えば設計段階にあるモデルを立体映像を用いて評価する場合やプレゼンテーションを行う場合に、場所にとらわれずに、どこでも行うことができる。
【0068】
これは、製品の設計段階での修正を早期に行うことが可能になると共に、ユーザの意見を取り入れた設計仕様の構築を早期に行うことができるというメリットがある。また、商品が実際に使われている現場でのデモンストレーションが可能となり、商品の顧客吸引力や商品に対する購買意欲を高める上でも有利となる。
【0069】
なお、この発明に係る立体映像表示装置及び立体映像表示方法は、上述の実施の形態に限らず、この発明の要旨を逸脱することなく、種々の構成を採り得ることはもちろんである。
【0070】
【発明の効果】
以上説明したように、本発明に係る立体映像表示装置及び立体映像表示方法によれば、実際の鑑賞者の目の位置に合わせた立体映像をリアルタイムに表示することができ、立体映像の効果を十分に発揮させることができる。
【図面の簡単な説明】
【図1】本実施の形態に係る立体映像表示装置を示す斜視図である。
【図2】液晶シャッタ眼鏡の一例を示す斜視図である。
【図3】本実施の形態に係る立体映像表示装置を示す正面図である。
【図4】本実施の形態に係る立体映像表示装置における制御装置の構成を示すブロック図である。
【図5】制御装置で実行される画像データ処理手段の構成を示す機能ブロック図である。
【図6】画像データ処理手段の処理動作を示すフローチャート(その1)である。
【図7】画像データ処理手段の処理動作を示すフローチャート(その2)である。
【図8】図8A〜図8Cは、第1のプロジェクタと正面のスクリーンとの間、並びに第3のプロジェクタと反射ミラー部材との間にそれぞれ位相板を設置した例を示す説明図である。
【図9】図9A〜図9Cは、第1の投影系に位相板を設置した例を示す説明図である。
【図10】図10A〜図10Cは、第2及び第3のプロジェクタと各反射ミラー部材との間にそれぞれ位相板を設置した例を示す説明図である。
【図11】図11A〜図11Cは、各反射ミラー部材と側面及び床面のスクリーンとの間にそれぞれ位相板を設置した例を示す説明図である。
【図12】原点からの絶対距離に対する位置センサの理論値と検出値(実測値)の特性を示す図である。
【図13】位置センサの検出値に対する補正値の対応関係を示す図である。
【図14】補正機能部の構成を示す機能ブロック図である。
【図15】本実施の形態に係る立体映像表示装置にて構成される立体映像表示設備を示す正面図である。
【符号の説明】
10…立体映像表示装置 14、14a〜14c…鑑賞者
18a〜18c…スクリーン 20a〜20c…プロジェクタ
22…制御装置 24…液晶シャッタ眼鏡
26…位置センサ 42…磁界発生装置
68…位置検出部 80…画像データ処理手段
82…座標演算機能部 100…補正機能部
102…検出値取込手段 104…補正値演算手段
106…検出値演算手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention provides a stereoscopic video display that allows a viewer to view a stereoscopic video by projecting a video for stereoscopic display, for example, a video having different parallaxes on the left and right eyes of the viewer, from a video projector. The present invention relates to an apparatus and a stereoscopic image display method.
[0002]
[Prior art]
When realizing stereoscopic vision using a video projection device, the video projection device can realize this by projecting a video for stereoscopic display, for example, a video having different parallaxes on the left and right eyes of a viewer on a screen. it can.
[0003]
This stereoscopic vision is considered promising in that, for example, the evaluation of the shape and parts of the vehicle body of a vehicle can be performed on a virtual object (a full-scale model or the like) without producing a real object.
[0004]
At present, as a specific configuration example for realizing stereoscopic vision, a so-called wall type for projecting an image on a large screen and a so-called wall type in which one screen is installed in one closed space and an image is projected on the screen are provided. There is a box type.
[0005]
In the evaluation of a wall-type model, the viewer is usually seated on a chair or the like to fix the position, and the model of the projected image is moved for evaluation. Since it is possible to increase the size of the screen, an image of, for example, one model is projected by a plurality of image projection devices. If the model is of a relatively small size, such as a motorcycle, it can be projected by one video projection device.
[0006]
Examples of the wall-type device configuration include a large screen, one or more video projectors installed behind the screen, and, for example, liquid crystal shutter glasses worn by a viewer.
[0007]
On the other hand, in the box-type stereoscopic image display device, an image of a model according to the position of the viewer is calculated and projected instantaneously (see, for example, JP-A-2000-330709). It is also possible to move around the model for evaluation.
[0008]
As the box-type device configuration, a room constituting a closed space, one video projection device for projecting a video on a screen, for example, liquid crystal shutter glasses worn by a viewer, and a position of the viewer are detected. Position sensors.
[0009]
In particular, this box type is optimal for the above-described design and evaluation of the vehicle body and the like because it does not take up space unlike the wall type and the model viewer can check the model while moving.
[0010]
[Problems to be solved by the invention]
Incidentally, examples of the position sensor include a magnetic position sensor, an ultrasonic position sensor, and an imaging position sensor. Magnetic position sensors are inexpensive, but have the disadvantage of being susceptible to metals. The ultrasonic position sensor has a problem that it is expensive and the size of the sensor body is large. The imaging type position sensor is more expensive than the ultrasonic position sensor, and has a problem that the size of the marker to be imaged attached to the head of the viewer is large and bulky.
[0011]
Therefore, it is conceivable to use an inexpensive magnetic position sensor. However, other than the above-described imaging type position sensor, the detection accuracy is lower than that of the imaging type position sensor, and distortion of a virtual image occurs at the time of model evaluation with a stereoscopic image.
[0012]
In this case, even if the distance between the sensor and the viewer is large, the detection accuracy of the sensor is shifted, so that depending on the position of the viewer, the movement of the viewer is not faithfully detected, and the actual viewer's eyes are not detected. A problem arises that the position of the eye differs from the position of the eye in calculation, and the viewer sees a three-dimensional image with an uncomfortable feeling.
[0013]
The present invention has been made in view of such a problem, and can display a stereoscopic image in accordance with an actual viewer's eye position in real time, so that the effect of the stereoscopic image can be sufficiently exhibited. It is an object of the present invention to provide a stereoscopic image display device and a stereoscopic image display method that can perform the method.
[0014]
[Means for Solving the Problems]
A three-dimensional image display device according to the present invention includes one or more image projection devices, and one or more screens installed corresponding to the one or more image projection devices and on which images from the image projection devices are projected. Stereoscopic video display, comprising: a position sensor for detecting a viewer's position; and a control device for sending, to the one or more video projectors, at least image data for stereoscopic display corresponding to the viewer's position. The apparatus is characterized in that it has a correction means for correcting the detection value of the position sensor according to the distance between the position sensor and the viewer.
[0015]
Thereby, since the sensitivity of the position sensor is corrected to be constant regardless of the position of the viewer, the problem that the actual position of the viewer differs from the calculated position is solved. As a result, it is possible to display a stereoscopic video image adjusted to the position of the viewer in real time.
[0016]
The correction means may include a means for correcting a characteristic of a detection value from the position sensor corresponding to a distance of the viewer from a preset origin to a linear characteristic.
[0017]
Further, in the above configuration, the control device includes a position detection unit that captures a detection value from the position sensor, and a coordinate calculation function unit that obtains the position of the viewer based on the detection value from the position detection unit. In this case, the correction unit may be provided in the position detection unit or the coordinate calculation function unit.
[0018]
In this case, the correction means includes means for capturing a detection value from the position sensor, and the detection means based on a correspondence table between a theoretical value and a detection value of the position sensor with respect to a preset absolute distance from the origin. Means for obtaining a correction value corresponding to the value, and means for adding the correction value to the fetched detection value to obtain a true detection value. The position of the viewer may be calculated based on the viewer.
[0019]
Next, in the stereoscopic video display method according to the present invention, the stereoscopic display image data corresponding to at least the position of the viewer is transmitted to one or more video projectors. In a three-dimensional image display method of forming a three-dimensional image by projecting an image on one or more screens installed corresponding to the three-dimensional image, a detection value of a position sensor that detects a position of a viewer of the three-dimensional image is determined by the method. The stereoscopic image is formed by correcting the distance in accordance with the distance between a position sensor and the viewer.
[0020]
This solves the problem that the actual position of the viewer and the calculated position are different from each other, and a stereoscopic video adjusted to the position of the viewer can be displayed in real time.
[0021]
Then, the characteristic of the detection value from the position sensor corresponding to the distance of the viewer from a preset origin may be corrected to a linear characteristic.
[0022]
Further, in the method, a difference between a theoretical value and a detection value of the position sensor with respect to a predetermined absolute distance from the origin is plotted as a correction value for each unit distance, and a correction value corresponding to the detection value for each unit distance is obtained. Creating an arrayed correspondence table; taking in the detection values from the position sensor, obtaining a correction value corresponding to the detection value based on the correspondence table, adding the correction value to the detection value, and And a step of calculating the position of the viewer based on the true detected value.
[0023]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of a stereoscopic video display device and a stereoscopic video display method according to the present invention will be described with reference to FIGS.
[0024]
First, as shown in FIGS. 1 and 3, the stereoscopic
[0025]
The three
[0026]
In this embodiment, a first projection system in which an image from a projector is directly projected on a screen, and a second projection system in which an image from a projector is projected on a screen via reflection by a reflection mirror member And
[0027]
Specifically, a
[0028]
A
[0029]
A
[0030]
The
[0031]
Further, a
[0032]
As shown in FIG. 4, the
[0033]
Registered in the input /
[0034]
Here, of the surface (rear surface) facing the
[0035]
Next, the image data processing means 80 as software executed by the
[0036]
As shown in FIG. 5, the image data processing means 80 takes in the detection values from the
[0037]
Here, the processing in the image data processing means 80 will be described with reference to the flowcharts of FIGS.
[0038]
First, in step S <b> 1 of FIG. 6, the
[0039]
Next, in a step S3, processing relating to an image is started. First, in step S101 in FIG. 7, the image
[0040]
Then, in step S102, the image
[0041]
Next, in step S4 of FIG. 6, the
[0042]
Thereafter, in step S5, the coordinate
[0043]
Next, in step S7, the
[0044]
By performing the above-described processing of steps S1 to S7 on each of the
[0045]
By the way, as in the present embodiment, a case where the
[0046]
Therefore, in the present embodiment, as shown in FIGS. 8A to 8C, a
[0047]
As modes for installing the
[0048]
When a stereoscopic image is formed in this state, the polarization components may not be harmonized, and color unevenness may occur.
[0049]
Therefore, the
[0050]
On the other hand, when installing the
[0051]
As shown in FIGS. 10A to 10C, when installing the
[0052]
As shown in FIGS. 11A to 11C, when the
[0053]
However, when a three-dimensional image is formed by projecting an image of linearly polarized light on each of the
[0054]
On the other hand, a magnetic position sensor is used as the
[0055]
Therefore, in the present embodiment, after the absolute position of the viewer 14 (14a to 14c) in the
[0056]
Specifically, for example, a direction orthogonal to the surface of the
[0057]
FIG. 12 shows a straight line A based on the theoretical value (linear characteristic) of the
[0058]
Therefore, in the present embodiment, the correction is performed so that the change in the detection value of the
[0059]
The difference ΔDx (correction value) between the theoretical value (linear characteristic) LDx of the
[0060]
The above-described correction function is calculated in addition to the X direction, the Y direction (the direction from the origin P0 toward the
[0061]
As shown in FIG. 14, the
[0062]
Then, during actual use, the
[0063]
As described above, in the stereoscopic
[0064]
Further, since the
[0065]
That is, since the light emitted from the second and
[0066]
This is advantageous in reducing the installation space for the three
[0067]
In the three-dimensional
[0068]
This has the advantage that it is possible to make corrections at the product design stage at an early stage, and to construct a design specification incorporating the opinions of the user at an early stage. In addition, it is possible to perform a demonstration at a site where the product is actually used, which is advantageous in increasing customer attraction of the product and motivation to purchase the product.
[0069]
It should be noted that the stereoscopic video display device and the stereoscopic video display method according to the present invention are not limited to the above-described embodiment, but can adopt various configurations without departing from the gist of the present invention.
[0070]
【The invention's effect】
As described above, according to the three-dimensional image display device and the three-dimensional image display method according to the present invention, it is possible to display a three-dimensional image matched to the actual viewer's eye position in real time, and to reduce the effect of the three-dimensional image. It can be fully demonstrated.
[Brief description of the drawings]
FIG. 1 is a perspective view showing a stereoscopic video display device according to the present embodiment.
FIG. 2 is a perspective view showing an example of liquid crystal shutter glasses.
FIG. 3 is a front view showing the stereoscopic video display device according to the present embodiment.
FIG. 4 is a block diagram showing a configuration of a control device in the stereoscopic video display device according to the present embodiment.
FIG. 5 is a functional block diagram illustrating a configuration of an image data processing unit executed by a control device.
FIG. 6 is a flowchart (part 1) illustrating a processing operation of an image data processing unit.
FIG. 7 is a flowchart (part 2) illustrating a processing operation of the image data processing means.
FIGS. 8A to 8C are explanatory diagrams showing examples in which a phase plate is installed between the first projector and the front screen, and between the third projector and the reflection mirror member, respectively.
FIGS. 9A to 9C are explanatory diagrams illustrating an example in which a phase plate is provided in the first projection system.
FIGS. 10A to 10C are explanatory diagrams showing examples in which a phase plate is provided between the second and third projectors and each reflection mirror member.
FIGS. 11A to 11C are explanatory diagrams showing an example in which a phase plate is provided between each reflection mirror member and a screen on a side surface and a floor surface.
FIG. 12 is a diagram illustrating characteristics of a theoretical value and a detected value (actually measured value) of a position sensor with respect to an absolute distance from an origin.
FIG. 13 is a diagram illustrating a correspondence relationship between a correction value and a detection value of a position sensor.
FIG. 14 is a functional block diagram illustrating a configuration of a correction function unit.
FIG. 15 is a front view showing stereoscopic video display equipment configured with the stereoscopic video display device according to the present embodiment.
[Explanation of symbols]
10: stereoscopic
18a-18c ...
22: control device 24: liquid crystal shutter glasses
26
68
82: Coordinate calculation function unit 100: Correction function unit
102: detection value acquisition means 104: correction value calculation means
106 ... Detection value calculation means
Claims (7)
前記1つ以上の映像投影装置に対応して設置され、前記映像投影装置からの映像が投影される1つ以上のスクリーンと、
鑑賞者の位置を検出する位置センサと、
前記1つ以上の映像投影装置に対して、少なくとも鑑賞者の位置に応じた立体表示用の画像データを送出する制御装置とを有する立体映像表示装置において、
前記位置センサの検出値を、該位置センサと前記鑑賞者との距離に応じて補正する補正手段を有することを特徴とする立体映像表示装置。One or more video projection devices;
One or more screens installed corresponding to the one or more image projection devices and on which images from the image projection device are projected;
A position sensor for detecting the position of the viewer,
A stereoscopic video display device having a control device for transmitting image data for stereoscopic display corresponding to at least a viewer's position to the one or more video projection devices,
A stereoscopic image display device, comprising: a correction unit that corrects a detection value of the position sensor according to a distance between the position sensor and the viewer.
前記補正手段は、予め設定された原点から前記鑑賞者の距離に対応する前記位置センサからの検出値の特性を線形特性に補正する手段を有することを特徴とする立体映像表示装置。The stereoscopic video display device according to claim 1,
The stereoscopic image display device according to claim 1, wherein the correction unit includes a unit configured to correct a characteristic of a detection value from the position sensor corresponding to a distance of the viewer from a preset origin to a linear characteristic.
前記制御装置は、前記位置センサからの検出値を取り込む位置検出部と、前記位置検出部からの検出値に基づいて前記鑑賞者の位置を求める座標演算機能部とを有する場合に、
前記補正手段は、前記位置検出部あるいは前記座標演算機能部に設置されていることを特徴とする立体映像表示装置。The stereoscopic video display device according to claim 1 or 2,
When the control device has a position detection unit that captures a detection value from the position sensor, and a coordinate calculation function unit that determines the position of the viewer based on the detection value from the position detection unit,
The three-dimensional image display device, wherein the correction means is provided in the position detection unit or the coordinate calculation function unit.
前記補正手段は、
前記位置センサからの検出値を取り込む手段と、
予め設定された原点からの絶対距離に対する前記位置センサの理論値と検出値との対応テーブルに基づいて前記取り込んだ検出値に対応する補正値を求める手段と、
前記取り込んだ検出値に該補正値を加算して真の検出値とする手段とを有し、
前記座標演算機能部は、前記真の検出値に基づいて前記鑑賞者の位置を演算することを特徴とする立体映像表示装置。The stereoscopic video display device according to claim 3,
The correction means,
Means for capturing a detection value from the position sensor;
Means for determining a correction value corresponding to the captured detection value based on a correspondence table between a theoretical value and a detection value of the position sensor for an absolute distance from a preset origin,
Means for adding the correction value to the captured detection value to obtain a true detection value,
The three-dimensional image display device, wherein the coordinate calculation function unit calculates the position of the viewer based on the true detection value.
前記立体映像の鑑賞者の位置を検出する位置センサの検出値を、該位置センサと前記鑑賞者との距離に応じて補正して前記立体映像を作像することを特徴とする立体映像表示方法。At least one stereoscopic display image data corresponding to the position of the viewer is transmitted to one or more video projectors, and the image data is transmitted to one or more screens installed corresponding to the one or more video projectors. In a stereoscopic image display method of forming a stereoscopic image by projecting an image,
A stereoscopic image display method comprising: correcting a detection value of a position sensor that detects a position of a viewer of the stereoscopic image according to a distance between the position sensor and the viewer to form the stereoscopic image. .
予め設定された原点から前記鑑賞者の距離に対応する前記位置センサからの検出値の特性を線形特性に補正することを特徴とする立体映像表示方法。The stereoscopic video display method according to claim 5,
A stereoscopic image display method comprising: correcting a characteristic of a detection value from the position sensor corresponding to a distance of the viewer from a preset origin to a linear characteristic.
予め設定された原点からの絶対距離に対する位置センサの理論値と検出値との差を補正値として単位距離毎にプロットし、単位距離毎の検出値に対応する補正値が配列された対応テーブルを作成するステップと、
前記位置センサからの検出値を取り込み、前記対応テーブルに基づいて前記検出値に対応する補正値を求め、前記検出値に該補正値を加算して真の検出値とするステップと、
前記真の検出値に基づいて前記鑑賞者の位置を演算するステップとを有することを特徴とする立体映像表示方法。The stereoscopic video display method according to claim 5 or 6,
The difference between the theoretical value and the detection value of the position sensor with respect to the absolute distance from the preset origin is plotted as a correction value for each unit distance, and a correspondence table in which correction values corresponding to the detection values for each unit distance are arranged. Steps to create;
Capturing a detection value from the position sensor, obtaining a correction value corresponding to the detection value based on the correspondence table, and adding the correction value to the detection value as a true detection value;
Calculating the position of the viewer based on the true detection value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002163292A JP3955497B2 (en) | 2002-06-04 | 2002-06-04 | 3D image display apparatus and 3D image display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002163292A JP3955497B2 (en) | 2002-06-04 | 2002-06-04 | 3D image display apparatus and 3D image display method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004012626A true JP2004012626A (en) | 2004-01-15 |
JP3955497B2 JP3955497B2 (en) | 2007-08-08 |
Family
ID=30431816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002163292A Expired - Fee Related JP3955497B2 (en) | 2002-06-04 | 2002-06-04 | 3D image display apparatus and 3D image display method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3955497B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100368867C (en) * | 2004-09-17 | 2008-02-13 | 精工爱普生株式会社 | Stereoscopic image display system |
JP2008210359A (en) * | 2007-01-30 | 2008-09-11 | Toyota Motor Corp | Operation device |
JP2009230105A (en) * | 2008-02-25 | 2009-10-08 | Fujikura Ltd | Optical ferrule with optical fiber |
JP2011133832A (en) * | 2009-12-25 | 2011-07-07 | Toshiba Corp | Image display device, method, and position determination device |
US8049722B2 (en) | 2005-09-05 | 2011-11-01 | Toyota Jidosha Kabushiki Kaisha | Vehicular operating apparatus |
US8094189B2 (en) | 2007-01-30 | 2012-01-10 | Toyota Jidosha Kabushiki Kaisha | Operating device |
US8159526B2 (en) | 2004-09-17 | 2012-04-17 | Seiko Epson Corporation | Stereoscopic image display system |
CN113261036A (en) * | 2018-10-17 | 2021-08-13 | 斯费瑞股份公司 | Exercise module |
-
2002
- 2002-06-04 JP JP2002163292A patent/JP3955497B2/en not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100368867C (en) * | 2004-09-17 | 2008-02-13 | 精工爱普生株式会社 | Stereoscopic image display system |
US8159526B2 (en) | 2004-09-17 | 2012-04-17 | Seiko Epson Corporation | Stereoscopic image display system |
US8049722B2 (en) | 2005-09-05 | 2011-11-01 | Toyota Jidosha Kabushiki Kaisha | Vehicular operating apparatus |
JP2008210359A (en) * | 2007-01-30 | 2008-09-11 | Toyota Motor Corp | Operation device |
US8094189B2 (en) | 2007-01-30 | 2012-01-10 | Toyota Jidosha Kabushiki Kaisha | Operating device |
JP2009230105A (en) * | 2008-02-25 | 2009-10-08 | Fujikura Ltd | Optical ferrule with optical fiber |
JP2011133832A (en) * | 2009-12-25 | 2011-07-07 | Toshiba Corp | Image display device, method, and position determination device |
CN113261036A (en) * | 2018-10-17 | 2021-08-13 | 斯费瑞股份公司 | Exercise module |
Also Published As
Publication number | Publication date |
---|---|
JP3955497B2 (en) | 2007-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7054293B2 (en) | Rear-stitched view panorama for rear-view visualization | |
KR101730737B1 (en) | Distance adaptive holographic displaying method and device based on eyeball tracking | |
US9354718B2 (en) | Tightly coupled interactive stereo display | |
CN102450001B (en) | Reduce the method for the viewpoint associated artifact in multi-projector system, equipment and optical projection system | |
WO2019074503A1 (en) | Head-mounted display tracking system | |
JP4677281B2 (en) | Image processing method and image processing apparatus | |
US20170295360A1 (en) | Head-mounted display device and computer program | |
US10412527B1 (en) | Head-related transfer function determination using base stations | |
US20210364900A1 (en) | Projection Method of Projection System for Use to Correct Image Distortion on Uneven Surface | |
US20110187827A1 (en) | Method and apparatus for creating a stereoscopic image | |
WO2013118205A1 (en) | Mirror display system and image display method thereof | |
US20100245544A1 (en) | Imaging apparatus, imaging control method, and recording medium | |
US20180192032A1 (en) | System, Method and Software for Producing Three-Dimensional Images that Appear to Project Forward of or Vertically Above a Display Medium Using a Virtual 3D Model Made from the Simultaneous Localization and Depth-Mapping of the Physical Features of Real Objects | |
JP3955497B2 (en) | 3D image display apparatus and 3D image display method | |
US20170359562A1 (en) | Methods and systems for producing a magnified 3d image | |
US20100149319A1 (en) | System for projecting three-dimensional images onto a two-dimensional screen and corresponding method | |
JP2007033087A (en) | Calibration device and method | |
US6091419A (en) | 3-D parallax drawing system and related method | |
WO2012097503A1 (en) | Control method and apparatus for stereoscopic display | |
CN111179407A (en) | Virtual scene creating method, virtual scene projecting system and intelligent equipment | |
JP4121313B2 (en) | 3D image display equipment | |
JP2006318094A (en) | Information processing method and information processor | |
KR101779423B1 (en) | Method and apparatus for processing image | |
JP6378794B1 (en) | Image processing apparatus, image processing program, and image processing method | |
WO2018187743A1 (en) | Producing three-dimensional images using a virtual 3d model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041202 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060804 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070402 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070424 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070502 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130511 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130511 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140511 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |