JP2000115614A - 画像情報入力装置、撮像装置、コンピュータ読み取り可能な記憶媒体及びデータを記憶した記憶媒体 - Google Patents
画像情報入力装置、撮像装置、コンピュータ読み取り可能な記憶媒体及びデータを記憶した記憶媒体Info
- Publication number
- JP2000115614A JP2000115614A JP10281298A JP28129898A JP2000115614A JP 2000115614 A JP2000115614 A JP 2000115614A JP 10281298 A JP10281298 A JP 10281298A JP 28129898 A JP28129898 A JP 28129898A JP 2000115614 A JP2000115614 A JP 2000115614A
- Authority
- JP
- Japan
- Prior art keywords
- principal point
- lens
- image information
- information input
- photoelectric conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Lens Barrels (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
(57)【要約】
【課題】 被写体の位置情報を容易に精度よく得られる
ようにする。 【解決手段】 撮影光学系１０００における変倍レンズ
群１００２とフォーカスコンペレンズ群１００５の位置
を位置検出部２０００、３０００で検出する。ＣＰＵ４
０００は、ＲＯＭ５０００に予め格納されている焦点距
離データ、前側主点位置座標データ、後側主点位置座標
データと上記各レンズ群の位置検出値とからＣＣＤ１０
０６の所定の画素に対する被写体の位置座標と方向ベク
トルとを算出する。
ようにする。 【解決手段】 撮影光学系１０００における変倍レンズ
群１００２とフォーカスコンペレンズ群１００５の位置
を位置検出部２０００、３０００で検出する。ＣＰＵ４
０００は、ＲＯＭ５０００に予め格納されている焦点距
離データ、前側主点位置座標データ、後側主点位置座標
データと上記各レンズ群の位置検出値とからＣＣＤ１０
０６の所定の画素に対する被写体の位置座標と方向ベク
トルとを算出する。
Description
【０００１】
【発明の属する技術分野】本発明は、ビデオカメラや銀
塩カメラの被写体の位置情報を取得するための画像情報
入力装置、この画像情報入力装置を有する撮像装置、及
びこれらに用いられるコンピュータ読み取り可能な記憶
媒体、データを記憶した記憶媒体に関するものである。
塩カメラの被写体の位置情報を取得するための画像情報
入力装置、この画像情報入力装置を有する撮像装置、及
びこれらに用いられるコンピュータ読み取り可能な記憶
媒体、データを記憶した記憶媒体に関するものである。
【０００２】
【従来の技術】近年、３次元映像（以下３Ｄ）やバーチ
ャルリアリティ（以下ＶＲ）やコンピュータグラフィッ
クス（以下ＣＧ）等において、外界や対象物の３次元情
報を取得する技術が開発されている。これらは、デジタ
ルカメラやビデオカメラで画像を取り込み、それに処理
を施すことで３次元情報を取得していた。
ャルリアリティ（以下ＶＲ）やコンピュータグラフィッ
クス（以下ＣＧ）等において、外界や対象物の３次元情
報を取得する技術が開発されている。これらは、デジタ
ルカメラやビデオカメラで画像を取り込み、それに処理
を施すことで３次元情報を取得していた。
【０００３】
【発明が解決しようとする課題】しかしながら、これら
は外界や対象物の３次元情報を取得する際にカメラの撮
影パターンが未知であるために、複数の画像データから
の情報だげでＣＣＤ面上の画素に対する外界の対応点に
対して連立方程式を立てて、これを解くことで３次元の
情報を得ていた。このことはあいまい性を有しているの
で対象物の情報を精度良く取得することは膨大なデータ
と演算時間とを必要とし、実時間でシステムを運用する
ことは困難であり実用的でなかった。
は外界や対象物の３次元情報を取得する際にカメラの撮
影パターンが未知であるために、複数の画像データから
の情報だげでＣＣＤ面上の画素に対する外界の対応点に
対して連立方程式を立てて、これを解くことで３次元の
情報を得ていた。このことはあいまい性を有しているの
で対象物の情報を精度良く取得することは膨大なデータ
と演算時間とを必要とし、実時間でシステムを運用する
ことは困難であり実用的でなかった。
【０００４】本発明は上記の問題を解決して、被写体の
位置情報を容易にかつ精度よく得ることを目的とする。
位置情報を容易にかつ精度よく得ることを目的とする。
【０００５】
【課題を解決するための手段】本発明による画像情報入
力装置においては、可動レンズを有するレンズ手段と、
上記レンズ手段を介して結像された被写体像を画素毎の
電気信号に変換する光電変換手段と、上記可動レンズの
位置を検出する検出手段と、上記検出手段の検出値に応
じて上記被写体の位置情報を算出する演算手段とを設け
ている。
力装置においては、可動レンズを有するレンズ手段と、
上記レンズ手段を介して結像された被写体像を画素毎の
電気信号に変換する光電変換手段と、上記可動レンズの
位置を検出する検出手段と、上記検出手段の検出値に応
じて上記被写体の位置情報を算出する演算手段とを設け
ている。
【０００６】また、本発明による記憶媒体においては、
可動レンズを有するレンズ手段を介して結像された被写
体像を光電変換手段により画素毎の電気信号に変換する
光電変換処理と、上記可動レンズの位置を検出する検出
処理と、上記検出処理の検出値に応じて上記被写体の位
置情報を算出する演算処理とを実行するためのプログラ
ムを記憶している。
可動レンズを有するレンズ手段を介して結像された被写
体像を光電変換手段により画素毎の電気信号に変換する
光電変換処理と、上記可動レンズの位置を検出する検出
処理と、上記検出処理の検出値に応じて上記被写体の位
置情報を算出する演算処理とを実行するためのプログラ
ムを記憶している。
【０００７】また、本発明による撮像装置においては、
上記構成による画像情報入力装置を複数個設けている。
上記構成による画像情報入力装置を複数個設けている。
【０００８】また、本発明による他の記憶媒体において
は、可動レンズを有する撮影レンズの焦点距離データと
前側主点位置座標データと後側主点位置座標データとを
記憶している。
は、可動レンズを有する撮影レンズの焦点距離データと
前側主点位置座標データと後側主点位置座標データとを
記憶している。
【０００９】さらに、本発明による他の記憶媒体におい
ては、可動レンズを有する撮影レンズの固有の収差補正
データと焦点距離データと主点位置データとを記憶して
いる。
ては、可動レンズを有する撮影レンズの固有の収差補正
データと焦点距離データと主点位置データとを記憶して
いる。
【００１０】
【発明の実施の形態】以下、本発明の実施の形態を図面
と共に説明する。図１は画像情報入力装置の基本構成要
素を示す図である。１０００は撮影光学系であり、本実
施の形態では４群リアフォーカスズームとするが、光学
タイプは特に限定するものではない。１００１、１００
２、１００４、１００５は１枚もしくは複数枚のレンズ
からなるレンズ群であり、１群１００１、３群１００４
は固定のレンズ群、２群１００２は変倍レンズ群で可動
である。４群１００５はフォーカスコンペレンズ群で可
動である。１００３は光量調節を行う絞り、１００６は
光電変換を行う固体撮像素子としてのＣＣＤである。
と共に説明する。図１は画像情報入力装置の基本構成要
素を示す図である。１０００は撮影光学系であり、本実
施の形態では４群リアフォーカスズームとするが、光学
タイプは特に限定するものではない。１００１、１００
２、１００４、１００５は１枚もしくは複数枚のレンズ
からなるレンズ群であり、１群１００１、３群１００４
は固定のレンズ群、２群１００２は変倍レンズ群で可動
である。４群１００５はフォーカスコンペレンズ群で可
動である。１００３は光量調節を行う絞り、１００６は
光電変換を行う固体撮像素子としてのＣＣＤである。
【００１１】２群１００２と４群１００５は図示しない
ステップモータによって駆動されるが、ステップモータ
でなくてもよく、ＤＣモータ等の電磁式モータ、超音波
モータ等の固体モータ、静電式モータ等でもよく特に限
定しない。
ステップモータによって駆動されるが、ステップモータ
でなくてもよく、ＤＣモータ等の電磁式モータ、超音波
モータ等の固体モータ、静電式モータ等でもよく特に限
定しない。
【００１２】２０００、３０００は２群１００２、４群
１００５の位置を検出する位置検出部であり、カウンタ
が用いられ、ステップモータを駆動する駆動パルスを数
えることでレンズの位置を換算し検出する。この位置検
出部も特に限定するものでなく、可変抵抗式の静電容量
式、ＰＳＤとＩＲＥＤ等の光学式のものでもよい。
１００５の位置を検出する位置検出部であり、カウンタ
が用いられ、ステップモータを駆動する駆動パルスを数
えることでレンズの位置を換算し検出する。この位置検
出部も特に限定するものでなく、可変抵抗式の静電容量
式、ＰＳＤとＩＲＥＤ等の光学式のものでもよい。
【００１３】４０００はＣＰＵであり、５０００はデー
タを格納するＲＯＭである。ＣＰＵ４０００は位置検出
部２０００、３０００からの出力値Ｖｉ、Ｂｊに対して
所定の離散化データに変換し、この離散化されたデータ
Ｉ、Ｊに対応したＲＯＭ５０００に予め格納されている
焦点距離Ｆｉｊ、前側主点位置データＭｉｊ、後側主点
位置データＵｉｊ等のデータを読み込んで、ＣＣＤ１０
０６の所定の画素ｋに対応する被写体の位置座標Ｈｉｊ
ｋ、方向ベクトルＮｉｊｋを演算して求める。
タを格納するＲＯＭである。ＣＰＵ４０００は位置検出
部２０００、３０００からの出力値Ｖｉ、Ｂｊに対して
所定の離散化データに変換し、この離散化されたデータ
Ｉ、Ｊに対応したＲＯＭ５０００に予め格納されている
焦点距離Ｆｉｊ、前側主点位置データＭｉｊ、後側主点
位置データＵｉｊ等のデータを読み込んで、ＣＣＤ１０
０６の所定の画素ｋに対応する被写体の位置座標Ｈｉｊ
ｋ、方向ベクトルＮｉｊｋを演算して求める。
【００１４】次に上記の演算について説明する。図１の
ように、ＸＹＺ座標をとる。すなわちＸ軸は紙面の表か
ら裏方向に向かって垂直に、Ｙ軸は紙面平行に下から上
方向に、Ｚ軸は光軸として紙面平行に左から右方向にと
る。ＣＣＤ１００６の結像面上にＸＹ平面をとる。ＣＣ
Ｄ面上の画素ｋの座標を（Ｃｘｋ，Ｃｙｋ，０）とお
く。ここでは画素面の重心とする。
ように、ＸＹＺ座標をとる。すなわちＸ軸は紙面の表か
ら裏方向に向かって垂直に、Ｙ軸は紙面平行に下から上
方向に、Ｚ軸は光軸として紙面平行に左から右方向にと
る。ＣＣＤ１００６の結像面上にＸＹ平面をとる。ＣＣ
Ｄ面上の画素ｋの座標を（Ｃｘｋ，Ｃｙｋ，０）とお
く。ここでは画素面の重心とする。
【００１５】焦点距離Ｆｉｊとすると、後側焦点距離座
標は（０，０−Ｆｉｊ）になる。前側主点位置を（０，
０，Ｍｉｊ）、後側主点位置を（０，０，Ｕｉｊ）とお
く。前側焦点距離座標は（０，０，Ｍｉｊ−Ｆｉｊ）と
おける。被写体Ｈｉｊｋの座標を（Ｈｘｉｊｋ，Ｈｙｉ
ｊｋ，Ｈｚｉｊｋ）とおく。このとき、ニュートンの公
式により、被写体ＨｉｊｋのＸ、Ｙ、Ｚ座標は以下の式
（１）（２）（３）で求めることができる。
標は（０，０−Ｆｉｊ）になる。前側主点位置を（０，
０，Ｍｉｊ）、後側主点位置を（０，０，Ｕｉｊ）とお
く。前側焦点距離座標は（０，０，Ｍｉｊ−Ｆｉｊ）と
おける。被写体Ｈｉｊｋの座標を（Ｈｘｉｊｋ，Ｈｙｉ
ｊｋ，Ｈｚｉｊｋ）とおく。このとき、ニュートンの公
式により、被写体ＨｉｊｋのＸ、Ｙ、Ｚ座標は以下の式
（１）（２）（３）で求めることができる。
【００１６】 Ｈｘｉｊｋ＝Ｃｘｋ×Ｆｉｊ／（Ｕｉｊ＋Ｆｉｊ） ………（１） Ｈｙｉｊｋ＝Ｃｙｋ×Ｆｉｊ／（Ｕｉｊ＋Ｆｉｊ） ………（２） Ｈｚｉｊｋ＝Ｍｉｊ−Ｆｉｊ＾２／（Ｕｉｊ＋Ｆｉｊ） ………（３）
【００１７】また、画素ｋと前側主点位置を結ぶ線と、
後側主点位置と画素ｋに対応する被写体ｋを結ぶ線とは
平行であることは既知である。従って、被写体ｋは前側
主点を通り、画素ｋから後側主点位置への方向ベクトル
Ｎｉｊｋ＝（−Ｃｘｋ，−Ｃｙｋ，Ｕｉｊ）に平行な直
線上にあることがわかる。この直線は以下の式（４）で
表わすことができる。 ｘ／−Ｃｘｋ＝ｙ／−Ｃｙｋ＝（ｚ−Ｍｉｊ）／Ｕｉｊ ………（４）
後側主点位置と画素ｋに対応する被写体ｋを結ぶ線とは
平行であることは既知である。従って、被写体ｋは前側
主点を通り、画素ｋから後側主点位置への方向ベクトル
Ｎｉｊｋ＝（−Ｃｘｋ，−Ｃｙｋ，Ｕｉｊ）に平行な直
線上にあることがわかる。この直線は以下の式（４）で
表わすことができる。 ｘ／−Ｃｘｋ＝ｙ／−Ｃｙｋ＝（ｚ−Ｍｉｊ）／Ｕｉｊ ………（４）
【００１８】このように光学系１０００の各レンズ群の
位置に応じた焦点距離データＦｉｊと各主点位置データ
Ｍｉｊ、ＵｉｊをＲＯＭ５０００に持つことにより、正
確に被写体位置Ｈｉｊｋと方向ベクトルＮｉｊｋを求め
ることができる。
位置に応じた焦点距離データＦｉｊと各主点位置データ
Ｍｉｊ、ＵｉｊをＲＯＭ５０００に持つことにより、正
確に被写体位置Ｈｉｊｋと方向ベクトルＮｉｊｋを求め
ることができる。
【００１９】次に、本発明の画像情報入力装置を立体映
像システムに応用した場合について説明する。図２は本
立体映像システムを表わす図である。１は複数の視差画
像を取り込むための立体カメラであり、右眼用の視差画
像を取り込むための光学系１０１と光電変換素子である
ＣＣＤ１０３、左眼用の視差画像を取り込むための光学
系１０２とＣＣＤ１０４を有している。
像システムに応用した場合について説明する。図２は本
立体映像システムを表わす図である。１は複数の視差画
像を取り込むための立体カメラであり、右眼用の視差画
像を取り込むための光学系１０１と光電変換素子である
ＣＣＤ１０３、左眼用の視差画像を取り込むための光学
系１０２とＣＣＤ１０４を有している。
【００２０】光学系１０１とＣＣＤ１０３、光学系１０
２とＣＣＤ１０４は同一の光学スペックであればよく、
光学スペックを限定するものでない。また、光学系１０
１とＣＣＤ１０３と、光学系１０２とＣＣＤ１０４とは
互いの間隔（以下基線長）と互いの光軸のなす角度（以
下幅輳角）は図示しない機構によって可変であり、幅輳
角／基線長駆動制御手段１１により駆動制御される。図
２ではカメラ光軸が交差式による撮影を行っているが、
カメラ光軸が平行である平行式による撮影も可能であ
る。
２とＣＣＤ１０４は同一の光学スペックであればよく、
光学スペックを限定するものでない。また、光学系１０
１とＣＣＤ１０３と、光学系１０２とＣＣＤ１０４とは
互いの間隔（以下基線長）と互いの光軸のなす角度（以
下幅輳角）は図示しない機構によって可変であり、幅輳
角／基線長駆動制御手段１１により駆動制御される。図
２ではカメラ光軸が交差式による撮影を行っているが、
カメラ光軸が平行である平行式による撮影も可能であ
る。
【００２１】１０は幅輳角／基線長検出部であり、立体
カメラ１の基線長と幅輳角を図示しないエンコーダによ
り検出する。２は画像表示部であり、右眼用表示部２０
１と左眼用表示部２０２と、右眼用視線検出部２０３と
左眼用視線検出部２０４とを有する。右眼用表示部２０
１と左眼用表示部２０２はそれぞれ同一スペックであ
り、観察光学系を有する液晶またはＣＲＴ、またはＬＥ
Ｄやレーザからの光ビームを網膜に照射してスキャンニ
ングすることで残像効果で映像を観察するいわゆる網膜
ディスプレイ等のいずれかでよくここでは限定しない。
カメラ１の基線長と幅輳角を図示しないエンコーダによ
り検出する。２は画像表示部であり、右眼用表示部２０
１と左眼用表示部２０２と、右眼用視線検出部２０３と
左眼用視線検出部２０４とを有する。右眼用表示部２０
１と左眼用表示部２０２はそれぞれ同一スペックであ
り、観察光学系を有する液晶またはＣＲＴ、またはＬＥ
Ｄやレーザからの光ビームを網膜に照射してスキャンニ
ングすることで残像効果で映像を観察するいわゆる網膜
ディスプレイ等のいずれかでよくここでは限定しない。
【００２２】また、右眼用視線検出部２０３と左眼用視
線検出部２０４は、いわゆる角膜反射光により視線を検
出する方式である。これは例えば特開平５−６８１８８
号公報に開示されている。しかしながらこの方式に限定
するものではなく、眼球の電位差を利用するＥＯＧ法
や、強膜の白目と黒目の反射率の違いを利用するもの
や、コイルを埋め込んだコンタクトレンズを一様な磁界
のもとで装着し、眼球運動を計測するサーチコイル法等
を用いてもよい。
線検出部２０４は、いわゆる角膜反射光により視線を検
出する方式である。これは例えば特開平５−６８１８８
号公報に開示されている。しかしながらこの方式に限定
するものではなく、眼球の電位差を利用するＥＯＧ法
や、強膜の白目と黒目の反射率の違いを利用するもの
や、コイルを埋め込んだコンタクトレンズを一様な磁界
のもとで装着し、眼球運動を計測するサーチコイル法等
を用いてもよい。
【００２３】３は右眼用視線検出部２０３と左眼用視線
検出部２０４からの出力値に応じて撮影可能範囲を演算
する演算部であり、右眼用視線範囲算出部３０１と左眼
用視線範囲算出部３０２と方向ベクトル算出部３０３と
距離算出部３０５と撮影可能範囲算出部３０４と比較部
３０６とを有する。方向ベクトル算出部３０３には、前
述したカウンタからなる位置検出部２０００、３０００
とＣＰＵ４０００とＲＯＭ５０００が含まれる。
検出部２０４からの出力値に応じて撮影可能範囲を演算
する演算部であり、右眼用視線範囲算出部３０１と左眼
用視線範囲算出部３０２と方向ベクトル算出部３０３と
距離算出部３０５と撮影可能範囲算出部３０４と比較部
３０６とを有する。方向ベクトル算出部３０３には、前
述したカウンタからなる位置検出部２０００、３０００
とＣＰＵ４０００とＲＯＭ５０００が含まれる。
【００２４】４は画像制御部であり、ＣＣＤ１０３、１
０４からの画像信号を所定の画像フォーマットに変換す
る右眼用、左眼用カメラプロセス部５、６によってビデ
オ信号として右眼用、左眼用駆動手段７、８に画像を送
る。また画像メモリ９とデータのやり取りを行う。ま
た、各表示部内に設けられた図示しないＬＥＤの発光／
消灯を制御する信号をＬＥＤ発光回路１２に送る。画像
メモリ９は媒体として磁気テープを用いるがこれに限定
するものではなくＩＣメモリ、光磁気ディスク、ＤＶ
Ｄ、ＣＤ、ＰＤ等でもよい。
０４からの画像信号を所定の画像フォーマットに変換す
る右眼用、左眼用カメラプロセス部５、６によってビデ
オ信号として右眼用、左眼用駆動手段７、８に画像を送
る。また画像メモリ９とデータのやり取りを行う。ま
た、各表示部内に設けられた図示しないＬＥＤの発光／
消灯を制御する信号をＬＥＤ発光回路１２に送る。画像
メモリ９は媒体として磁気テープを用いるがこれに限定
するものではなくＩＣメモリ、光磁気ディスク、ＤＶ
Ｄ、ＣＤ、ＰＤ等でもよい。
【００２５】次に本システムの第１の実施の形態による
動作について説明する。図３に視線検出部２０３、２０
４から演算部３に至る動作のフローチャートを示す。こ
こでステップ１は図２の２０３、２０４に対応し、ステ
ップ２、３は３０１、３０２に対応し、ステップ４、
５、６は３０３に対応し、ステップ７は３０７に対応す
る。
動作について説明する。図３に視線検出部２０３、２０
４から演算部３に至る動作のフローチャートを示す。こ
こでステップ１は図２の２０３、２０４に対応し、ステ
ップ２、３は３０１、３０２に対応し、ステップ４、
５、６は３０３に対応し、ステップ７は３０７に対応す
る。
【００２６】ステップ１は視線検出であり、左眼、右眼
それぞれの角膜反射の座標を出力する。ステップ２でこ
の座標と対応する右眼、左眼用のＬＣＤ上の座標を求め
る。ステップ３で対応する右眼、左眼用のＣＣＤ上の座
標を求める。ステップ４、５、６で前述したように、光
学系１０１と１０２のレンズ群の位置に応じて各光学系
１１、１２の焦点距離Ｆｉｊと前側主点Ｍｉｊおよび後
側主点ＵｉｊをＲＯＭから読み込んで、被写体座標Ｈｉ
ｊｋ（Ｈｘｉｊｋ，Ｈｙｉｊｋ，Ｈｚｉｊｋ）を上記式
（１）（２）（３）により算出する。ステップ７で前側
主点Ｍｉｊと被写体Ｈｉｊｋを結ぶ方向ベクトルＮｉｊ
ｋを光学系１０１及び１０２について式（４）によりそ
れぞれ求める。
それぞれの角膜反射の座標を出力する。ステップ２でこ
の座標と対応する右眼、左眼用のＬＣＤ上の座標を求め
る。ステップ３で対応する右眼、左眼用のＣＣＤ上の座
標を求める。ステップ４、５、６で前述したように、光
学系１０１と１０２のレンズ群の位置に応じて各光学系
１１、１２の焦点距離Ｆｉｊと前側主点Ｍｉｊおよび後
側主点ＵｉｊをＲＯＭから読み込んで、被写体座標Ｈｉ
ｊｋ（Ｈｘｉｊｋ，Ｈｙｉｊｋ，Ｈｚｉｊｋ）を上記式
（１）（２）（３）により算出する。ステップ７で前側
主点Ｍｉｊと被写体Ｈｉｊｋを結ぶ方向ベクトルＮｉｊ
ｋを光学系１０１及び１０２について式（４）によりそ
れぞれ求める。
【００２７】次に撮影可能範囲算出部３０４について述
べる。視差画像を人が融像できるのは表示画面上で被写
体の視差（ここでは画面上のズレ量）が、奥行き方向
（表示画面よりも奥行き方向）では人の瞳間隔（約６３
ｍｍ）以下であることまたは手前方向（表示画面よりも
手前方向）では目の前約２０ｃｍ程度までである。これ
を利用して撮影可能範囲を決定する手順を図４について
説明する。
べる。視差画像を人が融像できるのは表示画面上で被写
体の視差（ここでは画面上のズレ量）が、奥行き方向
（表示画面よりも奥行き方向）では人の瞳間隔（約６３
ｍｍ）以下であることまたは手前方向（表示画面よりも
手前方向）では目の前約２０ｃｍ程度までである。これ
を利用して撮影可能範囲を決定する手順を図４について
説明する。
【００２８】図４のｙ軸は奥行き方向を表わす。ｚ軸は
天地方向を表わす。ｘ軸は奥行き方向に垂直方向であ
る。ＣL は左眼用光学系１０１の前側主点位置座標、Ｃ
R は右眼用光学系１０２の前側主点位置座標、Ｂは左
眼、右眼用光学系１０１、１０２の光軸中心の交点であ
る。点Ａは点Ｂに対して奥行き方向の点、点Ｃは点Ｂに
対して手前方向の点である。
天地方向を表わす。ｘ軸は奥行き方向に垂直方向であ
る。ＣL は左眼用光学系１０１の前側主点位置座標、Ｃ
R は右眼用光学系１０２の前側主点位置座標、Ｂは左
眼、右眼用光学系１０１、１０２の光軸中心の交点であ
る。点Ａは点Ｂに対して奥行き方向の点、点Ｃは点Ｂに
対して手前方向の点である。
【００２９】この時点Ｂは左右光学系１０１、１０２の
画面中心となり視差Ｏの点であり、表示された立体映像
では表示画面上の点になる。点Ａは表示画面の奥の点、
点Ｃは表示画面の手前の点として表示されることにな
る。点Ａと点Ｃは左眼、右眼用光学系１０１、１０２の
レンズ画角２０ｗ内にあるとする。ここで、各座標をＡ
（０，Ａ）、Ｂ（０，Ｂ）、Ｃ（０，Ｃ）ＣL （−ｋ，
０）、ＣR （ｋ，０）とする。
画面中心となり視差Ｏの点であり、表示された立体映像
では表示画面上の点になる。点Ａは表示画面の奥の点、
点Ｃは表示画面の手前の点として表示されることにな
る。点Ａと点Ｃは左眼、右眼用光学系１０１、１０２の
レンズ画角２０ｗ内にあるとする。ここで、各座標をＡ
（０，Ａ）、Ｂ（０，Ｂ）、Ｃ（０，Ｃ）ＣL （−ｋ，
０）、ＣR （ｋ，０）とする。
【００３０】 また、∠ＢＣL Ｏ＝∠ＢＣR Ｏ＝θｂ ………（５） ∠ＢＣL Ａ＝∠ＢＣR Ａ＝θａ ………（６） ∠ＢＣL Ｃ＝∠ＢＣR Ｃ＝θｃ ………（７） とする。
【００３１】ここで、表示画面の水平方向の長さを２Ｗ
ｓとすると、画面中心からの点Ａのズレ量Ｄａは以下の
式で表わせる。 Ｄａ＝Ｗｓ×ｔａｎ（θａ）÷ｔａｎ（θｗ） ………（８）
ｓとすると、画面中心からの点Ａのズレ量Ｄａは以下の
式で表わせる。 Ｄａ＝Ｗｓ×ｔａｎ（θａ）÷ｔａｎ（θｗ） ………（８）
【００３２】従って、観察者の瞳間隔を２ｄh とすれ
ば、以下の式が成り立つ。 ｄｈ≧Ｄａ ………（９） また、ｔａｎ（θａ＋θｂ）＝Ａ÷ｋ ………（１０） ｔａｎ（θｂ）＝Ｂ÷ｋ ………（１１）
ば、以下の式が成り立つ。 ｄｈ≧Ｄａ ………（９） また、ｔａｎ（θａ＋θｂ）＝Ａ÷ｋ ………（１０） ｔａｎ（θｂ）＝Ｂ÷ｋ ………（１１）
【００３３】であるから、式（８）から式（１１）によ
り以下の式が成り立つ。 Ａ≦ｋ×｛ｄh ×ｔａｎ（θｗ）＋Ｗｓ×ｔａｎ（θｂ）｝÷｛Ｗｓ−ｄh × ｔａｎ（θｂ）×ｔａｎ（θｗ）｝ ………（１２）
り以下の式が成り立つ。 Ａ≦ｋ×｛ｄh ×ｔａｎ（θｗ）＋Ｗｓ×ｔａｎ（θｂ）｝÷｛Ｗｓ−ｄh × ｔａｎ（θｂ）×ｔａｎ（θｗ）｝ ………（１２）
【００３４】式（１２）によって画面中心にＢ点がくる
ときの奥行き方向の融像可能範囲が算出される。すなわ
ち、Ｂ点から奥行き方向の点で融像可能なのは式（１
１）の右式で計算される値よりも小さいことが条件とな
る。式（１２）で、ｋとθｂは幅輳角／基線長検出手段
によって取得される。また、θｗはレンズデータより既
知であり、Ｗｓは表示条件によって既知である。ｄh は
所定の値（本実施の形態においては６３ｍｍ）を使用す
るがこれに限定するものでない。
ときの奥行き方向の融像可能範囲が算出される。すなわ
ち、Ｂ点から奥行き方向の点で融像可能なのは式（１
１）の右式で計算される値よりも小さいことが条件とな
る。式（１２）で、ｋとθｂは幅輳角／基線長検出手段
によって取得される。また、θｗはレンズデータより既
知であり、Ｗｓは表示条件によって既知である。ｄh は
所定の値（本実施の形態においては６３ｍｍ）を使用す
るがこれに限定するものでない。
【００３５】次に点Ｃについて考える。上と同様にし
て、点Ｃの画面上でのズレ量Ｄc は以下の式で表わせ
る。 ＤC ＝Ｗｓ×ｔａｎ（θｃ）÷ｔａｎ（θｗ） ………（１３） 画面からの飛び出し量を目の前からｄ、表示画面までの
視距離ｄS とすると ＤC ≦ｄh ×（ｄS −ｄ）÷ｄ ………（１４） ｔａｎ（θｃ）−ｋ×（Ｂ−Ｃ）÷（ｋ2 ＋Ｂ×Ｃ） ………（１５）
て、点Ｃの画面上でのズレ量Ｄc は以下の式で表わせ
る。 ＤC ＝Ｗｓ×ｔａｎ（θｃ）÷ｔａｎ（θｗ） ………（１３） 画面からの飛び出し量を目の前からｄ、表示画面までの
視距離ｄS とすると ＤC ≦ｄh ×（ｄS −ｄ）÷ｄ ………（１４） ｔａｎ（θｃ）−ｋ×（Ｂ−Ｃ）÷（ｋ2 ＋Ｂ×Ｃ） ………（１５）
【００３６】以上より以下の式が成り立つ。 Ｃ≧ｋ×｛ｄ×Ｗｓ×ｔａｎ（θｂ）−ｄh ×（ｄｓ−ｄ）×ｔａｎ（θｗ） ｝÷｛Ｗｓ×ｄ＋ｔａｎ（θｂ）×ｄh ×（ｄｓ−ｄ）×ｔａｎ（θｗ）｝ ………（１６）
【００３７】式（１６）によって画面中心に点Ｂがくる
ときの手前方向の融像可能範囲が算出される。すなわ
ち、Ｂ点から手前方向の点で融像可能なのは式（１６）
の右式で計算される値よりも大きいことが条件となる。
式（１６）で、ｋとθｂは幅輳角／基線長検出手段によ
って取得される。また、θｗはレンズデータより既知で
あり、Ｗｓ、ｄｓは表示条件によって既知である。
ｄh 、ｄは本実施の形態においては所定の値（本実施の
形態においてはｄh ＝６３ｍｍ、ｄ＝２００ｍｍ）を使
用するがこれに限定するものでない。
ときの手前方向の融像可能範囲が算出される。すなわ
ち、Ｂ点から手前方向の点で融像可能なのは式（１６）
の右式で計算される値よりも大きいことが条件となる。
式（１６）で、ｋとθｂは幅輳角／基線長検出手段によ
って取得される。また、θｗはレンズデータより既知で
あり、Ｗｓ、ｄｓは表示条件によって既知である。
ｄh 、ｄは本実施の形態においては所定の値（本実施の
形態においてはｄh ＝６３ｍｍ、ｄ＝２００ｍｍ）を使
用するがこれに限定するものでない。
【００３８】図５に上記のフローチャートを示す。ステ
ップ１１にてθｂとｋを読み込む。ステップ１２にてＷ
ｓ、ｄｓ、ｄh 、ｄを読み込む。ステップ１３にて式
（１２）に従って奥行き融像限界点Ａを求める。ステッ
プ１４にて式（１６）に従って手前融像限界点Ｃを求め
る。ステップ１５にてステップ１３、１４とレンズ撮影
画角θｗ、基線長ｋ、幅輳角θｂから撮影可能範囲が決
定される。
ップ１１にてθｂとｋを読み込む。ステップ１２にてＷ
ｓ、ｄｓ、ｄh 、ｄを読み込む。ステップ１３にて式
（１２）に従って奥行き融像限界点Ａを求める。ステッ
プ１４にて式（１６）に従って手前融像限界点Ｃを求め
る。ステップ１５にてステップ１３、１４とレンズ撮影
画角θｗ、基線長ｋ、幅輳角θｂから撮影可能範囲が決
定される。
【００３９】次にステップ５で求められた視線対象まで
の距離と、ステップ１５で決定された撮影可能範囲とを
比較部３０６で比較する。すなわち視線対象が上記撮影
可能範囲内か、範囲外であるかを比較する。次に範囲内
であるか、範囲外であるかを撮影者に知らせるように画
像制御部４へ指令する。そして表示手段２０１、２０２
の第１または両方のＬＥＤを画像制御部４からの信号に
基づいて点灯または点滅させてその光を撮影者に観察さ
せることで範囲内か範囲外であることを表示する。
の距離と、ステップ１５で決定された撮影可能範囲とを
比較部３０６で比較する。すなわち視線対象が上記撮影
可能範囲内か、範囲外であるかを比較する。次に範囲内
であるか、範囲外であるかを撮影者に知らせるように画
像制御部４へ指令する。そして表示手段２０１、２０２
の第１または両方のＬＥＤを画像制御部４からの信号に
基づいて点灯または点滅させてその光を撮影者に観察さ
せることで範囲内か範囲外であることを表示する。
【００４０】ＬＥＤが点灯のときは範囲外、ＬＥＤが消
灯のときは範囲内としてもよいし、ＬＥＤが点滅のとき
は範囲外、ＬＥＤが消灯のときは範囲内としてもよい。
また、前記撮影可能範囲からの出力結果を各表示部に出
力してもよい。尚、ステップ１からステップ１５までの
一連のタイミングは特に限定するものではないが、例え
ば１／３０秒毎に１回づつ行うものとする。
灯のときは範囲内としてもよいし、ＬＥＤが点滅のとき
は範囲外、ＬＥＤが消灯のときは範囲内としてもよい。
また、前記撮影可能範囲からの出力結果を各表示部に出
力してもよい。尚、ステップ１からステップ１５までの
一連のタイミングは特に限定するものではないが、例え
ば１／３０秒毎に１回づつ行うものとする。
【００４１】次に第２の実施の形態について説明する。
本実施の形態は、図１においてＣＰＵ４０００により位
置検出部２０００、３０００からの出力値Ｖｉ、Ｂｊに
対して所定の離散化データに変換し、この離散化された
データに応じてＲＯＭ５０００に格納されている前側主
点位置データＭｉｊ、後側主点位置データＵｉｊを読み
込んでＣＣＤ１００６の所定の画素ｋに対応する被写体
の方向ベクトルＮｉｊｋを演算し求めるようにしたもの
である。
本実施の形態は、図１においてＣＰＵ４０００により位
置検出部２０００、３０００からの出力値Ｖｉ、Ｂｊに
対して所定の離散化データに変換し、この離散化された
データに応じてＲＯＭ５０００に格納されている前側主
点位置データＭｉｊ、後側主点位置データＵｉｊを読み
込んでＣＣＤ１００６の所定の画素ｋに対応する被写体
の方向ベクトルＮｉｊｋを演算し求めるようにしたもの
である。
【００４２】次に上記演算について説明する。図１にお
いて、前側主点位置を（０，０，Ｍｉｊ）、後側主点位
置を（０，０，Ｕｉｊ）とおく。このとき前述したよう
に、画素ｋと前側主点位置を結ぶ線と後側主点位置と画
素ｋに対応する被写体ｋを結ぶ線は平行であることは既
知である。
いて、前側主点位置を（０，０，Ｍｉｊ）、後側主点位
置を（０，０，Ｕｉｊ）とおく。このとき前述したよう
に、画素ｋと前側主点位置を結ぶ線と後側主点位置と画
素ｋに対応する被写体ｋを結ぶ線は平行であることは既
知である。
【００４３】従って被写体ｋと前側主点を通り、画素ｋ
から後側主点位置への方向ベクトルＮ＝（−Ｃｘｋ，−
Ｃｙｋ，Ｕｉｊ）に平行な直線上にあることがわかる。
この直線は前記式（４）で表わすことができる。このよ
うに光学系１０００の各レンズ群の位置に応じた主点位
置をデータとして有することで正確に被写体のいる方向
ベクトルを求めることができる。
から後側主点位置への方向ベクトルＮ＝（−Ｃｘｋ，−
Ｃｙｋ，Ｕｉｊ）に平行な直線上にあることがわかる。
この直線は前記式（４）で表わすことができる。このよ
うに光学系１０００の各レンズ群の位置に応じた主点位
置をデータとして有することで正確に被写体のいる方向
ベクトルを求めることができる。
【００４４】次に本実施の形態による画像情報入力装着
を図２の立体映像システムに応用した場合の動作につい
て説明する。
を図２の立体映像システムに応用した場合の動作につい
て説明する。
【００４５】図６に図２の視線検出部２０３、２０４か
ら演算部３に至る動作のフローチャートを示す。ここで
ステップ２１は図２の２０３、２０４に対応し、ステッ
プ２２、２３は３０１、３０２に対応し、ステップ２４
は３０３に対応し、ステップ２５、２６、２８、２９、
３０は３０７に対応し、ステップ２７は３０５に対応す
る。
ら演算部３に至る動作のフローチャートを示す。ここで
ステップ２１は図２の２０３、２０４に対応し、ステッ
プ２２、２３は３０１、３０２に対応し、ステップ２４
は３０３に対応し、ステップ２５、２６、２８、２９、
３０は３０７に対応し、ステップ２７は３０５に対応す
る。
【００４６】ステップ２１は視線検出である。左眼、及
び右眼のそれぞれの角膜反射の座標を出力する。ステッ
プ２２でこの座標と対応する右眼、左眼用のＬＣＤ上の
座標を求める。ステップ２３で対応する右眼、左眼用の
ＣＣＤ上の座標を求める。ステップ２４で上述したよう
に光学系１０１と１０２のレンズ群の位置に応じて各光
学系１１、１２の前側主点と後側主点位置をＲＯＭから
読み込んで、前側主点と被写体を結ぶ方向ベクトルを光
学系１０１及び１０２についてそれぞれ求める。
び右眼のそれぞれの角膜反射の座標を出力する。ステッ
プ２２でこの座標と対応する右眼、左眼用のＬＣＤ上の
座標を求める。ステップ２３で対応する右眼、左眼用の
ＣＣＤ上の座標を求める。ステップ２４で上述したよう
に光学系１０１と１０２のレンズ群の位置に応じて各光
学系１１、１２の前側主点と後側主点位置をＲＯＭから
読み込んで、前側主点と被写体を結ぶ方向ベクトルを光
学系１０１及び１０２についてそれぞれ求める。
【００４７】ステップ２５で右眼用方向ベクトルｄR 、
左眼用方向ベクトルｄL が同一平面内にあるかどうかを
調べ、同一平面内であればステップ２６へ進み、そうで
なければステップ２８に進む。ステップ２６で右眼用方
向ベクトルｄR と左眼用方向ベクトルｄL の交点の座標
を求める。ステップ２８で右眼用方向ベクトルｄR と光
学系１２の基準点を通る平面Ｐを求める。
左眼用方向ベクトルｄL が同一平面内にあるかどうかを
調べ、同一平面内であればステップ２６へ進み、そうで
なければステップ２８に進む。ステップ２６で右眼用方
向ベクトルｄR と左眼用方向ベクトルｄL の交点の座標
を求める。ステップ２８で右眼用方向ベクトルｄR と光
学系１２の基準点を通る平面Ｐを求める。
【００４８】ステップ２９で平面Ｐへの左眼用方向ベク
トルｄL の正射影したベクトルｄL′を求める。ステッ
プ２７で立体カメラ１の所定の基準点（左眼用光学系１
０１の基準座標と右眼用光学系１０２の基準座標の中
点）とステップ２６またはステップ３０にて求めた交点
との距離と座標を求める。尚、撮影可能範囲算出部３０
４については図４、図５により説明した通りである。
トルｄL の正射影したベクトルｄL′を求める。ステッ
プ２７で立体カメラ１の所定の基準点（左眼用光学系１
０１の基準座標と右眼用光学系１０２の基準座標の中
点）とステップ２６またはステップ３０にて求めた交点
との距離と座標を求める。尚、撮影可能範囲算出部３０
４については図４、図５により説明した通りである。
【００４９】次に第３の実施の形態について説明する。
本実施の形態は、図１において、ＣＰＵ４０００はＣＣ
Ｄ１００６の所定の画素ｋに対応する被写体の位置座標
Ｈｉｊｋと方向ベクトルＮｉｊｋを演算し求めるため
に、位置検出部２０００、３０００からの出力値Ｖｉ、
Ｒｊに対してレンズ位置データと所定の離散化データ
Ｉ，Ｊに変換し、この離散化されたデータＩ，Ｊと上記
所定の画素ｋが含まれる画素範囲（ｍ，ｎ）に対応する
レンズ１０００のディストーション補正データテーブル
Ｄから一組のディストーション補正データ（Ｄｍｉｊ，
Ｄｎｉｊ）と、上記離散化されたデータＩ，Ｊに対応し
た焦点距離データテーブルＦから焦点距離データＦｉｊ
と、上記離散化されたデータＩ，Ｊに対応した主点位置
データテーブルＳから前側主点位置データＭｉｊ、後側
主点位置データＵｉｊをＲＯＭ５０００から読み込むも
のである。
本実施の形態は、図１において、ＣＰＵ４０００はＣＣ
Ｄ１００６の所定の画素ｋに対応する被写体の位置座標
Ｈｉｊｋと方向ベクトルＮｉｊｋを演算し求めるため
に、位置検出部２０００、３０００からの出力値Ｖｉ、
Ｒｊに対してレンズ位置データと所定の離散化データ
Ｉ，Ｊに変換し、この離散化されたデータＩ，Ｊと上記
所定の画素ｋが含まれる画素範囲（ｍ，ｎ）に対応する
レンズ１０００のディストーション補正データテーブル
Ｄから一組のディストーション補正データ（Ｄｍｉｊ，
Ｄｎｉｊ）と、上記離散化されたデータＩ，Ｊに対応し
た焦点距離データテーブルＦから焦点距離データＦｉｊ
と、上記離散化されたデータＩ，Ｊに対応した主点位置
データテーブルＳから前側主点位置データＭｉｊ、後側
主点位置データＵｉｊをＲＯＭ５０００から読み込むも
のである。
【００５０】次に上記の演算について説明する。図１に
おいて、位置座標を求める被写体が結像しているＣＣＤ
面上の画素ｋの座標を（Ｃｍｋ，Ｃｎｋ，０）とおく。
ここでは画素面の重心とする。このとき、図７に示すよ
うに、ＣＣＤ面上を所定の範囲に分割したどの画素範囲
に画素ｋが含まれるか、その画素範囲Ｄ（ｍ，ｎ）とレ
ンズの位置データＩ，ｊに対応したＸ軸方向のディスト
ーション補正データをＤｍｉｊ、Ｙ軸方向のディストー
ション補正データをＤｎｉｊとし、一組のデータ（Ｄｍ
ｉｊ，Ｄｎｉｊ）とする。
おいて、位置座標を求める被写体が結像しているＣＣＤ
面上の画素ｋの座標を（Ｃｍｋ，Ｃｎｋ，０）とおく。
ここでは画素面の重心とする。このとき、図７に示すよ
うに、ＣＣＤ面上を所定の範囲に分割したどの画素範囲
に画素ｋが含まれるか、その画素範囲Ｄ（ｍ，ｎ）とレ
ンズの位置データＩ，ｊに対応したＸ軸方向のディスト
ーション補正データをＤｍｉｊ、Ｙ軸方向のディストー
ション補正データをＤｎｉｊとし、一組のデータ（Ｄｍ
ｉｊ，Ｄｎｉｊ）とする。
【００５１】通常レンズ１０００は理想的なレンズでな
い限り、収差としてディストーションを有している。す
なわちＣＣＤ面上に結像した像は歪んでいる。従って、
ＣＣＤ面上の画素位置から被写体の位置を求める際にこ
の歪みを補正してやることで精度よく被写体位置を求め
ることができる。
い限り、収差としてディストーションを有している。す
なわちＣＣＤ面上に結像した像は歪んでいる。従って、
ＣＣＤ面上の画素位置から被写体の位置を求める際にこ
の歪みを補正してやることで精度よく被写体位置を求め
ることができる。
【００５２】本実施の形態では、上述したようにＣＣＤ
画素に対応したディストーション補正データを有してい
る。従ってＣＣＤ面上の画素ｋの座標（Ｃｍｋ，Ｃｎ
ｋ，０）に結像した像はディストーションがなければ座
標（Ｄｍｉｊ×Ｃｍｋ，Ｄｎｉｊ×Ｃｎｋ，０）に結像
していることになる。すなわちここでいうディストーシ
ョン補正データはディストーションがないときの被写体
のＣＣＤ面上の結像位置（Ｃ, ｍｋ，Ｃ, ｎｋ，０）を
求めるための補正係数であり、レンズ１０００固有の係
数である。
画素に対応したディストーション補正データを有してい
る。従ってＣＣＤ面上の画素ｋの座標（Ｃｍｋ，Ｃｎ
ｋ，０）に結像した像はディストーションがなければ座
標（Ｄｍｉｊ×Ｃｍｋ，Ｄｎｉｊ×Ｃｎｋ，０）に結像
していることになる。すなわちここでいうディストーシ
ョン補正データはディストーションがないときの被写体
のＣＣＤ面上の結像位置（Ｃ, ｍｋ，Ｃ, ｎｋ，０）を
求めるための補正係数であり、レンズ１０００固有の係
数である。
【００５３】ここで、 Ｃ, ｍｋ＝Ｄｍｉｊ×Ｃｍｋ ………（１７） Ｃ, ｍｋ＝Ｄｎｉｊ×Ｃｎｋ ………（１８） とする。
【００５４】上記ディストーション補正データは、実際
のレンズのディストーションを測定して求めてもよい
し、レンズ設計値を元に設定してもよい。システムが要
求する精度に応じて設定するものとする。当然のことな
がら前者の方が得られる精度はよいが、ここでは特に限
定するものでない。また、本実施の形態では、ディスト
ーション補正データをＣＣＤ画素を所定の範囲に分けて
その範囲毎に設定しているが、画素毎に設定してもよく
特に限定するものでない。以下、特にことわりがない限
り被写体に対応するＣＣＤ面上の画素ｋの座標は上記補
正後のデータ（Ｃ , ｍｋ，Ｃ, ｎｋ，０）とする。
のレンズのディストーションを測定して求めてもよい
し、レンズ設計値を元に設定してもよい。システムが要
求する精度に応じて設定するものとする。当然のことな
がら前者の方が得られる精度はよいが、ここでは特に限
定するものでない。また、本実施の形態では、ディスト
ーション補正データをＣＣＤ画素を所定の範囲に分けて
その範囲毎に設定しているが、画素毎に設定してもよく
特に限定するものでない。以下、特にことわりがない限
り被写体に対応するＣＣＤ面上の画素ｋの座標は上記補
正後のデータ（Ｃ , ｍｋ，Ｃ, ｎｋ，０）とする。
【００５５】レンズの位置データＩ，Ｊに対応した焦点
距離をＦｉｊとおくと、後側焦点距離座標は（０，０、
−Ｆｉｊ）になる。レンズの位置データＩ，Ｊに対応し
た前側主点位置を（０，０、Ｍｉｊ）、後側主点位置を
（０，０、Ｕｉｊ）とおく。前側焦点距離座標は（０，
０、Ｍｉｊ−Ｆｉｊ）、後側焦点距離座標は（０，０、
Ｕｉｊ＋Ｆｉｊ）とおける。また、被写体Ｈｉｊｋの座
標を（Ｈｘｉｊｋ，Ｈｙｉｊｋ，Ｈｚｉｊｋ）とおく。
このとき、ニュートンの公式により、被写体Ｈｉｊｋの
Ｘ、Ｙ、Ｚ座標は以下の式で求めることができる。
距離をＦｉｊとおくと、後側焦点距離座標は（０，０、
−Ｆｉｊ）になる。レンズの位置データＩ，Ｊに対応し
た前側主点位置を（０，０、Ｍｉｊ）、後側主点位置を
（０，０、Ｕｉｊ）とおく。前側焦点距離座標は（０，
０、Ｍｉｊ−Ｆｉｊ）、後側焦点距離座標は（０，０、
Ｕｉｊ＋Ｆｉｊ）とおける。また、被写体Ｈｉｊｋの座
標を（Ｈｘｉｊｋ，Ｈｙｉｊｋ，Ｈｚｉｊｋ）とおく。
このとき、ニュートンの公式により、被写体Ｈｉｊｋの
Ｘ、Ｙ、Ｚ座標は以下の式で求めることができる。
【００５６】 Ｈｘｉｊｋ＝Ｃ, ｍｋ×Ｆｉｊ／（Ｕｉｊ＋Ｆｉｊ） ………（１９） Ｈｙｉｊｋ＝Ｃ, ｍｋ×Ｆｉｊ／（Ｕｉｊ＋Ｆｉｊ） ………（２０） Ｈｚｉｊｋ＝Ｍｉｊ−Ｆｉｊ＋Ｆｉｊ＾２／（Ｕｉｊ＋Ｆｉｊ） ………（２１）
【００５７】また、画素ｋと前側主点位置を結ぶ線と後
側主点位置と画素ｋに対応する被写体ｋを結ぶ線は平行
であることは既知である。従って被写体ｋは前側主点を
通り、画素ｋから後側主点位置への方向ベクトルＮｉｊ
ｋ＝（−Ｃ, ｘｋ，−Ｃ, ｙｋ，Ｕｉｊ）に平行な直線
上にあることがわかる。この直線は以下の式で表わすこ
とができる。 ｘ／−Ｃ′ｍｋ＝ｙ／−Ｃ′ｍｋ＝（ｚ−Ｍｉｊ）／Ｕｉｊ………（２２）
側主点位置と画素ｋに対応する被写体ｋを結ぶ線は平行
であることは既知である。従って被写体ｋは前側主点を
通り、画素ｋから後側主点位置への方向ベクトルＮｉｊ
ｋ＝（−Ｃ, ｘｋ，−Ｃ, ｙｋ，Ｕｉｊ）に平行な直線
上にあることがわかる。この直線は以下の式で表わすこ
とができる。 ｘ／−Ｃ′ｍｋ＝ｙ／−Ｃ′ｍｋ＝（ｚ−Ｍｉｊ）／Ｕｉｊ………（２２）
【００５８】このように光学系１０００の各レンズ群の
位置に応じた焦点距離データＦｉｊと各主点位置データ
Ｍｉｊ、Ｕｉｊを有することで正確に被写体位置Ｈｉｊ
ｋと方向ベクトルＮｉｊｋを求めることができる。
位置に応じた焦点距離データＦｉｊと各主点位置データ
Ｍｉｊ、Ｕｉｊを有することで正確に被写体位置Ｈｉｊ
ｋと方向ベクトルＮｉｊｋを求めることができる。
【００５９】次に、本実施の形態の画像情報入力装置を
立体映像システムに応用した場合の動作について説明す
る。図８に図２の視線検出部２０３、２０４から演算部
３に至る動作のフローチャートを示す。ここでステップ
４１は２０３、２０４に対応し、ステップ４２、４３は
３０１、３０２に対応し、ステップ４４、４５、４６、
４７、４８は３０３に対応し、ステップ４９は３０７に
対応する。
立体映像システムに応用した場合の動作について説明す
る。図８に図２の視線検出部２０３、２０４から演算部
３に至る動作のフローチャートを示す。ここでステップ
４１は２０３、２０４に対応し、ステップ４２、４３は
３０１、３０２に対応し、ステップ４４、４５、４６、
４７、４８は３０３に対応し、ステップ４９は３０７に
対応する。
【００６０】ステップ４１は視線検出である。左眼、及
び右眼のそれぞれの角膜反射の座標を出力する。ステッ
プ４２でこの座標と対応する右眼、及び左眼用のＬＣＤ
上の座標を求める。ステップ４３で対応する右眼、及び
左眼用のＣＣＤ上の座標を求める。ステップ４４、４
５、４６で上述したように、光学系１０１と１０２のレ
ンズ群の位置に応じて各光学系１１、１２のディストー
ション補正データ（Ｄｍｉｊ，Ｄｎｉｊ）、焦点距離Ｆ
ｉｊと前側主点Ｍｉｊ及び後側主点ＵｉｊをＲＯＭから
読み込んで、被写体座標Ｈｉｊｋ（Ｈｘｉｊｋ，Ｈｙｉ
ｊｋ，Ｈｚｉｊｋ）を上記式（１７）〜（２１）により
算出する。ステップ４７で前側主点Ｍｉｊと被写体Ｈｉ
ｊｋを結ぶ方向ベクトルＮｉｊｋを光学系１０１及び１
０２について式（６）にてそれぞれ求める。また、撮影
可能範囲算出部３０４についは、図４、図５により説明
した通りである。
び右眼のそれぞれの角膜反射の座標を出力する。ステッ
プ４２でこの座標と対応する右眼、及び左眼用のＬＣＤ
上の座標を求める。ステップ４３で対応する右眼、及び
左眼用のＣＣＤ上の座標を求める。ステップ４４、４
５、４６で上述したように、光学系１０１と１０２のレ
ンズ群の位置に応じて各光学系１１、１２のディストー
ション補正データ（Ｄｍｉｊ，Ｄｎｉｊ）、焦点距離Ｆ
ｉｊと前側主点Ｍｉｊ及び後側主点ＵｉｊをＲＯＭから
読み込んで、被写体座標Ｈｉｊｋ（Ｈｘｉｊｋ，Ｈｙｉ
ｊｋ，Ｈｚｉｊｋ）を上記式（１７）〜（２１）により
算出する。ステップ４７で前側主点Ｍｉｊと被写体Ｈｉ
ｊｋを結ぶ方向ベクトルＮｉｊｋを光学系１０１及び１
０２について式（６）にてそれぞれ求める。また、撮影
可能範囲算出部３０４についは、図４、図５により説明
した通りである。
【００６１】尚、図１、図２の各機能ブロックによるシ
ステムは、ハード的に構成してもよく、また、ＣＰＵや
メモリ等から成るマイクロコンピュータシステムに構成
してもよい。コンピュータシステムに構成する場合、上
記メモリは本発明による記憶媒体を構成する。この記憶
媒体には、図１、図５、図６、図８のフローチャートに
ついて前述した動作を制御するための処理手順を実行す
るためのプログラムが記憶される。
ステムは、ハード的に構成してもよく、また、ＣＰＵや
メモリ等から成るマイクロコンピュータシステムに構成
してもよい。コンピュータシステムに構成する場合、上
記メモリは本発明による記憶媒体を構成する。この記憶
媒体には、図１、図５、図６、図８のフローチャートに
ついて前述した動作を制御するための処理手順を実行す
るためのプログラムが記憶される。
【００６２】また、この記憶媒体としては、ＲＯＭ、Ｒ
ＡＭ等の半導体メモリ、光ディスク、光磁気ディスク、
磁気媒体等を用いてよく、これらをＣＤ−ＲＯＭ、フロ
ッピディスク、磁気媒体、磁気カード、不揮発性のメモ
リカード等に構成して用いてよい。
ＡＭ等の半導体メモリ、光ディスク、光磁気ディスク、
磁気媒体等を用いてよく、これらをＣＤ−ＲＯＭ、フロ
ッピディスク、磁気媒体、磁気カード、不揮発性のメモ
リカード等に構成して用いてよい。
【００６３】従って、この記憶媒体を図１、図２に示し
たシステム以外の他のシステムあるいは装置で用い、そ
のシステムあるいはコンピュータがこの記憶媒体に格納
されたプログラムコードを読み出し、実行することによ
っても、前述した各実施の形態と同等の機能を実現でき
ると共に、同等の効果を得ることができ、本発明の目的
を達成することができる。
たシステム以外の他のシステムあるいは装置で用い、そ
のシステムあるいはコンピュータがこの記憶媒体に格納
されたプログラムコードを読み出し、実行することによ
っても、前述した各実施の形態と同等の機能を実現でき
ると共に、同等の効果を得ることができ、本発明の目的
を達成することができる。
【００６４】また、コンピュータ上で稼働しているＯＳ
等が処理の一部又は全部を行う場合、あるいは、記憶媒
体から読み出されたプログラムコードが、コンピュータ
に挿入された拡張機能ボードやコンピュータに接続され
た拡張機能ユニットに備わるメモリに書き込まれた後、
そのプログラムコードの指示に基づいて、上記拡張機能
ボードや拡張機能ユニットに備わるＣＰＵ等が処理の一
部又は全部を行う場合にも、各実施の形態と同等の機能
を実現できると共に、同等の効果を得ることができ、本
発明の目的を達成することができる。
等が処理の一部又は全部を行う場合、あるいは、記憶媒
体から読み出されたプログラムコードが、コンピュータ
に挿入された拡張機能ボードやコンピュータに接続され
た拡張機能ユニットに備わるメモリに書き込まれた後、
そのプログラムコードの指示に基づいて、上記拡張機能
ボードや拡張機能ユニットに備わるＣＰＵ等が処理の一
部又は全部を行う場合にも、各実施の形態と同等の機能
を実現できると共に、同等の効果を得ることができ、本
発明の目的を達成することができる。
【００６５】また、第１、第２の実施の形態で用いられ
る撮影レンズの焦点距離データと前側主点位置座標デー
タと後側主点位置座標データとを記憶したＲＯＭ５００
０、あるいは第３の実施の形態の形態で用いられる撮影
レンズの固有の収差補正データと焦点距離データと主点
位置データと記憶したＲＯＭ５０００は、本発明による
データを記憶した記憶媒体を構成する。この記憶媒体も
上記コンピュータ読み取り可能な記憶媒体と同様のもの
が用いられる。
る撮影レンズの焦点距離データと前側主点位置座標デー
タと後側主点位置座標データとを記憶したＲＯＭ５００
０、あるいは第３の実施の形態の形態で用いられる撮影
レンズの固有の収差補正データと焦点距離データと主点
位置データと記憶したＲＯＭ５０００は、本発明による
データを記憶した記憶媒体を構成する。この記憶媒体も
上記コンピュータ読み取り可能な記憶媒体と同様のもの
が用いられる。
【００６６】
【発明の効果】以上説明したように、本発明による画像
情報入力装置によれば、可動レンズの位置を検出した情
報に基づいて被写体の位置情報を求めるようにしたの
で、精度の高い被写体の位置情報を得ることができる。
このためこの画像情報入力装置を立体映像撮影装置に用
いることにより、被写体が撮影範囲にあるか範囲外であ
るかを高い精度で検出することができ、これによって疲
労度の少ない見やすい立体映像を得ることができる。
情報入力装置によれば、可動レンズの位置を検出した情
報に基づいて被写体の位置情報を求めるようにしたの
で、精度の高い被写体の位置情報を得ることができる。
このためこの画像情報入力装置を立体映像撮影装置に用
いることにより、被写体が撮影範囲にあるか範囲外であ
るかを高い精度で検出することができ、これによって疲
労度の少ない見やすい立体映像を得ることができる。
【００６７】また、被写体の位置情報を可動レンズの位
置情報と共に、焦点距離データ、前側主点位置座標デー
タ、後側主点位置座標データ、あるいはレンズ固有の収
差補正データ、焦点距離データ、主点位置データに基づ
いて求めることにより、処理のためのデータ量や演算時
間を特に大きくすることなく、精度の高い被写体位置情
報を容易に取得することができる。
置情報と共に、焦点距離データ、前側主点位置座標デー
タ、後側主点位置座標データ、あるいはレンズ固有の収
差補正データ、焦点距離データ、主点位置データに基づ
いて求めることにより、処理のためのデータ量や演算時
間を特に大きくすることなく、精度の高い被写体位置情
報を容易に取得することができる。
【００６８】また、立体映像撮影装置に複数の画像情報
入力装置を用いることにより、一方のレンズ情報の不具
合が生じても、他方のレンズの焦点距離と主点位置情報
等から被写体座標を求めることができ、データの信頼性
を向上させることができる。
入力装置を用いることにより、一方のレンズ情報の不具
合が生じても、他方のレンズの焦点距離と主点位置情報
等から被写体座標を求めることができ、データの信頼性
を向上させることができる。
【図１】本発明による画像情報入力装置の第１、第２、
第３の実施の形態を示すブロック図である。
第３の実施の形態を示すブロック図である。
【図２】画像情報入力装置を用いた立体映像撮影装置の
実施の形態を示すブロック図である。
実施の形態を示すブロック図である。
【図３】本発明の第１の実施の形態による立体映像撮影
装置の動作を示すフローチャートである。
装置の動作を示すフローチャートである。
【図４】撮影可能範囲算出を説明する構成図である。
【図５】撮影可能範囲算出を説明するフローチャートで
ある。
ある。
【図６】本発明の第２の実施の形態による立体映像撮影
装置の動作を示すフローチャートである。
装置の動作を示すフローチャートである。
【図７】本発明の第２の実施の形態による画像情報入力
装置の動作を説明するためのＣＣＤ面を示す構成図であ
る。
装置の動作を説明するためのＣＣＤ面を示す構成図であ
る。
【図８】本発明の第３の実施の形態による立体映像撮影
装置の動作を示すフローチャートである。
装置の動作を示すフローチャートである。
１０００ 撮影光学系 １００１、１００４ 固定レンズ群 １００２ 変倍レンズ群 １００５ フォーカスコンペレンズ群 １００６ ＣＣＤ ２０００、３０００ 位置検出部 ４０００ ＣＰＵ ５０００ ＲＯＭ
Claims (20)
- 【請求項１】 可動レンズを有するレンズ手段と、 上記レンズ手段を介して結像された被写体像を画素毎の
電気信号に変換する光電変換手段と、 上記可動レンズの位置を検出する検出手段と、 上記検出手段の検出値に応じて上記被写体の位置情報を
算出する演算手段とを設けたことを特徴とする画像情報
入力装置。 - 【請求項２】 上記位置情報は、上記光電変換手段の所
定の画素に対するベクトルであることを特徴とする請求
項１記載の画像情報入力装置。 - 【請求項３】 上記位置情報は、上記光電変換手段の所
定の画素に対する上記被写体の位置座標とベクトルであ
ることを特徴とする請求項１記載の画像情報入力装置。 - 【請求項４】 上記位置情報は、上記光電変換手段の所
定の画素の位置座標と上記検出手段の検出値に対応した
上記レンズ手段の焦点距離と前側主点位置座標と後側主
点位置座標とを用いて算出することを特徴とする請求項
１、２又は３記載の画像情報入力装置。 - 【請求項５】 上記被写体の位置座標は、上記光電変換
手段の所定の画素の位置座標と上記検出手段の検出値に
対応した上記レンズ手段の焦点距離と前側主点位置座標
と後側主点位置座標とを用いて算出することを特徴とす
る請求項３記載の画像情報入力装置。 - 【請求項６】 上記検出手段の検出値に対応した上記レ
ンズ手段の焦点距離と前側主点位置座標と後側主点位置
座標とを記憶した記憶手段を設けたことを特徴とする請
求項４又は５記載の画像情報入力装置。 - 【請求項７】 上記位置情報は、レンズ手段の固有の収
差補正データと焦点距離と主点位置データとから求めた
上記光電変換手段の所定の画素に対する上記被写体の位
置情報であることを特徴とする請求項１記載の画像情報
入力装置。 - 【請求項８】 上記レンズ手段の固有の収差補正データ
は、上記光電変換手段の所定の画素範囲に対応したデー
タテーブルであることを特徴とする請求項７記載の画像
情報入力装置。 - 【請求項９】 上記レンズ手段の固有の収差補正データ
は、上記光電変換手段の所定の画素に対応したデータテ
ーブルであることを特徴とする請求項７記載の画像情報
入力装置。 - 【請求項１０】 上記レンズ手段の固有の収差補正デー
タと焦点距離と主点位置データとを記憶した記憶手段を
設けたことを特徴とする請求項７記載の画像情報入力装
置。 - 【請求項１１】 上記検出手段の検出値は離散化された
データであることを特徴とする請求項１記載の画像情報
入力装置。 - 【請求項１２】 請求項１に記載された構成を有する画
像情報入力装置を複数個設けたことを特徴とする撮像装
置。 - 【請求項１３】 上記複数の画像情報入力装置により、
右眼用視差画像と左眼用視差画像とを得るようにしたこ
とを特徴とする請求項１２記載の撮像装置。 - 【請求項１４】 可動レンズを有するレンズ手段を介し
て結像された被写体像を光電変換手段により画素毎の電
気信号に変換する光電変換処理と、 上記可動レンズの位置を検出する検出処理と、 上記検出処理の検出値に応じて上記被写体の位置情報を
算出する演算処理とを実行するためのプログラムを記憶
したコンピュータ読み取り可能な記憶媒体。 - 【請求項１５】 上記位置情報は、上記光電変換手段の
所定の画素に対するベクトルであることを特徴とする請
求項１４記載のコンピュータ読み取り可能な記憶媒体。 - 【請求項１６】 上記位置情報は、上記光電変換手段の
所定の画素に対する上記被写体の位置座標とベクトルで
あることを特徴とする請求項１４記載のコンピュータ読
み取り可能な記憶媒体。 - 【請求項１７】 上記位置情報は、上記光電変換手段の
所定の画素の位置座標と上記検出処理の検出値に対応し
た上記レンズ手段の焦点距離と前側主点位置座標と後側
主点位置座標とを用いて算出することを特徴とする請求
項１４、１５又は１６記載のコンピュータ読み取り可能
な記憶媒体。 - 【請求項１８】 上記被写体の位置座標は、上記光電変
換手段の所定の画素の位置座標と上記検出手段の検出値
に対応した上記レンズ手段の焦点距離と前側主点位置座
標と後側主点位置座標とを用いて算出することを特徴と
する請求項１６記載のコンピュータ読み取り可能な記憶
媒体。 - 【請求項１９】 可動レンズを有するレンズ手段の焦点
距離データと前側主点位置座標データと後側主点位置座
標データとを記憶した記憶媒体。 - 【請求項２０】 可動レンズを有するレンズ手段の固有
の収差補正データと焦点距離データと主点位置データと
を記憶した記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28129898A JP4235291B2 (ja) | 1998-10-02 | 1998-10-02 | 立体映像システム |
| US09/406,479 US6833858B1 (en) | 1998-10-02 | 1999-09-27 | Image input apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28129898A JP4235291B2 (ja) | 1998-10-02 | 1998-10-02 | 立体映像システム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000115614A true JP2000115614A (ja) | 2000-04-21 |
| JP2000115614A5 JP2000115614A5 (ja) | 2005-11-17 |
| JP4235291B2 JP4235291B2 (ja) | 2009-03-11 |
Family
ID=17637129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28129898A Expired - Fee Related JP4235291B2 (ja) | 1998-10-02 | 1998-10-02 | 立体映像システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6833858B1 (ja) |
| JP (1) | JP4235291B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070165942A1 (en) * | 2006-01-18 | 2007-07-19 | Eastman Kodak Company | Method for rectifying stereoscopic display systems |
| JP2007194779A (ja) * | 2006-01-18 | 2007-08-02 | Pentax Corp | 三次元撮影装置 |
| US7802883B2 (en) | 2007-12-20 | 2010-09-28 | Johnson & Johnson Vision Care, Inc. | Cosmetic contact lenses having a sparkle effect |
| JP2012220679A (ja) * | 2011-04-07 | 2012-11-12 | Sony Corp | 立体映像撮像装置、輻輳距離調整方法及びプログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5864360A (en) * | 1993-08-26 | 1999-01-26 | Canon Kabushiki Kaisha | Multi-eye image pick-up apparatus with immediate image pick-up |
| US5699444A (en) * | 1995-03-31 | 1997-12-16 | Synthonics Incorporated | Methods and apparatus for using image data to determine camera location and orientation |
| JP3802630B2 (ja) * | 1996-12-28 | 2006-07-26 | オリンパス株式会社 | 立体画像生成装置および立体画像生成方法 |
| US6191809B1 (en) * | 1998-01-15 | 2001-02-20 | Vista Medical Technologies, Inc. | Method and apparatus for aligning stereo images |
-
1998
- 1998-10-02 JP JP28129898A patent/JP4235291B2/ja not_active Expired - Fee Related
-
1999
- 1999-09-27 US US09/406,479 patent/US6833858B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP4235291B2 (ja) | 2009-03-11 |
| US6833858B1 (en) | 2004-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8456518B2 (en) | Stereoscopic camera with automatic obstruction removal | |
| JPH10210506A (ja) | ３次元画像情報入力装置および３次元画像情報入出力装置 | |
| JPH11102438A (ja) | 距離画像生成装置及び画像表示装置 | |
| KR101769177B1 (ko) | 시선 추적 장치 및 방법 | |
| JP2001211403A (ja) | 頭部装着型表示装置及び頭部装着型表示システム | |
| KR20160094190A (ko) | 시선 추적 장치 및 방법 | |
| CN104202527A (zh) | 用于在便携式终端中调整镜头的设备和方法 | |
| JP4432462B2 (ja) | 撮像装置及び方法、撮像システム | |
| KR100793077B1 (ko) | 관찰자 위치 결정 방법과 그를 이용한 관찰자 추적형 3차원디스플레이 시스템 및 그 방법 | |
| JPH08194274A (ja) | 立体撮像装置 | |
| JP2002232913A (ja) | 複眼カメラ及び立体視画像観察システム | |
| CN112306229A (zh) | 电子装置、控制方法和计算机可读介质 | |
| JPH07129792A (ja) | 画像処理方法および画像処理装置 | |
| KR102068048B1 (ko) | 3차원 영상 제공 시스템 및 방법 | |
| JP2017098613A (ja) | 撮像装置、その制御方法、および制御プログラム | |
| KR101526557B1 (ko) | 다중 카메라 기반 시선 추적 장치 및 방법 | |
| JPH0814861A (ja) | ３次元形状の計測方法及び装置 | |
| JP4235291B2 (ja) | 立体映像システム | |
| JPH06235885A (ja) | 立体映像表示装置 | |
| JP3976860B2 (ja) | 立体映像撮像装置 | |
| JP5741353B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
| JP2004208211A (ja) | 立体映像撮像装置 | |
| JPH10115878A (ja) | 指向性スクリーンを用いる３次元画像投写システム | |
| JP2001016619A (ja) | 撮像装置、その輻輳距離決定方法、記憶媒体および光学装置 | |
| JP2580516B2 (ja) | 実時間３次元運動測定装置およびその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050929 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050929 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080304 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080502 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081202 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081215 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131219 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |