JP2005312605A

JP2005312605A - 注視点位置表示装置

Info

Publication number: JP2005312605A
Application number: JP2004132981A
Authority: JP
Inventors: Takamasa Ukiya; 卓匡浮谷
Original assignee: DITECT KK
Current assignee: DITECT KK
Priority date: 2004-04-28
Filing date: 2004-04-28
Publication date: 2005-11-10
Anticipated expiration: 2024-04-28
Also published as: JP4580678B2

Abstract

【課題】簡易で利便性に優れた注視点位置表示装置を提供する。
【解決手段】眼鏡型フレーム１１と、眼鏡型フレーム１１に固定された、眼鏡型フレーム１１を装着した被験者の前方を撮影する視野カメラ１２と、眼鏡型フレーム１１のつる部から伸びたアーム１３と、アーム１３先端に固定された瞳孔撮影ユニット１４とを設ける。また、瞳孔撮影ユニット１４には、瞳孔カメラ１５と、被験者の眼球を照明する赤外線ＬＥＤ１６とを設ける。ここで、瞳孔カメラ１５は、眼鏡型フレーム１１を装着した被験者の瞳孔を撮影し、赤外線ＬＥＤ１６は被験者の眼球を照明する。そして、視野カメラ１２の映像出力と瞳孔カメラ１５の映像出力は、データ処理装置に入力される。赤外線ＬＥＤ１６と視野カメラ１２と瞳孔カメラ１５には、電源ユニットより動作電力が供給される。
【選択図】図１

Description

本発明は、被験者の注視点の位置を、被験者の視野内の状況を撮影した画像中に表示する注視点位置表示装置、及び、注視点位置表示のために、被験者に装着する被験者ユニットに関するものである。

被験者の注視点の位置を、被験者の視野内の状況を撮影した画像中に表示する注視点位置表示装置、及び、注視点位置表示のために被験者に装着する被験者ユニットに関する技術としては、被験者前方を撮影する前方撮影カメラと被験者の眼球を撮影する眼球撮影用カメラと被験者の眼球を照らす照明とを固定した帽子を被験者ユニットとして用い、眼球撮影用カメラで撮影した画像に含まれる、被験者の瞳孔の中心位置と被験者の角膜による照明の反射光パターンとより、被験者の視線方向を推定し、前方撮影カメラで撮影した画像の、推定した視線方向に対応する位置に、被験者の注視点の位置を表すマークを描画した画像を注視点位置表示画像として生成する技術が知られている（たとえば、特許文献１）。
特開２００２-１４３０９４号公報

前記従来の技術によれば、被験者ユニットが帽子を被験者ユニットの被験者への固定手段として用いているために、被験者の髪型などによっては、適正に被験者ユニットを被験者に対して固定できない場合がある。また、心理実験などにおいて、注視点位置の検出と脳波測定などを同時に行うような場合にも、不便が生じる。

また、瞳孔中心位置と角膜による照明の反射光パターンとより被験者の視線方向を推定する手法は、比較的処理量が多いために、リアルタイムな注視点位置表示画像の生成には必ずしも適していない。また、眼球の形状には個人差があるために、通常、理論通りには視線方向を算出することができない。そして、このために、精度のよく、注視点の位置を表示できない場合がある。また、推定した視線方向と前方撮影カメラが撮影した画像上の位置とを対応づけるためのキャリブレーションも複雑で手間のかかるものとなり易い。

また、前方撮影カメラで撮影した画像も注視点位置を表すマークも二次元の画像であるために、注視点位置表示画像より、奥行き方向の注視点の位置や動きを、直感的に把握しづらい。
そこで、本発明は、より簡易に注視点位置の表示を行うことのできる、使用の利便性に優れた注視点位置表示装置を提供することを課題とする。
また、本発明は、奥行き方向の注視点の位置や動きを、直感的に把握することのできる注視点位置表示を生成する注視点位置表示装置を提供することを課題とする。

前記課題達成のために、本発明は、被験者の注視点の位置を、被験者の視野内の状況を撮影した画像中に表示する注視点位置表示システムにおいて、被験者に装着して用いる被験者ユニットとして、被験者の耳に掛けるつる部と被験者の鼻上に載せるパッド部とによって、被験者に装着されるフレームと、当該フレームに固定された、当該フレームを装着した被験者の前方を撮影する視野カメラと、当該フレームに固定された、当該フレームを装着した被験者の目の斜め下前方に伸びるアームと、当該アーム先端に固定された、被験者の目を斜め下前方より撮影する瞳孔撮影カメラとを備えた被験者ユニットを提供する。

このような被験者ユニットによれば、ちょうど眼鏡をかけるように被験者ユニットを装着することができるので、簡易かつ容易に、被験者の髪型などによらず適正に被験者ユニットを装着することができる。また、注視点位置の検出と脳波測定などを同時に行う場合にも、支障を生じない。

また、併せて本発明は、三次元画像を生成するためのステレオ画像を撮影する撮影ユニットでとして、撮影者の耳に掛けるつる部と被験者の鼻上に載せるパッド部とによって、撮影者に装着されるフレームと、当該フレームに固定された、当該フレームを装着した撮影者の前方を撮影者の左目近傍の位置より撮影する左視野カメラと、前記フレームを装着した撮影者の前方を撮影者の右目近傍の位置より撮影する右視野カメラとを備えた撮影ユニットを提供する。

このような撮影ユニットによれば、ちょうど眼鏡をかけるように被験者ユニットを装着することができるので、簡易かつ容易に適正に装着することができる。また、左右の目の近傍の位置から、ステレオ画像を構成する二つの画像の撮影を行うことができるので、このような撮影ユニットを用いることにより、人間の視界に近い自然な三次元画像を生成することができる。

また、前記課題達成のために、本発明は、被験者の注視点の位置を、被験者の視野内の状況を撮影した画像中に表示する注視点位置表示システムを、被験者の前方を撮影する視野カメラと、被験者の眼球を撮影する眼球撮影カメラと前記眼球カメラが撮影した画像中の、被験者の瞳孔中心が映された位置の座標を瞳孔中心座標として算出する瞳孔中心座標検出部と、瞳孔中心座標検出部が算出した瞳孔中心座標と、当該瞳孔中心座標が瞳孔中心座標検出部によって算出されるときの被験者の注視点に対応する、前記視野カメラが撮影した画像上の位置の座標との対応を記述した座標変換テーブルと、前記視野カメラが撮影した画像上の、前記瞳孔中心座標検出部が算出した瞳孔中心座標を前記座標変換テーブルを用いて変換した座標に、注視点を表す注視点マークを合成する注視点マーク合成部とを備えて構成したものである。

このような注視点位置表示システムによれば、被験者の眼球を撮影した画像から算出した瞳孔中心の座標を座標変換テーブルを用いて直接マッピングした被験者の前方を撮影した画像上の座標に注視点マークを合成するので、簡易な処理で高速に、被験者の前方を撮影した画像中に注視点を表すことができる。
ここで、この注視点位置表示システムには、前記視野カメラが撮影した画像中に映された所定の校正具の、当該視野カメラが撮影した画像中の位置の座標を校正点座標として検出する校正用座標検出部と、前記座標変換テーブルに、前記瞳孔中心座標検出部が算出した瞳孔中心座標に対応づけて、当該瞳孔中心座標が算出された画像と同時に前記視野カメラによって撮影された画像に対して前記校正用座標検出部が検出した校正点座標を登録する校正処理部とを備えることが好ましい。また、より具体的には、前記校正処理部を、前記瞳孔中心座標検出部が算出した瞳孔中心座標に対応する前記座標変換テーブルのアドレスに、当該瞳孔中心座標が算出された画像と同時に前記視野カメラによって撮影された画像に対して前記校正用座標検出部が検出した校正点座標をデータとして登録する変換座標登録手段と、前記座標変換テーブルのデータが登録されていないアドレスに、前記座標変換テーブルの他のアドレスにデータとして登録されている校正点座標からの補間処理によって生成した座標をデータとして登録する補間座標登録手段とを備えて構成することも好ましい。

このようにすることにより、補助者が被験者の視野内で校正具を移動させながら、被験者に校正具を注視してもらうだけの簡便、容易な作業のみによって、注視点位置表示システムのキャリブレーションを速やかに行うことができる。
また、本発明は、前記課題達成のために、被験者の注視点の位置を、被験者の視野内の状況を撮影した画像中に表示する注視点位置表示システムを、被験者の前方を被験者の左目近傍の位置より撮影する左視野カメラと、被験者の前方を被験者の右目近傍の位置より撮影する右視野カメラと、被験者の左の眼球を撮影する左眼球撮影カメラと、被験者の右の眼球を撮影する右眼球撮影カメラと、前記左眼球カメラが撮影した画像に基づいて、被験者の注視点に対応する、前記左視野カメラが撮影した画像上の座標を左注視点対応座標として検出する左注視点対応座標検出手段と、前記右眼球カメラが撮影した画像に基づいて、被験者の注視点に対応する、前記右視野カメラが撮影した画像上の座標を右注視点対応座標として検出する右注視点対応座標検出手段と、前記左視野カメラが撮影した画像上の、前記左注視点対応座標に、注視点を表す注視点マークを合成した左目画像を生成する左目画像生成手段と、前記右視野カメラが撮影した画像上の、前記右注視点対応座標に、前記注視点を表す注視点マークを合成した右目画像を生成する右目画像生成手段と、前記左目画像と右目画像とをステレオ画像として用いた三次元表示画像を生成する三次元表示画像生成部とを備えて構成したものである。

このような注視点位置表示システムによれば、注視点を表すマークを、注視点に対応する、被験者前方の３次元映像が表現する３次元空間中の位置に位置すると視認されるように表示することができる。
したがって、注視点を表すマークの奥行き方向の位置をもリアルに表現できるので、ユーザは、奥行き方向の注視点の位置や動きについても、直感的に把握できるようになる。
また、本発明は、前記課題達成のために、被験者の注視点の位置を、被験者の視野内の状況を撮影した画像中に表示する注視点位置表示システムを、被験者の前方を被験者の左目近傍の位置より撮影する左視野カメラと、被験者の前方を被験者の右目近傍の位置より撮影する右視野カメラと、被験者の眼球を撮影する眼球撮影カメラと、前記眼球カメラが撮影した画像に基づいて、被験者の注視点に対応する、前記左視野カメラが撮影した画像上の座標を左注視点対応座標として検出し、被験者の注視点に対応する、前記右視野カメラが撮影した画像上の座標を右注視点対応座標として検出する注視点対応座標検出手段と、被験者から注視点までの距離を、前記眼球カメラが撮影した画像に少なくとも基づいて推定する注視点距離算出手段と、前記左視野カメラが撮影した画像上の、前記左注視点対応座標に、注視点を表す注視点マークを合成した左目画像を生成する左目画像生成手段と、前記右視野カメラが撮影した画像上の、前記右注視点対応座標に、前記注視点を表す注視点マークを合成した右目画像を生成する右目画像生成手段と、前記左目画像と右目画像とをステレオ画像として用いた三次元表示画像を生成する三次元表示画像生成部とを備えて構成し、前記左目画像生成手段において、前記左視野カメラが撮影した画像に合成する左注視点マークの大きさを、前記注視点距離算出手段が推定した距離が大きいほど小さくし、前記右目画像生成手段において、前記右視野カメラが撮影した画像に合成する右注視点マークの大きさを、前記注視点距離算出手段が推定した距離が大きいほど小さくするようにしたものである。

このような注視点位置表示システムによれば、注視点を表すマークの大きさを、被験者の注視点までの距離に応じて注視点が遠くにあるほど小さくなるように変化させながら、注視点を表すマークを、被験者前方の３次元映像が表現する３次元空間中の注視点に対応する位置に、注視点までの距離に応じた大きさを持って視認されるように表示することができる。
したがって、注視点を表すマークの奥行き方向の位置を、よりリアルに表現できるので、ユーザは、奥行き方向の注視点の位置や動きについても、直感的に把握できるようになる。

また、本発明は、前記課題達成のために、被験者の注視点の位置を、被験者の視野内の状況を撮影した画像中に表示する注視点位置表示システムを、被験者の前方を被験者の左目近傍の位置より撮影する左視野カメラと、被験者の前方を被験者の右目近傍の位置より撮影する右視野カメラと、被験者の眼球を撮影する眼球撮影カメラと、少なくとも前記眼球カメラが撮影した画像に基づいて、被験者の注視点の位置を算出する注視点位置算出手段と、前記左視野カメラが撮影した画像上に、注視点を表す注視点マークを合成した左目画像を生成する左目画像生成手段と、前記右視野カメラが撮影した画像上に、注視点を表す注視点マークを合成した右目画像を生成する右目画像生成手段と、前記左目画像と右目画像とをステレオ画像として用いた三次元表示画像を生成する三次元表示画像生成部とを備えて構成し、前記左目画像生成手段と、右目画像生成手段において、前記三次元画像を表示した場合に、注視点マークが、前記三次元画像によって表現される三次元空間中の、前記注視点位置算出手段が算出した注視点の位置に対応する位置に存在すると視認されるように、各々注視点マークを合成するこようにしたものである。
このようにしても、注視点を表すマークを、被験者前方の３次元映像が表現する３次元空間中の注視点に対応する位置に視認されるように表示することができるので、ユーザは、奥行き方向の注視点の位置や動きについても、直感的に把握できるようになる。

以上のように、本発明によれば、より簡易に注視点位置の表示を行うことのできる、使用の利便性に優れた注視点位置表示装置を提供することができる。また、奥行き方向の注視点の位置や動きを、直感的に把握することのできる注視点位置表示を生成する注視点位置表示装置を提供することができる。

以下、本発明の実施形態について説明する。
まず、第１の実施形態について説明する。
図１ａ、ｂ、ｃに、本第１実施形態で用いる被験者ユニットの構成を示す。なお、ａは被験者ユニットの上面図、ｂは被験者ユニットの正面図、ｃは被験者ユニットの側面図である。
図示するように、本被験者ユニットは、耳に掛けるつる部と鼻上に載せられるパッド部を有する眼鏡型フレーム１１と、眼鏡型フレーム１１に固定され図１ｆに示すように眼鏡型フレーム１１を装着した被験者の前方を撮影する視野カメラ１２と、眼鏡型フレーム１１のつる部から伸びたアーム１３と、アーム１３先端に固定された瞳孔撮影ユニット１４とを有し、瞳孔撮影ユニット１４は、図１ｅ１、ｅ２に示すように、瞳孔カメラ１５と、被験者の眼球を照明する赤外線ＬＥＤ１６とを有する。そして、瞳孔カメラ１５は、図１ｆに示すように眼鏡型フレーム１１を装着した被験者の瞳孔を撮影し、赤外線ＬＥＤ１６は被験者の眼球を照明する。なお、図１ｅ１は、瞳孔カメラ１５の撮影方向と垂直な方向から見た瞳孔撮影ユニット１４の構成を、ｅ２は、瞳孔カメラ１５の撮影方向側から見た瞳孔撮影ユニット１４の構成を示している。なお、眼鏡と異なり、眼鏡型フレーム１１にはレンズは装着されていない。

そして、図１ｄに示すように、視野カメラ１２の映像出力と瞳孔カメラ１５の映像出力は、汎用コンピュータなどであるデータ処理装置２０に入力される。また、赤外線ＬＥＤ１６と視野カメラ１２と瞳孔カメラ１５には、図示を省略した電源ユニットより動作電力が供給される。

すなわち、本第１実施形態に係る注視点位置表示装置は、被験者ユニットとデータ処理装置２０と電源ユニットとを備えて構成される。
次に、図２に、本第１実施形態に係る注視点位置表示装置の信号処理系の構成を示す。
図示するように、注視点位置表示装置は、前述した視野カメラ１２の映像出力と瞳孔カメラ１５の映像出力を取り込む画像入力ボードなどであるビデオ入力インタフェース２１、校正ライト座標検出部２２、注視点マーク合成部２３、瞳孔中心座標検出部２４、キャリブレーション処理部２５、座標変換テーブル２６、座標変換処理部２７を有している。ただし、これらは、前述したデータ処理装置２０の一部として構成されるものである。また、校正ライト座標検出部２２、注視点マーク合成部２３、瞳孔中心座標検出部２４、キャリブレーション処理部２５、座標変換テーブル２６、座標変換処理部２７などは、データ処理装置２０が所定のプログラムを実行することによりソフトウエアプロセスやデータとして実現されるものであってもよい。

さて、視野カメラ１２と瞳孔カメラ１５は、いずれか一方のカメラが生成する同期信号ＳＹＮＣに同期して撮影を行い、ビデオ入力インタフェース２１は、この同期信号ＳＹＮＣに同期して両カメラの映像出力を取り込む。ここで、視野カメラ１２と瞳孔カメラ１５の解像度は等しく、たとえば、縦×横が４８０画素×６４０画素である。

以下、このような注視点位置表示装置の動作について説明する。
まず、注視点位置表示装置のキャリブレーション動作について説明する。
このキャリブレーションは、図３ａに示すように被験者に被験者ユニットを装着した状態で、球形の発光体である校正ライト３０１を手持アーム３０２先端に取り付けた校正ツールを用いて行う。すなわち、補助者は、手持アーム３０２を持って、校正ライト３０１を、被験者から適当な距離離れた位置において、被験者の視野内でランダムに動かす。なお、校正ライト３０１を動かす位置の被験者からの距離は、被験者の特定の対象物の観察に対して注視点位置を表示する予定である場合には、観察時の被験者からその対象物までの距離に相当する距離とすることが好ましい。

そして、注視点位置表示装置は、ユーザの所定のキャリブレーション開始指示操作に応答して、図４に示すキャリブレーション処理を行う。
図示するように、このキャリブレーション処理では、ユーザの所定のキャリブレーション終了指示操作があるまで（ステップ４０８）、以下の処理を行う。
すなわち、瞳孔中心座標検出部２４で、瞳孔カメラ１５が撮影した画像Ｖｅに対して所定の画像処理を施して、画像Ｖｅ中の瞳孔の中心座標を求める（ステップ４０２）。また、校正ライト座標検出部２２で、視野カメラ１２の撮影した画像Ｖｆに対して所定の画像処理を施して、画像Ｖｆ中の校正ライト３０１の中心座標を求める（ステップ４０４）。

そして、求めた瞳孔の中心座標をアドレスとして、座標変換テーブル２６に、求めた校正ライト３０１の中心座標を書き込む（ステップ４０６）。
すなわち、図３ｂ１のように瞳孔カメラ１５が撮影した画像Ｖｅから瞳孔中心座標（ｘ１、ｙ１）が求まったときに、この画像Ｖｅと同時に視野カメラ１２によって撮影された画像Ｖｆから図３ｂ２に示すように校正ライト３０１の中心座標（Ｘ１１、Ｙ１１）が求まったときには、図３ｄに示すように、座標変換テーブル２６のアドレス（ｘ１、ｙ１）に、値（Ｘ１１、Ｙ１１）を書き込む。また、同様に、図３ｃ１のように瞳孔カメラ１５が撮影した画像Ｖｅから瞳孔中心座標（ｘ２、ｙ２）が求まったときに、この画像Ｖｅと同時に視野カメラ１２によって撮影された画像Ｖｆから図３ｃ２に示すように校正ライト３０１の中心座標（Ｘ１２、Ｙ１２）が求まったときには、図３ｄに示すように、座標変換テーブル２６のアドレス（ｘ２、ｙ２）に、値（Ｘ１２、Ｙ１２）を書き込む。

そして、ユーザの所定のキャリブレーション終了指示操作があったならば（ステップ４０８）、座標変換テーブル２６に書き込まれた値に、特異な値（Ｘの値の周辺アドレスのＸ値からの大きな逸脱や、Ｙの値の周辺アドレスのＹ値からの大きな逸脱がある値）があれば、これを削除する（ステップ４１０）。

そして、座標変換テーブル２６の値が書き込まれていないアドレスの値を、値が登録されている他のアドレスの値よりの補間（たとえば、二次元スプライン補間）によって生成し、当該アドレスに書き込む（ステップ４１２）。
そして、キャリブレーション処理を終了する。
以上、注視点位置表示装置のキャリブレーション動作について説明した。
次に、注視点位置表示装置の注視点位置表示動作について説明する。
注視点位置表示装置は、ユーザの所定の注視点位置表示開始指示操作があると、以下の動作を行う。
すなわち、瞳孔中心座標検出部２４は、瞳孔カメラ１５が撮影した画像Ｖｅに対して所定画像処理を施して、画像Ｖｅ中の瞳孔の中心座標を求める。座標変換処理部２７は、求まった瞳孔の中心座標をアドレスとして座標変換テーブル２６から読み出しを行い、当該アドレスに登録されている座標を取得し、注視点マーク合成部２３に送る。また、座標変換処理部２７は取得した座標を注視点位置データＤｏｕｔとして出力する。

注視点マーク合成部２３は、瞳孔中心座標検出部２４が瞳孔の中心座標を求めた画像Ｖｅと同時に視野カメラ１２によって撮影された画像Ｖｆの、座標変換処理部２７から送られた座標の位置に、図３ｅに示すように注視点位置を表すマーク３１０を合成し、出力映像Ｖｏｕｔとする。ただし、注視点マーク合成部２３は、図３ｆに示すように、座標変換処理部２７から現在までに送られた座標の軌跡を、各時点における注視点位置を表すマーク３１０と共に、瞳孔中心座標検出部２４が最後に瞳孔の中心座標を求めた画像Ｖｅと同時に視野カメラ１２によって撮影された画像Ｖｆ上に合成して、出力映像Ｖｏｕｔとするようにしてもよい。

以上、本発明の第１実施形態について説明した。
以上のように、本発明によれば、瞳孔カメラ１５が被験者の眼球を撮影した画像から算出した瞳孔中心の座標を直接、視野カメラ１２によって被験者の前方を撮影した画像上の注視点のマークを描画すべき座標に、座標変換テーブル２６を用いてマッピングするので、簡易な処理で高速に、注視点位置を表示した画像を生成することができる。また、補助者が被験者の視野内で校正ライト３０１を移動させながら、被験者に校正ライト３０１を注視してもらうだけの簡便、容易な作業のみによって、座標変換テーブル２６を構成し、注視点位置表示装置のキャリブレーションを完了させることができる。

以下、本発明の第２の実施形態について説明する。
図５ａ、ｂ、ｃに、本第２実施形態で用いる被験者ユニットの構成を示す。なお、ａは被験者ユニットの上面図、ｂは被験者ユニットの側面図、ｃは被験者ユニットの側面図である。
図示するように、本第２実施形態に係る被験者ユニットは、前記第１実施形態と同様に眼鏡型フレーム１１を備えている。また、本第２実施形態に係る被験者ユニットでは、前記第１実施形態で示した、視野カメラ１２と、眼鏡型フレーム１１のつる部から伸びたアーム１３と、アーム１３先端に固定された瞳孔撮影ユニット１４とが、左右の目に対応してそれぞれ設けられている。また、図５ｄに示すように、二つの視野カメラ１２の映像出力と二つの瞳孔カメラ１５の映像出力は、前記第１実施形態と同様に、汎用コンピュータなどであるデータ処理装置２０に入力される。

次に、図６に、本第２実施形態に係る注視点位置表示装置の信号処理系の構成を示す。
図示するように、本第２実施形態に係る注視点位置表示装置は、左目に対して設けられた視野カメラ１２の映像出力と、左目に対して設けられた瞳孔カメラ１５の映像出力と、右目に対して設けられた視野カメラ１２の映像出力と、右目に対して設けられた瞳孔カメラ１５の映像出力とを入力するビデオ入力インタフェース２１と、右目ユニット６１と、左目ユニット６２と、右注視点マーク合成部６３と、左注視点マーク合成部６４と、注視点距離算出部６５と、三次元表示画像生成部６６とを備えている。ここで、以上の４つのカメラは、いずれか一つのカメラが生成する同期信号ＳＹＮＣに同期して撮影を行い、ビデオ入力インタフェース２１は、この同期信号ＳＹＮＣに同期して４つのカメラの映像出力を取り込む。

次に、左目ユニット６２と右目ユニット６１は、同じ構成を有しており、それぞれ、第１実施形態で示した、校正ライト座標検出部２２、瞳孔中心座標検出部２４、キャリブレーション処理部２５、座標変換テーブル２６、座標変換処理部２７とを有している。ただし、左目ユニット６２は、左目に対して設けられた視野カメラ１２の映像出力と、左目に対して設けられた瞳孔カメラ１５の映像出力を入力として処理を行うものであり、右目ユニット６１は、右目に対して設けられた視野カメラ１２の映像出力と、右目に対して設けられた瞳孔カメラ１５の映像出力を入力として処理を行うものである。

さて、このような構成において、左目ユニット６２と、右目ユニット６１は、それぞれ、前記第１実施形態で示したキャリブレーション処理を行う。すなわち、左目ユニット６２は、左目に対して設けられた視野カメラ１２の映像出力Ｖｌｆと、左目に対して設けられた瞳孔カメラ１５の映像出力Ｖｌｅを入力として、前述したキャリブレーション処理を行い、左目ユニット６２の座標変換テーブル２６の各アドレスに座標値を登録する。

同様に、右目ユニット６１は、右目に対して設けられた視野カメラ１２の映像出力Ｖｒｆと、右目に対して設けられた瞳孔カメラ１５の映像出力Ｖｒｅを入力として、前述したキャリブレーション処理を行い、右目ユニット６１の座標変換テーブル２６の各アドレスに座標値を登録する。

以下、このような注視点位置表示装置の注視点位置表示動作について説明する。
注視点位置表示装置は、ユーザの所定の注視点位置表示開始指示操作があると、以下の動作を行う。
すなわち、左目ユニット６２の座標変換処理部２７は、左目ユニット６２の瞳孔中心座標検出部２４が求めた瞳孔中心座標を、左目ユニット６２の座標変換テーブル２６を用いて変換し、左注視点位置データＤｌとして出力する。また、右目ユニット６１の座標変換処理部２７は、右目ユニット６１の瞳孔中心座標検出部２４が求めた瞳孔中心座標を、右目ユニット６１の座標変換テーブル２６を用いて変換し右注視点位置データＤｒとして出力する。

注視点距離算出部６５は、左注視点位置データＤｌと右注視点位置データＤｒと、左目用の視野カメラ１２が撮影した映像Ｖｌｆと、右目用の視野カメラ１２が撮影した映像Ｖｒｆとから、注視点（被験者が見ている対象物上の位置）の被験者からの距離を推定し、右注視点マーク合成部６３と、左注視点マーク合成部６４に通知する。

ここで、この注視点の被験者からの距離は、左目用の視野カメラ１２が撮影した映像Ｖｌｆと右目用の視野カメラ１２が撮影した映像Ｖｒｆとを、ステレオ写真として用いた写真測量によって算出する。
すなわち、左注視点位置データＤｌを映像Ｖｌｆ中の注視点の位置とする。また、右注視点位置データＤｒを右目用の視野カメラ１２が撮影した映像Ｖｒｆ中の注視点の位置とする。
そして、映像Ｖｌｆと映像Ｖｒｆを比較し、映像Ｖｌｆ中の注視点の位置と、映像Ｖｒｆ中の注視点の位置が、同じ対象物上（被写体上）の同じ位置を写した位置となるように、映像Ｖｌｆ中の注視点の位置と、映像Ｖｒｆ中の注視点の位置を補正する。そして、映像Ｖｌｆと映像Ｖｒｆをステレオ写真として、視差に基づく写真測量を行い、注視点に対応する対象上の位置までの被験者からの距離を求める。

次に、左注視点マーク合成部６４は左目用の視野カメラ１２が撮影した映像Ｖｌｆ上の、左注視点位置データＤｌの位置または注視点距離算出部６５が補正した映像Ｖｌｆ中の注視点の位置に、注視点位置を表すマークを合成し、三次元表示画像生成部６６に送る。また、右注視点マーク合成部６３は右目用の視野カメラ１２が撮影した映像Ｖｒｆ上の、右注視点位置データＤｒの位置または注視点距離算出部６５が補正した映像Ｖｒｆ中の注視点の位置に、注視点位置を表すマークを合成し、三次元表示画像生成部６６に送る。

ここで、左注視点マーク合成部６４や、右注視点マーク合成部６３が合成するマークの大きさは、注視点距離算出部６５から送られた注視点に対応する対象上の位置までの被験者からの距離が大きいほど小さくする。
すなわち、たとえば、図７ａ１の左目用映像ＶＬ、ａ２の右目用映像ＶＲ示すように、注視点に対応する対象上の位置が被験者に比較的近いものである場合には、左目用の視野カメラ１２が撮影した映像Ｖｌｆ上に合成するマーク７０１と、右目用の視野カメラ１２が撮影した映像Ｖｒｆに合成するマーク７０２は比較的大きなものとし、図７ｂ１の左目用映像ＶＬ、ｂ２の右目用映像ＶＲに示すように、注視点に対応する対象上の位置が被験者から比較的遠いものである場合には、左目用の視野カメラ１２が撮影した映像Ｖｌｆ上に合成するマーク７０３と、右目用の視野カメラ１２が撮影した映像Ｖｒｆに合成するマーク７０４は比較的小さなものとする。

そして、最後に三次元表示画像生成部６６は、左注視点マーク合成部６４から送られた映像を左目用映像、右注視点マーク合成部６３から送られた映像を右目用映像として、３次元映像データを生成し３次元表示映像出力３ＤＶｏｕｔとして出力する。
ここで、この三次元表示画像生成部６６における、３次元映像データの生成法は、この３次元映像データに基づき３次元映像の表示を行う３次元映像表示システムに応じたものとなる。なお、この３次元映像表示システムとしては、たとえば、視差バリア方式によって、ディスプレイからの光の進行方向を制御して、左右の眼に異なる画像が見えるようにすることによる立体表示を行う３Ｄ液晶表示ディスプレイなどを用いることができる。

以上、本発明の第２の実施形態について説明した。
なお、本実施形態における被験者から注視点までの距離の算出は、前述した特許文献１の技術によって被験者の左右の目の視線方向を求め、求めた視線方向の視差から算出することにより行うようにしてもよい。また、各視野カメラ１２が撮影した画像中の注視点対応位置を示す左注視点位置データや右注視点位置データも、前述した特許文献１の技術のように被験者の左右の目の視線方向に基づいて算出するようにしてもよい。

以上のように本第２実施形態によれば、注視点を表すマークを、３次元映像を構成する左目用映像と右目用映像に、その視差が保存されるように、それぞれ合成すると共に、この注視点を表すマークの大きさを、被験者の注視している対象物の位置までに距離に応じて変化させることにより、注視点を表すマークが、３次元映像として表現された三次元空間上の被験者の注視している対象物の位置にあり、かつ、当該対象物の位置までの距離に応じた大きさで見えているかのように認知される注視点表示が可能となる。
ところで、本第２実施形態は、前述した特許文献１の技術によって被験者の左右の目の視線方向を求め、求めた視線方向から注視点の位置を求め、３Ｄコンピュータグラフィックの技術などを利用して、前記三次元映像を表示した場合に、ある特定の大きさを有する仮想的な物体としてのマークが、前記三次元映像によって表現される三次元空間中の、求めた注視点の位置に対応する位置に、注視点の位置までの距離に応じた大きさで存在すると視認されるように、各々右目用映像と左目用映像に合成するマークの位置や大きさをそれぞれ算出して、その合成を行うようにしてもよい。
このようにしても、注視点を表すマークが、３次元映像として表現された三次元空間上の被験者の注視している対象物の位置にあり、かつ、当該対象物の位置までの距離に応じた大きさで見えているかのように認知される注視点表示が可能となる。

なお、以上の説明から理解されるように、本第２実施形態で示した注視点位置表示装置は、３次元映像表示システム用の３次元映像撮影システムとしても用いることができる。すなわち、以上の第２実施形態において、右注視点マーク合成部６３と左注視点マーク合成部６４が、注視点を表すマークの合成を行わないようにすればよい。また、３次元映像撮影システムとしてのみ用いる場合には、眼鏡型フレーム１１に固定した二つの視野カメラ１２とビデオ入力インタフェース２１と３次元表示画像生成部のみを設け、３次元表示画像生成部において、ビデオ入力インタフェース２１から取り込んだ左目用の視野カメラ１２が撮影した映像Ｖｌｆを左目用映像、ビデオ入力インタフェース２１から取り込んだ右目用の視野カメラ１２が撮影した映像Ｖｒｆを右目用映像として、３次元映像データを生成し３次元表示画像出力３ＤＶｏｕｔとして出力すればよい。

本発明の第１実施形態に係る被験者ユニットを示す図である。本発明の第１実施形態に係る注視点位置表示装置の信号処理系の構成を示すブロック図である。本発明の第１実施形態に係る注視点位置表示装置のキャリブレーション動作例を示す図である。本発明の第１実施形態に係る注視点位置表示装置のキャリブレーション処理を示すフローチャートである。本発明の第２実施形態に係る被験者ユニットを示す図である。本発明の第２実施形態に係る注視点位置表示装置の信号処理系の構成を示すブロック図である。本発明の第２実施形態に係る注視点位置表示装置が生成する画像例を図である。

符号の説明

１１…眼鏡型フレーム、１２…視野カメラ、１３…アーム、１４…瞳孔撮影ユニット、１５…瞳孔カメラ、１６…赤外線ＬＥＤ、２０…データ処理装置、２１…ビデオ入力インタフェース、２２…校正ライト座標検出部、２３…注視点マーク合成部、２４…瞳孔中心座標検出部、２５…キャリブレーション処理部、２６…座標変換テーブル、２７…座標変換処理部、６１…右目ユニット、６２…左目ユニット、６３…右注視点マーク合成部、６４…左注視点マーク合成部、６５…注視点距離算出部、６６…三次元表示画像生成部、３０１…校正ライト、３０２…手持アーム。

Claims

被験者の注視点の位置を、被験者の視野内の状況を撮影した画像中に表示する注視点位置表示システムにおいて、被験者に装着して用いる被験者ユニットであって、
被験者の耳に掛けるつる部と被験者の鼻上に載せるパッド部とによって、被験者に装着されるフレームと、当該フレームに固定された、当該フレームを装着した被験者の前方を撮影する視野カメラと、当該フレームに固定された、当該フレームを装着ｎした被験者の目の斜め下前方に伸びるアームと、当該アーム先端に固定された、被験者の目を斜め下前方より撮影する瞳孔撮影カメラとを有することを特徴とする被験者ユニット。
三次元画像を生成するためのステレオ画像を撮影する撮影ユニットであって、
撮影者の耳に掛けるつる部と被験者の鼻上に載せるパッド部とによって、撮影者に装着されるフレームと、当該フレームに固定された、当該フレームを装着した撮影者の前方を撮影者の左目近傍の位置より撮影する左視野カメラと、前記フレームを装着した撮影者の前方を撮影者の右目近傍の位置より撮影する右視野カメラとを有することを特徴とする撮影ユニット。
被験者の注視点の位置を、被験者の視野内の状況を撮影した画像中に表示する注視点位置表示システムであって、
被験者の前方を撮影する視野カメラと、
被験者の眼球を撮影する眼球撮影カメラと
前記眼球カメラが撮影した画像中の、被験者の瞳孔中心が映された位置の座標を瞳孔中心座標として算出する瞳孔中心座標検出部と、
瞳孔中心座標検出部が算出した瞳孔中心座標と、当該瞳孔中心座標が瞳孔中心座標検出部によって算出されるときの被験者の注視点に対応する、前記視野カメラが撮影した画像上の位置の座標との対応を記述した座標変換テーブルと、
前記視野カメラが撮影した画像上の、前記瞳孔中心座標検出部が算出した瞳孔中心座標を前記座標変換テーブルを用いて変換した座標に、注視点を表す注視点マークを合成する注視点マーク合成部とを有することを特徴とする注視点位置表示システム。
請求項３記載の注視点位置表示システムであって、
前記視野カメラが撮影した画像中に映された所定の校正具の、当該視野カメラが撮影した画像中の位置の座標を校正点座標として検出する校正用座標検出部と、
前記座標変換テーブルに、前記瞳孔中心座標検出部が算出した瞳孔中心座標に対応づけて、当該瞳孔中心座標が算出された画像と同時に前記視野カメラによって撮影された画像に対して前記校正用座標検出部が検出した前記校正点座標を登録する校正処理部とを有することを特徴とする視点位置表示システム。
請求項４記載の注視点位置表示システムであって、
前記校正処理部は、
前記瞳孔中心座標検出部が算出した瞳孔中心座標に対応する前記座標変換テーブルのアドレスに、当該瞳孔中心座標が算出された画像と同時に前記視野カメラによって撮影された画像に対して前記校正用座標検出部が検出した校正点座標をデータとして登録する変換座標登録手段と、
前記座標変換テーブルのデータが登録されていないアドレスに、前記座標変換テーブルの他のアドレスにデータとして登録されている校正点座標からの補間処理によって生成した座標をデータとして登録する補間座標登録手段とを有することを特徴とする注視点位置表示システム。
被験者の注視点の位置を、被験者の視野内の状況を撮影した画像中に表示する注視点位置表示システムであって、
被験者の前方を被験者の左目近傍の位置より撮影する左視野カメラと、
被験者の前方を被験者の右目近傍の位置より撮影する右視野カメラと、
被験者の左の眼球を撮影する左眼球撮影カメラと、
被験者の右の眼球を撮影する右眼球撮影カメラと、
前記左眼球カメラが撮影した画像に基づいて、被験者の注視点に対応する、前記左視野カメラが撮影した画像上の座標を左注視点対応座標として検出する左注視点対応座標検出手段と、
前記右眼球カメラが撮影した画像に基づいて、被験者の注視点に対応する、前記右視野カメラが撮影した画像上の座標を右注視点対応座標として検出する右注視点対応座標検出手段と、
前記左視野カメラが撮影した画像上の、前記左注視点対応座標に、注視点を表す注視点マークを合成した左目画像を生成する左目画像生成手段と、
前記右視野カメラが撮影した画像上の、前記右注視点対応座標に、前記注視点を表す注視点マークを合成した右目画像を生成する左目画像生成手段と、
前記左目画像と右目画像とをステレオ画像として用いた三次元表示画像を生成する三次元表示画像生成部とを有することを特徴とする注視点位置表示システム。
被験者の注視点の位置を、被験者の視野内の状況を撮影した画像中に表示する注視点位置表示システムであって、
被験者の前方を被験者の左目近傍の位置より撮影する左視野カメラと、
被験者の前方を被験者の右目近傍の位置より撮影する右視野カメラと、
被験者の眼球を撮影する眼球撮影カメラと、
前記眼球カメラが撮影した画像に基づいて、被験者の注視点に対応する、前記左視野カメラが撮影した画像上の座標を左注視点対応座標として検出し、被験者の注視点に対応する、前記右視野カメラが撮影した画像上の座標を右注視点対応座標として検出する注視点対応座標検出手段と、
被験者から注視点までの距離を、前記眼球カメラが撮影した画像に少なくとも基づいて推定する注視点距離算出手段と、
前記左視野カメラが撮影した画像上の、前記左注視点対応座標に、注視点を表す注視点マークを合成した左目画像を生成する左目画像生成手段と、
前記右視野カメラが撮影した画像上の、前記右注視点対応座標に、前記注視点を表す注視点マークを合成した右目画像を生成する右目画像生成手段と、
前記左目画像と右目画像とをステレオ画像として用いた三次元表示画像を生成する三次元表示画像生成部とを有し、
前記左目画像生成手段は、前記左視野カメラが撮影した画像に合成する前記注視点マークの大きさを、前記注視点距離算出手段が推定した距離が大きいほど小さくし、前記右目画像生成手段は、前記右視野カメラが撮影した画像に合成する前記注視点マークの大きさを、前記注視点距離算出手段が推定した距離が大きいほど小さくすることを特徴とする注視点位置表示システム。
被験者の注視点の位置を、被験者の視野内の状況を撮影した画像中に表示する注視点位置表示システムであって、
被験者の前方を被験者の左目近傍の位置より撮影する左視野カメラと、
被験者の前方を被験者の右目近傍の位置より撮影する右視野カメラと、
被験者の眼球を撮影する眼球撮影カメラと、
少なくとも前記眼球カメラが撮影した画像に基づいて、被験者の注視点の位置を算出する注視点位置算出手段と、
前記左視野カメラが撮影した画像上に、注視点を表す注視点マークを合成した左目画像を生成する左目画像生成手段と、
前記右視野カメラが撮影した画像上に、前記注視点を表す注視点マークを合成した右目画像を生成する右目画像生成手段と、
前記左目画像と右目画像とをステレオ画像として用いた三次元表示画像を生成する三次元表示画像生成部とを有し、
前記左目画像生成手段と、右目画像生成手段は、前記三次元画像を表示した場合に、注視点マークが、前記三次元画像によって表現される三次元空間中の、前記注視点位置算出手段が算出した注視点の位置に対応する位置に存在すると視認されるように、各々注視点マークを合成することを特徴とする注視点位置表示システム。