JP2014155635A - 視線計測装置、注視領域の表示方法および注視点のガウス分布の表示方法 - Google Patents

Abstract

【課題】注視面に対する注視者の位置と姿勢を考慮した注視点の６自由度を算出し、それをもとに注視面上の注視領域と注視点のガウス分布を三次元的に計測することができる視線計測装置を提供する。
【解決手段】一つまたは複数のＡＲマーカーを注視面６に配置し、それらのＡＲマーカーを注視者の頭部に装着したシーンカメラで認識し、注視面６に対する注視者の位置と姿勢を計測して注視者からみた注視面６の座標系を算出する。この座標系を利用して、注視面６上の注視者の注視点の６自由度を算出し、それをもとに注視面６上の注視領域と注視点のガウス分布を三次元的に計測する。
【選択図】図９

Description

本発明は、視線計測装置、注視領域の表示方法および注視点のガウス分布の表示方法に係わり、特に、注視面を三次元空間として計測し、注視面上の注視点、注視領域および注視分布を計測することができる視線計測装置、注視領域の表示方法および注視点のガウス分布の表示方法に関する。

一般に、視線計測において、被験者（注視者）の注視点は、点または円で表示されている。

また、当該注視点に対して混合ガウシアン関数（Gaussian mixture）を適用することにより、被験者（注視者）の視線分布がヒートマップ（heat map）として表示されることが多い（例えば、非特許文献１参照）。

さらに、当該ヒートマップから、被験者（注視者）の視線停留域や興味領域（注視領域）を求めるための方法も開発されている（例えば、非特許文献２参照）。

一方、複数人の視線分布を同時に計測する場合、事前にそれぞれの被計測者（注視者）の視野を計測し、全員がもつ共通視野を求める必要があるところ、当該共通視野に含まれる注視点を記録し、それらの座標を共通視野の座標に変換することによって、全員の視線分布を同時に表示することが可能となる。

従来、このような注視者の共通視野の座標値を求める方法としては、（イ）シーンカメラで撮られた視野内の画像の特徴点を基準画像との差分によって求め、注視者の共通視野の座標値を求める方法（例えば、特許文献１等）や、（ロ）一つまたは複数の赤外線（ＩＲ）信号源を注視者の視野に配置し、被計測者（注視者）が装着したＩＲ信号受信機により、複数の注視者の視線分野を共通視野内に表示する方法が知られている（例えば、特許文献２等）。

前述の（イ）の注視点位置計測方法によれば、頭部を固定することなく、基準の視野画像内における注視座標が実時間で得られるため、被計測者が自然な状態で計測ができ、且つ注視点解析に伴うデータ処理の労力を軽減することができるものの、注視者の位置が考慮されないため、最終的に得られた注視点の測定結果から注視者の注視方向を求めることができない、という難点があった。

一方、前述の（ロ）の注視点位置計測方法によれば、ＩＲ信号源によって注視者の位置を特定することができるものの、当該注視者の位置の違いが注視点の記録方法または表示方法に考慮されない、という難点があった。

ところで、中心窩から視覚情報を詳細に分析できる領域は、注視点を中心とした２度の領域（以下、「注視領域」という。）であることが知られている（例えば、非特許文献３等）。

この領域は、注視者にとっては実際に見ている範囲（注視領域）であり、この注視領域の形状およびその面積は、注視面に対する注視者の位置と姿勢によって変化することから、当該領域を視線計測時に考慮しないと、視線計測を適切に行うことができない、という難点があった。

Nielsen, J. and Pernice, K., Eyetracking Web Usability, New Riders Publishing, Thousand Oaks, CA, 2009 Suzuki et al., "Learning to estimate user interest utilizing the variational Bayes’ estimator". Proc. of 5th of International Conference on Intelligent Systems Design and Applications, Wroclaw, Poland, 94-99, 2005 郷地大紀・小潰剛, "復帰抑制の特性を考慮した顕著性マップモデルの拡張による視線予測", 近畿大学生物理工学部紀要, No.24, pp.45-55, 2009

特開昭６２−５３６３０号公報 特表２０１２−５１５５７９号公報

本発明は、上述の難点を解決するためになされたもので、一つ又は複数の注視面に対する一人又は複数人の注視者の位置と姿勢を自動的に計測し、計測した情報に基づいて注視面における注視点、注視領域および注視点のガウス分布を自動的に計測することができる視線計測装置、注視領域の表示方法および注視点のガウス分布の表示方法を提供することを目的としている。

本発明の第１の態様である視線計測装置は、注視者の頭部に配置され、一つの注視面に配置された一つ又は複数のマーカーを撮像する手段と、マーカーを撮像する手段により取得された諸データから注視面に対する注視者の位置と姿勢を計測する手段と、注視者からみた注視面の座標系を算出する手段と、座標系から注視面上の注視者の６自由度を求める手段とを備えるものである。

本発明の第２の態様である視線計測装置は、注視者の頭部に配置され、複数の注視面にそれぞれ配置された一つ又は複数のマーカーを撮像する手段と、マーカーを撮像する手段により取得された諸データから注視面に対する注視者の位置と姿勢を計測する手段と、注視者からみた注視面の座標系を算出する手段と、座標系から注視面上の注視者の６自由度を求める手段とを備えるものである。

本発明の第３の態様である視線計測装置は、第２の態様である視線計測装置において、複数の注視面にそれぞれ配置される一つ又は複数のマーカーは、それぞれ異なる形式とされているものである。

本発明の第４の態様である視線計測装置は、第１の態様乃至第３の態様の何れかの態様である視線計測装置において、マーカーは、黒枠と黒枠に白領域が設けられ全体として正方形または矩形を呈しているＡＲマーカーで構成されているものである。

本発明の第５の態様である注視領域の表示方法は、第１の態様乃至第４の態様の何れかの態様の視線計測装置により注視点を計測するステップと、注視点に基づいて、注視点の周囲に見える範囲を定義するステップと、範囲を注視領域として算出して注視面上に投影するステップとを含むものである。

本発明の第６の態様である注視点のガウス分布の表示方法は、第１の態様乃至第４の態様の何れかの態様の視線計測装置により注視点を計測するステップと、注視点の分布を表すガウス分布を注視面に投影するステップとを含むものである。

本発明の第１の態様乃至第４の態様の視線計測装置によれば、一つまたは複数のＡＲマーカーを利用することで、注視面座標系（X_ｍ、Y_ｍ、Z_ｍ）上での注視点の６自由度（x_m、y_m、z_m、θ_xm、θ_ym、θ_zm）、すなわち並進３成分と回転３成分を合わせた６成分の６自由度を計測することができる。

具体的には、使用したＡＲマーカーの数に応じた共通視野の求め方が異なるところ、それぞれについて次のような効果を奏する。

第１に、注視面が壁のように一面になっている場合においては、一つのＡＲマーカーを注視面の端または注視しようとする対象物を妨げない注視面上の場所に配置することで、ＡＲマーカーの座標系を注視面の座標系とし、注視面上の任意の地点における注視点の６自由度を求めることができる。

第２に、任意の対象空間を注視面とする場合においては、４つのそれぞれ異なるＡＲマーカーを注視面の端に配置して注視点計測のための範囲を定義し、次に、複数のＡＲマーカーの中から一つＡＲマーカーを選択して当該ＡＲマーカーを持つ座標系を注視面の座標系とし、さらに、注視面の座標系での４つのＡＲマーカーの中心の位置を算出し、それらのＡＲマーカーで区切られた空間を注視範囲とすることで、その空間内の注視点の６自由度を求めることができる。

第３に、注視面が複数ある場合においては、注視面数に相当する４つのそれぞれ異なるＡＲマーカーをセットすることで、それぞれの注視面上に注視点の６自由度を計測することができる。

また、本発明の第５の態様の注視領域の表示方法によれば、注視領域は注視点を中心とした２度の領域であることから、この領域を注視面に投影することで、注視者が見ようとしたものだけでなく、注視者に見えたものを計測することができる。

具体的には、第１の態様乃至第４の態様の何れかの態様の視線計測装置において、注視面上の注視点の６自由度を求めることができるため、注視者からみた注視点周囲の約2度の領域を求めることができ、ひいては、注視者の位置が注視面から遠くなればなるほど、この注視領域が広くなり、一方、注視者の姿勢が注視面に垂直からずれるほど、この注視領域が真円から楕円に変化することから、このような注視領域を表現することによって、注視者が見ようとしたものだけでなく、注視者に見えたものを計測することができる。

さらに、本発明の第６の態様の注視点のガウス分布の表示方法によれば、第１の態様乃至第４の態様の何れかの態様の視線計測装置を利用して、注視点を中心としたガウス分布の各地点を注視面に投影することで、注視面上でのガウス分布が非対称となり、その歪みが注視者の位置と姿勢によって変化することから、非対称となったガウス分布において、上下左右の半径の変化に伴い、ガウス分布の頂点（中心）も当該分布の中心から移動することがあるところ、このような非対称となったガウス分布の頂点（中心）の移動を表現することによって、注視面上の注視点のガウス分布を三次元的に計測することができる。また、第５の態様の発明と同様に、注視者の位置が注視面から遠くなればなるほど、当該ガウス分布が広くなり、注視者の姿勢が注視面に垂直からずれるほど、当該ガウス分布の歪みが大きくなることから、視線計測を適切に行うことができる。

また、本発明の第１の態様乃至第６の態様の発明を組み合わせると次のような効果を奏する。

第１に、部屋内の複数面の壁を注視面とする場合は、それぞれの注視面上の注視点の６自由度を求めることができるため、それぞれの注視面上の注視領域と注視点のガウス分布を同時に計測することができる。

第２に、これらの計測結果を標準座標系に再投影することで、複数の注視者の注視点、注視領域およびガウス分布を同一座標で重ねて（オーバーレイ）表示することができる。

本発明の一実施例における複数の注視者による一つの注視面に対する注視点の６自由度を計測するためのシステム構成図。 本発明の一実施例における注視線計測装置を構成するシーンカメラの座標系とＡＲマーカーの座標系を示す概略図。 本発明の一実施例における注視面上に配置した一つのＡＲマーカーから当該注視面の平面方程式を算出し、当該注視面上の注視点の６自由度を計測している状態を示す説明図。 本発明の一実施例における複数の注視面上で、視線計測を行っている状態を示す説明図。 本発明の一実施例における複数人による二つの注視面に対する注視点の６自由度を計測するためのシステム構成図。 本発明の一実施例における四つのＡＲマーカーを配置して注視面の範囲を定義し、それらのマーカーの中心の位置を注視範囲とし、その注視面上の注視点の６自由度を計測している状態を示す説明図。 本発明の一実施例における注視者の位置と姿勢を考慮した注視面上の注視領域を示す説明図。 本発明の一実施例における注視者の位置と姿勢を考慮した注視面上の注視点分布（ガウス分布）を示す説明図。 本発明の標準座標系における注視点、注視領域および注視点のガウス分布の概要を示す説明図。

以下、本発明の視線計測装置、注視領域の表示方法および注視点のガウス分布の表示方法を適用した好ましい実施の形態例について、図面を参照して説明する。
［実施例１］
図１は、本発明の一実施例における二人の注視者による一つの注視面に対する注視点の６自由度を計測するためのシステム構成図を示している。

同図において、本発明における視線計測装置１は、注視者の頭部に装着される眼鏡型のフレーム（不図示）の所定箇所、例えば注視者の利き目付近に取り付けられ、視野映像であるＡＲマーカー７を撮像するためのシーンカメラ２と、当該フレームの前方であって注視者の瞳孔付近に取り付けられ、注視者の瞳孔を撮像するための瞳孔カメラ３と、データベース４２（後述）にアクセス可能なパーソナルコンピュータ等から成る制御端末４とを備えている。

ここで、シーンカメラ２には、注視者の視野をカバーすることが可能な広角レンズ（視野角１２０°以上）が搭載されている。

このような広角レンズを使用すれば、比較的に近距離（例えば３０〜５０ｃｍ程度）からＡＲマーカー７を捉えることができる。

また、注視面６上には一つＡＲ（Augmented Reality:拡張現実感）マーカー７が配置されている）が配置され、シーンカメラ２とＡＲマーカー７との距離に応じて、ＡＲマーカー７のサイズが用意され、このようなＡＲマーカー７の種類とサイズは、事前に制御端末４のデータベース４２内に登録されている。

このように、事前に、ＡＲマーカー７のサイズを定めれば、後述するようにして、シーンカメラ２で撮影した画像内におけるＡＲマーカー７の形状（歪み）とその大きさにより、注視面６に対するシーンカメラ２の位置と姿勢の諸データを計測することができる。

制御端末４は、シーンカメラ２と瞳孔カメラ３をキャリブレーションするキャリブレーション処理部４１と、諸データを登録するデータベース４２と、各部（回路）を制御するＣＰＵ４３とを備えている。ここで、シーンカメラ２と瞳孔カメラ３はキャリブレーション処理部４１に接続され、これらのシーンカメラ２と瞳孔カメラ３はキャリブレーション処理部４１の制御により予めキャリブレーションされている。

また、シーンカメラ２には、注視者の視野をカバーすることが可能な広角レンズが搭載されている。

このような広角レンズを使用すれば、比較的に近距離（例えば３０〜５０ｃｍ程度）からＡＲマーカー７を捉えることができる。

注視面６上には一つまたは複数のＡＲ（Augmented Reality:拡張現実感）マーカー７が配置され、シーンカメラ２とＡＲマーカー７との距離に応じて、ＡＲマーカー７のサイズが用意され、このようなＡＲマーカー７の種類（例えば７a）とサイズ（例えば１６cm×１６cm）は、事前にデータベース４２に登録されている。

このように、事前に、ＡＲマーカー７のサイズを定めれば、後述するようにして、シーンカメラ２で撮影した画像内におけるＡＲマーカー７の形状（歪み）とその大きさにより、注視面６に対するシーンカメラ２の位置と姿勢の諸データを計測することができる。

次に、このような構成の視線計測装置１は、注視者ごとに装着される。具体的には、第１の注視者の頭部に、第１の視線計測装置１ａを構成する第１のシーンカメラ２ａおよび第１の瞳孔カメラ３ａが装着され、また、第２の注視者の頭部に、第２の視線計測装置１ｂを構成する第２のシーンカメラ２ｂおよび第２の瞳孔カメラ３ｂが装着されている。なお、これらの第１、第２のシーンカメラ２ａ、２ｂおよび第１、第２の瞳孔カメラ３ａ、３ｂは予め第１、第２のキャリブレーション処理部４１ａ、４１ｂでキャリブレーションされることで第１、第２のシーンカメラ２ａ、２ｂの位置と姿勢の諸データは、それぞれ第１、第２の注視者の位置と姿勢とみなすことができる。

このような状態で、一つの注視面６を注視する際の各注視点の６自由度５ａ、５ｂを注視面６の座標系で計測し、最後にこれらの注視点の座標を標準座標系８に変換する。なお、符号５ａ´、５ｂ´は標準座標系８に変換した後の６自由度を示している。

ここで、注視面６の座標系としては、当該注視面６上のＡＲマーカー７と同じものが用いられる。標準座標系８は、注視面６の原点に無回転のシ−ンカメラ２（２ａ、２ｂ）から見た注視面６の座標系であり、この標準座標系８によって、複数の注視者の注視点を重ねて表示することができる。

次に、一連の処理方法について説明する。

先ず、本発明における視線計測装置１（１ａ、１ｂ）を構成するシーンカメラ２（２ａ、２ｂ）と、注視面６上に配置されたＡＲマーカー７を利用して注視面６に対する注視者の位置と姿勢を求める。ここで、シーンカメラ２（２ａ、２ｂ）は、注視者の目の付近に配置されているため、後述するシーンカメラ２（２ａ、２ｂ）の位置と姿勢の諸データは、注視者の位置と姿勢とみなすことができる。

図２は、シーンカメラ２（２ａ、２ｂ）とＡＲマーカー７との位置関係を示しており、これらのシーンカメラ２（２ａ、２ｂ）とＡＲマーカー７の座標系との関連は（１）式で表すことができる。

ここで、（X_ｍ、Y_ｍ、Z_ｍ）は、ＡＲマーカーの座標系、（X_c、Y_c、Z_c）は、シーンカメラの座標系、（Ｖ₁₁〜Ｖ₃₃）および（W_x、W_y、W_z）は、ＡＲマーカーに対する回転成分（シーンカメラのローリングに基づく回転成分）および並進成分（シーンカメラのピッチング、ヨーイングの回動に基づく並進成分）（以下、これを「変換行列」という。）を示す。

式（１）より、シーンカメラの回転角度（θ_x、θ_y、θ_z）は、以下の式（２）、（３）、（４）により求めることができる。

以上のことから、注視面６の座標系（X_ｍ、Y_ｍ、Z_ｍ）上で、各注視点の位置（x_m、y_m、z_m）と注視者の姿勢（θ_xm、θ_ym、θ_zm）、すなわち、注視者の前後、左右、上下、ロール（roll）、ピッチ(pitch)、ヨー(yaw)の6種類の動きである注視者の６自由度を同時に計測することができる。

なお、上述のＡＲマーカー７に対するシーンカメラ２（２ａ、２ｂ）の位置および姿勢は、従来から知られている技術、例えば、例えば、「H. Kato and M. Billinghurst, “Marker Tracking and HMD Calibration for a Video-based Augmented Reality Conferencing System”, In Proc. IWＡＲ '99, San Francisco, CA, pp.85-94, 1999.」等に記載されている技術により求めることができる。

図３は、本発明の一実施例における注視面上に配置した一つのＡＲマーカーから当該注視面の平面方程式（ＡＲマーカーの平面方程式）を算出し、当該注視面上の注視点の６自由度を計測している状態を示している。

同図において、点線は、シーンカメラ２（２ａ、２ｂ）でＡＲマーカー７を捉えている状態を示しており、実線は、注視者の注視点の６自由度を注視面６上で計測している状態を示している。

具体的には、第１の注視点の位置と姿勢は、（x₁、y₁、z₁、θ_x1、θ_y1、θ_z1）として、第２の注視点の位置と姿勢は、（x₂、y₂、z₂、θ_x2、θ_y2、θ_z2）として、第３の注視点の位置と姿勢は、（x₃、y₃、z₃、θ_x3、θ_y3、θ_z3）として、第４の注視点の位置と姿勢は、（x₄、y₄、z₄、θ_x4、θ_y4、θ_z4）として、それぞれ同時に計測することができる。

以上のように、本発明の第１の実施例による視線計測装置によれば、ＡＲマーカー７のサイズを事前に定めれば、シーンカメラ２（２ａ、２ｂ）で撮影した画像内におけるＡＲマーカー７の形状（歪み）とその大きさにより、注視面６に対するシーンカメラ２（２ａ、２ｂ）の位置と姿勢の諸データを計測することができ、ひいては、このようなＡＲマーカー７を利用することで、注視面座標系（X_ｍ、Y_ｍ、Z_ｍ）上での注視点の６自由度（x_m、y_m、z_m、θ_xm、θ_ym、θ_zm）を計測することができる。

より具体的には、注視面６が壁のように一面になっている場合においては、一つのＡＲマーカー７を注視面６の端または注視しようとする対象物を妨げない注視面６上の場所に配置することで、ＡＲマーカー７の座標系を注視面６の座標系とし、注視面６上の任意の地点における注視点の６自由度を求めることができる。

ここで、この実施例においては、シーンカメラ２（２ａ、２ｂ）で一つの注視面６に配置された一つのＡＲマーカー７を撮像する場合について述べているが、シーンカメラ２（２ａ、２ｂ）で一つの注視面６に配置された複数（例えば４つ）のＡＲマーカー７を撮像してもよい。
［実施例２］
図４は、複数の注視面６ａ、６ｂ上で、視線計測を行っている状態を示している。なお、同図において、図１〜図３と共通する部分には同一の符号を付して詳細な説明を省略する。

この実施例においては、図４に示すように、第１の注視面６ａの四隅に、それぞれ白枠の領域にＡ〜Ｄが付されたそれぞれ異なる型式の第１〜第４のＡＲマーカー７ａ〜７ｄ（以下、「第１〜第４のＡＲマーカー７ａ〜７ｄ」を「第１のＡＲマーカーのセット」ともいう。）が配置され、第２の注視面６ｂに、それぞれ白枠の領域にＥ〜Ｈが付されたそれぞれ異なる型式の第５〜第８のＡＲマーカー７ｅ〜７ｈ（以下、「第５〜第８のＡＲマーカー７ｅ〜７ｈ」を「第２のＡＲマーカーのセット」ともいう。）が配置されている。

この実施例においては、第１の注視面６ａにおける第１〜第４のＡＲマーカー７ａ〜７ｄや、第２の注視面６ｂにおける第５〜第８のＡＲマーカー７ｅ〜７ｈを用いて、第１、第２の注視面６ａ、６ｂの四隅の範囲とそれぞれの座標系を決定することができる。

具体的には、先ず、式（１）より、シ−ンカメラ２の座標系をＣ、任意のｉ番目のＡＲマーカー７の座標系をＡ_ｉ、シーンカメラ２とＡＲマーカー７の座標系に対する変換行列をＭ_ｉと置くと、シーンカメラ２の座標系とＡＲマーカー７の座標系との関連を式（５）で表すことができる。

次に、任意の注視面６における座標系は、当該注視面６上の一つのＡＲマーカー７の座標系で代表させることができ、当該ＡＲマーカー７の座標系と他の同一面上のＡＲマーカー７の座標系との関係を求めることができる。

例えば、図５に示すように、第１の注視面６ａの左上の第1のＡＲマーカー７ａを使用して第１の注視面６ａの座標系を以下のようにして求めることができる。

すなわち、シーンカメラ２の座標系Ｃと第１のＡＲマーカー７ａの座標系が
Ｃ＝Ｍ_１Ａ_１（第１のＡＲマーカー７ａ）
Ｃ＝Ｍ_２Ａ_２（第２のＡＲマーカー７ｂ）
Ｃ＝Ｍ_３Ａ_３（第３のＡＲマーカー７ｃ）
Ｃ＝Ｍ_４Ａ_４（第４のＡＲマーカー７ｄ）
として、それぞれ成立することから、第１のＡＲマーカー７ａと第２のＡＲマーカー７ｂの座標系の関係は、
になる。

同様にして、第１のＡＲマーカー７ａと第３のＡＲマーカー７ｃの座標系の関係、第１のＡＲマーカー７ａと第４のＡＲマーカー７ｄの座標系の関係も求めることができる。

これらの処理は、注視面６ごとに施すことにより、注視面６上での注視点の６自由度（５ｃ、５ｄ）を求めることができ、それらの注視点を該当する標準座標系８ａ、８ｂでその位置（５ｃ´、５ｄ´）を表示することができる。

以上の方法で、図６に示すように、第１のＡＲマーカー７ａの座標系を注視面６における座標系（X_ｍ、Y_ｍ、Z_ｍ）とし、シーンカメラ２から視た四つのＡＲマーカー７の中心座標（x_m1、y_m1、z_m1）、（x_m2、y_m2、z_m2）、（x_m3、y_m3、z_m3）、（x_m4、y_m4、z_m4）を注視する範囲として、当該面上での注視点の６自由度（x_m、y_m、z_m、θ_xm、θ_ym、θ_zm）を計測することができる。

ここで、第１、第２の注視面６ａ、６ｂを識別するためには、第１のＡＲマーカーセットと第２のＡＲマーカーセットで利用されたＡＲマーカー７は重複しないようにする必要がある。

以上のように、本発明の第２の実施例による視線計測装置によれば、第１の実施例による視線計測装置の作用、効果に加えて、次の効果を奏する。

すなわち、注視面６が複数ある場合においては、注視面数に相当する４つのそれぞれ異なるＡＲマーカー７ａ〜７ｈをセットすることで、それぞれの注視面上に注視点の６自由度を計測することができる。

また、任意の対象空間を注視面６とする場合においては、４つのそれぞれ異なるＡＲマーカー７を注視面の端に配置して注視点計測のための範囲を定義し、複数のＡＲマーカー７の中から一つＡＲマーカー７を選択して当該ＡＲマーカー７を持つ座標系を注視面６の座標系とし、注視面６の座標系での４つのＡＲマーカー７の中心の位置を算出し、それらのＡＲマーカー７で区切られた空間を注視範囲とすることで、その空間内の注視点の６自由度を求めることができる。
［実施例３］
図７は、注視者の位置と姿勢を考慮した注視面上の注視領域を求めるための概要を示している。なお、同図において、図１〜図６と共通する部分には同一の符号を付して詳細な説明を省略する。

図７において、注視点を中心とした２度の領域を考慮した場合、注視者の注視方向に垂直な面であるシーンカメラ２のスクリーン１２上においては、注視領域は当該注視点を中心とする真円になるものの、注視面６上においては、この注視領域は楕円領域として算出される。

ここで、上記の楕円の算出方法について述べると、先ず、シーンカメラ２と注視面６上の注視点をなすベクトル１０と、当該ベクトル１０と２度の角度をなすシーンカメラ２の座標系の中心（０、０、０）からの五つのベクトル１１ａ、１１ｂ、１１ｃ、１１ｄ，１１ｅ（以下、１１ａを「第１の注視領域ベクトル」、１１ｂを「第２の注視領域ベクトル」、１１ｃを「第３の注視領域ベクトル」、１１ｄを「第４の注視領域ベクトル」、１１ｅを「第５の注視領域ベクトル」という。）を作成する。

次に、第１〜第５の注視領域ベクトル１１ａ〜１１ｅを延長させて、それぞれ注視面６との交点（１１ａ´、１１ｂ´、１１ｃ´、１１ｄ´，１１ｅ´）を求める。

そうすると、注視面６の座標系上で五つの交点（x_i、y_i）を通る楕円は、（６）式で表すことができる。

これにより、係数a〜fを（７）式の行列演算で求めることができる。

なお、詳細な方法については、例えば、Hartley, R. and Zisserman, A., “Multiple View Geometry in Computer Vision”, Cambridge University press, 2nd edition, pp30-31, 2003.等に先行技術文献に記載されている。

以上のように、本発明の注視領域の表示方法によれば、注視領域は注視点を中心とした２度の領域であることから、この領域を注視面６に投影することで、注視者が見ようとしたものだけでなく、注視者に見えたものを計測することができる。

具体的には、前述の視線計測装置１（１ａ、１ｂ）において、注視面６上の注視点の６自由度を求めることができるため、注視者からみた注視点周囲の約2度の領域を求めることができ、ひいては、注視者の位置が注視面６から遠くなればなるほど、この注視領域が広くなり、一方、注視者の姿勢が注視面６に垂直からずれるほど、この注視領域が真円から楕円に変化することから、このような注視領域を表現することによって、注視者が見ようとしたものだけでなく、注視者に見えたものを計測することができる。
［実施例４］
図８は、注視者の位置と姿勢を考慮した注視面６上の注視点分布（ガウス分布）を示している。

同図において、図１〜図７と共通する部分には同一の符号を付して詳細な説明を省略する。

図８において、当該分布を算出するためには、先ず、シーンカメラ２のスクリーン１２上で注視点のガウシアン分布を作成し、当該分布のそれぞれの地点について、注視面６上に投影する必要がある。

しかして、シーンカメラ２のスクリーン１２上において、注視者の注視点（x_c、y_c）に対するガウス分布f(x、y)は、式（８）で求めることができる。

ここで、σ_１、σ_２はガウス分布の幅を決定するためのものであり、その大きさは、前述の注視領域の半径の１／３とする。

シーンカメラ２のスクリーン１２上において、注視領域が真円となるため、σ_１＝σ_２となる。

x、y はそれぞれx_c±３σ_１、y_c±３σ_２の範囲の地点座標である。

シーンカメラ２の座標系の中心（０，０，０）から、当該注視点のガウス分布の各地点に向けてベクトルを作成し、それらのベクトルを延長させて注視面６と交差させる。

シーンカメラ２のスクリーン１２のガウス分布をそれらのベクトルに従って注視面６に投影させることによって、注視面６上のガウス分布を求めることができる。

以上のように、本発明の注視点のガウス分布の表示方法によれば、前述の視線計測装置１（１ａ、１ｂ）を利用して、注視点を中心としたガウス分布の各地点を注視面６に投影することで、注視面６上でのガウス分布が非対称となり、その歪みが注視者の位置と姿勢によって変化することから、非対称となったガウス分布において、上下左右の半径の変化に伴い、ガウス分布の頂点（中心）も当該分布の中心から移動することがあるところ、このような非対称となったガウス分布の頂点（中心）の移動を表現することによって、注視面６上の注視点のガウス分布を三次元的に計測することができる。また、第３の実施例と同様に、注視者の位置が注視面から遠くなればなるほど、当該ガウス分布が広くなり、注視者の姿勢が注視面に垂直からずれるほど、当該ガウス分布の歪みが大きくなることから、視線計測を適切に行うことができる。
［実施例５］
図９は、複数の注視者が同一注視面を注視し、その注視点、注視領域および注視点のガウス分布を計測し、標準座標系上で重ねて表示した状態を示している。

すなわち、第１の実施例〜第４の実施例を組み合わせることで、次のような効果を奏する。

第１に、部屋内の複数面の壁を注視面６とする場合は、それぞれの注視面６上の注視点の６自由度を求めることができるため、それぞれの注視面６上の注視領域と注視点のガウス分布を同時に計測することができる。

第２に、これらの計測結果を標準座標系８（８ａ、８ｂ）に再投影することで、複数の注視者の注視点や注視領域、ガウス分布を同一座標で重ねて（オーバーレイ）表示することができる。

なお、これまで本発明について、図面に示した特定の実施の形態をもって本発明を説明しているが、本発明はこれらの実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られているいかなる構成であっても採用することができる。

例えば、前述の実施例では、注視面に正方形の囲みから成るＡＲマーカーを配置した場合について説明したが、ＱＲコード（登録商標）やロボットなどが物体を認識するための平面パターンから成るマーカー等を用いてもよい。

また、前述の説明では、データベース４２を制御端末４に搭載した場合について述べているが、当該データベース４２は制御端末４と別体で構成してもよい。

１・・・視線計測装置
１ａ、１ｂ・・・第１、第２の視線計測装置
２・・・シーンカメラ
２ａ、２ｂ・・・第１、第２のシーンカメラ
３・・・瞳孔カメラ
３ａ、３ｂ・・・第１、第２の瞳孔カメラ
４・・・制御端末
４ａ、４ｂ・・・第１、第２の制御端末
５・・・注視面上の注視点
５ａ〜５ｄ・・・第１〜第５の注視面上の注視点
６・・・注視面
６ａ、６ｂ・・・第１、第２の注視面
７・・・ＡＲマーカー
７ａ〜７ｈ・・・第１〜第８のＡＲマーカー
８・・・標準座標系
８ａ、８ｂ・・・第１、第２の標準座標系

Claims (6)

1. 注視者の頭部に配置され、一つの注視面に配置された一つ又は複数のマーカーを撮像する手段と、前記マーカーを撮像する手段により取得された諸データから前記注視面に対する前記注視者の位置と姿勢を計測する手段と、前記注視者からみた前記注視面の座標系を算出する手段と、前記座標系から前記注視面上の前記注視者の６自由度を求める手段とを備えることを特徴とする視線計測装置。
2. 注視者の頭部に配置され、複数の注視面にそれぞれ配置された一つ又は複数のマーカーを撮像する手段と、前記マーカーを撮像する手段により取得された諸データから前記注視面に対する前記注視者の位置と姿勢を計測する手段と、前記注視者からみた前記注視面の座標系を算出する手段と、前記座標系から前記注視面上の前記注視者の６自由度を求める手段とを備えることを特徴とする視線計測装置。
3. 前記複数の注視面にそれぞれ配置される一つ又は複数の前記マーカーは、それぞれ異なる形式とされていることを特徴とする請求項２記載の視線計測装置。
4. 前記マーカーは、黒枠と前記黒枠に白領域が設けられ全体として正方形または矩形を呈しているＡＲマーカーであることを特徴とする請求項１乃至請求項３の何れか１項に記載の視線計測装置。
5. 請求項１乃至請求項４の何れか１項に記載の視線計測装置により注視点を計測するステップと、前記注視点に基づいて、前記注視点の周囲に見える範囲を定義するステップと、前記範囲を注視領域として算出して注視面上に投影するステップとを含むことを特徴とする注視領域の表示方法。
6. 請求項１乃至請求項４の何れか１項に記載の視線計測装置により注視点を計測するステップと、前記注視点に基づいて、前記注視点の分布を表すガウス分布を前記注視面に投影するステップとを含むことを特徴とする注視点のガウス分布の表示方法。