JP2015058246A

JP2015058246A - 視線分析システム

Info

Publication number: JP2015058246A
Application number: JP2013194951A
Authority: JP
Inventors: 隼沖; Hayato Oki; 智子小堀; Tomoko Kobori; 小川　隆; Takashi Ogawa; 隆小川
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2013-09-20
Filing date: 2013-09-20
Publication date: 2015-03-30
Anticipated expiration: 2033-09-20
Also published as: JP6171781B2

Abstract

【課題】シーン画像の領域に対応する画像を自動的に基本画像から切り抜き，切り抜いた画像を用いて対応点の探索処理を行うことのできるシステムを提供する。
【解決手段】視線分析装置２は，６軸モーションセンサ４の出力から被験者頭部の移動距離と回転角を演算する変位演算手段２０と，被験者頭部の移動距離と回転角から，カメラユニット３０の位置と向きの変動量とカメラユニット３０の対象物からの距離の変動量を演算し，これらの変動量に従い切り抜き範囲を変更する切り抜き範囲変更手段２１と，切り抜き範囲変更手段２１が変更した後の切り抜き範囲内の画像を基本画像から切り抜き，切り抜いた画像とシーン画像間の対応点を探索する対応点探索手段２２と，切り抜いた画像とシーン画像間の対応点用いてシーン画像上の注視点座標を変換する注視点変換手段２４を備える。
【選択図】図２

Description

本発明は，アイトラッキング装置が出力した注視点の座標を分析する際，対象物全体を撮影した対象物画像に対して，被験者の視界の中心部を２次元画像化した画像であるシーン画像の撮影範囲が小さすぎる場合であっても，対象物画像とシーン画像間の対応点を効率良く探索できるようにする発明である。

マーケティング分野等において，アイトラッキング試験を行い，アイトラッキング試験の被験者が視線を向けた対象物上の位置を分析することは重要なことである。被験者が視線を向けた対象物上の位置を特定する際，特許文献１に記載されているように，対象物全体を撮影した対象物画像とアイトラッキング装置が撮影したシーン画像間の対応点を探索し，この対応点を利用して，シーン画像上における注視点座標を対象物画像上の座標値に変換する座標変換行列を演算する。

上述の座標変換行列は，シーン画像と対象物画像間の４つの対応点から演算可能であるが，４つの対応点の標本数を一つとすると座標変換行列の精度が低くなるため，数多くの対応点から４つの対応点の標本を数多く抽出し，ＲＡＮＳＡＣ(RANdom SAmple Consensus)などのロバスト推定手法により座標変換行列の精度を高めることが必要になる。

対象物画像とシーン画像がほぼ同じであれば，特別な処理を行うことなく，数多くの対応点を探索することができるが，シーン画像が対象物の局所的な部分のみ撮影した画像の場合，数多くの対応点を探索することができない。

シーン画像が対象物の局所的な部分のみ撮影した画像の場合であっても，数多くの対応点を探索できる手法として，特許文献１では，対象物画像を複数の分割画像に分割し，シーン画像と分割画像間の対応点を探索する手法が開示されているが，この手法では，対象物画像の分割画像毎に対応点を探索する処理が必要になってしまう。

特開２０１３−８１７６２号公報

そこで，本発明は，シーン画像が対象物の局所的な部分のみ撮影した画像の場合であっても，対象物画像を複数の分割画像に分割することなく，数多くの対応点を効率良く探索できる視線分析システムおよび視線分析装置を提供することを目的とする。

上述した課題を解決する第１の発明は，被験者の視界の中心部を２次元画像化した画像であるシーン画像を所定のフレームレートで撮影するカメラユニットと，前記シーン画像上における注視点座標を検出する注視点検出部を有し，被験者頭部に装着するように構成されたアイトラッキング装置と，所定のサンプリングレートで３軸方向の加速度と３軸回りの角速度を計測するセンサを有し，被験者頭部に装着するように構成された６軸モーションセンサと，前記アイトラッキング装置と前記６軸モーションセンサの出力を用いて被験者の視線を分析する視線分析装置とから少なくとも構成される視線分析システムである。

第１の発明に係る前記視線分析装置は，対象物の全体を撮影した対象物画像を利用できるように前記対象物画像を記憶する記憶手段を備える。また，始時点からの被験者頭部の移動距離と回転角がわかるように，アイトラッキング試験中に前記６軸モーションセンサから得られた３軸方向の加速度から，始時点から前記シーン画像が撮影された時点までの被験者頭部の移動距離を演算し，更に，アイトラッキング試験中に前記６軸モーションセンサから得られた角速度から，始時点から前記シーン画像が撮影された時点までの被験者頭部の回転角を演算する変位演算手段を備える。また，第１の発明に係る前記視線分析装置は，前記シーン画像に対応する切り抜き範囲を自動で決定できるように，始時点から前記シーン画像が撮影された時点までの前記被験者頭部の移動距離と前記被験者頭部の回転角から，前記カメラユニットの位置と向きの変動量と前記カメラユニットの対象物からの距離の変動量を演算し，前記カメラユニットの位置と向きの変動量と前記カメラユニットの前記対象物からの距離の変動量に従い，始時点における切り抜き範囲の位置とサイズを変更する切り抜き範囲変更手段を備える。更に，第１の発明に係る前記視線分析装置は，前記シーン画像との対応点を探索できるように，前記切り抜き範囲変更手段が前記切り抜き範囲を変更すると，前記対象物画像から，前記切り抜き範囲変更手段が変更した後の前記切り抜き範囲内の画像を切り抜き，切り抜いた画像と前記シーン画像間の対応点を探索する対応点探索手段を備える。また，第１の発明に係る前記視線分析装置は，前記シーン画像上の注視点座標を前記対象物画像上の座標値に変換できるように，前記対応点探索手段が前記切り抜いた画像と前記シーン画像間の対応点を探索すると，前記切り抜いた画像と前記シーン画像間の対応点を用いて，前記シーン画像上における前記注視点座標を前記対象物画像上の座標値に変換する行列を算出し，前記シーン画像上における前記注視点座標を前記対象物画像上の座標値に変換する注視点変換手段を備える。

更に，第２の発明は，第１の発明に記載した視線分析システムにおいて，切り抜き範囲を変更する内容を詳細にした発明で，前記視線分析装置の前記変位演算手段は，前記被験者頭部の移動距離を前記対象物の縦方向，横方向および奥行方向毎に演算し，更に，前記被験者頭部の回転角を縦方向および横方向毎に演算し，前記切り抜き範囲変更手段は，縦方向と横方向に係る前記被験者頭部の回転角並びに縦方向と横方向に係る前記被験者頭部の移動距離を利用して，前記カメラユニットの位置と向きの変動量を演算し，前記カメラユニットの位置と向きの変動量に基づいて，始時点における前記切り抜き範囲の中心位置を変更し，奥行方向に係る前記被験者頭部の移動距離を用いて前記カメラユニットの対象物からの距離を演算し，前記カメラユニットの対象物からの距離から演算した拡大縮小倍率に基づいて，始時点における前記切り抜き範囲のサイズを変更することを特徴とする。

更に，第３の発明は，第１の発明または第２の発明に記載した視線分析システムにおいて，アイトラッキング試験を開始した時点を始時点とし，前記視線分析装置の前記切り抜き範囲変更手段は，アイトラッキング試験を開始した時点からの前記カメラユニットの位置と向きの変動量と前記カメラユニットの対象物からの距離を演算し，アイトラッキング試験を開始した時点における切り抜き範囲を変更することを特徴とする。

更に，第４の発明は，第１の発明または第２の発明に記載した視線分析システムにおいて，前回の前記シーン画像が撮影された時点を始時点とし，前記視線分析装置の前記切り抜き範囲変更手段は，前回の前記シーン画像が撮影された時点からの前記カメラユニットの位置と向きの変動量と前記カメラユニットの対象物からの距離を演算し，前回の前記シーン画像が撮影された時点の切り抜き範囲を変更することを特徴とする。

更に，第５の発明は，第１の発明から第４の発明のいずれか一つに記載した視線分析システムを構成する視線分析装置である。

このように，上述した発明によれば，シーン画像が対象物の局所的な部分のみ撮影した画像の場合であっても，シーン画像に対応する画像を自動的に対象物画像から切り抜き，切り抜いた画像を用いて対応点の探索処理が行われるため，数多くの対応点を効率良く探索できるようになる。

本実施形態に係る視線分析システムの構成を説明する図。本実施形態に係る視線分析システムのブロック図。アイトラッキング試験を説明する図。対象物画像とシーン画像を説明する図。被験者頭部の回転による切り抜き範囲の位置の変動を説明する図。被験者頭部の移動による切り抜き範囲の位置の変動を説明する図。被験者頭部の移動による切り抜き範囲のサイズの変動を説明する図。切り抜き範囲の座標を説明する図。視線分析装置の動作を説明する図。アイトラッキング試験工程を説明する図。キャリブレーション工程を説明する図。視線分析工程を説明する図。注視点変換処理を説明する図。

ここから、本発明の好適な実施形態について、図面を参照しながら詳細に説明する。なお，以下の記載は本発明の範囲を束縛するものでなく，理解を助けるために記述するものである。

図１は，本実施形態に係る視線分析システム１の構成を説明する図で，図２は，本実施形態に係る視線分析システム１のブロック図，図３は，アイトラッキング試験を説明する図，図４は，対象物画像とシーン画像を説明する図である。

図１，２に図示したように，本実施形態に係る視線分析システム１は，被験者６の注視点を検出するアイトラッキング装置３と，３軸方向（ｘ軸方向，ｙ軸方向，ｚ軸方向）の加速度と３軸回り（ｘ軸回り，ｙ軸回り，ｚ軸回り）の角速度を計測する６軸モーションセンサ４と，距離を計測する距離センサ５と，アイトラッキング装置３および６軸モーションセンサ４が少なくとも接続される視線分析装置２を含む。

アイトラッキング装置３は，被験者６の被験者頭部６ａに装着できるように構成された装置で，図１では，アイトラッキング装置３を眼鏡型の装置として図示している。図２に図示しているように，アイトラッキング装置３は，シーン画像を所定のフレームレートで撮影するカメラユニット３０と，被験者６の注視点を検出し，シーン画像上における注視点座標を出力する注視点検出部３１を備え，カメラユニット３０がシーン画像を撮影すると，シーン画像とシーン画像上の注視点座標を出力する装置で，アイトラッキング装置３は，これ以外に，電源，メモリ，通信インターフェース等を有しているが，図１および図２では図示していない。なお，本実施形態において，シーン画像とは，アイトラッキング装置３のカメラユニット３０が撮影した画像で，被験者の視界の中心部を２次元画像化した画像になる。

このような機能を備えたアイトラッキング装置３は既に市販化されており，アイトラッキング装置３の注視点検出部３１が被験者６の注視点を検出する手法としては，被験者６の瞳孔を撮影する手法（例えば，特開平８−１４０９３７），眼電位を用いる手法（例えば，ＷＯ２００９/１４２００８号公報），そして，赤外線信号を用いる手法（例えば，特表２０１２−５１５５７９公報）が知られている。

被験者頭部６ａに装着する６軸モーションセンサ４は，３軸方向の加速度と３軸回りの角速度を所定のサンプリングレートで計測して出力するセンサで，このような６軸モーションセンサ４としては，３軸加速センサと３軸ジャイロセンサを備えた小型のセンサが既に市販化されている。

本実施形態において，６軸モーションセンサ４のｘ軸が対象物７の横方向に，６軸モーションセンサ４のｙ軸が対象物７の縦方向に，６軸モーションセンサ４のｚ軸が対象物７の奥行方向にそれぞれ一致するように，被験者頭部６ａに６軸モーションセンサ４を装着している。なお，図１では，アイトラッキング装置３に６軸モーションセンサ４を取り付けているが，ヘッドバンドを用いて被験者頭部６ａに取り付けることも想定できる。

距離センサ５は，視線分析装置２がキャリブレーションを行う際，アイトラッキング試験を開始する際の被験者６から対象物７までの距離ｄ０を測定するために用いるセンサである。距離ｄ０は数ｍ程度になることが多いため，赤外光を照射しその反射光から距離を計測する距離画像センサを距離センサ５として用いることが望ましい。なお，距離センサ５は，視線分析装置２が切り抜き範囲のキャリブレーションを行うときのみに利用されるため，距離センサ５を被験者頭部６ａに装着する必要はない。

図３に図示したように，アイトラッキング試験を行う際，アイトラッキング装置３と６軸モーションセンサ４を被験者頭部６ａに装着した被験者６が自由に移動して対象物７を閲覧すると，アイトラッキング装置３のカメラユニット３０によって，被験者６が視線を向けた対象物７上の一部領域の画像であるシーン画像が撮影され，アイトラッキング装置３の注視点検出部３１によって，シーン画像上における注視点座標が検出される。

図４（ａ）は，対象物画像を説明する図である。対象物画像とは，対象物７の全体を正面から撮影した画像で，対象物画像は視線分析装置２の記憶手段（例えば，ハードディスク）に予め記憶される。なお，対象物画像を撮影するカメラは，アイトラッキング装置３のカメラユニット３０でもよく，他のデジタルカメラでもよい。

図４（ｂ），（ｃ）は，シーン画像を説明する図で，図４（ｂ）は，被験者６が図３の位置Ｐ０にいる時に撮影されるシーン画像で，図４（ｃ）は，被験者６が図３の位置Ｐ１にいる時に撮影されるシーン画像である。

アイトラッキング装置３は，被験者頭部６ａに装着されるため，被験者頭部６ａの移動や回転によって，対象物画像上におけるカメラユニット３０の撮影範囲は変化する。被験者６が位置Ｐ０にいる時，この時のカメラユニット３０の撮影方向は対象物７の中心であるため，図４（ｂ）のシーン画像は対象物７の中心部を撮影した画像になる。また，位置Ｐ０にいる被験者６は，対象物７を向かって見て位置Ｐ０から左に移動し，更に，被験者頭部６ａを上方向に向いているため，図４（ｃ）のシーン画像は対象物７の左上部を撮影した画像になる。

このように，被験者頭部６ａの移動や回転によって，アイトラッキング装置３のカメラユニット３０が撮影するシーン画像の内容は変化するが，アイトラッキング装置３と同様に，６軸モーションセンサ４も被験者頭部６ａに装着されるため，６軸モーションセンサ４の出力から被験者頭部６ａの移動距離と回転角を算出することができ，これらの値から，対象物画像上におけるカメラユニット３０の撮影範囲を推定できる。

ここから，視線分析装置２について説明する。図２に図示したように，視線分析装置２は，汎用のコンピュータを利用して実現される装置で，視線分析装置２として用いるコンピュータの記憶装置に記憶するコンピュータプログラムによって実現される手段として，キャリブレーションを行う際に作動するキャリブレーション手段２３と，６軸モーションセンサ４の出力から被験者頭部６ａの移動距離と回転角を演算する変位演算手段２０と，被験者頭部６ａの移動距離と回転角から，対象物７に対するカメラユニット３０の位置と向きの変動量とカメラユニット３０の対象物７からの距離を演算し，カメラユニット３０の位置と向きの変動量に合わせて切り抜き範囲を変更する切り抜き範囲変更手段２１と，切り抜き範囲変更手段２１が変更した後の切り抜き範囲内の画像を対象物画像から切り抜き，切り抜いた画像とシーン画像の対応点を探索する対応点探索手段２２と，シーン画像上の注視点座標を対象物画像上の座標値に変換する注視点変換手段２４を備える。

一般的に，シーン画像上の注視点座標を対象物画像上の座標値に座標変換する際，シーン画像と対象物画像間の対応点を探索するが，本実施形態に係る視線分析装置２は，被験者頭部６ａの移動距離と回転角に応じてシーン画像に対応する切り抜き範囲を自動的に決定し，決定した切り抜き範囲内の画像を対象物画像から切り抜き，対象物画像から切り抜いた画像とシーン画像間における対応点を探索し，この対応点を用いて注視点座標を変換する。

シーン画像が対象物の局所的な部分のみ撮影した画像の場合，シーン画像と対象物画像間の対応点を数多く探索できないことがあるが，シーン画像に対応する画像を対象物画像から切り抜き，切り抜いた画像を用いて対応点を探索することで，このような場合であっても，数多くの対応点を探索できるようになる。また，対象物画像を予め分割する手法とは異なり，対応点を検索する処理は一回で済むため，対応点探索処理を効率化できる。

ここから，視線分析装置２が備える各手段について説明する。視線分析装置２のキャリブレーション手段２３は，視線分析装置２のキャリブレーションを実行する際に作動する手段で，視線分析装置２のキャリブレーションを実行するタイミングはアイトラッキング試験の直前である。

視線分析装置２のキャリブレーション手段２３は，被験者６が最初に視線を向ける対象物画像上の座標が指定されると，アイトラッキング試験を開始する際の切り抜き範囲の幅ｃ０から切り抜き範囲の位置とサイズを決定する処理と，距離センサ５を用いて計測した被験者６と対象物７間の距離ｄ０を取得する処理を実行する。

被験者６が最初に視線を向ける対象物７上の一点は予め定められる。視線分析装置２のキャリブレーション手段２３は，視線分析装置２のディスプレイに対象物画像を表示した後，アイトラッキング試験の試験者に，この点に対応する対象物画像上の点をポインティングデバイスで指定させることで，被験者６が最初に視線を向ける対象物画像上の座標を取得する。なお，切り抜き範囲の幅ｃ０は，予め定めておくこともできるが，キャリブレーションを行う毎に視線分析装置２に入力させるようにすることもできる。

本実施形態において，アイトラッキング試験を開始する際の切り抜き範囲の形状を正方形とし，視線分析装置２のキャリブレーション手段２３は，切り抜き範囲の位置とサイズを決定する処理として，対象物画像の左下隅を原点とした時の切り抜き範囲の４隅の座標を演算する。被験者６が最初に視線を向ける対象物画像上の座標を (ｇｘ０, ｇｙ０)とすると，切り抜き範囲の４隅の座標は数式１で演算することができる。

また，被験者６から対象物７までの距離ｄ０を取得する際，視線分析装置２のキャリブレーション手段２３は，アイトラッキング試験の試験者または被験者６に距離センサ５を用いて距離を計測させ，距離センサ５が計測した距離を距離ｄ０として取得する。なお，図１では，距離センサ５と視線分析装置２を接続し，距離センサ５から距離が視線分析装置２に入力されるように構成しているが，アイトラッキング試験の試験者が距離ｄ０を手動で視線分析装置２に入力するように構成することもできる。

視線分析装置２の変位演算手段２０は，６軸モーションセンサ４からこれまでに得られている３軸方向の加速度から，始時点からの被験者頭部６ａの移動距離を演算し，更に，６軸モーションセンサ４からこれまでに得られた２軸回りの角速度（縦方向と横方向の角速度）から，始時点からの被験者頭部６ａの回転角を演算する手段である。なお，始時点としては，アイトラッキング試験を開始した時点と，前回のシーン画像を撮影した時点の２通りが考えられる。

具体的には，視線分析装置２の変位演算手段２０は，被験者頭部６ａの移動距離として，対象物７の縦方向，横方向および奥行方向それぞれの移動距離を演算する。また，被験者頭部６ａの回転角として，縦方向（ここでは，ｘ軸回りの回転になる），横方向（ここでは，ｙ軸回りの回転になる）それぞれの回転角を演算する。被験者頭部６ａの移動距離は，時間を積分変数として加速度を２重積分することで演算できる。また，被験者頭部６ａの回転角は，時間を積分変数として角速度を１重積分することで演算できる。

視線分析装置２の切り抜き範囲変更手段２１は，アイトラッキング装置３からシーン画像と注視点座標が出力されると，この時の被験者頭部６ａの移動距離と回転角から，カメラユニット３０の位置と向きの変動量とカメラユニット３０の対象物７からの距離を演算し，カメラユニット３０の位置と向きの変動量とカメラユニット３０の対象物７からの距離に基づいて切り抜き範囲を変更する手段である。

具体的には，視線分析装置２の切り抜き範囲変更手段２１は，縦方向と横方向に係る被験者頭部６ａの回転角並びに縦方向と横方向に係る被験者頭部６ａの移動距離を利用して，カメラユニット３０の位置と向きの変動量を演算し，カメラユニット３０の位置と向きの変動量に基づいて，始時点における切り抜き範囲の中心位置を変更する。更に，視線分析装置２の切り抜き範囲変更手段２１は，奥行方向に係る被験者頭部６ａの移動距離からカメラユニット３０の対象物７からの距離を演算し，カメラユニット３０の対象物７からの距離に基づき演算した拡大縮小倍率に基づいて，始時点における切り抜き範囲のサイズを変更する。アイトラッキング試験を開始した時点を始時点とする際，切り抜き範囲変更手段２１は，始時点における切り抜き範囲の中心位置とサイズを記憶し，これらを変更することになる。また，前回のシーン画像を撮影した時点を始時点とする際，前回の切り抜き範囲の中心位置とサイズを保持し，これらを変更することになる。

まず，被験者頭部６ａの回転による切り抜き範囲の位置の変動について説明する。図５は，被験者頭部６ａの回転による切り抜き範囲の位置の変動を説明する図である。被験者頭部６ａが縦方向や横方向に回転をすると，被験者頭部６ａに装着したアイトラッキング装置３のカメラユニット３０の撮影方向も被験者頭部６ａを中心として回転する。

図５は，被験者頭部６ａが横方向に回転した時の図で，被験者６が移動することなく，被験者頭部６ａが横方向に回転すると，被験者頭部６ａに装着したアイトラッキング装置３のカメラユニット３０の撮影方向は左または右方向（図５では左方向）に回転し，この時の回転角をθｗとすると，被験者頭部６ａが横方向に回転した時の切り抜き範囲の位置の変動量は数式２で演算することができる。なお，数式２において，係数ｋは，実際の長さを対象物画像の画素数に変換する係数である。

同様に，被験者６が移動することなく被験者頭部６ａが縦方向に回転し，この時の回転角をθｈとすると，被験者頭部６ａが縦方向に回転した時の切り抜き範囲の位置の変動量は数式３で演算することができる。なお，数式３において，係数ｋは，実際の長さを対象物画像の画素数に変換する係数である。

次に，被験者頭部６ａの移動による切り抜き範囲の位置の変動量について説明する。図６は，被験者頭部６ａの移動による切り抜き範囲の位置の変動量を説明する図である。被験者６が，縦方向や横方向に移動すると，被験者６の被験者頭部６ａに装着したアイトラッキング装置３のカメラユニット３０の位置が変化する。

図６は，被験者頭部６ａが横方向に移動した時の図で，被験者６が横方向に移動すると，被験者頭部６ａに装着したアイトラッキング装置３のカメラユニット３０の位置は左または右方向（図６では左方向）に移動し，この時の移動距離をＭｘとすると，被験者頭部６ａの横方向の移動に伴う切り抜き範囲の位置の変動量は数式４になる。なお，数式４において，係数ｋは，実際の長さを対象物画像の画素数に変換する係数である。

同様に，被験者６がしゃがむなどして，被験者頭部６ａが縦方向に移動すると，被験者頭部６ａに装着したアイトラッキング装置３のカメラユニット３０の位置は上または下方向に移動し，この時の移動距離をＭｙとすると，数式４と同様に，被験者頭部６ａの縦方向の移動による切り抜き範囲の位置の変動量は数式５になる。なお，数式５において，係数ｋは，実際の長さを対象物画像の画素数に変換する係数である。

次に，被験者頭部６ａの移動による切り抜き範囲のサイズの変動量について説明する。図７は，被験者頭部６ａの移動による切り抜き範囲のサイズの変動量を説明する図である。被験者６が奥行方向に移動すると，被験者頭部６ａに装着したアイトラッキング装置３のカメラユニット３０の画角が一定であるため，カメラユニット３０の撮影距離が変化することで，カメラユニット３０の撮影範囲は拡大縮小し，この時のカメラユニット３０の撮影範囲の拡大縮小倍率は数式６で演算することができる。また，始時点の切り抜き範囲の幅をｃ０とし，奥行方向の移動距離をＭｚとすると，切り抜き範囲のサイズの変動量は数式７で演算することができる。

このように，被験者頭部６ａの移動距離と回転角から，切り抜き範囲の変動量が演算できるため，切り抜き範囲の変動量に合わせて，始時点の切り抜き範囲の位置とサイズを変更すれば，カメラユニット３０の撮影範囲に合わせて切り抜き範囲を変更できる。

図８は，切り抜き範囲の座標を説明する図である。始時点の切り抜き範囲の左上隅の座標を（ｃＬ０，ｃＴ０），右上隅の座標を（ｃＲ０，ＣＴ０），左下隅の座標を（ｃＬ０，ｃＢ０）そして右下隅の座標を（ｃＲ０，ｃＢ０）とすると，カメラユニット３０の撮影範囲に合わせた切り抜き範囲の左上隅の座標（ｃＬ，ｃＴ），右上隅の座標（ｃＲ，ＣＴ），左下隅の座標（ｃＬ，ｃＢ）そして右下隅の座標（ｃＲ０，ｃＢ０）は数式８で演算することができる。なお，数式８において，係数ｋは，実際の長さを対象物画像の画素数に変換する係数である。

数式７では，始時点の切り抜き範囲の座標の縦軸の値に，被験者頭部６ａの縦方向の回転と縦方向の移動に伴う切り抜き範囲の位置の変動量を加算し，更に，被験者頭部６ａの奥行方向の移動に伴う切り抜き範囲のサイズの変動量（ここでは，Δｃ）を座標の位置に応じて加算または減算している。また，始時点の切り抜き範囲の座標の横軸の値に，被験者頭部６ａの横方向の回転と横方向の移動に伴う切り抜き範囲の位置の変動量を加算し，更に，被験者頭部６ａの奥行方向の移動に伴う切り抜き範囲のサイズの変動量（ここでは，Δｃ）を座標の位置に応じて加算または減算している。

ここから，視線分析装置２の動作について説明する。図９は，視線分析装置２の動作を説明する図である。図９に図示したように，視線分析装置２は，アイトラッキング試験中に実施するアイトラッキング試験工程（Ｓ１）を実行した後，アイトラッキング試験で得た被験者の視線を分析する視線分析工程（Ｓ２）を実行する。

図１０は，アイトラッキング試験工程（Ｓ１）を説明する図である。アイトラッキング試験工程（Ｓ１）において，視線分析装置２は，まず，視線分析装置２のキャリブレーションを行うキャリブレーション工程（Ｓ１０）を実施する。

図１１は，キャリブレーション工程（Ｓ１０）を説明する図である。キャリブレーション工程（Ｓ１０）において，視線分析装置２のキャリブレーション手段２３は，被験者６が最初に視線を向ける対象物画像上の座標が指定されると（Ｓ１００），対象物画像上の座標と切り抜き範囲の幅ｃ０から切り抜き範囲の位置とサイズを決定した後（Ｓ１０１），距離センサ５を用いて計測した被験者６と対象物７間の距離を距離ｄ０として取得して（Ｓ１０２），キャリブレーション工程（Ｓ１０）は終了する。

キャリブレーション工程（１０）が終了すると，視線分析装置２は，アイトラッキング試験に係るデータを収集して記憶するデータ収集工程（Ｓ１１）を実行し，データ収集工程（Ｓ１１）が終了すると，この手順は終了する。

データ収集工程（Ｓ１１）において，視線分析装置２は，アイトラッキング装置３からシーン画像と注視点座標が出力されると，シーン画像と注視点座標を時系列的に記憶し，６軸モーションセンサ４から３軸方向の加速度と３軸回りの角速度が出力されると，これらの値を時系列的に記憶する。

次に，視線分析工程について説明する。図１２は，視線分析工程（Ｓ２）を説明する図で，視線分析装置２は，アイトラッキング試験工程（Ｓ１）で時系列で記憶した注視点座標毎に図１２で図示した手順を繰り返す。なお，本実施形態において，視線分析工程（Ｓ２）において作動する手段は，視線分析装置２の変位演算手段２０，切り抜き範囲変更手段２１，対応点探索手段２２および注視点変換手段２４である。

図１２で図示した手順において，まず，視線分析装置２の変位演算手段２０は，６軸モーションセンサ４からこれまでに得られている３軸方向の加速度から，始時点からの被験者頭部６ａの移動距離を対象物７の縦方向，横方向および奥行方向毎に演算し，更に，６軸モーションセンサ４からこれまでに得られた角速度から，始時点からの被験者頭部６ａの回転角を縦方向および横方向毎に演算し，被験者頭部６ａの移動距離と回転角を時系列データの形式で記憶する（Ｓ２０）。

次に，視線分析装置２の切り抜き範囲変更手段２１が作動し，視線分析装置２の切り抜き範囲変更手段２１は，縦方向と横方向に係る被験者頭部６ａの回転角並びに縦方向と横方向に係る被験者頭部６ａの移動距離を利用して，カメラユニット３０の位置と向きの変動量を演算し，カメラユニット３０の位置と向きの変動量から切り抜き範囲の位置の変動量を演算し（Ｓ２１），更に，奥行方向に係る被験者頭部６ａの移動距離を用いて，カメラユニット３０の対象物７からの距離を演算し，カメラユニット３０の対象物７からの距離から演算した拡大縮小倍率に基づいて，切り抜き範囲のサイズの変動量を演算した後（Ｓ２２），切り抜き範囲の位置とサイズの変動量に基づいて，始時点における切り抜き範囲の位置とサイズを変更する（Ｓ２３）。

次に，視線分析装置２の対応点探索手段２２が作動し，視線分析装置２の対応点探索手段２２は，切り抜き範囲決定手段が決定した後の切り抜き範囲内の画像を対象物画像から切り抜き，切り抜いた画像とシーン画像間の対応点を探索する（Ｓ２４）。

２画像間における対応点の探索には，画像の特徴点と共に，画像の回転やスケールの変化に対してロバスト性を有する特徴量が利用される。特徴点と共にこのような特徴量を算出する手法として、ＳＩＦＴ（Scale Invariant Feature Transform）やＳＵＲＦ（Speed-Up Robust Features）が知られている。例えば，ＳＩＦＴでは、輝度勾配方向を利用して画像のＳＩＦＴ特徴点（キーポイント）が抽出され，そのＳＩＦＴ特徴点の特徴量として，輝度勾配方向から得られた１２８次元の特徴ベクトルが算出される。

本実施形態において，視線分析装置２の対応点探索手段２２は，切り抜き範囲変更手段２１が変更した切り抜き範囲を対象物画像から切り抜いた画像とシーン画像間の対応点を探索するため，切り抜いた画像とシーン画像それぞれから特徴点と特徴量を算出することになる。

画像の特徴点を算出する手法としてＳＩＦＴを用いる場合，２画像間の特徴点を対応付けする指標は，１２８次元の特徴ベクトルを用いて演算される特徴点間のユークリッド距離になる。例えば，切り抜いた画像から抽出できたＳＩＦＴ特徴点をＭ個，シーン画像から抽出できたＳＩＦＴ特徴点をＮ個とすると，切り抜いた画像の一つのＳＩＦＴ特徴点iに対して，シーン画像から抽出できたＮ個すべてのＳＩＦＴ特徴点とのユークリッド距離が演算される。そして，所定の基準（例えば，ユークリッド距離が規定値以下でかつ最も小さい）を満たすシーン画像のＳＩＦＴ特徴点がＳＩＦＴ特徴点ｋの場合，切り抜いた画像のＳＩＦＴ特徴点iとシーン画像のＳＩＦＴ特徴点ｋが一つの対応点として探索される。なお，対応点は，切り抜いた画像の特徴点と，切り抜いた画像の特徴点に対応するシーン画像の特徴点の組で表記される。

次に，視線分析装置２の対応点探索手段２２が切り抜いた画像とシーン画像間の対応点を探索すると，視線分析装置２の注視点変換手段２４が作動し，視線分析装置２の注視点変換手段２４は，シーン画像上の注視点座標を対象物画像上の座標値に変換する注視点変換処理（Ｓ２５）を実行して，この手順は終了する。

図１３は，注視点変換処理（Ｓ２５）を説明する図である。本実施形態では，対応点の探索に用いる画像は，対象物画像から切り抜いた画像とシーン画像になるため，視線分析装置２は，シーン画像上の注視点座標を対象物画像上の座標値に変換する際，まず，シーン画像上の注視点座標を切り抜いた画像上の座標値に変換した後，切り抜いた画像上の注視点座標を対象物画像上の座標値に変換する。

視線分析装置２の対応点探索手段２２が対応点を探索すると，視線分析装置２の注視点変換手段２４は，視線分析装置２の対応点探索手段２２が探索した対応点を利用して，シーン画像上の注視点座標を切り抜いた画像上の座標値に変換する座標変換行列を演算する（Ｓ２５０）。

この座標変換行列の演算には，３次元空間のある平面から他の平面へ投影するためのホモグラフィ行列を利用することができ，このホモグラフィ行列は，以下に述べる原理により，投影する平面間（ここでは，シーン画像と切り抜いた画像）の４つの対応点から演算することが知られている。

数式９で示したように，ホモグラフィ行列Ｈは３行３列の行列である。ｈ３３はホモグラフィ行列のスケールファクタになるため，ｈ３３の値が１になるようにホモグラフィ行列を正規化することを考えると，切り抜いた画像の特徴点（ｘi，ｙi）とこれに対応するシーン画像の特徴点（ｘ‘i，ｙ‘i）は，正規化後のホモグラフィ行列Ｈ’（ｈ３３が１）を用いて数式１０のような関係になる。よって，最低限，４つの対応点がわかれば，ホモグラフィ行列において不明な８個の要素（ｈ１１からｈ３２）を解くことのできる連立方程式を導出することができる。

なお，対応点の数が多ければ，座標変換行列を演算する際，ランダムに４つの対応点を抽出してホモグラフィ行列を演算する処理を複数繰り返すことで，ホモグラフィ行列の演算精度を高めるＲＡＮＳＡＣ(RANdom SAmple Consensus)に代表されるロバスト推定手法を利用することができる。

次に，視線分析装置２は，演算した座標変換行列を用いて，シーン画像上の注視点座標を切り抜いた画像上の座標値に変換する（Ｓ２５１）。

次に，視線分析装置２は，切り抜いた画像上の注視点座標を対象物画像上の座標値に変換して（Ｓ２５２），この手順は終了する。対象物画像上における切り抜き範囲の位置とサイズはこの時点でわかっているため，対象物画像上における切り抜き範囲の位置とサイズおよび切り抜いた画像上の注視点座標から，対象物画像上の注視点を演算できる。

１視線分析システム
２視線分析装置
２０変位演算手段
２１切り抜き範囲変更手段
２２対応点探索手段
２３キャリブレーション手段
２４注視点変換手段
３アイトラッキング装置
３０カメラユニット
３１注視点検出部
４６軸モーションセンサ
５距離センサ
６被験者
６ａ被験者頭部
７対象物

Claims

被験者の視界の中心部を２次元画像化した画像であるシーン画像を所定のフレームレートで撮影するカメラユニットと，前記シーン画像上における注視点座標を検出する注視点検出部を有し，被験者頭部に装着するように構成されたアイトラッキング装置と，所定のサンプリングレートで３軸方向の加速度と３軸回りの角速度を計測するセンサを有し，被験者頭部に装着するように構成された６軸モーションセンサと，前記アイトラッキング装置と前記６軸モーションセンサの出力を用いて被験者の視線を分析する視線分析装置とから少なくとも構成され，
前記視線分析装置は，
対象物の全体を撮影した対象物画像を記憶する記憶手段と，
アイトラッキング試験中に前記６軸モーションセンサから得られた３軸方向の加速度から，始時点から前記シーン画像が撮影された時点までの被験者頭部の移動距離を演算し，更に，アイトラッキング試験中に前記６軸モーションセンサから得られた角速度から，始時点から前記シーン画像が撮影された時点までの被験者頭部の回転角を演算する変位演算手段と，
始時点から前記シーン画像が撮影された時点までの前記被験者頭部の移動距離と前記被験者頭部の回転角から，前記カメラユニットの位置と向きの変動量と前記カメラユニットの対象物からの距離の変動量を演算し，前記カメラユニットの位置と向きの変動量と前記カメラユニットの前記対象物からの距離の変動量に従い，始時点における切り抜き範囲の位置とサイズを変更する切り抜き範囲変更手段と，
前記切り抜き範囲変更手段が前記切り抜き範囲を変更すると，前記対象物画像から，前記切り抜き範囲変更手段が変更した後の前記切り抜き範囲内の画像を切り抜き，切り抜いた画像と前記シーン画像間の対応点を探索する対応点探索手段と，
前記対応点探索手段が前記切り抜いた画像と前記シーン画像間の対応点を探索すると，前記切り抜いた画像と前記シーン画像間の対応点を用いて，前記シーン画像上における前記注視点座標を前記対象物画像上の座標値に変換する行列を算出し，前記シーン画像上における前記注視点座標を前記対象物画像上の座標値に変換する注視点変換手段と，
を備えている，
ことを特徴とする視線分析システム。
前記視線分析装置の前記変位演算手段は，前記被験者頭部の移動距離を前記対象物の縦方向，横方向および奥行方向毎に演算し，更に，前記被験者頭部の回転角を縦方向および横方向毎に演算し，前記切り抜き範囲変更手段は，縦方向と横方向に係る前記被験者頭部の回転角並びに縦方向と横方向に係る前記被験者頭部の移動距離を利用して，前記カメラユニットの位置と向きの変動量を演算し，前記カメラユニットの位置と向きの変動量に基づいて，始時点における前記切り抜き範囲の中心位置を変更し，奥行方向に係る前記被験者頭部の移動距離を用いて前記カメラユニットの対象物からの距離を演算し，前記カメラユニットの対象物からの距離から演算した拡大縮小倍率に基づいて，始時点における前記切り抜き範囲のサイズを変更することを特徴とすることを特徴とする請求項１に記載した視線分析システム。
アイトラッキング試験を開始した時点を始時点とし，前記視線分析装置の前記切り抜き範囲変更手段は，アイトラッキング試験を開始した時点からの前記カメラユニットの位置と向きの変動量と前記カメラユニットの対象物からの距離を演算し，アイトラッキング試験を開始した時点における切り抜き範囲を変更することを特徴とする，請求項１または２に記載した視線分析システム。
前回の前記シーン画像が撮影された時点を始時点とし，前記視線分析装置の前記切り抜き範囲変更手段は，前回の前記シーン画像が撮影された時点からの前記カメラユニットの位置と向きの変動量と前記カメラユニットの対象物からの距離を演算し，前回の前記シーン画像が撮影された時点の切り抜き範囲を変更することを特徴とする，請求項１または２に記載した視線分析システム。
請求項１からは請求項４のいずれか一つに記載した視線分析システムを構成する視線分析装置。