JP2019024608A - 視線検出校正方法、システム、及びコンピュータプログラム - Google Patents

Abstract

【課題】被験者に注視点を注視させるための訓練等が不要な視線検出校正方法を提供すること。【解決手段】視覚刺激情報を表示するステップ（Ｓ１０２）と、被験者の眼球を撮影することによって前記視覚刺激情報の表示中における前記被験者の視線の動きを表す視線情報を取得するステップ（Ｓ１０６）と、前記視線情報を時間軸方向にシフトさせながら、前記視覚刺激情報の表示中の軌跡を示す軌跡情報と前記視線情報との水平位置および垂直位置のそれぞれについて、前記軌跡情報と前記視線情報との各時刻における差分を算出するステップと、前記軌跡情報と前記視線情報の前記水平位置および前記垂直位置のそれぞれの前記算出された各時刻における差分の各値のカウント数が最も多くなる時の前記水平位置および前記垂直位置に基づいて、前記視線情報を校正するステップ（Ｓ１１０）と、を含む視線検出校正方法。【選択図】図２

Description

本発明は、視線検出における校正方法に関する。

従来、視線位置を計測することができる視線検出技術が知られており（例えば、特許文献１、２）、脳機能解明のために、無麻酔行動中のサルを実験動物に使う研究、人の視覚に関する心理学的研究、医療検査、マンマシンインターフェースへの応用研究などに用いられている。このような視線検出技術においては、人によって両目の位置や眼球の大きさ・形等が異なるため、視線検出を行う際に校正処理が必要になる。

従来の校正方法としては、図１０に示されるような、例えば３×３の校正点をディスプレイに表示し、被験者にはこれらの校正点を順番に注視してもらい、その際の被験者の瞳孔をカメラで撮影する方法がある。

特許第３７２６１２２号公報 特許第３８３４６３６号公報

しかしながら、従来の校正方法によれば、注視点を注視してもらえないと校正できないため、マーモセットやニホンザルなどの動物による視線検出を行う場合、子供の場合、認知症などを患っている被験者の場合等には、注視点を注視してもらうことが困難である、または、訓練すれば注視するようになるものの手間がかかる、等の問題があった。

このような課題に鑑み、本発明は、被験者に注視点を注視させるための訓練が不要な視線検出校正方法を提供することを目的とする。

上記課題を解決するために、本発明の一態様は、視覚刺激情報を表示するステップと、被験者の眼球を撮影することによって前記視覚刺激情報の表示中における前記被験者の視線の動きを表す視線情報を取得するステップと、前記視線情報を時間軸方向にシフトさせながら、前記視覚刺激情報の表示中の軌跡を示す軌跡情報と前記視線情報との水平位置および垂直位置のそれぞれについて、前記軌跡情報と前記視線情報との各時刻における差分を算出するステップと、前記軌跡情報と前記視線情報の前記水平位置および前記垂直位置のそれぞれの前記算出された各時刻における差分の各値のカウント数が最も多くなる時の前記水平位置および前記垂直位置に基づいて、前記視線情報を校正するステップとを含む視線検出校正方法である。

また、本発明の他の態様は、視覚刺激情報を表示する表示部と、被験者の眼球を撮影することによって前記視覚刺激情報の表示中における前記被験者の視線の動きを表す視線情報を取得する視線情報取得部と、前記視線情報を時間軸方向にシフトさせながら、前記視覚刺激情報の表示中の軌跡を示す軌跡情報と前記視線情報との水平位置および垂直位置のそれぞれについて、前記軌跡情報と前記視線情報との各時刻における差分を算出する差分算出部と、前記軌跡情報と前記視線情報の前記水平位置および前記垂直位置のそれぞれの前記算出された各時刻における差分の各値のカウント数が最も多くなる時の前記水平位置および前記垂直位置に基づいて、前記視線情報を校正する校正部とを備える視線検出校正システムである。

また、本発明の他の態様は、上記の視線検出校正方法を、コンピュータシステムに実行させるためのコンピュータプログラムである。

本発明の一実施形態に係る視線検出校正方法を実行する視線検出校正システムの構成の一例を示す図である。 本発明の一実施形態に係る視線検出校正方法の処理フロー図の一例を示す図である。 視覚刺激情報の動きと被験者の目の動きとを表すグラフの一例を示す図である。 視覚刺激情報の動きと被験者の目の動きとを表すグラフの一例を示す図である。 視覚刺激情報の動きと被験者の目の動きとを表すグラフの一例を示す図である。 本発明の一実施形態に係る視線検出校正方法を実行後の視覚刺激情報の動きと被験者の目の動きとを表すグラフの一例を示す図である。 校正点の抽出について説明する図である。 他の実験データを示す図である。 他の実験データの校正後を示す図である。 従来の校正点の一例を示す図である。

本実施形態に係る視線検出校正方法は、従来の校正方法とは異なり、マーモセット等の動物や子供であっても特別な訓練が不要な校正方法である。一般的に、動物や人間は、目の前に動くものがあると、自然にそれを目で追ってしまうという性質がある。そこで本実施形態に係る視線検出校正方法は、目で追わせたい視覚刺激情報をあらかじめ定められた軌道にて動かし、これを追う動物や人間の視線について、視覚刺激情報の動きと被験者（視線検出の対象である人間や動物を、以下「被験者」と称する）の視線の動きとを記録する。そして、これらのデータを比較して、視覚刺激情報と被験者の目の動きとが同期している部分を抽出することで視線検出における校正処理を行う。

以下、図面を参照しながら、本実施形態に係る視線検出校正方法について説明する。なお、以下の説明において参照する各図では、他の図と同等部分は同一符号によって示される。

（視線検出校正システムの構成）
図１は、本実施形態に係る視線検出校正方法を実行する視線検出校正システム１の構成の一例を示す図である。図１に示される視線検出構成システムは、視覚刺激情報を提示するディスプレイ１０と、被験者５０の眼球５４に赤外線を照明する赤外線照明装置１２と、赤外線のみを反射するミラー１４と、被験者５０の眼球５４の様子を撮影するカメラ２０と、ディスプレイ１０に視覚刺激情報を表示するための表示情報を出力する視覚刺激提示用コンピュータ装置１６と、被験者５０の視線計測用コンピュータ装置１８とを含んで構成される。

視覚刺激提示用コンピュータ装置１６はディスプレイ１０に視覚刺激情報を表示するための表示情報を出力すると、ディスプレイ１０にはあらかじめ定められた軌跡にて視覚刺激情報が表示される。また、被験者５０は、ディスプレイ１０の方向に向いた状態で頭部５２が固定される。また、瞳孔を暗く撮影するために赤外線照明装置１２による照明が行われる。被験者５０がディスプレイ１０に表示される視覚刺激情報を目（眼球）５４で追うと、赤外線のみを反射するミラー１４を介してカメラ２０が眼球５４の様子を撮影する。カメラ２０の撮影情報は、視線計測用コンピュータ装置１８に出力される。また、視覚刺激提示用コンピュータ装置１６は、視覚刺激情報の提示位置を、例えばネットワーク経由で視線計測用コンピュータ装置１８に出力する。また、後述する本実施形態に係る視線検出の校正処理は、例えば視線計測用コンピュータ装置１８において実行されうる。

視覚刺激情報は、被験者に目で追わせるためにディスプレイ１０に表示されるが、なるべく被験者の興味を引くものを用いるのが好適である。例えばマーモセットは、顔画像を好んで見るという研究結果が存在する（The Journal of Neuroscience, January 22, 2014・34(4):1183-1194・1183 Active Vision in Marmosets: A Model System for Visual Neuroscience）。

ここで、図１のような視線検出校正システム１においては、頭部５２（眼球５４）とカメラ２０との位置関係により、カメラ２０で計測する視線位置と、実際に被験者５０が見ている位置との間に、水平方向と垂直方向とにおいてズレが生じうる。本実施形態に係る視線検出校正方法は、このようなズレを校正するための方法である。

（処理フロー）
図２は、本実施形態に係る視線検出校正方法の処理フロー図の一例を示す図である。

視覚刺激情報を表示するための表示情報が視覚刺激提示用コンピュータ装置１６からディスプレイ１０に出力されると、ディスプレイ１０にて視覚刺激情報が表示される（ステップＳ１０２）。この時、視覚刺激情報の提示位置が視線計測用コンピュータ装置１８に出力される（ステップＳ１０４）。視覚刺激情報がディスプレイ１０に表示されている間、被験者５０の眼球５４の様子がカメラ２０によって撮影され、撮影情報（視線情報）が視線計測用コンピュータ装置１８に出力される（ステップＳ１０６）。視覚刺激情報の表示が終了するまで、ステップＳ１０２〜Ｓ１０６が繰り返される（ステップＳ１０８：Ｎｏ）。なお、視覚刺激情報があらかじめ定められた軌跡にてディスプレイ上を動くようになっている場合には、当該軌跡の情報があらかじめ校正処理（ステップＳ１１０）の前に視線計測用コンピュータ装置１８に提供（出力）されており、視覚刺激情報の表示中には被験者の眼球の動き（視線）に関する撮影情報（視線情報）のみが視線計測用コンピュータ装置１８に出力される等となっていてもよい。

視覚刺激情報の表示が終了すると（ステップＳ１０８：Ｙｅｓ）、視覚刺激情報の軌跡の情報と、被験者の視線情報とを用いて校正を行う（ステップＳ１１０）。ステップＳ１１０における校正方法について、以下、詳述する。

（視線検出校正方法）
以下、図面を参照しながらステップＳ１１０にて実行される校正処理について詳述する。

図３（ａ）および図３（ｂ）は、視線計測用コンピュータ装置１８において取得された視覚刺激情報の動きと、被験者（本例ではマーモセット）の目の動きとを示すグラフである。グラフ中の破線が視覚刺激情報の動きを表し、実線が被験者の目の動き（以下、「視線情報」ともいう）を表す。また、図３（ａ）のグラフは、縦軸が水平方向の角度であり、横軸が時間軸であり、視覚刺激情報および視線情報のそれぞれの水平方向の経時的変化を表す。また、図３（ｂ）のグラフは、縦軸が垂直方向の角度であり、横軸が時間軸であり、視覚刺激情報および視線情報のそれぞれの垂直方向の経時的変化を表す。また、図３（ｃ）のグラフは、図３（ａ）および図３（ｂ）のデータを、縦軸が垂直方向の角度、横軸が水平方向の角度で表したものである。

図３の各グラフにおいて、被験者が視覚刺激情報を目で追っている場合は、視覚刺激情報の動き（破線）と被験者の目の動き（実線）とが同じような動きとなるが、被験者が視覚刺激情報を目で追う際の若干の時間差が含まれる。まず、この時間差を抽出する。

図４（ａ−１）は、視覚刺激情報の動き（破線）と被験者の目の動き（実線）の水平方向の経時的変化を表す（図３（ａ）に対応）。このようなグラフに対して、各時刻において破線から実線の値を引き算した結果をプロットしてグラフ化したものが図４（ａ−２）のグラフである。また、このグラフについて各角度（縦軸：degree）のプロットの総数をグラフ化したものが図４（ａ−３）である。

本実施形態の校正処理は、図４（ａ−１）のグラフの被験者の目の動き（実線）を時間軸方向でシフトさせながら、上記の処理を繰り返していく。本例の場合は、５００Ｈｚにてデータを取得しているため、１／５００秒ずつ実線グラフを時間軸方向にシフトさせていく。また、図４（ｂ−１）〜（ｂ−３）は、視覚刺激情報の動きと被験者の目の動きの垂直方向の経時的変化について、水平方向と同じように処理を行なった場合のグラフを示す。

図５は、図４において説明した処理を、実線を時間軸方向にシフトしながら繰り返した場合の一例を示す。図５（ａ−１）は、図４（ａ−１）のグラフの実線データを時間軸の右方向にシフトさせたものである。また、図５（ａ−２）、（ａ−３）の各グラフは、図４（ａ−２）、（ａ−３）と同様の処理によって生成されたグラフである。

ここで、図４（ａ−３）のグラフと、図５（ａ−３）のグラフとを比較すると、プロットの総数（ｃｏｕｎｔ）の最大値は、図４（ａ−３）のグラフでは約１０８であり、図５（ａ−３）のグラフでは約１９１である。すなわち、図４（ａ−３）よりも図５（ａ−３）のほうがプロットの総数の最大値が大きい。このように、被験者の目の動きのグラフ（実線）を時間軸方向にシフトさせながら、各角度におけるプロットの総数（ｃｏｕｎｔ）を算出し、プロットの総数の最大値が一番大きくなる時の時間軸方向のシフト量が、被験者が視覚刺激情報を目で追った際の時間差であると推定される。本例においては、各角度におけるプロットの総数の最大値が一番大きくなったのは、実線グラフを約２００ミリ秒の分だけシフトさせた時であった。また、図５（ｂ−１）〜（ｂ−３）は、垂直方向について、水平方向と同様の処理を行なった場合のグラフを示す。なお、水平方向と垂直方向とにおいてプロットの総数の最大値が一番大きくなるタイミング（時間差）が異なる場合には、水平方向と垂直方向とを同じ時間分ずらしながら水平方向のプロットの総数と垂直方向のプロットの総数との和が最大になる時間を見つけるようになっていてもよい。

また、図５のグラフがプロットの総数の最大値が一番大きくなる場合を示しているとすると、水平方向についてプロットの総数が最大（約１９１個）となる時の角度（縦軸）は、＋３度である（図５（ａ−３））。また、垂直方向についてプロットの総数が最大（約１９１個）となる時の角度（縦軸）は、−１３度である（図５（ｂ−３））。これらの角度が、水平方向と垂直方向におけるカメラと被験者の眼球とのズレを表す。

以上のような処理によって、視覚刺激情報を被験者が目で追った場合の時間差を補正することが可能であり、カメラ２０と被験者の眼球５４との位置のズレが推定される。推定された時間と位置のズレに基づいて、図３のグラフを縦軸（角度）と、横軸（時間軸）とにおいて校正したのが、図６のグラフである。図６（ａ）、（ｂ）、（ｃ）のグラフは、それぞれ、図３（ａ）、（ｂ）、（ｃ）のグラフに対応している。図３と比較すると、図６の各グラフは時間と位置のズレが校正されているため、視覚刺激情報の動き（破線）と被験者の目の動き（実線）とが、全体的に、より近くなっているのが分かる。

さらに、図６（ｃ）の破線グラフのプロットと、実線グラフのプロットとで近い点が校正点となりうる。実際には、例えば破線グラフと実線グラフの各プロットどうしの距離が、あらかじめ定められた距離内にあるものを校正点として抽出するようになっていてもよい。図７（ａ）、（ｂ）は、図６（ａ）、（ｂ）の各グラフ上のプロットを鮮明化したものであり、図７（ｃ）は、破線のグラフと実線のグラフの各プロットどうしの距離が、４度未満であるプロットを抽出して生成されたグラフである。

上述のようにして抽出された校正点の数が少なすぎる場合には、もう一度、校正点を決定するための処理を始めからやり直してもよい。

以上のようにして本実施形態に係る視線検出校正方法によって抽出される校正点は、従来よりも校正点が多くなるというメリットがある。また、従来の校正方法のように、被験者に校正点を意識的に注視してもらうことが困難である動物、子供、認知症等を患っている者などが被験者である場合であっても校正が可能となり、より正確な視線検出を行うことが可能である。

（他の実験例）
図８および図９は、他の実験例を示す図である。図８は、上述の図３に対応し、視覚刺激情報の軌跡と、被験者の目の動きのグラフを示す図である。また、図９は、上述の図６に対応し、図８に示されるデータに本実施形態の視線検出校正方法を実行して校正を行なった後のグラフを示す図である。全体的に、図８よりも図９のほうが、視覚刺激情報の軌跡（破線グラフ）と被験者の目の動き（実線グラフ）とが、より重なっているのが分かる。

（ハードウェア構成）
本実施形態に係る視線検出校正方法を実行するコンピュータ装置（例えば視線計測用コンピュータ装置１８）は、一般的なコンピュータ装置と同様のハードウェア構成によって実現可能である。当該コンピュータ装置は、例えば、プロセッサ、ＲＡＭ、ＲＯＭ、ハードディスク装置、リムーバブルメモリ、通信インタフェース（有線・無線）、ディスプレイ／タッチパネル、スピーカ、およびキーボード／マウス等を備える。

そして、上記説明された本実施形態の視線検出校正方法における各処理は、ハードウェアとソフトウェアとが協働することによって実現されうる。例えば、プロセッサが、ハードディスク装置にあらかじめ格納されたプログラムをメモリに読み出して実行することで各処理が実行されうる。なお、当該説明したハードウェア構成はあくまで一例であり、これに限定されるものではない。

また、上記説明した本実施形態の視線検出校正システムは、視覚刺激情報を表示する表示部（例えばディスプレイ１０）と、被験者の眼球を撮影することによって視覚刺激情報の表示中における被験者の視線の動きを表す視線情報を取得する視線情報取得部（例えば視線計測用コンピュータ装置１８）と、当該視線情報を時間軸方向にシフトさせながら、当該視覚刺激情報の表示中の軌跡を示す軌跡情報と当該視線情報との水平位置および垂直位置のそれぞれについて、当該軌跡情報と当該視線情報との各時刻における差分を算出する差分算出部（例えば視線計測用コンピュータ装置１８）と、当該軌跡情報と当該視線情報の水平位置および垂直位置のそれぞれの算出された各時刻における差分の各値のカウント数が最も多くなる時の水平位置および垂直位置に基づいて、視線情報を校正する校正部（例えば視線計測用コンピュータ装置１８）と、を備える視線検出校正システムであるとも言える。

ここまで、本発明の一実施形態について説明したが、本発明は上述の実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。

本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。

１ 視線検出校正システム
１０ ディスプレイ
１２ 赤外線照明装置
１４ 赤外線のみを反射するミラー
１６ 視覚刺激提示用コンピュータ装置
１８ 視線計測用コンピュータ装置
５０ 被験者
５２ 頭部
５４ 眼球

Claims (5)

1. 視覚刺激情報を表示するステップと、
   被験者の眼球を撮影することによって前記視覚刺激情報の表示中における前記被験者の視線の動きを表す視線情報を取得するステップと、
   前記視線情報を時間軸方向にシフトさせながら、前記視覚刺激情報の表示中の軌跡を示す軌跡情報と前記視線情報との水平位置および垂直位置のそれぞれについて、前記軌跡情報と前記視線情報との各時刻における差分を算出するステップと、
   前記軌跡情報と前記視線情報の前記水平位置および前記垂直位置のそれぞれの前記算出された各時刻における差分の各値のカウント数が最も多くなる時の前記水平位置および前記垂直位置に基づいて、前記視線情報を校正するステップと、
   を含む視線検出校正方法。
2. 前記視線を校正するステップは、前記軌跡情報と前記視線情報の前記水平位置および前記垂直位置のそれぞれの前記算出された各時刻における差分の各値のカウント数が最も多くなる時の前記水平位置および前記垂直位置の分だけ、前記視線情報または前記軌跡情報をシフトした状態にて前記視線情報と前記軌跡情報とが同期している箇所を用いて、前記視線情報を校正する、請求項１に記載の視線検出校正方法。
3. 前記視線を校正するステップは、前記同期している箇所は、前記視線情報と前記軌跡情報との距離が、あらかじめ定められた閾値未満の箇所である、請求項２に記載の視線検出校正方法。
4. 視覚刺激情報を表示する表示部と、
   被験者の眼球を撮影することによって前記視覚刺激情報の表示中における前記被験者の視線の動きを表す視線情報を取得する視線情報取得部と、
   前記視線情報を時間軸方向にシフトさせながら、前記視覚刺激情報の表示中の軌跡を示す軌跡情報と前記視線情報との水平位置および垂直位置のそれぞれについて、前記軌跡情報と前記視線情報との各時刻における差分を算出する差分算出部と、
   前記軌跡情報と前記視線情報の前記水平位置および前記垂直位置のそれぞれの前記算出された各時刻における差分の各値のカウント数が最も多くなる時の前記水平位置および前記垂直位置に基づいて、前記視線情報を校正する校正部と、
   を備える視線検出校正システム。
5. 請求項１から３のいずれ一項に記載の視線検出校正方法を、コンピュータシステムに実行させるためのコンピュータプログラム。

Images