JP2017199148A - 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム - Google Patents

Abstract

【課題】ある人の眼を撮影する視線検出用のカメラが他のカメラに変更されても、その人の視線方向を追跡できる視線検出装置を提供する。【解決手段】視線検出装置は、第１の画角を有し、第１の画像を生成する第１の撮像部（３）と、第１の画像に表されている人ごとにその人の顔を含む顔領域を検出し、顔領域に基づいて対応する人の特徴を抽出する顔検出部（２１）と、第１の時点、及び、第１の時点よりも前の第２の時点のそれぞれにおいて生成された第１の画像において二人の顔領域が検出され、かつ、第２の時点から第１の時点の間に生成された第１の画像において検出された顔領域が一人分以下である場合、第１の時点の第１の画像から抽出された二人の特徴と第２の時点の第１の画像から抽出された二人の特徴とを比較して第２の時点における二人の位置と第１の時点における二人の位置とが入れ替わったか否かを判定する入れ替わり判定部（２５）とを有する。【選択図】図４

Description

本発明は、例えば、人の眼を撮影して得られた画像に基づいて人の視線方向を検出する視線検出装置、視線検出方法及び視線検出用コンピュータプログラムに関する。

人の視線方向または人が注視している位置を追跡することで、その人が興味を有しているものに関する情報を得たり、あるいは、その注視している位置に関連する操作を自動的に実行することが検討されている。なお、以下では、便宜上、人が注視している位置を単に注視位置と呼ぶ。

また、視線検出の対象となる人は、視線検出装置に対して相対的に移動することがある。そこで、撮像部の光軸方向を駆動系を用いて移動させ、光軸方向が移動するごとに撮像部により撮像される画像情報に視聴者の顔が含まれていた場合に視聴者の視線方向を検出する視線検出装置が提案されている（例えば、特許文献１を参照）。また、相対的に広い画角を持つカメラと、相対的に狭い画角を持つカメラとを用いて、人の視線方向を検出する視線検出装置が提案されている（例えば、特許文献２及び３を参照）。このような視線検出装置では、光源の角膜反射像（以下、プルキンエ像と呼ぶ）と瞳孔とを検出することで視線方向が検出される。

特開２０１５−１１５７９号公報 特開２００４−２９７５１８号公報 特開２０１４−３９６１７号公報

用途によっては、二人が同時に視線検出装置が実装された装置を使用することがある。このような場合には、視線検出装置は、人の眼を撮影する、相対的に狭い画角を持つ視線検出用のカメラを複数有することが好ましい。この場合、視線検出装置は、人が移動することで、その人の眼を撮影する視線検出用のカメラが切り替わることがある。

一つの側面では、本発明は、ある人の眼を撮影する視線検出用のカメラが他のカメラに変更されている可能性が有ることを適切に判定する視線検出装置を提供することを目的とする。

一つの実施形態によれば、視線検出装置が提供される。この視線検出装置は、第１の画角を有し、第１の画像を生成する第１の撮像部と、第１の画像に少なくとも一人の顔が表されている場合にその表された一人の顔単位に、顔を含む顔領域を検出し、顔領域に基づいて対応する人の特徴を抽出する顔検出部と、第１の時点、及び、第１の時点よりも前の第２の時点のそれぞれにおいて生成された第１の画像において二人の顔領域が検出され、かつ、第２の時点から第１の時点の間に生成された第１の画像において顔領域が検出されないか、または一人の顔領域が検出された場合、第１の時点の第１の画像から抽出された二人のそれぞれの特徴と第２の時点の第１の画像から抽出された二人のそれぞれの特徴とを比較して第２の時点における二人の位置と第１の時点における二人の位置とが入れ替わったか否かを判定する入れ替わり判定部とを有する。

他の実施形態によれば、視線検出装置が提供される。この視線検出装置は、第１の画角を有し、第１の画像を生成する第１の撮像部と、第１の画角よりも狭い第２の画角を有し、第２の画像を生成する第２の撮像部と、第２の撮像部と異なる位置に配置され、第１の画角よりも狭い第３の画角を有し、第３の画像を生成する第３の撮像部と、第１の画像に人の顔が表されている場合に、顔を含む顔領域を検出する顔検出部と、顔領域の位置または顔領域から検出される顔の向きに基づいて、第２の撮像部及び第３の撮像部のうちの人の視線方向に近い方の撮像部を決定するカメラ決定部と、第２の撮像部の方が第３の撮像部よりも人の視線方向に近い場合に第２の画像に基づいて人の視線方向を検出し、一方、第３の撮像部の方が第２の撮像部よりも人の視線方向に近い場合に第３の画像に基づいて人の視線方向を検出する視線検出部とを有する。

ある人の眼を撮影する視線検出用のカメラが他のカメラに変更されても、カメラの変更を適切に判定し、カメラの切り替えが生じても同一人物の視線方向を追跡できる。

視線検出装置の一実施形態であるデジタルサイネージシステムのハードウェア構成図である。 広角カメラ、照明光源、二つの赤外カメラ、及び、表示部の配置の一例を示す図である。 広角画像の一例と挟角画像の一例を示す図である。 制御部の視線検出処理に関する機能ブロック図である。 参照テーブルの一例を示す図である。 注視位置テーブルの一例を示す図である。 顔位置履歴情報の一例を示す図である。 注視位置履歴情報の一例を示す図である。 広角カメラの撮影範囲内に二人存在する場合における、その二人の位置の入れ替わりの有無と広角画像上でのその二人の顔の垂直方向の位置との関係を表す図である。 視線検出処理の動作フローチャートを示す図である。 視線検出処理の動作フローチャートを示す図である。 第２の実施形態による制御部の視線検出処理に関する機能ブロック図である。 顔の向きと視線方向の検出に利用される赤外カメラの関係の一例を示す図である。 第２の実施形態による視線検出処理の動作フローチャートを示す図である。

以下、図を参照しつつ、視線検出装置について説明する。
この視線検出装置は、視線検出装置を同時に二人が利用しても、二人それぞれの顔を撮影可能な画角を持つ広角カメラと、画像上で瞳孔及びプルキンエ像が識別可能なサイズとなるように、広角カメラの画角よりも狭い画角を持つ２台の赤外カメラとを有する。この視線検出装置は、広角カメラが一定周期ごとに撮影することにより得られた一連の画像のそれぞれから、顔を検出する。そしてこの視線検出装置は、赤外カメラごとに、その赤外カメラにより得られた画像上で瞳孔及びプルキンエ像を検出することで、赤外カメラごとに視線方向を検出する。

なお、視線方向の追跡対象であった二人が移動してその位置が入れ替わることにより、視線検出装置は、その二人のうちの一方または両方の顔及び視線方向を一時的に検出できなくなることがある。そこでこの視線検出装置は、一旦、顔を検出できなくなった期間の前後で、広角カメラによる画像上での顔の垂直方向の位置の並び順を比較することで、その二人の位置が入れ替わったか否かを判定する。そしてこの視線検出装置は、その判定結果に基づいて、顔を検出できなくなった期間の前後にわたってそれぞれの人の視線方向の追跡を継続する。

なお、以下に説明する実施形態では、視線検出装置は、デジタルサイネージシステムに実装され、そして視線検出装置は、デジタルサイネージシステムのユーザである人の視線方向及び注視位置を追跡する。しかしこの視線検出装置は、視線方向を追跡し、その追跡結果を利用する様々な装置に利用可能である。

図１は、視線検出装置の一実施形態であるデジタルサイネージシステムのハードウェア構成図である。デジタルサイネージシステム１は、表示部２と、広角カメラ３と、照明光源４と、２台の赤外カメラ５−１、５−２と、入力部６と、記憶媒体アクセス装置７と、記憶部８と、制御部９とを有する。さらにデジタルサイネージシステム１は、デジタルサイネージシステム１を他の機器に接続するための通信インターフェース回路（図示せず）を有していてもよい。

表示部２は、例えば、液晶ディスプレイまたは有機エレクトロルミネッセンスディスプレイを有する。そして表示部２は、例えば、様々なテキスト、静止画像または動画像を制御部９からの制御信号に応じて表示する。

広角カメラ３は、第１の撮像部の一例であり、可視光に感度を有し、デジタルサイネージシステム１の表示部２などを注視する人が位置すると想定される範囲が広角カメラ３の撮影範囲に含まれるような画角（例えば、対角60度〜80度）を持つ。そして広角カメラ３は、視線検出処理の実行中、所定のフレームレートでその撮影範囲を撮影することにより、その撮影範囲全体が写った画像を生成する。そして広角カメラ３は、画像を生成する度に、その画像を制御部９へ渡す。

照明光源４は、赤外光を発光する光源、例えば、少なくとも一つの赤外発光ダイオードと、制御部９からの制御信号に応じて、赤外発光ダイオードに電源（図示せず）からの電力を供給する駆動回路（図示せず）とを有する。照明光源４は、赤外カメラ５−１、５−２の撮影方向を照明可能なように、赤外カメラ５−１、５−２の撮影方向へ照明光源４の発光面が向くように取り付けられている。そして照明光源４は、制御部９から光源を点灯させる制御信号を受信している間、照明光を発する。

赤外カメラ５−１、５−２は、それぞれ、第２の撮像部、第３の撮像部の一例である。赤外カメラ５−１と赤外カメラ５−２とは、それぞれ、互いに異なる位置に配置され、かつ、それぞれ、個別に眼を含む人の顔の少なくとも一部が写った画像を生成する。なお、赤外カメラ５−１、５−２は、同一の構成を有するものとすることができるので、以下では、赤外カメラ５−１について説明する。

赤外カメラ５−１は、眼を含む人の顔の少なくとも一部が写った画像を生成する。そのために、赤外カメラ５−１は、照明光源４が発する赤外光に感度を持つ２次元状に配列された固体撮像素子を有するイメージセンサと、そのイメージセンサ上に被写体の像を結像する撮像光学系を有する。赤外カメラ５−１は、虹彩による反射像及び照明光源４以外の光源からの光のプルキンエ像が検出されることを抑制するために、イメージセンサと撮像光学系の間に、可視光カットフィルタをさらに有してもよい。また、撮像光学系は、単焦点の光学系でもよく、あるいは、可変焦点光学系であってもよい。そして赤外カメラ５−１は、広角カメラ３の画角よりも狭い画角（例えば、対角30度〜40度）を持つ。赤外カメラ５−１は、視線検出処理の実行中、所定のフレームレートで制御部９により指定された撮影方向について撮影して得られる画像を生成する。なお、赤外カメラ５−１は、この画像上でデジタルサイネージシステム１を利用する人の瞳に写った照明光源４のプルキンエ像及び瞳孔が識別可能な解像度を有する。そして赤外カメラ５−１は、画像を生成する度に、その画像を制御部９へ渡す。

さらに、赤外カメラ５−１は、イメージセンサ及び撮像光学系が載置された台の表面に沿って回動可能な回動支持部材（図示せず）と、回動支持部材を制御部９からの制御信号に応じて回転させるアクチュエータ（図示せず）とを有してもよい。これにより、赤外カメラ５−１は、その撮影方向を変更可能となる。

なお、赤外カメラ５−１、５−２は、上記のような回動支持部材を有さなくてもよい。この場合には、赤外カメラ５−１による撮影方向、及び、赤外カメラ５−２による撮影方向は固定される。また、赤外カメラ５−１の画角と、赤外カメラ５−２の画角は同じでもよく、あるいは、異なっていてもよい。

図２は、上方から見た、広角カメラ３、照明光源４、二つの赤外カメラ５−１、５−２、及び、表示部２の配置の一例を示す図である。表示部２の下方、かつ、表示部２の表示面２ａの水平方向における略中央付近に、広角カメラ３が配置されている。そして広角カメラ３は、表示部２と対向するように位置する人２００、２１０の顔を撮影可能なように向けられている。また、赤外カメラ５−１は、表示部２の表示面の水平方向における一端側（この例では、広角カメラ３より左側）に配置され、一方、赤外カメラ５−２は、表示部２の表示面の水平方向における他端側（この例では、広角カメラ３より右側）に配置される。そして赤外カメラ５−１、５−２の何れも、人２００、２１０の方を向くように配置される。さらに、照明光源４も、表示部２の一端側に、人２００、２１０を照明可能なように設置される。またこの例では、広角カメラ３により生成される画像の垂直方向、及び、赤外カメラ５−１、５−２により生成される画像の垂直方向が、実空間での垂直方向に対応する。したがって、各画像において、人２００、２１０の顔の縦方向が、各画像の垂直方向と略平行となる。

なお、広角カメラ３及び二つの赤外カメラ５−１、５−２の配置は、上記の例に限られない。例えば、広角カメラ３は、表示部２の左右何れかの一端の近傍に設置されてもよい。また、二つの赤外カメラ５−１、５−２も、それぞれ、表示部２の表示面の水平方向における中心の近傍に設置されてもよい。この場合でも、二人が並んで表示部２を見ている場合に互いに異なる赤外カメラでそれぞれの人の眼を撮影できるように、二つの赤外カメラ５−１、５−２の水平方向の位置は互いに異なることが好ましい。

以下では、便宜上、広角カメラ３により生成された画像を広角画像と呼び、赤外カメラ５−１により生成された画像を第１の狭角画像と呼び、赤外カメラ５−２により生成された画像を第２の狭角画像と呼ぶ。

図３は、広角画像の一例と挟角画像の一例を示す図である。広角カメラ３により得られる広角画像３００の水平方向の幅は、水平方向における人の顔３０１の幅の数倍程度となっている。そのため、人がある程度移動しても、広角画像３００上にその人の顔３０１が写る。一方、赤外カメラ５−１、５−２により得られる（第１又は第２の）挟角画像３１０では、プルキンエ像及び瞳孔が明りょうに識別可能となるように、挟角画像３１０いっぱいに人の顔３０１が写る。

入力部６は、例えば、キーボードと、マウスのようなポインティングデバイスとを有する。そして入力部６を介してユーザにより入力された操作信号は、制御部９へ渡される。

なお、表示部２と入力部６とは、例えば、タッチパネルディスプレイのように一体化されていてもよい。この場合、入力部６は、表示部２の表示画面上に表示されたアイコンの位置にユーザが触れた場合に、その位置に応じた操作信号を生成し、その操作信号を制御部９へ出力する。

記憶媒体アクセス装置７は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１１にアクセスする装置である。記憶媒体アクセス装置７は、例えば、記憶媒体１１に記憶された、制御部９上で実行される、視線検出処理用のコンピュータプログラムを読み込み、制御部９に渡す。

記憶部８は、例えば、読み書き可能な不揮発性の半導体メモリ、及び読み書き可能な揮発性の半導体メモリを有する。そして記憶部８は、制御部９上で実行される、視線検出処理用のコンピュータプログラム、各種のアプリケーションプログラム及び各種のデータを記憶する。

さらに、記憶部８は、視線方向を検出するために利用される各種のデータを記憶する。例えば、記憶部８は、プルキンエ像の重心に対する瞳孔重心の相対的な位置と視線方向との関係を表す参照テーブルを記憶する。また記憶部８は、検出された顔の位置の履歴を表す顔位置履歴情報と、検出された注視位置の履歴を表す注視位置履歴情報とを記憶する。

制御部９は、一つまたは複数のプロセッサ及びその周辺回路を有する。そして制御部９は、デジタルサイネージシステム１の各部と信号線を介して接続されており、デジタルサイネージシステム１全体を制御する。例えば、制御部９は、入力部６から受け取った操作信号と実行中のアプリケーションプログラムに応じて、所定の動画像などを表示部２に表示させる。

さらに、制御部９は、広角画像、第１及び第２の挟角画像が得られる度に、視線検出処理を実行することにより、人の顔を検出するとともに、その人の視線方向及び注視位置を求める。そして制御部９は、広角画像の取得時刻とともに、その人の顔の位置を、顔位置履歴情報に含める。また制御部９は、挟角画像の取得時刻とともに、その人の注視位置を、注視位置履歴情報に含める。

図４は、制御部９の視線検出処理に関する機能ブロック図である。制御部９は、顔検出部２１と、撮影方向制御部２２と、視線検出部２３と、履歴情報記録部２４と、入れ替わり判定部２５とを有する。
制御部９が有するこれらの各部は、制御部９が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールである。また制御部９が有するこれらの各部は、その各部に対応する回路が集積された一つまたは複数の集積回路として、制御部９が有するプロセッサとは別個にデジタルサイネージシステム１に実装されてもよい。

顔検出部２１は、視線検出処理の実行中において、広角画像が得られる度に、広角画像上で人の顔が写っている場合に、顔を含む領域である顔領域を検出する。そして顔検出部２１は、その顔領域に基づいて、その顔に対応する、検出された人物の特徴を表す人物特徴を抽出する。本実施形態では、顔検出部２１は、顔の垂直方向の位置を、人物特徴の一例として検出する。なお、顔検出部２１は、広角画像が得られる度に、同一の処理を実行すればよいので、以下では、一つの広角画像に対する処理について説明する。

例えば、顔検出部２１は、広角画像の各画素の値をHSV表色系により表される値に変換する。そして顔検出部２１は、各画素の色相成分（H成分）の値が肌色に相当する値（例えば、0°〜30°の範囲内の値）となる画素を、顔の一部が写っている可能性がある顔領域候補画素として抽出する。

また、ある人物がデジタルサイネージシステム１を利用している場合、その人物の顔は、表示部２の方を向いており、かつ、表示部２から所定の距離（例えば、1m〜2m）だけ離れた位置にあると想定される。そのため、広角画像上で顔が占める領域の大きさもある程度推定される。
そこで顔検出部２１は、顔領域候補画素に対してラベリング処理を行って、互いに隣接している顔領域候補画素の集合を顔候補領域とする。そして顔検出部２１は、顔候補領域の大きさが人の顔の大きさに相当する基準範囲に含まれているか否か判定する。顔候補領域の大きさが人の顔の大きさに相当する基準範囲に含まれていれば、顔検出部２１はその顔候補領域を顔領域と判定する。
なお、顔候補領域の大きさは、例えば、顔候補領域の水平方向の最大幅の画素数で表される。この場合、基準範囲は、例えば、広角画像の水平方向画素数の1/10以上〜1/3以下に設定される。あるいは、顔候補領域の大きさは、例えば、顔候補領域に含まれる画素数で表されてもよい。この場合、基準範囲は、例えば、画像全体の画素数の1/100以上〜1/9以下に設定される。

顔検出部２１は、顔候補領域の大きさだけでなく、顔候補領域の形状も、顔候補領域を顔領域と判定するための判定条件に加えてもよい。人の顔は、一般に略楕円形状を有している。そこで顔検出部２１は、例えば、顔候補領域の大きさが上記の基準範囲に含まれ、かつ、顔候補領域の円形度が、一般的な顔の輪郭に相当する所定の閾値以上である場合に顔候補領域を顔領域としてもよい。なお顔検出部２１は、顔候補領域の輪郭上に位置する画素の合計を顔候補領域の周囲長として求め、顔候補領域内の総画素数に4πを乗じた値を周囲長の２乗で除することにより円形度を算出できる。

あるいは、顔検出部２１は、顔候補領域の輪郭上の各画素の座標を楕円方程式に当てはめて最小二乗法を適用することにより、顔候補領域を楕円近似してもよい。そして顔検出部２１は、その楕円の長軸と短軸の比が一般的な顔の長軸と短軸の比の範囲に含まれる場合に、顔候補領域を顔領域としてもよい。なお、顔検出部２１は、楕円近似により顔候補領域の形状を評価する場合、画像の各画素の輝度成分に対して近傍画素間演算を行ってエッジに相当するエッジ画素を検出してもよい。この場合、顔検出部２１は、エッジ画素を例えばラベリング処理を用いて連結し、一定の長さ以上に連結されたエッジ画素を顔候補領域の輪郭とする。

なお、顔検出部２１は、画像上に写っている顔の領域を検出する他の様々な方法の何れかに従って顔領域を検出してもよい。例えば、顔検出部２１は、顔候補領域と一般的な顔の形状に相当するテンプレートとの間でテンプレートマッチングを行って、顔候補領域とテンプレートとの一致度を算出し、その一致度が所定値以上である場合に、顔候補領域を顔領域と判定してもよい。あるいは、顔検出部２１は、画像から顔が写っている領域を検出するよう予め学習された識別器を利用して、顔領域を検出してもよい。この場合、そのような識別器として、例えば、サポートベクトルマシン、adaBoost、あるいは、ディープニューラルネットワークが利用される。そして顔検出部２１は、画像上にウィンドウを設定し、そのウィンドウの位置を変えながら、ウィンドウ内から得られた特徴量（例えば、Haar-like特徴、あるいは、ウィンドウ内の各画素の値そのもの）をその識別器に入力する。これにより、顔検出部２１は、そのウィンドウが顔領域か否かを判定すればよい。

顔検出部２１は、顔領域を検出できると、広角画像上での顔領域の重心位置を、検出された顔の位置として算出する。なお、顔の位置の垂直方向座標は、人物特徴の一例である。また、顔検出部２１は、顔領域を検出できない場合、顔の位置として、所定のデフォルト座標値（例えば、(-1,-1)）を設定する。

顔検出部２１は、広角画像全体にわたって上記の処理を実行する。したがって、広角カメラ３の撮影範囲内に二人いる場合には、人ごとに顔領域が検出される。そして複数の顔領域が検出された場合には、顔検出部２１は、顔領域ごとに、その顔領域の重心位置を顔の位置として算出する。
そして顔検出部２１は、検出された顔領域の数、及び、検出されたそれぞれの顔の位置の座標を撮影方向制御部２２及び入れ替わり判定部２５へ渡す。また顔検出部２１は、広角画像の取得時刻とともに、顔の位置の座標を履歴情報記録部２４へ渡す。さらに、顔検出部２１は、顔領域の水平方向の幅を視線検出部２３へ通知する。

撮影方向制御部２２は、顔検出部２１から通知された顔の検出位置に基づいて、赤外カメラ５−１、５−２の撮影方向を調整する。

広角画像上での画素の座標は、広角カメラ３の光軸方向に対する角度と１対１に対応している。したがって、広角画像上での顔の位置が分かれば、広角カメラ３に対する顔の方向も分かる。さらに、広角カメラ３と赤外カメラ５−１、５−２との位置関係も既知であり、かつ、広角カメラ３及び赤外カメラ５−１、５−２と、広角画像に顔が写っている人物との間の距離もある程度想定される。そのため、広角画像上での顔の位置が分かれば、赤外カメラ５−１、５−２からの顔の方向も求められる。そこで、例えば、広角画像上での顔の位置と、赤外カメラ５−１、５−２の撮影方向との関係を表すテーブルが予め作成され、記憶部８に記憶される。そして撮影方向制御部２２は、そのテーブルを参照して、広角画像上での顔の位置に対応する、赤外カメラ５−１、５−２の撮影方向を求める。さらに、撮影方向制御部２２は、求めた撮影方向と、現在の赤外カメラ５−１、５−２の撮影方向との差に基づいて、赤外カメラ５−１、５−２が支持された回動支持部材の回転方向及び回転角度を算出する。そして撮影方向制御部２２は、算出した回転方向及び回転角度に応じた制御信号を赤外カメラ５−１、５−２へ出力することで、赤外カメラ５−１、５−２の撮影方向を、検出された顔の位置に対応する方向へ向けさせる。なお、検出された顔の位置がデフォルト値になっている場合、すなわち、直前に得られた広角画像において、顔が検出されていない場合には、撮影方向制御部２２は、赤外カメラ５−１、５−２の撮影方向を、現在の撮影方向のまま維持してもよい。あるいは、撮影方向制御部２２は、直前に得られた挟角画像から注視位置が検出できない場合に限り、その挟角画像を生成した赤外カメラの撮影方向を調整してもよい。

なお、広角画像上で二つの顔領域が検出されている場合、撮影方向制御部２２は、顔ごとに、異なる赤外カメラの撮影方向を制御する。例えば、撮影方向制御部２２は、広角カメラ３から見て、相対的に左側に位置する顔領域に対応する人に対して、広角カメラ３の左側に位置する赤外カメラ５−１の撮影方向を向ける。また、撮影方向制御部２２は、広角カメラ３から見て、相対的に右側に位置する顔領域に対応する人に対して、広角カメラ３の右側に位置する赤外カメラ５−２の撮影方向を向ける。

なお、赤外カメラ５−１、５−２が回動支持部材を有さず、その撮影方向が固定である場合には、撮影方向制御部２２の処理は省略されてもよい。

視線検出部２３は、視線検出処理の実行中において、第１及び第２の挟角画像が得られる度に、それら狭角画像のそれぞれについて、人の眼が写っている場合にプルキンエ像及び瞳孔を検出する。そして視線検出部２３は、第１及び第２の挟角画像のそれぞれについて、プルキンエ像と瞳孔の位置関係に基づいて人の視線方向及び注視位置を検出する。なお、視線検出部２３は、第１及び第２の挟角画像のそれぞれに対して同一の処理を実行すればよいので、以下では、第１の挟角画像に対する処理について説明する。また以下の説明では、第１の挟角画像を単に挟角画像と呼ぶ。

本実施形態では、視線検出部２３は、一方の眼の瞳孔に相当するテンプレートと挟角画像との間でテンプレートマッチングを行い、挟角画像上でテンプレートとの一致度が最も高くなる領域を検出する。そして視線検出部２３は、一致度の最高値が所定の一致度閾値よりも高い場合、その検出した領域を、瞳孔が写っている瞳孔領域と判定する。なお、テンプレートは、瞳孔の大きさに応じて複数準備されてもよい。この場合、視線検出部２３は、各テンプレートと挟角画像とのテンプレートマッチングをそれぞれ実行し、一致度の最高値を求める。そして一致度の最高値が一致度閾値よりも高い場合、視線検出部２３は、一致度の最高値に対応するテンプレートと重なった領域を瞳孔領域と判定する。なお、一致度は、例えば、テンプレートとそのテンプレートと重なった領域との正規化相互相関値として算出される。また一致度閾値は、例えば、0.7または0.8に設定される。

また瞳孔が写っている領域の輝度は、その周囲の領域の輝度よりも低く、瞳孔は略円形である。そこで視線検出部２３は、挟角画像上で、同心円状に半径の異なる２本のリングを設定する。そして視線検出部２３は、外側のリングに相当する画素の輝度の平均値から内側の画素の輝度の平均値を引いた差分値が所定の閾値よりも大きい場合、その内側のリングで囲まれた領域を瞳孔領域としてもよい。また視線検出部２３は、内側のリングで囲まれた領域の平均輝度値が所定の閾値以下であることを、瞳孔領域として検出する条件に加えてもよい。この場合、所定の閾値は、例えば、拡大眼周辺領域内の最大輝度値と最小輝度値の差の10％〜20％を、最小輝度値に加えた値に設定される。
視線検出部２３は、瞳孔領域の検出に成功した場合、瞳孔領域に含まれる各画素の水平方向座標値の平均値及び垂直方向座標値の平均値を、瞳孔領域の重心の位置座標として算出する。

また視線検出部２３は、瞳孔領域及びその周辺領域内で照明光源４のプルキンエ像を検出する。照明光源４のプルキンエ像が写っている領域の輝度は、その周囲の領域の輝度よりも高く、その輝度値は略飽和している（すなわち、輝度値が、画素値が取り得る輝度の値の略最高値となっている）。また、照明光源４のプルキンエ像が写っている領域の形状は、照明光源４の発光面の形状と略一致する。そこで視線検出部２３は、瞳孔領域及びその周辺領域内で、照明光源４の発光面の輪郭形状と略一致する形状を持ち、かつ、大きさが異なるとともに中心が一致する２本のリングを設定する。そして視線検出部２３は、内側のリングに相当する画素の輝度の平均値である内部輝度平均値から外側の画素の輝度の平均値を引いた差分値を求める。視線検出部２３は、その差分値が所定の差分閾値よりも大きく、かつ内側輝度平均値が所定の輝度閾値よりも高い場合、その内側のリングで囲まれた領域を照明光源４のプルキンエ像とする。なお、差分閾値は、例えば、瞳孔領域及びその周辺領域内の近傍画素間の差分値の平均値とすることができる。また所定の輝度閾値は、例えば、瞳孔領域及びその周辺領域内での輝度値の最高値の80%とすることができる。

なお、視線検出部２３は、画像上で瞳孔が写っている領域を検出する他の様々な方法の何れかを用いて、瞳孔が写っている領域を検出してもよい。同様に、視線検出部２３は、画像上で光源のプルキンエ像が写っている領域を検出する他の様々な方法の何れかを用いて、光源のプルキンエ像が写っている領域を検出してもよい。

視線検出部２３は、照明光源４のプルキンエ像の検出に成功した場合、プルキンエ像に含まれる各画素の水平方向座標値の平均値及び垂直方向座標値の平均値を、プルキンエ像の重心の位置座標として算出する。そしてプルキンエ像の重心及び瞳孔重心が検出されると、視線検出部２３は、視線方向及び注視位置を検出する。

角膜の表面は略球形であるため、視線方向によらず、光源のプルキンエ像の位置はほぼ一定となる。一方、瞳孔重心は、視線方向に応じて移動する。そのため、視線検出部２３は、プルキンエ像の重心を基準とする瞳孔重心の相対的な位置を求めることにより、視線方向を検出できる。

本実施形態では、視線検出部２３は、光源のプルキンエ像の重心を基準とする瞳孔重心の相対的な位置を、例えば、瞳孔重心の水平方向座標及び垂直方向座標からプルキンエ像の重心の水平方向座標及び垂直方向座標を減算することにより求める。そして視線検出部２３は、瞳孔重心の相対的な位置と視線方向との関係を表す参照テーブルを参照することにより、視線方向を決定する。

図５は、参照テーブルの一例を示す図である。参照テーブル５００の左側の列の各欄には、光源のプルキンエ像の重心を基準とする瞳孔重心の相対的な位置の座標が表される。また参照テーブル５００の右側の列の各欄には、同じ行の瞳孔重心の相対的な位置の座標に対応する視線方向が表される。この例では、視線方向は、所定の基準点（例えば、表示部２の表示画面の中心または赤外カメラ５−１または赤外カメラ５−２の取り付け位置）を人が注視しているときの視線方向を基準方向として、その基準方向からの水平方向及び垂直方向の角度の差で表される。なお、瞳孔重心の相対的な位置の座標は、挟角画像上の画素単位で表される。

視線検出部２３は、さらに、検出した視線方向に基づいて、人の注視位置を検出する。
本実施形態では、視線検出部２３は、視線方向と注視位置との関係を表す注視位置テーブルを参照することにより、注視位置を決定する。なお、視線方向と注視位置との関係は、その注視位置（例えば、表示部２の表示画面）と視線方向が検出された人物との間の距離に応じて変化する。また、広角画像上での水平方向の顔の幅も、広角カメラ３とその人物との間の距離に応じて変化する。そして広角カメラ３は、表示部２の周辺に配置されているので、広角カメラ３とその人物との間の距離と、その人物の注視位置とその人物との間の距離は、略等しいことが想定される。

そこで、注視位置テーブルは、広角カメラ３とデジタルサイネージシステム１を利用する人との間の想定される距離（例えば、1m、2mなど）に応じて、予め複数用意され、記憶部８に保存される。また各注視位置テーブルには、その注視位置テーブルに対応する、広角カメラ３とのその人物との間の距離に応じた、広角画像上での水平方向の顔領域の幅の範囲が対応付けられる。そして視線検出部２３は、顔検出部２１から受け取った、最新の顔領域の水平方向の幅をその範囲に含む注視位置テーブルを選択する。そして視線検出部２３は、選択した注視位置テーブルを参照して、視線方向に対応する注視位置を求める。
なお、変形例によれば、視線検出装置は、デプスカメラといった距離センサを有していてもよい。この場合には、視線検出部２３は、距離センサにより得られた、広角画像上で検出された顔までの距離に応じて、注視位置テーブルを選択すればよい。

図６は、注視位置テーブルの一例を示す図である。注視位置テーブル６００の上端の行には、視線方向が表される。そして注視位置テーブル６００の各欄には、同じ列の視線方向に対応する、注視位置の座標が所定の単位（例えば、表示部２の表示画面の画素単位、あるいは、mm単位）で表される。例えば、注視位置テーブル６００の欄６０１には、視線方向が水平方向0°、垂直方向1°の場合の注視位置が(cx,cy+40)であることが示されている。なお、cx、cyは、視線方向が(0,0)のときの注視位置、すなわち基準注視位置の座標、例えば、赤外カメラ５−１または５−２の取り付け位置における、鉛直平面上の水平座標及び垂直座標である。

なお、参照テーブル及び注視位置テーブルは、赤外カメラごとに作成されてもよい。そして視線検出部２３は、第１の挟角画像から視線方向及び注視位置を検出する際には、赤外カメラ５−１に対応する参照テーブル及び注視位置テーブルを利用すればよい。また、視線検出部２３は、第２の挟角画像から視線方向及び注視位置を検出する際には、赤外カメラ５−２に対応する参照テーブル及び注視位置テーブルを利用すればよい。

なお、視線検出部２３は、視線方向及び注視位置の検出に失敗した場合、すなわち、瞳孔またはプルキンエ像の検出に失敗した場合、注視位置の座標として、注視位置の検出に失敗したことを表す座標値、例えば、(9999,9999)に設定する。
視線検出部２３は、注視位置を、挟角画像の取得時刻とともに履歴情報記録部２４へ通知する。

履歴情報記録部２４は、顔検出部２１から、広角画像上での顔の位置と広角画像の取得時刻を受け取る度に、広角画像上での顔の位置と広角画像の取得時刻を、顔位置履歴情報に登録する。

図７は、顔位置履歴情報の一例を示す図である。顔位置履歴情報７００には、行ごとに、広角画像の取得時刻７０１と、検出された顔のそれぞれについて、広角画像上の水平方向（X方向）の座標値及び垂直方向（Y方向）の座標値の組７０２と、顔の識別番号（以下、顔ＩＤと呼ぶ）７０３とが含まれる。そして取得時刻と座標値の組が得られる度に、顔位置履歴情報７００の最下行に、その取得時刻と、それぞれの顔の座標値の組及び顔ＩＤとが追加される。なお、この例では、X方向及びY方向の原点は、広角画像の左上端の画素の位置となり、原点よりも右側であればX方向の座標値は正となり、原点よりも下側であればY方向の座標値は正となる。またこの例では、広角画像上で顔が検出されていない場合、顔位置履歴情報７００において、行７１０に示されるように、X方向の座標値及びY方向の座標値は、(-1,-1)で表される。また、同一人物に対して同じ顔ＩＤが割り当てられる。したがって、この例では、行７１１に相当する時刻までの期間と、行７１２に相当する時刻以降では、二人の位置が入れ替わっている。そのため、行７１１以前と行７１２以降とで、左側に示される顔ＩＤに対応する顔の位置と右側に示される顔ＩＤに対応する顔の位置とが入れ替わっている。

また、履歴情報記録部２４は、赤外カメラごとに、その赤外カメラにより得られた挟角画像から検出された注視位置を注視位置履歴情報に書き込む。その際、履歴情報記録部２４は、同一人物に対して同じ顔ＩＤを割り当て、その顔ＩＤも注視位置とともに注視位置履歴情報に書き込む。そのため、履歴情報記録部２４は、後述する入れ替わり判定部２５から、顔検出中の二人の位置が入れ替わったことが通知されると、その通知後において顔ＩＤの値も入れ替える。

図８は、注視位置履歴情報の一例を示す図である。注視位置履歴情報８００は、赤外カメラ５−１により得られた第１の挟角画像から求められた注視位置を記録し、一方、注視位置履歴情報８１０は、赤外カメラ５−２により得られた第２の挟角画像から求められた注視位置を記録する。各注視位置履歴情報には、行ごとに、挟角画像の取得時刻８０１と、検出された注視位置についての所定の面上での水平方向（X方向）の座標値及び垂直方向（Y方向）の座標値の組８０２と、顔ＩＤ８０３が含まれる。なお、所定の面は、デジタルサイネージシステム１のユーザが注視する対象となる物体が存在する面であり、例えば、表示部２の表示画面である。そして取得時刻と座標値の組が得られる度に、注視位置履歴情報８００の最下行に、その取得時刻と座標値の組と顔ＩＤとが追加される。この例では、注視位置が検出されていない場合、注視位置履歴情報において、X方向の座標値及びY方向の座標値は、(9999,9999)で表される。また、顔ＩＤ８０３は、例えば、初期値として、赤外カメラ５−１に対応する注視位置履歴情報８００では'1'となり、赤外カメラ５−２に対応する注視位置履歴情報８１０では'2'となる。ただし、注視位置が検出されていない間、行８２１〜行８２２に示されるように、顔ＩＤは'-1'となる。またこの例では、二つの顔が再度検出されるようになった時点に対応する行８２３では、それ以前と比較して、二人の位置が入れ替わっており、そのため、注視位置履歴情報８００において、行８２３以降では、顔ＩＤも'1'から'2'へ変更されている。同様に、注視位置履歴情報８１０においても、行８２３以降では、顔ＩＤが'2'から'1'へ変更されている。

入れ替わり判定部２５は、最新の広角画像の取得時刻（第１の時点）において、広角画像上で二人の顔領域が検出されている場合、その直前で最後に二人の顔領域が検出されたときの広角画像の取得時刻（第２の時点）を特定する。そして入れ替わり判定部２５は、第２の時点から第１の時点の間に、広角画像上で検出された顔領域が一人以下となる期間がある場合、第２の時点から第１の時点にかけてその二人の位置が入れ替わったか否かを判定する。その際、入れ替わり判定部２５は、第１の時点において生成された広角画像から抽出された二人それぞれの人物特徴と第２の時点において生成された広角画像から抽出された二人それぞれの人物特徴との比較に基づいて、その入れ替わりが生じたか否かを判定する。

本実施形態では、入れ替わり判定部２５は、顔の垂直方向の位置（以下、単に垂直位置と呼ぶ）を人物特徴として利用する。広角画像上での顔の垂直位置は、一般に、対応する人物の身長に応じた位置となる。

図９は、広角カメラ３の撮影範囲内に二人存在する場合における、その二人の位置の入れ替わりの有無と広角画像上でのその二人の顔の垂直方向の位置との関係を表す図である。図９に示される広角画像９００には、人物９０１の顔と人物９０２の顔が写っている。この例では、左側の人物９０１の身長の方が、右側の人物９０２の身長よりも高い。そのため、広角画像９００上でも、人物９０１の顔の垂直方向の位置h1の方が、人物９０２の顔の垂直方向の位置h2よりも高くなっている。

ここで、広角画像９００の取得時の後に、二人の人物の位置が入れ替わったとする。その入れ替わりの後に得られた広角画像９１０では、右側に位置する人物９１１の顔の垂直方向の位置h1'の方が、左側に位置する人物９１２の顔の垂直方向の位置h2'よりも高くなっている。一方、広角画像９００の取得時の後でも、二人の人物の位置が入れ替わらなかったとする。この場合、広角画像９００よりも後に得られた広角画像９２０では、広角画像９００と同様に、左側の人物９２１の顔の垂直方向の位置が右側の人物９２２の顔の垂直方向の位置よりも高くなっている。

このように、入れ替わり判定部２５は、一旦何れかの人物の顔が検出されなくなった期間の前後で、顔の垂直位置の並び順を比較することで、広角画像上で同時に顔が検出されている二人の位置が入れ替わったか否かを判定できる。

そこで、入れ替わり判定部２５は、顔位置履歴情報から、何れかの人の顔が検出できなくなる直前（第２の時点）の顔ＩＤごとの顔の垂直位置と、再度二人の人物の顔が検出できるようになった直後（第１の時点）の顔ＩＤごとの顔の垂直位置とを読み込む。

入れ替わり判定部２５は、第１の時点と第２の時点とで、顔の垂直位置の高い方から低い方への並び順を比較する。そして入れ替わり判定部２５は、第１の時点と第２の時点とで、その並び順が同じであれば、第２の時点から第１の時点にかけて、二人の位置（広角カメラ３から見た水平方向の位置）は入れ替わっていないと判定する。一方、第１の時点と第２の時点とで、その並び順が逆になっていれば、第２の時点から第１の時点にかけて、二人の位置は入れ替わったと判定する。

なお、入れ替わり判定部２５は、第１の時点と第２の時点とで、顔の垂直位置の差の絶対値が少なくなる垂直位置の組み合わせを求めることでも、顔の垂直位置の高い方から低い方への並び順が入れ替わったか否かを判定できる。

入れ替わり判定部２５は、二人の人物の位置が入れ替わったか否かの判定結果を履歴情報記録部２４へ通知する。

なお、入れ替わり判定部２５は、検出された顔領域が無い期間が一定期間（例えば、30秒〜1分）以上継続した場合に、それまで検出されていた人が立ち去ったと判定してもよい。この場合には、制御部９は、次に顔領域が検出されたときから、上記の処理を繰り返せばよい。

図１０及び図１１は、制御部９により実行される、視線検出処理の動作フローチャートを示す。制御部９は、広角画像と挟角画像の組が取得される度に、下記の動作フローチャートに従って視線検出処理を実行する。

顔検出部２１は、広角カメラ３から取得した広角画像上で顔を含む顔領域を検出する（ステップＳ１０１）。そして顔検出部２１は、顔領域の重心を顔の位置とする（ステップＳ１０２）。

撮影方向制御部２２は、検出された顔の位置に基づいて、その位置が赤外カメラ５−１または赤外カメラ５−２の撮影範囲に含まれるように、各赤外カメラの撮影方向を調整する（ステップＳ１０３）。なお、各赤外カメラの撮影方向が固定されている場合には、ステップＳ１０３の処理は省略されてもよい。そして視線検出部２３は、顔領域ごとに、対応する赤外カメラから取得した狭角画像上で瞳孔重心及び照明光源４のプルキンエ像を検出する（ステップＳ１０４）。

視線検出部２３は、顔領域ごとに、プルキンエ像の重心と瞳孔重心の位置関係に基づいて、視線方向及び注視位置を検出する（ステップＳ１０５）。ただし、プルキンエ像及び瞳孔の何れか一方が検出されていない場合、視線検出部２３は、注視位置の座標を、注視位置が検出されていないことを表すデフォルト値に設定する。

履歴情報記録部２４は、広角画像の取得時刻、及び、検出された顔ごとの顔の位置及び顔ＩＤを顔位置履歴情報に登録する（ステップＳ１０６）。

図１１に示されるように、入れ替わり判定部２５は、顔位置履歴情報に記録されている最新の広角画像の取得時刻において、二人の顔の位置が検出されているか否か判定する（ステップＳ１０７）。何れかの人物の顔の位置が検出されていなければ（ステップＳ１０７−Ｎｏ）、履歴情報記録部２４は、赤外カメラごとに、挟角画像の取得時刻、最新の注視位置及び従前と同じ顔ＩＤを、注視位置履歴情報に登録する（ステップＳ１０８）。なお、この場合、最新の広角画像上で何れかの人物の顔が検出されていないので、対応する挟角画像においても、注視位置が検出されていない可能性が高い。そのため、注視位置がデフォルト値となっていれば、すなわち、注視位置が検出されていなければ、履歴情報記録部２４は、最新の注視位置及び挟角画像の取得時刻を注視位置履歴情報に登録しなくてもよい。

一方、二人の顔の位置が検出されていれば（ステップＳ１０７−Ｙｅｓ）、入れ替わり判定部２５は、最後に二人の顔の位置が検出されてから最新の広角画像の取得時刻までに、検出された顔領域が一人分以下となる期間があるか否か判定する（ステップＳ１０９）。そのような期間がなければ（ステップＳ１０９−Ｎｏ）、履歴情報記録部２４は、赤外カメラごとに、挟角画像の取得時刻、最新の注視位置及び従前と同じ顔ＩＤを、注視位置履歴情報に登録する（ステップＳ１０８）。

一方、そのような期間があれば（ステップＳ１０９−Ｙｅｓ）、入れ替わり判定部２５は、顔位置履歴情報を参照して、最後に二人の顔の位置が記録された第２の時点を特定する。入れ替わり判定部２５は、最新の広角画像の取得時（第１の時点）及び第２の時点のそれぞれにおいて、顔の垂直位置の高さについての並び順を特定する（ステップＳ１１０）。そして入れ替わり判定部２５は、第１の時点と第２の時点とで、顔の垂直位置の並び順が同じか否か判定する（ステップＳ１１１）。

顔の垂直位置の並び順が同じであれば（ステップＳ１１１−Ｙｅｓ）、入れ替わり判定部２５は、二人の位置の入れ替わりは生じていないと判定する。そして入れ替わり判定部２５は、入れ替わりが生じていないことを履歴情報記録部２４へ通知する。履歴情報記録部２４は、赤外カメラごとに、挟角画像の取得時刻、最新の注視位置及び従前と同じ顔ＩＤを、注視位置履歴情報に登録する（ステップＳ１０８）。

一方、顔の垂直位置の並び順が異なっていれば（ステップＳ１１１−Ｎｏ）、入れ替わり判定部２５は、二人の位置は入れ替わったと判定する。そして入れ替わり判定部２５は、入れ替わりが生じたことを履歴情報記録部２４へ通知する。履歴情報記録部２４は、赤外カメラごとに、挟角画像の取得時刻、最新の注視位置及び互いに入れ替えた顔ＩＤを注視位置履歴情報に書き込む（ステップＳ１１２）。また履歴情報記録部２４は、顔位置履歴情報において、最新の広角画像の取得時以降における、顔の位置を記録する列を入れ替える。
ステップＳ１０８またはＳ１１２の後、制御部９は、視線検出処理を終了する。

以上に説明してきたように、この視線検出装置は、広角画像において二人のうちの少なくとも何れか一方について顔が検出されなくなった後に再度二人共の顔が検出された場合に、その検出不能となった期間の前後で顔の垂直位置の並び順を比較する。そしてこの視線検出装置は、その比較結果により、二人の位置が入れ替わったか否かを判定する。そのため、この視線検出装置は、二人の位置が入れ替わることにより、同じ人を撮影する赤外カメラが切り替わっても、その人の視線方向を追跡できる。

なお、広角画像に写る人が、広角カメラ３へ近づいたり、あるいは、離れるように移動すると、広角カメラ３からその人までの距離に応じて、広角画像上での顔の垂直位置が変化する。特に、広角カメラ３の光軸が、地面に対して傾くように、例えば、地面と平行な方向よりも光軸が上側を向くように設置されていると、広角カメラ３から遠い人ほど、広角画像上での顔の垂直位置が低くなる。

そこで変形例によれば、顔検出部２１は、広角カメラ３から人までの推定距離に応じて顔の垂直位置を補正してもよい。そのために、例えば、広角カメラ３からの距離ごとの補正係数を表す距離補正テーブルが予め作成され、記憶部８に保存される。そして顔検出部２１は、顔領域の水平方向の幅と広角カメラ３からの距離との関係を表す距離テーブルを参照して、広角画像上での顔領域ごとに、その幅に対応する距離を特定し、その特定した距離を、広角カメラ３からその顔領域に対応する人までの距離とする。そして顔検出部２１は、距離補正テーブルを参照して、その距離に対応する補正係数を求め、その補正係数をその顔領域の垂直位置に乗じることで、顔の垂直位置を補正してもよい。

この変形例によれば、広角画像上に写る人が広角カメラ３に近づいたり、あるいは遠ざかるように移動しても、視線検出装置は、第２の時点と第１の時点とで、顔の垂直位置を正確に比較できる。そのため、視線検出装置は、二人の位置が入れ替わったか否かをより正確に判定できる。

また、他の変形例によれば、顔検出部２１は、人物特徴として、顔の垂直位置の代わりに、顔領域の色分布を求めてもよい。そして入れ替わり判定部２５は、第２の時点で広角画像に写った二人の何れか一方についての色分布と、第１の時点の各人の色分布との差を算出してもよい。そして入れ替わり判定部２５は、第２の時点と第１の時点とで同じ顔ＩＤについての色分布の差よりも、異なる顔ＩＤについての色分布の差の方が小さければ、二人の位置が入れ替わったと判定すればよい。

この場合、顔検出部２１は、人ごとの色分布の差を大きくすることができるように、広角画像上で顔領域を、その水平方向の幅を保ったまま下方へ拡張して、顔領域内に顔だけでなく、その人の服装の一部も含まれるようにしてもよい。また、顔検出部２１は、色分布を算出するために、顔領域内の各画素の値を、例えば、RGB表色系の値からHSV表色系またはHLS表色系の値に変換する。顔検出部２１は、色相の全範囲を所定数のブロックに等分割し、ブロックごとに、そのブロックに含まれる色相値を持つ顔領域内の画素の数の合計を、そのブロックの度数として求める。そして顔検出部２１は、ブロックごとの度数を、色分布とする。
またこの場合、入れ替わり判定部２５は、第２の時点の着目する顔領域と第１の時点の着目する顔領域との間で色分布の差を算出する際、対応するブロック間で度数の差の絶対値を算出し、各ブロックについての度数の差の絶対値の総和を色分布の差とすればよい。

この変形例によれば、広角画像上に写る二人の人物の身長の差が小さい場合でも、入れ替わり判定部２５は、その二人の位置が入れ替わったか否かを正確に判定できる。

また、顔検出部２１は、人物特徴として、顔の垂直位置と顔領域の色分布の両方を求めてもよい。この場合には、入れ替わり判定部２５は、例えば、第１の時点における二人の垂直位置の差の絶対値が所定値以下の場合、色分布の比較により、二人の位置が入れ替わったか否かを判定すればよい。

次に、第２の実施形態による視線検出装置について説明する。第２の実施形態による視線検出装置は、広角画像上に一人だけ写っている場合に、その人の位置、あるいは、顔向きにより、その人の視線方向を検出する赤外カメラを決定する。

図１２は、第２の実施形態による制御部９の視線検出処理に関する機能ブロック図である。制御部９は、顔検出部２１と、撮影方向制御部２２と、視線検出部２３と、履歴情報記録部２４と、入れ替わり判定部２５と、カメラ決定部２６とを有する。
第２の実施形態による視線検出装置は、第１の実施形態による視線検出装置と比較して、制御部９がカメラ決定部２６を有する点と、顔検出部２１の処理の一部が異なる。そこで以下では、顔検出部２１及びカメラ決定部２６について説明する。第２の実施形態による視線検出装置のその他の構成要素については、第１の実施形態による視線検出装置の対応する構成要素の説明を参照されたい。

顔検出部２１は、広角画像上で顔領域が一つだけ検出されている場合、その顔領域に写っている人物の顔の向きを検出する。顔検出部２１は、例えば、両方の眼の眼頭の中点と、唇の中点とを結ぶ線を正中線として検出し、正中線に対する鼻尖点の位置関係により、その人物の顔の向きを検出できる。その際、顔検出部２１は、画像から唇及び鼻尖点を検出するために、例えば、唇を検出するように学習された識別器及び鼻尖点を検出するように学習された識別器を用いればよい。また、顔検出部２１は、テンプレートマッチング、あるいは、コーナー検出フィルタなどを利用して、眼頭を検出してもよい。あるいは、顔検出部２１は、画像から、眼頭、唇及び鼻尖点を検出する他の技術を利用してもよい。

あるいは、顔検出部２１は、画像から顔の向きを検出する他の技術を利用してその人物の顔の向きを検出してもよい。例えば、顔検出部２１は、顔領域における正中線の偏り度合いに応じて顔の向きを判定してもよい。この場合には、例えば、顔領域の左端から正中線までの距離と顔領域の右端から正中線までの距離の比と、顔が広角カメラ３に対して正対しているときの顔の向きからの顔の傾き角との関係を表す顔向きテーブルが予め記憶部８に保存される。そして顔検出部２１は、顔領域の左端から正中線までの距離と顔領域の右端から正中線までの距離の比を算出し、その顔向きテーブルを参照することで、その比に対応する顔の向きの角度をもとめればよい。

顔検出部２１は、広角画像上での顔の水平方向の位置と、求めた顔向きとをカメラ決定部２６へ通知する。

カメラ決定部２６は、広角画像上での顔の水平方向の位置または顔向きに基づいて、その顔に対応する人の視線方向の検出に利用する赤外カメラを決定する。

例えば、カメラ決定部２６は、顔向きが所定の基準方向よりも右向きか左向きかで、視線方向の検出に利用する赤外カメラを決定してもよい。

図１３は、図２に示される広角カメラ３と二つの赤外カメラ５−１、５−２の配置の場合における、顔向きと視線方向の検出に利用される赤外カメラの関係の一例を示す図である。この例では、広角カメラ３が二つの赤外カメラ５−１、５−２の中間に配置されている。そのため、基準方向は、顔向きが広角カメラ３と正対する向きに設定される。したがって、顔１３００のように、その顔の向き１３０１が広角カメラ３と正対する方向よりも左方向を向いていれば、カメラ決定部２６は、広角カメラ３よりも左側に位置する赤外カメラ５−１によりその人物の視線方向を検出すると判定する。一方、顔１３１０のように、その顔の向き１３１１が広角カメラ３と正対する方向よりも右方向を向いていれば、カメラ決定部２６は、広角カメラ３よりも右側に位置する赤外カメラ５−２によりその人の視線方向を検出すると判定する。なお、上記の「左」、「右」は、広角カメラ３から顔１３００を見た方向を基準としていることに留意されたい。

カメラ決定部２６は、視線検出部２３及び履歴情報記録部２４に、視線方向の検出に利用する赤外カメラを識別する情報を通知する。視線検出部２３は、その情報により識別される赤外カメラにより生成される挟角画像に基づいて、人物の視線方向及び注視位置を算出する。
また、履歴情報記録部２４は、顔位置履歴情報の顔ＩＤとして、その情報により識別される赤外カメラに対応する値を書き込む。例えば、赤外カメラ５−１が選択された場合、履歴情報記録部２４は、顔ＩＤとして'1'を書き込み、一方、赤外カメラ５−２が選択された場合、履歴情報記録部２４は、顔ＩＤとして'2'を書き込む。

なお、変形例によれば、カメラ決定部２６は、広角画像上での顔の水平位置に基づいて、その顔に対応する人物の視線方向の検出に利用する赤外カメラを決定してもよい。例えば、図２に示されるように、広角カメラ３が二つの赤外カメラ５−１、５−２の間に配置されているとする。この場合、カメラ決定部２６は、広角画像上で中央よりも左側に顔の位置がある場合には、広角カメラ３よりも左側に位置する赤外カメラ５−１によりその人物の視線方向を検出すると判定する。一方、広角画像上で中央よりも右側に顔の位置がある場合には、カメラ決定部２６は、広角カメラ３よりも右側に位置する赤外カメラ５−２によりその人物の視線方向を検出すると判定する。

なお、図２のように各カメラが配置されている場合において、広角画像の中心から顔の位置までの水平方向の距離が所定距離以内である場合に、カメラ決定部２６は、顔の向きに基づいて視線方向の検出に利用する赤外カメラを決定してもよい。そして広角画像の中心から顔の位置までの水平方向の距離が所定距離よりも大きい場合、カメラ決定部２６は、広角画像上での顔の水平位置に基づいて、その顔に対応する人物の視線方向の検出に利用する赤外カメラを決定してもよい。

なお、上記の何れの場合も、カメラ決定部２６は、広角画像が得られる度に、視線方向検出に利用する赤外カメラを決定してもよい。この場合、ある時点において視線方向に近い方の赤外カメラが、それ以前において視線方向に近い方の赤外カメラと異なる場合には、カメラ決定部２６は、その時点以降、視線方向の検出に利用する赤外カメラをそれ以前のものから変更することになる。したがって、カメラ決定部２６は、広角画像上に写っている人が顔向きを変えたり、その人が移動することに応じて、視線方向検出に利用する赤外カメラを適切に切り替えることができる。

他の変形例によれば、広角画像上に一人だけ写っている場合、視線検出部２３は、第１及び第２の挟角画像の両方に基づいて視線方向を検出してもよい。そしてカメラ決定部２６は、プルキンエ像と瞳孔重心の差が小さい方、すなわち、視線方向に近い方の赤外カメラを選択してもよい。この場合、選択した赤外カメラにより得られた挟角画像から検出された視線方向及び注視位置が、その人の視線方向及び注視位置とされる。そして履歴情報記録部２４は、顔位置履歴情報の顔ＩＤとして、選択した赤外カメラに対応する値を書き込む。

なお、カメラ決定部２６は、第１の挟角画像及び第２の挟角画像のうちの一方にのみ、プルキンエ像と瞳孔重心の両方が写っている場合、その両方が写っている方の挟角画像に対応する赤外カメラにより、視線方向及び注視位置を検出すると判定してもよい。

図１４は、制御部９により実行される、第２の実施形態による視線検出処理の動作フローチャートである。制御部９は、広角画像と挟角画像の組が取得される度に、下記の動作フローチャートに従って視線検出処理を実行する。

顔検出部２１は、広角カメラ３から取得した広角画像上で顔を含む顔領域を検出する（ステップＳ２０１）。そして顔検出部２１は、顔領域の重心を顔の位置とする（ステップＳ２０２）。

顔検出部２１は、最新の広角画像において検出された顔領域が一つであり、かつ、最初に顔領域が検出されてから現時刻までの期間に取得された各広角画像において検出された顔領域の数が一つ以下であるか否か判定する（ステップＳ２０３）。

最新の広角画像において検出された顔領域が一つでないか、または、過去に取得された広角画像の何れかにおいて検出された顔領域の数が二つである場合（ステップＳ２０３−Ｎｏ）、制御部９は、図１０に示されるステップＳ１０３以降の処理を実行する。

一方、最初に顔領域が検出されてから最新の広角画像の取得時刻までの期間に取得された各広角画像において検出された顔領域の数が一つ以下である場合（ステップＳ２０３−Ｙｅｓ）、顔検出部２１は、顔領域から顔の向きを検出する（ステップＳ２０４）。

カメラ決定部２６は、顔の水平方向の位置または顔の向きに基づいて、視線方向に近い方の赤外カメラを視線方向の検出に用いると決定する（ステップＳ２０５）。

撮影方向制御部２２は、視線方向の検出に用いる赤外カメラについて、検出された顔の位置に基づいて、その位置が赤外カメラ５−１、５−２の撮影範囲に含まれるように、その赤外カメラの撮影方向を調整する（ステップＳ２０６）。なお、各赤外カメラの撮影方向が固定されている場合には、ステップＳ２０６の処理は省略されてもよい。

視線検出部２３は、視線方向の検出に用いる赤外カメラから取得した狭角画像上で瞳孔重心及び照明光源４のプルキンエ像を検出する（ステップＳ２０７）。そして視線検出部２３は、プルキンエ像の重心と瞳孔重心の位置関係に基づいて、視線方向及び注視位置を検出する（ステップＳ２０８）。

履歴情報記録部２４は、広角画像の取得時刻、及び、検出された顔の位置及び使用する赤外カメラを表す顔ＩＤを顔位置履歴情報に登録する（ステップＳ２０９）。さらに、履歴情報記録部２４は、使用する赤外カメラについて、挟角画像の取得時刻、最新の注視位置及び顔ＩＤを注視位置履歴情報に書き込む（ステップＳ２１０）。そして制御部９は、視線検出処理を終了する。

以上に説明してきたように、第２の実施形態またはその変形例によれば、視線検出装置は、顔の向き、位置または視線方向に応じて、人物が見ている方向に近い方の赤外カメラを、その人物の視線方向及び注視位置の追跡に利用すると判定する。そのため、この視線検出装置は、比較的、プルキンエ像と瞳孔重心との距離が近いときの挟角画像に基づいて、その人物の視線方向及び注視位置を検出できるので、視線方向及び注視位置の検出精度を向上できる。

上記の実施形態またはその変形例による視線検出装置の制御部の機能を実現するコンピュータプログラムは、磁気記録媒体、光記録媒体といったコンピュータ読み取り可能な記録媒体に記録された形で提供されてもよい。なお、この記録媒体には、搬送波は含まれない。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
第１の画角を有し、第１の画像を生成する第１の撮像部と、
前記第１の画像に少なくとも一人の顔が表されている場合に当該表された一人の顔単位に、顔を含む顔領域を検出し、当該顔領域に基づいて対応する人の特徴を抽出する顔検出部と、
第１の時点、及び、前記第１の時点よりも前の第２の時点のそれぞれにおいて生成された前記第１の画像において二人の顔領域が検出され、かつ、前記第２の時点から前記第１の時点の間に生成された前記第１の画像において前記顔領域が検出されないか、または一人の前記顔領域が検出された場合、前記第１の時点の前記第１の画像から抽出された前記二人のそれぞれの前記特徴と前記第２の時点の前記第１の画像から抽出された前記二人のそれぞれの前記特徴とを比較して前記第２の時点における前記二人の位置と前記第１の時点における前記二人の位置とが入れ替わったか否かを判定する入れ替わり判定部と、
を有する視線検出装置。
（付記２）
前記第１の画角よりも狭い第２の画角を有し、第２の画像を生成する第２の撮像部と、
前記第２の撮像部と異なる位置に配置され、前記第１の画角よりも狭い第３の画角を有し、第３の画像を生成する第３の撮像部と、
前記第２の画像及び前記第３の画像の少なくとも一方に基づいて視線方向を検出する視線検出部と、
前記第２の時点と前記第１の時点とで前記二人の位置の入れ替わりが生じている場合に、前記第２の時点における前記第２の画像から検出された視線方向と前記第１の時点における前記第３の画像から検出された視線方向を前記二人のうちの一方に対応付け、かつ、前記第２の時点における前記第３の画像から検出された視線方向と前記第１の時点における前記第２の画像から検出された視線方向を前記二人のうちの他方に対応付ける履歴情報記録部と、をさらに有する、付記１に記載の視線検出装置。
（付記３）
前記顔検出部は、前記特徴として前記顔の垂直方向の位置を算出し、
前記入れ替わり判定部は、前記第２の時点における前記二人の顔の垂直方向の位置についての高い方から低い方の並び順と前記第１の時点における前記二人の顔の垂直方向の位置についての高い方から低い方の並び順とが逆になっている場合に、前記第２の時点における前記二人の位置と前記第１の時点における前記二人の位置とが入れ替わったと判定する、付記１または２に記載の視線検出装置。
（付記４）
前記顔検出部は、前記特徴として前記顔領域の色分布を算出し、
前記入れ替わり判定部は、前記第１の時点における前記二人のうち、前記第２の時点における前記二人のうちの一方の前記色分布に対する色分布の差が少ない方の人の位置が、前記一方の位置と逆になっている場合に、前記第２の時点における前記二人の位置と前記第１の時点における前記二人の位置とが入れ替わったと判定する、付記１または２に記載の視線検出装置。
（付記５）
第１の画角を有し、第１の画像を生成する第１の撮像部と、
前記第１の画角よりも狭い第２の画角を有し、第２の画像を生成する第２の撮像部と、
前記第２の撮像部と異なる位置に配置され、前記第１の画角よりも狭い第３の画角を有し、第３の画像を生成する第３の撮像部と、
前記第１の画像に人の顔が表されている場合に、顔を含む顔領域を検出する顔検出部と、
前記顔領域の位置または前記顔領域から検出される顔の向きに基づいて、前記第２の撮像部及び前記第３の撮像部のうちの前記人の視線方向に近い方の撮像部を決定するカメラ決定部と、
前記第２の撮像部の方が前記第３の撮像部よりも前記人の視線方向に近い場合に前記第２の画像に基づいて前記人の視線方向を検出し、一方、前記第３の撮像部の方が前記第２の撮像部よりも前記人の視線方向に近い場合に前記第３の画像に基づいて前記人の視線方向を検出する視線検出部と、
を有する視線検出装置。
（付記６）
前記カメラ決定部は、第１の時点において得られた前記第１の画像に基づいて前記第２の撮像部の方が前記第３の撮像部よりも前記人の視線方向に近いと判定し、前記第１の時点よりも後の第２の時点において得られた前記第１の画像に基づいて前記第３の撮像部の方が前記第２の撮像部よりも前記人の視線方向に近いと判定した場合、前記第２の時点以降について前記人の視線方向の検出に利用する撮像部を前記第２の撮像部から前記第３の撮像部に変更する、付記５に記載の視線検出装置。
（付記７）
第１の画角を有する第１の撮像部により生成された第１の画像に少なくとも一人の顔が表されている場合に当該表された一人の顔単位に、顔を含む顔領域を検出し、当該顔領域に基づいて対応する人の特徴を抽出し、
第１の時点、及び、前記第１の時点よりも前の第２の時点のそれぞれにおいて生成された前記第１の画像において二人の顔領域が検出され、かつ、前記第２の時点から前記第１の時点の間に生成された前記第１の画像において前記顔領域が検出されないか、または一人の前記顔領域が検出された場合、前記第１の時点の前記第１の画像から抽出された前記二人のそれぞれの前記特徴と前記第２の時点の前記第１の画像から抽出された前記二人のそれぞれの前記特徴とを比較して前記第２の時点における前記二人の位置と前記第１の時点における前記二人の位置とが入れ替わったか否かを判定する、
ことを含む視線検出方法。
（付記８）
第１の画角を有する第１の撮像部により生成された第１の画像に少なくとも一人の顔が表されている場合に当該表された一人の顔単位に、顔を含む顔領域を検出し、当該顔領域に基づいて対応する人の特徴を抽出し、
第１の時点、及び、前記第１の時点よりも前の第２の時点のそれぞれにおいて生成された前記第１の画像において二人の顔領域が検出され、かつ、前記第２の時点から前記第１の時点の間に生成された前記第１の画像において前記顔領域が検出されないか、または一人の前記顔領域が検出された場合、前記第１の時点の前記第１の画像から抽出された前記二人のそれぞれの前記特徴と前記第２の時点の前記第１の画像から抽出された前記二人のそれぞれの前記特徴とを比較して前記第２の時点における前記二人の位置と前記第１の時点における前記二人の位置とが入れ替わったか否かを判定する、
ことをコンピュータに実行させるための視線検出用コンピュータプログラム。
（付記９）
第１の画角を有する第１の撮像部により生成された第１の画像に人の顔が表されている場合に、顔を含む顔領域を検出し、
前記顔領域の位置または前記顔領域から検出される顔の向きに基づいて、前記第１の画角よりも狭い第２の画角を有し、第２の画像を生成する第２の撮像部及び前記第２の撮像部と異なる位置に配置され、前記第１の画角よりも狭い第３の画角を有し、第３の画像を生成する第３の撮像部のうちの前記人の視線方向に近い方の撮像部を決定し、
前記第２の撮像部の方が前記第３の撮像部よりも前記人の視線方向に近い場合に前記第２の画像に基づいて前記人の視線方向を検出し、一方、前記第３の撮像部の方が前記第２の撮像部よりも前記人の視線方向に近い場合に前記第３の画像に基づいて前記人の視線方向を検出する、
ことを含む視線検出方法。
（付記１０）
第１の画角を有する第１の撮像部により生成された第１の画像に人の顔が表されている場合に、顔を含む顔領域を検出し、
前記顔領域の位置または前記顔領域から検出される顔の向きに基づいて、前記第１の画角よりも狭い第２の画角を有し、第２の画像を生成する第２の撮像部及び前記第２の撮像部と異なる位置に配置され、前記第１の画角よりも狭い第３の画角を有し、第３の画像を生成する第３の撮像部のうちの前記人の視線方向に近い方の撮像部を決定し、
前記第２の撮像部の方が前記第３の撮像部よりも前記人の視線方向に近い場合に前記第２の画像に基づいて前記人の視線方向を検出し、一方、前記第３の撮像部の方が前記第２の撮像部よりも前記人の視線方向に近い場合に前記第３の画像に基づいて前記人の視線方向を検出する、
ことをコンピュータに実行させるための視線検出用コンピュータプログラム。

１ デジタルサイネージシステム（視線検出装置）
２ 表示部
３ 広角カメラ
４ 照明光源
５−１、５−２ 赤外カメラ
６ 入力部
７ 記憶媒体アクセス装置
８ 記憶部
９ 制御部
１１ 記憶媒体
２１ 顔検出部
２２ 撮影方向制御部
２３ 視線検出部
２４ 履歴情報記録部
２５ 入れ替わり判定部
２６ カメラ決定部

Claims (7)

1. 第１の画角を有し、第１の画像を生成する第１の撮像部と、
   前記第１の画像に少なくとも一人の顔が表されている場合に当該表された一人の顔単位に、顔を含む顔領域を検出し、当該顔領域に基づいて対応する人の特徴を抽出する顔検出部と、
   第１の時点、及び、前記第１の時点よりも前の第２の時点のそれぞれにおいて生成された前記第１の画像において二人の顔領域が検出され、かつ、前記第２の時点から前記第１の時点の間に生成された前記第１の画像において前記顔領域が検出されないか、または一人の前記顔領域が検出された場合、前記第１の時点の前記第１の画像から抽出された前記二人のそれぞれの前記特徴と前記第２の時点の前記第１の画像から抽出された前記二人のそれぞれの前記特徴とを比較して前記第２の時点における前記二人の位置と前記第１の時点における前記二人の位置とが入れ替わったか否かを判定する入れ替わり判定部と、
   を有する視線検出装置。
2. 前記第１の画角よりも狭い第２の画角を有し、第２の画像を生成する第２の撮像部と、
   前記第２の撮像部と異なる位置に配置され、前記第１の画角よりも狭い第３の画角を有し、第３の画像を生成する第３の撮像部と、
   前記第２の画像及び前記第３の画像の少なくとも一方に基づいて視線方向を検出する視線検出部と、
   前記第２の時点と前記第１の時点とで前記二人の位置の入れ替わりが生じている場合に、前記第２の時点における前記第２の画像から検出された視線方向と前記第１の時点における前記第３の画像から検出された視線方向を前記二人のうちの一方に対応付け、かつ、前記第２の時点における前記第３の画像から検出された視線方向と前記第１の時点における前記第２の画像から検出された視線方向を前記二人のうちの他方に対応付ける履歴情報記録部と、をさらに有する、請求項１に記載の視線検出装置。
3. 前記顔検出部は、前記特徴として前記顔の垂直方向の位置を算出し、
   前記入れ替わり判定部は、前記第２の時点における前記二人の顔の垂直方向の位置についての高い方から低い方の並び順と前記第１の時点における前記二人の顔の垂直方向の位置についての高い方から低い方の並び順とが逆になっている場合に、前記第２の時点における前記二人の位置と前記第１の時点における前記二人の位置とが入れ替わったと判定する、請求項１または２に記載の視線検出装置。
4. 前記顔検出部は、前記特徴として前記顔領域の色分布を算出し、
   前記入れ替わり判定部は、前記第１の時点における前記二人のうち、前記第２の時点における前記二人のうちの一方の前記色分布に対する色分布の差が少ない方の人の位置が、前記一方の位置と逆になっている場合に、前記第２の時点における前記二人の位置と前記第１の時点における前記二人の位置とが入れ替わったと判定する、請求項１または２に記載の視線検出装置。
5. 第１の画角を有し、第１の画像を生成する第１の撮像部と、
   前記第１の画角よりも狭い第２の画角を有し、第２の画像を生成する第２の撮像部と、
   前記第２の撮像部と異なる位置に配置され、前記第１の画角よりも狭い第３の画角を有し、第３の画像を生成する第３の撮像部と、
   前記第１の画像に人の顔が表されている場合に、顔を含む顔領域を検出する顔検出部と、
   前記顔領域の位置または前記顔領域から検出される顔の向きに基づいて、前記第２の撮像部及び前記第３の撮像部のうちの前記人の視線方向に近い方の撮像部を決定するカメラ決定部と、
   前記第２の撮像部の方が前記第３の撮像部よりも前記人の視線方向に近い場合に前記第２の画像に基づいて前記人の視線方向を検出し、一方、前記第３の撮像部の方が前記第２の撮像部よりも前記人の視線方向に近い場合に前記第３の画像に基づいて前記人の視線方向を検出する視線検出部と、
   を有する視線検出装置。
6. 第１の画角を有する第１の撮像部により生成された第１の画像に少なくとも一人の顔が表されている場合に当該表された一人の顔単位に、顔を含む顔領域を検出し、当該顔領域に基づいて対応する人の特徴を抽出し、
   第１の時点、及び、前記第１の時点よりも前の第２の時点のそれぞれにおいて生成された前記第１の画像において二人の顔領域が検出され、かつ、前記第２の時点から前記第１の時点の間に生成された前記第１の画像において前記顔領域が検出されないか、または一人の前記顔領域が検出された場合、前記第１の時点の前記第１の画像から抽出された前記二人のそれぞれの前記特徴と前記第２の時点の前記第１の画像から抽出された前記二人のそれぞれの前記特徴とを比較して前記第２の時点における前記二人の位置と前記第１の時点における前記二人の位置とが入れ替わったか否かを判定する、
   ことを含む視線検出方法。
7. 第１の画角を有する第１の撮像部により生成された第１の画像に少なくとも一人の顔が表されている場合に当該表された一人の顔単位に、顔を含む顔領域を検出し、当該顔領域に基づいて対応する人の特徴を抽出し、
   第１の時点、及び、前記第１の時点よりも前の第２の時点のそれぞれにおいて生成された前記第１の画像において二人の顔領域が検出され、かつ、前記第２の時点から前記第１の時点の間に生成された前記第１の画像において前記顔領域が検出されないか、または一人の前記顔領域が検出された場合、前記第１の時点の前記第１の画像から抽出された前記二人のそれぞれの前記特徴と前記第２の時点の前記第１の画像から抽出された前記二人のそれぞれの前記特徴とを比較して前記第２の時点における前記二人の位置と前記第１の時点における前記二人の位置とが入れ替わったか否かを判定する、
   ことをコンピュータに実行させるための視線検出用コンピュータプログラム。