JP2015228992A - 視線分析システムおよび視線分析装置 - Google Patents

Abstract

【課題】 対象物が撮像に適さない環境に存在する場合でも、対象物上における閲覧者の注目箇所を特定可能な視線分析システムおよび視線分析装置を提供する。
【解決手段】 カメラと距離センサを備えた視線追跡装置から、シーン画像と注視点を取得し（Ｓ１１）、シーン画像からシーン画像特徴点を抽出し（Ｓ１２）、基準画像特徴点を取得し（Ｓ１３）、特徴点同士の対応付けを行う（Ｓ１４）。視線追跡装置からシーン距離画像を取得し（Ｓ１５）、シーン距離画像からシーン距離画像特徴点を抽出し（Ｓ１６）、基準距離画像特徴点を取得し（Ｓ１７）、特徴点同士の対応付けを行う（Ｓ１８）。シーン画像とシーン距離画像のうち対応付けが多い方を選択画像とし（Ｓ２０）、選択画像と基準画像等の座標を変換する座標変換行列を作成し（Ｓ３０）、座標変換行列を利用して、各シーン画像の注視点を座標変換し、基準画像上の対応点を算出する（Ｓ４０）。
【選択図】 図３

Description

本発明は、人物の視線を推定し、分析するための技術に関する。

従来、評価対象印刷物を見る人物の視線を推定・追跡して、掲載商品への視線を計測することで、注視度合いや関心度合いを解析し、生活者の購買動向を評価分析することが知られている。生活者に適切な購買情報を提供するためには、評価対象印刷物の掲載情報を、どのように見ているかを知ることが重要となる。

このような評価対象印刷物の掲載情報の注目度を分析評価するため、出願人は、簡単に、被験者に無用な視線の動きを生じさせずに高い精度で、被験者の視線を推定して追跡することができる技術を提案している（特許文献１参照）。この技術を利用して、印刷物等を正面から撮像した状態である基準画像に注視点を変換した後、基準画像上にヒートマップを作成することが可能となる。ヒートマップとは、クラスタリング等の結果による数値の大小を色の濃淡等で表現したグラフの一種である。ヒートマップにより、被験者が基準画像上のどの箇所を見ていたかを確認することができる。

特開２０１３−８１７６２号公報 特開２００７−３１９１８７号公報

ＤａｖｉｄＧ．Ｌｏｗｅ、"Ｄｉｓｔｉｎｃｔｉｖｅ ｉｍａｇｅ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｓｃａｌｅｉｎｖａｒｉａｎｔ ｋｅｙｐｏｉｎｔｓ"、Ｉｎｔ．Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、Ｖｏｌ．６０、Ｎｏ．２、ＰＰ．９１‐１１０、２００４． Ｈ．Ｂａｙ，Ｔ．Ｔｕｙｔｅｌａａｒｓ，ａｎｄＬ．ＶａｎＧｏｏｌ、"ＳＵＲＦ：Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ．Ｆｅａｔｕｒｅｓ"、ＩｎＥＣＣＶ、ｐｐ．４０４‐４１７、２００６． 橋本浩一、"ビジュアルサーボ−II−コンピュータビジョンの基礎"、日本バーチャルリアリティ学会論文誌、Ｖｏｌ.４、Ｎｏ．４、１９９９． トビー・テクノロジー・ジャパン株式会社、Ｔｏｂｉｉグラスアイトラッカー、［online］［平成２３年９月８日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｔｏｂｉｉ．ｃｏｍ／ｊａ−ＪＰ／ｅｙｅ−ｔｒａｃｋｉｎｇ−ｒｅｓｅａｒｃｈ／ｊａｐａｎ／ｐｒｏｄｕｃｔｓ／ｈａｒｄｗａｒｅ/ｔｏｂｉｉ−ｇｌａｓｓｅｓ−ｅｙｅ−ｔｒａｃｋｅｒ／＞ ＯｐｅｎＣＶ、ＳＩＦＴ／ＳＵＲＦ、［online］［平成２３年９月８日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｏｐｅｎｃｖ．ｊｐ／ｏｐｅｎｃｖ−２．２／ｃｐｐ／ｆｅａｔｕｒｅｓ２ｄ＿ｆｅａｔｕｒｅ＿ｄｅｔｅｃｔｉｏｎ＿ａｎｄ＿ｄｅｓｃｒｉｐｔｉｏｎ．ｈｔｍｌ＞ Ｖ． Ｌｅｐｅｔｉｔ ａｎｄ Ｐ． Ｆｕａ, "Ｋｅｙｐｏｉｎｔ Ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ Ｒａｎｄｏｍｉｚｅｄ Ｔｒｅｅｓ"， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ．２８， Ｎｏ．９， ｐｐ。１４６５−１４７９， ２００６. Ｍ．Ｏｚｕｙｓａｌ，Ｐ．Ｆｕａ， Ｖ．Ｌｅｐｅｔｉｔ，−Ｆａｓｔ Ｋｅｙｐｏｉｎｔ Ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ Ｔｅｎ Ｌｉｎｅｓ ｏｆ Ｃｏｄｅ．，Ｐｒｏｃ． ｏｆ Ｉｎｔ．Ｃｏｎｆ． ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（２００７）

上記特許文献１に記載の技術を利用して作成されたヒートマップを利用することにより、基準画像上のどの箇所をどの程度見ていたかを確認することはできる。しかしながら、対象物が、立体的、曲面が多い、特徴が少ないエリアが多い等の状態である場合、ある一つの角度から撮像して基準画像を得ると、対象物の特徴が正しく基準画像に反映されないという問題がある。また、対象物が、薄暗い場所で撮像された場合、視線追跡のためのシーンカメラにより撮像されるシーン画像は、実際に目で見るよりも暗く、対象物を認識してマッチングすることが難しいという問題がある。

そこで、本発明は、対象物が撮像に適さない環境に存在する場合であっても、対象物上における閲覧者の注目した箇所を特定することが可能な視線分析システムおよび視線分析装置を提供することを課題とする。

上記課題を解決するため、本発明では、対象物を撮像するカメラと、対象物との距離を測定する距離センサを備え、被験者の注視点を取得する視線追跡装置と、当該視線追跡装置とデータ通信可能な視線分析装置を有するシステムであって、前記視線分析装置は、前記カメラにより撮像されたシーン画像と、前記シーン画像上における注視点を取得するシーン画像取得手段と、前記距離センサにより測定された距離に基づくシーン距離画像を取得するシーン距離画像取得手段と、前記シーン画像から複数のシーン画像特徴点を抽出するシーン画像特徴点抽出手段と、前記シーン距離画像から複数のシーン距離画像特徴点を抽出するシーン距離画像特徴点抽出手段と、事前に準備された基準画像における基準画像特徴点と前記シーン画像特徴点の対応付けを行うシーン画像対応付け手段と、事前に準備された基準距離画像における基準距離画像特徴点と前記シーン距離画像特徴点の対応付けを行うシーン距離画像対応付け手段と、前記シーン画像とシーン距離画像のうち、対応付けが多くなされた方の画像を選択画像として、当該選択画像の特徴点と対応する基準画像または基準距離画像の対応関係に基づいて、両者の座標を変換する座標変換行列を、各選択画像ごとに作成する変換行列作成手段と、前記作成された座標変換行列を利用して、複数の前記シーン画像のそれぞれについて、前記シーン画像と対応付けられた注視点の座標を基準画像上の座標に変換し、対応点を算出する対応点算出手段と、を備えたものであることを特徴とする視線分析システムを提供する。

本発明に係る視線分析システムによれば、対象物を撮像するカメラと、対象物との距離を測定する距離センサを備え、被験者の注視点を取得する視線追跡装置を用い、カメラにより撮像されたシーン画像と、シーン画像上における注視点を取得し、距離センサにより測定された距離に基づくシーン距離画像を取得し、シーン画像から複数のシーン画像特徴点を抽出し、シーン距離画像から複数のシーン距離画像特徴点を抽出し、シーン画像特徴点と基準画像特徴点の対応付けを行い、シーン距離画像特徴点と基準距離画像特徴点の対応付けを行い、シーン画像とシーン距離画像のうち、対応付けが多くなされた方の画像を選択画像として、選択画像の特徴点と対応する基準画像または選択特徴点の対応関係に基づいて、両者の座標を変換する座標変換行列を、各選択画像ごとに作成し、作成された座標変換行列を利用して、複数のシーン画像のそれぞれについて、シーン画像と対応付けられた注視点の座標を基準画像上の座標に変換し、対応点を算出するようにしたので、対象物が撮像に適さない環境に存在する場合であっても、対象物上における閲覧者の注目した箇所を特定することが可能となる。

また、本発明では、視線分析システムの前記視線追跡装置は、前記カメラによる撮像と、前記距離センサによる測定を、同期して行うことを特徴とする。本発明によれば、カメラによる撮像と、距離センサによる測定を同期して行うようにしたので、シーン画像とともに取得した注視点を、シーン距離画像に対応する注視点として取得することができる。

また、本発明では、対象物を撮像するカメラと、対象物との距離を測定する距離センサと、を備え、前記カメラにより撮像されたシーン画像と、前記距離センサにより測定された距離に基づくシーン距離画像と、シーン画像上の被験者の注視点と、を取得する視線追跡装置に対して、データ通信可能に接続された視線分析装置であって、前記カメラにより撮像されたシーン画像と、前記シーン画像上における注視点を取得するシーン画像取得手段と、前記距離センサにより測定された距離に基づくシーン距離画像を取得するシーン距離画像取得手段と、前記シーン画像から複数のシーン画像特徴点を抽出するシーン画像特徴点抽出手段と、前記シーン距離画像から複数のシーン距離画像特徴点を抽出するシーン距離画像特徴点抽出手段と、基準画像における基準画像特徴点を複数取得する基準画像特徴点取得手段と、基準距離画像における基準距離画像特徴点を複数取得する基準距離画像特徴点取得手段と、前記シーン画像特徴点と基準画像特徴点の対応関係を求めるシーン画像対応付け手段と、前記シーン距離画像特徴点と基準距離画像特徴点の対応関係を求めるシーン距離画像対応付け手段と、前記シーン画像とシーン距離画像のうち、求められた対応関係が多い方の画像を選択画像として、当該選択画像の特徴点と対応する基準画像または選択特徴点の対応関係に基づいて、両者の座標を変換する座標変換行列を、各選択画像ごとに作成する変換行列作成手段と、前記作成された座標変換行列を利用して、複数の前記シーン画像のそれぞれについて、前記シーン画像と対応付けられた注視点の座標を基準画像上の座標に変換し、対応点を算出する対応点算出手段と、を有することを特徴とする視線分析装置を提供する。

本発明に係る視線分析装置によれば、視線追跡装置のカメラにより撮像されたシーン画像と、シーン画像上における注視点を取得するとともに、視線追跡装置の距離センサにより測定された距離に基づくシーン距離画像を取得し、シーン画像から複数のシーン画像特徴点を抽出し、シーン距離画像から複数のシーン距離画像特徴点を抽出し、シーン画像特徴点と基準画像特徴点の対応付けを行い、シーン距離画像特徴点と基準距離画像特徴点の対応付けを行い、シーン画像とシーン距離画像のうち、対応付けが多くなされた方の画像を選択画像として、選択画像の特徴点と対応する基準画像または選択特徴点の対応関係に基づいて、両者の座標を変換する座標変換行列を、各選択画像ごとに作成し、作成された座標変換行列を利用して、複数のシーン画像のそれぞれについて、シーン画像と対応付けられた注視点の座標を基準画像上の座標に変換し、対応点を算出するようにしたので、カメラと距離センサを備え、カメラにより撮像されたシーン画像、距離センサにより測定された距離に基づくシーン距離画像、対応する被験者の注視点を取得する視線追跡装置と組み合わせることにより、対象物が撮像に適さない環境に存在する場合であっても、対象物上における閲覧者の注目した箇所を特定することが可能となる。

本発明によれば、対象物が撮像に適さない環境に存在する場合であっても、対象物上における閲覧者の注目した箇所を特定することが可能となるという効果を有する。

本発明の一実施形態に係る視線分析システムの概要を示す外観図である。 本発明の一実施形態に係る視線分析システムのハードウェア構成を示す図である。 本発明の一実施形態に係る視線分析システムの処理動作を示すフローチャートである。 視線追跡装置２００により取得されるシーン画像および注視点を示す図である。 シーン画像上の注視点および特徴点を示す図である。 基準画像特徴点とシーン画像特徴点の対応関係を示す図である。 シーン画像の注視点から基準画像の対応点への変換式を示す図である。 シーン画像の注視点から基準画像の対応点への座標変換の例を示す図である。 基準画像と、注視点を変換して得られた対応点の関係を示す図である。 本実施形態に係る視線分析システムにより作成されたヒートマップの一例を示す図である。

＜１．システム構成＞
以下、本発明の好適な実施形態について図面を参照して詳細に説明する。図１は、本発明の一実施形態に係る視線分析システムの概要を示す外観図である。図１において、１００は視線分析装置、２００は視線追跡装置、３００は対象物である。図１においては、対象物としてチラシ印刷物を用いた例を示している。

視線追跡装置２００は、付属のカメラによりメガネ型の視線追跡装置２００を掛けた人物の視点に近い位置から対象物３００を撮像してシーン画像を取得するとともに、付属の距離センサにより掛けた人物からの距離に基づくシーン距離画像を取得する。撮像するタイミング、距離測定のタイミングと同期して、赤外線センサにより視点位置を取得し、シーン画像上における注視点を取得する。シーン画像と各シーン画像に対応する注視点、シーン距離画像は、送信その他の手段によりデータとして視線分析装置１００に渡される。視線分析装置１００は、対象物３００の基準画像、基準距離画像を記憶しておき、視線追跡装置２００から取得した各シーン画像の特徴点と基準画像の特徴点の対応付けを行うとともに、視線追跡装置２００から取得した各シーン距離画像の特徴点と基準距離画像の特徴点の対応付けを行い、対応付けが多く行われた方の画像を選択画像として、選択画像と基準画像または基準距離画像の座標変換行列を算出し、座標変換行列を用いて各シーン画像の注視点を基準画像上の対応点に変換する。

図２（ａ）は、視線分析装置１００のハードウェア構成図である。視線分析装置１００は、汎用のコンピュータに専用のプログラムを組み込むことにより実現することができる。図２に示すように、視線分析装置１００は、ＣＰＵ（Central Processing Unit）１０ａと、メインメモリであるＲＡＭ（Random Access Memory）１０ｂと、ＣＰＵ１０ａが実行するプログラムやデータを記憶するためのハードディスク、フラッシュメモリ等の記憶装置１０ｃと、キーボード・マウス等の指示入力部１０ｄと、視線追跡装置２００やデータ記憶媒体等の外部装置とデータ通信するためのデータ入出力Ｉ／Ｆ（インタフェース）１０ｅと、液晶ディスプレイ等の表示デバイスである表示部１０ｆを備え、互いにバスを介して接続されている。

記憶装置１０ｃには、基準画像と、上記特許文献１、非特許文献１〜７に記載の手法により基準画像から抽出された特徴点である基準画像特徴点、基準距離画像から抽出された特徴点である基準距離画像特徴点が、それぞれ各画像と対応付けて記憶されている。基準画像は、対象物の画像データそのもの、または対象物を正面から撮像することにより取得される。基準距離画像は、距離センサを対象物の正面に設置して距離の測定を行い、測定された距離に基づいて、座標と距離を対応付けたデータ配列として取得される。このデータ配列は、各座標に対応する値を階調として、表示装置に表示させることにより画像として表現することが可能であるので、基準距離画像と呼ぶことにする。基準画像と基準距離画像の画素サイズ（縦×横の画素数）は、同一になるように揃えておく。

図２（ｂ）は、視線追跡装置２００のハードウェア構成図である。赤外線光源２０１は、赤外線２０７を被験者の眼球３０１（角膜（瞳孔）や強膜（白目））に照射する。赤外線センサ２０２は、眼球３０１から反射された赤外線２０８（反射光）を受光する。シーンカメラ２０３は、二次元撮像素子である。シーンカメラ２０３は、被験者の視野ほぼ同等の光景（注視点を中心としたチラシを含む画像）をシーン画像として撮像する。距離センサ２０６は、対象物までの距離を測定するセンサである。図２（ｂ）に示した視線追跡装置２００は、特許文献１に示した公知の視線追跡装置に、公知の距離センサを取り付けることにより実現される。

距離センサ２０６としては、公知の様々な方式の距離センサを用いることができるが、本実施形態では、投射したレーザーが対象物まで往復するのにかかる時間から距離を計測するＴＯＦ（Time-of-Flight）方式を採用している。したがって、図２に示した距離センサ２０６は、レーザー光源、時間計測回路、受光部を備えた構成となっている。

処理部２０４は、演算処理回路と、記憶回路と、コネクターと、二次電池とを備える。処理部２０４は、たとえば、眼球３０１の角膜と強膜の反射率の違いを利用した強膜反射法（リンバスト・トラッキング法。特許文献２による）に基づいて、受光した反射光２０８を用いて視線を計測して、視線の方向を推定する。なお、処理部２０４は、強膜反射法の代わりに、瞳孔−角膜反射法や、角膜反射法、ダブルプリキニエ法などを用いることも可能である。そして、特許文献１に示したように推定した視線の方向と三次元空間における印刷物の位置を利用して二次元平面であるシーン画像上における注視点の座標を求める。また、処理部２０４は、求められた注視点と撮像したシーン画像とを、通信接続した視線分析装置１００に送信する。さらに、処理部２０４は、取得したシーン距離画像を、通信接続した視線分析装置１００に送信する。コネクターは、視線追跡装置２００と視線分析装置１００とに通信接続する。二次電池は、処理部２０４自身の各回路と、赤外線光源２０１と赤外線センサ２０２とシーンカメラ２０３とに、電力を供給する。処理部２０４は、記憶回路に記憶されたプログラムに従って演算処理回路が上記各処理を実行する。

＜２．処理動作＞
次に、図３に示したフローチャートを用いて、図１、２に示した視線分析システムの処理動作を説明する。まず、作業者は、メガネ型の視線追跡装置２００を起動するとともに、メガネ型の視線追跡装置２００をメガネのように掛けて、対象物３００の閲覧を開始する。視線追跡装置２００が起動されると、シーンカメラ２０３が撮像を開始し、距離センサ２０６が距離の測定を開始し、赤外線光源２０１が発光を開始し、赤外線センサ２０２も受光を開始する。図３に示したステップＳ１１〜ステップＳ１４の一連の処理と、ステップＳ１５〜ステップＳ１８の一連の処理は並行して行われる。

先に、ステップＳ１１〜ステップＳ１４の一連の処理について説明する。まず、視線追跡装置２００が、シーン画像および注視点を取得する（ステップＳ１１）。具体的には、シーンカメラ２０３が所定時間間隔で撮像を行ってシーン画像を取得し、赤外線センサ２０２により注視点を取得する。シーンカメラ２０３、赤外線光源２０１、赤外線センサ２０２は互いに同期しており、シーン画像が撮像されるタイミングで注視点が取得される。所定時間間隔としては適宜設定できるが、例えば、１秒間隔で設定することができる。また、撮影枚数も任意に設定することができる。本実施形態では、１秒間隔でシーン画像を１０枚撮影したものとして説明する。視線追跡装置２００の処理部２０４は、取得されたシーン画像と注視点を順次、図示しないデータ通信部を介して視線分析装置１００に送信する。注視点は、少なくとも対応するシーン画像中の座標を含む形式で送信される。視線分析装置１００では、データ入出力Ｉ／Ｆ１０ｅを介してシーン画像と注視点を受信する。

図４は、シーン画像Ｃと注視点Ｅの関係を示す図である。上述のように、１０枚のシーン画像が撮像された場合、視線分析装置１００は１０枚のシーン画像Ｃ１〜Ｃ１０を受信する。そして、視線分析装置１００は、各シーン画像Ｃ１〜Ｃ１０について、それぞれ対応する注視点Ｅ１〜Ｅ１０を抽出する。図４において、矩形状の枠で示したシーン画像Ｃ１〜Ｃ１０内の“・（黒丸、ドット）”は、注視点Ｅ１〜Ｅ１０の位置を示している。なお、図４の例では、シーン画像Ｃ１〜Ｃ１０として矩形状の枠のみを示しているが、実際には、図５に示すように、対象物３００の少なくとも一部（好ましくは全部）が撮像されて記録された状態となる。図５（ａ）は、１枚のシーン画像の一例を示しており、図５（ｂ）はシーン画像上に注視点がマッピングされた状態を示している。

次に、視線分析装置１００が、シーン画像特徴点の抽出を行う（ステップＳ１２）。具体的には、シーン画像を解析し、シーン画像の特徴を表現した点となるシーン画像特徴点を抽出する。シーン画像からのシーン画像特徴点の抽出は、公知の様々な手法により行うことができる。例えば、非特許文献１に記載のＳＩＦＴアルゴリズム、非特許文献２に記載のＳＵＲＦ（ＳｐｅｅｄｅｄＵｐＲｏｂｕｓｔＦｅａｔｕｒｅｓ）アルゴリズム、非特許文献６に記載のＲａｎｄｏｍｉｚｅｄ Ｔｒｅｅアルゴリズム、非特許文献７に記載のＦｅｒｎｓアルゴリズムを採用することができる。すなわち、上記アルゴリズムを実現するプログラムをＣＰＵ１０ａが実行することによりシーン画像からシーン画像特徴点の抽出を行う。本実施形態では、非特許文献１に記載のＳＩＦＴアルゴリズムに対応するプログラムをＣＰＵ１０ａが実行することにより、シーン画像特徴点が、シーン画像Ｃ１〜Ｃ１０からそれぞれ抽出されることになる。図５（ｃ）は、シーン画像Ｃ上から抽出された１つの特徴点Ｑを示している。

次に、視線分析装置１００は、基準画像特徴点を取得する（ステップＳ１３）。具体的には、基準画像から事前に抽出され、記憶されていた基準画像特徴点を記憶装置１０ｃから取得する。続いて、視線分析装置１００は、シーン画像から抽出されたシーン画像特徴点と、基準画像特徴点の対応付けを行う（ステップＳ１４）。具体的には、特許文献１に記載の手法を用い、基準画像と各シーン画像の対応する特徴点を所定数ずつ抽出して、ＳＩＦＴ特徴量の類似度が高い特徴点同士の対応付けを行う。

図６は、基準画像特徴点Ｐとシーン画像特徴点Ｑを対応付けた結果を示している。上記特許文献１に記載の手法を用いることにより、図６に示すように特徴点同士の対応付けが行われる。通常、ＳＩＦＴ特徴量の類似度と所定のしきい値を比較することにより、ＳＩＦＴ特徴量の類似度が高いか否かを判定するため、各シーン画像において、基準画像の基準画像特徴点と対応付けられるシーン画像特徴点の数は異なる。ステップＳ１４における特徴点の対応付けは、同一の対象物を撮像した画像同士で、対応する点を特定するためのものであるので、上記特許文献１に記載の手法以外の公知の様々な手法を用いることが可能である。

次に、ステップＳ１５〜ステップＳ１８の一連の処理について説明する。まず、視線追跡装置２００が、シーン距離画像を取得する（ステップＳ１５）。具体的には、距離センサ２０６が所定時間間隔で距離の測定を行ってシーン距離画像を取得する。所定時間間隔としては適宜設定できるが、例えば、１秒間隔で設定することができる。また、距離の測定回数も任意に設定することができる。本実施形態では、１秒間隔で距離を１０回測定したものとして説明する。視線追跡装置２００の処理部２０４は、距離センサ２０６により測定された距離に基づいて、座標と距離を対応付けたデータ配列を作成する。このデータ配列は、各座標に対応する値を階調として、表示装置に表示させることにより画像として表現することが可能であるので、シーン距離画像と呼ぶことにする。視線追跡装置２００の処理部２０４は、取得されたシーン距離画像を順次、図示しないデータ通信部を介して視線分析装置１００に送信する。視線分析装置１００では、データ入出力Ｉ／Ｆ１０ｅを介してシーン画像を受信する。

次に、視線分析装置１００が、シーン距離画像特徴点の抽出を行う（ステップＳ１６）。具体的には、シーン距離画像を解析し、シーン距離画像の特徴を表現した点となるシーン画距離像特徴点を抽出する。シーン画像からのシーン距離画像特徴点の抽出は、公知の様々な手法により行うことができる。例えば、シーン画像と同様、非特許文献１に記載のＳＩＦＴアルゴリズム、非特許文献２に記載のＳＵＲＦ（ＳｐｅｅｄｅｄＵｐＲｏｂｕｓｔＦｅａｔｕｒｅｓ）アルゴリズム、非特許文献６に記載のＲａｎｄｏｍｉｚｅｄ Ｔｒｅｅアルゴリズム、非特許文献７に記載のＦｅｒｎｓアルゴリズムを採用することができる。すなわち、上記アルゴリズムを実現するプログラムをＣＰＵ１０ａが実行することによりシーン距離画像からシーン距離画像特徴点の抽出を行う。本実施形態では、非特許文献１に記載のＳＩＦＴアルゴリズムに対応するプログラムをＣＰＵ１０ａが実行することにより、シーン距離画像特徴点が、シーン距離画像ＣＫ１〜ＣＫ１０からそれぞれ抽出されることになる。

次に、視線分析装置１００は、基準距離画像特徴点を取得する（ステップＳ１７）。具体的には、基準距離画像から事前に抽出され、記憶されていた基準距離画像特徴点を記憶装置１０ｃから取得する。続いて、シーン距離画像から抽出されたシーン距離画像特徴点と、基準距離画像特徴点の対応付けを行う（ステップＳ１８）。具体的には、ステップＳ１４と同様に、特許文献１に記載の手法を用い、基準距離画像と各シーン距離画像の対応する特徴点を所定数ずつ抽出して、ＳＩＦＴ特徴量の類似度が高い特徴点同士の対応付けを行う。ステップＳ１３の場合と同様に、図６に示したようなイメージで特徴点同士の対応付けが行われることになる。

上述のように、ステップＳ１１〜ステップＳ１４の一連の処理と、ステップＳ１５〜ステップＳ１８の一連の処理は並行して行われる。したがって、上述のように、ステップＳ１１〜ステップＳ１４の一連の処理を先に実行してもよいが、ステップＳ１５〜ステップＳ１８の一連の処理を先に実行してもよい。また、各シーン画像、各シーン距離画像について交互に処理を行ってもよい。いずれにしても、次の処理に進む前に、双方の処理を終えておく必要がある。

好ましくは、ステップＳ１１とステップＳ１５については、同時に行うことが好ましい。具体的には、カメラ２０３による撮像と、距離センサ２０６による測定を同期して行う。この場合、同期とは、所定の比較的短い時間範囲（例えば、０．１秒間）内で行うことを意味する。

ステップＳ１４における基準画像と各シーン画像の特徴点の対応付けが全シーン画像について完了し、ステップＳ１８における基準距離画像と各シーン距離画像の特徴点の対応付けが全シーン距離画像について完了したら、次に、採用する画像を選択する（ステップＳ２０）。具体的には、ステップＳ１４、ステップＳ１８における対応付けの結果、より多く特徴点が対応付けられた方の画像を選択する。これは、より多く対応付けが行われている方が、マッチング精度が高いと考えられるためである。

採用する画像の選択は、各シーン画像、各シーン距離画像単位で行う。すなわち、シーン画像Ｃ１とシーン距離画像ＣＫ１を比較し、特徴点が多く対応付けられた方を選択する。したがって、本実施形態のように、シーン画像１０枚、シーン距離画像１０枚を利用した場合、同じ数字の画像のどちらか１枚が選択され、計１０枚の画像が選択されることになる。例えば、シーン画像からはＣ１、Ｃ２、Ｃ５、Ｃ８が選ばれ、シーン距離画像からは、ＣＫ３、ＣＫ４、ＣＫ６、ＣＫ７、ＣＫ９、ＣＫ１０が選ばれる、というような状態となる。

次に、選択された画像と、対応する基準画像または基準距離画像の特徴点を用いて、座標変換行列を作成する（ステップＳ３０）。シーン画像が選択された場合、基準画像特徴点（Ｘ，Ｙ）、シーン画像特徴点（ｘ，ｙ）を図７（ａ）に示した所定の変換式に代入し、座標変換行列を求める。本実施形態では、座標変換行列として、３次元平面のある平面から他の平面へ投影するためのホモグラフィ行列Ｈを利用している。図７は、ホモグラフィ行列Ｈを利用した場合の、シーン画像の注視点から基準画像の対応点への変換式を示す図である。図７（ｂ）に座標変換行列として示したホモグラフィ行列Ｈのうち、要素ｈ３３はスケールファクタであるため、ｈ３３＝１として正規化すると、残りの８個の要素を求めることにより、座標変換行列が求まる。したがって、対応する基準画像特徴点（Ｘ，Ｙ）、シーン画像特徴点（ｘ，ｙ）として、それぞれ所定個以上代入することにより、要素ｈ１１、ｈ１２、ｈ１３、ｈ２１、ｈ２２、ｈ２３、ｈ３１、ｈ３２を求めることが可能となる。

ステップＳ２０においてシーン距離画像が選択された場合、基準距離画像特徴点（Ｘ，Ｙ）、シーン距離画像特徴点（ｘ，ｙ）を図７（ａ）に示した所定の変換式に代入し、シーン距離画像が選択された場合と同様にして、座標変換行列を求める。

次に、作成した座標変換行列を用いて、各シーン画像に対応する注視点の座標を基準画像上の座標に変換し、対応点を算出する（ステップＳ４０）。具体的には、ステップＳ３０において作成された座標変換行列を用いてシーン画像上の注視点を基準画像上の対応点に座標変換する。図８は、１枚のシーン画像Ｃの注視点Ｅを基準画像Ｋ上の対応点Ｔに座標変換する様子を示す図である。基準画像Ｋと基準距離画像ＫＫは最初から座標を一致させてあるので、基準距離画像ＫＫ上の対応点ＴＫは、そのまま基準画像Ｋ上のものとして処理することができる。各シーン画像の注視点を基準画像上に座標変換することにより、基準画像上に複数の対応点を求めることができる。

図９は、基準画像Ｋと対応点Ｔ、対応点ＴＫの関係を示す図である。上述のように、基準画像Ｋは、対象物３００の正面からの状態を記録した画像であり、１枚のみである。シーン画像Ｃ１、Ｃ２、Ｃ５、Ｃ８、シーン距離画像ＣＫ３、ＣＫ４、ＣＫ６、ＣＫ７、ＣＫ９、ＣＫ１０が選択画像として選ばれた場合、視線分析装置１００は、注視点Ｅ１、Ｅ２、Ｅ５、Ｅ８を、それぞれ各シーン画像Ｃ１、Ｃ２、Ｃ５、Ｃ８に対応する座標変換行列を用いて座標変換し、変換された座標を対応点Ｔ１、Ｔ２、Ｔ５、Ｔ８とする。また、注視点Ｅ３、Ｅ４、Ｅ６、Ｅ７、Ｅ９、Ｅ１０を、それぞれ各シーン距離画像ＣＫ３、ＣＫ４、ＣＫ６、ＣＫ７、ＣＫ９、ＣＫ１０に対応する座標変換行列を用いて座標変換し、変換された座標を対応点ＴＫ３、ＴＫ４、ＴＫ６、ＴＫ７、ＴＫ９、ＴＫ１０とする。図９において、矩形状の枠で示した基準画像Ｋ内の“・（黒丸、ドット）”は、対応点Ｔ１〜ＴＫ１０の位置を示している。なお、図９の例では、基準画像Ｋとして矩形状の枠のみを示しているが、実際には、対象物３００の正面からの像が記録された状態となる。

図９の例では、１枚の基準画像上に、各シーン画像、各シーン距離画像に対応する対応点Ｔ、ＴＫが計１０個得られる。なお、図９の例では、対応点が全て互いに異なる座標（画素）となる場合、すなわち１つの座標（画素）に複数の対応点が重ならない場合を示している。複数の対応点が同一の座標（画素）に重なる場合には、１つの座標（画素）に対応する対応点の数をカウントして記録する。

続いて、基準画像と対応点Ｔ、ＴＫを利用してヒートマップを作成する。具体的には、各基準画像Ｋの座標を所定の領域に分割したクラスタリングの実行や、ガウシアンフィルタ等を用いて対応点以外に着色領域等を広げる等の加工処理をすることにより、ヒートマップを作成する。対応点等の特定の点の座標（画素）を用いてヒートマップを作成する手法としては、公知の様々な手法を用いることができる。作成されたヒートマップは、カメラにより撮像された画像、距離センサにより測定された距離に基づき、より適した方の注視点を表現したものとなるので、対象物が、立体的、曲面が多い、特徴が少ないエリアが多い等の状態である場合、また、対象物が、薄暗い場所で撮像された場合であっても、対象物上における閲覧者の注目した箇所を特定することが可能となる。

本実施形態に係る視線分析システムにより作成されたヒートマップの一例を図１０に示す。ある領域に対応点が多数含まれる場合は、熱を表現した赤系統の色になり、対応注視点が含まれる数が少なくなる程、黄色、緑色と変化していく。図１０の例では、基準画像として正面から撮像された対象物であるチラシ上に熱（対応点の数）に対応する色が上書きされた状態となっている。

上記実施形態では、対象物がチラシ印刷物である場合について説明した。特に、チラシ印刷物等の平面上のものであっても、特徴が少ないエリアが多い等の状態である場合や、薄暗い場所で閲覧された場合には、本発明の効果が得られる。また、本発明は、上述のように、立体的、曲面が多い対象物が、薄暗い場所で撮像された場合にも効果を発揮する。このような例としては、自動車の座席空間内部が挙げられる。

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、メガネ型の視線追跡装置２００において、シーンカメラ２０３と距離センサ２０６を一方のレンズに対応する位置に左右方向に隣接させて設置したが、上下方向に隣接させて設置したり、左右両端に離して設置したりしてもよい。できれば、隣接して設置することが好ましい。

１０ａ・・・ＣＰＵ（Central Processing Unit）
１０ｂ・・・ＲＡＭ（Random Access Memory）
１０ｃ・・・記憶装置
１０ｄ・・・指示入力部
１０ｅ・・・データ入出力Ｉ／Ｆ
１０ｆ・・・表示部
１００・・・視線分析装置
２００・・・視線追跡装置
２０１・・・赤外線光源
２０２・・・赤外線センサ
２０３・・・シーンカメラ
２０４・・・処理部
２０６・・・距離センサ
２０７・・・赤外線
２０８・・・赤外線（反射光）
３００・・・対象物

Claims (4)

1. 対象物を撮像するカメラと、対象物との距離を測定する距離センサを備え、被験者の注視点を取得する視線追跡装置と、当該視線追跡装置とデータ通信可能な視線分析装置を有するシステムであって、
   前記視線分析装置は、
   前記カメラにより撮像されたシーン画像と、前記シーン画像上における注視点を取得するシーン画像取得手段と、
   前記距離センサにより測定された距離に基づくシーン距離画像を取得するシーン距離画像取得手段と、
   前記シーン画像から複数のシーン画像特徴点を抽出するシーン画像特徴点抽出手段と、
   前記シーン距離画像から複数のシーン距離画像特徴点を抽出するシーン距離画像特徴点抽出手段と、
   事前に準備された基準画像における基準画像特徴点と前記シーン画像特徴点の対応付けを行うシーン画像対応付け手段と、
   事前に準備された基準距離画像における基準距離画像特徴点と前記シーン距離画像特徴点の対応付けを行うシーン距離画像対応付け手段と、
   前記シーン画像とシーン距離画像のうち、対応付けが多くなされた方の画像を選択画像として、当該選択画像の特徴点と対応する基準画像または基準距離画像の対応関係に基づいて、両者の座標を変換する座標変換行列を、各選択画像ごとに作成する変換行列作成手段と、
   前記作成された座標変換行列を利用して、複数の前記シーン画像のそれぞれについて、前記シーン画像と対応付けられた注視点の座標を基準画像上の座標に変換し、対応点を算出する対応点算出手段と、
   を備えたものであることを特徴とする視線分析システム。
2. 前記視線追跡装置は、前記カメラによる撮像と、前記距離センサによる測定を、同期して行うことを特徴とする請求項１に記載の視線分析システム。
3. 対象物を撮像するカメラと、対象物との距離を測定する距離センサと、を備え、前記カメラにより撮像されたシーン画像と、前記距離センサにより測定された距離に基づくシーン距離画像と、シーン画像上の被験者の注視点と、を取得する視線追跡装置に対して、データ通信可能に接続された視線分析装置であって、
   前記カメラにより撮像されたシーン画像と、前記シーン画像上における注視点を取得するシーン画像取得手段と、
   前記距離センサにより測定された距離に基づくシーン距離画像を取得するシーン距離画像取得手段と、
   前記シーン画像から複数のシーン画像特徴点を抽出するシーン画像特徴点抽出手段と、
   前記シーン距離画像から複数のシーン距離画像特徴点を抽出するシーン距離画像特徴点抽出手段と、
   基準画像における基準画像特徴点を複数取得する基準画像特徴点取得手段と、
   基準距離画像における基準距離画像特徴点を複数取得する基準距離画像特徴点取得手段と、
   前記シーン画像特徴点と基準画像特徴点の対応関係を求めるシーン画像対応付け手段と、
   前記シーン距離画像特徴点と基準距離画像特徴点の対応関係を求めるシーン距離画像対応付け手段と、
   前記シーン画像とシーン距離画像のうち、求められた対応関係が多い方の画像を選択画像として、当該選択画像の特徴点と対応する基準画像または選択特徴点の対応関係に基づいて、両者の座標を変換する座標変換行列を、各選択画像ごとに作成する変換行列作成手段と、
   前記作成された座標変換行列を利用して、複数の前記シーン画像のそれぞれについて、前記シーン画像と対応付けられた注視点の座標を基準画像上の座標に変換し、対応点を算出する対応点算出手段と、
   を有することを特徴とする視線分析装置。
4. 請求項３に記載の視線分析装置として、コンピュータを機能させるためのプログラム。