JP2010204823A

JP2010204823A - 視線認識装置

Info

Publication number: JP2010204823A
Application number: JP2009048005A
Authority: JP
Inventors: Tsutomu Murakami; 勉村上; Takafumi Fujita; 隆文藤田
Original assignee: Hitachi Information and Control Systems Inc; Hitachi Information and Control Solutions Ltd
Current assignee: Hitachi Information and Control Systems Inc; Hitachi Information and Control Solutions Ltd
Priority date: 2009-03-02
Filing date: 2009-03-02
Publication date: 2010-09-16

Abstract

【課題】測定対象物を視聴している視聴者を正確に計測することのできる視線認識装置を提供する。
【解決手段】座標系に対する瞳孔の位置および角膜反射点を測定するための赤外線カメラ１と、前記座標系の既知の位置に配置され前記瞳孔の位置および角膜反射点を測定するための赤外線光源７と、前記各カメラで測定し視聴者の瞳孔の位置および角膜反射点の位置の情報をもとに視線方向が評価対称ディスプレイの方向を向いている視聴者を判別する視線測定部２と、判別した視聴者の視線方向が前記評価対象ディスプレイに向いている回数または前記評価対象ディスプレイに向いている時間を積算する視聴者情報作成部３と、作成された前記視聴者情報を格納する視聴者情報記憶部４を備えた。
【選択図】図１

Description

本発明は、視線認識装置にかかり、特に、視聴者の視線の向きをもとに視聴者数を計数する視線認識装置に関する。

広告がその地区のどのくらいの人々に視聴されたかを示す指標として、視聴率が用いられている。視聴率は、広告効果の見積り、広告料の決定等の判断基準であり、営業活動にとって重要な指標である。同様に、公共スペースなどに設置される大画面表示装置においても、視聴者情報は広告効果、広告料、大画面表示装置の設置価値、運用費等を決定する重要な指標である。

視聴率の測定は、例えばアンケートによる調査、調査対象に接続した専用機器を用いた調査等に基づいて行われている。また、視聴者を撮像した撮像データから抽出した顔画像をもとにディスプレイの方向を向いている視聴者の数を計測する視聴者情報測定装置も知られている（特許文献１参照）。

特開２００４−６４３６８号公報

前記従来技術によれば、視聴者を撮像した撮像データから抽出した顔画像をもとに視聴者の視聴方向を判定し、ディスプレイの方向を向いている視聴者の数を計測することはできる。

しかしながら、顔認識技術では、実際に視聴者がどこに視線を向けているか正確に判断することは困難である。例えば、前方に顔を向けて歩いて、横目（視線）で側面にあるポスターを見た場合、前記顔認識技術では前記ポスターの視聴を検知できない。

本発明は、これらの問題点に鑑みてなされたもので、測定対象物を視聴している視聴者を正確に計測することのできる視線認識装置を提供するものである。

本発明は上記課題を解決するため、次のような手段を採用した。

座標系に対する瞳孔の位置および角膜反射点を測定するための赤外線カメラと、
前記座標系の既知の位置に配置され前記瞳孔の位置および角膜反射点を測定するための赤外線光源と、
前記各カメラで測定し視聴者の瞳孔の位置および角膜反射点の位置の情報をもとに視線方向が評価対称ディスプレイの方向を向いている視聴者を判別する視線測定部と、
判別した視聴者の視線方向が前記評価対象ディスプレイに向いている回数または前記評価対象ディスプレイに向いている時間を積算する視聴者情報作成部と、
作成された前記視聴者情報を格納する視聴者情報記憶部を備えた。

本発明は、以上の構成を備えるため、測定対象物を視聴している視聴者の数を正確に計測することができる。

本実施形態にかかる視線認識装置を説明する図であ。視線認識方法を説明する図である。赤外線画像から視線方向を検知する方法を説明する図である。メッシュ内で検知した視線方向から、ディスプレイを視聴した視聴者の数を識別する方法を説明する図である。ディスプレイを注視している時間を計測する方法を説明する図である。視線測定部における処理の詳細を説明する図である。注視時間を計測するための情報を保存するテーブルを示す図である。視聴者情報を記憶する視聴者情報記憶部を構成するテーブル内容を説明する図である。

以下、本発明の実施形態を添付図面を参照しながら説明する。図１は、本実施形態にかかる視線認識装置を説明する図であり、ここでは視線方向が評価対象であるディスプレイの方向を向いているか否かを識別対象としている。

図１に示すように、視線認識装置は、赤外線カメラ１、視線測定部２、視聴者報作成部３、視聴者情報データ記憶部４、映像データ制御部５、評価対象ディスプレイ６、赤外線光源７、前記赤外線カメラおよび赤外線光源を制御するカメラ・赤外線制御部８を備える。カメラ１は所定周期で映像を取得し取得した映像を公知の視線測定部に供給する。

赤外線カメラ１は例えばステレオカメラであり、瞳孔の所定の座標系に対する３次元位置を測定する。また、カメラ１は眼球撮影用の高倍率のカメラである。視線測定部２は、前記光源により形成された角膜反射点と前記瞳孔の位置の情報をもとに、視聴者の視線の方向が、前記ディスプレイの方向を向いているか否かを演算する。

視聴者情報作成部３は、測定した前記視線の方向が前記ディスプレイの方向を向いている視聴者の数を計数する。計数結果は視聴者情報として逐次視聴者情報記憶部４に格納する。なお、視聴者情報記憶部４は前記ディスプレイに表示するビデオデータ（例えば広告）を格納しておき、このビデオデータを前記ディスプレイに表示する際に、表示するシーンあるいは表示時点毎に取得した前記視聴者情報と関連づけて視聴者情報記憶部４に格納してもよい。

図２は、視線測定部を説明する図である。例えば赤外線カメラ１は、常時ディスプレイ前を通過する視聴者を撮影し、視聴者がディスプレイ５に表示されている広告の方向に視線１０を向けたとき、視聴者の目９の瞳孔の所定の座標系に対する３次元位置を測定する。また、前記赤外線光源により形成された角膜反射点の位置を測定し、前記瞳孔の位置の情報と前記角膜反射点の位置をもとに、視聴者の視線の方向が評価の対象である前記ディスプレイの方向を向いているか否かを演算する。

視線９の方向がディスプレイ６の方向を向いている場合は、視線情報を視聴者情報作成部３に渡す。視聴者情報作成部３は、視聴者の視線方向が前記評価対象ディスプレイに向いている回数または前記評価対象ディスプレイに向いている時間を積算して、視聴者情報を作成し、作成した視聴者情報を視聴者情報データ記憶部４に保存する。

図３は、赤外線カメラ１で撮影した赤外線画像１２から視線方向の起点１３を検知するための方法を説明する図である。図３（ｂ）に示すように、視線測定カメラ１で撮影した赤外線画像３（ａ）をメッシュ１４状に分割し、分割した各画像ごとに処理を行う。このように、赤外線画像１２を分割し、視線方向の起点１３の検知をメッシュ単位で並列に処理することにより、検知時間を短縮することができる。

図４は、メッシュ内で検知した視線方向から、ディスプレイを視聴した視聴者の数を認識する方法を説明する図である。まず、図４に示すように、メッシュ内で前記ディスプレイの方向を向く視線の数をカウントする。次に、一つの視線の起点の位置と他の視線の起点間の距離および前記視線の数をもとに、同一人の一方の視線を排除して、ディスプレイを視聴した視聴者の数をカウントする。なお、同一人の視線であると判定する視線方向の起点判定距離１５は、赤外線カメラ１からの距離を測定し測定した距離にしたがったパターンファイルで決定するのが望ましい。また、視線方向の起点が別のメッシュに跨っている場合は、該当するメッシュと組み合わせてカウントするとよい。

図５は、ディスプレイを注視している時間を計測する方法を説明する図である。図５に示すように、所定周期で、視聴者のメッシュ１４上における視線の起点の位置座標をＸ軸，Ｙ軸で検知し、検知した座標位置を保持する。次いで、前記保持した視線の起点の位置座標（前回値）と、今回検知した視線の起点の位置座標（今回値）を比較し、その差が所定値以内である場合、視聴者は前記ディスプレイを注視しているものと判断する。

図６は、視線測定部における処理を説明する図である。図６に示すように、視線測定部２は、赤外線カメラで視聴者を撮影した画像を取得し（ステップＳ１１）、取得した赤外線画像をメッシュ状に分割する（ステップＳ２）。次にメッシュ状に分割された画像毎に、視聴者の目の瞳孔の位置および角膜反射点の位置を測定し、前記瞳孔の位置の情報と前記角膜反射点の位置の情報をもとに、視聴者の視線の方向が評価の対象である前記ディスプレイの方向を向いているか否かを演算する（ステップＳ１３，１４）。次に、視聴者のメッシュ１４上における視線の起点の位置座標をＸ軸，Ｙ軸で検知し、検知した座標位置を保持する。次いで、前記保持した視線の起点の位置座標（前回値）と、今回検知した視線の起点のいち座標（今回値）を比較し、その差が所定値以内である場合視聴者は前記ディスプレイを注視しているものと判断する（ステップＳ１５）。

図７は、注視時間を計測するための情報を保存するテーブルを示す図である。メッシュＮｏは、赤外線画像をメッシュ毎に分割したメッシュの番号を示し、データを管理する一意の番号となる。前回値視点位置Ｘは、前回検知した視線の起点位置のＸ座標を示す。前回値視点位置Ｙは、前回値の視線の起点位置のＹ座標を示す。一人に対して視線起点の一点を保存する。２点あった場合に保存する視線起点は、例えば画像の左上を始点として、Ｙ座標を右に検索し、Ｘ座標を１下方向に移動して、Ｙ座標を右に検索し、最初に検索した位置を保存する。注視回数は、前回値と同じ視線起点と判断した場合にカウント数をインクリメントする。注視時間は、前回値と同じ視線起点と判断した場合の累計時間を表す。

図８は、視聴者情報を記憶する視聴者情報記憶部４を構成するテーブル内容を説明する図である。図８に示すように、テーブルは、広告名、広告場所、広告位置、日付、表示開始時刻、表示終了時刻、視聴回数、視聴時間を備える。

広告名は、データを管理する一意の名称である。場所は、ディスプレイを設置する場所（例えば、駅、デパート）を表す。位置は、ディスプレイの設置する位置（例えば、壁、天井、床、あるいは同じ場所に複数台並べたときの位置）を表す。日付は、コンテンツを表示して視聴情報を計測した日付を表す。表示開始時刻および表示終了時刻は、広告の表示開始時刻および終了時刻を表す。視聴回数は、視線方向がディスプレイの方向を向いていることを検知した視聴者の視聴回数である。視聴時間は、視聴者が注視している時間の積算値である。また、視聴者情報記憶部４は、記憶した情報を解析する解析部を備えることができる。

例えば、図８に示す視聴者情報を保存し、それぞれの要素間の相関関係を分析することにより、例えば、同じ広告でも駅とデパートでは視聴する時間帯により、視聴回数と視聴時間に違いがあったりとか、ディスプレイを設置している位置が天井と壁とでは、視聴回数が大きく異なるとか、同じ場所に設置していても広告やコンテンツにより、視聴回数が異なるといったようなことを分析することにより、ディスプレイによる広告の効果を定量的に評価することができる。これにより、ディスプレイをどこに設置すれば告効果があるかとか、どこのディスプレイに広告を出せば効果があるかなどといった評価をすることができる。

また、図８に示す視聴者情報をリアルタイムで集計することにより、広告主に広告効果をリアルタイムで伝えることができる。これにより、広告に対する市場調査の即効性を高めることができる。

また、リアルタイムで集計できることより、ディスプレイでコンテンツ表示する場合において、注視している人数がある値以上であれば、サプライズ的なコンテンツに切り替えることによりより注視させて広告効果を上げることができる。

以上の説明では、視聴者が視線を向けている（注視している）対象としてディスプレイを例にして説明したが、本実施形態による視線認識装置は、広告（ポスターやディスプレイ）以外でも街中のショーウィンドウにどれだけの人が目線を向けているかを計測することも可能である。ショーウィンドウには、最新の商品を飾る場合が多いので、ショーウィンドウ全体に目線を向ける視聴回数を計測することや、ショーウィンドウに並べている複数の商品からどの商品に最も視線が向けられているかを調査することにより商品の人気動向を評価することができる。

また、本実施形態による視線認識装置を講演あるいは講義会場に設置することにより、視聴者の興味の程度、あるいは視聴した人数等を視線をもとに評価することができる。例えば、塾等で講義内容に興味があれば、視線は自然と講師や教壇の方を向く。このため視聴時間により、講義内容を評価することができる。

以上説明したように、本実施形態によれば、視聴者の視線の向きを眼の瞳孔と角膜反射点から計測し、視線方向を判定し、さらに視線方向の判定結果を基に、視聴者がコンテンツを注視した位置、時間帯、回数、をコンテンツの内容に対応付けて記憶する手段を備える。このため、視聴者がディスプレイを実際に注視している程度が、ディスプレイを設置した場所、設置した位置、時間帯、表示するコンテンツの内容によってどれだけ変化したか、といった相関関係を表すことができる。この相関関係を分析することにより、前記の各要素に対して、その価値を定量的に表すことができる。

１赤外線カメラ
２視線測定部
３視聴者情報作成部
４視聴者情報記憶部
５映像データ制御部
６ディスプレイ
７赤外線光源
８カメラ・赤外線制御部

Claims

座標系に対する瞳孔の位置および角膜反射点を測定するための赤外線カメラと、
前記座標系の既知の位置に配置され前記瞳孔の位置および角膜反射点を測定するための赤外線光源と、
前記各カメラで測定し視聴者の瞳孔の位置および角膜反射点の位置の情報をもとに視線方向が評価対称ディスプレイの方向を向いている視聴者を判別する視線測定部と、
判別した視聴者の視線方向が前記評価対象ディスプレイに向いている回数または前記評価対象ディスプレイに向いている時間を積算する視聴者情報作成部と、
作成された前記視聴者情報を格納する視聴者情報記憶部を備えたことを特徴とする視線認識装置。
請求項１記載の視線認識装置において、
前記記憶された視聴者情報をもとに前記ディスプレイの設置状況および前記ディスプレイに表示するコンテンツの内容毎に視線方向が前記評価対象ディスプレイに向いている回数または前記評価対象ディスプレイに向いている時間を評価して表示することを特徴とする視線認識装置。