JP2022081260A - 算出プログラム、算出方法および算出装置 - Google Patents

Abstract

【課題】画像に対するユーザの集中度を精度よく推定する。【解決手段】実施形態の算出プログラムは、取得する処理と、特定する処理と、判定する処理と、算出する処理とをコンピュータに実行させる。取得する処理は、画像と、画像におけるユーザの視線位置とを取得する。特定する処理は、画像に含まれる特徴領域を特定する。判定する処理は、視線位置が特徴領域から外れていることを検知すると、視線位置が、画像内に含まれる特定の条件を満たす特定領域と特徴領域との間を往復移動するか否かを判定する。算出する処理は、判定の結果に基づいて、ユーザの画像に対する集中度を算出する。【選択図】図６

Description

本発明の実施形態は、画像を視聴するユーザの集中度を算出する算出技術に関する。

従来、ネットなどを介して提供される講義などの学習コンテンツについては、受講者の集中度合いを直接見守ることが困難であることから、コンテンツ画像に対する受講者（ユーザ）の視線位置を検出して受講者の集中度を推定している。

このような集中度の推定については、画面におけるＶｉｓｕａｌ Ｓａｌｉｅｎｃｙ（以下、サリエンシー）の高い高サリエンシー領域への視線の追従度合いを特徴量として検出して画面を視聴しているユーザの集中度を推定する従来技術が知られている。

Automatic Gaze-Based Detection of Mind Wandering during Narrative Film Comprehension, Caitlin Mills, Robert Bixler, Xinyi Wang, & Sidney K. D’Mello, Proceedings of the 9th International Conference on Educational Data Mining, p.30-p.37

学習コンテンツを視聴しているユーザにおいて、コンテンツに対して十分に集中していても、高サリエンシー領域に視線が追従しないケースは多々存在する。例えば、講義の学習コンテンツを視聴しているユーザは、講師がポインタで指している部分の根拠を探すために、その部分以外の箇所を見る場合がある。また、ユーザは、講師が移動しながら解説している場合、講師だけに目を向けるのではなく、解説対象となっている黒板の箇所を確認する場合がある。

しかしながら、上記の従来技術では、高サリエンシー領域にユーザの視線が追従していない場合に集中していないものと推定され、推定精度が悪い場合があるという問題がある。

１つの側面では、画像に対するユーザの集中度を精度よく推定できる算出プログラム、算出方法および算出装置を提供することを目的とする。

１つの案では、算出プログラムは、取得する処理と、特定する処理と、判定する処理と、算出する処理とをコンピュータに実行させる。取得する処理は、画像と、画像におけるユーザの視線位置とを取得する。特定する処理は、画像に含まれる特徴領域を特定する。判定する処理は、視線位置が特徴領域から外れていることを検知すると、視線位置が、画像内に含まれる特定の条件を満たす特定領域と特徴領域との間を往復移動するか否かを判定する。算出する処理は、判定の結果に基づいて、ユーザの画像に対する集中度を算出する。

画像に対するユーザの集中度を精度よく推定できる。

図１は、実施形態にかかる情報処理装置の機能構成例を示すブロック図である。 図２は、受講者の視線検出を説明する説明図である。 図３は、実施形態にかかる情報処理装置の動作例を示すフローチャートである。 図４は、実施形態にかかる情報処理装置の動作例を示すフローチャートである。 図５Ａは、視線の動きを説明する説明図である。 図５Ｂは、周期度合いの評価を説明する説明図である。 図６は、受講者の視線の動きの一例を説明する説明図である。 図７は、管理者への通知例を説明する説明図である。 図８は、表示画面の一例を説明する説明図である。 図９は、コンピュータ構成の一例を説明する説明図である。

以下、図面を参照して、実施形態にかかる算出プログラム、算出方法および算出装置を説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する算出プログラム、算出方法および算出装置は、一例を示すに過ぎず、実施形態を限定するものではない。また、以下の各実施形態は、矛盾しない範囲内で適宜組みあわせてもよい。

図１は、実施形態にかかる情報処理装置の機能構成例を示すブロック図である。図１に示すように、情報処理装置１は、表示装置２と、視線検出装置３とが接続されたＰＣ（Personal Computer）などであり、通信部１０と、制御部２０と、記憶部３０とを有する。

情報処理装置１は、例えばネットなどを介して提供される講義などの学習コンテンツの画像をＬＣＤ（Liquid Crystal Display）等の表示装置２より視聴する受講者（ユーザ）が利用する端末装置などである。なお、学習コンテンツとして表示する画像は、講師が行う講義を撮影した動画像であってもよいし、講師が提示するプレゼンテーション資料などの静止画像であってもよい。

また、本実施形態では講師が行う講義を撮影した動画像のコンテンツを受講者であるユーザが視聴するものとして説明するが、ユーザが視聴するコンテンツも、学習コンテツに限定するものではなく、映画や娯楽番組などの映像コンテンツなどであってもよい。

視線検出装置３は、コンテンツの画像を視聴する受講者（ユーザ）の視線を、角膜反射法などの公知の視線検出技術を用いて検出する装置である。

図２は、受講者の視線検出を説明する説明図である。図２に示すように、視線検出装置３は、表示装置２の上部などに設置され、表示装置２に対面する受講者Ｈ１を撮影する可視光カメラまたは赤外線カメラなどである。例えば、視線検出装置３は、可視光カメラで撮影した受講者Ｈ１の目頭と虹彩の位置をもとに、表示装置２が受講者Ｈ１に対して表示している画像における受講者Ｈ１の視線位置を検出する。または、視線検出装置３は、赤外線カメラで撮影した受講者Ｈ１の角膜反射と動向の位置とをもとに、受講者Ｈ１の視線位置を検出する。次いで、視線検出装置３は、検出した視線位置を示す視線データを情報処理装置１へ出力する。

図１に戻り、通信部１０は、制御部２０の制御のもと、表示装置２および視線検出装置３、ＬＡＮ（Local Area Network）、インターネットなどのネットワークを介した他の機器と通信を行う。通信部１０は、例えば、ＮＩＣ（Network Interface Card）などによって実現される。

通信部１０は、インターネットなどを介して提供される講義などの学習コンテンツに関する動画情報３１を受信し、記憶部３０に格納する。また、通信部１０は、視線検出装置３が検出した視線データを受信し、受信した視線データを制御部２０へ出力する。

制御部２０は、表示制御部２１、領域検出部２２、視線記録部２３、追従判定部２４、特定領域判定部２５、周期性評価部２６および集中度評価部２７を有する。制御部２０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部２０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

表示制御部２１は、表示装置２における画面表示などの表示処理を行う処理部である。具体的には、表示制御部２１は、学習コンテンツなどの動画情報３１を記憶部３０より取得し、動画情報３１に基づく画像（動画）を表示装置２へと表示する。

領域検出部２２は、表示制御部２１が表示装置２へ表示する画像（動画の場合は各フレーム）に含まれる各領域（特定領域および特徴領域）を検出する処理部である。

具体的には、領域検出部２２は、表示制御部２１が表示装置２へ表示する画像（動画の場合は各フレーム）について、輝度、色、方位、方向などの特徴ごとの分析を行う。次いで、領域検出部２２は、輝度、色、方位、方向などの各特徴をもとに、ユーザ（受講者Ｈ１）に対して注意を誘引する特徴を含む、サリエンシーの高い高サリエンシー領域を特徴領域として検出する。一例として、領域検出部２２は、輝度、色、方位、方向などの各特徴について、サリエンシーの高い領域を評価した２次元の特徴マップを計算し、計算した特徴マップを統合することで画像の中から高サリエンシー領域を検出する。領域検出部２２は、検出した特徴領域（例えば高サリエンシー領域）の座標位置を示す情報を、画像ごと（動画の場合はフレームごと）に検出時刻などを付与した上でサリエンシー領域情報３３として記憶部３０に格納する。

また、領域検出部２２は、表示制御部２１が表示装置２へ表示する画像（動画の場合は各フレーム）内において、公知の画像認識処理により、特定の条件を満たす特定領域を検出する。領域検出部２２は、検出した特定領域の座標位置を示す情報を、画像ごと（動画の場合はフレームごと）に時系列順に特定領域情報３４として記憶部３０に格納する。

具体的には、領域検出部２２は、公知の画像認識処理により、画像に含まれる図および式の少なくとも一方の領域を特定領域として検出する。また、領域検出部２２は、時系列順に記録された視線情報３２を参照し、画像内において、受講者Ｈ１の視線位置に基づく視線の乱れと、視線の滞留とがある領域を特定領域として検出する。一例として、領域検出部２２は、受講者Ｈ１の視線が一定時間滞留し、かつ滞留した領域内を読み取るような視線の乱れ（例えば視線の移動する角度と距離の分散が閾値以上）がある場合に、その領域を特定領域として検出する。次いで、領域検出部２２は、検出した特定領域の座標位置を示す情報を検出時刻などを付与した上で特定領域情報３４として記憶部３０に格納する。

また、領域検出部２２は、検出した特定領域に関して、動画情報３１に含まれる音声（例えば講師の音声）での言及の有無を判別し、その判別結果を（例えばフラグなどで）特定領域情報３４に含めてもよい。具体的には、領域検出部２２は、検出した特定領域に対するＯＣＲ（Optical Character Recognition）処理による文字認識の結果と、動画情報３１に含まれる音声に対する音声認識の結果とを比較し、特定領域に関する言及の有無を判別する。次いで、領域検出部２２は、判別した言及の有無を特定領域情報３４に付与する。

視線記録部２３は、表示制御部２１が表示装置２へ表示する画像について、視線検出装置３が検出した受講者Ｈ１の視線位置を視線情報３２として記憶部３０に記録する処理部である。具体的には、視線記録部２３は、表示制御部２１が表示装置２へ画像を表示している際に、視線検出装置３が出力した視線データを取得する。次いで、視線記録部２３は、取得した視線データをもとに、画像ごと（動画の場合はフレームごと）に、画像に対する視線位置（画像上の座標）を示す視線情報３２を、検出時刻などを付与した上で時系列順に記憶部３０に記録する。

追従判定部２４は、表示制御部２１が表示装置２へ表示する画像に対し、受講者Ｈ１の視線位置が領域検出部２２が検出した特徴領域に追従しているか否かを判定する処理部である。具体的には、追従判定部２４は、画像ごとに時系列順に記録された視線情報３２と、画像ごとのサリエンシー領域情報３３とを検出時刻を合わせて比較することで、サリエンシー領域情報３３が示す特徴領域の座標位置に対し、視線情報３２が示す視線位置が追従しているか否かを判定する。

特定領域判定部２５は、受講者Ｈ１の視線位置が特徴領域に追従していない場合、画像内に含まれる特定の条件を満たす特定領域と、特徴領域との間を受講者Ｈ１の視線位置が往復移動するか否かを判定する処理部である。具体的には、特定領域判定部２５は、画像ごとに時系列順に記録された視線情報３２、サリエンシー領域情報３３および特定領域情報３４を検出時刻を合わせて比較することで、特徴領域の座標位置と、特定領域の座標位置との間を受講者Ｈ１の視線位置が往復しているか否かを判定する。

周期性評価部２６は、時系列順に記録された視線情報３２をもとに、受講者Ｈ１の視線位置に関する移動の周期性を評価する処理部である。例えば、周期性評価部２６は、視線情報３２が示す視線位置の座標を極座標系（距離（ｌ）、角度（θ））に変換する。次いで、周期性評価部２６は、変換した極座標系より、距離（ｌ）と角度（θ）のベクトル（ｌ，θ）を生成する。次いで、周期性評価部２６は、ベクトル（ｌ，θ）それぞれにおいて、時系列順の視線位置の動きから時間の関数として記述し、正規化自己相関係数を算出する。次いで、周期性評価部２６は、ベクトル（ｌ，θ）それぞれの自己相関係数で、時刻０以外でのピーク（周期性が最も高い）の係数を求める。

周期性評価部２６は、例えば、特定領域と、特徴領域との間を受講者Ｈ１の視線位置が往復移動する間について、ベクトル（ｌ，θ）それぞれにおける正規化自己相関係数より、往復移動に関する周期性を評価する。

集中度評価部２７は、表示装置２が表示する画像に対する受講者Ｈ１の視線位置に基づいて受講者Ｈ１の画像に対する集中度を評価する処理部である。具体的には、集中度評価部２７は、追従判定部２４の判定結果をもとに、受講者Ｈ１の視線位置が特徴領域に追従している場合は、追従度合いをもとに集中度を求める従来手法で集中度を評価する。また、集中度評価部２７は、受講者Ｈ１の視線位置が特徴領域に追従していない場合は、特定領域判定部２５の判定結果をもとに、特定領域と、特徴領域との間を受講者Ｈ１の視線位置が往復移動するか否かにより集中度を評価する。集中度評価部２７は、受講者Ｈ１に関する集中度の評価結果を、通信部１０を介して表示装置２やネットワーク上の他の機器へ出力する。

記憶部３０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。記憶部３０は、動画情報３１、視線情報３２、サリエンシー領域情報３３および特定領域情報３４を格納する。

図３は、実施形態にかかる情報処理装置１の動作例を示すフローチャートである。なお、図３に示すフローチャートでは、表示制御部２１による動画情報３１の表示装置２への表示処理および領域検出部２２による領域（特徴領域および特定領域）の検出処理はバックグラウンドで実行されているものとする。

図３に示すように、処理が開始されると、視線検出装置３は、受講者Ｈ１の視線位置を検出し、検出した視線位置を示す視線データを情報処理装置１へ出力する。視線記録部２３は、視線検出装置３からの視線データが示す受講者Ｈ１の視線位置を視線情報３２として記憶部３０に記録する（Ｓ１）。

次いで、追従判定部２４は、サリエンシー領域情報３３を参照し、サリエンシー領域情報３３が示すサリエンシーが高い領域（特徴領域）が動いているか否かを判別する（Ｓ２）。サリエンシーが高い領域が動いていない場合（Ｓ２：Ｎｏ）、追従判定部２４は、Ｓ１へ処理を戻す。

サリエンシーが高い領域が動いている場合（Ｓ２：Ｙｅｓ）、追従判定部２４は、視線情報３２を参照し、視線情報３２が示す受講者Ｈ１の視線位置がサリエンシーが高い領域に追従しているか否かを判別する（Ｓ３）。

受講者Ｈ１の視線位置がサリエンシーが高い領域に追従している場合（Ｓ３：Ｙｅｓ）、集中度評価部２７は、追従度合いをもとに集中度を求める従来手法により、受講者Ｈ１の画像に対する集中度の評価値（α）を算出する（Ｓ４）。

受講者Ｈ１の視線位置がサリエンシーが高い領域に追従していない場合（Ｓ３：Ｎｏ）、特定領域判定部２５は、サリエンシーが高い領域と、特定領域の間で、受講者Ｈ１の視線位置の周期的な往復があるか否かを判定する（Ｓ５）。往復がない場合（Ｓ５：Ｎｏ）、特定領域判定部２５は、Ｓ１へ処理を戻す。

往復がある場合（Ｓ５：Ｙｅｓ）、集中度評価部２７は、その往復の度合いから受講者Ｈ１の画像に対する集中度の評価値（α）を算出する（Ｓ６）。

Ｓ４、Ｓ６に次いで、集中度評価部２７は、算出した評価値（α）の時間平均や評価値（α）の値に応じた重み付けなどを行うことで、時刻（時間帯）ごとの受講者Ｈ１の集中度を評価する（Ｓ７）。次いで、集中度評価部２７は、集中度の評価結果を出力して処理を終了する。なお、評価結果については、集中度の評価値をそのまま出力してもよいし、評価値に対する閾値との比較結果（例えば閾値以上であれば集中している）を出力してもよい。

図４は、実施形態にかかる情報処理装置１の動作例を示すフローチャートであり、より具体的には、往復の度合いから集中度の評価値（α）を算出する処理（Ｓ６）の詳細を説明する図である。

図４に示すように、処理が開始されると、集中度評価部２７は、サリエンシーが高い領域から移動してきた受講者Ｈ１の視線位置が特定領域に存在していたか否かを判定する（Ｓ１０）。

ここで、特定領域は、領域検出部２２が検出した特定領域情報３４が示す座標位置の領域である。具体的には、特定領域は、表示装置２が表示している動画情報３１における画像に含まれる図および式の少なくとも一方の領域である。また、特定領域は、時系列順に記録された視線情報３２に基づいて検出された、受講者Ｈ１の視線の乱れと、視線の滞留とがある領域であってもよい。

図５Ａは、視線の動きを説明する説明図である。図５Ａに示す矢印は、所定の時間幅で計測した時刻ごと受講者Ｈ１の視線位置の動きを例示している。図５Ａに示すように、領域検出部２２は、時系列順に記録された視線情報３２をもとに、受講者Ｈ１の視線が一定時間滞留する領域を特定領域Ｒ２として検出する。

また、ケースＣ１は視線の移動する角度と距離の分散が閾値より低い場合であり、ケースＣ２は視線の移動する角度と距離の分散が閾値より高い場合である。領域検出部２２は、ケースＣ２のように視線の移動する角度と距離の分散が閾値より高い場合に、特定領域Ｒ２を検出してもよい。このように、領域検出部２２は、文章の読み取りなど、画像の内容を確認するような視線の動き（乱れおよび滞留）のある領域を特定領域としてもよい。

受講者Ｈ１の視線位置が特定領域に存在していない場合（Ｓ１０：Ｎｏ）、集中度評価部２７は、Ｓ１６へ処理を進める。受講者Ｈ１の視線位置が特定領域に存在している場合（Ｓ１０：Ｙｅｓ）、集中度評価部２７は、視線位置が特定領域に一定時間滞留したか否かを判別する（Ｓ１１）。一定時間滞留した場合（Ｓ１１：Ｙｅｓ）、集中度評価部２７は、Ｓ１４へ処理を進める。

一定時間滞留していない場合（Ｓ１１：Ｎｏ）、集中度評価部２７は、サリエンシーが高い領域に受講者Ｈ１の視線位置が戻ったか否かを判定する（Ｓ１２）。サリエンシーが高い領域に視線位置が戻っていない場合（Ｓ１２：Ｎｏ）、Ｓ１６へ処理を進める。

サリエンシーが高い領域に視線位置が戻っている場合（Ｓ１２：Ｙｅｓ）、集中度評価部２７は、サリエンシーが高い領域に視線位置が一定時間滞留したか否かを判定する（Ｓ１３）。サリエンシーが高い領域に視線位置が一定時間滞留していない場合（Ｓ１３：Ｎｏ）、集中度評価部２７は、Ｓ１６へ処理を進める。

サリエンシーが高い領域に視線位置が一定時間滞留している場合（Ｓ１３：Ｙｅｓ）、集中度評価部２７は、サリエンシーが高い領域と、特定領域との間で一回以上の視線位置の往復があったか否かを判定する（Ｓ１４）。一回以上の往復がない場合（Ｓ１４：Ｎｏ）、集中度評価部２７は、Ｓ１６へ処理を進める。

一回上の往復がある場合（Ｓ１４：Ｙｅｓ）、周期性評価部２６は、往復時のスキャンパス（視線）と、特定領域の情報から周期度合いを算出する。次いで、集中度評価部２７は、算出した周期度合いをもとに集中度の評価値（α）を算出する（Ｓ１５）。

図５Ｂは、周期度合いの評価を説明する説明図である。図５Ｂに示すように、周期性評価部２６は、時系列順に記録された視線情報３２をもとに、各時刻（Ｔ）における受講者Ｈ１の視線位置Ｒ１を極座標系（距離（ｌ）、角度（θ））に変換する（Ｓ２０）。

次いで、周期性評価部２６は、距離（ｌ）、角度（θ）それぞれを時間（Ｔ）の関数として記述し（Ｓ２１）、正規化自己相関係数（０～１）を算出する（Ｓ２２）。ここで、周期性評価部２６は、時刻０以外でのピークの係数を周期度合いの評価値（ｆ）とする。

Ｓ１５において、集中度評価部２７は、周期度合いの評価値（ｆ）と、特定領域の評価値（ｒ）とをもとに、集中度の評価値（α）＝ｆ＊ｒとして集中度の評価値を算出する。

なお、集中度評価部２７は、特定領域の評価値（ｒ）を、特定領域のおける図および式の少なくとも一方についての言及の有無をもとに求める。例えば、集中度評価部２７は、特定領域情報３４における言及の有無のフラグをもとに、言及がある場合はｒ＝１とし、言及がない場合はｒ＝０．５とする。

また、集中度評価部２７は、特定領域の評価値（ｒ）を受講者Ｈ１の視線の乱れと、視線の滞留とに応じて求めてもよい。例えば、集中度評価部２７は、滞留時間を判別するための閾値（Ｔｈ＿ｄ）以上、受講者Ｈ１の視線位置が滞留しているか否かを判別する。また、集中度評価部２７は、受講者Ｈ１の視線位置の移動する角度と距離の分散が閾値（Ｔｈ＿ｌ、Ｔｈ＿θ）以上の、視線の乱れがあるか否かを判別する。次いで、集中度評価部２７は、視線の乱れがあり、滞留している場合はｒ＝１とし、どちらか一方の場合はｒ＝０．５とする。

Ｓ１６において、集中度評価部２７は、受講者Ｈ１は画像に対して集中していないものとして集中度の評価値（α）をα＝０とする。

図６は、受講者Ｈ１の視線の動きの一例を説明する説明図である。図６に示すように、表示画面Ｇ１には、受講者Ｈ１が視聴している講義画面Ｇ２と、受講者Ｈ１を正面から撮影した受講者画面Ｇ３とが表示されているものとする。

ここで、講義画面Ｇ２は、講師Ｈ３が黒板を用いて講義を行っている画面であり、図や式などが記載された黒板が特定領域Ｒ２として検出されるものとする。また、講義画面Ｇ２では、講師Ｈ３の顔や指先などが高サリエンシー領域（特徴領域）として検出されるものとする。また、受講者Ｈ１は講師Ｈ３が行う講義に対して十分に集中しているものとする。

図６に示すように、講義画面Ｇ２を集中して視聴している受講者Ｈ１の視線位置Ｒ１は、必ずしも講師Ｈ３の顔や指先などの高サリエンシー領域に追従するものではない。例えば、講師Ｈ３が解説（言及）している黒板の記載（特定領域Ｒ２）を確認する場合がある。このため、受講者Ｈ１の視線位置Ｒ１の動きは、高サリエンシー領域と、黒板の記載（特定領域Ｒ２）とを往復するような規則性のある動きを示す。これに対し、集中していない場合の視線位置Ｒ１では、このような規則性のある動きはなく、不規則な動きとなる。

本実施形態では、高サリエンシー領域に受講者Ｈ１の視線が追従していない場合であっても、高サリエンシー領域と、黒板の記載（特定領域Ｒ２）とを往復するような規則性のある動きをもとに集中度を評価するので、集中度を精度よく推定することができる。

図７は、管理者への通知例を説明する説明図である。図７に示すように、情報処理装置１は、受講者Ｈ１における集中度の評価結果を、通信ネットワークＮを介して管理者Ｈ２側の端末へ通知してもよい。これにより、管理者Ｈ２は、受講者Ｈ１の集中度を遠隔で知ることができる。

図８は、表示画面の一例を説明する説明図であり、より具体的には管理者Ｈ２側の端末における表示画面（Ｇ４、Ｇ５、Ｇ７）例を示す図である。

図８のケースＣ１０に示すように、管理者Ｈ２の端末では、所定の受講者Ｈ１に関する情報処理装置１からの評価結果（集中度）を時間ごとに集計したグラフを評価結果画面Ｇ４に表示してもよい。

また、ケースＣ１１に示すように、管理者Ｈ２の端末では、リアルタイムに配信している講義画面Ｇ２に対する、各受講者Ｈ１に関する情報処理装置１からの評価結果（集中度）を集計した棒グラフＧ６を、講義画面Ｇ２とともに評価結果画面Ｇ５に表示してもよい。

また、ケースＣ１２に示すように、管理者Ｈ２の端末では、リアルタイムに配信している講義画面Ｇ２に対する、受講者Ｈ１ａ、Ｈ１ｂ…それぞれの集中度を示す集中度指標Ｇ８を評価結果画面Ｇ７に表示してもよい。

以上のように、情報処理装置１は、画像と、この画像におけるユーザ（受講者Ｈ１）の視線位置Ｒ１とを取得する。また、情報処理装置１は、画像に含まれる特徴領域を特定する。また、情報処理装置１は、視線位置Ｒ１が特徴領域から外れていることを検知すると、視線位置Ｒ１が、画像内に含まれる特定の条件を満たす特定領域Ｒ２と特徴領域との間を往復移動するか否かを判定する。また、情報処理装置１は、判定の結果に基づいて、ユーザ（受講者Ｈ１）の画像に対する集中度を算出する。

これにより、情報処理装置１は、受講者Ｈ１において特徴領域への視線位置Ｒ１の追従がないようなケースにおいても、特定領域Ｒ２と特徴領域との間を往復移動するような視線の動きに応じて受講者Ｈ１の集中度を推定でき、画像に対する受講者Ｈ１の集中度を精度よく推定できる。例えば、特定領域Ｒ２と特徴領域との間を往復移動するような視線の動きで特定領域Ｒ２と特徴領域との内容を見比べているような受講者Ｈ１については、画像に対しては十分に集中しているものと推定できる。

また、情報処理装置１は、画像において、ユーザ（受講者Ｈ１）に対して注意を誘引する特徴を含む領域を特徴領域として特定する。これにより、情報処理装置１は、例えば、画像において動きのある講師Ｈ３の顔、指先などのサリエンシーの高い高サリエンシー領域を特徴領域として特定することができる。このため、情報処理装置１は、特定領域Ｒ２と高サリエンシー領域との間を往復移動するような視線の動きに応じて受講者Ｈ１の集中度を推定することができる。

また、情報処理装置１は、画像に含まれる図および式の少なくとも一方を特定領域Ｒ２とする。これにより、情報処理装置１は、画像内の図および式の少なくとも一方を特定領域Ｒ２とし、図および式の少なくとも一方と特徴領域との間を往復移動するような視線の動きに応じて受講者Ｈ１の集中度を推定できる。

また、情報処理装置１は、視線位置Ｒ１に基づく視線の乱れと、視線の滞留とがある領域を特定領域Ｒ２とする。これにより、情報処理装置１は、内容を確認するような視線の動き（乱れおよび滞留）のある領域を特定領域Ｒ２とすることができる。

また、情報処理装置１は、特定領域Ｒ２と特徴領域との間の視線の往復移動における時系列の変化の周期性をもとに集中度を算出する。例えば、受講者Ｈ１が集中していない場合、視線は不規則に移動する（目が泳ぐ）ことが多くなる。逆に、受講者Ｈ１が集中している場合、特定領域Ｒ２と特徴領域との間の視線の往復移動は周期性を伴ったものとなる。したがって、情報処理装置１は、特定領域Ｒ２と特徴領域との間の視線の往復移動における周期性をもとに受講者Ｈ１の集中度を算出することで、受講者Ｈ１の集中度を精度よく推定できる。

なお、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、情報処理装置１の制御部２０で行われる表示制御部２１、領域検出部２２、視線記録部２３、追従判定部２４、特定領域判定部２５、周期性評価部２６および集中度評価部２７の各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウエア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。また、情報処理装置１で行われる各種処理機能は、クラウドコンピューティングにより、複数のコンピュータが協働して実行してもよい。

ところで、上記の実施形態で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施形態と同様の機能を有するプログラムを実行するコンピュータ構成（ハードウエア）の一例を説明する。図９は、コンピュータ構成の一例を説明位する説明図である。

図９に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、データ入力を受け付ける入力装置２０２と、モニタ２０３と、スピーカー２０４とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る媒体読取装置２０５と、各種装置と接続するためのインタフェース装置２０６と、有線または無線により外部機器と通信接続するための通信装置２０７とを有する。また、情報処理装置１は、各種情報を一時記憶するＲＡＭ２０８と、ハードディスク装置２０９とを有する。また、コンピュータ２００内の各部（２０１～２０９）は、バス２１０に接続される。

ハードディスク装置２０９には、上記の実施形態で説明した機能構成（例えば表示制御部２１、領域検出部２２、視線記録部２３、追従判定部２４、特定領域判定部２５、周期性評価部２６および集中度評価部２７）における各種の処理を実行するためのプログラム２１１が記憶される。また、ハードディスク装置２０９には、プログラム２１１が参照する各種データ２１２が記憶される。入力装置２０２は、例えば、操作者から操作情報の入力を受け付ける。モニタ２０３は、例えば、操作者が操作する各種画面を表示する。インタフェース装置２０６は、例えば印刷装置等が接続される。通信装置２０７は、ＬＡＮ（Local Area Network）等の通信ネットワークと接続され、通信ネットワークを介した外部機器との間で各種情報をやりとりする。

ＣＰＵ２０１は、ハードディスク装置２０９に記憶されたプログラム２１１を読み出して、ＲＡＭ２０８に展開して実行することで、上記の機能構成（例えば表示制御部２１、領域検出部２２、視線記録部２３、追従判定部２４、特定領域判定部２５、周期性評価部２６および集中度評価部２７）に関する各種の処理を行う。なお、プログラム２１１は、ハードディスク装置２０９に記憶されていなくてもよい。例えば、コンピュータ２００が読み取り可能な記憶媒体に記憶されたプログラム２１１を読み出して実行するようにしてもよい。コンピュータ２００が読み取り可能な記憶媒体は、例えば、ＣＤ－ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこのプログラム２１１を記憶させておき、コンピュータ２００がこれらからプログラム２１１を読み出して実行するようにしてもよい。

以上の実施形態に関し、さらに以下の付記を開示する。

（付記１）画像と、前記画像におけるユーザの視線位置とを取得し、
前記画像に含まれる特徴領域を特定し、
前記視線位置が前記特徴領域から外れていることを検知すると、前記視線位置が、前記画像内に含まれる特定の条件を満たす特定領域と前記特徴領域との間を往復移動するか否かを判定し、
前記判定の結果に基づいて、前記ユーザの前記画像に対する集中度を算出する、
処理をコンピュータに実行させることを特徴とする算出プログラム。

（付記２）前記特定する処理は、前記画像において、前記ユーザに対して注意を誘引する特徴を含む領域を前記特徴領域として特定する処理を含む、
ことを特徴とする付記１に記載の算出プログラム。

（付記３）前記特定する処理は、前記画像に含まれる図および式の少なくとも一方に対応する領域を前記特定領域として特定する処理を含む、
ことを特徴とする付記１または２に記載の算出プログラム。

（付記４）前記特定する処理は、前記視線位置に基づく視線の乱れと、当該視線の滞留とがある領域を前記特定領域として特定する処理を含む、
ことを特徴とする付記１または２に記載の算出プログラム。

（付記５）前記算出する処理は、前記往復移動における時系列の変化の周期性をもとに前記集中度を算出する処理を含む、
ことを特徴とする付記１乃至４のいずれか一に記載の算出プログラム。

（付記６）画像と、前記画像におけるユーザの視線位置とを取得し、
前記画像に含まれる特徴領域を特定し、
前記視線位置が前記特徴領域から外れていることを検知すると、前記視線位置が、前記画像内に含まれる特定の条件を満たす特定領域と前記特徴領域との間を往復移動するか否かを判定し、
前記判定の結果に基づいて、前記ユーザの前記画像に対する集中度を算出する、
処理をコンピュータが実行することを特徴とする算出方法。

（付記７）前記特定する処理は、前記画像において、前記ユーザに対して注意を誘引する特徴を含む領域を前記特徴領域として特定する処理を含む、
ことを特徴とする付記６に記載の算出方法。

（付記８）前記特定する処理は、前記画像に含まれる図および式の少なくとも一方に対応する領域を前記特定領域として特定する処理を含む、
ことを特徴とする付記６または７に記載の算出方法。

（付記９）前記特定する処理は、前記視線位置に基づく視線の乱れと、当該視線の滞留とがある領域を前記特定領域として特定する処理を含む、
ことを特徴とする付記６または７に記載の算出方法。

（付記１０）前記算出する処理は、前記往復移動における時系列の変化の周期性をもとに前記集中度を算出する処理を含む、
ことを特徴とする付記６乃至９のいずれか一に記載の算出方法。

（付記１１）画像と、前記画像におけるユーザの視線位置とを取得し、
前記画像に含まれる特徴領域を特定し、
前記視線位置が前記特徴領域から外れていることを検知すると、前記視線位置が、前記画像内に含まれる特定の条件を満たす特定領域と前記特徴領域との間を往復移動するか否かを判定し、
前記判定の結果に基づいて、前記ユーザの前記画像に対する集中度を算出する、
処理を実行する制御部を含むことを特徴とする算出装置。

（付記１２）前記特定する処理は、前記画像において、前記ユーザに対して注意を誘引する特徴を含む領域を前記特徴領域として特定する処理を含む、
ことを特徴とする付記１１に記載の算出装置。

（付記１３）前記特定する処理は、前記画像に含まれる図および式の少なくとも一方に対応する領域を前記特定領域として特定する処理を含む、
ことを特徴とする付記１１または１２に記載の算出装置。

（付記１４）前記特定する処理は、前記視線位置に基づく視線の乱れと、当該視線の滞留とがある領域を前記特定領域として特定する処理を含む、
ことを特徴とする付記１１または１２に記載の算出装置。

（付記１５）前記算出する処理は、前記往復移動における時系列の変化の周期性をもとに前記集中度を算出する処理を含む、
ことを特徴とする付記１１乃至１４のいずれか一に記載の算出装置。

１…情報処理装置
２…表示装置
３…視線検出装置
１０…通信部
２０…制御部
２１…表示制御部
２２…領域検出部
２３…視線記録部
２４…追従判定部
２５…特定領域判定部
２６…周期性評価部
２７…集中度評価部
３０…記憶部
３１…動画情報
３２…視線情報
３３…サリエンシー領域情報
３４…特定領域情報
２００…コンピュータ
２０１…ＣＰＵ
２０２…入力装置
２０３…モニタ
２０４…スピーカー
２０５…媒体読取装置
２０６…インタフェース装置
２０７…通信装置
２０８…ＲＡＭ
２０９…ハードディスク装置
２１０…バス
２１１…プログラム
２１２…各種データ
Ｃ１～Ｃ１２…ケース
Ｇ１…表示画面
Ｇ２…講義画面
Ｇ３…受講者画面
Ｇ４…評価結果画面
Ｇ５…評価結果画面
Ｇ６…棒グラフ
Ｇ７…評価結果画面
Ｇ８…集中度指標
Ｈ１、Ｈ１ａ、Ｈ１ｂ…受講者
Ｈ２…管理者
Ｈ３…講師
Ｎ…通信ネットワーク
Ｒ１…視線位置
Ｒ２…特定領域

Claims (7)

1. 画像と、前記画像におけるユーザの視線位置とを取得し、
   前記画像に含まれる特徴領域を特定し、
   前記視線位置が前記特徴領域から外れていることを検知すると、前記視線位置が、前記画像内に含まれる特定の条件を満たす特定領域と前記特徴領域との間を往復移動するか否かを判定し、
   前記判定の結果に基づいて、前記ユーザの前記画像に対する集中度を算出する、
   処理をコンピュータに実行させることを特徴とする算出プログラム。
2. 前記特定する処理は、前記画像において、前記ユーザに対して注意を誘引する特徴を含む領域を前記特徴領域として特定する処理を含む、
   ことを特徴とする請求項１に記載の算出プログラム。
3. 前記特定する処理は、前記画像に含まれる図および式の少なくとも一方に対応する領域を前記特定領域として特定する処理を含む、
   ことを特徴とする請求項１または２に記載の算出プログラム。
4. 前記特定する処理は、前記視線位置に基づく視線の乱れと、当該視線の滞留とがある領域を前記特定領域として特定する処理を含む、
   ことを特徴とする請求項１または２に記載の算出プログラム。
5. 前記算出する処理は、前記往復移動における時系列の変化の周期性をもとに前記集中度を算出する処理を含む、
   ことを特徴とする請求項１乃至４のいずれか一項に記載の算出プログラム。
6. 画像と、前記画像におけるユーザの視線位置とを取得し、
   前記画像に含まれる特徴領域を特定し、
   前記視線位置が前記特徴領域から外れていることを検知すると、前記視線位置が、前記画像内に含まれる特定の条件を満たす特定領域と前記特徴領域との間を往復移動するか否かを判定し、
   前記判定の結果に基づいて、前記ユーザの前記画像に対する集中度を算出する、
   処理をコンピュータが実行することを特徴とする算出方法。
7. 画像と、前記画像におけるユーザの視線位置とを取得し、
   前記画像に含まれる特徴領域を特定し、
   前記視線位置が前記特徴領域から外れていることを検知すると、前記視線位置が、前記画像内に含まれる特定の条件を満たす特定領域と前記特徴領域との間を往復移動するか否かを判定し、
   前記判定の結果に基づいて、前記ユーザの前記画像に対する集中度を算出する、
   処理を実行する制御部を含むことを特徴とする算出装置。

Images