JP2006202015A - 注視状態検出装置および注視状態推定方法 - Google Patents

Abstract

【課題】携帯端末への注視状態を検出することができる注視状態検出装置および注視状態推定方法を提供する。
【解決手段】注視状態検出装置に、センサからの情報に基づいて、観測データの時系列変化の統計的特徴を示す注視状態モデルを生成する遷移状態モデル生成手段と、注視状態モデルを記憶する遷移状態パターン蓄積手段と、注視状態モデルおよび／またはセンサからの計測情報に基づいて、注視遷移状態の推定を行うリアルタイム遷移状態判定手段とを備えることにより達成される。
【選択図】図３

Description

本発明は、携帯できる情報表示端末への利用者（ユーザ）の注視状態を推定する注視状態検出装置および注視状態推定方法に関する。

携帯電話に加速度センサや角速度センサ等の運動センサを取り付け、それらのセンス情報を検知し、その出力を表示する、あるいはその出力を用いて新たな情報表示機能と情報処理機能とを備えた装置がある(例えば、特許文献１参照)。この装置は、携帯端末へのユーザの注視状態を検知することを第１の目的としてはいないが、加速度または角速度の出力データを表示するとともに、これらの出力の少なくとも一つが、予め定めた値を超えたとき、所定の表示を行う表示機能を備え、ユーザの携帯端末の使用状態を判別する機能を有する。本装置の機能を利用することで、携帯電話を一層有用な携帯用電子機器として用いることができる。
特開２００１−２７２４１３号公報 L.E.Baum and J.A.Eagon: "An equality with applications to statistical prediction for functions of Markov processes and to a model for ecology", Bull. Am. Math. Soc., 73, pp.360-363, 1967

しかしながら、上述した背景技術には以下の問題がある。

このような装置では、特定時刻での出力値に対して閾値判定処理が行われるため、突発的に発生する事象には大きく影響を受け、様々な雑音が混在し、正確かつロバストな判定が困難である問題がある。例えば、運動センサを備えた携帯電話が鞄の中で何かのきっかけで動いた場合、また机の上で何かに押されて移動した場合、また、その後、斜めの状態で停止した場合などには対処できない。したがって、ある特定時刻における出力値に対する閾値処理だけで携帯端末への注視を特定することは困難である。

そこで、本発明では、携帯端末への注視状態を検出することができる注視状態検出装置および注視状態推定方法を提供することを目的とする。

上記課題を解決するため、本発明の注視状態検出装置は、センサからの情報に基づいて、観測データの時系列変化パターンの統計的特徴を示す注視状態モデルを生成する遷移状態モデル生成手段と、前記注視状態モデルを記憶する遷移状態パターン蓄積手段と、前記注視状態モデルおよび／またはセンサからの情報に基づいて、注視遷移状態の推定を行うリアルタイム遷移状態判定手段とを備える。

このように構成することにより、携帯端末に装着されたセンサからの情報に基づいて、同端末へのユーザの注視状態を識別できる。

また本発明の注視状態推定方法は、利用情報が入力されたか否かを判定するステップと、前記判定に基づいて、センサからの情報を取得するステップと、予め生成された観測データの時系列変化パターンの統計的特徴を示す注視状態モデルおよび／または前記センサからの情報に基づいて、注視遷移状態の推定を行うステップとを有する。

このようにすることにより、携帯端末に装着されたセンサからの情報に基づいて、同端末へのユーザの注視状態を識別できる。

本発明の実施例によれば、携帯端末への注視状態を検出することができる注視状態検出装置および注視状態推定方法を実現できる。

次に、本発明の実施例について図面を参照して説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を用い、繰り返しの説明は省略する。

最初に、本発明の実施例にかかる注視状態検出装置の原理について、図１を参照して説明する。

本実施例にかかる注視状態検出装置１１０は、携帯できる情報表示端末、例えば携帯端末１００に装着された各種センサなどからの情報を利用してユーザの携帯端末１００への“注視状態”または“非注視状態”を判定し、出力する。また、注視状態検出装置１１０は、携帯端末１００に装着された各種センサからの情報だけでなく、携帯端末１００へのユーザからのインタラクション、あるいは携帯端末１００に搭載されたＯＳからの情報を利用してユーザの携帯端末１００への“注視状態”または“非注視状態”を判定し、出力する。

注視状態検出装置１１０は、図１に示すように、センサ部１５０と接続されたリアルタイム遷移状態判定部１０２と、リアルタイム遷移状態判定部１０２と接続されたノンリアルタイム遷移状態判定部１０４と、リアルタイム遷移状態判定部１０２およびノンリアルタイム遷移状態判定部１０４と接続された状態遷移パターン蓄積部１０６とを備える。

リアルタイム遷移状態判定部１０２は、状態遷移パターン蓄積部１０６に予め蓄積された状態遷移パターン情報を用いて、各種センサからの情報、ユーザからのインタラクション情報、携帯端末１００に搭載されたのＯＳからの情報のうち少なくとも１つから得られる情報に基づくパターン識別処理により、リアルタイムに“注視状態”または“非注視状態”を判定する。

ノンリアルタイム遷移状態判定部１０４は、状態遷移パターン蓄積部１０６に蓄積された状態遷移パターン情報を用いて、時間を遡って“注視状態”または“非注視状態”を判定する。

すなわち、リアルタイム遷移状態判定部１０２およびノンリアルタイム遷移状態判定部１０４は、ユーザからのインタラクション情報、ＯＳ情報など、明確に識別可能な情報から“注視状態”または“非注視状態”を識別する。

また、リアルタイム遷移状態判定部１０２およびノンリアルタイム遷移状態判定部１０４は、センサ部１５０に備えられたセンサからの情報における“注視状態”の信号特徴量と、“非注視状態”の信号特徴量との比較から、“注視状態”または“非注視状態”を識別する。例えば、図２に示すように、各センサ、例えば加速度センサ、各速度センサ、角度センサおよび振動数センサから得られた情報における“注視状態”の信号特徴量と“非注視状態”の信号特徴量との比較から識別する。図２の場合、角度センサおよび振動数センサの信号特徴量から注視状態が識別される。

状態遷移パターン蓄積部１０６は、携帯端末１００のセンサ部１５０に備えられた各種センサからの情報に基づいて生成された状態遷移パターン情報、すなわち“注視状態”の信号特徴パターンと“非注視状態”の信号特徴パターンとを蓄積する。

携帯端末１００に装着されるセンサとしては、例えば傾きセンサ、加速度センサ、各速度センサ、各加速度センサ、振動センサ、圧力センサ、照度センサ、温度センサおよび湿度センサの少なくとも１つである。

次に、本実施例にかかる携帯端末１００について、図３を参照して詳細に説明する。携帯端末１００は、センサとしてのセンサ部１５０と、センサ部１５０と接続された注視状態検出装置１１０とを備える。注視状態検出装置１１０は、センサ部１５０に備えられたセンサと接続されたセンサ情報計測部１０８と、センサ部１５０に備えられたＩ／Ｆと接続されたインタラクション情報計測部１１０およびアプリケーション情報計測部１１２と、ＯＳ情報計測部１１４と、センサ情報計測部１０８、インタラクション情報計測部１１０、アプリケーション情報計測部１１２およびＯＳ情報計測部１１４と接続された収集情報記憶部１１６、リアルタイム遷移状態判定部１０２、ノンリアルタイム遷移状態判定部１０４および遷移状態モデル生成部１１８と、リアルタイム遷移状態判定部１０２と接続された遷移状態パターン蓄積部１０６、遷移状態判定結果記憶部１２０および遷移状態判定結果出力部１２２とを備える。遷移状態パターン蓄積部１０６は、遷移状態モデル生成部１１８と接続され、遷移状態判定結果記憶部１２０は、ノンリアルタイム遷移状態判定部１０４および遷移状態判定結果出力部１２２と接続され、ノンリアルタイム遷移状態判定部１０４は、遷移状態モデル生成部１１８および収集情報記憶部１１６と接続される。また、リアルタイム遷移状態判定部１０２、遷移状態パターン蓄積部および遷移状態モデル生成部１１８はリアルタイム状態推定部１２４を構成する。

センサ情報計測部１０８は、携帯端末１００に装着されたセンサ部１５０に備えられた数種のセンサから計測情報を取得する。例えば、センサ情報計測部１０８は、入力されるセンサからの計測情報またはセンサからの計測情報を周波数変換した情報を、任意のフレーム間隔に対応する時間毎に切り出す。計測情報としては、振動センサ情報、加速度センサ情報、各速度センサ情報、角加速度情報、ジャイロセンサ情報、照度センサ情報および圧力センサ情報のうち少なくとも１つである。

インタラクション情報計測部１１０は、携帯端末１００に対するユーザのインタラクション情報、例えばキー入力情報を計測する。

アプリケーション情報計測部１１２は、携帯端末１００上で実行されているアプリケーション状態を取得する。アプリケーション情報計測部１１２により検出される対象は、実行されているアプリケーションの種類、例えば、音声通話、Ｗｅｂブラウザ、Ｅ−ｍａｉｌソフト、ストリーミングアプリケーション、画像Ｖｉｅｗｅｒ、辞書、各種設定画面等であり、検出される状態は、例えば、カーソル位置、スクロール状態、リモートサーバアクセス状態、アドレス検索状態、本文テキスト入力状態、送信中、受信メッセージ閲覧状態等である。

すなわち、アプリケーション情報計測部１１２は、携帯端末１００の表示メディア状態、例えば、基準画面状態、ストリーミング等の映像表示状態、テキスト情報のフォントサイズ、スクロール速度、色、フラッシュ状態、画面位置、占有面積等を検出する。

ＯＳ情報計測部１１４は、携帯端末１００のオペレーティングシステムの状態を計測する。ＯＳ情報計測部１１４により検出される対象は、画面電源状態、メモリ状態、ＣＰＵ稼動状態、携帯端末１００が折りたたみ式である場合にはその液晶画面の開閉状態等が含まれる。

収集情報記憶部１１６は、上述したセンサ情報計測部１０８、インタラクション情報計測部１１０、アプリケーション情報計測部１１２およびＯＳ情報計測部１１４により得られる情報を、得られた時刻とともに記憶する。

遷移状態モデル生成部１１８は、上述したセンサ情報計測部１０８、インタラクション情報計測部１１０、アプリケーション情報計測部１１２およびＯＳ情報計測部１１４により得られる情報に基づいて、注視遷移状態を推定するための教師状態パターン（以下、モデルパラメータと呼ぶ）を生成する。

遷移状態パターン蓄積部１０６は、遷移状態モデル生成部１１８で生成されたモデルパラメータを蓄積する。

リアルタイム遷移状態推定部１０２は、上述したセンサ情報計測部１０８、インタラクション情報計測部１１０、アプリケーション情報計測部１１２およびＯＳ情報計測部１１４により得られる情報に基づいて、注視遷移状態を推定する。推定される注視遷移状態は、携帯端末１００への注視状態、非注視状態、およびそれら間を遷移する移動状態のいずれか１つである。

例えば、検出対象とする注視遷移状態に対応する注視遷移状態パターンに関する統計的特徴に基づいて、注視遷移状態の推定を行う。この場合、一例として、遷移状態パターン蓄積部１０６にモデルパラメータとして隠れマルコフモデルのパラメータを予め蓄積しておき、蓄積された隠れマルコフモデルのパラメータを用いて、算出された検出対象の注視遷移状態パターンに基づいて注視遷移状態の推定を行う。また、推定で得られた時間的に隣り合う２つの遷移状態の連続性を保証できるように遷移状態情報の修正を行うようにしてもよい。

遷移状態判定結果記憶部１２０は、リアルタイム遷移状態判定部１０２により推定された注視遷移状態情報を記憶し、蓄積する。

ノンリアルタイム状態推定部１０４は、上述したセンサ情報計測部１０８、インタラクション情報計測部１１０、アプリケーション情報計測部１１２およびＯＳ情報計測部１１４から得られる情報と、収集情報記憶部１１６に蓄積された情報と、遷移状態判定結果記憶部１２０に蓄積された注視遷移状態情報とから、時間を遡った過去の注視遷移状態の推定を行う。

また、ノンリアルタイム状態判定部１０４により最終的に決定された注視遷移状態と、収集情報記憶部１１６に蓄積されている決定された注視遷移状態に対応する時刻のセンサ情報とに基づいて、遷移状態モデル生成部１１８は、モデルパラメータを更新する。

遷移状態判定結果出力部１２２は、遷移状態判定結果を出力する。

本実施例にかかる注視状態検出装置１１０は、数種から構成される注視遷移状態パターンｉに関する観測データの時系列変化パターンの統計的特徴を注視状態モデルλ_ｉとして学習しておき、観測ベクトルＯが注視状態モデルλ_ｉから出力されたとする尤度P(O|λ_ｉ)を、事後確率として算出する。次に、複数の時系列変化パターンから算出された全ての尤度P(O|λ_ｉ)を用いて、注視遷移状態パターンｉを決定する。得られた注視遷移状態パターンｉの結果は、遷移状態判定結果出力部１２２および遷移状態判定結果記憶部１２０に入力される。

本実施例にかかる注視状態検出装置１１０においては、各種センサ情報の観測ベクトルOに関する統計的特徴に基づいて、注視遷移状態の推定を行う。観測ベクトルOとして利用するセンサ情報は、加速度センサ情報、各速度センサ情報、角加速度情報、ジャイロセンサ情報、照度センサ情報、圧力センサ情報等である。そして、これらの観測データの時系列データに基づいて観測ベクトルOを算出する。この観測ベクトルは、センサ情報数分の多次元ベクトルとして表現される。

また、例えば、インタラクション情報としてキーボード入力情報、アプリケーション情報としてストリーミングビデオの再生状況、ＯＳ情報として表示画面や画面ライトのＯＮ／ＯＦＦ情報等を使用するようにしてもよい。以下、インタラクション情報、アプリケーション情報およびＯＳ情報などの直接的にユーザが携帯端末１００を利用していることを明確に表現できる情報を一括して利用情報と呼ぶ。

本実施例においては、時系列データのパターン認識手法の一例として、時系列データの取り扱いに優れる隠れマルコフモデルを使用した場合について説明する。

隠れマルコフモデルを用いてパターン認識を行うためには、まず認識対象とする注視状態モデルλ_ｉのパラメータπ_ｉ、Ａ_ｉ、Ｂ_ｉを学習しておく必要がある。図４に示すように、π_ｉは注視遷移状態パターンｉの初期存在確率、Ａ_ｉは状態間遷移確率、Ｂ_ｉはシンボル出力確率である。ただし、複数のセンサ情報を対象とするため、信号毎に、対応する初期存在確率、状態間遷移確率、シンボル出力確率系列および統計量が存在する。したがって、パラメータπ_ｉ、Ａ_ｉおよびＢ_ｉも信号毎に区別され導出される。パラメータの推定および学習は、事前にオフラインにて行うようにしてもよいし、また、オンラインにて行うようにしてもよい。

遷移状態モデル生成部１１８は、隠れマルコフモデルのパラメータの推定を行う。また、遷移状態モデル生成部１１８は、隠れマルコフモデルのパラメータの推定にあたり、認識対象とする注視遷移状態パターンのカテゴリおよび観測ベクトルOとして用いるデータの種類の設定、モデル状態数および状態間遷移の定義、観測ベクトルの出力確率を決定する確率密度分布の決定を行う。

注視状態パターンのモデル構造については、例えば後ろ向き状態間遷移および状態間スキップの無い一方向性Left-to-Forward型とし、観測ベクトルの出力確率分布は正規分布とする。

認識対象とする注視遷移状態パターンのカテゴリとして、例えば、図５に示すように、非注視状態、注視状態、携帯端末１００の移動状態の組み合わせから構成される１３種類の遷移状態（TS: Transition State）を設定する。ここでは、非注視状態と注視状態との間では、端末の移動状態が必ず発生すると仮定する。

隠れマルコフモデルのパラメータ推定には、一般的にBaum-Welchアルゴリズムが用いられる（例えば、非特許文献１参照）。例えば、収集された観測データをコンピュータに入力し、Baum-Welchアルゴリズムを実装したパラメータ推定用プログラムを用いてパラメータの推定が行われる。隠れマルコフモデルにおける注視状態モデルλ_ｉのパラメータである初期存在確率π_ｉ、状態間遷移確率Ａ_ｉおよびシンボル出力確率Ｂ_ｉを、各注視状態パターンｉに対して、それぞれ学習係数が収束するまで推定を繰り返す。Baum-Welchアルゴリズムによる推定が完了すると、推定されたパラメータは、状態毎に遷移状態パターン蓄積部１０６に記憶される。

次に、以上の学習された注視状態モデルλ_ｉに基づいて、注視遷移状態が推定される。ただし、利用情報が観測される場合には、直接的にユーザが携帯端末１００を利用していることが明確であるため、注視継続状態ＴＳ２として決定する。

リアルタイム遷移状態判定部１０２は、入力された新たな観測ベクトルOと、予め学習された隠れマルコフモデルにおける注視状態モデルλ_ｉのパラメータとに基づいて、注視遷移状態を推定する。例えば、リアルタイム遷移状態判定部１０２は、隠れマルコフモデルを用いて予め算出された検出対象の注視状態パターンと、実際に得られた信号遷移パターンから得られる観測ベクトルＯとの比較を行うことにより、リアルタイムに注視遷移状態の推定を行う。

具体的には、図６に示すように、上述した１３種類の各注視遷移状態パターンｉ（ｉ＝０，．．．，１２）について、観測ベクトルOが注視状態モデルλ_ｉから出力されたとする事後確率(尤度)Pi(O|λ_ｉ)を算出する。この算出方法としては、隠れマルコフモデルの一般的な出力確率算出アルゴリズムであるForward-Backwardアルゴリズム等を使用する。そして、算出された尤度のうち、値が最も高い尤度に対応する注視遷移状態パターンを、注視遷移状態とする。つまり、注視状態モデルから、観測ベクトルOが出力されたとする尤度Pが最も高い場合には、その注視遷移状態パターンが当該時刻の注視遷移状態としての候補となる。

次に、リアルタイム遷移状態判定部１０２は、候補状態間の連続性について調査する。例えば、図７に示すように、非注視状態（ＴＳ０）と注視−移動−非注視遷移状態（ＴＳ１０）が連続して発生した場合、両状態間は非連続となる。そこで、このような場合には、時間的に後に発生した注視−移動−非注視遷移状態（ＴＳ１０）内部の前半部である注視状態を非注視状態へ変更し、結果として非注視−移動−非注視遷移状態（ＴＳ７）を出力する。このようにすることにより、状態間の連続性を実現する。

例えば、このような変更方法については、時間上連続して発生する２つの遷移状態に対応するＴＳ番号を入力し、連続性が確保された２つの遷移状態を示すＴＳ番号を出力するマッピングテーブルを予め用意することで実現する。このようなマッピングテーブルの一例を図８に示す。図８において、左側縦に並んだ状態は、２つの隣り合う遷移状態の前（Ｔ＝ｎ）に発生した状態、上側横に並んだ状態は、後（Ｔ＝ｎ＋１）に発生した状態を示す。図８における空欄については、時間的に前に発生した遷移状態の最後部と、時間的に後に発生した遷移状態の開始部が、移動要素で構成されており、予め連続性は保証されている。

また、リアルタイム遷移状態判定部１０２は、連続性の確保の方法として、算出した尤度Pi(O|λ_ｉ)を比較することで、前後隣り合う遷移状態の内、より大きい尤度Pi(O|λ_ｉ)を有する遷移状態ＴＳの方へ変更するようにしてもよい。

また、リアルタイム遷移状態判定部１０２は、前後する２つの遷移状態の一部、もしくは全体が共通しているものについては、統合して出力するようにしてもよい。具体的には、時間的に前に発生した遷移状態の全体、もしくは後半部分が、時間的に後に発生した遷移状態の全体と共通の場合は、後者の遷移情報を出力しない。また、時間的に前に発生した遷移状態の全体、もしくは後半部分が、時間的に後に発生した遷移状態の前半部分と共通の場合は、共通部分以外を後者の遷移状態として出力する。ただし、遷移状態が１つの要素で構成される場合、例えばＴＳ＝０、１、２の場合は、統合は行わない。この場合のマッピングテーブルを図９に示す。図９において“No output”と記載された欄は統合され、前の時刻の状態に集約された遷移状態を示し、ハッチングされた欄については前の時間の状態と一部統合された遷移状態を示す。このように、信号情報からだけでは検知することが困難である非連続なパターンを、予め用意した非連続性パターンとのパターンマッチング処理を行うことにより、推定により得られた時間的に隣り合う２つの遷移状態の連続性を保証することができる。

以上のように得られた注視遷移状態情報を、遷移状態判定結果記憶部１２０に記憶する。

次に、注視遷移状態を推定する方法について説明する。

最初に、リアルタイム遷移状態判定部１０２において行われるリアルタイム遷移状態推定方法について、図１０を参照説明する。

インタラクション情報計測部１１０、アプリケーション情報計測部１１２およびＯＳ情報計測部１１４は、インタラクション情報、アプリケーション情報およびＯＳ情報などをリアルタイム遷移状態判定部１０２に入力する（ステップＳ１００２）。

次に、リアルタイム遷移状態判定部１０２は、利用情報があるか否かを判断する（ステップＳ１００４）。利用情報がある場合（ステップＳ１００４：ＮＯ）、注視遷移状態Ｓｉを注視継続状態ＴＳ２とし（ステップＳ１００６）、Ｓｉ、Ｐｉ（Ｏ｜λｉ，ｉ＝ａｌｌ）を出力する（ステップＳ１０１８）。

一方、利用情報がない場合（ステップＳ１００４：ＹＥＳ）、観測ベクトルＯを算出する（ステップＳ１００８）。次に、尤度Ｐｉ（Ｏ｜λｉ）を算出する（ステップＳ１０１０）。次に、状態間の連続性を実現するために行う連続性処理（ステップＳ１０１２）、前後する２つの遷移状態の少なくとも一部が共通しているものを統合する統合処理（ステップＳ１０１４）が行われる。次に、算出された尤度のうち、値が最も高い尤度に対応する注視遷移状態パターンを注視遷移状態とし、この注視遷移状態ＳｉをＴＳｉとし（ステップＳ１０１６）、Ｓｉ、Ｐｉ（Ｏ｜λｉ，ｉ＝ａｌｌ）を出力する（ステップＳ１０１８）。

次に、ノンリアルタイム遷移状態判定部１０４において行われるノンリアルタイム遷移状態推定方法について説明する。

ノンリアルタイム遷移状態推定部１０４は、図１１に示すように、非注視状態または非注視状態および移動状態から構成される遷移状態ＴＳ０、ＴＳ３、ＴＳ４、ＴＳ７およびＴＳ１１のいずれか１つの発生直後に、利用情報が発生する場合、なんらかの要因のために注視状態への遷移を見逃したものと推定する。すなわち、遷移状態ＴＳ６、ＴＳ８およびＴＳ９のいずれかを１つを見逃したものと想定する。

そこで、現時刻からTHtime内でＴＳ６、ＴＳ８およびＴＳ９のいずれか１つが発生している場合には、その発生後から現時刻までの間で、そうで無い場合には、現時刻からTHtime以内で、遷移状態ＴＳ６、ＴＳ８およびＴＳ９の内で最もＰｉ（Ｏ｜λｉ）が高い遷移状態へ修正する。

次に、修正された時刻から現時刻までの全ての遷移状態ＴＳ０、ＴＳ３、ＴＳ４、ＴＳ７およびＴＳ１１を、それぞれ遷移状態ＴＳ２、ＴＳ５、ＴＳ６、ＴＳ８およびＴＳ１２へ変更し、遷移状態判定結果記憶部１２０に記憶する。

また、ノンリアルタイム遷移状態推定部１０４は、図１２に示すように、注視状態または注視状態および移動状態で構成される遷移状態ＴＳ２、ＴＳ５、ＴＳ６、ＴＳ８およびＴＳ１２のいずれかが発生し続けており、その連続して発生する時間が、閾値時間THtimeより大きく、かつその間、利用情報が一度も発生しない場合には、なんらかの要因のために非注視状態への遷移を見逃したものと推定する。すなわち、遷移状態ＴＳ４、ＴＳ７およびＴＳ１０のすくなくとも１つを見逃したものと想定する。

この場合、最近に発生した遷移状態ＴＳ６、ＴＳ８およびＴＳ９のすくなくとも１つを誤認識したとして、最近に発生した遷移状態がＴＳ６の場合はＴＳ４へ、ＴＳ８の場合はＴＳ１０へ、ＴＳ９の場合はＴＳ７へ変更する。そして、修正時刻から現時刻までの全ての遷移状態ＴＳ２、ＴＳ５、ＴＳ６、ＴＳ８およびＴＳ１２を、それぞれ遷移状態ＴＳ０、ＴＳ３、ＴＳ４、ＴＳ７およびＴＳ１１へ変更し、状態判定結果記憶部１２０に記憶する。

次に、ノンリアルタイム遷移状態推定処理について、図１３を参照して説明する。

最初に、現時刻の注視遷移状態Ｓｉが遷移状態ＴＳ０、ＴＳ３、ＴＳ４、ＴＳ７およびＴＳ１１のいずれか１つに該当するか否かを判断する（ステップＳ１３０２）。

現時刻の注視遷移状態ＳｉがＴＳ０、ＴＳ３、ＴＳ４、ＴＳ７およびＴＳ１１のいずれか１つに該当する場合（ステップＳ１３０２：ＹＥＳ）、利用情報があるか否かを判断する（ステップＳ１３０４）。利用情報がない場合（ステップＳ１３０４：ＮＯ）、終了する。

一方、利用情報がある場合（ステップＳ１３０４：ＹＥＳ）、現時刻から過去ＴＨｔｉｍｅ内に遷移状態ＴＳ６、ＴＳ８およびＴＳ９のいずれか１つが発生したか否かを判断する（ステップＳ１３０６）。現時刻から過去ＴＨｔｉｍｅ内に遷移状態ＴＳ６、ＴＳ８およびＴＳ９のいずれか１つが発生した場合（ステップＳ１３０６：ＹＥＳ）、現時刻から過去最近の遷移状態ＴＳ６、ＴＳ８およびＴＳ９のいずれか１つの発生時刻までの間のＰｉ（Ｏ｜λｉ）{ｉ＝４，７，１０}の最大値の平均、ａｒｇ ｍａｘ Ｐｉ（Ｏ｜λｉ）{ｉ＝４，７，１０}を算出する（ステップＳ１３０８）。一方、現時刻から過去ＴＨｔｉｍｅ内に遷移状態ＴＳ６、ＴＳ８およびＴＳ９のいずれも発生しない場合（ステップＳ１３０６：ＮＯ）、現時刻から過去ＴＨｔｉｍｅ内のＰｉ（Ｏ｜λｉ）{ｉ＝４，７，１０}の最大値の平均、ａｒｇ ｍａｘ Ｐｉ（Ｏ｜λｉ）{ｉ＝４，７，１０}を算出する（ステップＳ１３１０）。

次に、Ｐｉ（Ｏ｜λｉ）{ｉ＝４，７，１０}が最大値をとる時刻以降から現時刻までのＴＳ４、ＴＳ７およびＴＳ１０を、ＴＳ６、ＴＳ９およびＴＳ８へ変更する（ステップＳ１３１２）。次に、現時刻から過去ＴＨｔｉｍｅ内のＴＳ０、ＴＳ３、ＴＳ４、ＴＳ７およびＴＳ１１を、ＴＳ２、ＴＳ５、ＴＳ６、ＴＳ８およびＴＳ１２へ変換する（ステップＳ１３１４）。

一方、現時刻の注視遷移状態Ｓｉが遷移状態ＴＳ０、ＴＳ３、ＴＳ４、ＴＳ７およびＴＳ１１のいずれにも該当しない場合（ステップＳ１３０２：ＮＯ）、現時刻の注視遷移状態Ｓｉが遷移状態ＴＳ２、ＴＳ５、ＴＳ６、ＴＳ８およびＴＳ１２のいずれか１つに該当するか否かを判断する（ステップＳ１３１６）。

現時刻の注視遷移状態Ｓｉが遷移状態ＴＳ２、ＴＳ５、ＴＳ６、ＴＳ８およびＴＳ１２のいずれにも該当しない場合（ステップＳ１３１６：ＮＯ）、終了する。

一方、現時刻の注視遷移状態Ｓｉが遷移状態ＴＳ２、ＴＳ５、ＴＳ６、ＴＳ８およびＴＳ１２のいずれか１つに該当する場合（ステップＳ１３１６：ＹＥＳ）、遷移状態ＴＳ２、ＴＳ５、ＴＳ６、ＴＳ８およびＴＳ１２の連続時間がＴＨｔｉｍｅより大きいか否か、すなわち遷移状態ＴＳ２、ＴＳ５、ＴＳ６、ＴＳ８およびＴＳ１２の連続時間＞ＴＨｔｉｍｅであるか否かを判断する（ステップＳ１３１８）。

ＴＳ２、ＴＳ５、ＴＳ６、ＴＳ８およびＴＳ１２の連続時間がＴＨｔｉｍｅより小さい場合、すなわちＴＳ２、ＴＳ５、ＴＳ６、ＴＳ８およびＴＳ１２の連続時間≦ＴＨｔｉｍｅである場合（ステップＳ１３１８：ＮＯ）、終了する。

一方、ＴＳ２、ＴＳ５、ＴＳ６、ＴＳ８およびＴＳ１２の連続時間がＴＨｔｉｍｅより大きい場合、すなわちＴＳ２、ＴＳ５、ＴＳ６、ＴＳ８およびＴＳ１２の連続時間＞ＴＨｔｉｍｅである場合（ステップＳ１３１８：ＹＥＳ）、ＴＨｔｉｍｅ内に利用情報が発生したか否かを判断する（ステップＳ１３２０）、ＴＨｔｉｍｅ内に利用情報が発生した場合（ステップＳ１３２０：ＮＯ）、終了する。

一方、ＴＨｔｉｍｅ内に利用情報が発生しない場合（ステップＳ１３２０：ＹＥＳ）、現時刻から過去ＴＨｔｉｍｅ内のＰｉ（Ｏ｜λｉ）{ｉ＝６，８，９}の最大値の平均、ａｒｇ ｍａｘ Ｐｉ（Ｏ｜λｉ）{ｉ＝６，８，９}を算出する（ステップＳ１３２２）。

次に、Ｐｉ（Ｏ｜λｉ）{ｉ＝６，８，９}が最大値をとる時刻に対応するＴＳ６、ＴＳ８およびＴＳ９を、ＴＳ４、ＴＳ１０およびＴＳ７へ変更する（ステップＳ１３２４）。

次に、変換時刻から現時刻内のＴＳ２、ＴＳ５、ＴＳ６、ＴＳ８およびＴＳ１２を、ＴＳ０、ＴＳ３、ＴＳ４、ＴＳ７およびＴＳ１１へ変換する（ステップＳ１３２６）。

このように、ノンリアルタイム遷移状態推定部１０４は、インタラクション情報等の発生状態を考慮することにより、推定された状態に対して、時間を遡って補正することができる。

次に、遷移状態モデル生成部１１８は、上述したノンリアルタイム遷移状態推定部１０４により最終的に決定された注視状態情報に基づいて、これらの状態に対応する収集情報記憶部１１６に蓄積されているセンサ情報を用いて、それぞれに対応する隠れマルコフモデルλｉのパラメータ推定を行うことにより学習し、精度を高める。

なお、上述した連続性処理、統合処理、あるいはノンリアルタイム遷移状態推定処理は、必要に応じて取捨選択するようにしてもよい。

また、上述した制御処理は、所定のプログラムで所定時間、例えば、10msec毎の繰り返し処理により実行される。このプロクラムは、例えば、コンピュータを、センサからの情報に基づいて、観測データの時系列変化の統計的特徴を示す注視状態モデルを生成する遷移状態モデル生成手段と、注視状態モデルを記憶する遷移状態パターン蓄積手段と、注視状態モデルおよび／またはセンサからの情報に基づいて、注視遷移状態の推定を行うリアルタイム遷移状態判定手段として機能させる。

さらに、コンピュータを、推定された注視遷移状態を記憶する遷移状態判定結果記憶手段と、所定の注視遷移状態の有無に基づいて、過去の注視遷移状態の推定を行うノンリアルタイム注視状態検出手段として機能させるプログラムを備えるようにしてもよい。この場合、プログラムは、コンピュータを、推定された過去の注視遷移状態に基づいて、遷移状態モデルを変更する遷移状態モデル生成手段として機能させる。

あるいは、センサ情報、インタラクション情報、アプリケーション状態情報およびＯＳ状態情報に対して、それぞれ異なる閾値を設定し、それを超える信号を受信した時に、制御プログラム処理を実行するようにしてもよい。

上述した実施例においては、携帯端末１００がセンサ情報計測部１０８、インタラクション情報計測部１１０、アプリケーション情報計測部１１２およびＯＳ情報計測部１１４を備える場合について説明したが、センサ情報計測部１０８、インタラクション情報計測部１１０、アプリケーション情報計測部１１２およびＯＳ情報計測部１１４のうち少なくとも１つを備えるようにしてもよい。この場合、センサ情報計測部１０８を備えた場合はセンサ情報計測部１０８で取得された計測情報を用いて携帯表示端末へのユーザ注視状態が推定され、インタラクション情報計測部１１０を備えた場合はインタラクション情報計測部で取得されたユーザからのインタラクション情報を用いて携帯表示端末へのユーザ注視状態が推定され、アプリケーション情報計測部１１２を備えた場合はアプリケーション情報計測部１１２で取得されたアプリケーション情報を用いて携帯端末１００へのユーザ注視状態が推定され、ＯＳ情報計測部１１４を備えた場合はＯＳ情報計測部１１４で計測されたオペレーティングシステムの状態情報を用いて携帯端末１００へのユーザ注視状態が推定される。

本実施例にかかる注視状態検出装置１１０は、以下のようなサービス例に適用できる。最初に、Push型情報配信サービスに適用した場合、ユーザの注視状態にある場合には情報通知を行い、ユーザの非注視状態にある場合は情報通知を行わないという制御に適用可能である。

具体的には図１４に示すように、情報配信サービスシステムを構成する。すなわち、情報配信サービスシステムは、通知制御装置２００と、通知制御装置２００と接続された注視状態検出装置１１０および携帯表示装置２１０とを備える。また、注視状態検出装置１１０は携帯表示装置２１０と接続される。

情報提供者は通知制御装置２００に通知情報とともに通知依頼、例えばニュース、広告などを発行する。通知制御装置２００は、注視状態検出装置１１０に現在の注視状態、すなわち注視遷移状態を問い合わせる。注視状態検出装置１１０は、携帯表示装置２１０からセンサ情報、インタラクション情報およびＯＳ情報のうち少なくとも１つを予め取得しており、これらの情報に基づいて注視遷移状態を判定し、通知制御装置２００に通知する。通知制御装置２００は、注視状態の場合は情報提供者より受信した通知コンテンツを情報受信ユーザが携帯する携帯表示装置２１０へ通知する。このようにすることにより、情報受信ユーザは、通知コンテンツを取得することができ、タイミングの良い情報通知を行うことができる。

また、別のサービスとして、ユーザの注視状態に応じて携帯端末のディスプレイ電源を制御するシステムが挙げられる。例えば、現在の携帯電話では自動的なディスプレイ電源をＯＮする機能は無い。折りたたみ式であれば、折りたたみ状態に応じて電源のＯＮ／ＯＦＦを切り替えているが、例えば電源がＯＦＦにされる場合については、予めユーザが設定した時間が過ぎると自動的にＯＦＦになる制御が行われる。また、ＰＤＡ等の端末においては、スライタスペンで画面がクリックされた場合に画面の電源がＯＮにされ、携帯電話のように予め決定された時間が経過した場合に自動的に電源がＯＦＦされる。したがって、注視状態に基づいて制御を行う装置はない。本実施例により、折りたたみ情報や画面クリック情報に基づく画面の電源をＯＮ/ＯＦＦする制御、あるいは固定的な時間経過による画面の電源をＯＦＦする制御ではなく、注視状態に応じて電源をＯＮ／ＯＦＦする制御を実現することができる。

具体的には図１５に示すように、電源制御システムを構成する。すなわち、電源制御システムは、画面電源制御装置２２０と、画面電源制御装置２２０と接続された注視状態検出装置１１０および携帯表示装置２１０とを備える。また、注視状態検出装置１１０は携帯表示装置２１０と接続される。

画面電源制御装置２２０は、注視状態検出装置１１０に現在の注視状態、すなわち注視遷移状態を問い合わせる。注視状態検出装置１１０は、携帯表示装置２１０から予めセンサ情報、インタラクション情報およびＯＳ情報のうち少なくとも１つを取得しており、これらの情報に基づいて注視遷移状態を判定し、画面電源制御装置２２０に通知する。画面電源制御装置２２０は、注視状態の場合は画面電源ＯＮを指示する制御信号、そうでない場合には画面電源ＯＦＦを指示する制御信号を携帯表示装置２１０へ通知する。このようにすることにより画面電源ＯＮ/ＯＦＦを制御する。

上述した実施例によれば、携帯端末に装着されたセンサ情報を測定するセンサ情報計測手段に基づいて注視状態を推定することができ、アイカメラや画像認識といった装置を実装せずにユーザ注視状態を推定することができる。

また、検出対象とするユーザ注視状態パターンでの、ユーザ使用時の複数の状態情報に関する統計的特徴に基づいて注視状態の推定を行うことができる。

また、センサ情報だけでなく、アプリケーション情報、ＯＳ情報、インタラクション情報を複合的に用いることができるため、センサ情報からだけでは誤認識してしまうような状態をより正確に認識できる。例えば、センサ情報から注視状態であると判定された場合においても、以後のある特定時間の間のインタラクション情報やアプリケーション情報から、それが誤認識であったことが判定できる。

また、センサ情報を用いた識別処理にあたっては、隠れマルコフモデルを用いて予め算出された注視状態パターンとの比較により、ロバストかつ時間軸に対して柔軟に推定ができる。

また、時系列データのパターン認識に優れた隠れマルコフモデルを用いて予め算出した検出対象とする注視状態パターンに関するパラメータと、入力されたセンサ情報変化とに基づいて注視状態の推定を行うことができるので、特定時刻の信号閾値判定では誤認識してしまうような状態をより正確に認識できる。

また、信号情報だけを用いた隠れマルコフモデルでは検知できない、時系列上の物理的、意味的な非連続性を回避するようなパターンマッチング処理を施すことで、より正確な認識ができる。

また、リアルタイムな注視状態、非注視状態の判定機能だけでなく、非リアルタイムに注視状態を検出することができ、リアルタイムでは判定が困難な場合も、判定結果を修正することが可能である。

また、ノンリアルタイムに注視状態の再検出を行うことにより、改めて注視状態として判定された場合は、注視状態のパターンとして、現在パターン蓄積部に蓄積された注視状態パターンの隠れマルコフモデルのパラメータを更新することが可能であり、精度を高めることができる。

上述した実施例においては、時系列データのパターン認識手法の一例として、隠れマルコフモデルを用いた場合について説明したが、他のモデルを用いた場合においても注視遷移状態を推定することができる。

本発明にかかる注視状態検出装置および注視状態推定方法は、携帯できる情報端末に適用できる。

本発明の一実施例にかかる注視状態検出装置を示す原理図である。 本発明の一実施例にかかる注視状態検出装置における注視状態検出を示す概念図である。 本発明の一実施例にかかる注視状態検出装置の構成を示すブロック図である。 隠れマルコフモデルを示す模式図である。 注視遷移状態パターンを示す説明図である。 パターン識別による推定の概念を示す説明図である。 非連続性および変更処理を示す説明図である。 非連続性回避のためのマッピングテーブルを示す説明図である。 統合処理のためのマッピングテーブルを示す説明図である。 リアルタイム状態推定処理を示すフローチャートである。 ノンリアルタイム状態推定処理を示す説明図である。 ノンリアルタイム状態推定処理を示す説明図である。 ノンリアルタイム状態推定処理を示すフローチャートである。 本発明の一実施例にかかる注視状態検出装置の適用例を示すブロック図である。 本発明の一実施例にかかる注視状態検出装置の適用例を示すブロック図である。

符号の説明

１００ 携帯端末

Claims (6)

1. センサからの情報に基づいて、観測データの時系列変化の統計的特徴を示す注視状態モデルを生成する遷移状態モデル生成手段；
   前記注視状態モデルを記憶する遷移状態パターン蓄積手段；
   前記注視状態モデルおよび／またはセンサからの情報に基づいて、注視遷移状態の推定を行うリアルタイム遷移状態判定手段；
   を備えることを特徴とする注視状態検出装置。
2. 請求項１に記載の注視状態検出装置において：
   推定された注視遷移状態を記憶する遷移状態判定結果記憶手段；
   所定の注視遷移状態の有無に基づいて、過去の注視遷移状態の推定を行うノンリアルタイム注視状態検出手段；
   を備え、
   前記遷移状態モデル生成手段は、推定された過去の注視遷移状態に基づいて、前記遷移状態モデルを変更することを特徴とする注視状態検出装置。
3. 請求項１または２に記載の注視状態検出装置において：
   前記遷移状態モデル生成手段は、前記注視状態モデルとして、隠れマルコフモデルを用いることを特徴とする注視状態検出装置。
4. 請求項３に記載の注視状態検出装置において：
   前記リアルタイム遷移状態判定手段は、前記注視状態モデルおよび／またはセンサからの情報に基づいて注視遷移状態の候補を求め、該注視遷移状態の候補間の連続性を実現する処理および該注視遷移状態の候補の共通部分を統合する統合処理のうち少なくとも一方を行うことを特徴とする注視状態検出装置。
5. 利用情報が入力されたか否かを判定するステップ；
   前記判定に基づいて、センサからの計測情報を取得するステップ；
   予め生成された観測データの時系列変化パターンの統計的特徴を示す注視状態モデルおよび／または前記センサからの情報に基づいて、注視遷移状態の推定を行うステップ；
   を有することを特徴とする注視状態推定方法。
6. 請求項５に記載の注視状態推定方法において：
   所定時間内における所定の注視遷移状態の有無を判定するステップ；
   前記所定の注視遷移状態の有無の判定結果に基づいて、過去の注視遷移状態の推定を行うステップ；
   推定された過去の注視遷移状態に基づいて、前記遷移状態モデルを変更するステップ；
   を有することを特徴とする注視状態推定方法。

Images