JP2006323702A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】 元のタスクへの復帰を容易にさせ、効率的なタスク切り替えを可能にする情報処理装置、情報処理方法およびプログラムを提供することを目的とする。
【解決手段】 情報処理システム（１）は、作業者（１Ｍ）が端末（１３）を用いてタスクＡの処理を中断し、端末（１４）を用いて別のタスクＢの処理に移行する前までの作業者の心的状態を含む状態情報を、情報処理装置（１ａ）の生成部（４）により生成し、作業者が元のタスクＡに復帰する際に、表示部（５）により心的状態を含む状態情報を表示する。
【選択図】 図４

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

近年、業務量増大により業務をより効率よく処理することが求められている。以前から、業務実施工程の見直しやマニュアル化、ＩＴ技術の活用などにより、業務の効率化が進んでいる。そのような中で、人間が個別に判断して処理しなければならない非定型業務の効率化は十分に行われていない。しかし、近年のオフィスにおける業務では、複数の業務を平行して実行する必然性が増加している。たとえば、ある処理を他の担当者や処理機器に実行させ、その作業を待っている間に別な処理を進め、作業が終了した時点で現在の仕事を中断または終了し、先の業務に戻るということが日常的に行われている。一方では、会議などの時間の制約を受ける業務の増加により、スケジュール調整などの問題による業務の遅延や作業者への過負荷などが問題となっている。

複数の業務を平行して行う技術としては、一般的にはＭＳ−ＷＩＮＤＯＷＳ（登録商標）やＸ−ＷＩＮＤＯＷに代表されるマルチウインドウシステムによる業務実行環境がよく知られている。利用者は、複数の業務を複数のウインドウを利用することで行い、ウインドウを順次切り替えることで複数の業務の実行を平行して行うことができる。

たとえば特許文献１は、個人がＰＣ（Personal Computer）を使用してある業務を実行中に、他の業務の実行が割り込むことで前者の業務を中断した場合、割り込んだ業務の処理状況をアプリケーションの実行状態を認識して管理することで、中断した業務の再開が可能となった時に利用者へ通知する装置について開示している。

また、特許文献２は、ワークステーション等の情報処理装置において、ページに栞（しおり）を付与する際、そのページ内容を容易に思い出すことが出来る記憶喚起用符合物(そのページの特徴的部分/そのページに対応させて創出したイメージ/そのページに対応させて選定した色またはシェード)を栞に施すことで、後で参照したいページに付ける栞を、ページ内容を容易に思い出せるものにする栞制御方式について開示している。

また、特許文献３は、利用者が指定した抽出レベルにマッチする所定単位の文書を抽出することで、テーマやキーワードを指定すること無く、文書の必要な部分のみの概要を抽出できるようにする装置について開示している。

特開平７−５６７４８号公報 特開平５−１８１９１０号公報 特開２００２−９２００７号公報

しかし、特許文献１に記載の装置では、ある休止していたタスクを再開する際に、それまでどのような作業を行っていたかは利用者が把握しておく必要がある。また、特許文献２に記載の方式では、いつ作業を中断するか作業者らないものに対して、常に栞などのマーキングを施すのは手間がかかる。特許文献３に記載の装置では、適当な抽出レベルが選択できなければ、必要な情報を抽出することができない。また、文書のどの位置から抽出するかも利用者に依存する。

以上のように、従来の技術では、何らかのタスクＡを行っていたが、その作業の途中で他のタスクＢへの作業移行が生じ、さらに元のタスクＡに復帰した際に、元のタスクＡで何をしていたのか、あるいはどんなプロセスまで進んでいたか忘れてしまい、既に行われていた作業を重複して行ってしまうなどの、無駄が生じてしまう問題があった。

また、従来技術では、複数作業を効率よく処理するために、各タスクの開始・終了を明示するものや、どんな作業を行っていたかあらかじめ印付けしておくもの、作業者が指定した情報を抽出するものなどの解決手段をとっていた。しかしながら、各タスクの開始・終了を明示しただけでは作業の内容自体を想起させることにならない。また、あらかじめ印付けをしておく場合もどの時点で他の作業に移行するか把握できていなければ印付けの作業に大変な手間がかかる。更には、作業者が指定した情報を抽出する場合には、そもそも作業者がどんな作業をしていたか把握できていなければ抽出するＫＷ（キーワード）などを想起することができない。

また、従来技術では、ＰＣ等の計算機上での作業状態の復元等による支援を主としていた。一方で、それら計算機上で復元された状態を提示されたとしても、その状態を受け入れる作業者自身が、そのタスクの状態を受け入れることができなければ効果が得られない。つまり、作業者に対して、復元されたタスクの状態を作業者に受け入れさせることを支援しなければならない。例えば、その作業に対するモチベーション等、タスクに対する作業者の心理状態を含めた前作業時の状態を復元する必要がある。

そこで、本発明は、上記問題点に鑑みてなされたもので、元のタスクへの復帰を容易にさせ、効率的なタスク切り替えを可能にする情報処理装置、情報処理方法およびプログラムを提供することを目的とする。

上記課題を解決するために、本発明の情報処理装置は、タスクの処理中の作業者を撮影したときに得た前記作業者の生体情報を記録する記録部と、前記生体情報に基づいて、前記作業者が別のタスクに移行する前までの前記作業者の心的状態を含む状態情報を生成する生成部とを備える。

本発明によれば、別のタスクに移行する前までの作業者の心的状態を含む状態情報を生成することにより、元のタスクへの復帰を容易にさせ、効率的なタスク切り替えを可能にする。

本発明の情報処理装置は、前記生成部が生成した前記心的情報を含む状態情報を表示する表示部を備える。本発明によれば、作業者は、別のタスクに移行する前までの作業者の心的状態を把握することにより、元のタクスを想起させ、容易に元のタクスへ復帰することができる。

本発明の情報処理装置は、前記記録部は、前記作業者の端末上での元のタスクの処理の履歴を記録し、前記処理の履歴と、前記生成部が生成した前記心的状態とを表示する表示部を備える。本発明によっても、作業者はより容易にもとのタスクへ復帰することができ、タスクの切り替えを効率的に行うことができる。

本発明の情報処理装置は、前記記録部は、タスクの処理中の作業者を撮影した映像を記録し、前記映像と、前記生成部が生成した前記心的状態とを表示する表示部を備える。本発明によっても、作業者はより容易にもとのタスクへ復帰することができ、タスクの切り替えを効率的に行うことができる。

本発明の情報処理装置は、前記記録部は、タスクの処理中の作業者を撮影した映像を記録し、前記記録部は、前記作業者の端末上での元のタスクの処理の履歴を記録し、前記映像と、前記処理の履歴と、前記生成部が生成した前記心的状態とを表示する表示部を備える。本発明によっても、作業者はより容易にもとのタスクへ復帰することができ、タスクの切り替えを効率的に行うことができる。

本発明の情報処理装置は、前記心的情報を含む状態情報に基づいて、作業者が元のタスクへ復帰したことを判定し、作業者がタスクへ復帰したと判定した場合には、前記心的情報を含む状態情報を表示する表示部を備える。本発明によれば、作業者が元のタスクへ復帰した場合に、作業者は特別な作業をすることなく、元のタスクの処理中の心的状態を含む状態情報把握することができる。

前記記録部は、前記心的情報を含む状態情報に基づいて、タスクの開始及び終了の少なくとも一方を判定する。本発明により、タクスの開始や終了を自動的に抽出することができ、その間の作業者の心的状態を記録することができる。

前記表示部は、前記心的状態を含む状態情報を可視表示、可聴表示及び永久可視表示のうち、少なくとも１つを行う。

前記生体情報は、前記作業者の瞬き、瞳孔径、注視対象、注視時間、顔面皮膚温、脳波及び発話情報に関する情報のうちの少なくとも一つを含む。

前記心的状態は、作業者の興味度、作業者の興奮度、作業者の快適度、作業者の理解度、作業者の記憶度、作業者の集中度および作業者の疲労度のうち少なくとも一つを含む。

本発明の情報処理装置は、前記作業者の生体情報を検出する検出部とを備える。

本発明の情報処理方法は、タスクの処理中の作業者を撮影したときに得た前記作業者の生体情報を記録する記録ステップと、前記生体情報に基づいて、前記作業者が別のタスクに移行する前までの前記作業者の心的状態を含む状態情報を生成する生成ステップとを有する。

本発明によれば、元のタクスに復帰する作業者に提示するための、別のタスクに移行する前までの作業者の心的状態を含む状態情報を生成することができる。

本発明の情報処理方法は、前記生成ステップにより作成された前記心的状態を含む状態情報を表示する表示ステップを有する。本発明によれば、作業者は、別のタスクに移行する前までの作業者の心的状態を把握することにより、元のタクスを想起させ、容易に元のタクスへ復帰することができる。

本発明の情報処理方法は、前記記録ステップは、前記作業者の端末上での元のタスクの処理の履歴を記録し、前記処理の履歴と、前記生成ステップにより作成された前記心的状態とを表示する表示ステップを有する。本発明によっても、作業者はより容易にもとのタスクへ復帰することができ、タスクの切り替えを効率的に行うことができる。

本発明の情報処理方法は、前記記録ステップは、タスクの処理中の作業者を撮影した映像を記録し、前記映像と、前記生成ステップにより作成された前記心的状態とを表示する表示ステップを有する。本発明によっても、作業者はより容易にもとのタスクへ復帰することができ、タスクの切り替えを効率的に行うことができる。

本発明のプログラムは、タスクの処理中の作業者を撮影したときに得た前記作業者の生体情報を取得する取得ステップと、前記生体情報に基づいて、前記作業者が別のタスクに移行する前までの前記作業者の心的状態を含む状態情報を生成する生成ステップとをコンピュータに実行させる。

本発明によれば、元のタクスに復帰する作業者に提示するための、別のタスクに移行する前までの作業者の心的状態を含む状態情報を生成することができる。

本発明によれば、元のタスクへの復帰を容易にさせ、効率的なタスク切り替えを可能にする情報処理装置、情報処理方法およびプログラムを提供できる。

以下、本発明を実施するための最良の形態について説明する。

図１は、本実施例に係る情報処理システム１の構成を示すブロック図である。図１に示すように、情報処理システム１は、情報処理装置１ａ、生体情報である会議参加者の脳波を測定する脳波測定器１０、マイク内蔵カメラ１１、端末１３、１４から構成される。情報処理装置１ａは、検出部２、記録部３、生成部４、表示部５から構成される。

この情報処理システム１は、作業者が端末１３を用いてタスクの処理を中断し、端末１４を用いて別のタスクの処理に移行する前までの作業者の心的状態を含む状態情報を生成部４により生成し、表示部５に心的状態を含む状態情報を表示する。

検出部２は、画像処理装置等により構成され、マイク内蔵カメラ１１によって撮影されたタスクの処理中の作業者の映像情報及びそのときの音響情報に基づいて、脳波以外の、タスクの処理中の作業者の生体情報を検出する。尚、本実施例に係る情報処理システム１には、マイク内蔵カメラ１１を用いたが、マイクとカメラは別々のものであってもよい。

ここで作業者の生体情報は、作業者の瞬き、瞳孔径、注視対象、注視時間など眼球に係る情報、脳波、顔面皮膚温、発話情報などが含まれる。瞬き及び瞳孔径に係る情報は、視聴者の顔を撮像した顔画像から顔領域を抽出し、更に眼領域を特定し、瞬きの数をカウントしたり、瞳孔径を測定したりすることによって取得できる。注視対象及び注視時間については、マイク内蔵カメラ１１により撮像した画像を用い、前記手法により眼領域を特定し、撮像したマイク内蔵カメラ１１の位置より注視対象を特定し、撮像された眼領域の撮影時間から注視時間を特定することによって取得できる。顔面皮膚温は、赤外線カメラ、サーモグラフィ等により作業者への計測機器を装着することなく取得することができる。また、発話情報には、発話の有無、音量、環境音などが含まれる。尚、脳波については、脳波測定器１０により測定される。

記録部３は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等で構成され、作業者の端末１３上でのタスクの処理の履歴や、脳波測定器１０で測定されたタスクの処理中の作業者の脳波を記録する。また、記録部３は、検出部２で検出された作業者の生体情報を記録する。その他、マイク内蔵カメラ１１によって撮影されたタスクの処理中の作業者の映像を記録する。また、記録部３は、タスクの開始・終了を判定する。

生成部４は、ＣＰＵ、ＲＡＭ、ＲＯＭ等で構成され、記録部３により記録されたタスクの処理中の作業者の生体情報から、作業者のタスクの処理中の心的状態を検出するものである。ここで、作業者の心的状態とは、たとえば、作業者が物事にひきつけられている度合いを表す作業者の興味度、作業者の感情の高まる度合いを表す作業者の興奮度、具合がよくて気持ちのよい度合いを表す作業者の快適度、物事の道理をさとり知ることの度合いを表す作業者の理解度、物事を忘れずに覚えている度合いを表す作業者の記憶度、作業者の集中度および疲れの度合いを表す作業者の疲労度を含む。尚、作業者の心的状態はこれらに限定されない。

眼球運動心理学（眼球運動の実験心理学、瞬きの心理学、瞳孔運動の心理学）によれば、興味は、瞳孔径に関連し、理解度及び記憶度は、瞬目に関連し、興奮度及び快適度は、瞬目や顔面皮膚温に関連していると考えられている。但し、これら単体では、例えば室内温度環境による顔面皮膚温上昇など、精度を保つことができない。そこで、生成部４は、これらデータ及び発話音量、環境音等を重み付けして加算した評価関数により、作業者の状態推定値を求めて、作業者の心的状態を生成する。詳しくは後述する。

また、生成部４は、記録部３に記録された作業者の端末１３上でのタスクの処理の履歴から所定の履歴を削除する。具体的には、マウスクリック・キータイピングなどは履歴から削除される。また、記録部３に記録されたタスクの処理中の作業者を撮影した映像を編集する。具体的には、撮影した映像のうち、不要な映像を削除する。

表示部５は、ＣＰＵ、ＲＡＭ、ＲＯＭ等で構成され、生成部４により生成されたタスクの処理中の作業者の心的状態を含む状態情報を表示する。ここで状態情報とは、タスクの処理中の作業者を撮影した映像や、作業者の端末１３上でのタスクの処理の履歴である。この映像の再生に合わせて、その時点の作業者の心的状態を表示する。また、表示部５は、生成部４で編集された映像や、所定の履歴が削除された履歴を表示するようにしてもよい。また、この映像の再生速度を通常より速く再生させて表示させてもよい。また、表示部５は、生成部４が生成した状態情報に基づいて、元のタスクへの復帰を判定し、元のタスクへの復帰を判定した場合は、ディスプレイ等に状態情報を表示する。尚、表示部５は、ディスプレイ等に状態情報を可視表示するものであってもよいし、状態情報を音声により出力する可聴表示や、又は記録紙などに永久可視表示（印刷出力）をするものであってもよい。

次に、情報処理システム１の具体的な処理について説明する。図２は、情報処理システム１の処理の説明図である。

図２の上図のように、情報処理システム１は、端末１３上でタスクＡの処理中の作業者１Ｍを、マイク内蔵カメラ１１により音声を含む全体映像・顔の画像・視線の方向などの撮影を行ない、脳波測定器１０で脳波の測定を常時行ない、それらの情報を情報処理装置１ａに蓄積し、作業者１Ｍの状態を管理する。また、マイク内蔵カメラ１１で撮影された顔画像と視線方向の変更及び脳波測定器１０により測定された脳波の変化などから情報処理装置１ａがタスク切り替えを判定する。

例えば、図２の下図のように、作業者１Ｍの視線方向が端末１４上でタスクＢに変更した場合に、情報処理装置１ａは、タスクの切り替えが行われたと判定する。

タスクが切り替えられたと判定されると、それまで記録された情報が情報処理装置１ａの生成部４に渡される。生成部４は、記録部３に記録されたデータから表示に必要な情報を生成する。例えば、１０時０分０秒にタスクの処理を開始し、１０時５分３０秒にタスクを中断した場合には、図３の（ａ）のような処理の履歴２０ａが記録部３に記録され、生成部４に出力される。記録部３は、処理とその処理が行われた時刻と対応させて記録する。また、生成部４は、ファイル処理・ソフトウェア処理などは表示部５で表示する情報として生成するが、マウスクリック・キータイピングなどは履歴から削除して、履歴の要約を生成する。尚、表示する情報の生成は、各タスク毎あるいは作業者毎にあらかじめ生成する情報の分類をしておいてもよい。

図３の（ｂ）は、作業者１ＭのタスクＡの処理中の映像と、そのときの心的状態を示した例示図である。生成部４で生成したタスクＡの処理中の作業者１Ｍの心的状態が、集中状態にあった場合には、生成部４は、例えば図３の（ｂ）の上図を生成する。生成部４は、作業者１ＭのタスクＡの処理中の映像３０ａの左上にタスクＡの処理中の作業者１Ｍの心的状態である「集中状態」３１ａと表示する。また、生成部４は、作業者１ＭのタスクＡの処理中の映像を加工して、作業者１Ｍの頭部に色付けした映像３０ａを生成する。これにより、表示部５で作業者１ＭのタスクＡの処理中の映像３０ａを表示する場合に、作業者１Ｍは、容易にタスクの処理中の作業者１Ｍの心的状態を把握することができる。

また、生成部４で生成したタスクＡの処理中の作業者１Ｍの心的状態が、注意散漫状態であった場合には、図３の（ｂ）の下図にあるような映像３０ｂを生成する。即ち、生成部４は、左上にタスクＡの処理中の作業者１Ｍの心的状態である「注意散漫状態」３１ｂと表示し、作業者１ＭのタスクＡの処理中の映像を加工して、作業者１Ｍが視線を頻繁に切り替える映像３０ｂを生成する。

表示部５により、作業者１ＭがタスクＢからタスクＡへ復帰したと判定されると、生成された情報は表示部５によって表示される。尚、この判定はタスクＡからタスクＢへの顔画像・視線方向・脳波のいずれか又はその組み合わせによって判定する。

図４は、表示部５によりディスプレイ等に表示される状態情報４０の例示図であり、タスクＡの処理中の作業者１Ｍの心的状態３１ａと、作業者１Ｍのタスクの処理中の映像３０ａと、処理の履歴２０ｂとを示したものである。ここで、処理の履歴２０ｂは、記録部３に記録された処理の履歴２０ａから生成部４によって不要な履歴を削除した履歴である。このような状態情報４０を表示することにより、作業者は容易にタスクＡの内容を想起させ、効率的なタスク切り替えが可能になる。尚、撮影映像の再生は再生速度を変更または再生の停止などの操作を可能にしておき、作業者が、タスクＡの想起ができればその時点で再生を停止するようにしてもよいし、ある部分を繰り返し再生できるようにしてもよい。また、再生している映像と処理の履歴とを時間により連動させてもよい。それにより、ある時点での再生された映像がどんな処理を意味しているかをより具体的に提示することができる。タスクの処理中は映像の再生に合わせて、作業者のその時点での心理状態を提示する。

次に、情報処理装置１ａの処理についてフローチャートを用いて説明する。図５は、タスクＡが中断するまでの記録部３の処理のフローチャートである。

記録部３は、撮像されている作業者の顔の向きや、視線又は脳波の何れか又はその組み合わせによって、作業者がタスクの処理を開始したか否かを判定する（ステップＳ１０１）。タスクの処理が開始されていないと判定された場合は（ステップＳ１０２でＮｏ）、記録部３は、再度ステップＳ１０１に戻り、作業者がタスクの処理を開始したか否かを判定する。タスクの処理が開始された場合は（ステップＳ１０２でＹｅｓ）、記録部３は、タスクの処理の履歴や、マイク内蔵カメラ１１から撮影されたタスクの処理中の作業者の映像及び音響情報を記録する（ステップＳ１０３）。

記録部３は、タスクの処理中の作業者の映像等から、タスクの処理が継続されていると判断した場合は（ステップＳ１０４でＮｏ）、継続してタスクの処理の履歴やタスクの処理中の作業者の映像及び音響情報を、記録部３に記録する。記録部３は、撮像されている作業者の顔の向きや、視線又は脳波等の心的状態を含む状態情報に基づいて、タスクが中断されたと判断した場合には（ステップＳ１０４でＹｅｓ）、タスクが中断されるまでのタスクの処理の履歴や、タスクの処理中の作業者の映像及び音響情報を、生成部４に出力する（ステップＳ１０５）。

次に、記録部３に記録された記録データから、表示用の情報を生成する処理について説明する。図６は、表示用の情報を生成する生成部４のフローチャートである。

生成部４は、記録部３に記録されたデータを入力し（ステップＳ２０１）、タスクの処理の履歴から、マウスクリック・キータイピングなどの不要な履歴があるか否かを判定する（ステップＳ２０２）。不要な履歴がある場合（ステップＳ２０２でＹｅｓ）、生成部４は、記録部３に記録されたタスクの処理の履歴から、不要な履歴を削除して、タスクの処理の履歴の要約を生成する（ステップＳ２０３）。

不要な履歴がない場合（ステップＳ２０２でＮｏ）、又はタスクの処理の履歴の要約が生成された場合には（ステップＳ２０３）、生成部４は、マイク内蔵カメラ１１により撮影された映像に不要な映像があるか否かの判定を行う（ステップＳ２０４）。不要な映像がある場合には（ステップＳ２０４でＹｅｓ）、生成部４で不要な映像部分を削除して、映像を要約する（ステップＳ２０５）。

不要な映像がない場合（ステップＳ２０４でＮｏ）、又は映像を要約した場合には（ステップＳ２０５）、生成部４は、映像からタスクの処理中の作業者の心的状態を生成して、心的状態と処理の履歴と映像とを関連付けて、表示用データとして生成する（ステップＳ２０６）。表示用データの生成後は、生成部４は表示用データを表示部５に出力する（ステップＳ２０７）。

次に、表示部５の処理について説明する。図７は、表示部５の処理のフローチャートである。

表示部５は、生成部４で生成された表示用データを入力し（ステップＳ３０１）、
表示部５は、撮像されている作業者の顔の向きや、視線又は脳波等の心的状態を含む状態情報に基づいて、タスクに復帰したか否かを判定する（ステップＳ３０２）。表示部５は、タスクが復帰されていないと判定した場合は（ステップＳ３０３でＮｏ）、再度ステップＳ３０２に戻り、タスクに復帰したか否かを判定する。タスクに復帰したと判定した場合は（ステップＳ３０３でＹｅｓ）、表示部５は、表示用データを表示する（ステップＳ３０４）。

以上のように、タスクＡを行っている状態から、別のタスクＢに移行し、タスクＢからタスクＡに作業復帰が生起した際に、前作業時の端末上での情報の復元と前作業時の作業者のタスクに対する心的状態の復元することで、作業者にタスクＡへの復帰を容易にさせ、効率的なタスク切り替えが可能になる。

次に、作業者の興味度、作業者の興奮度、作業者の快適度、作業者の理解度、作業者の記憶度、作業者の支持度、作業者の共有感覚度、作業者の主観度、作業者の客観度、作業者の嫌悪度及び作業者の疲労度における心的状態の推定値を求める評価関数を式（１）〜（７）に示す。

・興味度f1＝w11＊瞳孔径（変化量,変化速度）＋w12＊注視（時間,回数）＋w13＊瞬目（率,回数,群発瞬目数）＋w14＊顔面皮膚温変化量＋w15＊発話音量＋w16＊話者発話音量＋W16＊環境音 ・・・（１）

・興奮度f2＝w21＊瞳孔径（変化量,変化速度）＋w22＊注視（時間,回数）＋w23＊瞬目（率,回数,群発瞬目数）＋w24＊顔面皮膚温変化量＋w25＊発話音量＋w26＊話者発話音量＋w26＊環境音 ・・・（２）

・快適度f3＝w31＊瞳孔径（変化量,変化速度）＋w32＊注視（時間,回数）＋w33＊瞬目（率,回数,群発瞬目数）＋w34＊顔面皮膚温変化量＋w35＊発話音量＋w36＊話者発話音量＋w36＊環境音 ・・・（３）

・理解度f4＝w41＊瞳孔径（変化量,変化速度）＋w42＊注視（時間,回数）＋w43＊瞬目（率,回数,群発瞬目数）＋w44＊顔面皮膚温変化量＋w45＊発話音量＋w46＊話者発話音量+w46＊環境音 ・・・（４）

・記憶度f5＝w51＊瞳孔径（変化量,変化速度）＋w52＊注視（時間,回数）＋w53＊瞬目（率,回数,群発瞬目数）＋w54＊顔面皮膚温変化量＋w55＊発話音量＋w56＊話者発話音量＋w5６＊環境音 ・・・（５）

・集中度f6＝w61＊瞳孔径（変化量,変化速度）＋w62＊注視（時間,回数）＋w63＊瞬目（率,回数,群発瞬目数）＋w64＊顔面皮膚温変化量＋w65*発話音量＋w66＊話者発話音量+w66＊環境音＋w67＊脳波（周波数） ・・・（６）

・疲労度f7＝w71＊瞳孔径（変化量,変化速度）＋w72＊注視（時間,回数）＋w73＊瞬目（率,回数,群発瞬目数）＋w74＊顔面皮膚温変化量＋w75＊発話音量＋w76＊話者発話音量＋w76＊環境音＋w77＊脳波（周波数） ・・・（７）

上記式について説明する。式（１）の興味度f1において、瞳孔変化量が大きく、注視時間が長く、瞬目回数が少なく、顔面皮膚温の変化量が多く、発話音量の大きい部分を、興味があるシーンとして映像を特定することができる。このため式（１）の興味度f1は、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音等をそれぞれ重み係数w11〜w1nで重み付けして加算することで状態推定値を算出することができる。

式（２）の興奮度f2は、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音等に重み係数w21〜w2nでそれぞれ重み付けして加算することで状態推定値を算出することができる。式（３）の快適度f3は、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音等に重み係数w31〜w3nでそれぞれ重み付けして加算することで状態推定値を算出することができる。

式（４）の理解度f4において、理解困難な場合は瞬目が増加すると考えられている（まばたきの心理学）。一般的に理解が困難な場合、視聴者は、補足情報を取得しようとし、注視時間が増加する傾向にあると考えられるため、注視時間が長く、瞬目回数が多い部分を、理解が困難であるシーンとして映像を特定する。このため、式（４）の理解度f4は、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音等に重み係数w41〜w4nでそれぞれ重み付けして加算することで状態推定値を算出することができる。

式（５）の記憶度f5は、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音等に重み係数w51〜w5nでそれぞれ重み付けして加算することで状態推定値を算出することができる。

例えば、集中度f6において、瞳孔変化量が大きく、注視時間が長く、瞬目回数が少なく、顔面皮膚温の変化量が多く、発話音量の大きいとき、注意を向けて集中している可能性が高い。あるいは、脳波において、β波は思考状態を示すと考えられ、注意を向けて集中している可能性が高い。これを利用して心理的状態を特定する。このため、集中度f6は、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音等、脳波等をそれぞれ重み係数w61〜w6nで重み付けして加算することで同定される。他の心的状態を表現する式においても同様にして同定できる。

なお、本発明による情報処理方法は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等を用いて実現され、プログラムをハードディスク装置や、ＣＤ−ＲＯＭ、ＤＶＤまたはフレキシブルディスクなどの可搬型記憶媒体等からインストールし、または通信回路からダウンロードし、ＣＰＵがこのプログラムを実行することで、各ステップが実現される。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。例えば、本実施例では元のタスクと、別のタスクを異なる端末上で処理していることを前提としたが、同一の端末上で異なるタスクを処理する場合にも適用することが可能である。

情報処理システム１の構成を示すブロック図である。 情報処理システム１の処理の説明図である。 状態情報の例示図であり、（ａ）は処理の履歴であり、（ｂ）は作業者の心的状態とタスクの処理中の映像である。 状態情報が表示される場合の例示図である。 記録部３の処理のフローチャートである。 生成部４の処理のフローチャートである。 表示部５の処理のフローチャートである。

符号の説明

１ 情報処理システム
１ａ 情報処理装置
２ 検出部
３ 記録部
４ 生成部
５ 表示部
１０ 脳波測定器
１１ マイク内蔵カメラ
１３、１４ 端末

Claims (16)

1. タスクの処理中の作業者を撮影したときに得た前記作業者の生体情報を記録する記録部と、
   前記生体情報に基づいて、前記作業者が別のタスクに移行する前までの前記作業者の心的状態を含む状態情報を生成する生成部とを備えたことを特徴とする情報処理装置。
2. 前記生成部が生成した前記心的情報を含む状態情報を表示する表示部を備えたことを特徴とする請求項１に記載の情報処理装置。
3. 前記記録部は、前記作業者の端末上での元のタスクの処理の履歴を記録し、
   前記処理の履歴と、前記生成部が生成した前記心的状態とを表示する表示部を備えたことを特徴とする請求項１に記載の情報処理装置。
4. 前記記録部は、タスクの処理中の作業者を撮影した映像を記録し、
   前記映像と、前記生成部が生成した前記心的状態とを表示する表示部を備えたことを特徴とする請求項１に記載の情報処理装置。
5. 前記記録部は、タスクの処理中の作業者を撮影した映像を記録し、
   前記記録部は、前記作業者の端末上での元のタスクの処理の履歴を記録し、
   前記映像と、前記処理の履歴と、前記生成部が生成した前記心的状態とを表示する表示部を備えたことを特徴とする請求項１に記載の情報処理装置。
6. 前記心的情報を含む状態情報に基づいて、作業者が元のタスクへ復帰したことを判定し、作業者がタスクへ復帰したと判定した場合には、前記心的情報を含む状態情報を表示する表示部を備えたことを特徴とする請求項１に記載の情報処理装置。
7. 前記記録部は、前記心的情報を含む状態情報に基づいて、タスクの開始及び終了の少なくとも一方を判定することを特徴とする請求項１に記載の情報処理装置。
8. 前記表示部は、前記心的状態を含む状態情報を可視表示、可聴表示及び永久可視表示のうち、少なくとも１つを行う請求項２乃至６の何れかに記載の情報処理装置。
9. 前記生体情報は、前記作業者の瞬き、瞳孔径、注視対象、注視時間、顔面皮膚温、脳波及び発話情報に関する情報のうちの少なくとも一つを含むことを特徴とする請求項１に記載の情報処理装置。
10. 前記心的状態は、作業者の興味度、作業者の興奮度、作業者の快適度、作業者の理解度、作業者の記憶度、作業者の集中度および作業者の疲労度のうち少なくとも一つを含む請求項１乃至８の何れかに記載の情報処理装置。
11. 前記作業者の生体情報を検出する検出部とを備えたことを特徴とする請求項１に記載の情報処理装置。
12. タスクの処理中の作業者を撮影したときに得た前記作業者の生体情報を記録する記録ステップと、
    前記生体情報に基づいて、前記作業者が別のタスクに移行する前までの前記作業者の心的状態を含む状態情報を生成する生成ステップとを有することを特徴とする情報処理方法。
13. 前記生成ステップにより作成された前記心的状態を含む状態情報を表示する表示ステップを有することを特徴とする請求項１２に記載の情報処理方法。
14. 前記記録ステップは、前記作業者の端末上での元のタスクの処理の履歴を記録し、
    前記処理の履歴と、前記生成ステップにより作成された前記心的状態とを表示する表示ステップを有することを特徴とする請求項１２に記載の情報処理方法。
15. 前記記録ステップは、タスクの処理中の作業者を撮影した映像を記録し、
    前記映像と、前記生成ステップにより作成された前記心的状態とを表示する表示ステップを有することを特徴とする請求項１２に記載の情報処理方法。
16. タスクの処理中の作業者を撮影したときに得た前記作業者の生体情報を取得する取得ステップと、
    前記生体情報に基づいて、前記作業者が別のタスクに移行する前までの前記作業者の心的状態を含む状態情報を生成する生成ステップとをコンピュータに実行させるためのプログラム。
    

Images