JP2006323547A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】 参加者の意思によらずに完了までに時間的な拘束を受ける拘束型の業務への参加者の物理的、又は精神的な離脱を判断し、その離脱した間の前記拘束型の業務の履歴を参加者に容易に理解できるように提示する情報処理装置、情報処理方法およびプログラムを提供することを目的とする。
【解決手段】 情報処理装置１ａは、参加者の意思によらずに完了までに時間的な拘束を受ける拘束型の業務の参加者の生体情報に基づいて心的状態を推定する推定部２と、前記参加者が、前記拘束型の業務を離脱したかどうかを前記心的状態に基づいて判断する判断部３と、前記判断部の判断結果に基づいて、前記拘束型の業務を離脱してから復帰するまでの間の前記拘束型の業務の履歴情報を生成する生成部４とを備える。
【選択図】 図３

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

会議は、ほぼ毎日、複数の会議において時間毎に開催される。このため、会議毎に捕捉され、蓄積された会議データは膨大であり、その数は日々増加していく。一方、会議の参加者が会議の途中で離脱した場合、その離脱した時間分の会議の情報が把握できないという問題があった。この問題を解決するために、以下の従来技術が提案されている。

特許文献１は、出席者が会議を離脱したか否かをＣＣＤカメラや画像認識で判定し、所定時間以上離脱した発言者が元の場所に戻ってきたとき、離脱中の議事録を提示することにより、会議の出席者が途中で離脱しても離脱中の発言内容を把握することができる装置について開示している。

また、特許文献２は、会議における発言を要約し、時系列で整理して提示することにより、会議内容の把握を容易化することができる電子会議システムについて開示している。

また、特許文献３は、発言内容を分類するための発言種別を予め複数種類定義し、参加者が発言を入力するときに、定義した発言種別を選択肢として与え、その中の1つを選択させることにより、問題提起発言とそれに対応する応答発言を抽出することで、議論ツリーの把握を容易にし、結果として議論の内容を容易に把握することができる電子会議システムについて開示している。

また、特許文献４は、会議における発言を構造化し、視覚的に提示することですことにより、単に、時系列順に表示したデータと比較して、資料内容に対する議論全体の把握が容易になり、会議内容へアクセスする際も、どの発言にアクセスすべきかが、全体の文脈を捉えて絞り込めるため、必要な発言へと容易にアクセスし易くなる装置について開示している。

また、特許文献５は、個人がＰＣ（Personal Computer）を使用してある業務を実行中に、他の業務の実行が割り込むことで前者の業務を中断した場合、割り込んだ業務の処理状況をアプリケーションの実行状態を認識して管理することで、中断した業務の再開が可能となった時に参加者へ通知する装置について開示している。

特開２００２−９９５３０号公報 特開平７−５６８２６号公報 特開平１１−２５０９９号公報 特開平１１−２７２６７９号公報 特開平７−５６７４８号公報

しかし、特許文献１に記載の装置では、必ずしも会議の議論からの離脱は離脱(席を外す)というイベントだけで行われるわけではなく、離脱しなくとも他のタスクに意識が移行している場合も該当する。従って、本装置は、その際に会議の離脱と認識されないため、発言内容把握の支援がされないと考えられる。また、特許文献２に記載の電子会議システムでは、自分が参加していない会議の部分がどこからかは把握できないため、同じ文書を繰り返し読み直す無駄が生じてしまう。また、特許文献３に記載の電子会議システムでは、議論ツリーが把握できたとしても、途中で議論の参加を中断した場合に、どの部分の議論が把握できていないのかを発見することはできない。また、特許文献４に記載の装置では、発言全体の構造を提示されたとしても、自分が議論に参加していない部分を見つける部分は参加者本人が見つけなければならない。特許文献５に記載の装置では、単一ユーザにおける並列処理ではなく、他のユーザ群とのインタラクションを含む並列処理の場合、他のユーザ群におけるタスクが逐次先に進んでしまうと、その内容を把握することができず、そちらのタスクへの復帰が困難になる。

以上のように、従来技術では、会議参加者が会議から離脱した時間を認識し、その間の議事録を復帰時に提示しているが、提示している情報は音声情報であり、音声情報だけでは議論全体を把握するには不十分である。また、提示する情報のノイズを削除するために議論の要約を作成してそれを提示しているが、議論は必ずしも要約できるようなものとは限らない。特に、会議の種類によっては、全ての議論を浅く広く把握したい状況や、自分の関係しそうな箇所は特に注意したいなどの状況も生じる。また、離脱の認識では、物理的に離脱していなくても、いわゆる内職などの作業やその会議外に意識が向いてしまい、精神的に会議を離脱する場合もある。そういった場合は、会議からの離脱を把握できない場合がある。また、議事録を時系列や発言種別毎に整理して提示することで、議論の把握を容易にしているが、離脱した際に議論された箇所がどの部分かは提示しないため、始めからその議事録を読む必要が生じ無駄な労力を費やさなければならない。

そこで、本発明は、上記問題点に鑑みてなされたものであり、参加者の意思によらずに完了までに時間的な拘束を受ける拘束型の業務への参加者の物理的、又は精神的な離脱を判断し、その離脱した間の前記拘束型の業務の履歴を参加者に容易に理解できるように提示する情報処理装置、情報処理方法及びプログラムを提供することを目的とする。

上記課題を解決するために、本発明の情報処理装置は、参加者の意思によらずに完了までに時間的な拘束を受ける拘束型の業務の参加者の生体情報に基づいて心的状態を推定する推定部と、前記心的状態に基づいて、前記参加者が、前記拘束型の業務を離脱したかどうかを判断する判断部と、前記判断部の判断結果に基づいて、前記拘束型の業務を離脱してから復帰するまでの間の前記拘束型の業務の履歴情報を生成する生成部とを備える。

本発明によれば、参加者の心的状態に基づいて、参加者が拘束型の業務を離脱したかどうかを判断するので、参加者の物理的、又は精神的に離脱したかどうかを把握することができ、離脱してから復帰するまでの拘束型の業務の履歴情報を生成するので、不要な情報の生成を省くことができる。

本発明の情報処理装置は、前記拘束型の業務の履歴情報を表示する表示部を備える。本発明によれば、参加者に拘束型の業務の履歴情報を提示することができる。

本発明の情報処理装置は、前記拘束型の業務の参加者が前記拘束型の業務に復帰したと前記判断部が判断した場合に、前記生成部が生成した前記拘束型の業務の履歴情報を表示する表示部を備える。本発明によれば、参加者が拘束型の業務に復帰したときに、参加者に拘束型の業務の履歴情報を提示することができる。

前記拘束型の業務の履歴情報は、前記拘束型の業務を離脱してから復帰するまでの間の前記拘束型の業務を撮影した映像情報、撮影したときの音声情報及び前記音声情報をテキスト化したもののうち少なくとも１つを含む。

前記推定部は、前記拘束型の業務の参加者の生体情報を重み付けして加算することにより、前記心的状態を推定する。本発明により、より正確に参加者の心的状態を推定することができる。

前記生体情報は、前記拘束型の業務の参加者の瞬き、瞳孔径、注視対象、注視時間、顔面皮膚温、脳波及び発話情報に関する情報のうちの少なくとも一つを含む。

前記参加者の心的状態は、参加者の興味度、参加者の興奮度、参加者の快適度、参加者の理解度、参加者の記憶度、参加者の集中度、他人の意見に賛同する度合いを表す参加者の支持度、他人の主張を自分も同じように感じたり理解したりする度合いを表す参加者の共有感覚度、主観による評価の度合いを表す前記参加者の主観度、特定の個人的主観の考えから独立して普遍性をもっていることの度合いを表す参加者の客観度、人心がけわしく悪いことの度合いを表す参加者の嫌悪度および参加者の疲労度のうち少なくとも一つを含む。

前記拘束型の業務は、会議であることを特徴とする。前記表示部は前記拘束型の業務の情報を可視表示、可聴表示及び永久可視表示のうち、少なくとも1つを行う。

本発明の情報処理方法は、参加者の意思によらずに完了までに時間的な拘束を受ける拘束型の業務の参加者の生体情報に基づいて心的状態を推定する推定ステップと、前記判断部の判断結果に基づいて、前記参加者が、前記拘束型の業務を離脱したかどうかを前記心的状態に基づいて判断する判断ステップと、前記拘束型の業務を離脱してから復帰するまでの間の前記拘束型の業務の履歴情報を生成する生成ステップとを有する。

本発明によれば、参加者の心的状態に基づいて、参加者が拘束型の業務を離脱したかどうかを判断するので、離脱したかどうかを正確に把握することができ、離脱してから復帰するまでの拘束型の業務の履歴情報を生成するので、不要な情報の生成を省くことができる。

前記拘束型の業務の履歴情報を表示する表示ステップを有する。本発明によれば、参加者に拘束型の業務の履歴情報を提示することができる。

前記拘束型の業務の履歴情報は、前記拘束型の業務を離脱してから復帰するまでの間の前記拘束型の業務を撮影した映像情報、撮影したときの音声情報及び前記音声情報をテキスト化したもののうち少なくとも１つを含む。

本発明のプログラムは、参加者の意思によらずに完了までに時間的な拘束を受ける拘束型の業務の参加者の生体情報に基づいて心的状態を推定する推定ステップと、前記心的状態に基づいて、前記参加者が、前記拘束型の業務を離脱したかどうかを判断する判断ステップと、前記判断部の判断結果に基づいて、前記拘束型の業務を離脱してから復帰するまでの間の前記拘束型の業務の履歴情報を生成する生成ステップとをコンピュータに実行させる。

本発明によれば、参加者の心的状態に基づいて、参加者が拘束型の業務を離脱したかどうかを判断するので、離脱したかどうかを正確に把握することができ、離脱してから復帰するまでの拘束型の業務の履歴情報を生成するので、不要な情報の生成を省くことができる。

本発明によれば、参加者の意思によらずに完了までに時間的な拘束を受ける拘束型の業務への参加者の物理的、又は精神的な離脱を判断し、その離脱した間の前記拘束型の業務の履歴を参加者に容易に理解できるように提示する情報処理装置、情報処理方法及びプログラムを提供できる。

以下、本発明を実施するための最良の形態について説明する。尚、以下の説明においては、参加者の意思によらずに完了までに時間的な拘束を受ける拘束型の業務が、電子会議システムによる会議である場合について説明する。

図１は、本実施例に係る情報処理システム１の構成を示すブロック図である。図１に示すように、情報処理システム１は、情報処理装置１ａ、生体情報である会議参加者の脳波を測定する脳波測定器１０、マイク内蔵カメラ１１、端末１３、１４から構成される。情報処理装置１ａは、推定部２、判断部３、生成部４、表示部５から構成される。

この情報処理システム１は、会議に参加する参加者の心的状態を推定して、会議からの物理的な離脱のみならず、精神的な離脱も含めて判断し、離脱してから復帰するまでの間の会議の履歴情報を表示する。

推定部２は、画像処理装置などにより構成され、マイク内蔵カメラ１１によって撮影された会議参加者の映像情報や会議参加者の音声情報に基づいて、脳波以外の会議の参加者の生体情報を検出する。尚、本実施例に係る情報処理システム１には、マイク内蔵カメラ１１を用いたが、マイクとカメラは別々のものであってもよい。

ここで参加者の生体情報は、参加者の瞬き、瞳孔径、注視対象、注視時間など眼球に係る情報、脳波、顔面皮膚温、発話情報などが含まれる。瞬き及び瞳孔径に係る情報は、視聴者の顔を撮像した顔画像から顔領域を抽出し、更に眼領域を特定し、瞬きの数をカウントしたり、瞳孔径を測定したりすることによって取得できる。注視対象及び注視時間については、マイク内蔵カメラ１１により撮像した画像を用い、前記手法により眼領域を特定し、撮像したマイク内蔵カメラ１１の位置より注視対象を特定し、撮像された眼領域の撮影時間から注視時間を特定することによって取得できる。顔面皮膚温は、赤外線カメラ、サーモグラフィなどにより参加者への計測機器を装着することなく取得することができる。また、発話情報には、発話の有無、音量、環境音などが含まれる。

また、推定部２は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などで構成され、参加者の生体情報に基づいて参加者の心的状態を推定する。ここで、参加者の心的状態には、参加者の興味度、参加者の興奮度、参加者の快適度、参加者の理解度、参加者の記憶度、参加者の集中度、他人の意見に賛同する度合いを表す参加者の支持度、他人の主張を自分も同じように感じたり理解したりする度合いを表す参加者の共有感覚度、主観による評価の度合いを表す前記参加者の主観度、特定の個人的主観の考えから独立して普遍性をもっていることの度合いを表す参加者の客観度、人心がけわしく悪いことの度合いを表す参加者の嫌悪度および参加者の疲労度を含む。尚、参加者の心的状態はこれらに限定されない。

眼球運動心理学（眼球運動の実験心理学、瞬きの心理学、瞳孔運動の心理学）によれば、興味は、瞳孔径に関連し、理解度及び記憶度は、瞬目に関連し、興奮度及び快適度は、瞬目や顔面皮膚温に関連していると考えられている。但し、これら単体では、例えば室内温度環境による顔面皮膚温上昇など、精度を保つことができない。そこで、推定部２は、これらデータ及び発話音量、環境音などの生体情報を重み付けして加算した評価関数により、参加者の状態推定値を求めて、参加者の心的状態を推定する。詳しくは後述する。

判断部３は、ＣＰＵ、ＲＡＭ、ＲＯＭなどで構成され、推定部２で推定した参加者の心的状態に基づいて、参加者が会議から離脱したかどうかの判断を行う。判断部３は、参加者が物理的に会議から離脱した場合のみならず、参加者の集中力の低下などにより精神的に離脱した場合も判断する。

生成部４は、ＣＰＵ、ＲＡＭ、ＲＯＭなどで構成され、判断部３の判断結果に基づいて、参加者が会議を離脱してから復帰するまでの間の会議の履歴情報を生成する。ここで、会議の履歴情報とは、参加者が会議を離脱してから復帰するまでの間の会議の様子を撮影した映像情報と、撮影したときの音声情報と、音声情報をテキスト化したものなどである。具体的には、判断部３によって出力された会議を離脱している時間データは生成部４に入力され、生成部４は会議を離脱している時間データに該当する時間内に撮影された会議の映像情報、そのときの音声情報を取得し、音声情報はテキストデータに変換後、発言者毎・発言時刻毎などに整理する。それらを会議不参加時の会議の履歴情報として、表示部５に出力する。尚、会議への参加に際して、電子会議システムを用いているので、会議側の映像や音声やその電子会議システムのものを利用すればよい。また音声データのテキストデータへの変換は変換ツールを用いればよい。テキストデータの整理に際してもソフトウェアを用いて処理すればよい。

表示部５は、ＣＰＵ、ＲＡＭ、ＲＯＭなどで構成され、生成部４で生成した会議の履歴情報を表示する。特に、判断部３によって参加者が会議に復帰したと判断された場合には、表示部５は会議の履歴情報をディスプレイなどに表示する。尚、表示部５は、ディスプレイなどに状態情報を可視表示するものであってもよいし、状態情報を音声により出力する可聴表示や、又は記録紙などに永久可視表示（印刷出力）をするものであってもよい。

次に、情報処理システム１の具体的な処理について説明する。図２は、情報処理システム１の処理の説明図である。

図２に示すように、会議への参加者１Ｍは、会議Ａとは別のタスクＢの２つのタスクを処理している。図２の上図では、端末１３上で会議Ａへの参加者１Ｍを、マイク内蔵カメラ１１により音声を含む全体映像・顔の画像・視線の方向などの撮影を行ない、脳波測定器１０で脳波の測定を常時行ない、それらの情報を情報処理装置１ａに蓄積し、会議中の参加者１Ｍの状態を管理する。また、情報処理装置１ａは、画像処理装置などを用いて、参加者が席をはずした場合など、物理的に会議から離脱していることを判断することができる。また、マイク内蔵カメラ１１で撮影された顔画像と視線方向の変更及び脳波測定器１０により測定された脳波の変化などから、情報処理装置１ａは会議Ａへの離脱を判断する。従って、参加者１Ｍの集中力が低下している場合のような精神的な離脱も判断することができる。

例えば、図２の上図のように、参加者１Ｍの視線方向が端末１３上で会議Ａへ向いており、参加者１Ｍの脳波から集中状態の場合には、情報処理装置１ａは、参加者１Ｍは会議Ａに参加していると判断する。一方、図２の下図のように、参加者１Ｍの視線方向が端末１４上でタスクＢに変更した場合に、情報処理装置１ａは、会議Ａを離脱したと判断する。尚、会議Ａを離脱した後も、情報処理装置１ａは、参加者１Ｍの脳波などの生体情報を検出し、心的状態を推定する。

尚、会議の種類、あるいは会議の議題によって、参加状態のレベルを設定してもよい。例えば、議論が活発で展開が速い会議の場合は、視線や顔の方向が少しでも違う方向に向けば離脱したと判断し、ある程度の集中度がなければ離脱したと判断するようにしてもよい。また、議論が収束しており、あまり参加の要求がされていない場合ならば、視線や顔の方向あるいは集中度の要求度合いを低く設定することもできる。

会議Ａを離脱したと判断されると、生成部４は、離脱したと判断された時刻から会議Ａへ復帰したと判断された時刻までの会議Ａの履歴情報を取得する。履歴情報とは、会議Ａにおける画像(会議Ａの様子やホワイトボードなどに書き込まれた情報あるいは電子情報)・音声(発言)である。また、生成部４は、音声はテキスト情報として生成する。また、テキスト情報を発言者・発言時刻・発言構造などの観点で整理、分析して生成する。これら会議Ａの履歴情報を参加者１Ｍが会議Ａに復帰した際に、生成部４は会議Ａの履歴情報を表示部５に出力し、表示部５はディスプレイなどに会議Ａの履歴情報を表示する。

図３は、表示部５によりディスプレイなどに表示される会議Ａの履歴情報４０の例示図である。会議Ａの履歴情報４０には、参加者１Ｍが会議を離脱している間の会議Ａでの音声情報をテキスト化し、発言時刻、発言者毎に整理したテーブル２０と、参加者１Ｍが会議を離脱している間の会議の映像３０とを表示する。

尚、ディスプレイなどに表示される会議の映像や、音声の再生にはマルティメディア処理を行う機能を備えればよく、整理されたテキスト情報を含め、ソフトウェアとして実施すればよい。ここで、表示された履歴情報は会議へ復帰した参加者に閲覧選択権を与えておき、参加者が一目して必要ないと判断すれば破棄し、閲覧するならば画像・音声の再生やテキストの表示を行うようにしてもよい。

次に、情報処理装置１ａの処理についてフローチャートを用いて説明する。図４は、判断部３の処理のフローチャートである。

判断部３は、推定部２により推定された参加者の心的状態をチェックする（ステップＳ１０１）。次に、判断部３は、参加者が会議を離脱したかどうかを判断する（ステップＳ１０２）。判断部３が、離脱していないと判断した場合は（ステップＳ１０２でＮｏ）、再度ステップＳ１０２に戻り、参加者の心的状態をチェックする。判断部３が、離脱したと判断した場合は（ステップＳ１０２でＹｅｓ）、判断部３は、推定部２により推定された参加者の心的状態をチェックし（ステップＳ１０３）、参加者が会議に復帰したかどうかの判断をする（ステップＳ１０４）。判断部３が、参加者が会議に復帰していないと判断した場合は（ステップＳ１０４でＮｏ）、再度ステップＳ１０３に戻り、推定部２により推定された参加者の心的状態をチェックする。判断部３が、参加者が会議に復帰したと判断した場合は（ステップＳ１０４でＹｅｓ）、判断部３は、参加者が会議を離脱した時間を計算し（ステップＳ１０５）、会議を離脱していた時間データを、生成部４に出力する（ステップＳ１０６）。

次に、会議の履歴情報を生成する処理について説明する。図５は、生成部４の処理のフローチャートである。

生成部４には、会議を離脱していた時間データが入力される（ステップＳ２０１）。次に生成部４は、会議を離脱していた時間内の会議の映像情報と、音声情報を取得する（ステップＳ２０２）。生成部４は、音声情報をテキスト化する（ステップＳ２０３）。生成部４は、音声情報をテキスト化したものを、時系列的、発言者などの種別毎に整理する（ステップＳ２０４）。これらの情報を、会議の履歴情報として表示部５に出力する。

次に、表示部５の処理について説明する。図６は、表示部５の処理のフローチャートである。会議の履歴情報は、表示部５に入力される（ステップＳ３０１）。表示部５は、会議の履歴情報をディスプレイなどに表示する（ステップＳ３０２）。

以上のように、本発明によって、会議という動的に変化するタスクに対しても、参加可能な際に参加することが可能となる。よって、ある時間必ず参加しなければならない会議でなければ、必要な時にだけ会議に参加し、それ以外は他のタスクを処理することができ、総じて自ら持つタスク群を効率的に処理することができるようになる。

次に、参加者の興味度、参加者の興奮度、参加者の快適度、参加者の理解度、参加者の記憶度、参加者の支持度、参加者の共有感覚度、参加者の主観度、参加者の客観度、参加者の嫌悪度及び参加者の疲労度における心的状態の推定値を求める評価関数を式（１）〜（１１）に示す。

・興味度f1＝w11＊瞳孔径（変化量,変化速度）＋w12＊注視（時間,回数）＋w13＊瞬目（率,回数,群発瞬目数）＋w14＊顔面皮膚温変化量＋w15＊発話音量＋w16＊話者発話音量＋W16＊環境音 ・・・（１）

・興奮度f2＝w21＊瞳孔径（変化量,変化速度）＋w22＊注視（時間,回数）＋w23＊瞬目（率,回数,群発瞬目数）＋w24＊顔面皮膚温変化量＋w25＊発話音量＋w26＊話者発話音量＋w26＊環境音 ・・・（２）

・快適度f3＝w31＊瞳孔径（変化量,変化速度）＋w32＊注視（時間,回数）＋w33＊瞬目（率,回数,群発瞬目数）＋w34＊顔面皮膚温変化量＋w35＊発話音量＋w36＊話者発話音量＋w36＊環境音 ・・・（３）

・理解度f4＝w41＊瞳孔径（変化量,変化速度）＋w42＊注視（時間,回数）＋w43＊瞬目（率,回数,群発瞬目数）＋w44＊顔面皮膚温変化量＋w45＊発話音量＋w46＊話者発話音量+w46＊環境音 ・・・（４）

・記憶度f5＝w51＊瞳孔径（変化量,変化速度）＋w52＊注視（時間,回数）＋w53＊瞬目（率,回数,群発瞬目数）＋w54＊顔面皮膚温変化量＋w55＊発話音量＋w56＊話者発話音量＋w5６＊環境音 ・・・（５）

・集中度f6＝w61＊瞳孔径（変化量,変化速度）＋w62＊注視（時間,回数）＋w63＊瞬目（率,回数,群発瞬目数）＋w64＊顔面皮膚温変化量＋w65*発話音量＋w66＊話者発話音量+w66＊環境音＋w67＊脳波（周波数） ・・・（６）

・支持度f7＝w71＊瞳孔径（変化量,変化速度）＋w72＊注視（時間,回数）＋w73＊瞬目（率,回数,群発瞬目数）＋w74＊顔面皮膚温変化量＋w75＊発話音量＋w76＊話者発話音量+w76＊環境音＋w77＊脳波（周波数） ・・・（７）

・共有感覚度f8＝ｗ81＊瞳孔径（変化量,変化速度）＋w82＊注視（時間,回数）＋w83＊瞬目（率,回数,群発瞬目数）＋ w84＊顔面皮膚温変化量＋w85＊発話音量＋w86＊話者発話音量＋w86＊環境音＋w87＊脳波（周波数） ・・・（８）

・主観度f9＝w91＊瞳孔径（変化量,変化速度）＋w92＊注視（時間,回数）＋w93＊瞬目（率,回数,群発瞬目数）＋w94＊顔面皮膚温変化量＋w95＊発話音量＋w96＊話者発話音量+ｗ96＊環境音＋w97＊脳波（周波数） ・・・（９）

・客観度f10＝w101＊瞳孔径（変化量,変化速度）＋w102＊注視（時間,回数）＋w103＊瞬目（率,回数,群発瞬目数）＋w104＊顔面皮膚温変化量＋w105＊発話音量＋w106＊話者発話音量＋w106＊環境音＋w107＊脳波（周波数） ・・・（１０）

・疲労度f11＝w111＊瞳孔径（変化量,変化速度）＋w112＊注視（時間,回数）＋w113＊瞬目（率,回数,群発瞬目数）＋w114＊顔面皮膚温変化量＋w115＊発話音量＋w116＊話者発話音量＋w116＊環境音＋w117＊脳波（周波数） ・・・（１１）

上記式について説明する。式（１）の興味度f1において、瞳孔変化量が大きく、注視時間が長く、瞬目回数が少なく、顔面皮膚温の変化量が多く、発話音量の大きい部分を、興味があるシーンとして映像を特定することができる。このため式（１）の興味度f1は、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音などをそれぞれ重み係数w11〜w1nで重み付けして加算することで状態推定値を算出することができる。

式（２）の興奮度f2は、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音などに重み係数w21〜w2nでそれぞれ重み付けして加算することで状態推定値を算出することができる。式（３）の快適度f3は、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音などに重み係数w31〜w3nでそれぞれ重み付けして加算することで状態推定値を算出することができる。

式（４）の理解度f4において、理解困難な場合は瞬目が増加すると考えられている（まばたきの心理学）。一般的に理解が困難な場合、視聴者は、補足情報を取得しようとし、注視時間が増加する傾向にあると考えられるため、注視時間が長く、瞬目回数が多い部分を、理解が困難であるシーンとして映像を特定する。このため、式（４）の理解度f4は、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音などに重み係数w41〜w4nでそれぞれ重み付けして加算することで状態推定値を算出することができる。

式（５）の記憶度f5は、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音などに重み係数w51〜w5nでそれぞれ重み付けして加算することで状態推定値を算出することができる。

例えば、集中度f6において、瞳孔変化量が大きく、注視時間が長く、瞬目回数が少なく、顔面皮膚温の変化量が多く、発話音量の大きいとき、注意を向けて集中している可能性が高い。あるいは、脳波において、β波は思考状態を示すと考えられ、注意を向けて集中している可能性が高い。これを利用して心理的状態を特定する。このため、集中度f6は、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音など、脳波などをそれぞれ重み係数w61〜w6nで重み付けして加算することで同定される。他の心的状態を表現する式においても同様にして同定できる。

また、参加者の集中度の状態推定値を求める評価関数は、以下のように上記の評価関数を複合的に用いて算出してもよい。

・集中度C＝｛（顔の方向÷集中しているときの顔の方向）＊α＋（視線の向き÷集中しているときの視線の向き）＊β＋｛（集中度f6÷参加者が参加している時の集中度）＊a ＋（記憶度f5÷参加者が参加している時の記憶度）＊b ＋（興奮度f2÷参加者が参加している時の興奮度）＊c ＋（興味度f1÷参加者が参加している時の興味度）＊d ＋（理解度f4÷参加者が参加している時の理解度）＊e｝＊γ｝＊E …（１２）

式（１２）において、顔の方向の重み係数をαとし、視線の向きの重み係数をβとし、心的状態の推定値の重み係数をγとし、（α＋β＋γ＝１、a＋b＋c＋d＋e＝１）とする。ただし、心的状態推定値の小括弧内の値が１より大の場合、算出式上においては心的状態推定値の値を１として算出する。また、参加者が席をはずした場合など、物理的に会議を離脱したことが明らかな場合にはE＝０とし、物理的に会議を離脱していない場合にはE＝１とする。即ちE＝（０、１）の場合、C＝０〜１の値をとる。これにより参加者の集中度の状態推定値を算出することができる。

なお、本発明による情報処理方法は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどを用いて実現され、プログラムをハードディスク装置や、ＣＤ−ＲＯＭ、ＤＶＤまたはフレキシブルディスクなどの可搬型記憶媒体などからインストールし、または通信回路からダウンロードし、ＣＰＵがこのプログラムを実行することで、各ステップが実現される。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。例えば、本実施例では会議と、別のタスクを異なる端末上で処理していることを前提としたが、同一の端末上で会議とタスクを処理する場合にも適用することが可能である。また、本実施例では、会議の参加者の離脱時間における会議の履歴情報のみを取得しているが、目的は離脱した間の情報が得ることなので、常時会議の履歴情報を取得、生成、提示をしておき、離脱した間の履歴情報の部分だけを強調表示するなどの方法をとってもよい。離脱した間の情報と合わせて全体の情報を確認したい場合は、この方法が有効である。

情報処理システム１の構成を示すブロック図である。 情報処理システム１の処理の説明図である。 ディスプレイなどに表示される会議の履歴情報の例示図である。 判断部３の処理のフローチャートである。 生成部４のフローチャートである。 表示部５の処理のフローチャートである。

符号の説明

１ 情報処理システム
１ａ 情報処理装置
２ 推定部
３ 判断部
４ 生成部
５ 表示部
１０ 脳波測定器
１１ マイク内蔵カメラ
１３、１４ 端末

Claims (13)

1. 参加者の意思によらずに完了までに時間的な拘束を受ける拘束型の業務の参加者の生体情報に基づいて心的状態を推定する推定部と、
   前記心的状態に基づいて前記参加者が、前記拘束型の業務を離脱したかどうかを判断する判断部と、
   前記判断部の判断結果に基づいて、前記拘束型の業務を離脱してから復帰するまでの間の前記拘束型の業務の履歴情報を生成する生成部とを備えたことを特徴とする情報処理装置。
2. 前記拘束型の業務の履歴情報を表示する表示部を備えたことを特徴とする請求項１に記載の情報処理装置。
3. 前記拘束型の業務の参加者が前記拘束型の業務に復帰したと前記判断部が判断した場合に、前記生成部が生成した前記拘束型の業務の履歴情報を表示する表示部を備えたことを特徴とする請求項１に記載の情報処理装置。
4. 前記拘束型の業務の履歴情報は、前記拘束型の業務を離脱してから復帰するまでの間の前記拘束型の業務を撮影した映像情報、撮影したときの音声情報及び前記音声情報をテキスト化したもののうち少なくとも１つを含むことを特徴とする請求項１に記載の情報処理装置。
5. 前記推定部は、前記拘束型の業務の参加者の生体情報を重み付けして加算することにより、前記心的状態を推定することを特徴とする請求項１に記載の情報処理装置。
6. 前記生体情報は、前記拘束型の業務の参加者の瞬き、瞳孔径、注視対象、注視時間、顔面皮膚温、脳波及び発話情報に関する情報のうちの少なくとも一つを含むことを特徴とする請求項１又は５に記載の情報処理装置。
7. 前記参加者の心的状態は、参加者の興味度、参加者の興奮度、参加者の快適度、参加者の理解度、参加者の記憶度、参加者の集中度、他人の意見に賛同する度合いを表す参加者の支持度、他人の主張を自分も同じように感じたり理解したりする度合いを表す参加者の共有感覚度、主観による評価の度合いを表す前記参加者の主観度、特定の個人的主観の考えから独立して普遍性をもっていることの度合いを表す参加者の客観度、人心がけわしく悪いことの度合いを表す参加者の嫌悪度および参加者の疲労度のうち少なくとも一つを含む請求項１又は５に記載の情報処理装置。
8. 前記拘束型の業務は、会議であることを特徴とする請求項１に記載の情報処理装置。
9. 前記表示部は前記拘束型の業務の情報を可視表示、可聴表示及び永久可視表示のうち、少なくとも1つを行う請求項２又は３に記載の情報処理装置。
10. 参加者の意思によらずに完了までに時間的な拘束を受ける拘束型の業務の参加者の生体情報に基づいて心的状態を推定する推定ステップと、
    前記心的状態に基づいて前記参加者が、前記拘束型の業務を離脱したかどうかを判断する判断ステップと、
    前記判断部の判断結果に基づいて、前記拘束型の業務を離脱してから復帰するまでの間の前記拘束型の業務の履歴情報を生成する生成ステップとを有することを特徴とする情報処理方法。
11. 前記拘束型の業務の履歴情報を表示する表示ステップを有することを特徴とする請求項１０に記載の情報処理方法。
12. 前記拘束型の業務の履歴情報は、前記拘束型の業務を離脱してから復帰するまでの間の前記拘束型の業務を撮影した映像情報、撮影したときの音声情報及び前記音声情報をテキスト化したもののうち少なくとも１つを含むことを特徴とする請求項１０に記載の情報処理方法。
13. 参加者の意思によらずに完了までに時間的な拘束を受ける拘束型の業務の参加者の生体情報に基づいて心的状態を推定する推定ステップと、
    前記心的状態に基づいて、前記参加者が、前記拘束型の業務を離脱したかどうかを判断する判断ステップと、
    前記判断部の判断結果に基づいて、前記拘束型の業務を離脱してから復帰するまでの間の前記拘束型の業務の履歴情報を生成する生成ステップとをコンピュータに実行させるプログラム。

Images