JP2006243980A - 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】 コミュニケーション業務を含む日常の複数業務を遂行する場面で、ユーザの状態を適切に会議参加者に提示し、コミュニケーションを支援する。
【解決手段】 ユーザの業務中の生体情報、音声情報、業務遂行状況を検出するとともに、周辺でコミュニケーションを行なっている人物の生体情報、音声情報、周辺で発生するコミュニケーションを検出し、ユーザがマルチタスクを判定し、判定結果を基に表示方法の変更を検討する。デスクワーク側の情報とコミュニケーション情報に基づいて、タスクの切換が可能又は必要であるかを判定し、ユーザに切換タイミングを指示する。
【選択図】 図６

Description

本発明は、ユーザ間のコミュニケーションを支援する情報処理システム及び情報処理方法、並びにコンピュータ・プログラムに係り、特に、ユーザが複数の業務を遂行している場面において、ユーザのマルチタスクの状態を適正に判断してコミュニケーションを支援する情報処理システム及び情報処理方法、並びにコンピュータ・プログラムに関する。

さらに詳しくは、本発明は、コミュニケーション業務を含めた複数の業務を遂行するユーザとコミュニケーション参加者間のコミュニケーションを支援する情報処理システム及び情報処理方法、並びにコンピュータ・プログラムに係り、特に、複数業務を遂行するユーザのデスクワーク環境と、このユーザとのコミュニケーションを行なうコミュニケーション環境に基づいて、ユーザのマルチタスク状況を適切に判断して、コミュニケーションを支援する情報処理システム及び情報処理方法、並びにコンピュータ・プログラムに関する。

オフィスでは日常継続して業務が行なわれる。スタッフがオフィスにおける業務を行なう際、コミュニケーション業務も含めたその他の複数の業務を並行して実行することが要求される場面が多い。

特に、近年のように情報がネットワークで連携され、さらにモバイル環境によってどこからでも情報にアクセスできるようになると、デスクワーク中であってもそれ以外の業務環境からコミュニケーションがとられることが多い。例えば、デスクワーク中のユーザが、デスクトップ上でドキュメント作成をするタスク１と、テレビ会議システムなどを利用して遠隔で会議に参加するタスク２とを同時に実施するといった具合である。

このようにユーザが１つの業務遂行中に他者からコミュニケーションを要求され、且つ新たな業務を依頼されるシーンは増加することが当然のように考えられる。ユーザが複数の業務すなわちマルチタスクを如何に効率よく遂行するかといった要求は、今後も一層強まると考えられる。

例えば、コンピュータ・ネットワークにおいて、双方の人の意識の集中を必要とせずに、環境変化の認識と同様に、意識のバックグラウンドの中で間接的に情報を共有することによって、ある人とその相手の人との間における存在感、心のつながり感を提供することができるコミュニケーション・システムについて提案がなされている（例えば、特許文献１を参照のこと）。同システムでは、センサやカメラなどを用いて、人の周辺の環境情報や人の存在・不存在などの周囲情報を、登録されている相手と常時送受信し、これらの情報を、表示装置の変化や物体の動作の変化などを利用し、環境変化の認識と同様に、意識のバックグラウンドの中で、間接的に情報を共有することによって、ある人とその人の相手との間における存在感や心のつながり感を提供する。

また、多数存在するアバタ及びその動作表示を最適化する、多人数参加型のテレビ会議システムについて提案がなされている（例えば、特許文献２を参照のこと）。同システムでは、各利用者を象徴する人型のアバタについて、頭、手、足などノード毎に、アニメーションの実現方法や他のアバタとの相対的位置によるアニメーションの適用条件が設定されている。利用者からジェスチャ指示や移動指示などがあると、リアルタイムに更新し、３次元ＣＧによるアバタのアニメーション表示、ジェスチャ表示、アバタへの実際の映像の合成表示を行なう。

しかしながら、前者のコミュニケーション・システムでは、ネットワーク上でのコミュニケーションを前提としており、実空間でのコミュニケーションでは何ら効果を持たない。また、後者のテレビ会議システムでも同様に、ネットワーク上でのコミュニケーションを前提としており、実空間でのコミュニケーションでは何ら効果を持たない。

また、複数の業務を遂行するユーザにおいては、周辺状況の表示にはユーザが現時点で行なっている業務遂行情況との兼ね合いを重視する必要があるが、これらの従来技術はそれを何ら考慮していない。

例えば、あるユーザがドキュメント作成をするタスク１と遠隔で会議に参加するタスク２を同時に実施する場面を想定する。この際、会議側からはユーザの状態（例えば、集中している度合い）などが分からず、話し掛けるタイミング把握が困難である。また、オンライン状況でのアウェアネスに関連する先行技術も散見されるが、単に双方向の画像が提示されれば話し掛けのタイミング判断が可能になるとは限らないし、それを補足するように実空間上に双方が存在してもそのタイミングの困難は発生する。

特開２００２−３１４９６３号公報 特開２００１−１６０１５４号公報

本発明の目的は、ユーザ間のコミュニケーションを好適に支援することができる、優れた情報処理システム及び情報処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、複数の業務を遂行している場面において、マルチタスクの状態を適正に判断してコミュニケーションを支援することができる、優れた情報処理システム及び情報処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、コミュニケーション業務を含めた複数の業務を遂行するユーザとコミュニケーション参加者間の双方コミュニケーションを好適に支援することができる、優れた情報処理システム及び情報処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、複数業務を遂行するユーザのデスクワーク環境と、このユーザとのコミュニケーション業務を行なうコミュニケーション環境に基づいて、ユーザのマルチタスク状況を適切に判断して、双方コミュニケーションを支援することができる、優れた情報処理システム及び情報処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明は、上記課題を参酌してなされたものであり、その第１の側面は、コミュニケーション業務を含めた複数の業務を遂行するユーザとコミュニケーション参加者間のコミュニケーションを支援する情報処理システムであって、ユーザが業務を遂行するデスクワークにおける環境を検出するデスクワーク環境検出部と、ユーザが参加するコミュニケーション業務における環境を検出するコミュニケーション環境検出部と、デスクワーク環境とコミュニケーション環境の検出結果に基づいてユーザがコミュニケーション業務に参加可能か否かを含むユーザの状況を判断する判断手段とを具備することを特徴とする情報処理システムである。

本発明に係る情報処理システムは、前記判断手段の判断結果に基づいてユーザの状況を表示するユーザ画像表示部をさらに備えていてもよい。

また、前記判断手段は、前記デスクワーク環境検出部により検出されたデスクワーク環境情報及び前記コミュニケーション環境検出部により検出されたコミュニケーション環境情報を同期して保持する第１のコントローラと、該同期的に保持されたデスクワーク環境情報及びコミュニケーション環境情報に基づいてユーザがマルチタスク可能な又はマルチタスクが必要な状況を判定するマルチタスク監視部と、前記マルチタスク監視部によるユーザのマルチタスク状況の判定結果に基づいてユーザとコミュニケーション参加者のうち少なくとも一方のコミュニケーションをとるべきタイミングを決定する第２のコントローラで構成することができる。

そして、本発明に係る情報処理システムは、前記第２のコントローラにより決定されたタイミングをデスクワーク環境に表示するデスクワーク環境表示部、又は前記第２のコントローラにより決定されたタイミングをコミュニケーション環境に表示するコミュニケーション環境表示部のうち少なくとも１つを備えており、ユーザとコミュニケーション参加者のうち少なくとも一方に対し、コミュニケーションをとるべきタイミングを通知することができる。表示形態として、例えば、アイコンによるグラフィカル表示形式とする。

前記デスクワーク環境検出部は、ユーザの業務中の生体情報を検出する生体情報検出手段と、ユーザの業務中の音声情報を検出する音声情報検出手段と、ユーザの業務遂行状況を検出するタスクログ検出手段で構成され、複数業務を遂行するユーザの生体情報、音声情報、タスクログをデスクワーク環境として取得する。

また、前記コミュニケーション環境検出部は、遠隔地も含めた周辺でコミュニケーションを行なっている人物の生体情報を検出する生体情報検出手段と、外人物の音声情報を検出する音声情報検出手段と、遠隔地も含めた周辺で発生するコミュニケーション状況を検出するコミュニケーション状況情報検出手段で構成され、コミュニケーション参加者の生体情報、音声情報、コミュニケーション状況をコミュニケーション環境として取得する。ここで言うコミュニケーションの一例は、会議、若しくはテレビ会議などの遠隔会議である。

前記マルチタスク監視部は、ユーザ及びコミュニケーション参加者の生体情報及び音声情報に基づいて算出されるそれぞれの状態値に基づいて、バランスを算出する。そして、バランスの算出結果が特定の閾値を超えたとき、コミュニケーション参加者側にその情報を提示することにより、コミュニケーション参加者からユーザにコミュニケーションをとる適正なタイミングを与えることができる。

また、前記マルチタスク監視部は、過去のユーザのマルチタスク判定結果や、表示された情報に対してユーザがとった行動をフィードバックして保持するマルチタスク状況判定情報データベースを備えてもよい。このような場合、ユーザがどのように判断したかをデータベースにフィードバックして学習し、表示強度の適正を向上することができる。

また、前記マルチタスク監視部によるユーザのマルチタスク状況の判定結果に基づいて、ユーザ並びにコミュニケーション参加者にコミュニケーションのタイミングを表示する表示方法の変更を検討する変更部をさらに備えていてもよい。このような場合、前記第２のコントローラは、前記変更部により決定された変更方法を決定する。

従来から、オフィスではコミュニケーション業務も含めたその他の複数の業務を並行して実行することが要求される場面が多い。このため、ユーザが複数の業務を如何に効率よく遂行するかが技術的課題となる。

複数の業務を遂行するユーザにおいては、周辺状況の表示にはユーザが現時点で行なっている業務遂行情況との兼ね合いを重視する必要がある。そこで、本発明に係る情報処理システムでは、マルチタスクを行なっているユーザに話しかけるタイミングの判断ができる程度のトリガを、遠隔会議側などコミュニケーション参加者側にフィードバックする。これによって、複数業務を行なうユーザの業務同時進行を支援するようにしている。

具体的には、本発明に係る情報処理システムは、コミュニケーション業務を含めた複数の業務を遂行するユーザのデスクワーク中における生体情報、音声情報、タスクログを取得する。また、ユーザが参加しているコミュニケーション業務において、このコミュニケーションの参加者の生体情報、音声情報、コミュニケーション環境情報を取得する。そして、コミュニケーション参加者の生体情報、及びコミュニケーション情報を検出してコミュニケーション参加者における興味、思考箇所を逐次特定する。

マルチタスク監視部では、検出したユーザの生体情報／タスクログ情報と、コミュニケーション参加者の興味度合に基づいて、バランス（表示強度α）を算出する。そして、この算出結果が特定の閾値を超えたとき、コミュニケーション側にその情報を表示し、コミュニケーション参加者からユーザにコミュニケーションをとる適正なタイミングを与えることができる。

さらに、これらによって表示された情報に対し、ユーザがどのように判断したかをデータベースにフィードバックして学習し、表示強度の適正を向上することができる。

また、本発明の第２の側面は、コミュニケーション業務を含めた複数の業務を遂行するユーザとコミュニケーション参加者間のコミュニケーションを支援するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、ユーザが業務を遂行するデスクワークにおける環境を検出するデスクワーク環境検出手順と、ユーザが参加するコミュニケーション業務における環境を検出するコミュニケーション環境検出手順と、デスクワーク環境とコミュニケーション環境の検出結果に基づいてユーザがコミュニケーション業務に参加可能か否かを含むユーザの状況を判断する判断手順とを前記コンピュータ・システム上で実行させることを特徴とするコンピュータ・プログラムである。

本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る情報処理システムと同様の作用効果を得ることができる。

本発明によれば、ユーザ間のコミュニケーションを好適に支援することができる、優れた情報処理システム及び情報処理方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、ユーザが複数の業務を遂行している場面において、ユーザのマルチタスクの状態を適正に判断してコミュニケーションを支援することができる、優れた情報処理システム及び情報処理方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、コミュニケーション業務を含めた複数の業務を遂行するユーザとコミュニケーション参加者間のコミュニケーションを好適に支援することができる、優れた情報処理システム及び情報処理方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、複数業務を遂行するユーザのデスクワーク環境と、このユーザとのコミュニケーションを行なうコミュニケーション環境に基づいて、ユーザのマルチタスク状況を適切に判断して、コミュニケーションを支援することができる、優れた情報処理システム及び情報処理方法、並びにコンピュータ・プログラムを提供することができる。

本発明によれば、ユーザが遠隔のコミュニケーションに参加しつつ、１以上の日常業務をこなすという複数業務実施場面において、遠隔コミュニケーション側からユーザの業務遂行を邪魔することなく、また適切なタイミングによる双方向コミュニケーションを可能にすることができる。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

以下、図面を参照しながら本発明の実施形態について詳解する。

図１には、本発明の一実施形態に係る表示システム１００の機能構成を模式的に示している。表示システム１００は、複数のタスク切換タイミングを表示するものであり、デスクワークの内容を生体情報、タスクログ情報の検出とともに記録し保存する部分と、コミュニケーション環境の情報を生体情報、コミュニケーション情報の検出とともに記録し保存する部分と、保存された情報から複数業務遂行の状況を判定する部分と、それに基づいて表示する部分に大別される。

図示の例では、表示システム１００は、デスクワーク環境検出部１と、コミュニケーション環境検出部２と、コントローラ３と、マルチタスク監視部４と、変更部５と、コントローラ６と、デスクワーク環境表示部７と、コミュニケーション環境表示部８と、ユーザ画像表示部９を備えている。

デスクワーク環境検出部１は、当該システム１００が状態を表示する対象となるユーザに関するデスクワークの状況を検出するものであり、ユーザの生体情報検出部１０１と、音声情報検出部１０２と、タスクログ検出部１０３で構成される。

生体情報検出部１０１は、デスクワーク中のユーザの瞬きや瞳孔径、注視対象、注視時間など眼球に係る情報や、顔面皮膚温、発話情報などの生体情報を検出する。

生体情報検出部１０１で取得する生体情報は、特に、ユーザへの計測機器の装着無しに取得可能なものを対象とする。例えば、瞬きや瞳孔径に係る情報は、公知の手法を用いてユーザの顔をカメラで撮像した顔画像から顔領域を抽出し、さらに眼領域を特定し、瞬きの数をカウントする手段や、瞳孔径を測定する手段により取得することができる。

顔領域の抽出方法としては、固有顔、ニューラル・ネットワーク及びサポートベクタマシン（ＳＶＭ：Ｓｕｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）などのパターン認識の手法を利用して、あらかじめ顔パターンを学習させて識別器を生成する方法が挙げられる。例えば、入力画像と平均的な顔画像を示す所定サイズのテンプレートとの相関をとった相関値の集合からなるマッチング結果を生成し、このマッチング結果による相関値から求まる局所最大値に基づいて顔候補を抽出し、顔候補に相当する入力画像領域から顔領域を識別することができる（例えば、特開２００４−３０６２９号公報を参照のこと）。

そして、顔画像から、目の特徴量（例えば、瞳孔中心や目頭）を抽出し、視線方向推定のための特徴量を抽出する。眼画像解析については、例えば、坂口外著、信学技報ＰＲＵ９５−２８，１９９５に記載されている。

また、注視対象、注視時間においては、注視対象候補側に配置したカメラなどにより撮像した画像を用い、上記の手法により眼領域を特定し、撮像したカメラの位置より注視対象を特定し、撮像された眼領域の撮影時間から注視時間を特定することにより取得できる。視対象判定については、例えば、角外著、ヒューマンインターフェースシンポジウム２００２（一般発表、２００２）に記載されている。

また、顔面皮膚温においては、赤外線カメラ、サーモグラフィなどによりユーザへの計測機器を装着することなく取得することが可能である。例えば、無数の熱電対を直列に接続して構成される放射温度計のセンサを２次元平面上に配列したサーモパイル・センサを電気的走査することにより、顔領域の熱分布の測定を行なうことができる。

音声情報検出部１０２は、デスクワーク側のユーザの業務状況を認識するため、ユーザの音声などの音響データを検出するものである。この音声情報検出部１０２は、集音マイクなどの一般的な音声検出装置を適宜選択して用いることができる。

タスクログ検出部１０３は、ユーザのデスクワーク状況を検出するものである。タスクログ検出部１０３は、ビデオ・カメラなどの一般的な映像情報検出装置などを適宜選択して用いることができる。好ましくは、このタスクログ検出部１０２には、机上の様子やディスプレイに表示される資料やユーザなどが広角で撮像できるカメラを用いる。あるいは、計算機を利用した業務であれば、アプリケーションの起動状況、キーボード入力状況、マウス操作状況など、一般的な計算機上においてユーザが実行した操作ログの取得手段を用いることができる。

コミュニケーション環境検出部２は、当該システム１００が表示対象とするユーザとコミュニケーションを行なうコミュニケーション参加者側の状況を検出するものであり、コミュニケーション参加者に関する生体情報及び音声情報を検出する生体情報検出部２０１及び音声情報検出部２０２と、コミュニケーション情報検出部２０３で構成される。図１では、コミュニケーション環境検出部２は１つしか描かれていないが、複数のコミュニケーション参加者が存在する場合には、コミュニケーション参加者毎にコミュニケーション環境検出部２を配設する。また、マルチタスクを行なうユーザが同時に複数のコミュニケーション業務に参加している場合には、コミュニケーション環境毎にコミュニケーション環境検出部２を配設する。

生体情報検出部２０１並びに音声情報検出部２０２は、デスクワーク環境検出部１における生体情報検出部１０１並びに音声情報検出部１０２と同様の機能を有するので、ここでは説明を省略する。

コミュニケーション情報検出部２０２は、コミュニケーション状況を検出するものである。コミュニケーション情報検出部２０２は、ビデオ・カメラなどの一般的な映像情報検出装置などを適宜選択して用いることができる。好ましくはこのコミュニケーション情報検出部２０２には、会議で使用されるプレゼンテーション資料やユーザなどが広角で撮像できるカメラを用いる。

当該表示システム１００では、生体情報検出部１０１、２０１により取得されたユーザ及びコミュニケーション参加者それぞれの生体情報を、例えば表形式のデータシートとして保持する。

図２には、生体情報を表形式のデータシートに保持させた例を示している。図示のデータシートには、例えば、ユーザ、コミュニケーション参加者毎に、時刻ｔ、瞳孔径ｘ、ｙ、注視対象、注視時間、瞬目、顔面皮膚温、脳波などの生体情報を保持する。特に、注視対象は、注視対象側に設置されたカメラから撮像可能であったカメラ位置を特定することで注視対象とする。さらに、注視時間はユーザが注視する対象毎に累積時間を算出して記録する。表現方法は図示の形態に限らず、グラフ形式などであっても良い。

また、当該表示システム１００では、音声情報検出部１０２、２０２により取得されたユーザ及びコミュニケーション参加者それぞれの音声情報を、例えば表形式のデータシートとして保持する。

図３には、音声情報を表形式のデータシートに保持させた例を示している。図示のデータシートは、例えば、ユーザ毎に、時刻ｔ、発話有無、音量、話者発話有無、話者音量、環境音などの音情報を保持する。特に、環境音は映像に付随して発生する音声情報などを含む。表現方法は図示の形態に限らず、グラフ形式などであっても良い。

また、タスクログ検出部１０３により取得された表示対象ユーザのタスクログ情報、並びにコミュニケーション状況検出部２０３により取得されたコミュニケーション参加者に関するコミュニケーション情報は、例えば一覧形式のデータシートとして保持する。図４には、タスクログ情報若しくはコミュニケーション情報を一覧形式のデータシートに保持させた例を示している。識別記号ＩＤはコミュニケーション情報に対応されている。表現方法は図示の形態に限定されない。

コントローラ３は、デスクワーク環境検出部１及びコミュニケーション環境検出部２でそれぞれ検出された、生体情報データ、音声情報データ、タスクログ・データ、コミュニケーション情報データを同期させ、この同期化させた情報を保持する。コントローラ３の記録機能は、例えば半導体メモリや、ハード・ディスク、フレキシブル・ディスクなどの一般的な記録装置を、当該システム１００に要求される記憶容量やアクセス速度などに応じて適宜選択して用いることができる。

コントローラ３により同期されたデータを、例えば表形式のデータシートとして保持する。図５には、そのデータシートの構成例を示している。図示のデータシートには、例えば、ユーザ毎の、時刻、瞳孔径、注視対象、注視時間、瞬目、顔面皮膚温などの生体情報と、時刻、発話有無、音量、話者発話有無、話者音量、環境音などの音声情報と、コミュニケーション情報データを保持する。表現方法はこれに限らない。

マルチタスク監視部４は、当該システム１００の表示対象であるユーザの、コミュニケーション業務を含めた複数の業務を並行して実行するマルチタスク状況を監視するものであり、マルチタスク状況判定部４０１と、マルチタスク状況判定情報データベース４０２を備えている。例えば、状態推定処理が可能なＣＰＵ、及びインデックス・ファイルを保持可能な半導体メモリ、ハード・ディスク、フレキシブル・ディスクなどの一般的な記録装置を適宜選択してマルチタスク監視部４が構成される。

マルチタスク状況判定部４０１は、インデックス・ファイルを基に、所定の評価関数を用いてデスクワーク中のユーザと、コミュニケーション参加者の心的状態を推定する処理を行なう。このマルチタスク状況判定部４０１は、所定のプログラムを実行することでその機能が実現される。

マルチタスク状況判定情報データベース４０２は、マルチタスク状況判定部４０１による過去のユーザのマルチタスク判定結果や、表示された情報に対してユーザがとった行動をフィードバックして保持する。当該表示システム１００によって表示された情報に対し、ユーザがどのように判断したかをデータベースにフィードバックして学習することによって、表示強度の適正を向上することができる。

ユーザとコミュニケーション参加者の心的状態には、例えばコミュニケーション参加者の認知的状態や精神的情報などを含む。具体的には、マルチタスク状況判定部４０１は、評価関数を用いて、ユーザと視聴者の状態推定値を算出する。この評価関数は、ユーザとコミュニケーション参加者の生体情報及び音声情報を重み付けして加算する。マルチタスク状況判定部４０１は、重み付け加算の際に、パラメータを用いる。このパラメータには、コントローラ３で統合、保持されたファイルに記述されたデータを利用する。このパラメータには、例えば、ユーザ、視聴者の状態を興味度、興奮度、快適度、理解度、記憶度、支持／不支持度合、共有感覚度合、主観／客観度合、嫌悪度合、疲労度などの状態が含まれる。

本実施形態に係るシステム１００では、デスクワーク環境検出部１及びコミュニケーション環境検出部２において、ユーザやコミュニケーション参加者の生体情報として、瞬きや瞳孔径などの眼の特徴量を検出することは既に述べた通りである。眼球運動心理学（眼球運動の実験心理学、瞬きの心理学、瞳孔運動の心理学）によれば、興味は瞳孔径に関連し、理解度、記憶度は瞬目に関連し、興奮度、快適度は、瞬目や顔面皮膚温に関連していると考えられている。但し、これら単体では、例えば室内温度環境による顔面皮膚温上昇など、精度を保つことができない。そこで、これらデータ、及び、発話音量、環境音などを重み付けして加算した評価関数により、ユーザ並びにコミュニケーション参加者の状態を同定する。

各状態を同定するための評価関数ｆ１、ｆ２、ｆ３…の例を以下に示す。

興味度ｆ１＝ｗ１１×瞳孔径（変化量，変化速度）＋ｗ１２×注視（時間，回数）＋ｗ１３×瞬目（率，回数，群発瞬目数）＋ｗ１４×顔面皮膚温変化量＋ｗ１５×発話音量＋ｗ１６×話者発話音量＋ｗ１７×環境音…
興奮度ｆ２＝ｗ２１×瞳孔径（変化量，変化速度）＋ｗ２２×注視（時間，回数）＋ｗ２３×瞬目（率，回数，群発瞬目数）＋ｗ２４×顔面皮膚温変化量＋ｗ２５×発話音量＋ｗ２６×話者発話音量＋ｗ２７×環境音…
快適度ｆ３＝ｗ３１×瞳孔径（変化量，変化速度）＋ｗ３２×注視（時間，回数）＋ｗ３３×瞬目（率，回数，群発瞬目数）＋ｗ３４×顔面皮膚温変化量＋ｗ３５×発話音量＋ｗ３６×話者発話音量＋ｗ３７×環境音…
理解度ｆ４＝ｗ４１×瞳孔径（変化量，変化速度）＋ｗ４２×注視（時間，回数）＋ｗ４３×瞬目（率，回数，群発瞬目数）＋ｗ４４×顔面皮膚温変化量＋ｗ４５×発話音量＋ｗ４６×話者発話音量＋ｗ４７×環境音…

上記の各式で、ｗは重み係数を示す。例えば、興味度ｆ１において、瞳孔変化量が大きく、注視時間が長く、瞬目回数が少なく、顔面皮膚温の変化量が多く、発話音量の大きい部分を、興味があるシーンとして映像を特定する。このため、興味度ｆ１は、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音などをそれぞれ重み係数ｗ１１〜ｗ１ｎで重み付けして加算することで同定される。

また興奮度ｆ２は、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音などに重み係数ｗ２１〜ｗ２ｎでそれぞれ重み付けして加算することで同定される。

また、快適度ｆ３は瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音などに重み係数ｗ３１〜ｗ３ｎでそれぞれ重み付けして加算することで同定される。

また、理解度ｆ４において、理解困難な場合は瞬目が増加すると考えられている（まばたきの心理学）。一般的に、理解が困難な場合、視聴者は補足情報を取得しようとし、注視時間が増加する傾向にあると考えられ、注視時間が長く、瞬目回数が多い部分を、理解が困難であるシーンとして映像を特定することができる。このため、理解度ｆ４は瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音などに重み係数ｗ４１〜ｗ４ｎでそれぞれ重み付けして加算することで同定される。

また、記憶度ｆ５は、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音などに重み係数ｗ５１〜ｗ５ｎでそれぞれ重み付けして加算することで同定される。

このようにして各評価関数に従って逐次算出されたユーザ及びコミュニケーション参加者の状態値を基に、マルチタスク状況判定関数により表示強度αを決定する。このマルチタスク状況判定関数Ｆの一例を以下に示す。但し、Ｕ_fはユーザの興味度ｆ、Ｗ１は重み関数、αは表示強度である。

判定関数Ｆ＝ｗ１×ｆ１／Ｗ１×Ｕ_f

If F < 0.5 Then α=1
ElseIf F <1.0 Then α=2
…

このようにして得られた表示強度αにより、複数の業務を同時に進行するための遠隔作業ユーザの状態を適切に提示する。すなわち、表示強度αを指標として、会議参加者側からユーザの状態を認識することができ、ユーザの作業効率や、会議側の効率の劣化を防止することができる。

変更部５は、マルチタスク監視部４による判定結果を用いて、表示方法の変更を検討する。例えば、所定の判定条件を満たす条件において、そのことを所定の形式で表示する。表示形態は、例えば、アイコンによるグラフィカル表示形式とする。

図７には、マルチタスク表示判定の手順をフローチャートの形式で示している。

ステップＳ１１において、ユーザ、及び会議参加者の生体情報、音声情報などを検出する

続くステップＳ１２において、取得した情報から状態評価関数ｆ、及びＵ_fを算出する。ここで、ｆは会議参加者の心理状態評価関数であり、Ｕ_fはユーザの心理状態評価関数である。

続くステップＳ１３において、算出した状態評価関数ｆ、及びＵ_fを基に、判定関数Ｆを算出する。

続くステップＳ１４において、算出した判定関数Ｆを基に、表示強度を判定する。すなわち、判定関数Ｆ＝ｗ１×ｆ１／Ｗ１×Ｕ_fを算出して、どちらの方が興味度が高いかを判定する

そして，ステップＳ１５において、判定した表示強度を基に、各表示強度で表示をする。

図８には、時間経過による状態変化の概念的説明図を示している。例えば、時刻ｔ₁では、ステップＳ１３において判定関数Ｆ＝１０となり、ステップＳ１４においてＦ＞１．０、ステップＳ１５において表示強度◎と判定される。

コントローラ６は、変更部５により決定された判定条件とタイミングを保持し、デスクワーク環境とコミュニケーション環境に同時配信する。

デスクワーク環境表示部７は、コントローラ６で保持された情報を、当該システム１００において表示対象とするユーザのデスクワーク環境に表示する部分である。デスクワーク環境表示部７は、例えば一般的なＣＲＴディスプレイなどを適宜選択して用いることができる。

また、コミュニケーション環境表示部８は、コントローラ６で保持された情報を、コミュニケーション参加者のコミュニケーション環境に表示する部分である。コミュニケーション環境表示部８は、例えば一般的なＣＲＴディスプレイなどを適宜選択して用いることができる。

図６には、本実施形態に係る表示システム１００を設置した様子を示している。図示の例では、会議室をシステム１００の設置場所としており、会議参加者の１人を表示対象のユーザとしている。また、会議の参加者若しくは視聴者がユーザとコミュニケーションを行なうコミュニケーション参加者に相当する。

同図に示すように、会議室内には、ユーザやコミュニケーション参加者の生体情報を取得するビデオ・カメラ、赤外線カメラ、脳波測定器や、音声情報を取得する音圧センサ、指向性マイクなどが数箇所に配設されている。これらの生体情報や音声情報は、ユーザのデスクワーク環境情報並びにコミュニケーション参加者のコミュニケーション環境情報として、表示システム１００のコントローラに入力される。

そして、表示システム１００では、マルチタスク監視部４が、ユーザのコミュニケーション業務を含めた複数の業務を並行して実行するマルチタスク状況を監視し、デスクワーク中のユーザと会議参加者それぞれの心的状態を推定する処理を行なう。

変更部５は、マルチタスク監視部４によるユーザ及び会議参加者の心的状態の判定結果を用いて、表示方法の変更を検討する。表示形態は、例えば、アイコンによるグラフィカル表示形式とする。

コントローラ６は、変更部５により決定された判定条件とタイミングを保持し、デスクワーク環境表示部７とコミュニケーション環境表示部８、ユーザ画像表示部９に同時配信する。デスクワーク環境表示部７は、コントローラ６で保持された情報を、ユーザのデスクワーク環境で表示する。また、コミュニケーション環境表示部８は、コントローラ６で保持された情報を、会議参加者のコミュニケーション環境に表示する。また、ユーザ画像表示部９は、コミュニケーション業務を含めた複数の業務を遂行するユーザがコミュニケーション業務に参加可能か否かを含む、ユーザの状況を表示する。ユーザの状況表示の形態としては、視線方向を変える、目をつむる、顔色を変える、「話しかけるな」などの札を出す、などが挙げられる。

例えば、デスクワーク中のユーザが、デスクトップ上でドキュメント作成をするタスク１と、テレビ会議システムなどを利用して遠隔で会議に参加するタスク２とを同時に実施するというマルチタスクな場面を想定する。この際、会議側からはユーザの状態（例えば、集中）などが分からず、話し掛けるタイミング把握が困難である。本発明では、マルチタスクを行なっているユーザに話しかけるタイミングの判断ができる程度のトリガを遠隔会議側にフィードバックする。これによって、複数業務を行なうユーザの業務同時進行を支援することができる。

このような場面において、システム１０は、ユーザのデスクワーク中における生体情報、音声情報、タスクログを取得する。また、ユーザが参加している遠隔会議において、会議参加者の生体情報、音声情報、コミュニケーション環境情報を取得する。そして、会議参加者Ａの生体情報、及び会議情報を検出して会議参加者Ａにおける興味、思考箇所を逐次特定する。

マルチタスク監視部４では、検出したユーザの生体情報／タスクログ情報と、会議参加者Ａの興味度合から、バランス（表示強度α）を算出する。そして、特定の閾値（会議側の興味度合がタスク１の興味度合を超えた値など）を超えたとき、会議側にその情報を表示し、会議側からユーザにコミュニケーションするチャンスを与える。

さらに、これらによって表示された情報に対し、ユーザがどのように判断したかをデータベースにフィードバックして学習し、表示強度の適正を向上することができる。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、コミュニケーション環境として会議を例に挙げて本発明の実施形態について説明したが、本発明の要旨は会議に限られるものではなく、遠隔地を含め、さまざまなコミュニケーション手段を用いて周辺で行なわれるコミュニケーションに対して同様に本発明を適用することが可能である。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

図１は、本発明の一実施形態に係る表示システム１００の機能構成を模式的に示した図である。 図２は、生体情報を表形式のデータシートに保持させた例を示した図である。 図３は、音声情報を表形式のデータシートに保持させた例を示した図である。 図４は、タスクログ情報若しくはコミュニケーション情報を一覧形式のデータシートに保持させた例を示した図である。 図５は、コントローラ３により同期されたデータを表形式で保持するデータシートの構成例を示した図である。 図６は、会議室に表示システム１００を設置した様子を示した図である。 図７は、マルチタスク表示判定の手順を示したフローチャートである。 図８は、時間経過による状態変化の概念的説明図である。

符号の説明

１…デスクワーク環境検出部
１０１…生体情報検出部
１０２…音声情報検出部
１０３…タスクログ検出部
２…コミュニケーション環境検出部
２０１…生体情報検出部
２０２…音声情報検出部
２０３…コミュニケーション状況情報検出部
３…コントローラ
４…マルチタスク監視部
４０１…マルチタスク状況判定部
４０２…マルチタスク状況判定情報データベース
５…変更部
６…コントローラ
７…デスクワーク環境表示部
８…コミュニケーション環境表示部

Claims (21)

1. コミュニケーション業務を含めた複数の業務を遂行するユーザとコミュニケーション参加者間のコミュニケーションを支援する情報処理システムであって、
   ユーザが業務を遂行するデスクワークにおける環境を検出するデスクワーク環境検出部と、
   ユーザが参加するコミュニケーション業務における環境を検出するコミュニケーション環境検出部と、
   デスクワーク環境とコミュニケーション環境の検出結果に基づいてユーザがコミュニケーション業務に参加可能か否かを含むユーザの状況を判断する判断手段と、
   を具備することを特徴とする情報処理システム。
2. 前記判断手段の判断結果に基づいてユーザの状況を表示するユーザ画像表示部をさらに備える、
   ことを特徴とする請求項１に記載の情報処理システム。
3. 前記判断手段は、
   前記デスクワーク環境検出部により検出されたデスクワーク環境情報及び前記コミュニケーション環境検出部により検出されたコミュニケーション環境情報を同期して保持する第１のコントローラと、
   該同期的に保持されたデスクワーク環境情報及びコミュニケーション環境情報に基づいて、ユーザがマルチタスク可能な又はマルチタスクが必要な状況を判定するマルチタスク監視部と、
   前記マルチタスク監視部によるユーザのマルチタスク状況の判定結果に基づいて、ユーザとコミュニケーション参加者のうち少なくとも一方のコミュニケーションをとるべきタイミングを決定する第２のコントローラと、
   を備えることを特徴とする請求項１に記載の情報処理システム。
4. 前記第２のコントローラにより決定されたタイミングをデスクワーク環境に表示するデスクワーク環境表示部、又は前記第２のコントローラにより決定されたタイミングをコミュニケーション環境に表示するコミュニケーション環境表示部のうち少なくとも１つを備える、
   ことを特徴とする請求項３に記載の情報処理システム。
5. 前記デスクワーク環境検出部は、ユーザの業務中の生体情報を検出する生体情報検出手段と、ユーザの業務中の音声情報を検出する音声情報検出手段と、ユーザの業務遂行状況を検出するタスクログ検出手段とを備える、
   ことを特徴とする請求項１に記載の情報処理システム。
6. 前記コミュニケーション環境検出部は、遠隔地も含めた周辺でコミュニケーションを行なっている人物の生体情報を検出する生体情報検出手段と、該人物の音声情報を検出する音声情報検出手段と、遠隔地も含めた周辺で発生するコミュニケーション状況を検出するコミュニケーション状況情報検出手段とを備える、
   ことを特徴とする請求項１に記載の情報処理システム。
7. 前記マルチタスク監視部は、ユーザ及びコミュニケーション参加者の生体情報及び音声情報に基づいて算出されるそれぞれの状態値に基づいて、バランスを算出する、
   ことを特徴とする請求項３に記載の情報処理システム。
8. 前記マルチタスク監視部は、バランスの算出結果が特定の閾値を超えたとき、コミュニケーション参加者側にその情報を提示する、
   ことを特徴とする請求項７に記載の情報処理システム。
9. 前記マルチタスク監視部は、過去のユーザのマルチタスク判定結果、又は表示された情報に対してユーザがとった行動のうち少なくとも１つをフィードバックして保持するマルチタスク状況判定情報データベースを備える、
   ことを特徴とする請求項３に記載の情報処理システム。
10. 前記マルチタスク監視部によるユーザのマルチタスク状況の判定結果に基づいて表示方法の変更を検討する変更部をさらに備え、
    前記第２のコントローラは、前記変更部により決定された変更方法を決定する、
    ことを特徴とする請求項３に記載の情報処理システム。
11. コミュニケーション業務を含めた複数の業務を遂行するユーザとコミュニケーション参加者間のコミュニケーションを支援する情報処理方法であって、
    ユーザが業務を遂行するデスクワークにおける環境を検出するデスクワーク環境検出ステップと、
    ユーザが参加するコミュニケーション業務における環境を検出するコミュニケーション環境検出ステップと、
    デスクワーク環境とコミュニケーション環境の検出結果に基づいてユーザがコミュニケーション業務に参加可能か否かを含むユーザの状況を判断する判断ステップと、
    を具備することを特徴とする情報処理方法。
12. 前記判断ステップにおける判断結果に基づいてユーザの状況を表示するユーザ画像表示ステップをさらに備える、
    ことを特徴とする情報処理方法。
13. 前記判断ステップは、
    前記デスクワーク環境検出ステップにおいて検出されたデスクワーク環境情報及び前記コミュニケーション環境検出ステップにおいて検出されたコミュニケーション環境情報を同期して保持する第１の制御ステップと、
    該同期的に保持されたデスクワーク環境情報及びコミュニケーション環境情報に基づいて、ユーザがマルチタスク可能な又はマルチタスクが必要な状況を判定するマルチタスク監視ステップと、
    前記マルチタスク監視ステップにおけるユーザのマルチタスク状況の判定結果に基づいて、ユーザとコミュニケーション参加者のうち少なくとも一方のコミュニケーションをとるべきタイミングを決定する第２の制御ステップと、
    を備えることを特徴とする請求項１１に記載の情報処理方法。
14. 前記第２の制御ステップにおいて決定されたタイミングをデスクワーク環境に表示するデスクワーク環境表示ステップ、又は前記第２の制御ステップにおいて決定されたタイミングをコミュニケーション環境に表示するコミュニケーション環境表示ステップのうち少なくとも１つを備える、
    ことを特徴とする請求項１３に記載の情報処理方法。
15. 前記デスクワーク環境検出ステップは、ユーザの業務中の生体情報を検出する生体情報検出ステップと、ユーザの業務中の音声情報を検出する音声情報検出ステップと、ユーザの業務遂行状況を検出するタスクログ検出ステップとを備える、
    ことを特徴とする請求項１１に記載の情報処理方法。
16. 前記コミュニケーション環境検出ステップは、遠隔地も含めた周辺でコミュニケーションを行なっている人物の生体情報を検出する生体情報検出ステップと、該人物の音声情報を検出する音声情報検出ステップと、遠隔地も含めた周辺で発生するコミュニケーション状況を検出するコミュニケーション状況情報検出ステップとを備える、
    ことを特徴とする請求項１１に記載の情報処理方法。
17. 前記マルチタスク監視ステップでは、ユーザ及びコミュニケーション参加者の生体情報及び音声情報に基づいて算出されるそれぞれの状態値に基づいて、バランスを算出する、
    ことを特徴とする請求項１３に記載の情報処理方法。
18. 前記マルチタスク監視ステップでは、バランスの算出結果が特定の閾値を超えたとき、コミュニケーション参加者側にその情報を提示する、
    ことを特徴とする請求項１７に記載の情報処理方法。
19. 前記マルチタスク監視ステップでは、過去のユーザのマルチタスク判定結果、又は表示された情報に対してユーザがとった行動のうち少なくとも１つをフィードバックしてマルチタスク状況判定情報データベースとして保持する、
    ことを特徴とする請求項１３に記載の情報処理方法。
20. 前記マルチタスク監視ステップにおけるユーザのマルチタスク状況の判定結果に基づいて表示方法の変更を検討する変更ステップをさらに備え、
    前記第２の制御ステップでは、前記変更ステップにおいて決定された変更方法を決定する、
    ことを特徴とする請求項１３に記載の情報処理方法。
21. コミュニケーション業務を含めた複数の業務を遂行するユーザとコミュニケーション参加者間のコミュニケーションを支援するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
    ユーザが業務を遂行するデスクワークにおける環境を検出するデスクワーク環境検出手順と、
    ユーザが参加するコミュニケーション業務における環境を検出するコミュニケーション環境検出手順と、
    デスクワーク環境とコミュニケーション環境の検出結果に基づいてユーザがコミュニケーション業務に参加可能か否かを含むユーザの状況を判断する判断手順と、
    を前記コンピュータ・システム上で実行させることを特徴とするコンピュータ・プログラム。

Images