JP2006146871A - 注意喚起装置および方法ならびに情報処理システム - Google Patents

Abstract

【課題】 複数の業務を現実の状況に応じて切り換える。
【解決手段】 表示システム１００は、デスクワーク状況検出部１、周辺業務状況検出部２、コントローラ３、マルチタスク監視部４、デスクワーク表示部５、周辺業務表示部６を備える。デスクワーク状況検出部１および周辺業務状況検出部２がそれぞれユーザのデスクワークの集中度、参照者の周辺業務の集中度を検出してその差分および変化量に基づいて周辺業務への切換を提示する。
【選択図】 図１

Description

本発明は、所定の業務から他の業務へと業務遂行を切り換えるように注意喚起する注意喚起技術に関し、とくに、業務の実際の状況を反映して最適な業務遂行の切替を行なえるようにしたものである。

従来、オフィスにおける業務（タスクともいう）では、コミュニケーション業務も含めた複数の業務を並行して実行することが要求されている。とくに、近年のように情報がネットワークで連携され、更にモバイル環境によってどこからでも情報にアクセスできるようになると、ユーザが一つの業務遂行中に他者からコミュニケーションを要求され、かつ新たな業務を依頼されるシーンが増加する。したがって、複数の業務を効率よく、かつ相互に支障を招来することなく、遂行することが重要になってきている。

なお、この発明に関連する技術としては以下のようなものがある。

特許文献１は、複数のアプリケーションの起動情報、可動／休止状況を監視して複数のタスクの実行順序を制御することを提案している。例えば、ある業務がメール待ち状態のときに所望のメールが到来したときには、当該業務を処理できることをユーザに通知する。

特許文献２は、マルチウインドウ環境において、ユーザが指定した検索基準を包含しているウインドウをアクティブにする自動ナビゲーションを提案している。

しかしながら、特許文献１記載の装置では、アプリケーションの可動／休止状況を対象としたものであり、オフィス業務の多くの部分を占め、かつ個人業務を妨害しやすいと考えられるコミュニケーション業務（ＴＩＭＥＳＰＡＣＥ ＩＮ ＴＨＥ ＷＯＲＫＰＬＡＣＥ：ＤＥＡＬＩＮＧ ＷＩＴＨ ＩＮＴＥＲＲＵＴＩＯＮＳ，Ｂｒｉｄ Ｏ’Ｃｏｎａｉｌｌ ａｎｄ Ｄａｖｉｄ Ｆｒｏｈｌｉｃｈ，Ｈｅｗｌｅｔｔ Ｐａｃｋａｒｄ Ｌａｂｓ．）への対応は難しい。仮に、メールベースのコミュニティサイトをコミュニケーション環境と捉えた場合でも、書き込みがあった全ての瞬間に対して注意を向ける必要は無く、これをユーザに提示することはかえって個人業務の妨害となりえる。

また、特許文献２記載の装置では、アプリケーションを対象としておりコミュニケーション業務への対応が難しく、更に興味項目を予め設定することが可能であるＷＥＢサイトを用いた業務には適用可能であるが、内容が動的に変化する会議態ではこれを適用することは非常に困難であり、更に本来、複数業務を同時進行することを支援する場合、個人業務の遂行状況とのバランスを検討する必要があり、この支援が従来の手法には欠如している。

特開平０７−５６７４８号公報 特開平０６−９５８３５号公報

本発明は、以上のような事情を考慮してなされたものであり、業務の実際の状況を反映して最適な業務遂行の切替を行なえるようにした注意喚起技術を提供することを目的としている。本発明は、より具体的には、コミュニケーション業務を含んだ日常の複数業務を並行して遂行する場面において、ユーザの業務実施状況と、遠隔地も含んだ周辺で行われるコミュニケーション状況とから、適切なタスク切換タイミングを表示してユーザに知らせる技術を提供することを目的としている。

また本発明の一態様は、さらに進んで、業務の実際の状況を反映して最適な業務遂行の切替を行なえるようにした注意喚起を、本来業務に干渉しないように提供することを目的としている。

まず、本発明の原理的な構成例を従って本発明を俯瞰しておく。なお、理解を容易にするために、後述の実施例で用いる参照番号を付すが、これに限定されないことはもちろんである。

本発明の原理的な構成例によれば、上述の目的を達成するために、制御装置に：生体情報を含めたユーザの業務遂行状況と、周辺業務に携わる人物の生体情報を含めた業務状況とを同期する同期手段（３）と；前記同期手段により同期された情報を元に、ユーザの複数作業実行可能性を判定する判定手段（４０１）とを設けている。判定結果に応じて所定の表示が表示手段（５）により行なわれる。

この構成においては、例えば、デスクワーク側のユーザの生体情報、音声情報、タスクログ情報と、コミュニケーション環境にいる人物の生体情報、コミュニケーション情報に基づいて、業務（タスク）の切換が可能であり、また切替が必要であるかを判定するので、複数の業務を効率よく同時に遂行することができる。

同期手段（３）は、ユーザの業務遂行状況の指標例えば集中度と、周辺業務に携わる人物の業務状況の指標例えば集中度を、同一時間軸上で時々刻々と比較可能にするものである。

制御装置は典型的には業務遂行用のパーソナルコンピュータであるが、これに限定されない。

この構成において、前記判定手段は、例えば、前記同期手段の情報に基づいて前記ユーザと前記周辺業務に携わる人物の心理状態を推定し、複数の業務状況を判定する。

また、前記同期手段（３）は、例えば、ユーザの業務遂行状況として生体情報、音声情報、業務状況情報等を検出するデスクワーク状況検出手段（１）と、周辺で業務を遂行している人物の生体情報、音声情報、業務状況情報等を検出する周辺業務状況検出手段（２）とを含んで構成され、前記デスクワーク状況検出手段により取得された情報と、前記周辺業務状況検出手段により取得された情報とを同期させる。

さらに、本発明を特許請求の範囲の記載を補充しつつ説明する。なお、ここでも、理解を容易にするために、後述の実施例で用いる参照番号を付すが、これに限定されないことはもちろんである。

本発明の一側面によれば、上述の目的を達成するために、注意喚起装置に：ユーザの第１業務の遂行状況に関連する、少なくとも１つの第１業務関連物理量を測定する測定手段（１）と；ユーザが遂行可能な第２業務の状況を表す、少なくとも１つの第２業務関連物理量と、上記測定手段が測定した上記第１業務関連物理量とに基づいて、上記第２業務を遂行するようにユーザの注意を喚起する処理を実行する注意喚起処理実行手段（４０１、５）とを設けるようにしている。

この構成においては、複数の業務の状況を表す物理量に基づいて適切に業務の切替をユーザに催促できる。

物理量は、自然法則に従って計測可能な量であり、温度、時間、音量等に限らず、事象の頻度、分布等を含む。

この構成において、上記注意喚起処理実行手段は、上記第１業務を遂行するようにユーザの注意を喚起する処理も実行するようにしてもよい。すなわち、第２業務から第１業務への切替が適切と判断された場合にはこれを催促する。もちろん、別の注意喚起処理実行手段で、第２業務から第１業務への切替を催促しても良い。また、第２業務から第１業務への切替を催促しない構成でも良い。

また、上記第２業務関連物理量は、上記第２業務の状況を構成する人物の上記第２業務の遂行状況を表す物理量とすることができる。

この場合、上記第２業務の状況を構成する複数の人物のうちの選択した人物について得られる上記第２業務の遂行状況を表す物理量を利用してもよい。例えば、講演中の講演者や、司会者、典型的な視聴者代表者等を選択できる。複数の人物から情報を取得可能にしておいてポーリングする等してもよい。

また、上記第２業務の状況を構成する複数の人物について得られる上記第２業務の遂行状況を表す物理量を利用してもよい。このようにするとバラツキを回避できる。

また、上記第１業務関連物理量および上記第２業務関連物理量は、典型的には、業務に対する人の集中度を表す物理量である。

上記業務に対する人の集中度を表す物理量は、典型的には、人の生体情報、人の音声の情報および人の操作処理情報を含むグループから選択されるが、これに限定されない。

上記人の生体情報は、典型的には、瞬き、瞳孔径、注視対象、注視時間を含む眼球に係る情報、顔面皮膚温度、発話情報および脳波を含むグループから選択されるが、これに限定されない。

上記人の生体情報は、対象となる人に計測機器を装着させることなく測定可能であることが好ましい。

上記人の音声の情報は、典型的には、マイクロホン等の音声検出装置により検出されるが、これに限定されない。

上記人の操作処理情報は、典型的には、映像情報、キー入力情報およびマウス操作入力情報を含むグループから選択されるが、これに限定されない。

通常、上記第２業務関連物理量を測定する測定手段がさらに設けられている。ただし、上記第２業務がビデオコンテンツを視聴する業務等である場合には、ビデオコンテンツの情報をそのまま測定結果として用いることもできる。

上記第１業務は、典型的には、パーソナルコンピュータ等を用いたデスクワークであるが、これに限定されない。

上記第２業務は、典型的には、コミュニケーションを伴う業務であるが、これに限定されない。

上記コミュニケーションを伴う業務は、例えば、会場に出席している会議または遠隔会議システムを利用した会議の業務である。

上記第２業務は、例えば、人の視聴覚動作を必要とする業務であり、視聴覚コンテンツの視聴である。

上記注意喚起処理は、典型的には、表示装置への表示、発音装置による発音および匂い発生装置により匂いの発生を含むグループから選択されるが、これに限定されない。

また、上記第１業務および上記第２業務はマルチタスク・マルチウインドウシステムのウインドウで実行され、上記注意喚起処理により、または上記注意喚起処理に対するユーザの応答入力に基づいて上記第１業務のウインドウをアクティブにするようなものであってもよい。

また、上記注意喚起処理は、少なくとも上記第１業務との干渉を抑制した処理であることが好ましい。

換言すれば、上記注意喚起処理は、少なくとも上記第１業務で用いる感覚器以外の感覚器を介して注意を喚起する処理であることが好ましい。

このようにすることにより、業務の実際の状況を反映して最適な業務遂行の切替を行なえるようにした注意喚起を、本来業務に干渉しないように実行できる。より具体的には、コミュニケーション業務を含んだ日常の複数業務を並行して遂行する場面において、適切なタスク切換タイミングを、本来業務に用いている人間の視聴覚機能に干渉しないように実行できる。

上記注意喚起処理は、例えば、振動生成装置による振動、熱伝達装置による温度変化、送風装置による風量変化、および表示位置変更装置による表示位置変化のうちの少なくとも１つとすることができる。

また、上記注意喚起処理は、注意喚起を必要としない一方の業務に関連して提示される物理量を抑制する処理としてもよい。例えば、上記一方の業務に関連して提示される物理量の抑制する処理は、音量変更、音質変更、輝度変更、および画質変更のうちの少なくとも１つである。この場合にも、業務の実際の状況を反映して最適な業務遂行の切替を行なえるようにした注意喚起を、本来業務に干渉しないように実行できる。

また、上記注意喚起処理は、注意喚起を必要としない一方の業務に関連する情報を空白時間を挿入して遅延させる処理であってもよい。遅延に伴い中断した情報の提示は事後的に再開されても良いし、破棄されて、途中から再開されても良い。

この発明の注意喚起装置は、単一の筐体に収容される装置として構成しても良いし、分散して配置された複数の装置を組み合わせて構成しても良い。例えば、注意換気装置を、通信ネットワークで接続されたサーバ装置とクライアント装置とから主に構成しても良い。

なお、この発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品もこの発明の技術的な範囲に含まれることも当然である。

この発明の上述の側面および他の側面は特許請求の範囲に記載され以下実施例を用いて詳述される。

本発明によれば、業務の実際の状況を反映して最適な業務遂行の切替を行なえる。より具体的には、コミュニケーション業務を含む、日常の業務において、適切な切換タイミングを提示することによって、ユーザが複数の業務を同時に遂行することができる。

以下、本発明の実施例について説明する。

まず、本発明の実施例１について説明する。実施例１は、デスクワーク処理および周辺業務処理を同時に処理するための表示システム１００に関するものである。

図１は、本実施例に係る表示システム１００における検出・保存・表示機能の構成を模式的に示した図である。図１に示すように、表示システム（注意喚起装置）１００は、デスクワーク状況検出部（測定手段）１、周辺業務状況検出部２、コントローラ３、マルチタスク監視部４、デスクワーク表示部（注意喚起処理実行手段）５、周辺業務表示部６を備える。

生体情報検出部１０１、音声情報検出部１０２、業務状況情報検出部１０３がデスクワーク状況検出部１を構成する。生体情報検出部２０１、音声情報検出部２０２、業務状況情報検出部２０３が周辺業務状況検出部２を構成する。マルチタスク状況判定部４０１、マルチタスク状況判定情報データベース４０２がマルチタスク監視部４を構成する。表示部５０１がデスクワーク表示部５を構成する。再生要求部６０１、表示部６０２が周辺業務表示部６を構成する。

表示システム１００は、複数業務の切換タイミングを表示するものである。

この表示システム１００は、デスクワークの状況を生体情報、音声情報、業務状況情報情報の検出とともに記録し保存した情報と周辺業務の状況を生体情報、音声情報、業務状況情報の検出とともに記録し保存した部分とを同期する手段と、同期された情報から複数業務遂行の状況を判定する部分と、それに基づいて表示する部分に大別される。

デスクワーク状況検出部１は、デスクワークの状況を検出するものであり、上述のとおり、生体情報検出部１０１、音声情報検出部１０２、業務状況情報検出部１０３を備える。生体情報検出部１０１は、デスクワーク中のユーザの瞬きや瞳孔径、注視対象、注視時間など眼球に係る情報や、顔面皮膚温、発話情報、脳波などの生体情報を検出する。ここで取得する生体情報は、特に、ユーザへの計測機器の装着無しに取得可能なものが好ましい。

例えば、瞬きや瞳孔径に係る情報は、公知の手法を用いて視聴者の顔をカメラで撮像した顔画像から顔領域を抽出し（特開２００１−１００８８８公報）、更に眼領域を特定し、瞬きの数をカウントする手段や、瞳孔径を測定する手段により取得できる。注視対象、注視時間においては、注視対象候補側に配置したカメラ等により撮像した画像を用い、前記手法により眼領域を特定し、撮像したカメラの位置より注視対象を特定し、撮像された眼領域の撮影時間から注視時間を特定することにより取得できる。顔面皮膚温においては、赤外線カメラ、サーモグラフィ等により視聴者への計測機器を装着することなく取得することが可能である。

音声情報検出部１０２は、デスクワーク側のユーザの業務状況を認識するため、ユーザの音声等を検出するものである。この音声情報検出部１０２は、集音マイクなどの一般的な音声検出装置を適宜選択して用いることができる。

業務状況情報検出部１０３は、ユーザのデスクワーク状況を検出するものである。業務状況情報検出部１０３は、ビデオカメラなどの一般的な映像情報検出装置などを適宜選択して用いることができる。好ましくはこの業務状況情報検出部１０３には、机上の様子やディスプレイに表示される資料やユーザ等が広角で撮像できるカメラを用いる。あるいは、計算機を利用した業務であれば、アプリケーションの起動状況、キーボード入力状況、マウス操作状況など一般的な計算機上の操作ログ取得手段を用いることができる。

周辺業務状況検出部２は、周辺側の状況を検出するものであり、上述のとおり、コミュニケーション業務も含めた周辺業務実施者用の生体情報検出部２０１、音声情報検出部２０２、業務状況情報検出部２０３を備える。生体情報検出部２０１は、前記生体情報検出部１０１と同様の機能を有する。音声情報検出部２０２は、前記音声情報検出部２０２と同様の機能を有する。業務状況情報検出部２０３は、周辺の業務状況を検出するものである。業務状況情報検出部２０３は、ビデオカメラなどの一般的な映像情報検出装置などを適宜選択して用いることができる。好ましくはこの業務状況情報検出部２０３には、会議で使用されるプレゼンテーション資料や視聴者等が広角で撮像できるカメラを用いる。

前記生体情報は、生体情報検出部１０１、２０１により取得されたデータを、例えば表形式のデータシートとして保持する。

図２は、生体情報を表形式のデータシートに保持させた例を示す図である。このデータシートには、例えば、ユーザ、会議参加者ごとに、時刻ｔ、瞳孔径ｘ、ｙ、注視対象、注視時間、瞬目、顔面皮膚温、脳波などの生体情報を保持する。特に、注視対象は、注視対象側に設置されたカメラから撮像可能であったカメラ位置を特定することで注視対象とする。さらに、注視時間は各対象ごとに累積時間を算出して記録する。表現方法はこれに限らず、グラフ形式等であっても良い。

図３は、音声情報を表形式のデータシートに保持させた例を示す図である。音声情報は、音声情報検出部１０２、音声情報検出部２０２により取得されたデータを、例えば表形式のデータシートとして保持する。例えば、視聴者ごとに、時刻ｔ、発話有無、音量、環境音などの音声情報を保持する。表現方法はこれに限らず、グラフ形式等であっても良い。

図４は、業務状況情報を表形式のデータシートに保持させた例を示す図である。業務状況情報は、前記業務状況情報検出部１０３、２０３により取得されたデータを、例えば一覧形式のデータシートとして保持する。表現方法はこれに限らない。

コントローラ３は、デスクワーク状況検出部１、周辺業務状況検出部２で検出された、生体情報データ、音声情報データ、業務状況情報データを同期させ、この同期させた情報を保持する。このコントローラ３の記録機能は、半導体メモリ、ハードディスク、フレキシブルディスクなどの一般的な記録装置を適宜選択して用いることができる。ここでコントローラ３により同期されたデータを、例えば表形式のデータシートとして保持する。

図５はそのデータシートを示す図である。このデータシートには、例えば、視聴者ごとの、時刻、瞳孔径、注視対象、注視時間、瞬目、顔面皮膚温などの生体情報と、時刻、発話有無、音量、話者発話有無、話者音量、環境音などの音声情報と、業務状況情報データを保持する。表現方法はこれに限らない。

マルチタスク監視部４は、例えば、状態推定処理が可能なＣＰＵ、及びインデックスファイルを保持可能な半導体メモリ、ハードディスク、フレキシブルディスクなどの一般的な記録装置を適宜選択して構成される。

マルチタスク状況判定部４０１は、前記ファイルを元に、所定の心理状態同定関数を用いてデスクワーク中のユーザと、会議参加者の心理的状態を推定する処理を行う。このユーザと会議視聴者の心理的状態には、例えば会議視聴者の認知的状態や精神的情報等を含む。具体的には、マルチタスク状況判定部４０１は、同定関数を用いて、ユーザと視聴者の集中度を算出する。この同定関数は、ユーザ、会議参加者の生体情報および音声情報、業務状況情報を重み付けして加算する。このマルチタスク状況判定部４０１は、所定のプログラムを実行することでその機能が実現される。このマルチタスク状況判定部４０１は、パラメータを用いる。このパラメータには、前記コントローラ３で統合、保持されたファイルに記述されたデータを利用する。このパラメータには、例えば、ユーザ、視聴者の状態を集中度などの状態が含まれる。

眼球運動心理学（眼球運動の実験心理学、まばたきの心理学、瞳孔運動の心理学）によれば、興味は瞳孔径に関連し、理解度、記憶度は瞬目に関連し、興奮度、快適度は、瞬目や顔面皮膚温に関連していると考えられている。但し、これら単体では、例えば室内温度環境による顔面皮膚温上昇など、精度を保つことができない。そこで、これらデータ、及び、発話音量、環境音等を重み付けして加算した評価関数により、前記状態を同定する。

図６は同定関数を説明するための図である。図６において、ｗは重み係数を示す。例えば、集中度ｆにおいて、瞳孔変化量が大きく、注視時間が長く、瞬目回数が少なく、顔面皮膚温の変化量が多く、発話音量の大きいとき、注意を向けている可能性が高い。あるいは、脳波において、β波は思考状態を示すと考えられ、注意を向けている可能性が高い。これを利用して心理的状態を特定する。このため、集中度ｆは、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音等、キー入力量等をそれぞれ重み係数ｗ１１〜ｗ１ｎで重み付けして加算することで同定される。

閾値設定により複数業務同時進行のための適切な切換タイミングを提示することで、常に意識の移行必要候補が膨大となり性能が著しく劣化するということを防止できる。

表示部５０１は、マルチタスク監視部４による推定結果を用いて所定の判定条件を満たすタイミングにおいて、そのことを所定の形式で表示する。表示形態は、例えば、アイコンによるグラフィカル表示形式とする。アイコンによるグラフィカル表示形式の他に、機械的信号音、あるいは呼びかけ音声による音声信号提示形式を採用しても良い。さらに、本来業務（例えばデスクワークや会議への参加）で必要とされる人間の感覚器を利用することが多くの場合予定されていない嗅覚に着目して、注意喚起用に臭いを設定し、対応する業務情報側から臭い成分を発生させて注意を促すようにしても良い。

再生要求部６０１は、例えばタッチパネル、マウスまたはキーボードにより構成することができる。これにより、例えばコミュニケーション環境として会議が行われている場合、切換タイミングよりも少し時間を遡って話の流れや意図を確認したいときにそれを可能にする。

この表示により、所望のシーンを効率よく振り返ることができる。

なお、ユーザがデスクワークの業務を行なっているのか、周辺業務を行なっているのかは、ユーザの注視対象やアプリケーションプロセスの状態等から判断することができる。

次に、表示システム１００の動作について説明する。

ここでは、まず、図７に示すような構成例に従って、生体情報、音声情報、業務状況情報の検出、および表示について説明する。図７の表示システム１００においては、生体情報検出部１０１（赤外線カメラ１０１１）は、ユーザのデスクワークの瞬きや瞳孔径、注視対象、注視時間など眼球に係る情報や、顔面皮膚温などの生体情報を検出する。具体的には、生体情報検出部１０１は、赤外線カメラ１０１１により構成されている。これにより、例えば、ユーザがデスクワーク表示部５を注視した場合に赤外線カメラ１０１１により眼球映像が検出される。

音声情報検出部１０２は、例えば音圧センサーと指向性マイク１０２１とで構成される。これにより、例えば、ユーザの発話情報が検出される。

業務状況情報検出部１０３は、計算機２０８により構成される。これにより、ユーザのデスクワークログ（キー入力やマウス操作等）が検出される。生体情報検出部１０１により取得したデータを、図２で示した表形式のデータシートとして保持する。音声情報検出部２０２により取得したデータを、図３で示した表形式のデータシートとして保持する。業務状況情報検出部１０３により取得したデータを、表形式のデータシートとして図４に保持する。

この例では、プロジェクタ２０４およびスライド表示部２０５を用いて話者２０６によりプレゼンテーションが行なわれている。現場では、視聴者（Ａ〜Ｄ）２０７１〜２０７４がこのプレゼンテーションを視聴している。プレゼンテーションの内容は業務状況検出カメラ（音声検出）２０３１により撮影されている。ユーザはプレゼンテーションの内容を周辺業務表示部６で視聴可能である。

周辺業務状況検出部２の生体情報検出部２０１においても前記生体情報検出部１０１と同様にして検出する。

音声情報検出部２０２は、例えば音圧センサと指向性マイク２０２２とで構成される。
業務状況情報検出部２０３は、例えば、音声検出機能の付加されたカメラ２０３１により構成される。

コントローラ３は、生体情報検出部１０１、音声情報検出部１０２、業務状況情報検出部１０３、生体情報検出部２０１、音声情報検出部２０２、業務状況情報検出部２０３により検出された生体情報、音声情報、業務状況情報を、同期させてファイルとして記録する。

なお、本発明による表示方法は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を用いて実現され、プログラムをハードディスク装置や、ＣＤ−ＲＯＭ、ＤＶＤまたはフレキシブルディスクなどの可搬型記憶媒体等からインストールし、または通信回路からダウンロードし、ＣＰＵがこのプログラムを実行することで、各ステップが実現される。

図９には、前記集中度同定関数（図６）により特定した、デスクワーク状況に関する集中度ｆｔ（ｔ）、周辺業務状況に関する集中度ｆｍ（ｔ）を表形式に示す。

図８には、マルチタスク状況判定のフローを示す。まず、前記集中度同定関数によりｆｔ、ｆｍとそれぞれ特定する（Ｓ１０）。ｆｍは会議参加者の例えばキーパーソンに依存しても良いし、複数人物の平均値を利用しても良い。次に、ｆｍ（ｔ）−ｆｔ（ｔ）の算出により、その優位状況を特定する（Ｓ１１、Ｓ１２）。ここで、周辺業務状況に関する集中度ｆｍ（ｔ）が優位であれば、切換表示の必要性が高いと考える。更に、ｆｔ（ｔ）−ｆｔ（ｔ−１）の算出により、デスクワークに関連する集中度の減少傾向を判定する（Ｓ１３）。すなわち、集中度ｆｔに強く依存することなく、周辺業務の集中度が高まったのか、あるいはデスクワークに関する集中度ｆｔが減少した（飽きてきた）ために、相対的に周辺業務の集中度ｆｍが高いと判定されたのかを特定する。この結果を鑑みて、表示方法を変更させることができる。また、ｆｍ（ｔ）−ｆｔ（ｔ）の正負判断において、ｆｔが優位である場合でも、閾値を参照することによって、切換の必要性を表示する（Ｓ１５）。この際、閾値を下回れば切換の必要性を必要としない。

図１０は、本システムの切換タイミングを模式的に表現した図である。図中のｔ１においては前記マルチタスク状況判定のフローにおいて、切換提示の必要性が却下されて表示を必要としない。ｔ２においてはｆｍが優位となり切換強度を高めに設定して表示する。ｔ３においては、ｆｔが優位であるものの、閾値以上であれば、その旨を考慮し表示強度を下げて、切換の必要性を表示する。ｔ４においては、デスクワーク業務の集中度が減少し、相対的にｆｍが優位になったと判定し、その旨、考慮して切換の必要性を表示する。これによって、端的には気分の入れ替えを可能にする。これら一連の処理によって、ｔ２、３、４のタイミングで適切な表示強度によって切換タイミングを表示する。図１１に結果の一覧を示す。

つぎに本発明の実施例２について図１２を参照して説明する。なお、図１２において図１と対応する箇所には対応する符号を付して説明を省略する。

実施例２では、実施例１の表示部５０１に換えて、干渉回避型表示部５０２を設けている。実施例１の表示部５０１は、上述のとおり、マルチタスク監視部４による推定結果を用いて所定の判定条件を満たすタイミングにおいて、そのことを所定の形式で提示するものであり、例えば、アイコンによるグラフィカル表示形式や、機械的信号音、あるいは呼びかけ音声による音声信号提示形式を採用する。このような注意喚起の提示形式の態様によっては、本来業務（例えばデスクワークや会議への参加）で必要とされる人間の感覚器を利用するため、当該本来業務と干渉してユーザへの更なる認知負荷を与えてしまうおそれもある。実施例２の干渉回避型表示部５０２は、かかる本来業務との干渉を回避する提示手段を採用するものである。

図１２において、干渉回避型表示部５０２は、上記表示部５０１では本来業務と干渉し、ユーザへの更なる認知負荷を与えてしまうことを避けるための提示形式を採用する注意喚起駆動部５０３を設けている。注意喚起駆動部５０３は、機械的な振動、風の送出等、物理作用や化学作用によりユーザに対して働きかけ、ユーザの注意を喚起するものであり、例えば、図１３に示すように、注意喚起駆動部５０３として振動駆動部５０３ａを採用し、これをマウス５０４やポインティング用のペン（図示しない）等に取り付け、マウス５０４やペン等からの振動伝達により、ユーザがディスプレイ装置５ａ、６ａを直視していない場面、例えば紙の資料を見ている場面にも注意喚起動作を察知できる。図１３の例では、デスクワーク中の周辺業務への注意喚起のみでなく、周辺業務中のデスクワークへの注意喚起にも対処できるように双方のマウス５０４等に注意喚起駆動部５０３（振動駆動部５０３ａ）を設けている。振動の場合、どこから振動があるかを即座に察知でき、本来の業務への干渉がより少ない。図１３の例ではそれぞれの業務ごとにマウス５０４やペン等を設けたが、単一のマウス５０４等で双方の業務を切り替えて操作できるようにしても良い。この場合、振動箇所を注意喚起対象業務に応じて異ならせることが好ましい。

なお、図１３および以降の図において、５ａはデスクワーク表示部５のディスプレイ装置であり、６ａは周辺業務表示部６のディスプレイ装置である。

または、図１４に示すように、注意喚起駆動部５０３を温度変化提示形態に基づくものとしてもよい。図１４の例では温風送出器５０５を業務ごとに設けている。温風送出器５０５は、例えば、会議の盛り上がり、すなわち注目すべき箇所を熱気として伝達する形態であり、注意喚起時に対応する業務情報側の温風送出器５０５から送風して注意喚起を行なう。温風を注意喚起業務側から送出することによりその熱気を察知させ自然に、かつ本来業務との干渉を伴うことなく、ユーザの注意を喚起することができる。もちろん、温風でなく冷風、あるいは単なる風であってもよい。また温風送出器５０５に換えて熱伝達器を設けて温度差により注意を喚起するようにしても良い。

また、多くの本来業務では、嗅覚を基本的に利用しないので、注意喚起用に臭い（香成分）を設定し、臭い物質を浮遊させて、対応する業務情報側への注意喚起を促すようにしても良い。

さらに、注意喚起駆動部５０３を用いるのでなく、表示態様（視聴覚態様）を変更させて自然とユーザの注意を喚起させても良い。この手法では表示態様（視聴覚態様）で自然とユーザの注意を喚起するものであり、一層、本来業務との干渉を回避できる。例えば、図１５に示すように、複数のディスプレイ装置５ａ、６ａを用いた表示形式の場合に、表示位置変更部５０６を設けて、注意喚起を必要とするディスプレイ装置５ａ、６ａとの相田の距離を近距離に、あるいはそれ以外を遠距離に変更するようにして注意喚起を促してもよい。図１５の場合、ディスプレイの位置を物理的に移動させたが、図１６に示すように、それぞれ業務に対応する複数のウインドウ５ｂ、６ｂを大型の画面７に表示させ、各ウインドウ５ｂ、６ｂの大きさを変化させて、あたかもディスプレイ装置が移動するかのように表示させても良い。

または、図１７に示すように音量変更部５０７を設けて注意喚起を必要する情報の音量を大きく、あるいはそれ以外を小さく変更する形式としたり、音量変更部５０７に換えて音質変更部を設けて注意喚起を必要しない情報の音質を周波数帯を変更するなどして、音質を悪化させたり、あるいは耳障りにならない音質に変更させるようにしてもよい。

また、例えば図１８に示すように、輝度変更部５０８を設けて注意喚起を必要しない情報の輝度を下げて目障りにならない輝度に変更させて提示するようにしてもよい。また輝度変更部５０８に換えて画質質変更部を設けて注意喚起を必要しない情報の画質を画素数変更やマスキングするなどして画質を悪化、あるいは目障りにならない画質に変更させるようにしてもよい。また、情報提示遅延部を設けて、注意喚起を必要しない情報の情報提示を停止させ、一時的にシングルタスク化を支援する形式としてもよい。遅延された情報は、後に再開時にそのまま提供されても良いし、場合によっては、遅延するのでなく、その間の情報を破棄して、再開の事件から情報を提供するようにしても良い。

以上本発明の好ましい実施例について詳述したが、本発明は上述の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。例えば上記各実施例ではコミュニケーション状況として会議を用いて説明したが、ビデオセミナの視聴等にも適用できる。この場合、ビデオセミナの音声や映像を分析して周辺業務状況を判別できるので検出手段（測定手段）は不要にできる。また、上述のとおり、切替の表示は視覚的なものに限定されず、例えば、発音、香り、匂い等で行なっても良い。また切り換え判断により直接に業務切替を行なっても良い。例えば、マルチタスクマルチウインドウ環境の各ウインドウでそれぞれの業務を行なっているときに切り替え先のウインドウをアクティブにするようにしてもよい。また、上述例では周辺業務表示部６にプレゼンテーションの内容を表示するようにしたが、ユーザがプレゼンテーションの現場にいてもよい。また、切り換え対象の業務が３つ以上あっても良い。また、切り換えるように注意喚起し所望の業務が行なわれている状態で、元のあるいは他の業務へ切り換えるように注意喚起しても良い。例えば、上述の例ではデスクワーク業務から周辺業務へ切り換えるように注意喚起したが、さらに、周辺業務からデスクワーク業務へ切り換えるように注意喚起するようにしても良い。

また、図７の構成例では、例えば計算機２０８によりデスクワーク表示部５や周辺業務表示部６（遠隔電子会議システム）を制御するようにし、表示システム１００の本体は、計算機２０８に通信ネットワークを介して接続されたサーバ装置に実装することが可能であるが、計算機２０８に表示システム１００の主たる部分を実装しても良い。

本発明の実施例１を機能ブロックにより示す図である。 上述実施例１の生体情報の例を説明する図である。 上述実施例１の音声情報の例を説明する図である。 上述実施例１の業務状況情報の例を説明する図である。 上述実施例１の各情報の結合例を説明する図である。 上述実施例１で用いる集中度同定関数の例を説明する図である。 上述実施例１の具体的な構成例を説明する図である。 上述実施例１の動作の例を説明するフローチャートである。 上述実施例１の集中度時間応答の例を説明する図である。 上述実施例１の切換タイミングを説明する図である。 上述実施例１の切換提示判断結果の例を説明する図である。 本発明の実施例２を機能ブロックにより示す図である。 上述実施例２の注意喚起駆動部の例を説明する図である。 上述実施例２の注意喚起駆動部の他の例を説明する図である。 上述実施例２において視聴覚態様を変更させて注意を喚起する手法の例を説明する図である。 上述実施例２において視聴覚態様を変更させて注意を喚起する他の手法の例を説明する図である。 上述実施例２において視聴覚態様を変更させて注意を喚起する他の手法の例をさらに説明する図である。 上述実施例２において視聴覚態様を変更させて注意を喚起する他の手法の例をさらに説明する図である。

符号の説明

１ デスクワーク状況検出部
２ 周辺業務状況検出部
３ コントローラ
４ マルチタスク監視部
５ デスクワーク表示部
６ 周辺業務表示部
１００ 表示システム
１０１ 生体情報検出部
１０２ 音声情報検出部
１０３ 業務状況情報検出部
２０１ 生体情報検出部
２０２ 音声情報検出部
２０３ 業務状況情報検出部
２０４ プロジェクタ
２０５ スライド表示部
２０６ 話者
２０８ 計算機
４０１ マルチタスク状況判定部
４０２ マルチタスク状況判定情報データベース
５０１ 表示部
５０２ 干渉回避型表示部
５０３ 注意喚起駆動部
６０１ 再生要求部
６０２ 表示部

Claims (28)

1. ユーザの第１業務の遂行状況に関連する、少なくとも１つの第１業務関連物理量を測定する測定手段と、
   ユーザが遂行可能な第２業務の状況を表す、少なくとも１つの第２業務関連物理量と、上記測定手段が測定した上記第１業務関連物理量とに基づいて、上記第２業務を遂行するようにユーザの注意を喚起する処理を実行する注意喚起処理実行手段とを有することを特徴とする注意喚起装置。
2. 上記注意喚起処理実行手段は、上記第１業務を遂行するようにユーザの注意を喚起する処理も実行する請求項１記載の注意喚起装置。
3. 上記第２業務関連物理量は、上記第２業務の状況を構成する人物の上記第２業務の遂行状況を表す物理量である請求項１または２記載の注意喚起装置。
4. 上記第２業務の状況を構成する複数の人物のうちの選択した人物について得られる上記第２業務の遂行状況を表す物理量を利用する請求項３記載の注意喚起装置。
5. 上記第２業務の状況を構成する複数の人物について得られる上記第２業務の遂行状況を表す物理量を利用する請求項３記載の注意喚起装置。
6. 上記第１業務関連物理量および上記第２業務関連物理量は業務に対する人の集中度を表す物理量である請求項１〜５のいずれかに記載の注意喚起装置。
7. 上記業務に対する人の集中度を表す物理量は、人の生体情報、人の音声の情報および人の操作処理情報を含むグループから選択される請求６記載の注意換気装置。
8. 上記人の生体情報は、瞬き、瞳孔径、注視対象、注視時間を含む眼球に係る情報、顔面皮膚温度、発話情報および脳波を含むグループから選択される請求項７記載の注意喚起装置。
9. 上記人の生体情報は、対象となる人に計測機器を装着させることなく測定可能である請求項７または８記載の注意喚起装置。
10. 上記人の音声の情報は、音声検出装置により検出される請求項７、８または９記載の注意喚起装置。
11. 上記人の操作処理情報は、映像情報、キー入力情報およびマウス操作入力情報を含むグループから選択される請求項７、８、９または１０記載の注意喚起装置。
12. 上記第２業務関連物理量を測定する測定手段をさらに有する請求項１〜１１のいずれかに記載の注意換気装置。
13. 上記第１業務はデスクワークである請求項１〜１２のいずれかに記載の注意喚起装置。
14. 上記第２業務はコミュニケーションを伴う業務である請求項１〜１３のいずれかに記載の注意喚起装置。
15. 上記コミュニケーションを伴う業務は会場に出席している会議または遠隔会議システムを利用した会議の業務である請求項１４記載の注意喚起装置。
16. 上記第２業務は人の視聴覚動作を必要とする業務である請求項１〜１３のいずれかに記載の注意喚起装置。
17. 上記視聴覚操作を必要とする業務は視聴覚コンテンツの視聴である請求項１６記載の注意喚起装置。
18. 上記注意喚起処理は、表示装置への表示、発音装置による発音および匂い発生装置により匂いの発生を含むグループから選択される請求項１〜１７のいずれかに記載の注意喚起装置。
19. 上記第１業務および上記第２業務はマルチタスク・マルチウインドウシステムのウインドウで実行され、上記注意喚起処理により、または上記注意喚起処理に対するユーザの応答入力に基づいて上記第１業務のウインドウをアクティブにする請求項１〜１７のいずれかに記載の注意喚起装置。
20. 上記注意喚起処理は、少なくとも上記第１業務との干渉を抑制した処理である請求項１〜１７のいずれかに記載の注意喚起装置。
21. 上記注意喚起処理は、少なくとも上記第１業務で主に用いる感覚器以外の感覚器を介して注意を喚起する処理である請求項１〜１７のいずれかに記載の注意喚起装置。
22. 上記注意喚起処理は、振動生成装置による振動、熱伝達装置による温度変化、送風装置による風量変化、および表示位置変更装置による表示位置変化のうちの少なくとも１つである請求項１〜１７のいずれかに記載の注意喚起装置。
23. 上記注意喚起処理は、注意喚起を必要としない一方の業務に関連して提示される物理量を抑制する処理である請求項１〜１７のいずれかに記載の注意喚起装置。
24. 上記一方の業務に関連して提示される物理量を抑制する処理は、音量変更、音質変更、輝度変更、および画質変更のうちの少なくとも１つである請求項２３記載の注意喚起装置。
25. 上記注意喚起処理は、注意喚起を必要としない一方の業務に関連する情報を空白時間を挿入して遅延させる処理である請求項１〜１７のいずれかに記載の注意喚起装置。
26. 測定手段により、ユーザの第１業務の遂行状況に関連する、少なくとも１つの第１業務関連物理量を測定するステップと、
    ユーザが遂行可能な第２業務の状況を表す、少なくとも１つの第２業務関連物理量と、上記測定手段が測定した上記第１業務関連物理量とに基づいて、注意喚起処理実行手段により、上記第２業務を遂行するようにユーザの注意を喚起する処理を実行するステップとを有することを特徴とする注意喚起方法。
27. 測定手段により、ユーザの第１業務の遂行状況に関連する、少なくとも１つの第１業務関連物理量を測定するステップと、
    ユーザが遂行可能な第２業務の状況を表す、少なくとも１つの第２業務関連物理量と、上記測定手段が測定した上記第１業務関連物理量とに基づいて、注意喚起処理実行手段により、上記第２業務を遂行するようにユーザの注意を喚起する処理を実行するステップとをコンピュータに実行させるために用いられることを特徴とする注意喚起用コンピュータプログラム。
28. ユーザの第１業務に関連して第１業務用情報処理を行なう情報処理手段と、
    上記ユーザの第１業務の遂行状況に関連する、少なくとも１つの第１業務関連物理量を測定する測定手段と、
    ユーザが遂行可能な第２業務の状況を表す、少なくとも１つの第２業務関連物理量と、上記測定手段が測定した上記第１業務関連物理量とに基づいて、上記第２業務を遂行するようにユーザの注意を喚起する処理を実行する注意喚起処理実行手段とを有すること特徴とする情報処理システム。