JP2005332309A - ユーザ支援装置 - Google Patents

Abstract

【課題】ユーザの置かれた環境あるいはその環境における位置姿勢あるいは時刻あるいは状態あるいは情動に合わせて、有効な情報を呈示すること。
【解決手段】ユーザ支援装置のユーザ活動支援エージェント３０は、センサ群１０で検知したユーザの活動状態または環境状況に基づいてユーザの要求，欲求，または指示を目標の形で検出する目標検出評価モジュール３１と、その目標を達成するためのユーザの活動を計画し、その計画した活動を示唆する情報をユーザ情報呈示装置２０に呈示させる活動計画評価モジュール３２と、上記センサ群１０で検知したユーザの活動状態または環境状況に従って、上記活動計画評価モジュール３２で計画した活動の到達度をモニタリングするユーザ反応評価モジュール３１３とを有する。
【選択図】 図１

Description

本発明は、センサ群を利用しながら、ユーザあるいはユーザの周りの環境を観察し、ユーザの活動を支援するユーザ支援装置に関する。

近年、情報化社会の発展とセンサ技術の発展により、至る所に分散化された形でセンサが配置されており、非常に多くの支援情報を取得可能となっている。そして、それらセンサから種々の支援情報を取得し、各種サービスを実現するためのサーバに無線などでアクセスすることにより、ユーザの様々な活動を支援するシステムが出来てきている。

しかしながら、情報の氾濫（量の増加）のため情報の取捨選択が課題となると同時に、本当にユーザのＴＰＯ（時（time）と所（place）と場合（occasion））に関連した情報を取捨選択することが困難になるという課題も出てきている。即ち、ユーザの嗜好に応じた情報選択、そしてユーザの状態に応じた知的刺激や生活習慣に対するアドバイスも実現するようなシステムがより重要となってきている。別の言葉で言えば、ユーザの行動・感情あるいは環境の状態によるＴＰＯに応じた情報選択（例えば、「おなかがすいた」というユーザの状態に応じた、ユーザの好み，店の混み具合，場所，交通手段を加味した情報呈示）が重要となる。

また別の課題として、分散化されたセンサネットワークにより、個人が監視されてプライバシーが侵害されることが多くなるという問題がある。例えば、街角に配置された監視カメラ群により、不特定の個人の顔が記録されたり、不特定の個人の行動がモニタリングされたり、不特定の個人が追跡されたりする問題が発生しており、個人のプライバシーを守るシステムが望まれている。

特許文献１には、車両の状況を判断してユーザとのコミュニケーションを行うエージェント装置が提案されている。このエージェント装置によれば、例えば、お昼時にユーザのお腹が鳴る音を検出した場合に「食堂の案内をしましょうか？」といったように、エージェントが処理可能な行為の提案をするようになっている。そして、車両内に出現させるエージェントについては、その容姿や音声をユーザの好みに応じて選択することが可能になっている。

また、移動ロボットあるいは人間型ロボットでは、ロボットの行動に対する目標であるゴールを設定し、そのゴールが達成されたかを関知するモジュールなどの例がある（例えば、非特許文献１参照）。
特開２００１−５６２２５号公報 A. Kosaka and A. C. Kak, "Fast vision-guided mobile robot navigation using model-based reasoning and prediction of uncertainties," CVGIP--Image Understanding, Vol. 56, No. 3, November, pp.271-329, 1992.

しかしながら、上記特許文献１に開示されているようなエージェントシステムでは、時々刻々と変化する環境内の情報をセンサなどで取得するわけではなく、時間などをトリガーにしてエージェントがユーザの活動支援をするものであり、ユーザにＴＰＯあるいは環境情報に合わせた活動支援をしているわけではない。

また、上記非特許文献１に開示されているようなロボット行動計画エージェントでは、ユーザに対する状況を判断するわけではなく、また個別のユーザの欲求に対する目標を設定するものではない。

本発明は、上記の点に鑑みてなされたもので、ユーザの置かれた環境あるいはその環境における位置姿勢あるいは時刻あるいは状態あるいは情動に合わせて、有効な情報を呈示することにより、ユーザの活動支援を行うユーザ支援装置を提供することを目的とする。

またさらに、本発明は、個人のプライバシーを守る情報セキュリティを図り、ユーザの活動支援を行うユーザ支援装置を提供することを目的とする。

本発明のユーザ支援装置の一態様は、
ユーザの活動状態あるいは環境の状況を検知するセンサ群と、
上記ユーザに情報を提示するユーザ情報呈示装置と、
上記センサ群で検知したユーザの活動状態あるは環境状況に基づいて、上記ユーザ情報提示装置において呈示する情報を生成することで、上記ユーザの活動を支援するユーザ活動支援エージェントと、
を具備し、
上記ユーザ活動支援エージェントは、
上記センサ群で検知したユーザの活動状態あるいは環境状況に基づいて、上記ユーザの要求あるいは欲求あるいは指示を目標の形で検出すると共に、それがユーザ所望の目標であるかをユーザに上記ユーザ情報呈示装置を介して呈示し、それに対するユーザの反応を評価する目標検出評価モジュールと、
上記目標検出評価モジュールが検出した目標をユーザの活動群によって実現できるように計画し、その活動群を示唆する情報を上記ユーザ情報呈示装置を介してユーザに呈示して、それに対するユーザの反応を、上記センサ群により計測されるユーザの活動状態あるいは環境状況からモニタリングあるいは評価する活動計画評価モジュールと、
から構成されることを特徴とする。

本発明によれば、ユーザの置かれた環境あるいはその環境における位置姿勢あるいは時刻あるいは状態あるいは情動に合わせて、有効な情報を呈示することにより、ユーザの活動支援を行うユーザ支援装置を提供することができる。

また、本発明によれば、情報セキュリティモジュールを付加することで、外部センサからの情報入力とユーザへの情報呈示に対して、情報開示度や守秘度を考慮することが可能となり、ユーザや他のユーザのプライバシーを守ることが可能となる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１実施形態］
本発明の第１実施形態に係るユーザ支援装置は、図１に示すように、ユーザの活動状態あるいは環境の状況を検知するセンサ群１０と、上記ユーザに情報を呈示するユーザ情報呈示装置２０と、上記センサ群１０で検知したユーザの活動状態あるいは環境状況に基づいて、上記ユーザ情報呈示装置２０において呈示する情報を生成することで、上記ユーザの活動を支援するユーザ活動支援エージェント３０とから構成される。

ここで、センサ群１０は、ユーザに装着された及びユーザの周囲に設置された複数のセンサを含み、外部環境をユーザの視点から観察するものである。

ユーザ活動支援エージェント３０は、上記センサ群１０の観察結果に基づき、ユーザの次の活動あるいは行動を支援するもので、人間の活動の基本となるＰＤＣ（Plan-Do-Check）などの行動モデルに基づくものである。即ち、ユーザの行いたい欲求を目標として具体化し、その具体化された目標を実現するためのユーザの行うべき活動群を、ユーザの活動レベルのアクションとして実現することとなる。このユーザ活動支援エージェント３０は、図１に示すような各種大モジュール群からなる。即ち、このユーザ活動支援エージェント３０は、ユーザの欲求あるいは要求あるいは決定を、より具体的な目標として検出あるいは推定すると共に、それがユーザの所望の目標であるかをユーザに情報呈示してユーザの反応を評価する目標検出評価モジュール３１と、この目標検出評価モジュール３１が検出した目標をユーザの活動群によって実現できるように計画し、その活動群を示唆する情報をユーザに情報呈示してユーザの反応を、ユーザの活動状態あるいは環境状況からモニタリングし評価する活動計画評価モジュール３２とから構成される。

より具体的には、それらの大モジュール群は、図２に示すような小モジュール群から構成される。

即ち、目標検出評価モジュール３１は、上記センサ群１０で検知したユーザの活動状態あるいは環境状況に基づいて、上記ユーザの要求あるいは欲求あるいは指示を目標の形で検出する目標検出モジュール３１１と、この目標検出モジュール３１１によって検出された目標を上記ユーザ情報呈示装置２０に呈示させる目標呈示モジュール３１２と、この目標呈示モジュール３１２によって上記ユーザ情報呈示装置２０を介してユーザに呈示された情報に対するユーザの反応を上記センサ群１０で検知したユーザの活動状態あるいは環境状況からモニタリングすることで、その目標の検出合致度を評価するユーザ反応評価モジュール３１３とを有し、上記ユーザ反応評価モジュール３１３の評価結果を目標検出モジュール３１１にフィードバックするようになっている。

また、上記活動計画評価モジュール３２は、上記センサ群１０で検知したユーザの活動状態あるいは環境状況と、上記目標検出モジュール３１１によって検出された目標とに基づいて、その目標を達成するためのユーザの活動を計画する活動計画モジュール３２１と、この活動計画モジュール３２１で計画された活動計画に従って、その活動を示唆する情報を上記ユーザ情報呈示装置２０に呈示させる活動計画呈示モジュール３２２と、この活動計画呈示モジュール３２２の情報によって引き起こされたユーザの反応を活動状態あるいは環境状況からモニタリングし評価するユーザ反応評価モジュール３２３とを有し、上記ユーザ反応評価モジュール３２３の評価を上記活動計画モジュール３２１にフィードバックするようになっている。

ここで、上記目標検出評価モジュール３１の目標検出モジュール３１１は、ユーザの活動に関する欲求あるいは要求あるいは決定を、ユーザに装着されたセンサ群１０あるいはユーザの周囲にあるセンサ群１０の信号を用いて検出あるいは推定する。例えば、ユーザからの音声コマンドにより、あるいはユーザがユーザ情報呈示装置２０などに設定されたコマンドを直接入力することにより、ユーザが欲求する目標を検出する場合がある。また、ユーザの欲求や要求を、ユーザに取り付けられたセンサ群１０から察知して目標を検出する場合もある。ユーザから直接コマンドが送信されなかった場合には、その検出または推定した目標が本当にユーザが所望する目標であるかの確認の呈示内容を目標呈示モジュール３１２が生成し、その呈示内容をユーザ情報呈示装置２０で呈示すると共に、ユーザの反応をセンサ群１０を介してユーザ反応評価モジュール３１３が評価し、その評価結果を目標検出モジュール３１１は受ける。その評価が正しければ（即ちユーザ所望の目標であると判断された場合には）、その目標を活動計画評価モジュール３２へと送信することになる。そうでなければ、再度ユーザの目標を検出することを行う。

活動計画評価モジュール３２内の活動計画モジュール３２１は、上記目標検出評価モジュール３１が検出または推定した、ユーザが設定した目標に関して、その目標を達成するために、ユーザが取るべき行動あるいは行動群を計画する。こうして計画された活動は、随時ユーザに示唆という形でユーザ情報呈示装置２０を介して呈示される。

一方、活動計画評価モジュール３２内のユーザ反応評価モジュール３２３は、ユーザに装着されたセンサ群１０あるいは環境に配置されたセンサ群１０からの信号を入力しながら、上記目標もしくは上記計画された活動に関する到達度や、ユーザの活動が置かれている状況、あるいはユーザの状態などを評価するモジュールである。必要に応じて目標に対する達成度は活動計画呈示モジュール３２２を介してユーザ情報呈示装置２０に送られ、ユーザに随時呈示される。

この際、ユーザ反応評価モジュール３２３は、ユーザの活動が置かれている状況からしてあらかじめ計画された活動計画の実行に支障がある場合には、活動計画モジュール３２１にその旨を伝え、活動計画モジュール３２１は現在の状況に応じて活動計画を再設定（再計画）を行う。そのような活動計画が実施不可能な場合には、その旨を活動計画呈示モジュール３２２を介してユーザに呈示して、ユーザ反応評価モジュール３２３は再度ユーザからの確認を得る。

図３は、本実施形態に係るユーザ支援装置におけるユーザ活動支援エージェント３０の動作フローチャートを示す図である。

即ち、このユーザ活動支援エージェント３０が動作開始されると、まず、目標検出評価モジュール３１において、ユーザが本ユーザ活動支援エージェント３０を終了するかどうかの確認をとる（ステップＳ１）。もしユーザにエージェントを利用する意志がないときには、本ユーザ活動支援エージェント３０の実行を終了する。

そうでなければ、目標検出評価モジュール３１において、ユーザの欲求・要求に基づいた目標を検出する（ステップＳ２）。そして、こうして検出された目標が正しいものであるかを、ユーザ情報呈示装置２０を介して確認表示を行う（ステップＳ３）。ステップＳ４において、その確認をユーザと行うが、もし正しくなければ、上記ステップＳ１に進む。もし正しければ、次のステップＳ５に移る。

即ち、上記目標が正しい場合には、活動計画評価モジュール３２内の活動計画モジュール３２１が、目標達成のための活動の計画を作成する（ステップＳ５）。そして、その作成した活動計画を、ユーザ情報呈示装置２０を介してユーザに呈示する（ステップＳ６）。ユーザは、その活動計画に基づいて、行動を開始する。

ステップＳ７以降では、そのユーザの活動を、活動計画評価モジュール３２内のユーザ反応評価モジュール３２３が随時モニタリングすることになる。即ち、まず、ユーザ反応評価モジュール３２３が、目標に対する達成度と、現在の状況から目標に達せられるかどうかの判断をする（ステップＳ７）。そして、すでに目標に到達できている場合には（ステップＳ８）、その結果をユーザ情報呈示装置２０を介してユーザに呈示した後（ステップＳ９）、上記ステップＳ１に戻る。

これに対して、まだ目標が達成できていない場合には（ステップＳ８）、現在の活動を続けて目標に到達することができるかどうかを判定し（ステップＳ１０）、目標への到達が不可能である場合には、その旨をユーザ情報呈示装置２０を介してユーザに呈示した上で（ステップＳ１１）、上記ステップＳ１に戻る。

一方、現在の活動を続けながら目標へ達成可能な場合には、活動の再計画が必要かどうかを判断する（ステップＳ１２）。再計画が必要なときには、ユーザ反応評価モジュール３２３は、再計画のリクエストを活動計画モジュール３２１に要請するため、その旨をまずユーザ情報呈示装置２０を介してユーザに呈示する（ステップＳ１３）。そして、その呈示内容に応じてユーザからのインタラプトがあるかどうかをユーザ反応評価モジュール３２３で判断する（ステップＳ１４）。インタラプトがなければユーザが再計画のリクエストを認めたとして、上記ステップＳ５に戻る。これに対して、インタラプトがなされた場合には、上記ステップＳ１に戻る。

また、上記ステップＳ１２において、再計画が必要でないと判断した場合には、現在の活動の内容とその目標に対する達成度をユーザ情報呈示装置２０を介してユーザに呈示する（ステップＳ１５）。そして、その呈示内容に応じてユーザからのインタラプトがあるかどうかをユーザ反応評価モジュール３２３で判断する（ステップＳ１６）。ここで、インタラプトがなければ上記ステップＳ７に戻り、インタラプトがなされた場合には上記ステップＳ１に戻る。

以下、具体的な例で説明する。

以下の例では、視覚障害（緑内障など）で視覚機能が衰えたユーザの活動を支援するエージェントの例を中心に説明する。

その目標は、自宅Ａから目的地であるコーヒーショップＢまでのナビゲーションであると仮定する。このとき、ユーザからの欲求を、ユーザが音声で指示することにより目標が発せられる。この場合、目標検出評価モジュール３１が音声信号を入力し、その音声をコマンドとして認識することにより目標を検知することになる。また別の目標設定方法として、より直接的にコマンドを入力する場合には、例えばユーザ情報呈示装置２０上のコマンドメニューなどからナビゲーション＋目標目的地（コーヒーショップＢ）を選択する。

こうしてユーザが指示した目標に対して、活動計画モジュール３２１が、ユーザが現在地である自宅Ａから目的地であるコーヒーショップＢまで到達するための行動群をスケジュールとして計画する。例えば、この行動群としては、
・現在のマンションの４階からエレベータホールへ徒歩で移動する
・エレベータホールでエレベータ下行きのボタンを押す
・エレベータが来るのを待つ
・エレベータに乗り、エレベータ内の１階ボタンを押す
・エレベータで４階から１階へ移動する
・エレベータを下りる
・エレベータ付近から直結する道路Ｌ１を探す
・道路Ｌ１をまっすぐ東に１００ｍ移動する（ユーザ徒歩で約１６０歩）
・交差点Ｃ１で右折する
・道路Ｌ２をまっすぐ北に３００ｍ移動する（ユーザ徒歩で約５００歩）
・左手のコーヒーショップＢを探がす
・コーヒーショップＢに入る
といったような行動群からなる行動計画をスケジュールとして計画する。

こうして計画された行動は、必要に応じて、ユーザ情報呈示装置２０を介して、ユーザに呈示される。例えば、目的地であるコーヒーショップＢまでの道のりと現在地を随時ユーザに呈示することとなる。例えば、交差点Ｃ１では右折することを呈示する。また道路Ｌ２上では、目的地（コーヒーショップＢ）までの大まかな距離を呈示するようなことを行う。

一方、ユーザ反応評価モジュール３２３は、ユーザに装着されたセンサ群１０あるいは環境に設置されたセンサ群１０を利用しながら、そのセンサ群１０から得られる信号に基づき、ユーザの目標達成の度合いをモニタリングすると共に、ユーザの置かれている状況もモニタリングする。ユーザに装着されたセンサ群１０としては、２眼ステレオカメラ、ステレオマイクロフォン、ＧＰＳセンサ、歩数計測器、位置推定ビーコンなどである。即ち、活動計画モジュール３２１が計画した活動に対する目標達成度をモニタリングするのに必要なセンサ群１０を選択し、そのセンサ群１０からの信号により、その活動の進捗度をモニタリングすることとなる。例えば、目的地までの道のりの進捗を計測する場合には、ＧＰＳセンサによるグローバルな位置や、歩数計測器で計算された歩数の累積数による推定距離などの情報が利用される。

もう一つのユーザ反応評価モジュール３２３の重要な役割は、逐次ユーザが置かれている環境のモニタリングとユーザの状況モニタリングを行うことである。即ち、ユーザにはユーザの環境やユーザの状況をモニタリングするセンサ群１０がさらに配置されている。このセンサとしては、ユーザの視界を観察する広角ステレオカメラ、ステレオマイクロフォン、ユーザの位置姿勢を推定するジャイロ，加速度センサ，歩数計測器などである。また、環境に設置されたビーコンなどと通信しながら、環境の状況変化やローカルな環境の詳細情報を入力するセンサなども利用可能である。即ち、広角ステレオカメラとステレオマイクロフォンは、ユーザの前方にある障害物などを検知するモジュールである。より具体的には、ステレオカメラにより、ユーザの歩行範囲にある空間の３次元マップをリアルタイムで再構成する。そして、ユーザの歩行予測範囲で、３次元マップ内に歩行に障害となるような障害物がある場合には、その旨をユーザ情報呈示装置２０を介して、ユーザに呈示する。その情報によりユーザの将来の計画された活動実施に支障がある場合には、ユーザ反応評価モジュール３２３はその旨を活動度と再計画リクエストという形で、活動計画モジュール３２１にも知らせ、活動計画モジュール３２１は、目標検出評価モジュール３１が設定した目標に対する活動計画を再計画する。目標を達成する活動が再計画できない場合には、その旨をユーザに呈示する。例えば、経路上の前方が工事中で通行不可能な場合には、別の経路を再計画するなどが、この場合に対応する。

また、歩数の計測において、ユーザの歩数と移動距離との関係から、その人の歩数、歩行速度にあった残りの予測歩数や、目標に対しての進捗度を情報呈示をしても良い。

このようなサイクルを繰り返すことにより、目標実現に向けた活動支援をするわけである。

ここで、このような目的を達成するためのユーザに装着するセンサ群１０の例を説明する。

図４（Ａ）及び（Ｂ）はメガネ型のセンサ群１０を示す斜視図及び背面図である。即ち、メガネ型のフレームの左端と右端にはカメラモジュール（撮像モジュール）１１Ｒ，１１Ｌが組み込まれており、その２個のカメラモジュール１１Ｒ，１１Ｌによりステレオカメラを構成するものである。またこのメガネ型フレームの柄の部分には、ステレオマイクロフォン（図示せず）などが装着されており、そのステレオマイクロフォンで、ユーザの耳で聴覚可能なダイナミックレンジあるいはそれ以上のダイナミックレンジをカバーする音像を入力することができる。

また、ユーザの耳付近にはユーザ情報呈示装置２０の一部を構成するステレオスピーカ２１が装着されており、そのステレオスピーカ２１により、ユーザへの音としての情報呈示が可能である。さらに、このメガネ型フレームには、ユーザの視野内の前方部に、同じくユーザ情報呈示装置２０の一部を構成する小型ディスプレイ２２が装着されており、この小型ディスプレイ２２に視覚的に情報呈示をすることにより、各種の情報をユーザに提供することができる。また、この小型ディスプレイ２２には、左あるいは右カメラモジュール１１Ｒ，１１Ｌから撮像される画像を出力する機能もあり、そうして撮影された画像に、文字情報やアイコン情報やその他視覚的情報を重畳して、カメラ視野内で検知された対象物に付記する形で、情報を重畳することも可能である。

更に、特に図示はしていないが、その他このメガネフレームに、ジャイロセンサや加速度センサを付加することで、ユーザの移動に伴う左右カメラで撮影される画像ブレを補正することも可能である。

また、同様のジャイロセンサや加速度センサやＧＰＳセンサを付加することで、ユーザの環境における位置姿勢情報を検知することも可能である。例えば、ＧＰＳセンサにより、地球上におけるユーザの絶対的位置を計測することができる。また、ジャイロセンサや加速度センサの信号や情報を組み合わせることで、ユーザの環境に対する姿勢情報を入力することができるわけである。

また、この図には示していないが、ユーザは歩行歩数計を装着することも可能である。こうした歩数計とＧＰＳセンサあるいはジャイロセンサあるいは加速度センサの信号を融合することにより、ユーザの環境における３次元位置姿勢を、より精密に計測することが可能となる。

もちろん、こうしたセンサ群１０の信号を処理するには、この図には示されていない、ユーザに装着されたコンピュータ（例えばウェアラブルコンピュータ）などを始めとする演算装置により、各種の信号処理を始めとして、今まで説明したエージェント機能を実現するソフトウェアを実行することができるのは自明である。また、センサ群１０からの信号がアナログ信号のときには、コンピュータ内にＡ／Ｄ変換器などを介してデジタル信号に変換して、以上説明したようなセンサ信号に関する処理をすることができる。

一方、メガネ型フレームに装着されたステレオカメラにより、両方のカメラモジュール１１Ｒ，１１Ｌで撮影される画像からユーザの前方の空間の３次元再構成を行うことができる。こうした３次元再構成により、ユーザの視野内に存在する物体を検出したり、その物体までの距離を計測したりすることができるわけである。また、こうしたカメラモジュール１１Ｒ，１１Ｌで撮影された画像を利用することで、さらなる処理を実行することも可能である。例えば、カメラ画像から、標識や標識内にある文字、あるいは看板などの文字情報を抽出することにより、その文字情報とあらかじめウェアラブルコンピュータ内に蓄えられている地図情報（あるいはウェアラブルコンピュータが環境に埋め込まれたセンサやビーコンと通信したり、その他のデータべースと直接携帯電話経由や無線経由で通信することにより得られる地図情報や位置情報）に基づいて、タイムリーな情報を入手したり、小型ディスプレイ２２などに画像と共に重畳したりすることも可能となる。

別なセンサ群１０の例として、図５に示されるペンダント型センサ群装置１２がある。このペンダント型センサ群装置１２には、超広角ステレオカメラ１３や、図示しはないが、ジャイロセンサ、加速度センサ、歩数計測器、ＧＰＳセンサ、ステレオマイクなどが内蔵されている。更に、ユーザ情報呈示装置２０として超小型プロジェクタ２３が内蔵されている。また、この図には示していないが、上記センサの出力信号はウェアラブルコンピュータなどに送信され、そのウェアラブルコンピュータ内で各種の処理及び前述したエージェント機能が実行される。また、ユーザは、図４（Ａ），（Ｂ）にあるような超小型ディスプレイを右目あるいは左目近くにウェアラブルディスプレイとして装着していてもかまわない。そのようなウェアラブルディスプレイを装着している場合には、そのディスプレイ内に各種情報が呈示されることになる。また、このペンダントに装着されている超小型プロジェクタ２３は、ユーザの手のひらに対して投影して、情報呈示しても良い。

このペンダント型センサ群装置１２のジャイロセンサや加速度センサにより、ユーザの姿勢に関する情報が計測できる。また、歩行計測器とＧＰＳセンサにより、環境に対するユーザの大まかな位置が計測できるようになっている。

また、上述のように、ペンダント型センサ群装置１２には、超広角単眼カメラあるいは超広角ステレオカメラ１３が装着されている。例えば超広角ステレオカメラ１３の左右カメラの一方には、図６に示されるようにペンダントとしてユーザの胸の部分に装着した場合には、図７で示されるように、ユーザの顔の一部、ユーザの腕や手指、ユーザの前方環境及び下方環境を撮影することができる。従って、左右のカメラで撮影されるステレオ画像を解析することにより、ユーザの顔の向き、ユーザの顔の表情の一部（撮影されている場合）、ユーザの手指及び腕によるジェスチャ、ユーザの歩行環境、ユーザの前方の障害物などの認識を行うことができる。

例えば、図６に示されるように、ユーザがエレベータのボタンを押す行動を行う際には、図７に示されるような画像が左あるいは右カメラで撮影される。これら超広角ステレオカメラ１３で撮影された画像を処理することにより、ユーザがボタンを押すまでの動作の状態をモニタすることができるわけである。この際、例えば図８に示されるようにボタンを押す動作に対する状態がディスプレイに示される。この際、超広画角で撮影された画像は、ディストーション除去をされて、ユーザの状態を画像として理解し易いようになっている。また特に視覚障害のユーザや近視のユーザの人のためには、手指の動作がわかり易いように、ユーザの手指付近の画像を拡大して、ウェアラブルディスプレイに表示することも可能である。このようにすることにより、ユーザの活動を大いに支援することができるわけである。また、図８の左側に示されているように、図７で示されるユーザの頭部の一部画像情報から、ユーザの頭部表情モデルなどを利用することにより、顔全体の表情図などを推定することもできる。

また、図９は、図５で示されるペンダント型センサ群装置１２内の超広角ステレオカメラ１３によって撮影されるユーザの腕や手指を表したものである。この図からもわかるように、ペンダント型センサ群装置１２内の超広角ステレオカメラ１３では、ユーザのジェスチャを簡易に撮影することができるので、その画像を解析することにより、ユーザがあらかじめ設定した各種ジェスチャをコマンドとして登録しておけば、それによりユーザ活動支援装置への入力インタフェースともなり得るのである。

図１０（Ａ）は、カチューシャ型のフレームにセンサ群１０を装着したカチューシャ型センサ群装置１４を示す図であり、図１０（Ｂ）はそれをユーザが頭部に装着した状態を示す図である。このようにユーザの頭部に装着するタイプのセンサ群１０でも、図４（Ａ），（Ｂ）に示されるメガネ型のものと同様の機能を付加することができる。

［第２実施形態］
上記第１実施形態では、主にユーザに装着されたセンサ群１０からの情報を利用して、そのセンサ信号に基づき、ユーザの状態あるいは環境の状況を観察したり、ユーザの活動支援を行うエージェントについて説明した。しかしながら、センサ群１０のすべてのセンサが必ずしもユーザに装着されている必要はなく、環境にあらかじめ固定的に装着されているセンサからの信号を利用して、ユーザの状態あるいは環境の状況をモニタすることが可能となる。

図１１とその詳細図である図１２は、本発明の第２実施形態に係るユーザ活動支援装置の構成を示す図であり、上記第１実施形態の構成に対して更に入力情報セキュリティ制御モジュール３３及び出力情報セキュリティ制御モジュール３４を備えている。本実施形態においては、それら情報セキュリティ制御モジュール３３，３４により、センサ群１０から得られる信号に関して、そのセンサ信号自体にセキュリティラベル（情報開示度）を付加することにより、その後このような信号を公開できるか、非公開とするかなどの制御を行うことを可能とするものである。即ち、本実施形態の場合には、外部環境に設置されたセンサ群１０から、ユーザのセキュリティレベルとして利用可能な情報だけを、その外部のセンサとの通信により問い合わせることにより、ユーザとして使用可能なものだけを有効に利用して、ユーザの活動状況をモニタリングすることが可能となる。

その例としては、例えば環境内に装着されたセキュリティカメラを利用することにより、ユーザが直接見ることができない画像を通信により獲得することができる。こうした画像を直接処理することにより、ユーザの進行方向にある各種イベントあるいは障害物などを早期に発見することができる。

また、その他の情報としては、道路の混雑状況などである。即ち、ユーザが利用できるサービスにより、これからユーザが選択しようとする道路の混雑状況を外部センサから入力する場合には、ユーザの種類やサービスの種類に応じて、センサからの情報のセキュリティレベルをコントロールすることで、情報の入手を行うことが可能となる。

こうして画像や映像を外部センサにより撮影し、入手する場合には、その情報を入手するユーザのセキュリティレベルにより、その画像を直接入手できるか入手できないかが、入力情報セキュリティ制御モジュール３３が外部センサと通信を行うことにより、決定される。例えば、ユーザ個人の自宅などにつけられているセキュリティカメラの場合には、その個人に属する情報セキュリティレベルの開示度が、その当人にしか与えられないような開示度となっており、別の許可されないユーザには開示できないような開示度（開示ラベル）が付与されることとなる。また、別の個人に関して撮影された顔情報などプライバシーが問題となるときには、その顔が撮影された画像などは、その本人の許可がない限り、他のユーザに開示されないレベルになるなどのセキュリティをかけることができるわけである。

また、ユーザが装着しているセンサの出力に対しても、セキュリティラベル（情報開示度）を付加することにより、そのセンサからの情報を、他のユーザあるいは環境などに提供することを制御することが可能となる。このようにユーザが観察した情報を、特定のユーザに提供したり、特定の環境サービスに提供したりすることで、特定のユーザとの情報の共有、情報の共有による他ユーザへの活動支援を行うことができるようになるわけである。図１３は、この例を示したものであり、情報の開示度を制御する情報セキュリティ制御モジュール３３，３４に接続された外部通信モジュール３５を付加することにより実現される。この場合、外部通信モジュール３５は、他のユーザや環境に埋め込まれたセンサなどと、Ｂｌｕｅ Ｔｏｏｔｈ（商標）を始めとする無線通信などを利用することが可能であることは言うまでもない。

センサ群１０からの信号あるいはユーザへ呈示する情報に情報開示度を付加することにより、本ユーザ活動支援エージェント３０への情報入力に対するセキュリティ及びユーザに呈示する情報のセキュリティを制御することができる。

その他の例としては、シニア向けのユーザ活動支援装置を装着したユーザが環境内を歩行するときには、視覚障害者として外部センサのその旨を連絡し、他の歩行者や自動車などへの注意喚起を行うなどの活動支援を行うことができる。

さらに、セキュリティラベルにより、ユーザの外部からの画像センシング内容はそのユーザのユーザ活動支援装置にのみ送信され、道を渡ろうとしているなどの行動予測情報に加工されて、個人情報を落とし込んだ上で、出力情報セキュリティ制御モジュール３４で再度セキュリティラベルを情報に付加して、外部通信モジュール３５により送信するようにしても良い。

［第３実施形態］
図１４は、本発明の第３実施形態に係るユーザ活動支援装置の構成を示す図である。本実施形態に係るユーザ活動支援装置においては、上記活動計画評価モジュール３２内に、ユーザ活動解析モジュール３２４を配置する。このユーザ活動解析モジュール３２４は、上記活動計画モジュール３２１で計画された活動と、その活動に対するユーザの反応の評価結果と、その際のセンサの出力（例えばＴＰＯ）とに鑑みて、ユーザの活動に対する履歴（活動履歴）を記録すると共に、その活動履歴から得られるユーザの持つ嗜好（即ち、どのようなＴＰＯで、どのような活動と、それに対する反応を起こし易いか、というユーザの活動傾向）を記録するものである。なお、特に図示はしないが、このユーザ活動解析モジュール３２４は、活動履歴記録サブモジュールと嗜好解析記録サブモジュールとから構成される。こうしてユーザの嗜好が解析でき、さらに記録されると、ユーザが過去に行った経験や活動履歴に基づいて、よりユーザの視点に立ったサービスや活動支援を提供することができる。即ち、これまでどのような活動の際にどのようなユーザの反応があったかを、活動とユーザ反応とＴＰＯとを組にして『活動履歴』として活動履歴記録サブモジュールに格納する。

例えば、嗜好を解析する方法としては、以下のような方法がある。即ち、上記の活動履歴によって、活動履歴の実体である活動自体がどのようなＴＰＯで起こり得るかの確率を定義することができる。また、ある活動履歴Ａと別の活動履歴Ｂとの関連性をグラフ化する。即ち、活動履歴Ａと活動履歴Ｂをグラフのノードとし、そのノード情報としては、上記の活動履歴ＡあるいはＢが起こり得る確率を定義しておくわけである。一方、それら活動履歴ＡとＢの間の因果関係あるいは共起関係をグラフのエッジとすることで、活動履歴間の関係グラフを得ることができる。こうして、活動履歴のグラフが生成されると、嗜好解析サブモジュールでは、その活動履歴のグラフを解析することにより、ある時刻、ある場所、ある機会でどのような活動を取り得るかの傾向を得ることができるわけである。即ち、ユーザに対する嗜好を獲得することができるようになるわけである。このような活動履歴のグラフを格納し、そのグラフに対して、解析を行うことで嗜好解析を行うのが、嗜好解析記録サブモジュールとなる。

同様な履歴記録と嗜好解析は、目標レベルに対しても行うことが可能である。目標レベルでの目標履歴記録を行うのが、目標検出評価モジュール３１内に設けられたユーザ目標解析記録モジュール３１４であり、それは目標履歴記録サブモジュール及び目標レベルの嗜好解析記録サブモジュール（何れも図示せず）から構成される。

以下、このような構成を採用した場合の例を説明する。

（例１：レストランナビゲーション）
目標検出モジュール３１１がユーザの欲求として、食事がしたいことを検出する。

ユーザ活動解析モジュール３２４内には活動履歴記録サブモジュールがあり、過去にユーザが行った活動の履歴を、活動履歴の形で蓄積する。また、ユーザの活動履歴あるいは活動履歴群の関係を解析して、ユーザの嗜好として蓄積する嗜好解析記録モジュールがあり、このモジュールは、より長期にわたるユーザの活動を、ユーザのＴＰＯに合わせて解析し、データベース化する。

活動計画評価モジュール３２は、活動計画とユーザによる反応結果を常にモニタリングしている。そして、その活動に関するＴＰＯとしては、例えば外部センサからユーザの現在位置の情報と時刻センサから現在時刻などの情報を入手する。このユーザの現在位置と活動履歴記録サブモジュールと嗜好記録解析サブモジュールと地図データベース（この地図データベースは、ユーザ活動解析モジュール３２４内にあっても良いし、外部にあっても良い）を利用しながら、ユーザが所望するレストラン候補を選択する。例えば、具体例として、活動計画モジュール３２１は、まず活動履歴記録サブモジュール内に既に格納してある活動履歴群に対して、
１）同様の時刻で同様のユーザ状態のときに、どのような食事をしたかの活動履歴群、及び、
２）ここ数日間に取った活動履歴の中の食事の種類に関する活動履歴群
を検索し、それら１）と２）の活動履歴に関する因果関係あるいは共起関係に関する情報を嗜好解析記録サブモジュールから検索することにより、ユーザの嗜好を含めた活動計画（ユーザ嗜好に合致したレストランのカテゴリである日本食レストラン、イタリアンレストラン、アメリカンレストラン、中華レストランなど）を立てることになる。さらに、現在のユーザのＴＰＯに合わせて、具体的なレストラン候補を、外部センサから通信（無線通信やインターネット通信）により問い合わせるわけである。こうして、ユーザの嗜好に合い、且つユーザの現在地の近くにあるレストラン候補に優先順位をつけてリストアップするわけである。また、これらの問い合わせの結果得られたレストラン候補の中から、店の雰囲気あるいは食事のメニューなどをさらに勘案することで、よりユーザの嗜好に合致したレストランの絞り込みを行うこともできる。また際、そのレストランの空席情報なども呈示することもできる。

こうした候補は、ユーザ情報呈示装置２０に表示される。ユーザがこの中の候補から１つのレストランを選択した場合には、そのレストランまでの経路計画（活動計画）を作成する。また、そのレストランに予約を入れる。

このとき、レストランに送信される情報は、例えば個人名、電話番号、予約人数、禁煙／喫煙の有無など、予約に関わる最小限度の情報であり、その他の情報をレストラン側が必要となる際には（例えば、子供の人数、ハンディキャップ椅子の必要性）、その予約のリクエストに応じて、情報セキュリティが管理できるレベルの守秘されたその他の個人情報が、本ユーザ活動支援エージェント３０から送信される。即ち、個人情報が出来る限り流出されないような、プライバシーとセキュリティの制御が可能となるわけである。

そして、この計画が実行されているかどうかを、ユーザ反応評価モジュール３２３が逐次、モニタリングする（この部分は、先程の実施形態と同様）。ユーザ情報呈示装置２０内では、この逐次モニタリングされた情報が呈示される。なお、その情報は、原画像に重畳表示しても良い。

（例２：個人データ格納と個人認証）
これまでの説明でもわかるように、ユーザ支援装置は、ユーザ固有の情報やユーザ固有の活動履歴やユーザ固有の嗜好に関する情報を記録することで、ユーザの活動支援を行う装置である。従って、こうしたユーザ固有の情報、例えばユーザのＩＤ番号、ユーザ名、ユーザ住所、ユーザ電話番号、あるいは前の例で説明したユーザ活動履歴、ユーザ嗜好情報などを、ユーザ支援装置から取り外し可能なメモリや記憶装置に格納するようにする。こうすることで、ユーザ固有の情報、ユーザ固有の活動履歴あるいはユーザ固有の嗜好に関する情報は、取り外し可能な記憶装置に格納することができるので、複数のユーザがユーザ支援装置を利用する際には、この取り外し可能な記憶装置を取り替えるだけで、利用可能になる。ユーザ支援装置のハードウェアの共有化が容易になると共に、装置のバージョンアップも容易になる。

またユーザ支援装置において、ユーザが利用する際に、あらかじめ定められたユーザに対する個人照合を行い、ユーザの個人照合の結果が合致した場合のみ、ユーザが該支援装置を利用できるようにすることも可能である。このような個人認証を行うことにより、ユーザ支援装置は固有のユーザに関連する情報、活動履歴、あるいは嗜好情報を含む場合があるので、このような個人照合を利用することにより、ユーザ情報のセキュリティを守ることが可能となり、且つ他人への情報の漏洩を防ぐことが可能となる。

さらに、上記のユーザの個人照合は、該ユーザ支援装置に装着されたセンサ群１０の少なくとも１つを利用することで実現することも可能である。個人認証のためだけのセンサを付加する必要がなくなり、センサ群１０の有効利用や部品数の減少を実現することができる。そのようなセンサとしては、図５に示すようなカメラセンサによる顔認証、マイクロフォンセンサによる音声認証、バイタルサインセンサによるバイタルサイン認証など、各種のバイオメトリクスを利用するも可能である。例えば、音声認証の場合には、パスワードをユーザに発声してもらうことによる認証でも良い。

（例３：刺激的な情報呈示）
ユーザが一般の情報収集（例えばトリビア情報）を目標とするときは、目標検出評価モジュール３１が、ユーザのそうした目標を検出した後、外部環境に装着されたセンサ群１０あるいは地域ローカルにあるサーバ群と通信することにより、ユーザが興味ありそうな情報を入手することができる。

また、こうしたユーザにとって興味ありそうな情報を入手するためには、ユーザの内省情報（例えば、そのときの気分あるいは雰囲気あるいは興奮度など）を入手することも重要である。このような場合には、センサ群１０として、ユーザの興奮状態を計測するバイタルサインセンサ（例えば、心拍センサや発汗センサ）あるいは携帯型の脳波センサなどを利用すれば良い。例えば、ユーザの覚醒度に応じて、刺激となるトリビア情報をユーザに呈示して、ユーザの覚醒を促したり、あるいはユーザが疲労感を感じているときには、ＴＰＯに合わせた音楽や映像を呈示してユーザに安らぎを与えたりすることも可能である。

（例４：思い出記録の例）
ユーザの欲求が思い出記録を付加した場合には、ユーザ活動解析モジュール３２４内の嗜好解析記録サブモジュールの判断に基づいて、例えばカメラモジュールが撮影する画像の中から、ユーザにとってその日のイベント記録となる画像や映像あるいは音声などを、活動履歴記録サブモジュールに格納する。この際、先の例にあるように、ユーザの内省情報を検出するセンサ群１０を利用して、活動記録のインデクシング（ラベル付け）を行うことも可能である。例えば、ユーザに装着されたバイタルサインセンサとして心拍センサや発汗センサを利用することにより、ある映像に関連するユーザの興奮度あるいは興味度を計測すると共に、それらの情報により、画像や映像の一部をそのときのイベントとして記録するわけである。また、そうして記録される画像や映像を解析することにより、画像内から検知される対象物（例えば、人物，建物，サインの文字や色合い）の特性情報を、キーワードとして付与することも可能である。こうして付与されたキーワードも画像や映像などと共に記録することにより、活動履歴記録サブモジュール内に記録することも可能となる。また、こうして記録された画像や映像などは、ユーザの指示により、キーワードなどにより検索することも可能となるわけである。

また、こうして記録された情報は、ユーザの個人の情報となるため、上記第２実施形態で説明したように、情報開示度を付与することにより、特定のユーザにのみ、情報開示することもできるようになる。

［第４実施形態］
本第４実施形態においては、ユーザ反応評価モジュール３２３は、活動計画モジュール３２１で計画された各活動をモニタリングするのに必要なセンサ出力を選択し、そのセンサ出力で検証できる小活動（あるいは行動あるいは小目標）を規定し、その小活動の実行を検証することを特徴とする。

特に図示はしないが、具体的には、課題設定サブモジュールと課題実行検証サブモジュールとを備え、課題設定サブモジュールが、センサで活動がモニタできるように、センサの選択及び選択されたセンサによりモニタリングすべき課題を設定することを行い、課題実行検証サブモジュールでは、そうして選択されたセンサで実際に課題が実行されているかをモニタ（検証）することを行う。

例えば、エレベータのボタンを押す小目標をユーザの行動として規定するときには、ボタンを押すことを検証するために、センサ群１０からステレオカメラをセンサとして選択し、２個の課題である１）そのステレオカメラで実際にユーザの手指がエレベータのボタンを押すことと、２）そのボタンを押されたことをステレオカメラで、ボタンにあるサインが変化したことで検証する課題を設定する。そして、課題２）、あるいは課題１）＋課題２）が達成されるかを、ステレオカメラを利用して検証するように課題設定するわけである。このように課題設定サブモジュールが課題を設定すると、課題実行検証サブモジュールが、実際にステレオカメラを利用してそれらをモニタすることになる。その様子は図６及び図７に示されている。

［第５実施形態］
本第５実施形態は、複数の目標が同時あるいは非同期に定義される場合である。この場合には、目標に対する進捗度がユーザ反応評価モジュール３２３で同期あるいは非同期にモニタリング（評価）される。

図１５及び図１６はそれぞれ、この様子を表したものである。

即ち、図１５においては、ユーザが複数の目標を指定したときに、それらの目標を各ユーザ活動支援エージェント３０−１，３０−２，…，３０−ｎがその活動状況をモニタしながら、ユーザの活動支援を行うものである。

この場合、ユーザ活動支援エージェント３０−１，３０−２，…，３０−ｎのそれぞれが上記第２実施形態のように入力情報セキュリティ制御モジュール３３及び出力情報セキュリティ制御モジュール３４を備えていても良いが、入力側、出力側を一つにまとめて、入力セキュリティ制御モジュール４１及び出力セキュリティ制御モジュール４２として独立させても構わない。

一方、図１６においては、複数の目標を制御するエージェント制御モジュール５０が更に加わることになる。例えば、上記第２実施形態で説明したレストランガイドを一つのエージェントとして活動支援すると同時に、上記第３実施形態で説明した思い出記録のエージェントも同時に実行する場合には、レストランガイドのエージェントの作業が高い優先度として制御され、画像や映像を記録するエージェントはレストランガイドエージェントの処理の合間に、例えばウェアラブルコンピュータ内で処理されるような制御系となっている。

このように優先度を付与しない場合には、エージェント制御モジュール５０は、エージェントが実行する作業をある一定のタイミングサイクルで実行するように、各ユーザ活動支援エージェント３０−１，３０−２，…，３０−ｎに命令することも可能である。

以上のような方式を採用することにより、ユーザの複数の目標に対しても対応できるようなユーザ活動支援が可能となり、より複雑な状況にも対応可能なエージェントシステムとなる。

［第６実施形態］
次に、上記第１乃至第５実施形態に係わるユーザ情報呈示装置２０における具体的な情報の呈示例を、本発明の第６実施形態として説明する。

例えば、図４（Ａ），（Ｂ）に示されるメガネ型センサ群に内包されたユーザ情報呈示装置２０としての小型ディスプレイ２２は、図１７（Ａ）に示すような画面８１１の構成とすることができる。ここでこの画面８１１には、＠マーク８１２、Ｎマーク８１３、上下左右のセグメント８１４Ａ〜８１４Ｄ、そのセグメント８１４Ａ〜８１４Ｄに囲まれた内容表示部８１５が表示される。上下左右のセグメント８１４Ａ〜８１４Ｄは、それぞれユーザの前後左右を示し、内容表示部８１５に表示する情報の元となった物体や状態が、ユーザに対して何れの方向に存在するかを示すために点灯表示されるものである。この場合、上記セグメント８１４Ａ〜８１４Ｄの点灯表示色を代えることで、例えば、赤表示８１６とすることで、ユーザに注意喚起を促す情報であり、緑表示は友好的な情報を示すというように、内容表示部８１５に呈示する情報の種類を表すことができる。

また、上記内容表示部８１５に情報を呈示すると同時に、上記メガネ型センサ群に内包されたユーザ情報呈示装置２０としてのスピーカ２１に、例えば「右から車が来ます」というような、その表示された情報内容についての音声情報を出力させることで、情報呈示することも可能である。なおこの車の接近は、センサ群１０から取得した情報から抽出されたものであり、例えばレストランまでのナビゲーションのときに、タクシーに乗るような場合には、このような場合には、図１７（Ｂ）のように示すことで、ユーザに注意を喚起することが可能である。

また、メガネ型センサ群に内包されたセンサとして視線検出センサがある場合には、上記＠マーク８１２及びＮマーク８１３は、インタフェースとしてのサインであり、例えばユーザが視線をそこに３秒固定すると、それを視線検出センサにより検知し、＠マーク８１２であれば「イエス」、Ｎマーク８１３であれば「ノー」を選択できるようになっている。即ち、図１７（Ｂ）は、緑表示８１７で示された方向（右方向）から空車のタクシーが接近してきた場合の情報呈示の例であり、ユーザがその情報呈示に応じて＠マーク８１２を３秒以上注視したことにより、その＠マーク８１２が緑色で点灯表示されている。つまり、この呈示した情報に対し、ユーザは「イエス」の意思表示を行ったものであり、ユーザ反応評価モジュール３２３は、ユーザに呈示した情報がユーザにとって有益な情報であったのか、そうでないのかを識別することができ、その結果を、ユーザ活動解析モジュール３２４内に蓄積することで、ユーザに不要な情報が呈示される可能性を少なくすることができるようになる。

図１７（Ｃ）及び（Ｄ）は、ユーザの目標がユーザ周辺の危険物や危険障害物などを検知することで、ユーザに安全歩行を支援する場合の例を表したものである。センサ群１０で取得した情報から、未知の人物やバイクがユーザの背後を所定時間または所定距離でついてくる場合の情報呈示例である。これに対して、ユーザ活動解析モジュール３２４内の活動履歴記録サブモジュール内に、その人物と出会ったことの活動履歴が残っていれば、図１７（Ｅ）や（Ｆ）のように情報呈示される。もちろん、その蓄積された活動記録から、ユーザに不快感を与えるような人物として記録されているのであれば、セグメントを赤表示とする。

また移動している物体だけでなく、図１８（Ａ）に示すように、センサ群１０からの信号により、活動計画評価モジュール３２が取得した情報から、ユーザに注意を喚起する情報を呈示することも可能である。

ユーザの目標が、カレー店で人物（花子さん）と会うためのカレー店までのナビゲーションであれば、図１８（Ｂ）及び（Ｃ）のような情報呈示の場合があり得る。またこの場合、例えばカレー店の設置されたセンサ群１０からの情報により、そのカレー店にいる人物から、花子さんをあらかじめ探し出し、その情報を情報セキュリティ制御を行いながら、情報呈示することも可能となる。

また、既存の人物に関しては、図１７（Ｅ）及び（Ｆ）の何れかの情報呈示とするのではなく、図１８（Ｅ）に示すように、呈示する情報内容を時系列に変更することで、より効果的に情報を呈示できる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、上記実施形態は、人間がユーザであるとしたが、ユーザは、人間だけでなく、知能化されたロボットでも良いし、自動車、電車等の乗り物のような移動物体であってもよい。

（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。

（１） ユーザの活動状態あるいは環境の状況を検知するセンサ群と、
上記ユーザに情報を提示するユーザ情報呈示装置と、
上記センサ群で検知したユーザの活動状態あるは環境状況に基づいて、上記ユーザ情報提示装置において呈示する情報を生成することで、上記ユーザの活動を支援するユーザ活動支援エージェントと、
を具備し、
上記ユーザ活動支援エージェントは、
上記センサ群で検知したユーザの活動状態あるいは環境状況に基づいて、上記ユーザの要求あるいは欲求あるいは指示を目標の形で検出すると共に、それがユーザ所望の目標であるかをユーザに上記ユーザ情報呈示装置を介して呈示し、それに対するユーザの反応を評価する目標検出評価モジュールと、
上記目標検出評価モジュールが検出した目標をユーザの活動群によって実現できるように計画し、その活動群を示唆する情報を上記ユーザ情報呈示装置を介してユーザに呈示して、それに対するユーザの反応を、上記センサ群により計測されるユーザの活動状態あるいは環境状況からモニタリングあるいは評価する活動計画評価モジュールと、
から構成されることを特徴とするユーザ支援装置。

（対応する実施形態）
この（１）に記載のユーザ支援装置に関する実施形態は、第１乃至第６実施形態が対応する。

（作用効果）
この（１）に記載のユーザ支援装置によれば、ユーザの状態あるいはユーザを取り巻く環境の状況をセンサ群を用いてユーザの状態をより正確に細かく判断することで、ユーザの欲求やユーザの欲求の時間変化にも対応しながら、ユーザの活動支援を行うことができる。

（２） 上記目標検出評価モジュールは、
上記センサ群で検知したユーザの活動状態あるいは環境状況に基づいて、上記ユーザの要求あるいは欲求あるいは指示を目標の形で検出する目標検出モジュールと、
上記目標検出モジュールによって検出された目標を上記ユーザ情報呈示装置に呈示させる目標呈示モジュールと、
上記目標呈示モジュールの情報によって目標の検出達成度を評価する第１のユーザ反応評価モジュールと、
から構成され、上記第１のユーザ反応評価モジュールの評価結果を上記目標検出モジュールにフィードバックすることを特徴とする（１）に記載のユーザ支援装置。

（対応する実施形態）
この（２）に記載のユーザ支援装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（２）に記載のユーザ支援装置によれば、目標の妥当性を評価し、その評価結果に応じて目標を再設定できる。

（３） 上記活動計画評価モジュールは、
上記目標検出モジュールによって検出された目標を達成するためのユーザの活動を計画する活動計画モジュールと、
上記活動計画モジュールで計画された活動計画に従って、その活動を示唆する情報を、上記ユーザ情報呈示装置に呈示させる活動計画情報呈示モジュールと、
上記活動計画情報呈示モジュールの情報によって引き起こされたユーザの反応を活動状態あるいは環境状況からモニタリングし、評価する第２のユーザ反応評価モジュールと、
から構成され、上記第２のユーザ反応評価モジュールの評価を上記活動計画モジュールにフィードバックすることを特徴とする（２）に記載のユーザ支援装置。

（対応する実施形態）
この（３）に記載のユーザ支援装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（３）に記載のユーザ支援装置によれば、目標から生成された活動支援計画の妥当性を評価し、その評価結果に応じて活動支援計画を再生成できる。

（４） 上記目標検出評価モジュールは、上記目標検出モジュールが検出する目標と、上記第１のユーザ反応評価モジュールが評価したユーザの反応と、上記センサ群から得られる利用可能なセンサ信号群とを用いて、ユーザの目標に関する目標履歴を蓄積し、その目標履歴に基づいてユーザの嗜好をモデル化するユーザ目標解析記録モジュールを更に有し、
該ユーザ目標解析記録モジュールが解析したユーザの目標履歴あるいは嗜好情報を利用して、上記目標検出モジュールがユーザの目標の検出を行うことを特徴とする（２）に記載のユーザ支援装置。

（対応する実施形態）
この（４）に記載のユーザ支援装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（４）に記載のユーザ支援装置によれば、ユーザに関する嗜好解析に基づき、より個人に関連した目標を検出することができる。

（５） 上記活動計画評価モジュールは、上記活動計画モジュールが計画する活動と、上記第２のユーザ反応評価モジュールが評価したユーザの反応と、上記センサ群から得られる利用可能なセンサ信号群とを用いて、ユーザの活動に関する活動履歴を蓄積し、その活動履歴に基づいてユーザの嗜好をモデル化するユーザ活動解析記録モジュールを更に有し、
該ユーザ活動解析記録モジュールが解析したユーザの活動履歴あるいは嗜好情報を利用して、上記活動計画モジュールがユーザの活動計画を行うことを特徴とする（３）に記載のユーザ支援装置。

（対応する実施形態）
この（５）に記載のユーザ支援装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（５）に記載のユーザ支援装置によれば、ユーザに関する嗜好解析に基づき、より個人に関連した活動計画を行うことができる。

（６） 上記センサ群からの信号あるいは上記ユーザ情報呈示装置への情報に対して、情報開示度を制御するセキュリティ制御モジュールを更に具備することを特徴とす（１）乃至（５）の何れかに記載のユーザ支援装置。

（対応する実施形態）
この（６）に記載のユーザ支援装置に関する実施形態は、第２実施形態が対応する。

（作用効果）
この（６）に記載のユーザ支援装置によれば、情報開示に対してセキュリティを制御することができる。

（７） 上記ユーザ活動支援エージェントは、複数の目標を並列的に処理することを特徴とする（１）乃至（６）の何れかに記載のユーザ支援装置。

（対応する実施形態）
この（７）に記載のユーザ支援装置に関する実施形態は、第５実施形態が対応する。

（作用効果）
この（７）に記載のユーザ支援装置によれば、単一の目標だけでなく複数の目標に対する情報呈示や活動計画を行うことにより、よりユーザの適合にあった活動支援を行うことができ、また複数の目標に対するプロセスを同時に満たすことも可能となる。

（８） 上記ユーザ活動支援エージェントは、複数の目標を並列的に処理し、
上記複数の処理の優先度を制御する制御手段を更に具備することを特徴とする（７）に記載のユーザ支援装置。

（対応する実施形態）
この（８）に記載のユーザ支援装置に関する実施形態は、第５実施形態が対応する。

（作用効果）
この（８）に記載のユーザ支援装置によれば、単一の目標だけでなく複数の目標に対する情報呈示や活動計画を行うことにより、よりユーザの適合にあった活動支援を行うことができ、また複数の目標に対するプロセス間の優先度を付与することにより、重要な目標達成を優先させることもできる。

（９） 上記センサ群には、少なくともメガネ型フレームに装着されたセンサを有し、
上記目標検出評価モジュールあるいは活動計画評価モジュールは、上記センサ群がユーザの観察視点に対応したユーザあるいはユーザの周囲の環境をセンシングした情報を用いることを特徴とする（１）乃至（８）の何れかに記載のユーザ支援装置。

（対応する実施形態）
この（９）に記載のユーザ支援装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（９）に記載のユーザ支援装置によれば、ユーザの観察視点に対応したユーザの状態あるいはユーザの周囲の状況を観察することができるので、ユーザの関心やユーザと環境に対する状況を、より正確に観察することができる。

（１０） ユーザの胸部付近に上記センサ群の少なくとも一部を装着し、
上記目標検出評価モジュールあるいは活動計画評価モジュールは、上記センサ群が少なくともユーザの前方及びユーザ頭部の一部を観察することによりユーザの状態をセンシングした情報を用いることを特徴とする（１）乃至（８）の何れかに記載のユーザ支援装置。

（対応する実施形態）
この（１０）に記載のユーザ支援装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（１０）に記載のユーザ支援装置によれば、ユーザの周囲の環境、ユーザの頭部の位置姿勢あるいは表情などを同時に観察することができるので、より正確なユーザの観察が可能となる。

（１１） 上記センサ群は、少なくともユーザが五感によって感じることができる範囲の一部をサポートし、ユーザが感じている映像，音，匂い，気温，湿度，明るさ，紫外線量の少なくとも一つを取得することを特徴とする（１）乃至（１０）の何れかに記載のユーザ支援装置。

（対応する実施形態）
この（１１）に記載のユーザ支援装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（１１）に記載のユーザ支援装置によれば、ユーザが感じていることを正確に取得でき、ユーザの体験をセンシングすることができる。

（１２） 上記センサ群は、ユーザの姿勢あるいは位置に関わる加速度、角加速度、速度、重力方向の少なくとも一つを取得し、ユーザの状態あるいはユーザと環境の相対関係をセンシングすることを特徴とする（１）乃至（１０）の何れかに記載のユーザ支援装置。

（対応する実施形態）
この（１２）に記載のユーザ支援装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（１２）に記載のユーザ支援装置によれば、ユーザの運動を正確に捕捉することが可能となり、より正確な行動記録，行動予測等が可能となる。

（１３） 上記センサ群は、ユーザの視野が捉えられていない範囲の一部を映像として取得するセンサを含むことを特徴とする（１）乃至（１２）の何れかに記載のユーザ支援装置。

（対応する実施形態）
この（１３）に記載のユーザ支援装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（１３）に記載のユーザ支援装置によれば、ユーザが視野に捉えらていない、ユーザ自身の顔の一部、ユーザの腕や手指、ユーザの下方環境を撮影し、その映像を解析することにより、ユーザの顔の向き、ユーザの顔の表情の一部（撮影されている場合）、ユーザの手指及び腕によるジェスチャ、ユーザの歩行環境、ユーザの前方の障害物などの認識を行うことができる。

（１４） 上記センサ群は、環境にあらかじめ固定されたセンサあるいはビーコンを含むことを特徴とする（１）乃至（１３）の何れかに記載のユーザ支援装置。

（対応する実施形態）
この（１４）に記載のユーザ支援装置に関する実施形態は、第２実施形態が対応する。

（作用効果）
この（１４）に記載のユーザ支援装置によれば、現在の環境情報を広範囲に観察し得る環境埋め込み型センサにより、環境に関するより客観的で（更新された）正確な情報を入手することができる。

（１５） 上記活動計画評価モジュールでは、上記活動計画モジュールで計画した活動の到達度を上記第２のユーザ反応評価モジュールで計測するために、上記到達度を計測することが可能なセンサの出力を選択することを特徴とする（１）乃至（８）の何れかに記載のユーザ支援装置。

（対応する実施形態）
この（１５）に記載のユーザ支援装置に関する実施形態は、第４実施形態が対応する。

（作用効果）
この（１５）に記載のユーザ支援装置によれば、センサ群の内、必要なセンサのみを選択できる。

（１６） 取り外し可能な記憶装置を更に具備し、
ユーザ固有の情報、ユーザ固有の活動履歴あるいはユーザ固有の嗜好に関する情報は、該取り外し可能な記憶装置に格納することを特徴とする（１）に記載のユーザ支援装置。

（対応する実施形態）
この（１６）に記載のユーザ支援装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（１５）に記載のユーザ支援装置によれば、ユーザ固有の情報、ユーザ固有の活動履歴あるいはユーザ固有の嗜好に関する情報は、取り外し可能な記憶装置に格納することができるので、複数のユーザがユーザ支援装置を利用する際には、この取り外し可能な記憶装置を取り替えるだけで、利用可能になる。ユーザ支援装置のハードウェアの共有化が容易になると共に、装置のバージョンアップも容易になる。

（１７） ユーザが利用する際に、あらかじめ定められたユーザに対する個人照合を行い、ユーザの個人照合の結果が合致した場合のみ、ユーザが該ユーザ支援装置を利用できることを特徴とする（１）に記載のユーザ支援装置。

（対応する実施形態）
この（１７）に記載のユーザ支援装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（１７）に記載のユーザ支援装置によれば、ユーザ支援装置は固有のユーザに関連する情報、活動履歴、あるいは嗜好情報を含む場合があるので、このような個人照合を利用することにより、ユーザ情報のセキュリティを守ることが可能となり、かつ他人への情報の漏洩を防ぐことが可能となる。

（１８） 上記ユーザの個人照合は、上記センサ群のうち、該ユーザ支援装置に装着された少なくとも１つのセンサを利用することを特徴とする（１７）に記載のユーザ支援装置。

（対応する実施形態）
この（１８）に記載のユーザ支援装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（１８）に記載のユーザ支援装置によれば、個人認証のためだけのセンサを付加する必要がなくなり、センサ群の有効利用や部品数の減少を実現することができる。

本発明の第１実施形態に係るユーザ支援装置の構成を示す図である。 第１実施形態に係るユーザ支援装置のより詳細な構成を示す図である。 第１実施形態に係るユーザ支援装置におけるユーザ活動支援エージェントの動作フローチャートを示す図である。 （Ａ）及び（Ｂ）はそれぞれセンサ群の一例としてメガネ型のセンサ群を示す斜視図及び背面図である。 センサ群の別の例としてペンダント型センサ群装置を示す斜視図である。 図５のペンダント型センサ群装置の使用状況を示す図である。 図５の使用状況でペンダント型センサ群装置が備える超広角ステレオカメラが撮影した画像を示す図である。 図７の画像を処理して呈示される表示例を示す図である。 図５のペンダント型センサ群装置内の超広角ステレオカメラによって撮影されるユーザの腕や手指を表した図である。 （Ａ）はセンサ群の更に別の例としてカチューシャ型センサ群装置を示す図であり、（Ｂ）はカチューシャ型センサ群装置をユーザが頭部に装着した状態を示す図である。 本発明の第２実施形態に係るユーザ活動支援装置の構成を示す図である。 第２実施形態に係るユーザ支援装置のより詳細な構成を示す図である。 第２実施形態に係るユーザ活動支援装置の変形例の構成を示す図である。 本発明の第３実施形態に係るユーザ活動支援装置における活動計画モジュールの構成を示す図である。 本発明の第５実施形態に係るユーザ活動支援装置の構成を示す図である。 第５実施形態に係るユーザ活動支援装置の変形例の構成を示す図である。 本発明の第６実施形態に係る情報呈示装置における具体的な情報の呈示例を示す図である。 第６実施形態に係る情報呈示装置における具体的な情報の呈示例を示す図である。

符号の説明

１０…センサ群、 １１Ｒ，１１Ｌ…カメラモジュール、 １２…ペンダント型センサ群装置、 １３…超広角ステレオカメラ、 １４…カチューシャ型センサ群装置、 ２０…ユーザ情報呈示装置、 ２１…ステレオスピーカ、 ２２…小型ディスプレイ、 ２３…超小型プロジェクタ、 ３０，３０−１，３０−２，３０−ｎ…ユーザ活動支援エージェント、 ３１…目標検出評価モジュール、 ３２…活動計画評価モジュール、 ３３…入力情報セキュリティ制御モジュール、 ３４…出力情報セキュリティ制御モジュール、 ３５…外部通信モジュール、 ４１…入力セキュリティ制御モジュール、 ４２…出力セキュリティ制御モジュール、 ５０…エージェント制御モジュール、 ３１１…目標検出モジュール、 ３１２…目標呈示モジュール、 ３１３…ユーザ反応評価モジュール、 ３１４…ユーザ目標解析記録モジュール、 ３２１…活動計画モジュール、 ３２２…活動計画呈示モジュール、 ３２３…ユーザ反応評価モジュール、 ３２４…ユーザ活動解析モジュール、 ８１１…画面、 ８１２…＠マーク、 ８１３…Ｎマーク、 ８１４Ａ〜８１４Ｄ…セグメント、 ８１５…内容表示部、 ８１６…赤表示、 ８１７…緑表示。

Claims (18)

1. ユーザの活動状態あるいは環境の状況を検知するセンサ群と、
   上記ユーザに情報を提示するユーザ情報呈示装置と、
   上記センサ群で検知したユーザの活動状態あるは環境状況に基づいて、上記ユーザ情報提示装置において呈示する情報を生成することで、上記ユーザの活動を支援するユーザ活動支援エージェントと、
   を具備し、
   上記ユーザ活動支援エージェントは、
   上記センサ群で検知したユーザの活動状態あるいは環境状況に基づいて、上記ユーザの要求あるいは欲求あるいは指示を目標の形で検出すると共に、それがユーザ所望の目標であるかをユーザに上記ユーザ情報呈示装置を介して呈示し、それに対するユーザの反応を評価する目標検出評価モジュールと、
   上記目標検出評価モジュールが検出した目標をユーザの活動群によって実現できるように計画し、その活動群を示唆する情報を上記ユーザ情報呈示装置を介してユーザに呈示して、それに対するユーザの反応を、上記センサ群により計測されるユーザの活動状態あるいは環境状況からモニタリングあるいは評価する活動計画評価モジュールと、
   から構成されることを特徴とするユーザ支援装置。
2. 上記目標検出評価モジュールは、
   上記センサ群で検知したユーザの活動状態あるいは環境状況に基づいて、上記ユーザの要求あるいは欲求あるいは指示を目標の形で検出する目標検出モジュールと、
   上記目標検出モジュールによって検出された目標を上記ユーザ情報呈示装置に呈示させる目標呈示モジュールと、
   上記目標呈示モジュールの情報によって目標の検出達成度を評価する第１のユーザ反応評価モジュールと、
   から構成され、上記第１のユーザ反応評価モジュールの評価結果を上記目標検出モジュールにフィードバックすることを特徴とする請求項１に記載のユーザ支援装置。
3. 上記活動計画評価モジュールは、
   上記目標検出モジュールによって検出された目標を達成するためのユーザの活動を計画する活動計画モジュールと、
   上記活動計画モジュールで計画された活動計画に従って、その活動を示唆する情報を、上記ユーザ情報呈示装置に呈示させる活動計画情報呈示モジュールと、
   上記活動計画情報呈示モジュールの情報によって引き起こされたユーザの反応を活動状態あるいは環境状況からモニタリングし、評価する第２のユーザ反応評価モジュールと、
   から構成され、上記第２のユーザ反応評価モジュールの評価を上記活動計画モジュールにフィードバックすることを特徴とする請求項２に記載のユーザ支援装置。
4. 上記目標検出評価モジュールは、上記目標検出モジュールが検出する目標と、上記第１のユーザ反応評価モジュールが評価したユーザの反応と、上記センサ群から得られる利用可能なセンサ信号群とを用いて、ユーザの目標に関する目標履歴を蓄積し、その目標履歴に基づいてユーザの嗜好をモデル化するユーザ目標解析記録モジュールを更に有し、
   該ユーザ目標解析記録モジュールが解析したユーザの目標履歴あるいは嗜好情報を利用して、上記目標検出モジュールがユーザの目標の検出を行うことを特徴とする請求項２に記載のユーザ支援装置。
5. 上記活動計画評価モジュールは、上記活動計画モジュールが計画する活動と、上記第２のユーザ反応評価モジュールが評価したユーザの反応と、上記センサ群から得られる利用可能なセンサ信号群とを用いて、ユーザの活動に関する活動履歴を蓄積し、その活動履歴に基づいてユーザの嗜好をモデル化するユーザ活動解析記録モジュールを更に有し、
   該ユーザ活動解析記録モジュールが解析したユーザの活動履歴あるいは嗜好情報を利用して、上記活動計画モジュールがユーザの活動計画を行うことを特徴とする請求項３に記載のユーザ支援装置。
6. 上記センサ群からの信号あるいは上記ユーザ情報呈示装置への情報に対して、情報開示度を制御するセキュリティ制御モジュールを更に具備することを特徴とする請求項１乃至５の何れかに記載のユーザ支援装置。
7. 上記ユーザ活動支援エージェントは、複数の目標を並列的に処理することを特徴とする請求項１乃至６の何れかに記載のユーザ支援システム。
8. 上記ユーザ活動支援エージェントは、複数の目標を並列的に処理し、
   上記複数の処理の優先度を制御する制御手段を更に具備することを特徴とする請求項７に記載のユーザ活動支援装置。
9. 上記センサ群には、少なくともメガネ型フレームに装着されたセンサを有し、
   上記目標検出評価モジュールあるいは活動計画評価モジュールは、上記センサ群がユーザの観察視点に対応したユーザあるいはユーザの周囲の環境をセンシングした情報を用いることを特徴とする請求項１乃至８の何れかに記載のユーザ支援システム。
10. ユーザの胸部付近に上記センサ群の少なくとも一部を装着し、
    上記目標検出評価モジュールあるいは活動計画評価モジュールは、上記センサ群が少なくともユーザの前方及びユーザ頭部の一部を観察することによりユーザの状態をセンシングした情報を用いることを特徴とする請求項１乃至８の何れかに記載のユーザ支援装置。
11. 上記センサ群は、少なくともユーザが五感によって感じることができる範囲の一部をサポートし、ユーザが感じている映像，音，匂い，気温，湿度，明るさ，紫外線量の少なくとも一つを取得することを特徴とする請求項１乃至１０の何れかに記載のユーザ支援装置。
12. 上記センサ群は、ユーザの姿勢あるいは位置に関わる加速度、角加速度、速度、重力方向の少なくとも一つを取得し、ユーザの状態あるいはユーザと環境の相対関係をセンシングすることを特徴とする請求項１乃至１０の何れかに記載のユーザ支援装置。
13. 上記センサ群は、ユーザの視野が捉えられていない範囲の一部を映像として取得するセンサを含むことを特徴とする請求項１乃至１２の何れかに記載のユーザ支援装置。
14. 上記センサ群は、環境にあらかじめ固定されたセンサあるいはビーコンを含むことを特徴とする請求項１乃至１３の何れかに記載のユーザ支援装置。
15. 上記活動計画評価モジュールでは、上記活動計画モジュールで計画した活動の到達度を上記第２のユーザ反応評価モジュールで計測するために、上記到達度を計測することが可能なセンサの出力を選択することを特徴とする請求項１乃至８の何れかに記載のユーザ支援装置。
16. 取り外し可能な記憶装置を更に具備し、
    ユーザ固有の情報、ユーザ固有の活動履歴あるいはユーザ固有の嗜好に関する情報は、該取り外し可能な記憶装置に格納することを特徴とする請求項１に記載のユーザ支援装置。
17. ユーザが利用する際に、あらかじめ定められたユーザに対する個人照合を行い、ユーザの個人照合の結果が合致した場合のみ、ユーザが該ユーザ支援装置を利用できることを特徴とする請求項１に記載のユーザ支援装置。
18. 上記ユーザの個人照合は、上記センサ群のうち、該ユーザ支援装置に装着された少なくとも１つのセンサを利用することを特徴とする請求項１７に記載のユーザ支援装置。

Images