JP2014003593A - 表情及び声の感情の認識及びフィードバック - Google Patents

Abstract

【課題】 感情を識別して、そうしなければ他者が表出している感情の識別に困難を有することがあるユーザに通知する情報処理システムのための手法を提供すること。
【解決手段】 音声及び映像出力のような実時間入力セットが１つ又は複数のレシーバにおいて受信される。入力は、情報処理システムのユーザと相互作用している対象人物から受信され、情報処理システムは、ユーザが持ち運ぶ携帯型システムである。受信された実時間入力セットは、対象人物が表出している感情を識別するために、事前定義された感情特性セットと比較される。対象人物が示している識別された感情に関するフィードバックが、システムのユーザに提供される。
【選択図】 図３

Description

本開示は、表情及び声の手掛かり（キュー）を通じて対象者の感情を認識する手法に関する。より具体的には、本開示は、携帯型認識システムのユーザに対してそのような感情識別情報を提供する手法に関する。

非視覚性学習障害（ＮＬＤ:Non-visual Learning Disorder）、右半球脳損傷、アスペルガー症候群の幾つかの局面、高機能自閉症、及びその他の神経系疾患を有する人々は、いわゆる「心の理論（Ｔｈｅｏｒｙ ｏｆ Ｍｉｎｄ）」を達成することにしばしば困難を経験する。心の理論とは、本質的には、ある個人が、自分がコミュニケーションを取っている相手である他者の立場に自身を置く能力である。心の理論を達成できない人々は、視力検査のスコアが非常に低いことが多く、また、他者と社会的に交わることに困難を有する。個人間の全てのコミュニケーションの約三分の二が、身体言語、顔の表情、及びパラ言語的な手掛かりのような非言語的コミュニケーションであることが研究によって示されている。心の理論を達成することができない人はこれらの非言語的コミュニケーション形態を誤解するか又は認識せずに見過ごしてしまうことが多い。これらの人々は、例えば物事が行き過ぎたときなどの環境内の繊細な手掛かり、「行間を読む」能力、及びパーソナル「スペース」の概念をしばしば完全に見落としてしまう。そのことにより、これらの人々が教室、団体競技、クラブといった社会的状況をうまく乗り切り、そこに完全に参加することはますます困難になる。実際、これらの人々はしばしば非常に知的である一方で、外よりも「内に向いた」目を持っていると表現されることが多い。これらの人々の多くは、自分には友人が（たとえいるにしても）ほとんどいないと感じており、「問題がある」と評されることが多い。彼らは知的であることが多いので、教室及び職場環境において往々にして「アンダーアチーバー（期待されるほどの成績をあげられない人）」と評されることもある。その結果として、これらの人々は、彼らの生活のほとんどの領域に行き渡る社会的判断及び社会的相互作用において著しく不利な立場に置かれていることが多い。彼らは優れた問題解決力を有していることもあるが、自分が行う又は発言する物事の社会的影響を認識しないがために判断を誤ることが多い。彼らは攻撃的な個人に対処することを苦手とし、しばしば自尊心が低く、抑うつや不安の問題を起こしやすい。大部分の既知の神経障害と同様に、ＮＬＤ、アスペルガー症候群などの根本的な神経学的原因は、手術することが不可能である。薬物療法は助けにはなるが、これらの薬物療法のほとんどは、根本的問題に対処するのではなく、不安などの症状を治療するか又はドーパミンなどの脳内ホルモンを増やすものである。これらの人々にとって有益であって薬物に頼らない改善及び療法のほとんどは、時間と労力を要するものである。そのうえ、これらの療法が有効であるためには、その個人の支援システムの全ての関係者による高レベルの関与及び訓練が必要とされることが多い。家庭では両親が適正な環境を提供することができるかもしれないが、コーチ、指導者、教師、及び雇用者といった他人は、処方された療法が有効となるために必要とされる個人の特別な要求に進んで対応したくない場合もあり又はその要求に対応することが可能ではない場合もある。

本発明の目的は、感情を識別して、他者が表出している感情の識別に困難を有することがあるユーザに通知する情報処理システムのための手法を提供することである。

感情を識別して、そうしなければ他者が表出している感情の識別に困難を有することがあるユーザに通知する情報処理システムのための手法が提供される。音声及び映像出力のような実時間入力セットが、１つ又は複数のレシーバにおいて受信される。入力は、情報処理システムのユーザと相互作用している対象人物から受信され、情報処理システムは、ユーザが持ち運ぶ携帯型システムである。受信された実時間入力セットは、対象人物が表出している感情を識別するために、事前定義された感情特性セットと比較される。対象人物が示している識別された感情に関するフィードバックが、システムのユーザに提供される。１つの実施形態において、対象人物が表出している感情の強度もまた、システムからのフィードバックとしてユーザに伝達される。温度に基づくフィードバック、振動フィードバック、音声フィードバック、並びに色彩及び色の輝度などの視覚フィードバックといった、種々の形態のフィードバックを用いることができる。

上で述べたことは要旨であるので、詳細の簡略化、一般化、及び省略を必然的に含む。従って、この要旨は単なる例示であり、いかなる形でも限定的であることを意図するものではないことを当業者は理解するであろう。特許請求の範囲のみにより定められる本発明のその他の態様、発明の特徴、及び利点は、以下で示される非限定的な詳細な説明において明らかになる。

添付の図面を参照することにより、本発明をより良く理解することができ、その多数の目的、特徴、及び利点が当業者には明らかとなる。

本明細書において説明される方法を実装することが可能なデータ処理システムのブロック図である。 本明細書において説明される方法をネットワーク環境において動作する多様な情報処理システム上で実施することができることを例証するための、図１において示された情報処理システム環境の拡張を示す。 外部の感情信号の受信及び処理における移動式感情識別システムのコンポーネント間の対話を示すコンポーネント図である。 環境内の人々が表出している感情特性に関してその環境を監視する際に移動式感情識別システムにより実行されるステップを示すフローチャートである。 移動式感情識別システムのユーザにフィードバックを提供するプロセスにより実行されるステップを示すフローチャートである。 移動式感情識別システムにより収集されたデータの事後分析中に実行されるステップを示すフローチャートである。 移動式感情識別システムのユーザに関する傾向分析に焦点を合わせた事後分析中に実行されるステップを示すフローチャートである。

本発明の種々の実施形態の完全な理解を提供するために、以下の説明及び図面において特定の具体的な詳細が示される。しかしながら、コンピューティング及びソフトウェア技術としばしば関連付けられる特定の周知の詳細は、本発明の種々の実施形態を不必要に不明瞭にすることを避けるために以下の開示では述べていない。さらに、関連分野の当業者であれば、以下で説明される詳細のうちの１つ又は複数がなくても、本発明のその他の実施形態を実施することができることを理解するであろう。最後に、種々の方法が以下の開示においてステップ及びシーケンスを参照して説明されているが、そのような説明は本発明の実施形態の明確な実施を提供するためのものであり、それらステップ及びステップのシーケンスは本発明の実施に要求されるものであると解釈すべきではない。その代わりに以下のことがらは本発明の一例の詳細な説明を提供することを意図したものであり、本発明それ自体を限定するものと解釈されるべきではない。むしろ、いかなる数のバリエーションでも、本説明に続く特許請求の範囲により定められる本発明の範囲内に入り得る。

以下の詳細な説明は、一般的には上で述べたような本発明の要旨に従い、必要に応じて本発明の種々の態様及び実施形態の定義をさらに説明及び拡張する。この目的で、この詳細な説明は、まず図１において、本発明に関連付けられるソフトウェア及び／又はハードウェア技術を実装するのに適したコンピューティング環境を示す。現代のコンピューティング技術は多数の別個のデバイスにわたって実施することができることを強調するために、図２において、基本的なコンピューティング環境の延長としてネットワーク環境が示される。

図１は、本明細書において説明されるコンピューティング動作を実行することができるコンピュータ・システムの簡略化された例である情報処理システム１００を示す。情報処理システム１００は、プロセッサ・インターフェース・バス１１２に結合した１つ又は複数のプロセッサ１１０を含む。プロセッサ・インターフェース・バス１１２は、メモリ・コントローラ・ハブ（ＭＣＨ）としても知られるノースブリッジ１１５にプロセッサを接続する。ノースブリッジ１１５は、システム・メモリ１２０に接続し、プロセッサ１１０がシステム・メモリにアクセスするための手段を与える。グラフィックス・コントローラ１２５もまたノースブリッジ１１５に接続している。１つの実施形態において、ＰＣＩ Ｅｘｐｒｅｓｓバス１１８が、ノースブリッジ１１５をグラフィックス・コントローラ１２５に接続する。グラフィックス・コントローラ１２５は、コンピュータ・モニタなどの表示デバイス１３０に接続する。

ノースブリッジ１１５とサウスブリッジ１３５とが、バス１１９を用いて互いに接続する。１つの実施形態において、このバスは、ノースブリッジ１１５とサウスブリッジ１３５との間で両方向に高速でデータを転送するＤｉｒｅｃｔ Ｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ（ＤＭＩ）バスである。別の実施形態においては、周辺装置相互接続（ＰＣＩ）バスがノースブリッジとサウスブリッジとを接続する。Ｉ／Ｏコントローラ・ハブ（ＩＣＨ）としても知られるサウスブリッジ１３５は、一般にノースブリッジが与える能力よりも低い速度で動作する能力を実装するチップである。サウスブリッジ１３５は、典型的には種々のコンポーネントを接続するために用いられるバスを提供する。これらのバスは、例えば、ＰＣＩ及びＰＣＩ Ｅｘｐｒｅｓｓバス、ＩＳＡバス、システム管理バス（ＳＭＢｕｓ又はＳＭＢ）、及び／又はＬｏｗ Ｐｉｎ Ｃｏｕｎｔ（ＬＰＣ）バスを含む。ＬＰＣバスは、ブートＲＯＭ１９６及び「レガシー」Ｉ／Ｏデバイス（「スーパーＩ／Ｏ」チップを用いる）といった低帯域幅のデバイスを接続することが多い。「レガシー」Ｉ／Ｏデバイス（１９８）は、例えば、シリアル及びパラレル・ポート、キーボード、マウス、及び／又はフロッピィ・ディスク・コントローラを含むことができる。ＬＰＣバスはまた、サウスブリッジ１３５をＴｒｕｓｔｅｄ Ｐｌａｔｆｏｒｍ Ｍｏｄｕｌｅ（ＴＰＭ）１９５にも接続する。サウスブリッジ１３５に含まれることが多いその他のコンポーネントには、ダイレクト・メモリ・アクセス（ＤＭＡ）コントローラ、プログラム可能割り込みコントローラ（ＰＩＣ）、及び、バス１８４を用いてサウスブリッジ１３５をハード・ディスク・ドライブのような不揮発性ストレージ・デバイス１８５と接続するストレージ・デバイス・コントローラが含まれる。

ＥｘｐｒｅｓｓＣａｒｄ１５５は、ホットプラグ可能なデバイスを情報処理システムに接続するスロットである。ＥｘｐｒｅｓｓＣａｒｄ１５５は、ユニバーサル・シリアル・バス（ＵＳＢ）とＰＣＩ Ｅｘｐｒｅｓバスの両方を用いてサウスブリッジ１３５に接続しているのでＰＣＩ ＥｘｐｒｅｓｓとＵＳＢの両方の接続をサポートする。サウスブリッジ１３５は、ＵＳＢに接続するデバイスにＵＳＢ接続を提供するＵＳＢコントローラ１４０を含む。これらのデバイスには、ウェブカメラ（カメラ）１５０、赤外線（ＩＲ）レシーバ１４８、キーボード及びトラックパッド１４４、並びに、ワイヤレス・パーソナル・エリア・ネットワーク（ＰＡＮ）を提供するＢｌｕｅｔｏｏｔｈデバイス１４６が含まれる。ＵＳＢコントローラ１４０は、マウス、取り外し可能不揮発性ストレージ・デバイス１４５、モデム、ネットワーク・カード、ＩＳＤＮコネクタ、ファックス、プリンタ、ＵＳＢハブ、及びその他多数のタイプのＵＳＢ接続デバイスなどの、それ以外の種々のＵＳＢ接続デバイス１４２にもＵＳＢ接続を提供する。取り外し可能不揮発性ストレージ・デバイス１４５はＵＳＢ接続デバイスとして示されているが、取り外し可能不揮発性ストレージ・デバイス１４５は、ファイアワイヤ・インターフェースなどの異なるインターフェースを用いて接続することができる。

無線ローカル・エリア・ネットワーク（ＬＡＮ）デバイス１７５は、ＰＣＩ又はＰＣＩ Ｅｘｐｒｅｓｓバス１７２を介してサウスブリッジ１３５に接続する。ＬＡＮデバイス１７５は、典型的には、情報処理システム１００と別のコンピュータ・システム又はデバイスとの間で全てが同じプロトコルを用いて無線通信を行う無線変調技術のＩＥＥＥ．８０２．１１規格のうちの１つを実装する。光ストレージ・デバイス１９０は、シリアルＡＴＡ（ＳＡＴＡ）バス１８８を用いてサウスブリッジ１３５に接続する。シリアルＡＴＡアダプタ及びデバイスは、高速シリアル・リンク上で通信する。シリアルＡＴＡバスは、サウスブリッジ１３５を、ハード・ディスク・ドライブなどの他の形態のストレージ・デバイスにも接続する。サウンド・カードなどの音声回路１６０は、バス１５８を介してサウスブリッジ１３５に接続する。音声回路１６０は、音声ライン入力及び光デジタル音声入力ポート１６２、光デジタル出力及びヘッドホン・ジャック１６４、内蔵スピーカ１６６、並びに内蔵マイクロフォン１６８などのような機能も提供する。イーサネット・コントローラ１７０は、ＰＣＩ又はＰＣＩ Ｅｘｐｒｅｓｓバスなどのバスを用いてサウスブリッジ１３５に接続する。イーサネット・コントローラ１７０は、情報処理システム１００をローカル・エリア・ネットワーク（ＬＡＮ）、インターネット、並びに他の公衆及び私設コンピュータ・ネットワークなどのコンピュータ・ネットワークに接続する。

図１は１つの情報処理システムを示しているが、情報処理システムは、多くの形態を取ることができる。例えば、情報処理システムは、デスクトップ、サーバ、携帯型、ラップトップ、ノートブック、又はその他のフォームファクタのコンピュータ又はデータ処理システムの形態を取ることができる。さらに、情報処理システムは、携帯情報端末（ＰＤＡ）、ゲーム機、ＡＴＭ機、携帯電話デバイス、通信デバイス、又はプロセッサ及びメモリを含むその他のデバイスのような、その他のフォームファクタを取ることができる。

セキュリティ機能を提供するための、図１に示され、かつ、本明細書で説明されるＴｒｕｓｔｅｄ Ｐｌａｔｆｏｒｍ Ｍｏｄｕｌｅ（ＴＰＭ１９５）は、ハードウェア・セキュリティ・モジュール（ＨＳＭ）の一例に過ぎない。ＴＰＭは、任意の数の情報処理システムに組み入れることができる、ハードウェア・セキュリティ・サブシステムである。

図２は、本明細書において説明される方法をネットワーク環境において動作する多様な情報処理システム上で実施することができることを例証するための、図１において示された情報処理システム環境の拡張を示す。情報処理システムのタイプは、手持ち型コンピュータ／携帯電話２１０のような小型の手持ち型デバイスから、メインフレーム・コンピュータ２７０のような大規模なメインフレーム・システムまでの範囲にわたる。手持ち型コンピュータ２１０の例には、携帯情報端末（ＰＤＡ）、ＭＰ３プレイヤーのような個人の娯楽装置、ポータブル・テレビ、及びコンパクト・ディスク・プレイヤーが含まれる。情報処理システムのその他の例には、ペン型又はタブレット型コンピュータ２２０、ラップトップ型又はノートブック型コンピュータ２３０、ワークステーション２４０、パーソナル・コンピュータ・システム２５０、及びサーバ２６０が含まれる。図２において個別に示されていないその他のタイプの情報処理システムは、情報処理システム２８０で代表される。図示されているように、種々の情報処理システムは、コンピュータ・ネットワーク２００を用いて互いにネットワーク接続することができる。種々の情報処理システムを相互接続するために用いることができるコンピュータ・ネットワークのタイプには、ローカル・エリア・ネットワーク（ＬＡＮ）、無線ローカル・エリア・ネットワーク（ＷＬＡＮ）、インターネット、公衆交換電話網（ＰＳＴＮ）、その他の無線ネットワーク、及び、情報処理システムを相互接続するために使用することができるその他の任意のネットワーク・トポロジーが含まれる。情報処理システムの多くは、ハード・ドライブ及び／又は不揮発性メモリのような不揮発性データ・ストアを含む。図２において示される情報処理システムのうちの幾つかは、分離した不揮発性データ・ストアを示している（サーバ２６０は不揮発性データ・ストア２６５を利用し、メインフレーム・コンピュータ２７０は不揮発性データ・ストア２７５を利用し、情報処理システム２８０は不揮発性データ・ストア２８５を利用している）。不揮発性データ・ストアは、種々の情報処理システムの外部のコンポーネントとすることもでき、又は情報処理システムの１つに内蔵することもできる。さらに、取り外し可能不揮発性ストレージ・デバイス１４５は、取り外し可能不揮発性ストレージ・デバイス１４５を情報処理システムのＵＳＢポート又はその他のコネクタに接続する技術などの種々の技術を用いて、２つ又はそれ以上の情報処理システム間で共用することができる。

図３−図７は、図１−図２において示される情報処理システム及びコンピュータ・ネットワーク上で実行することができる手法を示す。この手法において、移動式感情識別システムは、心の理論を達成することができない人、又は、他者が表出する感情の識別が困難な場合がある人などのようなユーザによって用いられる。非視覚性学習障害を有する人々、アスペルガー症候群のスペクトラム障害の幾つかの局面、及び社会的状況において困難を有するその他の人々は、周囲の人々の表情や声の中の感情を読み取る能力が限定されていることをしばしば示し、心の理論を達成することができない。さらに、これらの人々は、自分の言動が他者にどのような影響を与えるか、そしてそれらの言動が他者による自分の印象に及ぼす影響力を認識することができないことが多い。これらの人々を支援するために、対象人物（ユーザが相互作用している相手）の表情や声の中に観察される感情をユーザに対して示すフィードバック・ループ機構が提供される。フィードバック・ループは、社会的相互作用障害を有する人々の挙動にポジティブな影響を与えることができる実時間感覚情報を提供する。例示的な一実施形態において、ユーザは、マイクロフォンを備えた小型Ｂｌｕｅｔｏｏｔｈビデオカメラなどの入力レシーバを含む、移動式感情識別システムを持ち運ぶ。移動式感情識別システムは、スマートフォンのような携帯型情報処理システムとすることができる。フィードバック機構は、例えば、熱（温／冷）出力デバイス、振動デバイス（例えばユーザの腕に配置されるものなど）、ユーザの片耳又は両耳内に配置されて様々なピッチ及び強度の音を生成する小型イヤホンなどのスピーカ・デバイス、及び、ユーザが装用する眼鏡フレームなどの内側に隠された多色ＬＥＤなどの表示デバイスである。さらに、移動式感情識別システムは、ユーザが様々な対象者との間で経験する相互作用に関するデータを格納するためのストレージ・デバイスを含む。セラピスト又は医療提供者は、治療の際にこのデータを利用して、他者が示す感情をどうすればより良く理解することができるかをユーザに教えることを補助することができる。

図３は、外部の感情信号の受信及び処理における移動式感情識別システムのコンポーネント間の対話を示すコンポーネント図である。移動式感情識別システム３００は、ユーザが会話している相手又は相互作用の相手などの対象人物から実時間入力セットを受信するためのレシーバを含む。これらのレシーバは、対象人物が示す顔及び顔の表情などの画像３２０を取り込む、移動式感情識別システム内に含まれたカメラなどの視覚入力センサ３１０を含む。画像は、静止画像、ビデオ（動画）画像、又はそれらの組み合わせを含むことができる。さらに、画像３２０は、対象人物が他の非言語的手掛かりを伝達すために用いる姿勢及び態度など、顔の表情以外の手掛かりを含むことができる。

入力レシーバはまた、対象人物からの音声３４０を取り込んで記録する、移動式感情識別システム内に含まれたマイクロフォンなどの音声センサ３３０を含む。取り込まれる音声は、対象人物が話した言葉、並びに、対象人物がその言葉を伝達するために用いた声の抑揚を含む。

感情比較器３５０は、移動式感情識別システムに含まれるプロセッサによって実行されるプロセスであり、対象人物が表出している感情並びに表出された感情の強度レベルを識別するために、移動式感情識別システムで受信された実時間入力セットを１つ又は複数の事前定義された感情特性セットと比較するプロセスである。予め定められた感情特性が、感情比較プロセス３５０によって視覚感情特性データ・ストア３６０及び可聴感情特性データ・ストア３７０から取り出される。視覚感情特性データ・ストア３６０は、非言語性表情手掛かりのライブラリ及び身体言語手掛かりのライブラリを含む。対象人物が視覚的に表出している感情を識別するために、視覚手掛かりのライブラリを視覚入力センサ３１０によって取り込まれた視覚データと比較する。可聴感情特性データ・ストア３７０は、声の音調及び抑揚のライブラリを含む。対象人物が音声に投影している感情を対象者が示している声の音調及び抑揚を通じて識別するために、可聴手掛かりのライブラリを音声入力センサ３３０によって取り込まれた音声データと比較する。

対象人物が表出している感情が、感情比較プロセス３５０により識別される。識別された感情は次に、対象人物の感情及び強度に関するフィードバックをユーザに提供する感情識別フィードバック・プロセス３８０に提供される。フィードバック・プロセス３８０は、多数の異なるフィードバック技術を用いて、感情及び強度レベルをユーザにフィードバックして伝えることができる。プロセス３８０から得られたフィードバックは、ユーザ・フィードバック３９０としてユーザに提供される。後述するように、ユーザと対象人物との間により自然な相互作用をもたらすために、これらのフィードバック技術の幾つかは、目立たないように、対象人物に容易に察知されないように設計される。

１つのフィードバック技術は、ユーザによって感じられる温度に基づくフィードバックを提供する熱出力を用いることである。例えば、より冷たい温度を用いて、対象人物が幸福感、喜びなどのような正の感情を示していることをユーザに知らせるとともに、そのような正の感情の強さを冷たさの度数又は量で伝達することができる。同様に、より温かい温度を用いて、対象人物が怒り、恐れ、又は失望のような負の感情を示していることをユーザに知らせることができる。この場合も、そのような負の感情の強さを温かさの度数又は量で伝達することができる。所望により、温度を逆にして、より冷たい温度が負の感情を伝え、より暖かい温度が正の感情を伝達するようにすることができる。

別のフィードバック技術は、識別された感情に基づく異なる触知感覚をユーザに提供する、ユーザに接触する振動出力を用いる。例えば、軽い振動を用いて対象人物が正の感情を表出していることを示し、重い振動を用いて負の感情を示すことができる。強度は、振動の周波数を高めることに基づいて示すことができる。この手法では、強い正の感情は、より高速の軽い振動を用いて伝達される。同様にして、強い負の感情は、より高速の重い振動を用いて伝達される。所望により、振動技術を逆にして、軽い振動が負の感情を伝え、重い振動が正の感情を伝えるようにすることができる。

第３のフィードバック技術は、ユーザに向けられた可聴音を用いる。１つの実施形態において、可聴音すなわち信号は、対象人物にその音が聞こえることを防止するような手法で、例えばイヤホン又はユーザの耳のごく近くの小型スピーカを使用することにより、ユーザに対して鳴らされる。例えば、より高いピッチの音調を用いて対象人物が正の感情を表出していることを示し、より低いピッチの音調を用いて負の感情を示すことができる。強度は、音量又はピッチを示された感情の方向に高めることに基づいて示すことができる。この手法では、強い正の感情は、より高いピッチを用いるか又は高いピッチの音調を大きい音量で鳴らすことにより伝達される。同様に、強い負の感情は、より低いピッチを用いるか又は低いピッチの音調を大きい音量で鳴らすることにより伝達される。所望により、音響技術を逆にして、より高いピッチの音調が負の感情を伝え、より低いピッチの音調が正の感情を伝えるようにすることができる。

別のフィードバック技術は、ユーザに向けられた可視信号すなわちキューを用いる。１つの実施形態において、可視キューは、対象人物にそのキューが見られることを防止するような手法で、例えばユーザが装用する眼鏡の内側部分に埋め込まれた１つ又は複数のＬＥＤ照明上で可視信号を表示することにより、ユーザに対して表示される。ＬＥＤ照明が光ると、ユーザは自身の周辺視覚を使って内側フレーム上のＬＥＤ照明を見ることができるが、その一方、ユーザの相互作用の相手である対象人物を含む他者はその照明を見ることができない。例えば、緑色又は白色ＬＥＤを、対象人物が正の感情を表出していることを示すための正の可視キューとして用い、赤色又は青色ＬＥＤを、負の感情を示すための負の可視キューとして用いることができる。強度は、ＬＥＤの点滅頻度に基づいて示すことができる。この手法では、強い正の感情は、緑色又は白色ＬＥＤをより高速で点滅させることにより伝達される。同様に、強い負の感情は、赤色又は青色ＬＥＤをより高速で点滅させることにより伝達される。さらに、強度は、例えば対象者がより強い感情を表出していることを示すためにＬＥＤの輝度を高めるなど、その他の可視キューを用いて伝達することができる。そのうえ、色を用いて、異なる感情（例えば、笑い、軽蔑、困惑、罪悪感、安心感、羞恥など）に割り当てることができる。さらに、示された感情の強度は、表示されるＬＥＤの輝度を高めることにより示すことができる。所望により、可視キュー技術は、ユーザが正及び負の感情に関連付けた色に従って調整することができる。

図４は、環境内の人々が表出している感情特性に関してその環境を監視する際に移動式感情識別システムにより実行されるステップを示すフローチャートである。処理は４００において開始し、そのときステップ４０５において、ユーザが移動式感情識別システムをオンにする、ユーザの要求を受け取る、ユーザと対象人物との間の相互作用が検出されるなどのイベントが発生する。ステップ４１０において、移動式感情識別システムは、ユーザが現在位置している環境を監視する。監視は、移動式感情識別システム内に含まれたビデオカメラ、マイクロフォンなどのようなレシーバにより行われる。移動式感情識別システムのレシーバによって取り込まれた実時間入力（例えば、視覚入力、音声入力など）は、視覚画像データ・ストア４２０及び音声データ・ストア４２５などのデータ・ストア内に格納される。

ステップ４３０において、移動式感情識別システムのプロセッサは、受信中の実時間入力のソースを識別する。別の言い方をすれば、ステップ４３０において、移動式感情識別システムは、ユーザが相互作用している対象人物を識別する。ステップ４４０において、第１の感情に関する特性が、視覚感情特性データ・ストア３６０及び可聴感情特性データ・ストア３７０から選択される。例えば、分析される第１の感情が「怒り」であれば、視覚感情特性データ・ストア３６０から「怒り」を例示する表情及び身体言語特性が取り出される。同様に、可聴感情特性データ・ストア３７０から「怒り」を例示する声の音調の特性が取り出される。ステップ４５０において、対象人物から受信され取り込まれた受信実時間入力（視覚画像及び音声）が、選択された感情を例示する特性データ（視覚及び可聴）と比較される。対象人物から受信した実時間入力が選択された感情を例示する特性データ（視覚及び可聴）と整合するか否かの判断がなされる。入力が選択された感情に関する特性データと整合しない場合には、判断４６０は「いいえ」分岐に分岐し、ループバックして、データ・ストア３６０及び３７０から次の感情に由来する特性を選択する。このループは、対象人物から受信された実時間入力が選択された感情を例示する特性データ（視覚及び可聴）と整合するまで続く。

入力が選択された感情に関する特性データと整合すると、判断４６０は「はい」分岐に分岐して、ユーザにフィードバックを提供する。１つの実施形態において、実時間入力（視覚画像、音声など）は、システムが実時間入力を種々の感情と比較している間も引き続き受信されていることに留意されたい。こうすることで、対象人物が表出している感情の識別において有用であり得る追加データを取り込んで評価し続けることができる。さらに、対象人物が感情を変化させた場合（例えば、ユーザに会って嬉しく相互作用を開始したが、その後ユーザに何か言われたことに対して怒ってしまった、など）には、この感情の変化を識別することができ、ユーザにフィードバックを提供することができ、その結果、ユーザは、ユーザがより適切な方針を決定するか又は必要であれば謝罪することに役立つ、この例では対象人物がもはや嬉しく思っておらず、怒ってしまったという、フィードバックを受け取ることになる。

事前定義されたプロセス４７０が、対象人物によって表出されている識別された感情に関するフィードバックをユーザに提供する（処理の詳細については図６及び対応する文言を参照のこと）。ユーザが対象人物との相互作用（例えば会話など）を終えたか否かについての判断がなされる（判断４８０）。相互作用がまだ終了していない場合には、判断４８０は「いいえ」分岐に分岐し、ループバックして、環境の監視を続行し、実時間入力の取り込みを続行し、対象人物が表出している感情の識別を続行する。このループは移動式感情識別システムがユーザと対象人物との間の相互作用が終了したことを検出するまで続き、その時点で移動式感情識別システムは次のイベントが発生するまでステップ４９０で待機する。次のイベントが発生すると、処理はステップ４０５にループバックし、再びルーチンを開始する（例えば、別の対象人物に対して、など）。

図５は、移動式感情識別システムのユーザにフィードバックを提供するプロセスにより実行されるステップを示すフローチャートである。このルーチンは、図４に示される事前定義されたプロセス４７０において呼び出される。図５における処理は５００において開始し、ここでステップ５０５において、ユーザ構成設定がユーザ構成データ・ストア５１０から読み出される。１つの実施形態において、ユーザは、ユーザの嗜好に基づいて異なるタイプのフィードバックを提供するように移動式感情識別システムを構成することができる。さらに、１つの実施形態において、ユーザに対して、対象人物がどんな感情を表出しているかについての入力を促すようにすることができ、次いでユーザは、表出されている感情をユーザが正しく識別したか否かについてほぼ即時にフィードバックを受け取ることができる。ユーザに対して感情識別を入力するように促すかどうかもについても構成設定に含めることができる。

ユーザが、対象人物が表出している感情を識別するよう促されているか否かの判断がなされる（判断５１５）。ユーザが、表出されている感情を識別するように促されている場合、判断５１５は「はい」分岐に分岐して、そこでステップ５２０において、ユーザは対象人物が表出しているとユーザが思った感情を入力するよう促される。入力促進は、感覚フィードバックとすることができる（例えば、聴覚の「ビープ」音、赤色と緑色両方のＬＥＤのフラッシュ、など）。さらに、ステップ５２０において、ユーザは対象人物が表出しているとユーザが思った感情を示す応答を、例えば小型の手持ち式コントローラ又は入力デバイスを使用することによって与える。ステップ５２５において、ユーザが与えた応答は、移動式感情識別システムによって識別された感情と比較される。対象人物が表出している感情をユーザが正しく識別したか否かについての判断がなされる（判断５３０）。対象人物が表出している感情をユーザが正しく識別した場合、判断５３０は「はい」分岐に分岐し、そこでステップ５３５において、ユーザの応答が正しかったことを示すフィードバックがユーザに提供される（例えば、ユーザが応答を入力するために用いた手持ち式ユニットを一連のパルスで振動させること、など）。一方、対象人物が表出している感情をユーザが正しく識別しなかった場合、判断５３０は「いいえ」分岐に分岐して、更なる処理に進む。

対象人物の感情を識別する応答についてユーザが促されていない（判断５１５が「いいえ」分岐に分岐している）場合、又は、対象人物が示している感情に関するユーザの応答が正しくなかった（判断５３０が「いいえ」分岐に分岐している）場合、ステップ５４０において、識別された感情に基づくフィードバックがユーザに提供される。さらに、フィードバックは、識別された感情の強度に基づいて提供することもできる。図５は、識別することができる正及び負の感情の幾つかの例を提示するが、より多くの感情を識別してユーザに伝達することが可能である。対象人物が例えば笑いのような強い正の感情を示している場合、判断５４５は、強い正のフィードバックを提供するプロセス５５０に制御を分岐し、このフィードバックは、上記の図３に関連して先に説明したような使用されているフィードバック機構のタイプに基づく（例えば、非常に高速な軽い振動、非常に冷たい温度、急速に点滅する緑色又は白色ＬＥＤ、高いピッチの音調、など）。同様に、対象人物が例えば微笑のような中程度の正の感情を示している場合、判断５４５は、中程度の正のフィードバックを提供するプロセス５５５に制御を分岐し、このフィードバックもやはり上記の図３に関連して先に説明したような使用されているフィードバック機構のタイプに基づく（例えば、中程度に速い軽い振動、中程度に冷たい温度、中程度に点滅する緑色又は白色ＬＥＤ、中程度に高いピッチの音調、など）。

対象人物が、例えば怒り又は嫌悪のような強い負の感情を示している場合、判断５４５は、強い負のフィードバックを提供するプロセス５６０に制御を分岐させ、このフィードバックは、上記の図３に関連して先に説明したような使用されているフィードバック機構のタイプに基づく（例えば、非常に高速な重い振動、非常に暖かい温度、急速に点滅する赤色ＬＥＤ、低いピッチの音調、など）。同様に、対象人物が、例えばひんしゅくといった中程度の負の感情を示している場合、判断５４５は、中程度の負のフィードバックを提供するプロセス５６５に制御を分岐させ、このフィードバックもやはり上記の図３に関連して先に説明したような使用されているフィードバック機構のタイプに基づく（例えば、中程度に速い重い振動、中程度に高い温度、中程度に点滅する赤色ＬＥＤ、中程度に低いピッチの音調、など）。

移動式感情識別システムが将来の分析目的でこのイベント・データを保存するか否かについての判断がなされる（判断５８０）。イベント・データが保存される場合、判断５８０は「はい」分岐に分岐し、そこでステップ５８５において、対象人物が示している感情に対応するイベント・データ（例えば、画像、音声、など）が記録され、同時に（ステップ５２０において受け取った）ユーザ応答も記録される。イベント・データ及びユーザ応答データは、将来の分析のためにイベント・データ・ストア５９０に格納される。一方、イベント・データが保存されない場合、判断５８０は「いいえ」分岐に分岐し、ステップ５８５を迂回する。その後の処理は、５９５において呼出しルーチンに戻る。

図６は、移動式感情識別システムにより収集されたデータの事後分析中に実行されるステップを示すフローチャートである。処理は６００において開始し、そこで、分析を実行する人物（例えば、セラピスト、カウンセラー、親、など）が、移動式感情識別システムによって取り込まれたイベントを分析することを望んでいるのか又はイベントの履歴に対して傾向分析を行うことを望んでいるのかの判断（判断６１０）がなされる。ユーザの移動式感情識別システムにより取り込まれたイベントが分析される場合は、判断６１０は、イベント分析のために「はい」分岐に分岐する。

ステップ６２０において、第１の相互作用イベントが、ユーザの移動式感情識別システムに記録されたイベント・データ・ストア５９０から取り出される。イベント・データは、移動式感情識別システムにより取り込まれ、対象人物が示す感情を識別するために用いられる音声及び／又は映像データを含む。ステップ６２５において、以前に取り込まれたイベントがユーザに対して再生される（例えば、対象人物との遭遇中に取り込まれた音声／映像のリプレイ、など）。ステップ６３０において、ユーザは、対象人物がそのとき示していたと現時点でユーザが考える感情に関しての応答を与えるように促される。移動式感情識別システムの使用を通じて、ユーザは、他者が表出する感情をより上手く識別するようになることができる。ステップ６３５において、移動式感情識別システムにより識別された感情がユーザの応答と比較される。対象人物が表出していた感情をユーザの応答が正しく識別していたか否かについて判断がなされる（判断６４０）。ユーザが対象人物により表出されていた感情を正しく識別していた場合、判断６４０は「はい」分岐に分岐し、そこでステップ６５０において、正しい応答に関するフィードバックがユーザに提供される（例えば、ユーザはどのようにしてその感情を認識したのか？この感情の識別は難しかったか？など）。同様に、ユーザの応答が正しくなかった場合、判断６４０は「いいえ」分岐に分岐し、そこでステップ６６０においてもやはり、対象人物が表出しているとして識別された感情をどのように識別する（例えば、恐れと怒りなど）のかをユーザがより良く理解することを補助するために、フィードバックがユーザに提供される。

ステップ６７０において、識別された感情と表示されたイベントに対するユーザの応答とがユーザ応答データ・ストア６７５内に記録される。１つの実施形態において、記録された感情及び応答データは、そのユーザにとって識別することがより困難な感情の識別においてユーザを支援するための、及び、履歴傾向分析を行って、対象人物が表出している感情を識別するユーザの能力が向上しているかどうか確認するための、更なる分析及びセラピーの際に用いられる。

セラピストがユーザと共に検討することを望む更なるイベントがイベント・データ・ストア５９０内に存在するか否かについての判断がなされる（判断６８０）。処理すべき更なるイベントが存在する場合、判断６８０は「はい」分岐に分岐し、ループバックして、次のイベント・データのセットを上記のように選択し、処理する。このループは、分析すべきデータがもはやなくなるまで、又はセラピスト若しくはユーザがセッションを終了することを望むまで続行し、その時点で判断６８０は「いいえ」の分岐に分岐する。

判断６１０に戻ると、移動式感情識別システムにより取り込まれたイベント・データが分析されるのではない場合には、判断６１０は「いいえ」分岐に分岐し、ステップ６２０から６８０までを迂回する。事前定義プロセス６９０は、このユーザに関して収集されたユーザ・データ履歴を用いて傾向分析を行う（処理の詳細については図７及び対応する文言を参照のこと）。ユーザ・データの分析に関連した処理は、その後６９５において終了する。

図７は、移動式感情識別システムのユーザに関する傾向分析に焦点を合わせた事後分析中に実行されるステップを示すフローチャートである。処理は７００において開始し、ここでステップ７０５において、プロセスは、現在のイベント・データ（画像、音声、など）を履歴傾向分析データ・ストア７５０に追加する。こうすることで、ユーザが移動式感情識別システムを使い続けるにつれて履歴傾向分析データ・ストア７５０は増大し続ける。

ユーザ（例えば、患者、生徒、子供など）が、対象人物が表出しているとユーザが思った感情が何であるかに関する実時間応答を与えた否かについて判断がなされる（判断７１０）。対象人物が表出しているとユーザが考えた感情が何であるかに関する実時間応答をユーザが与えていた場合、判断７１０は「はい」分岐に分岐し、そこでステップ７２０において、人間による応答を含むイベント・データが傾向分析用に含められる。ステップ７２０において、応答データは、イベント・データ・ストア５９０から取り出され、傾向分析データ・ストア７５０に書き込まれる。一方、対象人物が表出しているとユーザが思った感情が何であるかに関する実時間応答をユーザが与えていなかった場合には、判断７１０は「いいえ」分岐に分岐し、ステップ７２０を迂回する。

ユーザが、記録されたイベント・データにユーザが応答するセラピー・セッション（例えば図６で示されるセッションなど）に参加したか否かについて判断がなされる（判断７３０）。ユーザがそのようなセラピー・セッションに参加していた場合には、判断７３０は「はい」分岐に分岐し、そこでステップ７４０において、セラピー・セッション中に収集されてユーザ応答データ・ストア６７５内に格納された応答データが取り出され、傾向分析データ・ストア７５０に書き込まれる。一方、そのようなセラピー・セッションが行われていなかった場合には、判断７３０は「いいえ」分岐に分岐し、ステップ７４０を迂回する。

ステップ７６０において、そのユーザにとって正しく識別することが困難であることが時間経過と共に判明してきた感情をより良く特定するために、傾向分析データ・ストア７５０がソートされる。１つの実施形態において、傾向分析データ・ストア７５０は、対象人物が示した感情、及び、その感情の各々についてユーザが受け取った間違った応答の総数（又は百分率）によってソートされる。

ステップ７７０において、プロセスは、ユーザにとって識別が最も困難な感情タイプである第１の感情を選択する。ステップ７８０において、セラピストは、ユーザに対して綿密なカウンセリングを提供して、選択された感情タイプをユーザが識別（例えば「恐れ」と「怒り」との識別、など）するに際してユーザの移動式感情識別システムによって取り込まれた実時間入力を用いてユーザをより上手く補助するツールを与える。傾向分析がユーザにとって識別に困難がある更なる感情タイプを特定したか否かについて判断がなされる（判断７９０）。ユーザにとって識別に困難がある更なる感情タイプが存在する場合には、判断７９０は「はい」の分岐に分岐し、ループバックして、ユーザにとって次に識別が困難な感情タイプを選択し、この新たに選択された感情タイプに基づいてカウンセリングが行われる。判断７９０は、このユーザと話し合う必要がある感情タイプがもはや存在しなくなるまでループバックを続け、その他の感情タイプを処理し、存在しなくなった時点で判断７９０は「いいえ」分岐に分岐し、処理は、７９５において呼び出したルーチン（図６参照）に戻る。

本発明の好ましい実装の１つは、クライアント・アプリケーション、すなわちコード・モジュールにおける命令セット（プログラム・コード）又はその他の機能的な記述的材料であり、これは例えばコンピュータのランダム・アクセス・メモリ内に常駐することができる。コンピュータによって要求されるまで、命令セットは、別のコンピュータ・メモリ内に、例えばハード・ディスク・ドライブ内に格納しておくことも、又は、光ディスク（最終的にＣＤ ＲＯＭ内での使用のため）若しくはフロッピィ・ディスク（最終的にフロッピィ・ディスク・ドライブ内での使用のため）のような取り外し可能メモリ内に格納しておくこともできる。このようにして、本発明は、コンピュータにおいて使用するためのコンピュータ・プログラム製品として実装することができる。さらに、説明された種々の方法は、ソフトウェアによって選択的に起動又は再構成される汎用コンピュータで都合良く実施されるが、当業者であれば、そのような方法は、ハードウェア、ファームウェア、又は要求される方法ステップを実行するように構築された、より特化した装置において行うことができることも認識するであろう。機能的な記述材料は、機械に対して機能を付与する情報である。機能的な記述材料は、コンピュータ・プログラム、命令、規則、事実、計算可能な関数の定義、オブジェクト、及びデータ構造を含むが、これらに限定されるものではない。

本発明の具体的な実施形態を示して説明したが、本発明の教示に基づいて、本発明及びそのより広い態様から逸脱することなく変更及び修正を行うことができることは、当業者には明らかであろう。

Claims (31)

1. 感情の手掛かりを特徴づける方法であって、前記方法は、情報処理システムにより実装され、
   前記情報処理システム内に含まれる１つ又は複数のレシーバにおいて、前記情報処理システムのユーザと相互作用している対象人物から実時間入力セットを受信することと、
   前記受信した実時間入力セットを、１つ又は複数の事前定義された感情特性セットと比較することと、
   前記比較に応答して、前記対象人物が表出している感情を識別することと、
   前記識別された感情に関するフィードバックを前記情報処理システムの前記ユーザに提供することと、
   を含む、方法。
2. 前記比較に応答して、表出されている前記感情の強度を識別することと、
   前記識別された強度に関する付加的なフィードバックを前記ユーザに提供することと、
   をさらに含む、請求項１に記載の方法。
3. 前記実時間入力セットが視覚入力であり、前記方法が、
   前記情報処理システムによりアクセス可能なカメラで前記視覚入力を受信することをさらに含み、前記カメラは、前記対象人物に向けられ、前記情報処理システムは、前記ユーザによって運ばれる携帯型システムである、
   請求項１に記載の方法。
4. 前記実時間入力セットが音声入力であり、前記方法が、
   前記情報処理システムによりアクセス可能なマイクロフォンで前記音声入力を受信することをさらに含み、前記マイクロフォンは、前記対象人物から１つ又は複数の声の手掛かりを受信し、前記情報処理システムは、前記ユーザによって運ばれる携帯型システムである、
   請求項１に記載の方法。
5. 前記フィードバックは、前記ユーザに触知感覚を与える熱出力を用いて前記ユーザに提供され、前記方法は、
   正の感情が識別されたことに応答して、前記識別された感情を、前記熱出力を用いて冷感として示すことと、
   負の感情が識別されたことに応答して、前記識別された感情を、前記熱出力を用いて温感として示すことと、
   をさらに含む、請求項１に記載の方法。
6. 前記比較に応答して、前記表出されている感情の強度を識別することと、
   より強い正の感情が識別されたことに応答して、前記冷感を強めることと、
   より強い負の感情が識別されたことに応答して、前記温感を強めることと、
   をさらに含む、請求項５に記載の方法。
7. 前記フィードバックは、前記ユーザに触知感覚を与える振動出力を用いて前記ユーザに提供され、前記方法は、
   正の感情が識別されたことに応答して、前記識別された感情を、前記振動出力を用いて軽い振動感として示すことと、
   負の感情が識別されたことに応答して、前記識別された感情を、前記振動出力を用いて重い振動感として示すことと、
   をさらに含む、請求項１に記載の方法。
8. 前記比較に応答して、前記表出されている感情の強度を識別することと、
   より強い正の感情が識別されたことに応答して、前記軽い振動感の周波数を高めることと、
   より強い負の感情が識別されたことに応答して、前記重い振動感の周波数を高めることと、
   をさらに含む、請求項７に記載の方法。
9. 前記フィードバックは、前記ユーザに可聴フィードバックを提供するスピーカ出力を用いて前記ユーザに提供され、前記方法は、
   前記識別された感情を、前記識別された感情に基づく音調のセットとして示すこと、
   をさらに含む、請求項１に記載の方法。
10. 前記比較に応答して、前記表出されている感情の強度を識別することと、
    より強い感情が識別されたことに応答して、前記音調のセットの強度を高めることと、
    をさらに含む、請求項９に記載の方法。
11. 前記フィードバックは、前記ユーザに可視フィードバックを提供する表示デバイスを用いて前記ユーザに提供され、前記方法は、
    正の感情が識別されたことに応答して、前記表示デバイス上に正の可視キューを表示することと、
    負の感情が識別されたことに応答して、前記表示デバイス上に負の可視キューを表示することと、
    をさらに含む、請求項１に記載の方法。
12. 前記比較に応答して、前記表出されている感情の強度を識別することと、
    より強い正の感情が識別されたことに応答して、前記正の可視キューの強度を高めることと、
    より強い負の感情が識別されたことに応答して、前記負の可視キューの強度を高めることと、
    をさらに含む、請求項１１に記載の方法。
13. 前記対象人物に対応する応答を前記ユーザから受信することであって、前記応答は前記ユーザによる感情識別であり、前記応答は、前記フィードバックが前記ユーザに提供される前に受信されることと、
    前記ユーザ応答及び前記受信された実時間入力セットをデータ・ストア内に格納することと、
    をさらに含む、請求項１に記載の方法。
14. 前記方法が、
    前記ユーザと前記対象人物との間の前記相互作用の事後分析を実行することをさらに含み、前記分析は、
    前記ユーザ応答及び前記実時間入力セットを前記データ・ストアから取り出すことと、
    前記ユーザ応答、前記識別された感情、前記識別された感情に対応する前記１つ又は複数の事前定義された感情特性セットを前記ユーザに対して表示することと、
    前記取り出された実時間入力セットを前記ユーザに提供することと、
    をさらに含む、請求項１３に記載の方法。
15. 前記対象人物に対応する応答を前記ユーザから受信することであって、前記応答は前記ユーザによる感情識別であり、前記応答は前記フィードバックが前記ユーザに提供される前に受信されることと、
    前記ユーザ応答及び前記受信された実時間入力セットをデータ・ストア内に格納することであって、前記ユーザと複数の対象人物との間の複数の相互作用に関連した、複数の実時間入力セット及び複数のユーザ応答が、ある期間にわたって前記データ・ストア内に格納されることと、
    前記複数のユーザ応答と前記複数の実時間入力セットに対応する前記識別された感情との間の複数の比較に基づいて、傾向分析を生成することと、
    前記傾向分析に基づいて、前記ユーザにとって識別が困難な１つ又は複数の感情タイプを識別することと、
    をさらに含む、請求項１に記載の方法。
16. 情報処理システムであって、
    １つ又は複数のプロセッサと、
    少なくとも１つの前記プロセッサに結合されたメモリと、
    少なくとも１つの前記プロセッサによりアクセス可能な複数のレシーバであって、ビデオカメラ及びマイクロフォンを含む複数のレシーバと、
    少なくとも１つの前記プロセッサによりアクセス可能なフィードバック・コンポーネントと、
    前記メモリ内に格納された、少なくとも１つの前記プロセッサにより実行される命令セットと、を含み、前記命令セットは、
    前記情報処理システムのユーザと相互作用している対象人物から実時間入力セットを１つ又は複数のレシーバにおいて受信する動作と、
    前記受信した実時間入力セットを、前記メモリ内に格納されている１つ又は複数の事前定義された感情特性セットと比較する動作と、
    前記比較に応答して、前記対象人物が表出している感情を識別する動作と、
    前記識別された感情に関するフィードバックを、前記フィードバック・コンポーネントを介して前記ユーザに提供する動作と、
    を実行する、情報処理システム。
17. 前記命令セットは、
    前記比較に応答して、表出されている前記感情の強度を識別する動作と、
    前記識別された強度に関する付加的なフィードバックを前記ユーザに提供する動作と、
    を含む付加的な動作を実行する、請求項１６に記載の情報処理システム。
18. 前記実時間入力セットは、視覚入力及び音声入力を含み、前記命令セットは、
    前記対象人物に向けられた前記ビデオカメラで前記視覚入力を受信する動作と、
    前記マイクロフォンで前記音声入力を受信する動作であって、前記マイクロフォンは、前記対象人物から１つ又は複数の声の手掛かりを受信する、動作と、
    を含む付加的な動作を実行する、請求項１６に記載の情報処理システム。
19. 前記フィードバック・コンポーネントは、前記ユーザに触知感覚を与える熱出力であり、前記命令セットは、
    正の感情が識別されたことに応答して、前記識別された感情を、前記熱出力を用いて冷感として示す動作と、
    負の感情が識別されたことに応答して、前記識別された感情を、前記熱出力を用いて温感として示す動作と、
    を含む付加的な動作を実行する、請求項１６に記載の情報処理システム。
20. 前記フィードバック・コンポーネントは、前記ユーザに触知感覚を与える振動出力であり、前記命令セットは、
    正の感情が識別されたことに応答して、前記識別された感情を、前記振動出力を用いて軽い振動感として示す動作と、
    負の感情が識別されたことに応答して、前記識別された感情を、前記振動出力を用いて重い振動感として示す動作と、
    を含む付加的な動作を実行する、請求項１６に記載の情報処理システム。
21. 前記フィードバック・コンポーネントは、前記ユーザに可聴フィードバックを提供するスピーカ出力であり、前記命令セットは、
    正の感情が識別されたことに応答して、前記識別された感情を、前記スピーカ出力を用いて、より高いピッチの音調として示す動作と、
    負の感情が識別されたことに応答して、前記識別された感情を、前記スピーカ出力を用いて、より低いピッチの音調として示す動作と、
    を含む付加的な動作を実行する、請求項１６に記載の情報処理システム。
22. 前記フィードバック・コンポーネントは、前記ユーザに可視フィードバックを提供する表示デバイスであり、前記命令セットは、
    正の感情が識別されたことに応答して、前記表示デバイス上に正の可視キューを表示する動作と、
    負の感情が識別されたことに応答して、前記表示デバイス上に負の可視キューを表示する動作と、
    を含む付加的な動作を実行する、請求項１６に記載の情報処理システム。
23. 前記命令セットは、
    前記対象人物に対応する応答を前記ユーザから受信する動作であって、前記応答は前記ユーザによる感情識別であり、前記応答は、前記フィードバックが前記ユーザに提供される前に受信される、動作と、
    前記ユーザ応答及び前記受信された実時間入力セットをデータ・ストア内に格納する動作と、
    前記ユーザと前記対象人物との間の前記相互作用の事後分析を実行する動作と、
    を含む付加的な動作を実行し、前記分析は、
    前記ユーザ応答及び前記実時間入力セットを前記データ・ストアから取り出すことと、
    前記ユーザ応答、前記識別された感情、及び前記識別された感情に対応する前記１つ又は複数の事前定義された感情特性セットを前記ユーザに対して表示することと、
    前記取り出された実時間入力セットを前記ユーザに提供することと、
    をさらに含む、請求項１６に記載の情報処理システム。
24. 前記命令セットは、
    前記対象人物に対応する応答を前記ユーザから受信する動作であって、前記応答は前記ユーザによる感情識別であり、前記応答は、前記フィードバックが前記ユーザに提供される前に受信される、動作と、
    前記ユーザ応答及び前記受信された実時間入力セットをデータ・ストア内に格納する動作であって、前記ユーザと複数の対象人物との間の複数の相互作用に関連した、複数の実時間入力セット及び複数のユーザ応答が、ある期間にわたって前記データ・ストア内に格納される、動作と、
    前記複数のユーザ応答と前記複数の実時間入力セットに対応する前記識別された感情との間の複数の比較に基づいて、傾向分析を生成する動作と、
    前記傾向分析に基づいて、前記ユーザにとって識別が困難な１つ又は複数の感情タイプを識別する動作と、
    を含む付加的な動作を実行する、請求項１６に記載の情報処理システム。
25. 情報処理システムにより実行されたときに、前記情報処理システムに、
    前記情報処理システム内に含まれる１つ又は複数のレシーバにおいて、前記情報処理システムのユーザと相互作用している対象人物から実時間入力セットを受信する動作と、
    前記受信した実時間入力セットを、１つ又は複数の事前定義された感情特性セットと比較する動作と、
    前記比較に応答して、前記対象人物が表出している感情を識別する動作と、
    前記識別された感情に関するフィードバックを前記情報処理システムの前記ユーザに提供する動作と、
    を含む動作を実行させるコンピュータ命令を含む、コンピュータ・プログラム。
26. 前記動作は、
    前記比較に応答して、表出されている前記感情の強度を識別する動作と、
    前記識別された強度に関する付加的なフィードバックを前記ユーザに提供する動作と、
    をさらに含む、請求項２５に記載のコンピュータ・プログラム。
27. 前記実時間入力セットが視覚入力であり、前記動作は、
    前記情報処理システムによりアクセス可能なカメラで前記視覚入力を受信する動作をさらに含み、前記カメラは前記対象人物に向けられ、前記情報処理システムは、前記ユーザによって運ばれる携帯型システムである、
    請求項２５に記載のコンピュータ・プログラム。
28. 前記実時間入力セットが音声入力であり、前記動作は、
    前記情報処理システムによりアクセス可能なマイクロフォンで前記音声入力を受信する動作をさらに含み、前記マイクロフォンは、前記対象人物から１つ又は複数の声の手掛かりを受信し、前記情報処理システムは、前記ユーザによって運ばれる携帯型システムである、
    請求項２５に記載のコンピュータ・プログラム。
29. 前記フィードバックは、熱出力ユニット、振動出力ユニット、スピーカ、及びディスプレイから成る群から選択されるフィードバック・コンポーネントにより提供される、請求項２５に記載のコンピュータ・プログラム。
30. 前記動作は、
    前記対象人物に対応する応答を前記ユーザから受信する動作であって、前記応答は前記ユーザによる感情識別であり、前記応答は、前記フィードバックが前記ユーザに提供される前に受信される、動作と、
    前記ユーザ応答及び前記受信された実時間入力セットをデータ・ストア内に格納する動作と、
    前記ユーザと前記対象人物との間の前記相互作用の事後分析を実行する動作と、
    をさらに含み、前記分析は、
    前記ユーザ応答及び前記実時間入力セットを前記データ・ストアから取り出すことと、
    前記ユーザ応答、前記識別された感情、及び前記識別された感情に対応する前記１つ又は複数の事前定義された感情特性セットを前記ユーザに対して表示することと、
    前記取り出された実時間入力セットを前記ユーザに提供することと、
    をさらに含む、請求項２５に記載のコンピュータ・プログラム。
31. 前記動作は、
    前記対象人物に対応する応答を前記ユーザから受信する動作であって、前記応答は前記ユーザによる感情識別であり、前記応答は、前記フィードバックが前記ユーザに提供される前に受信される、動作と、
    前記ユーザ応答及び前記受信された実時間入力セットをデータ・ストア内に格納する動作であって、前記ユーザと複数の対象人物との間の複数の相互作用に関連した、複数の実時間入力のセット及び複数のユーザ応答が、ある期間にわたって前記データ・ストア内に格納される、動作と、
    前記複数のユーザ応答と前記複数の実時間入力セットに対応する前記識別された感情との間の複数の比較に基づいて、傾向分析を生成する動作と、
    前記傾向分析に基づいて、前記ユーザにとって識別が困難な１つ又は複数の感情タイプを識別する動作と、
    をさらに含む、請求項２５に記載のコンピュータ・プログラム。

Images