JP2016167815A - 触覚フィードバックとしての感情の伝送 - Google Patents

Abstract

【課題】感情コンテキストを用いて電子通信を増強するための方法、システムおよびデバイスを提供する。
【解決手段】第２のデバイスは、電子通信を第１のデバイスから受信する。第１のデバイスのユーザの表情が第１のデバイスにおいてキャプチャされる。第２のデバイスは、キャプチャされた表情に基づくデータを第１のデバイスから受信する。受信したデータは、第１のデバイスのユーザに関連する感情コンテキストを決定するために分析される。決定された感情コンテキストに基づいて、触覚応答を生成する。触覚応答は、受信した電子通信に関連する。触覚応答は、ユーザの感情コンテキストを示すために電子通信のアクセスと同時に与えられる。
【選択図】図６

Description

ワイヤレス通信システムは、ボイス、データなど、様々なタイプの電子通信コンテンツを提供するために広く展開されている。電子形態の通信（たとえば、電子メール、テキストメッセージ、ボイスメール、通話）は、人々が便利に他人と交信し、対話することを可能にしたが、電子通信の豊かさは、直接的な対面コミュニケーションには及ばない。

電子通信は、それらだけでは、概して、送信当事者の十分な感情状態を伝達しない。たとえば、調査は、所与のメッセージ中の感情コンテキストの７％が言葉（たとえば、電子通信の文面）によって伝達されることを示唆している。感情コンテキストの別の３８％は、ボイスのトーンによって声で伝達される。最後の５５％は、顔の表情および他のボディジェスチャーなど、非言語的コミュニケーションを使用して表される。（一般に、Ｍｅｈｒａｂｉａｎ，Ａｌｂｅｒｔ、Ｆｅｒｒｉｓ，Ｓｕｓａｎ Ｒ．（１９６７）、「Inference of Attitudes from Nonverbal Communication in Two Channels」、Journal of Consulting Psychology ３１（３）：２４８〜２５２を参照）。

従来の電子通信に関して、送信当事者の感情コンテキストまたは感情状態は、受信当事者によって誤解されることがある。その結果、電子通信は、対面コミュニケーションが与えるレベルの豊かさを与えないことがある。

説明する特徴は、一般に、感情コンテキスト情報を用いて電子通信を向上させるための１つまたは複数の改善されたシステム、方法、および／またはデバイスに関する。一構成では、第１のデバイスのユーザが電子通信を発信し得る。ユーザの表情は、通信の発信に関連してキャプチャされ得る。電子通信とキャプチャされた表情に基づくデータとは第２のデバイスに送信され得る。データは、表情に基づいてユーザの感情状態を決定するために分析され得る。触覚（haptic）ベースの応答が第２のデバイスにおいて生成され、受信された電子通信に関連付けられ得る。触覚ベースの応答は第１のユーザの感情状態を表し得る。一例では、触覚応答は、第２のデバイスのユーザが電子通信にアクセスするときにそのユーザに与えられ得る。

一構成では、キャプチャされた表情に基づくデータの生成は、キャプチャされた表情に関連する覚醒（arousal）レベルおよび誘意性（valence）レベルを識別することを含み得る。覚醒レベルおよび誘意性レベルは、第１のデバイスのユーザの感情状態を表し得る。また、第１のデバイスのユーザのリアルタイム感情状態を表す時間インジケータが識別され得る。識別された覚醒レベルと、誘意性状態と、時間インジケータとを表すデータが符号化され得る。

一例では、覚醒レベルは、第１のデバイスのユーザのキャプチャされた表情に関連する強度のレベルを示し得る。誘意性レベルは、第１のデバイスのユーザのキャプチャされた表情に関連する快感情（pleasure）のレベルを示し得る。

一構成では、キャプチャされた表情に基づくデータの生成はまた、複数の異なる時間期間の各々におけるキャプチャされた表情に関連する覚醒レベルおよび誘意性レベルを識別することを含み得る。覚醒レベルおよび誘意性レベルは、複数の異なる時間期間の各々における第１のデバイスのユーザの感情状態を表し得る。複数の異なる時間期間の各々における識別された覚醒レベルおよび誘意性レベルを表すデータが符号化され得る。

また、感情コンテキストを用いて電子通信を向上させるための方法について説明する。一例では、第１のデバイスから、第１のデバイスにおいてキャプチャされたユーザの表情に基づくデータを含む電子通信が受信され得る。キャプチャされた表情に基づく受信されたデータに関する触覚応答が生成され得る。触覚応答は、受信された電子通信に関連付けられ得る。

受信されたデータは、第１のデバイスのユーザの感情状態を表すインジケータを抽出するために分析され得る。第１のデバイスのユーザの感情状態は、抽出されたインジケータに基づいて決定され得る。インジケータは、第１のデバイスのユーザのキャプチャされた表情に関連する覚醒レベルおよび誘意性レベルを含み得る。覚醒レベルは、第１のデバイスのユーザのキャプチャされた表情に関連する強度のレベルを示し得る。誘意性レベルは、第１のデバイスのユーザのキャプチャされた身体的な表情に関連する快感情のレベルを示し得る。触覚応答は、決定された感情の状態に基づいて生成され得る。

受信されたデータはまた、第１のデバイスのユーザのリアルタイム感情状態を表す時間インジケータを抽出するために分析され得る。触覚応答の生成は、時間インジケータを使用して、受信された電子通信の再生と同期させられ得る。

受信されたデータはまた、複数のインジケータを抽出するために分析され得る。一構成では、各抽出されたインジケータは、複数の異なる時間期間の各々における第１のデバイスのユーザの感情状態を表し得る。第１のデバイスのユーザの感情状態が、抽出されたインジケータの各々に基づいて決定され得る。複数の触覚応答が生成され得る。各触覚応答は、決定された感情状態のうちの１つを表し得る。

一例では、第１のデバイスのユーザのキャプチャされた表情に基づく受信されたデータに応答して、画像が生成され得る。生成された画像は、生成された触覚応答と同時に表示され得る。画像および触覚応答は第１のデバイスのユーザの感情状態を表し得る。一構成では、第１のデバイスのユーザのキャプチャされた表情に基づく生成されたデータに応答して、オーディオキューが生成され得る。生成されたオーディオキューは、生成された触覚応答と同時に出力され得る。オーディオキューおよび触覚応答は第１のデバイスのユーザの感情状態を表し得る。

一構成では、触覚応答は、ユーザによって選択された選好に基づいて生成され得る。一例では、触覚応答は、第１のデバイスから受信された電子通信のタイプに基づいて触覚応答を生成され得る。触覚応答はまた、ロケーション情報に基づいて生成され得る。さらに、触覚応答は、受信された雑音のレベルに基づいて生成され得る。

一例では、ユーザのキャプチャされた表情は、声の表情、顔の表情、または生理学的データを含み得る。触覚応答は、温度ベースの触覚応答、振動ベースの触覚応答、圧力ベースの触覚応答、テクスチャベースの触覚応答、またはタッピングベースの触覚応答を含み得る。

また、感情コンテキストを用いて電子通信を向上させるためのデバイスについて説明する。本デバイスは、第１のデバイスから、第１のデバイスにおいてキャプチャされたユーザの表情に基づくデータを含む電子通信を受信するように構成された受信機を含み得る。本デバイスはまた、キャプチャされた表情に基づく受信されたデータに関する触覚応答を生成するように構成された応答生成モジュールを含み得る。触覚応答は、受信された電子通信に関連付けられ得る。

また、感情コンテキストを用いて電子通信を向上させるためのシステムについて説明する。本システムは、第１のデバイスのユーザの表情をキャプチャするための手段と、ユーザのキャプチャされた表情に基づいてデータを生成するための手段とを含み得る。本システムは、生成されたデータを送信するための手段と、第２のデバイスにおいて、前記キャプチャされた表情に基づく前記生成されたデータを受信するための手段とをさらに含み得る。さらに、本システムは、第２のデバイスにおいて、キャプチャされた表情に基づく生成されたデータに関する触覚応答を生成するための手段を含み得る。

また、非一時的コンピュータ可読媒体を含むコンピュータプログラム製品について説明する。本コンピュータ可読媒体は、第１のデバイスから、第１のデバイスにおいてキャプチャされたユーザの表情に基づくデータを含む電子通信を受信するためのコードを含み得る。本媒体は、キャプチャされた表情に基づく受信されたデータに関する触覚応答を生成するためのコードをさらに含み得る。一例では、触覚応答は、受信された電子通信に関連付けられ得る。

以下の図面を参照すれば、本発明の性質のさらなる理解が得られ得る。添付の図において、同様の構成要素または特徴は同じ参照ラベルを有し得る。さらに、同じタイプの様々な構成要素は、参照ラベルの後に、ダッシュと、それらの同様の構成要素同士を区別する第２のラベルとを続けることによって区別され得る。第１の参照ラベルのみが明細書において使用される場合、その説明は、第２の参照ラベルにかかわらず、同じ第１の参照ラベルを有する同様の構成要素のうちのいずれか１つに適用可能である。

ワイヤレス通信システムのブロック図。 感情コンテキスト情報を第２のモバイルデバイスに通信する第１のモバイルデバイスの一例を示すブロック図。 感情コンテキストデータを送信する第１のモバイルデバイスの一例を示すブロック図。 感情コンテキストデータを受信する第２のモバイルデバイスの一例を示すブロック図。 触覚応答生成モジュールの一例を示す図。 感情コンテキストを用いて電子通信を向上させるための方法の一例を示すフローチャート。 生成すべき触覚応答のタイプを決定するための方法の一例を示すフローチャート。 感情コンテキストを用いて電子通信を向上させるための方法のさらなる一例を示すフローチャート。 ユーザの覚醒レベルおよび誘意性レベルに基づいてユーザの感情状態を決定するための方法の一例を示すフローチャート。

感情コンテキストを用いて電子通信を増強するための方法、デバイス、およびシステムについて説明する。第１のデバイスは、電子通信を生成し、第２のデバイスに送信し得る。第１のデバイスはまた、第１のデバイスのユーザ（以下、第１のユーザと呼ぶ）の表情をキャプチャし、第１のユーザの感情状態を推論するデータを生成し得る。生成されたデータは第２のデバイスに送信され得る。一構成では、第２のデバイスは、データを受信し、受信されたデータに基づいて第１のユーザの感情状態を決定し得る。第２のデバイスは、決定された感情状態に基づいて触覚応答をレンダリングし得る。触覚応答は、第１のデバイスから受信した電子通信とともに、第２のデバイスのユーザ（以下、第２のユーザと呼ぶ）に与えられ得る。

一例では、第１のデバイスは、いくつかの表情をキャプチャし、ある時間期間にわたって第１のユーザの感情状態を示すデータを生成し得る。データは、第１のデバイスからの電子通信とともに第２のデバイスに送信され得る。第２のデバイスは、ある時間期間にわたって第１のユーザの感情状態を決定し得る。一構成では、電子通信は、第１のユーザの変化する感情状態を示すために時間とともに変わり得る触覚応答とともに第２のユーザに与えられ得る。その結果、第２のユーザは、電子通信を見ること、聴くこと、読むことなどを行い、同時に、第１のユーザの感情状態の範囲を示す触覚応答をリアルタイムで受信し得る。

以下の説明は、例を与えるものであり、特許請求の範囲において記載される範囲、適用性、または構成を限定するものではない。本開示の趣旨および範囲から逸脱することなく、説明する要素の機能および構成に変更が加えられ得る。様々な実施形態は、適宜に様々なプロシージャまたは構成要素を省略、置換、または追加し得る。たとえば、説明する方法は、説明する順序とは異なる順序で実行され得、様々なステップが追加、省略、または組み合わせられ得る。また、いくつかの実施形態に関して説明する特徴は、他の実施形態において組み合わせられ得る。

最初に図１を参照すると、ブロック図に、ワイヤレス通信システム１００の一例が示されている。システム１００は、基地局１０５（またはセル）と、モバイルデバイス１１５と、基地局コントローラ１２０と、コアネットワーク１２５とを含む（コントローラ１２０はコアネットワーク１２５に組み込まれ得る）。システム１００は、複数のキャリア（異なる周波数の波形信号）上での動作をサポートし得る。

基地局１０５は、基地局アンテナ（図示せず）を介してモバイルデバイス１１５とワイヤレス通信し得る。基地局１０５は、複数のキャリアを介して基地局コントローラ１２０の制御下でモバイルデバイス１１５と通信し得る。基地局１０５サイトの各々は、それぞれの地理的エリアに通信カバレージを与え得る。各基地局１０５のためのカバレージエリアは、ここでは、１１０−ａ、１１０−ｂ、または１１０−ｃとして識別される。基地局のためのカバレージエリアは、（図示されていないが、カバレージエリアの一部分のみを構成する）セクタに分割され得る。システム１００は、異なるタイプの基地局１０５（たとえば、マクロ基地局、マイクロ基地局、および／またはピコ基地局）を含み得る。異なる技術のための重複カバレージエリアが存在し得る。

モバイルデバイス１１５はカバレージエリア１１０全体にわたって分散され得る。モバイルデバイス１１５は、移動局、モバイルデバイス、アクセス端末（ＡＴ）、ユーザ機器（ＵＥ）、加入者局（ＳＳ）、または加入者ユニットと呼ばれることがある。モバイルデバイス１１５は、セルラー電話とワイヤレス通信デバイスとを含み得るが、携帯情報端末（ＰＤＡ）、他のハンドヘルドデバイス、ネットブック、ノートブックコンピュータなどをも含み得る。

基地局１０５は、モバイルデバイス１１５のユーザが互いに通信することを可能にし得る。たとえば、第１のモバイルデバイスは、第２のモバイルデバイスに電子通信（たとえば、電子メール、テキストメッセージ、ボイスメールメッセージ、電話呼に関連するリアルタイム会話など）を送り得る。モバイルデバイス１１５は、電子通信を送っているユーザの表情をキャプチャするための入力デバイスを含み得る。入力デバイスの例としては、カメラ、マイクロフォン、バイオセンサなどが含まれ得る。バイオセンサは、電気皮膚反応（ＧＳＲ）センサ、心電図センサ（ＥＣＧ）、パルスオキシメータ、サーミスタ、または皮膚温のための熱電対列などを含み得る。電子通信を作成するユーザによって使用される送信モバイルデバイス１１５は、キャプチャされた表情を表すデータを作成し得る。データおよび電子通信は、送信デバイス１１５から受信デバイス１１５に送信され得る。受信モバイルデバイス１１５は、通信を作成したユーザの感情状態を決定するためにデータを分析し得る。一構成では、受信デバイス１１５は触覚応答を生成し得る。応答は、受信された電子通信に関連付けられ得る。受信デバイス１１５はまた、受信デバイス１１５のユーザに電子通信および触覚応答を与え得る。触覚応答は、電子通信とともに送信ユーザの感情状態を示し得る。本明細書で使用する「第１のユーザ」という用語は、第１のモバイルデバイスを介して電子通信を作成し、および送信するユーザを指すことがある。「第２のユーザ」という用語は、第２のモバイルデバイスを介して電子通信を受信し、およびアクセスするユーザを指すことがある。

図２は、第２のモバイルデバイス１１５−ａ−２に感情コンテキスト情報を通信する第１のモバイルデバイス１１５−ａ−１の一例を示すブロック図２００である。第１のモバイルデバイス１１５−ａ−１と第２のモバイルデバイス１１５−ａ−２とは図１のモバイルデバイス１１５の例であり得る。デバイスは、ネットワーク１２５接続上で通信し得る。一例では、感情コンテキスト情報は、ネットワーク１２５を介して第２のモバイルデバイス１１５−ａ−２に送信され得る。

第１のデバイス１１５−ａ−１は、キャプチャモジュール２０５、生成モジュール２１０、および送信機２１５を含み得る。第２のデバイス１１５−ａ−２は、受信機２２０、分析モジュール２２５、および応答生成モジュール２３０を含み得る。一構成では、キャプチャモジュール２０５は、第１のユーザの表情を表す生データ（たとえば、センサによってキャプチャされた、第１のユーザの声、顔、および／または他の生理学的な表情を表すデータ）をキャプチャし得る。生データは、第２のモバイルデバイス１１５−ａ−２に送信された電子通信に関する第１のユーザの感情状態を示し得る。生成モジュール２１０は、生データを分析して、第１のユーザの感情状態を推論する簡潔なデータ（succinct data）を生成し得る。たとえば、生データは、解釈され、および圧縮され、および／またはカテゴライズされ得る。送信機２１５は、ネットワーク１２５上で第２のモバイルデバイス１１５−ａ−２の受信機２２０にこのデータを送信し得る。

一構成では、分析モジュール２２５は、第１のユーザの感情状態を決定するために、受信されたデータを分析し得る。応答生成モジュール２３０は、決定された感情状態を表す応答を生成し得る。一例では、応答は、第１のモバイルデバイス１１５−ａ−１から受信された電子通信にリンクされ得る。一構成では、第２のユーザは、第２のモバイルデバイス１１５−ａ−２を介して電子通信にアクセスし得る。電子通信の例としては、限定するものではないが、電子メールメッセージ、テキストメッセージ、ボイスメールメッセージ、リアルタイム電話会話、ビデオメッセージ、ソーシャルネットワーキングウェブサイトを介したステータス更新などが含まれる。第２のユーザが電子通信にアクセスしたときには、応答生成モジュール２３０によって生成された応答は第２のユーザに与えられ得る。その結果、第２のユーザは、アクセスされている特定の電子通信に関係するので、第１のユーザの感情状態に気づき得る。

各デバイス１１５のこれらのコンポーネントは、個別にまたは集合的に、ハードウェア中の適用可能な機能の一部または全部を実行するように適応された１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）を用いて実装され得る。代替的に、それらの機能は、１つまたは複数の他の処理ユニット（またはコア）によって、１つまたは複数の集積回路上で実行され得る。他の実施形態では、当技術分野で知られている任意の方法でプログラムされ得る、他のタイプの集積回路（たとえば、ストラクチャード／プラットフォームＡＳＩＣ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、および他のセミカスタムＩＣ）が使用され得る。各コンポーネントの機能はまた、全体的にまたは部分的に、１つまたは複数の汎用または特定用途向けプロセッサによって実行されるようにフォーマットされた、メモリ中に組み込まれた命令によって実装され得る。

次に図３を参照すると、ブロック図３００が、感情コンテキストデータを送信し得る第１のモバイルデバイス１１５−ｂ−１の一例を示している。第１のモバイルデバイス１１５−ｂ−１は、図１または図２に示したモバイルデバイスの一例であり得る。第１のデバイス１１５−ｂ−１は、キャプチャモジュール２０５−ａと、生成モジュール２１０−ａと、送信機２１５とを含み得る。キャプチャモジュール２０５−ａは、声キャプチャモジュール３０５と、顔キャプチャモジュール３１０と、生理学的キャプチャモジュール３１５とを含み得る。一構成では、キャプチャモジュール２０５−ａは、第１のユーザの表情をキャプチャし得る。たとえば、声キャプチャモジュール３０５は第１のユーザから声の表情をキャプチャし得る。モジュール３０５は、第１のユーザの声の表情をキャプチャするためのマイクロフォンまたは他の声入力デバイスを含み得る。顔キャプチャモジュール３１０は、ユーザから表される顔の表情をキャプチャし得る。一例では、顔キャプチャモジュール３１０は、顔の表情をキャプチャするためのカメラまたは他の入力デバイスを含み得る。生理学的キャプチャモジュール３１５は、限定するものではないが、第１のユーザのＧＳＲデータ、心拍数、皮膚温などの生理学的データをキャプチャし得る。モジュール３１５は、このデータをキャプチャするためにバイオセンサを含み得る。

一構成では、生成モジュール２１０−ａは、キャプチャされたデータを受信し、キャプチャされたデータを表す１つまたは複数のインジケータを生成し得る。たとえば、生成モジュール２１０−ａは、識別モジュール３２０と、符号化モジュール３２５とを含み得る。識別モジュールは、キャプチャされたデータを分析し、キャプチャされたデータを表すための１つまたは複数のインジケータを識別し得る。たとえば、識別モジュール３２０は、声の表情の韻律、話す速度（speech rate）、ボリュームなどを調べることによって声のデータを分析し得る。識別モジュール３２０は、顔の構造をマッピングすることによって、および顔の筋肉の動きを決定するためにアクションユニットを使用することによって、顔の表情を分析し得る。分析は、バイオセンサ、カメラ、マイクロフォンなどによってキャプチャされた表情データに対して特徴抽出およびパターン分類を実行することを含み得る。バイオセンサによってキャプチャされたデータからの特徴抽出は、心拍数、心拍変動、ＧＳＲ反応、皮膚温などに関係するデータを抽出することを含み得る。パターン分類は、ｋ近傍法（k-Nearest Neighbor）、ニューラルネット（Neural Nets）、単純ベイズ分類器（Naive Bayesian classifiers）などを介して実行され得る。表情の分析は、第１のユーザの感情状態を示す情報を決定するために使用され得る。

識別モジュール３２０は、分析されたキャプチャデータを表す１つまたは複数のインジケータを識別し得る。たとえば、識別モジュール３２０は、データの分析に基づいて覚醒レベルインジケータと誘意性レベルインジケータとを識別し得る。言い換えれば、キャプチャデバイス（センサ、カメラ、マイクロフォンなど）は、表情を表す信号（たとえば、ＧＳＲセンサからの皮膚コンダクタンス）の生の測定値をキャプチャし得る。特徴抽出技法（たとえば、皮膚コンダクタンス）が実行され得、パターン分類は、他の抽出された特徴を用いて実行され得る。覚醒レベルインジケータおよび誘意性レベルインジケータは、特徴抽出およびパターン分類に基づいて決定され得る。これらのインジケータは、第１のユーザの感情状態の指示を与え得る。覚醒レベルインジケータは、たとえば、１〜１０の段階の整数であり得る（ただし、他のいくつかのインジケータタイプ／方式が企図されることに留意されたい）。一構成では、覚醒レベルインジケータは、ユーザのキャプチャされた表情から決定される強度のレベルを示し得る。誘意性レベルインジケータは、また、たとえば、１〜１０の段階の整数であり得る。このインジケータは、ユーザの表情から決定される快感情のレベルを表し得る。一例として、「１０」は高い覚醒レベルまたは誘意性レベルを表し、一方、「１」は低いレベルを表し得る。一例では、識別モジュール３２０は、また、識別された覚醒レベルおよび誘意性レベルが表される時間期間を示す時間インジケータを識別し得る。

符号化モジュール３２５は、キャプチャモジュール２０５−ａによってキャプチャされた生データを表すインジケータを符号化し得る。たとえば、符号化モジュール２１０−ａは、覚醒レベルインジケータおよび誘意性レベルインジケータを１〜１０の段階の整数として符号化し得る。符号化モジュール３２５は、また、ユーザが、示された覚醒レベルおよび誘意性レベルを経験した時間期間を表す時間インジケータを符号化し得る。送信機２１５は、符号化データを受信モバイルデバイスに送信し得る。

図４は、感情コンテキストデータを受信し得る第２のモバイルデバイス１１５−ｂ−２の一例を示すブロック図４００である。第２のモバイルデバイス１１５−ｂ−２は、図１、図２、または図３のいずれかに示したモバイルデバイス１１５の一例であり得る。デバイス１１５−ｂ−２は、受信機２２０と、分析モジュール２２５−ａと、応答生成モジュール２３０−ａとを含み得る。受信機２２０は、第１のモバイルデバイス１１５−ｂ−１から符号化データを受信し得る。分析モジュール２２５−ａは、第１のユーザの感情状態を決定するために符号化データを分析し得る。一構成では、分析モジュール２２５−ａは、覚醒レベルモジュール４０５と、誘意性レベルモジュール４１０と、感情状態モジュール４１５とを含み得る。覚醒レベルモジュール４０５は、符号化データを分析して、第１のユーザの覚醒レベルを表す覚醒レベルインジケータを抽出し得る。誘意性レベルモジュール４１０は、データを分析して、第１のユーザの誘意性レベルを示す誘意性レベルインジケータを抽出し得る。前に説明したように、覚醒レベルインジケータおよび誘意性レベルインジケータは整数であり得る。一例として、覚醒レベルモジュール４０５は、覚醒レベルインジケータを表す整数「２」を抽出し得る。誘意性レベルモジュール４１０は、データを分析して、誘意性レベルインジケータを表す整数「１」を抽出し得る。この例では、覚醒整数「２」は、第１のユーザが、電子通信を作成する間に低いレベルの強度を経験したことを示し得る。誘意性の整数「１」は、ユーザが、通信を作成する間に低いレベルの快感情を経験したことを示し得る。感情状態モジュール４１５は、覚醒レベルインジケータおよび誘意性レベルインジケータに基づいて第１のユーザの感情状態を決定し得る。一例では、モジュール４１５は、特定の覚醒および誘意性レベルインジケータを感情ラベルに変換するためのルックアップテーブルを含み得る。上記の例では、感情状態モジュール４１５は、覚醒の整数「２」と誘意性の整数「１」とを、ユーザの感情状態を表すラベルに変換し得る。この例の場合のラベルは、「悲しい」、「元気のない」など（たとえば、低い強度および低い快感情）であり得る。

応答生成モジュール２３０−ａは、選好入力モジュール４１０と、視覚応答生成モジュール４２０と、オーディオ応答生成モジュール４２５と、触覚応答生成モジュール４３０とを含み得る。一構成では、応答生成モジュール２３０−ａは、第１のユーザの決定された感情状態を示す応答を生成し得る。生成された応答は、第２のモバイルデバイス１１５−ｂ−２を介して第２のユーザに与えられ得る。該応答は、第１のユーザによって作成された、第１のデバイス１１５−ｂ−１から受信される電子通信とともに与えられ得る。たとえば、視覚応答生成モジュール４２０は、第１のユーザの感情状態を示す、いくつかの形態の電子通信（たとえば、電子メール、テキストメッセージ、ビデオメッセージなど）に関する視覚応答を生成し得る。視覚応答の例としては、限定するものではないが、電子通信に適用される背景色、通信とともに表示されるテキスト、電子通信とともに含まれる縁取り色（border color）、電子通信とともに表示される画像、電子通信にリンクされたアニメーション化されたアバターなどがあり得る。

オーディオ応答生成モジュール４２５は、第１のユーザの感情状態を示す、いくつかのタイプの電子通信に関するオーディオ応答を生成し得る。オーディオ応答の例としては、限定するものではないが、ビープ、キュー（cues）、可聴テキストなどが含まれ得る。オーディオ応答は、第１のユーザによって作成される電子通信にリンクされ得る。触覚応答生成モジュール４３０は、第１のユーザの感情状態を表す触覚応答を生成し得る。触覚応答の例としては、温度、振動、圧力、タッピング、テクスチャなどが含まれ得る。第２のユーザは、第１のユーザによって作成された電子通信を受信すると同時に、モジュール２３０−ａによって生成された応答を受信し得る。その結果、電子通信は、感情コンテキストを用いて増強され得る。電子通信の受け手は、電子通信を送った当事者の感情状態をより良く理解し得る。応答生成モジュール２３０−ａはまた、応答をリアルタイムで生成し得る。したがって、リアルタイム通信（たとえば、電話呼）の参加者は、通信中に生成された応答を介して他の当事者のリアルタイムの感情状態に気づき得る。

一構成では、選好入力モジュール４１０は、第２のユーザから入力を受信し得る。入力は、様々なタイプの電子通信に関してどの（１つまたは複数の）応答を生成すべきかに関係する、第２のユーザの選好を含み得る。たとえば、第２のユーザは、いくつかの電子通信（たとえば、電話呼、ボイスメールなど）に関する触覚ベースの応答と、他のタイプの通信（たとえば、電子メール、テキストメッセージなど）に関する視覚応答とを生成することを望み得る。選好入力モジュール４１０は、また、第２のユーザが電子通信に関する複数のタイプの応答を生成すべきかどうかを選択することを可能にし得る。たとえば、第２のユーザは、いくつかの電子通信に関するオーディオ応答と組み合わせて触覚ベースの応答を生成することを望み得る。選好入力モジュール４１０はまた、第２のユーザが、モバイルデバイス１１５−ｂ−２のロケーション、モバイルデバイス１１５−ｂ−２に存在する背景雑音のレベルなどに基づいて生成すべき応答のタイプを選択することを可能にし得る。

応答生成モジュール２３０−ａは、さらに、電子通信と同期して応答を生成し、提供し得る。同期は、分析モジュール２２５−ａによって抽出された時間インジケータを使用することによって達成され得る。たとえば、第２のモバイルデバイス１１５−ｂ−２は、第１の時間期間においてボイスメール（または他のタイプの電子通信）を受信し、記憶し得る。分析モジュール２２５−ａは、ボイスメールが発信された時点の送信当事者の感情状態を決定し得る。決定された感情状態は、記憶されたボイスメールにリンクされ得る。第２の時間期間において、受信当事者は、記憶されたボイスメールにアクセスし得る。応答生成モジュール２３０−ａは、送信当事者のあらかじめ決定された感情状態を表す応答を生成し得る。応答は、受信当事者がボイスメールを聴いている間に、受信当事者に与えられ得る。一例として、応答は、アニメーション化されたアバターを含み得る。アバターは、ボイスメールの送信者の感情状態を描写するために、ボイスメールの再生中にアニメーション化され得る。別の例として、応答は、触覚ベースの応答であり得る。たとえば、ボイスメールの送信者の感情状態が「怒り」である場合、第２のモバイルデバイス１１５−ｂ−２は、ボイスメールの再生中に熱くなり得る。その結果、受信当事者は、ボイスメールが作成された時点の送信当事者の感情状態に気づく。様々なタイプの電子通信、ならびに生成されて通信に関連付けられ得る可能な応答のさらなる例が、以下に与えられる。以下の様々な例は、図１、図２、図３、または図４において説明したモバイルデバイスの例を指すことがある。以下で説明するタイプの電子通信に加えて、他のタイプの電子通信も、本システムおよび方法とともに使用され得る。

電話呼：上述のように、モバイルデバイス１１５のユーザは、リアルタイム電話呼に関与し得る。一構成では、第１のモバイルデバイス１１５−ｂ−１上の生理学的キャプチャモジュール３１５は、第１のユーザからの生理学的入力をキャプチャし得る。たとえば、第１のモバイルデバイス１１５−ｂ−１上のバイオセンサは、呼中に第１のユーザの感情コンテキストをモニタし得る。また、第１のユーザの追加の表情が、生理学的入力とともにキャプチャされ得る。たとえば、声キャプチャモジュール３０５は、声の表情をキャプチャし、生理学的入力への２次入力としての声の表情認識を実行し得る。覚醒レベルインジケータと誘意性レベルインジケータとは、キャプチャされたデータから識別され、第２のモバイルデバイス１１５−ｂ−２に送信され得る。

第２のデバイス１１５−ｂ−２の分析モジュール２２５−ａは、第１のユーザの感情状態を決定するために覚醒レベルインジケータと誘意性レベルインジケータとを分析し得る。決定された感情コンテキストは、たとえば、触覚応答を介して第２のモバイルデバイス１１５−ｂ−２の第２のユーザに伝達され得る。応答は、ペルチェ素子（Peltier element）を使用して熱の形態で与えられ得る。限定するものではないが、振動バースト（vibration burst）など、他の形態の触覚応答も使用され得る。また、追加の応答が触覚応答とともに使用され得る。たとえば、可聴キューが生成され得る。可聴キューは、第１のユーザが感情状態を変更したときを示すチャイムであり得る。たとえば、第１のユーザが動揺または興奮している場合、第２のモバイルデバイス１１５−ｂ−２は温まり始め得る。また、第１のユーザの感情コンテキストを伝達するために、特定の周波数、強度または持続時間の可聴チャイムが与えられ得る。第１のユーザが電話呼中に平静になった場合、第２のデバイス１１５−ｂ−２は冷え始め得る。また、第１のユーザの感情状態のこの変化を示す短い可聴チャイムが与えられ得る。触覚ベースの応答が振動を含む場合、振動強度、持続時間、および周波数は、第１のユーザの感情状態に応じて変動し得る。ハンズフリー通話の場合、第１のユーザの感情状態をコンテキスト化するために、視覚応答（たとえば、画像または背景色）が与えられ得る。その結果、第２のユーザ（または受信当事者）は、第２のモバイルデバイス１１５−ｂ−２に触ること、可聴キューを聴くこと、および／または第１のユーザ（または送信当事者）の感情ステータスを表す視覚応答を見ることによって、第１のユーザの感情状態を推測し得る。

テキストメッセージの書込み／読取り：テキストメッセージの例としては、電子メールメッセージ、ショートメッセージサービス（ＳＭＳ）メッセージ、ソーシャルネットワーキングウェブサイトへのポスト、インスタントメッセージング（ＩＭ）メッセージなどが含まれ得る。たとえば、第１のユーザはテキストメッセージを作成し得る。第１のユーザの顔の特徴／表情は、顔キャプチャモジュール３１０を介してキャプチャされ得る。生理学的キャプチャモジュール３１５はまた、第１のユーザに関する生理学的情報をキャプチャし得る。覚醒レベルインジケータおよび誘意性レベルインジケータは、キャプチャされた表情から識別され得る。インジケータは、たとえば、整数として符号化され、第２のデバイス１１５−ｂ−２に送信され得る。第２のデバイス１１５−ｂ−２は、符号化された整数から第１のユーザの感情コンテキストを決定し得る。応答生成応答モジュール２３０−ａは、第１のユーザの感情状態を表すための応答を生成し得る。たとえば、視覚応答生成モジュール４２０は、第１のユーザの感情状態に対応する画像を生成し得る。画像は、アバター画像、メッセージのための背景色、またはメッセージのための縁取り色を含み得る。画像は、テキストメッセージが閲覧されるときに、第２のユーザに与えられ得る。

別の例では、第１のユーザの顔の表情は、第１のユーザがメッセージを書くときにリアルタイムでキャプチャされ得る。メッセージが閲覧されるときに、アニメーション化されたアバターが第２のユーザに与えられ得る。別の例では、アニメーション化されたアバター（または他の抽象的な画像）は、メッセージが第２のユーザに読み取られているときに、テキスト・トゥ・スピーチ・システムと同期して動き得る。

ボイスメールメッセージの記録／リスニング：第１のユーザがボイスメールメッセージを記録するときに感情状態情報をキャプチャするために、声の表情認識（および場合によってはバイオセンサデータ）が使用され得る。キャプチャされた情報は、覚醒レベルおよび誘意性レベルを表す整数として情報を符号化することによって覚醒レベルインジケータおよび誘意性レベルインジケータに圧縮され得る。符号化された情報は第２のデバイス１１５−ｂ−２に送信され得る。第１のユーザの覚醒レベルおよび誘意性レベルを示す符号化された情報は、メタデータとして第２のユーザのボイスメールメッセージインボックスに伝達され得る。第２のユーザがインボックスにアクセスしてメッセージを聴くときには、符号化データは、第２のデバイス１１５−ｂ−２上で、熱または振動などの触覚応答としてレンダリングされ得る。また、可聴キューは、ボイスメールメッセージが記録された間の第１のユーザの感情コンテキストを第２のユーザに与えるために使用され得る。

着信呼／メッセージ通知：一例では、第１のユーザが電話をかけるときには、第１のユーザの感情状態を決定するために、顔の表情および／または生理学的データがキャプチャされ得る。第１のユーザの現在および／または過去の感情状態を表すメタデータは、第２のモバイルデバイス１１５−ｂ−２に送られ得る。応答生成モジュール２３０−ａは、第１のユーザの感情ステータスを反映する視覚画像としてメタデータをレンダリングし得る。視覚画像は、第２のモバイルデバイス１１５−ｂ−２のディスプレイセクション上に表示される背景色、アバター画像、または第１のユーザの感情状態を伝達するための何らかの他の画像を含み得る。たとえば、第１のユーザの「怒っている」感情状態を表すために、火の画像が表示され得る。メタデータはまた、触覚応答および／またはオーディオ応答としてレンダリングされ得る。これらの応答は、第１のユーザの感情ステータスに関して第２のユーザにキューを出すために、強度、周波数、および／または持続時間を変化させ得る。生成された応答は、第２のユーザが第１のユーザのデバイスからの着信呼を通知されたときに与えられ得る。第２のユーザは、第１のユーザからの着信呼またはメッセージに答えるべきか否かを決定するために応答を使用し得る。

ロギングされた呼、メッセージ、ボイスメール：一例では、第１のユーザから発信した呼、メッセージ、またはボイスメールが、第２のユーザによって失われ得る。第２のモバイルデバイス１１５−ｂ−２は、失われた電子通信をロギングし得る。一構成では、上記で説明したように、応答が応答生成モジュール２３０ａによって生成され、失われた通信とともにロギングされ得る。たとえば、呼またはボイスメールが行われたとき、またはメッセージが送られたときの第１のユーザの感情ステータスを表す静止画像が生成され得る。応答は、第２のユーザが、ロギングされた通信に関する情報にアクセスしたときに、第２のユーザに与えられ得る。

リアルタイムステータス：一構成では、第１のユーザは、リアルタイムストリーミング感情ステータスを得るためにバイオセンサを着用し得る。リアルタイム感情コンテキストは、電子情報を増強するために、視覚画像、触覚ベースの応答、および／または可聴キューを使用してレンダリングされ得る。たとえば、ソーシャルネットワーキングウェブサイト上の第１のユーザのプロファイルは、第１のユーザの感情ステータスを用いてリアルタイムで更新され得る。第１のユーザのプロファイルの閲覧者は、生成された応答を介して第１のユーザの感情状態にリアルタイムで気づき得る。同様に、電子アドレス帳中の人々のプロファイルも、彼らの現在の感情ステータスを用いてリアルタイムで更新され得る。その結果、電子アドレス帳の所有者は、その所有者の電子アドレス帳中に含まれる個人の感情ステータスをリアルタイムで知り得る。

ネットワーク化されたゲーミング：また、ネットワーク化されたゲーミング環境は、ゲームプレイとネットワーク化された当事者間の通信とを向上させるために、参加しているユーザの感情ステータスを伝達し得る。基本感情ステータスが、顔の表情、バイオセンサ、および／または声の表情を介して決定され得る。感情ステータスは、ロギングされ、表情を提供したユーザを模倣するためにゲーミングアバターの顔の表情としてレンダリングされ得る。ユーザの感情ステータスを表すために、他の応答も上記で説明したように生成され得る。

ビデオ呼、ビデオチャット、またはビデオ会議：第１のユーザのコンテキストモダリティは、一般に、第２のユーザが見るべきビデオ呼中に存在するが（すなわち、言葉、声の表情、顔の表情）、第１のユーザの感情の状態を強調するために、追加の感情コンテキストが使用され得る。たとえば、ビデオ呼中に、第１のユーザの感情状態と同期して色を変化させる縁取りが、第１のユーザの周りに生成され得る。また、触覚ベースの応答が、第１のユーザの感情ステータスを示すために生成され得る。たとえば、第２のデバイス１１５−ｂ−２が、ビデオ呼中に第２のユーザが第１のユーザの顔の表情を精確に解釈する困難を増大させる比較的小さいディスプレイスクリーンを含むときには、触覚ベース応答が生成され得る。

図５は、触覚応答生成モジュール４３０ａの一例を示すブロック図５００である。モジュール４３０−ａは、図４のモジュール４３０の一例であり得る。触覚応答生成モジュール４３０−ａは、図１、図２、図３、または図４のモバイルデバイス１１５中に実装され得る。一構成では、モジュール４３０−ａは、温度応答生成モジュール５０５と、振動応答生成モジュール５１０と、圧力応答生成モジュール５１５と、テクスチャ応答生成モジュール５２０と、タッピング応答生成モジュール５２５とを含み得る。ユーザの感情状態を表すための異なるタイプの触覚ベースの応答を作成するために、様々なモジュールが使用され得る。

一例では、温度応答生成モジュール５０５は、モバイルデバイス１１５の温度をユーザの感情ステータスに基づいて変化させる触覚応答を生成し得る。たとえば、（第１のモバイルデバイス１１５−ｂ−１によって検出される）第１のユーザのＧＳＲレベル（またはＧＳＲ応答のレート）が増加するにつれて、第２のモバイルデバイス１１５−ｂ−２の温度は線形的に増加し得る。その結果、第２のユーザは、第２のモバイルデバイス１１５−ｂ−２を持っている間に、デバイス１１５−ｂ−２の温度の上昇または低下を知覚し得る。温度の変化は、第１のユーザの対応する感情ステータスを示し得る。温度ベースの触覚応答は、第２のユーザの皮膚と接触している第２のモバイルデバイス１１５−ｂ−２の背面および／または側面の温度をシフトするための熱電冷却器（ＴＥＣ：Thermoelectric Cooler）またはペルチェ素子を使用して生成され得る。

一構成では、振動応答生成モジュール５１０は、受信デバイス上でレンダリングされる振動を使用して触覚応答を生成し得る。人間の振動の知覚は、おおよそ１００Ｈｚから約１ｋＨｚまでの間である。ピークの知覚は約２５０Ｈｚであり得る。モジュール５１０は、第１のユーザのＧＳＲレベルまたはＧＳＲ応答の数に応じて振動の特性（たとえば、振幅、周波数、および持続時間）を変更し得る。振動は、連続的に変化する振動ではなく短い振動バーストによって示される感情の変化を示すために使用され得る。モジュール５１０は、振動ベースの触覚応答を生成するために、以下のアクチュエータ、すなわち、偏心回転質量（ＥＲＭ：Eccentric Rotating Mass）、線形共振アクチュエータ（ＬＲＡ：Linear Resonant Actuator）、多機能アクチュエータ（ＭＦＡ：Multi-Function Actuator）、および圧電アクチュエータを使用し得る。

以下の例は、振動応答生成モジュール５１０によって生成され得る振動ベースの応答の使用を示している。たとえば、電話の会話中に、第１のモバイルデバイス１１５−ｂ−１によって検出される第１のユーザの覚醒レベルおよび／または誘意性レベルは、所与のしきい値よりも増大し得る。第２のユーザによって使用される第２のモバイルデバイス１１５−ｂ−２は、第１のユーザの怒り／興奮を示すためにピークの人間感度（２５０Ｈｚ）に近い高振幅振動で短いバーストを振動させ得る。一方、第１のユーザの覚醒レベルおよび／または誘意性レベルが所与のしきい値を下回って減少した場合、第２のモバイルデバイス１１５−ｂ−２は、第１のユーザの平静な状態を示すために、周波数がより高くなり得る、より低い振幅の振動で短いバーストを振動させ得る。

圧力応答生成モジュール５１５は、圧力技法を使用して触覚応答を生成し得る。たとえば、モジュール５１５は、ユーザの手／指上に皮膚力を加える電気活性ポリマー（ＥＡＰ）アクチュエータを含み得る。アクチュエータの材料はいくつかの方法で使用され得る。たとえば、ＥＡＰは、デバイスの背面および／または側面上に設置され得る。第１のユーザの覚醒レベルおよび／または誘意性レベルが増加するとき、アクチュエータは、デバイスを持つ第２のユーザの皮膚上に圧力を及ぼし得る。アクチュエータ材料は、第２のユーザの手の上に標準圧力を生み出し得る単一の大きなストリップであり得る（たとえば、第１のユーザの覚醒レベルおよび／または誘意性レベルが増大／減少するときに、材料は膨張／収縮し得る）。

一例では、テクスチャ生成モジュール５２０は、テクスチャベースの触覚応答を生成し得る。人間は、触覚走査を使用せずに約２マイクロメートルの変形を知覚することができ、触覚走査を用いて約０．０７マイクロメートルまでの変形を知覚し得る。人間は、一般に、指先を用いた横方向走査を介してテクスチャを知覚する。ＥＡＰアクチュエータは、覚醒レベルおよび／または誘意性レベルが高いときに、デバイスの背面および／または側面上に粗いテクスチャを作り出すように個々に拡張する、デバイスの背面および／または側面上に分散している一連の小さいドットとして使用され得る。ユーザが平静なときには、ドットは滑らかになり得る。入力電圧から制御される素子の超音波振動を介して表面の摩擦係数を変化させ得る表面に接合された圧電素子など、テクスチャをレンダリングするための他の方法も使用され得る。そのような素子は、デバイスの側面および／または背面上に配置され得る。アクチュエータの摩擦を制御する係数は、ユーザの感情ステータスに応じて変化し得る。たとえば、デバイスは、変化する感情状態に伴ってより粗く／より滑らかになり得る。

タッピング応答生成モジュール５２５は、タッピング感覚に基づいて触覚応答を生成するために使用され得る。人間のタップの知覚は、おおよそ２０Ｈｚ未満である。覚醒および誘意性レベルが増大するにつれて、タップの周波数が増加し得る（または振幅が増加し得る）。覚醒および誘意性レベルが低下するにつれて、タップの周波数が低くなり得る（または振幅が減少し得る）。タップの皮膚触覚作動は、ユーザの覚醒および誘意性パターンに従って皮膚圧力を振動させるデバイスの側面および／または背面上のＥＡＰアクチュエータを使用することによって供給され得る。さらに、より強力な運動感覚タッピング応答を供給するために、リニアモータフォースフィードバックアクチュエータ（linear motor force feedback actuator）がモジュール５２５中に含まれ得る。

次に図６を参照すると、感情コンテキストを用いて電子通信を向上させるための方法６００が示されている。方法６００は、図１、図２、図３、または図４のモバイルデバイス１１５によって実装され得る。一例では、方法６００は、受信機２２０と分析モジュール２２５と応答生成モジュール２３０とによって実装され得る。

ブロック６０５において、第１のデバイスから電子通信が受信される。たとえば、通信は、第１のモバイルデバイス１１５−ｂ−１から受信され得る。通信は、電話呼、テキストメッセージ、ボイスメールメッセージ、ビデオメッセージ、電子メールなどを含み得る。ブロック６１０において、第１のデバイス１１５−ｂ−１の第１のユーザのキャプチャされた表情に基づくデータが受信される。第１のユーザの表情は、第１のモバイルデバイス１１５−ｂ−１においてキャプチャされ得る。一構成では、ブロック６１５において、受信されたデータに基づく触覚応答が生成される。触覚応答は、受信された電子通信に関連し得る。電子通信の再生中に、触覚応答は、感情コンテキストを用いて通信を増強するために与えられ得る。

したがって、方法６００は、モバイルデバイス１１５が、通信を発信したユーザの感情状態情報を用いて電子通信を向上させることを可能にする。方法６００は一実装形態にすぎないこと、および方法６００の動作は、他の実装形態が可能であるように並べ替えられまたは他の形で変更され得ることに留意されたい。

図７は、生成すべき触覚応答のタイプを決定するための方法７００の一例を示すフローチャートである。方法７００は、図１、図２、図３、または図４のモバイルデバイス１１５によって実行され得る。一例では、本方法は、受信機２２０、分析モジュール２２５、および応答生成モジュール２３０によって実行され得る。

ブロック７０５において、第１のモバイルデバイス１１５−ｂ−１から電子通信が受信される。ブロック７１０において、第１のデバイスのユーザ（第１のユーザ）のキャプチャされた表情に基づくデータが受信される。表情は、第１のモバイルデバイス１１５−ｂ−１においてキャプチャされ得る。ブロック７１５において、カスタマイズされた触覚応答が生成されるべきかどうかに関する決定が行われる。たとえば、ユーザがある特定のタイプの触覚応答を選好するかどうかを決定するために、ユーザ選好が分析され得る。選好はまた、特定のタイプの応答が、第１のデバイス１１５−ｂ−１から受信された電子通信のタイプに基づいて生成されるべきかどうかを決定するために分析され得る。カスタマイズされた触覚応答が生成されるべきでないと決定された場合、ブロック７２５において、第１のユーザのキャプチャされた表情に基づいた受信されたデータについてのデフォルトの触覚応答が生成される。しかし、カスタマイズされた触覚応答が生成されるべきであると決定された場合、ブロック７２０において、１つまたは複数のユーザ選好に基づいた応答が生成される。デフォルトの触覚応答またはカスタマイズされた触覚応答を生成した後、方法７００は、戻って、第１のデバイス１１５−ｂ−１から通信を受信することができる。

したがって、方法７００は、特定の触覚応答を用いて通信を増強することによって、モバイルデバイス１１５が、通信を発信したユーザの感情状態情報を用いて電子通信を向上させることを可能にする。方法７００は一実装形態にすぎないこと、および方法７００の動作は、他の実装形態が可能であるように並べ替えられまたは他の形で変更され得ることに留意されたい。

図８は、感情コンテキストを用いて電子通信を向上させる方法８００の他の一例を示すフローチャートである。方法８００は、図１、図２、図３、または図４のモバイルデバイス１１５によって実行され得る。一例では、本方法は、受信機２２０、分析モジュール２２５、および応答生成モジュール２３０によって実行され得る。

ブロック８０５において、第１のモバイルデバイス１１５−ｂ−１から電子通信が受信される。ブロック８１０において、第１のデバイスの第１のユーザのキャプチャされた表情に基づくデータが受信される。表情は、第１のモバイルデバイス１１５−ｂ−１においてキャプチャされ得る。ブロック８１５において、第１のユーザの感情の状態を表す１つまたは複数のインジケータを抽出するために、受信されたデータが分析される。インジケータは、第１のユーザの覚醒レベルおよび誘意性レベルを示す１〜１０の間の整数であり得る。第１のユーザの感情ステータスは、抽出された１つまたは複数のインジケータに基づいて決定され得る。

ブロック８２０において、カスタマイズされた触覚応答が生成されるべきかどうかに関する決定が行われる。カスタマイズされた触覚応答が生成されるべきでないと決定された場合、ブロック８２５において、デフォルトの触覚応答が生成される。しかし、カスタマイズされた触覚応答が生成されるべきであると決定された場合、ブロック８３０において、追加の応答がその触覚応答とともに生成されるべきかどうかに関する決定が行われる。追加の応答が生成されないと決定された場合、ブロック８３５において、１つまたは複数のユーザ選好に基づいて触覚応答が生成される。しかし、追加の応答が生成されるべきであると決定された場合、ブロック８４０において、追加の応答が生成される。追加の応答は、視覚応答および／または可聴応答を含み得る。ブロック８４５において、触覚応答が生成される。ブロック８５０において、第２のモバイルデバイス１１５−ｂ−２の第２のユーザに対して触覚応答および追加の応答が同時に与えられる。第２のユーザは、生成された応答を使用して、受信された電子通信に関連して第１のユーザの現在および／または過去の感情状態に気づくことができる。（１つまたは複数の）応答を生成した後、方法８００は、戻って、第１のデバイス１１５−ｂ−１から通信を受信することができる。

したがって、方法８００は、ユーザの感情ステータスを表す１つまたは複数の応答を使用して、モバイルデバイス１１５がユーザの感情状態情報を用いて電子通信を向上させることを可能にする。方法８００は一実装形態にすぎないこと、および方法８００の動作は、他の実装形態が可能であるように並べ替えられまたは他の形で変更され得ることに留意されたい。

次に図９を参照すると、ユーザの覚醒レベルおよび誘意性レベルに基づいてユーザの感情状態を決定するための方法９００が与えられている。方法９００は、図１、図２、図３、または図４のモバイルデバイス１１５によって実行され得る。一構成では、方法９００は、受信機２２０、分析モジュール２２５、および応答生成モジュール２３０によって実装され得る。

ブロック９０５において、第１のモバイルデバイス１１５−ｂ−１などの第１のデバイスから電子通信が受信される。ブロック９１０において、第１のデバイスの第１のユーザのキャプチャされた表情に基づくデータが受信される。第１のユーザの表情は第１のデバイスにおいてキャプチャされ得る。ブロック９１５において、覚醒レベルインジケータおよび誘意性レベルインジケータを抽出するためにデータが分析される。インジケータは、第１のユーザの覚醒レベルおよび誘意性レベルを表す整数であり得る。ブロック９２０において、覚醒レベルインジケータおよび誘意性レベルインジケータに基づいて第１のユーザの感情状態が決定される。ブロック９２５において、第１のユーザの決定された感情状態に基づいて触覚応答が生成される。触覚応答は、受信された電子通信に関連するか、またはリンクされ得る。

したがって、方法９００は、モバイルデバイス１１５が、ユーザの覚醒レベルおよび誘意性レベルに基づいてユーザの感情状態を決定することを可能にする。方法９００は一実装形態にすぎないこと、および方法９００の動作は、他の実装形態が可能であるように並べ替えられまたは他の形で変更され得ることに留意されたい。

上記で説明したように、モバイルデバイス１１５は、ユーザの表情をキャプチャし、ユーザの覚醒レベルおよび誘意性レベルを決定するために表情からいくつかの特徴を識別し得る。決定されたレベルを表すインジケータが符号化され得る。一例では、インジケータは、電子通信とともに他のモバイルデバイス１１５に送信され得る。他のモバイルデバイス１１５は、ユーザの感情状態を決定するためにインジケータを分析し得る。電子通信が他のモバイルデバイス１１５上でアクセスされるときには、決定された感情状態を表すための触覚応答が生成され得る。その結果、電子通信は、感情コンテキストを用いて増強され得る。そのような電子通信の受信者は、通信の発信者の精確な感情ステータスに気づき得る。

添付の図面に関して上記に記載した詳細な説明は、例示的な実施形態について説明しており、実装され得るまたは特許請求の範囲内に入る実施形態のみを表すものではない。この説明全体にわたって使用する「例示的」という用語は、「例、事例、または例示の働きをすること」を意味し、「好ましい」または「他の実施形態よりも有利な」を意味しない。詳細な説明は、説明する技法の理解を与えるための具体的な詳細を含む。ただし、これらの技法は、これらの具体的な詳細なしに実施され得る。場合によっては、説明する実施形態の概念を不明瞭にしないように、よく知られている構造およびデバイスをブロック図の形式で示す。

情報および信号は、多種多様な技術および技法のいずれかを使用して表され得る。たとえば、上記の説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁界または磁性粒子、光場または光学粒子、あるいはそれらの任意の組合せによって表され得る。

本明細書の開示に関連して説明した様々な例示的なブロックおよびモジュールは、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のプログラマブル論理デバイス、個別ゲートまたはトランジスタロジック、個別ハードウェアコンポーネント、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであり得る。プロセッサは、コンピューティングデバイスの組合せ、たとえばＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成としても実装され得る。

本明細書で説明した機能は、ハードウェア、プロセッサによって実行されるソフトウェア、ファームウェア、またはそれらの組合せで実装され得る。プロセッサによって実行されるソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。他の例および実装形態は、本開示および添付の特許請求の範囲および趣旨内に入る。たとえば、ソフトウェアの性質により、上記で説明した機能は、プロセッサ、ハードウェア、ファームウェア、ハードワイヤリング、またはこれらのうちのいずれかの組合せによって実行されるソフトウェアを使用して実装され得る。機能を実装する特徴はまた、機能の部分が、異なる物理ロケーションにおいて実装されるように分散されることを含めて、様々な位置に物理的に配置され得る。また、特許請求の範囲を含めて、本明細書で使用される場合、「のうちの少なくとも１つ」で終わる項目の列挙中で使用される「または」は、たとえば、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」の列挙は、ＡまたはＢまたはＣ、またはＡＢまたはＡＣまたはＢＣまたはＡＢＣ（すなわち、ＡおよびＢおよびＣ）を意味するような選言的列挙を示す。

コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、汎用または専用コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、コンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコード手段を搬送または記憶するために使用され得、汎用もしくは専用コンピュータまたは汎用もしくは専用プロセッサによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびブルーレイ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれる。

本開示についての以上の説明は、当業者が本開示を作成または使用することができるように与えたものである。本開示への様々な修正は当業者には容易に明らかとなり、本明細書で定義した一般原理は、本開示の趣旨または範囲から逸脱することなく他の変形形態に適用され得る。本開示全体にわたって、「例」または「例示的」という用語は、一例または一事例を示すものであり、言及した例についての選好を暗示せず、または必要としない。したがって、本開示は、本明細書で説明する例および設計に限定されるべきでなく、本明細書で開示する原理および新規の特徴に合致する最も広い範囲を与えられるべきである。

本開示についての以上の説明は、当業者が本開示を作成または使用することができるように与えたものである。本開示への様々な修正は当業者には容易に明らかとなり、本明細書で定義した一般原理は、本開示の趣旨または範囲から逸脱することなく他の変形形態に適用され得る。本開示全体にわたって、「例」または「例示的」という用語は、一例または一事例を示すものであり、言及した例についての選好を暗示せず、または必要としない。したがって、本開示は、本明細書で説明する例および設計に限定されるべきでなく、本明細書で開示する原理および新規の特徴に合致する最も広い範囲を与えられるべきである。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
感情コンテキストを用いて電子通信を向上させるための方法であって、
第１のデバイスから、前記第１のデバイスにおいてキャプチャされたユーザの表情に基づくデータを含む電子通信を受信することと、
前記キャプチャされた表情に基づく前記受信されたデータについて触覚応答を生成することであって、前記触覚応答が前記受信された電子通信に関連する、生成することと
を含む、方法。
［Ｃ２］
前記第１のデバイスのユーザの感情状態を表すインジケータを抽出するために前記受信されたデータを分析することと、
前記抽出されたインジケータに基づいて前記第１のデバイスのユーザの前記感情状態を決定することと、
前記決定された感情状態に基づいて前記触覚応答を生成することと
をさらに含む、Ｃ１に記載の方法。
［Ｃ３］
前記第１のデバイスのユーザのリアルタイム感情状態を表す時間インジケータを抽出するために前記受信されたデータを分析すること
をさらに含む、Ｃ２に記載の方法。
［Ｃ４］
時間インジケータを使用して、前記触覚応答の前記生成を前記受信された電子通信の再生と同期させること
をさらに含む、Ｃ２に記載の方法。
［Ｃ５］
前記インジケータが、
前記第１のデバイスのユーザの前記キャプチャされた表情に関連する覚醒レベルおよび誘意性レベル
を含む、Ｃ２に記載の方法。
［Ｃ６］
前記覚醒レベルが、前記第１のデバイスのユーザの前記キャプチャされた表情に関連する強度のレベルを示す、Ｃ５に記載の方法。
［Ｃ７］
前記誘意性レベルが、前記第１のデバイスのユーザの前記キャプチャされた身体的表情に関連する快感情のレベルを示す、Ｃ５に記載の方法。
［Ｃ８］
複数のインジケータを抽出するために前記受信されたデータを分析することであって、各抽出されたインジケータが複数の異なる時間期間の各々における前記第１のデバイスのユーザの感情状態を表す、分析することと、
前記抽出されたインジケータの各々に基づいて前記第１のデバイスのユーザの感情状態を決定することと、
複数の触覚応答を生成することであって、各触覚応答が前記決定された感情状態のうちの１つを表す、生成することと
をさらに含む、Ｃ１に記載の方法。
［Ｃ９］
前記第１のデバイスのユーザの前記キャプチャされた表情に基づく前記受信されたデータに応答して画像を生成することと、
前記生成された触覚応答と同時に前記生成された画像を表示することであって、前記画像および前記触覚応答が前記第１のデバイスのユーザの感情状態を表す、表示することと
をさらに含む、Ｃ１に記載の方法。
［Ｃ１０］
前記第１のデバイスのユーザの前記キャプチャされた表情に基づいて前記生成されたデータに応答してオーディオキューを生成することと、
前記生成された触覚応答と同時に前記生成されたオーディオキューを出力することであって、前記オーディオキューおよび前記触覚応答が前記第１のデバイスのユーザの感情状態を表す、出力することと
をさらに含む、Ｃ１に記載の方法。
［Ｃ１１］
ユーザによって選択された選好に基づいて前記触覚応答を生成すること
をさらに含む、Ｃ１に記載の方法。
［Ｃ１２］
前記第１のデバイスから受信された前記電子通信のタイプに基づいて前記触覚応答を生成すること
をさらに含む、Ｃ１に記載の方法。
［Ｃ１３］
ロケーション情報に基づいて前記触覚応答を生成すること
をさらに含む、Ｃ１に記載の方法。
［Ｃ１４］
受信された雑音のレベルに基づいて前記触覚応答を生成すること
をさらに含む、Ｃ１に記載の方法。
［Ｃ１５］
前記ユーザの前記キャプチャされた表情が、
声の表情、
顔の表情、または
生理学的データ
を含む、Ｃ１に記載の方法。
［Ｃ１６］
前記触覚応答が、
温度ベースの触覚応答、
振動ベースの触覚応答、
圧力ベースの触覚応答、
テクスチャベースの触覚応答、または
タッピングベースの触覚応答
を含む、Ｃ１に記載の方法。
［Ｃ１７］
感情コンテキストを用いて電子通信を向上させるためのデバイスであって、
第１のデバイスから、前記第１のデバイスにおいてキャプチャされたユーザの表情に基づくデータを含む電子通信を受信するように構成された受信機と、
前記キャプチャされた表情に基づく前記受信されたデータについて触覚応答を生成するように構成された応答生成モジュールであって、前記触覚応答が、前記受信された電子通信に関連する、応答生成モジュールと
を含む、デバイス。
［Ｃ１８］
前記第１のデバイスのユーザの感情状態を表すインジケータを抽出するために前記受信されたデータを分析するように構成された分析モジュールをさらに含み、
前記分析モジュールが、前記抽出されたインジケータに基づいて前記第１のデバイスのユーザの前記感情状態を決定するようにさらに構成され、
前記応答生成モジュールが、前記決定された感情状態に基づいて前記触覚応答を生成するようにさらに構成された、Ｃ１７に記載のデバイス。
［Ｃ１９］
前記分析モジュールが、前記第１のデバイスのユーザのリアルタイム感情状態を表す時間インジケータを抽出するために前記受信されたデータを分析するようにさらに構成された、Ｃ１８に記載のデバイス。
［Ｃ２０］
前記応答生成モジュールが、時間インジケータを使用して、前記触覚応答の前記生成を前記受信された電子通信の再生と同期させるようにさらに構成された、Ｃ１８に記載のデバイス。
［Ｃ２１］
前記インジケータが、
前記第１のデバイスのユーザの前記キャプチャされた表情に関連する覚醒レベルおよび誘意性レベル
を含む、Ｃ１８に記載のデバイス。
［Ｃ２２］
前記覚醒レベルが、前記第１のデバイスのユーザの前記キャプチャされた表情に関連する強度のレベルを示す、Ｃ２１に記載のデバイス。
［Ｃ２３］
前記誘意性レベルが、前記第１のデバイスのユーザの前記キャプチャされた身体的表情に関連する快感情のレベルを示す、Ｃ２１に記載のデバイス。
［Ｃ２４］
分析モジュールが、
複数のインジケータを抽出するために前記受信されたデータを分析することであって、各抽出されたインジケータが複数の異なる時間期間の各々における前記第１のデバイスのユーザの感情状態を表す、分析することと、
前記抽出されたインジケータの各々に基づいて前記第１のデバイスのユーザの感情状態を決定することと
を行うようにさらに構成され、
前記応答生成モジュールが、複数の触覚応答を生成するようにさらに構成され、各触覚応答が前記決定された感情状態のうちの１つを表す、Ｃ１７に記載のデバイス。
［Ｃ２５］
前記応答生成モジュールが、
前記第１のデバイスのユーザの前記キャプチャされた表情に基づく前記受信されたデータに応答して画像を生成することと、
前記生成された触覚応答と同時に前記生成された画像を表示することであって、前記画像および前記触覚応答が前記第１のデバイスのユーザの感情状態を表す、表示することと
を行うようにさらに構成された、Ｃ１７に記載のデバイス。
［Ｃ２６］
前記応答生成モジュールが、
前記第１のデバイスのユーザの前記キャプチャされた表情に基づく前記生成されたデータに応答してオーディオキューを生成することと、
前記生成された触覚応答と同時に前記生成されたオーディオキューを出力することであって、前記オーディオキューおよび前記触覚応答が前記第１のデバイスのユーザの感情状態を表す、出力することと
を行うようにさらに構成された、Ｃ１７に記載のデバイス。
［Ｃ２７］
前記応答生成モジュールが、ユーザによって選択された選好に基づいて前記触覚応答を生成するようにさらに構成された、Ｃ１７に記載のデバイス。
［Ｃ２８］
前記応答生成モジュールが、前記第１のデバイスから受信された前記電子通信のタイプに基づいて前記触覚応答を生成するようにさらに構成された、Ｃ１７に記載のデバイス。
［Ｃ２９］
前記応答生成モジュールが、ロケーション情報に基づいて前記触覚応答を生成するようにさらに構成された、Ｃ１７に記載のデバイス。
［Ｃ３０］
前記応答生成モジュールが、受信された雑音のレベルに基づいて前記触覚応答を生成するようにさらに構成された、Ｃ１７に記載のデバイス。
［Ｃ３１］
前記ユーザの前記キャプチャされた表情が、
声の表情、
顔の表情、または
生理学的データ
を含む、Ｃ１７に記載のデバイス。
［Ｃ３２］
前記触覚応答が、
温度ベースの触覚応答、
振動ベースの触覚応答、
圧力ベースの触覚応答、
テクスチャベースの触覚応答、または
タッピングベースの触覚応答
を含む、Ｃ１７に記載のデバイス。
［Ｃ３３］
感情コンテキストを用いて電子通信を向上させるためのシステムであって、
第１のデバイスのユーザの表情をキャプチャすることと、
前記ユーザの前記キャプチャされた表情に基づいてデータを生成することと、
前記生成されたデータを送信することと
を行うように構成された第１のデバイスと、
前記キャプチャされた表情に基づく前記生成されたデータを受信することと、
前記キャプチャされた表情に基づく前記生成されたデータについて触覚応答を生成することと
を行うように構成された第２のデバイスと
を含む、システム。
［Ｃ３４］
前記キャプチャされた表情に基づくデータの前記生成は、
前記キャプチャされた表情に関連する覚醒レベルおよび誘意性レベルを識別することであって、前記覚醒レベルおよび前記誘意性レベルが前記第１のデバイスのユーザの感情状態を表す、覚醒レベルおよび誘意性レベルを識別することと、
前記第１のデバイスのユーザのリアルタイム感情状態を表す時間インジケータを識別することと、
前記識別された覚醒レベルと、誘意性状態と、時間インジケータとを表すデータを符号化することと
を含む、Ｃ３３に記載のシステム。
［Ｃ３５］
前記覚醒レベルが、前記第１のデバイスのユーザの前記キャプチャされた表情に関連する強度のレベルを示す、Ｃ３４に記載のシステム。
［Ｃ３６］
前記誘意性レベルが、前記第１のデバイスのユーザの前記キャプチャされた表情に関連する快感情のレベルを示す、Ｃ３４に記載のシステム。
［Ｃ３７］
前記キャプチャされた表情に基づくデータの前記生成は、
複数の異なる時間期間の各々における前記キャプチャされた表情に関連する覚醒レベルおよび誘意性レベルを識別することであって、前記覚醒レベルおよび前記誘意性レベルが、前記複数の異なる時間期間の各々における前記第１のデバイスのユーザの感情状態を表す、覚醒レベルおよび誘意性レベルを識別することと、
前記複数の異なる時間期間の各々における前記識別された覚醒レベルおよび誘意性レベルを表すデータを符号化することと
を含む、Ｃ３３に記載のシステム。
［Ｃ３８］
感情コンテキストを用いて電子通信を向上させるためのシステムであって、
第１のデバイスのユーザの表情をキャプチャするための手段と、
前記ユーザの前記キャプチャされた表情に基づいてデータを生成するための手段と、
前記生成されたデータを送信するための手段と、
第２のデバイスにおいて、前記キャプチャされた表情に基づく前記生成されたデータを受信するための手段と、
前記第２のデバイスにおいて、前記キャプチャされた表情に基づく前記生成されたデータについて触覚応答を生成するための手段と
を含む、システム。
［Ｃ３９］
前記キャプチャされた表情に基づくデータを生成するための前記手段は、
前記キャプチャされた表情に関連する覚醒レベルおよび誘意性レベルを識別するための手段であって、前記覚醒レベルおよび前記誘意性レベルが前記第１のデバイスのユーザの感情状態を表す、覚醒レベルおよび誘意性レベルを識別するための手段と、
前記第１のデバイスのユーザのリアルタイム感情状態を表す時間インジケータを識別するための手段と、
前記識別された覚醒レベルと、誘意性状態と、時間インジケータとを表すデータを符号化するための手段と
を含む、Ｃ３８に記載のシステム。
［Ｃ４０］
非一時的コンピュータ可読媒体を備えるコンピュータプログラム製品であって、コンピュータ可読媒体は、
第１のデバイスから、前記第１のデバイスにおいてキャプチャされたユーザの表情に基づくデータを含む電子通信を受信するためのコードと、
前記キャプチャされた表情に基づく前記受信されたデータについて触覚応答を生成するためのコードであって、前記触覚応答が、前記受信された電子通信に関連する、生成するためのコードと
を含む、コンピュータプログラム製品。

Claims (40)

1. 感情コンテキストを用いて電子通信を向上させるための方法であって、
   第１のデバイスから、前記第１のデバイスにおいてキャプチャされたユーザの表情に基づくデータを含む電子通信を受信することと、
   前記キャプチャされた表情に基づく前記受信されたデータについて触覚応答を生成することであって、前記触覚応答が前記受信された電子通信に関連する、生成することと
   を含む、方法。
2. 前記第１のデバイスのユーザの感情状態を表すインジケータを抽出するために前記受信されたデータを分析することと、
   前記抽出されたインジケータに基づいて前記第１のデバイスのユーザの前記感情状態を決定することと、
   前記決定された感情状態に基づいて前記触覚応答を生成することと
   をさらに含む、請求項１に記載の方法。
3. 前記第１のデバイスのユーザのリアルタイム感情状態を表す時間インジケータを抽出するために前記受信されたデータを分析すること
   をさらに含む、請求項２に記載の方法。
4. 時間インジケータを使用して、前記触覚応答の前記生成を前記受信された電子通信の再生と同期させること
   をさらに含む、請求項２に記載の方法。
5. 前記インジケータが、
   前記第１のデバイスのユーザの前記キャプチャされた表情に関連する覚醒レベルおよび誘意性レベル
   を含む、請求項２に記載の方法。
6. 前記覚醒レベルが、前記第１のデバイスのユーザの前記キャプチャされた表情に関連する強度のレベルを示す、請求項５に記載の方法。
7. 前記誘意性レベルが、前記第１のデバイスのユーザの前記キャプチャされた身体的表情に関連する快感情のレベルを示す、請求項５に記載の方法。
8. 複数のインジケータを抽出するために前記受信されたデータを分析することであって、各抽出されたインジケータが複数の異なる時間期間の各々における前記第１のデバイスのユーザの感情状態を表す、分析することと、
   前記抽出されたインジケータの各々に基づいて前記第１のデバイスのユーザの感情状態を決定することと、
   複数の触覚応答を生成することであって、各触覚応答が前記決定された感情状態のうちの１つを表す、生成することと
   をさらに含む、請求項１に記載の方法。
9. 前記第１のデバイスのユーザの前記キャプチャされた表情に基づく前記受信されたデータに応答して画像を生成することと、
   前記生成された触覚応答と同時に前記生成された画像を表示することであって、前記画像および前記触覚応答が前記第１のデバイスのユーザの感情状態を表す、表示することと
   をさらに含む、請求項１に記載の方法。
10. 前記第１のデバイスのユーザの前記キャプチャされた表情に基づいて前記生成されたデータに応答してオーディオキューを生成することと、
    前記生成された触覚応答と同時に前記生成されたオーディオキューを出力することであって、前記オーディオキューおよび前記触覚応答が前記第１のデバイスのユーザの感情状態を表す、出力することと
    をさらに含む、請求項１に記載の方法。
11. ユーザによって選択された選好に基づいて前記触覚応答を生成すること
    をさらに含む、請求項１に記載の方法。
12. 前記第１のデバイスから受信された前記電子通信のタイプに基づいて前記触覚応答を生成すること
    をさらに含む、請求項１に記載の方法。
13. ロケーション情報に基づいて前記触覚応答を生成すること
    をさらに含む、請求項１に記載の方法。
14. 受信された雑音のレベルに基づいて前記触覚応答を生成すること
    をさらに含む、請求項１に記載の方法。
15. 前記ユーザの前記キャプチャされた表情が、
    声の表情、
    顔の表情、または
    生理学的データ
    を含む、請求項１に記載の方法。
16. 前記触覚応答が、
    温度ベースの触覚応答、
    振動ベースの触覚応答、
    圧力ベースの触覚応答、
    テクスチャベースの触覚応答、または
    タッピングベースの触覚応答
    を含む、請求項１に記載の方法。
17. 感情コンテキストを用いて電子通信を向上させるためのデバイスであって、
    第１のデバイスから、前記第１のデバイスにおいてキャプチャされたユーザの表情に基づくデータを含む電子通信を受信するように構成された受信機と、
    前記キャプチャされた表情に基づく前記受信されたデータについて触覚応答を生成するように構成された応答生成モジュールであって、前記触覚応答が、前記受信された電子通信に関連する、応答生成モジュールと
    を含む、デバイス。
18. 前記第１のデバイスのユーザの感情状態を表すインジケータを抽出するために前記受信されたデータを分析するように構成された分析モジュールをさらに含み、
    前記分析モジュールが、前記抽出されたインジケータに基づいて前記第１のデバイスのユーザの前記感情状態を決定するようにさらに構成され、
    前記応答生成モジュールが、前記決定された感情状態に基づいて前記触覚応答を生成するようにさらに構成された、請求項１７に記載のデバイス。
19. 前記分析モジュールが、前記第１のデバイスのユーザのリアルタイム感情状態を表す時間インジケータを抽出するために前記受信されたデータを分析するようにさらに構成された、請求項１８に記載のデバイス。
20. 前記応答生成モジュールが、時間インジケータを使用して、前記触覚応答の前記生成を前記受信された電子通信の再生と同期させるようにさらに構成された、請求項１８に記載のデバイス。
21. 前記インジケータが、
    前記第１のデバイスのユーザの前記キャプチャされた表情に関連する覚醒レベルおよび誘意性レベル
    を含む、請求項１８に記載のデバイス。
22. 前記覚醒レベルが、前記第１のデバイスのユーザの前記キャプチャされた表情に関連する強度のレベルを示す、請求項２１に記載のデバイス。
23. 前記誘意性レベルが、前記第１のデバイスのユーザの前記キャプチャされた身体的表情に関連する快感情のレベルを示す、請求項２１に記載のデバイス。
24. 分析モジュールが、
    複数のインジケータを抽出するために前記受信されたデータを分析することであって、各抽出されたインジケータが複数の異なる時間期間の各々における前記第１のデバイスのユーザの感情状態を表す、分析することと、
    前記抽出されたインジケータの各々に基づいて前記第１のデバイスのユーザの感情状態を決定することと
    を行うようにさらに構成され、
    前記応答生成モジュールが、複数の触覚応答を生成するようにさらに構成され、各触覚応答が前記決定された感情状態のうちの１つを表す、請求項１７に記載のデバイス。
25. 前記応答生成モジュールが、
    前記第１のデバイスのユーザの前記キャプチャされた表情に基づく前記受信されたデータに応答して画像を生成することと、
    前記生成された触覚応答と同時に前記生成された画像を表示することであって、前記画像および前記触覚応答が前記第１のデバイスのユーザの感情状態を表す、表示することと
    を行うようにさらに構成された、請求項１７に記載のデバイス。
26. 前記応答生成モジュールが、
    前記第１のデバイスのユーザの前記キャプチャされた表情に基づく前記生成されたデータに応答してオーディオキューを生成することと、
    前記生成された触覚応答と同時に前記生成されたオーディオキューを出力することであって、前記オーディオキューおよび前記触覚応答が前記第１のデバイスのユーザの感情状態を表す、出力することと
    を行うようにさらに構成された、請求項１７に記載のデバイス。
27. 前記応答生成モジュールが、ユーザによって選択された選好に基づいて前記触覚応答を生成するようにさらに構成された、請求項１７に記載のデバイス。
28. 前記応答生成モジュールが、前記第１のデバイスから受信された前記電子通信のタイプに基づいて前記触覚応答を生成するようにさらに構成された、請求項１７に記載のデバイス。
29. 前記応答生成モジュールが、ロケーション情報に基づいて前記触覚応答を生成するようにさらに構成された、請求項１７に記載のデバイス。
30. 前記応答生成モジュールが、受信された雑音のレベルに基づいて前記触覚応答を生成するようにさらに構成された、請求項１７に記載のデバイス。
31. 前記ユーザの前記キャプチャされた表情が、
    声の表情、
    顔の表情、または
    生理学的データ
    を含む、請求項１７に記載のデバイス。
32. 前記触覚応答が、
    温度ベースの触覚応答、
    振動ベースの触覚応答、
    圧力ベースの触覚応答、
    テクスチャベースの触覚応答、または
    タッピングベースの触覚応答
    を含む、請求項１７に記載のデバイス。
33. 感情コンテキストを用いて電子通信を向上させるためのシステムであって、
    第１のデバイスのユーザの表情をキャプチャすることと、
    前記ユーザの前記キャプチャされた表情に基づいてデータを生成することと、
    前記生成されたデータを送信することと
    を行うように構成された第１のデバイスと、
    前記キャプチャされた表情に基づく前記生成されたデータを受信することと、
    前記キャプチャされた表情に基づく前記生成されたデータについて触覚応答を生成することと
    を行うように構成された第２のデバイスと
    を含む、システム。
34. 前記キャプチャされた表情に基づくデータの前記生成は、
    前記キャプチャされた表情に関連する覚醒レベルおよび誘意性レベルを識別することであって、前記覚醒レベルおよび前記誘意性レベルが前記第１のデバイスのユーザの感情状態を表す、覚醒レベルおよび誘意性レベルを識別することと、
    前記第１のデバイスのユーザのリアルタイム感情状態を表す時間インジケータを識別することと、
    前記識別された覚醒レベルと、誘意性状態と、時間インジケータとを表すデータを符号化することと
    を含む、請求項３３に記載のシステム。
35. 前記覚醒レベルが、前記第１のデバイスのユーザの前記キャプチャされた表情に関連する強度のレベルを示す、請求項３４に記載のシステム。
36. 前記誘意性レベルが、前記第１のデバイスのユーザの前記キャプチャされた表情に関連する快感情のレベルを示す、請求項３４に記載のシステム。
37. 前記キャプチャされた表情に基づくデータの前記生成は、
    複数の異なる時間期間の各々における前記キャプチャされた表情に関連する覚醒レベルおよび誘意性レベルを識別することであって、前記覚醒レベルおよび前記誘意性レベルが、前記複数の異なる時間期間の各々における前記第１のデバイスのユーザの感情状態を表す、覚醒レベルおよび誘意性レベルを識別することと、
    前記複数の異なる時間期間の各々における前記識別された覚醒レベルおよび誘意性レベルを表すデータを符号化することと
    を含む、請求項３３に記載のシステム。
38. 感情コンテキストを用いて電子通信を向上させるためのシステムであって、
    第１のデバイスのユーザの表情をキャプチャするための手段と、
    前記ユーザの前記キャプチャされた表情に基づいてデータを生成するための手段と、
    前記生成されたデータを送信するための手段と、
    第２のデバイスにおいて、前記キャプチャされた表情に基づく前記生成されたデータを受信するための手段と、
    前記第２のデバイスにおいて、前記キャプチャされた表情に基づく前記生成されたデータについて触覚応答を生成するための手段と
    を含む、システム。
39. 前記キャプチャされた表情に基づくデータを生成するための前記手段は、
    前記キャプチャされた表情に関連する覚醒レベルおよび誘意性レベルを識別するための手段であって、前記覚醒レベルおよび前記誘意性レベルが前記第１のデバイスのユーザの感情状態を表す、覚醒レベルおよび誘意性レベルを識別するための手段と、
    前記第１のデバイスのユーザのリアルタイム感情状態を表す時間インジケータを識別するための手段と、
    前記識別された覚醒レベルと、誘意性状態と、時間インジケータとを表すデータを符号化するための手段と
    を含む、請求項３８に記載のシステム。
40. 非一時的コンピュータ可読媒体を備えるコンピュータプログラム製品であって、コンピュータ可読媒体は、
    第１のデバイスから、前記第１のデバイスにおいてキャプチャされたユーザの表情に基づくデータを含む電子通信を受信するためのコードと、
    前記キャプチャされた表情に基づく前記受信されたデータについて触覚応答を生成するためのコードであって、前記触覚応答が、前記受信された電子通信に関連する、生成するためのコードと
    を含む、コンピュータプログラム製品。

Images