JP2017102944A - 携帯通信装置に触覚メッセージを提供する方法とシステム - Google Patents

Abstract

【課題】本発明の実施形態は、携帯通信装置の利用者にカスタマイズされた「触覚メッセージ」を様々な用途で提供する方法およびシステムを提供する。【解決手段】携帯通信装置に触覚メッセージを提供する方法は、入力信号をイベントと関連付けることと、ユーザーインタフェースナビゲーションイベントのソースを判別し、その判別に少なくとも部分的に基づく制御信号を選択することと、携帯通信装置に接続されるアクチュエータに制御信号を出力することを含む。制御信号は、イベントと関連付ける触覚効果をアクチュエータに出力するように構成される。上記のイベントは、ユーザーインタフェースナビゲーションイベントであってもよい。【選択図】図８

Description

本出願は、２００５年６月８日に出願された、発明者名Ｄａｎｎｙ Ｇｒａｎｔ、Ｊｅｆｆｒｅｙ ＥｉｄおよびＳｈｏｉｃｈｉ Ｅｎｄｏの米国特許出願第１０／５３８，１６０号の一部継続出願であり、２００３年１２月８日に出願された国際特許出願ＰＣＴ／ＵＳ２００３／０３８８９９に基づく。ここで、ＰＣＴ特許出願番号ＵＳ０３／０３８８９９は、２００２年１２月８日に出願した米国仮特許出願第６０／４３１，６６２号の優先権を主張する。

この発明は、触覚フィードバックシステムに関する。より詳しくは、本発明の実施形態は、携帯通信装置の利用者に情報を送信する様々な用途でカスタマイズされた触覚効果を用いることに関する。

携帯通信装置が日常生活の一部になるにつれて、装置製品およびサービス提供者は、かかる装置の多用性および性能を高めるように努めている。

通常、技術の携帯通信装置（例えば携帯電話、ポケットベル、携帯情報端末（ＰＤＡ）など）は、受信メッセージ（例えば音声通話および電子メール）を受信すると、ユーザーにアラートする聴覚指示および視覚指示を用いる。しかしながら、かかる聴覚アラートおよび視覚アラートには、ある状況（例えば、運転中）で気が散り、あるいは他の人たちに迷惑（例えば、会議またはコンサートの間）であるといった不利な点がある。また、そのようなアラートは、騒音の多い環境（例えば、パブまたは群集の中）または、利用者が、通話が中断したにもかかわらず誰も聞いていないことを認識しないで話し続ける場合のような他の状況では不十分である。

バイブレーションアラートは携帯電話などのいくつかの通信装置では利用可能であるが、公知のかかるバイブレーション効果は、用途にしたがってカスタマイズできないことから、利用者に情報をほとんど送信することができない。したがって、新たな感覚モダリティの技術では、携帯通信装置の利用者に情報をカスタマイズして配信することが必要となる。

かかる感覚モダリティは、そのままにメッセージおよびコンテンツを受信した際に優先順位をつけるか、分類するかあるいは強調することによって混信を避ける支援をする。これは、携帯電話の優れた制御および柔軟性、高精度かつ高速な通信を携帯電話の利用者に提供する。

さらに、触覚を加えることによって、利用者の体験の現実性を高める。触覚は、視界、音および感触を通して方向をナビゲートするために用いられる空間感覚を統合する。触覚は、ミリ秒単位の反射応答を生成し、視界と音が共に置き換えられない完全性を与える。つまり、触覚は、体験をまさに個人のものにする。

本発明の実施形態は、様々な用途および仕様の携帯通信装置の利用者に対してカスタマイズされた「触覚メッセージ」を提供する方法とシステムに関する。

一実施形態では、携帯通信装置に触覚メッセージを提供する方法は、入力信号をイベントと関連付けることと、携帯通信装置に接続されるアクチュエータに制御信号を出力することを含み、制御信号は、イベントと関連付ける触覚効果をアクチュエータに出力するように構成される。

他の実施形態では、携帯通信装置に触覚メッセージを提供する方法は、ステータスイベントに関連する入力信号を受信することと、携帯通信装置に接続されるアクチュエータに入力信号受信後の特定時間で制御信号を出力することを含み、制御信号は、ステータスイベントと関連付ける触覚効果をアクチュエータに出力するように構成される。

さらに別の実施形態において、特定イベントと対応する触覚効果をマッピング方法は、利用者が複数の触覚効果を提供することと、利用者が触覚効果を１つ以上の特定イベントと関連付けできるようにすることと、メモリに格納可能な触覚ルックアップテーブルに様々な特定イベントと対応する触覚効果のマッピングを蓄積することを含む。

本発明の実施形態の詳細および効果を以下に記載する。本発明のこのような特徴ならびに他の特徴、態様および効果は、添付の図面を参照し、以下に記載する詳細な説明によって十分に理解することができる。

本発明の一実施形態による触覚携帯通信装置のブロック図である。 本発明の一実施形態による携帯通信装置の利用者に情報送信するためにカスタマイズされた触覚効果を用いる方法を示すフローチャートである。 本発明の一実施形態による携帯通信装置の利用者への情報を関連付けるために触覚ロゴを用いる方法を示すフローチャートである。 本発明の一実施形態による通信信号を触覚的に符号化する方法を示すフローチャートである。 本発明の一実施形態による携帯通信装置の利用者に触覚メッセージを与える方法を示すフローチャートである。 本発明の一実施形態による相互作用的な仮想触覚を与える方法を示すフローチャートである。 本発明の一実施形態による携帯通信装置を用いてチャットセッションを実行する方法を示すフローチャートである。 本発明の一実施形態によるナビゲーション情報に関連付けるために触覚効果を用いる方法を示すフローチャートである。 本発明の一実施形態によるリモートコントロールに触覚効果を与える方法を示すフローチャートである。 本発明の一実施形態によるユーザーインタフェースナビゲーションイベントがスクロールであることを示す図である。 本発明の一実施形態によるユーザーインタフェースナビゲーションイベントがリストの終端に達したことを示す図である。 本発明の一実施形態によるユーザーインタフェースナビゲーションイベントがラッピングアラウンドしてリストの先端にあることを示す図である。 本発明の一実施形態によるユーザーインタフェースナビゲーションイベントがリストのメニュー項目を選択することを示す図である。 本発明の一実施形態によるユーザーインタフェースナビゲーションイベントがアイコンを選択することを示す図である。 本発明の一実施形態によるユーザーインタフェースナビゲーションイベントがお気に入りのメニュー項目を選択することを示す図である。 専用キー（例えばＳｅｎｄおよびＥｎｄ）の使用を示す図である。

以下に記載する実施形態は、本発明のいくつかの一般原則を示す例として提供され、いかなる方法によっても本発明の範囲を制限するものとして解釈するべきではない。現状、この開示から利益を得ている当業者は、本明細書において、本発明の原理および範囲から逸脱することなく、様々な変更および改作できることを認識する。

図１は、本発明の一実施形態による携帯通信システムが組み込まれる装置１００のブロック図を示す。説明の便宜上、様々な要素を概略的に示し、一定の比率で描画していないことはいうまでもない。また、本発明を実施する多くの別の方法が存在することも認識される。したがって、本明細書において、本発明の原理および範囲から逸脱することなく、様々な変更および改作できることを認識する。

装置１００は、ハウジング１１０およびユーザーインタフェース１１２と、プロセッサ１２０と、プロセッサ１２０と通信する少なくとも１つのアクチュエータ１３０と、プロセッサ１２０と通信するメモリ１４０を含む装置本体を含む。また、装置１００は、プロセッサ１２０と通信するアンテナ１５０およびトランシーバ１６０を含む。さらに、装置１００は、プロセッサ１２０と通信するディスプレイモジュール１７０および音声モジュール１８０を含む。ディスプレイモジュール１７０は、例えば、液晶素子を含んでもよい。音声手段１８０は、例えば、スピーカ、マイクロホンなどを含んでもよい。

図１の実施形態では、プロセッサ１２０、アクチュエータ１３０およびメモリ１４０は、装置本体に囲まれ、接続されている。しかしながら、かかる具体例は、いかなる方法によっても本発明の範囲を制限するものとして解釈するべきではない。別の実施形態では、アクチュエータ１３０は、例えば、ハウジング１１０の外部に接続されてもよく、適切な構造のハウジング１１０に埋め込まれてもよい。さらに、ユーザーインタフェース１１２は、１つ以上のユーザーインタフェース部材を含んでもよい。本明細書で用いるユーザーインタフェースメンバとしては、限定されないが、１つ以上のキー有するキーパッド、１つ以上のボタン、タッチスクリーンまたはタッチパッド、スクロールホイール、方向パッド、トラックボール、ノブ、ミニチュアジョイスティックまたは他の公知のユーザーインタフェース手段が挙げられる。

装置１００は、オペレーティングシステム１９５と連動して動作するＡＰＩ（アプリケーションプログラムインタフェース）１９０をさらに含む。デバイスドライバ（図示せず）は、オペレーティングシステム１９５とプロセッサ１２０の間のインタフェースを任意に提供してもよい。

装置１００のメモリ１４０は、プロセッサ１２０に様々なタスクを実行させる指示を含むプログラムコードを格納する。以下の記載は、いくつかの例を示す。

図２は、本発明の一実施形態による携帯通信装置の利用者に情報送信するためにカスタマイズされた触覚効果を用いる方法を示すフローチャートである。ステップ２１０で、イベントに関連する入力信号が受信される。ステップ２２０で、イベントソースは判別され、制御信号はその判別に基づいて選択される。ステップ２３０で、制御信号は、携帯通信装置（かかる装置の実施形態については図１を参照）に接続されるアクチュエータに出力される。制御信号は、イベントに関連する触覚効果をアクチュエータに出力するように構成される。

さらに、ステップ２４０で、一群の触覚効果が与えられ、触覚効果の各々は制御信号に関連している。例えば、図１のメモリ１４０は、対応する触覚効果をレンダリングする制御信号（例えば、各々が異なる波形を特徴とする）を生成する指示を含むプログラムコードを格納することができる。触覚効果（関連する制御信号とともに）は、リモートソース（例えばサービス提供者、ネットワーク資源、ウェブサーバ、リモート携帯通信装置またはコンピュータ）から、ダウンロードまたは送信されてもよい。さらに、かかるダウンロードまたは送信された触覚効果は、編集または変更されてもよい。携帯通信装置のためのサードパーティアプリケーションは、利用者が編集および変更する他に、他の触覚効果を購入してダウンロードすることを可能にしてもよいことが想定される。また、触覚効果は、触覚効果と同期するように構成されてもされなくてもよい視覚効果および音声効果を含むバンドルパッケージの形で提供されてもよい。

ステップ２５０で、特定イベントと格納された触覚効果のうち１つのマッピングが受信される。例えば、図１のメモリ１４０は、利用者が例えば、ＡＰＩ１９０によるユーザーインタフェース１１２を介して得られる特定イベントを触覚効果のうちの１つにマッピングできるプログラムコードを格納してもよく、そのイベントはイベントソースによって特定されてもよい。様々な特定イベントと対応する触覚効果の１対１のマッピングは、例えば、図１のメモリ１４０に格納できる触覚ルックアップテーブルに蓄積される。

図２の実施形態では、「選択」という用語としては、限定されないが、ソースの判別に基づいて特定イベントと対応する触覚効果の所定のマッピングをルックアップすることと、イベント（例えば、アクチュエータに送信される）に関連する所望の触覚効果をレンダリングするように構成される制御信号を選択または生成することが挙げられる。選択は、例えば、上記の触覚ルックアップテーブルに基づいて実施される。一実施形態では、入力信号は、通話イベントに関連する通信信号（例えば、音声通話、電子メールまたはテキストもしくはマルチメディアの形式のメッセージ）を含んでもよく、例えば、図１のアンテナ１５０およびトランシーバ１６０を介して受信されてもよい。通話イベントの「ソース」は、明確に特定する特性に関連付けてもよく、通話イベント（例えば発呼者の電話番号、発信者のｅ−メールアドレス、受信メッセージに関連するグラフィックフィーチャまたはアイコンなど）を特徴とする。

本発明の他の実施形態によれば、入力信号は、利用者の無線サービス事業者または無線サービスプランに特有のサービスキャリアイベントと関連付けてもよい。サービスキャリアイベントの通知は、利用者が通話を管理するために利用することを目的とする。サービスキャリアイベントは、サービス領域への移動、微弱キャリア信号、モバイルサービスプランによって割り当てられる時間の経過、ローミングアラート、携帯通信装置の電源投入および電源遮断を含む。

特定のサービスキャリアイベントは、利用者がサービス事業者のネットワークの地理的範囲に関連している場所に依存してもよい。この実施形態の一例によれば、移動中の利用者は、サービス提供者のサービス領域に入るとき、特定強度の信号を受信するときまたはサービス提供者のサービス領域を離れるときに、特定の触覚効果を感知してもよい。かかる通知は、通話、電子メール、ＳＭＳメッセージなどをいつ発信または受信できるかを利用者に通知する。利用者がサービスキャリアネットワークの外側にいるとき、訪問先のネットワークにローミングしてもよく、あるいは訪問先のネットワークを利用してもよい。訪問先のネットワークの使用は、サービス事業者プロバイダと訪問先のネットワークとのローミング協定によって依存しうる。多くのサービスプランによって、ローミング通話は追加費用を招くため、利用者は、かかるローミングを通知する触覚効果の受信を望むと考えられる。この実施形態の別の例によれば、利用者は、サービスプランによる特定の時間を使い切ったとき、特定の触覚効果を感知してもよい。かかる通知は、携帯電話の使用および利用者が課金されるサービス料の追跡するために利用される。

この実施形態のさらに別の例によれば、利用者が携帯通信装置の電源を投入または電源を遮断するとき、利用者はサービス事業者に特有な特定の触覚効果を感知してもよい。

サービスキャリアイベントの「ソース」は、利用者のサービス事業者またはサービス事業者に関連するグラフィックフィーチャ、アイコンまたはロゴに関連付けてもよい。

本発明のさらに別の実施形態によれば、入力信号は、電子メールの送信、ＳＭＳメッセージの送信、通話中断、通話接続、通話接続時間の経過、プッシュツートーク使用可能アラート、プッシュツートーク受信アラートおよび回線輻輳中のプッシュツートークアラートなどの接続イベントに関連付けてもよい。接続イベントは、利用者のサービスネットワークとの接続状態に依存する。

プッシュツートーク（ＰＴＴ）は、「ウォーキートーキー」のような双方向通信サービスである。通常の携帯電話通話は全二重であり、双方が同時に通話を互いに聞くことができることを意味する。ＰＴＴは半二重であり、通信があらゆる特定の瞬間に一方向のみで通信できることを意味する。ＰＴＴは、どの人が話して聞かれているのかを制御するため、話し手は話をしている間ボタンを押す必要があり、話が終わったらボタンを離す。次に、聞き手は、ボタンを押して応答する。このように、システムは、信号がどの方向で通信する必要があるのかを識別する。

プッシュツートーク使用可能アラートは、システムが話してもよいことを利用者に通知する。プッシュツートーク受信アラートは、受信されたプッシュツートーク通話を利用者に通知する。プッシュツートーク輻輳アラートは、受信者の回線が輻輳していることをプッシュツートークの利用者に通知する。

接続イベントの「ソース」は、通話イベント（例えば発呼者の電話番号、発信者のｅ−メールアドレスを明確に特定または特徴とする特性に関連付けてもよい。本発明のさらに別の実施形態によれば、例えば、入力信号は、ユーザーインタフェースナビゲーションイベント、例えば、スクロール、リストの終端に達すること、リストの最初の項目にラップアラウンドすること、リストの項目を選択すること、お気に入りの項目を選択することまたは専用キーを使用することと関連付けてもよい。

本実施形態の一例で、図１０Ａでは、使用者は下のキーを押圧して、リストメニューの次の項目にナビゲートする。利用者は、メニュー項目を単純に移動していることを示す１回の弱い衝撃効果を感知する。利用者は、リストの一番下にナビゲートして、ｄｏｗｎキーを押す。最後の項目になっても、視覚ハイライトは変化しない。

図１０Ｂでは、利用者は、リストにはこれ以上項目がないことを通知する２回の衝撃効果を感知する。同じ効果は、リストの一番上でも感知する必要がある。表２：典型的なユーザーインタフェースナビゲーションイベントおよび関連する触覚イベントの例

図１０Ｃでは、リストの最後の項目はハイライトされ、利用者はｄｏｗｎキーを押してリストの最初の項目にラップアラウンドする。利用者は、強い１回の衝撃効果を感知する。他の方向（最初の項目から最後の項目）でラップアラウンドしても、同じ効果を感知する必要がある。

図１０Ｄでは、利用者は、ＯＫボタンを押してハイライトされた項目をリストから選択する。利用者は、項目が確実に選択されたことを示す速い衝撃を感知する。

図１０Ｅでは、利用者は、ＯＫボタンを押してハイライトされたアイコンを選択する。利用者は、アイコンが確実に選択されたことを示す速い衝撃を感知する。

図１０Ｆにおいて、リストの特定の項目は、スクロールの際に、１回の衝撃の代わりに固有の触覚効果によって強調されてもよい。この例では、Ｋａｔｈｙは、お気に入りである。Ｋａｔｈｙがハイライトされる際、利用者は、固有の触覚効果を感知するため、スクロールして、ディスプレイを見なくてもお気に入りを選択することができる。

図１０Ｇでは、専用キー、例えばＳｅｎｄおよびＥｎｄには、ボタン押下の確認に関連する特定の触覚ナビゲーション効果があってもよい。専用の機能を有しないキーは、ＶｉｂｅＴｏｎｚ登録商標）ナビゲーション効果を直接作動させてはならない。その代わりに、ナビゲーション効果は、他の用途を妨げることを回避するために、ボタン押下の用途の内容に基づく必要がある。

お気に入りをつくる可能性が多くあり、利用者が手動で示す項目およびアプリケーションがお気に入りとしてプログラム的に分類できる項目を含む。プログラム的につくられたお気に入りの例は、用途との接触性を高めることができ、アルファベット文字毎の第１の接触性はお気に入りとして示される。このように利用者がアルファベット順リストをスクロールすると、「Ｂ」で始まるセクションから「Ｃ」などで始まるセクションに達したことを感知することができる。

ユーザーインタフェースナビゲーションイベントのソースは、ナビゲートされる媒体（例えばメニューまたはリストの種類）、選択されている項目の種類（例えばＭａｒｋやＫａｔｈｙ）または専用キー（例えばＳｅｎｄやＳａｖｅ）の使用による効果に関連付けてもよい。

本発明の他の実施形態によれば、入力信号は、リマインダーイベントと関連付けてもよく、予定された行動（例えば予約または会議）のリマインダーとして利用される携帯通信装置の自発メッセージであってよい。このシナリオのソースは、予定された行動（例えば営業会議やレストラン予約）の種類または予定された行動が行われる時間と関連付けてもよい。

本発明の一実施形態によれば、入力信号は、携帯通信装置の権限署名イベントに関連する通信信号を含んでもよい。

本発明の一実施形態によれば、入力信号は、例えば、図１のアンテナ１５０およびトランシーバ１６０を介して受信されるステータスイベントに関連する通信信号を含んでもよい。ステータスイベントの例としては、限定されないが、広告（例えば販売）イベント、ワンツーワンマーケティングイベント、企業取引イベント、株式取引イベント、天気予報イベント、スポーツ（またはゲーム）イベント、娯楽イベントおよび緊急（例えば緊急通報）イベントが挙げられる。このシナリオでは、ソースは、携帯利用者の株式仲買人の電話番号、利用者のお気に入りの店の電子メールアドレス、利用者のお気に入りのＴＶ局やラジオ局に関連するロゴなどのステータスイベントの発信者および／または内容を明確に特定する特性と関連付けてもよい。

本発明のさらに別の実施形態によれば、特定イベントには、異なる触覚効果または触覚効果の多重化、利用者にカスタマイズされた情報（例えば「だれが電話しているのか」、「何が起こっているのか」など）の送信を伴わせることができる。また、利用者は、例えば、新たなイベントを含む触覚効果のマッピングおよび／または既存の特定イベントと対応する触覚効果のマッピングを変更するために、触覚ルックアップテーブルを更新することができる。

さらに、特定の触覚効果は、受信メッセージが特定できないまたは送信元を特定できないことを利用者を警告するために、ソースが不明であるいかなる入力信号イベントに割り当てられることができる。

本明細書で用いられる「携帯通信装置」という用語は、限定されないが、携帯電話もしくは衛星電話、携帯情報端末（ＰＤＡ）、コードレス電話、ポケットベル、双方向無線機、携帯装置もしくはポータブルコンピュータ、ゲーム機制御装置、パーソナルゲーム装置、ＭＰ３プレーヤまたは通信能力もしくはネットワーク能力を備える他の公知のパーソナル電子デバイスなどの携帯電話を含む。

本発明の一実施形態によれば、上記の触覚効果は、様々な特定イベントに関する情報を利用者に送信するためにカスタマイズできる触覚着信音（例えば聴覚着信音とは対照的）として用いることができる。例えば、最愛の人（例えば利用者の配偶者）からの通話に関連する触覚着信音は、穏やかな感覚を利用者に与える低振幅振動および高周波振動を含んでもよい。これに対して、緊急イベント（例えば緊急通報）に関連する触覚着信音、利用者に強打する感覚を与える衝撃を含んでもよい。

従来の聴覚着信音と対照的に上記の触覚効果（例えば触覚着信音）は、外部からの聴覚信号が禁止される環境（例えば、会議またはコンサート）および／または聴覚信号を区別することが困難である環境（例えば、空港などの騒々しい環境では望ましい。また、触覚着信音は、運転中など注意をそらす状態に適しているため、携帯通信装置の利用者が装置を見ないで道路を見続けることができる。さらに、以下の例で示すように、かかる触覚着信音は、利用者にカスタマイズされた情報を送信するため、利用者は「誰が電話しているのか」、「何が起きているのか」などに気付く。

携帯電話のような携帯通信装置は、利用者が触覚情報または触覚コードを、例えば、音声通話、電子メールまたはメッセージ送信する通信信号に含むことができるように構成されてもよい。触覚情報を有する通信信号の符号化は、確立されたスキームもしくはプロトコルおよび／またはシステム毎に基づいてもよい。触覚コードは、通信信号が別の携帯通信装置に配信されるときに触覚効果を出力するように構成される。一実施形態では、企業および機関は、異なる触覚ロゴ（例えば特殊振動パターン）とそれぞれ関連付けてもよく、顧客の携帯通信装置に送信される様々なメッセージに触覚ロゴを含んでもよい。例えば、かかる触覚ロゴは、従来のロゴに対して利用することができる。上記の様々なステータスイベントは、このように送信されてもよい。例えば、販売業者は、顧客の携帯通信装置に送信される様々な広告イベントおよび企業取引イベントに触覚ロゴを含んでもよい。また、証券仲買業者（もしくは証券会社）、ＴＶ局もしくはラジオ局およびマーケティング／広告代理店は、携帯利用者に送信される様々な株式取引イベント、天気予報イベント、スポーツイベント、娯楽イベントおよびワンツーワンマーケティングイベントに触覚ロゴを含んでもよい。

図３は、本発明の一実施形態による携帯通信装置の利用者への情報を関連付けるために触覚ロゴを用いる方法を示すフローチャートである。携帯通信装置はステップ３１０で入力信号を受信し、入力信号はステータスイベントに関連する。携帯通信装置はステップ３２０で入力信号から触覚コードを抽出し、触覚コードは触覚ロゴに関連する。ステップ３３０で、携帯通信装置は、触覚ロゴに関連する触覚効果を与える。ステップ３３０で、携帯通信装置に接続されるアクチュエータに制御信号が出力され、制御信号が触覚コードに少なくとも部分的に基づき、アクチュエータに触覚効果を出力するように構成される。

本発明の一実施形態によれば、抽出された触覚コードは、所望の触覚効果をレンダリングするアクチュエータに直接出力してもよい。別の実施形態では、触覚コードは、例えば、触覚コードの配列（そのいくつかは、１つ以上の触覚ロゴと関連していてもよい）や対応する一群の触覚効果群をレンダリングする制御信号を含む所定のスキームまたはプロトコルにしたがって構成されてもよい。このように、携帯通信装置のプロセッサは、抽出された触覚コードに基づいて対応する制御信号を配列からルックアップし、所望の触覚効果をレンダリングするためにアクチュエータに選択された制御信号を出力することができる。

図２または図３で示す実施形態では、携帯通信装置（または触覚コード）は、用途に応じて、直ちにあるいは入力信号を受信した所定の時間後に出力されるようにプログラムされてもよい。また、触覚効果は、同期または他のタイミングによって開始することができる。

さらに、携帯通信装置は、ユーザーインタフェースメンバのいくつか（例えば上記のような）が、例えば所定のスキームまたはプロトコルにしたがって触覚コードと各々関連しているように構成されてもよい。一実施形態では、いくつかのこの触覚コードは、表現または反応（例えば「笑い」、「クスクス笑う」、「抱擁」、「ハイファイブ」、「心臓の鼓動」、「ペットがたてる音」など）を模倣する触覚効果と関連していてもよい。これによって、触覚効果は、かかるメンバを押圧または操作することによって送信され、例えば双方向対話またはチャットセッションで体験される。

例えば、利用者Ａ（本明細書では「Ａｌｉｃｅ」と呼ぶ）が、利用者Ｂ（本明細書では「Ｂｏｂ」と呼ぶ）と携帯電話を介してチャットセッションを実行するとする。一実施形態では、ＢｏｂがＡｌｉｃｅに冗談を言うとき、Ａｌｉｃｅは、例えば、「笑い」の感覚に対応する触覚コードで割り当てられる携帯電話のキーを押下して「笑い」の感覚をＢｏｂに送信することによって応答することができる。これによって、信号がＡｌｉｃｅの電話からＢｏｂの電話に送信され、Ｂｏｂの電話に出力される対応する触覚効果が得られる（これによりＢｏｂは体験する）。別の実施形態によれば、Ａｌｉｃｅは、出力メッセージ（例えば、対応するユーザーインタフェースメンバを押下することによってＢｏｂに送信される携帯電話で撮影した写真および／またはグラフィックフィーチャ（例えばスマイリーを模倣したスマイリー）などのビデオ画像を含む）に触覚コードを含むことができる。メッセージが遠隔装置（例えばＢｏｂの携帯電話）に配信されるときに触覚コードによって触覚効果が出力される。一実施形態によれば、触覚効果は、メッセージに含まれるビデオ画像の表示と関連付けるか、あるいは同期してもよい。別の実施形態によれば、図３の実施形態に関して上記に記載されるように、触覚コードに基づく触覚効果を生成してもよい。

図４は、本発明の一実施形態による、通信信号を触覚的に符号化する方法を示すフローチャート４００を示す。ステップ４１０で、ユーザーインタフェースメンバの動作と関連する入力信号が受信される。例えば、入力信号は、Ａｌｉｃｅが特定のユーザーインタフェースメンバを押下または操作することと関連付けてもよい。ステップ４２０で、動作に関連する触覚コードが判定される。ステップ４３０で、触覚コードは出力信号に含まれ、出力信号はリモート携帯通信装置に送信される。上記の通り、出力信号は、メッセージ、ビデオ画像および／またはグラフィックフィーチャを含んでもよい。

携帯通信装置は、触覚効果が、メッセージとともに（例えば、利用者または入力装置によって）生成されるユーザーインタフェースメンバを操作する際に出力されるように構成されてもよい。本発明の一実施形態によれば、図５は、この状態と関連付けできる触覚メッセージの方法を示すフローチャート５００を示す。フローチャート５００のステップ５１０で、携帯通信装置は入力信号を受信する。ステップ５２０で、携帯通信装置は、携帯通信装置に接続されるユーザーインタフェースメンバを操作する要求を出力する。ステップ５３０で、携帯通信装置は、携帯通信装置に接続されるアクチュエータとの接続に関連する制御信号を送信する。制御信号は、入力信号と関連する触覚効果をアクチュエータに出力するように構成される。ステップ５２０は、ユーザーインタフェースメンバを操作する要求が表示される視覚効果、再生される聴覚効果および／または出力される特徴的な触覚着信音を有することを含んでもよい。

一実施形態によれば、図５の入力信号は、メッセージ、ビデオ画像および／またはグラフィックフィーチャなどとともに、触覚コードを含んでもよい。例えば、触覚コードは、入力信号に含まれるビデオ画像が表示されるとき、「抱擁」感覚を出力するように構成されてもよい。入力信号は、対応する触覚効果とともに受信メッセージが、特定のユーザーインタフェースメンバ（例えば＃５キー）を操作するときに出力されることを特定する条件またはプロトコルを含んでもよい。あるいは、携帯通信装置は、対応する触覚効果とともに受信メッセージを出力する前に、操作されたユーザーインタフェースメンバを判定してもよい。

別の実施形態によれば、図５の信号は、例えば、「仮想タッチ」（例えばハンドシェイクを模倣する）、「ハイファイブ」）、背中をたたく、振動または鼓動の感覚、ペットがたてる感覚または人間（および／または人間と動物）の対話に関連する他の触覚感覚と関連付けてもよい。１つのシナリオでは、ステップ５１０の入力信号は、特定のユーザーインタフェースメンバを操作する要求が生成されることに基づいて、「仮想触覚指示」を含んでもよい。仮想触覚指示は、触覚コード、メッセージまたは他の情報手段の形であってよい。ステップ５３０で、制御信号は、例えば、仮想触覚指示（操作されたユーザーインタフェースメンバまたは他の所定のスキームに関連する触覚コード）に基づいて生成されてもよい。ステップ５１０の入力信号は、所望の触覚効果をレンダリングする仮想触覚信号とともに仮想触覚指示を含んでもよい。この場合、ステップ５３０の制御信号は、仮想触覚信号に基づいてもよい。

ＡｌｉｃｅとＢｏｂのチャットセッションでは、チャットセッション終了時の例として、Ａｌｉｃｅは、「ハイファイブ」をＢｏｂに送信することを望むと考えられる。彼女は、Ｂｏｂの携帯電話に仮想触覚指示を含む信号を送信し、その仮想触覚指示は、次々に、Ｂｏｂが電話（例えば方向パッド（例えば、方向パッドの個々のキーに彼の指を置くことによる）、キーパッド、タッチスクリーン、トラックボール、ジョイスティックなどに接続されるユーザーインタフェースメンバを操作する要求を促す。「ハイファイブ」を模倣する触覚効果をレンダリングする制御信号は、ユーザーインタフェースメンバ（Ａｌｉｃｅから入力信号および／また他の所定のスキームよって送信される）に関連する触覚コードに基づいてもよい。

双方向仮想触覚は、携帯通信装置の利用者の間で使用することもでき、１台の携帯通信装置上のユーザーインタフェースメンバの操作によって、別の携帯装置に実質的にリアルタイムで送信され、その利用者が体験することができる。また、その逆も同様である。図６は、本発明の一実施形態による相互作用的な仮想触覚を与える方法を示すフローチャートである。本実施形態では、携帯通信装置は、ステップ６１０で仮想触覚指示を含む入力信号を初めに受信する。特徴的な触覚着信音は、例えば、入力信号の発信者および内容を特定する仮想触覚指示の受信を伴ってもよい。次に、ステップ６２０で、携帯通信装置は、通信できるようにするために、いかなる必要な初期化も実行してもよく、ステップ６２５で携帯通信装置に接続される特定のユーザーインタフェースメンバの操作を要求することを含んでもよい。ステップ６３０で、携帯通信装置は、後に所望の触覚効果に関連する仮想触覚信号を受信する。ステップ６４０で、携帯通信装置は、例えば、ユーザーインタフェースメンバに接続されるアクチュエータに仮想触覚信号を送信することによって触覚効果を与える。

一実施形態によれば、仮想触覚信号は、リモート携帯装置上のユーザーインタフェースメンバの操作と関連付けて、実質的にリアルタイムで送信されてもよい。そこで、受信側の利用者は、双方向触覚を模倣するために、同様に動作させることによって応答してもよい。携帯通信装置の利用者に仮想触覚を配信するいかなるスキームを用いてもよい。

また、触覚効果は、携帯通信装置との間に送信される情報量を増やし、補うために用いることもできる。一実施形態によれば、複数の携帯通信利用者は、携帯通信装置を介してチャットセッションを実行してもよい。利用者は、他携帯通信装置に表示されるグラフィック表現またはアバターをそれぞれ有してもよい。例えば、かかるアバターは操作可能であることから、表現および／または反応は対応する触覚効果を伴って強調される。図７は、本発明の一実施形態による携帯通信装置を用いてチャットセッションを実行する方法を示すフローチャートである。本実施形態では、携帯通信装置は、ステップ７１０でチャットメッセージに関連する入力信号を受信する。ステップ７２０で、携帯通信装置は、チャットメッセージに関連するアバターを表示する。一実施形態では、アバターは、図１のディスプレイ１７０に表示されてもよい。ステップ７３０で、携帯通信装置は、チャットメッセージに関連する触覚効果を与える。ステップ７３０で、携帯通信装置に接続されるアクチュエータに制御信号が出力されることを含み、制御信号はアクチュエータに触覚効果を出力するように構成される。一実施形態によれば、触覚効果は、アバターの表現または動作（例えば笑いまたはくすくす笑い、泣く、ペットがたてる音など）と関連付けてもよい。

携帯通信装置は、例えば、全地球位置測定システム（ＧＰＳ）または他のナビゲーションシステムと通信するナビゲーション機能を備えている。触覚効果は、携帯利用者にナビゲーション情報（例えば位置情報および／または方向情報）を送信するために用いることもできる。例えば、図８は、本発明の一実施形態による、触覚ナビゲーションの方法を示すフローチャート８００を示す。フローチャート８００は、ステップ８１０で携帯通信装置の位置に関連する入力信号を受信することと、ステップ８２０で所定の位置と比較して携帯通信装置の位置を判別することと、ステップ８３０でその判別に関連する触覚効果を与えることを示している。ステップ８３０は、携帯通信装置に接続されるアクチュエータとの接続に関連する制御信号を出力することを含んでもよく、制御信号は、アクチュエータに触覚効果を出力するように構成される。さらに、ステップ８１０の入力信号は、ＧＰＳ、デジタルコンパスまたは他の公知のナビゲーションシステムから受信されてもよい。一実施形態によれば、触覚効果は、携帯通信装置の位置と所定の位置（本願明細書に「行き先」と呼ばれる）の距離と関連付けてもよい。例えば、触覚効果は、規模を有する振動を含んでもよく、規模および周波数の少なくとも１つは、宛先からの距離が減少する毎に減少する。さらに、触覚効果は、距離の定量的尺度を送信するように構成されてもよい。例えば、触覚効果は、１つ以上の振動または強打感覚を含んでもよく、振動の数は、携帯装置の位置と宛先の距離と比例する。

上記の（図１のプロセッサ１２０を含む）プロセッサ、例えば、入力処理、アルゴリズムを実行できる１つ以上のデジタル論理プロセッサを含むことができ、上記に記載される様々なタスクを実行するために、必要に応じて出力を生成する。かかるプロセッサ／制御装置は、マイクロプロセッサ、エイシック（ＡＳＩＣ）ステートマシンなどを含んでもよい。かかるプロセッサは、媒体（図１のメモリ１４０を含む）を含むか、あるいはその媒体と通信してもよい。かかる媒体は、例えば、コンピュータ可読の媒体を含み、プロセッサによって実行されるとき、プロセッサが本明細書に記載のステップを実行させるプログラムコードを格納する。コンピュータ可読の媒体の実施形態には、限定されないが、プロセッサ（例えばウェブサーバのプロセッサ）にコンピュータ可読の指示を与えることができる電子ストレージ、光ストレージ、磁気ストレージもしくは他のストレージまたは伝送装置が挙げられる。適切な媒体の他の例には、限定されないが、フロッピーディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリーチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、すべての光媒体、すべての磁気テープもしくは他の磁気媒体またはコンピュータプロセッサ可読の他のいかなる媒体が挙げられる。また、他の様々な形のコンピュータ可読の媒体は、ルーター、プライベートネットワークもしくはパブリックネットワークもしくは他の送信装置またはチャネルを含むコンピュータに指示を送信してもよい。

様々な用途に関連するプログラムコードおよびアプリケーションプログラムは、リモートソース（例えばネットワーク資源、ウェブサーバ、リモート携帯通信装置またはコンピュータ）に存在してもよく、一定または所定の基準で携帯通信装置に送信またはダウンロードすることができる。また、上記のように、触覚効果（関連する制御信号とともに）は、ダウンロードまたはリモートソースから送信することができる。

上記の（図１で示すアクチュエータ１３０を含む）アクチュエータには、例えばポケットベルモータ、偏心回転モータ、調波偏心回転モータ、ボイスコイル、ソレノイド、抵抗アクチュエータ、圧電アクチュエータ、電子活性ポリマーアクチュエータまたは触覚効果を生成するのに適切な他の種類のアクティブ／パッシブアクチュエータが挙げられる。米国特許第６，４２９，８４６号および米国特許第６，４２４，３３３号は、このアクチュエータのいくつかを詳細に開示し、この開示内容は援用によって本明細の一部をなす。いくつかの実施形態において、１つ以上のアクチュエータが携帯通信装置に実装されてもよく、適切な触覚効果を与えるように構成される。いうまでもなく、様々な制御方式が、所望の触覚効果を好適に達成するようにアクチュエータを制御するために考案することができる。

図１に戻ると、アクチュエータ１３０は、ハウジング１１０に接続されてもよいことから生成される触覚効果を装置本体に与えられる。このように、上記の触覚着信音（またはアラート）を与えてもよい。別の実施形態では、アクチュエータ１３０は、装置本体のユーザーインタフェース１１２に接続されてもよい。例えば、能動アクチュエータおよび／または抵抗アクチュエータは、上記の仮想触覚を与えるために、ユーザーインタフェース１１２に接続することができる。また、１つ以上のアクチュエータは、ユーザーインタフェース１１２に接続され、例えば仮想触覚を送信する利用者に送信することができる。さらに別の実施形態において、複数のアクチュエータは、ユーザーインタフェース１１２と同様にハウジング１１０に接続することができる。さらに、１つ以上のアクチュエータは、携帯通信装置に関連するヘッドセット、リストバンドまたは他のアクセサリ手段にも接続されてもよい。

本発明の実施形態は、以下を含む。

本発明の一実施形態によれば、個人（または「Ｂｏｂ」）は、本発明による携帯電話を有することができる。また、携帯電話は、電子メール機能（例えば「受信」および「送信」を含む）を有する。携帯電話は、例えば、適切なハードウェア（例えば上記のアクチュエータ）およびプログラムコードを含むことによって複数の触覚効果を与えるように構成される。Ｂｏｂは、例えば図１で示すＡＰＩ１５０によるユーザーインタフェース１１２を介して、様々な特定イベントを入力し、異なる触覚効果にそれぞれ関連付けることによって、携帯電話をプログラムすることができる。したがって、携帯電話は、特定イベントが後に受信されると、対応する触覚効果を与える。

本発明の一実施形態によれば、Ｂｏｂの電話は、入力信号がＢｏｂの妻（または「Ａｌｉｃｅ」）の携帯電話から受信されると、第１の触覚効果与えるプログラムを含む。また、Ｂｏｂの電話は、入力信号が、Ｂｏｂの上司（本願明細書に「Ｃａｒｏｌ」と呼ばれる）の携帯電話から仕事中に受信されると、第１の触覚効果と異なる第２の触覚効果を与えるプログラムを含む。さらに、Ｂｏｂの電話は、電子メールがＢｏｂの証券仲買業者（例えば、電子メールが「スマイリー」の顔文字を含む）の電子メールアドレスから受信されると、上記２つの触覚効果と異なる第３の触覚効果を提供するように構成される。例えば、第３の触覚効果は、例えば「ハイファイブ」を模倣するために、大きな規模および短期間の振動であってもよい。

本発明の他の実施形態によれば、Ｂｏｂは、ポケットに携帯電話を入れて劇場で映画を見ることができる。Ｂｏｂは劇場にいるため、その携帯電話は音をたてないように設定される。Ｂｏｂが映画を見ているとき、Ｂｏｂの携帯電話は上記の第２の触覚効果によって振動する。Ｂｏｂは、映画館で上司と話したくないため、通話を無視することにする。後にＢｏｂの携帯電話は、第１の触覚効果によって振動する。例えば、Ｂｏｂは、後で会う予定であるＡｌｉｃｅと話したい。したがって、Ｂｏｂは、電話に応答し、Ａｌｉｃｅと話すためにすばやく劇場を出る。

Ｂｏｂの携帯電話は、個人の予定／カレンダの用途を含むこともできる。Ａｌｉｃｅと話した後、Ｂｏｂは、午後７時００分に「Ａｌｉｃｅと会う」ことをカレンダに入力することができる。また、Ｂｏｂは、カレンダ入力に関連する第４の触覚効果を選択することができる。携帯電話には、カレンダの時刻情報の１５分前（すなわち午後６時４５分）に第４の触覚効果を出力するようにプログラムすることができる。

Ｂｏｂの携帯電話は、位置測定に関連するアプリケーションプログラムとともに、ＧＰＳ機能を備えることができる。Ｂｏｂは、アプリケーションプログラムで興味ある様々な場所の住所を格納することもできる。一実施形態では、Ｂｏｂは道にいるとする。Ｂｏｂの携帯電話は、第５の触覚効果によって振動する。Ｂｏｂは、お気に入りの電化製品店の触覚ロゴに関連する第５の触覚効果を認識する。次に、彼は、アプリケーションプログラムでチェックし、現在位置と店の位置の距離に関連する第６の触覚効果を受信する。その後、Ｂｏｂは、その店に立ち寄ることを決める。

さらに、本発明の触覚的に使用可能な携帯通信装置は、例えば、リモートシステム（例えばテレビまたはマルチメディアシステム）を制御するために、双方向の触覚リモートコントロールとして用いもよい。一実施形態では、上記のイベントは、リモートシステムで見られるプログラムチャネルと関連付けてもよく、例えば、イベントの各々は、チャネル番号（「ソース」として用いてもよい）によって特定される。対応する触覚効果は、チャネル毎にカスタマイズされてもよい。かかる触覚効果は、どのチャネルが選択されているのかを利用者に通知するために利用することができ、利用者は、この触覚リモートコントロールによってチャネルサーフィンを実行することから、ディスプレイスクリーンをルックアップする必要はない。

図９は、本発明の一実施形態によるリモートコントロールに触覚効果を与える方法を示すフローチャートである。本実施形態では、ステップ９１０で、リモートコントロールは、リモートシステムに指令信号を送信する。従来のリモートコントロールと同様に、信号は、テレビジョンに到達してもよく、到達しなくてもよい。次にステップ９２０で、リモートコントロールは、フィードバック信号が受信されたかどうかを判定する。リモートコントロールがフィードバック信号を受信する場合、ステップ９３０で第１の触覚効果を与える。そうでない場合、ステップ９４０でリモートコントロールは第２の触覚効果が与えられる。

さらに、第１の触覚効果は、受信されたフィードバック信号にしたがってカスタマイズすることができる。一実施形態では、リモートシステムは、例えば所定のスキームに基づくディスプレイの状態に関する情報を（例えば、フィードバック信号を介して）リモートコントロールに送信する。リモートコントロールは、その情報を用いてステップ９３０で与える触覚効果を判定してもよい。別の実施形態では、リモートシステムは、適切な触覚効果を判定し、フィードバック信号に対応する触覚コードを含めてもよい。ステップ９３０で、リモートコントロールは、この触覚コードに基づいて触覚効果を与える。

上記の本発明の好ましい実施形態は、例示および説明のためのみに示すのであって、本発明を開示する正確な形態を網羅または限定することを意図しない。その多数の変形例と改作例は、本発明の趣旨および範囲から逸脱することなく、当業者にとって明らかである。

Claims (17)

1. 通信装置において、キャリアサービスネットワークを介して接続イベントに関連する入力信号を受信するステップであって、通信後の前記キャリアサービスネットワークを介した前記通信装置の接続状態を表す前記接続イベントは、前記キャリアサービスネットワーク上の前記通信装置を使用して確立されるステップと、
   前記通信装置に結合されるアクチュエータに制御信号を出力するステップであって、前記制御信号は、前記接続イベントに関連する触覚効果を出力するための前記アクチュエータを動作させるよう構成され、前記触覚効果は、前記通信装置に接触するユーザーによって体感することが可能であるステップと、
   を含む方法。
2. 前記接続イベントのソースを判別するステップと、
   その判別の少なくとも部分的に基づいた前記制御信号を選択するステップと、
   をさらに含む請求項１に記載の方法。
3. 前記入力信号は、触覚コードを含み、
   前記入力信号から前記触覚コードを抽出するステップをさらに含み、
   前記制御信号は、前記入力信号から前記触覚効果を出力する前記通信装置を動作させるために、前記触覚コードの少なくとも部分的に基づく、
   請求項１に記載の方法。
4. 前記触覚効果は、携帯通信装置に出力される
   請求項１に記載の方法。
5. 前記接続イベントは、電子メールの送信、ＳＭＳメッセージの送信、電話中断、又は、通話接続時間の経過を含む
   請求項１に記載の方法。
6. 前記接続イベントは、通話接続である
   請求項１に記載の方法。
7. 携帯通信装置によって、前記携帯通信装置の無線サービス事業者に特有のサービスキャリアイベントに関連する入力信号を受信するステップと、
   前記サービスキャリアイベントのソースであって、前記無線サービス事業者に関連するグラフィカルフィーチャに関連付けられる前記ソースを判別するステップと、
   前記判別されたソースに少なくとも部分的に基づくと共に、無線サービス事業者に特有の触覚効果を出力するための前記携帯通信装置のアクチュエータを動作させるように構成される制御信号を決定し、前記アクチュエータに前記制御信号出力し、それによって前記携帯通信装置で前記触覚効果を出力するステップと、
   を含む方法。
8. 前記サービスキャリアイベントは、微弱キャリア信号を含む
   請求項７に記載の方法。
9. 前記サービスキャリアイベントは、モバイルサービスプランによって割り当てられる時間の増加を含む
   請求項７に記載の方法。
10. 前記サービスキャリアイベントは、ローミングアラートを含む
    請求項７に記載の方法。
11. 前記サービスキャリアイベントは、特定の強度の信号を含む
    請求項７に記載の方法。
12. 前記サービスキャリアイベントは、前記携帯通信装置の電源投入又は前記携帯通信装置の電源遮断を含む
    請求項７に記載の方法。
13. 前記ソースを判別するステップは、前記無線サービス事業者を識別するステップを含む
    請求項７に記載の方法。
14. 携帯通信装置によって、サービスキャリアイベントとユーザーインターフェースナビゲーションイベントとに関連する入力信号を受信するステップと、
    前記携帯通信装置によって、前記サービスキャリアイベントと前記ユーザーインターフェースナビゲーションイベントとに少なくとも部分的に基づくと共に、触覚効果を出力するために前記携帯通信装置のアクチュエータを動作させるように構成される制御信号を判別するステップと、
    前記携帯通信装置によって、前記アクチュエータに前記制御信号を出力し、それによって前記携帯通信装置において前記触覚効果を出力させるステップと、
    を含む方法。
15. 前記サービスキャリアイベントは、前記携帯通信装置の電源投入又は電源遮断を含む
    請求項１４に記載の方法。
16. 前記ユーザーインターフェースナビゲーションイベントは、専用キーの操作又はお気に入りキーの操作を含む
    請求項１４に記載の方法。
17. 前記サービスキャリアイベントは、前記携帯通信装置の電源投入又は電源遮断を含み、
    前記ユーザーインターフェースナビゲーションイベントは、専用キーの操作又はお気に入りキーの操作を含む
    請求項１４に記載の方法。

Images