JP2006163579A

JP2006163579A - 情報処理システム、情報処理装置及び情報処理方法

Info

Publication number: JP2006163579A
Application number: JP2004351355A
Authority: JP
Inventors: Koichiro Takashima; 宏一郎高島; Shigeaki Maruyama; 重明丸山; Junichi Sekine; 淳一関根; Mikio Takenaka; 幹雄竹中; Junichi Ogasawara; 順一小笠原
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-12-03
Filing date: 2004-12-03
Publication date: 2006-06-22

Abstract

【課題】情報利用者に対して画像を視るという視覚に加えて、画像に対応された触覚を付与できるようにすると共に、情報配信側で画像の所定部位に対応付けた触覚を受信側で再現性良く提示できるようにする。
【解決手段】画像情報＋音声情報と触覚提示用の触覚情報とを対応付けて配信処理する第１の情報処理装置＃１ｉと、画像情報＋音声情報及び触覚情報を受信し、当該画像情報＋音声情報に基づいて画像を表示すると共に、画像に対応する触覚提示要求を受け付ける第２の情報処理装置＃２ｊと、情報処理装置＃１ｉと情報処理装置＃２ｊとを接続する通信手段３００とを備え、情報処理装置＃２ｊは、触覚情報Ｄ１に基づいて触覚を発生する触覚発生手段４０を有し、画像に対応する触覚提示要求を受け付けたとき、画像情報＋音声情報に対応付けられた触覚情報に基づいて操作体に触覚を提示するように触覚発生手段４０を制御するものである。
【選択図】図１

Description

本発明は、動画又は及び静止画を含む画像情報に結合された触覚提示用の触覚情報を処理するパーソナルコンピュータや、携帯電話機、デジタルカメラ、カーナビゲーションシステム、デジタル腕時計、情報携帯端末装置、テレビジョン等や、これを応用した通信システムに適用して好適な情報処理システム、情報処理装置及び情報処理方法に関する。

詳しくは、送信側の情報処理装置で予め対応付けられた動画又は及び静止画を含む画像情報と触覚提示用の触覚情報とを通信手段を通じて受信し、受信側で情報処理する場合に、受信側の情報処理装置に触覚発生用の制御手段を備え、受信側の表示部に表示された画像に対応する触覚の提示要求を受け付けたとき、画像情報に対応付けられた触覚情報に基づいて操作体に触覚を提示するように触覚発生手段を制御して、受信側の操作者等に対して画像を視るという視覚に加えて、受信画像に対応付けられた触覚を付与できるようにすると共に、送信側で画像の所定部位に対応付けた触覚を受信側で再現性良く提示できるようにしたものである。

近年、ユーザ（操作者）は、携帯電話機やＰＤＡ（Personal Digital Assistants）等の情報携帯端末装置に様々なコンテンツを取り込み、それを利用するようになってきた。これらの携帯端末装置には入力装置が具備される。入力装置にはキーボードや、ＪＯＧダイヤル等の入力手段、表示手段を合わせたタッチパネルなどが使用される場合が多い。

また、アクチュエータを組み合わせた入出力装置も開発されている。アクチュエータは、２層以上のひずみ量の異なる圧電素子、又は、圧電素子と非圧電素子とを貼り合わせ、この貼合体の圧電素子に振動制御電圧を印加したとき、双方のひずみ量の差によって生じる貼合体の曲げ変形を力学的に利用するものである（振動体機能）。アクチュエータには、いわゆるバイモルフアクチュエータや、ユニモルフアクチュエータ、円盤アクチュエータ（これらを総括して、以下、単に圧電アクチュエータという）等が使用される場合が多い。

この種の圧電アクチュエータを備えた電子機器に関して、特許文献１には、タッチパネル付きの表示装置が開示されている。この表示装置によれば、押圧力検出部及び触覚応答付与駆動部を備え、タッチパネルの所定の位置で一定以上の押圧力を検出したとき、触覚応答付与駆動部を動作させ、タッチパネルに振動を伝達して、操作者に触覚を提示するようになされる。このように表示装置を構成すると、なぞり操作や、タッチパネルに軽く触れただけでは、触覚提示がなされないので、誤動作なく、明確な操作感覚が得られるというものである。

また、触覚機能付きの情報携帯端末装置に関連して特許文献２には、触覚通信装置が開示されている。この触覚通信装置によれば、指等の接触位置や動きを検出する接触検出手段と、触覚情報に基づいて振動を発生し触覚刺激を提示する触覚提示手段とを備え、送信側の触覚通信装置において、接触検出手段が操作者の指等の接触位置や動きを検出して触覚情報を発生する。送信側の触覚通信装置は受信側の触覚通信装置に、触覚情報を送信する。受信側の触覚通信装置では、触覚情報を受信し、これに基づいて触覚提示手段を制御する。受信側の触覚通信装置の触覚提示手段は、触覚情報に基づいて受信側の操作者の指等に振動を伝播し触覚刺激を提示するようになされる。このように触覚通信装置を構成すると、相手方が接触検出手段に触れた指等の感覚を受信側の触覚提示手段で体験できるというものである。

更に、特許文献３には、情報端末機、パーソナル受信器及び情報伝達システムが開示されている。この情報伝達システムによれば、相手方の情報処理装置等からの呼出しが受信可能な情報端末機と、アクチュエータが取り付けられて、操作者の腕等に装着可能なパーソナル受信器とを備え、相手方の情報処理装置から情報端末機に呼出しが有って当該情報端末機が着呼したとき、その着信信号を情報端末機からパーソナル受信器へ転送するようになされる。パーソナル受信器では、着信信号に基づいてアクチュエータを駆動する。アクチュエータが駆動することで操作者の腕に振動が伝播する。このように情報伝達システムを構成すると、相手方情報処理装置から呼出しが有ったことを聴覚ハンデ者においても、確認できるというものである。

特開平１０−２９３６４４号公報（第４頁図２）特開２００２−２３２３１７号公報（第３頁図２）特開２００３−２４９９８０号公報（第４頁図６）

ところで、従来例に係る情報処理装置や、携帯電話機、情報携帯端末装置、テレビ受信機等の電子機器及びこれらを応用した情報処理システムによれば、以下のような問題がある。

ｉ．従来からの放送システムによれば、静止画あるいは動画等の映像情報及び音情報を遠隔地の受信側者のテレビ受信機等に送信し、受信者側では、テレビ受信機で静止画あるいは動画等の映像情報及び音情報を受信して視聴するようになされる。しかしながら、受信者側でテレビ受信機等を利用して画像を視るという視覚に加えて、画像に触れたという行為に対する触覚を付与できていないのが現状である。

ii．将来、様々な電子機器において、触覚を自在に発生することが一般的に普及した場合に、映像情報に触覚情報をリンクさせて送信可能なシステムを構築しようとした場合に、特許文献１〜特許文献３に見られるような触覚通信機能をそのまま導入しようとすると、触覚情報を占める送信情報量が増加してしまうというおそれがある。

そこで、この発明はこのような従来の課題を解決したものであって、受信側の操作者等に対して画像を視るという視覚に加えて、画像に触れたという行為に対する触覚を付与できるようにすると共に、送信側で画像の所定部位に対応付けた触覚を受信側で再現性良く提示できるようにした情報処理システム、触覚入力機能付き情報処理装置及び情報処理方法を提供することを目的とする。

上述した課題は、動画又は及び静止画を含む画像情報と触覚提示用の触覚情報とを対応付けて送信処理する第１の情報処理装置と、画像情報及び触覚情報を受信し、当該画像情報に基づいて画像を表示すると共に、その画像に対応する触覚の提示要求を受け付ける第２の情報処理装置と、第１の情報処理装置と第２の情報処理装置とを接続する通信手段とを備え、第２の情報処理装置は、触覚情報に基づいて触覚を発生する触覚発生手段を有し、画像に対応する触覚の提示要求を受け付けたとき、画像情報に対応付けられた触覚情報に基づいて操作体に触覚を提示するように触覚発生手段を制御することを特徴とする情報処理システムによって解決される。

本発明に係る情報処理システムによれば、第１の情報処理装置と、第２の情報処理装置とが通信手段を通じて接続される。第１の情報処理装置は、動画又は及び静止画を含む画像情報と触覚提示用の触覚情報とを対応付けて送信処理する。これを前提にして、第２の情報処理装置は、第１の情報処理装置から画像情報及び触覚情報を受信し、当該画像情報に基づいて画像を表示すると共に、その画像に対応する触覚の提示要求を受け付ける。第２の情報処理装置は、触覚の提示要求を受け付けたとき、画像情報に対応付けられた触覚情報に基づいて操作体に触覚を提示するように触覚発生手段を制御するようになされる。

従って、受信側の操作者等に対して画像を視るという視覚に加えて、受信画像に対応付けられた触覚を再現性良く提示できるようになる。これにより、送信側で画像の所定部位に対応付けた触覚を受信側で体験できるようになる。

本発明に係る情報処理装置は、動画又は及び静止画を含む画像情報と触覚提示用の触覚情報とを対応付けて送信処理する送信側の情報処理装置に対して通信手段を通じて接続可能な触覚入力機能付きの情報処理装置であって、触覚発生手段と、送信側の情報処理装置から画像情報及び触覚情報を受信する受信手段と、この受信手段より受信した画像情報に基づいて画像を表示する表示手段と、この表示手段に表示された画像に対応する触覚の提示要求を受け付ける入力手段と、この入力手段によって触覚の提示要求を受け付けたとき、画像情報に対応付けられた触覚情報に基づいて操作体に触覚を提示するように触覚発生手段を制御する制御手段とを備えることを特徴とするものである。

本発明に係る情報処理装置によれば、送信側の情報処理装置で予め対応付けられた動画又は及び静止画を含む画像情報と触覚提示用の触覚情報とを通信手段を通じて受信し情報処理する場合に、受信手段は、送信側の情報処理装置から画像情報及び触覚情報を受信する。表示手段は、受信手段より受信した画像情報に基づいて画像を表示する。入力手段は、表示手段に表示された画像に対応する触覚の提示要求を受け付ける。これを前提にして、制御手段は、入力手段によって触覚の提示要求が受け付けられたとき、当該画像情報に対応付けられた触覚情報に基づいて操作体に触覚を提示するように触覚発生手段を制御する。触覚発生手段は、制御手段の制御を受けて触覚を発生する。

従って、操作者等に対して画像を視るという視覚に加えて、受信画像に対応付けられた触覚を再現性良く提示できるようになる。これにより、送信側で画像の所定部位に対応付けた触覚を当該情報処理装置で再現性良く提示できるようになる。

本発明に係る情報処理方法は、第１の情報処理系で、動画又は及び静止画を含む画像情報と触覚提示用の触覚情報とを対応付けするステップと、対応付けられた画像情報及び触覚情報を通信手段を通じて第２の情報処理系に送信するステップと、第２の情報処理系で、画像情報及び触覚情報を受信するステップと、受信した画像情報に基づいて画像を表示するステップと、表示された画像に対応する触覚の提示要求を受け付けるステップと、その画像に対応する触覚の提示要求を受け付けたとき、その画像情報に対応付けられた触覚情報に基づいて操作体に触覚を提示するように触覚提示制御をするステップとを有することを特徴とするものである。

本発明に係る情報処理方法によれば、送信側の情報処理系で予め対応付けられた動画又は及び静止画を含む画像情報と触覚提示用の触覚情報とを通信手段を通じて受信しその情報処理をする場合に、受信側の操作者等に対して画像に対応付けられた触覚を再現性良く提示できるようになる。従って、送信側で画像の所定部位に対応付けた触覚を受信側で体験できるようになる。

本発明に係る情報処理システム及び情報処理方法によれば、動画又は及び静止画を含む画像情報と触覚提示用の触覚情報とを対応付けて送信処理する第１の情報処理装置に対して、通信手段を通じて接続された第２の情報処理装置を備え、第２の情報処理装置は、第１の情報処理装置から画像情報及び触覚情報を受信し、当該画像情報に基づいて画像を表示すると共に、画像に対応する触覚の提示要求を受け付けたとき、当該画像情報に対応付けられた触覚情報に基づいて操作体に触覚を提示するように触覚発生手段を制御するようになされる。

この構成によって、受信側の操作者等に対して画像を視るという視覚に加えて、受信画像に対応付けられた触覚を再現性良く提示できるようになる。従って、送信側で画像の所定部位に対応付けた触覚を受信側で体験できるようになる。

本発明に係る情報処理装置によれば、送信側の情報処理装置で予め対応付けられた動画又は及び静止画を含む画像情報と触覚提示用の触覚情報とを通信手段を通じて受信処理する場合に制御手段を備え、この制御手段は、表示部に表示された画像に対応する触覚の提示要求を受け付け、当該画像情報に対応付けられた触覚情報に基づいて操作体に触覚を提示するように触覚発生手段を制御するようになされる。

この構成によって、操作者等に対して画像を視るという視覚に加えて、受信画像に対応付けられた触覚を再現性良く提示できるようになる。従って、送信側で画像の所定部位に対応付けた触覚を当該情報処理装置で再現性良く提示できるようになる。

続いて、この発明に係る情報処理システム、情報処理装置及び情報処理方法の一実施例について、図面を参照しながら説明をする。

図１は本発明に係る実施の形態としての情報処理システム１の構成例を示すブロック図である。
図１に示す情報処理システム１は、動画又は及び静止画を含む画像情報に対応付けられた触覚提示用の触覚情報を処理するシステムである。情報処理システム１は、これらの画像情報に結合された触覚提示用の触覚情報を処理するパーソナルコンピュータ（以下単にパソコンという）や、携帯電話機、デジタルカメラ、カーナビゲーションシステム、デジタル腕時計、情報携帯端末装置、テレビジョン受信機等、また、これらを応用した通信システムに適用して好適である。画像情報には、一般家庭用のデジタルカメラや、業務用の放送局向けカメラ等で被写体を映した映像や、パソコンにより作成したＣＡＤデータ等を含んでいる。

情報処理システム１では、既存の通信手段（通信基盤）３００が応用される。通信手段３００には、有線通信手段及び無線通信手段が含まれる。例えば、情報処理システム１を応用して触覚テレビ電話システムや、感動触覚電話システム、触覚ネットショッピングシステム、触覚機能付きゲーム配信システム、触覚機能付き情報配信システム等を構成する場合には、既存の有線及び無線方式の公衆電話回線網が利用される。また、触覚テレビ放送システムを構成する場合には、既存の衛星放送システムや、デジタル地上波放送システム、アナログ放送システム等が利用される。通信手段３００は、第１の情報処理装置＃１ｉ（ｉ＝１〜ｎ；以下で単に第１の情報処理系Ｉともいう）と第２の情報処理装置＃２ｊ（ｊ＝１〜ｍ；以下で単に第２の情報処理系IIともいう）とを有線方式又は無線方式により電気的に接続できるものであればどんな通信方式であってもよい。

この情報処理システム１でその送信側となる情報処理装置＃１ｉが通信手段３００に接続され、動画又は及び静止画を含む画像情報ＤINと触覚提示用の触覚情報Ｄ１とを対応付けて受信側へ送信処理するようになされる。情報処理装置＃１ｉは、例えば、画像取得手段３’、制御手段１５’、通信モデム１９’、入力手段２４’、表示手段２９’、記憶手段３５’及び音声入出力手段５４’を備えて構成される。

入力手段２４’は、画像取得手段３’を操作するための操作データＤ３を入力したり、モード設定時、画像触覚モード等を設定するように操作される。例えば、自分の顔画像を撮影して画像情報ＤINを取得し、相手方に送信しようとする場合に、正面向き、横向き、斜め後ろ向き等の３カットについて、触覚提示位置を制御手段１５’に指示するように操作される。

画像取得手段３’は、被写体の画像を取得して画像情報ＤINを出力する。例えば、自分の顔画像を撮影して画像情報ＤINを取得し、相手方に送信しようとする場合に、正面向き、横向き、斜め後ろ向き等の３カットについて、動画又は静止画に係る画像情報ＤINを取得する。音声入出力手段５４’は、操作者の音声を入力したり、相手方からの音声を出力する。音声入出力手段５４’には音声入出力処理回路や、スピーカー、マイクロフォン等が使用される。

記憶手段３５’には、相手方の情報処理装置に指示するための触覚情報Ｄ１が格納される。触覚情報Ｄ１には、受信側で振動波形パターンデータＤｃの素材データとなる波形パターンデータＤＰ０を記憶手段から読み出して振動制御信号を作成する旨を指示するための振動作成指示データＤＰＸが含まれている。触覚情報Ｄ１には、振動作成指示データＤＰＸの他に、相手方の情報処理装置を区分するアプリケーション情報等が含まれている。

振動作成指示データＤＰＸには、振動波形パターンデータＤｃを形成する周波数ｆｘ、振幅Ａｘ及び振動回数Ｎｘが含まれる。これは、受信側の情報処理装置＃２ｊで周波数ｆｘ、振幅Ａｘ及び振動回数Ｎｘに基づいて振動制御信号を作成するためである。記憶手段３５’には、触覚情報Ｄ１の他に画像取得手段３’によって取得された、被写体の画像情報ＤINが格納される。

表示手段２９’は、画像取得手段３’によって取得された、例えば、操作者（被写体）の顔画像情報に基づく表示データＤ２により操作者（自分）の顔画像等の映像を表示したり、相手方の情報処理装置＃２ｊから送られてきた通信相手の顔画像等を表示するようになされる。

制御手段１５’は、画像取得手段３’、通信モデム１９’、入力手段２４’、表示手段２９’、記憶手段３５’及び音声入出力手段５４’の入出力を制御する。例えば、制御手段１５’は、画像取得手段３’を制御して被写体の動画又は及び静止画を含む画像情報ＤIN等の画像取得処理を実行し、その後、画像情報ＤINと触覚情報Ｄ１とを対応付ける。対応付け処理は、例えば、顔画像の正面向き、横向き及び斜め後ろ向き等の３カット（静止画で３枚の映像に相当）について、各々触覚が異なるような振動作成指示データＤＰＸが得られるような触覚情報Ｄ１が被写体の動画又は及び静止画を含む画像情報ＤIN等に付加される。この付加後の情報を「触覚情報Ｄ１＋画像情報ＤIN」と記述する。そして、制御手段１５’は、相手方の情報処理装置＃２ｊに触覚情報Ｄ１＋画像情報ＤINを符号化して送信する処理を実行する。

通信モデム１９’は、有線通信手段又は無線通信手段等の通信回線を接続して相手方と通信処理を実行する。例えば、通信モデム１９’は、制御手段１５’によって符号化処理された触覚情報Ｄ１＋画像情報ＤINを相手方の情報処理装置＃２ｊに送信する。

情報処理システム１でその受信側には、情報処理装置＃２ｊが配置される。情報処理装置＃２ｊは、送信側の情報処理装置＃１ｉに対して通信手段３００を通じて接続可能な装置である。情報処理装置＃２ｊには、触覚入力機能付きのパソコン、携帯電話機、デジタルカメラ、カーナビゲーションシステム、デジタル腕時計、情報携帯端末装置、テレビジョン受信機等が使用され、これらは通信手段３００に接続され、触覚情報Ｄ１＋画像情報ＤINを受信し、当該画像情報ＤINに基づいて受信画像を表示すると共に、当該受信画像に対応する触覚提示要求を受け付け、その提示要求に基づいて触覚を提示するようになされる。

情報処理装置＃２ｊは、例えば、画像取得手段３、制御手段１５、通信モデム１９、触覚機能付きの入力手段２４、表示手段２９、記憶手段３５、触覚発生手段４０及び音声入出力手段５４を備えて構成される。この例で、通信モデム１９は受信手段を構成し、送信側の情報処理装置＃１ｉから触覚情報Ｄ１＋画像情報ＤINを受信して復号化処理する。表示手段２９には、通信モデム１９より受信した画像情報ＤINに基づいて受信画像を表示する。例えば、相手方の情報処理装置＃１ｉから送られてきた画像情報ＤINに基づく表示データＤ２により通信相手の顔画像等を表示するようになされる。

触覚機能付きの入力手段２４は、受信画像の所定部位への接触を検出して、表示手段２９に表示された受信画像に対応する触覚の提示要求を受け付けるように操作される。入力手段２４には、タッチパネルやシートセンサ、力検出センサ、圧電体等が使用される。タッチパネルやシートセンサ等は、操作者の指の接触位置を検出するように使用される。力検出センサは、操作者の指の押下力を検出するように使用される。圧電体は触覚発生手段４０を構成し、触覚情報Ｄ１に基づいて発生された振動制御信号より振動を発生し、操作者の指等に触覚を提示するように使用される。

この情報処理装置＃２ｊでは、受信画像に対応する触覚の提示要求を受け付けたとき、触覚発生手段４０を制御するようになされる。例えば、制御手段１５は、入力手段２４から触覚提示要求を入力し、当該画像情報ＤINに対応付けられた触覚情報Ｄ１に基づいて操作者の指（操作体）に触覚を提示するように触覚発生手段４０を制御する。

記憶手段３５には、振動作成指示データＤＰＸをアドレスにして読み出し可能な複数種類の波形パターンデータＤＰ０が格納される。この例では、振動波形パターンデータＤｃを構成する素材データとして、触覚提示用の複数種類の周波数ｆｘ及び振幅Ａｘの波形パターンデータＤＰ０が準備されている。これは、相手方の情報処理装置＃１ｉで要求する触覚情報Ｄ１に対応する振動波形パターンデータＤｃを受信側の情報処理装置＃１ｉで再現（構築）するためである。このように、送信側から受信側へ振動作成指示データＤＰＸを符号化して送信することにより、振動波形パターンデータＤｃを送信側から受信側へ直接送信する場合に比べて送信情報を少なくすることができる。

なお、記憶手段３５には、複数種類の波形パターンデータＤＰ０の他に、当該情報処理装置＃２ｊが送信側となった場合に、画像取得手段３によって取得した被写体の画像情報ＤINや、相手方の情報処理装置＃１ｉ等に送信するための触覚情報Ｄ１等が格納される。

この例で通信モデム１９が送信側の情報処理装置＃１ｉから触覚情報Ｄ１を受信して復号化処理する場合であって、制御手段１５は、通信モデム１９によって受信された触覚情報Ｄ１に基づいて記憶手段３５から波形パターンデータＤＰ０を読み出し、この波形パターンデータＤＰ０を合成して振動波形パターンデータＤｃを作成するような制御を実行する。

例えば、制御手段１５は、相手方の情報処理装置＃１ｉから受信したアプリケーション情報及び触覚情報Ｄ１をデコード処理して振動作成指示データＤＰＸを取得する。制御手段１５は、更に、振動作成指示データＤＰＸに基づいて記憶手段３５から１又は複数種類の波形パターンデータＤＰ０を読み出す。制御手段１５は、記憶手段３５から読み出した複数種類の波形パターンデータＤＰ０を合成し、合成後の振動波形パターンデータＤｃをデジタル・アナログ変換して振動制御信号を作成する。

振動制御信号は、制御手段１５から触覚発生手段４０を構成する圧電素子へ供給される。圧電素子は、振動制御信号に基づいて入力手段２４又は表示手段２９を振動するようになされる。これにより、入力手段２４又は表示手段２９に触れている操作者の指等に触覚を提示できるようになる。

このようにすると、送信側の情報処理装置＃１ｉから作成指示された触覚提示用の振動波形パターンデータＤｃを当該受信側の情報処理装置＃２ｊの制御手段１５で作成することができ、しかも、情報処理装置＃１ｉで触覚提示用の振動波形パターンデータＤｃを作成し、その振動波形パターンデータＤｃを含む触覚情報Ｄ１を当該情報処理装置＃２ｊへ送信する場合に比べて、触覚提示用の振動波形パターンデータＤｃを作成指示するための触覚情報Ｄ１のデータ量を軽減することができる。

また、情報処理装置＃２ｊの制御手段１５で複数種類の波形パターンデータＤＰ０を組み合わせることによって多種多様の触覚を発生できるようになる。しかも、送信側の情報処理装置＃１ｉより送信される触覚情報Ｄ１の内容の差異によって受信側の個々の情報処理装置＃２ｊの触覚発生手段４０により発生される触覚の種類を異ならせることができる。

次に、第１の実施例に係る情報処理方法について説明する。図２（Ａ）及び（Ｂ）は、第１の実施例としての情報処理例を示すフローチャートである。この例で図１に示した第１の情報処理系Ｉ（送信側）には、情報処理装置＃１ｉが配置され、第２の情報処理系II（受信側）には、情報処理装置＃２ｊが配置される。送信側の情報処理装置＃１ｉと受信側の情報処理装置＃２ｊとは通信手段３００を通じて接続される。情報処理装置＃２ｊでは、予めノーマルモード又は画像触覚モードのいずれかの動作モードの設定処理がなされる場合を前提とする。また、情報処理装置＃２ｊで、受信画像の所定部位への接触を検出したとき、その画像情報ＤINに対応付けられた触覚情報Ｄ１に基づいて操作者の指等に触覚を提示する場合を例に挙げる。

これらを情報処理条件にして、図２Ａに示す送信側のフローチャートのステップＡ１１で送信側の情報処理系Ｉは、画像取得処理を実行する。例えば、送信側の操作者本人の顔画像を撮影して画像情報ＤINを取得し、相手方に送信しようとする場合に、正面向き、横向き、斜め後ろ向き等の３カットについて、触覚提示位置を制御手段１５’に指示するように入力手段２４’が操作される。

入力手段２４’は、画像取得手段３’を操作するための操作データＤ３を制御手段１５’に出力する。制御手段１５’は、操作データＤ３に基づいて画像取得手段３’を制御する。画像取得手段３’は、操作者本人（被写体）の顔画像に関して動画又は静止画を含む画像情報ＤIN等を取得して制御手段１５’や記憶手段３５’等に出力する。このとき、表示手段２９’には、画像取得手段３’によって取得された、操作者本人の顔画像情報に基づく表示データＤ２により操作者（自分）の顔画像等の映像が表示される。

その後、ステップＡ１２で情報処理系Ｉは、動画又は静止画を含む画像情報ＤINと触覚提示用の触覚情報Ｄ１との対応付け処理を実行する。この対応付け処理では、例えば、制御手段１５’が操作データＤ３に基づいて、操作者本人の顔画像の正面向き、横向き及び斜め後ろ向き等の３カット（静止画で３枚の映像に相当）について、各々触覚が異なるような振動作成指示データＤＰＸを得られるような触覚情報Ｄ１を記憶手段３５’から読み出し、その触覚情報Ｄ１が操作者本人の動画又は静止画を含む画像情報ＤIN等に付加される。画像情報ＤINに付加される触覚情報Ｄ１には、振動作成指示データＤＰＸの他に、相手方の情報処理装置＃２ｊを区分するアプリケーション情報等が含まれる。これは、相手方の情報処理装置＃２ｊに正確に触覚情報Ｄ１を指示するためである。振動作成指示データＤＰＸには、振動波形パターンデータＤｃを形成する周波数ｆｘ、振幅Ａｘ及び振動回数Ｎｘが含まれる。

そして、ステップＡ１３で情報処理系Ｉは、先に対応付けられた触覚情報Ｄ１＋画像情報ＤINを通信手段３００を通じて、情報処理系IIに符号化して送信する。例えば、制御手段１５’は、通信モデム１９’を制御して相手方の情報処理装置＃２ｊを呼出し通信回線を接続する。通信モデム１９’は、有線通信手段又は無線通信手段等の通信回線を相手方の情報処理装置＃２ｊに接続して相手方と通信処理を実行する。通信モデム１９’は、制御手段１５’によって符号化処理された触覚情報Ｄ１＋画像情報ＤINを相手方の情報処理装置＃２ｊに送信する。

また、第２の情報処理系IIでは、図２Ｂに示す受信側のフローチャートのステップＢ１１で、まず、ノーマルモード又は画像触覚モードのいずれかの動作モードが設定される。動作モードは、受信側の操作者により入力手段２４が操作されて制御手段１５に設定される。

そして、ステップＢ１２で通信モデム１９は、制御手段１５の制御を受けて、相手方の情報処理装置＃１ｉから触覚情報Ｄ１＋画像情報ＤINを受信して復号化処理する。触覚情報Ｄ１＋画像情報ＤINは制御手段１５で分離され、画像情報ＤINは表示手段２９を駆動する表示データＤ２に変換される。触覚情報Ｄ１は、画像触覚モードが選択された場合に備えて制御手段１５にセットされる。

その後、ステップＢ１３に移行して、先に設定された動作モードに基づいて制御を分岐する。画像触覚モードが設定された場合は、ステップＢ１４及びＢ１５に移行する。ステップＢ１４では、先に受信した画像情報ＤINに基づいて受信画像を表示する。例えば、表示手段２９は、相手方の情報処理装置＃１ｉから送られてきた顔画像情報に基づく表示データＤ２により通信相手の顔画像等を表示する。

これに並行して、ステップＢ１５で制御手段１５は、表示手段２９に表示されている受信画像に対応する触覚の提示要求を受け付ける。このとき、触覚機能付きの入力手段２４は、受信画像の所定部位への操作者の指等の接触を検出して、表示手段２９に表示された受信画像に対応する触覚の提示要求を受け付けるように操作される。

触覚機能付きの入力手段２４によって受信画像に対応する触覚提示要求を受け付けた場合は、ステップＢ１６に移行する。ステップＢ１６で制御手段１５は、その画像情報ＤINに対応付けられた触覚情報Ｄ１に基づいて操作者の指等に触覚を提示するように触覚提示制御を実行する。例えば、制御手段１５は、相手方の情報処理装置＃１ｉから受信したアプリケーション情報及び触覚情報Ｄ１をデコード処理して振動作成指示データＤＰＸを取得する。制御手段１５は、デコード処理して得た振動作成指示データＤＰＸに基づいて記憶手段３５から１又は複数種類の波形パターンデータＤＰ０を読み出し、この波形パターンデータＤＰ０を合成して振動波形パターンデータＤｃを作成するような制御を実行する。制御手段１５は、合成後の振動波形パターンデータＤｃをデジタル・アナログ変換して振動制御信号を作成する。

振動制御信号は、制御手段１５から触覚発生手段４０を構成する圧電素子へ供給される。圧電素子は、振動制御信号に基づいて入力手段２４又は表示手段２９を振動するようになされる。これにより、入力手段２４又は表示手段２９に触れている操作者の指等に触覚を提示できるようになる。その後、ステップＢ１８に移行する。

なお、ステップＢ１３でノーマルモードが設定された場合は、ステップＢ１７に移行して触覚提示処理を伴わない画像表示処理を実行する。その後、ステップＢ１８に移行して制御手段１５は、情報処理の終了を判断する。この際の終了判断では、例えば、電源オフ情報を検出してノーマルモード又は画像触覚モードに係る情報処理を終了する。電源オフ情報が検出されない場合は、ステップＢ１３に戻って、上述した処理を繰り返すようになされる。

このように、第１の実施例に係る情報処理システム１によれば、送信側の情報処理装置＃１ｉと、受信側の情報処理装置＃２ｊとが通信手段３００を通じて接続される。情報処理装置＃１ｉは、動画又は及び静止画を含む画像情報ＤINと触覚提示用の触覚情報Ｄ１とを対応付けて送信処理する。これを前提にして、情報処理装置＃２ｊは、情報処理装置＃１ｉから触覚情報Ｄ１＋画像情報ＤINを受信し、当該画像情報ＤINに基づいて画像を表示すると共に、その画像に対応する触覚の提示要求を受け付ける。情報処理装置＃２ｊは、触覚の提示要求を受け付けたとき、画像情報ＤINに対応付けられた触覚情報Ｄ１に基づいて操作体に触覚を提示するように触覚発生手段４０を制御するようになされる。

従って、受信側の操作者等に対して画像を視るという視覚に加えて、受信画像に対応付けられた触覚を再現性良く提示できるようになる。これにより、送信側で送信画像の所定部位に対応付けた触覚を受信側で体験できるような情報処理システムを構築することができる。このような情報処理システムは既存の有線又は及び無線方式の公衆電話回線網等を利用した触覚テレビ電話システムに十分応用できる。

しかも、送信側の情報処理装置＃１ｉから受信側の情報処理装置＃２ｊへ振動作成指示データＤＰＸを符号化して送信しているので、振動波形パターンデータＤｃを情報処理装置＃１ｉから情報処理装置＃２ｊへ直接送信する場合に比べて送信情報を少なくすることができる。

また、第１の実施例に係る情報処理装置及び情報処理方法によれば、送信側の情報処理装置＃１ｉから触覚情報Ｄ１＋画像情報ＤINを通信手段３００を通じて受信し、その情報処理する場合に、制御手段１５は、触覚機能付きの入力手段２４によって触覚の提示要求が受け付けられたとき、当該画像情報ＤINに対応付けられた触覚情報Ｄ１に基づいて操作者の指等に触覚を提示するように触覚発生手段４０を制御する。触覚発生手段４０は、制御手段１５の制御を受けて触覚を発生する。

従って、操作者に対して画像を視るという視覚に加えて、受信画像に対応付けられた触覚を再現性良く提示できるようになる。これにより、送信側で送信画像の所定部位に対応付けた触覚を当該情報処理装置＃２ｊで再現性良く提示できるようになる。情報処理装置＃２ｊは上述の触覚テレビ電話システムや、触覚ネットショッピングシステム、触覚ゲーム情報配信システム及び触覚地図情報配信システム等に十分応用できる。

図３は、第２の実施例としての情報処理例を示すフローチャートである。この実施例では、図１に示した第１の情報処理系Ｉで触覚情報Ｄ１の他に音情報ＡINを第２の情報処理系IIに送信し、第２の情報処理系IIは、音声触覚モード機能付きの携帯電話機が配置され、第１の情報処理系Ｉから受信した触覚情報Ｄ１を処理すると共に音情報ＡINを再生出力するようになされる。

例えば、情報処理装置＃２ｊを応用して音声触覚モード機能付きの携帯電話機を構成し、その携帯電話機において、その通信モデム１９は、送信側の情報処理装置＃１ｉから送信されてきた触覚情報Ｄ１＋音情報ＡINを受信して復号化処理する。この場合、携帯電話機の音再生手段を構成する音声入出力手段５４では、通信モデム１９より受信した音情報ＡINに基づいてその音を再生出力するが、制御手段１５は、特定の音情報ＡINに対応した触覚提示処理を実行する。

もちろん、送信側の情報処理系Ｉと受信側の情報処理系IIとが通信手段３００を通じて接続される。受信側の情報処理系IIでは、予めノーマルモード又は音声触覚モードのいずれかの動作モードの設定処理がなされる場合を前提とする。また、受信側の情報処理系IIで、特定の受信音の出力を検出したとき、その音情報ＡINに対応付けられた触覚情報Ｄ１に基づいて操作者の耳等に触覚を提示する場合を例に挙げる。

これらを情報処理条件にして、図３Ａに示す送信側のフローチャートのステップＡ２１で送信側の情報処理系Ｉは、音声取得処理を実行する。例えば、送信側の操作者本人の音声を集音して音情報ＡINを取得し、相手方に送信しようとする場合に、例えば、「愛しているよ」や、「君が好きだ」、「君を抱きしめたい」等の感動言語について、触覚提示タイミングを制御手段１５’に指示するように入力手段２４’が操作される。

入力手段２４’は、音声入出力手段５４’を操作するための操作データＤ３を制御手段１５’に出力する。制御手段１５’は、操作データＤ３に基づいて音声入出力手段５４’を制御する。音声入出力手段５４’は、操作者本人（被写体）の音声に関して話声を含む音情報ＡIN等を取得して制御手段１５’や記憶手段３５’等に出力する。

その後、ステップＡ２２で情報処理系Ｉは、話声を含む音情報ＡINと触覚提示用の触覚情報Ｄ１との対応付け処理を実行する。この対応付け処理では、例えば、制御手段１５’が操作データＤ３に基づいて、操作者本人の音声の中の複数種類の感動言語について、各々触覚が異なるような振動作成指示データＤＰＸを得られるような触覚情報Ｄ１を記憶手段３５’から読み出し、その触覚情報Ｄ１が操作者本人の音声を含む音情報ＡIN等に付加される。この音情報ＡINに付加される触覚情報Ｄ１には、振動作成指示データＤＰＸの他に、相手方の情報処理装置＃２ｊを区分するアプリケーション情報等が含まれる。これは、相手方の情報処理装置＃２ｊに正確に触覚情報Ｄ１を指示するためである。振動作成指示データＤＰＸには、振動波形パターンを形成する周波数ｆｘ、振幅Ａｘ及び振動回数Ｎｘが含まれる。

そして、ステップＡ２３で情報処理系Ｉは、先に対応付けられた触覚情報Ｄ１＋音情報ＡINを通信手段３００を通じて、情報処理系IIに符号化して送信する。例えば、制御手段１５’は、通信モデム１９’を制御して相手方の情報処理装置＃２ｊを呼出し通信回線を接続する。通信モデム１９’は、有線通信手段又は無線通信手段等の通信回線を相手方の情報処理装置＃２ｊに接続して相手方と通信処理を実行する。通信モデム１９’は、制御手段１５’によって符号化処理された触覚情報Ｄ１＋音情報ＡINを相手方の情報処理装置＃２ｊに送信する。

また、第２の情報処理系IIでは、図３Ｂに示す受信側のフローチャートのステップＢ２１で、まず、ノーマルモード又は音声触覚モードのいずれかの動作モードが設定される。動作モードは、受信側の操作者により入力手段２４が操作されて制御手段１５に設定される。

そして、ステップＢ２２で通信モデム１９は、制御手段１５の制御を受けて、相手方の情報処理装置＃１ｉから触覚情報Ｄ１＋音情報ＡINを受信して復号化処理する。触覚情報Ｄ１＋音情報ＡINは制御手段１５で分離され、音情報ＡINは音声入出力手段５４に出力される。触覚情報Ｄ１は、音声触覚モードが選択された場合に備えて制御手段１５にセットされる。

その後、ステップＢ２３に移行して、先に設定された動作モードに基づいて制御を分岐する。音声触覚モードが設定された場合は、ステップＢ２４及びＢ２５に移行する。ステップＢ２４では、先に受信した音情報ＡINに基づいて受信音を出力する。例えば、音声入出力手段５４では、相手方から送られてきた音情報ＡINに基づく話声が図示しないスピーカー等により放音される。

これに並行して、ステップＢ２５で制御手段１５は、音声入出力手段５４で放音される感動言語等の音情報ＡINに対応する触覚提示タイミングを検出する。このとき、触覚機能付きの入力手段２４は、操作者の耳等の接触を検出して、スピーカー等から放音される感動言語に対応する触覚提示タイミングを検出するように操作される。

触覚機能付きの入力手段２４によって操作者の耳等の接触を検出した場合は、ステップＢ２６に移行する。ステップＢ２６で制御手段１５は、「愛しているよ」や、「君が好きだ」、「君を抱きしめたい」等の感動言語に係る音情報ＡINに対応付けられた触覚情報Ｄ１に基づいて操作者の耳等に触覚を提示するように触覚提示制御を実行する。

例えば、制御手段１５は、相手方の情報処理装置＃１ｉから受信したアプリケーション情報及び触覚情報Ｄ１をデコード処理して振動作成指示データＤＰＸを取得する。制御手段１５は、デコード処理して得た振動作成指示データＤＰＸに基づいて記憶手段３５から１又は複数種類の波形パターンデータＤＰ０を読み出し、この波形パターンデータＤＰ０を合成して振動波形パターンデータＤｃを作成するような制御を実行する。制御手段１５は、合成後の振動波形パターンデータＤｃをデジタル・アナログ変換して振動制御信号を作成する。

振動制御信号は、制御手段１５から触覚発生手段４０を構成する圧電素子に供給される。圧電素子は、振動制御信号に基づいて入力手段２４や表示手段２９等を振動するようになされる。これにより、入力手段２４や表示手段２９等に触れている操作者の耳や指等に触覚を提示できるようになる。その後、ステップＢ２８に移行する。

なお、ステップＢ２３でノーマルモードが設定された場合は、ステップＢ２７に移行して触覚提示処理を伴わない音再生出力処理を実行する。その後、ステップＢ２８に移行して制御手段１５は、情報処理の終了を判断する。この際の終了判断では、例えば、電源オフ情報を検出してノーマルモード又は音声触覚モードに係る情報処理を終了する。電源オフ情報が検出されない場合は、ステップＢ２３に戻って、上述した処理を繰り返すようになされる。

このように、第２の実施例に係る情報処理システムによれば、送信側の情報処理装置＃１ｉと、音声触覚モード機能付きの携帯電話機等の受信側の情報処理装置＃２ｊとが通信手段３００を通じて接続される。情報処理装置＃１ｉは、「愛しているよ」や、「君が好きだ」、「君を抱きしめたい」等の感動言語を含む音情報ＡINと触覚提示用の触覚情報Ｄ１とを対応付けて送信処理する。これを前提にして、情報処理装置＃２ｊは、情報処理装置＃１ｉから触覚情報Ｄ１＋音情報ＡINを受信し、当該音情報ＡINに基づいて放音すると共に、その感動言語に係る音情報ＡINに対応する触覚提示タイミングを検出する。情報処理装置＃２ｊは、触覚提示タイミングを検出したとき、音情報ＡINに対応付けられた触覚情報Ｄ１に基づいて操作者の耳に触覚を提示するように触覚発生手段４０を制御するようになされる。

従って、受信側の操作者等に対して相手方からの話声を聞くという聴覚に加えて、感動言語等の音情報ＡINに対応付けられた触覚を再現性良く提示できるようになる。これにより、送信側で、「愛しているよ」や、「君が好きだ」、「君を抱きしめたい」等の感動言語を含む音情報ＡINに対応付けた触覚を受信側で体験できるような情報処理システムを構築することができる。このような情報処理システムは既存の有線又は及び無線方式の公衆電話回線網等を利用した感動触覚電話システムに十分応用できる。

また、第２の実施例に係る音声触覚モード機能付きの携帯電話機及びその情報処理方法によれば、送信側の情報処理装置＃１ｉから触覚情報Ｄ１＋音情報ＡINを通信手段３００を通じて受信し、その情報処理する場合に、制御手段１５は、触覚提示タイミングを検出したとき、当該音情報ＡINに対応付けられた触覚情報Ｄ１に基づいて操作者の耳等に触覚を提示するように触覚発生手段４０を制御する。触覚発生手段４０は、制御手段１５の制御を受けて触覚を発生する。

従って、操作者に対して相手方からの話声を聞くという聴覚に加えて、感動言語等の音情報ＡINに対応付けられた触覚を再現性良く提示できるようになる。これにより、送信側で、「愛しているよ」や、「君が好きだ」、「君を抱きしめたい」等の感動言語を含む音情報ＡINに対応付けた触覚を受信側で体験できるような情報処理システムを構築することができる。このような音声触覚モード機能付きの携帯電話機は、既存の有線又は及び無線方式の公衆電話回線網等を利用した感動触覚電話システムに十分応用できる。

図４は、第３の実施例としての情報処理例を示すフローチャートである。この実施例では、図１に示した第１の情報処理系Ｉで触覚情報Ｄ１の他に画像情報ＤIN＋音情報ＡINを第２の情報処理系IIに送信し、第２の情報処理系IIは、画像音声触覚モード機能付きの情報処理装置＃２ｊが配置され、第１の情報処理系Ｉから受信した触覚情報Ｄ１を処理すると共に画像情報ＤINの表示処理及び音情報ＡINの再生処理をするようになされる。

例えば、情報処理装置＃２ｊを応用して画像音声触覚モード機能付きのテレビ受信機を構成し、そのテレビ受信機において、その通信モデム１９は、送信側の情報処理装置＃１ｉから送信されてきた触覚情報Ｄ１＋画像情報ＤIN＋音情報ＡINを受信して復号化処理する。この場合、テレビ受信機の表示手段２９では、通信モデム１９より受信した画像情報ＤINに基づいてその映像を表示し、音声入出力手段５４では、通信モデム１９より受信した音情報ＡINに基づいてその音を再生出力するが、制御手段１５は、特定の画像情報ＤIN又は及び音情報ＡINに対応した触覚提示処理を実行する。

もちろん、送信側の情報処理系Ｉと画像音声触覚モード機能付きのテレビ受信機等の受信側の情報処理系IIとが既存のデジタル地上波放送システム、衛星放送システム又はアナログ放送システム等を利用した通信手段３００を通じて接続される。図１において、通信モデム１９’は送信設備に置き換えられる。受信側の情報処理系IIでは、予めノーマルモード又は画像音声触覚モードのいずれかの動作モードの設定処理がなされる場合を前提とする。また、受信側のテレビ受信機等で、特定の受信音の出力を検出したとき、その画像情報ＤIN又は音情報ＡINに対応付けられた触覚情報Ｄ１に基づいて操作者の椅子等に触覚を提示する場合を例に挙げる。

これらを情報処理条件にして、図４Ａに示す送信側のフローチャートのステップＡ３１で送信側の情報処理系Ｉは、画像取得処理を実行し、これに並行して音声取得処理を実行する。例えば、放送局で出演者の映像を撮影して画像情報ＤINを取得し、その出演者の音声やバックグランドミュージック等を集音して音情報ＡINを取得し、受信加入者に放送しようとする場合に、例えば、特定の映像場面や台詞、バックグランドミュージック等について、触覚提示タイミングを制御手段１５’に指示するように入力手段２４’が操作される。

入力手段２４’は、画像取得手段３’及び音声入出力手段５４’を操作するための操作データＤ３を制御手段１５’に出力する。制御手段１５’は、操作データＤ３に基づいて画像取得手段３’及び音声入出力手段５４’を制御する。画像取得手段３’は、出演者の映像に関する画像情報ＤIN等を取得して制御手段１５’や記憶手段３５’等に出力し、音声入出力手段５４’は、出演者の音声に関して台詞等の話声を含む音情報ＡIN等を取得して制御手段１５’や記憶手段３５’等に出力する。

その後、ステップＡ３２で情報処理系Ｉは、出演者の画像情報ＤIN＋音情報ＡINと触覚提示用の触覚情報Ｄ１との対応付け処理を実行する。この対応付け処理では、例えば、制御手段１５’が操作データＤ３に基づいて、出演者の台詞の中の複数種類の特定言語について、各々触覚が異なって、振動作成指示データＤＰＸを得られるような触覚情報Ｄ１を記憶手段３５’から読み出し、その触覚情報Ｄ１が出演者の画像情報ＤIN＋音情報ＡIN等に付加される。

この画像情報ＤIN＋音情報ＡINに付加される触覚情報Ｄ１には、振動作成指示データＤＰＸの他に、放送加入者の情報処理装置＃２ｊ、この例では、画像音声触覚モード機能付きのテレビ受信機を区分するアプリケーション情報等が含まれる。これは、放送加入者のテレビ受信機等に正確に触覚情報Ｄ１を指示するためである。振動作成指示データＤＰＸには、振動波形パターンを形成する周波数ｆｘ、振幅Ａｘ及び振動回数Ｎｘが含まれる。

そして、ステップＡ３３で情報処理系Ｉは、先に対応付けられた触覚情報Ｄ１＋画像情報ＤIN＋音情報ＡINを通信手段３００を通じて、画像音声触覚モード機能付きのテレビ受信機に符号化して送信する。例えば、第１の情報処理装置＃１ｉの制御手段１５’は、通信手段１９’に代わる送信設備を制御して放送加入者のテレビ受信機のアンテナに向けて放送電波を輻射する。送信設備では、制御手段１５’によって処理された触覚情報Ｄ１＋画像情報ＤIN＋音情報ＡINを多重変調処理等を実行して送信アンテナに出力する。

また、放送加入者のテレビ受信機（第２の情報処理系II）では、図４Ｂに示す受信側のフローチャートのステップＢ３１で、まず、ノーマルモード又は画像音声触覚モードのいずれかの動作モードが設定される。動作モードは、テレビ受信機の入力手段２４が操作者により操作されて制御手段１５に設定される。

そして、ステップＢ３２で通信モデム１９に代わる受信チューナ装置は、制御手段１５の制御を受けて、放送局から送られてくる触覚情報Ｄ１＋画像情報ＤIN＋音情報ＡINを受信して復号化処理する。触覚情報Ｄ１＋画像情報ＤIN＋音情報ＡINは、例えば、制御手段１５で分離され、画像情報ＤINは表示手段２９に出力される。音情報ＡINは音声入出力手段５４に出力される。触覚情報Ｄ１は、画像音声触覚モードが選択された場合に備えて制御手段１５にセットされる。

その後、ステップＢ３３に移行して、先に設定された動作モードに基づいて制御を分岐する。画像音声触覚モードが設定された場合は、ステップＢ３４及びＢ３５に移行する。ステップＢ３４では、先に受信した画像情報ＤIN＋音情報ＡINに基づいて受信音を出力処理する。例えば、表示手段２９では、放送局から送られてきた画像情報ＤINに基づく演出者の映像が表示される。音声入出力手段５４では、放送局から送られてきた音情報ＡINに基づく話声が図示しないスピーカー等により放音される。

これに並行して、ステップＢ３５で制御手段１５は、表示手段２９で映像表示される特定の映像場面や、音声入出力手段５４で放音される出演者の台詞について、触覚提示タイミングを検出する。このとき、触覚機能付きの入力手段２４は、操作者の指等の接触を検出して、表示手段２９で映像表示される特定の映像場面に対応する触覚提示タイミングを検出するように操作される。また、スピーカー等から放音される出演者の台詞やバックグランドミュージック等に対応する触覚提示タイミングを検出するように操作される。

触覚機能付きの入力手段２４によって操作者の指等の接触を検出した場合や、スピーカー等から放音される出演者の台詞やバックグランドミュージック等に対応する触覚提示タイミングを検出した場合は、ステップＢ３６に移行する。ステップＢ３６で制御手段１５は、特定の映像場面に係る画像情報ＤINや、出演者の台詞、バックグランドミュージック等に係る音情報ＡINに各々の対応付けられた触覚情報Ｄ１に基づいて操作者の指や、操作者が着席する椅子等に触覚を提示するように触覚提示制御を実行する。

例えば、テレビジョン受信機の制御手段１５では、図示しない放送局からアンテナを通じて受信したアプリケーション情報及び触覚情報Ｄ１をデコード処理して振動作成指示データＤＰＸを取得する。制御手段１５は、デコード処理して得た振動作成指示データＤＰＸに基づいて記憶手段３５から１又は複数種類の波形パターンデータＤＰ０を読み出し、この波形パターンデータＤＰ０を合成して振動波形パターンデータＤｃを作成するような制御を実行する。制御手段１５は、合成後の振動波形パターンデータＤｃをデジタル・アナログ変換して振動制御信号を作成する。

振動制御信号は、制御手段１５から触覚発生手段４０を構成する圧電素子に供給される。圧電素子は、入力手段２４や、表示手段２９、操作者が着席する椅子等に取り付けられる。圧電素子は、振動制御信号に基づいて入力手段２４や、表示手段２９、操作者が着席する椅子等を振動するようになされる。これにより、入力手段２４や表示手段２９に触れている操作者の指等に、また、操作者が着席する椅子等で、特定の映像場面に係る画像情報ＤINや、出演者の台詞、バックグランドミュージック等に係る音情報ＡINに対応した触覚を提示できるようになる。その後、ステップＢ３８に移行する。

なお、ステップＢ３３でノーマルモードが設定された場合は、ステップＢ３７に移行して触覚提示処理を伴わない画像及び音情報ＡINの出力処理を実行する。その後、ステップＢ３８に移行して制御手段１５は、情報処理の終了を判断する。この際の終了判断では、例えば、電源オフ情報を検出してノーマルモード又は画像音声触覚モードに係る情報処理を終了する。電源オフ情報が検出されない場合は、ステップＢ３３に戻って、上述した処理を繰り返すようになされる。

このように、第３の実施例に係る情報処理システムによれば、放送局の送信設備と、アンテナを通じて、画像音声触覚モード機能付きのテレビ受信機とが既存のデジタル地上波放送システム、衛星放送システム又はアナログ放送システム等を利用した通信手段３００を通じて接続される。放送加入者のテレビ受信機では、放送局からアンテナを通じて触覚情報Ｄ１＋画像情報ＤIN＋音情報ＡINを受信し、特定の映像場面に係る画像や、スピーカー等から放音される出演者の台詞やバックグランドミュージック等に対応する触覚提示タイミングを検出する。テレビ受信機は、触覚提示タイミングを検出したとき、画像情報ＤIN＋音情報ＡINに対応付けられた触覚情報Ｄ１に基づいて操作者の指や、操作者が着席する椅子等に触覚を提示するように触覚発生手段４０を制御するようになされる。

従って、受信側の操作者等に対して放送局から提供される画像を視るという視覚、出演者の台詞やバックグランドミュージックを聞くという聴覚に加えて、特定の映像場面に係る画像情報ＤINに対応付けられた触覚や、出演者の台詞やバックグランドミュージック等に係る音情報ＡINに対応付けられた触覚を再現性良く提示できるようになる。これにより、画像情報ＤIN＋音情報ＡINに対応付けられた触覚情報Ｄ１に基づいて操作者の指や、操作者が着席する椅子等に触覚を提示（体験）できるような情報処理システムを構築することができる。このような情報処理システムは、既存の衛星放送システム、デジタル地上波放送システム又はアナログ放送システム等を利用した触覚テレビ放送システムに十分応用できる。

しかも、放送局からテレビ受信機へ振動作成指示データＤＰＸを符号化して送信しているので、振動波形パターンデータＤｃを放送局からテレビ受信機へ直接送信する場合に比べて送信情報を少なくすることができる。

また、第３の実施例に係る画像音声触覚モード機能付きのテレビ受信機及びその情報処理方法によれば、放送局からアンテナを通じて触覚情報Ｄ１＋画像情報ＤIN＋音情報ＡINをテレビ受信機の受信チューナ装置を通じて受信し、その情報処理をする場合に、テレビ受信機の制御手段１５は、触覚提示タイミングを検出したとき、当該画像情報ＤIN＋音情報ＡINに対応付けられた触覚情報Ｄ１に基づいて操作者の指等に触覚を提示するように触覚発生手段４０を制御する。触覚発生手段４０は、制御手段１５の制御を受けて触覚を発生する。

従って、受信側の操作者等に対して放送局から提供される画像を視るという視覚、出演者の台詞やバックグランドミュージック等を聞くという聴覚に加えて、特定の映像場面に係る画像情報ＤINに対応付けられた触覚や、出演者の台詞やバックグランドミュージック等に係る音情報ＡINに対応付けられた触覚を再現性良く提示できるようになる。このような画像音声触覚モード機能付きのテレビ受信機は、既存のデジタル地上波放送システム、衛星放送システム又はアナログ放送システム等を利用した触覚テレビ放送システムに十分応用できる。

図５は、第４の実施例としての触覚テレビ電話システム４の構成例を示す概念図である。
図５に示す触覚テレビ電話システム４は情報処理システムの一例を構成し、触覚入力機能付きの携帯電話機に触覚テレビ電話モードを設定して通信処理をするシステムである。ここに触覚テレビ電話モードとは、発呼側（送信側）の携帯電話機４００’から通話の相手方である着呼側（受信側）の携帯電話機４００等に顔画像情報＋触覚情報を送信し、着呼側の携帯電話機４００では、表示画面の特定部位を接触したときに、その触覚情報に基づいて入力手段２４又は表示手段２９を振動し、その面に触れている操作者の指等に触覚を与える動作をいう。

触覚テレビ電話システム４では、情報処理装置＃２ｊの一例となる触覚入力機能付きの携帯電話機４００が少なくとも通話相手となる操作者に装備される。もちろん、触覚入力機能付きの携帯電話機４００は、通話相手に限られることはなく、着呼側の操作者にも装備されていることが好ましい。情報処理装置＃２ｊは、携帯電話機４００に限られることはなく、触覚入力機能付きのノート型やデスクトップ型のパーソナルコンピュータといった、通信処理機能付きの情報処理装置であっても、また、家庭用の据置型で触覚入力機能付きの電話機３０３であってもよい。

この例では、無線基地局３０１や、通信事業者のアンテナ設備等の通信手段３００を通じて通信処理可能な携帯電話機４００を例に挙げて説明をする。通信手段３００にはインターネット３０２や、一般の公衆電話回線等が含まれる。着呼側の携帯電話機４００では、触覚テレビ電話モードを設定して触覚提示処理を実行する。

触覚提示処理とは、着呼側で相手方から送られてきた表示映像の特定部位を接触したときに、触覚情報Ｄ１に基づいて入力手段２４又は表示手段２９を振動し、その面に触れている操作者の指等に触覚を与える処理をいう。上述の触覚テレビ電話モードは、着呼側の携帯電話機４００が設定中であることを発呼側の携帯電話機４００’で認知できるようにしてもよい。例えば、着呼側の携帯電話機４００が触覚テレビ電話モードを設定中であることは、発呼側の携帯電話機４００’で、その発呼時に、着呼側からの識別信号の中に「モード設定中信号」等を含ませ、これを発呼側で受信し、この識別信号からモード設定中信号を解読することで認知できるようになる。

図６は、触覚入力機能付きの携帯電話機４００の構成例を示す斜視図である。図６に示す携帯電話機４００は、表示画面上の入力検出面を摺動接触操作される触覚機能付きの入力装置９０を有している。携帯電話機４００は下部筐体１０及び上部筐体２０を備え、これらの筐体１０及び２０間は、回転レンジ機構１１によって可動自在に係合されている。この回転レンジ機構によれば、下部筐体１０の操作面の一端に設けられた図示しない軸部と、下部筐体１０の裏面の一端に設けられた図示しない軸受け部とが回転自在に係合され、上部筐体２０は下部筐体１０に対して角度±１８０°の回転自由度を有して面結合されている。

下部筐体１０には、複数の押しボタンスイッチ１２から成る操作パネル１８が設けられる。押しボタンスイッチ１２は、「０」〜「９」数字キー、「＊」や「＃」等の記号キー、「オン」や「オフ」等のフックボタン、メニューキー等から構成される。下部筐体１０において、操作パネル面の下方には、通話用のマイクロフォン１３が取り付けられ、送話器として機能するようになされる。

また、下部筐体１０の下端部には、モジュール型のアンテナ１６が取り付けられ、その上端内部側面には、大音響用のスピーカー３６ａが設けられ、着信メロディ等を放音するようになされる。下部筐体１０には、バッテリー１４や回路基板１７等が設けられ、下部筐体１０にはカメラ３４が取り付けられている。

上述の下部筐体１０に対して、回転レンジ機構１１によって可動自在に係合された上部筐体２０には、その表面の上方に通話用のスピーカー３６ｂが取り付けられ、受話器として機能するようになされる。このスピーカー３６ａの右隣にはカメラ３４が配設される。カメラ３４は、操作者本人の顔画像を、モニタを見ながら撮影できることが好ましい。そこで、カメラ３４は、下部筐体１０の表面（入力検出手段側）に取り付けられる。もちろん、風景を撮影するためのカメラを下部筐体１０の裏面に設けてもよく、また、１台のカメラ３４を下部筐体１０の表裏で使用可能な構造としてもよい。

上部筐体２０のスピーカー取り付け面の下方には、触覚機能付き入力装置９０が設けられる。入力装置９０は、入力検出手段４５及び表示手段２９を有しており、表示画面上の入力検出面における操作体の押下操作に対して触覚を与えるものである。表示手段２９には、画像情報ＤINに基づいて相手方の顔画像等が表示される。

図７は、触覚機能付きの入力装置９０の構成例を示す斜視図である。図７に示す入力装置９０は、長さがＬｃｍ程度で、幅がＷｃｍ程度の入力手段２４と、この下方に、入力手段２４よりも一回り小さな液晶表示ディスプレイから成る表示手段２９とが積層され、更に、表示手段２９の周囲には、例えば、４個の力検出手段５５ａ〜５５ｄが取り付けられて構成され、当該入力検出面における操作者の指（操作体）の押下位置の加圧力を検出すると共に、当該押下位置に表示された入力情報を入力する。

入力検出手段４５は、触覚機能付きの入力手段２４及び４個の力検出手段５５ａ〜５５ｄから構成される。この例では、入力検出手段４５の入力検出面の一方をＸ方向とし、当該Ｘ方向と直交する他方をＹ方向とし、Ｘ及びＹ方向と直交する方向をＺ方向とする。入力手段２４は、表示手段２９に表示された相手方の顔画像（受信画像）への接触位置を検出して、その表示手段２９に表示された受信画像に対応する触覚の提示要求を受け付けるように操作される。

入力手段２４には、タッチパネルやシートセンサ等が使用される。入力手段２４には蓄積電極となる透明電極をマトリクス状に配置したタッチパネルが使用される。タッチパネルは、静電容量シートとしての静電容量方式の入力デバイスである。入力手段２４から得られる入力情報には位置情報が含まれる。位置情報は相手方の顔画像押下時の位置検出信号Ｓ１により得られる。

力検出手段５５ａ〜５５ｄは、表示手段２９の同一平面の四隅に設けられ、当該入力検出面における操作体の押下位置の加圧力Ｆを検出する。力検出手段５５ａは、右下隅の入力量（力）として、例えば、当該顔部位選択時の力検出信号Ｓｆａを検出する。同様にして、力検出手段５５ｂは、右上隅の入力量（力）として、当該相手方の顔画像押下時の力検出信号Ｓｆｂを検出し、力検出手段５５ｃは、左上隅の入力量（力）として、当該顔部位選択時の力検出信号Ｓｆｃを検出し、力検出手段５５ｄは、左下隅の入力量（力）として、当該顔部位選択時の力検出信号Ｓｆｄを各々検出する。これら４個の力検出手段５５ａ〜５５ｄは、並列に接続され、これら４つの力検出信号Ｓｆａ＋Ｓｆｂ＋Ｓｆｃ＋Ｓｆｄを制御手段１５に出力する。以下、この合算した信号を入力検出信号Ｓ２とする。

表示手段２９の周囲には、力検出手段５５ａ〜５５ｄの他に触覚発生手段４０を構成する４個の圧電アクチュエータ２５ａ〜２５ｄが取り付けられ、表示手段２９に表示される相手方の顔画像の例えば、鼻、ほほ、後ろ髪姿等の選択操作に基づいて表示画面を振動するようになされる。振動は、相手方から指定された触覚情報Ｄ１に基づいて振動制御信号Ｓａ〜Ｓｄ等が発生され、その振動制御信号Ｓａ等に基づいて操作者の指等に触覚を提示するように使用される。

圧電アクチュエータ２５ａ〜２５ｄは、例えば、積層型の圧電素子から構成される。圧電アクチュエータ２５ａには制御手段１５から振動制御信号Ｓａが供給される。圧電アクチュエータ２５ｂには同様にして振動制御信号Ｓｂが供給され、圧電アクチュエータ２５ｃには振動制御信号Ｓｃが供給され、圧電アクチュエータ２５ｄには振動制御信号Ｓｄが各々供給される。振動制御信号Ｓａ〜Ｓｄは、複数の振動パターンを発生するための信号である。

圧電アクチュエータ２５ａ〜２５ｄは、力検出手段５５ａ〜５５ｄによって検出された操作者の指等の加圧力Ｆに対応する振動波形パターンデータＤｃに基づいて入力検出面を振動する。この例で、圧電アクチュエータ２５ａ〜２５ｄは、予め準備された加圧力Ｆに対応する振動パターンにより異なった触覚を与えるようになされる。

上述の入力手段２４、表示手段２９、４個の圧電アクチュエータ２５ａ〜２５ｄ及び力検出手段５５ａ〜５５ｄには制御手段１５が接続される。制御手段１５には記憶手段３５が接続され、相手方から送られてきた顔画像情報Ｄ４や、触覚情報Ｄ１及び振動モードに関する波形パターンデータＤＰ０が記憶される。

波形パターンデータＤＰ０には、複数の異なった触覚を発生でき、その触覚を発生せしめる複数の具体的な振動波形、及び、アプリケーション毎の具体的な触覚発生モードを設定するアルゴリズムが含まれる。記憶手段３５には、ＥＥＰＲＯＭや、ＲＯＭ、ＲＡＭ等が使用される。

この例で制御手段１５は、入力手段２４から出力される位置情報に基づいて表示手段２９の表示制御及び圧電アクチュエータ２５ａ〜２５ｄの出力制御をする。例えば、制御手段１５は、入力手段２４から得られる位置検出信号Ｓ１及び力検出手段５５ａ〜５５ｄから得られる入力検出信号Ｓ２に基づいて記憶手段３５から波形パターンデータＤＰ０を読み出して合成処理をし、合成後の振動波形パターンデータＤｃに基づいて、圧電アクチュエータ２５ａ〜２５ｄに振動制御信号Ｓａ〜Ｓｄを供給する。

また、制御手段１５は、相手方から送られてきた、例えば、３カットの顔画像を表示画面中に表示するように表示手段２９を制御する。このように構成された入力装置９０は、表示画面に表示された相手方の顔画像の、例えば、鼻、ほほ、後ろ髪姿の１つを押下（接触）して当該表示画面上で入力手段２４をＺ方向に押下すると触覚を伴って画面入力操作できようになる。

図８は、圧電アクチュエータ２５ａ〜２５ｄ、力検出手段５５ａ及び５５ｂ等の配置例を示す断面の構成図である。
図８に示す入力装置９０は、図７に示したように上部筐体２０において、入力手段２４、表示手段２９及び力検出手段５５ａ、５５ｂ、バックライト４９等から成る３層構造を有している。

最上層には、入力手段２４が設けられ、相手方の顔画像等で接触位置を検出するようになされる。入力手段２４の下層には、圧電アクチュエータ２５ａ〜２５ｄ、力検出手段５５ａ〜５５ｄ及び表示手段２９が同一面上に設けられる。図８Ａにおいては、４個の圧電アクチュエータ２５ａ〜２５ｄの内の圧電アクチュエータ２５ａと、４個の力検出手段５５ａ〜５５ｄのうちの力検出手段５５ａ及び５５ｂのみを示している。

力検出手段５５ａ及び５５ｂ等は、表示手段２９の保護枠となる図示しないシャーシの四隅に組み込まれ、入力手段２４の入力検出面における操作体の押下位置の加圧力Ｆを検出するようになされる。圧電アクチュエータ２５ａ等はそのシャーシに設けられた凹部に組み込まれ、表示手段２９に表示される相手方の顔画像の接触位置検出操作に基づいて表示画面を振動するようになされる。なお、表示手段２９の下層にはバックライト４９が設けられる。このような入力装置９０は、触覚入力機能付きの各種情報処理装置＃２ｊに応用できるようになる。

図９（Ａ）及び（Ｂ）は力検出手段５５ａ等の内部構成例を示す図である。力検出手段５５ａ等には、図９Ａに示すホイトストーンブリッジ回路が応用される。この例では、入力装置９０のＺ方向の加圧力Ｆがホイトストーンブリッジ回路における抵抗値Ｒｘの変化により得られるものとすると、抵抗値Ｒｘは、Ｒ１・Ｒ３／Ｒ２により演算される。加圧力Ｆは抵抗値Ｒｘを電気変換することで求められる。

また、力検出手段５５ａ等にはフォースセンサが使用され、その検出原理は図５Ｂに示す拡散抵抗の変化から求められる。例えば、単結晶シリコン上にダイヤフラム（受圧部）を形成し、そのダイヤフラム上にゲージ抵抗となる拡散抵抗を配置する。ダイヤフラムが加圧されると、その加圧により受ける応力によって拡散抵抗が変化する。この抵抗変化を電気信号に変換することで加圧力Ｆが求められる。

次に、触覚入力機能付きの携帯電話機４００の内部構成例及び触覚フィードバック入力方法について説明をする。図１０は、触覚入力機能付きの携帯電話機４００の内部構成例を示すブロック図である。
図１０に示す携帯電話機４００は、下部筐体１０の回路基板１７に各機能のブロックを実装して構成される。なお、図５〜図９に示した各部及び手段と対応する部分は、同一符号で示している。

携帯電話機４００は、マイクロフォン１３、制御手段１５、アンテナ１６、操作パネル１８、受信部２１、送信部２２、アンテナ共用器２３、圧電アクチュエータ２５ａ〜２５ｄ、表示手段２９、電源ユニット３３、カメラ３４、記憶手段３５、スピーカー３６ａ，３６ｂ、触覚提示手段４０、映像＆音声処理部４４及び入力検出手段４５を有している。この例で、アンテナ１６、共用器２３、受信部２１及び送信部２２は受信手段を構成し、相手方の携帯電話機４００’から触覚情報Ｄ１＋顔画像情報Ｄ４を受信して復号化処理する。

制御手段１５は、Ａ／Ｄドライバ３１、ＣＰＵ３２、画像処理部２６及びアクチュエータ駆動回路３７を有している。

ＣＰＵ３２は、システムプログラムに基づいて当該電話機全体を制御するようになされる。ＣＰＵ３２には記憶手段３５が接続される。記憶手段３５には、図示しないＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ及びハードディスク（ＨＤＤ）等が使用される。ＲＯＭには当該電話器全体を制御するためのシステムプログラムデータが格納される。ＲＡＭはワークメモリとして使用される。ＣＰＵ３２は電源オンと共に、ＲＯＭからシステムプログラムデータを読み出してＲＡＭに展開し、当該システムを立ち上げて携帯電話機全体を制御するようになされる。

例えば、ＣＰＵ３２は、Ａ／Ｄドライバ３１からの位置検出データＤ１１〜Ｄ１３を受けて所定の指令データＤを電源ユニット３３や、カメラ３４、記憶手段３５、アクチュエータ駆動部３７、映像＆音声処理部４４等のデバイスに供給したり、受信部２１からの触覚情報Ｄ１＋顔画像情報Ｄ４を取り込んだり、送信部２２へ送信データを転送するように制御する。

アンテナ１６は、アンテナ共用器２３に接続され、着呼時、相手方からの無線電波を基地局等から受信して復号化処理する。アンテナ共用器２３には受信部２１が接続され、アンテナ１６から導かれる触覚情報Ｄ１＋顔画像情報Ｄ４を受信して映像や音声等を復調処理し、復調後の映像及び音声データＤinをＣＰＵ３２等に出力するようになされる。

この例で受信部２１等を通じて相手方の携帯電話機４００から触覚情報Ｄ１＋顔画像情報Ｄ４を受信して復号化処理する場合であって、ＣＰＵ３２は、相手方の携帯電話機４００’から受信した触覚情報Ｄ１及び顔画像情報Ｄ４をデコード処理して振動作成指示データＤＰＸを取得する。ＣＰＵ３２は、触覚情報Ｄ１からデコードした振動作成指示データＤＰＸに基づいて記憶手段３５から波形パターンデータＤＰ０を読み出し、この波形パターンデータＤＰ０を合成して振動波形パターンデータＤｃを作成するような制御を実行する。

ＣＰＵ３２には記憶手段３５が接続され、振動作成指示データＤＰＸをアドレスにして読み出し可能な複数種類の波形パターンデータＤＰ０が格納される。この例では、振動波形パターンデータＤｃを構成する素材データとして、触覚提示用の複数種類の周波数ｆｘ及び振幅Ａｘの波形パターンデータＤＰ０が準備されている。これは、相手方の携帯電話機４００’で要求する触覚情報Ｄ１に対応する振動波形パターンデータＤｃを着呼側の携帯電話機４００で再現（構築）するためである。このように、発呼側から着呼側へ振動作成指示データＤＰＸを符号化して送信することにより、振動波形パターンデータＤｃを発呼側から着呼側へ直接送信する場合に比べて送信情報を少なくすることができる。

ＣＰＵ３２は、振動作成指示データＤＰＸに基づいて記憶手段３５から１又は複数種類の波形パターンデータＤＰ０を読み出す。ＣＰＵ３２は、記憶手段３５から読み出した複数種類の波形パターンデータＤＰ０を合成し、合成後の振動波形パターンデータＤｃをアクチュエータ駆動回路３７に出力する。

ＣＰＵ３２にはアクチュエータ駆動部３７が接続され、ＣＰＵ３２からの振動波形パターンデータＤｃを入力し、これをアナログ・デジタル変換して振動制御信号Ｓａ〜Ｓｄを発生する。振動制御信号Ｓａ〜Ｓｄは、正弦波形からなる出力波形を有している。アクチュエータ駆動部３７には触覚発生手段４０を構成する複数の圧電アクチュエータ２５ａ、２５ｂ、２５ｃ、２５ｄが接続され、各々の振動制御信号Ｓａ〜Ｓｄに基づいて入力手段２４又は表示手段２９を振動するようになされる。これにより、入力手段２４又は表示手段２９に触れている操作者の指等に触覚を提示できるようになる。

アクチュエータ駆動部３７における出力タイミングは、入力検出手段４５における接触位置及び力検出に基づいて実行される。入力検出手段４５では、操作者３０の指３０ａの接触位置及び押圧力を検出して、少なくとも、位置検出信号Ｓ１および入力量（押圧力；加圧力Ｆ）となる入力検出信号Ｓ２を発生するようになされる。

入力検出手段４５には、Ａ／Ｄドライバ３１が接続され、入力検出手段４５からの位置検出信号Ｓ１および入力検出信号Ｓ２が供給される。Ａ／Ｄドライバ３１ではカーソリング入力機能と接触位置検出機能とを区別するために位置検出信号Ｓ１および入力検出信号Ｓ２よりなるアナログ信号をデジタルデータに変換する。

この他にＡ／Ｄドライバ３１は、このデジタルデータを演算処理して、カーソリング入力か、相手方から送られてきた映像の顔部位、例えば、鼻、ほほ、後ろ髪姿等の接触位置検出情報かを判別し、カーソリング入力か顔画像位置検出入力かを区別するフラグデータＤ３１あるいは位置検出情報Ｄ１１または入力検出情報Ｄ１２をＣＰＵ３２に供給するようになされる。これらの演算はＣＰＵ３２内で実行してもよい。

この例で、ＣＰＵ３２は、入力手段２４から触覚提示要求を入力し、当該顔画像情報Ｄ４に対応付けられた触覚情報Ｄ１に基づいて操作者の指（操作体）に触覚を提示するように触覚発生手段４０を制御する。ＣＰＵ３２が触覚発生手段４０を制御するのは、受信画像に対応する触覚の提示要求を受け付けたときである。例えば、入力検出手段４５から得られる入力検出情報Ｄ１２と予め設定された押下判定閾値Ｆthとを比較し、当該比較結果に基づいて圧電アクチュエータ２５ａ〜２５ｄ等を振動制御するようにアクチュエータ駆動部３７を制御する。

この例で、アクチュエータ駆動部３７は、各アプリケーションに対応する押下判定閾値Ｆthを記憶する。例えば、押下判定閾値Ｆthはトリガーパラメータとしてアクチュエータ駆動回路３７に設けられたＲＯＭ等に予め格納される。アクチュエータ駆動回路３７は、ＣＰＵ３２の制御を受けて、入力検出情報Ｄ１２を入力し、予め設定された押下判定閾値Ｆthと、入力検出情報Ｄ１２から得られる加圧力Ｆとを比較し、Ｆth＞Ｆの判定処理や、Ｆth≦Ｆ等の判定処理を実行する。

ＣＰＵ３２では、入力検出手段４５の押下位置における入力検出面から伝播される触覚をＡ及びＢとすると、触覚Ａは、その押下位置における操作者の指３０ａの加圧力Ｆに応じた入力検出面を低周波数かつ小振幅の振動パターンから、高周波数かつ大振幅の振動パターンに変化させることによって得られる。また、触覚Ｂは、その押下位置における操作者の指３０ａの加圧力Ｆに応じた入力検出面を高周波数かつ大振幅の振動パターンから、低周波数かつ小振幅の振動パターンに変化させることよって得られる。

ＣＰＵ３２は、入力検出手段４５が押下判定閾値Ｆthを越える入力検出情報Ｄ１２を検出したとき、触覚Ａを起動し、その後、押下判定閾値Ｆthを下回る入力検出情報Ｄ１２を検出したとき、触覚Ｂを起動するようにアクチュエータ駆動回路３７を制御する。このようにすると、操作者の指３０ａ等の”加圧力”に合わせた異なる振動パターンを発生させることができる。なお、入力検出手段４５は、図７では静電容量方式の入力デバイスを説明したが、カーソリング入力と接触位置検出機能を区別できるものであれば何でも良く、例えば、抵抗膜方式、表面波弾性方式（ＳＡＷ）、光方式、複数段方式タクトスイッチ等の入力デバイスであっても良く、好ましくは位置情報と力情報を制御手段１５に与えられる構成の入力デバイスであれば良い。

ＣＰＵ３２にはアクチュエータ駆動部３７の他に画像処理部２６が接続され、アンテナ１６、共用器２３及び受信部２１を通じて受信した顔画像情報Ｄ４に基づいて相手方の顔画像等を表示するための画像処理をするようになされる。画像処理部２６には、ＣＰＵ３２を通じて音声入出力手段を構成する映像＆音声処理部４４が接続される。映像＆音声処理部４４では、デジタルの音声データをデジタル／アナログ変換してアナログの音声信号Ｓoutを出力したり、デジタルの映像データをデジタル／アナログ変換してアナログの映像信号Ｓｖを出力するようになされる。

映像処理後の表示信号Ｓｖは表示手段２９に供給される。表示手段２９では、相手方の携帯電話機４００から送られてきた相手方の顔画像、例えば、鼻、ほほ、後ろ髪姿の顔画像情報Ｄ４に基づく表示信号Ｓｖにより通信相手の３カットの画像等を表示するようになされる。この例では、操作者３０が指３０ａで触れている表示画面で相手方の顔画像、例えば、鼻、ほほ、後ろ髪姿毎に振動を受けて触覚を得ることができる。

映像＆音声処理部４４には大音響用及び受話器を構成するスピーカー３６ａ、３６ｂが接続される。スピーカー３６ａは、着呼時、着信音や着信メロディ等を鳴動するようになされる。スピーカー３６ｂは、音声信号Ｓinを入力して相手方の話声等を拡大するようになされる。このように、表示手段２９の表示内容は操作者の目による視覚により、スピーカー３６ａ、３６ｂ等からの放音は、操作者の耳による聴覚により各機能を判断するようになされる。

上述のＣＰＵ３２には操作パネル１８が接続され、例えば、発呼時、相手方の電話番号を手動入力する際に使用される。また、上述の記憶手段３５には、複数種類の波形パターンデータＤＰ０の他に、当該携帯電話機４００が送信側となった場合に、カメラ３４によって取得した被写体の画像情報ＤINや、相手方の携帯電話機４００’等に送信するための触覚情報Ｄ１等が格納される。

ＣＰＵ３２には操作パネル１８の他にカメラ３４が接続され、自分の顔画像や、その他の被写体を撮影して、例えば、静止画や動画等の画像情報ＤINが取得される。画像情報ＤINは、触覚テレビ電話モード設定時、触覚情報Ｄ１と結合されて相手方に符号化して送信するようになされる。上述の映像＆音声処理部４４にはスピーカー３６ａ、３６ｂの他に、送話器を構成するマイクロフォン１３が接続され、当該携帯電話機４００が発呼側となるとき、操作者の声を集音して音声信号Ｓoutを出力するようになされる。映像＆音声処理部４４は、発呼時、相手方へ送るためのアナログの音声信号Ｓinをアナログ／デジタル変換してデジタルの音声データを出力したり、アナログの映像信号Ｓｖをアナログ／デジタル変換してデジタルの映像データを出力するようになされる。

ＣＰＵ３２には上述した受信部２１の他に、送信部２２が接続され、相手方へ送るための映像及び音声データＤout等を変調処理し、変調後の送信データをアンテナ共用器２３を通じアンテナ１６に供給するようになされる。アンテナ１６は、アンテナ共用器２３から供給される無線電波を基地局等に向けて輻射するようになされる。電源ユニット３３は、バッテリー１４を有しており、制御手段１５、操作パネル１８、受信部２１、送信部２２、圧電アクチュエータ２５ａ〜２５ｄ、表示手段２９、カメラ３４、記憶手段３５、触覚提示手段４０及び入力検出手段４５にＤＣ電源を供給するようになされる。

このように携帯電話機４００を構成すると、相手方の携帯電話機４００’から作成指示された触覚提示用の振動波形パターンデータＤｃを当該携帯電話機４００のＣＰＵ３２で作成することができ、しかも、相手方の携帯電話機４００’で触覚提示用の振動波形パターンデータＤｃを作成し、その振動波形パターンデータＤｃを含む触覚情報Ｄ１を当該携帯電話機４００へ送信する場合に比べて、触覚提示用の振動波形パターンデータＤｃを作成指示するための触覚情報Ｄ１のデータ量を軽減することができる。

また、携帯電話機４００のＣＰＵ３２で複数種類の波形パターンデータＤＰ０を組み合わせることによって多種多様の触覚を発生できるようになる。しかも、相手方の携帯電話機４００’より送信される触覚情報Ｄ１の内容の差異によって着呼側の個々の携帯電話機４００の触覚発生手段４０により発生される触覚の種類を異ならせることができる。

図１１（Ａ）及び（Ｂ）は、触覚Ａ及びＢに係る振動パターン例を示す波形図である。図１１Ａ及びＢにおいて、いずれも横軸は、時間ｔである。縦軸は振動制御信号Ｓａ〜Ｓｄ等の電圧（振幅Ａｘ）［Ｖ］である。この例では、相手方の顔画像の鼻を触った時は触覚Ａを与え、そこから指を離す時は触覚Ｂを与える場合を例に挙げる。もちろん、触覚Ａ＋Ｂを連続して提示するようにしてもよい。

図１１Ａに示す第１の振動パターンＰａは触覚Ａを与える波形である。その触覚Ａの駆動条件ａは、相手方の顔画像の「鼻」等が触られたとき、押下判定閾値Ｆthと加圧力Ｆとの関係がＦth＜Ｆとなる場合であって、第１段階ｉで約０．１秒間、周波数ｆｘ＝５０Ｈｚ、振幅Ａｘ＝５μｍ、回数Ｎｘ＝２回の振動パターンで振動する。以下［ｆｘＡｘＮｘ］＝［５０５２］と表記する。同様にして、第２段階iiでは、約０．１秒間、［ｆｘＡｘＮｘ］＝［１００１０２］の振動パターンで振動するようになされる。

図１１Ｂに示す第２の振動パターンＰｂは触覚Ｂを与える波形である。その触覚Ｂの駆動条件ｂは、相手方の顔画像の「鼻」等が触られた後に、その相手方の顔画像の「鼻」から指が放されたとき、押下判定閾値Ｆthと加圧力Ｆとの関係がＦth＞Ｆとなる場合であって、第１段階ｉで約０．１秒間、［ｆｘＡｘＮｘ］＝［８０８２］で振動し、同様にして、第２段階iiでは、約０．１秒間、［ｆｘＡｘＮｘ］＝［４０８２］の振動パターンで振動する。このような振動パターンに基づいて入力検出面を振動すると、凸部を有する鼻等の触覚を得ることができる。

図１２（Ａ）及び（Ｂ）は、触覚テレビ電話システム４における発呼側の顔画像の撮影例及びその表示例を示す図である。
この実施例では、送信側（発呼側；第１情報処理系Ｉ）の操作者である彼女３０’が携帯電話機４００’を使用して自分の顔画像を撮影し、その顔画像情報Ｄ４に触覚情報Ｄ１を付加して受信側の操作者である彼氏３０の携帯電話機４００に符号化して送信する場合を例に挙げる。

図１２Ａに示す撮影例によれば、自分の左手に持った携帯電話機４００’のカラー用のカメラ３４の前に彼女３０’が対峙し、自分の顔画像を撮影するようになされる。カメラ３４は、表示画面側に取り付けてあるので、その顔画像を鏡のように、図１２Ｂに示す表示手段２９’に表示するようになされる。撮影映像は静止画でも動画でもよい。

図１３〜図１５は、彼女３０’の正面向き、横向き、斜め後ろ向き等の顔画像の表示例を示す図である。各々の図１３〜図１５において、（Ａ）は、これらの顔画像表示例、（Ｂ）はその送信情報例を示している。

この実施例では、彼女が携帯電話機４００’を使用して自分の顔画像の例えば、３カットについて、相手方にアッピールするために、正面向きの顔画像、横向きの顔画像、斜め後ろ向きの顔画像について触覚情報Ｄ１を付加する場合を例に挙げる。彼女３０’は、携帯電話機４００’で入力手段２４’を使用して画像触覚モードを設定するように操作される。また、入力手段２４’は、正面向き、横向き、斜め後ろ向きの各々の顔画像等の３カットについて、触覚提示位置を制御手段１５’に指示するように操作される。

図１３Ａに示す顔画像は、彼女が正面を向いて撮した表示例である。この表示例では、彼女３０’が自分の手に持った携帯電話機４００’の表示手段２９’に自分の顔画像表示している。彼女３０’は、入力手段２４’を使用して正面向き顔画像について、触覚提示位置を制御手段１５’に指示するように操作される。触覚提示位置に関しては、例えば、「鼻」が指定される。制御手段１５’は、顔画像情報Ｄ４と触覚情報Ｄ１とを対応付ける。対応付け処理は、例えば、触覚提示位置「鼻」が指定された正面向き顔画像について、振動作成指示データＤＰＸが記述される。

図１３Ｂに示す送信情報は、ヘッダ情報とデータから構成される。ヘッダ情報は、顔画像情報Ｄ４及び触覚情報Ｄ１から構成される。顔画像情報Ｄ４には、Ｒ（赤）、Ｇ（緑）、青（Ｂ）の色区分、コントラスト等の項目が記述される。触覚情報Ｄ１には、アプリケーション情報、触覚提示位置及び振動作成指示データＤＰＸが記述される。この例でアプリケーション情報には、相手方の情報処理装置を区分するための「電話」が記述され、触覚提示位置には彼女３０が指定した「鼻」が記述される。

Ｒ、Ｇ、Ｂの色区分には、「鼻」の色を示す肌色が記述される。コントラストは例えば「０」が記述される。振動作成指示データＤＰＸには、振動波形パターンデータＤｃを形成する周波数ｆｘ、振幅Ａｘ及び振動回数Ｎｘが記述される。これは、彼氏３０の携帯電話機４００で周波数ｆｘ、振幅Ａｘ及び振動回数Ｎｘに基づいて振動制御信号Ｓａ等を作成するためである。これにより、制御手段１５’で、相手方の携帯電話機４００に彼女の正面向き顔画像に係る触覚情報Ｄ１＋顔画像情報Ｄ４の送信処理を実行できるようになる。

図１４Ａに示す顔画像は、彼女が横を向いて撮した表示例である。この表示例では、彼女３０’が自分の手に持った携帯電話機４００’の表示手段２９’に自分の横向きの顔画像を表示している。彼女３０’は、入力手段２４’を使用して横向き顔画像について、触覚提示位置を制御手段１５’に指示するように操作される。触覚提示位置に関しては、例えば、「ほほ」が指定される。制御手段１５’は、顔画像情報Ｄ４と触覚情報Ｄ１とを対応付ける。対応付け処理は、例えば、触覚提示位置「ほほ」が指定された横向き顔画像について、振動作成指示データＤＰＸが記述される。

図１４Ｂに示す送信情報において、顔画像情報Ｄ４のＲＧＢ色区分には、「ほほ」の色を示す肌色が記述される。コントラストには「０」が記述される。触覚情報Ｄ１のアプリケーション情報には「電話」が記述される、触覚提示位置には彼女３０が指定した「ほほ」が記述される。振動作成指示データＤＰＸには、振動波形パターンデータＤｃを形成する周波数ｆｘ’、振幅Ａｘ’及び振動回数Ｎｘ’が記述される。これは、彼氏３０の携帯電話機４００で周波数ｆｘ’、振幅Ａｘ’及び振動回数Ｎｘ’に基づいて振動制御信号Ｓａ等を作成するためである。これにより、制御手段１５’で、相手方の携帯電話機４００に彼女の横向き顔画像に係る触覚情報Ｄ１＋顔画像情報Ｄ４の送信処理を実行できるようになる。

図１５Ａに示す顔画像は、彼女が斜め後ろを向いて撮した表示例である。この表示例では、彼女３０’が自分の手に持った携帯電話機４００’の表示手段２９’に自分の斜め後ろ向きの顔画像を表示している。彼女３０’は、入力手段２４’を使用して斜め後ろ向き顔画像について、触覚提示位置を制御手段１５’に指示するように操作される。触覚提示位置に関しては、例えば、「髪」が指定される。制御手段１５’は、顔画像情報Ｄ４と触覚情報Ｄ１とを対応付ける。対応付け処理は、例えば、触覚提示位置「髪」が指定された斜め後ろ向き顔画像について、振動作成指示データＤＰＸが記述される。

図１５Ｂに示す送信情報において、画像情報ＤINのＲＧＢ色区分には、「髪」の色を示す黒色が記述される。コントラストには「０」が記述される。触覚情報Ｄ１のアプリケーション情報には「電話」が記述される、触覚提示位置には彼女３０が指定した「髪」が記述される。振動作成指示データＤＰＸには、振動波形パターンデータＤｃを形成する周波数ｆｘ”、振幅Ａｘ”及び振動回数Ｎｘ”が記述される。これは、彼氏３０の携帯電話機４００で周波数ｆｘ”、振幅Ａｘ”及び振動回数Ｎｘ”に基づいて振動制御信号Ｓａ等を作成するためである。これにより、制御手段１５’で、相手方の携帯電話機４００に彼女３０’の斜め後ろ向き顔画像に係る触覚情報Ｄ１＋顔画像情報Ｄ４の送信処理を実行できるようになる。

図１６（Ａ）及び（Ｂ）は、触覚テレビ電話システム４における着呼側の顔画像の表示例及び触覚提示例を示す図である。
この実施例では、彼女３０’の携帯電話機４００’から通信手段３００を介して、受信側（着呼側；第２の情報処理系II）の操作者である彼氏３０が携帯電話機４００を使用して顔画像に係る触覚情報Ｄ１＋画像情報ＤINを受信して復号化処理する。携帯電話機４００では、彼女３０’の顔画像を表示手段２９に表示し、その顔画像情報Ｄ４に付加された触覚情報Ｄ１に基づいて触覚提示処理をするような場合を例に挙げる。

図１６Ａに示す触覚提示例によれば、彼氏３０が自分の左手に持った携帯電話機４００を例えば、親指で表示画面上を接触又はスライドするように操作される。表示手段２９には、例えば、図１６Ｂに示すような彼女３０’の正面向きの顔画像を表示するようになされる。表示映像は静止画でも動画でもよい。彼氏３０の親指が触覚提示位置Ｐ０である「鼻」に触れたとき、当該携帯電話機４００では表示画面を振動するような触覚フィードバック制御を実行する。

次に、第４の実施例に係る情報処理方法について説明する。図１７（Ａ）及び（Ｂ）は、第４の実施例としての情報処理例を示すフローチャートである。この例で図１に示した第１の情報処理系Ｉ（発呼側）には、携帯電話機４００’が配置され、第２の情報処理系II（着呼側）には、携帯電話機４００が配置される。彼女３０’の携帯電話機４００’と彼氏３０の携帯電話機４００とは通信手段３００を通じて接続される。彼氏３０の携帯電話機４００では、予めノーマルモード又は触覚テレビ電話モード（画像触覚モード）のいずれかの動作モードの設定処理がなされる場合を前提とする。また、彼氏３０の携帯電話機４００で、受信画像の所定部位への接触を検出したとき、その顔画像情報Ｄ４に対応付けられた触覚情報Ｄ１に基づいて彼氏の親指等に触覚を提示する場合を例に挙げる。

これらを情報処理条件にして、図１７Ａに示す発呼側のフローチャートのステップＣ１１で発呼側である携帯電話機４００’を使用して彼女３０’の顔を撮影処理する。例えば、彼女自身の顔部位を何カットか撮影してこれらの顔画像情報Ｄ４を取得し、彼氏３０に送信しようとする場合を例に採る。このとき、彼女３０’は、例えば、正面向き、横向き、斜め後ろ向き顔画像等の３カット（シーン）について、触覚提示位置を制御手段１５’に指示するように入力手段２４’が操作される。

携帯電話機４００’では、入力手段２４’を操作して、カメラ３４’を操作するための操作データＤ３を制御手段１５’に出力する。制御手段１５’は、操作データＤ３に基づいてカメラ３４’を制御する。カメラ３４’は、彼女自身（被写体）の顔画像に関して動画又は静止画を含む顔画像情報Ｄ４等を取得して制御手段１５’や記憶手段３５’等に出力する。このとき、表示手段２９’には、カメラ３４’によって取得された、彼女自身の正面向き、横向き、斜め後ろ向き顔画像の顔画像情報Ｄ４に基づく表示データＤ２により彼女３０’の顔画像等の映像を表示するようになされる。

その後、ステップＣ１２で彼女３０’の携帯電話機４００’では、動画又は静止画を含む顔画像情報Ｄ４と触覚提示用の触覚情報Ｄ１との対応付け処理を実行する。この対応付け処理では、例えば、制御手段１５’が操作データＤ３に基づいて、彼女自身の正面向き、横向き及び斜め後ろ向き等の顔画像３カット（静止画で３枚の映像に相当）について、各々触覚が異なる振動作成指示データＤＰＸを得られるような触覚情報Ｄ１を記憶手段３５’から読み出し、その触覚情報Ｄ１が彼女自身の動画又は静止画を含む顔画像情報Ｄ４等に付加される。

顔画像情報Ｄ４に付加される触覚情報Ｄ１には、振動作成指示データＤＰＸの他に、携帯電話機４００を区分するアプリケーション情報等が含まれる。これは、彼氏３０の携帯電話機４００に正確に触覚情報Ｄ１を指示するためである。振動作成指示データＤＰＸには、振動波形パターンデータＤｃを形成するための図１３〜図１５に示したような周波数ｆｘ、ｆｘ’、ｆｘ”、振幅Ａｘ、Ａｘ’、Ａｘ”及び振動回数Ｎｘ、Ｎｘ’、Ｎｘ”が含まれる。この振動作成指示データＤＰＸは、入力手段２４’を使用して任意に設定するようになされる。もちろん、これに限られることはなく、予め準備されたＲＯＭから、例えば、「鼻」に相当する周波数ｆｘ、振幅Ａｘ、回数Ｎｘを読み出して設定したり、「ほほ」に相当する周波数ｆｘ’、振幅Ａｘ’、回数Ｎｘ’を読み出して設定したり、「髪」に相当する周波数ｆｘ”、振幅Ａｘ”、回数Ｎｘ”を読み出して設定してもよい。

そして、ステップＣ１３で彼女３０’の携帯電話機４００’は、先に対応付けられた触覚情報Ｄ１＋顔画像情報Ｄ４を通信手段３００を通じて、彼氏３０の携帯電話機４００に符号化して送信する。例えば、制御手段１５’は、通信モデム１９’を制御して彼氏３０の携帯電話機４００を呼出し通信回線を接続する。通信モデム１９’は、有線通信手段又は無線通信手段等の通信回線を彼氏３０の携帯電話機４００に接続して彼氏３０と通信処理を実行する。通信モデム１９’は、制御手段１５’によって符号化処理された触覚情報Ｄ１＋顔画像情報Ｄ４を彼氏３０の携帯電話機４００に送信する。

また、彼氏３０の携帯電話機４００では、図１７Ｂに示す着呼側のフローチャートのステップＥ１１で、まず、ノーマルモード又は触覚テレビ電話モードのいずれかの動作モードが設定される。動作モードは、彼氏３０が入力手段２４を使用して操作され、いずれかの動作モードが制御手段１５に設定される。

そして、ステップＥ１２で通信モデム１９は、制御手段１５の制御を受けて、彼女３０’の携帯電話機４００’から触覚情報Ｄ１＋顔画像情報Ｄ４を受信して復号化処理する。触覚情報Ｄ１＋顔画像情報Ｄ４は制御手段１５で分離され、顔画像情報Ｄ４は表示手段２９を駆動する表示データＤ２に変換される。触覚情報Ｄ１は、触覚テレビ電話モードが選択された場合に備えて制御手段１５にセットされる。

その後、ステップＥ１３に移行して、先に設定された動作モードに基づいて制御を分岐する。触覚モードが設定された場合は、ステップＥ１４及びＥ１５に移行する。ステップＥ１４では、先に受信した顔画像情報Ｄ４に基づいて顔画像の表示処理をする。例えば、表示手段２９は、携帯電話機４００’から送られてきた、正面向き、横向き及び斜め後ろ向き等の顔画像情報Ｄ４に基づく表示データＤ２により、通信相手である彼女３０’の顔画像等を表示する。

これに並行して、ステップＥ１５で制御手段１５は、表示手段２９に表示されている受信画像に対応する触覚の提示要求を受け付ける。このとき、触覚機能付きの入力手段２４は、受信画像の所定部位への彼氏３０の親指等の接触を検出して、表示手段２９に表示された受信画像に対応する触覚の提示要求を受け付けるように操作される。

触覚機能付きの入力手段２４によって受信画像に対応する触覚提示要求を受け付けた場合は、ステップＥ１６に移行する。ステップＥ１６で制御手段１５は、その顔画像情報Ｄ４に対応付けられた触覚情報Ｄ１に基づいて彼氏３０の親指等に触覚を提示するように触覚提示制御を実行する。例えば、制御手段１５は、彼女３０’の携帯電話機４００’から受信したアプリケーション情報及び触覚情報Ｄ１をデコード処理して振動作成指示データＤＰＸを取得する。制御手段１５は、デコード処理して得た振動作成指示データＤＰＸに基づいて記憶手段３５から、周波数ｆｘ、ｆｘ’、ｆｘ”、振幅Ａｘ、Ａｘ’、Ａｘ”等の波形パターンデータＤＰ０を読み出し、この波形パターンデータＤＰ０を振動回数Ｎｘ、Ｎｘ’、Ｎｘ”に基づいて合成し、振動波形パターンデータＤｃを作成するような制御を実行する。制御手段１５は、合成後の振動波形パターンデータＤｃをデジタル・アナログ変換して振動制御信号Ｓａ〜Ｓｄを作成する。

振動制御信号Ｓａ〜Ｓｄは、制御手段１５から触覚発生手段４０を構成する圧電アクチュエータ２５ａ〜２５ｄ等へ供給される。圧電アクチュエータ２５ａ〜２５ｄは、振動制御信号Ｓａ〜Ｓｄに基づいて入力手段２４又は表示手段２９を振動するようになされる。これにより、入力手段２４又は表示手段２９に触れている彼氏３０の親指等に触覚を提示できるようになる。その後、ステップＥ１８に移行する。

なお、ステップＥ１３でノーマルモードが設定された場合は、ステップＥ１７に移行して触覚提示処理を伴わない顔画像の表示処理を実行する。その後、ステップＥ１８に移行して制御手段１５は、情報処理の終了を判断する。この際の終了判断では、例えば、電源オフ情報を検出してノーマルモード又は画像触覚モードに係る情報処理を終了する。電源オフ情報が検出されない場合は、ステップＥ１３に戻って、上述した処理を繰り返すようになされる。

このように、第４の実施例に係る触覚テレビ電話システム４によれば、第１の情報処理システムが応用され、着呼側である彼氏３０の携帯電話機４００は、発呼側である彼女３０’の携帯電話機４００’から触覚情報Ｄ１＋顔画像情報Ｄ４を受信し、当該顔画像情報Ｄ４に基づいて画像を表示すると共に、その画像に対応する触覚の提示要求を受け付ける。携帯電話機４００は、触覚の提示要求を受け付けたとき、顔画像情報Ｄ４に対応付けられた触覚情報Ｄ１に基づいて彼氏３０の親指等に触覚を提示するように触覚発生手段４０を制御するようになされる。

従って、着呼側の操作者（彼氏３０）等に対して発呼側の操作者（彼女３０’）の顔画像を視るという視覚に加えて、彼女３０’の正面向き、横向き、斜め後ろ向きの顔画像等に対応付けられた触覚を再現性良く提示できるようになる。これにより、発呼側で正面向き、横向き、斜め後ろ向きの顔画像で「鼻」、「ほほ」、「髪」等に対応付けた触覚を彼氏３０で体験できるような触覚テレビ電話システム４を構築することができる。このような触覚テレビ電話システム４は、既存の有線又は及び無線方式の公衆電話回線網等を利用して実現可能である。

しかも、発呼側の携帯電話機４００’から着呼側の携帯電話機４００へ振動作成指示データＤＰＸを符号化して送信しているので、振動波形パターンデータＤｃを携帯電話機４００’から携帯電話機４００へ直接送信する場合に比べて送信情報を少なくすることができる。

また、第４の実施例に係る触覚入力機能付きの携帯電話機及び情報処理方法によれば、発呼側の携帯電話機４００’から触覚情報Ｄ１＋顔画像情報Ｄ４を通信手段３００を通じて受信し、その情報処理する場合に、ＣＰＵ３２は、触覚機能付きの入力手段２４によって触覚の提示要求が受け付けられたとき、当該顔画像情報Ｄ４に対応付けられた触覚情報Ｄ１に基づいて操作者の指等に触覚を提示するように触覚発生手段４０を制御する。触覚発生手段４０は、ＣＰＵ３２の制御を受けて触覚を発生する。

従って、操作者に対して画像を視るという視覚に加えて、受信画像に対応付けられた触覚を再現性良く提示できるようになる。これにより、発呼側で送信画像の所定部位に対応付けた触覚を当該着呼側の携帯電話機４００で再現性良く提示できるようになる。着呼側の携帯電話機４００は上述の触覚テレビ電話システムの他に、触覚ネットショッピングシステムや触覚ゲーム情報配信システム、触覚地図情報配信システム等に十分応用できる。

図１８Ａ〜Ｄは、第４の実施例に係る触覚情報Ｄ１の他の設定例を示す図である。

第４の実施例で、図１７Ｂに示したステップＣ１２では、「鼻」に相当する周波数ｆｘ、振幅Ａｘ、回数Ｎｘを記憶手段３５’から読み出して設定したり、「ほほ」に相当する周波数ｆｘ’、振幅Ａｘ’、回数Ｎｘ’を記憶手段３５’から読み出して設定したり、「髪」に相当する周波数ｆｘ”、振幅Ａｘ”、回数Ｎｘ”を記憶手段３５’等から読み出して設定する場合について説明したが、この実施例では、「すりすりモード」が準備される。

ここに「すりすりモード」とは、触覚入力機能付きの携帯電話機４００を操作者のほほ等に実際に擦ったときに得られる力検出波形に基づいて振動作成指示データＤＰＸを作成し、この振動作成指示データＤＰＸを含む触覚情報Ｄ１と画像情報ＤINとを結合して受信側の携帯電話機等に送信し、受信側で振動作成指示データＤＰＸに基づいて触覚提示処理を実行する動作をいう。

「すりすりモード」では、図７に示したような力検出手段５５ａ〜５５ｄの力検出機能を利用して、操作者のほほ等に実際に擦ったときに得られる力検出波形が検出される。図１８Ａにおいて、Ａ−１〜Ａ−４は、彼女３０’が手にする携帯電話機４００’の操作例を示す図である。Ａ−１は、携帯電話機４００’が彼女３０’の顔等から離れている状態である。Ａ−２は、携帯電話機４００’が彼女３０’の顔部位、例えば、ほほの下方に接触されている状態である。Ａ−３は、携帯電話機４００’が彼女３０’のほほの下方から上方にすり上げられた状態である。Ａ−４は、携帯電話機４００’が再び彼女３０’の顔等から離された状態である。

図１８Ｂは、力検出手段５５ａ〜５５ｄが検出する力検出波形例を示す概念図である。Ａ−１の状態では、力検出波形は検出されない。Ａ−２の状態では、携帯電話機４００’が彼女３０’のほほの下方に接触されることから、力検出手段５５ａ〜５５ｄは、押下力等を検出するようになる。このＡ−２状態からＡ−３状態に遷移する段階で図１８Ｂに示すような力検出波形が得られる。力検出波形は、例えば、正弦波を有している。このまま圧電アクチュエータ等に力検出波形を入力すると、圧電素子を破壊するので、人間が感じ易い周波数２００Ｈｚ程度の触覚波形パターンに変換される。

図１８Ｃは、正弦波状の力検出波形を触覚提示用の振動波形パターンデータＤｃ（触覚波形パターン）で示したものである。このような振動波形パターンデータＤｃをそのまま受信側の携帯電話機４００等に送信すると、データ量が多くなるので、この触覚波形データが何種類かの波形パターン要素に分解される。この例では、３つの波形パターン要素に分解される。初段の正弦波形は、例えば、周波数ｆｘが５０Ｈｚで、振幅Ａｘが５０μｍ、振動回数Ｎｘが２回である。中段の正弦波形は、周波数ｆｘ’が１００Ｈｚで、振幅Ａｘ’が１００μｍ、振動回数Ｎｘ’が４回であり、図示しないが、後段の正弦波形は、周波数ｆｘ”が５０Ｈｚで、振幅Ａｘ”が５０μｍ、振動回数Ｎｘ”が２回である。

この例では、ほほ等に実際に擦ったときの振動波形パターンデータＤｃを作成する旨を指示するための振動作成指示データＤＰＸを含む触覚情報Ｄ１が送信側（彼女３０’）の携帯電話機４００’から受信側（彼氏３０）の携帯電話機４００へ符号化して送信するようになされる。

この例の触覚情報Ｄ１としては、図１８Ｄに示すように、周波数ｆｘに関して「５０」が記述され、振幅Ａｘに関しては「５０」が記述され、振動回数Ｎｘに関しては「２」が記述される。同様にして、周波数ｆｘ’＝「１００」が記述され、振幅Ａｘ’＝「１００」が記述され、振動回数Ｎｘ’＝「４」が記述され、周波数ｆｘ”＝「５０」が記述され、振幅Ａｘ”＝「５０」が記述され、振動回数Ｎｘ”＝「２」が記述される。これらの周波数ｆｘ、ｆｘ’、ｆｘ”、振幅Ａｘ、Ａｘ’、Ａｘ”及び振動回数Ｎｘ、Ｎｘ’、Ｎｘ”の記述内容が振動作成指示データＤＰＸを構成するようになる。

このように、第４の実施例としての他の触覚テレビ電話システムによれば、波形分解（解析）処理により得られた周波数ｆｘ及び振幅Ａｘの正弦波形や、周波数ｆｘ’及び振幅Ａｘ’の正弦波形、周波数ｆｘ”及び振幅Ａｘ”の正弦波形等から成る波形パターン例では、振動作成指示データＤＰＸを含む触覚情報Ｄ１と、図１４Ａに示した彼女３０’の「ほほ」の顔画像情報Ｄ４とを結合して受信側の携帯電話機等に符号化して送信するようになされる。これによっても、彼女３０’の携帯電話機４００’で触覚提示用の振動波形パターンデータＤｃを作成し、その振動波形パターンデータＤｃをそのまま彼氏３０の携帯電話機４００へ送信する場合に比べて、触覚提示用の振動波形パターンデータＤｃを作成指示するための触覚情報Ｄ１のデータ量を軽減することができる。

図１９は、第５の実施例としての感動触覚付き電話システム５の構成例を示す概念図である。
この実施例では、音声触覚モード機能付きの携帯電話機５００’、５００が配置され、携帯電話機５００’は、触覚情報Ｄ１の他に音情報ＡINを携帯電話機５００に送信し、携帯電話機５００では、携帯電話機５００’から受信した触覚情報Ｄ１を復号化処理すると共に音情報ＡINを再生出力するようになされる。

図１９に示す感動触覚付き電話システム５は、情報処理システムの一例であり、送信側から受信側に送信した、「愛しているよ」や、「君が好きだ」、「君を抱きしめたい」等の感動言語に対応して、受信側でその感動言語を放音する際に、受信側操作者の耳や指等に触覚提示処理を実行するシステムである。この例で、第１の情報処理系Ｉには音声触覚モード機能付きの携帯電話機５００’が配置され、第２の情報処理系IIには音声触覚モード機能付きの携帯電話機５００が各々配置される。携帯電話機５００’と携帯電話機５００とは、通信手段３００を介して接続される。

携帯電話機５００’は、少なくとも、マイクロフォン１３’、通信モデム１９’、入力手段２４’、ＣＰＵ３２’記憶手段３５’及び映像＆音声処理部４４’を有している。ＣＰＵ３２’内には、触覚判定部３８が設けられる。マイクロフォン１３’は送話器を構成し、送信側操作者の話声３０ｄを集音して音声信号Ｓoutを出力する。マイクロフォン１３’には、映像＆音声処理部４４’が接続され、マイクロフォン１３からの音声信号Ｓoutを入力して、この音声信号Ｓoutをアナログ／デジタル変換してデジタルの音声情報ＡIN’を出力する。

映像＆音声処理部４４’には、ＣＰＵ３２’が接続され、このＣＰＵ３２’には入力手段２４’が接続される。入力手段２４’は、音声触覚モードを設定したり、映像＆音声処理部４４’を操作したり、触覚判定部３８を動作させるための操作データＤ３をＣＰＵ３２’に出力する。ＣＰＵ３２’は、入力手段２４’から得られる操作データＤ３に基づいて通信モデム１９’や、触覚判定部３８、映像＆音声処理部４４’等の入出力を制御する。この例で、入力手段２４’は、「愛しているよ」や、「君が好きだ」、「君を抱きしめたい」等の感動言語に対応する振動作成指示データＤＰＸをＣＰＵ３２’に設定するように操作される。ここで設定された感動言語は、触覚情報Ｄ１と係合付けられて記憶手段３５’に保存される。

触覚判別部３８は音声認識機能を有しており、映像＆音声処理部４４’から音声情報ＡIN’を入力して、予め設定された感動言語と、実際に送信側操作者が話した通話言語とを比較し、触覚情報Ｄ１を付加すべき感動言語であるか否かを判別する。ＣＰＵ３２’は、触覚情報Ｄ１を付加すべき感動言語である旨を判別した場合は、「愛しているよ」や、「君が好きだ」、「君を抱きしめたい」等の感動言語に対応する触覚情報Ｄ１を当該音声情報ＡIN’に付加するようになされる。

例えば、ＣＰＵ３２’は、音声触覚モード設定時、送信側操作者の話声３０ｄを含む音声情報ＡIN’と振動作成指示データＤＰＸを含む触覚提示用の触覚情報Ｄ１との対応付け処理を実行する。この対応付け処理では、ＣＰＵ３２’が操作データＤ３に基づいて、操作者本人の音声の中の「愛しているよ」や、「君が好きだ」、「君を抱きしめたい」等の感動言語について、各々触覚が異なる振動作成指示データＤＰＸを得られるような触覚情報Ｄ１を記憶手段３５’から読み出し、その触覚情報Ｄ１が操作者本人の音声を含む音声情報ＡIN’等に付加される。

この音声情報ＡIN’に付加される触覚情報Ｄ１には、振動作成指示データＤＰＸの他に、相手方の携帯電話機５００を区分するアプリケーション情報等が含まれる。これは、相手方の携帯電話機５００に正確に触覚情報Ｄ１を指示するためである。振動作成指示データＤＰＸには、振動波形パターンデータＤｃを形成する周波数ｆｘ、振幅Ａｘ及び振動回数Ｎｘが含まれる。このような触覚情報Ｄ１を付加した音声情報ＡIN’は、通信モデム１９’で符号化処理された後に、相手方の携帯電話機５００に送信するようになされる。

一方、携帯電話機５００は、少なくとも、通信モデム１９、入力手段２４、ＣＰＵ３２、記憶手段３５、スピーカー３６ｂ、触覚発生手段４０、映像＆音声処理部４４を有している。ＣＰＵ３２内には触覚解析部３９が設けられる。

通信モデム１９は、ＣＰＵ３２の制御を受けて、送信側の携帯電話機５００’から送信されてきた触覚情報Ｄ１＋音声情報ＡIN’を受信して復号化処理する。通信モデム１９にはＣＰＵ３２が接続される。ＣＰＵ３２には、入力手段２４が接続され、予めノーマルモード又は音声触覚モードのいずれかの動作モードを設定するように操作される。復号化後の触覚情報Ｄ１＋音声情報ＡIN’は、ＣＰＵ３２で分離され、音声情報ＡIN’は映像＆音声処理部４４に出力される。触覚情報Ｄ１は、音声触覚モードが選択された場合に備えてＣＰＵ３２にセットされる。

ＣＰＵ３２は、音声触覚モードが設定された場合、復号化後の音声情報ＡIN’を映像＆音声処理部４４に出力する。映像＆音声処理部４４は、通信モデム１９より受信した音声情報ＡIN’に基づいて話声等の音声を再生出力する。映像＆音声処理部４４には、受話器を構成するスピーカー３６ｂが接続される。スピーカー３６ｂは、上部筐体２０に取り付けられる。スピーカー３６ｂは、相手方から送られてきた音声情報ＡIN’に基づく音声信号Ｓinを入力して相手方の話声等を拡大するようになされる。受信側操作者は、上部筐体２０を耳に当てがって通話をするように携帯電話機５００が操作される。スピーカー３６ｂからの放音は、操作者の耳による聴覚により各機能を判断するようになされる。

また、ＣＰＵ３２は、映像＆音声処理部４４で放音される、「愛しているよ」や、「君が好きだ」、「君を抱きしめたい」等の感動言語等の音声情報ＡIN’に対応する触覚提示タイミングを検出する。この例で、触覚機能付きの入力手段２４は、操作者の耳等の接触を検出して、スピーカー３６ｂから放音される感動言語に対応する触覚提示タイミングを検出するように操作される。触覚機能付きの入力手段２４によって操作者の耳等の接触を検出した場合は、ＣＰＵ３２は、「愛しているよ」や、「君が好きだ」、「君を抱きしめたい」等の感動言語に係る音声情報ＡIN’に対応付けられた触覚情報Ｄ１に基づいて操作者の耳等に触覚を提示するように触覚提示制御を実行する。

ＣＰＵ３２内の触覚解析部３９は、復号化後の音声情報ＡIN’を入力し、特定の音声情報ＡIN’、この例では、「愛しているよ」や、「君が好きだ」、「君を抱きしめたい」等の感動言語を解析し、この感動言語に対応した触覚提示処理を実行する。例えば、「愛しているよ」や、「君が好きだ」、「君を抱きしめたい」等の感動言語等の特定の放音出力を検出したとき、その音声情報ＡIN’に対応付けられた触覚情報Ｄ１に基づいて操作者の耳等に触覚を提示するように触覚発生手段４０を制御する。

例えば、ＣＰＵ３２は、相手方の携帯電話機５００’から受信したアプリケーション情報及び触覚情報Ｄ１をデコード処理して振動作成指示データＤＰＸを取得する。ＣＰＵ３２は、デコード処理して得た振動作成指示データＤＰＸに基づいて記憶手段３５から１又は複数種類の波形パターンデータＤＰ０を読み出し、この波形パターンデータＤＰ０を合成して振動波形パターンデータＤｃを作成するような制御を実行する。ＣＰＵ３２は、合成後の振動波形パターンデータＤｃをデジタル・アナログ変換して振動制御信号Ｓａ〜Ｓｄを作成する。

振動制御信号Ｓａ〜Ｓｄは、ＣＰＵ３２から触覚発生手段４０を構成する圧電アクチュエータ２５ａ〜２５ｄに供給される。圧電アクチュエータ２５ａ〜２５ｄは、振動制御信号Ｓａ〜Ｓｄに基づいて入力手段２４や表示手段２９等を振動するようになされる。これにより、上部筐体２０に取り付けられた入力手段２４や表示手段２９等が、「愛しているよ」や、「君が好きだ」、「君を抱きしめたい」等を放音する毎に振動し、上部筐体２０のスピーカー３６ｂを耳に当てている操作者の耳や指等にその都度、触覚を提示できるようになる。なお、情報処理装置＃２ｊが家庭用の据置型の電話機３０３等である場合は、触覚発生手段４０は、その受話器付近に取り付けられる。これは受信側操作者の耳もとで触覚を与えるためである。

次に、第５の実施例としての情報処理例について説明をする。この例では送信側と受信側の２つに情報処理例を分けて説明をする。
図２０は、第５の実施例としての感動触覚電話システムにおける情報処理例（送信側）を示すフローチャートである。

この実施例では、送信側の音声触覚モード付きの携帯電話機５００’と、受信側の音声触覚モード付きの携帯電話機５００とが通信手段３００を通じて接続される。送信側の携帯電話機５００では、「愛しているよ」や、「君が好きだ」、「君を抱きしめたい」等の感動言語について、予め触覚提示タイミングをＣＰＵ３２’に指示するように入力手段２４’を操作して設定される。記憶手段３５’には、これらの感動言語に対応付けられた触覚情報Ｄ１が予め格納されている場合を前提とする。

これらを情報処理条件にして、図２０に示す送信側のフローチャートのステップＦ２１で送信側の携帯電話機５００’は、周知の技術を応用して受信側の携帯電話機５００を発呼する。その後、ステップＦ２２に移行して携帯電話機５００’と携帯電話機５００との間を既存の通信手段３００を利用して接続する。その後、ステップＦ２３に移行して、携帯電話機５００’は、音声取得処理を実行する。このとき、送話器を構成するマイクロフォン１３’は、送信側操作者の話声３０ｄを集音して音声信号Ｓoutを映像＆音声処理部４４’に出力する。映像＆音声処理部４４’は、マイクロフォン１３からの音声信号Ｓoutを入力して、この音声信号Ｓoutをアナログ／デジタル変換してデジタルの音声情報ＡIN’を出力する。

また、音声認識機能を有する触覚判別部３８では、映像＆音声処理部４４’から音声情報ＡIN’を入力して、予め設定された感動言語と、実際に送信側操作者が話した通話言語とを比較し、触覚情報Ｄ１を付加すべき感動言語であるか否かを判別する。

その後、ステップＦ２４で携帯電話機５００’は、上述の判別結果に基づいて話声３０ｄを含む音声情報ＡIN’と触覚提示用の触覚情報Ｄ１との対応付け処理を実行する。この対応付け処理では、ＣＰＵ３２’は、触覚情報Ｄ１を付加すべき感動言語である旨を判別した場合、「愛しているよ」や、「君が好きだ」、「君を抱きしめたい」等の感動言語に対応する触覚情報Ｄ１を記憶手段３５’から読み出すようになされる。

ＣＰＵ３２’が「愛しているよ」や、「君が好きだ」、「君を抱きしめたい」等の感動言語について、記憶手段３５’から読み出した触覚情報Ｄ１は、操作者本人の音声を含む音声情報ＡIN’等に付加される。この音声情報ＡIN’に付加される触覚情報Ｄ１には、振動作成指示データＤＰＸの他に、相手方の携帯電話機５００を区分するアプリケーション情報等が含まれる。これは、相手方の携帯電話機５００に正確に触覚情報Ｄ１を指示するためである。振動作成指示データＤＰＸには、振動波形パターンデータＤｃを形成する周波数ｆｘ、振幅Ａｘ及び振動回数Ｎｘが含まれる。このような触覚情報Ｄ１を付加した音声情報ＡIN’は、通信モデム１９’で符号化処理された後に、相手方の携帯電話機５００に送信するようになされる。

そして、ステップＦ２５で携帯電話機５００’は、先に対応付けられた触覚情報Ｄ１＋音声情報ＡIN’を通信手段３００を通じて携帯電話機５００に送信する。このとき、触覚情報Ｄ１＋音声情報ＡIN’は、ＣＰＵ３２’又は通信モデム１９’で符号化処理された後に、相手方の携帯電話機５００に送信される。その後、ステップＦ２６でＣＰＵ３２’は通信処理終了を判断する。例えば、オンフック情報を検出した場合は、ステップＦ２７に移行して通信回線を「断」して通信処理を終了する。オンフック情報が検出されず、オフフック情報が検出されている場合は、ステップＦ２５に戻って上述した処理を継続する。

図２１は、第５の実施例としての感動触覚電話システムにおける情報処理例（受信側）を示すフローチャートである。
この実施例で受信側の携帯電話機５００において、予めノーマルモード又は音声触覚モードのいずれかの動作モードの設定処理がなされる場合を前提とする。また、携帯電話機５００で、「愛しているよ」や、「君が好きだ」、「君を抱きしめたい」等の特定の放音出力を検出したとき、その音声情報ＡIN’に対応付けられた触覚情報Ｄ１に基づいて操作者の耳等に触覚を提示する場合を例に挙げる。受信側操作者は、上部筐体２０を耳に当てがって通話をするように携帯電話機５００が操作される。

これらを情報処理条件にして、携帯電話機５００では、図２１に示す受信側のフローチャートのステップＧ２１で、まず、ノーマルモード又は音声触覚モードのいずれかの動作モードが設定される。動作モードは、受信側操作者により入力手段２４が操作されてＣＰＵ３２に設定される。このとき、受信側操作者はノーマルモード又は音声触覚モードのいずれかを設定する。

そして、ステップＧ２２で携帯電話機５００は、相手方の携帯電話機５００’からの着呼を待機する。相手方の携帯電話機５００’からの着呼を検出した場合は、ステップＧ２３に移行して周知の技術に基づいて通信回線「接続」処理を実行する。その後、ステップＧ２４で通信モデム１９は、ＣＰＵ３２の制御を受けて、送信側の携帯電話機５００’から送信されてきた触覚情報Ｄ１＋音声情報ＡIN’を受信して復号化処理する。復号化後の触覚情報Ｄ１＋音声情報ＡIN’は、ＣＰＵ３２で分離され、音声情報ＡIN’は映像＆音声処理部４４に出力される。触覚情報Ｄ１は、音声触覚モードが選択された場合に備えてＣＰＵ３２にセットされる。

その後、ステップＧ２５に移行して、先に設定された動作モードに基づいて制御を分岐する。音声触覚モードが設定された場合は、ステップＧ２６及びＧ２７に移行する。ステップＧ２６で映像＆音声処理部４４は、相手方から送られてきた音声情報ＡIN’に基づく話声３０ｄがスピーカー３６ｂにより放音される。音声触覚モードを選択した場合には、音声情報ＡIN’に基づく話声３０ｄに感動言語が含まれる。

ＣＰＵ３２は、音声触覚モードが設定された場合、復号化後の音声情報ＡIN’を映像＆音声処理部４４に出力する。映像＆音声処理部４４は、通信モデム１９より受信した音声情報ＡIN’に基づいて話声等の音声を再生出力する。スピーカー３６ｂは、音声情報ＡIN’に基づく音声信号Ｓinを入力して相手方の話声等を拡大するようになされる。スピーカー３６ｂからの放音は、操作者の耳による聴覚により各機能を判断するようになされる。

これに並行して、ステップＧ２７でＣＰＵ３２内の触覚解析部３９は、復号化後の音声情報ＡIN’を入力し、特定の音声情報ＡIN’、この例では、「愛しているよ」や、「君が好きだ」、「君を抱きしめたい」等の感動言語を解析し、この感動言語に対応した触覚提示処理を実行する。例えば、「愛しているよ」や、「君が好きだ」、「君を抱きしめたい」等の感動言語等の特定の放音出力を検出する。このとき、触覚機能付きの入力手段２４は、操作者の耳等の接触を検出して、スピーカー等から放音される感動言語に対応する触覚提示タイミングを検出するように操作される。

操作者の耳等の接触を検出した場合は、ステップＧ２８に移行する。ステップＧ２８でＣＰＵ３２は、「愛しているよ」や、「君が好きだ」、「君を抱きしめたい」等の感動言語に係る音声情報ＡIN’に対応付けられた触覚情報Ｄ１に基づいて操作者の耳等に触覚を提示するように触覚発生手段４０を制御する。

振動制御信号Ｓａ〜Ｓｄは、ＣＰＵ３２から触覚発生手段４０を構成する圧電アクチュエータ２５ａ〜２５ｄに供給される。圧電アクチュエータ２５ａ〜２５ｄは、振動制御信号Ｓａ〜Ｓｄに基づいて入力手段２４や表示手段２９等を振動するようになされる。これにより、上部筐体２０に取り付けられた入力手段２４や表示手段２９等が、「愛しているよ」や、「君が好きだ」、「君を抱きしめたい」等を放音する毎に振動し、上部筐体２０のスピーカー３６ｂを耳に当てている操作者の耳や指等にその都度、触覚を提示できるようになる。その後、ステップＧ３０に移行する。

なお、ステップＧ２５でノーマルモードが設定された場合は、ステップＧ２９に移行して触覚提示処理を伴わない音再生出力処理を実行する。その後、ステップＧ３０に移行してＣＰＵ３２は、情報処理の終了を判断する。この際の終了判断では、例えば、電源オフ情報を検出してノーマルモード又は音声触覚モードに係る情報処理を終了する。電源オフ情報が検出されない場合は、ステップＧ２５に戻って、上述した処理を繰り返すようになされる。

このように、第５の実施例に係る感動触覚電話システム５によれば、送信側の音声触覚モード機能付きの携帯電話機５００’と、受信側の音声触覚モード機能付きの携帯電話機５００とが通信手段３００を通じて接続される。携帯電話機５００’は、「愛しているよ」や、「君が好きだ」、「君を抱きしめたい」等の感動言語を含む音声情報ＡIN’と触覚提示用の触覚情報Ｄ１とを対応付けて送信処理する。これを前提にして、携帯電話機５００は、携帯電話機５００’から触覚情報Ｄ１＋音声情報ＡIN’を受信し、当該音声情報ＡIN’に基づいて放音すると共に、その感動言語に係る音声情報ＡIN’に対応する触覚提示タイミングを検出する。携帯電話機５００は、触覚提示タイミングを検出したとき、音声情報ＡIN’に対応付けられた触覚情報Ｄ１に基づいて操作者の耳に触覚を提示するように触覚発生手段４０を制御するようになされる。

従って、受信側の操作者等に対して相手方からの話声３０ｄを聞くという聴覚に加えて、感動言語等の音声情報ＡIN’に対応付けられた触覚を再現性良く提示できるようになる。これにより、送信側で、「愛しているよ」や、「君が好きだ」、「君を抱きしめたい」等の感動言語を含む音声情報ＡIN’に対応付けた触覚を受信側で体験できるような感動触覚電話システム５を構築することができる。このような感動触覚電話システム５は、既存の有線又は及び無線方式の公衆電話回線網等を利用して十分実現が可能となる。

また、第５の実施例に係る音声触覚モード機能付きの携帯電話機及びその情報処理方法によれば、送信側の携帯電話機５００’から触覚情報Ｄ１＋音声情報ＡIN’を通信手段３００を通じて受信し、その情報処理する場合に、ＣＰＵ３２は、触覚提示タイミングを検出したとき、当該音声情報ＡIN’に対応付けられた触覚情報Ｄ１に基づいて操作者の耳等に触覚を提示するように触覚発生手段４０を制御する。触覚発生手段４０は、ＣＰＵ３２の制御を受けて触覚を発生する。

従って、操作者に対して相手方からの話声３０ｄを聞くという聴覚に加えて、感動言語等の音声情報ＡIN’に対応付けられた触覚を再現性良く提示できるようになる。これにより、送信側で、「愛しているよ」や、「君が好きだ」、「君を抱きしめたい」等の感動言語を含む音声情報ＡIN’に対応付けた触覚を受信側で体験できるような感動触覚電話システムに寄与することができる。

しかも、送信側の携帯電話機５００’から送信側の携帯電話機５００へ振動作成指示データＤＰＸを符号化して送信しているので、振動波形パターンデータＤｃを携帯電話機５００’から携帯電話機５００へ直接送信する場合に比べて送信情報を少なくすることができる。

図２２は、第６の実施例としての触覚インターネットショッピングシステム６の構成例を示す概念図である。図２３は、触覚検出グローブ５０を含むＷＷＷサーバ６０１の構成例を示すブロック図、図２４は、触覚検出グローブ５０の構成例を各々示す断面図である。

この実施例では、触覚入力機能を有する情報配信側のネットショップ用ウエッブサーバ（以下でＷＷＷサーバ６０１という）と、情報受信側の触覚入力機能付きのノートパソコン（以下でネット端末６００という）とを通信手段３００により接続し、ネットショップに係る商品等の画像情報（以下で商品画像情報Ｄ６という）に触覚情報Ｄ１を付加してネット端末６００に送信し、その商品の肌触り感等をネット端末６００のモニタ画面上等で体験できるようにしたものである。

図２２に示す触覚ネットショッピングシステム６は情報処理システムの一例であり、動画又は及び静止画を含む商品画像情報Ｄ６に対応付けられた触覚提示用の触覚情報Ｄ１を処理するシステムである。商品画像情報Ｄ６には、一般家庭用のデジタルカメラや、業務用の放送局向けカメラ等で商品を映した商品画像や、パソコン等により作成したその商品に係るＣＡＤデータ等を含んでいる。

触覚ネットショッピングシステム６では、既存の通信手段（通信基盤）３００が応用される。通信手段３００には、有線通信手段及び無線通信手段が含まれる。通信手段３００には、既存の有線及び無線方式の公衆電話回線網や、インターネット等が利用される。また、通信手段３００は、ＷＷＷサーバ６０１−ネット端末６００を電気的に接続できるものであれば、どんな通信方式であってもよい。

この触覚ネットショッピングシステム６でその情報配信側には、情報処理装置＃１ｉの一例となるＷＷＷサーバ６０１が通信モデム６９’を通じて通信手段３００に接続され、動画又は及び静止画を含む商品画像情報Ｄ６と触覚提示用の触覚情報Ｄ１とを対応付けてネット端末６００へ配信処理するようになされる。ネット端末６００は情報処理装置＃２ｊの一例である。もちろん、これに限られることはなく、情報処理装置＃２ｊには触覚入力機能付きの携帯電話機４００，５００が使用できる。

ＷＷＷサーバ６０１は、例えば、デジタルカメラ６３’、入力ツール６４’、制御ユニット６５’、モニタ６６’、記憶装置６７’、音声入出力装置６８’及び通信モデム６９’を備えて構成される。入力ツール６４’は、デジタルカメラ６３’を操作するための操作データＤ３を入力したり、モード設定時、商品画像触覚モードを設定するように操作される。例えば、洋服や家具、家電製品等の商品の撮影して商品画像を取得し、その商品画像情報Ｄ６をネット利用者に配信しようとする場合に、その正面、側面及び背面等の３カットについて、触覚提示位置を制御ユニット６５’に指示するように操作される。入力ツール６４’には、マウス６４ａ’、キーボード６４ｂ’及び触覚検出グローブ６４ｃ等が使用される。

デジタルカメラ６３’は、洋服や家具、家電製品等の商品を撮影して商品画像を取得し、商品画像情報Ｄ６を出力するようになされる。例えば、デジタルカメラ６３’は、男性用の洋服等の商品の正面、側面及び背面等の３カットについて、動画又は静止画に係る商品画像情報Ｄ６を取得する。音声入出力装置６８’は、商品販売者の音声を入力したり、ネット利用者からの音声を出力する。音声入出力装置６８’は音声入出力手段（図示せず）や、スピーカー６８ａ’や、マイクロフォン６８ｂ’等から構成される。

記憶装置６７’には、ネット利用者へのネット端末６００に指示（配信）するための触覚情報Ｄ１が格納される。触覚情報Ｄ１には、ネット端末６００で振動波形パターンデータＤｃの素材データとなる波形パターンデータＤＰ０を記憶手段６７から読み出して振動制御信号Ｓａ等を作成する旨を指示するための振動作成指示データＤＰＸが含まれている。触覚情報Ｄ１には、振動作成指示データＤＰＸの他に、ネット利用者のネット端末６００を区分するアプリケーション情報等が含まれている。

振動作成指示データＤＰＸには、振動波形パターンデータＤｃを形成する周波数ｆｘ、振幅Ａｘ及び振動回数Ｎｘが含まれる。これは、ネット端末６００で周波数ｆｘ、振幅Ａｘ及び振動回数Ｎｘに基づいて振動制御信号Ｓａ等を作成するためである。記憶装置６７’には、触覚情報Ｄ１の他にデジタルカメラ６３’によって取得された商品画像情報Ｄ６が格納される。記憶装置６７’には、ハードディスク（ＨＤＤ）が使用される。

モニタ６６’は、デジタルカメラ６３’によって取得された、例えば、商品画像情報Ｄ６に基づく表示データＤ２により商品の映像を表示したり、ネット利用者のネット端末６００から送られてきたネット利用者の個人情報等を表示するようになされる。

制御ユニット６５’は、デジタルカメラ６３’、入力ツール６４’、モニタ６６’、記憶装置６７’、音声入出力装置６８’及び通信モデム６９’の入出力を制御する。例えば、制御ユニット６５’は、デジタルカメラ６３’を制御して商品の動画又は及び静止画を含む商品画像情報Ｄ６等の画像取得処理を実行し、その後、商品画像情報Ｄ６と触覚情報Ｄ１とを対応付ける。

この際の対応付け処理では、例えば、商品画像の正面、側面及び背面等の３カット（静止画で３枚の映像に相当）について、各々触覚が異なる振動作成指示データＤＰＸが得られるような触覚情報Ｄ１が商品の動画又は及び静止画を含む商品画像情報Ｄ６等に付加される。この付加後の情報を「触覚情報Ｄ１＋音声情報ＡIN’＋商品画像情報Ｄ６」と記述する。そして、制御ユニット６５’は、ネット利用者のネット端末６００に触覚情報Ｄ１＋音声情報ＡIN’＋商品画像情報Ｄ６を符号化して配信する処理を実行する。

通信モデム６９’は、有線通信手段又は無線通信手段等の通信回線によりＷＷＷサーバ６０１とネット端末６００とを接続して、商品販売者とネット利用者との間で通信処理をできるようになされる。例えば、通信モデム６９’は、制御ユニット６５’によって符号化処理された触覚情報Ｄ１＋音声情報ＡIN’＋商品画像情報Ｄ６をネット利用者のネット端末６００に配信する。

この例で、制御ユニット６５’には触覚検出グローブ６４ｃが接続され、例えば、男性用の洋服等の商品の肌触りを検出して触覚情報Ｄ１を作成し、リアルタイムにネット端末６００に触覚情報Ｄ１＋音声情報ＡIN’＋商品画像情報Ｄ６を配信するようになされる。触覚検出グローブ６４ｃは、商品販売者の例えば、右手に装着される。触覚情報Ｄ１は、制御ユニット６５’内で加工される（図２３参照）。

図２３に示すＷＷＷサーバ６０１の内部構成例において、制御ユニット６５は、ＣＰＵ３２’、Ｉ／Ｏポート５１、システムバス５２、音声入出力種５４’、Ａ／Ｄ変換部５６、ＲＯＭ５７、ＲＡＭ５８、波形パターン格納部５９及びデータ加工部６０を有している。

図２３に示すＷＷＷサーバ６０１は、商品販売者が容易に装着可能な手袋状の入力装置を備え、商品販売者が通常操作のために商品に触れる指先部に、商品との接触の際に生じる力や加速度等を測定できるセンサが設けられ、このセンサにより商品販売者が受ける商品の肌触り等の触感を電気信号に変換し、その後、その電気信号に所定の加工を施して触覚情報Ｄ１を得るようになされる。

ＷＷＷサーバ６０１は、右手用の触覚検出グローブ５０、制御ユニット６５’及び記憶装置（ＨＤＤ）６７’を有して構成される。触覚検出グローブ５０は、実際の商品、例えば、洋服を触れた際の肌触り感覚や、一眼レフカメラ等を操作した際に得られるシャッター押下触覚を検出して触覚検出信号を出力する。この例で触覚検出グローブ５０には、商品販売者の手に装着可能な手袋状入力装置が使用される。

触覚検出グローブ５０には制御ユニット６５’が接続され、触覚検出グローブ５０から出力される触覚検出信号ＳＲを信号処理して触覚入力機能付きのネット端末６００を制御するための触覚情報Ｄ１を作成する。制御ユニット６５’はシステムバス５２を有している。

システムバス５２は例えば、データバス及び制御用の信号バスから構成される。このシステムバス５２には、例えば、中央処理ユニット（以下ＣＰＵ３２’という）、音声入出力手段５４’、Ａ／Ｄ変換部５６、ＲＯＭ（Read Only Memory）５７、ＲＡＭ（Random Access Memory）５８、波形パターン格納部５９及びデータ加工部６０が接続される。ＣＰＵ３２’には入出力ポート（以下Ｉ／Ｏポート５１という）が接続される。

ＲＯＭ５７には、当該装置全体を制御するためのシステムプログラムデータＤＰや、触覚検出データを加工する所定のアルゴリズムが格納される。ＲＡＭ５８は、ワークメモリとして使用される。ＲＡＭ５８は、例えば、操作データＤ３や制御コマンド等を一時記憶するようになされる。この例でＣＰＵ３２’は電源がオンされると、ＲＯＭ５７からシステムプログラムデータＤＰをＲＡＭ５８に読み出してシステムを起動し、入力ツール６４’からの操作データＤ３に基づいて当該装置全体を制御するようになされる。

ＣＰＵ３２’は、Ｉ／Ｏポート５１、音声入出力手段５４’、Ａ／Ｄ変換部５６、ＲＯＭ５７、波形パターン格納部５９、データ加工部６０、入力ツール６４’及びモニタ６６’の入出力を制御する。ＣＰＵ３２’では、ＲＯＭ５７から読み出された所定のアルゴリズムに基づいて触覚検出データを加工するので、商品販売者の主観（感覚）によることなく、一定の水準の波形加工を効率良く実行することができる。

Ｉ／Ｏポート５１には入力ツール６４’及びモニタ６６’が接続される。入力ツール６４’は触覚検出信号ＳＲの取り込み指示や、波形加工の開始指示等を入力するように操作される。入力ツール６４’にはキーボード等が使用される。入力ツール６４’で指定された情報は操作データＤ３となってＣＰＵ３２’に出力される。モニタ６６’は触覚検出データＤＲに基づく表示データＤ２により触覚測定時のアナログの触覚検出信号ＳＲを表示したり、波形パターンデータＤＰ０に基づいて触覚付与時の触覚提示信号を表示するようになされる。モニタ６６’には液晶表示ディスプレイや、ＣＲＴ等が使用される。

上述のシステムバス５２には、音声入出力手段５４’が接続される。音声入出力手段５４’にはスピーカー６８ａやマイクロフォン６８ｂ等が接続され、商品販売者のセールストーク等を集音したり、その音声をモニタする際に使用される。音声入出力手段５４’は、集音したアナログのセールストーク等の音声信号をデジタルの音情報ＡINに変換してＣＰＵ３２’に出力する。

また、ＣＰＵ３２’は、触覚検出グローブ５０等から出力される接触力や加速度等の触覚検出信号に基づいて、人間が感知するのに適した周波数５０Ｈｚ以上５００Ｈｚ以下の波形パターンデータＤＰ０を作成する。ＣＰＵ３２’は、加速度に係る触覚検出信号（加速度検出信号）に含まれる時間軸で変化する振動数の変化率の特徴を保ちながら波形パターンデータＤＰ０を作成するようにデータ加工部６０を制御する。これに限られることはなく、ＣＰＵ３２’は、加速度検出信号の振幅の時間的変化率の特徴を保ちながら波形パターンデータＤＰ０を作成するようにデータ加工部６０を制御する。これは、商品販売者等の加工作業を行う主観（感覚）に依存することなく、一定の水準のデータ加工を効率良く実行するためである。商品販売者は、販売対象商品毎に入力ツール６４’からＣＰＵ３２’に入力を指示する。

また、触覚検出グローブ５０にはＡ／Ｄ変換部５６が接続され、変換制御信号Ｓ１２に基づいて接触力や加速度等の触覚検出信号ＳＲをアナログ・デジタル変換してデジタルの触覚検出データＤＲを出力するように動作する。触覚検出データＤＲは一旦、記憶装置６７’に格納するようにしてもよい。Ａ／Ｄ変換制御信号Ｓ１２はＣＰＵ３２’からＡ／Ｄ変換部５６に出力される。

Ａ／Ｄ変換部５６にはデータ加工部６０が接続され、Ａ／Ｄ変換後の触覚検出データＤＲを波形分析処理する。データ加工部６０は、分離部６１、抽出部６２、変換部７３及び合成部７４を有して構成される。これらはＲＡＭ上に構築され、ＣＰＵ３２’の制御によってデータ加工機能を実現するようになされる。

分離部６１はＡ／Ｄ変換部５６から直接、又は、記憶装置６７’から触覚検出データＤＲを入力し、分離制御信号Ｓ１３に基づいて繰り返し現れる波形を検出し、この繰り返し波形を基準にして一塊りずつの合成波形を分離（分解）する。例えば、合成波形は、振幅の大きな波形と波形との間に測定された振動回数Ｎｘの異なる波形の集合であり、複数の測定期間に区分される。分離制御信号Ｓ１３はＣＰＵ３２’から分離部６１に出力される。

分離部６１には抽出部６２が接続され、複数の測定期間に区分され分離された当該測定期間の合成波形から抽出制御信号Ｓ１４に基づいて周波数ｆｘ、振幅Ａｘ及び振動回数Ｎｘ等の波形要素を抽出する。この抽出処理では、同じ振幅Ａｘ及び振動回数Ｎｘの波形が個々に分けられる。抽出制御信号Ｓ１４はＣＰＵ３２’から抽出部６２に出力される。

この例では、分離部６１で抽出された周波数ｆｘ、振幅Ａｘ及び振動回数Ｎｘ等の波形要素を振動作成指示データＤＰＸとする触覚情報Ｄ１を商品画像情報Ｄ６＋音声情報ＡIN’に付加して情報受信側のネット端末６００にダウンロードするようになされる。この振動作成指示データＤＰＸを含む触覚情報Ｄ１は、情報受信側のネット端末６００に触覚処理を指示するために記憶装置６７’に格納される。これは、ネット端末６００で振動波形パターンデータＤｃの素材データとなる波形パターンデータＤＰ０を記憶手段から読み出して振動制御信号Ｓａ等を作成する旨を指示するためである。触覚情報Ｄ１には、振動作成指示データＤＰＸの他に、情報受信側のネット端末６００を区分するアプリケーション情報等が含まれる。記憶装置６７’には、触覚情報Ｄ１の他にデジタルカメラ６３’によって取得された、商品の画像情報が格納される。

なお、触覚情報Ｄ１を波形パターンデータＤＰ０の形態で配信することもできる。この場合は、抽出部６２には変換部７３が接続され、個々に分けられた同じ振幅Ａｘ及び周波数ｆｘの波形要素を要素変換制御信号Ｓ１５に基づいて、人間が感知するのに適した周波数ｆ＝５０Ｈｚ以上５００Ｈｚ以下の波形パターンに置き換えるようになされる。波形パターンは周波数ｆｘの他に、振幅Ａｘ及び振動回数Ｎｘによって定義される。

複数の波形パターンを組み合わせると、当該触覚提示期間の波形パターンを構成するようになる。このような例では、触覚提示期間と測定期間とを対応させている。要素変換制御信号Ｓ１５はＣＰＵ３２’から変換部７３に出力される。変換部７３には合成部７４が接続され、合成制御信号Ｓ１６に基づいて変換後の波形パターンと他の波形パターンとを合成して複数の触覚提示期間における波形パターンデータＤＰ０を構築する。合成制御信号Ｓ１６はＣＰＵ３２’から合成部７４に出力される。構築された触覚を与える波形パターンデータＤＰ０は、販売対象商品と対応付けて記憶装置６７’に格納（保存）される。記憶装置６７’は、システムバス５２に接続される。記憶装置６７’にはハードディスクが使用されるが、上述の制御ユニット６５’及び記憶装置６７’にはパーソナルコンピュータを使用することができる。

システムバス５２に波形パターン格納部５９を接続して、触覚提示用の複数の波形パターンデータＤＰ０を格納してもよい。波形パターンは、人間が感知するのに適した周波数５０Ｈｚ以上５００Ｈｚ以下の波形である。波形パターン格納部５９にはＲＯＭやＥＥＰＲＯＭが使用される。

このように作成された波形パターンデータＤＰ０をＷＷＷサーバ６０１で合成して触覚提示用の振動波形パターンデータＤｃを作成し、その振動波形パターンデータＤｃを含む触覚情報Ｄ１を当該ネット端末６００へ送信するようにしてもよい。しかし、情報配信側で触覚提示用の振動波形パターンデータＤｃを作成してしまって送信する場合に比べて、振動波形パターンデータＤｃを作成指示する触覚情報Ｄ１を送信する場合の方がデータ量を軽減することができる。

図２４（Ａ）及び（Ｂ）は、触覚検出グローブ５０等の指先部分の構成例及びその拡大例を各々示す断面図である。
図２４Ａにおいて、触覚検出グローブ５０は、商品販売者が洋服や一眼レフカメラ等の商品を販売する際に、もっとも一般的に使う指先部分のそれぞれに力検出センサ４１及び加速度センサ４２が具備されている。力検出センサ４１は、物体操作時の商品販売者の手（指）３０ａの接触に係る接触力を検出して触覚検出信号（接触力）ＳＲを出力する。加速度センサ４２は、当該商品販売者の手の動きに係る加速度を検出して触覚検出信号（加速度）ＳＲを出力する。

図２４Ｂの波線円内図には、触覚検出グローブ５０等の指先部分の断面の構成例を示している。図２４Ｂに示す手袋部位４３は、柔らかい素材から構成される。手袋素材には、木綿、ビニール、ゴム、なめし皮等が使用される。この手袋部位４３において、商品販売者の各指先の腹に当たる部分には、力検出センサ４１が設けられ、その甲に当たる部分には加速度センサ４２が各々設けられている。

力検出及び加速度の各々のセンサ４１，４２には、シート状センサが使用される。シート状センサは、柔軟性のあるシートに感圧インクをプリントしたものが使用される。感圧インクは、加えられた力に応じて電気抵抗値が変化する特性を有している。力検出センサ４１の内側の手袋素材には、バックアップ部材４６が設けられ、力検出センサ４１が受ける力をバックアップするようになされる。バックアップ部材４６には、硬質樹脂部材等が使用される。硬質樹脂部材は、力検出センサ４１の柔軟性を損なわないようにするため、いくつかに分割され、小片状にして使用される。

力検出センサ４１の外側には、シリコンシート４７が設けられ、力検出センサ４１を保護するようになされる。シリコンシート４７は、人間の指先の皮膚に近い柔らかさを有している。力検出センサ４１は、人間の触覚受容器が位置する深度に近いところに配置される。このため、シリコンシート４７の厚さは０．３ｍｍ乃至０．５ｍｍ程度のものが使用される。

図２５は、ネット端末６００の構成例を示すブロック図である。図２５に示すネット端末６００は、図２２に示した触覚ネットショッピングシステム６において、情報受信者側に配置される。

ネット端末６００は、ＷＷＷサーバ６０１に対して通信手段３００を通じて接続可能な装置である。ＷＷＷサーバ６０１が動画又は及び静止画を含む商品画像情報Ｄ６と触覚提示用の触覚情報Ｄ１とを対応付けて配信処理するのに対して、ネット端末６００には、触覚入力機能付きのパソコン、携帯電話機、カーナビゲーションシステム、情報携帯端末装置等が使用される。これらは通信手段３００に接続され、触覚情報Ｄ１＋音声情報ＡIN’＋商品画像情報Ｄ６を受信し、当該商品画像情報Ｄ６に基づいて商品画像を表示すると共に、当該商品画像に対応する触覚提示要求を受け付け、その提示要求に基づいて触覚を提示するようになされる。

ネット端末６００は、例えば、触覚発生手段４０、デジタルカメラ６３、触覚機能付きの入力ツール６４、制御ユニット６５、モニタ６６、記憶装置６７、音声入出力装置６８及び通信モデム６９を備えて構成される。この例で、通信モデム６９は受信手段を構成し、ＷＷＷサーバ６０１から触覚情報Ｄ１＋音声情報ＡIN’＋商品画像情報Ｄ６を受信して復号化処理する。触覚情報Ｄ１＋音声情報ＡIN’＋商品画像情報Ｄ６の復号化処理は、制御ユニット６５で実行してもよい。入力ツール６４を補助する入力手段としてマウス６４ａ及びキーボード６４ｂを有している。

モニタ６６には、通信モデム６９より受信した商品画像情報Ｄ６に基づいて商品画像を表示するようになされる。例えば、商品販売者のＷＷＷサーバ６０１から送られてきた商品画像情報Ｄ６に基づく表示データＤ２により何種類かの商品画像等を表示するようになされる。

触覚機能付きの入力ツール６４はモニタ６６と組み合わされ、商品画像の所定部位への接触を検出して、モニタ６６に表示された商品画像に対応する触覚の提示要求を受け付けるように操作される。入力ツール６４には、タッチパネルやシートセンサ、力検出センサ５５ａ〜５５ｄ、圧電アクチュエータ２５ａ〜２５ｄ等が使用される。タッチパネルやシートセンサ等は、ネット利用者の指の接触位置を検出するように使用される。力検出センサ５５ａ〜５５ｄは、例えば，モニタ６６の周り縁部位に取り付けられ、ネット利用者の指の押下力を検出するように使用される。圧電アクチュエータ２５ａ〜２５ｄは触覚発生手段４０を構成し、触覚情報Ｄ１に基づいて発生された振動制御信号Ｓａ〜Ｓｄにより振動を発生し、ネット利用者の指等に触覚を提示するように使用される。

このネット端末６００では、商品画像に対応する触覚の提示要求を受け付けたとき、触覚発生手段４０を制御するようになされる。例えば、制御ユニット６５は、入力ツール６４から触覚提示要求を入力し、当該商品画像情報Ｄ６に対応付けられた触覚情報Ｄ１に基づいてネット利用者の指（操作体）に触覚を提示するように触覚発生手段４０を制御する。

記憶装置６７には、振動作成指示データＤＰＸをアドレスにして読み出し可能な複数種類の波形パターンデータＤＰ０が格納される。この例では、振動波形パターンデータＤｃを構成する素材データとして、触覚提示用の複数種類の周波数ｆｘ及び振幅Ａｘの波形パターンデータＤＰ０が準備されている。これは、商品販売者のＷＷＷサーバ６０１で要求する触覚情報Ｄ１に対応する振動波形パターンデータＤｃをネット端末６００で再現（構築）するためである。この振動作成指示データＤＰＸは、ＷＷＷサーバ６０１からネット端末６００へ符号化されて配信される。これにより、振動波形パターンデータＤｃをＷＷＷサーバ６０１からネット端末６００へ直接配信する場合に比べて配信情報量を少なくすることができる。

なお、記憶装置６７には、複数種類の波形パターンデータＤＰ０の他に、当該ネット端末６００が情報送信側となった場合に、マウス６４ａや、キーボード６４ｂ等の入力手段を使用して入力される個人情報等が格納され、ＷＷＷサーバ６０１に送信される。もちろん、ＷＷＷサーバ６０１に送信するための触覚情報Ｄ１等を格納してもよい。

この例で通信モデム６９がＷＷＷサーバ６０１から触覚情報Ｄ１を受信して復号化処理する場合であって、制御ユニット６５は、通信モデム６９によって受信された触覚情報Ｄ１に基づいて記憶装置６７から波形パターンデータＤＰ０を読み出し、この波形パターンデータＤＰ０を合成して振動波形パターンデータＤｃを作成するような制御を実行する。

例えば、制御ユニット６５は、ＷＷＷサーバ６０１から受信したアプリケーション情報及び触覚情報Ｄ１をデコード処理して振動作成指示データＤＰＸを取得する。制御ユニット６５は、更に、振動作成指示データＤＰＸに基づいて記憶装置６７から１又は複数種類の波形パターンデータＤＰ０を読み出す。制御ユニット６５は、記憶装置６７から読み出した複数種類の波形パターンデータＤＰ０を合成し、合成後の振動波形パターンデータＤｃをデジタル・アナログ変換して振動制御信号Ｓａ〜Ｓｄ等を作成する。

振動制御信号Ｓａ〜Ｓｄ等は、制御ユニット６５から触覚発生手段４０を構成する圧電アクチュエータ２５ａ〜２５ｄへ供給される。圧電アクチュエータ２５ａ〜２５ｄは、振動制御信号Ｓａ〜Ｓｄ等に基づいて触覚機能付きの入力ツール６４又はモニタ６６を振動するようになされる。これにより、入力ツール６４又はモニタ６６に触れているネット利用者の指等に触覚を提示できるようになる。

このようにネット端末６００を構成すると、ＷＷＷサーバ６０１から作成指示された触覚提示用の振動波形パターンデータＤｃを当該ネット端末６００の制御ユニット６５で作成することができ、しかも、ＷＷＷサーバ６０１で触覚提示用の振動波形パターンデータＤｃを作成し、その振動波形パターンデータＤｃをそのまま当該ネット端末６００へ配信する場合に比べて、触覚提示用の振動波形パターンデータＤｃを作成指示するための触覚情報Ｄ１のデータ量を軽減することができる。

また、ネット端末６００で複数種類の波形パターンデータＤＰ０を組み合わせることによって多種多様の触覚を発生できるようになる。しかも、ＷＷＷサーバ６０１より配信される触覚情報Ｄ１の内容の差異によって個々のネット端末６００の触覚発生手段４０により発生される触覚の種類を異ならせることができる。

図２６は、モニタ６６における商品画像の表示例を示す概念図である。図２６に示すモニタ６６には、図示しないタッチパネル等の入力手段２４を透して商品画像が表示される。この例で表示画面が商品表示領域（１）及び操作ボタン領域（２）に分割されて使用される。商品表示領域（１）には、商品の男性用の洋服上部（ジャケット）の画像が表示される。操作ボタン領域（２）には、ジャケット「￥４９，０００円」が表示される。

操作ボタン領域（２）には、タッチパネル等の入力手段２４によって構成されたアイコン領域ＡＫ１〜ＡＫ７が配置される。アイコン領域ＡＫ１には、「メンズ」、「レディス」・・・等のメッセージが表示される。アイコン領域ＡＫ２には、カラー選択用のアイコンが表示され、商品の色、この例では、ジャケットの色を選択できるようになされる。アイコン領域ＡＫ３には、サイズ選択用のアイコンが表示され、ジャケット等の商品のサイズを選択できるようになされる。アイコン領域ＡＫ４には、数量指定用のアイコンが表示され、商品の購入数を設定できるようになされる。

アイコン領域ＡＫ５には、「カートに入れる」のアイコンが表示され、ジャケット等の商品購入を決定できるようになされる。アイコン領域ＡＫ６には、ズーム設定用のアイコンが表示され、商品画像の拡大縮小を調整できるようになされる。この例では、□＋印のアイコンで商品画像を拡大でき、□−印のアイコンで商品画像を縮小できるようになされる。アイコン領域ＡＫ７には、商品の配置設定用のアイコンが表示され、商品の部分画像を表示画面内に配置できるようになされる。この例では、十字キーアイコンが設けられ、商品画像を上下、左右に移動できるようになされる。これらの商品画像は、ＷＷＷサーバ６０１からダウンロードされる。

この例では、図中の波線に示すように、ネット利用者の指３０ａを表示画面上に接触すると、その商品の肌触りを触感を以て体験できるようになされる。この例では、表示画面内のジャケットに関してその背景、服自体及びボタンについて触覚が異なるように提示される。

図２７（Ａ）〜（Ｄ）は、記憶装置６７’、６７及び制御ユニット６５’、６５における情報処理例を示す図である。
図２７Ａに示すＷＷＷサーバ６０１（配信側）の記憶装置６７’には、例えば、「触覚適用部位」、「指の位置」及び「波形パターンデータ読出用のアドレス」が登録される。触覚適用部位には、例えば、「背景」、「服」及び「ボタン」が設定される。触覚適用部位は、「背景」、「服」及び「ボタン」に対応してネット利用者がその商品に触れるであろうと予測される領域Ｉ、ＩＩ、IIIであって、ネット利用者が指３０ａで触れる位置である。

波形パターンデータ読出用のアドレスには、例えば、Ｘ，Ｙ，Ｚが設定される。アドレスＸは、周波数ｆｘ、振幅Ａｘ、振動回数Ｎｘの波形パターンデータＤＰ０を読み出すデータであり、アドレスＹは、周波数ｆｘ’、振幅Ａｘ’、振動回数Ｎｘ’の波形パターンデータＤＰ０を読み出すデータであり、アドレスＺは、周波数ｆｘ”、振幅Ａｘ”、振動回数Ｎｘ”の波形パターンデータＤＰ０を読み出すデータである。アドレスＸ，Ｙ，Ｚ・・・は、振動作成指示データＤＰＸを構成する。

図２７Ｂに示すネット端末６００（受信側）の記憶装置６７には、アドレスＸ，Ｙ，Ｚ・・・によって読み出し可能な、例えば、周波数ｆｘ、振幅Ａｘの波形パターンデータＤＰ０、周波数ｆｘ’、振幅Ａｘ’の波形パターンデータＤＰ０、周波数ｆｘ”、振幅Ａｘ”の波形パターンデータＤＰ０・・・が格納されている。

図２７Ｃに示すネット端末６００の制御ユニット６５では、モニタ６６を押下するネット利用者の押圧力Ｆが検出される。押圧力Ｆは、力検出手段５５ａ〜５５ｄによって検出される。制御ユニット６５は、例えば、押圧力Ｆの範囲を４段階に分割した触覚提示処理を実行する。第１段階は、Ｆ＜３０ｇであり、力検出手段５５ａ〜５５ｄが３０ｇ未満の押下力Ｆを検出した場合である。第２段階は、３０ｇ≦Ｆ＜７０ｇであり、第３段階は、７０ｇ≦Ｆ＜２００ｇであり、第４段階は、Ｆ≧２００ｇである。この例では、説明を簡略化するために、これら４段階の押圧力Ｆとして、記号ａ，ｂ，ｃ，ｄを設定する。これら４段階の押圧力Ｆは、触覚ネットショップモード実行時に、ネット端末６００からＷＷＷサーバ６０１に送信される。

図２７Ｄに示すＷＷＷサーバ６０１の制御ユニット６５’は、ネット端末６００から受信したネット利用のモニタ６６への４段階の押圧力Ｆ（記号ａ，ｂ，ｃ，ｄ）に対して、例えば、４段階の演算係数「００．３０．７１．０」を設定して返信するようになされる。この演算係数は触覚発生コードを構成し、触覚提示部位に対応して設定される。

この例では、触覚ネットショップモード実行時に、アドレスＸ，Ｙ，Ｚ・・・を有する振動作成指示データＤＰＸを含む触覚情報Ｄ１と、商品画像情報Ｄ６＋音声情報ＡIN’とが結合されてＷＷＷサーバ６０１からネット端末６００へ配信される。ネット端末６００では、触覚情報Ｄ１をデコードして振動作成指示データＤＰＸを得る。振動作成指示データＤＰＸには、アドレスＸ，Ｙ，Ｚ・・・が含まれるので、このアドレスＸ，Ｙ，Ｚに基づいて記憶装置６７から波形パターンデータＤＰ０を読み出す。

また、ネット端末６００は、ＷＷＷサーバ６０１に対して、モニタ６６を押下するネット利用者の押圧力Ｆに関して４段階（記号ａ，ｂ，ｃ，ｄ）が通知され、更に、アドレスＸ，Ｙ，Ｚによって読み出した３つの波形パターンデータＤＰ０に対する演算係数を要求する。この要求に対して、ＷＷＷサーバ６０１は、例えば、アドレスＸによって読み出した波形パターンデータＤＰ０に対する演算係数ｂ’＝０．３、アドレスＹによって読み出した波形パターンデータＤＰ０に対する演算係数ｃ’＝０．７、アドレスＺによって読み出した波形パターンデータＤＰ０に対する演算係数ｄ’＝１．０を配信するようになされる。

ネット端末６００では、アドレスＸによって読み出した波形パターンデータＤＰ０に演算係数ｂ’＝０．３を演算して振動波形パターンデータＤｃ１を作成し、アドレスＹによって読み出した波形パターンデータＤＰ０に演算係数ｃ’＝０．７を演算して振動波形パターンデータＤｃ２を作成し、アドレスＺによって読み出した波形パターンデータＤＰ０に演算係数ｃ’＝１．０を演算して振動波形パターンデータＤｃ３を各々作成する。

この振動波形パターンデータＤｃ１は、モニタ６６で商品画像の「背景」に対して、ネット利用者の指３０ａが触れられ、その押圧力Ｆが３０ｇ≦Ｆ＜７０ｇの範囲で接触された場合の触覚提示内容である。振動波形パターンデータＤｃ２は、モニタ６６で商品画像の「服」に対して、ネット利用者の指３０ａが触れられ、その押圧力Ｆが７０ｇ≦Ｆ＜２００ｇの範囲で接触された場合の触覚提示内容である。振動波形パターンデータＤｃ３は、モニタ６６で商品画像の「ボタン」に対して、ネット利用者の指３０ａが触れられ、その押圧力ＦがＦ≧２００ｇの範囲で接触された場合の触覚提示内容である。これらの振動波形パターンデータＤｃ１〜Ｄｃ３に基づいて触覚提示処理がされる。

次に、第６の実施例に係る情報処理方法について説明する。この実施例では、触覚ネットショップモードに関してＷＷＷサーバ側の処理例及びネット端末側の処理例の２つに分けて説明をする。

［ＷＷＷサーバ側］
図２８及び図２９は、第６の実施例に係るＷＷＷサーバ側の処理例（その１、２）を示すフローチャートである。
この例で第１の情報処理系Ｉ（情報配信側）には、ＷＷＷサーバ６０１が配置され、第２の情報処理系II（ネット端末６００）には、ネット端末６００が配置される。ＷＷＷサーバ６０１とネット端末６００とは通信手段３００を通じて接続される。この例では、触覚ネットショップモード実行時に、アドレスＸ，Ｙ，Ｚ・・・を有する振動作成指示データＤＰＸを含む触覚情報Ｄ１と、商品画像情報Ｄ６＋音声情報ＡIN’とが結合されてＷＷＷサーバ６０１からネット端末６００へ配信される。

これらを情報処理条件にして、ＷＷＷサーバ６０１は、図２８に示すフローチャートのステップＨ１１で、ネット利用者からの触覚ネットショッピング要求（（着呼）を受け付ける。触覚ネットショッピング要求が無い場合はそのまま待機する。ネット利用者から触覚ネットショッピング要求が有った場合は、ステップＨ１２に移行してＷＷＷサーバ６０１は、ネット端末６００と通信手段３００を通じて接続するように回線「接続」処理を実行する。このとき、制御ユニット６５’は、通信モデム６９’を制御して相手方のネット端末６０１からの着呼を検出し、通信回線を接続する。

その後、ＷＷＷサーバ６０１は、ステップＨ１３に移行してネット端末６００のモニタ６６にメニュー画面映像を表示するようになされる。メニュー画面映像には、図示しないが表示データＤ２に基づいて商品リストが表示される。ネット利用者は、商品リストの中から商品を選択するようになされる。

そして、ステップＨ１４に移行してＷＷＷサーバ６０１は、商品リストから商品が選択されたかを判別する。商品の選択は、ネット利用者が操作するネット端末６００からＷＷＷサーバ６０１へ指示される。このとき、ネット利用者は、例えば、図２６に示した男性用の洋服上部（ジャケット）の商品を選択する。ＷＷＷサーバ６０１は、ネット端末６００から指示に基づいて男性用のジャケットの商品映像を記憶装置６７’から読み出すようになされる。

この男性用のジャケットの商品映像は、予め、ネットショッピング販売者側で、例えば、背広の正面、側面及び背面等の３カットについて、動画又は静止画を含む商品画像情報Ｄ６等にして、制御ユニット６５’や記憶装置６７’等に格納されている。もちろん、動画又は静止画を含む商品画像情報Ｄ６と触覚提示用の触覚情報Ｄ１とは対応付け処理されている。

この対応付け処理では、例えば、ＷＷＷサーバ６０１の制御ユニット６５’が男性用のジャケットの正面向き、横向き及び斜め後ろ向き等の３カット（静止画で３枚の映像に相当）について、各々触覚が異なるような振動作成指示データＤＰＸを得られるような触覚情報Ｄ１を記憶装置６７’から読み出し、その触覚情報Ｄ１が男性用のジャケットの動画又は静止画を含む商品画像情報Ｄ６等に付加される。商品画像情報Ｄ６に付加される触覚情報Ｄ１には、振動作成指示データＤＰＸの他に、ネット利用者のネット端末６００を区分するアプリケーション情報等が含まれる。これは、ネット利用者のネット端末６００に正確に触覚情報Ｄ１を指示するためである。

振動作成指示データＤＰＸには、振動波形パターンデータＤｃを形成する周波数ｆｘ、振幅Ａｘ及び振動回数Ｎｘが含まれる。この振動作成指示データＤＰＸを含む触覚情報Ｄ１は、商品画像情報Ｄ６＋音声情報ＡIN’と共に制御ユニット６５’によって符号化処理され、ＷＷＷサーバ６０１からネット端末６００へ配信される。音声情報ＡIN’には、商品を案内する音声案内情報が含まれる。これにより、振動波形パターンデータＤｃをＷＷＷサーバ６０１からネット端末６００へ直接配信する場合に比べて配信情報量を少なくすることができる。

そして、ＷＷＷサーバ６０１は、制御ユニット６５’によって符号化処理された男性用のジャケットの触覚情報Ｄ１＋音声情報ＡIN’＋商品画像情報Ｄ６をステップＨ１５で通信モデム６９’及び通信手段３００を通じて、ネット端末６００に配信する。

その後、ステップＨ１６でＷＷＷサーバ６０１は、ネット端末６００から商品画像触覚モードの要求を受け付ける。商品画像触覚モードは、触覚提示部位に対応して演算係数を設定して実行される。このとき、図２７Ｄに示したＷＷＷサーバ６０１の制御ユニット６５’は、ネット端末６００から受信したネット利用のモニタ６６への４段階の押圧力Ｆ（記号ａ，ｂ，ｃ，ｄ）に対して、例えば、４段階の演算係数を設定する。

そして、ステップＨ１６でネット端末６００から商品画像触覚モードの要求を受け付けた場合は、ステップＨ１７に移行して演算係数の送信処理を実行する。この例では、ネット利用のモニタ６６への４段階の押圧力Ｆ（記号ａ，ｂ，ｃ，ｄ）に対して、４段階の演算係数「００．３０．７１．０」を設定して返信するようになされる。

なお、ステップＨ１６で商品画像触覚モードの要求を受け付けなかった場合は、図２９に示すステップＨ１８に移行する。ステップＨ１８で商品画像触覚モードの要求を受け付け終了を判別する。商品画像触覚モードの要求受け付けを終了した場合は、ステップＨ１９に移行する。ステップＨ１８で商品画像触覚モードの要求受け付けを終了していない場合は、ステップＨ１６に戻って、上述した処理を繰り返すようになされる。

従って、ステップＨ１８で商品画像触覚モードの要求受け付けを終了した場合には、ステップＨ１９でＷＷＷサーバ６０１では、当該商品の購入かを判別する。この際に制御ユニット６５’では、例えば、ネット端末６００から「商品の購入」を示す指示データを受信することで「男性用のジャケット」等の購入を確認する。当該商品購入の場合には、ステップＨ２０に移行して当該商品購入の手続処理を実行する。商品購入の手続処理については、ネット利用者（購入者）の住所、氏名、メールアドレスや、精算等を既存のネット決済方法に基づいて処理される。

また、ステップＨ１９で当該商品を購入しない場合及び当該商品購入の手続処理を終了した場合は、ステップＨ２１に移行して当該触覚ネットショップモード処理を終了するか否かを判別する。当該触覚ネットショップモード処理を終了しない場合は、ステップＨ２２に移行してＷＷＷサーバ６０１は、メニュー画面に戻るか否かを受け付ける。メニュー画面に戻る場合は、ステップＨ１３に戻って上述した処理を継続する。メニュー画面に戻らない場合は、ステップＨ１５に戻ってその商品映像の表示処理を継続する。その後、上述した処理を繰り返すようになされる。ステップＨ２１で当該触覚ネットショップモード処理を終了する場合は、ステップＨ２３に移行して回線「切断」処理をして情報処理を終了する。

［ネット端末側］
図３０及び図３１は、触覚ネットショッピングシステム６のネット端末６００における情報処理例（その１、２）を示すフローチャートである。

この実施例では、ネット端末６００において、予めノーマルモード又は商品画像触覚モードのいずれかの動作モードの設定処理がなされる場合を前提とする。また、情報処理系IIで、商品画像の所定部位への接触を検出したとき、その商品画像情報Ｄ６に対応付けられた触覚情報Ｄ１に基づいてネット利用者の指等に触覚を提示する場合を例に挙げる。この例では、図２７Ｄに示したように、ＷＷＷサーバ６０１の制御ユニット６５’は、ネット端末６００から受信したネット利用のモニタ６６への４段階の押圧力Ｆ（記号ａ，ｂ，ｃ，ｄ）に対して、４段階の演算係数「００．３０．７１．０」を設定して返信する場合を例に挙げる。

これを前提にして、ネット端末６００では、図３０に示すフローチャートのステップＪ２１で、制御ユニット６５はシステムを立ち上げる。制御ユニット６５は電源オンと共に、ＲＯＭからシステムプログラムデータを読み出してＲＡＭに展開し、当該システムを立ち上げてネット端末全体を制御するようになされる。

次に、ステップＪ２２で制御ユニット６５はネットショップを実行するか否かを受け付ける。ユーザは入力ツールを操作してネット端末６００に対してネットショップを選択するか否かを指示する。ネットショップを実行する場合は、ステップＪ２３に移行して回線「接続」処理をする。ネット端末６００は、ＷＷＷサーバ６０１と通信手段３００を通じて接続するように回線「接続」処理を実行する。

その後、ステップＪ２４で制御ユニット６５は、ネットショップブラウザＷＷＷサーバ６０１の呼出し処理を実行する。このとき、制御ユニット６５は、通信モデム６９を制御してＷＷＷサーバ６０１を発呼する。次に、ステップＪ２５で商品画像触覚モード又はノーマルモードのいずれかの動作モードが設定される。動作モードは、ネット利用者により入力ツール６４が操作されて制御ユニット６５に設定される。

そして、ステップＪ２６で通信モデム６９は、制御ユニット６５の制御を受けて、ＷＷＷサーバ６０１からメニュー画面情報や、触覚情報Ｄ１＋音声情報ＡIN’＋商品画像情報Ｄ６等を受信して復号化処理する。メニュー画面情報や、触覚情報Ｄ１＋音声情報ＡIN’＋商品画像情報Ｄ６は、制御ユニット６５で分離され、メニュー画面情報や商品画像情報Ｄ６等はモニタ６６を駆動する表示データＤ２に変換される。触覚情報Ｄ１は、商品画像触覚モードが選択された場合に備えて制御ユニット６５にセットされる。音声情報ＡIN’は、商品リスト等の商品の案内を音声出力する際に再生される。音声はスピーカー３６ａから放音される。

ここで、ネット利用者は、商品案内音声を聴取したり、メニュー画面情報に基づいて表示される商品リストの中から図２６に示した男性用の洋服上部（ジャケット）を選択し、通信モデム６９を通じてＷＷＷサーバ６０１に指示する。その後、ステップＪ２７に移行して、先に設定された動作モードに基づいて制御を分岐する。商品画像触覚モードが設定された場合は、図３１に示すステップＪ２８に移行してＷＷＷサーバ６０１へ商品画像触覚モードを送信する。このとき、図２７Ｄに示したネット端末６００の制御ユニット６５は、ＷＷＷサーバ６０１に対してネット利用者のモニタ６６への４段階の押圧力Ｆ（記号ａ，ｂ，ｃ，ｄ）を送信する。

そして、ステップＪ２９及びＪ３０に移行する。ステップＪ２９では、先に受信した商品画像情報Ｄ６に基づいて商品画像を表示するようになされる。例えば、モニタ６６には、ＷＷＷサーバ６０１から送られてきたメニュー画面情報や、商品画像情報Ｄ６等に基づく表示データＤ２によりメニュー画面や、男性用のジャケット等の商品画像を表示するようになされる。例えば、図２６に示したモニタ６６において、その商品表示領域（１）には、商品の男性用の洋服上部（ジャケット）の画像が表示される。

操作ボタン領域（２）には、ジャケット「￥４９，０００円」が表示される。操作ボタン領域（２）には、タッチパネル等の入力手段２４によって構成されたアイコン領域ＡＫ１〜ＡＫ７が配置される。また、図２６に示したアイコン領域ＡＫ７に表示された商品の配置設定用のアイコンを操作して、商品の部分画像を表示画面内に配置できるようになされる。この例では、十字キーアイコンを操作して、商品画像を上下、左右に移動できるようになされる。これらの商品画像は、ＷＷＷサーバ６０１からダウンロードされる。

これに並行して、ステップＪ３０で制御ユニット６５は、モニタ６６に表示されている商品画像に対応する触覚の提示要求を受け付ける。このとき、触覚機能付きの入力ツール６４は、商品画像の所定部位へのネット利用者の指等の接触を検出して、モニタ６６に表示された商品画像に対応する触覚の提示要求を受け付けるように操作される。触覚機能付きの入力ツール６４によって商品画像に対応する触覚提示要求を受け付けた場合は、ステップＪ３１に移行する。

［触覚提示処理］
図３２〜図３５は、ステップＪ３１のサブルーチンであり、ネット端末６００における触覚提示例（その１〜４）を各々示すフローチャートである。この例では、図２７Ｂに示したネット端末６００の記憶装置６７には、アドレスＸ，Ｙ，Ｚ・・・によって読み出し可能な、例えば、周波数ｆｘ、振幅Ａｘの波形パターンデータＤＰ０、周波数ｆｘ’、振幅Ａｘ’の波形パターンデータＤＰ０、周波数ｆｘ”、振幅Ａｘ”の波形パターンデータＤＰ０・・・が格納されている。

これを処理条件にして、図３１に示すステップＫ１１で制御ユニット６５は、その商品画像情報Ｄ６に対応付けられた触覚情報Ｄ１に基づいてネット利用者の指等に触覚を提示するような触覚提示制御を実行する。例えば、ステップＫ１１で制御ユニット６５は、ネット利用者の押下力の制御分界点となる加圧力Ｆ＝３０［ｇ］に関して、Ｆ＞３０か否かを判別する。加圧力Ｆ＜３０の場合は、加圧力Ｆが３０［ｇ］を越える押下力を検出するまで制御を待機する。加圧力Ｆ＝３０［ｇ］を越える押下力を検出した場合は、ステップＫ１２に移行して、制御ユニット６５はＷＷＷサーバ６０１にネット利用者の指３０ａの位置及び加圧力Ｆを送信する。

ＷＷＷサーバ６０１では、男性用のジャケットの触覚適用部位に関して「背景」、「服」及び「ボタン」に対応して領域Ｉ、ＩＩ、IIIが設定される。図２７Ａに示したように、領域ＩはアドレスＸに対応付けられ、領域ＩＩは、アドレスＹに対応付けられ、領域IIIは、アドレスＺに各々対応付けられる。アドレスＸは、周波数ｆｘ、振幅Ａｘ、振動回数Ｎｘの波形パターンデータＤＰ０を読み出すデータであり、アドレスＹは、周波数ｆｘ’、振幅Ａｘ’、振動回数Ｎｘ’の波形パターンデータＤＰ０を読み出すデータであり、アドレスＺは、周波数ｆｘ”、振幅Ａｘ”、振動回数Ｎｘ”の波形パターンデータＤＰ０を読み出すデータである。

アドレスＸ，Ｙ，Ｚ・・・は、振動作成指示データＤＰＸを構成する。そして、ステップＫ１３で制御ユニット６５は、ＷＷＷサーバ６０１から領域Ｉに対応付けられたアドレスＸ、領域ＩＩに対応付けられたアドレスＹ、領域IIIに対応付けられたアドレスＺを受信する。その後、ステップＫ１４に移行して制御ユニット６５は、ネット利用者の指３０ａがどの領域Ｉ〜領域IIIのどの位置を押下しているかを検出する。

ネット利用者の指３０ａの位置が背景領域Ｉの場合は、図３３に示すステップＫ１５に移行する。ステップＫ１５で制御ユニット６５は、背景領域Ｉを押下しているネット利用者の指３０ａの加圧力Ｆを検出する。加圧力Ｆは、力検出センサ５５ａ〜５５ｄ等により検出される。加圧力が３０≦Ｆ＜７０［ｇ］の場合はステップＫ１６に移行する。ステップＫ１６で制御ユニット６５はＷＷＷサーバ６０１に対して演算係数（触覚発生コード）ｂＸを要求する。

そして、ステップＫ１７に移行して制御ユニット６５はＷＷＷサーバ６０１から触覚発生コードｂＸ＝０．３を受信する。制御ユニット６５は、ステップＫ１８に移行して、触覚発生コードｂＸをデコード処理する。例えば、ＷＷＷサーバ６０１から受信したアプリケーション情報及び触覚情報Ｄ１をデコード処理して触覚発生コードｂＸを取得する。また、触覚情報Ｄ１をデコード処理してアドレスＸを取得し、このアドレスＸに対応する振動作成指示データＤＰＸを記憶装置６７から読み出す。

制御ユニット６５は、振動作成指示データＤＰＸに基づいて記憶装置６７から読み出した１又は複数種類の波形パターンデータＤＰ０を合成して振動波形パターンデータＤｂＸを作成するような制御を実行する。このとき、制御ユニット６５は、触覚発生コードｂＸ＝０．３を振動波形パターンデータＤｂＸに演算するようになされる。この振動波形パターンデータＤｂＸは、モニタ６６で商品画像の背景に対して、ネット利用者の指３０ａが触れられ、その押圧力Ｆが３０ｇ≦Ｆ＜７０ｇの範囲で接触された場合の触覚提示内容である。

次に、ステップＫ１９に移行して、制御ユニット６５は、演算後の振動波形パターンデータＤｂＸをＤ／Ａ変換して振動制御信号ＳＶａ＝ＳｂＸを作成する。その後、ステップＫ２０で制御ユニット６５は、触覚発生手段４０を構成する圧電アクチュエータ２５ａ及び２５ｂへ振動制御信号ＳＶａ＝ＳｂＸを供給する。圧電アクチュエータ２５ａ及び２５ｂは、振動制御信号ＳＶａ＝ＳｂＸに基づいて入力ツール６４又はモニタ６６を振動するようになされる。これにより、入力ツール６４又はモニタ６６に触れているネット利用者の指３０ａ等に触覚を提示できるようになる。その後、図３２に示すステップＫ６７に移行する。

また、上述のステップＫ１５で加圧力Ｆ＝７０ｇを越える押下力が検出された場合は、ステップＫ２１に移行する。ステップＫ２１で領域Ｉを押下しているネット利用者の加圧力Ｆを検出する。この加圧力Ｆが７０≦Ｆ＜２００［ｇ］の場合はステップＫ２２に移行する。ステップＫ２２で制御ユニット６５はＷＷＷサーバ６０１に対して演算係数（触覚発生コード）ｃＸを要求する。

そして、ステップＫ２３に移行して制御ユニット６５はＷＷＷサーバ６０１から触覚発生コードｃＸ＝０．７を受信する。制御ユニット６５は、ステップＫ２４に移行して、触覚発生コードｃＸをデコード処理する。例えば、ＷＷＷサーバ６０１から受信したアプリケーション情報及び触覚情報Ｄ１をデコード処理して触覚発生コードｃＸを取得する。また、触覚情報Ｄ１をデコード処理してアドレスＸを取得し、このアドレスＸに対応する振動作成指示データＤＰＸを記憶装置６７から読み出す。

制御ユニット６５は、振動作成指示データＤＰＸに基づいて記憶装置６７から読み出した１又は複数種類の波形パターンデータＤＰ０を合成して振動波形パターンデータＤｃＸを作成するような制御を実行する。このとき、制御ユニット６５は、触覚発生コードｃＸ＝０．７を振動波形パターンデータＤｃＸに演算するようになされる。振動波形パターンデータＤｃＸは、モニタ６６で商品画像の背景に対して、ネット利用者の指３０ａが触れられ、その押圧力Ｆが７０ｇ≦Ｆ＜２００ｇの範囲で接触された場合の触覚提示内容である。

次に、ステップＫ２５に移行して、制御ユニット６５は、演算後の振動波形パターンデータＤｃＸをＤ／Ａ変換して振動制御信号ＳＶａ＝ＳｃＸを作成する。その後、ステップＫ２６で制御ユニット６５は、圧電アクチュエータ２５ａ、２５ｂへ振動制御信号ＳＶａ＝ＳｃＸを供給する。圧電アクチュエータ２５ａ及び２５ｂは、振動制御信号ＳＶａ＝ＳｃＸに基づいて入力ツール６４又はモニタ６６を振動するようになされる。これにより、入力ツール６４又はモニタ６６に触れているネット利用者の指３０ａ等に触覚を提示できるようになる。その後、図３２に示すステップＫ２７に移行する。

更に、上述のステップＫ２１で加圧力Ｆ＝２００ｇを越える押下力が検出された場合は、ステップＫ２７に移行する。ステップＫ２７で領域Ｉを押下しているネット利用者の指３０ａの加圧力Ｆを検出する。この加圧力ＦがＦ≧２００［ｇ］である場合はステップＫ２８に移行する。ステップＫ２８で制御ユニット６５はＷＷＷサーバ６０１に対して演算係数（触覚発生コード）ｄＸを要求する。

そして、ステップＫ２９に移行して制御ユニット６５はＷＷＷサーバ６０１から触覚発生コードｄＸ＝１．０を受信する。制御ユニット６５は、ステップＫ３０に移行して、触覚発生コードｄＸをデコード処理する。例えば、ＷＷＷサーバ６０１から受信したアプリケーション情報及び触覚情報Ｄ１をデコード処理して触覚発生コードｄＸを取得する。また、触覚情報Ｄ１をデコード処理してアドレスＸを取得し、このアドレスＸに対応する振動作成指示データＤＰＸを記憶装置６７から読み出す。

制御ユニット６５は、振動作成指示データＤＰＸに基づいて記憶装置６７から読み出した１又は複数種類の波形パターンデータＤＰ０を合成して振動波形パターンデータＤｄＸを作成するような制御を実行する。このとき、制御ユニット６５は、触覚発生コードｄＸ＝１．０を振動波形パターンデータＤｄＸに演算するようになされる。振動波形パターンデータＤｄＸは、モニタ６６で商品画像の背景に対して、ネット利用者の指３０ａが触れられ、その押圧力ＦがＦ≧２００ｇの範囲で接触された場合の触覚提示内容である。

次に、ステップＫ３０に移行して、制御ユニット６５は、演算後の振動波形パターンデータＤｄＸをＤ／Ａ変換して振動制御信号ＳＶａ＝ＳｄＸを作成する。その後、ステップＫ３１で制御ユニット６５は、圧電アクチュエータ２５ａ、２５ｂへ振動制御信号ＳＶａ＝ＳｄＸを供給する。圧電アクチュエータ２５ａ及び２５ｂは、振動制御信号ＳＶａ＝ＳｄＸに基づいて入力ツール６４又はモニタ６６を振動するようになされる。これにより、入力ツール６４又はモニタ６６に触れているネット利用者の指３０ａ等に触覚を提示できるようになる。その後、図３２に示すステップＫ６７に移行する。そして、ステップＫ６７で制御ユニット６５は終了情報を検出する。終了情報を検出しない場合は、ステップＫ１１に戻って上述した処理を繰り返す。

例えば、ステップＫ１４でネット利用者の指３０ａの押下位置が背景領域Ｉ以外に移動した場合は、ステップＫ３２に移行する。ステップＫ３２では、ネット利用者の指３０ａの押下位置が背景領域Ｉ以外の服領域ＩＩ又はボタン領域IIIに応じて制御を分離する。服領域ＩＩが押下されている場合は、図３４に示すフローチャートのステップＫ３３に移行する。

ステップＫ３３で制御ユニット６５は、服領域ＩＩを押下しているネット利用者の指３０ａの加圧力Ｆを検出する。加圧力Ｆは、力検出センサ５５ａ〜５５ｄ等により検出される。加圧力が３０≦Ｆ＜７０［ｇ］の場合はステップＫ３４に移行する。ステップＫ３４で制御ユニット６５はＷＷＷサーバ６０１に対して演算係数（触覚発生コード）ｂＹを要求する。

そして、ステップＫ３５に移行して制御ユニット６５はＷＷＷサーバ６０１から触覚発生コードｂＹ＝０．３を受信する。制御ユニット６５は、ステップＫ３６に移行して、触覚発生コードｂＹをデコード処理する。例えば、ＷＷＷサーバ６０１から受信したアプリケーション情報及び触覚情報Ｄ１をデコード処理して触覚発生コードｂＹを取得する。また、触覚情報Ｄ１をデコード処理してアドレスＹを取得し、このアドレスＹに対応する振動作成指示データＤＰＸを記憶装置６７から読み出す。

制御ユニット６５は、振動作成指示データＤＰＸに基づいて記憶装置６７から読み出した１又は複数種類の波形パターンデータＤＰ０を合成して振動波形パターンデータＤｂＹを作成するような制御を実行する。このとき、制御ユニット６５は、触覚発生コードｂＹ＝０．３を振動波形パターンデータＤｂＹに演算するようになされる。振動波形パターンデータＤｂＹは、モニタ６６で商品画像の服に対して、ネット利用者の指３０ａが触れられ、その押圧力Ｆが３０ｇ≦Ｆ＜７０ｇの範囲で接触された場合の触覚提示内容である。

次に、ステップＫ３７に移行して、制御ユニット６５は、演算後の振動波形パターンデータＤｂＹをＤ／Ａ変換して振動制御信号ＳＶａ＝ＳｂＹを作成する。その後、ステップＫ３８で制御ユニット６５は、触覚発生手段４０を構成する圧電アクチュエータ２５ａ及び２５ｂへ振動制御信号ＳＶａ＝ＳｂＹを供給する。圧電アクチュエータ２５ａ及び２５ｂは、振動制御信号ＳＶａ＝ＳｂＹに基づいて入力ツール６４又はモニタ６６を振動するようになされる。これにより、入力ツール６４又はモニタ６６に触れているネット利用者の指３０ａ等に触覚を提示できるようになる。その後、図３２に示すステップＫ６７に移行する。

また、上述のステップＫ３３で加圧力Ｆ＝７０ｇを越える押下力が検出された場合は、ステップＫ３９に移行する。ステップＫ３９で領域ＩＩを押下しているネット利用者の指３０ａの加圧力Ｆを検出する。この加圧力Ｆが７０≦Ｆ＜２００［ｇ］の場合はステップＫ４０に移行する。ステップＫ４０で制御ユニット６５はＷＷＷサーバ６０１に対して演算係数（触覚発生コード）ｃＹを要求する。

そして、ステップＫ４１に移行して制御ユニット６５はＷＷＷサーバ６０１から触覚発生コードｃＹを受信する。制御ユニット６５は、ステップＫ４２に移行して、触覚発生コードｃＹをデコード処理する。例えば、ＷＷＷサーバ６０１から受信したアプリケーション情報及び触覚情報Ｄ１をデコード処理して触覚発生コードｃＹを取得する。また、触覚情報Ｄ１をデコード処理してアドレスＹを取得し、このアドレスＹに対応する振動作成指示データＤＰＸを記憶装置６７から読み出す。

制御ユニット６５は、振動作成指示データＤＰＸに基づいて記憶装置６７から読み出した１又は複数種類の波形パターンデータＤＰ０を合成して振動波形パターンデータＤｃＹを作成するような制御を実行する。このとき、制御ユニット６５は、触覚発生コードｃＹ＝０．７を振動波形パターンデータＤｃＹに演算するようになされる。振動波形パターンデータＤｃＹは、モニタ６６で商品画像の服に対して、ネット利用者の指３０ａが触れられ、その押圧力Ｆが７０ｇ≦Ｆ＜２００ｇの範囲で接触された場合の触覚提示内容である。

次に、ステップＫ４３に移行して、制御ユニット６５は、演算後の振動波形パターンデータＤｃＹをＤ／Ａ変換して振動制御信号ＳＶａ＝ＳｃＹを作成する。その後、ステップＫ４４で制御ユニット６５は、圧電アクチュエータ２５ａ、２５ｂへ振動制御信号ＳＶａ＝ＳｃＹを供給する。圧電アクチュエータ２５ａ及び２５ｂは、振動制御信号ＳＶａ＝ＳｃＹに基づいて入力ツール６４又はモニタ６６を振動するようになされる。これにより、入力ツール６４又はモニタ６６に触れているネット利用者の指３０ａ等に触覚を提示できるようになる。その後、図３２に示すステップＫ６７に移行する。

更に、上述のステップＫ３９で加圧力Ｆ＝２００ｇを越える押下力が検出された場合は、ステップＫ４５に移行する。ステップＫ４５で領域ＩＩを押下しているネット利用者の指３０ａの加圧力Ｆを検出する。この加圧力ＦがＦ≧２００［ｇ］である場合はステップＫ４５に移行する。ステップＫ４５で制御ユニット６５はＷＷＷサーバ６０１に対して演算係数（触覚発生コード）ｄＹを要求する。

そして、ステップＫ４６に移行して制御ユニット６５はＷＷＷサーバ６０１から触覚発生コードｄＹ＝１．０を受信する。制御ユニット６５は、ステップＫ４７に移行して、触覚発生コードｄＹをデコード処理する。例えば、ＷＷＷサーバ６０１から受信したアプリケーション情報及び触覚情報Ｄ１をデコード処理して触覚発生コードｄＹを取得する。また、触覚情報Ｄ１をデコード処理してアドレスＹを取得し、このアドレスＹに対応する振動作成指示データＤＰＸを記憶装置６７から読み出す。

制御ユニット６５は、振動作成指示データＤＰＸに基づいて記憶装置６７から読み出した１又は複数種類の波形パターンデータＤＰ０を合成して振動波形パターンデータＤｄＹを作成するような制御を実行する。このとき、制御ユニット６５は、触覚発生コードｄＹ＝１．０を振動波形パターンデータＤｄＹに演算するようになされる。振動波形パターンデータＤｄＹは、モニタ６６で商品画像の服に対して、ネット利用者の指３０ａが触れられ、その押圧力ＦがＦ≧２００ｇの範囲で接触された場合の触覚提示内容である。

次に、ステップＫ４８に移行して、制御ユニット６５は、演算後の振動波形パターンデータＤｄＹをＤ／Ａ変換して振動制御信号ＳＶａ＝ＳｄＹを作成する。その後、ステップＫ４９で制御ユニット６５は、圧電アクチュエータ２５ａ、２５ｂへ振動制御信号ＳＶａ＝ＳｄＹを供給する。圧電アクチュエータ２５ａ及び２５ｂは、振動制御信号ＳＶａ＝ＳｄＹに基づいて入力ツール６４又はモニタ６６を振動するようになされる。これにより、入力ツール６４又はモニタ６６に触れているネット利用者の指３０ａ等に触覚を提示できるようになる。その後、図３２に示すステップＫ６７に移行する。そして、ステップＫ６７で制御ユニット６５は終了情報を検出する。終了情報を検出しない場合は、ステップＫ１１に戻って上述した処理を繰り返す。

例えば、ステップＫ３２でネット利用者の指３０ａの押下位置が背景領域Ｉ及び服領域ＩＩ以外、すなわち、ボタン領域IIIに移動した場合は、図３５に示すステップＫ５０に移行する。ステップＫ５０で制御ユニット６５は、ボタン領域IIIを押下しているネット利用者の指３０ａの加圧力Ｆを検出する。加圧力Ｆは、力検出センサ５５ａ〜５５ｄ等により検出される。加圧力が３０≦Ｆ＜７０［ｇ］の場合はステップＫ５１に移行する。ステップＫ５１で制御ユニット６５はＷＷＷサーバ６０１に対して演算係数（触覚発生コード）ｂＺを要求する。

そして、ステップＫ５２に移行して制御ユニット６５はＷＷＷサーバ６０１から触覚発生コードｂＺ＝０．３を受信する。制御ユニット６５は、ステップＫ５３に移行して、触覚発生コードｂＺをデコード処理する。例えば、ＷＷＷサーバ６０１から受信したアプリケーション情報及び触覚情報Ｄ１をデコード処理して触覚発生コードｂＺを取得する。また、触覚情報Ｄ１をデコード処理してアドレスＺを取得し、このアドレスＺに対応する振動作成指示データＤＰＸを記憶装置６７から読み出す。

制御ユニット６５は、振動作成指示データＤＰＸに基づいて記憶装置６７から読み出した１又は複数種類の波形パターンデータＤＰ０を合成して振動波形パターンデータＤｂＺを作成するような制御を実行する。このとき、制御ユニット６５は、触覚発生コードｂＺ＝０．３を振動波形パターンデータＤｂＺに演算するようになされる。振動波形パターンデータＤｂＺは、モニタ６６で商品画像のボタンに対して、ネット利用者の指３０ａが触れられ、その押圧力Ｆが３０ｇ≦Ｆ＜７０ｇの範囲で接触された場合の触覚提示内容である。

また、上述のステップＫ５０で加圧力Ｆ＝７０ｇを越える押下力が検出された場合は、ステップＫ５６に移行する。ステップＫ５６で領域IIIを押下しているネット利用者の指３０ａの加圧力Ｆを検出する。この加圧力Ｆが７０≦Ｆ＜２００［ｇ］の場合はステップＫ５７に移行する。ステップＫ５７で制御ユニット６５はＷＷＷサーバ６０１に対して演算係数（触覚発生コード）ｃＺを要求する。

そして、ステップＫ５８に移行して制御ユニット６５はＷＷＷサーバ６０１から触覚発生コードｃＺを受信する。制御ユニット６５は、ステップＫ５９に移行して、触覚発生コードｃＺをデコード処理する。例えば、ＷＷＷサーバ６０１から受信したアプリケーション情報及び触覚情報Ｄ１をデコード処理して触覚発生コードｃＺを取得する。また、触覚情報Ｄ１をデコード処理してアドレスＺを取得し、このアドレスＺに対応する振動作成指示データＤＰＸを記憶装置６７から読み出す。

制御ユニット６５は、振動作成指示データＤＰＸに基づいて記憶装置６７から読み出した１又は複数種類の波形パターンデータＤＰ０を合成して振動波形パターンデータＤｃＺを作成するような制御を実行する。このとき、制御ユニット６５は、触覚発生コードｃＺ＝０．７を振動波形パターンデータＤｃＺに演算するようになされる。振動波形パターンデータＤｃＺは、モニタ６６で商品画像のボタン対して、ネット利用者の指３０ａが触れられ、その押圧力Ｆが７０ｇ≦Ｆ＜２００ｇの範囲で接触された場合の触覚提示内容である。

次に、ステップＫ６０に移行して、制御ユニット６５は、演算後の振動波形パターンデータＤｃＺをＤ／Ａ変換して振動制御信号ＳＶａ＝ＳｃＺを作成する。その後、ステップＫ６１で制御ユニット６５は、圧電アクチュエータ２５ａ、２５ｂへ振動制御信号ＳＶａ＝ＳｃＺを供給する。圧電アクチュエータ２５ａ及び２５ｂは、振動制御信号ＳＶａ＝ＳｃＺに基づいて入力ツール６４又はモニタ６６を振動するようになされる。これにより、入力ツール６４又はモニタ６６に触れているネット利用者の指３０ａ等に触覚を提示できるようになる。その後、図３２に示すステップＫ６７に移行する。

更にまた、上述のステップＫ５６で加圧力Ｆ＝２００ｇを越える押下力が検出された場合は、ステップＫ６２に移行する。ステップＫ６２で制御ユニット６５はＷＷＷサーバ６０１に対して演算係数（触覚発生コード）ｄＺを要求する。そして、ステップＫ６３に移行して制御ユニット６５はＷＷＷサーバ６０１から触覚発生コードｄＺ＝１．０を受信する。制御ユニット６５は、ステップＫ６４に移行して、触覚発生コードｄＺをデコード処理する。例えば、ＷＷＷサーバ６０１から受信したアプリケーション情報及び触覚情報Ｄ１をデコード処理して触覚発生コードｄＺを取得する。また、触覚情報Ｄ１をデコード処理してアドレスＺを取得し、このアドレスＺに対応する振動作成指示データＤＰＸを記憶装置６７から読み出す。

制御ユニット６５は、振動作成指示データＤＰＸに基づいて記憶装置６７から読み出した１又は複数種類の波形パターンデータＤＰ０を合成して振動波形パターンデータＤｄＺを作成するような制御を実行する。このとき、制御ユニット６５は、触覚発生コードｄＺ＝１．０を振動波形パターンデータＤｄＺに演算するようになされる。振動波形パターンデータＤｄＺは、モニタ６６で商品画像のボタン対して、ネット利用者の指３０ａが触れられ、その押圧力ＦがＦ≧２００ｇの範囲で接触された場合の触覚提示内容である。

次に、ステップＫ６５に移行して、制御ユニット６５は、演算後の振動波形パターンデータＤｄＺをＤ／Ａ変換して振動制御信号ＳＶａ＝ＳｄＺを作成する。その後、ステップＫ６６で制御ユニット６５は、圧電アクチュエータ２５ａ、２５ｂへ振動制御信号ＳＶａ＝ＳｄＺを供給する。圧電アクチュエータ２５ａ及び２５ｂは、振動制御信号ＳＶａ＝ＳｄＺに基づいて入力ツール６４又はモニタ６６を振動するようになされる。これにより、入力ツール６４又はモニタ６６に触れているネット利用者の指３０ａ等に触覚を提示できるようになる。その後、図３２に示すステップＫ６７に移行する。そして、ステップＫ６７で制御ユニット６５は終了情報を検出する。終了情報を検出した場合には、図３１に示したメインルーチンのステップＪ３１に戻る。

このように、振動波形パターンデータＤｂＸ、ＤｃＸ、ＤｄＸ，ＤｂＹ、ＤｃＹ、ＤｄＹ，ＤｂＺ、ＤｃＺ、ＤｄＺに基づいて触覚提示処理がされる。この例では、図２６で波線で示したように、ネット利用者の指３０ａを表示画面上に接触すると、その商品の肌触りを触感を以て体験できるようになされる。これにより、表示画面内のジャケットに関して、その背景、服自体及びボタンについて触覚が異なるように提示処理することができる。

なお、図３０に示したステップＪ２７でノーマルモードが設定された場合は、ステップＪ３２に移行して触覚提示処理を伴わない画像表示処理を実行する。例えば、アイコン領域ＡＫ６には、ズーム設定用のアイコンが表示され、商品画像の拡大縮小を調整できるようになされる。この例では、□＋印のアイコンで商品画像を拡大でき、□−印のアイコンで商品画像を縮小できるようになされる。

そして、ステップＪ３３に移行して制御ユニット６５は、当該商品の購入か否かを判別する。この際に制御ユニット６５では、例えば、入力ツール６４から「商品の購入」を示す操作データＤ３を入力することで「男性用のジャケット」等の購入を確認する。当該商品購入の場合には、ステップＪ３４に移行して当該商品購入の手続処理を実行する。商品購入の手続処理については、ネット利用者（購入者）の住所、氏名、メールアドレスや、精算等を既存のネット決済方法に基づいて処理される。この例では、図２６に示したアイコン領域ＡＫ５に表示された「カートに入れる」のアイコンを選択すると、ジャケット（商品）の購入決定できるようになされる。

上述のステップＪ３３で当該商品を購入しない場合、及び、ステップＪ２２でネットショップしない場合は、ステップＪ３５に移行して情報処理の終了を判断する。この際の終了判断では、例えば、ＷＷＷサーバ６０１を「閉じる」情報を検出してノーマルモード又は商品画像触覚モードに係る情報処理を終了するか否かを判断する。「閉じる」情報が検出されない場合は、ステップＪ２６に戻って、上述した処理を繰り返すようになされる。ステップＪ３５で当該触覚ネットショップモード処理を終了する場合は、「閉じる」情報を検出し、ステップＪ３６に移行して回線「切断」処理をして情報処理を終了する。

このように、第６の実施例に係る触覚ネットショッピングシステム６によれば、ＷＷＷサーバ６０１と、ネット端末６００とが通信手段３００を通じて接続される。ネット端末６００は、ＷＷＷサーバ６０１から触覚情報Ｄ１＋音声情報ＡIN’＋商品画像情報Ｄ６を受信し、当該商品画像情報Ｄ６に基づいて商品画像を表示すると共に、その商品画像に対応する触覚の提示要求を受け付ける。ネット端末６００は、触覚の提示要求を受け付けたとき、商品画像情報Ｄ６に対応付けられた触覚情報Ｄ１に基づいて操作体に触覚を提示するように触覚発生手段４０を制御するようになされる。

従って、ネット利用者等に対して商品画像を視るという視覚に加えて、商品画像に対応付けられた触覚を再現性良く提示できるようになる。これにより、情報配信側で配信商品画像の所定部位に対応付けた触覚をネット端末６００で体験できるような触覚ネットショッピングシステムを構築することができる。このような触覚ネットショッピングシステムは、既存の有線又は及び無線方式の公衆電話回線網やインターネット等を利用して実現可能となる。

しかも、ＷＷＷサーバ６０１からネット端末６００へ振動作成指示データＤＰＸを符号化して送信しているので、振動波形パターンデータＤｃをＷＷＷサーバ６０１からネット端末６００へ直接配信する場合に比べて送信情報を少なくすることができる。

また、ネット端末６００及び情報処理方法によれば、ＷＷＷサーバ６０１から触覚情報Ｄ１＋音声情報ＡIN’＋商品画像情報Ｄ６を通信手段３００を通じて受信し、その情報処理する場合に、ＷＷＷサーバ６０１からネット端末６００へ振動作成指示データＤＰＸを符号化して送信しているので、振動波形パターンデータＤｃを発呼側から着呼側へ直接送信する場合に比べて送信情報を少なくすることができる。

更にまた、制御ユニット６５は、触覚機能付きの入力ツール６４によって触覚の提示要求が受け付けられたとき、当該商品画像情報Ｄ６に対応付けられた触覚情報Ｄ１に基づいてネット利用者の指等に触覚を提示するように触覚発生手段４０を制御する。触覚発生手段４０は、制御ユニット６５の制御を受けて触覚を発生する。

従って、ネット利用者に対して商品画像を視るという視覚に加えて、商品画像に対応付けられた触覚を再現性良く提示できるようになる。これにより、情報配信側で販売商品画像の所定部位に対応付けた触覚を当該ネット端末６００で再現性良く提示できるようになる。

なお、本発明の通信方式は触覚双方向通信処理に応用してもよい。上述の実施例では、ＷＷＷサーバ６０１で触覚入力機能を利用して、商品画像の所定部位への接触が検出され、その商品画像に対応付けるための触覚情報Ｄ１が入力される。この商品画像と触覚情報Ｄ１とが制御ユニット６５’で対応付けられ、ネット端末６００に送信される。ネット端末６００では、ＷＷＷサーバ６０１から受信した触覚情報Ｄ１＋音声情報ＡIN’＋商品画像情報Ｄ６に基づいて触覚提示処理する。例えば、ネット端末６５の制御ユニット６５は、ＷＷＷサーバ６０１から受信した触覚情報Ｄ１に基づいてネット利用者の指等に触覚を提示するような触覚提示処理する。このように、触覚ネットショップシステム６を構成すると、Ａ機種のＷＷＷサーバ６０１の入力操作による触覚を別のＢ機種のネット端末６００から発生できるようになる（情報提示方向；商品販売者→ネット利用者）。

これに対して、Ｂ機種のネット端末６００の入力信号に関わる触覚提示内容を通信手段３００を介してＷＷＷサーバ６０１に送信し、ネット端末６００の入力信号に関する触覚提示内容に基づく触覚をＷＷＷサーバ６０１で提示する。このように、触覚ネットショップシステム６を構成すると、Ｂ機種のネット端末６００の入力操作による触覚を別のＡ機種のＷＷＷサーバ６０１から発生できるようになる（情報提示方向；ネット利用者→商品販売者）。ネット利用者から商品販売者へ仕立て地（布）の肌触り等の注文ができる。

このように、上述の触覚ネットショップシステム６では、複数のＷＷＷサーバ６０１対ネット端末６００間において触覚情報Ｄ１を送受信して、当該ＷＷＷサーバ６０１対ネット端末６００で発生させる触覚の種類を決定するようにしてもよい。これにより、インタラクティブな触覚通信処理を行うことができる。

図３６は、第７の実施例としての触覚テレビ放送システム７の構成例を示す概念図である。
この実施例では、視聴者の家庭に画像音声触覚モード機能及びテレビチューナ機能付きのパソコン７０１を配置し、そのパソコン７０１のチューナ部は、放送局から送信されてきた触覚情報Ｄ１＋映像情報Ｄ７＋音情報ＡINを受信して復号化処理する。この場合、パソコン７０１のモニタでは、チューナ部より受信した画像情報に基づいてその映像が表示され、音声処理部では、チューナ部より受信した音情報ＡINに基づいてその音が再生出力されるが、制御装置は、特定の画像情報又は及び音情報ＡINに対応した触覚提示処理を実行する。

図３６に示す触覚テレビ放送システム７は、通常放送される映像情報Ｄ７＋音声情報ＡIN’に加えて触覚情報Ｄ１を送信するシステムである。この例で、放送局の送信設備と画像音声触覚モード機能付きのパソコン７０１のチューナ部とが既存の衛星放送システム、デジタル地上波放送システム又はアナログ放送システム等を利用した通信手段３００を通じて接続される。

例えば、触覚テレビクイズ番組を想定した場合に、その番組内でクイズ解答者が経験するクイズ不正解時の振動等を、お茶の間の視聴者においても、触覚情報Ｄ１に基づいて体験できるようにしたシステムである。因みに、クイズに不正解した場合に、クイズ解答者が着座する椅子が振動する場面が表示されるが、その振動音はスピーカーから発音される。このスピーカーから発音される振動音は、受信機本体に伝播するが、それほど大きな振幅を有していない。本発明では触覚発生手段がパソコン本体に備えられ、触覚情報Ｄ１に基づいて本体（映像表示画面等）を振動するようになされる。

このような場合に視聴者は、当該パソコン７０１のモニタ画面を触れたとき、振動（触覚）を手に感じることができる。また、視聴者が触覚クイズ番組に参加して、クイズに解答し、そのクイズに惜しくも不正解した場合に、視聴者が見ている表示画面又は視聴者が着座する椅子等を触覚情報Ｄ１に基づいて振動するようになされる。

図３６に示す放送局７０では、スタジオで画像取得処理を実行し、これに並行して音声取得処理を実行する。例えば、放送局７０でクイズ解答者の映像をテレビカメラ（画像取得手段）８３で撮影して映像情報Ｄ７を取得し、そのクイズ解答者の音声や、クイズ出題者、バックグランドミュージック等を集音して音情報ＡINを取得し、受信加入者に放送しようとする場合に、入力手段２４’を操作して、例えば、解答映像場面や、不正解時のクイズ解答者への罰ゲーム、バックグランドミュージック等について、触覚提示タイミングを制御手段１５’に指示するようになされる。

入力手段２４’は、テレビカメラ８３及び音声入出力手段５４’を操作するための操作データＤ３を制御手段１５’に出力する。制御手段１５’は、操作データＤ３に基づいてテレビカメラ８３及び音声入出力手段５４’を制御する。テレビカメラ８３は、クイズ解答者の映像に関する映像情報Ｄ７等を取得して制御手段１５’や記憶手段３５’等に出力し、音声入出力手段５４’は、クイズ解答者の音声に関してクイズ出題者との会話等の話声を含む音情報ＡIN等を取得して制御手段１５’や記憶手段３５’等に出力する。

放送局７０の送信設備７８では、クイズ解答者の映像情報Ｄ７＋音情報ＡINと触覚提示用の触覚情報Ｄ１との対応付け処理を実行する。この対応付け処理では、例えば、制御手段１５’が操作データＤ３に基づいて、クイズ解答者の問題解答正否について、各々触覚が異なって、振動作成指示データＤＰＸを得られるような触覚情報Ｄ１を記憶手段３５’から読み出し、その触覚情報Ｄ１がクイズ解答者の映像情報Ｄ７＋音情報ＡIN等に付加される。この映像情報Ｄ７＋音情報ＡINに付加される触覚情報Ｄ１には、振動作成指示データＤＰＸが含まれる。振動作成指示データＤＰＸには、振動波形パターンを形成する周波数ｆｘ、振幅Ａｘ及び振動回数Ｎｘが含まれる。

そして、放送局７０の送信設備７８は、先に対応付けられた触覚情報Ｄ１＋音情報ＡIN＋映像情報Ｄ７を符号化処理し、通信手段３００を通じて、一斉に、画像音声触覚モード機能付きのテレビ受信機や、同機能付きのパソコン７０１等に送信する。送信設備７８では、制御手段１５’によって処理された触覚情報Ｄ１＋音情報ＡIN＋映像情報Ｄ７を多重変調処理等を実行する。

送信設備７８には、送信アンテナ７９が接続される。送信設備７８に接続された送信アンテナ７９は、放送加入者の画像音声触覚モード機能付きのテレビ受信機や、同機能付きのパソコン７０１等のアンテナへ向けて放送電波が輻射される。衛星放送システムの場合は、放送電波が放送衛星７０５から視聴者のパラボラアンテナ７０３で受信される。デジタル地上波放送システム及びアナログ放送システムの場合は、放送電波が放送局７０の送信アンテナ７９から視聴者の八木アンテナで受信される。

図３７は、画像音声触覚モード機能及びテレビチューナ機能付きのパソコン７０１の構成例を示すブロック図である。
この例で、情報処理装置＃２ｊの一例を構成する画像音声触覚モード機能及びテレビチューナ機能付きのパソコン７０１が備えられる。情報処理装置＃２ｊには、このようなパソコン７０１の他に、同機能付きのブラウン管型のカラーテレビや、液晶型のカラーテレビ、デスクトップ型のテレビチューナ機能付きのパソコンが適用される。本発明に係るテレビチューナ機能付きのパソコン７０１は、画像音声触覚モード実行可能な制御装置７５を有している。制御装置７５には、テレビチューナ部７１、映像／音声／触覚分離部７２、音声処理部７６、映像処理部７７、触覚発生手段４０、入力ツール８４及びタッチパネル８８が接続される。

テレビチューナ部７１は衛星用の受信端子７１ａ及び地上波用の受信端子７１ｂを有している。衛星用の受信端子７１ａには、図３６に示したパラボラアンテナ７０３を通じてデジタルの衛星放送信号が入力される。地上波用の受信端子７１ｂには、図３６に示した八木アンテナ７０４を通じてデジタルの地上波又はアナログの放送信号が入力される。テレビチューナ部７１は、触覚クイズ番組や、他の触覚放送番組等を選局制御信号ＳＳ１に基づいて選局し、当該放送局７０の送信アンテナ７９から送信されてきた触覚クイズ番組に係る触覚情報Ｄ１＋映像情報Ｄ７＋音情報ＡINを受信して復号化処理する。

テレビチューナ部７１には映像／音声／触覚分離部７２が接続され、復号化処理された触覚情報Ｄ１＋音情報ＡIN＋映像情報Ｄ７を分離制御信号ＳＳ２に基づいて分離し、触覚情報Ｄ１、映像情報Ｄ７及び音情報ＡINを各々出力するようになされる。分離制御信号ＳＳ２は、制御装置７５からチューナ部７１に出力される。

映像／音声／触覚分離部７２には、音声処理部７６、映像処理部７７及び触覚発生手段４０が接続される。音声処理部７６にはスピーカー３６が接続され、音声処理部７６は音声制御信号ＳＳ３に基づいて音声情報ＡIN’を入力し、音声情報ＡIN’をデジタル／アナログ変換処理し、アナログの音声信号をスピーカー３６に出力する。スピーカー３６は、クイズ解答者の音声や、クイズ出題者の音声を放音する。音声制御信号ＳＳ３は、制御装置７５から音声処理部７６に出力される。

映像処理部７７にはカラー用のモニタ８９が接続され、映像処理部７７では映像制御信号ＳＳ４に基づいて映像情報を入力し、映像情報をカラー映像処理し、アナログ又はデジタルのカラー用の映像信号をモニタ８９に出力する。モニタ８９は、カラー用の映像信号に基づいてクイズ解答者の映像や、クイズ出題者の映像、クイズ出題映像等を表示するようになされる。映像制御信号ＳＳ４は、制御装置７５から映像処理部７７に出力される。

この例で触覚発生手段４０には、バイモルフ型の圧電アクチュエータ２５ａ〜２５ｄ又は振動モータ等のアクチュエータ２５が接続される。触覚発生手段４０では、触覚制御信号ＳＳ５に基づいて触覚情報Ｄ１を入力し、触覚情報Ｄ１に基づいてデジタル／アナログ変換処理し、アナログの振動駆動電圧Ｖａをアクチュエータ２５に出力する。アクチュエータ２５は、モニタ８９の例えば、枠体に取り付けられる。アクチュエータ２５は振動駆動電圧Ｖａに基づいてモニタ８９を振動するようになされる。触覚制御信号ＳＳ５は、制御装置７５から触覚発生手段４０に出力される。

この例で触覚発生手段４０には、振動駆動電圧出力用の出力端子４０ａが設けられる。この出力端子４０ａには、アクチュエータ２５を取り付けた座椅子等が接続される。アクチュエータ２５は振動駆動電圧Ｖａに基づいて図示しない座椅子等を振動するようになされる。また、上述のモニタ８９に、例えば、タッチパネル８８を設け、モニタ表示映像の特定部位に触れたとき、制御装置７５でその映像に関連する触覚提示制御を実行するようにしてもよい（図３８参照）。

制御装置７５には、タッチパネル８８の他に入力ツール８４が接続され、放送番組の選局や、音声ボリューム調整時、ノーマルモード又は映像音声触覚モード設定時に操作される。入力ツール８４には、周知のリモートコントローラ（以下リモコンという）８５が適用される。リモコン８５は、入力ツール８４に対して放送番組の選局や、音声ボリューム調整、ノーマルモード又は映像音声触覚モードの設定を指示するように遠隔操作される。

図３８は、ある触覚クイズ番組におけるクイズ画面の表示例を示す図である。図３８に示すクイズ画面はモニタ８９に表示される。クイズ画面は、例えば、４者択一問題の場合、モニタ８９の表示領域を４つに分割して表示される。表示画面「１」には、例えば、大中小の△印が表示され、表示画面「２」には、例えば、大中小の○印が表示され、表示画面「３」には、例えば、大中小の□印が表示され、表示画面「４」には、例えば、十字状の印が各々表示される。

表示画面「１」の領域をタッチすると、タッチパネル８８から接触検出信号が制御装置７５に出力されることから、制御装置７５は、視聴者が大中小の△印を選択したと判断する。同様にして、視聴者が表示画面「２」の領域をタッチすると、制御装置７５は、視聴者が大中小の○印を選択したと判断する。視聴者が表示画面「３」の領域をタッチすると、制御装置７５は、視聴者が大中小の□印を選択したと判断される。視聴者が表示画面「４」の領域をタッチすると、制御装置７５は視聴者が十字状印を選択したと判断される。この例で、制御装置７５は、タッチパネル８８から出力される接触検出信号に基づいて触覚提示制御を実行する。

図３９は、触覚テレビ放送システム７における情報処理例（送信側）を示すフローチャートである。
この実施例では、図３６に示した放送局７０で映像情報Ｄ７＋音情報ＡINの他に触覚情報Ｄ１を、画像音声触覚モード機能及びテレビチューナ機能付きのパソコン７０１に送信する。放送局７０の送信設備７８と画像音声触覚モード機能付きのパソコン７０１のテレビチューナ部７１とが既存の衛星放送システム、デジタル地上波放送システム又はアナログ放送システム等を利用した通信手段３００を通じて接続される。この例で、放送局７０の送信設備７８では、予め画像音声触覚モードの設定処理がなされる場合を前提とする。

これらを情報処理条件にして、図３９に示す送信側のフローチャートのステップＬ１１で放送局７０は、スタジオで画像取得処理を実行する。例えば、スタジオでテレビカメラ８３を操作してクイズ解答者の映像を撮影して映像情報Ｄ７を取得する。

これに並行してステップＬ１２で音声取得処理を実行する。例えば、マイクロフォン等を使用してクイズ解答者の音声や、バックグランドミュージック等を集音して音情報ＡINを取得する。このとき、受信加入者に映像情報Ｄ７＋音情報ＡINと共に触覚情報Ｄ１を放送しようとする場合に、クイズ解答者の映像やクイズ出題者との会話、バックグランドミュージック等について、触覚提示タイミングを制御手段１５’に指示するように入力手段２４’が操作される。

入力手段２４’は、テレビカメラ８３及び音声入出力手段５４’を操作するための操作データＤ３を制御手段１５’に出力する。制御手段１５’は、操作データＤ３に基づいてテレビカメラ８３及び音声入出力手段５４’を制御する。テレビカメラ８３は、クイズ解答者の映像に関する映像情報Ｄ７等を取得して制御手段１５’や記憶手段３５’等に出力し、音声入出力手段５４’は、クイズ解答者の音声に関して、出題者との会話を含む音情報ＡIN等を取得して制御手段１５’や記憶手段３５’等に出力する。

その後、ステップＬ１３で放送局７０の送信設備７８は、クイズ解答者の音（声）情報ＡIN＋映像情報Ｄ７と触覚提示用の触覚情報Ｄ１との対応付け処理を実行する。この対応付け処理では、例えば、制御手段１５’が操作データＤ３に基づいて、クイズ解答者の問題解答正否について、各々触覚が異なって振動作成指示データＤＰＸを得られるような触覚情報Ｄ１を記憶手段３５’から読み出し、その触覚情報Ｄ１がクイズ解答者の音情報ＡIN＋映像情報Ｄ７等に付加される。この音情報ＡIN＋映像情報Ｄ７に付加される触覚情報Ｄ１には、振動作成指示データＤＰＸが含まれる。振動作成指示データＤＰＸには、振動波形パターンを形成する周波数ｆｘ、振幅Ａｘ及び振動回数Ｎｘが含まれる。

そして、ステップＬ１４で放送局７０の送信設備７８は、先に対応付けられた触覚情報Ｄ１＋音情報ＡIN＋映像情報Ｄ７を符号化処理する。このとき、送信設備７８では、制御手段１５’によって処理された触覚情報Ｄ１＋音情報ＡIN＋映像情報Ｄ７を多重変調処理等を実行する。その後、送信設備７８は、多重変調処理された触覚情報Ｄ１＋音情報ＡIN＋映像情報Ｄ７をステップＬ１５で通信手段３００を通じて、一斉に、画像音声触覚モード機能付きのテレビ受信機や、同機能付きのパソコン７０１等に送信する。

図４０は、触覚テレビ放送システム７における情報処理例（受信側）を示すフローチャートである。
この実施例で、画像音声触覚モード機能及びテレビチューナ機能付きのパソコン７０１は、放送局７０から受信した映像情報Ｄ７の表示処理及び音情報ＡINの再生処理をすると共に触覚情報Ｄ１を処理するになされる。この例で、衛星放送システムを利用する場合は、放送電波が放送衛星７０５から視聴者のパラボラアンテナ７０３で受信される。

デジタル地上波放送システム及びアナログ放送システムを利用する場合は、放送電波が放送局７０の送信アンテナ７９から視聴者の八木アンテナ７０４で受信される。受信側のテレビチューナ機能付きのパソコン７０１等で、クイズ画面の特定部位を触れたとき、また、その映像情報Ｄ７又は音情報ＡINに対応付けられた触覚情報Ｄ１に基づいて表示画面又は操作者の座椅子等に触覚を提示する場合を例に挙げる。

この例ではクイズ解答者体験モード及び視聴者クイズ参加モードとが準備されている。クイズ解答者体験モードでは、クイズ解答者がクイズに不正解した場合は、クイズ解答者に与えられる罰ゲーム等の振動を体験できるようになされる。視聴者クイズ参加モードでは、視聴者がクイズに答えて不正解した場合に、クイズ解答者の着座する椅子が回転するといった、罰ゲーム等の振動を体験できるようになされる。

これらを情報処理条件にして、パソコン７０１では、図４０に示すフローチャートのステップＭ１１で、まず、ノーマルモード又は画像音声触覚モードのいずれかの動作モードが設定される。画像音声触覚モードを選択した場合は、更に、クイズ解答者体験モード又は視聴者クイズ参加モードのいずれかの動作モードが設定される。これらの動作モードは、パソコン７０１の入力ツール８４又はリモコン８５が視聴者（操作者）により操作されて制御装置７５に設定される。

そして、ステップＭ１２でテレビチューナ部７１は、制御装置７５の制御を受けて、放送局７０から送られてくる触覚情報Ｄ１＋音情報ＡIN＋映像情報Ｄ７を受信して復号化処理する。触覚情報Ｄ１＋音情報ＡIN＋映像情報Ｄ７は、例えば、制御装置７５で分離され、映像情報Ｄ７はモニタ８９に出力される。音情報ＡINは音声処理部７６に出力される。触覚情報Ｄ１は、画像音声触覚モードが選択された場合に備えて制御装置７５にセットされる。

その後、ステップＭ１３に移行して、先に設定された動作モードに基づいて制御を分岐する。画像音声触覚モードが設定された場合は、ステップＭ１４及びＮ１５に移行する。ステップＭ１４では、先に受信した映像情報Ｄ７＋音情報ＡINに基づいて映像及び受信音を出力処理する。例えば、モニタ８９では、放送局７０から送られてきた映像情報Ｄ７に基づくクイズ解答者及び４者択一クイズ出題映像が表示される。クイズ出題映像は、モニタ８９で分割表示される。音声処理部７６では、放送局７０から送られてきた音情報ＡINに基づく会話音声等がスピーカー３６により放音される。

これに並行して、ステップＭ１５で制御装置７５は、先に設定された動作モードに基づいて制御を分岐する。視聴者クイズ参加モードが設定された場合は、ステップＭ１６、Ｎ１７，Ｎ１８又はＮ１９に移行する。これは４者択一の問題に答えるためである。このとき、制御装置７５は、視聴者が分割映像表示領域のどの部分を選択したか否かを監視し、その接触を検出する。これは４者択一問題の解答を接触検知によって識別するためである。このとき、触覚機能付きの入力ツール８４は、操作パネル８８で操作者（視聴者）の指等の接触を検出して、モニタ８９で映像表示される４者択一問題に対応する触覚提示タイミングを検出するように操作される。

例えば、ステップＭ１６で図３８に示したクイズ画面において、表示画面「１」領域がタッチされたか否かを監視し、その接触を検出する。表示画面「１」領域がタッチされた場合は、タッチパネル８８から接触検出信号を入力し、制御装置７５は、視聴者が大中小の△印を選択したと判断する。その後、ステップＭ２０に移行する。

また、ステップＭ１７で表示画面「２」領域がタッチされたか否かを監視し、その接触を検出する。表示画面「２」領域がタッチされた場合は、タッチパネル８８から接触検出信号を入力し、制御装置７５は、視聴者が大中小の○印を選択したと判断する。その後、ステップＭ２０に移行する。

更に、ステップＭ１８で表示画面「３」領域がタッチされたか否かを監視し、その接触を検出する。表示画面「３」領域がタッチされた場合は、タッチパネル８８から接触検出信号を入力し、制御装置７５は、視聴者が大中小の□印を選択したと判断される。その後、ステップＭ２０に移行する。

更にまた、ステップＭ１９で視聴者が表示画面「４」の領域をタッチすると、制御装置７５は視聴者が十字状印を選択したと判断される。この例で、制御装置７５は、タッチパネル８８から出力される接触検出信号に基づいて触覚提示制御を実行する。その後、ステップＭ２０に移行する。

ステップＭ２０では、４者択一の問題の解答要否に基づいて制御を分岐する。視聴者クイズ参加モードであって、視聴者が選択した問題を不正解した場合は、ステップＭ２３に移行して第１の触覚提示処理を実行する。

クイズ解答者体験モードが設定されている場合は、ステップＭ２１で、制御装置７５は、特定のクイズ出題映像に係る映像情報Ｄ７や、クイズ解答時の受け答え、バックグランドミュージック等に係る音情報ＡINに各々の対応付けられた触覚情報Ｄ１に基づいて操作者の指や、操作者が着席する椅子等に触覚を提示するように触覚提示制御を実行する。

このとき、パソコン７０１の制御装置７５では、放送局７０からパラボラアンテナ７０３又は八木アンテナ７０４を通じて受信したアプリケーション情報及び触覚情報Ｄ１をデコード処理して振動作成指示データＤＰＸを取得する。制御装置７５は、デコード処理して得た振動作成指示データＤＰＸに基づいて記憶手段３５から１又は複数種類の波形パターンデータＤＰ０を読み出し、この波形パターンデータＤＰ０を合成して振動波形パターンデータＤｃを作成するような制御を実行する。制御装置７５は、合成後の振動波形パターンデータＤｃをデジタル・アナログ変換して振動制御信号Ｓａ〜Ｓｄ等を作成する。

振動制御信号Ｓａ〜Ｓｄ等は、制御装置７５から触覚発生手段４０を構成する圧電アクチュエータ２５ａ〜２５ｄや振動モータに供給される。圧電アクチュエータ２５ａ〜２５ｄや振動モータは、視聴者が着席する座椅子等に取り付けられている。これらのアクチュエータでは、振動制御信号Ｓａ〜Ｓｄ等に基づいて視聴者が着席する椅子等を振動するようになされる。これにより、座椅子等に着席している視聴者に対して、クイズ不正解時に、触覚情報Ｄ１に対応した触覚を提示できるようになる（第１の触覚提示処理）。その後、ステップＭ２３に移行する。

また、ステップＭ１１でクイズ解答者体験モードが設定されていて、ステップＭ１５でそのクイズ解答者がその問題に不正解した場合には、ステップＭ２１に移行して、第２の触覚提示処理を実行する。

振動制御信号Ｓａ〜Ｓｄ等は、制御装置７５から触覚発生手段４０を構成する圧電アクチュエータ２５ａ〜２５ｄに供給される。圧電アクチュエータ２５ａ〜２５ｄは、入力ツール８４や、モニタ８９等に予め取り付けられている。圧電アクチュエータ２５ａ〜２５ｄは、振動制御信号Ｓａ〜Ｓｄ等に基づいて入力ツール８４や、モニタ８９等を振動するようになされる。これにより、入力ツール８４やモニタ８９に触れている操作者の指等に、クイズ解答者がその問題に不正解した時に、例えば、クイズ解答者が座っている座席が回転する際の振動をモニタ画面を触れることで体感（触覚提示）できるようになる（第２の触覚提示処理）。その後、ステップＭ２３に移行する。

なお、ステップＭ１３でノーマルモードが設定された場合は、ステップＭ２２に移行して触覚提示処理を伴わない映像情報Ｄ７及び音情報ＡINの出力処理を実行する。その後、ステップＭ２３に移行する。また、ステップＭ２０で視聴者が選択した問題を正解した場合や、クイズ解答者がその問題に正解した場合には、触覚提示処理を中止してステップＭ２３に移行して制御装置７５は、情報処理の終了を判断する。この際の終了判断では、例えば、電源オフ情報を検出してノーマルモード又は画像音声触覚モードに係る情報処理を終了する。電源オフ情報が検出されない場合は、ステップＭ１３に戻って、上述した処理を繰り返すようになされる。

このように、第７の実施例に係る触覚テレビ放送システム７によれば、放送局７０の送信設備７８と、パラボラアンテナ７０３又は八木アンテナ７０４を通じて、画像音声触覚モード機能及びテレビチューナ機能付きのパソコン７０１とが既存の衛星放送システム、デジタル地上波放送システム又はアナログ放送システム等を利用した通信手段３００を通じて接続される。テレビチューナ機能付きのパソコン７０１は、クイズ不正解時等の触覚提示タイミングを検出したとき、音情報ＡIN＋映像情報Ｄ７に対応付けられた触覚情報Ｄ１に基づいて、表示画面に触れている視聴者の指や、視聴者が着席する椅子等に触覚を提示するように触覚発生手段４０を制御するようになされる。

従って、放送局７０から送信されてきた触覚情報Ｄ１に基づいて遠隔地の一般家庭において、画像音声触覚モード機能及びテレビチューナ機能付きのパソコン７０１で触覚を提示することができる。このことで、視聴者に対して放送局７０から提供される画像を視るという視覚、クイズ解答者の会話やバックグランドミュージックを聞くという聴覚に加えて、クイズ不正解時に、クイズ画面に対応付けられた触覚を再現性良く提示できるようになる。

これにより、音情報ＡIN＋映像情報Ｄ７に対応付けられた触覚情報Ｄ１に基づいて視聴者の指や、視聴者が着席する椅子等に触覚を提示（体験）できるような情報処理システムを構築することができる。このような情報処理システムは、既存の衛星放送システム、デジタル地上波放送システム又はアナログ放送システム等を利用した触覚テレビ放送システムに十分応用できる。しかも、放送局７０の送信設備７８からテレビ機能付きのパソコン７０１へ振動作成指示データＤＰＸを符号化して送信しているので、振動波形パターンデータＤｃを送信設備７８から当該パソコン７０１へ直接配信する場合に比べて送信情報を少なくすることができる。

また、画像音声触覚モード機能及びテレビチューナ機能付きのパソコン及びその情報処理方法によれば、放送加入者のテレビチューナ機能付きのパソコン７０１では、放送局７０からパラボラアンテナ７０３又は八木アンテナ７０４を通じて触覚情報Ｄ１＋音情報ＡIN＋映像情報Ｄ７を受信し、クイズ不正解時のクイズ解答者の画像に対応する触覚提示タイミングを検出する。制御装置７５は、触覚提示タイミングを検出したとき、当該音情報ＡIN＋映像情報Ｄ７に対応付けられた触覚情報Ｄ１に基づいて視聴者の指や、視聴者が着席する椅子等に触覚を提示するように触覚発生手段４０を制御する。触覚発生手段４０は、制御装置７５の制御を受けて触覚を発生する。

従って、視聴者に対して放送局７０から提供される画像を視るという視覚、クイズ解答者の会話やバックグランドミュージックを聞くという聴覚に加えて、クイズ不正解時に、クイズ画面に対応付けられた触覚を再現性良く提示できるようになる。これにより、当該画像音声触覚モード機能及びテレビチューナ機能付きのパソコンは、音情報ＡIN＋映像情報Ｄ７に対応付けられた触覚情報Ｄ１に基づいて視聴者の指や、視聴者が着席する椅子等に触覚を提示（体験）できるような触覚テレビ放送システムに寄与するところが大きい。

図４１は、他の触覚テレビ放送システム７’の構成例を示す概念図である。この実施例では、第７の実施例で説明した触覚提示制御がリモコンで選択可能なようになされる。

図４１に示す触覚テレビ放送システム７’には、画像音声触覚モード機能付きのテレビ受信機７０２と、リモートコントローラ（リモコン）８５と、アクチュエータ取り付け済みの椅子８０が備えられる。画像音声触覚モード機能付きのテレビ受信機７０２は、第７の実施例で説明したパソコン７０１とほぼ同様な構成を有している。モニタ８９に関しては、液晶ディスプレイの他にブラウン管や、プラズマディスプレイ（ＰＤＰ素子）が使用される。

この例で、音情報ＡINにロケットの発射音や、大砲の爆発音、エンジン音、ビルの破壊音といった、大きな振動を伴う場合に、その音情報ＡINを補うように、触覚情報Ｄ１に基づいて視聴者が着座する椅子８０に振動を提示するようになされる。この例では、大きな振動を伴う音情報ＡINを検出し、この音情報ＡIN検出時を触覚提示タイミングとなされる。このような音情報ＡIN検出時でも、触覚提示タイミングを無効とするように、振動提示のオン／オフをリモコン８５で遠隔設定できるようになされている。

図４２は、椅子８０におけるアクチュエータ２５の取付例を示す斜視図である。図４２に示す椅子８０は、椅子本体８０ａを有している。椅子本体内部には、例えば、振動モータ４８が設けられ、振動制御信号Ｓａ〜Ｓｄ等に基づいて振動するようになされる。椅子本体８０ａは、例えば、座部、背もたれ部及び肘掛け部を有している。椅子本体座部内には、圧電アクチュエータ２５ａ〜２５ｄが取り付けられ、振動制御電圧Ｖａ等に基づいて振動するようになされる。

椅子本体左右の肘掛け部内には、圧電アクチュエータ２５ｅ、２５ｆが取り付けられ、振動制御電圧Ｖａ等に基づいて振動するようになされる。椅子本体背もたれ部内には、圧電アクチュエータ２５ｇ〜２５ｉが取り付けられ、振動制御電圧Ｖａ等に基づいて振動するようになされる。これらのアクチュエータ２５は、図３７に示した出力端子４０ａ等に接続される。

このような画像音声触覚モード機能付きのテレビ受信機７０２では、リモコン８５のＩｒＤＡ（赤外線）通信によって、画像音声触覚モードが設定されると、放送局７０から送られてくる触覚情報Ｄ１＋音情報ＡIN＋映像情報Ｄ７を受信して復号化処理することは第７の実施例で説明した通りである。

この例では、触覚情報Ｄ１＋音情報ＡIN＋映像情報Ｄ７のうち、ロケットの発射音や、大砲の爆発音、エンジン音、ビルの破壊音といった、大きな振動を伴う音情報ＡINを検出したとき、その音情報ＡINをトリガにして、触覚提示制御が起動される。この触覚提示制御では、視聴者が着座する椅子８０に触覚情報Ｄ１に基づいて振動を提示するようになされる。

例えば、制御装置７５で分離された映像情報Ｄ７はモニタ８９に出力される。音情報ＡINは音声処理部７６に出力される。触覚情報Ｄ１は、リモコン８５によって画像音声触覚モードが選択された場合に備えて制御装置７５にセットされる。画像音声触覚モードが設定された場合は、先に受信した音情報ＡIN＋映像情報Ｄ７に基づいて受信音を出力処理する。例えば、モニタ８９では、放送局７０から送られてきた映像情報Ｄ７に基づくロケット発射映像が表示される。音声処理部７６では、放送局７０から送られてきた音情報ＡINに基づくロケット発射音が図示しないスピーカー３６等により放音される。

これに並行して、制御装置７５は、モニタ８９で映像表示されるロケット発射映像や、音声処理部７６で放音されるロケット発射音に関して、触覚提示タイミングを検出する。この触覚提示タイミング検出と共に、この音情報ＡINをトリガにして、触覚情報Ｄ１に基づいて視聴者が着席する椅子８０に触覚を提示するように触覚提示制御を実行する。

このように、第７の実施例に係る他の触覚テレビ放送システム７’によれば、音情報ＡINにロケットの発射音や、大砲の爆発音、エンジン音、ビルの破壊音といった、大きな振動を伴う場合に、その音情報ＡINを補うように、触覚情報Ｄ１に基づいて視聴者が着座する椅子８０に振動を提示するようになされる。

しかも、このような大きな振動を伴う音情報ＡINを検出したときでも、触覚提示タイミングを無効とするように、振動提示のオン／オフをリモコン８５で遠隔設定できるようになされている。

従って、視聴者に対して放送局７０から提供される画像を視るという視覚、ロケットの発射音や、大砲の爆発音、エンジン音、ビルの破壊音等を聞くという聴覚に加えて、これらの大きな音を伴う音情報ＡINに対応付けられた触覚を再現性良く、しかも、選択性良く提示できるようになる。これにより、音情報ＡIN＋映像情報Ｄ７に対応付けられた触覚情報Ｄ１に基づいて視聴者が着席する椅子８０等に触覚を提示（体験）できるような情報処理システムを構築することができる。このような情報処理システムは、既存の衛星放送システム、デジタル地上波放送システム又はアナログ放送システム等を利用した触覚テレビ放送システムに十分応用できる。

しかも、放送局７０の送信設備７８からテレビ受信機７０２へ振動作成指示データＤＰＸを符号化して送信しているので、振動波形パターンデータＤｃを送信設備７８からテレビ受信機７０２へ直接配信する場合に比べて送信情報を少なくすることができる。

この触覚テレビ放送システム７’はホームシアタシステムにも応用することができる。ホームシアタシステムは、映画を記録した記録媒体（ＤＶＤ）再生して、映像及び音声情報ＡIN’を出力するシステムである。この映画再生において、ロケットの発射音や、大砲の爆発音、エンジン音、ビルの破壊音といった、大きな振動を伴う場合に、その音情報ＡINを補うように、触覚情報Ｄ１に基づいて視聴者が着座する椅子８０に振動を選択性良く提示するようになされる。視聴者は、あたかも、そのロケット発射場や、戦場、サーキット場、ビル破壊現場等に居るような臨場感溢れる体験を得ることができる。

図４３は、第８の実施例としての触覚ゲーム情報配信システム８の構成例を示す概念図である。
この実施例では、情報配信側でゲーム画像の所定部位に触覚を対応付け処理し、この触覚を情報利用者側の携帯電話機で体験できるようにすると共に、触覚ゲーム情報配信システム８で触覚を伴うゲーム情報Ｄ８のダウンロードする際に、触覚情報Ｄ１のデータ量を低減できるようにした。この例では、「モグラたたきゲーム」の画像にリンクした「モグラの動き」を触覚情報Ｄ１で表現する場合を例に挙げる。

図４３に示す触覚ゲーム情報配信システム８は、動画又は及び静止画を含むゲーム情報Ｄ８に対応付けられた触覚提示用の触覚情報Ｄ１をゲーム機能付きの携帯電話機等に配信するシステムである。携帯電話機には第４の実施例で説明した携帯電話機４００が応用される。触覚ゲーム情報配信システム８は、携帯電話機４００の他に、これらのゲーム情報Ｄ８に結合された触覚提示用の触覚情報Ｄ１を処理するパソコンや、同機能付きの情報携帯端末装置、同機能付きのテレビジョン受信機等、また、これらを応用した通信システムに適用して好適である。

触覚ゲーム情報配信システム８では、既存の通信手段（通信基盤）３００が応用される。通信手段３００には、有線通信手段及び無線通信手段が含まれる。例えば、触覚ゲーム情報配信システム８には、既存の有線及び無線方式の公衆電話回線網が利用される。通信手段３００は、情報配信装置（第１の情報処理装置；第１の情報処理系Ｉ）とゲーム機能付きの携帯電話機４００（第２の情報処理装置；第２の情報処理系II）とを有線方式又は無線方式により電気的に接続できるものであればどんな通信方式であってもよい。なお、触覚情報Ｄ１付きのゲーム情報Ｄ８の配信形態は、通信メディアに限られることはなく、パッケージメディアを介して提供するようにしてもよい。

この触覚ゲーム情報配信システム８でその送信側の情報処理装置＃１ｉの一例となる情報配信装置８０１が通信手段３００に接続され、動画又は及び静止画を含むゲーム情報Ｄ８と触覚提示用の触覚情報Ｄ１とを対応付けてゲーム機能付きの携帯電話機４００へ配信処理するようになされる。情報配信装置８０１は、例えば、画像取得手段３’、制御手段１５’、通信モデム１９’、入力手段２４’、表示手段２９’、記憶手段３５’及び音声入出力手段５４’を備えて構成される。

入力手段２４’は、画像取得手段３’を操作するための操作データＤ３を入力したり、配信要求時、情報配信モードを設定するように操作される。例えば、モグラアニメ画像を作成してゲーム情報Ｄ８を取得し、配信要求者にダウンロード（配信）しようとする場合に、「なでる」、「お、重い」、「だれか触った」、「痛い！」等の異常反応と正常反応について、触覚提示位置を制御手段１５’に指示するように操作される。

画像取得手段３’は、モグラのアニメ画像を取得してゲーム情報Ｄ８を出力する。例えば、モグラアニメ画像を作成してゲーム情報Ｄ８を取得し、配信要求者に配信しようとする場合に、「なでる」、「お、重い」、「だれか触った」、「痛い！」等の異常反応と正常反応について、動画又は静止画に係るゲーム情報Ｄ８を取得する。音声入出力手段５４’は、モグラの吹き出し音声を入力するようになされる。音声入出力手段５４’には音声入出力処理回路や、モニタとしてのスピーカー、キャラクタ吹き替え者の声を集音するマイクロフォン等が使用される。

記憶手段３５’には、配信要求者の携帯電話機４００に配信するための触覚情報Ｄ１が格納される。触覚情報Ｄ１には、ゲーム機能付きの携帯電話機４００で振動波形パターンデータＤｃの素材データとなる波形パターンデータＤＰ０を記憶手段から読み出して振動制御信号Ｓａ〜Ｓｄ等を作成する旨を指示するための振動作成指示データＤＰＸが含まれている。触覚情報Ｄ１には、振動作成指示データＤＰＸの他に、配信要求者の携帯電話機４００を区分するアプリケーション情報等が含まれている。

振動作成指示データＤＰＸには、振動波形パターンデータＤｃを形成する周波数ｆｘ、振幅Ａｘ及び振動回数Ｎｘが含まれる。これは、ゲーム機能付きの携帯電話機４００で周波数ｆｘ、振幅Ａｘ及び振動回数Ｎｘに基づいて振動制御信号Ｓａ等を作成するためである。記憶手段３５’には、触覚情報Ｄ１の他に画像取得手段３’によって取得された、モグラのゲーム情報Ｄ８が格納される。

表示手段２９’は、画像取得手段３’によって取得された、例えば、ゲーム情報Ｄ８に基づく表示データＤ２によりモグラアニメ画像等の映像を表示するようになされる。情報配信者側で、モグラアニメ画像と声の吹き替えを確認できるようになされている。

制御手段１５’は、画像取得手段３’、通信モデム１９’、入力手段２４’、表示手段２９’、記憶手段３５’及び音声入出力手段５４’の入出力を制御する。例えば、制御手段１５’は、画像取得手段３’を制御してモグラの動画又は及び静止画を含むゲーム情報Ｄ８等の画像取得処理を実行し、その後、ゲーム情報Ｄ８と触覚情報Ｄ１とを対応付ける。

対応付け処理は、例えば、モグラアニメ画像で「なでる」、「お、重い」、「だれか触った」、「痛い！」等の異常反応と正常反応について、各々触覚が異なるような振動作成指示データＤＰＸが得られるような触覚情報Ｄ１がモグラの動画又は及び静止画を含むゲーム情報Ｄ８等に付加される。この付加後の情報を「触覚情報Ｄ１＋ゲーム情報Ｄ８」と記述する。そして、制御手段１５’は、配信要求者の携帯電話機４００に触覚情報Ｄ１＋ゲーム情報Ｄ８を符号化して配信する処理を実行する。

通信モデム１９’は、有線通信手段又は無線通信手段等の通信回線を接続して配信要求者と通信処理を実行する。例えば、通信モデム１９’は、制御手段１５’によって符号化処理された触覚情報Ｄ１＋ゲーム情報Ｄ８を配信要求者の携帯電話機４００に配信する。なお、触覚情報Ｄ１＋ゲーム情報Ｄ８をパッケージメディアを介して提供する場合は、情報配信装置８０１に図示しないＣＤ−ＲＯＭドライバが装備される。

触覚ゲーム情報配信システム８には、情報処理装置の一例となるゲーム機能付きの携帯電話機４００が準備される。携帯電話機４００は、配信側の情報配信装置８０１に対して通信手段３００を通じて接続可能な装置である。図示しないが、パッケージメディアが装着可能なカードスロットを装備するようになされる。情報処理装置には、携帯電話機４００の他に、触覚入力機能付きのパソコンや、情報携帯端末装置等が使用され、これらは通信手段３００に接続され、触覚情報Ｄ１＋ゲーム情報Ｄ８を受信し、当該ゲーム情報Ｄ８に基づいて受信画像を表示すると共に、当該受信画像に対応する触覚提示要求を受け付け、その提示要求に基づいて触覚を提示するようになされる。

例えば、携帯電話機４００は、受信部２１、表示手段２９、ＣＰＵ３２、記憶手段３５、触覚発生手段４０、映像＆音声処理部４４及び触覚機能付きの入力検出手段４５を備えて構成される（図１０参照）。この例で、受信部２１は、配信側の情報配信装置８０１から触覚情報Ｄ１＋ゲーム情報Ｄ８を受信して復号化処理する。表示手段２９には、受信部２１より受信したゲーム情報Ｄ８に基づいて受信画像を表示する。例えば、情報配信業者の情報配信装置８０１から送られてきたゲーム情報Ｄ８に基づく表示データＤ２によりモグラアニメ画像等を表示するようになされる。

触覚機能付きの入力検出手段４５は、モグラアニメ画像の所定部位への接触を検出して、表示手段２９に表示されたモグラアニメ画像に対応する触覚の提示要求を受け付けるように操作される。入力検出手段４５には、タッチパネルやシートセンサ、力検出センサ、圧電アクチュエータ２５ａ〜２５ｄ等が使用される。タッチパネルやシートセンサ等は、操作者の指の接触位置を検出するように使用される。

力検出センサは、操作者の指の押下力を検出するように使用される。圧電アクチュエータ２５ａ〜２５ｄは触覚発生手段４０を構成し、触覚情報Ｄ１に基づいて発生された振動制御信号Ｓａ〜Ｓｄ等より振動を発生し、操作者の指等に触覚を提示するように使用される。

この携帯電話機４００では、モグラアニメ画像に対応する触覚の提示要求を受け付けたとき、触覚発生手段４０を制御するようになされる。例えば、ＣＰＵ３２は、入力検出手段４５から触覚提示要求を入力し、当該ゲーム情報Ｄ８に対応付けられた触覚情報Ｄ１に基づいて操作者の指（操作体）に触覚を提示するように触覚発生手段４０を制御する。

記憶手段３５には、振動作成指示データＤＰＸをアドレスにして読み出し可能な複数種類の波形パターンデータＤＰ０が格納される。この例では、振動波形パターンデータＤｃを構成する素材データとして、触覚提示用の複数種類の周波数ｆｘ及び振幅Ａｘの波形パターンデータＤＰ０が準備されている。これは、情報配信業者の情報配信装置８０１で指定する触覚情報Ｄ１に対応する振動波形パターンデータＤｃをゲーム機能付きの携帯電話機４００で再現（構築）するためである。

このように、配信側からゲーム機能付きの携帯電話機４００へ振動作成指示データＤＰＸを符号化して配信することにより、振動波形パターンデータＤｃを配信側からゲーム機能付きの携帯電話機４００へ直接配信する場合に比べて配信情報量を少なくすることができる。なお、記憶手段３５には、複数種類の波形パターンデータＤＰ０の他に、当該携帯電話機４００から情報配信業者へダウンロードを要求する際のデータ等が格納される。

この例で受信部２１が配信側の情報配信装置８０１から触覚情報Ｄ１を受信して復号化処理する場合であって、ＣＰＵ３２は、受信部２１によって受信された触覚情報Ｄ１に基づいて記憶手段３５から波形パターンデータＤＰ０を読み出し、この波形パターンデータＤＰ０を合成して振動波形パターンデータＤｃを作成するような制御を実行する。

例えば、ＣＰＵ３２は、情報配信装置８０１から受信したアプリケーション情報及び触覚情報Ｄ１をデコード処理して振動作成指示データＤＰＸを取得する。ＣＰＵ３２は、更に、振動作成指示データＤＰＸに基づいて記憶手段３５から１又は複数種類の波形パターンデータＤＰ０を読み出す。ＣＰＵ３２は、記憶手段３５から読み出した複数種類の波形パターンデータＤＰ０を合成し、合成後の振動波形パターンデータＤｃをデジタル・アナログ変換して振動制御信号Ｓａ〜Ｓｄ等を作成する。

振動制御信号Ｓａ〜Ｓｄ等は、ＣＰＵ３２からアクチュエータ駆動回路３７を通じて圧電アクチュエータ２５ａ〜２５ｄへ供給される。圧電アクチュエータ２５ａ〜２５ｄは、振動制御信号Ｓａ〜Ｓｄ等に基づいて入力検出手段４５又は表示手段２９を振動するようになされる。これにより、入力検出手段４５又は表示手段２９に触れている操作者の指等に触覚を提示できるようになる。

このようにすると、配信側の情報配信装置８０１から作成指示された触覚提示用の振動波形パターンデータＤｃを当該ゲーム機能付きの携帯電話機４００のＣＰＵ３２で作成することができ、しかも、情報配信装置８０１で触覚提示用の振動波形パターンデータＤｃを作成し、その振動波形パターンデータＤｃを含む触覚情報Ｄ１を当該携帯電話機４００へ配信する場合に比べて、触覚提示用の振動波形パターンデータＤｃを作成指示するための触覚情報Ｄ１のデータ量を軽減することができる。

また、携帯電話機４００のＣＰＵ３２で複数種類の波形パターンデータＤＰ０を組み合わせることによって多種多様の触覚を発生できるようになる。しかも、配信側の情報配信装置８０１より配信される触覚情報Ｄ１の内容の差異によってゲーム機能付きの携帯電話機４００の個々の触覚発生手段４０により発生される触覚の種類を異ならせることができる。

図４４は、第８の実施例に係る振動パターン、入力情報内容、振動条件及び具体的波形例を示す表図である。この例で、ＣＰＵ３２は、押下操作位置における「モグラ」等のキャラクタ操作入力画面で表示及び振動制御を実行するが、摺動接触操作（なで方）によって、そのモグラの表情が変化するようになされる。

図４４に示す表図によれば、ゲーム機能付きの携帯電話機４００において、その記憶手段３５には、例えば、６通りの振動パターンＰ１３，Ｐ２３，Ｐ３３，Ｐ４３，Ｐ５３，Ｐ６３を構築可能な波形パターンデータＤＰ０（素材データ）が予め準備され格納されている。

振動パターンＰ１３は、入力情報内容として「なでられて嬉しい」を表現する場合であって、その摺動接触操作をする際に右欄に示す触覚波形を与える。「なでられて嬉しい」の摺動接触操作では、入力検出面を判定閾値Ｋth以下の移動速度ＨｔでＺ方向に操作体を押下し、その第１の押下判定領域内で検出される加圧力Ｆに応じて、「なでられて嬉しい」の入力が確定される。その際の振動条件は、周波数ｆｘ［Ｈｚ］、振幅Ａｘ［μｍ］及び回数Ｎｘ［回］に関して［ｆｘＡｘＮｘ］＝［５０３０１］である。振動パターンＰ１３は、振動パターンデータＤＰ１３によって与えられる。

振動パターンＰ２３は、入力情報内容として「正常反応（１）」を表現する場合であって、その摺動接触操作をする際に右欄に示す触覚波形を与える。「正常反応（１）」の摺動接触操作では、入力検出面を判定閾値Ｋth以下の移動速度ＨｔでＺ方向に操作体を押下し、第２の押下判定領域内で検出される加圧力Ｆに応じて、「正常反応（１）」を表現する入力が確定される。その際の振動条件は、［ｆｘＡｘＮｘ］＝［２００３０１］、［２５０５４］及び、［４００３０１］である。振動パターンＰ２３は、振動パターンデータＤＰ２３によって与えられる。

振動パターンＰ３３は、入力情報内容として「お、重い・・・」を表現する場合であって、その摺動接触操作をする際に右欄に示す触覚波形を与える。「お、重い・・・」の摺動接触操作では、入力検出面を判定閾値Ｋth以下の移動速度ＨｔでＺ方向に操作体を押下し、第３押下判定閾値を越える加圧力Ｆに応じて、「お、重い・・・」を表現する入力が確定される。その際の振動条件は、［ｆｘＡｘＮｘ］＝［５００１５連続］である。振動パターンＰ３３は、振動パターンデータＤＰ３３によって与えられる。

振動パターンＰ４３は、入力情報内容として「あれ、誰かさわったかな？」を表現する場合であって、その摺動接触操作をする際に右欄に示す触覚波形を与える。「あれ、誰かさわったかな？」の摺動接触操作では、入力検出面を判定閾値Ｋthを越える移動速度ＨｔでＺ方向に操作体を押下し、第１の押下判定領域内で検出される加圧力Ｆに応じて、「あれ、誰かさわったかな？」を表現する入力が確定される。その際の振動条件は、［ｆｘＡｘＮｘ］＝［４００３０１］、［４５０５１］、［５００１０２］、［６００２０４］及び［８００３０８］である。振動パターンＰ４３は、振動パターンデータＤＰ４３によって与えられる。

振動パターンＰ５３は、入力情報内容として「正常反応（２）」を表現する場合であって、その摺動接触操作をする際に右欄に示す触覚波形を与える。「正常反応（２）」の摺動接触操作では、入力検出面を判定閾値Ｋthを越える移動速度ＨｔでＺ方向に操作体を押下し、第２の押下判定領域内で検出される加圧力Ｆに応じて、「正常反応（２）」を表現する入力が確定される。その際の振動条件は、［ｆｘＡｘＮｘ］＝［８０１５４］、［２８０３０４］、空白期間８５ｍｓ（無振動）、［ｆｘＡｘＮｘ］＝［２８０３０４］及び［１６０１５４］である。振動パターンＰ５３は、振動パターンデータＤＰ５３によって与えられる。

振動パターンＰ６３は、入力情報内容として「痛い！」を表現する場合であって、その摺動接触操作をする際に右欄に示す触覚波形を与える。「痛い！」の摺動接触操作では、入力検出面を判定閾値Ｋthを越える移動速度ＨｔでＺ方向に操作体を押下し、第３の押下判定領域内で検出される加圧力Ｆに応じて、「痛い！」を表現する入力が確定される。その際の振動条件は、［ｆｘＡｘＮｘ］＝［１０００３０１］、空白期間３００ｍｓ（無振動）、［ｆｘＡｘＮｘ］＝［２０００３０１］及び空白期間７００ｍｓ（無振動）であって、これらを連続する。振動パターンＰ６３は、振動パターンデータＤＰ６３によって与えられる。

このような振動パターンデータＤＰ１３，ＤＰ２３，ＤＰ３３，ＤＰ４３，ＤＰ５３，ＤＰ６３は、振動作成指示データＤＰＸに基づいて作成され、作成後に記憶手段３５に格納され、これらの振動パターンデータＤＰ１３，ＤＰ２３，Ｐ３３，Ｐ４３，Ｐ５３，Ｐ６３に基づく振動制御信号Ｓａ〜Ｓｆがアクチュエータ駆動回路３７からアクチュエータ２５ａ〜２５ｆに供給される。これにより、「なでなでゲームモード」が選択された場合に、その摺動接触操作（なで方）によって、そのモグラの表情が変化し、しかも、操作者の指３０ａに触覚を与えることができる。

次に、第８の実施例に係る情報処理方法について説明する。図４５〜図５０は、触覚ゲーム情報配信システム８における情報処理例を示すフローチャートである。この実施例において、図４３に示した第１の情報処理系Ｉ（配信側）には、情報配信装置８０１が配置され、第２の情報処理系IIには、触覚ゲーム機能付きの携帯電話機４００が配置される。情報配信装置８０１と携帯電話機４００とは通信手段３００を通じて接続される。この例で、触覚ゲーム情報配信システム８における情報処理に関しては、情報配信処理、振動パターン作成処理及び触覚ゲーム処理の３つに分けて説明する。

［情報配信処理］
図４５は、触覚ゲーム情報配信システム８における情報処理例（情報配信側）を示すフローチャートである。
第１の情報処理系Ｉ（情報配信側）において、図４５に示すフローチャートのステップＮ１１で情報配信装置８０１は画像取得処理を実行する。例えば、情報配信業者側でモグラアニメ画像を作成してゲーム情報Ｄ８を取得し、このゲーム情報Ｄ８を配信要求者に配信しようとする場合に、「なでる」、「お、重い」、「だれか触った」、「痛い！」等の異常反応と正常反応について、触覚提示位置を制御手段１５’に指示するように入力手段２４’が操作される。

入力手段２４’は、画像取得手段３’を操作するための操作データＤ３を制御手段１５’に出力する。制御手段１５’は、操作データＤ３に基づいて画像取得手段３’を制御する。画像取得手段３’は、モグラアニメ画像に関して動画又は静止画を含むゲーム情報Ｄ８等を取得して制御手段１５’や記憶手段３５’等に出力する。このとき、表示手段２９’には、画像取得手段３’によって取得された、ゲーム情報Ｄ８に基づく表示データＤ２によりモグラアニメ画像等の映像が表示される。

その後、ステップＮ１２で制御手段１５’は、動画又は静止画を含むゲーム情報Ｄ８と触覚提示用の触覚情報Ｄ１との対応付け処理を実行する。この対応付け処理では、例えば、制御手段１５’が操作データＤ３に基づいて、モグラアニメ画像の「なでる」、「お、重い」、「だれか触った」、「痛い！」等の異常反応と正常反応について、各々触覚が異なるような振動作成指示データＤＰＸを得られる触覚情報Ｄ１を記憶手段３５’から読み出し、その触覚情報Ｄ１がモグラアニメの動画又は静止画を含むゲーム情報Ｄ８等に付加される。

ゲーム情報Ｄ８に付加される触覚情報Ｄ１には、振動作成指示データＤＰＸの他に、配信要求者の携帯電話機４００を区分するアプリケーション情報等が含まれる。これは、配信要求者の携帯電話機４００に正確に触覚情報Ｄ１を配信するためである。振動作成指示データＤＰＸには、振動波形パターンデータＤｃを形成する周波数ｆｘ、振幅Ａｘ及び振動回数Ｎｘが含まれる。

そして、ステップＮ１３でゲーム情報Ｄ８の配信要求を待機する。このとき、配信要求者の携帯電話機４００では、ＣＰＵ３２が送信部２２を制御して情報配信業者の情報配信装置８０１を呼出し通信回線を接続する。配信側では、配信要求者からゲーム情報Ｄ８の配信要求が有った場合は、ステップＮ１４に移行する。ステップＮ１４で、制御手段１５’は、先に対応付けられた触覚情報Ｄ１＋ゲーム情報Ｄ８を通信手段３００を通じて、携帯電話機４００に符号化して配信する。例えば、制御手段１５’は、通信モデム１９’を制御して先に接続されている通信回線を通じて配信要求者の携帯電話機４００に触覚情報Ｄ１＋ゲーム情報Ｄ８をダウンロードするようになされる。

その後、ステップＮ１５に移行して、制御手段１５’は情報配信処理の終了判別する。この際に、制御手段１５’は、例えば、情報情報配信業者が入力手段２４’を使用して情報配信処理終了を指示する場合は、情報配信処理を終了する。情報情報配信業者が情報配信処理終了を指示しない場合は、ステップ１３に戻って情報配信処理を継続する。これにより、配信要求者の利用に応える形態で触覚情報Ｄ１＋ゲーム情報Ｄ８をダウンロードするようになる。

［振動パターン作成例］
図４６は、携帯電話機４０における振動パターン作成例を示すフローチャートである。
この実施例では、配信要求者は、情報配信業者に触覚情報Ｄ１＋ゲーム情報Ｄ８の配信要求を情報配信業者が配信要求者へ触覚情報Ｄ１＋ゲーム情報Ｄ８を配信する場合を例に挙げる。

これらを情報処理条件にして、ＣＰＵ３２は、図４６に示すフローチャートのステップＱ１で電源オンを待機する。例えば、ＣＰＵ３２は電源オン情報を検出してシステムを起動する。電源オン情報は通常、時計機能等が稼働し、スリーピング状態にある携帯電話機等の電源スイッチをオンされたときに発生する。

そして、ステップＱ２に移行してＣＰＵ３２は、メニュー画面を表示するように表示手段２９を制御する。例えば、ＣＰＵ３２は、表示手段２９に表示データＤ２を供給して表示画面に、メニュー画面を表示する。このメニュー画面には、例えば、「ゲーム情報ダウンロード」モードが含まれる。このメニュー画面に表示された入力情報は、入力検出面を有した入力検出手段４５を通じて目視可能になされる。そして、ステップＱ３に移行してＣＰＵ３２は、「ゲーム情報ダウンロード」モード又はその他の処理モードに基づいて制御を分岐する。

「ゲーム情報ダウンロード」モードが設定された場合、ＣＰＵ３２は、ステップＱ４に移行してアニメゲーム画像情報（単にゲーム情報Ｄ８という）を配信要求するか否かの受け付け処理を実行する。このとき、「モグラなでなでゲーム」を含むゲーム情報Ｄ８をリスト表示するように表示手段２９を制御する。配信要求者は、「モグラなでなでゲーム」等を配信要求する場合は、この表示リスト上で選択するように入力検出手段４５を操作する。ここで配信要求をしない場合や、配信要求をキャンセル等する場合は、ステップＱ１１に移行して他の処理モードを実行する。

配信要求をする場合は、ステップＱ５に移行して、周知の技術に基づいて通信回線「接続」処理を実行する。例えば、携帯電話機４００は、情報配信業者の情報配信装置８０１を発呼し、相手方からの応呼を検出して通信回線を接続する。その後、ステップＱ６でＣＰＵ３２は情報配信装置８０１から触覚情報Ｄ１＋ゲーム情報Ｄ８を入力する。例えば、受信部２１がＣＰＵ３２の制御を受けて、情報配信装置８０１から触覚情報Ｄ１＋ゲーム情報Ｄ８を受信し、これらの情報を一旦記憶装置３５に格納する。

その後、ステップＱ７に移行して、周知の技術に基づいて通信回線「切断」処理を実行する。そして、ステップＱ８に移行して振動パターンデータを作成するか否かを判別する。この際に、配信要求者は、振動パターンデータの作成有無をＣＰＵ３２に指示する。振動パターンデータの作成指示は、操作データＤ３となってＣＰＵ３２に出力される。ＣＰＵ３２は、操作データＤ３に基づいて振動パターンデータの作成有無を判別する。振動パターンデータの作成指示が無い場合は、ステップＱ１１に移行して他の処理モードを実行する。他の処理モードには、電話モードや電子メールモード等が含まれる。

配信要求者から振動パターンデータの作成指示が有った場合は、ステップＱ９に移行してＣＰＵ３２は、振動パターンデータ作成を実行する。例えば、触覚情報Ｄ１＋ゲーム情報Ｄ８を復号化処理する。復号化後の触覚情報Ｄ１＋ゲーム情報Ｄ８は、ＣＰＵ３２でデコード処理される。このデコード処理でＣＰＵ３２は、振動作成指示データＤＰＸを取得する。ＣＰＵ３２は、デコード処理して得た振動作成指示データＤＰＸに基づいて記憶手段３５から１又は複数種類の波形パターンデータＤＰ０を読み出し、この波形パターンデータＤＰ０を合成して振動波形パターンデータＤｃを作成するような制御を実行する。

図４４に示した例では、周波数ｆｘ［Ｈｚ］、振幅Ａｘ［μｍ］及び回数Ｎｘ［回］に関して、振動作成指示データＤＰＸ＝［ｆｘＡｘＮｘ］＝［５０３０１］に基づいて振動パターンデータＤＰ１３が作成される。この振動パターンデータＤＰ１３は、「なでられて嬉しい」を表現する際の振動パターン１３である。同様にして、振動作成指示データＤＰＸ＝［ｆｘＡｘＮｘ］＝［２００３０１］、［２５０５４］及び、［４００３０１］に基づいて振動パターンデータＤＰ２３が作成される。この振動パターンデータＤＰ２３は、「正常反応（１）」を表現する際の振動パターンＰ２３である。

振動作成指示データＤＰＸ＝［ｆｘＡｘＮｘ］＝［５００１５連続］に基づいて振動パターンデータＤＰ３３が作成される。この振動パターンデータＤＰ３３は、「お、重い・・・」を表現する際の振動パターンＰ３３である。振動作成指示データＤＰＸ＝［ｆｘＡｘＮｘ］＝［４００３０１］、［４５０５１］、［５００１０２］、［６００２０４］及び［８００３０８］に基づいて振動パターンデータＤＰ４３が作成される。この振動パターンデータＤＰ４３は、「あれ、誰かさわったかな？」を表現する際の振動パターンＰ４３である。

振動作成指示データＤＰＸ＝［ｆｘＡｘＮｘ］＝［８０１５４］、［２８０３０４］、空白期間８５ｍｓ（無振動）、［ｆｘＡｘＮｘ］＝［２８０３０４］及び［１６０１５４］に基づいて振動パターンデータＤＰ５３が作成される。振動パターンデータＤＰ５３は「正常反応（２）」を表現する際の振動パターンＰ５３である。振動作成指示データＤＰＸ＝［ｆｘＡｘＮｘ］＝［１０００３０１］、空白期間３００ｍｓ（無振動）、［ｆｘＡｘＮｘ］＝［２０００３０１］及び空白期間７００ｍｓ（無振動）に基づいて振動パターンデータＤＰ６３が作成される。振動パターンデータＤＰ６３は「痛い！」を表現する際の振動パターンＰ６３である。

このように作成された振動パターンデータＤＰ１３、ＤＰ２３、ＤＰ３３、ＤＰ４３、ＤＰ５３、ＤＰ６３は、ステップＱ１０でＣＰＵ３２が記憶手段３５に格納するようになされる。これは、画像触覚モードが選択された場合に備えるためである。

上述のステップＱ１０で振動パターンデータＤＰ１３、ＤＰ２３、ＤＰ３３、ＤＰ４３、ＤＰ５３、ＤＰ６３を記憶手段３５に格納した場合及びステップＱ１１で他の処理モードを実行した場合は、ステップＱ１２に移行する。ステップＱ１２では終了判別をする。例えば、ＣＰＵ３２は、電源オフ情報を検出して振動パターンデータ作成処理を終了する。電源オフ情報が検出されない場合は、ステップＱ２に戻って、メニュー等のアイコン画面を表示し、上述した処理を繰り返すようになされる。

［触覚ゲーム処理］
図４７〜図５０は、触覚ゲーム機能付きの携帯電話機４００の情報処理例（その１〜４）を示すフローチャートである。
この実施例の携帯電話機４００では、予め他の処理モード又は”なでなでゲームモード”（画像触覚モード）のいずれかの動作モードの設定処理がなされる場合を前提とする。また、携帯電話機４００で、モグラアニメ画像の所定部位への接触を検出したとき、そのゲーム情報Ｄ８に対応付けられた触覚情報Ｄ１に基づいて操作者の指等に触覚を提示する場合を例に挙げる。なお、携帯電話機４００の動作例については、先に説明した図１０を参照する。

この例では、キャラクタ操作入力画面（入力検出面）のＸ方向及びＹ方向に、操作者の指３０ａを摺動する場合であって、入力検出面における操作者の指３０ａの移動速度を検出すると共に、押下位置のＺ方向の加圧力Ｆを検出し、操作者の指３０ａの移動速度及び押下位置の加圧力Ｆに基づいて入力検出面を振動及び入力情報を表示制御する場合を例に挙げる。

例えば、ＣＰＵ３２は、入力検出手段４５から前回の検出によって得られた入力検出情報（入力量）Ｄ１２と今回の検出によって得られた入力検出情報Ｄ１２との差分を演算し、この差分に基づいて圧電アクチュエータ２５ａ〜２５ｄ及び表示手段２９の出力を制御する。図１０に示した入力検出手段４５は、入力手段２４及び力検出手段５５ａ〜５５ｄから構成されることは前述した通りである。入力手段２４は、操作者の指３０ａのＸ方向及びＹ方向への移動量を測定する。この例で、指３０ａのＸＹ方向における入力位置をｘ，ｙとし、ある時刻からＸ方向及びＹ方向への指３０ａの移動量の総和をそれぞれΣｘ、Σｙとすると、入力手段２４は、Σｘ、Σｙを検出する。

また、前記のサンプリングの際に検出された指３０ａのＺ方向への押圧力をＺｆ［ｇｆ］とし、さらに、今回のサンプリングの際に検出されるＺ方向への押圧力をＺｆ’とする。この例では、指３０ａのＺ方向への押圧力Ｚｆは押下判定領域が設定されており、押圧力Ｚｆに対応する押下判定領域の値をＦとし、Ｚｆ’に対応する押下判定領域の値をＦ’とする。

このＺ方向への力関係において、入力手段２４が、Ｚ方向の入力を検出することができる最小の押圧力をα［ｇｆ］とする。また、入力手段２４は、指３０ａの横（Ｘ）移動及びその縦（Ｙ）移動を検出するが、そのＸ及びＹ移動における移動量の合計をＨとすると、移動量Ｈは、Ｈ＝（Σｘ＋Σｙ）／２である。

この移動量Ｈには誤動作防止のために閾値が設定され、その閾値をＪthとする。また、単位時間当たりの移動量をＨｔとする。なお、触覚区別のために、単位時間当たりの移動量Ｈｔには閾値が設定されており、それをＫthとする。

更にまた、力検出手段５５ａ〜５５ｄには、３段階の押下判定閾値が設定されている。それぞれの押下判定閾値は、α＝Ｆth１、Ａ＝Ｆth２、Ｂ＝Ｆth３［ｇｆ］であり、これらの３つの押下判定閾値α、Ａ、Ｂの間には、α＜Ａ＜Ｂなる関係に設定される。これらの３つの押下判定閾値α、Ａ、Ｂの関係は、Ａ＜α＜Ｂであってもよい。

力検出手段５５ａ〜５５ｄには、３つの押下判定閾値α、Ａ、Ｂを運用する３つの押下判定領域が設定され、それぞれを第１〜第３判定領域とし、これらの第１〜第３判定領域は値を持ち、次のような値に設定する。第１判定領域では、その判定条件が、α＜Ｚｆ＜Ａでその値（Ｆ）が「１」である。第２判定領域ではその判定条件が、Ａ＜Ｚｆ＜Ｂでその値（Ｆ）が「２」である。第３判定領域ではその判定条件が、Ｚｆ＞Ｂでその値（Ｆ）が「３」である。

このように入力装置９０（図７参照）を構成すると、操作者の指３０ａの摺動接触操作を停止した位置におけるＺ方向（奥行）の入力検出情報Ｄ１２に基づいて、三次元表示された文字情報を触覚を伴って入力することができる。ユニークな「なでなでゲーム」モード等のゲーム機能を実現できるようになる。

これらを情報処理条件にして、ＣＰＵ３２は、図４７に示すフローチャートのステップＳＴ１で電源オンを待機する。ＣＰＵ３２は電源オン情報を検出してシステムを起動する。電源オン情報は通常、時計機能等が稼働し、スリーピング状態にある携帯電話機の電源スイッチをオンされたときに発生する。

そして、ステップＳＴ２に移行してＣＰＵ３２は、メニュー画面を表示するように表示手段２９を制御する。例えば、ＣＰＵ３２は、表示手段２９に表示データＤ２を供給して表示画面に、メニュー画面を表示する。このメニュー画面には”なでなでゲームモード”が含まれる。このメニュー画面に表示された入力情報は、入力検出面を有した入力検出手段４５を通じて目視可能になされる。そして、ステップＳＴ３に移行してＣＰＵ３２は、”なでなでゲームモード”又はその他の処理モードに基づいて制御を分岐する。動作モードは、ゲーム機能付きの携帯電話機４００の操作者により入力検出手段４５が操作されてＣＰＵ３２に設定される。

”なでなでゲームモード”が設定された場合、ＣＰＵ３２は、ステップＳＴ４に移行して、先に受信したゲーム情報Ｄ８に基づいてモグラアニメ画像を表示し、「なでなでゲーム」画面を表示するように表示手段２９を制御する。例えば、表示手段２９は、情報配信業者の情報配信装置８０１から送られてきたゲーム情報Ｄ８に基づく表示信号Ｓｖによりモグラアニメ画像等を表示する。表示手段２９は図４３に示したような土中から顔を出しているモグラ等のキャラクタ操作入力画面を表示する。

そして、ステップＳＴ５に移行してＣＰＵ３２は、表示手段２９に表示されているモグラアニメ画像に対応する触覚の提示要求を受け付ける。このとき、触覚機能付きの入力検出手段４５は、受信画像の所定部位への操作者の指３０ａ等の接触を検出して、表示手段２９に表示されたモグラアニメ画像に対応する触覚の提示要求を受け付けるように操作される。

例えば、指３０ａのＺ方向への押圧力Ｚｆと、入力手段２４における最小の押圧力αとに関して、第１判定閾値αを越える押圧力Ｚｆ（Ｚｆ＞α）、かつ、指３０ａのＸ，Ｙ方向への移動量Ｈに関して、閾値Ｊthを越える移動量Ｈ（Ｈ＞Ｊth）が検出されたか否かを判別する。この閾値Ｊthは、移動量Ｈの誤動作防止のために設定される。入力手段２４では、操作者の指３０ａのＸ方向及びＹ方向への移動量が測定される。

この例で、指３０ａのＸＹ方向における入力位置をｘ，ｙとし、ある時刻からＸ方向及びＹ方向への指３０ａの移動量の総和をそれぞれΣｘ、Σｙとすると、入力手段２４は、Σｘ、Σｙを検出する。指３０ａのＸ方向への移動及びそのＹ方向への移動における合計の移動量Ｈは、Ｈ＝（Σｘ＋Σｙ）１／２で与えられる。

この移動量Ｈは入力手段２４から出力される位置検出信号Ｓ１１をＡ／Ｄドライバ３１によりＡ／Ｄ変換し、そのＡ／Ｄ変換後の位置検出情報Ｄ１１によって得られる。押圧力Ｚｆは力検出手段５５ａ〜５５ｄから出力される入力検出信号Ｓ１２をＡ／Ｄドライバ３１によりＡ／Ｄ変換し、そのＡ／Ｄ変換後の入力検出情報Ｄ１２によって得られる。

指３０ａのＺ方向への押圧力Ｚｆと、入力手段２４における最小の押圧力αとに関して、Ｚ＞αとならない場合、かつ、指３０ａのＸ，Ｙ方向への移動量Ｈ及びその閾値Ｊthに関して、Ｈ＞Ｊthとならない場合は、入力手段２４における移動量４及び力検出手段５５ａ〜５５ｄにおける押圧力Ｚｆの監視を継続する。

上述のステップＳＴ５で、Ｚ＞αかつＨ＞Ｊthとなった場合は、ステップＳＴ６に移行して、ＣＰＵ３２は、単位時間当たりの移動量（移動速度）Ｈｔを演算処理する。移動量Ｈｔは移動時間をＴとすると、Ｈｔ＝Ｈ／Ｔで与えられる。触覚区別のために、単位時間当たりの移動量Ｈｔには閾値Ｋthが設定される。

そして、ＣＰＵ３２は、ステップＳＴ７に移行して単位時間当たりの移動量Ｈｔと、その判定閾値Ｋthに関して、判定閾値Ｋthを越える移動量Ｈｔ（Ｈｔ＞Ｋth）が検出されたか否かを判別する。Ｈｔ＞Ｋthとなる場合は、図４７に示すステップＳＴ８に移行してＣＰＵ３２は、前回のサンプリングの際に検出された指３０ａのＺ方向への押圧力Ｚｆ［ｇｆ］と、今回のサンプリングの際に検出されるＺ方向への押圧力Ｚｆ’に関して、｜Ｆ’−Ｆ｜を演算する。

この例でＦは、前回のサンプリング時の押圧力Ｚｆに対応する押下判定領域の値である。Ｆ’は、今回のサンプリング時の押圧力Ｚｆ’に対応する押下判定領域の値である。例えば、第１判定領域では、その判定条件が、α＜Ｚｆ＜Ａでその値（Ｆ）が「１」である。ここで、前回の押下判定領域の値Ｆを「１」とし、今回の押下判定領域の値Ｆ’を「１」とすると、｜Ｆ’−Ｆ｜の演算結果は「０」となる。

そして、ステップＳＴ９に移行して、上述の演算結果が｜Ｆ’−Ｆ｜＝０となるかを検出する。この演算結果が｜Ｆ’−Ｆ｜＝０となる場合、つまり、触覚提示要求を受け付けた場合、ＣＰＵ３２は、そのゲーム情報Ｄ８に対応付けられた触覚情報Ｄ１に基づいて操作者の指３０ａ等に触覚を提示するように触覚提示制御を実行する。この例では、ステップＳＴ１０に移行して、振動パターンＰ１３を発振する。入力情報内容は「なでられて嬉しい」である。

ここでＣＰＵ３２は、合成後の振動波形パターンデータＤＰ１３をデジタル・アナログ変換して振動制御信号Ｓａ〜Ｓｄ等を作成する。振動制御信号Ｓａ〜Ｓｄ等は、ＣＰＵ３２から触覚発生手段４０を構成する圧電アクチュエータ２５ａ〜２５ｄ等へ供給される。圧電アクチュエータ２５ａ〜２５ｄは、振動制御信号Ｓａ〜Ｓｄ等に基づいて入力検出手段４５又は表示手段２９を振動するようになされる。これにより、入力検出手段４５又は表示手段２９に触れている操作者の指等に触覚を提示できるようになる。その後、ステップＳＴ１１に移行してＸ，Ｙの移動量検出をリセットする。

そして、図５０に示すステップＳＴ２８に移行して、ＣＰＵ３２は、「なでなでゲーム」終了か否かを判別する。「なでなでゲーム」終了か否かは、例えば、図示しないゲーム終了ボタンの押下を検出することで識別される。ゲーム処理を終了する場合は、ステップＳＴ３０に移行するが、ゲーム処理を終了しない場合は、図４７に示したステップＳＴ５に戻る。その後、ステップＳＴ６〜ＳＴ９の処理を実行する。

上述のステップＳＴ９で演算結果が、｜Ｆ’−Ｆ｜＝０とならない場合は、ステップＳＴ１２に移行して、上述の演算結果が、｜Ｆ’−Ｆ｜＝１となるかを検出する。例えば、第２判定領域では、その判定条件が、Ａ＜Ｚｆ＜Ｂでその値（Ｆ）が「２」である。ここで、前回の押下判定領域の値Ｆを「１」とし、今回の押下判定領域の値Ｆ’を「２」とすると、｜Ｆ’−Ｆ｜の演算結果は「１」となる。

従って、演算結果が｜Ｆ’−Ｆ｜＝１となる場合は、ステップＳＴ１３に移行して振動パターンＰ２３を発振する。入力情報内容は「正常反応（１）」である。ここでＣＰＵ３２は、合成後の振動波形パターンデータＤＰ２３をデジタル・アナログ変換して振動制御信号Ｓａ〜Ｓｄ等を作成する。振動制御信号Ｓａ〜Ｓｄ等は、ＣＰＵ３２から触覚発生手段４０を構成する圧電アクチュエータ２５ａ〜２５ｄ等へ供給される。圧電アクチュエータ２５ａ〜２５ｄは、振動制御信号Ｓａ〜Ｓｄ等に基づいて入力検出手段４５又は表示手段２９を振動するようになされる。これにより、入力検出手段４５又は表示手段２９に触れている操作者の指等に触覚を提示できるようになる。その後、ステップＳＴ１４に移行してＸ，Ｙの移動量検出をリセットする。そして、ステップＳＴ２８に移行して、ゲーム処理を終了していない場合、ＣＰＵ３２はステップＳＴ５に戻り、その後、ステップＳＴ６〜ＳＴ９を経由してステップＳＴ１２に移行する。

このステップＳＴ１２で上述の演算結果が、｜Ｆ’−Ｆ｜＝１とならない場合は、ステップＳＴ１５に移行して、上述の演算結果が｜Ｆ’−Ｆ｜＝２となるかを検出する。例えば、第３判定領域では、その判定条件が、Ｚｆ＞Ｂでその値（Ｆ）が「３」である。ここで、前回の押下判定領域の値Ｆを「１」とし、今回の押下判定領域の値Ｆ’を「３」とすると、｜Ｆ’−Ｆ｜の演算結果は「２」となる。

従って、演算結果が｜Ｆ’−Ｆ｜＝２となる場合は、ステップＳＴ１６に移行して振動パターンＰ３３を発振する。ここでＣＰＵ３２は、合成後の振動波形パターンデータＤＰ３３をデジタル・アナログ変換して振動制御信号Ｓａ〜Ｓｄ等を作成する。振動制御信号Ｓａ〜Ｓｄ等は、ＣＰＵ３２から触覚発生手段４０を構成する圧電アクチュエータ２５ａ〜２５ｄ等へ供給される。圧電アクチュエータ２５ａ〜２５ｄは、振動制御信号Ｓａ〜Ｓｄ等に基づいて入力検出手段４５又は表示手段２９を振動するようになされる。

これにより、入力検出手段４５又は表示手段２９に触れている操作者の指等に触覚を提示できるようになる。入力情報内容は、「お、重い・・・」である。その後、ステップＳＴ１６に移行してＸ，Ｙの移動量検出をリセットする。そして、ステップＳＴ２８に移行して、ゲーム処理を終了していない場合、ＣＰＵ３２はステップＳＴ５に戻り、その後、ステップＳＴ６〜ＳＴ９及びＳＴ１２を経由してステップＳＴ１５に移行する。

このステップＳＴ１５で上述の演算結果が、｜Ｆ’−Ｆ｜＝２とならない場合は、ステップＳＴ１６をパスしてＸ，Ｙの移動量検出をリセットする。そして、ステップＳＴ２８に移行して、ゲーム処理を終了していない場合、ＣＰＵ３２はステップＳＴ５に戻り、その後、ステップＳＴ６を経由してステップＳＴ７に移行する。

このステップＳＴ７で単位時間当たりの移動量Ｈｔと、その判定閾値Ｋthに関して、移動量Ｈｔが判定閾値Ｋth以下（Ｈｔ≦Ｋth）となる場合は、図４９に示すステップＳＴ１８に移行してＣＰＵ３２は、前回のサンプリングの際に検出された指３０ａのＺ方向への押圧力Ｚｆ［ｇｆ］と、今回のサンプリングの際に検出されるＺ方向への押圧力Ｚｆ’に関して、｜Ｆ’−Ｆ｜を演算して、｜Ｆ’−Ｆ｜＝０となるかを検出する。

従って、演算結果で｜Ｆ’−Ｆ｜＝０となる場合は、ステップＳＴ２０に移行して、振動パターンＰ４３を発振する。ここでＣＰＵ３２は、合成後の振動波形パターンデータＤＰ４３をデジタル・アナログ変換して振動制御信号Ｓａ〜Ｓｄ等を作成する。振動制御信号Ｓａ〜Ｓｄ等は、ＣＰＵ３２から触覚発生手段４０を構成する圧電アクチュエータ２５ａ〜２５ｄ等へ供給される。圧電アクチュエータ２５ａ〜２５ｄは、振動制御信号Ｓａ〜Ｓｄ等に基づいて入力検出手段４５又は表示手段２９を振動するようになされる。

これにより、入力検出手段４５又は表示手段２９に触れている操作者の指等に触覚を提示できるようになる。入力情報内容は、「あれ、誰かさわったかな？」である。その後、ステップＳＴ９に移行してＸ，Ｙの移動量検出をリセットする。そして、図５０に示すステップＳＴ２８に移行して、ゲーム処理を終了していない場合、ＣＰＵ３２はステップＳＴ５に戻り、その後、ステップＳＴ６、ＳＴ７、ステップＳＴ１８を経由してステップＳＴ１９に移行する。

ステップＳＴ１９で｜Ｆ’−Ｆ｜＝０とならない場合は、ステップＳＴ２２に移行して、上述の演算結果が、｜Ｆ’−Ｆ｜＝１となるかを検出する。例えば、第２判定領域では、その判定条件が、Ａ＜Ｚｆ＜Ｂでその値（Ｆ）が「２」である。ここで、前回の押下判定領域の値Ｆを「１」とし、今回の押下判定領域の値Ｆ’を「２」とすると、｜Ｆ’−Ｆ｜の演算結果は「１」となる
従って、演算結果が｜Ｆ’−Ｆ｜＝１となる場合は、ステップＳＴ２３に移行して振動パターンＰ５３を発振する。ここでＣＰＵ３２は、合成後の振動波形パターンデータＤＰ５３をデジタル・アナログ変換して振動制御信号Ｓａ〜Ｓｄ等を作成する。振動制御信号Ｓａ〜Ｓｄ等は、ＣＰＵ３２から触覚発生手段４０を構成する圧電アクチュエータ２５ａ〜２５ｄ等へ供給される。圧電アクチュエータ２５ａ〜２５ｄは、振動制御信号Ｓａ〜Ｓｄ等に基づいて入力検出手段４５又は表示手段２９を振動するようになされる。

これにより、入力検出手段４５又は表示手段２９に触れている操作者の指等に触覚を提示できるようになる。入力情報内容は、「正常反応（２）」である。その後、ステップＳＴ２４に移行してＸ，Ｙの移動量検出をリセットする。そして、ステップＳＴ２８に移行して、ゲーム処理を終了していない場合、ＣＰＵ３２はステップＳＴ５に戻り、その後、ステップＳＴ６、ＳＴ７、ＳＴ１８、ＳＴ１９を経由してステップＳＴ２２に移行する。

このステップＳＴ２２で上述の演算結果が、｜Ｆ’−Ｆ｜＝１とならない場合は、ステップＳＴ２５に移行して、上述の演算結果が｜Ｆ’−Ｆ｜＝２となるかを検出する。例えば、第３判定領域では、その判定条件が、Ｚｆ＞Ｂでその値（Ｆ）が「３」である。ここで、前回の押下判定領域の値Ｆを「１」とし、今回の押下判定領域の値Ｆ’を「３」とすると、｜Ｆ’−Ｆ｜の演算結果は「２」となる。

従って、演算結果が｜Ｆ’−Ｆ｜＝２となる場合は、ステップＳＴ２６に移行して振動パターンＰ６３を発振する。ここでＣＰＵ３２は、合成後の振動波形パターンデータＤＰ６３をデジタル・アナログ変換して振動制御信号Ｓａ〜Ｓｄ等を作成する。振動制御信号Ｓａ〜Ｓｄ等は、ＣＰＵ３２から触覚発生手段４０を構成する圧電アクチュエータ２５ａ〜２５ｄ等へ供給される。圧電アクチュエータ２５ａ〜２５ｄは、振動制御信号Ｓａ〜Ｓｄ等に基づいて入力検出手段４５又は表示手段２９を振動するようになされる。

これにより、入力検出手段４５又は表示手段２９に触れている操作者の指等に触覚を提示できるようになる。入力情報内容は、「お、痛い！」である。その後、ステップＳＴ２７に移行してＸ，Ｙの移動量検出をリセットする。そして、ステップＳＴ２８に移行して、ゲーム処理を終了していない場合、ＣＰＵ３２はステップＳＴ５に戻り、その後、ステップＳＴ６、ＳＴ７、ＳＴ１８、ＳＴ１９及びステップＳＴ２２を経由してステップＳＴ２５に移行する。

このステップＳＴ２５で上述の演算結果が、｜Ｆ’−Ｆ｜＝２とならない場合は、ステップＳＴ２６をパスしてＸ，Ｙの移動量検出をリセットする。そして、ステップＳＴ２８に移行して、ゲーム処理の終了を判別する。ゲーム処理の終了によりステップＳＴ３０に移行する。

なお、上述のステップＳＴ３で他の処理モードが選択された場合は、ステップＳＴ２９に移行して他の処理モードを実行する。他の処理モードには、触覚提示処理を伴わない画像表示処理や、電話モード、電子メールモード等が含まれる。電話モード及び電子メールモードには、相手方に電話又はメールを発信する操作が含まれる。他の処理モードを実行した後は、ステップＳＴ３０に移行する。ステップＳＴ３０でＣＰＵ３２は、電源オフ情報を検出して情報処理を終了する。電源オフ情報が検出されない場合は、ステップＳＴ２に戻って、メニュー等のアイコン画面を表示し、上述した処理を繰り返すようになされる。

このように、第８の実施例に係る触覚ゲーム情報配信システム８によれば、配信側の情報配信装置８０１と、触覚ゲーム機能付きの携帯電話機４００とが通信手段３００を通じて接続される。情報配信装置８０１は、動画又は及び静止画を含むゲーム情報Ｄ８と触覚提示用の触覚情報Ｄ１とを対応付けて配信処理する。これを前提にして、携帯電話機４００は、情報配信装置８０１から触覚情報Ｄ１＋ゲーム情報Ｄ８を受信し、当該ゲーム情報Ｄ８に基づいてモグラアニメ画像等を表示すると共に、そのアニメ画像に対応する触覚の提示要求を受け付ける。携帯電話機４００は、触覚の提示要求を受け付けたとき、ゲーム情報Ｄ８に対応付けられた触覚情報Ｄ１に基づいて操作者の指３０ａ等に触覚を提示するように触覚発生手段４０を制御するようになされる。

従って、触覚ゲーム機能付きの携帯電話機４００の操作者等に対してモグラアニメ画像を視るという視覚に加えて、受信画像に対応付けられた触覚を再現性良く提示できるようになる。これにより、情報配信業者側で配信アニメ画像の所定部位に対応付けた触覚をゲーム機能付きの携帯電話機４００で体験できるような情報処理システムを構築することができる。このような情報処理システムは既存の有線又は及び無線方式の公衆電話回線網等を利用した触覚ゲーム情報配信システムに十分応用できる。

しかも、配信側の情報配信装置８０１から受信側の携帯電話機４００へ振動作成指示データＤＰＸを符号化して配信しているので、振動波形パターンデータＤＰ１３、ＤＰ１３、ＤＰ２３、ＤＰ３３，ＤＰ４３、ＤＰ５３、ＤＰ６３を情報配信装置８０１から携帯電話機４００へ直接配信する場合に比べて配信情報量を少なくすることができる。

図５１は第９の実施例としての触覚地図情報配信システム９の構成例を示す概念図である。
図１に示す触覚地図情報配信システム９は、物理空間に情報を配置し、地図情報に対応付けられた触覚提示用の触覚情報Ｄ１を処理するシステムである。触覚地図情報配信システム９は、これらの地図情報に結合された触覚提示用の触覚情報Ｄ１を処理するパーソナルコンピュータ（以下単にパソコンという）や、携帯電話機、カーナビゲーションシステム、デジタル腕時計、情報携帯端末装置等、また、これらを応用した通信システムに適用して好適である。地図情報には、一般家庭用のデジタルカメラや、業務用の放送局向けカメラ等で土地や建物等の航空撮影した映像や、パソコンにより作成したＣＡＤデータ等を含んでいる。

触覚地図情報配信システム９では、既存の通信手段（通信基盤）３００が応用される。通信手段３００には、有線通信手段及び無線通信手段が含まれる。例えば、無線で触覚地図情報を配信する基地局が配置される。基地局は送信アンテナ９０２を有しており、この送信アンテナ９０２には情報配信装置が接続される。送信アンテナ９０２の周辺一体は、無線通信可能な範囲（情報サービスエリア）と、無線電波が届かない非通信範囲とに分かれている。

この無線通信可能な範囲内に、携帯電話機等の無線機器を所持した情報利用者が立ち入ったとき、情報配信装置が情報利用者の携帯電話機等に触覚地図情報を配信するようになされる。もちろん、情報利用者は、携帯電話機等において、触覚地図情報モードを予め選択し、当該モードを設定している必要がある。触覚地図情報モードとは、情報サービスエリア内において、商店街や、映画館等の地図画像情報Ｄ９及びそれに付加された触覚情報Ｄ１を配信する動作をいう。この例でも、携帯電話機には、第４の実施例で説明した携帯電話機４００が応用される。

この触覚地図情報配信システム９で、情報処理装置＃１ｉの一例となる情報配信装置９０１が送信アンテナ９０２等の通信手段３００に接続され、地図情報Ｄ９と触覚提示用の触覚情報Ｄ１とを対応付けて情報利用者の携帯電話機４００へ送信処理するようになされる。情報配信装置９０１は、例えば、画像取得手段３’、制御手段１５’、通信モデム１９’、入力手段２４’、表示手段２９’、記憶手段３５’及び音声入出力手段５４’を備えて構成される。

入力手段２４’は、画像取得手段３’を操作するための操作データＤ３を入力したり、モード設定時、触覚地図情報配信モードを設定するように操作される。例えば、情報サービスエリア内を航空撮影して地図情報Ｄ９を取得し、相手方に送信しようとする場合に、商店街、映画館、最寄りの交番、レストラン、駅、バス停等について、触覚提示位置を制御手段１５’に指示するように操作される。

画像取得手段３’は、情報サービスエリア内の道路、橋、線路、建物の画像を取得して地図情報Ｄ９を出力する。例えば、航空撮影して得た地図情報Ｄ９と、情報配信業者が情報サービスしようとする提供位置を地図情報Ｄ９上にプロットし、情報利用者に配信しようとする場合に、情報サービスエリア内の道路、橋、線路、建物の画像に、商店街、映画館、最寄りの交番、レストラン、駅、バス停等を合成して、地図画像に係る地図情報Ｄ９を取得する。音声入出力手段５４’は、情報案内者の音声を入力したり、情報案内者の音声を確認する際に使用される。音声入出力手段５４’には音声入出力処理回路や、スピーカー、マイクロフォン等が使用される。

記憶手段３５’には、情報利用者の携帯電話機４００に指示するための触覚情報Ｄ１が格納される。触覚情報Ｄ１には、受信側で波形パターンデータＤＰ０を記憶手段３５から読み出して振動制御信号Ｓａ等を作成する旨を指示するための振動作成指示データＤＰＸが含まれている。波形パターンデータＤＰ０は、振動波形パターンデータＤｃの素材データである。触覚情報Ｄ１には、振動作成指示データＤＰＸの他に、情報利用者の携帯電話機４００を区分するアプリケーション情報等が含まれている。

振動作成指示データＤＰＸには、振動波形パターンデータＤｃを形成する周波数ｆｘ、振幅Ａｘ及び振動回数Ｎｘが含まれる。これは、受信側の携帯電話機４００＃２ｊで周波数ｆｘ、振幅Ａｘ及び振動回数Ｎｘに基づいて振動制御信号Ｓａ等を作成するためである。記憶手段３５’には、触覚情報Ｄ１の他に画像取得手段３’によって取得された、情報サービスエリア内の地図情報Ｄ９が格納される。

表示手段２９’は、画像取得手段３’によって取得された、例えば、情報サービスエリア内の地図情報Ｄ９に基づく表示データＤ２により、情報サービスエリア内の道路、橋、線路、建物、商店街、映画館、最寄りの交番、レストラン、駅、バス停等の映像を表示するようになされる。これは、情報サービスエリア内の地図情報Ｄ９に変更が生じたとき、これを情報配信者側で確認するためである。

制御手段１５’は、画像取得手段３’、通信モデム１９’、入力手段２４’、表示手段２９’、記憶手段３５’及び音声入出力手段５４’の入出力を制御する。例えば、制御手段１５’は、画像取得手段３’を制御して情報サービスエリア内の地図情報Ｄ９等の画像取得処理を実行し、その後、地図情報Ｄ９と触覚情報Ｄ１とを対応付ける。

対応付け処理は、例えば、情報サービスエリア内の道路、橋、線路、建物にプロットされた、商店街、映画館、最寄りの交番、レストラン、駅、バス停について、各々触覚が異なるような振動作成指示データＤＰＸが得られる触覚情報Ｄ１が情報サービスエリア内の地図情報Ｄ９等に付加される。この付加後の情報を「触覚情報Ｄ１＋地図情報Ｄ９」と記述する。そして、制御手段１５’は、情報利用者の携帯電話機４００に触覚情報Ｄ１＋地図情報Ｄ９を符号化して送信する処理を実行する。

通信モデム１９’は、有線通信手段又は無線通信手段等の通信回線、送信アンテナ９０２を接続して情報利用者と通信処理を実行する。例えば、通信モデム１９’は、制御手段１５’によって符号化処理された触覚情報Ｄ１＋地図情報Ｄ９を情報利用者の携帯電話機４００に配信する。もちろん、情報利用者の携帯電話機４００において、予め触覚地図情報配信モードが設定されており、当該情報サービスエリア内に、携帯電話機４００を所持した情報利用者が立ち入ったときに、その情報利用者の携帯電話機４００に触覚地図情報を配信するようになされる。

触覚地図情報配信システム９でその受信側には、携帯電話機４００が配置される。携帯電話機４００は、送信側の情報配信装置９０１に対して基地局の送信アンテナ９０２等の通信手段３００を通じて接続可能な無線通信装置である。無線通信装置は携帯電話機４００の他に、触覚入力機能付きのノート型のパソコン、カーナビゲーションシステム、デジタル腕時計、情報携帯端末装置が使用され、これらは通信手段３００に接続され、触覚情報Ｄ１＋地図情報Ｄ９を受信し、当該地図情報Ｄ９に基づいて地図画像を表示すると共に、当該地図画像に対応する触覚提示要求を受け付け、その提示要求に基づいて触覚を提示するようになされる。

例えば、携帯電話機４００は、受信部２１、表示手段２９、ＣＰＵ３２、記憶手段３５、触覚発生手段４０、映像＆音声処理部４４及び触覚機能付きの入力検出手段４５を備えて構成される（図１０参照）。この例で、受信部２１は、情報配信業者の情報配信装置９０１から触覚情報Ｄ１＋地図情報Ｄ９を受信して復号化処理する。

表示手段２９には、受信部２１より受信した地図情報Ｄ９に基づいて地図画像を表示する。例えば、情報配信業者の情報配信装置９０１から送られてきた地図情報Ｄ９に基づく表示データＤ２により情報サービスエリア内の地図画像等を表示するようになされる。情報サービスエリアが渋谷駅周辺であるとすると、渋谷ハチ公前の道路、商店街等の地図画像が表示される。商店街を表示する領域に、その店の所在を示すプロットや、「おいしいランチはここ！」等の宣伝メッセージを表示するとよい。

触覚機能付きの入力検出手段４５は、情報サービスエリア内の地図画像の所定部位への接触を検出して、表示手段２９に表示されたそのエリア内の地図画像に対応する触覚の提示要求を受け付けるように操作される。上述の例で、情報利用者の指等が「おいしいランチはここ！」の店表示領域上を触れるとその接触位置を検出するようになされる。入力検出手段４５には、タッチパネルやシートセンサ、力検出センサ、圧電アクチュエータ２５ａ〜２５ｄ等が使用される。タッチパネルやシートセンサ等は、情報利用者の指３０ａの接触位置を検出するように使用される。

力検出センサは、情報利用者の指の押下力を検出するように使用される。圧電アクチュエータ２５ａ〜２５ｄは触覚発生手段４０を構成し、触覚情報Ｄ１に基づいて発生された振動制御信号Ｓａ〜Ｓｄ等より振動を発生し、情報利用者の指３０ａ等に触覚を提示するように使用される。

この携帯電話機４００では、情報サービスエリア内の地図画像に対応する触覚の提示要求を受け付けたとき、触覚発生手段４０を制御するようになされる。例えば、ＣＰＵ３２は、入力検出手段４５から触覚提示要求を入力し、当該地図情報Ｄ９に対応付けられた触覚情報Ｄ１に基づいて情報利用者の指３０ａ（操作体）に触覚を提示するように触覚発生手段４０を制御する。

記憶手段３５には、振動作成指示データＤＰＸをアドレスにして読み出し可能な複数種類の波形パターンデータＤＰ０が格納される。この例では、振動波形パターンデータＤｃを構成する素材データとして、触覚提示用の複数種類の周波数ｆｘ及び振幅Ａｘの波形パターンデータＤＰ０が準備されている。これは、情報配信業者の情報配信装置９０１で指定する触覚情報Ｄ１に対応する振動波形パターンデータＤｃを触覚地図情報モード機能付きの携帯電話機４００で再現（構築）するためである。

このように、情報配信業者から触覚地図情報モード機能付きの携帯電話機４００へ振動作成指示データＤＰＸを符号化して配信することにより、振動波形パターンデータＤｃを情報配信業者から触覚地図情報モード機能付きの携帯電話機４００へ直接配信する場合に比べて配信情報量を少なくすることができる。なお、記憶手段３５には、複数種類の波形パターンデータＤＰ０の他に、当該携帯電話機４００から情報配信業者へ情報サービスの提供を受ける旨を要求する際のデータ等が格納される。

この例で受信部２１が情報配信装置９０１から触覚情報Ｄ１を受信して復号化処理する場合であって、ＣＰＵ３２は、受信部２１によって受信された触覚情報Ｄ１に基づいて記憶手段３５から波形パターンデータＤＰ０を読み出し、この波形パターンデータＤＰ０を合成して振動波形パターンデータＤｃを作成するような制御を実行する。

例えば、ＣＰＵ３２は、情報配信装置９０１から受信したアプリケーション情報及び触覚情報Ｄ１をデコード処理して振動作成指示データＤＰＸを取得する。ＣＰＵ３２は、更に、振動作成指示データＤＰＸに基づいて記憶手段３５から１又は複数種類の波形パターンデータＤＰ０を読み出す。ＣＰＵ３２は、記憶手段３５から読み出した複数種類の波形パターンデータＤＰ０を合成し、合成後の振動波形パターンデータＤｃをデジタル・アナログ変換して振動制御信号Ｓａ〜Ｓｄ等を作成する。

振動制御信号Ｓａ〜Ｓｄ等は、ＣＰＵ３２からアクチュエータ駆動回路３７を通じて圧電アクチュエータ２５ａ〜２５ｄへ供給される。圧電アクチュエータ２５ａ〜２５ｄは、振動制御信号Ｓａ〜Ｓｄ等に基づいて入力検出手段４５又は表示手段２９を振動するようになされる。これにより、入力検出手段４５又は表示手段２９に触れている情報利用者の指等に触覚を提示できるようになる。

このようにすると、情報配信業者の情報配信装置９０１から作成指示された触覚提示用の振動波形パターンデータＤｃを当該触覚地図情報モード機能付きの携帯電話機４００のＣＰＵ３２で作成することができ、しかも、情報配信装置９０１で触覚提示用の振動波形パターンデータＤｃを作成し、その振動波形パターンデータＤｃを含む触覚情報Ｄ１を当該携帯電話機４００へ配信する場合に比べて、触覚提示用の振動波形パターンデータＤｃを作成指示するための触覚情報Ｄ１のデータ量を軽減することができる。

また、携帯電話機４００のＣＰＵ３２で複数種類の波形パターンデータＤＰ０を組み合わせることによって多種多様の触覚を発生できるようになる。しかも、情報配信業者の情報配信装置９０１より配信される触覚情報Ｄ１の内容の差異によって触覚地図情報モード機能付きの携帯電話機４００の個々の触覚発生手段４０により発生される触覚の種類を異ならせることができる。

一般に携帯電話機４００は、基地局探索機能を備えている。基地局探索機能とは、当該携帯電話機４００がパイロット信号（識別信号）を発信し、明瞭な無線通信を行える基地局を探索する機能をいう。この基地局探索機能を利用して、携帯電話機４００を所持した情報利用者が当該情報サービスエリア内に立ち入ると、携帯電話機４００が情報サービスエリア内に入ったことを振動をもって知らせるようにしてもよい。この場合、携帯電話機４００を持つ手、あるいは、携帯電話機４００を収めた胸のポケット越しに振動が肌に伝搬するようになされる（第１の触覚提示処理）。

この例で、第１の触覚提示処理を実行してから第２の触覚提示処理に移行してもよい。第２の触覚提示処理によれば、情報利用者が触覚地図情報モードを設定すると、情報配信業者の通信モデム１９’は、基地局を通じて情報利用者の携帯電話機４００に対して通信処理を実行する。例えば、通信モデム１９’は、制御手段１５’によって符号化処理された触覚情報Ｄ１＋地図情報Ｄ９を情報利用者の携帯電話機４００に配信する。

携帯電話機４００の表示手段２９には、その情報サービスエリアの地図画像、例えば、渋谷ハチ公前の道路及び商店街を表示する。そして、情報利用者の指３０ａ等が、例えば、「おいしいランチはここ！」のレストラン店の表示領域上を触れると、その位置に指が触れている間、「ビィビィ・・」というような触覚を与えるようになされる（第２の触覚提示処理）。

次に、第９の実施例に係る情報処理方法について説明する。図５２は、情報配信装置９０１における情報処理例を示すフローチャートである。この例で図５１に示した第１の情報処理系Ｉ（配信側）には、情報配信装置９０１が配置され、第２の情報処理系II（受信側）には、携帯電話機４００が配置される。情報配信装置９０１と携帯電話機４００とは通信手段３００を通じて接続される。

携帯電話機４００では、予めノーマルモード又は触覚地図情報モードのいずれかの動作モードの設定処理がなされる場合を前提とする。また、携帯電話機４００で、地図画像の所定部位への接触を検出したとき、その地図情報Ｄ９に対応付けられた触覚情報Ｄ１に基づいて情報利用者の指３０ａ等に触覚を提示する場合を例に挙げる。

［情報配信側］
これらを情報処理条件にして、図５２に示す配信側のフローチャートのステップＲ１１で情報配信装置９０１は地図画像取得処理を実行する。このとき、入力手段２４’は、画像取得手段３’を操作するための操作データＤ３を入力したり、モード設定時、触覚地図情報配信モードを設定するように操作される。例えば、情報サービスエリア内を航空撮影して地図情報Ｄ９を取得し、相手方に送信しようとする場合に、商店街、映画館、最寄りの交番、レストラン、駅、バス停等について、触覚提示位置を制御手段１５’に指示するように操作される。もちろん、地図画像の取得方法は、航空撮影に限られることはなく、既存の地図ソフトウエア資源を利用してもよい。

制御手段１５’は、操作データＤ３に基づいて画像取得手段３’を制御する。例えば、画像取得手段３’は、情報サービスエリア内の道路、橋、線路、建物の画像を取得して地図情報Ｄ９を出力する。例えば、航空撮影して得た地図情報Ｄ９と、情報配信業者が情報サービスしようとする提供位置を地図情報Ｄ９上にプロットし、情報利用者に配信しようとする場合に、情報サービスエリア内の道路、橋、線路、建物の画像に、商店街、映画館、最寄りの交番、レストラン、駅、バス停等を合成して、静止画に係る地図情報Ｄ９を取得する。このとき、音声入出力手段５４’を動作させて、情報案内者の音声を入力する。

また、記憶手段３５’には、情報利用者の携帯電話機４００に指示するための触覚情報Ｄ１が格納される。触覚情報Ｄ１には、振動作成指示データＤＰＸが含まれている。振動作成指示データＤＰＸには、振動波形パターンデータＤｃを形成する周波数ｆｘ、振幅Ａｘ及び振動回数Ｎｘが含まれる。これは、受信側の携帯電話機４００＃２ｊで周波数ｆｘ、振幅Ａｘ及び振動回数Ｎｘに基づいて振動制御信号Ｓａ等を作成するためである。記憶手段３５’には、触覚情報Ｄ１の他に画像取得手段３’によって取得された、情報サービスエリア内の地図情報Ｄ９が格納される。

その後、ステップＲ１２で情報配信装置９０１は、地図情報Ｄ９と触覚提示用の触覚情報Ｄ１との対応付け処理を実行する。この対応付け処理では、例えば、制御手段１５’が操作データＤ３に基づいて、情報サービスエリア内の道路、橋、線路、建物にプロットされた、商店街、映画館、最寄りの交番、レストラン、駅、バス停について、各々触覚が異なるような振動作成指示データＤＰＸが得られる触覚情報Ｄ１を情報サービスエリア内の地図情報Ｄ９等に付加される。

このような振動作成指示データＤＰＸを有する触覚情報Ｄ１は、記憶手段３５’から読み出される。地図情報Ｄ９に付加される触覚情報Ｄ１には、振動作成指示データＤＰＸの他に、情報利用者の携帯電話機４００を区分するアプリケーション情報等が含まれる。これは、情報利用者の携帯電話機４００に正確に触覚情報Ｄ１を指示するためである。振動作成指示データＤＰＸには、振動波形パターンデータＤｃを形成する周波数ｆｘ、振幅Ａｘ及び振動回数Ｎｘが含まれる。

そして、ステップＲ１３で情報配信装置９０１は触覚地図情報の配信要求を待機する。このとき、情報利用者は情報サービスエリア内に足を踏み入れると、すなわち、その無線通信可能な範囲に入ると、当該携帯電話機４００では、ＣＰＵ３２が送信部２２を制御して情報配信業者の情報配信装置８０１を呼出し通信回線を接続する。

情報配信装置９０１では、情報利用者から触覚地図情報の配信要求が有った場合は、ステップＲ１４に移行する。ステップＲ１４で、制御手段１５’は、先に対応付けられた触覚情報Ｄ１＋地図情報Ｄ９を通信手段３００を通じて、携帯電話機４００に符号化して配信する。例えば、制御手段１５’は、通信モデム１９’を制御して先に接続されている通信回線を通じて情報利用者の携帯電話機４００に触覚情報Ｄ１＋地図情報Ｄ９をダウンロードするようになされる。

その後、ステップＲ１５に移行して、制御手段１５’は情報配信処理の終了判別する。この際に、制御手段１５’は、例えば、情報配信業者が入力手段２４’を使用して情報配信処理終了を指示する場合は、情報配信処理を終了する。情報情報配信業者が情報配信処理終了を指示しない場合は、ステップＲ１３に戻って情報配信処理を継続する。これにより、情報利用者に自動的に触覚情報Ｄ１＋地図情報Ｄ９又は触覚情報Ｄ１＋音声情報ＡＩＮ’＋地図情報Ｄ９をダウンロードするようになる。

［情報利用側］
図５３は、触覚地図情報モード機能付きの携帯電話機４００における情報処理例を示すフローチャートである。なお、携帯電話機４００の動作例については、先に説明した図１０を参照する。この例では、携帯電話機４００を所持した情報利用者が当該情報サービスエリア内に立ち入り、既に、携帯電話機４００が情報サービスエリア内に入ったことを振動（第１の触覚提示処理）をもって知らせた（提示）後の処理例について説明する。

これらを情報処理条件にして、情報利用者側では、図５３に示すフローチャートのステップＸ１１で、まず、ノーマルモード又は触覚地図情報モードのいずれかの動作モードが設定される。動作モードは、情報利用者（受信側の操作者）により入力検出手段４５が操作されてＣＰＵ３２に設定される。

そして、ステップＸ１２で通信モデム１９は、ＣＰＵ３２の制御を受けて、情報利用者の情報配信装置９０１から触覚情報Ｄ１＋地図情報Ｄ９を受信して復号化処理する。触覚情報Ｄ１＋地図情報Ｄ９はＣＰＵ３２で分離され、地図情報Ｄ９は表示手段２９を駆動する表示データＤ２に変換される。触覚情報Ｄ１は、触覚地図情報モードが選択された場合に備えてＣＰＵ３２にセットされる。

その後、ステップＸ１３に移行して、先に設定された動作モードに基づいて制御を分岐する。触覚地図情報モードが設定された場合は、ステップＸ１４及びＸ１５に移行する。ステップＸ１４では、先に受信した地図情報Ｄ９に基づいて地図画像を表示する。例えば、表示手段２９は、情報配信装置９０１から送られてきた地図情報Ｄ９に基づく表示データＤ２により地図画像を表示する。この例で、情報サービスエリアが渋谷駅周辺である場合、渋谷ハチ公前の道路や商店街等が表示される。この渋谷ハチ公前の地図には、「おいしいランチはここ！」のレストラン店が表示される。

これに並行して、ステップＸ１５でＣＰＵ３２は、表示手段２９に表示されている地図画像に対応する触覚の提示要求を受け付ける。このとき、触覚機能付きの入力検出手段４５は、地図画像の所定部位への情報利用者の指３０ａ等の接触を検出して、表示手段２９に表示された地図画像に対応する触覚の提示要求を受け付けるように操作される。情報利用者は、この地図画像内に表示された、「おいしいランチはここ！」のレストラン店の表示領域上を指３０ａで触れるようになされる。

触覚機能付きの入力検出手段４５によって地図画像に対応する触覚提示要求を受け付けた場合は、ステップＸ１６に移行する。ステップＸ１６でＣＰＵ３２は、その地図情報Ｄ９に対応付けられた触覚情報Ｄ１に基づいて情報利用者の指３０ａ等に触覚を提示するように触覚提示制御を実行する。例えば、ＣＰＵ３２は、情報利用者の情報配信装置９０１から受信したアプリケーション情報及び触覚情報Ｄ１をデコード処理して振動作成指示データＤＰＸを取得する。

ＣＰＵ３２は、デコード処理して得た振動作成指示データＤＰＸに基づいて記憶手段３５から１又は複数種類の波形パターンデータＤＰ０を読み出し、この波形パターンデータＤＰ０を合成して振動波形パターンデータＤｃを作成するような制御を実行する。ＣＰＵ３２は、合成後の振動波形パターンデータＤｃをデジタル・アナログ変換して振動制御信号Ｓａ〜Ｓｄ等を作成する。

振動制御信号Ｓａ〜Ｓｄ等は、ＣＰＵ３２から触覚発生手段４０を構成する圧電アクチュエータ２５ａ〜２５ｄへ供給される。圧電アクチュエータ２５ａ〜２５ｄは、振動制御信号Ｓａ〜Ｓｄに基づいて入力検出手段４５又は表示手段２９を振動するようになされる。これにより、入力検出手段４５又は表示手段２９に触れている情報利用者の指３０ａ等に触覚を提示できるようになる。上述の例では、「おいしいランチはここ！」の位置に指３０ａが触れている間、「ビィビィ・・」というような触覚を与えるようになされる（第２の触覚提示処理）。そして、ステップＸ１８に移行する。

なお、ステップＸ１３でノーマルモードが設定された場合は、ステップＸ１７に移行して触覚提示処理を伴わない地図画像表示処理を実行する。その後、ステップＸ１８に移行してＣＰＵ３２は、情報処理の終了を判断する。この際の終了判断では、例えば、電源オフ情報を検出してノーマルモード又は触覚地図情報モードに係る情報処理を終了する。電源オフ情報が検出されない場合は、ステップＸ１３に戻って、上述した処理を繰り返すようになされる。

このように、第９の実施例に係る触覚地図情報配信システム９によれば、情報配信業者側の情報配信装置９０１と、情報利用者側の携帯電話機４００とが通信手段３００を通じて接続される。携帯電話機４００は、情報配信装置９０１から触覚情報Ｄ１＋地図情報Ｄ９を受信し、当該地図情報Ｄ９に基づいて画像を表示すると共に、その画像に対応する触覚の提示要求を受け付ける。携帯電話機４００は、触覚の提示要求を受け付けたとき、地図情報Ｄ９に対応付けられた触覚情報Ｄ１に基づいて情報利用者の指３０ａに触覚を提示するように触覚発生手段４０を制御するようになされる。

従って、情報サービスエリア内の情報利用者に対して地図画像を視るという視覚に加えて、地図画像に対応付けられた触覚を再現性良く提示できるようになる。これにより、情報配信業者で地図画像の所定部位に対応付けた触覚を情報利用者側で体験できるような情報処理システムを構築することができる。このような情報処理システムは既存の有線又は及び無線方式の公衆電話回線網等を利用した触覚地図情報配信システム９に十分応用できる。

しかも、情報配信装置９０１から情報利用者の携帯電話機４００へ振動作成指示データＤＰＸを符号化して送信しているので、振動波形パターンデータＤｃを情報配信装置９０１から携帯電話機４００へ直接送信する場合に比べて送信情報を少なくすることができる。

この発明は、画像情報＋音声情報ＡIN’に結合された触覚提示用の触覚情報を処理するパーソナルコンピュータや、携帯電話機、デジタルカメラ、カーナビゲーションシステム、デジタル腕時計、情報携帯端末装置、テレビジョン等やこれらを応用した通信システムに適用して極めて好適である。

本発明に係る実施の形態としての情報処理システム１の構成例を示すブロック図である。（Ａ）及び（Ｂ）は、第１の実施例としての情報処理例を示すフローチャートである。第２の実施例としての情報処理例を示すフローチャートである。第３の実施例としての情報処理例を示すフローチャートである。第４の実施例としての触覚テレビ電話システム４の構成例を示す概念図である。触覚入力機能付きの携帯電話機４００の構成例を示す斜視図である。触覚機能付きの入力装置９０の構成例を示す斜視図である。アクチュエータ２５ａ〜２５ｄ、力検出手段５５ａ及び５５ｂ等の配置例を示す断面の構成図である。（Ａ）及び（Ｂ）は力検出手段５５ａ等の内部構成例を示す図である。触覚入力機能付きの携帯電話機４００の内部構成例を示すブロック図である。（Ａ）及び（Ｂ）は、触覚Ａ及びＢに係る振動パターン例を示す波形図である。（Ａ）及び（Ｂ）は、触覚テレビ電話システム４における発呼側の顔画像の撮影例及びその表示例を示す図である。正面向き顔画例及びその送信情報例を示す図である。横向き顔画像例及びその送信情報例を示す図である。斜め後ろ向き顔画像例及びその送信情報例を示す図である。（Ａ）及び（Ｂ）は、触覚テレビ電話システム４における着呼側の顔画像の表示例及び触覚提示例を示す図である。（Ａ）及び（Ｂ）は、第４の実施例としての情報処理例を示すフローチャートである。（Ａ）〜（Ｄ）は、第４の実施例に係る触覚情報の他の設定例を示す図である。第５の実施例としての感動触覚付き電話システム５の構成例を示す概念図である。感動触覚電話システムにおける情報処理例（送信側）を示すフローチャートである。第５の実施例としての感動触覚電話システムにおける情報処理例（受信側）を示すフローチャートである。第６の実施例としての触覚インターネットショッピングシステム６の構成例を示す概念図である。触覚検出グローブ５０を含むＷＷＷサーバ６０１の構成例を示すブロック図である。（Ａ）及び（Ｂ）は、触覚検出グローブ５０等の指先部分の構成例及びその拡大例を各々示す断面図である。ネット端末６００の構成例を示すブロック図である。モニタ６６における商品画像の表示例を示す概念図である。（Ａ）〜（Ｄ）は、記憶装置６７’、６７及び制御ユニット６５’、６５における情報処理例を示す図である。第６の実施例に係るＷＷＷサーバ側の処理例（その１）を示すフローチャートである。第６の実施例に係るＷＷＷサーバ側の処理例（その２）を示すフローチャートである。触覚ネットショッピングシステム６のネット端末６００における情報処理例（その１）を示すフローチャートである。触覚ネットショッピングシステム６のネット端末６００における情報処理例（その２）を示すフローチャートである。ネット端末６００における触覚提示例（その１）を示すフローチャートである。ネット端末６００における触覚提示例（その２）を示すフローチャートである。ネット端末６００における触覚提示例（その３）を示すフローチャートである。ネット端末６００における触覚提示例（その４）を示すフローチャートである。第７の実施例としての触覚テレビ放送システム７の構成例を示す概念図である。画像音声触覚モード機能及びテレビチューナ機能付きのパソコン７０１の構成例を示すブロック図である。ある触覚クイズ番組におけるクイズ画面の表示例を示す図である。触覚テレビ放送システム７における情報処理例（送信側）を示すフローチャートである。触覚テレビ放送システム７における情報処理例（受信側）を示すフローチャートである。他の触覚テレビ放送システム７’の構成例を示す概念図である。椅子８０におけるアクチュエータ２５の取付例を示す斜視図である。第８の実施例としての触覚ゲーム情報配信システム８の構成例を示す概念図である。第８の実施例に係る振動パターン、入力情報内容、振動条件及び具体的波形例を示す表図である。触覚ゲーム情報配信システム８における情報処理例（情報配信側）を示すフローチャートである。携帯電話機４０における振動パターン作成例を示すフローチャートである。触覚ゲーム機能付きの携帯電話機４００における情報処理例（その１）を示すフローチャートである。携帯電話機４００における情報処理例（その２）を示すフローチャートである。携帯電話機４００における情報処理例（その３）を示すフローチャートである。携帯電話機４００における情報処理例（その４）を示すフローチャートである。第９の実施例としての触覚地図情報配信システム９の構成例を示す概念図である。情報配信装置９０１における情報処理例を示すフローチャートである。触覚地図情報モード機能付きの携帯電話機４００における情報処理例を示すフローチャートである。

符号の説明

１・・・情報処理システム、３，３’・・・画像取得手段、４・・・触覚テレビ電話システム（情報処理システム）、５・・・感動触覚電話システム（情報処理システム）、６・・・触覚ネットショッピングシステム（情報処理システム）、７・・・触覚テレビ放送システム（情報処理システム）、８・・・触覚ゲーム情報配信システム（情報処理システム）、９・・・触覚地図情報配信システム（情報処理システム）、１０・・・下部筐体、１１・・・回転レンジ機構、１５，１５’・・・制御手段、２０・・・上部筐体、２１・・・受信部、２２・・・送信部、２４・・・入力手段、２５ａ〜２５ｄ・・・圧電アクチュエータ（振動手段）、２９，２９’・・・表示手段、３２，３２’・・・ＣＰＵ（制御手段）、３５，３５’・・・記憶手段、５０・・・触覚検出グローブ、７８・・・送信設備、３００・・・通信手段、４００，４００’，５００，５００’・・・携帯電話機、６００・・・ネット端末（情報処理装置）、６０１・・・ＷＷＷサーバ（情報処理装置）、７０１・・・パソコン（情報処理装置）、７０２・・・テレビ受信機（情報処理装置）、８０１，９０１・・・情報配信装置（情報処理装置）、＃１ｉ（ｉ＝１〜ｎ），＃２ｊ（ｊ＝１〜ｍ）・・・情報処理装置

Claims

動画又は及び静止画を含む画像情報と触覚提示用の触覚情報とを対応付けて送信処理する第１の情報処理装置と、
前記画像情報及び触覚情報を受信し、当該画像情報に基づいて画像を表示すると共に、当該画像に対応する触覚の提示要求を受け付ける第２の情報処理装置と、
前記第１の情報処理装置と第２の情報処理装置とを接続する通信手段とを備え、
前記第２の情報処理装置は、
前記触覚情報に基づいて触覚を発生する触覚発生手段を有し、
前記画像に対応する触覚の提示要求を受け付けたとき、前記画像情報に対応付けられた触覚情報に基づいて操作体に触覚を提示するように前記触覚発生手段を制御することを特徴とする情報処理システム。
前記第２の情報処理装置は、
前記画像の所定部位への接触を検出する触覚機能付きの入力手段を有し、
前記画像の所定部位への接触を検出したとき、前記画像情報に対応付けられた触覚情報に基づいて操作体に触覚を提示するように前記触覚発生手段を制御することを特徴とする請求項１に記載の情報処理システム。
前記第１の情報処理装置は、
前記画像情報及び触覚情報の他に音情報を第２の情報処理装置に送信し、
前記第２の情報処理装置は、
前記第１の情報処理装置から受信した画像情報及び触覚情報を処理すると共に、前記音情報を再生出力することを特徴とする請求項１に記載の情報処理システム。
前記第１の情報処理装置に触覚入力機能が設けられる場合であって、
当該触覚入力機能を利用して画像の所定部位への接触を検出して触覚情報を入力し、当該触覚情報を第２の情報処理装置に送信し、
前記第２の情報処理装置は、
前記第１の情報処理装置から受信した触覚情報に基づいて触覚提示処理することを特徴とする請求項１に記載の情報処理システム。
前記第１の情報処理装置から第２の情報処理装置へ送信される触覚情報が、触覚提示用の振動パターンデータを作成指示する内容である場合であって、
前記第２の情報処理装置には、
前記触覚提示用の複数種類の振動波形パターンを記憶する記憶手段が設けられ、
前記第２の情報処理装置は、
前記記憶手段から触覚情報に基づいて振動波形パターンを読み出し、
前記振動波形パターンを合成して振動パターンデータを作成することを特徴とする請求項１に記載の情報処理システム。
複数の前記第１又は及び第２の情報処理装置間において触覚情報を送受信して当該第２の情報処理装置で発生させる触覚の種類を決定するようにしたことを特徴とする請求項１に記載の情報処理システム。
前記通信手段には、
有線通信手段及び無線通信手段が含まれることを特徴とする請求項１に記載の情報処理システム。
動画又は及び静止画を含む画像情報と触覚提示用の触覚情報とを対応付けて送信処理する送信側の情報処理装置に対して通信手段を通じて接続可能な情報処理装置であって、
触覚発生手段と
前記送信側の情報処理装置から画像情報及び触覚情報を受信する受信手段と、
前記受信手段より受信した前記画像情報に基づいて画像を表示する表示手段と、
前記表示手段に表示された画像に対応する触覚の提示要求を受け付ける入力手段と、
前記入力手段から触覚提示要求を入力し、当該画像情報に対応付けられた触覚情報に基づいて操作体に触覚を提示するように前記触覚発生手段を制御する制御手段とを備えることを特徴とする情報処理装置。
前記画像の所定部位への接触を検出する触覚機能付きの入力手段を備え、
前記制御手段は、
前記画像の所定部位への接触を検出したとき、前記画像情報に対応付けられた触覚情報に基づいて操作体に触覚を提示するように前記触覚発生手段を制御することを特徴とする請求項８に記載の情報処理装置。
前記受信手段が前記送信側の情報処理装置から送信されてきた画像情報及び触覚情報の他に音情報を受信する場合であって、
前記受信手段より受信した前記音情報に基づいて音を再生出力する音再生手段を備えることを特徴とする請求項８に記載の情報処理装置。
前記送信側の情報処理装置に触覚入力機能が設けられ、当該触覚入力機能を利用して画像の所定部位への接触が検出されて入力された触覚情報を受信する場合であって、
前記制御手段は、
前記送信側の情報処理装置から受信した触覚情報に基づいて触覚提示処理することを特徴とする請求項８に記載の情報処理装置。
前記受信手段が前記送信側の情報処理装置から送信されてきた触覚提示用の振動パターンデータを作成指示する触覚情報を受信する場合であって、
前記触覚提示用の複数種類の振動波形パターンを記憶する記憶手段が設けられ、
前記制御手段は、
前記受信手段によって受信された触覚情報に基づいて前記記憶手段から振動波形パターンを読み出し、
前記振動波形パターンを合成して振動パターンデータを作成するような制御を実行することを特徴とする請求項８に記載の情報処理装置。
前記通信手段には、
有線通信手段及び無線通信手段を含むことを特徴とする請求項８に記載の情報処理装置。
第１の情報処理系で、動画又は及び静止画を含む画像情報と触覚提示用の触覚情報とを対応付けするステップと、
対応付けられた前記画像情報及び触覚情報を通信手段を通じて第２の情報処理系に送信するステップと、
前記第２の情報処理系で、
前記画像情報及び触覚情報を受信するステップと、
受信した前記画像情報に基づいて画像を表示するステップと、
表示された前記画像に対応する触覚の提示要求を受け付けるステップと、
前記画像に対応する触覚の提示要求を受け付けたとき、前記画像情報に対応付けられた触覚情報に基づいて操作体に触覚を提示するように前記触覚提示制御をするステップとを有することを特徴とする情報処理方法。
前記画像の所定部位への接触を検出し、当該画像の所定部位への接触を検出したとき、前記画像情報に対応付けられた触覚情報に基づいて操作体に触覚を提示することを特徴とする請求項１４に記載の情報処理方法。
前記画像情報及び触覚情報の他に前記第１の情報処理系から第２の情報処理系へ音情報を送信し、
前記第２の情報処理系は、
前記第１の情報処理系から受信した画像情報及び触覚情報を処理すると共に、前記音情報を再生出力することを特徴とする請求項１４に記載の情報処理方法。
前記第１の情報処理系にも触覚入力機能が設けられる場合であって、
当該触覚入力機能を利用して画像の所定部位への接触を検出して触覚情報を入力し、当該触覚情報を第２の情報処理系に送信し、
前記第２の情報処理系は、
前記第１の情報処理系から受信した触覚情報に基づいて触覚提示処理することを特徴とする請求項１４に記載の情報処理方法。
前記第２の情報処理系が前記第１の情報処理系から送信されてきた触覚提示用の振動パターンデータを作成指示する触覚情報を受信する場合であって、
前記第２の情報処理系には、予め触覚提示用の複数種類の振動波形パターンが準備され、
前記第２の情報処理系は、
受信された前記触覚情報に基づき振動波形パターンを合成して振動パターンデータを作成することを特徴とする請求項１４に記載の情報処理方法。
複数の前記第１又は及び第２の情報処理系間において触覚情報を送受信して当該第２の情報処理系で発生させる触覚の種類を決定するようにしたことを特徴とする請求項１４に記載の情報処理方法。
前記通信手段には、
有線通信手段及び無線通信手段を含むことを特徴とする請求項１４に記載の情報処理方法。