JP2007142578A - 感覚通信装置及び感覚通信方法 - Google Patents

Abstract

【課題】感覚情報を触覚及び視覚的に伝達することを可能とする。
【解決手段】感覚通信装置１０１は、通信ネットワークＮＷに接続され、袋状感覚デバイス１とコントロールボックス２とを備える。袋状感覚デバイス１は、形状及び硬度を制御／検出することが可能である。通信ネットワークＮＷから到来する外部物理パラメータを通信部２４により受信し、硬度処理部２３１は、外部物理パラメータのうち硬度計測パラメータを硬度制御部２１に供給し中袋１１の圧力を制御する。また、形状処理部２３２は、形状計測パラメータを形状制御部１３に供給し中袋１１の形状を制御する。また、処理部２３は、硬度検出検部２２及び形状制御部１４により検出される硬度計測パラメータ及び形状計測パラメータを通信部２４から他の感覚通信装置１０２に送信することで、感覚通信装置１０１の袋状感覚デバイス１により得られた硬度及び形状の変化を伝達する。
【選択図】 図１

Description

この発明は、例えば、通信ネットワークを介して感覚情報を伝達する感覚通信装置及び感覚通信方法に関する。

人と人とがコミュニケーションを行うときにやりとりする情報は、音声だけにとどまらない。すでに、通信を人間の生のコミュニケーションの感覚により近づけるために、音声に動画像を追加したテレビ電話が実現されている（例えば、特許文献１を参照。）。さらに、通信に触覚を追加することができれば、通信はより生のコミュニケーションに近づく。例えば、温もりや鼓動、手触りを感じながら、遠く離れた人同士があたかも近くにいるように通信することが可能となる。

ぬいぐるみ、クッション、枕は、日常品の中でもやわらかいものである。人はこれらのクッションといった日常品を抱きしめたりすると、その触覚からやわらかさや温もりを感じることができる。このクッションによりやわらかさを伝えることができるようにし、その触覚を通信に応用することで、映像や音声だけのメディアでは伝えにくい感情を通信できる装置を構築できる可能性がある。

すでに触覚を実現するテバイスがいくつか開発されている。例えば、仮想的な物体を掴んでいる感触を与えるデバイスや布の感触を仮想的に実現するデバイスがある。これらを応用し、通信している人同士が同じ物体の感触を共有できるシステム、テレオペレーション時に遠隔地のロボットが実際に掴んでいる物体の感覚を操作者に与えるシステムなどがある。これらのシステムを利用することで、人は実際に目の前にない事物の触覚を感じ取ったり、手元で再現される遠隔地からの触覚情報を感じ取ったりすることができる（例えば、非特許文献１を参照。）。

しかし、こういったデバイスは、日常的な人の通信に利用することが難しく、また人がやわらかさを感じるものであるとは言い難い。なぜなら、その装置のサイズが大きく、その形状も一般の電子機器とは異なる。例えば、人と事物の触覚を共有するデバイスは、巨大なアクチュエータとセンサを備えた装置構成となっている。その装置上に常に手を置いてコミュニケーションを取るといった環境は、従来の通信環境とはあまりにも異なっている。このため、一般的な携帯電話機、電話機、コンピュータといった通信機器と共にこれらのテバイスを利用することは難しい。さらに、その無機質な外見は、やわらかさを伝えるデバイスとは言い難いものである。

特開平５−２６５６３９号公報

「マウス型多指ハプティックデバイスの開発」日本機械学会・ロボティクス・メカトロニクス講演会’04 講演論文集

通信システムにおけるコミュニケーションにやわらかさといった感覚を付加するデバイスには、視覚的にもやわらかさを伝達することができる必要がある。また、現在日常的に利用されている電話機や携帯電話機と共にそのデバイスが利用されるためには、その形状、雰囲気、伝える感覚が日常的に人に違和感なく受け入れられる必要性がある。

この発明は、上記事情に着目してなされたもので、その目的とするところは、感覚情報を触覚及び視覚的に伝達することを可能とする感覚通信装置及び感覚通信方法を提供することにある。

上記目的を達成するためにこの発明に関わる感覚通信装置及び感覚通信方法は、物理パラメータを指定することで感覚伝達のための形態を変更可能とする袋状感覚デバイスと、前記物理パラメータの値を通信回線を介して受信する受信手段と、前記物理パラメータの値に基づいて前記袋状感覚デバイスの形態を制御する形態制御手段と、前記袋状感覚デバイスの形態の変化を検出し、物理パラメータの値に変換する物理パラメータ取得手段と前記取得された物理パラメータを通信回線を介して送信する送信手段とを具備することを特徴とする。

したがってこの発明によれば、袋状感覚デバイスの形態を変化させることで人同士の抱きしめあう感覚や、鼓動といった感覚をコミュニケーションに加える、さらに、本発明は、袋形状のテバイスをぬいぐるみ、枕カバー、クッションカバーなどで覆うことによって、日常生活にとけ込んだ装置構成を実現することができる。これにより、従来の通信装置では不可能であった音声や画像以外の触覚や圧力を通信に付加し、より多くの感覚を相手に伝えたり、相手から受け取ったりすることが可能となる。

また、この発明は次のような各種構成を備えることも特徴とする。
第１の構成は、前記袋状感覚デバイスが、硬度パラメータを指定することで内部の圧力を調節することが可能な場合に、前記物理パラメータとして硬度パラメータを用いるようにする。
物理パラメータとして、すなわち袋状感覚デバイスの硬度を利用することで、袋状感覚デバイスの触覚によりやわらかさといった感覚を直感的に提供することができる。

第２の構成は、前記袋状感覚デバイスが、形状パラメータを指定することで変形可能な場合に、前記物理パラメータとして形状パラメータを用いるようにする。
このように、袋状感覚デバイスの形状を変化させることで、触覚だけでなく視覚的にも感覚情報を伝達することが可能となる。

第３の構成は、感情を表す感情パラメータに対応する物理パラメータがそれぞれ記憶される感情変換データベースをさらに備え、前記受信手段は、前記通信回線を介して送られてくる感情パラメータの値を受信し、前記形態制御手段は、前記感情パラメータを前記感情変換データベースにより物理パラメータに変換する変換手段を備え、前記形態制御手段は、前記変換された物理パラメータに基づいて前記袋状感覚デバイスの形態を変更し、前記送信手段は、前記物理パラメータ取得手段により検出された物理パラメータを前記感情変換データベースにより感情パラメータに変換して前記通信回線を介して送信することを特徴とする。

上記構成によれば、触覚や圧力などの数値パラメータを感情パラメータとして、人間の感情を示す簡単な指標に置き換え、文字情報による通信などに触覚や圧カなどの感覚を伝える機能を付加することができる。また、触覚や圧力の数値パラメータを感情パラメータとして、人間の感情を示す簡単な指標に置き換えるときに、ユーザがあらかじめ設定した関連づけや、ユーザの行動履歴からなる数値パラメータと感情パラメータを対応づけたデータベースを用いることで、その変換を容易に実現することができる。

第４の構成は、ユーザを識別するユーザ識別情報の入力を受け付けるユーザ情報入力手段と、時刻情報を取得する時刻取得手段と、前記取得された物理パラメータを前記ユーザ識別情報及び前記時刻情報に対応付けて感覚情報として記憶する感覚情報記憶手段とをさらに備え、前記送信手段は、前記通信回線を介して送られてくる感覚情報取得要求に応じて前記感覚情報を前記通信回線を介して送信するものである。
このようにすると、該感覚通信装置を利用するユーザの行動を触覚や圧力の数値パラメータを通して、収集、配信することができ、健康管理や安全管理などに応用することができる。

第５の構成は、音声を出力する外部音声出力装置と接続される場合に、前記外部音声出力装置から出力される音声から感情を感情パラメータとして抽出する感情パラメータ抽出手段をさらに具備し、前記変換手段は、前記感情パラメータ抽出手段により抽出された感情パラメータを前記感情変換データベースにより物理パラメータに変換することを特徴とする。
上記構成によれば、該感覚通信装置と外部のメディア装置を連携させて使用することで、ＤＶＤ、テレビ電話、テレビ電話チャット、インターネット上で提供される情報などの汎用的なメディアから提供される音声や映像、文章に反応して、従来のメディアに触覚や圧力を付加した新しいメディアを実現することができる。

第６の構成は、記録媒体からコンテンツを再生する外部再生装置と接続される場合に、前記コンテンツの再生時刻に対応付けて前記感情パラメータが記憶される連携感覚情報データテーブルと、前記外部再生装置における前記コンテンツの再生に同期して前記連携感覚情報データテーブルから前記再生時刻に対応する感情パラメータを取得する同期手段とをさらに備え、前記変換手段は、前記同期手段により取得された感情パラメータを前記感情変換データベースにより物理パラメータに変換することを特徴とする。
このように構成することにより、映画、音楽、テレビと言った時間軸を持つメディアに再生時刻に沿った感覚情報を付加することで、映画や音楽のシーンに合った触覚や圧力を付加し、表現力を高めることができる。

第７の構成は、記録媒体からコンテンツを再生する外部再生装置と接続される場合に、前記コンテンツの再生中に再生時刻を取得する再生時刻取得手段と、ユーザを識別するユーザ識別情報の入力を受け付けるユーザ情報入力手段と、前記取得された感情パラメータを前記コンテンツを識別するコンテンツ識別情報と前記ユーザ識別情報と前記再生時刻とに対応付けてリアクション情報として記憶するリアクション情報記憶手段とをさらに備え、前記送信手段は、前記通信回線を介して送られてくるリアクション情報取得要求があった場合に、前記リアクション情報を前記通信回線を介して送信することを特徴とする。
上記構成によれば、映画音楽、テレビといった時間軸を持つメディアに再生時刻に沿ったユーザの反応を該感覚通信装置を通じてユーザの反応を読み取り、収集配信することで、メディアを楽しむユーザ間で感覚情報を共有したり、メディア配信者はユーザの反応を直接把握することが可能となる。

要するにこの発明によれば、感覚情報を触覚及び視覚的に伝達することを可能とする感覚通信装置及び感覚通信方法をすることができる。

以下、図面を参照してこの発明の実施の形態について詳細に説明する。
（第１の実施形態）
この発明の第１の実施形態は、形状及び硬度を制御／検出することが可能な袋状感覚デバイスを有する、複数の感覚通信装置が通信ネットワークに接続され、各袋状感覚デバイスから検出される硬度情報及び形状情報を送受信することで、それぞれの感覚通信装置が双方に触覚を伝達し合うものである。

図１は、この発明の第１の実施形態に係わる感覚通信システムの構成を示すブロック図である。このシステムは、複数の感覚通信装置１０１〜１０ｎをそれぞれ通信ネットワークＮＷを介して接続したものである。通信ネットワークＮＷは、例えば、ＬＡＮ（Local Area Network）やインターネットを含むＷＡＮ（Wide Area Network）により構成される。また、感覚通信装置１０１〜１０ｎは同一構成であるため、ここでは感覚通信装置１０１について説明し、感覚通信装置１０２〜１０ｎについては構成の説明を省略する。

感覚通信装置１０１は、袋状感覚デバイス１と、コントロールボックス２とを備える。また、コントロールボックス２と上記袋状感覚デバイス１との間は、空気用パイプ及び信号伝達用ケーブルで接続される。袋状感覚デバイス１は、ユーザに触覚及び視覚的に感覚を提示するもので、例えば、ビニール素材で形成される中袋１１と、上記中袋１１の形状を変形させるために取着されたベルト１２とを備える。さらに、袋状感覚デバイス１には、このベルト１２の長さを調整するモータ１３１を有する形状制御部１３と、ベルト１２の長さを検出するベルト長センサ１４１を有する形状検出部１４とを備える。また、袋状感覚デバイス１は、その周囲をクッションで包まれ、ユーザは、この袋状感覚デバイス１を膝の上に置いたり、胸に抱え込んだり、または枕のように頭を乗せたりすることができる。

コントロールボックス２は、硬度制御部２１と、硬度検出部２２と、処理部２３と、通信部２４とを備える。硬度制御部２１は、袋形状感覚デバイス１の中袋１１に空気を送り込むポンプ２１１、空気を一時的に蓄積するタンク２１２、空気の送り込みを調節するバルブ２１３、空気を外部に排出するレギュレータ２１４を備える。硬度検出部２２は、空気圧センサ２２１を備え、中袋１１内の空気圧を計測する。通信部２４は、他の感覚通信装置１０２〜１０ｎとの間で通信ネットワークＮＷを介してデータの送受信を行う。

処理部２３は、硬度処理部２３１と、形状処理部２３２とを備える。硬度処理部２３１は、硬度検出部２２により検出された硬度情報（硬度計測パラメータ値）を通信部２４により通信ネットワークＮＷを介して他の感覚通信装置１０２〜１０ｎに送信する。また、他の感覚通信装置１０２〜１０ｎから送信される外部硬度計測パラメータ値を受信して、硬度制御部２１に供給し、袋状感覚デバイス１の硬度（圧力）を制御する。

形状処理部２３２は、形状検出部１４により検出された形状情報（形状計測パラメータ値）を通信部２４により通信ネットワークＮＷを介して他の感覚通信装置１０２〜１０ｎに送信する。また、他の感覚通信装置１０２〜１０ｎから送信される外部形状計測パラメータ値を受信して、形状制御部１３に供給し、袋状感覚デバイス１の形状を制御する。なお、本実施形態では、硬度計測パラメータは空気圧であり、形状計測パラメータはベルト長である。また、硬度計測パラメータと形状計測パラメータとを合わせて物理パラメータと称する。

次に、以上のように構成された感覚通信装置１０１の動作について説明する。図２は、この感覚通信装置１０１の処理部２３における動作手順とその内容を示すフローチャートである。
Ｓ２１において、感覚通信装置１０１の通信部２４は、例えば、他の感覚通信装置１０２から送信される外部物理パラメータを受信する。これを受けて、処理部２３は、受信した外部物理パラメータのうち形状計測パラメータを形状処理部２３２に供給し、硬度計測パラメータを硬度処理部２３１に供給してそれぞれ処理を行う。

Ｓ２２において、形状処理部２３２は、通信部２４により受信した外部形状計測パラメータの値を形状制御部１３に供給する。そうすると、形状制御部１３は、外部形状計測パラメータの値に基づいてモータ１３１を回転させてベルト１２を巻き取り、ベルト１２の長さを調節する（Ｓ２２ａ）。また、形状処理部２３２は、形状計測検出部１４によりベルト長センサ１４１で現状のベルト長を計測する（Ｓ２２ｂ）。そして、外部形状計測パラメータの値と上記ベルト長センサ１４１で計測される現状のベルト長とを比較し（Ｓ２２ｃ）、フィードバックしながら、ベルトテンションを調節する（Ｓ２２ｄ）。これによって、他の感覚通信装置１０２から送信された形状情報をこの袋状感覚デバイス１で再現することができる。

Ｓ２３において、硬度処理部２３１は、通信部２４により受信した外部硬度計測パラメータの値を、硬度制御部２１に供給する。硬度制御部２１は、この硬度計測パラメータの値に基づいて、バルブ２１３を開き、レギュレータ２１４で減圧、又はポンプ２１１によって加圧し、中袋１１内の空気圧を調整する（Ｓ２３ａ）。そして、硬度処理部２３１は、硬度検出部２２により空気圧センサ２２１で中袋１１内の空気圧の値を計測する（Ｓ２３ｂ）。そして、外部硬度計測パラメータの値と上記空気圧センサ１４１で計測される現状の空気圧とを比較し（Ｓ２３ｃ）、フィードバックしながら、中袋１１内の空気圧を調節する（Ｓ２３ｄ）。これによって、他の感覚通信装置１０２から送信された硬度情報を袋状感覚テバイス１で再現することができる。

また、Ｓ２４において、形状処理部２３２は、ベルト長センサ１４１によって、現状の中袋１１内の空気圧を検出した値を硬度計測パラメータとして形状検出部１４から取得し、通信部２４を通じて、例えば、他の感覚通信装置１０２へ送信する。これによって、通信ネットワークＮＷで接続された相手側の感覚通信装置１０２に硬度情報を送信することができる。

また、硬度処理部２３１は、空気圧センサ２２１によって、現状の中袋１１内の空気圧を検出した値を硬度計測パラメータとして硬度検出部２２から取得し、通信部２４を通じて、例えば、他の感覚通信装置１０２へ送信する。これによって、通信ネットワークＮＷで接続された相手側の感覚通信装置１０２に硬度情報を送信することができる。

そして、Ｓ２６において、上記計測された硬度計測パラメータ及び形状計測パラメータを含む物理パラメータを他の感覚通信装置１０２に向けて送信する。これにより、他の感覚通信装置１０２は、受信した硬度計測パラメータ及び形状計測パラメータに基づいて袋状感覚デバイス１を制御することで、感覚通信装置１０１の硬度及び形状を他の感覚通信装置１０２〜１０ｎに伝達することが可能となる。

以上述べたように上記第１の実施形態では、感覚通信装置１０１は、通信ネットワークＮＷに接続され、袋状感覚デバイス１とコントロールボックス２とを備える。袋状感覚デバイス１は、形状及び硬度を制御／検出することが可能である。通信ネットワークＮＷから到来する外部物理パラメータを通信部２４により受信し、硬度処理部２３１は、外部物理パラメータのうち硬度計測パラメータを硬度制御部２１に供給し、中袋１１の圧力を制御する。また、形状処理部２３２は、形状計測パラメータを形状制御部１３に供給し、モータ１３１によりベルト１２の長さを調整して、中袋１１の形状を制御する。また、処理部２３は、硬度検出検部２２及び形状制御部１４によりそれぞれ検出される硬度計測パラメータ及び形状計測パラメータを通信部２４から他の感覚通信装置１０２に送信することで、感覚通信装置１０１の袋状感覚デバイス１により得られた硬度及び形状の変化を伝達する。

したがって上記第１の実施形態によれば、袋状感覚デバイス１０１の形状及び硬度を変化させることで人同士の抱きしめあう感覚や、鼓動といった感覚を伝達することが可能となる。これにより、従来の通信装置で行われていた音声や画像による情報伝達に加え、さらに、触覚や圧力を伝達することが可能となり、より多くの感覚を相手に伝えたり、相手から受け取ったりすることができる通信システムを構築することができる。さらに、本発明は、袋状感覚デバイス１０１をぬいぐるみ、枕カバー、クッションカバーなどで覆うことによって、日常生活にとけ込んだ装置構成を実現することができる。

なお、上記第１の実施形態では、感覚通信装置１０１を袋状感覚デバイス１とコントロールボックス２とに分けて構成するようにしたが、例えば、袋状感覚デバイス１がコントロールボックス２の機能を併せ持つようにして一体化することも可能である。
（第２の実施形態）
この発明の第２の実施形態は、上記第１の実施形態で述べた感覚通信装置に、さらに感情パラメータ変換部と、物理パラメータ変換部と、感情物理パラメータ変換データベースを備えることで、入力された感情パラメータを触覚により伝達することを可能とするものである。
図３は、この発明の第２の実施形態に係わる感覚通信システムの構成を示すブロック図である。なお、上記第１の実施形態の図１と同一構成の部分には同一符号を付し、詳細な説明については省略する。

感覚通信装置２０１は、上述した袋状感覚デバイス１と、コントロールボックス２Ａとを備える。コントロールボックス２Ａは、硬度制御部２１と、硬度検出部２２と、通信部２４と、処理部２３Ａと、データメモリ２５に格納される感情物理パラメータ変換テーブル２５１とを備える。処理部２３Ａには、硬度処理部２３１及び形状処理部２３２に加え、さらに、感情パラメータ変換部２３３と、物理パラメータ変換部２３４と感情情報配信部２３５とを備える。

感情パラメータ変換部２３３は、通信部２４により受信される感情パラメータを感情物理パラメータ変換テーブル２５１に入力し、この感情パラメータに対応する物理パラメータ（硬度パラメータ及び形状パラメータ）に変換する。これに対し、物理パラメータ変換部２３４は、硬度検出部２２及び形状検出部１４により検出された物理パラメータ（硬度パラメータ及び形状パラメータ）を感情物理パラメータ変換テーブル２５１により、感情パラメータに変換する。感情情報配信部２３５は、この物理パラメータ変換部２３４において変換された感情パラメータを通信部２４により他の感覚通信装置２０２に送信する。

感情物理パラメータ変換テーブル２５１は、物理パラメータと喜怒哀楽などの感情パラメータとを相互に変換するために用いられる。図３に示すように、例えば、「笑」、「悲」、「怒」などの感情パラメータに対応する物理パラメータとして、硬度パラメータ及び形状パラメータが格納されている。

次に、このように構成された感覚通信装置２０１の動作について説明する。図４は、上記感覚通信装置２０１の処理部２３Ａにおける動作手順とその内容を示すフローチャートである。
図４において、通信ネットワークＮＷを通じて接続された感覚通信装置２０２、あるいはコンピュータ３０から送られてくる感情パラメータを通信部２４により受信する（Ｓ４１）。感情パラメータ変換部２５は、受信した感情パラメータをもとに感情物理パラメータ変換テーブル２５１を参照し（Ｓ４２ａ）、対応する物理パラメータに変換する（Ｓ４２ｂ）。これに基づき、硬度処理部２３１及び形状処理部２３２は、上記得られた物理パラメータを用いて、前記第１の実施形態の手法に基づき、中袋１２を制御し、触覚を再現する（Ｓ４３，Ｓ４４）。

また、感覚通信装置２０１を通じて、硬度検出部２２及び形状検出部１４においてそれぞれ袋状感覚デバイス１の硬度及び形状を示す物理パラメータを検出する（Ｓ４５，Ｓ４６）。さらに、物理パラメータ変換部２３４において、上記検出された物理パラメータを感情物理パラメータ変換テーブル２５１により感情パラメータに変換する（Ｓ４７）。そして、感情情報配信部２３５は、物理パラメータ変換部２３４から得られる感情パラメータを通信部２４により他の感覚通信装置２０２又はコンピュータ３０に送信する。

このように構成することで、袋状感覚デバイス１を用いることで、喜怒哀楽などの感情を触覚により伝達することができる。上記第２の実施形態の応用事例として、例えば、チャット通信に「笑」などの感情パラメータを選択する機能を追加することで、チャット通信における表現に触覚を加えたシステムを実現することができる。また、感覚通信装置１０１Ａを強く押しながら、文字を入力するとチャット通信でのフォントが太文字になる等の入カシステムを実現することができる。

なお、上記第２の実施形態では、感情物理パラメータ変換テーブル２５１を感覚通信装置２０１の内部に設けるように構成したが、通信ネットワークＮＷ上のデータベースサーバ等に感情物理パラメータ変換テーブル２５１を備え、複数の感覚通信装置で共有するように構成することも可能である。

（第３の実施形態）
第３の実施形態は、感覚通信装置が備える外部機器通信部を通じて、携帯電話と連携し、携帯電話機での通話音声から会話の盛り上がり等のメディア情報を抽出し、抽出されたメディア情報を感覚通信装置の袋状感覚デバイスによりユーザに伝達するシステムである。
図５は、この発明の第３の実施形態に係わる感覚通信システムの構成を示すブロック図である。なお、上記第２の実施形態の図３と同一構成の部分には同一符号を付し、詳細な説明については省略する。

感覚通信装置３０１は、上述した袋状感覚デバイス１と、コントロールボックス２Ｂとを備える。コントロールボックス２Ｂは、硬度制御部２１と、硬度検出部２２と、通信部２４と、処理部２３Ｂと、感情物理パラメータ変換テーブル２５１と、外部機器通信部２６とを備える。外部機器通信部２６は、携帯電話機５０との接続インタフェースであり、携帯電話機５０から発話音声を取得する。外部機器通信部２６と携帯電話機５０との接続は、例えば、携帯電話機５０が備えるBluetooth（登録商標）、あるいは他の無線通信回線、または専用の接続ケーブルなどが用いられる。

一方、処理部２３Ｂは、硬度処理部２３１と、形状処理部２３２と、感情パラメータ変換部２３３と、物理パラメータ変換部２３４とに加え、さらに、メディア情報抽出部２３６を備える。メディア情報抽出部２３６は、外部機器通信部２６により得られる上記携帯電話機５０での発話音声から会話の盛り上がり等のメディア情報を抽出する。抽出されたメディア情報は、対応する感情パラメータに変換されたのち、さらに、感情物理パラメータ変換テーブル２５１により物理パラメータに変換される。

次に、このように構成された感覚通信装置３０１の動作について説明する。図６は、上記感覚通信装置３０１の処理部２３Bにおける動作手順とその内容を示すフローチャートである。
図６において、感覚通信装置３０１が外部機器通信部２６を通じて携帯電話機５０と接続され（Ｓ６１）、発話音声情報を取得する（Ｓ６２）。発話音声情報は、一定時間、メディア情報抽出部２３６に蓄積され、盛り上がり情報が抽出される（Ｓ６４，Ｓ６５）。例えば、上記発話音声情報から基本周波数、パワー、動的特徴量の時間変化特性などを音声特徴量として用い、この音声特徴量が強調状態にあると判定される場合を盛り上がりタイミングとして抽出する。

そして、盛り上がっているタイミング中では、袋状感覚デバイス１の形状を大きく変化させる感情パラメータ、すなわち「笑」や「怒」等を対応付ける（Ｓ６６）。つまり、盛り上がるタイミングには、感情が高ぶっていると判断し、通常よりも大きく袋状感覚デバイス１の形状を変化させる物理パラメータを持つ「笑」「怒」といった感情パラメータに対応づける（Ｓ６６）。そして、感情パラメータ変換部２３３は、感情物理パラメータ変換テーブル２５１にアクセスして上記感情パラメータに対応する物理パラメータを取得し、形状制御部１３及び硬度制御部２１は、取得された物理パラメータに基づいて袋状感覚デバイス１を制御する（Ｓ６７，Ｓ６８）。

このように構成することで、ユーザは、袋状感覚デバイス１から発話内容に合った触覚が得られる。図７に、第３の実施形態における感覚通信装置３０１の使用イメージを示す。また、Ｓ６６において、盛り上がり情報を感情パラメータに変換することによって、盛り上がるタイミングに「笑」「怒」等の感情パラメータを通話先の感覚通信装置に送信することで、触覚を感覚情報として通話先のユーザに伝達すること可能となる。

上記第３の実施形態において、携帯電話機を用いたが、音声を持つメディアであれば電話、テレビ電話、チャット、文章、インターネット上で提供される情報、ＤＶＤ、ラジオ、テレビジョンなどのメディアに幅広く応用することができる。これによって、メディアの音声情報に基づいて、その盛り上がりのタイミングで、振動、形状などを感覚情報として伝え、メディアの表現の幅を大きくすることができる。

（第４の実施形態）
第４の実施形態では、感覚情報収集データベースが設けられ、感覚通信装置が、ユーザにより袋状感覚デバイスに対して行われた操作履歴をこの感覚情報収集データベースに蓄積するものである。本実施形態では、通信ネットワーク上に感覚情報収集データベースを設置した例であるが、各感覚通信装置に備えるデータメモリに感覚情報を記憶するようにしてもよい。
図８は、この発明の第４の実施形態に係わる感覚通信システムの構成を示すブロック図である。なお、上記第２の実施形態の図３と同一構成の部分には同一符号を付し、詳細な説明は省略する。

感覚通信装置４０１は、上述した袋状感覚デバイス１と、コントロールボックス２Ｃとを備え、コントロールボックス２Ｃには、硬度制御部２１と、硬度検出部２２と、通信部２４と、処理部２３Ｃと、感情物理パラメータ変換テーブル２５１とが設けられる。処理部２３Ｃは、硬度処理部２３１と、形状処理部２３２と、感情パラメータ変換部２３３と、物理パラメータ変換部２３４とメディア情報抽出部２３６とに加え、さらに、感覚情報登録部２３６を備える。

感覚情報収集データベース６０は、感覚情報テーブル６１に感覚通信装置４０１のユーザの識別番号と操作の検出時刻に対応付けて物理パラメータ及び感情パラメータを感覚情報として記憶するものである。また、上記記憶された感覚情報を通信ネットワークＮＷ上のコンピュータや他の感覚通信装置４０１〜４０ｎ等の要求に応じて配信することができる。

感覚情報登録部２３６は、ユーザによる袋状感覚デバイス１に対する操作を、上述した形状検出部１４及び硬度検出部２２により、物理パラメータを構成する形状パラメータ及び硬度パラメータとしてそれぞれ検出する。さらに、上記検出された物理パラメータを物理パラメータ変換部２３４により感情パラメータに変換し、検出時の時刻、感覚通信装置４０１のユーザの識別番号、上記物理パラメータ、及び感情パラメータを感覚情報として、通信部２４により感覚情報収集データベース６０に送信して感覚情報テーブル６１に記憶する。

このように構成される感覚通信装置４０１の動作について説明する。図９は、感覚通信装置４０１の処理部２３Ｃの動作手順とその内容を示すフローチャートである。
例えば、一定時間ごとに、形状検出部１４及び硬度検出部２２は、袋状感覚デバイス１に行われる操作から形状パラメータ及び硬度パラメータを検出する（Ｓ９１，Ｓ９２）。次に、物理パラメータ変換部２３４により上記検出された物理パラメータに対応する感情パラメータを取得する。そして、検出時の時刻情報とこの感覚通信装置４０１のユーザ識別番号と物理パラメータ及び感情パラメータとから感情情報を生成する（Ｓ９３）。

感覚情報登録部２３６は、生成した感情情報を通信部２４により通信ネットワークＮＷを介して感覚情報収集データベース６０に向け送信し、感覚情報テーブル６１に登録する（Ｓ９４）。そして、感覚情報収集データベース６０は、感覚情報テーブル６１に登録された感覚情報を通信ネットワークＮＷ上のコンピュータや感覚通信装置４０１〜４０ｎ等の要求に応じて配信する（Ｓ９５）。

上記第４の実施形態によって、例えば、ユーザは、感覚情報収集データベース６０から該ユーザ自身が感覚通信装置４０１に対して行った操作を参照することで、過去に他の感覚通信装置４０２〜４０ｎを利用する通信相手に対してどのような態度で通信を行ったのかを確認することができる。

（第５の実施形態）
第５の実施形態では、感覚通信装置が備える外部機器通信部を通じて、ＤＶＤプレーヤ等の外部メディア装置とメディア連携感覚情報データベースとに接続され、ＤＶＤ等の記録媒体（メディア）から再生されるコンテンツに連携して、再生内容に応じた触覚等の感覚が袋状感覚デバイスにより提示されるものである。
図１０は、この発明の第５の実施形態に係わる感覚通信システムの構成を示すブロック図である。なお、上記第３の実施形態の図５と同一構成の部分には同一符号を付し、詳細な説明については省略する。感覚通信装置５０１は、袋状感覚デバイス１とコントロールボックス２Ｄとを備え、処理部２３Ｄには、感覚情報取得部２３７が設けられる。また、外部機器通信部２６には、ＤＶＤプレーヤ等の外部メディア装置７０とメディア連携感覚情報データベース７１とが接続される。図１１に、本実施形態の感覚通信装置５０１の使用イメージを示す。このように、ユーザは、袋状感覚デバイス１を膝に置いたり、抱えたりしながら、ＤＶＤにより再生されるコンテンツを鑑賞するものとする。

メディア連携感覚情報データベース７１には、メディア連携感覚情報テーブル７２が保持され、実際のメディアのタイムスケジュールにあわせて、感覚情報を提供する。メディア連携感覚情報テーブル７２は、図１０に示すように、ＤＶＤの種類を保持するメディア種類情報と、再生時刻と、物理パラメータ及び感情パラメータとから構成される。

また、感覚情報取得部２３７は、外部機器通信部２６を通じて、ユーザが鑑賞しているＤＶＤの現在の再生時刻およびＤＶＤの種類を示すメディア種類情報から構成される連携メディア情報を取得する。そして、メディア連携感覚情報データベース７１にアクセスして、メディア連携感覚情報テーブル７２から、上記取得された連携メディア情報をもとに対応する物理パラメータ及び感情パラメータを取得する。

以上のように構成される感覚通信装置５０１の動作について説明する。図１２は、この感覚通信装置５０１の処理部２３Ｄの動作手順とその内容を示すフローチャートである。
図１２において、処理部２３Ｄの感覚情報取得部２３７は、外部機器通信部２６を通じて、外部メディア装置７０から外部メディア情報取得ステップ（Ｓ１２２）として、ユーザが鑑賞しているＤＶＤの種類及びこのＤＶＤの現在の再生時刻を取得し（Ｓ１２３，Ｓ１２４）、連携メディア情報を生成する（Ｓ１２５）。

次に、メディア連携感覚情報取得ステップ（Ｓ１２６）に移行して、感覚情報取得部２３７は、メディア連携感覚情報データベース７１にアクセスし、メディア連携感覚情報テーブル７２を参照して上記生成された連携メディア情報に対応する感覚情報として感情パラメータを取得する（Ｓ１２８）。そして、感情パラメータ変換部２３３は、感情物理パラメータ変換テーブル２５１を参照して上記感情パラメータに対応する物理パラメータを取得し、形状制御部１３及び硬度制御部２１は、取得された物理パラメータに基づいて袋状感覚デバイス１を制御する（Ｓ１３０，Ｓ１３１）。

上記第５の実施形態によれば、映画、音楽、テレビジョンの放送番組のような時間軸を持つメディアに再生時刻に沿った感覚情報を付加することで、映画や音楽のシーンに合った触覚や圧力を付加し、表現力を高めることができる。
なお、上記第５の実施形態では、メディアの１つとしてＤＶＤを例に挙げて説明したが、もちろんビデオテープやＣＤ等にも適用可能であり、他にも、テレビジョンの放送番組等にも連携することが可能である。また、メディア連携感覚情報テーブル７２に示したような再生時刻に対応付けられた物理パラメータ又は感情パラメータを上記メディアにコンテンツと共に記録するようにしてもよい。このようにすると、メディア連携感覚情報データベース７１を設けることなく、メディアをセットするだけで、感覚情報取得部２３７は、外部メディア装置７０から再生時刻に対応する感覚情報を得ることができ、システム構成を容易にすることができる。

（第６の実施形態）
上記第３の実施形態及び第５の実施形態を合わせることで、ＤＶＤやテレビジョンのコンテンツの再生時刻に応じたユーザのリアクションを感覚通信装置を通じて把握することができるシステムを構築できる。本実施形態は、ＤＶＤ等のメディアに対するユーザのリアクションを収集するシステムであり、感覚通信装置がメディアと連携するための外部機器通信部を備え、リアクション収集手段であるメディアリアクションデータベースを通信ネットワーク上に備えるものである。

図１２は、この発明の第６の実施形態に係わる感覚通信システムの構成を示すブロック図である。なお、上記第５の実施形態の図１０と同一構成の部分には同一符号を付し、詳細な説明は省略する。感覚通信装置６０１は、袋状感覚デバイス１とコントロールボックス２Ｄとを備え、処理部２３Ｅには、リアクション情報生成部２３８とリアクション情報登録部２３９とが設けられる。また、外部機器通信部２６には、上記第５の実施形態と同様にＤＶＤプレーヤ等の外部メディア装置７０が接続され、さらに、メディアリアクションデータベース８０が接続される。

メディアリアクションデータベース８０は、ユーザリアクションデータテーブル８１を保持する。ユーザリアクションテータテーブル８１は、再生するＤＶＤの種類を示すメディア種類情報、鑑賞しているユーザの識別番号を示すユーザ識別番号、再生しているＤＶＤの再生時刻情報、及びこれらに対応付けられた感情パラメータとから構成される。

処理部２３Ｅのリアクション情報生成部２３８は、外部機器通信部２６を通じて、ユーザが鑑賞しているＤＶＤの識別番号、ＤＶＤの再生時刻を取得する。同時に、該瞬間における物理パラメータを形状検出部１４及び硬度検出部２２から取得し、物理パラメータ変換部２３４により感情パラメータに変換し、リアクション情報を生成する。そしてリアクション情報登録部２３９により、通信部２４を通じてメディアリアクションデータベース８０に送信し、該リアクション情報をユーザリアクションデータテーブル８１に登録する。

このように構成された感覚通信装置６０１の動作について説明する。図１４は、この感覚通信装置６０１の処理部２３Ｅの動作手順とその内容を示すフローチャートである。
図１４において、リアクション情報生成部２３８は、外部機器通信部２６により外部メディア装置７０からメディア種類情報及び再生時刻を取得する（Ｓ１４３，１４４）。さらに、ユーザ識別番号と、形状検出部１４及び硬度検出部２２により形状パラメータ及び硬度パラメータを取得する。ここで、形状パラメータ及び硬度パラメータは、物理パラメータ変換部２３４により感情パラメータに変換され、上記メディア種類情報及び再生時刻と、ユーザ識別番号と感情パラメータとからなるリアクション情報が生成される（Ｓ１４５）。

そして、リアクション情報登録部２３９により上記生成されたリアクション情報が外部機器通信部２６を介してメディアリアクションデータベース８０に送信され、ユーザリアクションデータテーブル８１に登録される（Ｓ１４６）。そして、メディアリアクションデータベース８０は、ユーザリアクションデータテーブル８１に登録されたリアクション情報を通信ネットワークＮＷ上のコンピュータや感覚通信装置６０１〜６０ｎ等の要求に応じて配信する（Ｓ１４７）。

上記第６の実施形態によれば、ＤＶＤなどのコンテンツ提供者は、ユーザ（鑑賞者、消費者）のメディアに対する反応を再生時刻に合わせて収集できるため、コンテンツに対するユーザの動向、感想を具体的に知ることができる。また、ユーザは同じコンテンツを鑑賞したもの同士のリアクション情報を共有することで、同じコンテンツを嗜好するユーザ同士のコミュニティの構築の手助けを得たりすることができる。また、ここで収集したリアクション情報を前記第５の実施形態の前記メディア連携感覚情報データベース手段に登録することで、ユーザは、他人のリアクション情報でＤＶＤを閲覧すると行った鑑賞も可能となる。

なお、この発明は、上記各実施形態に限定されるものではない。例えば、感覚通信装置の構成、各種データテーブルに記憶される項目、また処理部に設けられる各部の動作手順及びその内容についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。

要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

この発明の第１の実施形態に係わる感覚通信システムの構成を示すブロック図。 図１に示す感覚通信装置の動作手順とその内容を示すフローチャート。 この発明の第２の実施形態に係わる感覚通信システムの構成を示すブロック図。 図３に示す感覚通信装置の動作手順とその内容を示すフローチャート。 この発明の第３の実施形態に係わる感覚通信システムの構成を示すブロック図。 図５に示す感覚通信装置の動作手順とその内容を示すフローチャート。 図５に示す感覚通信装置の使用イメージを示す図。 この発明の第４の実施形態に係わる感覚通信システムの構成を示すブロック図。 図８に示す感覚通信装置の動作手順とその内容を示すフローチャート。 この発明の第５の実施形態に係わる感覚通信システムの構成を示すブロック図。 図１０に示す感覚通信装置の動作手順とその内容を示すフローチャート。 図１０に示す感覚通信装置の使用イメージを示す図。 この発明の第６の実施形態に係わる感覚通信システムの構成を示すブロック図。 図１３に示す感覚通信装置の動作手順とその内容を示すフローチャート。

符号の説明

１０１〜１０ｎ…感覚通信装置、１…袋状感覚デバイス、２…コントロールボックス、ＮＷ…通信ネットワーク、１１…中袋、１２…ベルト、１３…形状制御部、１３１…モータ、１４…形状検出部、１４１…ベルト長センサ、２１…硬度制御部、２１１…ポンプ、２１２…タンク、２１３…バルブ、２１４…レギュレータ、２２…硬度検出部、２２１…空気圧センサ、２３…処理部、２３１…硬度処理部、２３２…形状処理部、２４…通信部、２５…データメモリ、２５１…感情物理パラメータ変換テーブル、２３３…感情パラメータ変換部、２３４…物理パラメータ変換部、５０…携帯電話機、２３５…メディア情報抽出部、６０…感覚情報収集データベース、６１…感覚情報テーブル、２３６…感覚情報登録部、７０…外部メディア装置、７１…メディア連携感覚情報データベース、７２…メディア連携感覚情報テーブル、８０…メディアリアクションデータベース、８１…ユーザリアクションデータテーブル。

Claims (14)

1. 物理パラメータを指定することで感覚伝達のための形態を変更可能とする袋状感覚デバイスと、
   前記物理パラメータの値を通信回線を介して受信する受信手段と、
   前記物理パラメータの値に基づいて前記袋状感覚デバイスの形態を制御する形態制御手段と、
   前記袋状感覚デバイスの形態の変化を検出し、物理パラメータの値に変換する物理パラメータ取得手段と
   前記取得された物理パラメータを通信回線を介して送信する送信手段と
   を具備することを特徴とする感覚通信装置。
2. 前記袋状感覚デバイスが、硬度パラメータを指定することで内部の圧力を調節することが可能な場合に、前記物理パラメータとして硬度パラメータを用いることを特徴とする請求項１記載の感覚通信装置。
3. 前記袋状感覚デバイスが、形状パラメータを指定することで変形可能な場合に、前記物理パラメータとして形状パラメータを用いることを特徴とする請求項１記載の感覚通信装置。
4. 感情を表す感情パラメータに対応する物理パラメータがそれぞれ記憶される感情変換データベースをさらに備え、
   前記受信手段は、前記通信回線を介して送られてくる感情パラメータの値を受信し、
   前記形態制御手段は、前記感情パラメータを前記感情変換データベースにより物理パラメータに変換する変換手段を備え、
   前記形態制御手段は、前記変換された物理パラメータに基づいて前記袋状感覚デバイスの形態を変更し、
   前記送信手段は、前記物理パラメータ取得手段により検出された物理パラメータを前記感情変換データベースにより感情パラメータに変換して前記通信回線を介して送信することを特徴とする請求項１記載の感覚通信装置。
5. ユーザを識別するユーザ識別情報の入力を受け付けるユーザ情報入力手段と、
   時刻情報を取得する時刻取得手段と、
   前記取得された物理パラメータを前記ユーザ識別情報及び前記時刻情報に対応付けて感覚情報として記憶する感覚情報記憶手段とをさらに備え、
   前記送信手段は、前記通信回線を介して送られてくる感覚情報取得要求に応じて前記感覚情報を前記通信回線を介して送信することを特徴とする請求項１記載の感覚通信装置。
6. 音声を出力する外部音声出力装置と接続される場合に、前記外部音声出力装置から出力される音声から感情を感情パラメータとして抽出する感情パラメータ抽出手段をさらに具備し、
   前記変換手段は、前記感情パラメータ抽出手段により抽出された感情パラメータを前記感情変換データベースにより物理パラメータに変換することを特徴とする請求項４記載の感覚通信装置。
7. 記録媒体からコンテンツを再生する外部再生装置と接続される場合に、前記コンテンツの再生時刻に対応付けて前記感情パラメータが記憶される連携感覚情報データテーブルと、
   前記外部再生装置における前記コンテンツの再生に同期して前記連携感覚情報データテーブルから前記再生時刻に対応する感情パラメータを取得する同期手段とをさらに備え、
   前記変換手段は、前記同期手段により取得された感情パラメータを前記感情変換データベースにより物理パラメータに変換することを特徴とする請求項４記載の感覚通信装置。
8. 記録媒体からコンテンツを再生する外部再生装置と接続される場合に、前記コンテンツの再生中に再生時刻を取得する再生時刻取得手段と、
   ユーザを識別するユーザ識別情報の入力を受け付けるユーザ情報入力手段と、
   前記取得された感情パラメータを前記コンテンツを識別するコンテンツ識別情報と前記ユーザ識別情報と前記再生時刻とに対応付けてリアクション情報として記憶するリアクション情報記憶手段とをさらに備え、
   前記送信手段は、前記通信回線を介して送られてくるリアクション情報取得要求があった場合に、前記リアクション情報を前記通信回線を介して送信することを特徴とする請求項４記載の感覚通信装置。
9. 物理パラメータを指定することで感覚伝達のための形態を変更可能とする袋状感覚デバイスを具備する感覚通信装置で用いられ、
   前記物理パラメータの値を通信回線を介して受信する受信ステップと、
   前記物理パラメータの値に基づいて前記袋状感覚デバイスの形態を制御する形態制御ステップと、
   前記袋状感覚デバイスの形態の変化を検出し、物理パラメータの値に変換する物理パラメータ取得ステップと、
   前記取得された物理パラメータを通信回線を介して送信する送信ステップと
   を具備することを特徴とする感覚通信方法。
10. 前記感覚通信装置が感情を表す感情パラメータに対応する物理パラメータがそれぞれ記憶される感情変換データベースをさらに備える場合に、
    前記受信ステップは、前記通信回線を介して送られてくる感情パラメータの値を受信し、
    前記形態制御ステップは、前記感情パラメータを前記感情変換データベースにより物理パラメータに変換する変換ステップを備え、
    前記形態制御ステップは、前記変換された物理パラメータに基づいて前記袋状感覚デバイスの形態を変更し、
    前記送信ステップは、前記物理パラメータ取得手段により検出された物理パラメータを前記感情変換データベースにより感情パラメータに変換して前記通信回線を介して送信することを特徴とする請求項９記載の感覚通信方法。
11. ユーザを識別するユーザ識別情報の入力を受け付けるユーザ情報入力ステップと、
    時刻情報を取得する時刻取得ステップと、
    前記取得された物理パラメータを前記ユーザ識別情報及び前記時刻情報に対応付けて感覚情報として記憶する感覚情報記憶ステップとをさらに備え、
    前記送信ステップは、前記通信回線を介して送られてくる感覚情報取得要求に応じて前記感覚情報を前記通信回線を介して送信することを特徴とする請求項９記載の感覚通信方法。
12. 音声を出力する外部音声出力装置と接続される場合に、前記外部音声出力装置から出力される音声から感情を感情パラメータとして抽出する感情パラメータ抽出ステップをさらに具備し、
    前記変換ステップは、前記感情パラメータ抽出手段により抽出された感情パラメータを前記感情変換データベースにより物理パラメータに変換することを特徴とする請求項１０記載の感覚通信方法。
13. 前記感覚通信装置が記録媒体からコンテンツを再生する外部再生装置と接続される場合に、前記コンテンツの再生時刻に対応付けて前記感情パラメータが記憶される連携感覚情報データテーブルと、
    前記外部再生装置における前記コンテンツの再生に同期して前記連携感覚情報データテーブルから前記再生時刻に対応する感情パラメータを取得する同期ステップとをさらに備え、
    前記変換ステップは、前記同期手段により取得された感情パラメータを前記感情変換データベースにより物理パラメータに変換することを特徴とする請求項１０記載の感覚通信方法。
14. 前記感覚通信装置が記録媒体からコンテンツを再生する外部再生装置と接続される場合に、前記コンテンツの再生中に再生時刻を取得する再生時刻取得ステップと、
    ユーザを識別するユーザ識別情報の入力を受け付けるユーザ情報入力ステップと、
    前記取得された感情パラメータを前記コンテンツを識別するコンテンツ識別情報と前記ユーザ識別情報と前記再生時刻とに対応付けてリアクション情報として記憶するリアクション情報記憶ステップとをさらに備え、
    前記送信ステップは、前記通信回線を介して送られてくるリアクション情報取得要求があった場合に、前記リアクション情報を前記通信回線を介して送信することを特徴とする請求項１０記載の感覚通信方法。

Images