JP2006047640A - 情報伝達装置、電話機及び携帯電話機 - Google Patents

Abstract

【課題】音声と同時に振動から感情を伝える事により臨場感の高いコミュニケーションを行う手段を提供する。
【解決手段】音声信号を基に音を出力する音声再生手段９と、振動を発生する振動手段８と、音声信号を基に人間の感情を判定する感情判定手段１と、感情判定手段１で判定された人間の感情情報に対応した振動パラメータを記録した振動パラメータテーブル３と、振動パラメータテーブル３を参照し、振動パラメータを決定する制御判定手段２と、制御判定手段２で決定された振動パラメータを基に振動手段８を制御する振動制御手段４と、振動手段８からの振動出力を人間の触覚に伝達する作用部１０とを備え、音声信号に基づいた音が音声再生手段９により再生される際に、振動手段８は、音声信号から判定された感情に対応した振動を再生することを特徴とする。
【選択図】図１

Description

本発明は、音声信号に含まれる感情情報を判定し、体表面に振動を直接伝える事により、従来の音声コミュニケーションに比べて、より臨場感の高いコミュニケーション手段を提供することを特徴とした情報伝達装置、電話機及び携帯電話機に関する。

そこで、テレビ電話のように顔画像を同時に送信し、表情を伝える装置もあるが、プライバシー保護の観点から全員が喜んで画像を伝送したいわけではなく、また風呂上がりなどの状況によっては画像を見られたくない状況も存在する。

また、ロボットのように音声と同時に動作を用いて、感情を伝える装置もあるが、会話内容、相手の感情動作等が外部に見えてしまい、プライバシー保護の観点から、個人間の通信で周りに知られたくない場合等には不向きな状況も存在する。

従来の情報伝達装置およびそれを用いた電話機としては、ページャや電子メール等のテキスト情報に感情を表す絵文字な等をコード化して伝達するものやテキスト情報を音声合成にて読み上げる時に伝送された感情情報から音響変化を加えて出力するものがあった（例えば、例えば、特許文献１または特許文献２を参照）。

また、音声信号から感情の情報を抽出するには、外部のセンサー等を使わずに音声信号のみから基本周波数の最大値、標準偏差、周波数範囲、平均値、ならびに話速、及び、第１，２フォルマントの帯域幅平均値、エネルギー標準偏差を用いて信号処理を行うことにより、正常、幸福、怒り、悲しみ、恐怖といった感情に分類し検出する事が可能である（例えば、特許文献３を参照）。

図９は、上記特許文献１に記載された従来の情報伝達装置およびそれを用いた電話機を示すものである。図１０は、上記特許文献２に記載された従来の情報伝達装置およびそれを用いた電話機を示す。

図９おいて、似顔絵部１０１は、感情を表す似顔絵等で構成され、ページャー表示部１０２内で表示されている文字テキスト情報に感情を補う役割を果たしていた。

図１０において、スピーカー部１０３は、送信処理側から送られてきた感情情報に応じて、音声の感情を変化させ、単調となる情報提示に変化を加えていた。
特開平７−３３６７４４号公報（図６） 特開平９−１３８７６７号公報（図１） 特表２００３−５０８８０５号公報

しかしながら、上記従来の構成では、テキスト等の情報に感情を付加するのみであり、情報量の多い電話による音声通話に比べて感情を臨場感高く伝える事ができていないという課題を有していた。

本発明は、上記従来の課題を解決するもので、音声信号から感情情報を検出しその感情情報に合わせた振動を皮膚を通じて伝達し、電話の音声と同時に再生することに事により、さらなる臨場感の高いコミュニケーションが行える情報伝達装置およびそれを用いた電話機を提供することを目的とする。

上記従来の課題を解決するために、本発明の情報伝達装置音声信号を基に音を出力する音声再生手段と、
振動を発生する振動手段と、
音声信号を基に人間の感情を判定する感情判定手段と、
前記感情判定手段で判定された人間の感情情報に対応した振動パラメータを記録した振動パラメータテーブルと、
前記振動パラメータテーブルを参照し、振動パラメータを決定する制御判定手段と、
前記制御判定手段で決定された振動パラメータを基に振動手段を制御する振動制御手段と、
前記振動手段からの振動出力を人間の触覚に伝達する作用部と、
とを備え、
前記音声信号に基づいた音が音声再生手段により再生される際に、前記振動手段は、前記音声信号から判定された感情に対応した振動を再生することを特徴とする。

本発明の情報伝達装置およびそれを用いた電話機によれば、感情を音声のみならず対話者の体の一部にそれぞれの感情に対応した振動を伝える事により、電話機を通じて対話者の感情をより臨場感を持って伝える事ができる。

以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１における情報伝達装置の一例である電話機の構成図である。

図１において、音声信号は、人間が発話した音声をマイクロホン等の電気素子を用いて電気信号に変換し電話回線や無線通信等を介して伝送されてきた信号であり、感情判定手段１の入力となり、感情判定手段１では、その周波数成分、パワー等を統合的に分析し、幸福、怒り、悲しみ、恐怖等の感情情報として判定し、これを出力する。振動パターンテーブル３は、感情判定手段から出力された感情情報に対応した振動パラメータの値を記憶した記憶手段である。振動パラメータとしては、例えば、振動の周期、振動の強度、及び振動の間隔等が挙げられる。

制御判定手段２は、前記感情判定手段２の判定結果を基に、振動パラメータテーブル３を参照し、上記感情情報に対応した振動パラメータの値を決定する手段である。振動制御手段４は、振動判定手段２により決定された振動パラメータの値を基に、振動手段８を制御するための制御信号を出力する。上記振動制御手段としては、上記振動パラメータに対応した制御手段が設けれている。

例えば、振動パラメータとして上述のように振動の周期を用いた場合には、振動周期制御手段５を有する。この振動周期制御手段５は、電圧の変化等により振動手段８の振動数を変化させる等、振動の周波数（周期）を変更可能とする制御方式を用いて機器の制御を行うための電気信号を出力する手段である。振動パラメータとして、振動の強度を用いた場合には、振動強度制御手段６を有する。この振動強度手段６は、振動手段８の振動の強度（振幅）を変更するための電気信号を出力する手段である。振動パラメータとして、振動の間隔を用いた場合には、振動間隔制御手段７を有する。この振動間隔手段７は、振動手段８によって生じる振動の間隔（振動手段８のオンオフタイミング）を変更するため、スイッチ回路等を用いた制御方式を用いて振動手段８の制御を行う手段である。

ここで、上記振動手段８は、例えばソレノイドやモータなどの部品で構成され、上記振動周期制御手段５、上記振動強度制御手段６、及び上記振動間隔制御手段７からの制御信号を受信し、その信号に応じて振動の周期、振幅、間隔を変化させる。作用部１０は、前記振動手段８からの振動を体表面に振動を直接与える部位である。音声再生手段９は、スピーカー等の素子で構成され、前記音声信号を人間の聴覚に伝わる音に変換して、これを外部に出力する手段である。

かかる構成によれば、音声信号を受信する装置、例えば、電話機や携帯電話等を通じて音声が入力されると、これが音声信号に変換され、この音声信号から判定された感情に対応した振動が、前記音声信号に基づき音声再生手段９から出力される音と同時に、振動手段８を通じて出力される。この振動手段８の振動が、作用部１０を通じて人間の体表面に伝達されるため、単純に人間の音声を聞くよりも、音声に含まれる人間の感情に対して、より臨場感をもって伝達されるという効果を奏する。

また、本構成により周りの人に知られることなく手軽に相手の感情を体感させることができ、また、話者のプライバシーも保護することも可能になる。さらに、携帯電話の場合、歩行や他の行為をしながら電話をすることもあり画面表示で相手の表情や感情を見ながらの会話ができない状況においても受話器などの手にもっているものから相手の感情を知ることができる。

ここで、上記情報伝達装置の具体的操作について説明する。

図２は、振動パラメータとして振動の周期、振動の強度、振動の間隔を用いた場合の振動パラメータテーブル３を示す。例えば、音声信号から感情判定手段１により幸福の感情情報が検出された場合、制御判定手段２により、そのパラメータ値は、それぞれ振動の周期の値が、短、振動の振幅の値は小、振動の間隔の値は０（即ち連続的）であると判定される。この制御判定手段２により決定された振動パラメータ値に基づき振動制御手段４としての振動周期制御手段５、振動強度制御手段６、振動間隔制御手段７がそれぞれ制御信号を出力し、振動手段８がこの制御信号に基づき振動を行うことで、音声発生手段９で発生する人間の音声に内在する幸福感を演出する事ができる。

同様に、感情判定手段１により怒りの感情情報が検出された場合は、振動パラメータテーブルより、短周期で大振幅、連続的という振動パラメータ値が選択され、振動手段８によりこの振動が実行される。

感動判定手段１により悲しみの感情情報が検出された場合は、長周期で小振幅、間欠的という振動パラメータが選択され、このパラメータ値に対応した振動が振動手段８により実行される。

感情判定手段１により恐怖の感情情報が検出された場合は、長周期で大振幅、間欠的にという振動パラメータが選択され、このパラメータ値に対応した振動が振動手段８により実行される。上述のように、音声に加えて、音声から分析される感情情報に対応した振動をも加えることで、おのおのの感情を体表面を通じて臨場感をもって伝える事ができる。

本実施の形態における処理の流れは、図３に示される。

まず、音声を入力（Ｓ１）した後、感情を検出（Ｓ２）を行い、各感情に対応した振動パラメータを決定（Ｓ３）により、図２に示されるような振動パラメータを取得する。さらに振動パラメータに応じ振動手段を駆動（Ｓ４）すると同時に音声を再生（Ｓ５）し、それら音声と振動手段を同時に出力（Ｓ６）する事により、より臨場感の高い情報伝達が行われる。

この際に制御される振動手段８のパラメータとしては、図４に示されるように振動の振幅Ａ、振動の周期Ｔ、振動時間Ｔ１，非振動時間Ｔ２が挙げられ、音声から検出された感情に応じて、各々のパラメータを独立に制御する。

図５は、その制御の仕組みを示しており、振動パラメータテーブル３には、感情に応じてどのような振動パターンを実現させるのかを記憶しており、前記振動パラメータテーブル３より読み出された振動の振幅情報、周期情報、及び間隔情報を基に、振幅制御手段１５、周期制御手段１６、間隔制御手段１７がそれぞれのパラメータ情報を基に独立して電圧、電流等の制御を行い振動手段８を駆動する。

一例として図６に、それぞれの感情に対応して出力される振動手段の波形パターンを示す。

なお、本実施の形態において、感情判定手段２の結果として幸福、怒り、悲しみ、恐怖を用いたが、これ以外の感情を表すパラメータを利用して、振動を制御しても構わない。

なお、本実施の形態において、制御判定手段２として振動の周期、強度、間隔を一定のルールで定義したが、個人毎の感覚的な差異に合わせて変化をさせても構わない。

なお、本実施の形態において、制御判定手段２において振動手段８の振動の周期、強度、間隔を一定のルールで決定したが、振幅変調、周波数変調等のように振動の周期、強度、間隔のうちの複数の振動パラメータに対して影響のある振動パラメータを用いて制御を行っても構わない。

なお、本実施の形態において、音声を発した人間の感情に対応した振動を音声と同時に出力するため、振動手段８を用いて振動の周期、強度、間隔を変化させたが、音声を発した人間の感情に対応した画像を音声と同時に出力するため、ランプ、ＬＥＤ、ディスプレイ等の表示手段として、表示手段での視覚的変化を代用、もしくは併用させても構わない。

（実施の形態２）
図７は、本発明の実施の形態２における情報伝達装置の一例である電話機の受話器の概略図である。本実施の形態では、音声から検出された感情に応じて振動を制御し、振動手段からの出力振動を人の触覚に伝える作用部が、電話機の受話器の接耳部１１にあり、振動を伝えることを特徴とする。

かかる構成によると、電話を用いて通話を行う際に、音声を聞くために耳を当てている部分から、音声と同時に振動を得ることができ、より臨場感を感じることができる。

また、同様に把持部１２に作用部を設置し振動を伝えることも可能であり、手という人間の中で一番振動に敏感である部位より振動を得ることができ、より臨場感を感じることができる。

なお、本実施の形態として、接耳部１１より振動を伝える方式と把持部１２より振動を伝える方式を併用しても構わない。

（実施の形態３）
本発明の第３の実施形態における情報伝達装置について詳細に説明するにあたり、まず、本実施の形態の情報伝達装置の構成について説明する。

図８は、本実施の形態における情報伝達装置の一例である電話機の構成図である。本実施の形態における情報伝達装置が、実施の形態１と異なる点は、振動装置として偏心モータＡ１３及び偏心モータＢ１４を用いている点にある。上記以外の構成については、実施の形態１と同様であり、説明を省略する。

次に、本実施の形態の情報伝達装置の動作について説明する。

音声信号に基づき感情を判定する感情判定手段１を通してモータを制御する電圧もしくは電流を変化させて、制御判定手段２に前記感情判定手段１の判定結果としての感情情報を伝達する。制御判定手段２は、図２に示されているような感情情報とこの感情情報に対応した振動パラメータの値をテーブル状にまとめた振動パラメータテーブル３の内容と前記感情判定手段１の判定結果を照らし合わせ、感情情報に対応した振動パラメータのそれぞれの値を選択し、この値に基づいた値を振動制御手段が、振動手段８である偏心モータに出力する。

一例として、感情判定手段１の判定により幸福という感情情報が制御判定手段２に出力された場合、制御判定手段２は振動パラメータテーブル３を参照し、振動手段８（すなわち、偏心モータ）の振動の周期が「長」、振動の強度が「小」、振動の間隔が「連続」となる振動パラメータ値が選択され、この振動パラメータの値に基づき振動制御手段４が、制御信号を、振動手段８に出力する。

なお、上記振動の強度は、制御対象とされる偏心モータの個数を変化させる事でその強度を変化させる。感情情報が幸福の場合、上述のように振動強度は「小」なので、制御制御手段４から、偏心モーターＡ１３のみに制御信号を出力し、偏心モータＢ１４には、制御信号を流さないようにする。

また、感情情報が、怒りの場合、振動の強度は「大」なので、振動制御手段４から偏心モーターＡ１３と同時に偏心モータＢ１４にも制御信号を出力し、両者からの出力結果が重なることにより、その振動強度は「大」となる。

以上のように上記音声信号に対して、音声再生手段９から音声を出力すると同時に、振動手段である複数の偏心モータから音声から判定された各感情に対応した振動を併せて主力する事により、電話での会話を行っている時、臨場感の増した会話を楽しむ事ができる。

なお、振動強度の大小を、偏心モーターの個数で変化させているが、ソレノイド等の振幅等で実現させても構わない。

本発明にかかる情報伝達装置は、音声受信機能と振動手段を構成に持つ携帯電話等として有用である。またトランシーバや電話オペレータの受信部等の用途にも応用できる。

本発明の実施の形態１における情報伝達装置の一例である電話機の構成図 本発明の実施の形態１における情報伝達装置での感情に対応した振動装置の振動パターンの一例を示す図 本発明の実施の形態１における情報伝達装置の一例である電話機の動作を示すフローチャート 本発明の実施の形態４における情報伝達装置の一例である電話機の振動制御のパラメータ説明図 本発明の実施の形態４における情報伝達装置の一例である電話機の振動制御に関する概略図 本発明の実施の形態４における情報伝達装置の振動手段の波形パターン図 本発明の実施の形態２における情報伝達装置の一例である電話機の受話器の概略図 本発明の実施の形態３における情報伝達装置の一例である電話機の構成図 従来の情報伝達装置およびそれを用いた電話機の説明図 従来の情報伝達装置およびそれを用いた電話機の説明図

符号の説明

１ 感情判定手段
２ 制御判定手段
３ 振動パラメータテーブル
４ 振動制御手段
５ 振動周期制御手段
６ 振動強度制御手段
７ 振動間隔制御手段
８ 振動手段
９ 音声再生手段
１０ 作用部
１１ 接耳部
１２ 把持部
１３ 偏心モーターＡ
１４ 偏心モーターＢ
１５ 振幅制御処理
１６ 周期制御処理
１７ 間隔制御処理
１０１ 似顔絵部
１０２ ページャー表示部
１０３ スピーカー部

Claims (6)

1. 音声信号を基に音を出力する音声再生手段と、
   振動を発生する振動手段と、
   音声信号を基に人間の感情を判定する感情判定手段と、
   前記感情判定手段で判定された人間の感情情報に対応した振動パラメータを記録した振動パラメータテーブルと、
   前記振動パラメータテーブルを参照し、振動パラメータを決定する制御判定手段と、
   前記制御判定手段で決定された振動パラメータを基に振動手段を制御する振動制御手段と、
   前記振動手段からの振動出力を人間の触覚に伝達する作用部と、
   とを備え、
   前記音声信号に基づいた音が音声再生手段により再生される際に、前記振動手段は、前記音声信号から判定された感情に対応した振動を再生することを特徴とする情報伝達装置。
2. 振動パラメータテーブルは、振動の周期、振動の強度、及び振動の間隔の少なくともいずれかの振動パレメータに関する値を有し、制御手段は、制御判定手段により決定された前期振動パラメータの値に基づき振動手段を制御することを特徴とする請求項１記載の情報伝達装置。
3. 請求項１または２記載の情報伝達装置において、作用部が受話器であることを特徴とする
   電話機。
4. 振動手段を受話器の接耳部に内蔵していることを特徴とする請求項３に記載の電話機。
5. 振動手段を受話器の把持部に内蔵することを特徴とする請求項３に記載の電話機。
6. 請求項３〜５のいずれかに記載の電話機において、受話器が携帯端末であることを特徴とする
   携帯電話機。

Images