JP2007129623A - 情報伝達システム及び音声可視化装置 - Google Patents

Abstract

【課題】送話者、受話者の双方で音声の伝達具合を容易に把握することを可能にする。
【解決手段】受話側システム１００の可視化装置１２０は、スピーカ１１３から出力される送話者の音声をマイク部１２１により集音し、集音した音声をもとに音量及び方向を検出する。処理部１２２では、上記検出された音声の音量及び方向に基づいて視覚パターンに可視化エフェクトを施し、プロジェクタ１２３は、可視化エフェクトが施された視覚パターンをもとに可視化エフェクト像を投影する。また、投影された可視化エフェクト像は、受話側システム１００のカメラ１１２により撮影され、この撮影画像は、送話者側システム２００に送られ、送話者側システム２００のディスプレイ２２４に表示される。これにより、受話者は、送話者の発話の意図を把握することが可能となり、送話者は、受話者への音声の伝達具合を確認しながら発話を行うことができる。
【選択図】 図１

Description

この発明は、送話者と受話者との間で情報を伝達する情報伝達システム及び音声可視化装置に関する。

音声を用いるコミュニケーションにおいて、音量は重要であり、送話者が発する音声の伝わる各地点での音量を可視化することで、送話者が自分の声の伝わり具合を容易に把握することができる。例えば、映像音声通信装置において、送話側装置に入力する音量を可視化する手法として、マイクロホンに入力される音量に対して反応するピークメータを用いる手法がある。しかし、この手法では、通信相手先の受話側装置のスピーカから出力されている音量を把握することができないため、送話者は、自分の発した音声が受話者に到達しているか否かがわからない。

そこで、送話側装置に入力された音声が受話側空間に伝播する音量を可視化するために、受話側空間が撮影された画像を取得し、受話側空間で伝播する音量を表す可視化エフェクトを上記画像に重畳させる手法が提案されている。この手法では、受話側装置のマイクロホンでスピーカから出力される送話者の発話を収録し、その収録音声の音量を元に受話側空間における送話者の音の伝播を、受話側空間の環境と受話側空間にある通信システムのシステム設定に依存するキャリブレーションデータにより推測し、送話者に可視化エフェクトを用いてフィードバックしている。これにより、送話者は、例えば、受話者に明確に伝えたい場合や送話者側でひそひそ話をする場合など、意図的に受話者に伝わる音量を制御することが可能となる（例えば、非特許文献１を参照。）。

「Atsunobu K.，Yoshihiro S.，Minoru K.，"Ambient Pre-Communication −A study of voice volume control method on tele-communication" ，Proceedings of the Workshop Ambient Intelligence and (Everyday) Life，Spain，July,21-22，2005」

ところが、上記手法では、受話者側には可視化エフェクトが提示されないため、受話者は送話者がどの程度の音量で話そうとしているのか、という送話者の意図を把握することはできない。また、送話者は、受話側空間でどのくらいの騒音があるのか、周囲の人たちはどのくらいの音量で話しているのかを知ることはできないので、送話者は、受話側空間の周囲の状況に配慮して発話することができない。

この発明は、上記事情に着目してなされたもので、その目的とするところは、送話者から受話者に音声による情報伝達を行う場合に、送話者、受話者の双方で音声の伝達具合を容易に把握することができる情報伝達システム及び音声可視化装置を提供することにある。

上記目的を達成するためにこの発明に係る情報伝達システムは、撮像装置とスピーカとが配置される受話側空間に設けられる受話側装置と、モニタ装置とマイクロホンとが配置される送話側空間に設けられる送話側装置とを通信ネットワークを介して接続し、前記撮像装置により撮像された受話側空間の映像情報を前記受話側装置から送話側装置へ伝送してモニタ装置に表示すると共に、前記マイクロホンにより集音された送話側空間の音声情報を前記送話側装置から受話側装置へ伝送してスピーカに出力することにより、前記受話側装置と送話側装置との間で情報を伝達する情報伝達システムであって、前記受話側空間に配置される音声可視化装置を備える。そして、前記音声可視化装置は、前記スピーカから出力される音声を集音する集音手段と、前記集音された音声の音量を検出する検出手段と、前記音量に基づいて任意の視覚パターンにエフェクトをかける可視化エフェクト手段と、前記可視化エフェクト手段により可視化された視覚パターンを前記受話側空間に表示する表示手段とを備える。また、前記送話側装置は、前記撮像装置により撮像された視覚パターンを前記モニタ装置に表示することを特徴とする。

上記構成による情報伝達システムでは、受話側空間において、スピーカから出力される音声を集音し、集音された音声の音量を検出して、この検出された音量に応じた視覚パターンが受話側空間に表示される。また、撮像装置により撮像された視覚パターンが送話側空間に配置されるモニタ装置に表示される。これにより、例えば、送話側でひそひそ話が行われている状態のように、受話側で送話者がどの程度の音量で話そうとしているかという送話者の意図を把握することが可能となる。また、送話者は、会話開始前に呼びかけを行ったときにその声の届く様子を確認することができるので、声が伝わっている事を実感しながら受話者に声を伝えることができる。受話者周辺の騒音や会話音量なども視覚的に提示されるため、送話者は、受話者側の状況に応じて、受話者に届く音量を調節しながら呼びかけを行うことができる。周囲に声を漏らしたくない場合、周囲に漏れずに必要な相手には聴こえるように音量を調節することができる。

また、この発明に係る情報伝達システムは、前記表示手段は、前記視覚パターンを赤外線で前記受話側空間に投影する赤外線投影手段をさらに備え、前記受話側空間に配置される撮像装置は、前記受話側空間に赤外線で投影された視覚パターンの赤外線画像を撮像することを特徴とする。
このようにすると、受話者側には視覚パターンを提示することなく、送話者側のみに視覚パターンを提示することが可能となる。これにより、送話者は、可視化エフェクトに対する受話者の反応などを気にすることなく、発話することが可能となる。

また、この発明に係る音声可視化装置は、音声を集音する集音手段と、前記集音された音声の音量を検出する検出手段と、前記音量に基づいて任意の視覚パターンにエフェクトをかける可視化エフェクト手段と、前記可視化エフェクト手段により可視化された視覚パターンを表示する表示手段とを備えることを特徴とする。
上記構成による音声可視化装置によれば、集音された音声の音量が検出され、この音量に応じたエフェクトが施された視覚パターンが表示される。これにより、発話音声の伝達具合や受話者周辺の騒音状況を確認しながら会話等を行うことが可能となる。

また、この発明の音声可視化装置は、次のような各種構成を備えることも特徴とする。
第１の構成は、前記集音手段が複数方向に指向性を有し、各方向の音声をそれぞれ集音する場合に、前記検出手段は、前記集音された各方向の音声により音量と方向とを検出し、前記可視化エフェクト手段は、前記音量及び方向に基づいて前記視覚パターンを変化させる。
上記構成では、例えば、上記集音手段に複数のマイクロホンを用いて複数方向からの音声を集音し、集音された音声の音量と方向とを表す視覚パターンを表示するようにする。これにより、音声がどの方向からどの程度の音量で伝播してきたかを詳細に把握することができる。

第２の構成は、前記可視化エフェクト手段は、前記検出された音声の音量及び方向をもとに、最大音量となる方向を求め、その方向を示すように前記視覚パターンを変化させるようにする。
このように構成すると、音源に近い位置に視覚パターンが表示されるため、より確実に音声の伝播を把握することができる。

第３の構成は、前記検出手段は、前記音声が出力されない状態で、音声を一定時間集音してノイズレベルを算出し、前記集音された音声の音量と前記ノイズレベルとを比較し、前記表示手段は、前記音量が前記ノイズレベルより大きいと判定される場合に、前記表示手段は、前記視覚パターンを表示する。
上記構成では、受話側空間のノイズレベルを求め、求められたノイズレベルより大きい発話が検出された場合に視覚パターンが表示される。これにより、発話者は、受話側の騒音や周囲の会話などの状況に配慮して発話することが可能となる。

第４の構成は、前記表示手段は、前記視覚パターンを投影する投影手段をさらに備えることを特徴とする。
このようにすると、プロジェクタ等の投影装置により受話側空間の床や壁や天井などに視覚パターンを表示することができる。
第５の構成は、前記表示手段は、前記投影手段により前記視覚パターンが投影されるスクリーンをさらに備えるようにする。
このようにスクリーンを設けて提示する場所を制御することにより、例えば、視覚パターンを送話者のみに提示することが可能となる。

第６の構成は、前記可視化エフェクト手段は、前記視覚パターンとして照明装置の照度を変化させることを特徴とする。
例えば、検出された音量が大きいときは、照明を明るくし、音量の小さいときは暗くするようにする。これにより、簡易な構成で可視化エフェクトを提示することができる。

要するにこの発明によれば、送話者から受話者に音声による情報伝達を行う場合に、送話者、受話者の双方で音声の伝達具合を容易に把握することができる情報伝達システム及び音声可視化装置を提供することができる。

以下、図面を参照してこの発明の実施の形態について詳細に説明する。
図１は、この発明に係わる情報伝達システムの一実施形態を示す構成図である。
このシステムは、受話者側に配置される受話側システム１００と送話者側に配置される送話側システム２００との間を通信ネットワークＮＷを介して接続したものである。通信ネットワークＮＷは、例えば、ＬＡＮ（Local Area Network）やインターネットを含むＷＡＮ（Wide Area Network）により構成される。また、本実施形態では、受話側システム１００と送話側システム２００は、同一構成であるため、ここでは、受話側システム１００について説明し、送話側システム２００については構成の説明を省略する。

図２は、受話側システム１００の構成を示すブロック図である。受話側システム１００は、受話側装置１１０と可視化装置１２０とを備える。受話側装置１１０は、マイクロホン１１１と、カメラ１１２と、スピーカ１１３と、ディスプレイ１１４と、通信処理部１１５とを備える。マイクロホン１１１は、受話者により発せられる音声を集音する。カメラ１１２は、受話者及び受話側システム１００に配置される可視化装置１２０を含む受話側空間を撮像する。上記集音された音声及び撮像された画像は、通信処理部１１５により通信ネットワークＮＷを介して送話側システム２００に向けそれぞれ送信される。また、通信処理部１１５は、送話側システム２００から通信ネットワークＮＷを介して送信される送話側空間で集音された音声及び送話側空間の撮像画像を受信し、スピーカ１１３及びディスプレイ１１４にそれぞれ出力する。

可視化装置１２０は、マイク部１２１と、処理部１２２と、プロジェクタ部１２３とを備える。マイク部１２１には、少なくとも３本以上のマイクロホンを設置すればよく、本実施形態では、例えば、指向性を有する４本のマイクロホン１２１Ａ，１２１Ｂ，１２１Ｃ，１２１Ｄが、互いに異なる方向に向けて配置される。これらのマイクロホンは、それぞれスピーカ１１３から出力される発話者の音声や受話者周辺の騒音や会話音声を集音する。処理部１２２は、上記マイク部１２１により収集された音声の音量及び方向を検出し、この音声及び方向に基づいて、任意の視覚パターン（例えば、波紋など）に視覚的効果（可視化エフェクト）を施す。プロジェクタ部１２３は、処理部１２２の制御の下、上記可視化エフェクトが施された視覚パターンを受話側空間に投影する。

ここで、図３を参照して可視化装置１２０の構成例を具体的に説明する。例えば、ランプスタンド型で構成される可視化装置１２０において、マイク部１２１は、マイクの本数分で等分された方向に向けてマイクロホンを配置し、プロジェクタ部１２３は、床を投影面とするように下向きに配置される。このように構成すると、該可視化装置１２０に近い周辺のユーザにしか視覚パターンを見えないようにすることができる。また、処理部１２２の設置位置は、可視化装置１２０の内側でも外側でも構わなく、上記マイク部１２１とプロジェクタ部１２３とに接続される。

次に、このように構成される可視化装置１２０の動作について説明する。図４は、可視化装置１２０の動作の手順とその内容を示すフローチャートである。
先ず、ステップＳ１において、マイク部１２１により集音された音声の音量が、処理部１２２に入力される。例えば、４本の指向性マイクロホン１２１Ａ，１２１Ｂ，１２１Ｃ，１２１Ｄが設置されている場合は、各マイクロホンで集音された音声の音量を検出し、処理部１２２にそれぞれ入力する。

処理部１２２は、ステップＳ２において、入力された音声の音量と予め初期値が設定されるノイズ閾値とを比較する。入力音量がノイズ閾値より大きいと判定された場合は、マイク部１２１に発話などが入力された可能性が高いと判別し、ステップＳ５に移行する。一方、入力音量がノイズ閾値より小さいと判定された場合は、マイク部１２１にはノイズしか入力されていないと判別し、ステップＳ３に移行する。例えばノイズ閾値が５０ｄＢで入力音量が４０ｄＢである場合、４０ｄＢの入力音量はノイズとして判別される。ステップＳ３では、ノイズとして判別された入力音量をもとにノイズ閾値の更新を行う。

ステップＳ３では、例えば、過去１０秒間に、ノイズと判別されず発話の可能性が高いと判別される入力音量があった場合、発話の可能性が高い入力音量が入力される前のノイズ閾値をそのまま利用し続け、ノイズ閾値は更新されない。一方で、例えば、過去１０秒間に、ノイズと判別される入力音量が続いた場合、その１０秒間における入力音量の平均値をノイズ閾値として更新する。ノイズ閾値の初期値は、利用される空間で生じるノイズレベルよりも大きな設定値、例えば９０ｄＢに設定される。

次に、ステップＳ４において、処理部１２２は、上記ステップＳ１でマイク部１２１から入力された音量と、予め、処理部１２２が備える記憶部に記憶された各マイクロホン毎の指向性の方向のデータとを対応付ける。
ステップＳ５では、発話の可能性が高い入力があった場合に、その入力音声の到来方向の推定を行う。マイク部１２１の各マイクの指向性の方向と入力音量のデータを元に、推定を行う。到来方向の推定方法としては、一般的な音源推定方法である遅延和法（複数個のマイクロホンを用い、各々のマイクに到達した音の相互相関によって時間差を求める方法）や、ＭＵＳＩＣ（multiple signal classification）、ＥＳＰＲＩＴ（Estimation of Signal Parameters via Rotational Invariance Techniques）、“菊間信良：「アダプティブアンテナ技術」、オーム社”、“菊間信艮、「アレーアンテナによる適応信号処理」、科学技術出版”を用いる方法と、音声の入力音量とマイクの指向性の方向により簡易に求める方法とがある。簡易に求める方法としては、例えば、最も大きな音量を入力された上位２つのマイクロホン、例えば、マイクロホン１２１Ａ、マイクロホン１２１Ｂの音量の関係により、２つのマイクロホンの間のどの位置から音声が到来したかを決定し、推定する方法が考えられる。

そして、ステップＳ６において、処理部１２２は、入力音声の音声及び到来方向に基づく可視化エフェクト画像を生成する。可視化エフェクト画像とは、例えば、波紋等の任意の視覚パターンに音声に応じた視覚的効果を施した投影画像であり、音が一定のｄＢ以上の大きさで伝達されている範囲を示すもので、詳細は後述する。プロジェクタ部１２３は、ステップＳ７において、上記生成された可視化エフェクト画像をもとに床面に可視化エフェクト像を投影する。

ここで、図５を参照して、可視化エフェクトの提示方法について説明する。図５において、測定された音量と推定された到来方向を元に、可視化装置１２０の位置での音声情報として、可視化エフェクト像５０１が投影される。音量の大小は、可視化エフェクト像５０１における、波紋を描く線の太さ、色の濃淡や明るさ、提示される範囲の大小などによって表現される。到来方向は、音波の進行方向を知覚できる可視化エフェクト像５０１の形状によって表現される。図４において、それぞれの可視化エフェクト像５０１での音量の大小による違い、可視化エフェクト像５０１の音波の進行方向を示す。また、他にも、入力音声の周波数成分ごとの大きさを例えば、色を変えて提示する可視化エフェクト像５０１や、ある特定の周波数帯の音の大きさのみを提示する可視化エフェクト像５０１などが考えられ、音の持つ様々な特性を視覚的な特徴に変換して表示することが可能である。

図５では、発話等の入力のない場合の定常的な入力音量からノイズレベルを求め、そのノイズレベルに基づいて算出される可視化装置１２０の位置での人の一般的な最小可聴閾を閾値とし、最小可聴閾以上の音声入力があるときに、可視化装置１２０の位置から、音波の進行方向に向けて閾値以上の音が届いていることを、波紋を模した波の線によって示す可視化エフェクト像５０１を投影するものである。

また、可視化エフェクトの表現には、可視化エフェクト像５０１の他にも次のようなパターンが考えられる。
図６は、発話等の入力のない場合の定常的な入力音量からノイズレベルを求め、そのノイズレベルに基づいて算出される可視化装置１２０の位置より音声の音源位置に近い地点Ｄ（最大音量となる方向）における、人の一般的な最小可聴閾を閾値とし、可視化装置１２０のマイク部１２１で集音された音量をもとに、地点Ｄにおける音量を音のパワーが距離の２乗に反比例して減衰するという原理を用いて推定する。そして、地点Ｄにおいて、最小可聴閥以上の音量が推定されたときに、地点Ｄから可視化装置１２０の方向に向けて閾値以上の音が届いていることを波紋を模した波の線によって示す可視化エフェクト像６０１を投影するものである。

図７は、発話等の入力のない場合の定常的な入力音量からノイズレベルを求め、そのノイズレベルに基づいて算出される可視化装置１２０の位置での人の一般的な最小可聴閾を閾値とし、最小可聴閾以上の音声入力があるときに、可視化装置１２０の位置から音波の進行方向に向けて閾値以上の音が届いていることを、それぞれの地点に届いている音量に応じた明るさによって示す可視化エフェクト像７０１を投影するものである。

図８は、発話等の入力のない場合の定常的な入力音量からノイズレベルを求め・そのノイズレベルに基づいて算出される可視化装置１２０の位置での人の一般的な最小可聴閾を閾値とし、最小可聴閾以上の音声入力があるときに、可視化装置１２０の位置に、例えば電球の明るさと暗さによって音量の大小を示すエフェクトを投影するものである。

図９は、発話等の入力のない場合の定常的な入力音量から可視化装置１２０が設置される空間のノイズレベルを求め、そのノイズレベルに基づいて算出される可視化装置１２０が設置される空間の各地点での人の一般的な最小可聴閾を閾値とし、可視化装置１２０のマイク部１２１で集音された音量より空間の各地点における音量を音のパワーが距離の２乗に反比例して減衰するという原理を用いる方法、あるいは可視化装置１２０を利用する前に可視化装置１２０にある音量が伝わっているときにその空間の各地点に伝わる音量を計測してその空間の音伝播に関するキャリブレーションデータを用いる方法によって推定し、空間の各地点に最小可聴閾以上の音量が推定されたときに、該当する各地点にまで及ぶように可視化エフェクト像９０１を投影するものである。

音のパワーが距離の２乗に反比例して減衰するという原理を用いる例の特徴は、正確でない音伝播の可視化を行うことになるが、非常に簡易である。可視化装置１２０を利用する前に可視化装置１２０にある音量が伝わっているときに、その空間の各地点に伝わる音量を計測してその空間の音伝播に関するキャリブレーションデータを用いる例の特徴は、正確な音伝播の可視化を行うことができるが、準備までに時間がかかる。

次に、可視化装置１２０の他の構成例を示す。図１０は、ランプスタンド型の可視化装置１２０において、ランプシェード１２４の上面を投影面として、プロジェクタ１２３により可視化エフェクト像を投影するものである。このようにすると、受話側のカメラ１１２を上方からランプシェード１２４の上面を撮影可能なように設置し、可視化エフェクト像をランプシェード１２４の上面のみに投影することで、送話側空間にいる送話者のみに可視化エフェクト像が見えるように制御することができる。

また、可視化エフェクト像を赤外線で投影することも可能である。例えば、プロジェクタ１２３は、投射口に赤外線透過フィルタ（図示せず）が配設され、可視光成分と赤外線成分とを含む光を発光する光源を内蔵し、この光源から可視化エフェクト像を発光させる。赤外線透過フィルタは、上記プロジェクタ１２３から発光された光の波長成分のうち、可視光成分を遮断して赤外線成分のみを透過するため、受話側空間に赤外線による可視化エフェクト像が投影される。一方、受話側通信装置１１０のカメラ１１２は、赤外線画像を撮像可能な赤外線カメラで構成され、上記投影された赤外線による可視化エフェクト像をカメラ１１２で撮像することにより、送話側のディスプレイ２２４には可視化エフェクト像が撮像された赤外線画像が表示される。このようにしても、受話者側には可視化エフェクトを提示することなく、送話者側のみに可視化エフェクトを提示することが可能となる。
上述したように、受話者側に、可視化エフェクト像を見せないように制御することよって、送話者は、受話者と可視化エフェクトの相互作用（例えば、可視化エフェクトに対する受話者の反応など）を気にせずに呼びかけることが可能になる。

また、図１１のように、ハーフミラ１２５やミラー１２６を用いて床面とランプシェード１２４の上面の両方に可視化エフェクト像を投影することで、該装置に近い周辺の受話者と通信システムを介して遠隔から受話側空間を見ている送話者との両方から見えるように制御することも可能である。送話者と可視化装置１２０の付近にいる受話者だけに可視化エフェクトを提示することによって、受話者の遠巻きにいる人たちに、会話中の音量調節のやり取り等を知られることがない。
その他に、受話側空間が高い天井を持つ場合に、部屋の天井面に可視化エフェクト像を投影することで、該可視化装置１２０の設置された空間にいる受話者全員に提示することも可能である。

図１２に可視化装置１２０の設置の一例を示す。可視化装置１２０は、基本的に受話者が存在する範囲周辺に自由に配置することで効果を得ることできる。しかし、複数の可視化装置１２０を分散して配置することによる効果を効率的に得るために、推奨される設置の方針があるので以下に示す。推奨される可視化装置１２０の配置は、図１２に示すように、各装置が正三角形の頂点に位置するように配置することである。これによって、可視化装置１２０の位置を頂点とする正三角形で囲まれた領域が推定可能領域１２０となる。推定可能領域１２０１は、その領域の内部に人がいる場合、最も正確にその人に伝わる音量を補完して推定することができる領域である。本実施形態のように、通信システムを用いる場合は、スピーカ１１３の前方に可視化装置１２０を１台設置し、これを含めて最低３台以上の可視化装置１２０を設置する事を推奨する。

また、図１３に示すように、さらに、可視化装置１２０の設置台数を増やすことによって、推定可能領域１３０２，推定可能領域１３０３のように広範囲に可視化エフェクト像を投影することができる。また、各デバイスを近づけて設置することによって高密度な可視化エフェクト像を投影することも可能である。

以上述べたように、上記実施形態では、受話側システム１００の可視化装置１２０は、スピーカ１１３から出力される送話者の音声をマイク部１２１により集音し、集音した音声をもとに音量及び方向を検出する。処理部１２２では、上記検出された音声の音量及び方向に基づいて視覚パターンに可視化エフェクトを施し、プロジェクタ１２３は、可視化エフェクトが施された視覚パターンをもとに可視化エフェクト像を投影する。また、投影された可視化エフェクト像は、受話側システム１００のカメラ１１２により撮影され、この撮影画像は、送話者側システム２００に送られ、送話者側システム２００のディスプレイ２２４に表示される。

したがって上記実施形態によれば、受話者は、送話者がどの程度の音量で話しているのかという、送話者の発話の意図を把握することが可能となる。また、送話者は、受話者への音声の伝達具合を確認しながら、発話を行うことができる。また、受話者周辺の騒音や会話音量なども視覚的に提示されるため、送話者は、受話者側の状況に応じて、受話者に届く音量を調節しながら呼びかけを行うことができる。これにより、送話者から受話者に音声による情報伝達を行う場合に、送話者、受話者の双方で音声の伝達具合を容易に把握することができるため、円滑なコミュニケーションを図ることができる。

なお、この発明は上記実施形態に限定されるものではない。例えば、受話側システム１００及び送話側システム２００のシステム構成、可視化装置１２０の構成、及びその動作手順とその内容についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

この発明の一実施形態に係る情報通信システムを示す全体構成図。 図１に示す通信装置及び可視化装置の構成を示すブロック図。 図２に示す可視化装置の形状を示す図。 図２に示す可視化装置の動作手順とその内容を示すフローチャート。 図３に示す可視化装置が表示する可視化エフェクトの提示例を示す図。 図３に示す可視化装置が表示する可視化エフェクトの他の提示例を示す図。 図３に示す可視化装置が表示する可視化エフェクトの他の提示例を示す図。 図３に示す可視化装置が表示する可視化エフェクトの他の提示例を示す図。 図３に示す可視化装置が表示する可視化エフェクトの他の提示例を示す図。 図３に示す可視化装置の他の形状を示す図。 図３に示す可視化装置の他の形状を示す図。 上記実施形態の可視化装置の設置例を示す図。 上記実施形態の可視化装置の設置例を示す図。

符号の説明

１００…受話側システム、２００…送話側システム、ＮＷ…通信ネットワーク、１１０，２１０…通信装置、１１１，２１１…マイクロホン、１１２，２１２…カメラ、１１３，２１３…スピーカ、１１４，２１４…ディスプレイ、１１５，２１５…通信処理部、１２０，２２０…可視化装置、１２１，２２１…マイク部、１２２，２２２…処理部、１２３，２２３…プロジェクタ部。

Claims (9)

1. 撮像装置とスピーカとが配置される受話側空間に設けられる受話側装置と、モニタ装置とマイクロホンとが配置される送話側空間に設けられる送話側装置とを通信ネットワークを介して接続し、前記撮像装置により撮像された受話側空間の映像情報を前記受話側装置から送話側装置へ伝送してモニタ装置に表示すると共に、前記マイクロホンにより集音された送話側空間の音声情報を前記送話側装置から受話側装置へ伝送してスピーカに出力することにより、前記受話側装置と送話側装置との間で情報を伝達する情報伝達システムであって、
   前記受話側空間に配置される音声可視化装置を備え、
   前記音声可視化装置は、
   前記スピーカから出力される音声を集音する集音手段と、
   前記集音された音声の音量を検出する検出手段と、
   前記音量に基づいて任意の視覚パターンにエフェクトをかける可視化エフェクト手段と、
   前記可視化エフェクト手段により可視化された視覚パターンを前記受話側空間に表示する表示手段と
   を備え、
   前記送話側装置は、前記撮像装置により撮像された視覚パターンを前記モニタ装置に表示することを特徴とする情報伝達システム。
2. 前記表示手段は、前記視覚パターンを赤外線で前記受話側空間に投影する赤外線投影手段をさらに備え、
   前記受話側空間に配置される撮像装置は、前記受話側空間に赤外線で投影された視覚パターンの赤外線画像を撮像することを特徴とする請求項１記載の情報伝達システム。
3. 音声を集音する集音手段と、
   前記集音された音声の音量を検出する検出手段と、
   前記音量に基づいて任意の視覚パターンにエフェクトをかける可視化エフェクト手段と、
   前記可視化エフェクト手段により可視化された視覚パターンを表示する表示手段と
   を備えることを特徴とする音声可視化装置。
4. 前記集音手段が複数方向に指向性を有し、各方向の音声をそれぞれ集音する場合に、前記検出手段は、前記集音された各方向の音声により音量と方向とを検出し、前記可視化エフェクト手段は、前記音量及び方向に基づいて前記視覚パターンを変化させることを特徴とする請求項３記載の音声可視化装置。
5. 前記可視化エフェクト手段は、前記検出された音声の音量及び方向をもとに、最大音量となる方向を求め、その方向を示すように前記視覚パターンを変化させることを特徴とする請求項４記載の音声可視化装置。
6. 前記検出手段は、前記音声が出力されない状態で、音声を一定時間集音してノイズレベルを算出し、
   前記集音された音声の音量と前記ノイズレベルとを比較し、前記表示手段は、前記音量が前記ノイズレベルより大きいと判定される場合に、前記表示手段前記視覚パターンを表示することを特徴とする請求項３記載の音声可視化装置。
7. 前記表示手段は、前記視覚パターンを投影する投影手段をさらに備えることを特徴とする請求項３記載の音声可視化装置。
8. 前記表示手段は、前記投影手段により前記視覚パターンが投影されるスクリーンをさらに備えることを特徴とする請求項７記載の音声可視化装置。
9. 前記可視化エフェクト手段は、前記視覚パターンとして照明装置の照度を変化させることを特徴とする請求項３記載の音声可視化装置。

Images