JP2015220655A - 遠距離点間双方向コミュニケーションシステムおよび遠距離点間双方向コミュニケーション方法 - Google Patents

遠距離点間双方向コミュニケーションシステムおよび遠距離点間双方向コミュニケーション方法 Download PDF

Info

Publication number
JP2015220655A
JP2015220655A JP2014103994A JP2014103994A JP2015220655A JP 2015220655 A JP2015220655 A JP 2015220655A JP 2014103994 A JP2014103994 A JP 2014103994A JP 2014103994 A JP2014103994 A JP 2014103994A JP 2015220655 A JP2015220655 A JP 2015220655A
Authority
JP
Japan
Prior art keywords
space
sound
unit
audio
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014103994A
Other languages
English (en)
Other versions
JP6353700B2 (ja
Inventor
昌孝 冨樫
Masataka Togashi
昌孝 冨樫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Information Network Corp
Mitsubishi Electric Information Technology Corp
Original Assignee
Mitsubishi Electric Information Network Corp
Mitsubishi Electric Information Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Information Network Corp, Mitsubishi Electric Information Technology Corp filed Critical Mitsubishi Electric Information Network Corp
Priority to JP2014103994A priority Critical patent/JP6353700B2/ja
Publication of JP2015220655A publication Critical patent/JP2015220655A/ja
Application granted granted Critical
Publication of JP6353700B2 publication Critical patent/JP6353700B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】別のフロア、あるいは別のロケーションにある部屋にいる双方の話者に対して、同一空間にいるときと同様なコミュニケーション環境を提供する。
【解決手段】画像撮像部(1a、1b)、画像表示部(2a、2b)、音声収集部(3a、3b)、および音声出力部(4a、4b)を制御する空間内制御部(10a、10b)が相互通信を行う遠距離点間双方向コミュニケーションシステムであって、空間内制御部(10a、10b)は、自身の空間内の音声集音部で集音された音声信号の中に、自身の空間内の音声出力部から出力された音声信号の一部が含まれているエコー状態が発生していると判断した場合には、自身の空間内の音声出力部から出力する音声信号の指向性を狭める、または音圧を下げることでエコー状態を解消するように、音声出力部を制御する。
【選択図】図2

Description

本発明は、離れた空間同士があたかも連続しているかのような映像と音声の表現により、同一空間にいるときと同様なコミュニケーション環境を実現する遠距離点間双方向コミュニケーションシステムおよび遠距離点間双方向コミュニケーション方法に関するものである。
マイクロホンとスピーカとを備えた音声入出力装置を用いて、双方向音声通信を行う際に、スピーカから発せられた音波の反射波による音響エコーを軽減させる従来技術がある(例えば、特許文献1参照)。
この特許文献1に係る音声入出力装置は、マイクロホンと、平面状のスピーカ面を有し入力された音声信号に対応する音声を平面波として出力するスピーカと、マイクロホンにより集音された音声を表す音声信号を通信網を介して相手装置へ送信する一方、通信網を介して相手装置から受信した音声信号をスピーカへと供給しその音声信号に応じた音声を放音させる通信制御部と、スピーカを、対向する壁面に対してそのスピーカ面が所定の角度だけ傾けた状態でスピーカを保持するとともに、スピーカの近傍にマイクロホンを保持する本体とを有している。
このような構成を備えることで、平面スピーカとマイクロホンとを備えた音声入出力装置を用いて双方向音声通信を行う際に、平面スピーカから出力された音波(平面波)の反射波に起因する音響エコーを軽減させることが可能になる。
特開2007−28220号公報
しかしながら、従来技術には、以下のような課題がある。
壁面一面に双方の居室を移し出し、音声も同時に交換する環境を構築する場合、従来技術では、相互の画面が映し出されても、音声が伴っていない、あるいは、双方で近寄って立ち話が可能となるような環境が提供できないといった問題があった。
音声の場合、特許文献1に開示されたような方式では、自分の発生した声(入力側)が、相手側のスピーカ(出力側)から出力され、相手側のマイクによって再び拾われてしまい、あたかも相手側が発生した音声として、自分側のスピーカから出力されることとなる。この結果、同時に会話する自由な情報交換を妨げてしまっていた。
このような音響エコーに関する音声については、エコーキャンセラを使い、スピーカからの音をマイクで拾わないようにする技術がある。しかしながら、この場合、相手の声と自分の声を同時に聞くことができない。すなわち、相互の同時会話が不可能であった。
また、スピーカからの音をマイクで拾わないようにする技術としては、指向性の音声伝達を活用することもできる。このような技術では、話者の音声領域と、指向性を有するスピーカが発生する音声領域とを明確に区別することにより、初めて互いの会話がエコーせずに実現可能となる。
ただし、この技術を活用するためには、マイクが拾う領域を、スピーカの発生する領域に到達しないようにする必要がある。そのため、マイクが拾う領域を離した場合には、話者の自然な発生音が拾えなくなるといった問題がある。
また、会話を行っている場合には、相手側の発生する音声の大きさ、あるいは聞く側の体による反射により、発生音領域が拡散し、スピーカから発生された音声をマイクが拾ってしまう可能性がある。さらに、指向性を有することで、利用者の位置、利用者の数が限定される可能性があった。
本発明は、前記のような課題を解決するためになされたものであり、別のフロア、あるいは別のロケーションにある部屋にいる双方の話者に対して、同一空間にいるときと同様なコミュニケーション環境を提供する遠距離点間双方向コミュニケーションシステムおよび遠距離点間双方向コミュニケーション方法を得ることを目的とする。
本発明に係る遠距離点間双方向コミュニケーションシステムは、離れた第1の空間および第2の空間の双方の居室内に設置された画像撮像部、画像表示部、音声収集部、および音声出力部を制御する空間内制御部が相互通信を行うことにより、双方の画像、音声をリアルタイムに送受信し、第1の空間内の話者と第2の空間内の話者が、画像により双方を認識し、音声により相互会話を行う遠距離点間双方向コミュニケーションシステムであって、音声出力部は、外部からの制御信号に基づいて、画像表示部に対して垂直な方向における音声信号の指向性および音圧を調整可能な構成を有し、第1の空間内および第2の空間内に設けられた空間内制御部のそれぞれは、相互通信を介して取得した、他の空間内の画像撮像部で撮像された画像信号を、自身の空間内の画像表示部に表示させ、相互通信を介して取得した、他の空間内の音声集音部で集音された音声信号を、自身の空間内の音声出力部から出力させ、自身の空間内の音声集音部で集音された音声信号の中に、自身の空間内の音声出力部から出力された音声信号の一部が含まれているエコー状態が発生していると判断した場合には、自身の空間内の音声出力部から出力する音声信号の指向性を狭める、または音圧を下げることでエコー状態を解消するように、制御信号を出力するものである。
また、本発明に係る遠距離点間双方向コミュニケーション方法は、離れた第1の空間および第2の空間の双方の居室内に設置された画像撮像部、画像表示部、音声収集部、および音声出力部を制御する空間内制御部が相互通信を行うことにより、双方の画像、音声をリアルタイムに送受信し、第1の空間内の話者と第2の空間内の話者が、画像により双方を認識し、音声により相互会話を行う遠距離点間双方向コミュニケーションシステムに用いられる遠距離点間双方向コミュニケーション方法であって、第1の空間内および第2の空間内に設けられた空間内制御部のそれぞれにおいて、相互通信を介して取得した、他の空間内の画像撮像部で撮像された画像信号を、自身の空間内の画像表示部に表示させる画像表示ステップと、相互通信を介して取得した、他の空間内の音声集音部で集音された音声信号を、自身の空間内の音声出力部から出力させる音声出力ステップと、自身の空間内の音声集音部で集音された音声信号の中に、自身の空間内の音声出力部から出力された音声信号の一部が含まれているエコー状態が発生しているか否かを判断エコー状態判定ステップと、エコー状態判定ステップによりエコー状態が発生していると判断した場合には、外部からの制御信号に基づいて、画像表示部に対して垂直な方向における音声信号の指向性および音圧を調整可能な構成を有する音声出力部に対して、自身の空間内の音声出力部から出力する音声信号の指向性を狭める、または音圧を下げることでエコー状態を解消するように、制御信号を出力する音声出力制御ステップとを有するものである。
本発明によれば、相互の画像を互いの居室の壁面に写し、音声についても相互の音声を互いの居室に流す。このときに、空間内の音声出力部から出力される音声信号が、音声集音部で集音されないように、音声信号の指向性と音圧を制御可能な構成を備えている。この結果、別のフロア、あるいは別のロケーションにある部屋にいる双方の話者に対して、同一空間にいるときと同様なコミュニケーション環境を提供する遠距離点間双方向コミュニケーションシステムを得ることができる。
本発明の実施の形態1における遠距離点間双方向コミュニケーションシステムの概念を説明するための図である。 本発明の実施の形態1における遠距離点間双方向コミュニケーションシステムの構成図である。 本発明の実施の形態1に係る遠距離点間双方向コミュニケーションシステムにおいて、互いに遠隔にある空間A、空間Bが、あたかも隣接した同一空間となるように表現したイメージ図を示したものである。 本発明の実施の形態1に係る遠距離点間双方向コミュニケーションシステムにおいて、空間A内の画像表示部に、空間B内の画像が表示された状態を模式的に示した図である。 本発明の実施の形態1における遠距離点間双方向コミュニケーションシステムで用いられる音声集音部と音声出力部に関する説明図である。 本発明の実施の形態1に係る遠距離点間双方向コミュニケーションシステムにおいて、エコーの発生を抑制するための音声出力部の制御に関する説明図である。 本発明の実施の形態1に係る遠距離点間双方向コミュニケーションシステムにおいて、エコー問題を解消するための制御方法を示した説明図である。 本発明の実施の形態1に係る遠距離点間双方向コミュニケーションシステムにおいて、複数の話者を対象に音声出力を制御する手法の説明図である。 本発明の実施の形態1に係る遠距離点間双方向コミュニケーションシステムにおいて、複数の話者を対象に音声出力を制御する手法の説明図である。 本発明の実施の形態1に係る遠距離点間双方向コミュニケーションシステムにおいて、1対1の双方向コミュニケーションを行う手法の説明図である。 本発明の実施の形態1に係る遠距離点間双方向コミュニケーションシステムにおいて、1対1の双方向コミュニケーションを行う手法であり、図10とは異なる説明図である。
以下、本発明の遠距離点間双方向コミュニケーションシステムおよび遠距離点間双方向コミュニケーション方法の好適な実施の形態につき図面を用いて説明する。
実施の形態1.
まず始めに、本発明に係る遠距離点間双方向コミュニケーションシステムの概念および構成について、図1〜図4を用いて説明する。本実施の形態1における遠距離点間双方向コミュニケーションシステムは、離れた空間同士である2つの空間A、空間Bを、互いに映像(画像)と音声であたかも同一空間となるように表現するものである。
図1は、本発明の実施の形態1における遠距離点間双方向コミュニケーションシステムの概念を説明するための図である。また、図2は、本発明の実施の形態1における遠距離点間双方向コミュニケーションシステムの構成図である。
2つの空間のうちの一方の空間Aは、空間A制御部10aと、この空間A制御部10aに接続された画像撮像部1a、画像表示部2a、音声集音部3a、音声出力部4aとで構成されている。
また、2つの空間のうちのもう一方の空間Bは、空間B制御部10bと、この空間B制御部10bに接続された画像撮像部1b、画像表示部2b、音声集音部3b、音声出力部4bとで構成されている。
さらに、空間A制御部10aと空間B制御部10bとに接続され、システム全体を統括する統括制御部20を備えている。なお、空間A制御部10aと空間B制御部10bと統括制御部20は、例えば、ネットワークを介して接続されている。また、統括制御部20は、必ずしも必要なく、空間A制御部10aと空間B制御部10bとが、直接、相互通信を行う構成とすることも可能である。
画像撮像部1a、1bは、自身が設置された空間を撮像するカメラに相当する。すなわち、画像撮像部1aは、空間A内を撮像し、画像撮像部1bは、空間B内を撮像する。
画像表示部2a、2bは、他方の空間で撮像された画像が表示される、自身の居室の壁面に相当する。すなわち、画像表示部2aは、空間Aの壁面に相当し、画像撮像部1bにより撮像された、遠隔の空間B内の画像が空間A内の壁面に表示されることで、空間Aと空間Bとが、あたかも隣接された空間として表現される。
同様に、画像表示部2bは、空間Bの壁面に相当し、画像撮像部1aにより撮像された、遠隔の空間A内の画像が空間B内の壁面に表示されることで、空間Aと空間Bとが、あたかも隣接された空間として表現される。
音声集音部3a、3bは、自身が設置された空間内の音声を集音するマイクに相当する。すなわち、音声集音部3aは、空間A内の話者の音声を集音するために設けられており、音声集音部3bは、空間B内の話者の音声を集音するために設けられている。
また、音声出力部4a、4bは、他方の空間で集音された音声を出力するスピーカに相当する。すなわち、音声出力部4aは、音声集音部3bにより集音された、遠隔の空間B内の音声を、空間A内に出力することで、空間B内の話者による音声を空間A内の話者に伝達する。
同様に、音声出力部4bは、音声集音部3aにより集音された、遠隔の空間A内の音声を、空間B内に出力することで、空間A内の話者による音声を空間B内の話者に伝達する。
図1は、このような2つの空間A、空間Bのそれぞれに設置される機器を示したものである。ただし、図1においては、空間A制御部10a、空間B制御部10b、および統括制御部20の図示を省略している。
図3は、本発明の実施の形態1に係る遠距離点間双方向コミュニケーションシステムにおいて、互いに遠隔にある空間A、空間Bが、あたかも隣接した同一空間となるように表現したイメージ図を示したものである。図1、図2を用いて説明したように、相手方の空間内の画像を、自身の壁面に表示し、また、図3では図示を省略しているが、相手方の空間内で集音した音声を、自身の空間内に出力することで、互いに遠隔にある空間A、空間Bが、あたかも隣接した同一空間として表現可能となる。
図4は、本発明の実施の形態1に係る遠距離点間双方向コミュニケーションシステムにおいて、空間A内の画像表示部2aに、空間B内の画像が表示された状態を模式的に示した図である。
空間A内にいる話者は、空間Aの壁面に相当する画像表示部2aに表示された空間B内の画像と、空間Aの音声出力部4aから出力される空間B内の音声とを得ることで、空間Bが、あたかも自身の空間Aと隣接している感覚で、空間B内の話者と双方向コミュニケーションを図ることができる。
同様に、空間B内にいる話者は、空間Bの壁面に相当する画像表示部2bに表示された空間A内の画像と、空間Bの音声出力部4bから出力される空間A内の音声とを得ることで、空間Aが、あたかも自身の空間Bと隣接している感覚で、空間A内の話者と双方向コミュニケーションを図ることができる。
本実施の形態1における遠距離点間双方向コミュニケーションシステムは、上述したような音声と画像の処理において、特に、音声出力部4a、4bに指向性および音圧の調整機構を持たせ、音声出力を適切に制御することを特徴としている。そこで、この特徴を中心に、以下に詳細を説明する。なお、以下の説明では、空間A内を例に説明するが、空間Bについても、全く同様の技術が適用できる。
本実施の形態1における音声出力部4aは、指向性および音圧を可変制御できることを特徴としている。図5は、本発明の実施の形態1における遠距離点間双方向コミュニケーションシステムで用いられる音声集音部3aと音声出力部4aに関する説明図である。図5に示すように、本実施の形態1では、音声出力部4aとして、指向性スピーカ、あるいは狭指向性スピーカを活用することで、遠隔の異なる空間内にいる話者による互いの会話を、エコーすることなしに実現している。
図5に示すように、指向性スピーカの発生音領域は、音声集音部(マイク)3aの集音領域と重ならないように設置されている。このような場合には、音声出力部4aから出力された音声が、音声集音部3aに入力されることがないため、エコーの問題は発生しない。
しかしながら、音声出力部4aからの出力が大きくなった場合、あるいは、話者が動いたような場合には、音声出力部4aから出力された音声が、その音声を聴く話者の体で反射し、音声集音部3aに入力され、エコーの問題が発生するおそれがある。そこで、このような問題に対する本発明の対応策について、図6、図7を用いて詳細に説明する。
図6は、本発明の実施の形態1に係る遠距離点間双方向コミュニケーションシステムにおいて、エコーの発生を抑制するための音声出力部4aの制御に関する説明図である。より具体的には、図6(a)は、音声出力部4aからの出力(音圧)が大きくなったことで、話者の体で反射した音声が、音声集音部3aに取り込まれ、エコーの問題が発生した状態を示している。また、図6(b)は、エコーの問題を解消するために、音声出力部4aからの出力として、指向性および音圧が制御された状態を示している。
図6では図示していないが、本実施の形態1における空間A制御部10aは、音声出力部4aから出力され、聞く側の話者の体で反射された音声が、音声集音部3aであるマイク側で認識された場合には、図6(b)に示すように、リアルタイムで音声出力部4aをコントロールし、反射によるエコーが発生しないようにする。
図7は、本発明の実施の形態1に係る遠距離点間双方向コミュニケーションシステムにおいて、エコー問題を解消するための制御方法を示した説明図である。この図7のステップS1〜ステップS4までの一連処理に基づいて、具体的な制御方法を説明する。
(ステップS1)音声出力部4aからの音声出力
空間A制御部10aは、空間B制御部10bを介して取得した、音声集音部3bで集音された空間Bの音声を、音声出力部4aから出力する。この際、音声出力部4aから出力される音声信号には、音声出力部4aからの出力音声であることを特定するために、特徴的な周波数が含まれている。
(ステップS2)音声集音部3aによる音声入力
音声集音部3aは、空間A内の音声を集音する。その際、集音した音声信号の中に、特徴的な周波数が含まれていた場合には、空間A制御部10aは、エコー問題が発生しているため、音声出力部4aからの音声出力を制御する必要があると判断する。
(ステップS3)音声出力部4aへのフィードバック
空間A制御部10aは、音声出力部4aからの音声出力により、エコー問題が発生していないと判断した場合には、音声出力部4aからの音声出力を、現状のまま維持する。一方、空間A制御部10aは、音声出力部4aからの音声出力により、エコー問題が発生していると判断した場合には、ステップS4に進み、音声出力の制御を行う。
(ステップS4)音声出力部4aの音声出力制御
空間A制御部10aは、音声出力に含まれている特徴的な周波数が、音声集音部3aに取り込まれないように、音声出力部の指向性あるいは音圧を制御する。具体的には、音圧を下げて音量を制限する、指向性を狭める、あるいは、音圧と指向性の両方を適切な値に制御することが考えられる。
なお、上記のステップS1〜ステップS4は、エコー問題の解消だけでなく、以下のように、状況に応じて2種類のスピーカを切り替えるように音声出力部4a、4bを構成することも可能である。すなわち、音声出力部4a、4bとして、指向性スピーカを採用して音声出力を行った場合には、通常の周波数帯が一部削除されることになり、実際の音声と異なってしまう傾向がある。一方、通常の高音質のスピーカで出力された音声は、自然な音声に近い。
そこで、音声出力部4a、4bとして、指向性スピーカと高音質のスピーカとを併用したハイブリッド型の使用方法が考えられる。このような使用方法によれば、エコー問題が生じていない場合には、高音質のスピーカを採用し、エコー問題が生じた場合には、指向性スピーカに変更するといった切り替えを行うことにより、音質の劣化を抑制することができる。
以上の説明では、空間内の話者が1人である場合について説明した。しかしながら、本発明は、話者が複数人いる場合にも対応でき、図8、図9を用いて、具体的に説明する。
図8、図9は、本発明の実施の形態1に係る遠距離点間双方向コミュニケーションシステムにおいて、複数の話者を対象に音声出力を制御する手法の説明図である。図8に示すように、この例では、音声集音部3aであるマイクが、画像表示部2aの前方位置に6個設けられており、話者が4人存在している。
また、図9に示すように、音声出力部4aとしては、超指向性を有する音声出力部4a(1)と、狭指向性を有する音声出力部4a(2)を併用することが考えられる。ここで、超指向性を有する音声出力部4a(1)は、4人の話者のうちの1人に対して、スポット的にこの1人だけが音声を聞き取れるような発生音領域を設定可能となっている。また、狭指向性を有する音声出力部4a(2)は、4人の話者のうちの残りの3人に対して、一定の幅で一帯に聞こえるような発生音領域を設定可能となっている。
このように、本実施の形態1における音声出力部4aは、空間の壁面である画像表示部2aに対して垂直方向に、所望の発生音領域を調整可能な音声出力部4aを備えている。また、画像表示部2aの前方には、複数箇所に音声集音部3aが設けられている。この結果、同一空間内に話者が複数人いた場合でも、同時に会話が可能になる仕組みを提供することができる。
次に、図10、図11を用いて、互いに遠隔にある空間A、空間B間で、1対1の双方向コミュニケーションを行う場合について、具体的に説明する。図10は、本発明の実施の形態1に係る遠距離点間双方向コミュニケーションシステムにおいて、1対1の双方向コミュニケーションを行う手法の説明図である。具体的には、空間A内の話者5aが、遠隔地点である空間B内の話者5bと、本発明によるシステムを活用して、1対1の双方向コミュニケーションを行う場合を示している。
なお、以下の説明では、空間A内での画像処理および音声処理について説明し、同様の処理が行われる空間B内の説明は、省略する。
遠隔地点である空間Bより空間Aに対して、画像撮像部1bで撮像された話者5bの画像とともに、音声集音部3bで集音された音声が送信される。そして、空間A制御部10aは、空間A内の画像表示部2aに対して、画像撮像部1bを介して取得した話者5bの画像を表示させる。さらに、空間A制御部10aは、空間A内の音声出力部4aから、音声集音部3bを介して取得した音声を出力させる。
ここで、空間A内では、音声出力部4aであるスピーカから、指向性を有して話者5aに対して話者5bの音声が出力される。この結果、発生音領域が図10に示す範囲に留まり、他の領域には届かない。従って、空間A内の話者5aは、話者5bの音声を聞くことが可能となるが、空間A内の音声集音部3aには、話者5bの音声を届かなくすることができる。
従って、話者5aによる発生音領域だけが、空間A内の音声集音部3aに届き、空間B側の音声出力部4bから出力されることとなる。この仕組みを相互に活用することで、空間内での出力音声が、音声集音部に再入力されエコーとして聞こえてしまう現象を、なくすことができる。
また、空間B内の話者5bが発生する音量は、話者5bと音声集音部3bとの距離、あるいは話者5bの声量に応じて、出力が上下する。従って、空間A制御部10aにより音声出力部4aを何も制御していない場合には、指向性があっても、横から漏れる、あるいは反射するなどして、音声出力部4aから出力された音声が、音声集音部3aで拾われてしまい、エコー問題が発生する可能性がある。
そこで、空間A制御部10aは、先の図6、図7を用いて説明した手法により、音声出力部4aの指向性に加え、音声の大きさ(音圧)をコントロールすることで、エコーとしての反射音声を音声集音部3aが拾ってしまう現象を、完全に防ぐことができる。
なお、図10の例では、画像表示部2aに表示された1枚の画像に基づいて、1対1の双方向コミュニケーションを行う手法を説明した。しかしながら、本発明は、このような構成に限定されず、複数の画像を表示させることも可能である。図11は、本発明の実施の形態1に係る遠距離点間双方向コミュニケーションシステムにおいて、1対1の双方向コミュニケーションを行う手法であり、図10とは異なる説明図である。
この図11の構成においては、空間B内に、空間B全体を撮像するための画像撮像部1b(1)と、話者を撮像するための画像撮像部1b(2)の2台のカメラが設置されている場合を例示している。このような構成を備えることで、空間A制御部10aは、画像撮像部1b(1)、1b(2)を介して取得される2枚の画像を並列して表示させることができる。また、必要に応じていずれか1枚だけを表示させることも可能である。
以上のように、実施の形態1によれば、空間内の音声出力部から出力される音声信号が、音声集音部で集音されないように、音声信号の指向性と音圧を制御可能な構成を備えている。この結果、双方向コミュニケーションを行う際に、別空間内のそれぞれの話者が、同時に、自然に会話することが可能となり、より現実的な会話が可能となる。
さらに、遠隔地の画像を表示させることで、離れた空間同士があたかも連続している空間のように表示され、映像と音声の交換により、同一空間にいるときと同様なコミュニケーション環境が実現できる。この結果、土地代の高いオフィスと土地代の安いオフィスを相互接続し、同じような空間環境を演出することにより、オフィス費用の低減を図ることができる。
また、例えば、地下の部屋で、外部が遮断されているようなオフィスでも、外部映像を映すだけでなく、音圧を適切に制御することで、音声もリアルに少しだけ聞こえるような環境を作ることができる。
また、コミュニケーション先の一方の空間内のオフィス社員が不在の場合でも、他方の空間で画像をモニタすることで、誰かが進入してきた時点でわかるため、防犯対策にもなる。さらに、管理者が不在の場所でも、リモートでの確認が可能となり、安全管理、厚生管理ができる。
1a、1b 画像撮像部、2a、2b 画像表示部、3a、3b 音声集音部、4a、4b 音声出力部、10a 空間A制御部(空間内制御部)、10b 空間B制御部(空間内制御部)、20 統括制御部。

Claims (4)

  1. 離れた第1の空間および第2の空間の双方の居室内に設置された画像撮像部、画像表示部、音声収集部、および音声出力部を制御する空間内制御部が相互通信を行うことにより、双方の画像、音声をリアルタイムに送受信し、前記第1の空間内の話者と前記第2の空間内の話者が、画像により双方を認識し、音声により相互会話を行う遠距離点間双方向コミュニケーションシステムであって、
    前記音声出力部は、外部からの制御信号に基づいて、前記画像表示部に対して垂直な方向における音声信号の指向性および音圧を調整可能な構成を有し、
    前記第1の空間内および前記第2の空間内に設けられた前記空間内制御部のそれぞれは、
    前記相互通信を介して取得した、他の空間内の画像撮像部で撮像された画像信号を、自身の空間内の画像表示部に表示させ、
    前記相互通信を介して取得した、他の空間内の音声集音部で集音された音声信号を、自身の空間内の音声出力部から出力させ、
    自身の空間内の音声集音部で集音された音声信号の中に、自身の空間内の音声出力部から出力された音声信号の一部が含まれているエコー状態が発生していると判断した場合には、自身の空間内の音声出力部から出力する音声信号の指向性を狭める、または音圧を下げることで前記エコー状態を解消するように、前記制御信号を出力する
    遠距離点間双方向コミュニケーションシステム。
  2. 請求項1に記載の遠距離点間双方向コミュニケーションシステムにおいて、
    前記音声出力部は、前記画像表示部に対して垂直な方向において、一定の幅で一帯に聞こえる第1の発生音領域に音声信号を出力可能な狭指向性を有する第1の音声出力部と、前記第1の発生音領域よりも狭い範囲の第2の発生音領域に音声信号を出力可能な超指向性を有する第2の音声出力部を含み、
    前記空間内制御部のそれぞれは、前記第1の音声出力部から音声信号を出力することで、前記第1の発生音領域内の話者全員に対して音声を提供し、前記第2の音声出力部から音声信号を出力することで、前記第2の発生音領域内の特定の話者に対して音声を提供するように、切り替え制御を行う
    遠距離点間双方向コミュニケーションシステム。
  3. 請求項1または2に記載の遠距離点間双方向コミュニケーションシステムにおいて、
    前記空間内制御部のそれぞれは、
    他の空間内の音声集音部で集音された音声信号を、自身の空間内の音声出力部から出力させる際の音声出力信号に、識別可能な特徴周波数による信号を含めて、前記音声出力信号を出力し、
    自身の空間内の音声集音部で集音された音声信号の中に、前記特徴周波数による信号が含まれている場合には、前記エコー状態が発生していると判断する
    遠距離点間双方向コミュニケーションシステム。
  4. 離れた第1の空間および第2の空間の双方の居室内に設置された画像撮像部、画像表示部、音声収集部、および音声出力部を制御する空間内制御部が相互通信を行うことにより、双方の画像、音声をリアルタイムに送受信し、前記第1の空間内の話者と前記第2の空間内の話者が、画像により双方を認識し、音声により相互会話を行う遠距離点間双方向コミュニケーションシステムに用いられる遠距離点間双方向コミュニケーション方法であって、
    前記第1の空間内および前記第2の空間内に設けられた前記空間内制御部のそれぞれにおいて、
    前記相互通信を介して取得した、他の空間内の画像撮像部で撮像された画像信号を、自身の空間内の画像表示部に表示させる画像表示ステップと、
    前記相互通信を介して取得した、他の空間内の音声集音部で集音された音声信号を、自身の空間内の音声出力部から出力させる音声出力ステップと、
    自身の空間内の音声集音部で集音された音声信号の中に、自身の空間内の音声出力部から出力された音声信号の一部が含まれているエコー状態が発生しているか否かを判断エコー状態判定ステップと、
    前記エコー状態判定ステップにより前記エコー状態が発生していると判断した場合には、外部からの制御信号に基づいて、前記画像表示部に対して垂直な方向における音声信号の指向性および音圧を調整可能な構成を有する前記音声出力部に対して、自身の空間内の音声出力部から出力する音声信号の指向性を狭める、または音圧を下げることで前記エコー状態を解消するように、前記制御信号を出力する音声出力制御ステップと
    を有する遠距離点間双方向コミュニケーション方法。
JP2014103994A 2014-05-20 2014-05-20 遠距離点間双方向コミュニケーションシステムおよび遠距離点間双方向コミュニケーション方法 Active JP6353700B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014103994A JP6353700B2 (ja) 2014-05-20 2014-05-20 遠距離点間双方向コミュニケーションシステムおよび遠距離点間双方向コミュニケーション方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014103994A JP6353700B2 (ja) 2014-05-20 2014-05-20 遠距離点間双方向コミュニケーションシステムおよび遠距離点間双方向コミュニケーション方法

Publications (2)

Publication Number Publication Date
JP2015220655A true JP2015220655A (ja) 2015-12-07
JP6353700B2 JP6353700B2 (ja) 2018-07-04

Family

ID=54779705

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014103994A Active JP6353700B2 (ja) 2014-05-20 2014-05-20 遠距離点間双方向コミュニケーションシステムおよび遠距離点間双方向コミュニケーション方法

Country Status (1)

Country Link
JP (1) JP6353700B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017017523A (ja) * 2015-06-30 2017-01-19 Necネッツエスアイ株式会社 映像システム
JP2018133652A (ja) * 2017-02-14 2018-08-23 沖電気工業株式会社 通信装置、方法およびプログラム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5698094A (en) * 1979-12-17 1981-08-07 Western Electric Co Array of plural microphones and transducers
JPS62147851A (ja) * 1985-12-23 1987-07-01 Oki Electric Ind Co Ltd 鳴音保護回路付きハンズフリ−回路
JPH06326761A (ja) * 1993-05-12 1994-11-25 Matsushita Electric Ind Co Ltd エコーキャンセラ
JP2007060229A (ja) * 2005-08-24 2007-03-08 Fujitsu Ten Ltd 車載用ハンズフリー通話装置
JP2007142595A (ja) * 2005-11-15 2007-06-07 Yamaha Corp 遠隔会議装置
JP2007243772A (ja) * 2006-03-10 2007-09-20 Yamaha Corp 信号処理装置
JP2008236192A (ja) * 2007-03-19 2008-10-02 Yamaha Corp 拡声装置
JP2008312002A (ja) * 2007-06-15 2008-12-25 Yamaha Corp テレビ会議装置
JP2009105797A (ja) * 2007-10-25 2009-05-14 Panasonic Corp 携帯電子機器
JP2011135272A (ja) * 2009-12-24 2011-07-07 Brother Industries Ltd 端末装置、処理方法および処理プログラム
JP2012002429A (ja) * 2010-06-16 2012-01-05 Mitsubishi Electric Corp 給湯機用リモコン
JP2013214797A (ja) * 2012-03-30 2013-10-17 Brother Ind Ltd 音調整装置、音調整方法、及び音調整プログラム

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5698094A (en) * 1979-12-17 1981-08-07 Western Electric Co Array of plural microphones and transducers
JPS62147851A (ja) * 1985-12-23 1987-07-01 Oki Electric Ind Co Ltd 鳴音保護回路付きハンズフリ−回路
JPH06326761A (ja) * 1993-05-12 1994-11-25 Matsushita Electric Ind Co Ltd エコーキャンセラ
JP2007060229A (ja) * 2005-08-24 2007-03-08 Fujitsu Ten Ltd 車載用ハンズフリー通話装置
JP2007142595A (ja) * 2005-11-15 2007-06-07 Yamaha Corp 遠隔会議装置
JP2007243772A (ja) * 2006-03-10 2007-09-20 Yamaha Corp 信号処理装置
JP2008236192A (ja) * 2007-03-19 2008-10-02 Yamaha Corp 拡声装置
JP2008312002A (ja) * 2007-06-15 2008-12-25 Yamaha Corp テレビ会議装置
JP2009105797A (ja) * 2007-10-25 2009-05-14 Panasonic Corp 携帯電子機器
JP2011135272A (ja) * 2009-12-24 2011-07-07 Brother Industries Ltd 端末装置、処理方法および処理プログラム
JP2012002429A (ja) * 2010-06-16 2012-01-05 Mitsubishi Electric Corp 給湯機用リモコン
JP2013214797A (ja) * 2012-03-30 2013-10-17 Brother Ind Ltd 音調整装置、音調整方法、及び音調整プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017017523A (ja) * 2015-06-30 2017-01-19 Necネッツエスアイ株式会社 映像システム
JP2018133652A (ja) * 2017-02-14 2018-08-23 沖電気工業株式会社 通信装置、方法およびプログラム

Also Published As

Publication number Publication date
JP6353700B2 (ja) 2018-07-04

Similar Documents

Publication Publication Date Title
US11991315B2 (en) Audio conferencing using a distributed array of smartphones
US10694313B2 (en) Audio communication system and method
EP3342187B1 (en) Suppressing ambient sounds
EP2953348B1 (en) Determination, display, and adjustment of best sound source placement region relative to microphone
JP2008288785A (ja) テレビ会議装置
US8208664B2 (en) Audio transmission system and communication conference device
TW202038600A (zh) 會議環境中用於分佈式呼叫處理及音訊增強的系統及方法
EP2566194A1 (en) Method and device for processing audio in video communication
CN102640517A (zh) 自操控有向扬声装置及其操作方法
JP2012105199A (ja) 音響信号処理装置、テレビジョン装置及びプログラム
US20170345437A1 (en) Voice receiving method and device
CN106937009B (zh) 一种级联回声抵消系统及其控制方法及装置
JP2007274462A (ja) テレビ会議装置、テレビ会議システム
JP4622656B2 (ja) 集合住宅用インターホンシステム
JP6353700B2 (ja) 遠距離点間双方向コミュニケーションシステムおよび遠距離点間双方向コミュニケーション方法
JP5120020B2 (ja) 画像付音声通信システム、画像付音声通信方法およびプログラム
US20230199380A1 (en) Virtual space connection device
WO2018198790A1 (ja) コミュニケーション装置、コミュニケーション方法、プログラム、およびテレプレゼンスシステム
JP2006339869A (ja) 映像信号と音響信号の統合装置
JP2006339832A (ja) テレビ会議システムおよびテレビ会議端末装置
US11259116B2 (en) Sound processing method, remote conversation method, sound processing device, remote conversation device, headset, and remote conversation system
WO2024004164A1 (ja) ロボットコミュニケーションシステム
EP4184507A1 (en) Headset apparatus, teleconference system, user device and teleconferencing method
US20230421945A1 (en) Method and system for acoustic passthrough
US20240089135A1 (en) Dynamic audio feeds for wearable audio devices in audiovisual conferences

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180611

R150 Certificate of patent or registration of utility model

Ref document number: 6353700

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250