JP2006211156A - 音響装置 - Google Patents
音響装置 Download PDFInfo
- Publication number
- JP2006211156A JP2006211156A JP2005018855A JP2005018855A JP2006211156A JP 2006211156 A JP2006211156 A JP 2006211156A JP 2005018855 A JP2005018855 A JP 2005018855A JP 2005018855 A JP2005018855 A JP 2005018855A JP 2006211156 A JP2006211156 A JP 2006211156A
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- listening
- acoustic
- listener
- specifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
【課題】 各聴取者に応じて適切な音響効果が付与された音響を提供する。
【解決手段】 マイクアレイ11は音声を検知すると、音源(すなわち話者A)の位置を特定する。話者Aの情報と、マイクアレイ11にて受信した音声信号とが制御部10へ供給される。制御部10は、方向検出部13に対しAの顔の向きを判定するように指示する。方向検出部13は、Aを撮像して画像解析処理を行い、Aの顔の向きを決定する。制御部10は、Aの顔の向きからAの話している相手(すなわち聴取者D)を決定する。制御部10は、Dに対してのみ所定の増幅率で音量が増幅されたAの音声が届き、且つDを含む参加者全員に対し音源が話者Aであると認識させることのできる音響効果を決定する。制御部10は、計算した音響効果を実現させるためのパラメータを計算してスピーカアレイ12へ提供する。スピーカアレイ12は所定の音響波を発生させる。
【選択図】図3
【解決手段】 マイクアレイ11は音声を検知すると、音源(すなわち話者A)の位置を特定する。話者Aの情報と、マイクアレイ11にて受信した音声信号とが制御部10へ供給される。制御部10は、方向検出部13に対しAの顔の向きを判定するように指示する。方向検出部13は、Aを撮像して画像解析処理を行い、Aの顔の向きを決定する。制御部10は、Aの顔の向きからAの話している相手(すなわち聴取者D)を決定する。制御部10は、Dに対してのみ所定の増幅率で音量が増幅されたAの音声が届き、且つDを含む参加者全員に対し音源が話者Aであると認識させることのできる音響効果を決定する。制御部10は、計算した音響効果を実現させるためのパラメータを計算してスピーカアレイ12へ提供する。スピーカアレイ12は所定の音響波を発生させる。
【選択図】図3
Description
本発明は、聴取者に提供する音響を制御する技術に関する。
会議等、多数の参加者が一堂に会して会話を行う場において、会話の当事者(話者と聴取者)の距離が離れていると、聴取者は話者の声が聞き取りにくくなるという状況が生じる。通常、このような場合、マイクおよびスピーカから構成される拡声装置を用いて、話者の音声を増幅して放音するということが行われる。ところが、このような拡声装置を用いた場合、話者の近くにいる人やスピーカの近くにいる人には不自然に大きな音量で聞こえてしまうという問題が生じる。すなわち、従来の拡声装置では、各聴取者の位置に応じた適切な音響を提供することはできない。換言すれば、その場にいる全ての聴取者を満足させる音響波を発生させることができない。
関連する技術として、特許文献1には、1対のマイクロフォンを用いて話者の顔の方向を決定する方法が開示されている。しかしながら、単に話者の顔の方向の情報を取得しただけでは、音声を提供すべき聴取者を特定することはできない。従って、各聴取者の位置に応じた音響を提供することもできない。
特開平10−243494号公報
本発明は、上述した背景に鑑みてなされたものであり、各聴取者に応じて適切な音響効果が付与された音響を提供する方法および装置を提供することを目的とする。
上記課題を解決するため、本発明は、音声を検出して話者の位置を特定する話者位置特定手段と、前記話者位置特定手段にて特定された話者の顔が向いている方向を特定する話者方向特定手段と、前記話者位置特定手段にて特定された話者位置と前記話者方向特定手段にて特定された話者方向とに基づいて、前記話者の相手となる聴取者の位置を特定する聴取位置特定手段と、前記話者位置と、前記聴取位置特定手段にて特定された聴取位置とに基づいて、前記話者の音声に対して付与すべき音響効果を決定する音響決定手段と、前記音響決定手段にて決定された音響効果に対応した音響波を発生させることにより、前記聴取者に前記話者の音声を提供する音響波発生手段とを備える音響装置を提供する。この音響装置によれば、話者が話しかけている相手の聴取者を特定し、当該聴取者に、その位置に応じた音響効果が付与された音響を提供することができるので、当該聴取者の聞き取りを補助することができる。
好ましい態様において、本発明の音響装置は、聴取位置を指定する聴取位置指定手段と、前記聴取位置指定手段にて指定された聴取位置にいる聴取者の顔が向いている方向を特定する聴取方向特定手段と、前記聴取位置と、前記聴取方向特定手段により特定された方向とに基づいて、前記聴取者が聴取を希望する会話に係る話者の位置を特定する話者位置特定手段と、前記話者位置特定手段にて特定された話者位置と前記聴取位置指定手段にて指定された聴取位置とに基づいて、前記話者の音声に対して付与すべき音響効果を決定する音響決定手段と、前記音響決定手段にて決定された音響効果に対応した音響波を発生させることにより、前記聴取者に前記話者の音声を提供する音響波発生手段とを備えることを特徴とする。本態様によれば、聴取者に対し、その聴取者が所望する会話の音声の聞き取りを補助することができる。
他の好ましい態様において、本発明の音響装置は、聴取位置を指定する聴取位置指定手段と、前記聴取位置にいる聴取者に所望の聴取方向を指定させるための操作子と、前記聴取位置指定手段により指定された聴取位置と前記操作子を用いて指定された聴取方向とに基づいて、前記聴取者が聴取を希望する会話に係る話者の位置を特定する話者位置特定手段と、前記話者位置特定手段にて特定された話者位置と前記聴取位置指定手段にて指定された聴取位置とに基づいて、前記話者の音声に対して付与すべき音響効果を決定する音響決定手段と、前記音響決定手段にて決定された音響効果に対応した音響波を発生させることにより、前記聴取者に前記話者の音声を提供する音響波発生手段とを備えることを特徴とする。
更に他の好ましい態様において、本発明の音響装置は、音声を検出することにより話者の位置を特定する話者位置特定手段と、前記話者位置特定手段にて特定された位置にいる話者の顔が向いている方向を特定する話者方向特定手段と、前記話者位置特定手段にて特定された話者位置と前記話者方向特定手段にて特定された方向とに基づいて、前記話者の相手となる聴取者の位置を特定する聴取位置特定手段と、前記聴取位置特定手段にて特定された位置にいる聴取者の顔の向いている方向を特定する聴取方向特定手段と、前記話者位置特定手段にて特定された話者位置と、前記聴取位置特定手段にて特定された聴取位置と、前記聴取方向特定手段にて特定された聴取方向とに基づいて、前記話者の音声に対して付与すべき音響効果を決定する音響決定手段と、前記音響決定手段にて決定された音響効果に対応した音響波を発生させることにより、前記聴取者に前記話者の音声を提供する音響波発生手段とを備えることを特徴とする。
(実施例)
以下、図面を参照して本発明の動作例を説明する。以下の実施例においては、複数の参加者が円卓を囲んで着席した状態で発言を交わす場合を想定する。この際の参加者の配置を示したものが図1である。同図に示すように、参加者(すなわち、話者と聴取者とのいずれにもなり得る者)A〜Lの計12人が会議室に集まり、所定の位置に設けられた椅子に座し、円卓Tを囲んで発言を交わす。なお、各参加者は椅子から立ち上がって席を移動したりすることはないものとする。
以下、図面を参照して本発明の動作例を説明する。以下の実施例においては、複数の参加者が円卓を囲んで着席した状態で発言を交わす場合を想定する。この際の参加者の配置を示したものが図1である。同図に示すように、参加者(すなわち、話者と聴取者とのいずれにもなり得る者)A〜Lの計12人が会議室に集まり、所定の位置に設けられた椅子に座し、円卓Tを囲んで発言を交わす。なお、各参加者は椅子から立ち上がって席を移動したりすることはないものとする。
<構成>
図2は、本発明の聴取者支援装置1の機能構成を示すブロック図である。同図に示すように、聴取者支援装置1は、制御部10、マイクアレイ11、スピーカアレイ12、方向検出部13、記憶部14、入力部15および各部を接続するバス16から構成される。
図2は、本発明の聴取者支援装置1の機能構成を示すブロック図である。同図に示すように、聴取者支援装置1は、制御部10、マイクアレイ11、スピーカアレイ12、方向検出部13、記憶部14、入力部15および各部を接続するバス16から構成される。
マイクアレイ11は、図示せぬ複数のコンデンサマイク等のマイクロフォンユニットおよびA/D変換回路、およびDSP等のプロセッサ等から構成される音声入力装置である。各マイクロフォンユニットにて音声が入力されると、音圧レベルの差や到達時間差に基づいて当該音声の音源(すなわち、受信した音声が人間の声ならばその話者)の位置を特定する機能を有する。特定した音源位置に関する情報は、音声信号とともに制御部10へ供給される。
方向検出部13は、図示せぬ1または複数のビデオカメラと画像処理プロセッサとを備え、制御部10の指示の下、各参加者を撮像してその映像に所定の画像解析処理を施すことにより、参加者A〜Lの各々の顔の向きを決定する装置である。一例としては、図1に示す参加者の座席配置において、各参加者がいる領域Ra〜Rlがそれぞれ撮像されるように計12台のビデオカメラが設置される。なお、方向検出部13を話者の顔の向きを特定するためのユニットと、聴取者の顔の向きを特定するためのユニットの2つから構成してもよい。この場合、前者のユニットを複数のマイクと音声信号プロセッサにより構成し、各マイクに入力される音圧レベルの差や遅延量に基づいて話者が発する声の方向を検出することにより話者の顔の向きを決定してもよい。特定した参加者の顔の向きの情報は、制御部10へ供給される。
記憶部14は、RAM、ROM、ハードディスク等の記憶装置であって、制御部10のワークエリアとして使用される他、円卓Tの各座席の位置が記憶される。入力部15はキーボードやマウス等の入力デバイスであって、上記座席位置の情報や、参加者が会話の非当事者である場合に聴取者支援装置1が当該参加者に対して聞き取り補助を行う必要があるか否かの情報を入力するためのものである。
制御部10は、方向検出部13にて検出された話者の位置および顔の向きの情報を受け取ると、記憶部14を参照し、当該話者が話しかけている相手(以下、この聴取者のことを特に「指定聴取者」という場合がある)を特定する機能を有する。一例を示すと、図3に示すように、音源の位置すなわち話者がAであり、Aの顔の向きが同図に示す角度θの方向であると特定されたとすると、制御部10は記憶部14を参照して、Aの顔の向きの方向に位置している参加者(すなわち指定聴取者)はDであると決定する。制御部10は、マイクアレイ11および方向検出部13から、それぞれ話者の位置および顔の向きに関する情報と聴取者の位置または顔の向きに関する情報とを受け取ると、それらの情報に基づき、所定の音響効果が付与された当該話者の音声を各参加者に提供するために、会議室内に形成すべき音場を計算する。音場の形成方法の一例としては、話者以外の全ての参加者B〜Lに対してAから音が聞こえるように(すなわち、自分の両耳に届いた音声から、話者がAであると認識することができるように)、且つ、Dに聞こえる音のみが通常の音量よりも所定の割合で増幅されて聞こえるような音響効果が付与されるように計算する。ここで、所定の割合とは、例えばA−D間の距離に応じて決定されるものである。形成される音場の一例としては、Dの聴取領域である領域Rdには通常の2倍の音声レベルの音響波が到達し、それ以外の領域Ra〜RcおよびRe〜Rlには通常の音声レベルの音響波が到達されるようにする。この結果、D以外の参加者にはAの発した音声が通常の音量で届く一方、Dに対しては音量が2倍に増幅されて届く。
音場の形成方法はこれに限らず、例えば、指向性が非常に高いビーム状の音響波をスピーカアレイ12からDの方向へ発生させてもよい。この場合、スピーカアレイ12から放音されてD以外の参加者に届く音を非常に小さく又はほぼゼロとすることが可能である。すなわち、D以外の参加者はAの肉声のみを聞くことになる。このように、各参加者の位置関係や部屋の大きさや形状等に応じて、各参加者に提供する音響効果を自由に制御することができる。話者あるいは聴取者が複数いる場合、すなわち複数の会話が同時進行している場合については順次説明する。音場が決定されると、制御部10は、その音場を実現させるために必要となる、各スピーカユニットに供給すべき音声信号の遅延量やゲインといったパラメータを計算して、スピーカアレイ12へ出力する。
スピーカアレイ12は、図示せぬ複数のスピーカユニットおよび各スピーカユニットを制御するための制御回路等から構成される音声出力装置である。各スピーカユニットに供給する音声信号の遅延量やゲインを適切に制御することにより、指向性のある音響波を発生させ、図3に示す各領域Ra〜Rlごとに提供する音響を制御する機能を有する。この結果、当該位置において聴取者に認識される音源の方向や位置および音量レベルを自在に制御することができる。具体的には、制御部10から遅延量およびゲインといったパラメータを受け取ると、このパラメータに従って各スピーカユニットから放音処理を行う。
なお、マイクアレイ11やスピーカアレイ12といった聴取者支援装置1の各部の設置場所は任意である。例えば、円卓T上に設置してもよいし、円卓Tが設置された部屋の天井や壁面に設置してもよい。マイクユニットやスピーカユニットの数等のマイクアレイ11やスピーカアレイ12の詳細な構成や、マイクアレイ11やスピーカアレイ12の設置場所は、室内空間の大きさ・形状や参加者の人数等の環境に応じて好適に選択することができる。
<動作例1>
まず、最も単純な例として、図3に示すように、話者1人と聴取者1人で会話が行われている場合を考える。具体的には、同図に示すように、AがDに向かって話している場合を想定する。図4は、聴取者支援装置1の動作の一例を示すフローチャートである。まず、マイクアレイ11にて音声が検知されると(ステップS10)、マイクアレイ11は、音源(すなわち話者)の位置を特定する(ステップS12)。これにより、話者がAであることが特定される。すると、話者がAであるという情報と、マイクアレイ11にて受信された音声信号とが制御部10へ供給される。続いて、制御部10は、方向検出部13に対しAの顔の向きを判定するように指示する。方向検出部13は、Aを撮像して画像解析処理を行ってAの顔の向きを決定し(ステップS14)、この情報を制御部10へ供給する。制御部10は、Aの位置およびAの顔の向きからAの話している相手(すなわち指定聴取者)を決定する(ステップS16)。この例では、指定聴取者はDであると決定されることになる。こうして話者と指定聴取者とが決定されると、制御部10は、指定聴取者であるDに対してのみ、所定の増幅率で音量が増幅されたAの音声が届き、且つDを含む参加者全員に対し音源がAにあると認識させるための音場を計算する(ステップS18)。続いて、制御部10は、計算した音場を実現させるためのパラメータを計算してスピーカアレイ12へ提供する(ステップS20)。この結果、スピーカアレイ12から当該音場を実現するための音響波が発生する(ステップS22)。この結果、Dの座席位置である領域Rdのみに話者Aの増幅された音声が届く。
まず、最も単純な例として、図3に示すように、話者1人と聴取者1人で会話が行われている場合を考える。具体的には、同図に示すように、AがDに向かって話している場合を想定する。図4は、聴取者支援装置1の動作の一例を示すフローチャートである。まず、マイクアレイ11にて音声が検知されると(ステップS10)、マイクアレイ11は、音源(すなわち話者)の位置を特定する(ステップS12)。これにより、話者がAであることが特定される。すると、話者がAであるという情報と、マイクアレイ11にて受信された音声信号とが制御部10へ供給される。続いて、制御部10は、方向検出部13に対しAの顔の向きを判定するように指示する。方向検出部13は、Aを撮像して画像解析処理を行ってAの顔の向きを決定し(ステップS14)、この情報を制御部10へ供給する。制御部10は、Aの位置およびAの顔の向きからAの話している相手(すなわち指定聴取者)を決定する(ステップS16)。この例では、指定聴取者はDであると決定されることになる。こうして話者と指定聴取者とが決定されると、制御部10は、指定聴取者であるDに対してのみ、所定の増幅率で音量が増幅されたAの音声が届き、且つDを含む参加者全員に対し音源がAにあると認識させるための音場を計算する(ステップS18)。続いて、制御部10は、計算した音場を実現させるためのパラメータを計算してスピーカアレイ12へ提供する(ステップS20)。この結果、スピーカアレイ12から当該音場を実現するための音響波が発生する(ステップS22)。この結果、Dの座席位置である領域Rdのみに話者Aの増幅された音声が届く。
このように、本動作例によれば、話者および聴取者を特定し、指定聴取者に対し話者の増幅した音声を届けることができるから、会話の当事者と考えられる当該聴取者によるAの話の聞き取りを補助することができる。一方、指定聴取者以外の参加者であって話者と指定聴取者の会話に直接的に関係していないと推定される参加者に対しては、通常の音量で話者の音声が届く。これにより、各参加者に応じた適切な音響を提供することができる。
<動作例2>
次に、図5を用いて、複数の話者および聴取者間で会話が行われている場合について考える。同図に示すように、A−D間およびB−G間で会話が行われているとする(それぞれ会話X、会話Yとする)。この状態で、参加者Jに着目する。Jは会話の当事者ではないので、上述した通り、会話XおよびYの音声は通常の音量でJに届く。今、Jはとりあえず会話Aと会話Bのどちらかに入っていきたいと考えているが、この状態では2つの会話の音声が混在してJの耳に届くので、Jにとってはどちらの会話も聞き取りづらい状況となっている。
次に、図5を用いて、複数の話者および聴取者間で会話が行われている場合について考える。同図に示すように、A−D間およびB−G間で会話が行われているとする(それぞれ会話X、会話Yとする)。この状態で、参加者Jに着目する。Jは会話の当事者ではないので、上述した通り、会話XおよびYの音声は通常の音量でJに届く。今、Jはとりあえず会話Aと会話Bのどちらかに入っていきたいと考えているが、この状態では2つの会話の音声が混在してJの耳に届くので、Jにとってはどちらの会話も聞き取りづらい状況となっている。
図6は本動作例を示すフローチャートである。ステップS10からS18までは動作例1と同様である。すなわち、話者がAとGであり聴取者がDとBである場合、会話XとYに対してそれぞれステップS10からS16までの処理を2回行い、聴取者DとBに対してのみ聞き取りを補助するように音場が計算される(ステップS18)。本動作例では、これに加えて音場を更に補正する。具体的には、方向検出部13によってJの顔の向きを検出する(ステップS19A)。同図に示すように、Jは会話Xではなく会話Yを聞きたいと考えているので、会話Yの話者であるGの方向に顔を向けている。よって、制御部10は、Jの位置および検出されたJの顔の向きから、その方向にいる参加者はGであると決定し、Jの聴取領域である領域RjにはGの音声が所定の増幅率で増幅されて届くように音場を再計算する(ステップS19B)。以降の処理は第1実施形態と同様なので、説明を省略する。
なお、この例では、説明の便宜上、参加者Jに着目したが、会話の非当事者である参加者全員の顔の向きを考慮して音場の補正を行ってもよいことは言うまでもない。また、特定の非当事者の領域についてのみ音場補正の対象とする場合、その非当事者の指定方法は任意である。例えば、方向検出部13にて撮像された映像の中に参加者が映っていないものがあった場合、その撮像領域に対応する位置には参加者が存在しないことが判るので、当該領域に関する音場を補正する処理を省略することができる。また、非当事者のうち特定の者のみに対して聞き取りの補助を行う場合、すなわち聴取者を指定する場合は、一例としては、参加者が会話の非当事者であった場合に当該参加者に対して聞き取りの補助を行う必要があるか否かの情報について、ユーザが会議が開始される前に予め入力部15を介して聴取者支援装置1に入力しておき、制御部10はこの情報に基づき聞き取り補助が必要な非当事者を特定し、当該非当事者に対してのみ上述した聞き取り補助の為の音場補正処理を行う。
このように本動作例によれば、会話の当事者でない参加者の顔が向いている方向に応じて当該参加者に届く音響を調節するので、当該参加者の所望する会話の聞き取りを補助することができる。
このように本動作例によれば、会話の当事者でない参加者の顔が向いている方向に応じて当該参加者に届く音響を調節するので、当該参加者の所望する会話の聞き取りを補助することができる。
<動作例3>
次に、複数の話者が1人の参加者(すなわち1人の指定聴取者)に話しかけている場合を考える。この様子を示したのが図7である。同図に示すように、話者はA、D、Fの3名であり、いずれもJの方向に顔を向け、同時にJに話かけている場合である。JにはA、D、Fの声が混在して聞こえるので、それぞれの会話を非常に聞き取りにくい状況となっている。以下では、Jに届く音声、すなわち領域Rjに形成される音場についてのみ考える。なお、本動作例においては、予め入力部15を介して聞き取りを補助すべき参加者としてJのみが指定されているものとする。
次に、複数の話者が1人の参加者(すなわち1人の指定聴取者)に話しかけている場合を考える。この様子を示したのが図7である。同図に示すように、話者はA、D、Fの3名であり、いずれもJの方向に顔を向け、同時にJに話かけている場合である。JにはA、D、Fの声が混在して聞こえるので、それぞれの会話を非常に聞き取りにくい状況となっている。以下では、Jに届く音声、すなわち領域Rjに形成される音場についてのみ考える。なお、本動作例においては、予め入力部15を介して聞き取りを補助すべき参加者としてJのみが指定されているものとする。
図8を用いて本動作例を説明する。動作例2と同様、A−J、D−J、F−J間についてそれぞれステップS10〜S16の処理を3回行って音場を計算した後(ステップS18)、Jの顔の向きを検出して音場を補正する(ステップS19A、19B)のは同様である。本動作例においては、更にステップS19Cにおいて、Jが顔を向けていない話者の発した音声の音量レベルが所定の減衰率で減衰されてJに届くように音場を再度補正する。本動作例によれば、聴取者Jが顔を向けている方向からの話者の声は増幅されてJに到達する一方、Jが顔を向けていない方向からの話者の音声は減衰してJに届く。すなわち、各話者A、D、Fの顔の向きとは無関係に、聴取者Jは話を聞きたいと思う話者を選択して当該話者の方向に顔を向ければ、その話者の声を選択的に聞くことがきる。これにより、聴取者に好適な音響環境を提供することができる。
(変形例)
動作例2および3においては、聴取者を撮像して画像解析を行って当該聴取者の顔の向きを検出することにより、当該聴取者が聞き取りを所望する話者を決定したが、聴取者の所望する話者を決定する方法はこれに限らない。例えば、地磁気センサや重力センサ等が内蔵されたポインティングデバイスを参加者全員に与え、これを用いて各参加者に所望の話者を指定させてもよい。具体的には、参加者がこのポインティングデバイスを所望の話者に向けると、ポインティングデバイスが向けられた方向が内蔵センサで検知され、その向きの情報が無線通信によってポインティングデバイスから方向検出部13へ送信される。このようにポインティングデバイスを用いれば、聴取者は顔の向きに関係なく話者を指定することができるので、例えば話を聞きながら下方を向いてメモをとったりすることも可能である。
動作例2および3においては、聴取者を撮像して画像解析を行って当該聴取者の顔の向きを検出することにより、当該聴取者が聞き取りを所望する話者を決定したが、聴取者の所望する話者を決定する方法はこれに限らない。例えば、地磁気センサや重力センサ等が内蔵されたポインティングデバイスを参加者全員に与え、これを用いて各参加者に所望の話者を指定させてもよい。具体的には、参加者がこのポインティングデバイスを所望の話者に向けると、ポインティングデバイスが向けられた方向が内蔵センサで検知され、その向きの情報が無線通信によってポインティングデバイスから方向検出部13へ送信される。このようにポインティングデバイスを用いれば、聴取者は顔の向きに関係なく話者を指定することができるので、例えば話を聞きながら下方を向いてメモをとったりすることも可能である。
上記実施例では、参加者の位置はおおよそ固定されていると仮定したが、参加者が動く場合にも本発明は適用可能である。この場合は、一例として、参加者全員の衣服等にそれぞれ無線通信機能を有するセンサ装置を取り付けるとともに、聴取者支援装置1に無線通信機能を設ける。センサ装置は、リアルタイムで各参加者全員の現在位置を検出して聴取者支援装置1へ逐次無線送信する。聴取者支援装置1は、各参加者の位置の情報を受信すると当該参加者に係る聴取領域を更新する。このような構成によれば、聴取者支援装置1は参加者全員の位置をリアルタイムで把握することができるので、上述の実施例と同様に、話者の顔の向きから指定聴取者の位置を特定し、話者の音声の音量レベルの増減等の所定の音響効果が付与された音響を提供する対象となる聴取者の聴取領域を特定することができる。
動作例1においては、話者Aが話しかけている相手DはAと会話を行っているとの仮定の下に、聴取者の顔の向きを検出することを行わなかった。しかし、実際には、例えば、AはDに話しかけているにも関わらずDはJに話しかけているということもあり得る。このように、話者の意思と指定聴取者の意思とが合致しない場合、換言すれば、聴取者であると同時に話者でもある2以上の会話の当事者となっている者に対して提供する音響効果については、種々の態様が考えられる。例えば動作例1のように話者の意思を優先したい場合は、領域Rdにおいて、Dの顔の向きに関係なくDに話しかけている者Aの声を増幅してDに提供すればよい。逆に聴取者Dの意思を優先したい場合は、話者Aの声を増幅せずに通常の音響でDに提供すればよい。あるいは、所定の増幅率よりも低い増幅率でAの声を増幅してDに提供してもよい。
上記実施例においては、音量の補正を行う際には所定の増幅率を用いた。しかし、話者の声量には個人差があり、例えば、大きな声で話す話者については増幅処理を行う必要がない場合も考えられるし、逆に非常に小さな声で話す話者については、増幅率を通常よりも高く設定したほうがよい場合もある。このような場合、聴取者に届く音量に関して所定の上限値を設定し、増幅後の音声の音量がこの閾値を越えた場合、この上限値を増幅後の音量とすることができる。あるいは、増幅後の音声が所定の下限値を下回る場合は、この下限値を増幅後の音量とすることもできる。このように、所定の上限値または下限値を設定することで、話者の音量に関係なく常に適度に補正された音量の音声を聴取者に提供することができる。
また、上記実施例においては、話者を特定するためおよび特定の聴取者に所望の音声を提供するためにマイクアレイおよびスピーカアレイを用いたが、必ずしもアレー状にマイクやスピーカを配置する必要はない。マイクについては、話者(音源)を特定することができれば、各マイクロフォンユニットの設置位置は任意である。スピーカについては、参加者(聴取者)の位置ごとに異なる音響効果が付与された音響を提供することができれば、各スピーカユニットの設置位置は任意である。また、固定されたスピーカアレイから指向性のある音響波を発生させる替わりに、各スピーカユニットに駆動機能を設けスピーカユニットの向きを適宜変化させてもよい。要は、話者および聴取者の位置および向きの情報に基づいて、当該聴取者の周囲の音場を制御することができればよい。
また、上記実施例においては、ターゲットとなる聴取者に届く音声の音量レベルを増幅または減衰させることによって聴取者の聞き取りを補助したが、聴取者を補助する方法、すなわち聴取者に提供する音響効果は音量レベルの増減に限らない。例えば、聴取者が聞きやすくなるのであれば音声信号の周波数特性を変更してもよい。
1・・・聴取者支援装置、10・・・制御部、11・・・マイクアレイ、12・・・スピーカアレイ、13・・・方向検出部、14・・・記憶部、15・・・入力部、16・・・バス。
Claims (11)
- 音声を検出して話者の位置を特定する話者位置特定手段と、
前記話者位置特定手段にて特定された位置にいる話者の顔が向いている方向を特定する話者方向特定手段と、
前記話者位置特定手段にて特定された話者位置と前記話者方向特定手段にて特定された話者方向とに基づいて、前記話者の相手となる聴取者の位置を特定する聴取位置特定手段と、
前記話者位置と、前記聴取位置特定手段にて特定された聴取位置とに基づいて、前記話者の音声に対して付与すべき音響効果を決定する音響決定手段と、
前記音響決定手段にて決定された音響効果に対応した音響波を発生させることにより、前記聴取者に前記話者の音声を提供する音響波発生手段と、
を備える音響装置。 - 聴取位置を指定する聴取位置指定手段と、
前記聴取位置指定手段にて指定された聴取位置にいる聴取者の顔が向いている方向を特定する聴取方向特定手段と、
前記聴取位置と、前記聴取方向特定手段により特定された方向とに基づいて、前記聴取者が聴取を希望する会話に係る話者の位置を特定する話者位置特定手段と、
前記話者位置特定手段にて特定された話者位置と前記聴取位置指定手段にて指定された聴取位置とに基づいて、前記話者の音声に対して付与すべき音響効果を決定する音響決定手段と、
前記音響決定手段にて決定された音響効果に対応した音響波を発生させることにより、前記聴取者に前記話者の音声を提供する音響波発生手段と、
を備える音響装置。 - 聴取位置を指定する聴取位置指定手段と、
前記聴取位置にいる聴取者に所望の聴取方向を指定させるための操作子と、
前記聴取位置指定手段により指定された聴取位置と前記操作子を用いて指定された聴取方向とに基づいて、前記聴取者が聴取を希望する会話に係る話者の位置を特定する話者位置特定手段と、
前記話者位置特定手段にて特定された話者位置と前記聴取位置指定手段にて指定された聴取位置とに基づいて、前記話者の音声に対して付与すべき音響効果を決定する音響決定手段と、
前記音響決定手段にて決定された音響効果に対応した音響波を発生させることにより、前記聴取者に前記話者の音声を提供する音響波発生手段と、
を備える音響装置。 - 音声を検出することにより話者の位置を特定する話者位置特定手段と、
前記話者位置特定手段にて特定された位置にいる話者の顔が向いている方向を特定する話者方向特定手段と、
前記話者位置特定手段にて特定された話者位置と前記話者方向特定手段にて特定された方向とに基づいて、前記話者の相手となる聴取者の位置を特定する聴取位置特定手段と、
前記聴取位置特定手段にて特定された位置にいる聴取者の顔の向いている方向を特定する聴取方向特定手段と、
前記話者位置特定手段にて特定された話者位置と、前記聴取位置特定手段にて特定された聴取位置と、前記聴取方向特定手段にて特定された聴取方向とに基づいて、前記話者の音声に対して付与すべき音響効果を決定する音響決定手段と、
前記音響決定手段にて決定された音響効果に対応した音響波を発生させることにより、前記聴取者に前記話者の音声を提供する音響波発生手段と、
を備える音響装置。 - 前記音響決定手段は、前記話者位置および前記聴取位置に基づいて、それぞれ音像定位位置および音響波の指向特性を決定することを特徴とする請求項1ないし4のいずれか1に記載の音響装置。
- 前記音響決定手段は、前記話者位置および前記聴取位置に基づいて、当該聴取者に提供される音響の音量を決定することを特徴とする請求項5に記載の音響装置。
- 前記話者位置特定手段は、複数のマイクロフォンユニットから構成されるマイクアレイを含む
ことを特徴とする請求項6に記載の音響装置。 - 前記話者方向特定手段は、複数のマイクロフォンユニットから構成されるマイクアレイを含む
ことを特徴とする請求項6に記載の音響装置。 - 前記話者方向特定手段は、撮像手段と、前記撮像手段によって得られた映像に対し画像解析処理を行う画像処理手段とを含む
ことを特徴とする請求項6に記載の音響装置。 - 前記聴取方向特定手段は、撮像手段と、前記撮像手段によって得られた映像に対し画像解析処理を行う画像処理手段とを含む
ことを特徴とする請求項6に記載の音響装置。 - 前記音響波発生手段は、複数のスピーカユニットから構成されるスピーカアレイである
ことを特徴とする請求項6に記載の音響装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005018855A JP2006211156A (ja) | 2005-01-26 | 2005-01-26 | 音響装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005018855A JP2006211156A (ja) | 2005-01-26 | 2005-01-26 | 音響装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006211156A true JP2006211156A (ja) | 2006-08-10 |
Family
ID=36967534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005018855A Pending JP2006211156A (ja) | 2005-01-26 | 2005-01-26 | 音響装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006211156A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009004983A1 (ja) * | 2007-06-29 | 2009-01-08 | Yamaha Corporation | 拡声装置 |
JP2011066467A (ja) * | 2009-09-15 | 2011-03-31 | Brother Industries Ltd | テレビ会議端末装置、テレビ会議端末装置の音声制御方法、音声制御プログラム |
JP2015005993A (ja) * | 2009-10-28 | 2015-01-08 | アルカテル−ルーセント | 自動操作型指向性ラウドスピーカおよびその作動方法 |
WO2017187676A1 (ja) * | 2016-04-28 | 2017-11-02 | ソニー株式会社 | 制御装置、制御方法、プログラム及び音出力システム |
CN110166920A (zh) * | 2019-04-15 | 2019-08-23 | 广州视源电子科技股份有限公司 | 桌面会议扩音方法、系统、装置、设备以及存储介质 |
CN113038351A (zh) * | 2021-01-28 | 2021-06-25 | 广州朗国电子科技有限公司 | 会议室扩音方法、装置、设备及存储介质 |
-
2005
- 2005-01-26 JP JP2005018855A patent/JP2006211156A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009004983A1 (ja) * | 2007-06-29 | 2009-01-08 | Yamaha Corporation | 拡声装置 |
JP2011066467A (ja) * | 2009-09-15 | 2011-03-31 | Brother Industries Ltd | テレビ会議端末装置、テレビ会議端末装置の音声制御方法、音声制御プログラム |
JP2015005993A (ja) * | 2009-10-28 | 2015-01-08 | アルカテル−ルーセント | 自動操作型指向性ラウドスピーカおよびその作動方法 |
WO2017187676A1 (ja) * | 2016-04-28 | 2017-11-02 | ソニー株式会社 | 制御装置、制御方法、プログラム及び音出力システム |
JPWO2017187676A1 (ja) * | 2016-04-28 | 2019-03-07 | ソニー株式会社 | 制御装置、制御方法、プログラム及び音出力システム |
EP3434219A4 (en) * | 2016-04-28 | 2019-04-10 | Sony Corporation | CONTROL DEVICE, CONTROL METHOD, PROGRAM, AND SOUND OUTPUT SYSTEM |
US10617400B2 (en) | 2016-04-28 | 2020-04-14 | Sony Corporation | Control device, control method, program, and sound output system |
CN110166920A (zh) * | 2019-04-15 | 2019-08-23 | 广州视源电子科技股份有限公司 | 桌面会议扩音方法、系统、装置、设备以及存储介质 |
CN113038351A (zh) * | 2021-01-28 | 2021-06-25 | 广州朗国电子科技有限公司 | 会议室扩音方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11991315B2 (en) | Audio conferencing using a distributed array of smartphones | |
US10142484B2 (en) | Nearby talker obscuring, duplicate dialogue amelioration and automatic muting of acoustically proximate participants | |
JP5855571B2 (ja) | オーディオズーム | |
EP2496000B1 (en) | Receiving sound at a teleconference phone | |
JP5857674B2 (ja) | 画像処理装置、及び画像処理システム | |
JP4672701B2 (ja) | フィードバックを回避するために共在するテレコンファレンス・エンドポイントを調整する方法 | |
JP2006238254A (ja) | 拡声システム | |
US8265240B2 (en) | Selectively-expandable speakerphone system and method | |
JP2006180039A (ja) | 音響装置およびプログラム | |
JP2006121709A (ja) | 天井マイクロホンアセンブリ | |
JP2008288785A (ja) | テレビ会議装置 | |
JP2013232891A (ja) | マイクロホン・アレイによる不所望のノイズの自動マイクロホンミュート | |
JP2006211156A (ja) | 音響装置 | |
US8914007B2 (en) | Method and apparatus for voice conferencing | |
JP5130298B2 (ja) | 補聴器の動作方法、および補聴器 | |
JP4479227B2 (ja) | 音声集音・映像撮像装置および撮像条件決定方法 | |
JP2007329753A (ja) | 音声通信装置および音声通信システム | |
JP2006339869A (ja) | 映像信号と音響信号の統合装置 | |
JP4929673B2 (ja) | 音声会議装置 | |
JP2008017126A (ja) | 音声会議システム | |
EP4184507A1 (en) | Headset apparatus, teleconference system, user device and teleconferencing method | |
US20220303149A1 (en) | Conferencing session facilitation systems and methods using virtual assistant systems and artificial intelligence algorithms | |
JPH03141799A (ja) | 拡声システム | |
EP4075822A1 (en) | Microphone mute notification with voice activity detection | |
JP2007258951A (ja) | 通信会議装置 |