JP2007019907A - 音声伝達システム、および通信会議装置 - Google Patents

音声伝達システム、および通信会議装置 Download PDF

Info

Publication number
JP2007019907A
JP2007019907A JP2005199683A JP2005199683A JP2007019907A JP 2007019907 A JP2007019907 A JP 2007019907A JP 2005199683 A JP2005199683 A JP 2005199683A JP 2005199683 A JP2005199683 A JP 2005199683A JP 2007019907 A JP2007019907 A JP 2007019907A
Authority
JP
Japan
Prior art keywords
speaker
microphone
information
sound source
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005199683A
Other languages
English (en)
Inventor
Yasutaka Iwasaki
安隆 岩崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2005199683A priority Critical patent/JP2007019907A/ja
Priority to US11/988,222 priority patent/US8208664B2/en
Priority to EP06715653A priority patent/EP1906707B1/en
Priority to CN2006800244902A priority patent/CN101218853B/zh
Priority to PCT/JP2006/304994 priority patent/WO2007007444A1/ja
Publication of JP2007019907A publication Critical patent/JP2007019907A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M7/00Arrangements for interconnection between switching centres
    • H04M7/0093Arrangements for interconnection between switching centres signalling arrangements in networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Telephonic Communication Services (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Stereophonic System (AREA)

Abstract

【課題】 簡易な構成でありながら臨場感ある音場制御をすることができる音声伝達システムを提供する。
【解決手段】 通信会議装置1の制御部14は、スピーカアレイ12から端末ユニット2に測定用音波を発し、返答がなされるまでの時間を測定して端末ユニット2の位置を検出する。制御部14は、端末ユニット2の位置にマイクアレイ11のマイク感度が向くように指向特性を設定し、集音した音声を他の通信会議装置1に送信する。受信側の通信会議装置1においては、受信した音声が送信側における端末ユニット2の位置から発せられるかのようにスピーカアレイ12の指向特性を設定する。
【選択図】 図2

Description

この発明は、音声伝達システムに関し、特に音源の位置を検出して臨場感ある音場制御を行う音声伝達システムに関する。
通信会議システムは、複数個のマイクで会議参加者の音声を集音し、ミキシングした後に伝送するように構成されているものが一般的である。受信側においては、全てのスピーカから同一の音量、位相で音声が再生される。このような通信会議システムの場合、会議参加者の誰が音声を発しても、同一の音像で再生されるため、受信側にとって誰が発話したのかがわかりにくかった。
また、受信側においては、スピーカの音量が固定されているので、送信側の会議参加者が複数人であれば、それぞれの発声音量やマイクとの距離の違いによってスピーカからの音量が大きく変化する。
このような事情に基づき、マイク入力信号の時間波形や周波数スペクトルから発話者と発話者の位置を判定する音声電話会議装置が提案されている(例えば特許文献1参照)。
特開平9−261351号公報
特許文献1に記載の音声電話会議装置は、マイク入力信号の時間波形や周波数スペクトルから発話者と発話者の位置を判定し、音声データとともに位置情報を送信する。受信側は、受信した位置情報に基づいて各スピーカの音量を制御する。また、各マイクのうち、最大入力のマイクから音声を集音するように切り換えスイッチを備え、受信側は、集音したマイクに対応するスピーカから発音するように設定する。
しかしながら、位置情報に基づいて各スピーカ(ステレオスピーカ)の音量を制御するだけでは、臨場感のある音場(例えば奥行き感等)を実現することができなかった。
また、各マイクのうち、最大入力のマイクから音声を集音するように切り換えスイッチを備えているが、複数人が同時に発話した場合は短時間のうちに切り換える必要があり、正確な音声を送信できないという問題もあった。
この発明は、簡易な構成でありながら臨場感ある音場制御をすることができる音声伝達システムを提供することを目的とする。
この発明の音声伝達システムは、第1の場所に設置された複数のマイクユニットからなるマイクアレイと、第2の場所に設置された複数のスピーカユニットからなるスピーカアレイと、第1の場所に存在する音源位置を検出する位置検出手段と、前記位置検出手段が検出した音源の位置に前記マイクアレイの指向特性を設定するマイク側信号処理手段と、前記指向特性で前記マイクアレイが集音した音声データを、前記指向特性の情報とともに送信する送信手段と、前記送信手段が送信した音声データを、指向特性情報とともに受信する受信手段と、前記指向特性情報に基づいて、前記第1の場所における音源位置に仮想的な音源が形成されるように、前記スピーカアレイの指向特性を設定するスピーカ側信号処理手段と、を備えたことを特徴とする。
この発明において、第1の場所(送信側)における音源の位置を特定し、その位置にマイク感度の指向特性を設定する。集音した音声データを、その指向特性とともに第2の場所(受信側)に送信する。受信側においては指向特性に基づいて、送信側における音源位置に仮想音源を形成する。例えば、受信側から見て右側奥(送信側では左側手前)に位置する発話者が音声を発したとき、右側から音声が再生されるようにする。
この発明の音声伝達システムは、第1の場所に設置された複数のマイクユニットからなる第1のマイクアレイと、第2の場所に設置された複数のスピーカユニットからなる第2のスピーカアレイと、第1の場所に存在する音源位置を検出する第1の位置検出手段と、前記第1の位置検出手段が検出した音源の位置に前記第1のマイクアレイの指向特性を設定する第1のマイク側信号処理手段と、前記指向特性で前記第1のマイクアレイが集音した音声データを、前記指向特性の情報とともに送信する第1の送信手段と、前記第1の送信手段が送信した音声データを、指向特性情報とともに受信する第2の受信手段と、前記指向特性情報に基づいて、前記第1の場所における音源位置に仮想的な音源が形成されるように、前記第2のスピーカアレイの指向特性を設定する第2のスピーカ側信号処理手段と、第2の場所に設置された複数のマイクユニットからなる第2のマイクアレイと、第1の場所に設置された複数のスピーカユニットからなる第1のスピーカアレイと、第2の場所に存在する音源位置を検出する第2の位置検出手段と、前記第2の位置検出手段が検出した音源の位置に前記第2のマイクアレイの指向特性を設定する第2のマイク側信号処理手段と、前記指向特性で前記第2のマイクアレイが集音した音声データを、前記指向特性の情報とともに送信する第2の送信手段と、前記第2の送信手段が送信した音声データを、指向特性情報とともに受信する第1の受信手段と、前記指向特性情報に基づいて、前記第2の場所における音源位置に仮想的な音源が形成されるように、前記第1のスピーカアレイの指向特性を設定する第1のスピーカ側信号処理手段と、を備えたことを特徴とする。
この発明において、第1の場所から第2の場所に集音した音声データを、その指向特性とともにに送信し、一方で、第2の場所から第1の場所に集音した音声データを、その指向特性とともに送信する。第1の場所、第2の場所のそれぞれにおいて、送信側における音源位置に仮想音源を形成する。
この発明は、さらに、前記位置検出手段は、複数の音源位置を検出し、前記マイク側信号処理手段は、複数の音源位置に前記マイクアレイの指向特性をそれぞれ設定し、前記情報送信手段は、複数の音声データを、それぞれの指向特性の情報とともに送信し、前記情報受信手段は、複数の音声データを、それぞれの指向特性の情報とともに受信し、前記スピーカ側信号処理手段は、複数の音源位置に仮想的な音源が形成されるように、前記スピーカアレイの指向特性を設定することを特徴とする。
この発明において、送信側における複数の音源位置を検出して、マイク感度の指向特性を設定する。集音した複数の音声データを、それぞれの指向特性とともに受信側に送信する。受信側においてはそれぞれの指向特性に基づいて、送信側における複数の音源位置にそれぞれ仮想音源を形成する。
この発明の通信会議装置は、請求項2に記載の第1のマイクアレイ、第1のスピーカアレイ、第1の位置検出手段、第1のマイク側信号処理手段、第1の情報送信手段、第1の情報受信手段、および第1のスピーカ側信号処理手段を一体に備えたことを特徴とする。
以上のようにこの発明によれば、送信側において音源の位置を特定するとともに当該音源にマイク感度の指向特性を設定し、受信側においては送信側の音源位置に仮想音源を形成するようにスピーカアレイの指向特性を設定するので、簡易な構成でありながら臨場感ある通信会議を実現することができる。
図1は、本発明の実施形態に係る通信会議システムの構成を示す概略図である。同図に示すように、この通信会議システムは、複数の会議室にそれぞれ設置される通信会議装置1、および各会議参加者が携帯する端末ユニット2を備えている。
通信会議装置1は、各会議室にそれぞれ設置されている。通信会議装置1はネットワーク(LAN、またはインターネット)や電話回線を介してそれぞれ接続されている。端末ユニット2は、会議参加者が携帯するリモコンである。会議参加者は、この端末ユニット2を用いて会議の開始通知等を行う。この端末ユニット2は、各会議参加者が携帯するようにしてもよいし、机上に設置するようにしてもよい。また、会議参加者全員分の端末ユニット2を備えている必要はなく、各会議室にそれぞれ1、または複数備えていればよい。
図2は、通信会議装置1、および端末ユニット2の構成を示すブロック図である。同図に示すように、通信会議装置1は、音声を集音するマイクアレイ11、音声を出力するスピーカアレイ12、端末ユニット2と情報通信する赤外線通信部13、通信会議装置1を制御する制御部14、および他の通信会議装置と情報通信するデータ送受信部15を備えている。端末ユニット2は、音声を入力する端末ユニットマイク21、端末ユニットを制御する端末ユニット制御部22、通信会議装置1と情報通信する端末ユニット赤外線通信部23、およびユーザが操作入力するユーザインタフェース24を備えている。
通信会議装置1の制御部14は、マイクアレイ11、スピーカアレイ12、赤外線通信部13、およびデータ送受信部15に接続されている。また、端末ユニット制御部22は、端末ユニットマイク21、端末ユニット赤外線通信部23、およびユーザインタフェース24に接続されている。
通信会議装置1の制御部14は、マイクアレイ11とスピーカアレイ12の指向性を制御する。マイクアレイ11およびスピーカアレイ12が複数のマイクユニット(スピーカユニット)をマトリクス状(またはライン状、ハニカム状)に配列した構成であるため、これらの遅延量を制御することで指向性を制御することができる。
例えば、端部のスピーカユニットから最初に音声を出力し、隣のスピーカユニットから順次所定の遅延時間で音声を出力すると、これらの音声の合成波面はその遅延時間に応じて傾斜するので、音声ビームを斜め方向に向けることができる。このようにして、スピーカアレイの遅延量をコントロールし、通信会議装置1の前面にいる会議参加者に対し、音像定位させることができる。
同様に、マイクアレイにおいては、それぞれのマイクユニットの遅延量をコントロールすることで、所定の方向にマイク感度を向けることができる。
制御部14は、マイクアレイ11から入力された音声をデータ送受信部15に送信する。なお、制御部14は必要に応じてA/Dコンバータを内蔵しており、集音した音声をデータ送受信部15に音声データとして送信するものである。データ送受信部15は、ネットワーク接続された他の会議室の通信会議装置1のデータ送受信部15に音声データを送信する。音声データを受信した他の会議室のデータ送受信部15は、接続されている制御部14に音声データを送信する。これを受信した制御部14は、音声データをD/A変換してスピーカアレイ12に出力し、音声を出力する。このようにして会議参加者の発した音声をマイクアレイ11で集音し、他の会議室のスピーカアレイ12から放音する。
端末ユニット制御部22は、ユーザインタフェース24から入力された操作に従って種々の動作を行う。会議参加者がユーザインタフェース24から会議開始の通知を行うと、端末ユニット制御部22は、端末ユニット赤外線送受信部23を介して、通信会議装置1に会議開始通知を送信する。赤外線通信部13を介して会議開始通知を受信した通信会議装置1の制御部14は、他の会議室への接続要求をデータ送受信部15に送信する。データ送受信部15は、他の会議室のデータ送受信部15と通信を開始する。
また、会議参加者がユーザインタフェース24から音量変更の指示を行うと、端末ユニット制御部22は、端末ユニット赤外線送受信部23を介して通信会議装置1に音量変更の指示情報を送信する。
端末ユニットマイク21は、通信会議装置1からの音波を受信するものである。本実施形態の通信会議システムは、以下のような動作を行う。制御部14は、スピーカアレイ12のうち、いずれかのスピーカユニットから音波を発するとともにカウンタ(タイマ)をスタートする。この音波を端末ユニットマイク21を介して受信した端末ユニット制御部22は、端末ユニット赤外線通信部23を介して通信会議装置1に受信信号を送信する。赤外線通信部13を介して受信信号を受信した制御部14は、カウンタをストップし、音波を発してから受信信号を受信するまでの時間を測定することで、スピーカユニットと端末ユニット2の距離を測定する。このような距離測定を複数のスピーカユニットで測定し、端末ユニット2の位置を特定する。
図3に端末ユニットの位置測定の詳細を示す。同図に示すように、通信会議装置1の前面には複数(同図においては2つ)のマイクユニット11A(マイクユニット11B)と複数のスピーカユニット12A(スピーカユニット12B)が備えられている。
同図において、マイクユニット11A、スピーカユニット12Aの中心位置と他方のマイクユニット11B、スピーカユニット12Bの中心位置との距離をWとする。また、一方のマイクユニット11A、スピーカユニット12Aの中心位置と端末ユニット2との距離をD1とし、他方のマイクユニット11B、スピーカユニット12Bの中心位置と端末ユニット2との距離をD2とする。このWとD1の間に描かれる頂点の内角をθとする。このθは、以下の余弦定理により求めることができる。
Figure 2007019907
ここで、通信会議装置1の中心位置座標を(0,0)とする。すると、端末ユニット2の存在する位置座標(X1,Y1)は、以下のような式で表される。
Figure 2007019907
このようにして通信会議装置1は、端末ユニット2の位置を測定することができる。この位置測定は、端末ユニット2が複数ある場合には全ての端末ユニット2について行う。各会議参加者毎に端末ユニット2を有する場合にはそれぞれの端末ユニット2の存在する位置を会議参加者の位置とみなす。また、端末ユニット2が会議参加者の数よりも少ない、または端末ユニット2が1つである場合には、それぞれの会議参加者の位置で上記位置測定を行い、測定したそれぞれの位置情報を会議参加者の位置として通信会議装置1のメモリ(図示せず)に記憶しておく。
なお、位置測定は上記の手法に限らず、例えば画像認識により位置を特定する等、他の手法であってもよい。
以上のようにして測定した端末ユニット2の位置に関する情報に基づいて、制御部14は、マイクアレイ11の指向性をコントロールする。例えば、端末ユニット2の位置にマイクアレイ11の感度が向くように設定し、発話者の音声を効率よく集音する。また、通信会議装置1から遠い位置に対してはマイクアレイ11のゲインを上げる。
また、それぞれの端末ユニット2の位置情報(会議参加者の位置情報)は、他の会議室の通信会議装置1に送信する。他の会議室における通信会議装置1の制御部14は、受信した端末ユニット2の位置情報に応じてスピーカアレイ12の指向特性を設定する。上述したように、送信側の端末ユニット2(会議参加者)の位置座標を特定できるので、送信側から見てこの位置座標から音声が発せられるようにスピーカアレイの指向特性をコントロールして音像定位させる。
図4は、指向特性を説明する図である。同図(A)は、送信側のマイクアレイ11の指向特性を示した図である。同図において、会議参加者が発した音声は、最も近いマイクユニットから順に到達するが、それぞれのマイクユニットに遅延を与え、音源から発せられた音声が同位相で出力されるようにする。各マイクユニットから同位相で音声が出力されるので、これらをミキシングするとその音声が強調されることとなる。ここで、他の位置から発せられた音声は、各マイクユニットから異なる位相で出力されるのでミキシングすると打ち消されることとなり、音源の方向にのみマイクの主感度を向けることができる。
同図(B)は、受信側のスピーカアレイ12の指向特性を示した図である。同図において、受信した音声データをそれぞれのスピーカユニットから出力する。このとき、同図(A)に示したような通信会議装置1と端末ユニット2の位置関係で、仮想音源を形成する。この仮想音源に最も近い位置のスピーカユニットから最初に音声を出力し、隣のスピーカユニットから順に遅延して出力する。このように、順次遅延させることにより、音声が発話者の位置から発せられたかのような音像定位をさせることができる。
このような制御を行うために、通信会議装置1の間で送受信するデータについて説明する。図5は、送受信パケットの例を示した図である。通信会議装置1はTCP/IPを用いてパケット送受信を行う。同図に示すヘッダ部、およびフッタ部は、TCP/IPのヘッダ、フッタ(通信制御用の情報)である。
同図(A)は、音声データが含まれるパケットの1例である。同図(A)に示すように、データ部には位置情報在無データ、位置情報X、位置情報Y、および音声データが含まれている。位置情報在無データは、上述した各会議参加者の位置情報(位置座標)がパケット中に含まれているか否かを示すデータであり、通信会議装置1の制御部14は、これを参照することで、スピーカアレイ12の指向特性のコントロールをするか否かを決定する。位置情報がパケット中に含まれていないと位置情報在無データに示されている場合は、受信した音声データを全てのスピーカユニットで均一に再生する。
位置情報X、および位置情報Yは、上述した各会議参加者の位置座標を示すデータである。制御部14は、この情報に基づいてスピーカアレイ12の指向特性をコントロールし、この位置から発話音声が聞こえているかのように音像定位させる。
また、会議開始時に位置情報を送受信するようにして、会議中はデータ部に各会議参加者を識別する情報と音声データを付与して送受信するようにしてもよい。同図(B)は会議開始時に送受信するパケットの例を示した図である。同図(C)は、会議中に送受信するパケットの例を示した図である。同図(B)に示すように、会議開始時には、各会議参加者を識別する識別情報と、この識別情報に対応する位置情報を送受信する。このパケットを受信した制御部14は、それぞれの会議参加者の識別情報と位置情報を対応付けてメモリに記憶する。
同図(C)に示すように、会議中は各会議参加者を識別する識別情報と、この識別情報に対応する音声データを送受信する。このパケットを受信した制御部14は、受信した識別情報に対応する位置情報をメモリから参照し、この位置情報に基づいてスピーカアレイ12の指向特性をコントロールし、受信した音声データを再生する。
会議中に会議参加者の位置が変更された場合は、位置情報変更を示すパケットを送受信する。同図(D)は、位置情報変更を示すパケットの例を示した図である。同図(D)に示すように、会議中に会議参加者の位置が変更された場合は、位置情報変更パケットである旨を示す位置情報変更データと、位置が変更された会議参加者を識別する識別情報と、この識別情報に対応する位置情報と、を送受信する。このパケットを受信した制御部14は、受信した識別情報と位置情報を対応付けてメモリ内容を更新する。
なお、送信側(集音側)のマイクアレイと受信側(再生側)のスピーカアレイの数が同一であり、アレイ配置が同一である場合(各スピーカユニットとマイクユニットが1対1に対応する場合)には、マイクアレイの遅延量とスピーカアレイの遅延量を同一とすることで、位置情報を送受信しなくとも発話者の位置から音声が聞こえるように音像定位させることができる。
次に、本実施形態の通信会議システムの動作について詳細に説明する。図6は、位置測定動作を示すフローチャートである。この動作は、会議参加者が会議前にあらかじめ端末ユニット2を用いて、位置測定モードを指示したときに行う。まず、端末ユニット2からレジスト情報を取得する(s10)。レジスト情報は、各端末ユニット2の存在を示す情報であり、それぞれの端末ユニット2から送信される。これを受信することで通信会議装置1は会議室内の端末ユニット2の数を認識することができる。レジスト情報は通信会議装置1に内蔵のメモリに記憶される。
受信したレジスト情報について、メモリ内に登録済であるか否かを判断し(s11)、登録されていなければレジスト情報をメモリに登録する(s12)。登録されていればs12の処理は行わないで次の処理に進む。
その後、端末ユニット2からスタート信号が受信されたか否かを判断する(s13)。端末ユニット2からスタート信号が送信されていなければレジスト情報の取得から処理を繰り返す。
端末ユニット2からスタート信号が送信され、これを受信した場合、スピーカアレイ12のいずれかのスピーカユニットから測定用音波を発してカウンタをスタートする(s14)。この測定用音波はどのような音声波形であってもよいが、例えば可聴外の正弦波とする。その後、この音波を検出した端末ユニット2から音波が到達したことを示す音波到達信号が送信されてくるので、これを受信し、カウンタをストップする(s15)。これにより端末ユニット2との距離を測定する。音波到達信号を受信した後、端末ユニット2に測定が終了したことを通知する(s16)。
その後、再測定が必要であるか否かを判断する(s17)。通信会議装置1は、レジスト情報を取得したときに、会議室の端末ユニット2の数を管理しているので、全ての端末ユニット2の距離を測定した場合に再測定が必要でないと判断し、未測定の端末ユニット2が存在すれば該当する端末ユニット2にスタート信号送信要求を通知し(s18)、スタート信号が受信されたか否かの判断から処理を繰り返す(s18→s13)。再測定が必要でないと判断した場合は動作を終了する。
図7は、会議開始時の動作を示すフローチャートである。まず、端末ユニット2から会議開始信号が受信されたか否かを判断する(s20)。会議開始信号が受信されるまでこの判断を繰り返す。会議開始信号が受信されれば、端末ユニット2の位置測定がすでにされているか否かを判断する(s21)。位置測定がされていなければ会議中に送受信するパケットに位置情報を付加しないよう設定する(s22)。位置測定がされていなければ一般的な通信会議システムと同様に、各マイクユニットで集音した音声をミキシング後、他の会議室に送信し、全てのスピーカユニットから均一音量で音声を再生する。
位置測定がされていれば、それぞれの会議参加者にマイク感度が向くように、位置情報に基づいて各マイクユニットの遅延量を設定(s23)その後、各位置情報と各マイクユニットの遅延量を対応付けてメモリに保存する(s24)。
次に会議中の動作について説明する。図8は、送信側の動作を示すフローチャートである。図9は、受信側の動作を示すフローチャートである。図8において、まず他の会議室の受信側の通信会議装置1と接続されているか否かを判断する(s30)。他の会議室の通信会議装置1と接続されていなければ接続を開始する(s31)。接続されていればその後の処理に進む。
その後、音声が入力されたか否かを判断し(s32)、音声が入力されるまでこの判断を繰り返す。音声が入力されれば、入力された音声と位置情報をパケット化し(s33)、受信側の通信会議装置1に送信する(s34)。
図9において、受信側の通信会議装置1は、送信されてきたパケットを受信する(s40)。パケット内に位置情報が含まれているか否かを判断する(s41)。位置情報が含まれていれば、この位置情報に応じてスピーカアレイ12の指向特性を制御する(s42)。その後、音声を再生する(s43)。位置情報が含まれていなければ、スピーカアレイ12の指向特性の制御を行わないで、全てのスピーカアレイ12で均一音量、遅延量で音声を再生する(s41→s43)。
なお、送信側のマイクアレイの数と、受信側のスピーカアレイの数が同一であり、アレイ配置が同一である場合(各スピーカユニットとマイクユニットが1対1に対応する場合)には、位置情報を送受信せずとも、遅延量を同一とすることで音像定位を行うことができる。
以上のように、本実施形態の通信会議システムは、通信会議装置1と端末ユニット2の距離を測定して会議参加者の位置を特定し、この位置情報を送受信することで、受信側においては、会話音声が発話者の位置から発せられるかのような音像定位をさせることができる。これにより、臨場感のある音場制御が可能となり、また、テレビ電話等の映像データを送受信する場合であれば、映像中の発話者から音声が発せられるかのような制御もでき、より臨場感ある通信会議システムとなる。
なお、音像定位は、送信側の発話者の位置から発せられるように制御する例に限るものではない。例えば音像の奥行き(Y座標)は考慮せず、左右の定位だけを制御するようにしてもよい。
本発明の実施形態に係る通信会議システムの構成を示す概略図 通信会議装置、および端末ユニットの構成を示すブロック図 端末ユニットの位置測定を示した図 指向特性を説明する図 送受信パケットの例を示した図 位置測定動作を示すフローチャート 会議開始時の動作を示すフローチャート 送信側の動作を示すフローチャート 受信側の動作を示すフローチャート
符号の説明
1−通信会議装置
2−端末ユニット
11−マイクアレイ
12−スピーカアレイ
13−赤外線通信部
14−制御部
21−端末ユニットマイク
22−端末ユニット制御部
23−端末ユニット赤外線通信部
24−ユーザインタフェース

Claims (4)

  1. 第1の場所に設置された複数のマイクユニットからなるマイクアレイと、
    第2の場所に設置された複数のスピーカユニットからなるスピーカアレイと、
    第1の場所に存在する音源位置を検出する位置検出手段と、
    前記位置検出手段が検出した音源の位置に前記マイクアレイの指向特性を設定するマイク側信号処理手段と、
    前記指向特性で前記マイクアレイが集音した音声データを、前記指向特性の情報とともに送信する送信手段と、
    前記送信手段が送信した音声データを、指向特性情報とともに受信する受信手段と、
    前記指向特性情報に基づいて、前記第1の場所における音源位置に仮想的な音源が形成されるように、前記スピーカアレイの指向特性を設定するスピーカ側信号処理手段と、
    を備えた音声伝達システム。
  2. 第1の場所に設置された複数のマイクユニットからなる第1のマイクアレイと、
    第2の場所に設置された複数のスピーカユニットからなる第2のスピーカアレイと、
    第1の場所に存在する音源位置を検出する第1の位置検出手段と、
    前記第1の位置検出手段が検出した音源の位置に前記第1のマイクアレイの指向特性を設定する第1のマイク側信号処理手段と、
    前記指向特性で前記第1のマイクアレイが集音した音声データを、前記指向特性の情報とともに送信する第1の送信手段と、
    前記第1の送信手段が送信した音声データを、指向特性情報とともに受信する第2の受信手段と、
    前記指向特性情報に基づいて、前記第1の場所における音源位置に仮想的な音源が形成されるように、前記第2のスピーカアレイの指向特性を設定する第2のスピーカ側信号処理手段と、
    第2の場所に設置された複数のマイクユニットからなる第2のマイクアレイと、
    第1の場所に設置された複数のスピーカユニットからなる第1のスピーカアレイと、
    第2の場所に存在する音源位置を検出する第2の位置検出手段と、
    前記第2の位置検出手段が検出した音源の位置に前記第2のマイクアレイの指向特性を設定する第2のマイク側信号処理手段と、
    前記指向特性で前記第2のマイクアレイが集音した音声データを、前記指向特性の情報とともに送信する第2の送信手段と、
    前記第2の送信手段が送信した音声データを、指向特性情報とともに受信する第1の受信手段と、
    前記指向特性情報に基づいて、前記第2の場所における音源位置に仮想的な音源が形成されるように、前記第1のスピーカアレイの指向特性を設定する第1のスピーカ側信号処理手段と、
    を備えた音声伝達システム。
  3. 前記位置検出手段は、複数の音源位置を検出し、
    前記マイク側信号処理手段は、複数の音源位置に前記マイクアレイの指向特性をそれぞれ設定し、
    前記情報送信手段は、複数の音声データを、それぞれの指向特性の情報とともに送信し、
    前記情報受信手段は、複数の音声データを、それぞれの指向特性の情報とともに受信し、
    前記スピーカ側信号処理手段は、複数の音源位置に仮想的な音源が形成されるように、前記スピーカアレイの指向特性を設定する請求項1、または請求項2に記載の音声伝達システム。
  4. 請求項2に記載の第1のマイクアレイ、第1のスピーカアレイ、第1の位置検出手段、第1のマイク側信号処理手段、第1の情報送信手段、第1の情報受信手段、および第1のスピーカ側信号処理手段を一体に備えた通信会議装置。
JP2005199683A 2005-07-08 2005-07-08 音声伝達システム、および通信会議装置 Pending JP2007019907A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005199683A JP2007019907A (ja) 2005-07-08 2005-07-08 音声伝達システム、および通信会議装置
US11/988,222 US8208664B2 (en) 2005-07-08 2006-03-14 Audio transmission system and communication conference device
EP06715653A EP1906707B1 (en) 2005-07-08 2006-03-14 Audio transmission system and communication conference device
CN2006800244902A CN101218853B (zh) 2005-07-08 2006-03-14 音频传输系统及通信会议装置
PCT/JP2006/304994 WO2007007444A1 (ja) 2005-07-08 2006-03-14 音声伝達システム、および通信会議装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005199683A JP2007019907A (ja) 2005-07-08 2005-07-08 音声伝達システム、および通信会議装置

Publications (1)

Publication Number Publication Date
JP2007019907A true JP2007019907A (ja) 2007-01-25

Family

ID=37636844

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005199683A Pending JP2007019907A (ja) 2005-07-08 2005-07-08 音声伝達システム、および通信会議装置

Country Status (5)

Country Link
US (1) US8208664B2 (ja)
EP (1) EP1906707B1 (ja)
JP (1) JP2007019907A (ja)
CN (1) CN101218853B (ja)
WO (1) WO2007007444A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008294619A (ja) * 2007-05-23 2008-12-04 Yamaha Corp 音声通信システム
JP2012109643A (ja) * 2010-11-15 2012-06-07 National Institute Of Information & Communication Technology 音再現システム、音再現装置および音再現方法
JP2013504229A (ja) * 2009-09-03 2013-02-04 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 会議オーディオシステム用の遅延ユニット、オーディオ入力信号を遅延する方法、コンピュータプログラムおよび会議オーディオシステム

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI311028B (en) * 2006-08-16 2009-06-11 Inventec Corp Mobile communication device and method of receiving voice on conference mode
EP2009892B1 (fr) * 2007-06-29 2019-03-06 Orange Positionnement de locuteurs en conférence audio 3D
WO2010045869A1 (zh) * 2008-10-20 2010-04-29 华为终端有限公司 一种3d音频信号处理的方法、系统和装置
EP2505001A1 (en) * 2009-11-24 2012-10-03 Nokia Corp. An apparatus
EP2352290B1 (en) * 2009-12-04 2012-11-21 Swisscom AG Method and apparatus for matching audio and video signals during a videoconference
JP5672741B2 (ja) * 2010-03-31 2015-02-18 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP2012095167A (ja) * 2010-10-28 2012-05-17 Panasonic Corp 撮像装置
CN102480671B (zh) * 2010-11-26 2014-10-08 华为终端有限公司 视频通信中的音频处理方法和装置
US8989360B2 (en) * 2011-03-04 2015-03-24 Mitel Networks Corporation Host mode for an audio conference phone
CN102739372A (zh) * 2011-04-02 2012-10-17 国民技术股份有限公司 一种以声音为载体来触发信息交互的装置与方法
CN104751868B (zh) * 2013-12-31 2018-12-11 海能达通信股份有限公司 语音录制方法、通话录音回放方法以及相关装置和系统
CN103916734B (zh) * 2013-12-31 2018-12-07 华为终端(东莞)有限公司 一种声音信号处理方法及终端
SE1451466A1 (sv) * 2014-03-26 2015-09-27 Sound Dimension Ab Device for reproducing sound
US9392368B2 (en) 2014-08-25 2016-07-12 Comcast Cable Communications, Llc Dynamic positional audio
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
GB201603822D0 (en) * 2016-03-04 2016-04-20 Purelifi Ltd Li-drive
GB2551780A (en) * 2016-06-30 2018-01-03 Nokia Technologies Oy An apparatus, method and computer program for obtaining audio signals
GB2557218A (en) * 2016-11-30 2018-06-20 Nokia Technologies Oy Distributed audio capture and mixing
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
US10950253B2 (en) * 2018-02-09 2021-03-16 Board Of Regents, The University Of Texas System Vocal feedback device and method of use
US10493909B1 (en) * 2018-05-22 2019-12-03 Blackberry Limited Vehicle communication systems and methods of operating vehicle communication systems
WO2019231632A1 (en) 2018-06-01 2019-12-05 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
CN108810764B (zh) * 2018-07-09 2021-03-12 Oppo广东移动通信有限公司 发声控制方法、装置以及电子装置
WO2020061353A1 (en) 2018-09-20 2020-03-26 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
CN113841421A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 具有抑制功能的波束形成麦克风瓣的自动对焦、区域内自动对焦、及自动配置
EP3942842A1 (en) 2019-03-21 2022-01-26 Shure Acquisition Holdings, Inc. Housings and associated design features for ceiling array microphones
US10645517B1 (en) * 2019-03-29 2020-05-05 Lenovo (Singapore) Pte. Ltd. Techniques to optimize microphone and speaker array based on presence and location
EP3973716A1 (en) 2019-05-23 2022-03-30 Shure Acquisition Holdings, Inc. Steerable speaker array, system, and method for the same
WO2020243471A1 (en) 2019-05-31 2020-12-03 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
CN114467312A (zh) 2019-08-23 2022-05-10 舒尔获得控股公司 具有改进方向性的二维麦克风阵列
US11258417B2 (en) 2019-09-30 2022-02-22 Lenovo (Singapore) Pte. Ltd. Techniques for using computer vision to alter operation of speaker(s) and/or microphone(s) of device
US12028678B2 (en) 2019-11-01 2024-07-02 Shure Acquisition Holdings, Inc. Proximity microphone
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
USD944776S1 (en) 2020-05-05 2022-03-01 Shure Acquisition Holdings, Inc. Audio device
US11706562B2 (en) 2020-05-29 2023-07-18 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
JP7533600B2 (ja) * 2020-10-01 2024-08-14 ヤマハ株式会社 信号処理システム、信号処理装置、及び信号処理方法
WO2022165007A1 (en) 2021-01-28 2022-08-04 Shure Acquisition Holdings, Inc. Hybrid audio beamforming system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02292999A (ja) * 1989-05-03 1990-12-04 Hiroshi Ishikawa マイクロホン装置、スピーカー装置、及び拡声通話装置
JPH04150652A (ja) * 1990-10-15 1992-05-25 Nippon Telegr & Teleph Corp <Ntt> 会議通話装置
JPH10126900A (ja) * 1996-10-21 1998-05-15 Takenaka Komuten Co Ltd 音像定位システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5335011A (en) 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
US5778082A (en) * 1996-06-14 1998-07-07 Picturetel Corporation Method and apparatus for localization of an acoustic source
US5991385A (en) * 1997-07-16 1999-11-23 International Business Machines Corporation Enhanced audio teleconferencing with sound field effect
GB2342802B (en) 1998-10-14 2003-04-16 Picturetel Corp Method and apparatus for indexing conference content
US6850496B1 (en) * 2000-06-09 2005-02-01 Cisco Technology, Inc. Virtual conference room for voice conferencing
KR20040019339A (ko) * 2001-07-20 2004-03-05 코닌클리케 필립스 일렉트로닉스 엔.브이. 반향 억제기 및 확성기 빔 형성기를 구비한 사운드 보강시스템
WO2003015407A1 (en) 2001-08-07 2003-02-20 Polycom, Inc. System and method for high resolution videoconferencing
GB0121206D0 (en) * 2001-08-31 2001-10-24 Mitel Knowledge Corp System and method of indicating and controlling sound pickup direction and location in a teleconferencing system
US20040114772A1 (en) * 2002-03-21 2004-06-17 David Zlotnick Method and system for transmitting and/or receiving audio signals with a desired direction
CN1534973A (zh) * 2003-04-01 2004-10-06 黄文义 可补偿麦克风灵敏度的音讯会议系统及其方法
NO318096B1 (no) * 2003-05-08 2005-01-31 Tandberg Telecom As Arrangement og fremgangsmate for lokalisering av lydkilde
CN100489962C (zh) * 2003-05-14 2009-05-20 凌阳科技股份有限公司 声音方向识别装置及方法
US20050147261A1 (en) * 2003-12-30 2005-07-07 Chiang Yeh Head relational transfer function virtualizer

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02292999A (ja) * 1989-05-03 1990-12-04 Hiroshi Ishikawa マイクロホン装置、スピーカー装置、及び拡声通話装置
JPH04150652A (ja) * 1990-10-15 1992-05-25 Nippon Telegr & Teleph Corp <Ntt> 会議通話装置
JPH10126900A (ja) * 1996-10-21 1998-05-15 Takenaka Komuten Co Ltd 音像定位システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008294619A (ja) * 2007-05-23 2008-12-04 Yamaha Corp 音声通信システム
JP2013504229A (ja) * 2009-09-03 2013-02-04 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 会議オーディオシステム用の遅延ユニット、オーディオ入力信号を遅延する方法、コンピュータプログラムおよび会議オーディオシステム
JP2012109643A (ja) * 2010-11-15 2012-06-07 National Institute Of Information & Communication Technology 音再現システム、音再現装置および音再現方法

Also Published As

Publication number Publication date
CN101218853A (zh) 2008-07-09
US20090110212A1 (en) 2009-04-30
EP1906707A4 (en) 2010-01-20
EP1906707A1 (en) 2008-04-02
WO2007007444A1 (ja) 2007-01-18
CN101218853B (zh) 2010-12-22
EP1906707B1 (en) 2012-02-01
US8208664B2 (en) 2012-06-26

Similar Documents

Publication Publication Date Title
JP2007019907A (ja) 音声伝達システム、および通信会議装置
JP5857674B2 (ja) 画像処理装置、及び画像処理システム
EP1983799B1 (en) Acoustic localization of a speaker
US10075801B2 (en) Information processing system and storage medium
US20050280701A1 (en) Method and system for associating positional audio to positional video
US7177413B2 (en) Head position based telephone conference system and associated method
US20080273476A1 (en) Device Method and System For Teleconferencing
US20070109977A1 (en) Method and apparatus for improving listener differentiation of talkers during a conference call
WO2012142975A1 (zh) 会场终端音频信号处理方法及会场终端和视讯会议系统
US20200110162A1 (en) Portable Communication Device with User-Initiated Polling of Positional Information of Nodes in a Group
JP5120020B2 (ja) 画像付音声通信システム、画像付音声通信方法およびプログラム
JP4893257B2 (ja) 音像位置制御装置
JP2006211156A (ja) 音響装置
JP2009118316A (ja) 音声通信装置
CN107195308B (zh) 音视频会议系统的混音方法、装置及系统
CN116057928A (zh) 信息处理装置、信息处理终端、信息处理方法和程序
JP2006339869A (ja) 映像信号と音響信号の統合装置
JP4779501B2 (ja) 遠隔会議システム
JP2006352570A (ja) スピーカシステム
JPWO2007122729A1 (ja) 通信システム、通信装置及び音源方向特定装置
JP2020053882A (ja) コミュニケーション装置、コミュニケーションプログラム、及びコミュニケーション方法
CN110910892A (zh) 会议系统终端、音频数据处理方法和远程会议系统
JP7111202B2 (ja) 収音制御システム及び収音制御システムの制御方法
JPH03252258A (ja) 指向性再生装置
US20240338169A1 (en) Identifying Co-Located Devices within a Teleconferencing Session

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100730

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100730

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101109