JP2007158731A - 収音・再生方法および装置 - Google Patents

収音・再生方法および装置 Download PDF

Info

Publication number
JP2007158731A
JP2007158731A JP2005351359A JP2005351359A JP2007158731A JP 2007158731 A JP2007158731 A JP 2007158731A JP 2005351359 A JP2005351359 A JP 2005351359A JP 2005351359 A JP2005351359 A JP 2005351359A JP 2007158731 A JP2007158731 A JP 2007158731A
Authority
JP
Japan
Prior art keywords
sound
channel
reproduction
control
sound collecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005351359A
Other languages
English (en)
Other versions
JP4051408B2 (ja
Inventor
Haruo Hamada
晴夫 浜田
Yoshitaka Murayama
好孝 村山
Akira Goto
後藤  晃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DIMAGIC KK
Original Assignee
DIMAGIC KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DIMAGIC KK filed Critical DIMAGIC KK
Priority to JP2005351359A priority Critical patent/JP4051408B2/ja
Priority to US12/094,491 priority patent/US8116479B2/en
Priority to CNA200680045728XA priority patent/CN101401450A/zh
Priority to KR1020087013482A priority patent/KR20080092912A/ko
Priority to PCT/JP2006/323953 priority patent/WO2007066570A1/ja
Priority to EP06833756A priority patent/EP1962548A4/en
Publication of JP2007158731A publication Critical patent/JP2007158731A/ja
Application granted granted Critical
Publication of JP4051408B2 publication Critical patent/JP4051408B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S5/00Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/02Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/027Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15Aspects of sound capture and related signal processing for recording or reproduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)

Abstract

【課題】近接配置された複数のマイクロホンを使用し、音場空間内の任意の位置に対する指向性に優れた収音システムとこれを使用した再生システムを提供する。
【解決手段】複数の収音マイクロホンの周囲に複数の制御点を設定する。この制御点と各マイクロホン間の所望応答関数行列A(ω)及び伝達関数行列C(ω)を実測によって求める。収音デバイス1を構成する各マイクロホンに、デジタル信号処理部2に設けられた制御フィルタHを接続する。制御フィルタHは再生処理部4の出力チャネル数分設けられている。各制御フィルタHからの出力を各チャネルごとに加算して、再生処理部4の各チャネルに出力する。制御フィルタHは、収音時のマイクロホンの指向性を制御点で指定することにより、指定された制御点の予め実測された所望応答関数行列A(ω)及び伝達関数行列C(ω)に基づいて決定される。
【選択図】図4

Description

本発明は、近接配置されたマイクロフォン・アレイを用いて、任意の方向に指向性をつけて収音すると共に、収音した音をチャネル数や再生機器の異なる任意の再生システムにおいて再生可能とした収音・再生方法および装置に関する。
音場内における収音装置として、複数のマイクロホンを使用したマイクロホンアレイ装置が知られている。このマイクロホンアレイ装置の中で、マイクロホン数の削減を目的として、マイクロホンを実際に設置して収音する代わりに、実際に配置するマイクロホンから収音される音信号をもとにして、想定位置で収音されるであろう音信号を想定する技術が提案されている。特許文献1の発明は、そのような技術の代表的なものであって、次元当たり2本のマイクロホン数で次元方向の任意の位置の収音信号を推定するものである。
この特許文献1の発明では、図6に示すように、マイクロホン10a,bを軸方向に2つ配置し、これで収音した音信号を受音信号推定処理部11に入力する。受音信号推定処理部11は、音源から前記2つのマイクロホンに到来する音波を平面波であるものと近似して、マイクロホン10a,bと同軸上にある位置での推定受音信号を波動方程式により近似表現し、前記2つのマイクロホンそれぞれに到来する音波の平均パワーが等しいと仮定して前記波動方程式の音波の到来方向に依存する係数bcosθを推定し、前記2つのマイクロホンからの受音信号を基にそれらマイクロホンと同軸上の任意の位置の受音信号を推定する。
特開2001−45590号公報
ところで、上記特許文献1の発明は、音源から2つのマイクロホンに到達する信号を平面波であるものとして近似した信号処理を行うものであるが、実際の音場内では音波がこのような平面波となるとは限らないため、受音信号の推定位置を正確に得られない。
また、複数のマイクロホンで収音した音の位相差、時間差、周波数の差を検出して、それに基づいて任意の位置における受音信号を推定することも考えられるが、その場合、複数のマイクロホンを近接配置すると、前記の位相差などの検出値が小さくなり誤差の影響が入り込みやすくなり、正確な推定が困難となる。
また、一般的に、収音現場あるいは編集の現場において、音量の設定が適切な状態であるか、また、収音・編集の設定条件を改善できないか、常に確認する必要がある。例えば、5.1チャネルサラウンドシステム向けの収音を行う場合、実際に5.1チャネル再生システムを用意してモニタリングする必要があるが、収音の現場にこのような大掛かりな再生システムを用意するのは困難であり、ヘッドフォンや2チャネルのモニタスピーカでモニタリングするのが一般的であった。しかしながら、従来の2チャネルのヘッドホン・スピーカでは、マルチチャネル収音について、各チャネル(各方向の音)がどのような状況になっているか(音の大きさ、音像定位の良否)を確認することはできなかった。
本発明は、上記のような従来技術の問題点を解決するために提案されたものであり、その目的は、複数のマイクロホン近接配置した状態で、任意の方向から到来する音(到来波面の曲率は平行平面波に限らず、任意の曲率を持った球面波に対応可能である。)を強調してサンプリングすることが可能な収音システムを提供することにある。
より具体的には、近接配置した複数のマイクロフォンに入力された信号について信号処理を行うことで、任意の方向からの音を強調して収音する(任意の方向にマイクロホンの指向性をつける)ことが可能となる収音システムを提供するものである。
また、本発明の他の目的は、各マイクロホンから入力された信号を前記信号処理した結果得られるNチャネルの出力を、仮想音源再生処理部に入力することにより2チャネルの出力が得て、これをヘッドホンまたは2チャネルスピーカでモニタリングすることを可能とした収音システムを提供することにある。
さらに、本発明の他の目的は、前記の収音システムをチャネル数や再生機器の異なる任意の再生システムに接続することにより、例えば、5.1チャネルサラウンドシステムやステレオシステム、仮想音源再生処理部など、一般に普及している、あるいは将来開発される再生システムとの互換が取れる、収音・再生システムを提供することにある。
請求項1の発明は、複数のマイクロホンを近接配置し、各マイクロホンには、再生チャネル数に応じた数の制御フィルタを接続し、各チャネルの制御フィルタからの出力信号を各チャネルごとに加算して、それぞれの再生チャネルから出力する収音・再生システムにおいて、前記制御フィルタとして、近接配置された複数のマイクロホンの周囲音場内に複数の制御点を設定し、これらの制御点と各マイクロホンとの間の所望応答関数行列と伝達関数行列を実測値に基づいて求め、前記マイクロホンの指向性を指定した場合に、指定された指向性に対応する制御点の所望応答関数行列と伝達関数行列とに基づいて前記制御フィルタの値を決定することを特徴とする。
請求項2の発明は、前記請求項1の発明において、前記制御フィルタが、制御フィルタ行列をH(ω)、所望応答関数行列をA(ω)、伝達関数をC(ω)とした場合に、H(ω)=[C(ω)T・C(ω)]-1C(ω)T・A(ω)で表現され、伝達関数行列C(ω)との逆行列[C(ω)T・C(ω)]-1C(ω)Tを解くことで得られることを特徴とする。
請求項3の発明は、前記請求項1または請求項2の発明において、前記各チャネルの加算器からの各チャネルの信号の中から、モニタリングを行うチャネルの信号のみを指定して取出し、この取り出したチャネルの信号を2チャネルスピーカまたはヘッドホンに出力することを特徴とする。
請求項4の発明は、前記請求項3の発明において、前記仮想音源再生処理部が、各チャネルの信号を再生用デバイスの左右出力信号用にそれぞれ分割し、この分割された各チャネルの左右の信号を再生用デバイスの特性に適合した制御フィルタを通して左右の再生用デバイスに出力することを特徴とする。
請求項5の発明は、近接配置された複数の収音用デバイスと、各収音用デバイスによって収音された音を処理するデジタル信号処理部と、このデジタル信号処理部から出力された音声信号を出力する再生出力部とを備えた収音・再生装置において、前記再生出力部には、1あるいは複数チャネルの再生デバイスが設けられ、前記デジタル信号処理部には、前記複数の収音用デバイスのそれぞれに接続された前記再生チャネル数に対応した数の制御フィルタと、各収音用デバイスに接続された各再生チャネルの制御フィルタの出力を各チャネルごとに加算するチャネル数に対応した数の加算器が設けられ、これら各チャネルの加算器の出力が前記再生処理部における各チャネルの再生用デバイスに接続されていることを特徴とする。
また、前記制御フィルタは、近接配置された複数の収音用デバイスの周囲音場内に複数の制御点を設定し、これらの制御点と各収音用デバイスとの間の所望応答関数行列と伝達関数行列を実測値に基づいて求め、前記収音用デバイスの指向性を指定した場合に、指定された指向性に対応する制御点と各収音用デバイス間の所望応答関数行列と伝達関数行列とに基づいて前記制御フィルタの値を決定するものであって、前記デジタル信号処理部には、この制御フィルタを制御して収音時の指向性を決定するために、指向性制御データを入力する指向性制御部が設けられていることを特徴とする。
請求項6の発明は、前記請求項5の発明において、前記制御フィルタが、制御フィルタ行列をH(ω)、所望応答関数行列をA(ω)、伝達関数をC(ω)とした場合に、H(ω)=[C(ω)T・C(ω)]-1C(ω)T・A(ω)で表現され、伝達関数行列C(ω)との逆行列[C(ω)T・C(ω)]-1C(ω)Tを解くことで得られることを特徴とする。
請求項7の発明は、前記請求項5または請求項6の発明において、前記デジタル信号処理部にモニタリング処理部が接続され、このモニタリング処理部には、前記デジタル信号処理部に設けられた各チャネルの加算器からの信号を、2チャネルのモニタリング用デバイスの出力信号に変換する仮想音源再生処理部を備えていることを特徴とする。
請求項8の発明は、前記請求項7の発明において、前記仮想音源再生処理部が、前記デジタル信号処理部に設けられた各チャネルの加算器からの出力をモニタリング用デバイスの左右2つのチャネルに合わせて2分割し、この2分割された各チャネルの左右の信号ごとにモニタリング用デバイスに対応したフィルタ係数を設定した制御フィルタと、各チャネルの制御フィルタからの出力を加算する左右の加算器と、この左右の加算器からの信号をモニタリング用デバイスの各チャネルに出力する出力部を備えていることを特徴とする。
以上のような構成を有する本発明においては、次のような効果が発揮される。
(1) 既存のシステムよりもマイクロホンを近接配置できるので、システム全体の物理的規模を縮小化できる。
(2) データストレージの面でも小規模化できる。
(3) 空間音場全体の情報を保存できるため、既存の音場再生システムや将来新しく現れる音場再生システムに対応することができる。
(4) バーチャライズ(仮想音源再生)システムとの連携が容易で、効果的である。
(5) 複数の方向の音を強調して収音するマルチチャネル収音システムにおいて、2チャネルあるいはヘッドホンにより、各チャネルの収音状況をモニタリングすることができる。
次に、本発明の収音・再生システムの一実施形態を図面に従って具体的に説明する。
(1)収音用デバイスの一例
図1は、本実施形態における収音用デバイス1を構成する4つのマイクロホンM1〜M4の一例を示すもので、これらのマイクロホンM1〜M4はホルダ11内にその収音面を同一方向に向けて収容されている。
各マイクロホンM1〜M4の間隔は、空間サンプリングの観点から収音したい音波の4分の1波長よりも短い間隔が望ましく、収音する音波をオーディオ帯域とした場合には10mm程度の間隔で配置する。ただし、この寸法は、本実施形態に限定されるものではなく、応用分野によって、100mm程度から、50〜1mm程度でも構わない。また、収音するチャネル数(マイクロホン数)は2以上であれば良い。
(2)再生等化回路
本発明の収音・再生システムに使用するアルゴリズムの一例を、図2に示す再生等化回路によって説明する。前記各マイクロホンM1〜M4の出力側は、それぞれ図2に示すような再生等化回路に接続されている。この再生等化回路は、目標信号を出力する所望応答Aと、この所望応答Aと並列に接続された伝達系C及び制御フィルタHと、前記所望応答Aと制御フィルタHからの出力を加算して誤差eを出力する加算器Σとから構成されている。
前記所望応答Aは、下記の数1式で表現される伝達関数行列A(ω)によって求められる。
ここで、所望応答の行列A(ω)は、図3に示す通り、マイクロホンM1〜M4を音場空間の収音位置に配置した状態で、その周囲にq個の制御点を設定し、各制御点からのインパルス応答を実測することによって取得する。この場合、図3では、マイクロホンM1〜M4の周囲360°を15°置きに実測しているが、制御点数は必ずしもこれに限定されるものではない。また、マイクロホンM1〜M4と各制御点との距離も1mとしているが、この距離についても特に限定はない。さらに、これら実測した各制御点以外の個所における所望応答については、補間法などによって計算することにより取得する。
前記伝達系Cは、下記の数2式で表現される伝達関数行列C(ω)によって求められる。
ここで、C11(ω)………C1M(ω)は、1番目の制御点と各マイク間の伝達係数を示し、Mが制御点数を示している。また、CN1(ω)………CNM(ω)は、N番目の制御点と各マイク間の伝達係数を示している。この伝達関数C11(ω)………C1M(ω)は、各マイクロホンM1〜M4と各制御点間の伝達特性(減衰や遅れなど)を実測することによって求める。
前記制御フィルタHは、前記所望応答伝達関数行列A(ω)と伝達関数行列C(ω)に基づいて、下記の数3式により求められる。
すなわち、前記の各式から明らかなように、図2の再生等化回路においては、加算器Σによって所望応答伝達関数行列A(ω)から制御フィルタHに含まれているA(ω)を減算しているため、再生等化回路から出力される誤差eを最小とするような制御フィルタHを得るためには、制御フィルタHを構成する伝達関数行列Cの逆行列[C(ω)T・C(ω)]-1C(ω)Tを、最小二乗法などの近似計算法により解けばよいことになる。この場合、最小二乗法に基づく解法は、最急降下など各種数値計算法を適用することができる。
(3)収音・再生システムの全体構成
本実施形態の収音・再生システムは、図4に示すように、前記のような複数のマイクロホンと各マイクロホンの出力側に接続された制御フィルタHに対して、モニタリングシステム及び再生システムを組み合わせることにより構成される。なお、図1では、収音デバイスとして、4個のマイクロホンを示したが、図4の実施形態では、収音用のマイク数をM、再生チャネル数をNとしている。
図4において、1は収音用デバイス、2はデジタル信号処理部、3はモニタリング処理部、4は再生処理部であって、収音用デバイス1は、収音用のマイクロホンI1〜IMを備えている。
デジタル信号処理部2は、各収音用マイクロホンI1〜IMの出力側に接続された制御フィルタH11〜HMNを備えている。すなわち、各収音用マイクロホンI1〜IMには、それぞれ再生チャネル数Nに対応した制御フィルタHが接続されている。また、各マイクロホンに接続されている各チャネル用の制御フィルタHは、各再生チャネル用の加算器Σ1〜ΣNに接続されている。
このデジタル信号処理部2における各制御フィルタH11〜HMNには、収音用マイクロホンI1〜IMの指向性を決定するための制御データを入力するための指向性制御部21が接続されている。すなわち、この指向性制御部21は、各収音用マイクロホンH11〜HMNによって音場内から収録した音の中で、所望の方向と位置から発せられた音を強調して収音するために、デジタル信号処理部2に対してその方向と位置を制御データとして入力する。
この指向性制御部21には、ユーザがエンコーダやキーボートにより制御データを直接手入力するか、コンピュータプログラムによって経時的に変化する制御データを入力する。この場合、入力する指向性の制御データとしては、所望応答を測定した前記q個の制御点や、それを補完演算して所望応答を得た制御点の1カ所あるいは複数箇所を指定する。
例えば、出力チャネルが1チャネルの場合には、1カ所の制御点のみを指定すればよいし、マルチチャネルの場合には、出力チャネル数と方向に対応した数と方向の制御点を制御データとして入力する。図5は、5チャネル再生システム用として、図1に示すマイクロホンM1〜M4周囲の5方向に対してマイクの指向性を持たせ、その方向の音を強調して収音する状態を示すものである。
この指向性制御部21は、操作者から収音すべき制御点が入力されると、実測値から得られたその制御点に関する所望応答伝達関数行列A(ω)と伝達関数行列C(ω)とに基づいて、前記(2)に示したアルゴリズムに従って、各制御フィルタH11〜HMNの値を決定する演算を行い、その演算結果をデジタル信号処理部2に出力する。
モニタリング処理部3は、ヘッドホンや2チャネルスピーカのような2チャネルのモニタリング用出力部O1,O2を備えている。このモニタリング用出力部O1,O2には、前記各再生チャネルの加算器Σ1〜ΣNからの信号が、仮想音源再生処理部31を介して出力される。
すなわち、仮想音源再生処理部31は、各再生チャネルの加算器Σ1〜ΣNからの信号を左右のスピーカあるいはヘッドホン用に分割し、この分割された左右の信号をそれぞれ制御フィルタS1,C1〜Sn,Cnを通過させた後、各再生チャネルの右側の制御フィルタS1〜Snの出力を加算器ΣO1によって加算してモニタリング用出力部O1に、また、各再生チャネルの左側の制御フィルタC1〜Cnの出力を加算器ΣO2によって加算してモニタリング用出力部O2に出力する。
この場合、前記制御フィルタS1,C1〜Sn,Cnは、モニタリング用出力部O1,O2として使用するスピーカやヘッドホンなどののデバイスによって異なるフィルタ係数を有するもので、各デバイスごとに聴取者の両耳での受聴に適応した信号を生成する。
また、モニタリング処理部3には、前記デジタル信号処理部2によって収音すべき所定の制御点を指定した場合に、いずれのチャネルの音をモニタリングするかを指定するためのチャネル指定部32が設けられている。このチャネル指定部32は、デジタル信号処理部2から出力される各チャネルの信号の中から、モニタリングを行うチャネルの信号のみを指定して仮想音源再生処理部31に入力させるものである。
再生処理部4は、前記デジタル信号処理部2における各チャネル用の加算器Σ1〜ΣNからの信号を出力する各チャネルの再生出力部O1〜ONを有している。この再生出力部O1〜ONは、さらにステレオシステム、5.1チャネルサラウンドシステム、仮想音源再生処理部などの任意の再生システムの入力に接続されている。
(4)実施形態の作用
以上のような構成を有する本実施形態の収音・再生システムの作用は次の通りである。まず、収音に先立って、複数の各収音用デバイスを近接した状態で音場空間内に配置し、その周囲に複数の制御点を設定する。その状態で、各制御点から発した音を各収音デバイスで収録することにより、各制御点と各収音用デバイス間の所望応答関数行列A(ω)と伝達関数行列C(ω)を測定値から求め、これらを指向性制御部21内に格納しておく。
一方、再生処理を行うに当たって、何チャネル分の再生を行うかを決定し、再生処理部4にチャネル数分の再生デバイスを用意し、これらの再生デバイスデジタル信号処理部2に設けられた各チャネルの再生出力部O1〜ONに接続しておく。また、制御フィルタH11〜HMNも、近接配置した各収音デバイスI1〜IMごとに、再生チャネル分用意しておく。
なお、再生チャネル数は予め決定しておく必要はなく、各収音用デバイスによって収録した音を記憶装置に格納しておき、再生チャネル数が決定された後に、必要とする数の制御フィルタと加算器を有するデジタル信号処理部2と、再生用デバイスを用意することもできる。
このような状態で、各収音用デバイスI1〜IMによって収録された音は、それぞれの収音用デバイスごとにチャネル数分接続されている制御フィルタH11〜HMNに入力される。
ここで、操作者が指向性制御部21に対してどの方向の音を強調して収音するかを入力すると、指向性制御部21では、入力された方向と位置(収音用デバイスからの距離)に基づいて、予め所望応答関数および伝達関数を実測してある(もしくは実測値から演算して求めた)制御点を選択し、その制御点qの所望応答関数行列および伝達関数行列を呼び出して、これらを前記数3式に代入することで、制御フィルタH11〜HMNの値を演算して求める。
この場合、各収音用デバイスI1〜IMと制御点qとの距離や方向が異なるためにその所望応答関数と伝達関数もそれぞれ異なっており、また、再生チャネルが複数ある場合には、各チャネルごとに収音用デバイスに与える指向性の方向(収音用デバイスが強調して収音する方向)が異なるので、各制御フィルタの値も異なってくる。
このようにして、各制御フィルタの値が決定されると、これら制御フィルタH11〜HMNによって、各収音用デバイスの音中で所望の方向の音のみが各チャネルごとに強調される。その後、各制御フィルタからの信号が、各チャネルごとに加算器Σ1〜ΣNによって加算され、それが各チャネルの出力部再生出力部O1〜ONから各チャネルの再生用デバイスに出力される。
次に、本実施形態において、再生チャネルのモニタリングを行うには、モニタリング処理部3に対してチャネル指定部32からモニタリングを行いたいチャネルを指定する。すると、デジタル信号処理部に設けられた各チャネルの加算器Σ1〜ΣNからの信号の中から、所望のチャネルの信号のみが選択され、その信号が制御フィルタS1,C1〜Sn,Cnを介して、モニタリング用の再生デバイスである2チャネルのスピーカやヘッドホンに出力される。この場合、出力する再生用デバイスに応じて、前記制御フィルタS1,C1〜Sn,Cnの係数を設定することで、再生用デバイスの種類にかかわらず最適な出力を得ることができる。
(5)実施形態の効果
以上の通り、本実施形態では、複数の収音用デバイス自体には特に指向性を持たせることなく、音場空間内で受聴できる音をすべてそのまま収音し、これら収音した音を制御フィルタで処理することで、収音した音の中から所望の方向の音のみを強調して取り出して再生することができる。
特に、どの方向の音を強調して再生するかは、制御フィルタに与える制御データによって決定されることから、この制御データを変更することで収音する方向や再生チャネル数を自由に決定することができる上に、従来技術のような平行平面波に限らず任意の曲率を持った球面波にも対応でき、自由度の高い収音・再生システムを得ることができる。
その上、本発明では、予め設定した制御点qについてその所望応答と伝達関数を実測あるいは実測値をもとに演算して求め、この実測値に基づいたデータを基礎にして制御フィルタを決定しているので、収音用デバイスのいずれの方向に対して指向性を与える場合であっても、制御フィルタHを構成する伝達関数行列Cの逆行列[C(ω)T・C(ω)]-1C(ω)Tを、最小二乗法等の近似計算法により解くことで、所望応答に近似した出力を得ることができる。
また、前記の指向性制御部21に入力する収音方向は、操作者が手動で設定することも可能であるが、コンピュータプログラムなどによって、時間の経過と共に刻々と変化する値を入力することも可能である。その場合、入力された制御データの変化に伴い、制御フィルタH11〜HMNの値が変化し、所望の方向の音を所望のチャネルに出力することができる。
さらに、本実施形態では、デジタル信号処理部2からの出力をモニタリング処理部3に導き、2チャネルの再生用デバイス入出力するように構成したので、いずれの再生チャネルに対する出力であっても、モニタリング処理部3に設けられたチャネル選択部32を操作するだけで、他のチャネル音とは明確に区別して聴取できる。もちろん、この場合も、単一の再生チャネルの音のみをモニタリングすることも可能であるが、加算器Σ1〜ΣNから出力された複数のチャネルの音を同時にモニタリング用デバイスに出力することもできる。
本発明に使用するマイクロホンの構成例を示す図であって、(A)は側面図(B)は正面図。 本発明の収音システムを構成する制御フィルタHを得るためのアルゴリズムを示す再生等化回路図。 本発明における所望応答を音場空間内に設定した状態を示す図。 本発明の収音システムの一実施形態を示すブロック図。 マイクロホンの周囲5方向に指向性を設定した状態を示す図。 従来の収音システムの一例を示すブロック図。
符号の説明
M1〜M4…マイクロホン
1…収音デバイス
2…デジタル信号処理部
21…指向性制御部
3…モニタリング処理部
31…仮想音源再生処理部
32…チャネル指定部
4…再生処理部
A…所望応答
C…伝達関数
H…制御フィルタ
1〜IM…収音用マイクロホン
11〜HMN…収音システム用の制御フィルタ
Σ1〜ΣN…加算器
1〜ON…再生出力部
1,C1〜Sn,Cn…仮想音源再生処理部の制御フィルタ
1,O2…モニタリング用出力部

Claims (8)

  1. 複数の収音用デバイスを近接配置し、各収音用デバイスには、再生チャネル数に応じた数の制御フィルタを接続し、各チャネルの制御フィルタからの出力信号を各チャネルごとに加算して、それぞれの再生チャネルから出力する収音・再生方法において、
    前記制御フィルタとして、近接配置された複数の収音用デバイスの周囲音場内に複数の制御点を設定し、これらの制御点と各収音用デバイスとの間の所望応答関数行列と伝達関数行列を実測値に基づいて求め、前記収音用デバイスの指向性を指定した場合に、指定された指向性に対応する制御点と各収音用デバイス間の所望応答関数行列と伝達関数行列とに基づいて前記制御フィルタの値を決定することを特徴とする収音・再生方法。
  2. 前記制御フィルタが、制御フィルタ行列をH(ω)、所望応答関数行列をA(ω)、伝達関数をC(ω)とした場合に、H(ω)=[C(ω)T・C(ω)]-1C(ω)T・A(ω)で表現され、伝達関数行列C(ω)との逆行列[C(ω)T・C(ω)]-1C(ω)Tを解くことで得られることを特徴とする請求項1に記載の収音・再生方法。
  3. 前記各チャネルの加算器からの各チャネルの信号の中から、モニタリングを行うチャネルの信号のみを指定して取出し、この取り出したチャネルの信号を仮想音源再生処理部を介して2チャネルの収音用デバイスに出力することを特徴とする請求項1または請求項2に記載の収音・再生方法。
  4. 前記仮想音源再生処理部が、各チャネルの信号を再生用デバイスの左右出力信号用にそれぞれ分割し、この分割された各チャネルの左右の信号を再生用デバイスの特性に適合した制御フィルタを通して左右の再生用デバイスに出力することを特徴とする請求項3に記載の収音・再生方法。
  5. 近接配置された複数の収音用デバイスと、各収音用デバイスによって収音された音を処理するデジタル信号処理部と、このデジタル信号処理部から出力された音声信号を出力する再生出力部とを備えた収音・再生装置において、
    前記再生出力部には、1あるいは複数チャネルの再生デバイスが設けられ、
    前記デジタル信号処理部には、前記複数の収音用デバイスのそれぞれに接続された前記再生チャネル数に対応した数の制御フィルタと、各収音用デバイスに接続された各再生チャネルの制御フィルタの出力を各チャネルごとに加算するチャネル数に対応した数の加算器が設けられ、これら各チャネルの加算器の出力が前記再生処理部における各チャネルの再生用デバイスに接続され、
    前記制御フィルタは、近接配置された複数の収音用デバイスの周囲音場内に複数の制御点を設定し、これらの制御点と各収音用デバイスとの間の所望応答関数行列と伝達関数行列を実測値に基づいて求め、前記収音用デバイスの指向性を指定した場合に、指定された指向性に対応する制御点と各収音用デバイス間の所望応答関数行列と伝達関数行列とに基づいて前記制御フィルタの値を決定するものであって、
    前記デジタル信号処理部には、この制御フィルタを制御して収音時の指向性を決定するために、指向性制御データを入力する指向性制御部が設けられていることを特徴とする収音・再生装置。
  6. 前記制御フィルタが、制御フィルタ行列をH(ω)、所望応答関数行列をA(ω)、伝達関数をC(ω)とした場合に、H(ω)=[C(ω)T・C(ω)]-1C(ω)T・A(ω)で表現され、伝達関数行列C(ω)との逆行列[C(ω)T・C(ω)]-1C(ω)Tを解くことで得られることを特徴とする請求項5に記載の収音・再生装置。
  7. 前記デジタル信号処理部にモニタリング処理部が接続され、
    このモニタリング処理部には、前記デジタル信号処理部に設けられた各チャネルの加算器からの信号を、2チャネルのモニタリング用デバイスの出力信号に変換する仮想音源再生処理部を備えていることを特徴とする請求項5または請求項6に記載の収音・再生装置。
  8. 前記仮想音源再生処理部が、前記デジタル信号処理部に設けられた各チャネルの加算器からの出力をモニタリング用デバイスの左右2つのチャネルに合わせて2分割し、この2分割された各チャネルの左右の信号ごとにモニタリング用デバイスに対応したフィルタ係数を設定した制御フィルタと、各チャネルの制御フィルタからの出力を加算する左右の加算器と、この左右の加算器からの信号をモニタリング用デバイスの各チャネルに出力する出力部を備えていることを特徴とする請求項7に記載の収音・再生装置。
JP2005351359A 2005-12-05 2005-12-05 収音・再生方法および装置 Expired - Fee Related JP4051408B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2005351359A JP4051408B2 (ja) 2005-12-05 2005-12-05 収音・再生方法および装置
US12/094,491 US8116479B2 (en) 2005-12-05 2006-11-20 Sound collection/reproduction method and device
CNA200680045728XA CN101401450A (zh) 2005-12-05 2006-11-30 声音采集/再现方法和设备
KR1020087013482A KR20080092912A (ko) 2005-12-05 2006-11-30 수음·재생 방법 및 장치
PCT/JP2006/323953 WO2007066570A1 (ja) 2005-12-05 2006-11-30 収音・再生方法および装置
EP06833756A EP1962548A4 (en) 2005-12-05 2006-11-30 TONSAMMEL - / - REPRODUCTION PROCESS AND DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005351359A JP4051408B2 (ja) 2005-12-05 2005-12-05 収音・再生方法および装置

Publications (2)

Publication Number Publication Date
JP2007158731A true JP2007158731A (ja) 2007-06-21
JP4051408B2 JP4051408B2 (ja) 2008-02-27

Family

ID=38122716

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005351359A Expired - Fee Related JP4051408B2 (ja) 2005-12-05 2005-12-05 収音・再生方法および装置

Country Status (6)

Country Link
US (1) US8116479B2 (ja)
EP (1) EP1962548A4 (ja)
JP (1) JP4051408B2 (ja)
KR (1) KR20080092912A (ja)
CN (1) CN101401450A (ja)
WO (1) WO2007066570A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010074827A (ja) * 2008-08-22 2010-04-02 Yamaha Corp 録音再生装置
JP2011517547A (ja) * 2008-04-07 2011-06-09 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション マイクロホン配列からのサラウンド・サウンド生成
US8160264B2 (en) 2008-07-30 2012-04-17 Fujitsu Limited Transfer function estimating device, noise suppressing apparatus and transfer function estimating method
US9042557B2 (en) 2011-04-20 2015-05-26 Electronics And Telecommunications Research Institute Method and apparatus for reproducing three-dimensional sound field
JP2015171111A (ja) * 2014-03-11 2015-09-28 日本電信電話株式会社 音場収音再生装置、システム、方法及びプログラム
JP2016039410A (ja) * 2014-08-05 2016-03-22 キヤノン株式会社 信号処理装置および信号処理方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008050688A1 (de) * 2008-10-07 2010-04-08 Sennheiser Electronic Gmbh & Co. Kg Kommunikationssystem
CN102176766A (zh) * 2010-12-29 2011-09-07 上海华勤通讯技术有限公司 空间声场音效的检测系统及检测方法
US9264524B2 (en) * 2012-08-03 2016-02-16 The Penn State Research Foundation Microphone array transducer for acoustic musical instrument
US9110670B2 (en) 2012-10-19 2015-08-18 Microsoft Technology Licensing, Llc Energy management by dynamic functionality partitioning
CN103856871B (zh) * 2012-12-06 2016-08-10 华为技术有限公司 麦克风阵列采集多声道声音的装置及其方法
CN104036783B (zh) * 2014-05-19 2017-07-18 孙国华 磁共振成像扫描设备自适应语音增强系统
CN104270607A (zh) * 2014-09-28 2015-01-07 北京塞宾科技有限公司 一种流媒体服务提供方法
EP3251116A4 (en) * 2015-01-30 2018-07-25 DTS, Inc. System and method for capturing, encoding, distributing, and decoding immersive audio
WO2016131471A1 (en) 2015-02-16 2016-08-25 Huawei Technologies Co., Ltd. An audio signal processing apparatus and method for crosstalk reduction of an audio signal
CN105578349A (zh) * 2015-12-29 2016-05-11 太仓美宅姬娱乐传媒有限公司 一种声音的采集处理方法
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
JP6841743B2 (ja) * 2017-09-29 2021-03-10 Kddi株式会社 音響信号のミキシング装置及びプログラム
EP3588979B1 (en) * 2018-06-22 2020-09-23 Sivantos Pte. Ltd. A method for enhancing a signal directionality in a hearing instrument
CN112415882B (zh) * 2020-12-15 2022-03-29 厦门欣盛航进出口有限公司 一种具有声音强度测量装置的电子挂钟

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3132529B2 (ja) * 1992-09-07 2001-02-05 ソニー株式会社 音声入力装置
JP3204278B2 (ja) * 1993-03-04 2001-09-04 ソニー株式会社 マイクロホン装置
JP3558636B2 (ja) * 1993-10-15 2004-08-25 インダストリアル リサーチ リミテッド 広周波数帯域を残響補助システムに用いた残響装置の改良
JP2720845B2 (ja) * 1994-09-01 1998-03-04 日本電気株式会社 適応アレイ装置
JP3572594B2 (ja) * 1995-07-05 2004-10-06 晴夫 浜田 信号源探査方法及び装置
US5949894A (en) * 1997-03-18 1999-09-07 Adaptive Audio Limited Adaptive audio systems and sound reproduction systems
AU740617C (en) * 1997-06-18 2002-08-08 Clarity, L.L.C. Methods and apparatus for blind signal separation
US6072878A (en) * 1997-09-24 2000-06-06 Sonic Solutions Multi-channel surround sound mastering and reproduction techniques that preserve spatial harmonics
JP3863323B2 (ja) 1999-08-03 2006-12-27 富士通株式会社 マイクロホンアレイ装置
US6239348B1 (en) * 1999-09-10 2001-05-29 Randall B. Metcalf Sound system and method for creating a sound event based on a modeled sound field
JP3582712B2 (ja) * 2000-04-19 2004-10-27 日本電信電話株式会社 収音方法および収音装置
JP4815661B2 (ja) * 2000-08-24 2011-11-16 ソニー株式会社 信号処理装置及び信号処理方法
US7274794B1 (en) * 2001-08-10 2007-09-25 Sonic Innovations, Inc. Sound processing system including forward filter that exhibits arbitrary directivity and gradient response in single wave sound environment
US7676047B2 (en) * 2002-12-03 2010-03-09 Bose Corporation Electroacoustical transducing with low frequency augmenting devices
JP2005258215A (ja) * 2004-03-12 2005-09-22 Shigeki Sagayama 信号処理方法及び信号処理装置
US20060159052A1 (en) * 2004-11-11 2006-07-20 Shouichi Koga Space division multiplex wireless communication system, device and method for the same
US9100748B2 (en) * 2007-05-04 2015-08-04 Bose Corporation System and method for directionally radiating sound
JP4471006B2 (ja) * 2008-02-04 2010-06-02 ソニー株式会社 無線通信装置、アンテナ較正方法、およびプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011517547A (ja) * 2008-04-07 2011-06-09 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション マイクロホン配列からのサラウンド・サウンド生成
US8582783B2 (en) 2008-04-07 2013-11-12 Dolby Laboratories Licensing Corporation Surround sound generation from a microphone array
US8160264B2 (en) 2008-07-30 2012-04-17 Fujitsu Limited Transfer function estimating device, noise suppressing apparatus and transfer function estimating method
JP2010074827A (ja) * 2008-08-22 2010-04-02 Yamaha Corp 録音再生装置
US9042557B2 (en) 2011-04-20 2015-05-26 Electronics And Telecommunications Research Institute Method and apparatus for reproducing three-dimensional sound field
JP2015171111A (ja) * 2014-03-11 2015-09-28 日本電信電話株式会社 音場収音再生装置、システム、方法及びプログラム
JP2016039410A (ja) * 2014-08-05 2016-03-22 キヤノン株式会社 信号処理装置および信号処理方法

Also Published As

Publication number Publication date
US20100027808A1 (en) 2010-02-04
EP1962548A4 (en) 2011-01-19
JP4051408B2 (ja) 2008-02-27
KR20080092912A (ko) 2008-10-16
CN101401450A (zh) 2009-04-01
WO2007066570A1 (ja) 2007-06-14
EP1962548A1 (en) 2008-08-27
US8116479B2 (en) 2012-02-14

Similar Documents

Publication Publication Date Title
JP4051408B2 (ja) 収音・再生方法および装置
EP3320692B1 (en) Spatial audio processing apparatus
EP2633697B1 (en) Three-dimensional sound capturing and reproducing with multi-microphones
JP5533248B2 (ja) 音声信号処理装置および音声信号処理方法
EP1408718B1 (en) Sound image localizer
JP6620235B2 (ja) サウンドステージ拡張のための機器及び方法
US9237398B1 (en) Motion tracked binaural sound conversion of legacy recordings
EP3370437A1 (en) Signal processing device, signal processing method, and program
JP6613078B2 (ja) 信号処理装置及びその制御方法
CN103428609A (zh) 用于去除噪声的设备和方法
JP2007235334A (ja) オーディオ装置及び指向音生成方法
WO2017154378A1 (ja) 測定装置、フィルタ生成装置、測定方法、及びフィルタ生成方法
JP5867799B2 (ja) 収音再生装置、プログラム及び収音再生方法
JPH07240990A (ja) マイクロホン装置
JP4898907B2 (ja) 収音方法および装置
JP5626586B2 (ja) 遅延測定装置、遅延測定方法およびコンピュータプログラム
JP6658026B2 (ja) フィルタ生成装置、フィルタ生成方法、及び音像定位処理方法
JP2015170926A (ja) 音響再生装置、音響再生方法
JP5163685B2 (ja) 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP7439502B2 (ja) 処理装置、処理方法、フィルタ生成方法、再生方法、及びプログラム
WO2021212287A1 (zh) 音频信号处理方法、音频处理装置及录音设备
JP6988321B2 (ja) 信号処理装置、信号処理方法、及びプログラム
JP2017028494A (ja) 音場収音再生装置、その方法及びプログラム
KR100626672B1 (ko) 구체를 이용한 3차원 오디오 신호 처리 시스템 및 그 방법
JP2015119393A (ja) 音響信号受聴装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070306

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070507

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071016

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370