JP2016025469A - 収音再生システム、収音再生装置、収音再生方法、収音再生プログラム、収音システム及び再生システム - Google Patents

収音再生システム、収音再生装置、収音再生方法、収音再生プログラム、収音システム及び再生システム Download PDF

Info

Publication number
JP2016025469A
JP2016025469A JP2014148188A JP2014148188A JP2016025469A JP 2016025469 A JP2016025469 A JP 2016025469A JP 2014148188 A JP2014148188 A JP 2014148188A JP 2014148188 A JP2014148188 A JP 2014148188A JP 2016025469 A JP2016025469 A JP 2016025469A
Authority
JP
Japan
Prior art keywords
area
sound
unit
microphone array
sound collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014148188A
Other languages
English (en)
Other versions
JP6149818B2 (ja
Inventor
一浩 片桐
Kazuhiro Katagiri
一浩 片桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2014148188A priority Critical patent/JP6149818B2/ja
Priority to US14/727,496 priority patent/US9877133B2/en
Publication of JP2016025469A publication Critical patent/JP2016025469A/ja
Application granted granted Critical
Publication of JP6149818B2 publication Critical patent/JP6149818B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005—Microphone arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23—Direction finding using a sum-delay beam-former
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Stereophonic System (AREA)

Abstract

【課題】遠隔地の様々な場所の現在の状況を臨場感豊かに体感させることができるようにする。【解決手段】本発明は、空間内の各エリアの収音に必要なマイクロホンアレイを選択し、選択されたエリア毎のマイクロホンアレイを用いて全エリアを収音し、収音された全エリアのエリア音のうち、指定聴取位置に対応するエリアのエリア音と、聴取方向に応じた当該エリアの周囲エリアのエリア音とを、音響再生環境に応じて選択するエリア音選択部と、エリア音選択部により選択された各エリア音の音量を指定聴取位置からの距離に応じて調節するエリア音量調節部と、エリア音量調節部により音量調節された各エリア音に音響再生環境に応じた伝達関数を用いて立体音響処理を行う立体音響処理部とを備える。【選択図】 図１

Description

本発明は、収音再生システム、収音再生装置、収音再生方法、収音再生プログラム、収音システム及び再生システムに関し、例えば、複数のエリア内に存在する音（「音」は音声、音響等を含む。）をそれぞれ収音した後、各エリアの音を加工、混合し、立体的に再生する場合に適用し得るものである。
ＩＣＴの発達に伴い、遠隔地の映像や音情報を用い、あたかも遠隔地にいるかのように体感させる技術への需要が高まっている。
非特許文献１では、離れた場所に存在する複数のオフィス間を接続し、映像や音、各種センサ情報を相互に授受して、遠隔地と円滑にコミュニケーションを取ることができるテレワークシステムを提案している。このシステムでは、オフィス内のいたるところに複数のカメラと複数のマイクロホンを配置し、カメラ・マイクロホンから得られる映像・音情報を別の離れたオフィスヘ伝送する。ユーザは、遠隔地のカメラを自由に切替えることができ、カメラを切替える度にカメラの近くに配置してあるマイクロホンにより収音された音が再生され、リアルタイムに遠隔地の状況を知ることができる。
また非特許文献２では、室内に複数のカメラとマイクロホンをアレイ状に配置し、その室内で録画録音したオーケストラ演奏などのコンテンツを、ユーザが自由に視聴位置を選んで鑑賞できるシステムを提案している。このシステムでは、マイクロホンアレイを用いて録音した音を独立成分分析（以後、ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）により音源ごとに分離する。通常、ＩＣＡによる音源分離は、分離した各音源の成分が周波数成分毎に入れ替わって出力されてしまうパーミュテーション問題を解く必要があるが、このシステムでは空間類似性をもとに周波数成分をグルーピングすることにより、近い位置に存在する音源毎にまとめて分離している。分離後の音には複数の音源が混ざる可能性があるが、最終的に全ての音源を再生するため影響は少ない。分離した音源の位置情報を推定し、選択したカメラの画角に合わせて音源に立体音響効果を付加し再生することで、ユーザに臨場感のある音を聞かせることができる。
野中 他、"複数の映像・音・センサ情報を利用するオフィスコミュニケーションシステム"、ヒューマンインタフェース学会研究報告集 Ｖｏｌ．１３Ｎｏ．１０、２０１１ 丹羽 他、"受聴位置選択型音場再現のためのブラインド音源分離を用いた多マイクロホンアレー信号の符号化"、電子情報通信学会技術研究報告、ＥＡ、応用音響１０７（５３２）、２００８
しかしながら、非特許文献１及び非特許文献２に記載されているシステムを用いても、ユーザに遠隔地の様々な場所の現在の状況を臨場感豊かに体感させるには不十分な点がある。
非特許文献１に記載のシステムを用いれば、ユーザは、遠隔地にあるオフィス内をリアルタイムにあらゆる方向から見ることができ、またその場所の音も聞くことができる。しかしながら、音に関しては、単純にマイクロホンによって収音されたものをそのまま再生するだけであるので、周囲に存在する全ての音（音声や音響）が混ざってしまい、しかも方向感もないため臨場感に欠ける。
また、非特許文献２に記載のシステムを用いれば、分離した音源を立体音響処理し再生することにより、臨場感のある遠隔地の音をユーザに聞かせることができる。しかしながら、音源を分離するために、ＩＣＡや仮想音源成分の推定、更に位置情報の推定など多くの計算を必要とするため、実時間で収音と再生処理を同時に行うことは難しい。また、実際に存在する音源数、仮想音源数、グルーピング数の設定により出力が変わるため、あらゆる状況下で安定した性能を得ることは難しい。
そのため、遠隔地の様々な場所の現在の状況を臨場感豊かに体感させることができる収音再生システム、収音再生装置、収音再生方法、収音再生プログラム、収音システム及び再生システムが求められている。
かかる課題を解決するために、第１の本発明に係る収音再生システムは、空間に配置された複数のマイクロホンアレイを用いて空間内の分割された全エリアのエリア音を収音して、立体音響を再生する収音再生システムであって、（１）空間内の各エリアの収音に必要なマイクロホンアレイを選択するマイクロホンアレイ選択部と、（２）マイクロホンアレイ選択部により選択されたエリア毎のマイクロホンアレイを用いて、全エリアを収音するエリア収音部と、（３）エリア収音部により収音された全エリアのエリア音のうち、指定聴取位置に対応するエリアのエリア音と、聴取方向に応じた当該エリアの周囲エリアのエリア音とを、音響再生環境に応じて選択するエリア音選択部と、（４）エリア音選択部により選択された各エリア音の音量を指定聴取位置からの距離に応じて調節するエリア音量調節部と、（５）エリア音量調節部により音量調節された各エリア音に、音響再生環境に応じた伝達関数を用いて立体音響処理を行う立体音響処理部とを備えることを特徴とする。
第２の本発明に係る収音再生装置は、空間に配置された複数のマイクロホンアレイを用いて空間内の分割された全エリアのエリア音を収音して、立体音響を再生する収音再生装置であって、（１）空間内の各エリアの収音に必要なマイクロホンアレイを選択するマイクロホンアレイ選択部と、（２）マイクロホンアレイ選択部により選択されたエリア毎のマイクロホンアレイを用いて、全エリアを収音するエリア収音部と、（３）エリア収音部により収音された全エリアのエリア音のうち、指定聴取位置に対応するエリアのエリア音と、聴取方向に応じた当該エリアの周囲エリアのエリア音とを、音響再生環境に応じて選択するエリア音選択部と、（４）エリア音選択部により選択された各エリア音の音量を指定聴取位置からの距離に応じて調節するエリア音量調節部と、（５）エリア音量調節部により音量調節された各エリア音に、音響再生環境に応じた伝達関数を用いて立体音響処理を行う立体音響処理部とを備えることを特徴とする。
第３の本発明に係る収音再生方法は、空間に配置された複数のマイクロホンアレイを用いて空間内の分割された全エリアのエリア音を収音して、立体音響を再生する収音再生方法であって、（１）マイクロホンアレイ選択部が、空間内の各エリアの収音に必要なマイクロホンアレイを選択し、（２）エリア収音部が、マイクロホンアレイ選択部により選択されたエリア毎の上記マイクロホンアレイを用いて、全エリアを収音し、（３）エリア音選択部が、エリア収音部により収音された全エリアのエリア音のうち、指定聴取位置に対応するエリアのエリア音と、聴取方向に応じた当該エリアの周囲エリアのエリア音とを、音響再生環境に応じて選択し、（４）エリア音量調節部が、エリア音選択部により選択された各エリア音の音量を指定聴取位置からの距離に応じて調節し、（５）立体音響処理部が、エリア音量調節部により音量調節された各エリア音に、音響再生環境に応じた伝達関数を用いて立体音響処理を行うことを特徴とする。
第４の本発明に係る収音再生プログラムは、空間に配置された複数のマイクロホンアレイを用いて空間内の分割された全エリアのエリア音を収音して、立体音響を再生する収音再生プログラムであって、コンピュータを、（１）空間内の各エリアの収音に必要なマイクロホンアレイを選択するマイクロホンアレイ選択部と、（２）マイクロホンアレイ選択部により選択されたエリア毎のマイクロホンアレイを用いて、全エリアを収音するエリア収音部と、（３）エリア収音部により収音された全エリアのエリア音のうち、指定聴取位置に対応するエリアのエリア音と、聴取方向に応じた当該エリアの周囲エリアのエリア音とを、音響再生環境に応じて選択するエリア音選択部と、（４）エリア音選択部により選択された各エリア音の音量を指定聴取位置からの距離に応じて調節するエリア音量調節部と、（５）エリア音量調節部により音量調節された各エリア音に、音響再生環境に応じた伝達関数を用いて立体音響処理を行う立体音響処理部として機能させることを特徴とする。
第５の本発明に係る収音システムは、空間に配置された複数のマイクロホンアレイを用いて空間内の分割された全エリアのエリア音を収音する収音システムであって、（１）空間内の各エリアの収音に必要なマイクロホンアレイを選択するマイクロホンアレイ選択部と、（２）マイクロホンアレイ選択部により選択されたエリア毎のマイクロホンアレイを用いて、全エリアを収音するエリア収音部とを備えることを特徴とする。
第６の本発明に係る再生システムは、空間に配置された複数のマイクロホンアレイを用いて空間内の分割された全エリアのエリア音を収音して、立体音響を再生する再生システムであって、（１）全エリアのエリア音のうち、指定聴取位置に対応するエリアのエリア音と、聴取方向に応じた当該エリアの周囲エリアのエリア音とを、音響再生環境に応じて選択するエリア音選択部と、（２）エリア音選択部により選択された各エリア音の音量を指定聴取位置からの距離に応じて調節するエリア音量調節部と、（３）エリア音量調節部により音量調節された各エリア音に、音響再生環境に応じた伝達関数を用いて立体音響処理を行う立体音響処理部とを備えることを特徴とする。
本発明によれば、ユーザに遠隔地の様々な場所の現在の状況を臨場感豊かに体感させることができる。
実施形態に係る収音再生装置の構成を示すブロック図である。 実施形態に係るエリア収音部の内部構成を示すブロック図である。 実施形態に係る遠隔地の空間を９個のエリアに分割して収音したエリア音をユーザの指定位置と音響再生環境に応じて選択、再生することを示した模式図である。 実施形態に係る２個の３チャンネル−マイクロホンアレイを用い、２個の収音エリアから収音する状況を説明する説明図である。
（Ａ）主たる実施形態
以下では、本発明に係る収音再生システム、収音再生装置、収音再生方法、収音再生プログラム、収音システム及び再生システムの実施形態を、図面を参照しながら詳細に説明する。
（Ａ−１）実施形態の技術的概念の説明
まず、本発明に係る実施形態の技術的概念を説明する。本願発明者は、遠隔地の空間を複数のエリアに分割し、遠隔地の空間に配置させたマイクロホンアレイを用いて、それぞれのエリア毎に収音する収音システムを提案している（参考文献１：特願２０１３−１７９８８６号明細書及び図面）。この実施形態に係る収音再生システムは、本願発明者が提案する収音手法を利用する。この収音手法は、マイクロホンアレイの配置を変えることにより収音するエリアの広さを変えることができるので、遠隔地の環境に合わせて遠隔地の空間を分割することができる。また、この収音手法は、分割した全てのエリアのエリア音を同時に収音することができる。
そこで、実施形態に係る収音再生システムは、遠隔地の空間における全てのエリアのエリア音を同時に収音し、ユーザにより選択された遠隔地の視聴位置及び方向に応じて、ユーザの音響再生環境に応じたエリア音を選択し、その選択したエリア音に立体音響処理を施して出力する。
（Ａ−２）実施形態の構成
図１は、実施形態に係る収音再生装置（収音再生システム）の構成を示すブロック図である。図１において、実施形態に係る収音再生装置１００は、マイクロホンアレイＭＡ１〜ＭＡｍ（ｍは整数）、データ入力部１、空間座標データ保持部２、マイクロホンアレイ選択部３、エリア収音部４、位置・方向情報取得部５、エリア音選択部６、エリア音量調節部７、立体音響処理部８、スピーカ出力部９、伝達関数データ保持部１０、スピーカアレイＳＡ１〜ＳＡｎ（ｎは整数）を有する。
実施形態に係る収音再生システム１００は、マイクロホンアレイＭＡ１〜ＭＡｍ及びスピーカアレイＳＡ１〜ＳＡｎを除く図１に示す部分は、ハードウェア的に各種回路を接続して構築されても良く、またＣＰＵ、ＲＯＭ、ＲＡＭ等を有する汎用的な装置若しくはユニットが所定のプログラムを実行することで該当する機能を実現するように構築されても良く、いずれの構築方法を採用した場合であっても、機能的には、図１で表すことができる。
また、収音再生装置１００は、遠隔地とユーザにより視聴される場所との間で情報を伝送可能な収音再生システムであっても良く、例えば、遠隔地に、マイクロホンアレイＭＡ１〜ＭＡｍによる音（音声、音響を含む）の収音部分が構築され、視聴場所に、エリア音を選択してユーザ側の音響再生環境に合わせて音を再生する部分が構築されるようにしても良い。その場合、遠隔地とユーザ側の視聴場所とは、遠隔地とユーザ側の視聴場所との間で情報伝送を行なうための通信部（図示しない）を備えるようにしても良い。
マイクロホンアレイＭＡ１〜ＭＡｍは、遠隔地の空間を複数に分割した全てのエリアに存在する音源からの音（音声、音響を含む）を収音できるように配置されている。マイクロホンアレイＭＡ１〜ＭＡｍはそれぞれ、１つのマイクロホンアレイが２個以上のマイクロホンから構成されており、各マイクロホンにより捕捉された音響信号を収音する。各マイクロホンアレイＭＡ１〜ＭＡｍはデータ入力部１に接続しており、マイクロホンアレイＭＡ１〜ＭＡｍのそれぞれは、収音した音響信号をデータ入力部１に与える。
データ入力部１は、マイクロホンアレイＭＡ１〜ＭＡｍからの音響信号をアナログ信号からデジタル信号に変換して、マイクロホンアレイ選択部３に出力する。
空間座標データ保持部２は、エリア（の中心）の位置情報や、各マイクロホンアレイＭＡ１〜ＭＡｍの位置情報や、各マイクロホンアレイＭＡ１〜ＭＡｍを構成するマイクロホンの距離情報等を保持しているものである。
マイクロホンアレイ選択部３は、各エリアを収音するために使用するマイクロホンアレイＭＡ１〜ＭＡｍの組み合わせを、空間座標データ保持部２に保持されるエリアの位置情報とマイクロホンアレイＭＡ１〜ＭＡｍの位置情報に基づいて決定するものである。また、マイクロホンアレイ選択部３は、マイクロホンアレイＭＡ１〜ＭＡｍが３個以上のマイクロホンから構成される場合、指向性を形成するために必要なマイクロホンを選択する。
ここで、マイクロホンアレイ選択部３による各マイクロホンアレイの指向性を形成するマイクロホンの選択方法の一例を説明する。図４は、実施形態に係るマイクロホンアレイ選択部３による指向性を形成するマイクロホンの選択方法の一例を説明する。
例えば、図４に示すマイクロホンアレイＭＡ１は、同一平面上に、３個の全指向性マイクロホンであるマイクロホンＭ１、Ｍ２、Ｍ３を有している。マイクロホンＭ１、Ｍ２、Ｍ３は直角三角形の頂点に配置されている。マイクロホンＭ１とＭ２との間の距離、マイクロホンＭ２とＭ３との間の距離は同じであるとする。また、マイクロホンアレイＭＡ２も、マイクロホンアレイＭＡ１と同様の構成をしており、３個のマイクロホンＭ４、Ｍ５、Ｍ６を有している。
例えば、図４において、収音エリアＡに存在する音源からの音を収音するために、マイクロホンアレイ選択部３は、マイクロホンアレイＭＡ１のマイクロホンＭ２とＭ３、マイクロホンアレイＭＡ２のマイクロホンＭ５とＭ６を選択する。これにより、マイクロホンアレイＭＡ１の指向性と、マイクロホンアレイＭＡ２の指向性とを、収音エリアＡ方向に形成することができる。また、収音エリアＢに存在する音源からの音を収音する際は、マイクロホンアレイ選択部３は、各マイクロホンアレイＭＡ１とＭＡ２のマイクロホンの組み合わせを変えて、マイクロホンアレイＭＡ１のマイクロホンＭ１とＭ２、マイクロホンアレイＭＡ２のマイクロホンＭ４とＭ５を選択する。これにより、マイクロホンアレイＭＡ１及びＭＡ２のそれぞれの指向性を、収音エリアＢ方向に形成することができる。
エリア収音部４は、マイクロホンアレイ選択部３により選択されたマイクロホンアレイの組み合わせ毎に、全エリアのエリア音を収音するものである。
図２は、この実施形態に係るエリア収音部４の内部構成を示すブロック図である。図２に示すように、エリア収音部４は、指向性形成部４１、遅延補正部４２、エリア音パワー補正係数算出部４３、エリア音抽出部４４を有する。
指向性形成部４１は、各マイクロホンアレイＭＡ１〜ＭＡｍでビームフォーマ（以下、ＢＦとも呼ぶ。）により収音エリア方向に向けて指向性ビームを形成するものである。ここで、ビームフォーマ（ＢＦ）は、加算型の遅延和法、減算型のスペクトル減算法（以下、ＳＳとも呼ぶ。）等の各種手法を用いることができる。また、指向性形成部４１は、ターゲットとする収音エリアの範囲に応じて、指向性の強度を変更する。
遅延補正部４２は、全てのエリアのそれぞれと、各エリアの収音に使用される全マイクロホンアレイとの距離の違いにより発生する伝搬遅延時間を算出し、前記全マイクロホンアレイの伝搬遅延時間を補正するものである。具体的には、遅延補正部４２は、空間座標データ保持部２からエリアの位置情報と、当該エリアの収音に使用される全マイクロホンアレイＭＡ１〜ＭＡｍの位置情報を取得し、当該エリアから、当該エリアの収音に使用される全マイクロホンアレイＭＡ１〜ＭＡｍへのエリア音の到達時間の差（伝搬遅延時間）を算出する。そして、遅延補正部４２は、当該エリアから最も遠い位置に配置されたマイクロホンアレイを基準として、全てのマイクロホンアレイにエリア音が同時に到達するように、全てのマイクロホンアレイからのビームフォーマ後の出力信号に伝搬遅延時間を加えて遅延を補正する。また、遅延補正部４２は、全てのエリアについて、それぞれのエリアの収音に使用される全マイクロホンアレイからのビームフォーマ出力信号に対して遅延補正を行う。
エリア音パワー補正係数算出部４３は、全てのエリアのそれぞれの収音に使用される各マイクロホンアレイからの各ビームフォーマ出力信号に含まれるエリア音のパワーをそれぞれ同じにするためのパワー補正係数を算出するものである。ここで、パワー補正係数を求めるために、例えば、エリア音パワー補正係数算出部４３は、各ビームフォーマ出力信号の間で周波数毎の振幅スペクトルの比率を算出する。次に、エリア音パワー補正係数算出部４３は、求めた各周波数の振幅スペクトルの比率から最頻値若しくは中央値を算出し、その値をパワー補正係数とする。
エリア音抽出部４４は、全てのエリアについて、エリア音パワー補正係数算出部４３により補正されたパワー補正係数で補正した各ビームフォーマ出力データをスペクトル減算して、収音エリア方向に存在する雑音を抽出する。さらに、エリア音抽出部４４は、抽出した雑音を各ビームフォーマ出力からスペクトル減算することにより、エリア音を抽出する。エリア音抽出部４４により抽出された各エリアのエリア音は、エリア収音部４の出力としてエリア音選択部６に出力される。
位置・方向情報取得部５は、空間座標データ保持部２を参照して、ユーザにより希望される位置（指定聴取位置）及び方向（聴取方向）を取得するものである。例えば、ユーザの視聴場所で映し出される遠隔地の映像に基づき、ユーザがＧＵＩ等を用いて目的エリアを指定したり又は目的エリアを切り替えたりする場合、そのユーザ指定に従って、指定された位置を映すカメラに切り替えられる。この場合、位置・方向情報取得部５は、指定されたエリアの位置を目的エリアの位置とし、カメラの位置から目的エリアを映し出す方向を取得する。
エリア音選択部６は、位置・方向情報取得部５により取得された位置情報及び方向情報に基づいて、音響再生に使用するエリア音を選択する。ここで、エリア音選択部６は、まずユーザにより指定された位置に最も近いエリア音を基準（すなわち中心音源）に設定する。エリア音選択部６は、方向情報に従って、中心音源を含む目的エリアの前後左右の各エリアのエリア音、更に前記目的エリアの斜め方向（斜め右前、斜め左前、斜め右後、斜め左後）に位置する各エリアのエリア音を音源として設定する。また、エリア音選択部６は、ユーザ側の音響再生環境に応じて、音響再生に使用するエリア音を選択する。
エリア音調節部７は、ユーザにより指定される位置（目的エリアの中心位置）及び方向情報に従って、目的エリアの中心位置からの距離に応じて、エリア音選択部６により選択されたエリア音の音量を調整する。音量の調整方法は、目的エリアの中心位置から距離が大きくなるエリアほど、エリア音の音量を小さくしたり、又は、中心音源である目的エリアのエリア音の音量を一番大きくし、その周囲のエリアのエリア音の音量を小さくしたりしても良い。より具体的には、例えば、目的エリアのエリア音の音量に対して周囲のエリアのエリア音の音量が小さくなるように、周囲のエリアのエリア音の音量に所定値ａ（０＜ａ＜１）を乗算して調節しても良いし、また例えば、周囲のエリアのエリア音の音量について所定値だけ減算しても良い。
立体音響処理部８は、ユーザの環境に応じて、各エリア音を立体音響処理する。立体音響処理部８は、ユーザ側の音響再生環境に応じて、適宜、各種立体音響処理を施すことができる。すなわち、立体音響処理部８が施す立体音響処理は、特に限定されるものではない。
例えば、ユーザがヘッドホン及びイヤホンを使用する場合、立体音響処理部８は、エリア音選択部３により選択されたエリア音に、伝達関数データ保持部１０により保持されている視聴位置からの各方向に対応する頭部伝達関数（ＨＲＴＦ）を畳み込み、バイノーラル音源を作成する。また例えば、ステレオスピーカを使用する場合、立体音響処理部８は、伝達関数データ保持部１０により保持されているユーザとスピーカ間の室内伝達関数を用い設計したクロストークキャンセラにより、バイノーラル音源をトランスオーラル音源に変換する。更に３つ以上のスピーカを使用する場合、立体音響処理部８は、スピーカの位置がエリア音の位置と同じであるなら処理はしないか、もしくはトランスオーラル音源と組み合わせ、スピーカと同じ数の新たな音源を作成する。
スピーカ出力部９は、立体音響処理部８において立体音響処理が施された音源データをそれぞれ対応したスピーカに出力する。
伝達関数データ保持部１０は、立体音響処理を施すために必要なユーザ側の伝達関数を保持するものである。伝達関数データ保持部１０は、例えば、各方向に対応する頭部伝達関数（ＨＲＴＦ：Ｈｅａｄ−Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）、ユーザとスピーカとの間の室内伝達関数等を保持する。また、伝達関数データ保持部１０は、例えば室内の環境変化に応じて室内伝達関数のデータを学習したものを保持できるようにしても良い。
スピーカアレイＳＡ１〜ＳＡｎは、ユーザ側の音響再生系であるスピーカである。スピーカアレイＳＡ１〜ＳＡｎは、立体音響再生を可能とするものであり、例えば、イヤホン、ステレオスピーカ、３台以上のスピーカ等とすることができる。この実施形態では、立体音響を再生するために、スピーカアレイＳＡ１〜ＳＡｎが、例えば、２個以上のスピーカからなり、ユーザの前方、又はユーザを取り囲むように配置される場合を例示する。
（Ａ−３）実施形態の動作
次に、実施形態に係る収音再生装置１００の動作を、図面を参照しながら詳細に説明する。
ここでは、ユーザが遠隔地の空間の映像や音声を視聴する遠隔システムに本発明を適用する場合を例示する。遠隔地の空間は複数に分割（この実施形態では、例えば９分割した場合を例示する。）され、複数に分割された各エリアの映像や各エリアに存在する音源を収音可能なように、複数のカメラと複数のマイクロホンアレイＭＡ１〜ＭＡｍが配置されているものとする。
マイクロホンアレイＭＡ１〜ＭＡｍは、遠隔地の空間を複数に分割した複数の全てのエリアを収音できるように配置されている。１個のマイクロホンアレイは、２個以上のマイクロホンから構成され、各マイクロホンにより音響信号を収音する。
各マイクロホンアレイＭＡ１〜ＭＡｍを構成する各マイクロホンにより収音された音響信号は、データ入力部１に与えられる。データ入力部１では、各マイクロホンアレイＭＡ１〜ＭＡｍの各マイクロホンからの音響信号が、アナログ信号からデジタル信号に変換される。
マイクロホンアレイ選択部３では、空間座標データ保持部２に保持されている各マイクロホンアレイＭＡ１〜ＭＡｍの位置情報と、各エリアの位置情報とが取得され、各エリアを収音するために使用するマイクロホンアレイの組み合わせが決定される。さらに、マイクロホンアレイ選択部３では、各エリアを収音するために使用するマイクロホンアレイの組み合わせの選択と共に、各エリア方向へ指向性を形成するために必要なマイクロホンが選択される。
エリア収音部４では、マイクロホンアレイ選択部３によって選択された各エリアを収音するために使用するマイクロホンアレイＭＡ１〜ＭＡｍの組み合わせ毎に、全てのエリアを収音する。
マイクロホンアレイ選択部３によって選択された各エリアを収音するためのマイクロホンアレイの組み合わせと、各エリア方向に指向性を形成するためのマイクロホンに関する情報が、エリア収音部４の指向性形成部４１に与えられる。
指向性形成部４１では、各エリア方向に指向性を形成するための各マイクロホンアレイＭＡ１〜ＭＡｍのマイクロホンの位置情報（距離）を空間座標データ保持部２から取得する。そして、指向性形成部４１は、各マイクロホンアレイＭＡ１〜ＭＡｍのマイクロホンからの出力（デジタル信号）に対するビームフォーマ（ＢＦ）により、全てのエリアのそれぞれについて、収音エリア方向に向けた指向性ビームを形成する。つまり、指向性形成部４１は、遠隔地の全てエリアの各エリアを収音するために使用するマイクロホンアレイＭＡ１〜ＭＡｍの組み合わせ毎に、指向性ビームを形成する。
また、指向性形成部４１は、ターゲットとする収音エリアの範囲に応じて、指向性の強度を変更するようにしても良い。例えば、指向性形成部４１は、ターゲットとする収音エリアの範囲が所定値よりも広いときには指向性の強度を緩くなるようにしても良く、又逆に収音エリアの範囲が所定値よりも狭いときには指向性の強度を強くするようにしても良い。
指向性形成部４１による各エリアへの指向性ビームの形成方法は、種々の方法を広く適用することができる。例えば、指向性形成部４１は、参考文献１（特願２０１３−１７９８８６号明細書及び図面）に記載される方法を適用することができる。例えば、マイクロホンアレイＭＡ１〜ＭＡｍを構成する、同一平面上の直角三角形の頂点に配置された３個の全指向性マイクロホンからの出力を用いて雑音を抽出し、その雑音を入力信号からスペクトル減算することにより、目的方向にのみ鋭い指向性ビームを形成するようにしても良い。
遅延補正部４２では、空間座標データ保持部２から各マイクロホンアレイＭＡ１〜ＭＡｍの位置情報と、各エリアの位置情報とを取得し、各マイクロホンアレイＭＡ１〜ＭＡｍに到達するエリア音の到達時間の差（伝搬遅延時間）を算出する。そして、収音エリアの位置情報から最も遠い位置に配置されているマイクロホンアレイＭＡ１〜ＭＡｍを基準として、全てのマイクロホンアレイＭＡ１〜ＭＡｍにエリア音が同時に到達するように、指向性形成部４１からの各マイクロホンアレイからのビームフォーマ出力信号に伝搬遅延時間が加えられる。
エリア音パワー補正係数算出部４３では、各ビームフォーマ出力信号に含まれるエリア音のパワーをそれぞれ同じにするためのパワー補正係数を算出する。
まず、エリア音パワー補正係数算出部４３は、パワー補正係数を求めるために、各ビームフォーマ出力信号間で周波数毎に振幅スペクトルの比率を求める。このとき、指向性形成部４１において、ビームフォーマを時間領域で行なっている場合は、エリア音パワー補正係数算出部４３は周波数領域に変換する。
次に、エリア音パワー補正係数算出部４３は、（１）式に従って、求めた周波数毎の振幅スペクトルの比率から最頻値を算出し、その値をエリア音パワー補正係数とする。また別の方法として、エリア音パワー補正係数算出部４３は、（２）式に従って、求めた周波数毎の振幅スペクトルの比率から中央値を算出し、エリア音パワー補正係数としても良い。
Figure 2016025469
 ここで、Ｘik（ｎ）、Ｘjk（ｎ）は、マイクロホンアレイ選択部３によって選択されたマイクロホンアレイｉ、ｊのビームフォーマの出力データ、ｋは周波数、Ｎは周波数ビンの総数、αij（ｎ）は、ビームフォーマ出力データに対するパワー補正係数である。
エリア音抽出部４４では、エリア音パワー補正係数算出部４３により算出されたパワー補正係数を用いて各ビームフォーマ出力信号を補正する。そして、補正後の各ビームフォーマ出力データをスペクトル減算して、収音エリア方向に存在する雑音を抽出する。さらに、エリア音抽出部４４は、抽出した雑音を各ビームフォーマ出力データからスペクトル減算して目的エリアのエリア音を抽出する。
マイクロホンアレイｉからみた収音エリア方向に存在する雑音Ｎij（ｎ）を抽出するには、（３）式に示すように、マイクロホンアレイｉのビームフォーマ出力Ｘi（ｎ）からマイクロホンアレイｊのビームフォーマ出力Ｘj（ｎ）にパワー補正係数αijを掛けたものをスペクトル減算する。その後、（４）式に従い、各ビームフォーマ出力から雑音をスペクトル減算することによりエリア音を抽出する。γij（ｎ）はスペクトル減算時の強度を変更するための係数である。
Figure 2016025469
 式（３）では、エリア音抽出部４４がマイクロホンアレイｉから見た収音エリア方向に存在する雑音成分Ｎij（ｎ）を抽出する式である。エリア音抽出部４４は、マイクロホンアレイｉのビームフォーマ出力データＸi（ｎ）から、マイクロホンアレイｊのビームフォーマ出力データＸj（ｎ）にパワー補正係数αij（ｎ）を掛けたものをスペクトル減算している。つまり、ターゲットとする目的エリアから収音するために選択されたマイクロホンアレイｉのビームフォーマ出力Ｘi（ｎ）とマイクロホンアレイｊのビームフォーマ出力Ｘj（ｎ）とのパワー補正がなされた上で、ビームフォーマ出力Ｘi（ｎ）とビームフォーマ出力Ｘj（ｎ）とを減算することで、雑音成分を求めることを意図している。
式（４）では、求めた雑音成分Ｎij（ｎ）を用いて、エリア音抽出部４４がエリア音を抽出する式である。エリア音抽出部４４は、求めた雑音成分Ｎij（ｎ）にスペクトル減算時の強度変更のための係数γij（ｎ）を掛けたものを、マイクロホンアレイｉのビームフォーマ出力データＸi（ｎ）からスペクトル減算している。つまり、マイクロホンアレイｉのビームフォーマＸi（ｎ）から、式（３）により求めた雑音成分を減算することにより目的エリアのエリア音を求めることを意図している。なお、（４）式では、マイクロホンアレイｉから見たエリア音を求めているが、マイクロホンアレイｊから見たエリア音を求めるようにしても良い。
位置・方向情報取得部５では、空間座標データ保持部２を参照して、ユーザにより希望される目的エリアの位置及び方向を取得するものである。例えば、ユーザが現在見ている映像のカメラ位置やカメラがフォーカスしている位置などから、位置・方向情報取得部５は、空間座標データ保持部２を参照し、ユーザが視聴したい目的エリアの位置と方向を取得する。この場合の位置と方向は、ユーザが例えば遠隔システムのＧＵＩなどを通じて取得できるようにしても良い。
エリア音選択部６では、位置・方向情報取得部５により取得された目的エリアの位置情報及び方向情報を用いて、音響再生環境に応じて、再生に使用するエリア音を選択する。
まず、エリア音選択部６は、例えばユーザの視聴位置に最も近いエリアのエリア音を中心音源とする。例えば、図３（Ａ）の「エリアＥ」を視聴位置とすると、「エリアＥ」のエリア音を中心音源とする。
エリア音選択部６は、カメラが映し出す方向（例えば図３の例では、エリアＢからエリアＥの方向）と同じ方向から、中心音源のエリアの前後左右のエリアのエリア音、すなわち「エリアＨ」のエリア音を「前方音源」、「エリアＢ」のエリア音を「後方音源」、「エリアＦ」のエリア音を「左方音源」、「エリアＤ」のエリア音を「右方音源」とする。さらに、エリア音選択部６は、エリア収音に係る方向情報に従って、「エリアＩ」のエリア音を「斜め左前方の音源」、「エリアＧ」のエリア音を「斜め右前方の音源」、「エリアＣ」のエリア音を「斜め左後方の音源」、「エリアＡ」のエリア音を「斜め右後方の音源」を設定するようにしても良い。
次に、エリア音選択部６は、ユーザ側の音響再生環境に応じて、再生に使用するエリア音を選択する。つまり、ユーザ側がヘッドホンやイヤホン等で立体音響を再生するか又はステレオスピーカで立体音響を再生するか、更にステレオスピーカで再生するときには、いくつのスピーカで再生するか等の音響際せ環境に応じて、再生に使用するエリア音を選択する。ここで、ユーザ側の音響再生環境に関する情報を予め設定しておき、エリア音選択部６が設定されている音響再生環境に応じてエリア音を選択する。さらに、音響再生環境に関する情報が設定変更された場合も、その変更後の音響再生環境の情報に基づいて、エリア音選択部６はエリア音を選択するようにしても良い。
エリア音量調節部７では、視聴位置（目的エリアの位置）からの距離に応じて各エリア音の音量を調節する。音量は視聴位置から遠いエリアほど小さくする。もしくは中心のエリア音を一番大きくし、周囲のエリア音を小さくしても良い。
立体音響処理部８では、ユーザ側の音響再生環境に応じて、伝達関数データ保持部１０に保持されている伝達関数データを取得し、その伝達関数データを用いてエリア音の立体音響処理を施して出力する。
そして、音源スピーカ出力部９では、立体音響処理部８により立体音響処理が施された音源データをそれぞれ対応したスピーカアレイＳＡ１〜ＳＡｎに出力する。
以下では、実施形態に係る収音再生システム１００により遠隔地のエリア音の選択及び立体音響処理を施した再生処理の様子を説明する。
図３（Ａ）は、遠隔地の空間を９個に分割したものを真上から見た図である。遠隔地の空間には、エリアＡ〜エリアＩを映し出す複数のカメラと、エリアＡ〜エリアＩの各エリア音を収音できるように複数のマイクロホンアレイＭＡ１〜ＭＡｍとが配置されているものとする。
例えば、図３（Ａ）の複数のエリアのうち、ユーザにより視聴位置としてエリアＥが選択され、カメラがエリアＢからエリアＥに向けた方向でエリアＥを映している場合、エリア音選択部６は、視聴位置であるエリアＥに存在する音（エリア音Ｅ）を中心の音源（中心音源）とし、エリア音Ｈを「前方音源」、エリア音Ｂを「後方音源」、エリア音Ｄを「右側音源」、エリア音Ｆを「左側音源」とする。
その後、立体音響処理部８は、ユーザの音響再生環境に合わせて、再生に使用するエリア音を選択し、選択したエリア音に立体音響処理を施して出力する。
例えば、ユーザの音響再生環境が２ｃｈの再生系である場合、エリア音選択部６は、中心音源としてエリア音Ｅ、右方音源としてエリア音Ｄ、左方音源としてエリア音Ｆ、前方音源としてエリアＨを選択する。また、視聴位置であるエリアＥの中心から離れるほどエリア音の音量が徐々に小さくなるように制御する。この場合、例えば視聴位置であるエリアＥよりも遠くに位置するエリア音Ｈの音量を弱く調整する。また、収音再生システムは、再生に使用するエリア音として選択した音源に、それぞれの方向に対応する頭部伝達関数（ＨＲＴＦ）を畳み込みバイノーラル音源を作成する。
より具体的には、ユーザの音響再生環境がヘッドホンやイヤホン等の再生系である場合、収音再生システムにより作成されたバイノーラル音源をそのまま出力する。しかし、図３（Ｂ）のようにステレオスピーカ５１及び５２等の再生系の場合、そのままバイノーラル音源を再生すると立体音響の性能が劣化する。例えば、図３（Ｂ）の左側のスピーカ（ユーザから見たときには右側に位置するスピーカ）５１が、右耳用のバイノーラル音源を再生すると、スピーカ５１が出力した右耳用のバイノーラル音源がユーザの左耳にも聞こえてしまうクロストークにより立体音響の性能が劣化する。そこで、この実施形態に係る収音再生システム１００は、予めユーザと各スピーカ５１、５２との間の室内伝達関数を測定しておき、この室内伝達関数値を元にクロストークキャンセラを設計する。バイノーラル音源にクロストークキャンセラを適用し、トランスオーラル音源に変換した後、再生することでバイノーラル再生と同じ立体音響効果を得ることができる。
また例えば、音響再生環境が３ｃｈ以上の再生系の場合（例えば３ｃｈ以上のスピーカを使用する場合）は、スピーカの配置に合わせて、再生に使用するエリア音に対して立体音響処理を施して再生する。さらに例えば、音響再生環境が４ｃｈの再生系の場合（例えば、ユーザの前後左右に１台ずつ計４個のスピーカを配置する場合）、エリア音Ｅは全てのスピーカから同時に再生されるようにし、前後左右のエリア音Ｈ、Ｂ、Ｄ、Ｆは、それぞれの方向に対応したスピーカから再生されるようにする。さらに、エリア音Ｅに対して斜め前に存在するエリア音Ｉとエリア音Ｇ、エリア音Ｅに対して斜め後ろに存在するエリア音Ｃとエリア音Ａは、トランスオーラル音源に変換して再生するようにしても良い。これにより、例えばエリア音Ｉはユーザの前方と左側に位置するスピーカから再生されるため、前方のスピーカと左側のスピーカとの間からエリア音Ｉが聞こえるようになる。
上記のように、この実施形態に係る収音再生システム１００は、エリア毎に収音するため、遠隔地の空間に存在する音源の総数は問題とならない。また、予め収音エリアの位置関係は決まっているため、ユーザの視聴位置に応じて容易にエリアの方向を変えることができる。さらに、本願発明者が提案する参考文献１に記載されているエリア収音の手法は演算量が少なく、立体音響処理を追加してもシステムを実時間動作させることが可能である。
（Ａ−３）実施形態の効果
以上のように、実施形態によれば、遠隔地の空間を複数のエリアに分割し、エリア毎に収音し、ユーザによる指定位置に応じて、各エリア音に立体音響処理を行った後、音響を再生し、更にこれらの処理を実時間動作させることにより、遠隔地の様々な場所の現在の状況を臨場感豊かに体感させることができる。
（Ｂ）他の実施形態
上述した実施形態においても種々の変形実施形態を言及したが、本発明は以下の変形実施形態にも適用可能である。
上述した実施形態では、遠隔地の空間に複数のカメラ及び複数のマイクロホンアレイを配置させて、カメラ映像と連携させて立体音響を再生する遠隔システムに本発明を例示する場合を説明したが、カメラ映像と連携させずに遠隔地の立体音響を再生するシステムに適用可能である。
上述した実施形態では、各エリアを収音するマイクロホンアレイが直角二等辺三角形の頂点にマイクホンが配置されているものを用いる場合を例示したが、正三角形の頂点にマイクロホンが配置されているものであっても良い。その場合のエリア収音の手法は、参考文献１に記載されている手法を用いてエリア収音することができる。
上述した実施形態に係る収音再生システムは、遠隔地側に設けられる収音システム（収音装置）と、ユーザ側に設けられる再生システム（再生装置）とに区別し、収音システムと再生システムとを通信回線で接続させて実現するようにしても良い。その場合、収音システムは、図１に例示するマイクロホンアレイＭＡ１〜ＭＡｍ、データ入力部１、空間座標データ保持部２、マイクロホンアレイ選択部３、エリア収音部４を含むものとすることができる。また、再生システムは、図１に例示する位置・方向情報取得部５、エリア音選択部６、エリア音量調節部７、立体音響処理部８、伝達関数データ保持部１０を含むものとすることができる。
１００…収音再生装置（収音再生システム）、１…データ入力部、２…空間座標データ保持部、３…マイクロホンアレイ選択部、４…エリア収音部、５…位置・方向情報取得部、６…エリア音選択部、７…エリア音量調節部、８…立体音響処理部、９…スピーカ出力部、１０…伝達関数データ保持部、ＭＡ１〜ＭＡｍ…マイクロホンアレイ、ＳＡ１〜ＳＡｎ…スピーカアレイ、４１…指向性形成部、４２…遅延補正部、４３…エリア音パワー補正係数算出部、４４…エリア音抽出部。

Claims (7)

  1. 空間に配置された複数のマイクロホンアレイを用いて空間内の分割された全エリアのエリア音を収音して、立体音響を再生する収音再生システムであって、
    空間内の各エリアの収音に必要な上記マイクロホンアレイを選択するマイクロホンアレイ選択部と、
    上記マイクロホンアレイ選択部により選択されたエリア毎の上記マイクロホンアレイを用いて、全エリアを収音するエリア収音部と、
    上記エリア収音部により収音された全エリアのエリア音のうち、指定聴取位置に対応するエリアのエリア音と、聴取方向に応じた当該エリアの周囲エリアのエリア音とを、音響再生環境に応じて選択するエリア音選択部と、
    上記エリア音選択部により選択された各エリア音の音量を上記指定聴取位置からの距離に応じて調節するエリア音量調節部と、
    上記エリア音量調節部により音量調節された各エリア音に、音響再生環境に応じた伝達関数を用いて立体音響処理を行う立体音響処理部と
    を備えることを特徴とする収音再生システム。
  2. 上記エリア収音部が、
    上記各マイクロホンアレイの出力信号をビームフォーマによって収音エリア方向へ指向性を形成する指向性形成部と、
    上記各マイクロホンアレイのビームフォーマ後の出力信号において、各エリアからのエリア音が、当該エリアの収音に用いられる全てのマイクロホンアレイに同時に到着するように伝搬遅延量を補正する遅延補正部と、
    上記各マイクロホンアレイのビームフォーマ出力信号間で周波数毎に振幅スペクトルの比率を算出し、比率の頻度に基づく補正係数を算出するエリア音パワー補正係数算出部と、
    上記エリア音パワー補正係数算出部により算出された上記補正係数を用いて補正された上記各マイクロホンアレイのビームフォーマ出力信号をスペクトル減算して収音エリア方向に存在する雑音を抽出し、その抽出した雑音を各マイクロホンアレイのビームフォーマ出力信号からスペクトル減算することによりエリア音を抽出するエリア音抽出部と
    を備えることを特徴とする請求項１に記載の収音再生システム。
  3. 空間に配置された複数のマイクロホンアレイを用いて空間内の分割された全エリアのエリア音を収音して、立体音響を再生する収音再生装置であって、
    空間内の各エリアの収音に必要な上記マイクロホンアレイを選択するマイクロホンアレイ選択部と、
    上記マイクロホンアレイ選択部により選択されたエリア毎の上記マイクロホンアレイを用いて、全エリアを収音するエリア収音部と、
    上記エリア収音部により収音された全エリアのエリア音のうち、指定聴取位置に対応するエリアのエリア音と、聴取方向に応じた当該エリアの周囲エリアのエリア音とを、音響再生環境に応じて選択するエリア音選択部と、
    上記エリア音選択部により選択された各エリア音の音量を上記指定聴取位置からの距離に応じて調節するエリア音量調節部と、
    上記エリア音量調節部により音量調節された各エリア音に、音響再生環境に応じた伝達関数を用いて立体音響処理を行う立体音響処理部と
    を備えることを特徴とする収音再生装置。
  4. 空間に配置された複数のマイクロホンアレイを用いて空間内の分割された全エリアのエリア音を収音して、立体音響を再生する収音再生方法であって、
    マイクロホンアレイ選択部が、空間内の各エリアの収音に必要な上記マイクロホンアレイを選択し、
    エリア収音部が、上記マイクロホンアレイ選択部により選択されたエリア毎の上記マイクロホンアレイを用いて、全エリアを収音し、
    エリア音選択部が、上記エリア収音部により収音された全エリアのエリア音のうち、指定聴取位置に対応するエリアのエリア音と、聴取方向に応じた当該エリアの周囲エリアのエリア音とを、音響再生環境に応じて選択し、
    エリア音量調節部が、上記エリア音選択部により選択された各エリア音の音量を上記指定聴取位置からの距離に応じて調節し、
    立体音響処理部が、上記エリア音量調節部により音量調節された各エリア音に、音響再生環境に応じた伝達関数を用いて立体音響処理を行う
    ことを特徴とする収音再生方法。
  5. 空間に配置された複数のマイクロホンアレイを用いて空間内の分割された全エリアのエリア音を収音して、立体音響を再生する収音再生プログラムであって、
    コンピュータを、
    空間内の各エリアの収音に必要な上記マイクロホンアレイを選択するマイクロホンアレイ選択部と、
    上記マイクロホンアレイ選択部により選択されたエリア毎の上記マイクロホンアレイを用いて、全エリアを収音するエリア収音部と、
    上記エリア収音部により収音された全エリアのエリア音のうち、指定聴取位置に対応するエリアのエリア音と、聴取方向に応じた当該エリアの周囲エリアのエリア音とを、音響再生環境に応じて選択するエリア音選択部と、
    上記エリア音選択部により選択された各エリア音の音量を上記指定聴取位置からの距離に応じて調節するエリア音量調節部と、
    上記エリア音量調節部により音量調節された各エリア音に、音響再生環境に応じた伝達関数を用いて立体音響処理を行う立体音響処理部と
    して機能させることを特徴とする収音再生プログラム。
  6. 空間に配置された複数のマイクロホンアレイを用いて空間内の分割された全エリアのエリア音を収音する収音システムであって、
    空間内の各エリアの収音に必要な上記マイクロホンアレイを選択するマイクロホンアレイ選択部と、
    上記マイクロホンアレイ選択部により選択されたエリア毎の上記マイクロホンアレイを用いて、全エリアを収音するエリア収音部と
    を備えることを特徴とする収音システム。
  7. 空間に配置された複数のマイクロホンアレイを用いて空間内の分割された全エリアのエリア音を収音して、立体音響を再生する再生システムであって、
    上記全エリアのエリア音のうち、指定聴取位置に対応するエリアのエリア音と、聴取方向に応じた当該エリアの周囲エリアのエリア音とを、音響再生環境に応じて選択するエリア音選択部と、
    上記エリア音選択部により選択された各エリア音の音量を上記指定聴取位置からの距離に応じて調節するエリア音量調節部と、
    上記エリア音量調節部により音量調節された各エリア音に、音響再生環境に応じた伝達関数を用いて立体音響処理を行う立体音響処理部と
    を備えることを特徴とする再生システム。
JP2014148188A 2014-07-18 2014-07-18 収音再生システム、収音再生装置、収音再生方法、収音再生プログラム、収音システム及び再生システム Active JP6149818B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014148188A JP6149818B2 (ja) 2014-07-18 2014-07-18 収音再生システム、収音再生装置、収音再生方法、収音再生プログラム、収音システム及び再生システム
US14/727,496 US9877133B2 (en) 2014-07-18 2015-06-01 Sound collection and reproduction system, sound collection and reproduction apparatus, sound collection and reproduction method, sound collection and reproduction program, sound collection system, and reproduction system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014148188A JP6149818B2 (ja) 2014-07-18 2014-07-18 収音再生システム、収音再生装置、収音再生方法、収音再生プログラム、収音システム及び再生システム

Publications (2)

Publication Number Publication Date
JP2016025469A true JP2016025469A (ja) 2016-02-08
JP6149818B2 JP6149818B2 (ja) 2017-06-21

Family

ID=55075728

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014148188A Active JP6149818B2 (ja) 2014-07-18 2014-07-18 収音再生システム、収音再生装置、収音再生方法、収音再生プログラム、収音システム及び再生システム

Country Status (2)

Country Link
US (1) US9877133B2 (ja)
JP (1) JP6149818B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017183902A (ja) * 2016-03-29 2017-10-05 沖電気工業株式会社 収音装置及びプログラム
JP2017184154A (ja) * 2016-03-31 2017-10-05 沖電気工業株式会社 収音再生装置、収音再生プログラム、収音装置及び再生装置
JP2017229011A (ja) * 2016-06-24 2017-12-28 日本電信電話株式会社 ミキシング装置、その方法、プログラム、及び記録媒体
JP2018006892A (ja) * 2016-06-29 2018-01-11 キヤノン株式会社 音声信号処理装置および音声信号処理方法
JP6260666B1 (ja) * 2016-09-30 2018-01-17 沖電気工業株式会社 収音装置、プログラム及び方法
JP2018037842A (ja) * 2016-08-31 2018-03-08 沖電気工業株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2018074252A (ja) * 2016-10-25 2018-05-10 キヤノン株式会社 音響システム及びその制御方法、信号生成装置、コンピュータプログラム
JP2018074251A (ja) * 2016-10-25 2018-05-10 キヤノン株式会社 音響システム及びその制御方法、信号生成装置、コンピュータプログラム
WO2019003716A1 (ja) * 2017-06-27 2019-01-03 共栄エンジニアリング株式会社 集音装置、指向性制御装置及び指向性制御方法
JP2019057901A (ja) * 2017-09-22 2019-04-11 沖電気工業株式会社 機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム
JP2022509903A (ja) * 2018-10-26 2022-01-25 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー 環境トリガに基づく適応的ａｎｃ
CN114598984A (zh) * 2022-01-11 2022-06-07 华为技术有限公司 立体声合成方法和系统

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
JP6809467B2 (ja) * 2015-08-24 2021-01-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2017216614A (ja) * 2016-06-01 2017-12-07 ヤマハ株式会社 信号処理装置および信号処理方法
CN106774930A (zh) * 2016-12-30 2017-05-31 中兴通讯股份有限公司 一种数据处理方法、装置及采集设备
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
WO2018140618A1 (en) 2017-01-27 2018-08-02 Shure Acquisiton Holdings, Inc. Array microphone module and system
US10085087B2 (en) * 2017-02-17 2018-09-25 Oki Electric Industry Co., Ltd. Sound pick-up device, program, and method
CN106878877A (zh) * 2017-03-23 2017-06-20 南京邮电大学 Vr体验场景下为用户提供环绕立体声的方法及系统
CN109309888A (zh) * 2017-07-27 2019-02-05 深圳市冠旭电子股份有限公司 语音信息处理方法、播放设备及计算机可读存储介质
JP7175096B2 (ja) * 2018-03-28 2022-11-18 沖電気工業株式会社 収音装置、プログラム及び方法
WO2019231632A1 (en) 2018-06-01 2019-12-05 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
EP3854108A1 (en) 2018-09-20 2021-07-28 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
US11109133B2 (en) 2018-09-21 2021-08-31 Shure Acquisition Holdings, Inc. Array microphone module and system
CN109068234A (zh) * 2018-10-29 2018-12-21 歌尔科技有限公司 一种音频设备定向发声方法、装置、音频设备
WO2020133094A1 (zh) * 2018-12-27 2020-07-02 瑞声声学科技(深圳)有限公司 扬声器箱和便携式电子设备
CN111629301B (zh) * 2019-02-27 2021-12-31 北京地平线机器人技术研发有限公司 用于控制多个扬声器播放音频的方法、装置和电子设备
WO2020191354A1 (en) 2019-03-21 2020-09-24 Shure Acquisition Holdings, Inc. Housings and associated design features for ceiling array microphones
US11438691B2 (en) 2019-03-21 2022-09-06 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
CN110049409B (zh) * 2019-04-30 2021-02-19 中国联合网络通信集团有限公司 用于全息影像的动态立体声调节方法及装置
EP3973716A1 (en) 2019-05-23 2022-03-30 Shure Acquisition Holdings, Inc. Steerable speaker array, system, and method for the same
JP2022535229A (ja) 2019-05-31 2022-08-05 シュアー アクイジッション ホールディングス インコーポレイテッド 音声およびノイズアクティビティ検出と統合された低レイテンシオートミキサー
JP2022545113A (ja) 2019-08-23 2022-10-25 シュアー アクイジッション ホールディングス インコーポレイテッド 指向性が改善された一次元アレイマイクロホン
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
EP4285605A1 (en) 2021-01-28 2023-12-06 Shure Acquisition Holdings, Inc. Hybrid audio beamforming system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005223771A (ja) * 2004-02-09 2005-08-18 Nippon Hoso Kyokai <Nhk> サラウンド音声ミキシング装置およびサラウンド音声ミキシングプログラム
US20100208903A1 (en) * 2007-10-31 2010-08-19 Robert Bosch Gmbh Audio module for the acoustic monitoring of a surveillance region, surveillance system for the surveillance region, method for generating a sound environment, and computer program
JP2014072661A (ja) * 2012-09-28 2014-04-21 Jvc Kenwood Corp 映像音声記録再生装置
JP2014110613A (ja) * 2012-12-04 2014-06-12 Oki Electric Ind Co Ltd マイクロホンアレイ選択装置、マイクロホンアレイ選択プログラム及び収音装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9015612B2 (en) * 2010-11-09 2015-04-21 Sony Corporation Virtual room form maker
US8983089B1 (en) * 2011-11-28 2015-03-17 Rawles Llc Sound source localization using multiple microphone arrays

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005223771A (ja) * 2004-02-09 2005-08-18 Nippon Hoso Kyokai <Nhk> サラウンド音声ミキシング装置およびサラウンド音声ミキシングプログラム
US20100208903A1 (en) * 2007-10-31 2010-08-19 Robert Bosch Gmbh Audio module for the acoustic monitoring of a surveillance region, surveillance system for the surveillance region, method for generating a sound environment, and computer program
JP2014072661A (ja) * 2012-09-28 2014-04-21 Jvc Kenwood Corp 映像音声記録再生装置
JP2014110613A (ja) * 2012-12-04 2014-06-12 Oki Electric Ind Co Ltd マイクロホンアレイ選択装置、マイクロホンアレイ選択プログラム及び収音装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017183902A (ja) * 2016-03-29 2017-10-05 沖電気工業株式会社 収音装置及びプログラム
JP2017184154A (ja) * 2016-03-31 2017-10-05 沖電気工業株式会社 収音再生装置、収音再生プログラム、収音装置及び再生装置
JP2017229011A (ja) * 2016-06-24 2017-12-28 日本電信電話株式会社 ミキシング装置、その方法、プログラム、及び記録媒体
JP2018006892A (ja) * 2016-06-29 2018-01-11 キヤノン株式会社 音声信号処理装置および音声信号処理方法
JP2018037842A (ja) * 2016-08-31 2018-03-08 沖電気工業株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP6260666B1 (ja) * 2016-09-30 2018-01-17 沖電気工業株式会社 収音装置、プログラム及び方法
JP2018056902A (ja) * 2016-09-30 2018-04-05 沖電気工業株式会社 収音装置、プログラム及び方法
JP2018074251A (ja) * 2016-10-25 2018-05-10 キヤノン株式会社 音響システム及びその制御方法、信号生成装置、コンピュータプログラム
JP2018074252A (ja) * 2016-10-25 2018-05-10 キヤノン株式会社 音響システム及びその制御方法、信号生成装置、コンピュータプログラム
WO2019003716A1 (ja) * 2017-06-27 2019-01-03 共栄エンジニアリング株式会社 集音装置、指向性制御装置及び指向性制御方法
JPWO2019003716A1 (ja) * 2017-06-27 2020-07-30 シーイヤー株式会社 集音装置、指向性制御装置及び指向性制御方法
JP7152786B2 (ja) 2017-06-27 2022-10-13 シーイヤー株式会社 集音装置、指向性制御装置及び指向性制御方法
JP2019057901A (ja) * 2017-09-22 2019-04-11 沖電気工業株式会社 機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム
JP2022509903A (ja) * 2018-10-26 2022-01-25 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー 環境トリガに基づく適応的ａｎｃ
US11869475B1 (en) 2018-10-26 2024-01-09 Meta Platforms Technologies, Llc Adaptive ANC based on environmental triggers
CN114598984A (zh) * 2022-01-11 2022-06-07 华为技术有限公司 立体声合成方法和系统

Also Published As

Publication number Publication date
US9877133B2 (en) 2018-01-23
JP6149818B2 (ja) 2017-06-21
US20160021478A1 (en) 2016-01-21

Similar Documents

Publication Publication Date Title
JP6149818B2 (ja) 収音再生システム、収音再生装置、収音再生方法、収音再生プログラム、収音システム及び再生システム
US11991315B2 (en) Audio conferencing using a distributed array of smartphones
CN106664501B (zh) 基于所通知的空间滤波的一致声学场景再现的系统、装置和方法
US10021507B2 (en) Arrangement and method for reproducing audio data of an acoustic scene
US8670583B2 (en) Hearing aid system
JP6834971B2 (ja) 信号処理装置、信号処理方法、並びにプログラム
US20150189455A1 (en) Transformation of multiple sound fields to generate a transformed reproduced sound field including modified reproductions of the multiple sound fields
US20150189457A1 (en) Interactive positioning of perceived audio sources in a transformed reproduced sound field including modified reproductions of multiple sound fields
CN102325298A (zh) 音频信号处理装置和音频信号处理方法
US20180206038A1 (en) Real-time processing of audio data captured using a microphone array
Rafaely et al. Spatial audio signal processing for binaural reproduction of recorded acoustic scenes–review and challenges
US20190394596A1 (en) Transaural synthesis method for sound spatialization
JP7070910B2 (ja) テレビ会議システム
KR20180012744A (ko) 입체 음향 재생 방법 및 장치
JP2013110633A (ja) トランスオーラルシステム
US10440495B2 (en) Virtual localization of sound
KR20130109615A (ko) 가상 입체 음향 생성 방법 및 장치
JP2018191127A (ja) 信号生成装置、信号生成方法およびプログラム
JP6274244B2 (ja) 収音再生装置、収音再生プログラム、収音装置及び再生装置
KR101111734B1 (ko) 복수 개의 음원을 구분하여 음향을 출력하는 방법 및 장치
JP2015119393A (ja) 音響信号受聴装置
KR101677502B1 (ko) 원격 사용자 간의 입체 음향 전달 방법
Glasgal Improving 5.1 and Stereophonic Mastering/Monitoring by Using Ambiophonic Techniques
Katagiri et al. Multiple beam-forming area sound enhancement (mubase) and stereophonic area sound reproduction (sasr) system
Werner et al. A position-dynamic binaural synthesis of a multi-channel loudspeaker setup as an example of an auditory augmented reality application

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170508

R150 Certificate of patent or registration of utility model

Ref document number: 6149818

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150