JP2019192975A - 信号処理装置、信号処理方法、及びプログラム - Google Patents

Abstract

【課題】収音対象エリアの限られた範囲に設置された収音部での収音によって得られる収音信号に基づいて、任意の聴取点に対応する音響信号を生成できるようにする。【解決手段】収音対象空間において一体となって設置された複数の収音部であって、音源の位置と当該音源から発せられる音を反射する物体の位置とに応じた複数の異なる向きで設置された複数の収音部による収音に基づく複数の収音信号を取得する取得手段と、取得された複数の収音信号に基づいて、収音対象空間内の指定された聴取点に対応する音響信号を生成する信号生成手段とを有し、限られた範囲に設置された収音部により収音した音を聴取点における入射方向に応じて再配置して音響信号を再現する。【選択図】図２

Description

本発明は、収音した信号を用いて任意の聴取点に対応する音響信号を生成する信号処理装置、信号処理方法、及びプログラムに関する。

近年、多数のカメラによる撮影映像を合成、処理することにより、撮影エリア内の任意の位置に設定した視点から見た場合の映像を生成する仮想視点映像生成技術が現れている。このような状況において、仮想視点映像にふさわしい音響・音場を生成する仮想聴取点音響生成技術が求められている。

従来、仮想聴取点音響の生成は、収音対象エリアをカバーするように複数箇所にマイクロホンを設置し、それらマイクロホンで収音した音響信号を聴取点に応じて適宜ミキシングすることにより行っていた。特許文献１では、サッカーの競技場等において、競技エリアを取り囲むように複数のマイクロホンを設置する。そして、これらのマイクロホンで収音した信号を、聴取点から見たマイクロホンの設置位置の方向に応じて配置し、出力スピーカー構成による音像がその方向に定位するように信号配分を行うことにより、聴取点におけるサラウンド音響信号を生成している。

特開２００５−２２３７７１号公報

しかしながら、従来技術において、任意の聴取点に対応する音響信号を生成するには、収音対象エリアに広く分布する複数箇所で収音した収音信号を用いていた。そのため、収音部が設置できる範囲が限られる場合には、従来技術では任意の聴取点に対応する音響信号が生成できない虞があった。そこで本発明は、収音対象エリアの限られた範囲に設置された収音部での収音によって得られる収音信号に基づいて、任意の聴取点に対応する音響信号を生成できるようにすることを目的とする。

本発明に係る信号処理装置は、収音対象空間において一体となって設置された複数の収音部であって、音源の位置と当該音源から発せられる音を反射する物体の位置とに応じた複数の異なる向きで設置された複数の収音部による収音に基づく複数の収音信号を取得する取得手段と、前記取得手段により取得された複数の収音信号に基づいて、前記収音対象空間内の指定された聴取点に対応する音響信号を生成する信号生成手段とを有することを特徴とする。

本発明によれば、収音対象エリア内の限られた範囲に設置された収音部での収音によって得られる収音信号に基づいて、任意の聴取点に対応する音響信号を生成することが可能となる。

本実施形態における信号処理装置のハードウェア構成の例を示す図である。 本実施形態における信号処理装置の機能構成の例を示す図である。 本実施形態におけるマイクロホンアレイによる収音の例を示す図である。 本実施形態におけるマイクユニット情報の例を示す図である。 本実施形態における空間情報の例を示す図である。 本実施形態における信号処理の例を示すフローチャートである。 本実施形態における収音点に係る入射方向算出処理の例を示すフローチャートである。 本実施形態における入射情報の例を示す図である。 本実施形態における壁面による一次反射を説明する図である。 本実施形態における間接音関連情報の例を示す図である。 本実施形態におけるマイクロホンの指向性設定処理の例を示すフローチャートである。 本実施形態における聴取点に係る入射方向算出処理の例を示すフローチャートである。 本実施形態における収音信号の配置処理の例を示すフローチャートである。 本実施形態における聴取点に収音信号を配置した例を示す図である。 本実施形態における音響信号レンダリング処理の例を示すフローチャートである。 本実施形態におけるマイクロホンアレイによる収音の例を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。なお、以下に説明する実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせのすべてが本発明の実施に必須のものとは限らない。

図１は、本発明の一実施形態における信号処理装置１００のハードウェア構成の一例を示すブロック図である。信号処理装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、通信インターフェース（通信Ｉ／Ｆ）１０４、出力装置１０５、入力装置１０６、及びハードディスクドライブ（ＨＤＤ）１０７を有する。ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、通信Ｉ／Ｆ１０４、出力装置１０５、入力装置１０６、及びＨＤＤ１０７は、システムバス１０８を介して通信可能に接続される。

ＣＰＵ（Central Processing Unit）１０１は、システムバス１０８に接続された信号処理装置１００の各種デバイスの制御を行う。ＲＯＭ（Read Only Memory）１０２は、ＢＩＯＳ（Basic Input Output System）のプログラムやブートプログラムを記憶する。ＲＡＭ（Random Access Memory）１０３は、ＣＰＵ１０１の主記憶装置として使用される。通信Ｉ／Ｆ１０４は、信号処理装置１００をネットワークに接続し、ネットワークを介した情報通信を制御する。信号処理装置１００は、ネットワークに有線を介して接続されていてもよいし、無線を介して接続されていてもよいし、有線及び無線を介して接続されていてもよい。

出力装置１０５は、ＣＰＵ１０１等における処理結果や生成した音響信号等を出力する。入力装置１０６は、ユーザーによる入力等を受け付けたり、収音して収音信号を入力したりする。入力装置１０６は、例えば、接触式センサ、マウス、キーボード、リモコン、マイクロホン等である。ＨＤＤ１０７は、オペレーティングシステム（ＯＳ）のプログラムやＯＳ上で動作する各種アプリケーションのプログラム等が格納される。なお、ＨＤＤ１０７に限らず、ソリッドステートドライブ（ＳＳＤ）等の記憶装置であってもよい。

前述のように構成された信号処理装置１００において、信号処理装置１００の電源がＯＮになると、ＣＰＵ１０１は、ＲＯＭ１０２に格納されたブートプログラムに従って、ＨＤＤ１０７からＯＳのプログラム等をＲＡＭ１０３に読み込む。ＣＰＵ１０１は、ＲＡＭ１０３に読み込んだＯＳのプログラム等に従い処理を実行することによって、信号処理装置１００の機能を実現する。つまり、信号処理装置１００のＣＰＵ１０１がプログラムに基づき処理を実行することによって、後述する信号処理装置１００の機能構成及びフローチャートの処理が実現される。

図２は、本実施形態における信号処理装置の機能構成の一例を示すブロック図である。
マイクロホンアレイ２０１は、それぞれが指向性マイクロホンを有する複数のマイクユニットと、各マイクユニットの収音方向を個別に設定可能な雲台とを有する。マイクロホンアレイ２０１は、少なくとも２つ以上のマイクユニットにより構成されていればよく、マイクユニットの数は限定されない。本実施形態においては、マイクロホンアレイ２０１は、次の（１）〜（３）のマイクユニットで構成される場合を中心に説明する。
（１）音源からの直接音を収音する１個のマイクユニット
（２）各壁面からの一次反射音を個別に収音する壁面と同じ数のマイクユニット
（３）その他の反射音（間接音）を収音するための数個のマイクユニット
したがって、本実施形態におけるマイクロホンアレイ２０１は、収音対象空間となる閉空間の会場における床以外の壁面数をｎとすると、（ｎ＋１）個以上のマイクユニットで構成される。このように、反射音の存在する閉空間（室内）において壁面の数より多くのマイクユニットを用いて収音することで、収音対象空間内の任意の聴取点に対応する音響信号をより高い再現性で生成することができる。ただし、マイクロホンアレイ２０１は、地面や設置された物体による音の反射が存在する開空間（屋外）で収音を行ってもよい。

マイクロホンアレイ２０１は、収音対象空間となる閉空間の一点に設置され、各マイクユニットによる収音を行う。すなわち、収音対象エリアとなる閉空間内の一箇所に集められた（一体となって設置された）複数のマイクユニットにより収音を行う。図３（ａ）及び図３（ｂ）に、直方体状の閉空間の一点にて、マイクロホンアレイ２０１を用いて収音する場合の例を示す。図３（ａ）を参照して水平面における収音を説明し、図３（ｂ）を参照して鉛直面における収音を説明する。図３（ａ）及び図３（ｂ）において、３０１は音源位置であり、３０２は収音位置（収音点）であり、３１１〜３１７はマイクユニットである。以下、収音点３０２から見て音源位置３０１側の壁に正対する方向を正面として説明する。

図３（ａ）及び図３（ｂ）に示すように、音源からの直接音をマイクユニット３１１で収音するとともに、左右、後部、及び天井（上部）の壁面による一次反射音をそれぞれ個別のマイクユニット３１２〜３１５で収音する。収音点３０２から音源位置３０１を見て、左側の壁面による一次反射音をマイクユニット３１２で収音し、右側の壁面による一次反射音をマイクユニット３１３で収音する。また、後部の壁面による一次反射音をマイクユニット３１４で収音し、上部（天井）の壁面による一次反射音をマイクユニット３１５で収音する。また、直接音や一次反射音を収音しないその他のマイクユニット３１６、３１７は、それらが入射しない方向の残響などの反射音（間接音）を収音する。すなわち、マイクユニット３１１が、音源からの直接音が主成分となる方向で収音し、マイクユニット３１２〜３１５が、壁面による一次反射音が主成分となる方向で収音する。また、マイクユニット３１６、３１７が、一次反射音以外の反射音（間接音）が主成分となる方向で収音する。

このように本実施形態において、マイクロホンアレイ２０１を構成する各マイクユニットは予め収音する音が定められており、ＲＡＭ上に格納されるマイクユニット情報を参照することにより、これらの情報を得ることができる。図４にマイクユニット情報の例を示す。マイクユニット情報は、ユニット番号、対象壁面ＩＤ、入射情報ＩＤ、及びデフォルト入射方向を含む。ユニット番号は、各マイクユニットを一意に特定する番号である。対象壁面ＩＤは、収音した音がどの壁面による一次反射音であるかを示すＩＤであり、マイクユニットが壁面による一次反射音を収音する場合には、その壁面を示す壁面ＩＤを格納し、そうでない場合には０を格納する。入射情報ＩＤは、マイクユニットに１対１で対応する入射情報のＩＤである。壁面ＩＤと入射情報ＩＤの詳細については後述する。デフォルト入射方向は、マイクロホンアレイ２０１が初期化された時の各マイクユニットの向きを格納する。なお、本実施形態では、図３（ａ）及び図３（ｂ）に示すように、水平面上にＸ軸及びＹ軸、垂直方向にＺ軸を取ることにより、音源位置や収音点、聴取点等の絶対座標を三次元で記述する。

収音信号入力部２０２は、マイクロホンアレイ２０１が有する個々のマイクユニットが収音するアナログ音響信号を適宜増幅してデジタル音響信号に変換し、それぞれを個別のチャンネルとして収音信号配置部２０３に出力する。マイクロホンアレイ２０１及び収音信号入力部２０２は、収音部及び取得手段の一例である。

収音信号配置部２０３は、入射方向算出部２０８から入力される、聴取点における各壁面の入射方向に従って、収音信号入力部２０２から得られる各壁面の一次反射音を主成分とする収音信号を各方向に配置する。レンダリング部２０４は、予め定められた出力チャンネルフォーマットに従って、収音信号配置部２０３によって各方向に配置された収音信号を各々レンダリング、混合する。また、レンダリングされた音響信号は、音響出力部２０５、通信部２１４、出力部２１６に適宜出力される。収音信号配置部２０３及びレンダリング部２０４は、信号生成手段の一例である。

音響出力部２０５は、レンダリング部２０４によってレンダリングされた音響信号を適宜増幅してアナログ信号に変換し、予め定められた出力チャンネルフォーマットに準じるスピーカーアレイ２０６に出力する。スピーカーアレイ２０６は、音響出力部５から出力されるアナログ音響信号を、アレイを構成する個々のスピーカーにおいて音に変換して出力する。

指向性制御部２０７は、入射方向算出部２０８から入力される情報に従って、マイクロホンアレイ２０１が有する指向性マイクロホンのそれぞれが設定された方向からの音を収音するよう雲台を制御する。指向性制御部２０７は、例えば入射方向算出部２０８から入力される、収音点における各壁面の一次反射方向に合致するようにマイクアレイ２０１が有する各マイクロホンの指向性を制御する。

入射方向算出部２０８は、音源位置情報２０９、収音位置情報２１０、空間情報２１１、及び聴取点指定部２１２から入力される聴取点位置情報に応じて、収音点又は聴取点における各壁面の一次反射方向を算出する。音源位置情報２０９及び収音位置情報２１０は、それぞれ音源位置及び収音位置（収音点）を示す情報であり、前述したＸ軸、Ｙ軸、Ｚ軸に基づく三次元座標で示される。音源位置情報２０９及び収音位置情報２１０は、操作部２１３を用いたユーザー操作によって信号処理装置に対し指定されてＲＡＭ上に格納される。空間情報２１１は、収音対象空間となる閉空間の構造を示す情報であり、ＲＡＭ上に予め格納されている。

図５は、本実施形態における空間情報２１１の例を示す図である。空間情報２１１は、会場ＩＤ、壁面数、及び会場（閉空間）を構成する個々の壁面の情報を含む。個々の壁面の情報は、壁面ＩＤ、壁面座標、面傾き、及び吸音率を含む。会場ＩＤは、会場（閉空間）を一意に識別する番号である。壁面数は、会場内部を構成する壁面の総数である。壁面ＩＤは、壁面を識別する番号であり、１以上の整数が設定される。壁面座標は、壁面を構成する面の頂点の三次元座標である。面傾きは、壁面の水平面に対する傾きαと、鉛直面に対する傾きβとによって表現される。吸音率は、入射角毎の壁面の斜入射吸音率である。

聴取点指定部２１２は、操作部２１３を用いたユーザー操作に基づき、聴取点の位置及び向きを決定する。聴取点指定部２１２は、聴取点の位置を示す情報を入射方向算出部２０８に出力し、聴取点の向きを示す情報を収音信号配置部２０３に出力する。操作部２１３は、本実施形態における信号処理装置に対するユーザーの各種指示操作を受け付けて制御信号に変換し、聴取点指定部２１２や制御部２１７等に出力する。

通信部２１４は、例えばレンダリング部２０４によってレンダリングされた音響信号を、通信網２１５を介して外部に出力する。通信網２１５は、例えばインターネットや一般電話回線等である。本実施形態では、通信網２１５を介してシステム外の機器に対して音響信号を出力することが可能となっている。出力部２１６は、例えばレンダリング部２０４によってレンダリングされた音響信号を、出力端子に接続した外部機器に出力する。これらの前述した各機能部は、制御バスを介して制御部２１７に接続されており、制御部２１７からの命令指示等に従ってその動作が統合制御される。

図１に示した信号処理装置１００のＣＰＵ１０１がプログラムを読み出して実行することで、例えば収音信号配置部２０３、レンダリング部２０４、指向性制御部２０７、入射方向算出部２０８、聴取点指定部２１２、及び制御部２１７の機能が実現される。また、信号処理装置１００の入力装置１０６により、例えばマイクロホンアレイ２０１、収音信号入力部２０２、及び操作部２１３の機能が実現される。また、信号処理装置１００の出力装置１０５により、例えば音響出力部２０５及び出力部２１６の機能が実現され、信号処理装置１００の通信Ｉ／Ｆ１０４により、例えば通信部２１４の機能が実現される。なお、図２に示した各機能部がすべて単一の信号処理装置１００により実現される必要はなく、別体となって構成される複数の装置によりこれらの機能部が実現されてもよい。

次に、本実施形態において、収音対象空間となる閉空間の会場内の一点において収音した複数の収音信号に基づき、収音対象空間内の任意位置の聴取点に対応する音響信号を生成する処理について説明する。図６は、本実施形態における信号処理（メイン処理）の例を示すフローチャートである。

まず、ステップＳ６０１にて、ユーザーによる操作部２１３への操作指示に従い、音源位置情報２０９及び収音位置情報２１０が設定される。設定された音源位置情報２０９及び収音位置情報２１０はＲＡＭに記憶される。

次に、ステップＳ６０２にて、入射方向算出部２０８が、音源位置情報２０９、収音位置情報２１０、及び空間情報２１１に基づいて、収音点における音の入射方向等を算出する収音点に係る入射方向算出処理を行う。この入射方向算出処理では、入射方向算出部２０８は、音源からの直接音や、会場内部の空間を構成する各壁面による音源からの音の一次反射音が、収音点に入射する方向等を算出する。算出された入射方向等の情報は、指向性制御部２０７に出力される。この収音点に係る入射方向算出処理の詳細は、図７を用いて後述する。

次に、ステップＳ６０３にて、指向性制御部２０７が、ステップＳ６０２で算出された入射方向に従って、マイクロホンアレイ２０１が有する各マイクユニットの方向を設定するマイクロホンの指向性設定処理を行う。この指向性設定処理では、指向性制御部２０７は、ステップＳ６０２で算出された入射方向に従って、各マイクユニットをそれぞれ設定される方向に向けるように雲台等を制御する。このマイクロホンの指向性設定処理の詳細は、図１１を用いて後述する。

次に、ステップＳ６０４にて、各マイクユニットの方向が設定されたマイクロホンアレイ２０１により、予め定めた一定時間分の収音を行う。各マイクユニットで収音されたアナログ音響信号は、収音信号入力部２０２に入力される。収音信号入力部２０２は、入力されたアナログ音響信号を適宜増幅してからデジタル音響信号に変換し、収音信号配置部２０３に出力する。

次に、ステップＳ６０５にて、聴取点指定部２１２が、ユーザーによる操作部２１３に対する操作指示に従って、聴取点の位置及び向きを指定する。指定された聴取点の位置を示す情報は、入射方向算出部２０８に出力される。また、指定された聴取点の向きを示す情報は、収音信号配置部２０３に出力される。

次に、ステップＳ６０６にて、入射方向算出部２０８が、ステップＳ６０５で指定した聴取点の位置における音の入射方向等を算出する聴取点に係る入射方向算出処理を行う。この入射方向算出処理では、入射方向算出部２０８は、音源から発せられる直接音や、会場内部の空間を構成する各壁面による音源から発せられる音の一次反射音等の入射方向等を算出する。算出された入射方向等の情報は、収音信号配置部２０３に出力される。この聴取点に係る入射方向算出処理の詳細は、図１２を用いて後述する。

次に、ステップＳ６０７にて、収音信号配置部２０３が、ステップＳ６０６で算出された各音の入射方向と、聴取点の向きとに基づいて、聴取点から見た各入射方向に、ステップＳ６０４で収音した各々の収音信号を配置する収音信号の配置処理を行う。この収音信号の配置処理の詳細は、図１３を用いて後述する。

次に、ステップＳ６０８にて、レンダリング部２０４が、ステップＳ６０７で配置された各収音信号を、ステレオやサラウンド等の予め定められた出力チャンネルフォーマットにレンダリングして音響信号を生成する音響信号レンダリング処理を行う。この音響信号レンダリング処理の詳細は、図１５を用いて後述する。

次に、ステップＳ６０９にて、ステップＳ６０８でレンダリングし生成した音響信号の出力先を制御部２１７が判定する。出力先が再生機器であると制御部２１７が判定した場合には、ステップＳ６１０へ進む。また、出力先が通信網であると制御部２１７が判定した場合には、ステップＳ６１１へ進み、出力先が外部機器であると制御部２１７が判定した場合には、ステップＳ６１２へ進む。

ステップＳ６１０では、音響出力部２０５が、ステップＳ６０８でレンダリングし生成した音響信号を適宜増幅してアナログ信号に変換し、スピーカーアレイ２０６等の音響再生機器に出力することにより音響再生する。これにより、指定した聴取点に対応する音場を生成することができる。ステップＳ６１０での処理を終えると、ステップＳ６１３へ進む。

また、ステップＳ６１１では、通信部２１４が、ステップＳ６０８でレンダリングし生成した音響信号を通信網２１５へ送出する。これにより、通信網２１５に接続された無数の外部機器において通信することにより、指定した聴取点に対応する音響再現を行うことが可能になる。ステップＳ６１１での処理を終えると、ステップＳ６１３へ進む。

また、ステップＳ６１２では、出力部２１６が、ステップＳ６０８でレンダリングし生成した音響信号を、外部出力端子に接続された外部機器に出力する。これにより、指定した聴取点に対応する音響再現を外部機器において行うことが可能になる。ステップＳ６１２での処理を終えると、ステップＳ６１３へ進む。

ステップＳ６１３にて、メイン処理を終了するか否かを制御部２１７が判定する。メイン処理を終了すると制御部２１７が判定した場合には（ステップＳ６１３でのＹｅｓ）、メイン処理を終了する。一方、メイン処理を終了しないと制御部２１７が判定した場合には（ステップＳ６１３でのＮｏ）、ステップＳ６０４へ処理が戻り、次の単位時間における収音及び音場生成を繰り返す。なお、信号処理装置１００は図６に示した処理のすべてを実行しなくてもよい。例えば、ステップＳ６０２における入射方向算出処理を他の装置が行い、信号処理装置１００はその算出結果を受信してもよい。また、ステップＳ６０３におけるマイクロホンの方向の設定は、手動により行われてもよい。

（収音点に係る入射方向算出処理）
次に、図６のステップＳ６０２において、入射方向算出部２０８が行う収音点に係る入射方向算出処理について説明する。図７は、本実施形態における収音点に係る入射方向算出処理の例を示すフローチャートである。

収音点に係る入射方向算出処理を開始すると、ステップＳ７０１にて、入射方向算出部２０８は、その内部ＲＡＭに記録されている収音点の入射情報リストを初期化する。また、入射方向算出部２０８は、その内部のＲＡＭに保存されている入射情報カウンタに１を入力する。ここで、収音点の入射情報リストとは、収音点に関する複数の入射情報をリスト化して格納したデータ領域である。本実施形態において入射情報とは、収音点又は聴取点における、音源からの直接音や一次反射音の入射方向や入射経路長等に関するデータをまとめたデータ構造である。

図８は、本実施形態における入射情報のデータ構成例を示す図である。図８に示すように、入射情報は、入射情報ＩＤ、壁面ＩＤ、壁面入射角γ、入射方向（θ、φ）、入射経路長ｌ、及びレベル減衰量を含む。入射情報ＩＤは、各々の入射情報を識別するＩＤであり、マイクロホンアレイ２０１が有するマイクユニットの各々と１対１で対応する。壁面ＩＤは、会場（収音対象エリアとなる閉空間）を構成する壁面を識別するＩＤである。壁面ＩＤには、壁面による一次反射音に対応する入射情報である場合には、一次反射を生じる壁面を識別する値が格納され、一次反射以外である場合には、壁面ＩＤ＝０が格納される。壁面入射角γは、壁面による一次反射音に対応する入射情報である場合に、一次反射を生じる壁面に対する音源からの直接音の入射角が格納される。入射方向（θ、φ）は、収音点又は聴取点への音の入射方向であり、水平面における入射角θ及び俯角φが格納される。入射経路長ｌは、音が伝搬する際の音源位置から収音点又は聴取点までの経路長である。レベル減衰量は、音源から収音点又は聴取点に到達するまでに、壁面反射や距離減衰によって生じる音のレベル減衰量である。

次のステップＳ７０２〜Ｓ７０５では、入射方向算出部２０８は、収音点における音源からの直接音に関する入射情報の作成を行う。まず、ステップＳ７０２にて、入射方向算出部２０８は、音源位置情報２０９と収音位置情報２１０の三次元座標に基づいて、収音点から見た音源の絶対方向を算出する。なお、本実施形態における絶対方向は、図３（ａ）及び図３（ｂ）に示したＹ軸の正方向を水平面角０°、俯角０°として、水平面角θは−１８０°＜θ≦１８０°の範囲で示し、俯角φは０°≦φ≦９０°の範囲で示すものとする。

次に、ステップＳ７０３にて、入射方向算出部２０８は、音源位置情報２０９と収音位置情報２１０の三次元座標を用いて、収音点と音源との間の距離を算出する。次に、ステップＳ７０４にて、入射方向算出部２０８は、ステップＳ７０３で算出した収音点と音源との間の距離に基づいて、収音点での音源からの直接音の距離による音圧レベルの減衰量を算出する。収音点と音源との間の距離をｒ［ｍ］とすると、距離によるレベル減衰量Ｌｄ［ｄＢ］は、次式（１）で求められる。
Ｌｄ＝１０・ｌｏｇ₁₀（１／ｒ）²…（１）

次に、ステップＳ７０５にて、入射方向算出部２０８は、収音点における音源からの直接音に関する入射情報を新規に作成する。この入射情報の作成では、入射方向算出部２０８は、入射情報ＩＤに入射情報カウンタの値を設定し、壁面ＩＤに壁面による一次反射音ではないことを示す０を設定する。さらに、入射方向算出部２０８は、ステップＳ７０２で算出した音源の絶対方向を入射方向に設定し、ステップＳ７０３で算出した収音点と音源との間の距離を入射経路長に設定し、ステップＳ７０４で算出したレベル減衰量を格納する。そして、この入射情報を収音点の入射情報リストに先頭要素として追加する。

次のステップＳ７０６〜Ｓ７１４の処理は、収音点における壁面による一次反射音に関する入射情報の作成を、個々の壁面毎に行うためのループ処理である。ステップＳ７０６にて、入射方向算出部２０８は、対象とする壁面を選択してループ内処理を開始する。次に、ステップＳ７０７にて、入射方向算出部２０８は、入射情報カウンタの値を１インクリメントする。

次に、ステップＳ７０８にて、入射方向算出部２０８は、音源位置情報２０９、収音位置情報２１０、及び空間情報２１１に基づいて、収音点に入射する一次反射音が生じる壁面上の反射点の座標を算出する。入射方向算出部２０８は、音源位置情報２０９及び収音位置情報２１０の三次元座標と、空間情報２１１に格納されている処理対象の壁面の位置及び傾きとを用いて、壁面上の反射点の座標を求める。なお、本例において、壁面による音の反射は鏡面反射であるものとする。

このステップＳ７０８での反射点座標の算出処理を、図９を用いて説明する。図９は、壁面による一次反射を説明する図である。なお、閉空間である会場内部の形状は直方体であるとする。図９において、９０１は音源位置であり、９０２は収音点（収音位置）である。音源位置９０１の水平面座標Ａが（ａ１、ａ２）であり、収音点９０２の水平面座標Ｂが（ｂ１、ｂ２）であるとする。このとき、右側の壁面（ｘ＝ｃ１）において音源位置９０１から収音点９０２への一次反射が生じる反射点９０３の水平面座標を（ｃ１、ｙ）とし、壁面への入射角をγとすると、一次反射が鏡面反射であるために次式（２）が成立する。
ｔａｎγ＝（ｃ１−ａ１）／（ａ２−ｙ）＝（ｃ１−ｂ１）／（ｙ−ｂ２）…（２）
この式（２）をｙに対して解くことにより、反射点９０３のＹ座標であるｙが求まる。
ｙ＝（ａ２（ｃ１−ｂ１）＋ｂ２（ｃ１−ａ１））／（２ｃ１−ａ１−ｂ１）…（３）

同様に、反射点９０３のＺ座標は、水平面上に音源位置９０１と収音点９０３を通るようにＹ’軸を設定し、Ｙ’Ｚ平面に対してすべての点の座標変換を行うことにより、同じ手法で反射点９０３のＺ座標を求めることができる。なお、壁面に傾きがある場合には、収音点から壁面への法線を引き、この法線に並行してＸ”軸、壁面と並行してＹ”軸をとって、座標変換を行うことにより、同様の手法で座標値の計算を行うことができる。なお、収音点９０２から音源位置９０１を見て右側の壁面による一次反射を例に説明したが、左側の壁面、後部の壁面、及び上部（天井）の各壁面による一次反射についても、同様の手法で反射点の座標を算出することができる。

次に、ステップＳ７０９にて、入射方向算出部２０８は、ステップＳ７０８で算出した反射点の座標が、壁面内に存在するか否かを判定する。判定の結果、壁面内に反射点があると入射方向算出部２０８が判定した場合にはステップＳ７１０へ進む。一方、壁面内に反射点がないと入射方向算出部２０８が判定した場合には、この壁面の鏡面反射による一次反射音が収音点には入射しないことを意味しているので、ステップＳ７１４へ進む。

次に、ステップＳ７１０にて、入射方向算出部２０８は、対象とする壁面による一次反射音の収音点への入射方向を算出する。この収音点への入射方向の算出処理を、図９を用いて説明する。図９において、ＸＹ平面上の入射角θ＝γとなるため、式（２）より、
θ＝ａｒｃｔａｎ（（ｃ１−ａ１）／（ａ２−ｙ））…（４）
として算出できる。鉛直面の入射角φも、Ｙ’Ｚ平面における計算で同様に算出できる。なお、壁面に傾きがある場合には、空間情報２１１に格納されているＸＹ平面における傾きαとＹ’Ｚ平面における傾きβを各々加減算することによって計算できる。

次に、ステップＳ７１１にて、入射方向算出部２０８は、音源位置、反射点、及び収音点の三点の三次元座標を用いて、壁面による一次反射音が伝搬する際の音源から収音点までの経路長を算出する。次に、ステップＳ７１２にて、入射方向算出部２０８は、収音点での壁面による一次反射音の壁反射と経路長による音圧レベルの減衰量を算出する。壁面の入射角γにおける吸音率をαγとすると、壁反射によるレベル減衰量Ｌｒ［ｄＢ］は、次式（５）で求められる。
Ｌｒ＝２０・ｌｏｇ₁₀（１−αγ）…（５）
経路長によるレベル減衰量Ｌｄは、式（１）を用いて求めることができるため、ステップＳ７１２で算出した経路長をｌとすると、壁反射による減衰と経路長による減衰とを合わせたレベル減衰量Ｌは、次式（６）で算出できる。
Ｌ＝Ｌｄ＋Ｌｒ＝１０・ｌｏｇ₁₀（１／ｌ）²＋２０・ｌｏｇ₁₀（１−αγ）
＝２０・ｌｏｇ₁₀（（１−αγ）／ｌ）…（６）

次に、ステップＳ７１３にて、入射方向算出部２０８は、対象とする壁面についての収音点における壁面による一次反射音に関する入射情報を新規に作成する。この入射情報の作成では、入射方向算出部２０８は、入射情報ＩＤに入射情報カウンタの値を設定し、壁面ＩＤに対象壁面に対応する値を設定する。さらに、入射方向算出部２０８は、ステップＳ７１０で算出した一次反射音の収音点への入射角を入射方向に設定し、ステップＳ７１１で算出した経路長を入射経路長に設定し、ステップＳ７１２で算出したレベル減衰量を格納する。そして、この入射情報を収音点の入射情報リストに追加する。

ステップＳ７１４では、入射方向算出部２０８は、すべての壁面に対する処理が終了したか否かを判定し、終了していないと判定した場合には、ループ処理を継続するためにステップＳ７０６へ戻る。一方、すべての壁面に対する処理が終了したと入射方向算出部２０８が判定した場合には、ループ処理を終了してステップＳ７１５へ進む。

ここで、ステップＳ７０６〜Ｓ７１４のループ処理では、一例として、収音点から音源位置を見て、左側の壁面による一次反射音に関する入射情報を入力情報カウンタの値が２のときに作成するものとする。また、右側の壁面による一次反射音に関する入射情報を入力情報カウンタの値が３のときに作成するものとする。また、後部の壁面による一次反射音に関する入射情報を入力情報カウンタの値が４のときに作成し、上部（天井）の壁面による一次反射音に関する入射情報を入力情報カウンタの値が５のときに作成するものとする。つまり、収音点から音源位置を見て、左側の壁面による一次反射音に関する入射情報に対して入射情報ＩＤとして２が付され、右側の壁面による一次反射音に関する入射情報に対して入射情報ＩＤとして３が付されているものとする。また、後部の壁面による一次反射音に関する入射情報に対して入射情報ＩＤとして４が付され、上部（天井）の壁面による一次反射音に関する入射情報に対して入射情報ＩＤとして５が付されているものとする。

次に、ステップＳ７１５〜Ｓ７１９の処理は、直接音や一次反射音以外の拡散音（間接音）に関する入射情報の作成を行うためのループ処理である。本実施形態において、マイクロホンアレイ２０１が有するマイクユニットの中に、拡散音を収音するためのマイクユニットが数個用意される。図３に示した例では、マイクユニット３１６とマイクユニット３１７がこれに該当する。このステップＳ７１５〜Ｓ７１９のループ処理では、マイクユニット３１６、３１７が収音する間接音に関する入射情報を作成する。

ステップＳ７１５にて、入射方向算出部２０８は、対象とするマイクユニットを選択してループ内処理を開始する。次に、ステップＳ７１６にて、入射方向算出部２０８は、入射情報カウンタの値を１インクリメントする。次に、ステップＳ７１７にて、入射方向算出部２０８は、現在作成中の入射情報に対応するマイクユニットに対して隣り合うマイクユニットに対応する複数の入射情報に基づいて、それら複数の入射情報の中間の入射方向を算出する。隣り合うマイクユニットに対応する入射情報ＩＤは、入射方向算出部８内部のＲＡＭ上の間接音関連情報に格納されている。

図１０は、本実施形態における間接音関連情報の例を示す図である。現在作成中の入射情報ＩＤは入射情報カウンタの値となるため、この値で図１０に一例を示すデータを検索することによって、隣り合うマイクユニットに対応する複数の入射情報ＩＤが得られる。例えば、図３に示した例において、入射情報カウンタが６であるときにマイクユニット３１６に対応する入射情報を作成するのであれば、隣り合うマイクユニット３１２、３１４に対応する入射情報ＩＤは２、４である。同様に、入射情報カウンタが７であるときにマイクユニット３１７に対応する入射情報を作成するのであれば、隣り合うマイクユニット３１３、３１４に対応する入射情報ＩＤは３、４である。よって、入射情報リストからこの入射情報ＩＤを持つ入射情報の入射方向を取り出し、入射角θ、φを各々加算平均することで中間の入射方向が得られる。なお、隣り合うマイクユニットに対応する入射情報ＩＤが、入射情報リストに存在しない場合には、図４に示したマイクユニット情報のデフォルト入射方向を計算に使用すればよい。

次に、ステップＳ７１８にて、入射方向算出部２０８は、対象とするマイクユニットについての収音点における間接音に関する入射情報を新規に作成する。この入射情報の作成では、入射方向算出部２０８は、入射情報ＩＤに入射情報カウンタの値を設定し、壁面ＩＤに０を設定し、ステップＳ７１７で算出した入射方向を設定する。そして、この入射情報を収音点の入射情報リストに追加する。

ステップＳ７１９では、入射方向算出部２０８は、すべての間接音用マイクユニットに対する処理が終了したか否かを判定し、終了していないと判定した場合には、ループ処理を継続するためにステップＳ７１５へ戻る。一方、すべての間接音用マイクユニットに対する処理が終了したと入射方向算出部２０８が判定した場合には、ループ処理を終了してステップＳ７２０へ進む。ステップＳ７２０にて、入射方向算出部２０８は、ステップＳ７１９までの処理によって作成した収音点の入射情報リストを指向性制御部２０７に出力し、収音点に係る入射方向算出処理を終了して図６に示した処理に戻る。

（マイクロホンの指向性設定処理）
次に、図６のステップＳ６０３において、指向性制御部２０７が行うマイクロホンの指向性設定処理について説明する。図１１は、本実施形態におけるマイクロホンの指向性設定処理の例を示すフローチャートである。

マイクロホンの指向性設定処理では、指向性制御部２０７は、図７のステップＳ７２０において入射方向算出部２０８から供給される収音点の入射情報リストに含まれる各入射情報に対して、ステップＳ１１０１〜Ｓ１１０４のループ処理を行う。ステップＳ１１０２にて、指向性制御部２０７は、入射情報ＩＤに対応するマイクユニットを制御対象として設定する。入射情報ＩＤに対応するマイクユニットは、図４に一例を示したマイクユニット情報を検索することによって得ることができる。

次に、ステップＳ１１０３にて、指向性制御部２０７は、ステップＳ１１０２で制御対象に指定したマイクユニットの指向性マイクロホンが、対象の入射情報に設定されている入射方向に向くように制御信号を生成してマイクロホンアレイ２０１に出力する。この制御信号に従ってマイクロホンアレイ２０１が有する雲台等が制御され、対象マイクユニットの指向性マイクロホンの向きが指定した入射方向に設定される。

ステップＳ１１０４では、指向性制御部２０７は、収音点の入射情報リスト内のすべての入射情報に対する処理が終了したか否かを判定し、終了していないと判定した場合には、ループ処理を継続するためにステップＳ１１０１へ戻る。一方、すべての入射情報に対する処理が終了したと指向性制御部２０７が判定した場合には、ループ処理を終了してマイクロホンの指向性設定処理を終了して図６に示した処理に戻る。

このマイクロホンの指向性設定処理によって、マイクロホンアレイ２０１が有する各マイクユニットの指向性マイクロホンは、収音点における直接音や各壁面による一次反射音、及びそれ以外の拡散音（間接音）を収音する方向に正しく設定される。

（聴取点に係る入射方向算出処理）
次に、図６のステップＳ６０６において、入射方向算出部２０８が行う聴取点に係る入射方向算出処理について説明する。図１２は、本実施形態における聴取点に係る入射方向算出処理の例を示すフローチャートである。図１２に示すステップＳ１２０１〜Ｓ１２１９の処理は、処理対象となる点が収音点であるか聴取点であるかの点で相違するだけで、それ以外は図７に示したステップＳ７０１〜Ｓ７０９の処理と同様であるので、説明は省略する。

ステップＳ１２２０にて、入射方向算出部２０８は、ステップＳ１２１９までの処理によって作成した聴取点の入射情報リストを収音信号配置部２０３に出力し、聴取点に係る入射方向算出処理を終了して図６に示した処理に戻る。この聴取点に係る入射方向算出処理によって、マイクロホンアレイ２０１が有する各マイクユニットによって収音された各信号が、その属性（直接音、一次反射音、間接音）を変化させずに聴取点への入射方向に合致するように適宜配置される。

（収音信号の配置処理）
次に、図６のステップＳ６０７において、収音信号配置部２０３が行う収音信号の配置処理について説明する。図１３は、本実施形態における収音信号の配置処理の例を示すフローチャートである。ステップＳ１３０１〜Ｓ１３０８の処理では、収音信号配置部２０３は、図１２のステップＳ１２２０において入射方向算出部２０８から供給される聴取点の入射情報リストに含まれるすべての入射情報に対するループ処理を行う。

まず、ステップＳ１３０２にて、収音信号配置部２０３は、図６のステップＳ６０５において聴取点指定部２１２から供給される聴取点の向きを示す情報を用いて、入射情報に設定されている入射方向を聴取点を中心に聴取点から見た方向に回転させる。また、収音信号配置部２０３は、その回転させた結果を元の入射情報の入射方向に格納する。次に、ステップＳ１３０３にて、収音信号配置部２０３は、処理対象の入射情報ＩＤと同じＩＤを持つ収音点における入射情報を、入射方向算出部８に格納されている収音点の入射情報リストからロードする。

次に、ステップＳ１３０４にて、収音信号配置部２０３は、聴取点における入射情報の入射経路長と、収音点における入射情報の入射経路長との差分を算出する。次に、ステップＳ１３０５にて、収音信号配置部２０３は、ステップＳ１３０４で算出した経路長の差分に基づいて、収音信号入力部２０２から入力された対応マイクユニットによる収音信号に対して遅延処理を実行する。

次に、ステップＳ１３０６にて、収音信号配置部２０３は、聴取点における入射情報のレベル減衰量と、収音点における入射情報のレベル減衰量との差分を算出する。次に、ステップＳ１３０７にて、収音信号配置部２０３は、ステップＳ１３０６で算出したレベル減衰量の差分に基づいて、収音信号入力部２０２から入力された対応マイクユニットによる収音信号に対する音圧レベルの調整を実行する。このようにして、聴取点における入射情報及び収音点における入射情報から算出される経路長の差分やレベル減衰量の差分に応じて、経路長や反射の入射角に基づく遅延量やレベルの調整を行うことにより聴取点の音場をより精密に再現することができる。

ステップＳ１３０８では、収音信号配置部２０３は、聴取点の入射情報リストに含まれるすべての入射情報に対する処理が終了したか否かを判定し、終了していないと判定した場合には、ループ処理を継続するためにステップ１３０１へ戻る。一方、聴取点の入射情報リストに含まれるすべての入射情報に対する処理が終了したと収音信号配置部２０３が判定した場合には、ループ処理を終了してステップＳ１３０９へ進む。ステップＳ１３０９にて、収音信号配置部２０３は、ステップＳ１３０８までの処理を行った収音信号と聴取点の入射情報リストとをレンダリング部２０４に出力し、収音信号の配置処理を終了して図６に示した処理に戻る。

図１４は、聴取点の周囲に収音信号を配置した場合の例を示す図である。図１４において、１４０１は音源位置であり、１４０２は聴取点である。また、１４１１は直接音の指向性、１４１２は左側の壁面からの一次反射音の指向性、１４１３は右側の壁面からの一次反射音の指向性、１４１４は後側の壁面からの一次反射音の指向性、１４１５、１４１６は間接音の指向性を示している。

図１４に示すように聴取点の位置が変化すると、直接音や各壁面による一次反射音の入射方向が変化する。本実施形態では、一点で収音した直接音や一次反射音を、音が伝搬する際の経路長やレベル減衰量の変化に基づいて遅延やレベル調整を行って、聴取点における入射方向が合致するように再配置して、その音響を再現する。これにより、収音対象エリアとなる閉空間の会場内の任意位置での音場を再現することができる。さらに、間接音を直接音や一次反射音が配置されない方向に配置することにより、聴取点において会場内で音に包まれる感覚までも再現することが可能である。なお、間接音をレンダリングすることは必須ではなく、例えばレンダリングを短い時間で完了するために、直接音だけをレンダリングしたり直接音と一時反射音をレンダリングしたりしてもよい。また、レンダリング対象の音が異なる複数のモードからユーザ操作により一つのモードを選択できるようにしてもよい。

（音響信号レンダリング処理）
次に、図６のステップＳ６０８において、レンダリング部２０４が行う音響信号レンダリング処理について説明する。図１５は、本実施形態における音響信号レンダリング処理の例を示すフローチャートである。まず、ステップＳ１５０１にて、レンダリング部２０４は、レンダリング後の音響信号を蓄積する出力バッファの初期化を行う。ステップＳ１５０２〜Ｓ１５０８の処理では、レンダリング部２０４は、図１３のステップＳ１３０９において収音信号配置部２０３から供給される聴取点の入射情報リストに含まれる各入射情報に対するループ処理を行う。

ステップＳ１５０３にて、レンダリング部２０４は、対象の入射情報に設定されている入射方向が既定のチャンネル配置方向であるか否かを判定する。例えば、再生環境が５．１チャンネルサラウンド再生環境であるとすると、既定のチャンネル配置角度は０°、±３０°、±１１０°〜１３０°になる。対象の入射情報に設定された入射方向が、この範囲の角度に該当する場合には、レンダリング部２０４は、チャンネル配置方向であると判定してステップＳ１５０７へ進み、そうでない場合には、ステップＳ１５０４へ進む。

ステップＳ１５０４にて、レンダリング部２０４は、対象の入射情報に設定された入射方向の角度を囲い込む方向にある３つのチャンネルを選択する。次に、ステップＳ１５０５にて、レンダリング部２０４は、ステップＳ１５０４で選択したチャンネル間でＶＢＡＰ（Vector Base Amplitude Punning）による振幅パンニング計算を行い、３つのチャンネルへの分配信号を生成する。このようにして、３つのチャンネルに、この入射方向に対応する収音信号を分配する。このような処理は３次元チャンネル配置を行う場合に一般的に行われており、公知であるため詳細な説明はしない。

次に、ステップＳ１５０６では、レンダリング部２０４は、ステップＳ１５０５で分配した各チャンネルの信号を、チャンネル毎に出力バッファに加算する。一方、ステップＳ１５０７では、レンダリング部２０４は、ステップＳ１５０３で判定された方向が同じチャンネルの出力バッファに、入射方向に対応する収音信号をそのまま加算する。

ステップＳ１５０８では、レンダリング部２０４は、聴取点の入射情報リストに含まれるすべての入射情報に対する処理が終了したか否かを判定し、終了していないと判定した場合には、ループ処理を継続するためにステップ１５０２へ戻る。一方、聴取点の入射情報リストに含まれるすべての入射情報に対する処理が終了したとレンダリング部２０４が判定した場合には、ループ処理を終了してステップＳ１５０９へ進む。

ステップＳ１５０９にて、レンダリング部２０４は、各チャンネルの出力バッファに蓄積されている音響信号に対して、ローパスフィルタ（ＬＰＦ）処理を行い加算することにより、ＬＦＥ（Low Frequency Element）信号を生成する。ＬＦＥ信号は低域信号であり、通常は８０Ｈｚ以下の信号をローパスフィルタで取り出すようにする。この信号は、サラウンドスピーカーセットに含まれるサブウーファーによって再生される。生成されたＬＦＥ信号は、ＬＦＥチャンネル用の出力バッファに蓄積される。そして、音響信号レンダリング処理を終了して図６に示した処理に戻る。

以上説明したように処理制御を行うことで、本実施形態によれば、収音対象空間内の限られた範囲に設置されたマイクユニットでの収音によって取得される収音信号に基づいて、任意位置の聴取点に対応する音響信号を生成することが可能となる。

なお、本実施形態では、収音から聴取点に対応する音響生成までを逐次処理する場合を例に説明したが、収音信号を記憶装置（ストレージ）にすべて蓄積しておき、その後に蓄積した収音信号からまとめて聴取点に対応する音響信号を生成するようにしてもよい。また、本実施形態では、説明の便宜のため、収音対象空間となる閉空間の壁面構成を直方体の６面構成としているが、より複雑な面構成を持つ閉空間においても本発明を適用することは可能である。また、複数の音源がある場合に、マイクロホンアレイ２０１が有する複数のマイクユニットを複数の音源に割り当てるようにしてもよい。そして、収音対象空間となる閉空間の一点で音源ごとの収音を行い、聴取点から見たそれぞれの音源位置に応じて収音信号を配置して合成し音響信号を生成するようにしてもよい。例えば、一点に設置されたマイクロホンアレイ２０１が、次の（１）〜（５）のマイクユニットを備えていてもよい。
（１）音源Ａの直接音を収音するマイクユニット
（２）音源Ａの一次反射音を収音するマイクユニット
（３）音源Ｂの直接音を収音するマイクユニット
（４）音源Ｂの一次反射音を収音するマイクユニット
（５）間接音を収音するマイクユニット
そして、音源Ａに対応する音響信号と音源Ｂに対応する音響信号とをそれぞれ生成して合成してもよい。また、音源の数に応じた複数のマイクロホンアレイ２０１を設置して収音を行い、それらの収音にもとづく収音信号を合成して音響信号を生成してもよい。また、マイクロホンアレイ２０１とは別に各音源の音を収音するマイクロホンを各音源の近傍に設置し、そのマイクロホンによる収音信号とマイクロホンアレイ２０１による収音信号とを合成して音響信号を生成してもよい。

また、前述した例では、音源からの音を、複数の指向性マイクロホンを用いたマイクロホンアレイによって収音しているが、図１６に一例を示すように、低次もしくは高次のアンビソニックマイクロホンを用いて収音してもよい。図１６は、閉空間の一点にて、アンビソニックマイクロホンを用いて収音する場合の例を示す図である。図１６において、１６０１は音源位置であり、１６０２は収音位置（収音点）であり、１６１１はアンビソニックマイクロホンである。こうすることによって、雲台等の複雑な機構を用いて物理的に各指向性マイクロホンの向きを調整せずとも、信号処理によって各収音信号の指向性の向きを調整することができる。さらに、収音後に各収音信号の指向性を変更することも可能であるため、収音信号の状態を確認しながら収音後に指向性の調整を行うことで、より緻密な聴取点の音場再現が可能になる。

（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：信号処理装置 １０１：ＣＰＵ １０２：ＲＯＭ １０３：ＲＡＭ １０４：通信インターフェース １０５：出力装置 １０６：入力装置 １０７：ハードディスクドライブ ２０１：マイクロホンアレイ ２０２：収音信号入力部 ２０３：収音信号配置部 ２０４：レンダリング部 ２０５：音響出力部 ２０６：スピーカーアレイ ２０７：指向性制御部 ２０８：入射方向算出部 ２０９：音源位置情報 ２１０：収音位置情報 ２１１：空間情報 ２１２：聴取点指定部 ２１３：操作部 ２１４：通信部 ２１５：通信網 ２１６：出力部 ２１７：制御部

Claims (12)

1. 収音対象空間において一体となって設置された複数の収音部であって、音源の位置と当該音源から発せられる音を反射する物体の位置とに応じた複数の異なる向きで設置された複数の収音部による収音に基づく複数の収音信号を取得する取得手段と、
   前記取得手段により取得された複数の収音信号に基づいて、前記収音対象空間内の指定された聴取点に対応する音響信号を生成する信号生成手段とを有することを特徴とする信号処理装置。
2. 前記複数の収音部は、前記収音対象空間内の複数の壁面に対して前記壁面による一次反射音が主成分となる方向で収音する複数の指向性を有し、
   前記信号生成手段は、前記聴取点における前記壁面による一次反射音の入射方向を算出し、算出した前記入射方向に対して、前記複数の収音信号の内で前記入射方向に対応する方向で収音した前記収音信号を配置して、前記聴取点に対応する音響信号を生成することを特徴とする請求項１記載の信号処理装置。
3. 前記複数の収音部は、音源からの直接音が主成分となる方向で収音する指向性を有し、
   前記信号生成手段は、前記音源を前記聴取点から見た方向に対して、音源からの直接音が主成分となる方向で収音した前記収音信号を配置して、前記聴取点に対応する音響信号を生成することを特徴とする請求項２記載の信号処理装置。
4. 前記複数の収音部は、前記壁面による一次反射音以外の反射音が主成分となる方向で収音する複数の指向性を有し、
   前記信号生成手段は、算出した前記壁面による一次反射音の入射方向とは異なる方向に対して、前記壁面による一次反射音以外の反射音が主成分となる方向で収音した前記収音信号を配置して、前記聴取点に対応する音響信号を生成することを特徴とする請求項２又は３記載の信号処理装置。
5. 前記信号生成手段は、前記聴取点の向きに応じて前記収音信号の配置方向を、聴取点を中心に回転させて配置して、前記聴取点に対応する音響信号を生成することを特徴とする請求項２〜４の何れか１項に記載の信号処理装置。
6. 前記信号生成手段は、
   前記聴取点における少なくとも前記壁面による一次反射音の入射方向を算出する入射方向算出手段と、
   前記聴取点における各入射方向に対して、対応する入射方向で収音した前記収音信号を配置する収音信号配置手段とを有することを特徴とする請求項２〜５の何れか１項に記載の信号処理装置。
7. 前記信号生成手段は、音源から前記聴取点に音が伝搬する際の経路に応じて前記収音信号のレベルを調整して、前記聴取点に対応する音響信号を生成することを特徴とする請求項１〜６の何れか１項に記載の信号処理装置。
8. 前記信号生成手段は、音源から前記聴取点に音が伝搬する際の経路長に応じて前記収音信号を遅延させて、前記聴取点に対応するおける音響信号を生成することを特徴とする請求項１〜７の何れか１項に記載の信号処理装置。
9. 前記複数の収音部は、複数の指向性マイクロホンを用いて収音することを特徴とする請求項１〜８の何れか１項に記載の信号処理装置。
10. 前記複数の収音部は、アンビソニックマイクロホンで収音することを特徴とする請求項１〜８の何れか１項に記載の信号処理装置。
11. 収音対象空間において一体となって設置された複数の収音部であって、音源の位置と当該音源から発せられる音を反射する物体の位置とに応じた複数の異なる向きで設置された複数の収音部による収音に基づく複数の収音信号を取得する取得工程と、
    前記取得工程で取得された複数の収音信号に基づいて、前記収音対象空間内の指定された聴取点に対応する音響信号を生成する信号生成工程とを有することを特徴とする信号処理方法。
12. 収音対象空間において一体となって設置された複数の収音部であって、音源の位置と当該音源から発せられる音を反射する物体の位置とに応じた複数の異なる向きで設置された複数の収音部による収音に基づく複数の収音信号を取得する取得ステップと、
    前記取得ステップで取得された複数の収音信号に基づいて、前記収音対象空間内の指定された聴取点に対応する音響信号を生成する信号生成ステップとをコンピュータに実行させるためのプログラム。

Images