JP2004193877A - 音像定位信号処理装置および音像定位信号処理方法 - Google Patents
音像定位信号処理装置および音像定位信号処理方法 Download PDFInfo
- Publication number
- JP2004193877A JP2004193877A JP2002358322A JP2002358322A JP2004193877A JP 2004193877 A JP2004193877 A JP 2004193877A JP 2002358322 A JP2002358322 A JP 2002358322A JP 2002358322 A JP2002358322 A JP 2002358322A JP 2004193877 A JP2004193877 A JP 2004193877A
- Authority
- JP
- Japan
- Prior art keywords
- sound source
- sound
- signal processing
- virtual
- image localization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Stereophonic System (AREA)
Abstract
【課題】スピーカの数を増やしていくことで音源の定位感を高めることができ、また、マルチチャンネルの出力により３次元の音源位置を再現できると共に、遅延量の変化による自然なドップラー効果を再現する。
【解決手段】収録側のスピーカ、音源、リスナ設定のＧＵＩアプリケーション画面１は、複数の音源の位置を設定して音源位置出力を出力する音源設定部８と、複数の音源の再生音を出力する複数のスピーカの位置を設定してスピーカ位置出力を出力するスピーカ設定部７と、基準位置となるリスナの位置を設定してリスナ位置出力を出力するリスナ設定部９と、音源位置出力、スピーカ位置出力およびリスナ位置出力に基づいて複数の音源の再生音を出力する音源出力部とを備えた。
【選択図】 図１
【解決手段】収録側のスピーカ、音源、リスナ設定のＧＵＩアプリケーション画面１は、複数の音源の位置を設定して音源位置出力を出力する音源設定部８と、複数の音源の再生音を出力する複数のスピーカの位置を設定してスピーカ位置出力を出力するスピーカ設定部７と、基準位置となるリスナの位置を設定してリスナ位置出力を出力するリスナ設定部９と、音源位置出力、スピーカ位置出力およびリスナ位置出力に基づいて複数の音源の再生音を出力する音源出力部とを備えた。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば、角度情報を有する映像信号に対応するオーディオ信号に仮想音源定位処理を行う音像定位信号処理装置および音像定位信号処理方法に関するものである。
【０００２】
【従来の技術】
先行技術としてあげている特許文献１ の従来技術では、マルチチャンネル音源により、簡易な構成で立体音場を得る発明が開示されている。この従来技術においては、メモリから読み出された楽音データを４チャンネルに振り分け、それぞれをボイスボリュームで適切に制御して立体音場の定位が定められるとしている。また、特許文献２の従来技術では、音声情報や画像情報等に音源や被写体の位置に関する情報を付加して記録し、それら情報の再生時に、付加した位置に関する情報を有効に利用する。例えば音声情報の場合、楽器別の録音トラックごとに位置情報を付加して、再生時に各トラックに異なる伝播特性を与えて奥行きのある音場を形成する。
【０００３】
【特許文献１】
特開平１０−３０９０００号公報
【特許文献２】
特願平１１−３５３０８１号公報
【０００４】
【発明が解決しようとする課題】
しかし、上述したこの特許文献１ の従来技術では、スピーカの数、レイアウトが限定されているためユーザは決められた数のスピーカを決められた位置に配置して聞く必要があったため、音源の上下の定位感は実現できなかったという不都合があった。
【０００５】
そこで、この特許文献１ の従来技術に対して、本発明では、スピーカの数、レイアウトはユーザが自由に決めることができると共に、上下方向にもスピーカを配置することで、音源の上下の定位感を表現することができ、スピーカの数を増やしていくことで音源の定位感を高めることができることを課題とする。また、上述したこの特許文献２の従来技術では、音声の情報と音源位置を記録しておき、再生時はその音源位置を元に実際に再生する音を合成することができるものの、空間上の任意の位置および方向に音源を配置して音源の再生を行う３Ｄサウンドの再現はできなかったという不都合があった。
【０００６】
また、この特許文献２の従来技術に対して、本発明では、マルチチャンネルの出力により３次元の音源位置を再現できると共に、遅延量の変化による自然なドップラー効果を再現できることを課題とする。
【０００７】
本発明は、かかる点に鑑みてなされたものであり、スピーカの数を増やしていくことで音源の定位感を高めることができ、また、マルチチャンネルの出力により３次元の音源位置を再現できると共に、遅延量の変化による自然なドップラー効果を再現できる音像定位信号処理装置および音像定位信号処理方法を提供することを課題とする。
【０００８】
【課題を解決するための手段】
本発明の音像定位信号処理装置は、複数の音源の位置を設定して音源位置出力を出力する音源設定手段と、複数の音源の再生音を出力する複数のスピーカの位置を設定してスピーカ位置出力を出力するスピーカ設定手段と、基準位置となるリスナの位置を設定してリスナ位置出力を出力するリスナ設定手段と、音源位置出力、スピーカ位置出力およびリスナ位置出力に基づいて複数の音源の再生音を出力する音源出力手段とを備え、各音源データにリアルタイムで信号処理を施して上記位置情報に対応して音像定位位置を制御するようにしたものである。
【０００９】
従って本発明によれば、以下の作用をする。
基準位置に対して位置情報を有して再生時における再生音像を任意の位置に定位させるように制作時において複数の音源から入力される各音源データに信号処理を施すことにより、各音源データにリアルタイムで信号処理を施して上記位置情報に対応して音像定位位置を制御する。音源設定手段は、複数の音源の位置を設定して音源位置出力を出力する。スピーカ設定手段は、複数の音源の再生音を出力する複数のスピーカの位置を設定してスピーカ位置出力を出力する。リスナ設定手段は、基準位置となるリスナの位置を設定してリスナ位置出力を出力する。音源出力手段は、音源位置出力、スピーカ位置出力およびリスナ位置出力に基づいて複数の音源の再生音を出力する。
【００１０】
また、本発明の音像定位信号処理装置は、供給源から各音源データおよび音源の位置情報を読み出す読み出し手段と、音源の位置情報に基づいて仮想音源を配置する仮想音源配置手段と、リスナの視聴位置に応じた仮想マイクの位置を配置する仮想マイク配置手段と、仮想音源と仮想マイクとの位置に基づいて仮想マイクに入力される仮想音源の音の特性を計算する計算手段と、計算手段により計算された各仮想マイクに入力される音の特性に応じて音源データに信号処理を施す信号処理手段と、信号処理手段により信号処理を施された音源データに基づく再生音を出力する出力手段とを備え、音源データにリアルタイムで信号処理を施して位置情報に対応して音像定位位置を制御するようにしたものである。
【００１１】
従って本発明によれば、以下の作用をする。
複数の音源から入力される各音源データに対して制作時における制御情報により信号処理を施した各音源データについて、基準位置に対する位置情報に対応するように再生時において再生音像を任意の位置に定位させるように信号処理を施すことにより、各音源データにリアルタイムで信号処理を施して上記位置情報に対応して音像定位位置を制御する。読み出し手段は、供給源から各音源データおよび音源の位置情報を読み出す。仮想音源配置手段は、音源の位置情報に基づいて仮想音源を配置する。仮想マイク配置手段は、リスナの視聴位置に応じた仮想マイクの位置を配置する。計算手段は、仮想音源と仮想マイクとの位置に基づいて仮想マイクに入力される仮想音源の音の特性を計算する。信号処理手段は、計算手段により計算された各仮想マイクに入力される音の特性に応じて音源データに信号処理を施す。出力手段は、信号処理手段により信号処理を施された音源データに基づく再生音を出力する。
【００１２】
また、本発明の音像定位信号処理方法は、複数の音源の位置を設定して音源位置出力を出力する音源設定ステップと、複数の音源の再生音を出力する複数のスピーカの位置を設定してスピーカ位置出力を出力するスピーカ設定ステップと、基準位置となるリスナの位置を設定してリスナ位置出力を出力するリスナ設定ステップと、音源位置出力、スピーカ位置出力およびリスナ位置出力に基づいて複数の音源の再生音を出力する音源出力ステップとを備え、各音源データにリアルタイムで信号処理を施して位置情報に対応して音像定位位置を制御するようにしたものである。
【００１３】
従って本発明によれば、以下の作用をする。
基準位置に対して位置情報を有して再生時における再生音像を任意の位置に定位させるように制作時において複数の音源から入力される各音源データに信号処理を施すことにより、各音源データにリアルタイムで信号処理を施して上記位置情報に対応して音像定位位置を制御する。音源設定ステップは、複数の音源の位置を設定して音源位置出力を出力する。スピーカ設定ステップは、複数の音源の再生音を出力する複数のスピーカの位置を設定してスピーカ位置出力を出力する。リスナ設定ステップは、基準位置となるリスナの位置を設定してリスナ位置出力を出力する。音源出力ステップは、音源位置出力、スピーカ位置出力およびリスナ位置出力に基づいて複数の音源の再生音を出力する。
【００１４】
また、本発明の音像定位信号処理方法は、供給源から各音源データおよび音源の位置情報を読み出す読み出しステップと、音源の位置情報に基づいて仮想音源を配置する仮想音源配置ステップと、リスナの視聴位置に応じた仮想マイクの位置を配置する仮想マイク配置ステップと、仮想音源と仮想マイクとの位置に基づいて仮想マイクに入力される仮想音源の音の特性を計算する計算ステップと、計算ステップにより計算された各仮想マイクに入力される音の特性に応じて音源データに信号処理を施す信号処理ステップと、信号処理ステップにより信号処理を施された音源データに基づく再生音を出力する出力ステップとを備え、音源データにリアルタイムで信号処理を施して位置情報に対応して音像定位位置を制御するようにしたものである。
【００１５】
従って本発明によれば、以下の作用をする。
複数の音源から入力される各音源データに対して制作時における制御情報により信号処理を施した各音源データについて、基準位置に対する位置情報に対応するように再生時において再生音像を任意の位置に定位させるように信号処理を施すことにより、各音源データにリアルタイムで信号処理を施して上記位置情報に対応して音像定位位置を制御する。読み出しステップは、供給源から各音源データおよび音源の位置情報を読み出す。仮想音源配置ステップは、音源の位置情報に基づいて仮想音源を配置する。仮想マイク配置ステップは、リスナの視聴位置に応じた仮想マイクの位置を配置する。計算ステップは、仮想音源と仮想マイクとの位置に基づいて仮想マイクに入力される仮想音源の音の特性を計算する。信号処理ステップは、計算ステップにより計算された各仮想マイクに入力される音の特性に応じて音源データに信号処理を施す。出力ステップは、信号処理ステップにより信号処理を施された音源データに基づく再生音を出力する。
【００１６】
【発明の実施の形態】
以下に、本発明の実施の形態について、適宜図面を参照しながら説明する。
まず、音源データおよび音源位置情報の収録側の構成を説明する。
図１は、本実施の形態に適用される収録側のスピーカ、音源、リスナ設定のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）アプリケーション画面を示す図である。
【００１７】
図１は、例えば、収録側装置において、クリエータが配信すべき音源データおよび音源位置情報の収録の際に、パーソナルコンピュータ上に設けられた各機能を用いて各種設定行う場合のＧＵＩアプリケーション画面である。
図１において、収録側装置のＧＵＩアプリケーション画面１は、図示しないマウスにより後述する各設定部の項目をクリックしてスライダーをスライドすることにより、各位置に設定可能な音源３−１，３−２，３−３，３−４、スピーカ４−１，４−２，４−３，４−４，４−５、リスナ５を配置する設定エリア２が設けられている。
【００１８】
この収録側装置のＧＵＩアプリケーション画面１は、モード設定部６を有し、モード設定部６は、複数の音源３−１，３−２，３−３，３−４の位置を設定して音源位置出力を出力する音源設定部８と、複数の音源３−１，３−２，３−３，３−４の再生音を出力する複数のスピーカ４−１，４−２，４−３，４−４，４−５の位置を設定してスピーカ位置出力を出力するスピーカ設定部７と、基準位置となるリスナ５の位置を設定してリスナ位置出力を出力するリスナ設定部９とを有して構成される。
【００１９】
また、収録側装置は、音源位置出力、スピーカ位置出力およびリスナ位置出力に基づいて複数の音源３−１，３−２，３−３，３−４の再生音を出力する音源出力部を有して構成される。
【００２０】
また、収録側装置は、基準位置となるリスナ５の位置に対して位置情報を有して再生時における再生音像を任意の位置に定位させるように制作時において複数の音源３−１，３−２，３−３，３−４から入力される各音源データに信号処理を施すことにより、各音源データにリアルタイムで信号処理を施して位置情報に対応して音像定位位置を制御する。
【００２１】
また、この収録側装置のＧＵＩアプリケーション画面１は、音源設定部８、スピーカ設定部７およびリスナ設定部９は、それぞれ、少なくとも水平面の横位置を設定するＸ位置設定部１０、縦位置を設定するＹ位置設定部１１、垂直面の高さ位置を設定するＺ位置設定部１２、水平面の角度を設定するθ設定部１３および垂直面の角度を設定するΦ位置設定部１４を有して構成される。
【００２２】
また、この収録側装置のＧＵＩアプリケーション画面１は、音源設定部８、スピーカ設定部７に対するチャンネルを設定するチャンネル（ｃｈ）設定部１５を有して構成される。
【００２３】
また、この収録側装置のＧＵＩアプリケーション画面１は、音源設定部８、スピーカ設定部７に対する指向性を選択的に設定する指向性選択部１６を有して構成される。
【００２４】
また、この収録側装置のＧＵＩアプリケーション画面１は、指向性選択部１６は、少なくとも無指向性のＯｍｎｉ設定部１７、双指向性のＦｉｇｕｒｅ−８設定部２０、単一指向性のＣａｒｄｉｏｉｄ設定部１８およびＳｕｐｅｒ−Ｃａｒｄｉｏｉｄ設定部１９を有して構成される。
【００２５】
また、この収録側装置のＧＵＩアプリケーション画面１は、音源設定部８、スピーカ設定部７に対する設定エリア２におけるスケールを設定するスケール設定部２１を有して構成される。スケール設定部２１は、スピーカスケール設定部２２と、音源スケール設定部２３とを有して構成される。
【００２６】
また、スケール設定部２１は、リスナ位置に対する音源位置、スピーカ位置の距離による音源の再生音の減衰率を設定する、距離による減衰率設定部２４を有して構成される。
【００２７】
また、音源設定部８、スピーカ設定７およびリスナ設定部９は、ＧＵＩアプリケーション画面１上に設けられ、他の指向性選択部１６およびスケール設定部２１は予め設定しておくようにしても良い。
【００２８】
このように構成された収録側装置により、音源、リスナの視聴位置、スピーカなどの視聴環境を任意に設定した３Ｄサウンドの生放送（リアルタイム配信）を実現することができる。
【００２９】
図２は、モード設定部の構成を示すブロック図である。
図２において、モード設定部６は、音源設定部８、スピーカ設定部７、リスナ設定部９およびチャンネル（ｃｈ）設定部１５を有して構成される。
【００３０】
また、音源設定部８、スピーカ設定部７およびリスナ設定部９は、それぞれ、Ｘ位置設定部１０、Ｙ位置設定部１１、Ｚ位置設定部１２、θ設定部１３およびΦ位置設定部１４を有して構成される。
【００３１】
また、音源設定部８、スピーカ設定部７およびリスナ設定部９は、水平面の縦位置を設定し、横位置を設定し、垂直面の高さ位置を設定し、水平面の角度を設定および垂直面の角度を設定することにより、音源位置を出力する音源位置出力部２２と、スピーカ位置を出力するスピーカ位置出力部２３と、リスナ位置を出力するリスナ位置出力部２４とを有して構成される。
【００３２】
また、チャンネル（ｃｈ）設定部１５は、チャンネル（ｃｈ）設定出力を出力するチャンネル（ｃｈ）出力部２５を有して構成される。
【００３３】
図３は、指向性選択部の構成を示すブロック図である。
図３において、指向性選択部１６は、無指向性のＯｍｎｉ設定部１７、双指向性のＦｉｇｕｒｅ−８設定部２０、単一指向性のＣａｒｄｉｏｉｄ設定部１８およびＳｕｐｅｒ−Ｃａｒｄｉｏｉｄ設定部１９を有して構成される。指向性選択部１６は、無指向性、双指向性、または単一指向性の指向性を出力する指向性出力部３１を有して構成される。指向性出力部３１の指向性出力は、音源位置出力部２２と、スピーカ位置出力部２３に対して出力される。
【００３４】
図４は、スケール設定部の構成を示すブロック図である。
図４において、スケール設定部２１は、スピーカスケール設定部４１と、音源スケール設定部４２と、距離による減衰率設定部４３を有して構成される。スケール設定部２１は、スピーカスケール、音源スケール、距離による減衰率を設定されたスケール出力を出力するスケール出力部４４を有して構成される。
【００３５】
図５は、音源出力部の構成を示すブロック図である。
図５において、音源出力部５１は、指向性出力部３１の指向性出力およびスケール出力部４４によるスケール出力に基づく音源位置出力部２２による音源位置出力と、指向性出力部３１の指向性出力およびスケール出力部４４によるスケール出力に基づくスピーカ位置出力部２３によるスピーカ位置出力と、リスナ位置出力部２４によるリスナ位置出力と、チャンネル（ｃｈ）出力部２５によるチャンネル（ｃｈ）設定出力とにより、音源データに対して信号処理を施して、例えば、アンプを介してスピーカからモニタ出力すると共に、ハードディスクまたは着脱可能なディスクに音源データおよび位置情報を記憶し、再生側にネットワークを介して送出またはディスクの頒布を行う。
【００３６】
このように構成された収録側装置は、以下のような動作をする。
図６は、モード設定部のモード設定動作を示すフローチャートである。
図６において、ステップＳ１で、音源設定か否かを判断する。具体的には、図１および図２に示すモード設定部６は、図示しないマウスによるクリエータの操作により音源設定部８の項目がクリックされたか否かを判断する。
【００３７】
ステップＳ１で音源設定である判断されたときは、ステップＳ２で、音源設定を行う。具体的には、図１および図２に示すモード設定部６は、音源設定部８により複数の音源３−１，３−２，３−３，３−４の位置を設定して音源位置出力を出力する動作を行わせる。
【００３８】
ステップＳ１で音源設定でない判断されたときは、ステップＳ３で、スピーカ設定か否かを判断する。具体的には、図１および図２に示すモード設定部６は、図示しないマウスによるクリエータの操作によりスピーカ設定部７の項目がクリックされたか否かを判断する。
【００３９】
ステップＳ３でスピーカ設定である判断されたときは、ステップＳ４で、スピーカ設定を行う。具体的には、図１および図２に示すモード設定部６は、スピーカ設定部７により複数の音源３−１，３−２，３−３，３−４の再生音を出力する複数のスピーカ４−１，４−２，４−３，４−４，４−５の位置を設定してスピーカ音源位置出力を出力する動作を行わせる。
【００４０】
ステップＳ３でスピーカ設定でない判断されたときは、ステップＳ５で、リスナ設定か否かを判断する。具体的には、図１および図２に示すモード設定部６は、図示しないマウスによるクリエータの操作によりリスナ設定部９の項目がクリックされたか否かを判断する。
【００４１】
ステップＳ５でリスナ設定である判断されたときは、ステップＳ６でリスナ設定を行う。具体的には、図１および図２に示すモード設定部６は、リスナ設定部９により基準位置となるリスナ５の位置を設定してリスナ位置出力を出力する動作を行わせる。
【００４２】
ステップＳ５でリスナ設定でない判断されたときは、ステップＳ７で、チャンネル（ｃｈ）設定か否かを判断する。具体的には、図１および図２に示すモード設定部６は、図示しないマウスによるクリエータの操作によりチャンネル（ｃｈ）設定部１５の項目がクリックされたか否かを判断する。
【００４３】
ステップＳ７でチャンネル（ｃｈ）設定である判断されたときは、ステップＳ８で、チャンネル（ｃｈ）設定を行う。具体的には、図１および図２に示すモード設定部６は、チャンネル（ｃｈ）設定部１５により、音源設定部８、スピーカ設定部７に対するチャンネルを設定する動作を行わせる。
【００４４】
ステップＳ２で音源設定、ステップＳ４でスピーカ設定、ステップＳ６でリスナ設定、ステップＳ８でチャンネル（ｃｈ）設定を行った後は、ステップＳ９で設定出力を行う。具体的には、図１および図２に示すモード設定部６は、図５に示す音源出力部５１により、音源位置出力、スピーカ位置出力、リスナ位置出力およびチャンネル（ｃｈ）出力に基づいて複数の音源３−１，３−２，３−３，３−４の再生音を出力する動作を行わせる。
【００４５】
図７は、音源設定部の音源設定動作を示すフローチャートである。
ステップＳ１１で、Ｘ位置設定か否かを判断する。具体的には、図１および図２に示すＸ位置設定部１０は、図示しないマウスによるクリエータの操作によりＸ位置設定部１０のスライダーがクリックされてスライドされたか否かを判断する。
【００４６】
ステップＳ１１でＸ位置設定である判断されたときは、ステップＳ１２でＸ位置設定を行う。具体的には、図１および図２に示すＸ位置設定部１０は、図示しないマウスによるクリエータの操作によりＸ位置設定部１０のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定Ｘ位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上で横方向に移動して音源３−１，３−２，３−３，３−４を配置する。
【００４７】
ステップＳ１１でＸ位置設定でない判断されたときは、ステップＳ１３で、Ｙ位置設定か否かを判断する。具体的には、図１および図２に示すＹ位置設定部１１は、図示しないマウスによるクリエータの操作によりＹ位置設定部１１のスライダーがクリックされてスライドされたか否かを判断する。
【００４８】
ステップＳ１３でＹ位置設定である判断されたときは、ステップＳ１４でＹ位置設定を行う。具体的には、図１および図２に示すＹ位置設定部１１は、図示しないマウスによるクリエータの操作によりＹ位置設定部１１のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定Ｙ位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上で縦方向に移動して音源３−１，３−２，３−３，３−４を配置する。
【００４９】
ステップＳ１３でＹ位置設定でない判断されたときは、ステップＳ１５で、Ｚ位置設定か否かを判断する。具体的には、図１および図２に示すＺ位置設定部１２は、図示しないマウスによるクリエータの操作によりＺ位置設定部１２のスライダーがクリックされてスライドされたか否かを判断する。
【００５０】
ステップＳ１５でＺ位置設定である判断されたときは、ステップＳ１６でＺ位置設定を行う。具体的には、図１および図２に示すＺ位置設定部１２は、図示しないマウスによるクリエータの操作によりＺ位置設定部１２のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定Ｚ位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） と垂直方向に移動して音源３−１，３−２，３−３，３−４を配置する。
【００５１】
ステップＳ１５でＺ位置設定でない判断されたときは、ステップＳ１７で、θ位置設定か否かを判断する。具体的には、図１および図２に示すθ位置設定部１３は、図示しないマウスによるクリエータの操作によりθ位置設定部１３のスライダーがクリックされてスライドされたか否かを判断する。
【００５２】
ステップＳ１７でθ位置設定である判断されたときは、ステップＳ１８でθ位置設定を行う。具体的には、図１および図２に示すθ位置設定部１３は、図示しないマウスによるクリエータの操作によりθ位置設定部１３のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定θ位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上で回転角度をつけて音源３−１，３−２，３−３，３−４を配置する。
【００５３】
ステップＳ１７でθ位置設定でない判断されたときは、ステップＳ１９で、Φ位置設定か否かを判断する。具体的には、図１および図２に示すΦ位置設定部１４は、図示しないマウスによるクリエータの操作によりΦ位置設定部１４のスライダーがクリックされてスライドされたか否かを判断する。
【００５４】
ステップＳ１９でΦ位置設定である判断されたときは、ステップＳ２０でΦ位置設定を行う。具体的には、図１および図２に示すΦ位置設定部１４は、図示しないマウスによるクリエータの操作によりΦ位置設定部１４のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定Φ位置に対応するようにＧＵＩアプリケーション画面１の垂直面上で上方または下方にあおり角度をつけて音源３−１，３−２，３−３，３−４を配置する。
【００５５】
図８は、スピーカ設定部のスピーカ設定動作を示すフローチャートである。
ステップＳ２１で、Ｘ位置設定か否かを判断する。具体的には、図１および図２に示すＸ位置設定部１０は、図示しないマウスによるクリエータの操作によりＸ位置設定部１０のスライダーがクリックされてスライドされたか否かを判断する。
【００５６】
ステップＳ２１でＸ位置設定である判断されたときは、ステップＳ２２でＸ位置設定を行う。具体的には、図１および図２に示すＸ位置設定部１０は、図示しないマウスによるクリエータの操作によりＸ位置設定部１０のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定Ｘ位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上で横方向に移動してスピーカ４−１，４−２，４−３，４−４，４−５を配置する。
【００５７】
ステップＳ２１でＸ位置設定でない判断されたときは、ステップＳ２３で、Ｙ位置設定か否かを判断する。具体的には、図１および図２に示すＹ位置設定部１１は、図示しないマウスによるクリエータの操作によりＹ位置設定部１１のスライダーがクリックされてスライドされたか否かを判断する。
【００５８】
ステップＳ２３でＹ位置設定である判断されたときは、ステップＳ２４でＹ位置設定を行う。具体的には、図１および図２に示すＹ位置設定部１１は、図示しないマウスによるクリエータの操作によりＹ位置設定部１１のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定Ｙ位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上で縦方向に移動してスピーカ４−１，４−２，４−３，４−４，４−５を配置する。
【００５９】
ステップＳ２３でＹ位置設定でない判断されたときは、ステップＳ２５で、Ｚ位置設定か否かを判断する。具体的には、図１および図２に示すＺ位置設定部１２は、図示しないマウスによるクリエータの操作によりＺ位置設定部１２のスライダーがクリックされてスライドされたか否かを判断する。
【００６０】
ステップＳ２５でＺ位置設定である判断されたときは、ステップＳ２６でＺ位置設定を行う。具体的には、図１および図２に示すＺ位置設定部１２は、図示しないマウスによるクリエータの操作によりＺ位置設定部１２のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定Ｚ位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） と垂直方向に移動してスピーカ４−１，４−２，４−３，４−４，４−５を配置する。
【００６１】
ステップＳ２５でＺ位置設定でない判断されたときは、ステップＳ２７で、θ位置設定か否かを判断する。具体的には、図１および図２に示すθ位置設定部１３は、図示しないマウスによるクリエータの操作によりθ位置設定部１３のスライダーがクリックされてスライドされたか否かを判断する。
【００６２】
ステップＳ２７でθ位置設定である判断されたときは、ステップＳ２８でθ位置設定を行う。具体的には、図１および図２に示すθ位置設定部１３は、図示しないマウスによるクリエータの操作によりθ位置設定部１３のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定θ位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上で回転角度をつけてスピーカ４−１，４−２，４−３，４−４，４−５を配置する。
【００６３】
ステップＳ２７でθ位置設定でない判断されたときは、ステップＳ２９で、Φ位置設定か否かを判断する。具体的には、図１および図２に示すΦ位置設定部１４は、図示しないマウスによるクリエータの操作によりΦ位置設定部１４のスライダーがクリックされてスライドされたか否かを判断する。
【００６４】
ステップＳ２９でΦ位置設定である判断されたときは、ステップＳ３０でΦ位置設定を行う。具体的には、図１および図２に示すΦ位置設定部１４は、図示しないマウスによるクリエータの操作によりΦ位置設定部１４のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定Φ位置に対応するようにＧＵＩアプリケーション画面１の垂直面上で上方または下方にあおり角度をつけてスピーカ４−１，４−２，４−３，４−４，４−５を配置する。
【００６５】
図９は、リスナ設定部のリスナ設定動作を示すフローチャートである。
ステップＳ３１で、Ｘ位置設定か否かを判断する。具体的には、図１および図２に示すＸ位置設定部１０は、図示しないマウスによるクリエータの操作によりＸ位置設定部１０のスライダーがクリックされてスライドされたか否かを判断する。
【００６６】
ステップＳ３１でＸ位置設定である判断されたときは、ステップＳ３２でＸ位置設定を行う。具体的には、図１および図２に示すＸ位置設定部１０は、図示しないマウスによるクリエータの操作によりＸ位置設定部１０のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定Ｘ位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上で横方向に移動してリスナ５を配置する。
【００６７】
ステップＳ３１でＸ位置設定でない判断されたときは、ステップＳ３３で、Ｙ位置設定か否かを判断する。具体的には、図１および図２に示すＹ位置設定部１１は、図示しないマウスによるクリエータの操作によりＹ位置設定部１１のスライダーがクリックされてスライドされたか否かを判断する。
【００６８】
ステップＳ３３でＹ位置設定である判断されたときは、ステップＳ３４でＹ位置設定を行う。具体的には、図１および図２に示すＹ位置設定部１１は、図示しないマウスによるクリエータの操作によりＹ位置設定部１１のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定Ｙ位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上で縦方向に移動してリスナ５を配置する。
【００６９】
ステップＳ３３でＹ位置設定でない判断されたときは、ステップＳ３５で、Ｚ位置設定か否かを判断する。具体的には、図１および図２に示すＺ位置設定部１２は、図示しないマウスによるクリエータの操作によりＺ位置設定部１２のスライダーがクリックされてスライドされたか否かを判断する。
【００７０】
ステップＳ３５でＺ位置設定である判断されたときは、ステップＳ３６でＺ位置設定を行う。具体的には、図１および図２に示すＺ位置設定部１２は、図示しないマウスによるクリエータの操作によりＺ位置設定部１２のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定Ｚ位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） と垂直方向に移動してリスナ５を配置する。
【００７１】
ステップＳ３５でＺ位置設定でない判断されたときは、ステップＳ３７で、θ位置設定か否かを判断する。具体的には、図１および図２に示すθ位置設定部１３は、図示しないマウスによるクリエータの操作によりθ位置設定部１３のスライダーがクリックされてスライドされたか否かを判断する。
【００７２】
ステップＳ３７でθ位置設定である判断されたときは、ステップＳ３８でθ位置設定を行う。具体的には、図１および図２に示すθ位置設定部１３は、図示しないマウスによるクリエータの操作によりθ位置設定部１３のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定θ位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上で回転角度をつけてリスナ５を配置する。
【００７３】
ステップＳ３７でθ位置設定でない判断されたときは、ステップＳ３９で、Φ位置設定か否かを判断する。具体的には、図１および図２に示すΦ位置設定部１４は、図示しないマウスによるクリエータの操作によりΦ位置設定部１４のスライダーがクリックされてスライドされたか否かを判断する。
【００７４】
ステップＳ３９でΦ位置設定である判断されたときは、ステップＳ４０でΦ位置設定を行う。具体的には、図１および図２に示すΦ位置設定部１４は、図示しないマウスによるクリエータの操作によりΦ位置設定部１４のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定Φ位置に対応するようにＧＵＩアプリケーション画面１の垂直面上で上方または下方にあおり角度をつけてリスナ５を配置する。
【００７５】
図１０は、チャンネル設定部のチャンネル設定動作を示すフローチャートである。
ステップＳ４１で、音源のチャンネル設定か否かを判断する。具体的には、図１および図２に示すチャンネル設定部１５は、図示しないマウスによるクリエータの操作により音源設定部８の項目がクリックされているときに、チャンネル設定部１５のスライダーがクリックされてスライドされたか否かを判断する。
【００７６】
ステップＳ４１で音源のチャンネル設定である判断されたときは、ステップＳ４２で音源のチャンネル設定を行う。具体的には、図１および図２に示すチャンネル設定部１５は、図示しないマウスによるクリエータの操作によりチャンネル設定部１５のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２においてチャンネル設定位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上で音源３−１，３−２，３−３，３−４のチャンネル設定をする。
【００７７】
ステップＳ４１で音源のチャンネル設定でない判断されたときは、ステップＳ４３で、スピーカのチャンネル設定か否かを判断する。具体的には、図１および図２に示すチャンネル設定部１５は、図示しないマウスによるクリエータの操作によりスピーカ設定部７の項目がクリックされているときに、チャンネル設定部１５のスライダーがクリックされてスライドされたか否かを判断する。
【００７８】
ステップＳ４３でスピーカのチャンネル設定である判断されたときは、ステップＳ４４でスピーカのチャンネル設定を行う。具体的には、図１および図２に示すチャンネル設定部１５は、図示しないマウスによるクリエータの操作によりチャンネル設定部１５のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２においてチャンネル設定位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上でスピーカ４−１，４−２，４−３，４−４，４−５のチャンネル設定をする。
【００７９】
図１１は、位置設定を示す図である。
上述したＸ位置設定部１０は、ＧＵＩアプリケーション画面１上の設定エリア２において点Ｐ１１１に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上で横方向Ｘの設定Ｘ位置を設定する。また、Ｙ位置設定部１１は、ＧＵＩアプリケーション画面１上の設定エリア２において点Ｐ１１１に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上で縦方向の設定Ｙ位置を設定する。また、Ｚ位置設定部１２は、ＧＵＩアプリケーション画面１上の設定エリア２において点Ｐ１１１に対応するようにＧＵＩアプリケーション画面１（ 水平面） と垂直方向の設定Ｚ位置を設定する。
【００８０】
また、θ位置設定部１３は、ＧＵＩアプリケーション画面１上の設定エリア２において点Ｐ１１１に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上で回転角度をつけて設定θ位置を設定する。また、Φ位置設定部１４は、ＧＵＩアプリケーション画面１上の設定エリア２において点Ｐ１１１に対応するようにＧＵＩアプリケーション画面１の垂直面上で上方または下方にあおり角度をつけて設定Φ位置を設定する。
【００８１】
図１２は、上述した指向性選択部１６による指向性設定を示す図であり、図１２ＡはＯｍｎｉ設定部１７による無指向性のＯｍｎｉ１２１に対するＦｉｇｕｒｅ−８設定部２０による双指向性のＦｉｇｕｒｅ−８（１２２）、図１２ＢはＣａｒｄｉｏｉｄ設定部１８による単一指向性のＣａｒｄｉｏｉｄ１２３、および図１２ＣはＳｕｐｅｒ−Ｃａｒｄｉｏｉｄ設定部１９による超指向性のＳｕｐｅｒ−Ｃａｒｄｉｏｉｄ１２４を示す。なお、双指向性は、音源方向と逆方向で対象となる。図１２は、水平面（Ｘ−Ｙ面）のみを示したが、垂直面上でも同様の指向性を有し、立体状の指向性である。
【００８２】
図１３は、指向性を示す特性図である。図１３において、Ｏｍｎｉ１３１は、θ＝−１８０度から１８０度までＹ＝１となる。また、Ｃａｒｄｉｏｉｄ１３２は、θ＝−１８０度のときＹ＝１／２、θ＝０度のときＹ＝１、θ＝１８０度のときＹ＝１／２となる。また、Ｓｕｐｅｒ−Ｃａｒｄｉｏｉｄ１３３は、θ＝−１８０度のときＹ＝０、θ＝０度のときＹ＝１、θ＝１８０度のときＹ＝０となる。また、Ｆｉｇｕｒｅ−８（１３４）は、ｃｏｓθと同様となり、θ＝−１８０度のときＹ＝−１、θ＝０度のときＹ＝１、θ＝１８０度のときＹ＝−１となる。
【００８３】
以下に、このように設定された収録側の音源データおよび音源の位置情報の送出を説明する。
図１４は、音源データと音源の位置情報の送出を示す図である。
図１４において、収録側、送出側装置１４１は、送出サーバ１４２に音源データ１４４および音源の位置情報１４５を供給する機能を有して構成される。送出サーバ１４２は、収録側、送出側装置１４１から供給された音源データ１４４および音源の位置情報１４５を送出用ハードディスクに一旦保持する機能を有して構成される。
【００８４】
送出サーバ１４２は、音源データおよび音源の位置情報１４７を、複数の再生側装置１４３−１，１４３−２，１４３−３に対して、同時または異なる送出のタイミングで、配信１４６−１，１４６−２，１４６−３を行う機能を有して構成される。
【００８５】
図１５は、音源データと音源の位置情報の送出動作を示すフローチャートである。図１５は、図１４に示した送出サーバ１４２の動作を示す図である。
図１５において、ステップＳ５１で、音源データの収録、音源の位置情報の検出を行う。具体的には、図１４に示した送出サーバ１４２は、収録側、送出側装置１４１から供給された音源データ１４４および音源の位置情報１４５が送出用ハードディスクに一旦保持されたことを検出する。
【００８６】
ステップＳ５２で、音源データの収録、音源の位置情報の配信を行う。具体的には、図１４に示した送出サーバ１４２は、音源データおよび音源の位置情報１４７を、複数の再生側装置１４３−１，１４３−２，１４３−３に対して、同時または異なる送出のタイミングで、配信１４６−１，１４６−２，１４６−３を行う。
【００８７】
ステップＳ５３で、送出が終了したか否かを判断する。具体的には、図１４に示した送出サーバ１４２は、音源データおよび音源の位置情報１４７の、複数の再生側装置１４３−１，１４３−２，１４３−３に対する配信１４６−１，１４６−２，１４６−３が終了したか否かを判断する。
【００８８】
ステップＳ５３で送出が終了していないときは、ステップＳ５１へ戻って、ステップＳ５１からステップＳ５３までの処理および判断を繰り返す。
【００８９】
上述した収録側の音源データおよび音源の位置情報の送出において、送出側から音源の音声データ（例えばマイクロホンからの入力音）のストリームと共に、任意の設定による位置情報、または、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、ジャイロ、赤外線、電波等によって検出した音源の位置情報のメタデータ（座標情報および向き情報）を再生側に向けて配信することによる３Ｄサウンドのリアルタイム配信を実現するようにしてもよい。これにより、再生側では、音源データストリームと音源の位置情報のメタデータを受け取り、再生環境に合わせて仮想空間に各音源を配置することによりそれらの各音源の再生サウンドをレンダリングし、再生することができる。
【００９０】
また、例えば、３Ｄサウンドコンテンツ制作において、音源位置のリアルタイム入力を実現することができる。
【００９１】
また、これまではスタジオで配信用に音源をミックスし、ミックスした結果を配信していたため、例えばステレオでミックスされた信号が配信されている場合はステレオで再生するしかなかったので、ユーザはスタジオの中の自由な場所の音を聞くことはできなかった。
【００９２】
また、音源の波形データを独立して送っても、ＧＰＳ、ジャイロ、赤外線、電波等による自動位置検出を行わずにリアルタイム配信するには、オペレーターが常に音源の位置を入力する必要があったが、オペレーターによるリアルタイム入力では正確な位置情報が入力できるとは限らなかった。
【００９３】
このように、３Ｄサウンドコンテンツ制作で、音源の位置の動きを手で入力するのは面倒だったが、本実施の形態において、収録、送出側では、音源の位置情報（ Ｘ， Ｙ， Ｚ座標情報、向き情報）を任意に設定し、または、ＧＰＳ、ジャイロ、赤外線、電波等を用いて検出して、リアルタイムにデータ化し、これを音源データそのものと同時に配信することができる。
【００９４】
再生側では、受け取った音源の音と位置情報と３Ｄサウンド再生装置を用いて、それぞれの視聴環境に合わせた、自由な視聴点の音の再生を行うことができる。
【００９５】
再生側で送られてきた音声情報、位置情報を元に最終的に再生する音声の合成を行うので、再生側でユーザの望む合成音響をフレキシブルに再生することができる。
【００９６】
また、３Ｄサウンドの生放送を行うことができる。ユーザは配信された音のうち、聞きたい場所の音を自由に聞くことができる。音源の位置情報を自動生成することで、自動的に音源の位置情報を送出することができる。３Ｄサウンドコンテンツ制作環境において、自動的に音源の位置情報を入力することができる。
【００９７】
次に、再生側装置の構成および動作を説明する。
図１６は、再生側の３Ｄサウンド再生処理のブロック図である。
図１６において、音像定位信号処理装置は、供給源１６１と、３Ｄサウンド処理部１６２と、音源データ（ 音声データ１７５） が後述する信号処理部１７１、１７２により信号処理を施された再生音を出力する出力部１７６とを有して構成される。
【００９８】
３Ｄサウンド処理部１６２は、供給源１６１のネットワーク１６１−１から配信（１６１−３）され、またはディスク１６１−２から各音源データ（ 音声データ１７５） および音源の位置情報１７４を読み出す（１６１−４）音源データ読み出し部１６３と、音源の位置情報１７４に基づいて仮想音源（１６７）を配置する仮想音源配置部１６７と、リスナの視聴位置に応じた仮想マイク（１６８）の位置を配置する仮想マイク配置部１６８と、仮想音源と仮想マイクとの位置に基づいて仮想マイクに入力される仮想音源の音の特性を計算する計算部１６９−１〜１６９−３、１７０−１〜１７０−４と、計算手段により計算された各仮想マイクに入力される音の特性に応じて音源データに信号処理を施して出力部１７６に出力する遅延処理部１７１、減衰処理部１７２とを有して構成される。出力部１７６は、信号処理を施された音声データに音声出力処理を行う音声出力部１７７と、デジタル信号をアナログ音声信号に変換するＤＡ変換部１７８と、音響出力を行うスピーカ１７９とを有して構成される。
【００９９】
上述した計算部は、仮想音源と仮想マイクの距離を計算する音源とマイクの距離計算部１６９−１を有して構成される。
【０１００】
上述した計算部は、仮想音源から見た仮想マイクの角度を計算する音源から見たマイクの角度計算部１６９−２を有して構成される。
【０１０１】
上述した計算部は、仮想マイクから見た仮想音源の角度を計算するマイクから見た音源の角度計算部１６９−３を有して構成される。
【０１０２】
上述した計算部は、音源とマイクの距離計算部１６９−１により計算された仮想音源と仮想マイクの距離による仮想音源の遅延量を計算する距離による遅延量計算部１７０−１を有して構成される。
【０１０３】
上述した計算部は、音源とマイクの距離計算部１６９−１により計算された仮想音源と仮想マイクの距離による仮想音源の減衰率を計算する距離による減衰率計算部１７０−２を有して構成される。
【０１０４】
上述した計算部は、音源から見たマイクの角度計算部１６９−２により計算された仮想音源から見た仮想マイクの角度による仮想音源の指向性による減衰率を計算する音源の指向性による減衰率計算部１７０−３を有して構成される。
【０１０５】
上述した計算部は、マイクから見た音源の角度計算部１６９−３により計算された仮想マイクから見た仮想音源の角度による仮想マイクの指向性による減衰率を計算するマイクの指向性による減衰率計算部１７０−４を有して構成される。
【０１０６】
上述した仮想マイク配置部１６８は、音源データの再生時にコントローラ１６４から入力されるリスナの視聴位置に対応した視聴位置データ１６５に基づいて仮想マイクの位置を配置するように構成される。
【０１０７】
上述した仮想マイク配置部１６８は、予め再生側で設定されるリスナの視聴環境データ１６６に基づいて仮想マイクの位置を配置するように構成される。
【０１０８】
上述した音源データは、ネットワーク１６１−１を介して配信（１６１−３）され、またはディスク１６１−２から読み込まれる（１６１−４）ように構成される。
【０１０９】
上述した信号処理部は、音源データに対して、距離による遅延量計算部１７０−１により計算された仮想音源と仮想マイクの距離による仮想音源の遅延量に基づく遅延処理を施す遅延処理部１７１を有して構成される。
【０１１０】
上述した信号処理部は、音源データに対して、距離による減衰率計算部１７０−２により計算された仮想音源と仮想マイクの距離による仮想音源の減衰率に基づく減衰処理を施す減衰処理部１７２を有して構成される。
【０１１１】
上述した信号処理部は、音源データに対して、音源の指向性による減衰率計算部１７０−３により計算された仮想音源から見た仮想マイクの角度による仮想音源の指向性による減衰率に基づく減衰処理を施す減衰処理部１７２を有して構成される。
【０１１２】
上述した信号処理部は、マイクの指向性による減衰率計算部１７０−４により計算された仮想マイクから見た仮想音源の角度による仮想マイクの指向性による減衰率に基づく減衰処理を施す減衰処理部１７２を有して構成される。
【０１１３】
これにより、音像定位信号処理装置は、複数の音源から入力される各音源データに対して制作時における制御情報により信号処理を施した各音源データについて、基準位置に対する位置情報に対応するように再生時において再生音像を任意の位置に定位させるように信号処理を施して、音源データにリアルタイムで信号処理を施して位置情報に対応して音像定位位置を制御する。
【０１１４】
これにより、従来は、３Ｄサウンド再生のためのスピーカ環境は完全に自由ではなくある程度固定されており、ユーザがそれぞれに合った再生環境を構築することは困難だったが、本実施の形態により、仮想３Ｄ空間における視聴位置、音源の数、位置、方向、再生環境におけるスピーカの数、位置、方向自由の３Ｄサウンド（ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｓｏｕｎｄ）を実現することができる。
【０１１５】
また、仮想３Ｄ空間における仮想音源の音を仮想マイクで収録することによる３Ｄサウンドを実現することができる。
【０１１６】
また、音源、視聴位置、スピーカの各パラメータを再生時に動的に変化させることのできる３Ｄサウンドを実現することができる。
【０１１７】
以下に、具体的な実施形態の例について説明する。
図１７は、３Ｄサウンド対応ゲーム機の構成を示すブロック図である。
図１７に示す３Ｄサウンド対応ゲーム機１８１において、３Ｄサウンドデータは、３Ｄサウンドの収録されたメディアに記録されていたり、ネットワークから配信されたり、３Ｄサウンド対応ゲームソフトウェア１８２から出力されたりする。３Ｄサウンド処理部１８３は、上述した図１６のように構成され、そうして受け取った３Ｄサウンドデータを処理し、マルチチャンネルの音声データに変換し、音声出力ドライバ１８４に出力する。音声出力ドライバ１８４は音声出力信号を外部機器のアンプ・スピーカ１８５に出力する。外部機器のアンプ・スピーカ１８５は、受け取ったマルチチャンネルの音声データを受け取り、さらに記録再生部において再生、記録などをする。
【０１１８】
ここで、例えば、３Ｄサウンドデータは、パーソナルコンピュータ上で動作する３Ｄサウンド再生ソフトウェアを利用して出力されるものであってもよいし、３Ｄサウンド対応ゲームソフトであってもよい。
【０１１９】
図１８は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ディスク再生装置の構成を示すブロック図である。
図１８に示すＤＶＤディスク再生装置１９１において、３Ｄサウンドデータは、３Ｄサウンドの収録されたＤＶＤディスクに記録されているものをＤＶＤディスク再生部１９２により再生したり、ネットワークから配信されたり、３Ｄサウンド対応ソフトウェアから出力されたりする。３Ｄサウンド処理部１９３は、上述した図１６のように構成され、そうして受け取った３Ｄサウンドデータを処理し、マルチチャンネルの音声データに変換し、音声出力ドライバ１９４に出力する。音声出力ドライバ１９４は音声出力信号を外部機器のアンプ・スピーカ１９５に出力する。外部機器のアンプ・スピーカ１９５は、受け取ったマルチチャンネルの音声データを受け取り、さらに記録再生部において再生、記録などをする。
【０１２０】
ここで、例えば、３Ｄサウンドデータは、パーソナルコンピュータ上で動作する３Ｄサウンド再生ソフトウェアを利用して出力されるものであってもよいし、３Ｄサウンド対応映画ソフトであってもよい。
【０１２１】
以下に、このように構成された、３Ｄサウンド処理部の動作を説明する。
図１９は、３Ｄサウンド処理動作を示すフローチャートである。
図１９において、ステップＳ６１で、３Ｄサウンドデータを受け取る。具体的には、図１６に示した３Ｄサウンド処理部１６２は、音源データ読み出し部１６３により、供給源１６１のネットワーク１６１−１から配信（１６１−３）され、またはディスク１６１−２から各音源データ（１６３）および音源の位置情報１７４を読み出す（１６１−４）。ここで、ネットワーク１６１−１から配信（１６１−３）され、または読み出された（１６１−４）音源データは例えば、音声データ１７５の場合には音声の波形データであり、音源の位置情報１７４は、例えば、音源数に対応した数の時系列上の音源の位置（ Ｘ， Ｙ， Ｚ） 情報、向き情報、指向性情報である。
【０１２２】
ステップＳ６２で、全音源を仮想空間上に配置する。具体的には、図１６に示した３Ｄサウンド処理部１６２は、仮想音源配置部１６７により音源の位置情報１７４に基づいて仮想音源（１６７）を仮想空間上に配置する。
【０１２３】
ステップＳ６３で、仮想空間上に仮想マイクを配置する。具体的には、図１６に示した３Ｄサウンド処理部１６２は、仮想マイク配置部１６８によりリスナの視聴位置に応じた仮想マイク（１６８）の位置を仮想空間上に配置する。
【０１２４】
ステップＳ６４で、仮想音源、仮想マイクの全組み合わせで、音源からマイクに入力される音を計算する。具体的には、図１６に示した３Ｄサウンド処理部１６２は、計算部１６９−１〜１６９−３、１７０−１〜１７０−４により仮想音源と仮想マイクとの位置に基づいて仮想マイクに入力される仮想音源の音の特性を計算する。ここでは、仮想音源、仮想マイクのすべての組み合わせに対して、距離による音の遅延（位相）、音量の減衰、角度差と指向性による音のレベルを計算する。
【０１２５】
ステップＳ６５で、計算された各仮想マイクの音を外部に出力する。具体的には、図１６に示した３Ｄサウンド処理部１６２は、遅延処理部１７１および減衰処理部１７２により上述した計算手段により計算された各仮想マイクに入力される音の特性に応じて音源データ（音声データ）に信号処理を施して出力部１７６に出力し、音声出力部１７７により信号処理を施された音声データに音声出力処理を行い、ＤＡ変換部１７８によりデジタル信号をアナログ音声信号に変換し、スピーカ１７９により音響出力を行う。上述の計算結果に応じて、すべての仮想音源からそれぞれの仮想マイクに到達する音を計算し、足し合わせを行い、外部に出力する。
【０１２６】
ステップＳ６６で、再生終了か否かを判断する。再生終了まで、ステップＳ６１〜ステップＳ６６までの処理および判断を繰り返す。
【０１２７】
図２０は、音源の配置処理動作を示すフローチャートである。
図２０において、ステップＳ７１で、音源の位置、向きに応じて音源の位置ベクトル、音源の向きベクトルを生成する。具体的には、図１６に示した３Ｄサウンド処理部１６２は、仮想音源配置部１６７により、音源を仮想音源として、音源の位置、向きのデータを元に仮想空間（ Ｘ， Ｙ，Ｚ空間） 内に配置する。ここで、音源の数＝ｎ 、音源の位置ベクトルＡ１、Ａ２、Ａ３…Ａｎ−１、Ａｎ、音源の向きベクトル（単位ベクトル）Ｂ１、Ｂ２、Ｂ３…Ｂｎ−１、Ｂｎとする。
【０１２８】
ステップＳ７２で、全て配置したか否かを判断する。具体的には、図１６に示した３Ｄサウンド処理部１６２は、仮想音源配置部１６７により、全ての音源の数＝ｎ 、音源の位置ベクトルＡ１、Ａ２、Ａ３…Ａｎ−１、Ａｎ、音源の向きベクトル（単位ベクトル）Ｂ１、Ｂ２、Ｂ３…Ｂｎ−１、Ｂｎの配置を行ったか否かを判断する。
【０１２９】
音源の配置終了まで、ステップＳ７１〜ステップＳ７２までの処理および判断を繰り返す。
【０１３０】
図２１は、マイクの配置処理動作を示すフローチャートである。
図２１において、ステップＳ８１で、スピーカの位置、向き、視聴者の位置、向きに応じてマイクの位置ベクトル、マイクの向きベクトルを生成する。具体的には、図１６に示した３Ｄサウンド処理部１６２は、３Ｄサウンド処理部１６２の仮想マイク配置部１６８が必要とするデータとして、視聴環境データ１６６（予め再生側で設定して外部から入力される）はスピーカ数に対応したスピーカ情報（スピーカの位置、向き、指向性）と、視聴位置データ１６５（再生時に外部から入力される）は仮想空間内における視聴者の位置、向きのデータがある。
【０１３１】
ここでは、仮想空間内に仮想マイクを配置する。仮想マイクは、視聴環境のスピーカの位置に相当する箇所に配置し、向きはスピーカとは逆向きとする。仮想マイクの位置は、仮想空間内での視聴者の位置に応じて相対的に変化する。
【０１３２】
ここで、スピーカの数＝ｍ 、スピーカの位置ベクトルＣ１、Ｃ２、Ｃ３…Ｃｍ−１、Ｃｍ、スピーカの向きベクトル（単位ベクトル）Ｄ１、Ｄ２、Ｄ３…Ｄｍ−１、Ｄｍ、視聴者の位置ベクトルＥ 、視聴者の向きベクトル（単位ベクトル）Ｆ 、仮想音源の位置、向きは音源の位置、向きと同じ、仮想マイクの初期位置は仮想スピーカの位置と同じ、仮想マイクの向きベクトル（単位ベクトル）Ｇｎ＝−Ｄｎ（仮想スピーカの向きとは逆向き）、仮想音源、仮想マイクの全ての組み合わせの数＝ｎ×ｍ 個とする。
【０１３３】
ステップＳ８２で、全て配置したか否かを判断する。具体的には、図１６に示した３Ｄサウンド処理部１６２は、仮想マイク配置部１６８により、全てのスピーカの数＝ｍ 、スピーカの位置ベクトルＣ１、Ｃ２、Ｃ３…Ｃｍ−１、Ｃｍ、スピーカの向きベクトル（単位ベクトル）Ｄ１、Ｄ２、Ｄ３…Ｄｍ−１、Ｄｍ、仮想音源、仮想マイクの全ての組み合わせの数＝ｎ×ｍ 個について仮想マイクの配置を行ったか否かを判断する。
【０１３４】
仮想マイクの配置終了まで、ステップＳ８１〜ステップＳ８２までの処理および判断を繰り返す。
【０１３５】
図２２は、音源の距離計算動作を示すフローチャートである。
図２２において、ステップＳ９１で、ある音源とマイクの距離計算を行う。具体的には、図１６に示した３Ｄサウンド処理部１６２の音源とマイクの距離計算部１６９−１は、仮想音源と仮想マイクの距離を計算する。
【０１３６】
ステップＳ９２で、他の音源、マイクがあるか否かを判断する。他の音源、マイクがあるときは、ステップＳ９３で、他の音源とマイクの距離計算を行う。
【０１３７】
他の音源、マイクの距離計算終了まで、ステップＳ９１〜ステップＳ９３までの処理および判断を繰り返す。
【０１３８】
ここで、音源の位置ベクトルＡ１、Ａ２、Ａ３…Ａｎ−１、Ａｎ、スピーカの位置ベクトルＣ１、Ｃ２、Ｃ３…Ｃｍ−１、Ｃｍ、視聴者の位置ベクトルＥ 、視聴者の向きベクトル（単位ベクトル）Ｆ として、全ての組み合わせにおいて、以下の計算を行う。
【０１３９】
視聴者の位置、向きによる相対的な仮想マイクの位置Ｈ は、仮想マイクの位置Ｃ を視聴者の向きベクトル（単位ベクトル）Ｆ に応じて回転し、視聴者の位置ベクトルＥ を足して算出することにより、以下の数１式で計算される。
【０１４０】
【数１】
Ｈ＝Ｃ ×Ｆ＋Ｅ
【０１４１】
また、仮想音源と仮想マイクの距離ｒは、仮想マイクの位置Ｈ から音源の位置ベクトルＡ を減算することにより、以下の数２式で計算される。
【０１４２】
【数２】
ｒ ＝｜Ｈ−Ａ ｜
【０１４３】
図２３は、音源の角度計算動作を示すフローチャートである。
図２３において、ステップＳ１０１で、ある音源から見たマイクの角度計算を行う。具体的には、図１６に示した３Ｄサウンド処理部１６２の音源から見たマイクの角度計算部１６９−２は、仮想音源から見た仮想マイクの角度を計算する。ステップＳ１０２で、他の音源、マイクがあるか否かを判断する。他の音源、マイクがあるときは、ステップＳ１０３で、他の音源とマイクの角度計算を行う。
【０１４４】
他の音源、マイクの角度計算終了まで、ステップＳ１０１〜ステップＳ１０３までの処理および判断を繰り返す。
【０１４５】
ここで、仮想音源から見た仮想マイクの方向と仮想音源の向きの角度差は、ここで、音源の位置ベクトルＡ１、Ａ２、Ａ３…Ａｎ−１、Ａｎ、音源の向きベクトル（単位ベクトル）Ｂ１、Ｂ２、Ｂ３…Ｂｎ−１、Ｂｎ、スピーカの位置ベクトルＣ１、Ｃ２、Ｃ３…Ｃｍ−１、Ｃｍ、仮想音源と仮想マイクの距離ｒとして、以下の数３式で計算される。
【０１４６】
【数３】
ｃｏｓ θ＝ ｛（Ｃ−Ａ ）・Ｂ ｝／ （｜Ｃ−Ａ ｜｜Ｂ ｜）＝｛（Ｃ−Ａ ）・Ｂ ｝／ｒ
【０１４７】
図２４は、マイクの角度計算動作を示すフローチャートである。
図２４において、ステップＳ１１１で、あるマイクから見た音源の角度計算を行う。具体的には、図１６に示した３Ｄサウンド処理部１６２のマイクから見た音源の角度計算部１６９−３は、仮想マイクから見た仮想音源の角度を計算する。ステップＳ１１２で、他のマイク、音源があるか否かを判断する。他のマイク、音源があるときは、ステップＳ１１３で、他のマイクと音源の角度計算を行う。
【０１４８】
他のマイク、音源の角度計算終了まで、ステップＳ１１１〜ステップＳ１１３までの処理および判断を繰り返す。
【０１４９】
ここで、仮想マイクから見た仮想音源の方向と仮想マイクの向きの角度差は、ここで、音源の位置ベクトルＡ１、Ａ２、Ａ３…Ａｎ−１、Ａｎ、スピーカの位置ベクトルＣ１、Ｃ２、Ｃ３…Ｃｍ−１、Ｃｍ、仮想マイクの向きベクトル（単位ベクトル）Ｇｎ、仮想音源と仮想マイクの距離ｒとして、以下の数４式で計算される。
【０１５０】
【数４】
ｃｏｓ θ＝ ｛（Ａ−Ｃ ）・Ｇ ｝／ （｜Ａ−Ｃ ｜｜Ｇ ｜）＝｛（Ａ−Ｃ ）・Ｇ ｝／ｒ
【０１５１】
図２５は、遅延量計算動作を示すフローチャートである。
図２５において、ステップＳ１２１で、ある音源とマイクの距離による遅延量計算を行う。具体的には、図１６に示した３Ｄサウンド処理部１６２の距離による遅延量計算部１７０−１は、音源とマイクの距離計算部１６９−１により計算された仮想音源と仮想マイクの距離による仮想音源の遅延量を計算する。
【０１５２】
ステップＳ１２２で、他の音源、マイクがあるか否かを判断する。他の音源、マイクがあるときは、ステップＳ１２３で、他の音源とマイクの距離による遅延量計算を行う。
【０１５３】
他の音源、マイクの距離による遅延量計算終了まで、ステップＳ１２１〜ステップＳ１２３までの処理および判断を繰り返す。
【０１５４】
ここで、音源、マイクの全ての組み合わせにおいて、以下の計算を行う。
距離による遅延ｄ は、仮想音源と仮想マイクの距離ｒとして、以下の数５式で計算される。
【０１５５】
【数５】
ｄ＝ ｒ×１／音速
【０１５６】
図２６は、減衰率計算動作を示すフローチャートである。
図２６において、ステップＳ１３１で、ある音源とマイクの距離による減衰率計算を行う。具体的には、図１６に示した３Ｄサウンド処理部１６２の距離による減衰率計算部１７０−２は、音源とマイクの距離計算部１６９−１により計算された仮想音源と仮想マイクの距離による仮想音源の減衰率を計算する。
【０１５７】
ステップＳ１３２で、他の音源、マイクがあるか否かを判断する。他の音源、マイクがあるときは、ステップＳ１３３で、他の音源とマイクの距離による減衰率計算を行う。
【０１５８】
他の音源、マイクの距離による減衰率計算終了まで、ステップＳ１３１〜ステップＳ１３３までの処理および判断を繰り返す。
【０１５９】
ここで、音源、マイクの全ての組み合わせにおいて、以下の計算を行う。
距離による音の減衰ａｔｔ１は、仮想音源と仮想マイクの距離ｒとして、以下の数６式で計算される。
【０１６０】
【数６】
ａｔｔ １＝ 減衰率＾ｒ
【０１６１】
図２７は、音源の減衰率計算動作を示すフローチャートである。
図２７において、ステップＳ１４１で、ある音源の指向性による減衰率計算を行う。具体的には、図１６に示した３Ｄサウンド処理部１６２の音源の指向性による減衰率計算部１７０−３は、音源から見たマイクの角度計算部１６９−２により計算された仮想音源から見た仮想マイクの角度による仮想音源の指向性による減衰率を計算する。
【０１６２】
ステップＳ１４２で、他の音源、マイクがあるか否かを判断する。他の音源、マイクがあるときは、ステップＳ１４３で、他の音源の指向性による減衰率計算を行う。
【０１６３】
他の音源の指向性による減衰率計算終了まで、ステップＳ１４１〜ステップＳ１４３までの処理および判断を繰り返す。
ここで、数３式のｃｏｓ θを元に音源の指向性による音の減衰ａｔｔ２を得る。
【０１６４】
図２８は、マイクの減衰率計算動作を示すフローチャートである。
図２８において、ステップＳ１５１で、あるマイクの指向性による減衰率計算を行う。具体的には、図１６に示した３Ｄサウンド処理部１６２のマイクの指向性による減衰率計算部１７０−４は、マイクから見た音源の角度計算部１６９−３により計算された仮想マイクから見た仮想音源の角度による仮想マイクの指向性による減衰率を計算する。
【０１６５】
ステップＳ１５２で、他の音源、マイクがあるか否かを判断する。他の音源、マイクがあるときは、ステップＳ１５３で、他のマイクの指向性による減衰率計算を行う。
【０１６６】
他のマイクの指向性による減衰率計算終了まで、ステップＳ１５１〜ステップＳ１５３までの処理および判断を繰り返す。
ここで、数４式のｃｏｓ θを元にマイクの指向性による音の減衰ａｔｔ３を得る。
【０１６７】
図２９は、遅延処理動作を示すフローチャートである。
図２９において、ステップＳ１６１で、ある音源とマイクの距離による遅延処理を行う。具体的には、図１６に示した３Ｄサウンド処理部１６２の距離による遅延処理部１７１は、音源データに対して、距離による遅延量計算部１７０−１により計算された仮想音源と仮想マイクの距離による仮想音源の遅延量に基づく遅延処理を施す。
【０１６８】
ステップＳ１６２で、他の音源、マイクがあるか否かを判断する。他の音源、マイクがあるときは、ステップＳ１６３で、他の音源とマイクの距離による遅延処理を行う。
【０１６９】
他の音源、マイクの距離による遅延処理終了まで、ステップＳ１６１〜ステップＳ１６３までの処理および判断を繰り返す。
【０１７０】
図３０は、減衰処理動作を示すフローチャートである。
図３０において、ステップＳ１７１で、ある音源とマイクの距離による減衰処理を行う。具体的には、図１６に示した３Ｄサウンド処理部１６２の減衰処理部１７２は、音源データに対して、距離による減衰率計算部１７０−２により計算された仮想音源と仮想マイクの距離による仮想音源の減衰率に基づく減衰処理を施す。
【０１７１】
ステップＳ１７２で、他の音源、マイクがあるか否かを判断する。他の音源、マイクがあるときは、ステップＳ１７３で、他の音源とマイクの距離による減衰処理を行う。
【０１７２】
図３１は、音源の減衰処理動作を示すフローチャートである。
図３１において、ステップＳ１８１で、ある音源の指向性による減衰処理を行う。具体的には、図１６に示した３Ｄサウンド処理部１６２の減衰処理部１７２は、音源データに対して、音源の指向性による減衰率計算部１７０−３により計算された仮想音源から見た仮想マイクの角度による仮想音源の指向性による減衰率に基づく減衰処理を施す。
【０１７３】
ステップＳ１８２で、他の音源、マイクがあるか否かを判断する。他の音源、マイクがあるときは、ステップＳ１８３で、他の音源の指向性による減衰処理を行う。
【０１７４】
他の音源の指向性による減衰処理終了まで、ステップＳ１８１〜ステップＳ１８３までの処理および判断を繰り返す。
【０１７５】
図３２は、マイクの減衰処理動作を示すフローチャートである。
図３２において、ステップＳ１９１で、あるマイクの指向性による減衰処理を行う。具体的には、図１６に示した３Ｄサウンド処理部１６２の減衰処理部１７２は、マイクの指向性による減衰率計算部１７０−４により計算された仮想マイクから見た仮想音源の角度による仮想マイクの指向性による減衰率に基づく減衰処理を施す。
【０１７６】
ステップＳ１９２で、他の音源、マイクがあるか否かを判断する。他の音源、マイクがあるときは、ステップＳ１９３で、他のマイクの指向性による減衰処理を行う。
【０１７７】
他のマイクの指向性による減衰処理終了まで、ステップＳ１９１〜ステップＳ１９３までの処理および判断を繰り返す。
【０１７８】
減衰処理部１７２では、仮想マイクに、仮想音源から発せられる音に対してディレイｄ 、音の減衰率ａｔｔ ＝ａｔｔ１×ａｔｔ２×ａｔｔ３を計算した音の足し合わせを行う。
【０１７９】
そして、仮想マイクに入った音を、対応する各スピーカに対応する出力へ出力する。
【０１８０】
上述した本実施の形態により、音源、視聴位置、視聴環境自由の３Ｄサウンド（ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｓｏｕｎｄ）を実現することができる。
【０１８１】
また、仮想空間内の音源位置等のパラメータをリアルタイムに操作し音源を移動させることができる。
【０１８２】
また、仮想空間内の視聴位置パラメータをリアルタイムに操作し仮想空間内を移動することができる。
【０１８３】
また、ユーザは住宅環境に制限されず、好きな場所にスピーカを設置することができる。
【０１８４】
また、ユーザはスピーカの数を増やすことで、臨場感を無制限に高めることができる。
【０１８５】
また、ユーザの再生環境に合ったサウンドを再生することができる。
【０１８６】
また、音源位置、視聴者の位置の移動による自然なドップラー効果を再現できる。
【０１８７】
なお、上述した実施の形態では、音源データはオーディオデータのみの場合を示したが、これに限らず、以下に示すように、映像に対応した位置情報を用いて３Ｄサウンド再生を行うようにしても良い。
【０１８８】
図３３は、３Ｄサウンド処理による音像を示す図である。
図３３において、再生時にリスナ３１１は、上述した３Ｄサウンド処理部によリ、ビデオモニタ３１２に再生される映像の位置情報に対応して、スピーカＬ、Ｒ、ＳＬ、ＳＲに対してセンタースピーカＣを加えた音像となるように視聴環境データを予め再生側で設定し、上述した３Ｄサウンド処理部により音像３１３の向きや位置が変更されるように処理し、再生チャンネルを変更することにより、スピーカＬ、Ｒ、ＳＬ、ＳＲのみにより再生される再生音像３１３を聴取することができる。
【０１８９】
また、ビデオモニタ３１２に再生される映像のうち例えばステージ上の第１バイオリンに対応するように、再生時に視聴位置データを入力して、上述した３Ｄサウンド処理部により音像３１４の向きや位置が変更されるように処理されることにより、リスナ３１１はステージ上の第１バイオリンの音像３１４がリスナ３１１に向けて定位するように聴取することができる。
【０１９０】
また、特定のコンサートホールの任意の座席における視聴環境データを予め再生側で設定することにより、上述した３Ｄサウンド処理部により音像３１４の向きや位置が変更されるように処理されることにより、リスナ３１１は特定のコンサートホールの任意の座席の音像３１４がリスナ３１１に向けて定位するように聴取することができる。
【０１９１】
図３４は、３６０度カメラ撮像映像を示す図である。
図３４において、全方位カメラ３２１は３６０度の周囲の被写体を例えば８画角に分割して連続処理して撮像する。全方位カメラ３２１により撮像された３６０度カメラ撮像映像３２２は、基準位置Ｏに対して前方中央方向の角度情報θ（−θを含む）を有するステージ３２３上の歌手３２４および演奏者３２５の映像を示すエリアＥ１と、基準位置Ｏに対して前方左方向の角度情報θを有する観客３２６の映像を示すエリアＥ２と、基準位置Ｏに対して左横方向の角度情報θを有する観客３２６の映像を示すエリアＥ３と、基準位置Ｏに対して後方左方向の角度情報θを有する観客３２６の映像を示すエリアＥ４と、基準位置Ｏに対して後方中央向の角度情報θを有する観客３２６の映像を示すエリアＥ５と、基準位置Ｏに対して後方右方向の角度情報θを有する観客３２６の映像を示すエリアＥ６と、基準位置Ｏに対して右横方向の角度情報θを有する観客３２６の映像を示すエリアＥ７と、基準位置Ｏに対して前方右方向の角度情報θを有する観客３２６の映像を示すエリアＥ８とを有して構成される。
【０１９２】
図１に示した収録側のＧＵＩアプリケーション画面１の音源設定部８によりθ位置設定部１３によるに角度情報θ位置に応じてオーディオ信号に映像の移動と同期した音像定位の信号処理を施すことにより、３６０度カメラ撮像映像３２２のエリアＥ１〜エリアＥ８までの角度情報θによる反時計方向の映像の移動に対応して滑らかに音像を反時計方向に移動させることができる。
【０１９３】
これにより、エリアＥ１における基準位置Ｏに対する前方中央方向の角度情報θ（−θを含む）を有するステージ３２３上の歌手３２４および演奏者３２５の映像に対して前方中央方向のステージ３２３上の歌手３２４および演奏者３２５の音像が定位し、エリアＥ２における基準位置Ｏに対する前方左方向の角度情報θを有する観客３２６の映像に対して前方左方向の観客３２６の音像が定位し、エリアＥ３における基準位置Ｏに対する左横方向の観客３２６の映像に対して左横方向の観客３２６の音像が定位し、エリアＥ４における基準位置Ｏに対する後方左方向の角度情報θを有する観客３２６の映像に対して後方左方向の観客３２６の音像が定位し、エリアＥ５における基準位置Ｏに対する後方中央向の角度情報θを有する観客３２６の映像に対して後方中央向の観客３２６の音像が定位し、エリアＥ６における基準位置Ｏに対する後方右方向の角度情報θを有する観客３２６の映像に対して後方右方向の観客３２６の音像が定位し、エリアＥ７における基準位置Ｏに対する右横方向の角度情報θを有する観客３２６の映像に対して右横方向の観客３２６の音像が定位し、エリアＥ８における基準位置Ｏに対する前方右方向の角度情報θを有する観客３２６の映像に対して前方右方向の観客３２６の音像が連続して定位する。
【０１９４】
逆に、３６０度カメラ撮像映像３２２のエリアＥ１〜エリアＥ２までの角度情報θによる時計方向の映像の移動に対応して滑らかに音像を時計方向に移動させることができる。
【０１９５】
これにより、エリアＥ１における基準位置Ｏに対する前方中央方向の角度情報θ（−θを含む）を有するステージ３２３上の歌手３２４および演奏者３２５の映像に対して前方中央方向のステージ３２３上の歌手３２４および演奏者３２５の音像が定位し、エリアＥ８における基準位置Ｏに対する前方右方向の角度情報θを有する観客３２６の映像に対して前方右方向の観客３２６の音像が定位し、エリアＥ７における基準位置Ｏに対する右横方向の角度情報θを有する観客３２６の映像に対して右横方向の観客３２６の音像が定位し、エリアＥ６における基準位置Ｏに対する後方右方向の角度情報θを有する観客３２６の映像に対して後方右方向の観客３２６の音像が定位し、エリアＥ５における基準位置Ｏに対する後方中央向の角度情報θを有する観客３２６の映像に対して後方中央向の観客３２６の音像が定位し、エリアＥ４における基準位置Ｏに対する後方左方向の角度情報θを有する観客３２６の映像に対して後方左方向の観客３２６の音像が定位し、エリアＥ３における基準位置Ｏに対する左横方向の観客３２６の映像に対して左横方向の観客３２６の音像が定位し、エリアＥ２における基準位置Ｏに対する前方左方向の角度情報θを有する観客３２６の映像に対して前方左方向の観客３２６の音像が連続して定位する。
【０１９６】
また、このときの角度情報は、水平方向の角度情報θに限らず、Φ位置設定部１４により垂直方向の角度情報としてあおり角度Φを指定することができる。これにより、３６０度カメラ撮像映像３２２のエリアＥ１〜エリアＥ８の映像に対して図１に示した収録側のＧＵＩアプリケーション画面１のチャンネル設定部１５で音像の定位を３次元空間で処理することができる。
【０１９７】
各信号処理の制御量は、３６０度カメラ撮像映像３２２を撮像するコンテンツでは、全方位カメラ３２１の基準位置Ｏに対して移動する角度情報θに応じて、図１に示した収録側のＧＵＩアプリケーション画面１の音源設定部８に対するθ位置設定部１３により音像の定位角度が比例して動くように処理される。
【０１９８】
また、全方位カメラ３２１の基準位置Ｏに対して左方から右方または右方から左方に移動すると移動距離に応じて、図１に示した収録側のＧＵＩアプリケーション画面１の音源設定部８に対するＸ位置設定部１０により音像が右へ移動または左に移動するように定位するように処理される。
【０１９９】
また、全方位カメラ３２１の基準位置Ｏに対して前方から後方または後方から前方に移動すると移動距離に応じて、図１に示した収録側のＧＵＩアプリケーション画面１の音源設定部８に対するＹ位置設定部１１により音像の音量が小さくまたは大きくなるように定位するように処理される。
【０２００】
また、全方位カメラ３２１の基準位置Ｏに対して下方から上方または上方から下方に移動すると移動距離に応じて、図１に示した収録側のＧＵＩアプリケーション画面１の音源設定部８に対するＺ位置設定部１２により音像が上がったり下がったりして定位するように処理される。
【０２０１】
また、全方位カメラ３２１の基準位置Ｏに対して前方から後方へあおり角度Φをつけてまたは後方から前方にあおり角度Φをつけて移動するとあおり角度Φに応じて、図１に示した収録側のＧＵＩアプリケーション画面１の音源設定部８に対するΦ位置設定部１４により音像があおり角度Φをつけて前方から後方へまたは後方から前方に定位するように処理される。
【０２０２】
また、全方位カメラ３２１の基準位置Ｏに対して、３６０度カメラ撮像映像３２２のエリアＥ１〜エリアＥ８の映像をそれぞれチャンネル分割すると、図１に示した収録側のＧＵＩアプリケーション画面１の音源設定部８に対するチャンネル設定部１５によりチャンネルを変更するようにして、３６０度カメラ撮像映像３２２のエリアＥ１〜エリアＥ８の映像音像がチャンネルごとに切り替えられるように処理される。
【０２０３】
なお、全方位カメラに限らず、後述する円周状カメラを用いてもよい。
図３５は、円周状カメラによる撮像を示す図である。
図３５において、被写体である歌手３３２に対して、基準位置Ｏに対して角度情報θに応じて、円周状カメラ３３１−１、３３１−２、３３１−３、３３１−４、３３１−５、３３１−６、３３１−７、３３１−８を設けて、角度情報θを有する円周状映像データを撮像する。このとき、図１に示した収録側のＧＵＩアプリケーション画面１の音源設定部８のΦ位置設定部１４により音像があおり角度Φをつけて前方から後方へまたは後方から前方に定位するように処理される。
なお、円周状カメラに限らず、一部分の円弧状カメラを用いてもよい。
【０２０４】
なお、これら場合にも、このときの角度情報は、θ位置設定部１３による水平方向の角度情報θに限らず、Φ位置設定部１４により垂直方向の角度情報としてあおり角度Φを指定することができる。これにより、円周状または円弧状撮像映像の各エリアの映像に対して図１に示した収録側のＧＵＩアプリケーション画面１のチャンネル設定部１５で音像の定位を３次元空間で処理することができる。
【０２０５】
これにより、収録側の音源数（マイクの数）、再生側のスピーカ数を増やしていくことで、音場の再現性を向上させることができる。
【０２０６】
スピーカの数を増やせることにより再生音がリアルになるのみでなく、逆に収録側のマイクの数＝音源の数を増やせば増やすほど（例えば、部屋中にＸ， Ｙ， Ｚそれぞれ１０ｃｍ間隔でマイクを立てる、など）その分収録側の音場を再生側でリアルに再現できるようにすることができる。
【０２０７】
なお、上述した本実施の形態に限らず、本発明の特許請求の範囲を逸脱しない限り、適宜他の構成をとりうることができることは言うまでもない。
【０２０８】
【発明の効果】
この発明の音像定位信号処理装置は、基準位置に対して位置情報を有して再生時における再生音像を任意の位置に定位させるように制作時において複数の音源から入力される各音源データに信号処理を施す音像定位信号処理装置において、上記複数の音源の位置を設定して音源位置出力を出力する音源設定手段と、上記複数の音源の再生音を出力する複数のスピーカの位置を設定してスピーカ位置出力を出力するスピーカ設定手段と、上記基準位置となるリスナの位置を設定してリスナ位置出力を出力するリスナ設定手段と、上記音源位置出力、スピーカ位置出力およびリスナ位置出力に基づいて上記複数の音源の再生音を出力する音源出力手段と、を備え、上記各音源データにリアルタイムで信号処理を施して上記位置情報に対応して音像定位位置を制御するようにしたので、収録側装置により、音源、リスナの視聴位置、スピーカなどの視聴環境を任意に設定した音響である３Ｄサウンド（ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｓｏｕｎｄ）の生放送（リアルタイム配信）を実現することができ、収録側の音源数（マイクの数）を増やしていくことにより、再生側の音場の再現性を向上させることができるという効果を奏する。
【０２０９】
また、この発明の音像定位信号処理装置は、上述において、上記音源設定手段、上記スピーカ設定手段および上記リスナ設定手段は、それぞれ、少なくとも水平面の縦位置、横位置、垂直面の高さ位置、水平面の角度および垂直面の角度を設定する手段を有するので、３Ｄ空間の任意の位置に、音源、リスナの視聴位置、スピーカなどの視聴環境を自由に設定することができるという効果を奏する。
【０２１０】
また、この発明の音像定位信号処理装置は、上述において、上記音源設定手段、上記スピーカ設定手段に対するチャンネルを設定するチャンネル設定手段を有するので、３Ｄサウンドの音源、スピーカのチャンネルを自由に設定することができるという効果を奏する。
【０２１１】
また、この発明の音像定位信号処理装置は、上述において、上記音源設定手段、上記スピーカ設定手段に対する指向性を設定する指向性設定手段を有するので、３Ｄサウンドの音源、スピーカの指向性を自由に設定することができるという効果を奏する。
【０２１２】
また、この発明の音像定位信号処理装置は、上述において、上記指向性設定手段は、少なくとも無指向性、双指向性、単一指向性を有するので、無指向性、双指向性または単一指向性を設定することができるという効果を奏する。
【０２１３】
また、この発明の音像定位信号処理装置は、上述において、上記音源設定手段、上記スピーカ設定手段に対する設定エリアにおけるスケールを設定するスケール設定手段を有するので、３Ｄサウンドの音源、スピーカのスケールを自由に設定することができるという効果を奏する。
【０２１４】
また、この発明の音像定位信号処理装置は、上述において、上記スケール設定手段は、上記リスナ位置に対する上記音源位置、上記スピーカ位置の距離による音源の再生音の減衰率を設定するので、３Ｄサウンドの音源、スピーカ位置の距離による音源の再生音の減衰率を自由に設定することができるという効果を奏する。
【０２１５】
また、この発明の音像定位信号処理装置は、上述において、上記音源設定手段、上記スピーカ設定手段および上記リスナ位置設定手段は、ＧＵＩアプリケーション画面上に設けられるので、ＧＵＩアプリケーション画面上で、３Ｄサウンドの音源、スピーカおよびリスナ位置を自由に設定することができるという効果を奏する。
【０２１６】
また、この発明の音像定位信号処理装置は、複数の音源から入力される各音源データに対して制作時における制御情報により信号処理を施した各音源データについて、基準位置に対する位置情報に対応するように再生時において再生音像を任意の位置に定位させるように信号処理を施す音像定位信号処理装置において、供給源から上記各音源データおよび上記音源の位置情報を読み出す読み出し手段と、上記音源の位置情報に基づいて仮想音源を配置する仮想音源配置手段と、リスナの視聴位置に応じた仮想マイクの位置を配置する仮想マイク配置手段と、上記仮想音源と上記仮想マイクとの位置に基づいて上記仮想マイクに入力される上記仮想音源の音の特性を計算する計算手段と、上記計算手段により計算された各仮想マイクに入力される音の特性に応じて上記音源データに信号処理を施す信号処理手段と、上記信号処理手段により信号処理を施された上記音源データに基づく再生音を出力する出力手段と、を備え、上記音源データにリアルタイムで信号処理を施して上記位置情報に対応して音像定位位置を制御するようにしたので、再生側装置で、仮想３Ｄ空間における視聴位置、音源の数、位置、方向、再生環境におけるスピーカの数、位置、方向自由の３Ｄサウンドを実現することができ、再生側のスピーカ数を増やしていくことにより、音場の再現性を向上させることができるという効果を奏する。
【０２１７】
また、この発明の音像定位信号処理装置は、上述において、上記計算手段は、上記仮想音源と上記仮想マイクの距離を計算する距離計算手段を有するので、仮想音源と仮想マイクの距離に基づく音源データに対する３Ｄサウンドの信号処理を施すことができるという効果を奏する。
【０２１８】
また、この発明の音像定位信号処理装置は、上述において、上記計算手段は、上記仮想音源から見た上記仮想マイクの角度を計算する音源角度計算手段を有するので、仮想音源から見た仮想マイクの角度に基づく音源データに対する３Ｄサウンドの信号処理を施すことができるという効果を奏する。
【０２１９】
また、この発明の音像定位信号処理装置は、上述において、上記計算手段は、上記仮想マイクから見た上記仮想音源の角度を計算するマイク角度計算手段を有するので、仮想マイクから見た仮想音源の角度に基づく音源データに対する３Ｄサウンドの信号処理を施すことができるという効果を奏する。
【０２２０】
また、この発明の音像定位信号処理装置は、上述において、上記計算手段は、上記距離計算手段により計算された上記仮想音源と上記仮想マイクの距離による上記仮想音源の遅延量を計算する遅延量計算手段を有するので、仮想音源と仮想マイクの距離による仮想音源の遅延量に基づく音源データに対する３Ｄサウンドの信号処理を施すことができるという効果を奏する。
【０２２１】
また、この発明の音像定位信号処理装置は、上述において、上記計算手段は、上記距離計算手段により計算された上記仮想音源と上記仮想マイクの距離による上記仮想音源の減衰率を計算する減衰率計算手段を有するので、仮想音源と仮想マイクの距離による仮想音源の減衰率に基づく音源データに対する３Ｄサウンドの信号処理を施すことができるという効果を奏する。
【０２２２】
また、この発明の音像定位信号処理装置は、上述において、上記計算手段は、上記音源角度計算手段により計算された上記仮想音源から見た上記仮想マイクの角度による上記仮想音源の指向性による減衰率を計算する音源角度減衰率計算手段を有するので、仮想音源から見た仮想マイクの角度による仮想音源の指向性による減衰率に基づく音源データに対する３Ｄサウンドの信号処理を施すことができるという効果を奏する。
【０２２３】
また、この発明の音像定位信号処理装置は、上述において、上記計算手段は、上記マイク角度計算手段により計算された上記仮想マイクから見た上記仮想音源の角度による上記仮想マイクの指向性による減衰率を計算するマイク角度減衰率計算手段を有するので、仮想マイクから見た仮想音源の角度による仮想マイクの指向性による減衰率に基づく音源データに対する３Ｄサウンドの信号処理を施すことができるという効果を奏する。
【０２２４】
また、この発明の音像定位信号処理装置は、上述において、上記仮想マイク配置手段は、上記音源データの再生時に入力されるリスナの視聴位置に対応した視聴位置データに基づいて仮想マイクの位置を配置するので、音源データの再生時における座標の移動または回転により任意のリスナの視聴位置に基づいた３Ｄサウンドの信号処理を施すことができるという効果を奏する。
【０２２５】
また、この発明の音像定位信号処理装置は、上述において、上記仮想マイク配置手段は、予め再生側で設定されるリスナの視聴環境データに基づいて仮想マイクの位置を配置するので、予め再生側で設定された特定の再生チャンネルや特定のステージ位置や特定のコンサートホールの座席などの任意のリスナの視聴環境データに基づいた３Ｄサウンドの信号処理を施すことができるという効果を奏する。
【０２２６】
また、この発明の音像定位信号処理装置は、上述において、上記音源データは、ネットワークを介して配信され、または記録媒体を介して供給されるので、供給源のネットワークから配信され、または記録媒体から各音源データおよび音源の位置情報を読み出すことができるという効果を奏する。
【０２２７】
また、この発明の音像定位信号処理装置は、上述において、上記信号処理手段は、上記音源データに対して、上記遅延量計算手段により計算された上記仮想音源と上記仮想マイクの距離による上記仮想音源の遅延量に基づく遅延処理を施す遅延処理手段を有するので、仮想音源と仮想マイクの距離による仮想音源の遅延量に基づく音源データに対する３Ｄサウンドの遅延処理を施すことができるという効果を奏する。
【０２２８】
また、この発明の音像定位信号処理装置は、上述において、上記信号処理手段は、上記音源データに対して、上記減衰率計算手段により計算された上記仮想音源と上記仮想マイクの距離による上記仮想音源の減衰率に基づく減衰処理を施す減衰処理手段を有するので、仮想音源と仮想マイクの距離による仮想音源の減衰率に基づく音源データに対する３Ｄサウンドの減衰処理を施すことができるという効果を奏する。
【０２２９】
また、この発明の音像定位信号処理装置は、上述において、上記信号処理手段は、上記音源データに対して、上記音源角度減衰率計算手段により計算された上記仮想音源から見た上記仮想マイクの角度による上記仮想音源の指向性による減衰率に基づく減衰処理を施す減衰処理手段を有するので、仮想音源から見た仮想マイクの角度による仮想音源の指向性による減衰率に基づく音源データに対する３Ｄサウンドの減衰処理を施すことができるという効果を奏する。
【０２３０】
また、この発明の音像定位信号処理装置は、上述において、上記信号処理手段は、上記マイク角度減衰率計算手段により計算された上記仮想マイクから見た上記仮想音源の角度による上記仮想マイクの指向性による減衰率に基づく減衰処理を施す減衰処理手段を有するので、仮想マイクから見た仮想音源の角度による仮想マイクの指向性による減衰率に基づく音源データに対する３Ｄサウンドの減衰処理を施すことができるという効果を奏する。
【０２３１】
また、この発明の音像定位信号処理方法は、基準位置に対して位置情報を有して再生時における再生音像を任意の位置に定位させるように制作時において複数の音源から入力される各音源データに信号処理を施す音像定位信号処理方法において、上記複数の音源の位置を設定して音源位置出力を出力する音源設定ステップと、上記複数の音源の再生音を出力する複数のスピーカの位置を設定してスピーカ位置出力を出力するスピーカ設定ステップと、上記基準位置となるリスナの位置を設定してリスナ位置出力を出力するリスナ設定ステップと、上記音源位置出力、スピーカ位置出力およびリスナ位置出力に基づいて上記複数の音源の再生音を出力する音源出力ステップと、を備え、上記各音源データにリアルタイムで信号処理を施して上記位置情報に対応して音像定位位置を制御するようにしたので、収録側で、音源、リスナの視聴位置、スピーカなどの視聴環境を任意に設定した音響である３Ｄサウンドの生放送（リアルタイム配信）を実現することができ、収録側の音源数（マイクの数）を増やしていくことにより、再生側の音場の再現性を向上させることができるという効果を奏する。
【０２３２】
また、この発明の音像定位信号処理方法は、複数の音源から入力される各音源データに対して制作時における制御情報により信号処理を施した各音源データについて、基準位置に対する位置情報に対応するように再生時において再生音像を任意の位置に定位させるように信号処理を施す音像定位信号処理方法において、供給源から上記各音源データおよび上記音源の位置情報を読み出す読み出しステップと、上記音源の位置情報に基づいて仮想音源を配置する仮想音源配置ステップと、リスナの視聴位置に応じた仮想マイクの位置を配置する仮想マイク配置ステップと、上記仮想音源と上記仮想マイクとの位置に基づいて上記仮想マイクに入力される上記仮想音源の音の特性を計算する計算ステップと、上記計算ステップにより計算された各仮想マイクに入力される音の特性に応じて上記音源データに信号処理を施す信号処理ステップと、上記信号処理ステップにより信号処理を施された上記音源データに基づく再生音を出力する出力ステップと、を備え、上記音源データにリアルタイムで信号処理を施して上記位置情報に対応して音像定位位置を制御するようにしたので、再生側で、仮想３Ｄ空間における視聴位置、音源の数、位置、方向、再生環境におけるスピーカの数、位置、方向自由の３Ｄサウンドを実現することができ、再生側のスピーカ数を増やしていくことにより、音場の再現性を向上させることができるという効果を奏する。
【図面の簡単な説明】
【図１】本実施の形態に適用される収録側のスピーカ、音源、リスナ設定のＧＵＩアプリケーション画面を示す図である。
【図２】モード設定部の構成を示すブロック図である。
【図３】指向性選択部の構成を示すブロック図である。
【図４】スケール設定部の構成を示すブロック図である。
【図５】音源出力部の構成を示すブロック図である。
【図６】モード設定動作を示すフローチャートである。
【図７】音源設定動作を示すフローチャートである。
【図８】スピーカ設定動作を示すフローチャートである。
【図９】リスナ設定動作を示すフローチャートである。
【図１０】チャンネル設定動作を示すフローチャートである。
【図１１】位置設定を示す図である。
【図１２】指向性設定を示す図であり、図１２ＡはＯｍｎｉに対するＦｉｇｕｒｅ−８，図１２ＢはＣａｒｄｉｏｉｄ，図１２ＣはＳｕｐｅｒ−Ｃａｒｄｉｏｉｄである。
【図１３】指向性を示す特性図である。
【図１４】音源データと音源の位置情報の送出を示す図である。
【図１５】音源データと音源の位置情報の送出動作を示すフローチャートである。
【図１６】再生側の３Ｄサウンド再生処理を示すブロック図である。
【図１７】３Ｄサウンド対応ゲーム機の構成を示すブロック図である。
【図１８】ＤＶＤディスク再生装置の構成を示すブロック図である。
【図１９】３Ｄサウンド再生処理動作を示すフローチャートである。
【図２０】音源の配置処理動作を示すフローチャートである。
【図２１】マイクの配置処理動作を示すフローチャートである。
【図２２】音源の距離計算動作を示すフローチャートである。
【図２３】音源の角度計算動作を示すフローチャートである。
【図２４】マイクの角度計算動作を示すフローチャートである。
【図２５】遅延量計算動作を示すフローチャートである。
【図２６】減衰率計算動作を示すフローチャートである。
【図２７】音源の減衰率計算動作を示すフローチャートである。
【図２８】マイクの減衰率計算動作を示すフローチャートである。
【図２９】遅延処理動作を示すフローチャートである。
【図３０】減衰処理動作を示すフローチャートである。
【図３１】音源の減衰処理動作を示すフローチャートである。
【図３２】マイクの減衰処理動作を示すフローチャートである。
【図３３】３Ｄサウンド処理による音像を示す図である。
【図３４】３６０度カメラ撮像映像を示す図である。
【図３５】円周状カメラによる撮像を示す図である。
【符号の説明】
１……ＧＵＩアプリケーション画面、２……設定エリア、３……音源、４……スピーカ、５……リスナ、６……モード設定部、７……スピーカ設定部、８……音源設定部、９……リスナ設定部、１０……Ｘ位置設定部、１１……Ｙ位置設定部、１２……Ｚ位置設定部、１３……θ位置設定部、１４……Φ位置設定部、１６……指向性選択部、１７……Ｏｍｎｉ設定部、１８……Ｃａｒｄｉｏｉｄ設定部、１９……Ｓｕｐｅｒ−Ｃａｒｄｉｏｉｄ設定部、２０……Ｆｉｇｕｅｒ−８設定部、２１……スケール設定部、２２……スピーカスケール設定部、２３……音源スケール設定部、２４……距離による減衰率設定部、１６１……供給源、１６２……３Ｄサウンド処理部、１６３……音源データ読み出し部、１６４……コントローラ、１６５……視聴位置データ、１６６……視聴環境データ、１６７……仮想音源配置部、１６８……仮想マイク配置部、１６９−１……音源とマイクの距離計算部、１６９−２……音源から見たマイクの角度計算部、１６９−３……マイクから見た音源の角度計算部、１７０−１……距離による遅延量計算部、１７０−２……距離による減衰量計算部、１７０−３……音源の指向性による減衰量計算部、１７０−４……マイクの指向性による減衰量計算部、１７１……遅延処理部、１７２……減衰処理部、１７６……出力部、３１１……リスナ、３１２……ビデオモニタ、３１３，３１４……音像、３２１……全方位カメラ、３２２……３６０度カメラ映像、３３１……円周状カメラ
【発明の属する技術分野】
本発明は、例えば、角度情報を有する映像信号に対応するオーディオ信号に仮想音源定位処理を行う音像定位信号処理装置および音像定位信号処理方法に関するものである。
【０００２】
【従来の技術】
先行技術としてあげている特許文献１ の従来技術では、マルチチャンネル音源により、簡易な構成で立体音場を得る発明が開示されている。この従来技術においては、メモリから読み出された楽音データを４チャンネルに振り分け、それぞれをボイスボリュームで適切に制御して立体音場の定位が定められるとしている。また、特許文献２の従来技術では、音声情報や画像情報等に音源や被写体の位置に関する情報を付加して記録し、それら情報の再生時に、付加した位置に関する情報を有効に利用する。例えば音声情報の場合、楽器別の録音トラックごとに位置情報を付加して、再生時に各トラックに異なる伝播特性を与えて奥行きのある音場を形成する。
【０００３】
【特許文献１】
特開平１０−３０９０００号公報
【特許文献２】
特願平１１−３５３０８１号公報
【０００４】
【発明が解決しようとする課題】
しかし、上述したこの特許文献１ の従来技術では、スピーカの数、レイアウトが限定されているためユーザは決められた数のスピーカを決められた位置に配置して聞く必要があったため、音源の上下の定位感は実現できなかったという不都合があった。
【０００５】
そこで、この特許文献１ の従来技術に対して、本発明では、スピーカの数、レイアウトはユーザが自由に決めることができると共に、上下方向にもスピーカを配置することで、音源の上下の定位感を表現することができ、スピーカの数を増やしていくことで音源の定位感を高めることができることを課題とする。また、上述したこの特許文献２の従来技術では、音声の情報と音源位置を記録しておき、再生時はその音源位置を元に実際に再生する音を合成することができるものの、空間上の任意の位置および方向に音源を配置して音源の再生を行う３Ｄサウンドの再現はできなかったという不都合があった。
【０００６】
また、この特許文献２の従来技術に対して、本発明では、マルチチャンネルの出力により３次元の音源位置を再現できると共に、遅延量の変化による自然なドップラー効果を再現できることを課題とする。
【０００７】
本発明は、かかる点に鑑みてなされたものであり、スピーカの数を増やしていくことで音源の定位感を高めることができ、また、マルチチャンネルの出力により３次元の音源位置を再現できると共に、遅延量の変化による自然なドップラー効果を再現できる音像定位信号処理装置および音像定位信号処理方法を提供することを課題とする。
【０００８】
【課題を解決するための手段】
本発明の音像定位信号処理装置は、複数の音源の位置を設定して音源位置出力を出力する音源設定手段と、複数の音源の再生音を出力する複数のスピーカの位置を設定してスピーカ位置出力を出力するスピーカ設定手段と、基準位置となるリスナの位置を設定してリスナ位置出力を出力するリスナ設定手段と、音源位置出力、スピーカ位置出力およびリスナ位置出力に基づいて複数の音源の再生音を出力する音源出力手段とを備え、各音源データにリアルタイムで信号処理を施して上記位置情報に対応して音像定位位置を制御するようにしたものである。
【０００９】
従って本発明によれば、以下の作用をする。
基準位置に対して位置情報を有して再生時における再生音像を任意の位置に定位させるように制作時において複数の音源から入力される各音源データに信号処理を施すことにより、各音源データにリアルタイムで信号処理を施して上記位置情報に対応して音像定位位置を制御する。音源設定手段は、複数の音源の位置を設定して音源位置出力を出力する。スピーカ設定手段は、複数の音源の再生音を出力する複数のスピーカの位置を設定してスピーカ位置出力を出力する。リスナ設定手段は、基準位置となるリスナの位置を設定してリスナ位置出力を出力する。音源出力手段は、音源位置出力、スピーカ位置出力およびリスナ位置出力に基づいて複数の音源の再生音を出力する。
【００１０】
また、本発明の音像定位信号処理装置は、供給源から各音源データおよび音源の位置情報を読み出す読み出し手段と、音源の位置情報に基づいて仮想音源を配置する仮想音源配置手段と、リスナの視聴位置に応じた仮想マイクの位置を配置する仮想マイク配置手段と、仮想音源と仮想マイクとの位置に基づいて仮想マイクに入力される仮想音源の音の特性を計算する計算手段と、計算手段により計算された各仮想マイクに入力される音の特性に応じて音源データに信号処理を施す信号処理手段と、信号処理手段により信号処理を施された音源データに基づく再生音を出力する出力手段とを備え、音源データにリアルタイムで信号処理を施して位置情報に対応して音像定位位置を制御するようにしたものである。
【００１１】
従って本発明によれば、以下の作用をする。
複数の音源から入力される各音源データに対して制作時における制御情報により信号処理を施した各音源データについて、基準位置に対する位置情報に対応するように再生時において再生音像を任意の位置に定位させるように信号処理を施すことにより、各音源データにリアルタイムで信号処理を施して上記位置情報に対応して音像定位位置を制御する。読み出し手段は、供給源から各音源データおよび音源の位置情報を読み出す。仮想音源配置手段は、音源の位置情報に基づいて仮想音源を配置する。仮想マイク配置手段は、リスナの視聴位置に応じた仮想マイクの位置を配置する。計算手段は、仮想音源と仮想マイクとの位置に基づいて仮想マイクに入力される仮想音源の音の特性を計算する。信号処理手段は、計算手段により計算された各仮想マイクに入力される音の特性に応じて音源データに信号処理を施す。出力手段は、信号処理手段により信号処理を施された音源データに基づく再生音を出力する。
【００１２】
また、本発明の音像定位信号処理方法は、複数の音源の位置を設定して音源位置出力を出力する音源設定ステップと、複数の音源の再生音を出力する複数のスピーカの位置を設定してスピーカ位置出力を出力するスピーカ設定ステップと、基準位置となるリスナの位置を設定してリスナ位置出力を出力するリスナ設定ステップと、音源位置出力、スピーカ位置出力およびリスナ位置出力に基づいて複数の音源の再生音を出力する音源出力ステップとを備え、各音源データにリアルタイムで信号処理を施して位置情報に対応して音像定位位置を制御するようにしたものである。
【００１３】
従って本発明によれば、以下の作用をする。
基準位置に対して位置情報を有して再生時における再生音像を任意の位置に定位させるように制作時において複数の音源から入力される各音源データに信号処理を施すことにより、各音源データにリアルタイムで信号処理を施して上記位置情報に対応して音像定位位置を制御する。音源設定ステップは、複数の音源の位置を設定して音源位置出力を出力する。スピーカ設定ステップは、複数の音源の再生音を出力する複数のスピーカの位置を設定してスピーカ位置出力を出力する。リスナ設定ステップは、基準位置となるリスナの位置を設定してリスナ位置出力を出力する。音源出力ステップは、音源位置出力、スピーカ位置出力およびリスナ位置出力に基づいて複数の音源の再生音を出力する。
【００１４】
また、本発明の音像定位信号処理方法は、供給源から各音源データおよび音源の位置情報を読み出す読み出しステップと、音源の位置情報に基づいて仮想音源を配置する仮想音源配置ステップと、リスナの視聴位置に応じた仮想マイクの位置を配置する仮想マイク配置ステップと、仮想音源と仮想マイクとの位置に基づいて仮想マイクに入力される仮想音源の音の特性を計算する計算ステップと、計算ステップにより計算された各仮想マイクに入力される音の特性に応じて音源データに信号処理を施す信号処理ステップと、信号処理ステップにより信号処理を施された音源データに基づく再生音を出力する出力ステップとを備え、音源データにリアルタイムで信号処理を施して位置情報に対応して音像定位位置を制御するようにしたものである。
【００１５】
従って本発明によれば、以下の作用をする。
複数の音源から入力される各音源データに対して制作時における制御情報により信号処理を施した各音源データについて、基準位置に対する位置情報に対応するように再生時において再生音像を任意の位置に定位させるように信号処理を施すことにより、各音源データにリアルタイムで信号処理を施して上記位置情報に対応して音像定位位置を制御する。読み出しステップは、供給源から各音源データおよび音源の位置情報を読み出す。仮想音源配置ステップは、音源の位置情報に基づいて仮想音源を配置する。仮想マイク配置ステップは、リスナの視聴位置に応じた仮想マイクの位置を配置する。計算ステップは、仮想音源と仮想マイクとの位置に基づいて仮想マイクに入力される仮想音源の音の特性を計算する。信号処理ステップは、計算ステップにより計算された各仮想マイクに入力される音の特性に応じて音源データに信号処理を施す。出力ステップは、信号処理ステップにより信号処理を施された音源データに基づく再生音を出力する。
【００１６】
【発明の実施の形態】
以下に、本発明の実施の形態について、適宜図面を参照しながら説明する。
まず、音源データおよび音源位置情報の収録側の構成を説明する。
図１は、本実施の形態に適用される収録側のスピーカ、音源、リスナ設定のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）アプリケーション画面を示す図である。
【００１７】
図１は、例えば、収録側装置において、クリエータが配信すべき音源データおよび音源位置情報の収録の際に、パーソナルコンピュータ上に設けられた各機能を用いて各種設定行う場合のＧＵＩアプリケーション画面である。
図１において、収録側装置のＧＵＩアプリケーション画面１は、図示しないマウスにより後述する各設定部の項目をクリックしてスライダーをスライドすることにより、各位置に設定可能な音源３−１，３−２，３−３，３−４、スピーカ４−１，４−２，４−３，４−４，４−５、リスナ５を配置する設定エリア２が設けられている。
【００１８】
この収録側装置のＧＵＩアプリケーション画面１は、モード設定部６を有し、モード設定部６は、複数の音源３−１，３−２，３−３，３−４の位置を設定して音源位置出力を出力する音源設定部８と、複数の音源３−１，３−２，３−３，３−４の再生音を出力する複数のスピーカ４−１，４−２，４−３，４−４，４−５の位置を設定してスピーカ位置出力を出力するスピーカ設定部７と、基準位置となるリスナ５の位置を設定してリスナ位置出力を出力するリスナ設定部９とを有して構成される。
【００１９】
また、収録側装置は、音源位置出力、スピーカ位置出力およびリスナ位置出力に基づいて複数の音源３−１，３−２，３−３，３−４の再生音を出力する音源出力部を有して構成される。
【００２０】
また、収録側装置は、基準位置となるリスナ５の位置に対して位置情報を有して再生時における再生音像を任意の位置に定位させるように制作時において複数の音源３−１，３−２，３−３，３−４から入力される各音源データに信号処理を施すことにより、各音源データにリアルタイムで信号処理を施して位置情報に対応して音像定位位置を制御する。
【００２１】
また、この収録側装置のＧＵＩアプリケーション画面１は、音源設定部８、スピーカ設定部７およびリスナ設定部９は、それぞれ、少なくとも水平面の横位置を設定するＸ位置設定部１０、縦位置を設定するＹ位置設定部１１、垂直面の高さ位置を設定するＺ位置設定部１２、水平面の角度を設定するθ設定部１３および垂直面の角度を設定するΦ位置設定部１４を有して構成される。
【００２２】
また、この収録側装置のＧＵＩアプリケーション画面１は、音源設定部８、スピーカ設定部７に対するチャンネルを設定するチャンネル（ｃｈ）設定部１５を有して構成される。
【００２３】
また、この収録側装置のＧＵＩアプリケーション画面１は、音源設定部８、スピーカ設定部７に対する指向性を選択的に設定する指向性選択部１６を有して構成される。
【００２４】
また、この収録側装置のＧＵＩアプリケーション画面１は、指向性選択部１６は、少なくとも無指向性のＯｍｎｉ設定部１７、双指向性のＦｉｇｕｒｅ−８設定部２０、単一指向性のＣａｒｄｉｏｉｄ設定部１８およびＳｕｐｅｒ−Ｃａｒｄｉｏｉｄ設定部１９を有して構成される。
【００２５】
また、この収録側装置のＧＵＩアプリケーション画面１は、音源設定部８、スピーカ設定部７に対する設定エリア２におけるスケールを設定するスケール設定部２１を有して構成される。スケール設定部２１は、スピーカスケール設定部２２と、音源スケール設定部２３とを有して構成される。
【００２６】
また、スケール設定部２１は、リスナ位置に対する音源位置、スピーカ位置の距離による音源の再生音の減衰率を設定する、距離による減衰率設定部２４を有して構成される。
【００２７】
また、音源設定部８、スピーカ設定７およびリスナ設定部９は、ＧＵＩアプリケーション画面１上に設けられ、他の指向性選択部１６およびスケール設定部２１は予め設定しておくようにしても良い。
【００２８】
このように構成された収録側装置により、音源、リスナの視聴位置、スピーカなどの視聴環境を任意に設定した３Ｄサウンドの生放送（リアルタイム配信）を実現することができる。
【００２９】
図２は、モード設定部の構成を示すブロック図である。
図２において、モード設定部６は、音源設定部８、スピーカ設定部７、リスナ設定部９およびチャンネル（ｃｈ）設定部１５を有して構成される。
【００３０】
また、音源設定部８、スピーカ設定部７およびリスナ設定部９は、それぞれ、Ｘ位置設定部１０、Ｙ位置設定部１１、Ｚ位置設定部１２、θ設定部１３およびΦ位置設定部１４を有して構成される。
【００３１】
また、音源設定部８、スピーカ設定部７およびリスナ設定部９は、水平面の縦位置を設定し、横位置を設定し、垂直面の高さ位置を設定し、水平面の角度を設定および垂直面の角度を設定することにより、音源位置を出力する音源位置出力部２２と、スピーカ位置を出力するスピーカ位置出力部２３と、リスナ位置を出力するリスナ位置出力部２４とを有して構成される。
【００３２】
また、チャンネル（ｃｈ）設定部１５は、チャンネル（ｃｈ）設定出力を出力するチャンネル（ｃｈ）出力部２５を有して構成される。
【００３３】
図３は、指向性選択部の構成を示すブロック図である。
図３において、指向性選択部１６は、無指向性のＯｍｎｉ設定部１７、双指向性のＦｉｇｕｒｅ−８設定部２０、単一指向性のＣａｒｄｉｏｉｄ設定部１８およびＳｕｐｅｒ−Ｃａｒｄｉｏｉｄ設定部１９を有して構成される。指向性選択部１６は、無指向性、双指向性、または単一指向性の指向性を出力する指向性出力部３１を有して構成される。指向性出力部３１の指向性出力は、音源位置出力部２２と、スピーカ位置出力部２３に対して出力される。
【００３４】
図４は、スケール設定部の構成を示すブロック図である。
図４において、スケール設定部２１は、スピーカスケール設定部４１と、音源スケール設定部４２と、距離による減衰率設定部４３を有して構成される。スケール設定部２１は、スピーカスケール、音源スケール、距離による減衰率を設定されたスケール出力を出力するスケール出力部４４を有して構成される。
【００３５】
図５は、音源出力部の構成を示すブロック図である。
図５において、音源出力部５１は、指向性出力部３１の指向性出力およびスケール出力部４４によるスケール出力に基づく音源位置出力部２２による音源位置出力と、指向性出力部３１の指向性出力およびスケール出力部４４によるスケール出力に基づくスピーカ位置出力部２３によるスピーカ位置出力と、リスナ位置出力部２４によるリスナ位置出力と、チャンネル（ｃｈ）出力部２５によるチャンネル（ｃｈ）設定出力とにより、音源データに対して信号処理を施して、例えば、アンプを介してスピーカからモニタ出力すると共に、ハードディスクまたは着脱可能なディスクに音源データおよび位置情報を記憶し、再生側にネットワークを介して送出またはディスクの頒布を行う。
【００３６】
このように構成された収録側装置は、以下のような動作をする。
図６は、モード設定部のモード設定動作を示すフローチャートである。
図６において、ステップＳ１で、音源設定か否かを判断する。具体的には、図１および図２に示すモード設定部６は、図示しないマウスによるクリエータの操作により音源設定部８の項目がクリックされたか否かを判断する。
【００３７】
ステップＳ１で音源設定である判断されたときは、ステップＳ２で、音源設定を行う。具体的には、図１および図２に示すモード設定部６は、音源設定部８により複数の音源３−１，３−２，３−３，３−４の位置を設定して音源位置出力を出力する動作を行わせる。
【００３８】
ステップＳ１で音源設定でない判断されたときは、ステップＳ３で、スピーカ設定か否かを判断する。具体的には、図１および図２に示すモード設定部６は、図示しないマウスによるクリエータの操作によりスピーカ設定部７の項目がクリックされたか否かを判断する。
【００３９】
ステップＳ３でスピーカ設定である判断されたときは、ステップＳ４で、スピーカ設定を行う。具体的には、図１および図２に示すモード設定部６は、スピーカ設定部７により複数の音源３−１，３−２，３−３，３−４の再生音を出力する複数のスピーカ４−１，４−２，４−３，４−４，４−５の位置を設定してスピーカ音源位置出力を出力する動作を行わせる。
【００４０】
ステップＳ３でスピーカ設定でない判断されたときは、ステップＳ５で、リスナ設定か否かを判断する。具体的には、図１および図２に示すモード設定部６は、図示しないマウスによるクリエータの操作によりリスナ設定部９の項目がクリックされたか否かを判断する。
【００４１】
ステップＳ５でリスナ設定である判断されたときは、ステップＳ６でリスナ設定を行う。具体的には、図１および図２に示すモード設定部６は、リスナ設定部９により基準位置となるリスナ５の位置を設定してリスナ位置出力を出力する動作を行わせる。
【００４２】
ステップＳ５でリスナ設定でない判断されたときは、ステップＳ７で、チャンネル（ｃｈ）設定か否かを判断する。具体的には、図１および図２に示すモード設定部６は、図示しないマウスによるクリエータの操作によりチャンネル（ｃｈ）設定部１５の項目がクリックされたか否かを判断する。
【００４３】
ステップＳ７でチャンネル（ｃｈ）設定である判断されたときは、ステップＳ８で、チャンネル（ｃｈ）設定を行う。具体的には、図１および図２に示すモード設定部６は、チャンネル（ｃｈ）設定部１５により、音源設定部８、スピーカ設定部７に対するチャンネルを設定する動作を行わせる。
【００４４】
ステップＳ２で音源設定、ステップＳ４でスピーカ設定、ステップＳ６でリスナ設定、ステップＳ８でチャンネル（ｃｈ）設定を行った後は、ステップＳ９で設定出力を行う。具体的には、図１および図２に示すモード設定部６は、図５に示す音源出力部５１により、音源位置出力、スピーカ位置出力、リスナ位置出力およびチャンネル（ｃｈ）出力に基づいて複数の音源３−１，３−２，３−３，３−４の再生音を出力する動作を行わせる。
【００４５】
図７は、音源設定部の音源設定動作を示すフローチャートである。
ステップＳ１１で、Ｘ位置設定か否かを判断する。具体的には、図１および図２に示すＸ位置設定部１０は、図示しないマウスによるクリエータの操作によりＸ位置設定部１０のスライダーがクリックされてスライドされたか否かを判断する。
【００４６】
ステップＳ１１でＸ位置設定である判断されたときは、ステップＳ１２でＸ位置設定を行う。具体的には、図１および図２に示すＸ位置設定部１０は、図示しないマウスによるクリエータの操作によりＸ位置設定部１０のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定Ｘ位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上で横方向に移動して音源３−１，３−２，３−３，３−４を配置する。
【００４７】
ステップＳ１１でＸ位置設定でない判断されたときは、ステップＳ１３で、Ｙ位置設定か否かを判断する。具体的には、図１および図２に示すＹ位置設定部１１は、図示しないマウスによるクリエータの操作によりＹ位置設定部１１のスライダーがクリックされてスライドされたか否かを判断する。
【００４８】
ステップＳ１３でＹ位置設定である判断されたときは、ステップＳ１４でＹ位置設定を行う。具体的には、図１および図２に示すＹ位置設定部１１は、図示しないマウスによるクリエータの操作によりＹ位置設定部１１のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定Ｙ位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上で縦方向に移動して音源３−１，３−２，３−３，３−４を配置する。
【００４９】
ステップＳ１３でＹ位置設定でない判断されたときは、ステップＳ１５で、Ｚ位置設定か否かを判断する。具体的には、図１および図２に示すＺ位置設定部１２は、図示しないマウスによるクリエータの操作によりＺ位置設定部１２のスライダーがクリックされてスライドされたか否かを判断する。
【００５０】
ステップＳ１５でＺ位置設定である判断されたときは、ステップＳ１６でＺ位置設定を行う。具体的には、図１および図２に示すＺ位置設定部１２は、図示しないマウスによるクリエータの操作によりＺ位置設定部１２のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定Ｚ位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） と垂直方向に移動して音源３−１，３−２，３−３，３−４を配置する。
【００５１】
ステップＳ１５でＺ位置設定でない判断されたときは、ステップＳ１７で、θ位置設定か否かを判断する。具体的には、図１および図２に示すθ位置設定部１３は、図示しないマウスによるクリエータの操作によりθ位置設定部１３のスライダーがクリックされてスライドされたか否かを判断する。
【００５２】
ステップＳ１７でθ位置設定である判断されたときは、ステップＳ１８でθ位置設定を行う。具体的には、図１および図２に示すθ位置設定部１３は、図示しないマウスによるクリエータの操作によりθ位置設定部１３のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定θ位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上で回転角度をつけて音源３−１，３−２，３−３，３−４を配置する。
【００５３】
ステップＳ１７でθ位置設定でない判断されたときは、ステップＳ１９で、Φ位置設定か否かを判断する。具体的には、図１および図２に示すΦ位置設定部１４は、図示しないマウスによるクリエータの操作によりΦ位置設定部１４のスライダーがクリックされてスライドされたか否かを判断する。
【００５４】
ステップＳ１９でΦ位置設定である判断されたときは、ステップＳ２０でΦ位置設定を行う。具体的には、図１および図２に示すΦ位置設定部１４は、図示しないマウスによるクリエータの操作によりΦ位置設定部１４のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定Φ位置に対応するようにＧＵＩアプリケーション画面１の垂直面上で上方または下方にあおり角度をつけて音源３−１，３−２，３−３，３−４を配置する。
【００５５】
図８は、スピーカ設定部のスピーカ設定動作を示すフローチャートである。
ステップＳ２１で、Ｘ位置設定か否かを判断する。具体的には、図１および図２に示すＸ位置設定部１０は、図示しないマウスによるクリエータの操作によりＸ位置設定部１０のスライダーがクリックされてスライドされたか否かを判断する。
【００５６】
ステップＳ２１でＸ位置設定である判断されたときは、ステップＳ２２でＸ位置設定を行う。具体的には、図１および図２に示すＸ位置設定部１０は、図示しないマウスによるクリエータの操作によりＸ位置設定部１０のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定Ｘ位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上で横方向に移動してスピーカ４−１，４−２，４−３，４−４，４−５を配置する。
【００５７】
ステップＳ２１でＸ位置設定でない判断されたときは、ステップＳ２３で、Ｙ位置設定か否かを判断する。具体的には、図１および図２に示すＹ位置設定部１１は、図示しないマウスによるクリエータの操作によりＹ位置設定部１１のスライダーがクリックされてスライドされたか否かを判断する。
【００５８】
ステップＳ２３でＹ位置設定である判断されたときは、ステップＳ２４でＹ位置設定を行う。具体的には、図１および図２に示すＹ位置設定部１１は、図示しないマウスによるクリエータの操作によりＹ位置設定部１１のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定Ｙ位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上で縦方向に移動してスピーカ４−１，４−２，４−３，４−４，４−５を配置する。
【００５９】
ステップＳ２３でＹ位置設定でない判断されたときは、ステップＳ２５で、Ｚ位置設定か否かを判断する。具体的には、図１および図２に示すＺ位置設定部１２は、図示しないマウスによるクリエータの操作によりＺ位置設定部１２のスライダーがクリックされてスライドされたか否かを判断する。
【００６０】
ステップＳ２５でＺ位置設定である判断されたときは、ステップＳ２６でＺ位置設定を行う。具体的には、図１および図２に示すＺ位置設定部１２は、図示しないマウスによるクリエータの操作によりＺ位置設定部１２のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定Ｚ位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） と垂直方向に移動してスピーカ４−１，４−２，４−３，４−４，４−５を配置する。
【００６１】
ステップＳ２５でＺ位置設定でない判断されたときは、ステップＳ２７で、θ位置設定か否かを判断する。具体的には、図１および図２に示すθ位置設定部１３は、図示しないマウスによるクリエータの操作によりθ位置設定部１３のスライダーがクリックされてスライドされたか否かを判断する。
【００６２】
ステップＳ２７でθ位置設定である判断されたときは、ステップＳ２８でθ位置設定を行う。具体的には、図１および図２に示すθ位置設定部１３は、図示しないマウスによるクリエータの操作によりθ位置設定部１３のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定θ位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上で回転角度をつけてスピーカ４−１，４−２，４−３，４−４，４−５を配置する。
【００６３】
ステップＳ２７でθ位置設定でない判断されたときは、ステップＳ２９で、Φ位置設定か否かを判断する。具体的には、図１および図２に示すΦ位置設定部１４は、図示しないマウスによるクリエータの操作によりΦ位置設定部１４のスライダーがクリックされてスライドされたか否かを判断する。
【００６４】
ステップＳ２９でΦ位置設定である判断されたときは、ステップＳ３０でΦ位置設定を行う。具体的には、図１および図２に示すΦ位置設定部１４は、図示しないマウスによるクリエータの操作によりΦ位置設定部１４のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定Φ位置に対応するようにＧＵＩアプリケーション画面１の垂直面上で上方または下方にあおり角度をつけてスピーカ４−１，４−２，４−３，４−４，４−５を配置する。
【００６５】
図９は、リスナ設定部のリスナ設定動作を示すフローチャートである。
ステップＳ３１で、Ｘ位置設定か否かを判断する。具体的には、図１および図２に示すＸ位置設定部１０は、図示しないマウスによるクリエータの操作によりＸ位置設定部１０のスライダーがクリックされてスライドされたか否かを判断する。
【００６６】
ステップＳ３１でＸ位置設定である判断されたときは、ステップＳ３２でＸ位置設定を行う。具体的には、図１および図２に示すＸ位置設定部１０は、図示しないマウスによるクリエータの操作によりＸ位置設定部１０のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定Ｘ位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上で横方向に移動してリスナ５を配置する。
【００６７】
ステップＳ３１でＸ位置設定でない判断されたときは、ステップＳ３３で、Ｙ位置設定か否かを判断する。具体的には、図１および図２に示すＹ位置設定部１１は、図示しないマウスによるクリエータの操作によりＹ位置設定部１１のスライダーがクリックされてスライドされたか否かを判断する。
【００６８】
ステップＳ３３でＹ位置設定である判断されたときは、ステップＳ３４でＹ位置設定を行う。具体的には、図１および図２に示すＹ位置設定部１１は、図示しないマウスによるクリエータの操作によりＹ位置設定部１１のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定Ｙ位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上で縦方向に移動してリスナ５を配置する。
【００６９】
ステップＳ３３でＹ位置設定でない判断されたときは、ステップＳ３５で、Ｚ位置設定か否かを判断する。具体的には、図１および図２に示すＺ位置設定部１２は、図示しないマウスによるクリエータの操作によりＺ位置設定部１２のスライダーがクリックされてスライドされたか否かを判断する。
【００７０】
ステップＳ３５でＺ位置設定である判断されたときは、ステップＳ３６でＺ位置設定を行う。具体的には、図１および図２に示すＺ位置設定部１２は、図示しないマウスによるクリエータの操作によりＺ位置設定部１２のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定Ｚ位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） と垂直方向に移動してリスナ５を配置する。
【００７１】
ステップＳ３５でＺ位置設定でない判断されたときは、ステップＳ３７で、θ位置設定か否かを判断する。具体的には、図１および図２に示すθ位置設定部１３は、図示しないマウスによるクリエータの操作によりθ位置設定部１３のスライダーがクリックされてスライドされたか否かを判断する。
【００７２】
ステップＳ３７でθ位置設定である判断されたときは、ステップＳ３８でθ位置設定を行う。具体的には、図１および図２に示すθ位置設定部１３は、図示しないマウスによるクリエータの操作によりθ位置設定部１３のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定θ位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上で回転角度をつけてリスナ５を配置する。
【００７３】
ステップＳ３７でθ位置設定でない判断されたときは、ステップＳ３９で、Φ位置設定か否かを判断する。具体的には、図１および図２に示すΦ位置設定部１４は、図示しないマウスによるクリエータの操作によりΦ位置設定部１４のスライダーがクリックされてスライドされたか否かを判断する。
【００７４】
ステップＳ３９でΦ位置設定である判断されたときは、ステップＳ４０でΦ位置設定を行う。具体的には、図１および図２に示すΦ位置設定部１４は、図示しないマウスによるクリエータの操作によりΦ位置設定部１４のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２において設定Φ位置に対応するようにＧＵＩアプリケーション画面１の垂直面上で上方または下方にあおり角度をつけてリスナ５を配置する。
【００７５】
図１０は、チャンネル設定部のチャンネル設定動作を示すフローチャートである。
ステップＳ４１で、音源のチャンネル設定か否かを判断する。具体的には、図１および図２に示すチャンネル設定部１５は、図示しないマウスによるクリエータの操作により音源設定部８の項目がクリックされているときに、チャンネル設定部１５のスライダーがクリックされてスライドされたか否かを判断する。
【００７６】
ステップＳ４１で音源のチャンネル設定である判断されたときは、ステップＳ４２で音源のチャンネル設定を行う。具体的には、図１および図２に示すチャンネル設定部１５は、図示しないマウスによるクリエータの操作によりチャンネル設定部１５のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２においてチャンネル設定位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上で音源３−１，３−２，３−３，３−４のチャンネル設定をする。
【００７７】
ステップＳ４１で音源のチャンネル設定でない判断されたときは、ステップＳ４３で、スピーカのチャンネル設定か否かを判断する。具体的には、図１および図２に示すチャンネル設定部１５は、図示しないマウスによるクリエータの操作によりスピーカ設定部７の項目がクリックされているときに、チャンネル設定部１５のスライダーがクリックされてスライドされたか否かを判断する。
【００７８】
ステップＳ４３でスピーカのチャンネル設定である判断されたときは、ステップＳ４４でスピーカのチャンネル設定を行う。具体的には、図１および図２に示すチャンネル設定部１５は、図示しないマウスによるクリエータの操作によりチャンネル設定部１５のスライダーがクリックされてスライドされた位置に対応するパラメータを設定し、ＧＵＩアプリケーション画面１上の設定エリア２においてチャンネル設定位置に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上でスピーカ４−１，４−２，４−３，４−４，４−５のチャンネル設定をする。
【００７９】
図１１は、位置設定を示す図である。
上述したＸ位置設定部１０は、ＧＵＩアプリケーション画面１上の設定エリア２において点Ｐ１１１に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上で横方向Ｘの設定Ｘ位置を設定する。また、Ｙ位置設定部１１は、ＧＵＩアプリケーション画面１上の設定エリア２において点Ｐ１１１に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上で縦方向の設定Ｙ位置を設定する。また、Ｚ位置設定部１２は、ＧＵＩアプリケーション画面１上の設定エリア２において点Ｐ１１１に対応するようにＧＵＩアプリケーション画面１（ 水平面） と垂直方向の設定Ｚ位置を設定する。
【００８０】
また、θ位置設定部１３は、ＧＵＩアプリケーション画面１上の設定エリア２において点Ｐ１１１に対応するようにＧＵＩアプリケーション画面１（ 水平面） 上で回転角度をつけて設定θ位置を設定する。また、Φ位置設定部１４は、ＧＵＩアプリケーション画面１上の設定エリア２において点Ｐ１１１に対応するようにＧＵＩアプリケーション画面１の垂直面上で上方または下方にあおり角度をつけて設定Φ位置を設定する。
【００８１】
図１２は、上述した指向性選択部１６による指向性設定を示す図であり、図１２ＡはＯｍｎｉ設定部１７による無指向性のＯｍｎｉ１２１に対するＦｉｇｕｒｅ−８設定部２０による双指向性のＦｉｇｕｒｅ−８（１２２）、図１２ＢはＣａｒｄｉｏｉｄ設定部１８による単一指向性のＣａｒｄｉｏｉｄ１２３、および図１２ＣはＳｕｐｅｒ−Ｃａｒｄｉｏｉｄ設定部１９による超指向性のＳｕｐｅｒ−Ｃａｒｄｉｏｉｄ１２４を示す。なお、双指向性は、音源方向と逆方向で対象となる。図１２は、水平面（Ｘ−Ｙ面）のみを示したが、垂直面上でも同様の指向性を有し、立体状の指向性である。
【００８２】
図１３は、指向性を示す特性図である。図１３において、Ｏｍｎｉ１３１は、θ＝−１８０度から１８０度までＹ＝１となる。また、Ｃａｒｄｉｏｉｄ１３２は、θ＝−１８０度のときＹ＝１／２、θ＝０度のときＹ＝１、θ＝１８０度のときＹ＝１／２となる。また、Ｓｕｐｅｒ−Ｃａｒｄｉｏｉｄ１３３は、θ＝−１８０度のときＹ＝０、θ＝０度のときＹ＝１、θ＝１８０度のときＹ＝０となる。また、Ｆｉｇｕｒｅ−８（１３４）は、ｃｏｓθと同様となり、θ＝−１８０度のときＹ＝−１、θ＝０度のときＹ＝１、θ＝１８０度のときＹ＝−１となる。
【００８３】
以下に、このように設定された収録側の音源データおよび音源の位置情報の送出を説明する。
図１４は、音源データと音源の位置情報の送出を示す図である。
図１４において、収録側、送出側装置１４１は、送出サーバ１４２に音源データ１４４および音源の位置情報１４５を供給する機能を有して構成される。送出サーバ１４２は、収録側、送出側装置１４１から供給された音源データ１４４および音源の位置情報１４５を送出用ハードディスクに一旦保持する機能を有して構成される。
【００８４】
送出サーバ１４２は、音源データおよび音源の位置情報１４７を、複数の再生側装置１４３−１，１４３−２，１４３−３に対して、同時または異なる送出のタイミングで、配信１４６−１，１４６−２，１４６−３を行う機能を有して構成される。
【００８５】
図１５は、音源データと音源の位置情報の送出動作を示すフローチャートである。図１５は、図１４に示した送出サーバ１４２の動作を示す図である。
図１５において、ステップＳ５１で、音源データの収録、音源の位置情報の検出を行う。具体的には、図１４に示した送出サーバ１４２は、収録側、送出側装置１４１から供給された音源データ１４４および音源の位置情報１４５が送出用ハードディスクに一旦保持されたことを検出する。
【００８６】
ステップＳ５２で、音源データの収録、音源の位置情報の配信を行う。具体的には、図１４に示した送出サーバ１４２は、音源データおよび音源の位置情報１４７を、複数の再生側装置１４３−１，１４３−２，１４３−３に対して、同時または異なる送出のタイミングで、配信１４６−１，１４６−２，１４６−３を行う。
【００８７】
ステップＳ５３で、送出が終了したか否かを判断する。具体的には、図１４に示した送出サーバ１４２は、音源データおよび音源の位置情報１４７の、複数の再生側装置１４３−１，１４３−２，１４３−３に対する配信１４６−１，１４６−２，１４６−３が終了したか否かを判断する。
【００８８】
ステップＳ５３で送出が終了していないときは、ステップＳ５１へ戻って、ステップＳ５１からステップＳ５３までの処理および判断を繰り返す。
【００８９】
上述した収録側の音源データおよび音源の位置情報の送出において、送出側から音源の音声データ（例えばマイクロホンからの入力音）のストリームと共に、任意の設定による位置情報、または、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、ジャイロ、赤外線、電波等によって検出した音源の位置情報のメタデータ（座標情報および向き情報）を再生側に向けて配信することによる３Ｄサウンドのリアルタイム配信を実現するようにしてもよい。これにより、再生側では、音源データストリームと音源の位置情報のメタデータを受け取り、再生環境に合わせて仮想空間に各音源を配置することによりそれらの各音源の再生サウンドをレンダリングし、再生することができる。
【００９０】
また、例えば、３Ｄサウンドコンテンツ制作において、音源位置のリアルタイム入力を実現することができる。
【００９１】
また、これまではスタジオで配信用に音源をミックスし、ミックスした結果を配信していたため、例えばステレオでミックスされた信号が配信されている場合はステレオで再生するしかなかったので、ユーザはスタジオの中の自由な場所の音を聞くことはできなかった。
【００９２】
また、音源の波形データを独立して送っても、ＧＰＳ、ジャイロ、赤外線、電波等による自動位置検出を行わずにリアルタイム配信するには、オペレーターが常に音源の位置を入力する必要があったが、オペレーターによるリアルタイム入力では正確な位置情報が入力できるとは限らなかった。
【００９３】
このように、３Ｄサウンドコンテンツ制作で、音源の位置の動きを手で入力するのは面倒だったが、本実施の形態において、収録、送出側では、音源の位置情報（ Ｘ， Ｙ， Ｚ座標情報、向き情報）を任意に設定し、または、ＧＰＳ、ジャイロ、赤外線、電波等を用いて検出して、リアルタイムにデータ化し、これを音源データそのものと同時に配信することができる。
【００９４】
再生側では、受け取った音源の音と位置情報と３Ｄサウンド再生装置を用いて、それぞれの視聴環境に合わせた、自由な視聴点の音の再生を行うことができる。
【００９５】
再生側で送られてきた音声情報、位置情報を元に最終的に再生する音声の合成を行うので、再生側でユーザの望む合成音響をフレキシブルに再生することができる。
【００９６】
また、３Ｄサウンドの生放送を行うことができる。ユーザは配信された音のうち、聞きたい場所の音を自由に聞くことができる。音源の位置情報を自動生成することで、自動的に音源の位置情報を送出することができる。３Ｄサウンドコンテンツ制作環境において、自動的に音源の位置情報を入力することができる。
【００９７】
次に、再生側装置の構成および動作を説明する。
図１６は、再生側の３Ｄサウンド再生処理のブロック図である。
図１６において、音像定位信号処理装置は、供給源１６１と、３Ｄサウンド処理部１６２と、音源データ（ 音声データ１７５） が後述する信号処理部１７１、１７２により信号処理を施された再生音を出力する出力部１７６とを有して構成される。
【００９８】
３Ｄサウンド処理部１６２は、供給源１６１のネットワーク１６１−１から配信（１６１−３）され、またはディスク１６１−２から各音源データ（ 音声データ１７５） および音源の位置情報１７４を読み出す（１６１−４）音源データ読み出し部１６３と、音源の位置情報１７４に基づいて仮想音源（１６７）を配置する仮想音源配置部１６７と、リスナの視聴位置に応じた仮想マイク（１６８）の位置を配置する仮想マイク配置部１６８と、仮想音源と仮想マイクとの位置に基づいて仮想マイクに入力される仮想音源の音の特性を計算する計算部１６９−１〜１６９−３、１７０−１〜１７０−４と、計算手段により計算された各仮想マイクに入力される音の特性に応じて音源データに信号処理を施して出力部１７６に出力する遅延処理部１７１、減衰処理部１７２とを有して構成される。出力部１７６は、信号処理を施された音声データに音声出力処理を行う音声出力部１７７と、デジタル信号をアナログ音声信号に変換するＤＡ変換部１７８と、音響出力を行うスピーカ１７９とを有して構成される。
【００９９】
上述した計算部は、仮想音源と仮想マイクの距離を計算する音源とマイクの距離計算部１６９−１を有して構成される。
【０１００】
上述した計算部は、仮想音源から見た仮想マイクの角度を計算する音源から見たマイクの角度計算部１６９−２を有して構成される。
【０１０１】
上述した計算部は、仮想マイクから見た仮想音源の角度を計算するマイクから見た音源の角度計算部１６９−３を有して構成される。
【０１０２】
上述した計算部は、音源とマイクの距離計算部１６９−１により計算された仮想音源と仮想マイクの距離による仮想音源の遅延量を計算する距離による遅延量計算部１７０−１を有して構成される。
【０１０３】
上述した計算部は、音源とマイクの距離計算部１６９−１により計算された仮想音源と仮想マイクの距離による仮想音源の減衰率を計算する距離による減衰率計算部１７０−２を有して構成される。
【０１０４】
上述した計算部は、音源から見たマイクの角度計算部１６９−２により計算された仮想音源から見た仮想マイクの角度による仮想音源の指向性による減衰率を計算する音源の指向性による減衰率計算部１７０−３を有して構成される。
【０１０５】
上述した計算部は、マイクから見た音源の角度計算部１６９−３により計算された仮想マイクから見た仮想音源の角度による仮想マイクの指向性による減衰率を計算するマイクの指向性による減衰率計算部１７０−４を有して構成される。
【０１０６】
上述した仮想マイク配置部１６８は、音源データの再生時にコントローラ１６４から入力されるリスナの視聴位置に対応した視聴位置データ１６５に基づいて仮想マイクの位置を配置するように構成される。
【０１０７】
上述した仮想マイク配置部１６８は、予め再生側で設定されるリスナの視聴環境データ１６６に基づいて仮想マイクの位置を配置するように構成される。
【０１０８】
上述した音源データは、ネットワーク１６１−１を介して配信（１６１−３）され、またはディスク１６１−２から読み込まれる（１６１−４）ように構成される。
【０１０９】
上述した信号処理部は、音源データに対して、距離による遅延量計算部１７０−１により計算された仮想音源と仮想マイクの距離による仮想音源の遅延量に基づく遅延処理を施す遅延処理部１７１を有して構成される。
【０１１０】
上述した信号処理部は、音源データに対して、距離による減衰率計算部１７０−２により計算された仮想音源と仮想マイクの距離による仮想音源の減衰率に基づく減衰処理を施す減衰処理部１７２を有して構成される。
【０１１１】
上述した信号処理部は、音源データに対して、音源の指向性による減衰率計算部１７０−３により計算された仮想音源から見た仮想マイクの角度による仮想音源の指向性による減衰率に基づく減衰処理を施す減衰処理部１７２を有して構成される。
【０１１２】
上述した信号処理部は、マイクの指向性による減衰率計算部１７０−４により計算された仮想マイクから見た仮想音源の角度による仮想マイクの指向性による減衰率に基づく減衰処理を施す減衰処理部１７２を有して構成される。
【０１１３】
これにより、音像定位信号処理装置は、複数の音源から入力される各音源データに対して制作時における制御情報により信号処理を施した各音源データについて、基準位置に対する位置情報に対応するように再生時において再生音像を任意の位置に定位させるように信号処理を施して、音源データにリアルタイムで信号処理を施して位置情報に対応して音像定位位置を制御する。
【０１１４】
これにより、従来は、３Ｄサウンド再生のためのスピーカ環境は完全に自由ではなくある程度固定されており、ユーザがそれぞれに合った再生環境を構築することは困難だったが、本実施の形態により、仮想３Ｄ空間における視聴位置、音源の数、位置、方向、再生環境におけるスピーカの数、位置、方向自由の３Ｄサウンド（ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｓｏｕｎｄ）を実現することができる。
【０１１５】
また、仮想３Ｄ空間における仮想音源の音を仮想マイクで収録することによる３Ｄサウンドを実現することができる。
【０１１６】
また、音源、視聴位置、スピーカの各パラメータを再生時に動的に変化させることのできる３Ｄサウンドを実現することができる。
【０１１７】
以下に、具体的な実施形態の例について説明する。
図１７は、３Ｄサウンド対応ゲーム機の構成を示すブロック図である。
図１７に示す３Ｄサウンド対応ゲーム機１８１において、３Ｄサウンドデータは、３Ｄサウンドの収録されたメディアに記録されていたり、ネットワークから配信されたり、３Ｄサウンド対応ゲームソフトウェア１８２から出力されたりする。３Ｄサウンド処理部１８３は、上述した図１６のように構成され、そうして受け取った３Ｄサウンドデータを処理し、マルチチャンネルの音声データに変換し、音声出力ドライバ１８４に出力する。音声出力ドライバ１８４は音声出力信号を外部機器のアンプ・スピーカ１８５に出力する。外部機器のアンプ・スピーカ１８５は、受け取ったマルチチャンネルの音声データを受け取り、さらに記録再生部において再生、記録などをする。
【０１１８】
ここで、例えば、３Ｄサウンドデータは、パーソナルコンピュータ上で動作する３Ｄサウンド再生ソフトウェアを利用して出力されるものであってもよいし、３Ｄサウンド対応ゲームソフトであってもよい。
【０１１９】
図１８は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ディスク再生装置の構成を示すブロック図である。
図１８に示すＤＶＤディスク再生装置１９１において、３Ｄサウンドデータは、３Ｄサウンドの収録されたＤＶＤディスクに記録されているものをＤＶＤディスク再生部１９２により再生したり、ネットワークから配信されたり、３Ｄサウンド対応ソフトウェアから出力されたりする。３Ｄサウンド処理部１９３は、上述した図１６のように構成され、そうして受け取った３Ｄサウンドデータを処理し、マルチチャンネルの音声データに変換し、音声出力ドライバ１９４に出力する。音声出力ドライバ１９４は音声出力信号を外部機器のアンプ・スピーカ１９５に出力する。外部機器のアンプ・スピーカ１９５は、受け取ったマルチチャンネルの音声データを受け取り、さらに記録再生部において再生、記録などをする。
【０１２０】
ここで、例えば、３Ｄサウンドデータは、パーソナルコンピュータ上で動作する３Ｄサウンド再生ソフトウェアを利用して出力されるものであってもよいし、３Ｄサウンド対応映画ソフトであってもよい。
【０１２１】
以下に、このように構成された、３Ｄサウンド処理部の動作を説明する。
図１９は、３Ｄサウンド処理動作を示すフローチャートである。
図１９において、ステップＳ６１で、３Ｄサウンドデータを受け取る。具体的には、図１６に示した３Ｄサウンド処理部１６２は、音源データ読み出し部１６３により、供給源１６１のネットワーク１６１−１から配信（１６１−３）され、またはディスク１６１−２から各音源データ（１６３）および音源の位置情報１７４を読み出す（１６１−４）。ここで、ネットワーク１６１−１から配信（１６１−３）され、または読み出された（１６１−４）音源データは例えば、音声データ１７５の場合には音声の波形データであり、音源の位置情報１７４は、例えば、音源数に対応した数の時系列上の音源の位置（ Ｘ， Ｙ， Ｚ） 情報、向き情報、指向性情報である。
【０１２２】
ステップＳ６２で、全音源を仮想空間上に配置する。具体的には、図１６に示した３Ｄサウンド処理部１６２は、仮想音源配置部１６７により音源の位置情報１７４に基づいて仮想音源（１６７）を仮想空間上に配置する。
【０１２３】
ステップＳ６３で、仮想空間上に仮想マイクを配置する。具体的には、図１６に示した３Ｄサウンド処理部１６２は、仮想マイク配置部１６８によりリスナの視聴位置に応じた仮想マイク（１６８）の位置を仮想空間上に配置する。
【０１２４】
ステップＳ６４で、仮想音源、仮想マイクの全組み合わせで、音源からマイクに入力される音を計算する。具体的には、図１６に示した３Ｄサウンド処理部１６２は、計算部１６９−１〜１６９−３、１７０−１〜１７０−４により仮想音源と仮想マイクとの位置に基づいて仮想マイクに入力される仮想音源の音の特性を計算する。ここでは、仮想音源、仮想マイクのすべての組み合わせに対して、距離による音の遅延（位相）、音量の減衰、角度差と指向性による音のレベルを計算する。
【０１２５】
ステップＳ６５で、計算された各仮想マイクの音を外部に出力する。具体的には、図１６に示した３Ｄサウンド処理部１６２は、遅延処理部１７１および減衰処理部１７２により上述した計算手段により計算された各仮想マイクに入力される音の特性に応じて音源データ（音声データ）に信号処理を施して出力部１７６に出力し、音声出力部１７７により信号処理を施された音声データに音声出力処理を行い、ＤＡ変換部１７８によりデジタル信号をアナログ音声信号に変換し、スピーカ１７９により音響出力を行う。上述の計算結果に応じて、すべての仮想音源からそれぞれの仮想マイクに到達する音を計算し、足し合わせを行い、外部に出力する。
【０１２６】
ステップＳ６６で、再生終了か否かを判断する。再生終了まで、ステップＳ６１〜ステップＳ６６までの処理および判断を繰り返す。
【０１２７】
図２０は、音源の配置処理動作を示すフローチャートである。
図２０において、ステップＳ７１で、音源の位置、向きに応じて音源の位置ベクトル、音源の向きベクトルを生成する。具体的には、図１６に示した３Ｄサウンド処理部１６２は、仮想音源配置部１６７により、音源を仮想音源として、音源の位置、向きのデータを元に仮想空間（ Ｘ， Ｙ，Ｚ空間） 内に配置する。ここで、音源の数＝ｎ 、音源の位置ベクトルＡ１、Ａ２、Ａ３…Ａｎ−１、Ａｎ、音源の向きベクトル（単位ベクトル）Ｂ１、Ｂ２、Ｂ３…Ｂｎ−１、Ｂｎとする。
【０１２８】
ステップＳ７２で、全て配置したか否かを判断する。具体的には、図１６に示した３Ｄサウンド処理部１６２は、仮想音源配置部１６７により、全ての音源の数＝ｎ 、音源の位置ベクトルＡ１、Ａ２、Ａ３…Ａｎ−１、Ａｎ、音源の向きベクトル（単位ベクトル）Ｂ１、Ｂ２、Ｂ３…Ｂｎ−１、Ｂｎの配置を行ったか否かを判断する。
【０１２９】
音源の配置終了まで、ステップＳ７１〜ステップＳ７２までの処理および判断を繰り返す。
【０１３０】
図２１は、マイクの配置処理動作を示すフローチャートである。
図２１において、ステップＳ８１で、スピーカの位置、向き、視聴者の位置、向きに応じてマイクの位置ベクトル、マイクの向きベクトルを生成する。具体的には、図１６に示した３Ｄサウンド処理部１６２は、３Ｄサウンド処理部１６２の仮想マイク配置部１６８が必要とするデータとして、視聴環境データ１６６（予め再生側で設定して外部から入力される）はスピーカ数に対応したスピーカ情報（スピーカの位置、向き、指向性）と、視聴位置データ１６５（再生時に外部から入力される）は仮想空間内における視聴者の位置、向きのデータがある。
【０１３１】
ここでは、仮想空間内に仮想マイクを配置する。仮想マイクは、視聴環境のスピーカの位置に相当する箇所に配置し、向きはスピーカとは逆向きとする。仮想マイクの位置は、仮想空間内での視聴者の位置に応じて相対的に変化する。
【０１３２】
ここで、スピーカの数＝ｍ 、スピーカの位置ベクトルＣ１、Ｃ２、Ｃ３…Ｃｍ−１、Ｃｍ、スピーカの向きベクトル（単位ベクトル）Ｄ１、Ｄ２、Ｄ３…Ｄｍ−１、Ｄｍ、視聴者の位置ベクトルＥ 、視聴者の向きベクトル（単位ベクトル）Ｆ 、仮想音源の位置、向きは音源の位置、向きと同じ、仮想マイクの初期位置は仮想スピーカの位置と同じ、仮想マイクの向きベクトル（単位ベクトル）Ｇｎ＝−Ｄｎ（仮想スピーカの向きとは逆向き）、仮想音源、仮想マイクの全ての組み合わせの数＝ｎ×ｍ 個とする。
【０１３３】
ステップＳ８２で、全て配置したか否かを判断する。具体的には、図１６に示した３Ｄサウンド処理部１６２は、仮想マイク配置部１６８により、全てのスピーカの数＝ｍ 、スピーカの位置ベクトルＣ１、Ｃ２、Ｃ３…Ｃｍ−１、Ｃｍ、スピーカの向きベクトル（単位ベクトル）Ｄ１、Ｄ２、Ｄ３…Ｄｍ−１、Ｄｍ、仮想音源、仮想マイクの全ての組み合わせの数＝ｎ×ｍ 個について仮想マイクの配置を行ったか否かを判断する。
【０１３４】
仮想マイクの配置終了まで、ステップＳ８１〜ステップＳ８２までの処理および判断を繰り返す。
【０１３５】
図２２は、音源の距離計算動作を示すフローチャートである。
図２２において、ステップＳ９１で、ある音源とマイクの距離計算を行う。具体的には、図１６に示した３Ｄサウンド処理部１６２の音源とマイクの距離計算部１６９−１は、仮想音源と仮想マイクの距離を計算する。
【０１３６】
ステップＳ９２で、他の音源、マイクがあるか否かを判断する。他の音源、マイクがあるときは、ステップＳ９３で、他の音源とマイクの距離計算を行う。
【０１３７】
他の音源、マイクの距離計算終了まで、ステップＳ９１〜ステップＳ９３までの処理および判断を繰り返す。
【０１３８】
ここで、音源の位置ベクトルＡ１、Ａ２、Ａ３…Ａｎ−１、Ａｎ、スピーカの位置ベクトルＣ１、Ｃ２、Ｃ３…Ｃｍ−１、Ｃｍ、視聴者の位置ベクトルＥ 、視聴者の向きベクトル（単位ベクトル）Ｆ として、全ての組み合わせにおいて、以下の計算を行う。
【０１３９】
視聴者の位置、向きによる相対的な仮想マイクの位置Ｈ は、仮想マイクの位置Ｃ を視聴者の向きベクトル（単位ベクトル）Ｆ に応じて回転し、視聴者の位置ベクトルＥ を足して算出することにより、以下の数１式で計算される。
【０１４０】
【数１】
Ｈ＝Ｃ ×Ｆ＋Ｅ
【０１４１】
また、仮想音源と仮想マイクの距離ｒは、仮想マイクの位置Ｈ から音源の位置ベクトルＡ を減算することにより、以下の数２式で計算される。
【０１４２】
【数２】
ｒ ＝｜Ｈ−Ａ ｜
【０１４３】
図２３は、音源の角度計算動作を示すフローチャートである。
図２３において、ステップＳ１０１で、ある音源から見たマイクの角度計算を行う。具体的には、図１６に示した３Ｄサウンド処理部１６２の音源から見たマイクの角度計算部１６９−２は、仮想音源から見た仮想マイクの角度を計算する。ステップＳ１０２で、他の音源、マイクがあるか否かを判断する。他の音源、マイクがあるときは、ステップＳ１０３で、他の音源とマイクの角度計算を行う。
【０１４４】
他の音源、マイクの角度計算終了まで、ステップＳ１０１〜ステップＳ１０３までの処理および判断を繰り返す。
【０１４５】
ここで、仮想音源から見た仮想マイクの方向と仮想音源の向きの角度差は、ここで、音源の位置ベクトルＡ１、Ａ２、Ａ３…Ａｎ−１、Ａｎ、音源の向きベクトル（単位ベクトル）Ｂ１、Ｂ２、Ｂ３…Ｂｎ−１、Ｂｎ、スピーカの位置ベクトルＣ１、Ｃ２、Ｃ３…Ｃｍ−１、Ｃｍ、仮想音源と仮想マイクの距離ｒとして、以下の数３式で計算される。
【０１４６】
【数３】
ｃｏｓ θ＝ ｛（Ｃ−Ａ ）・Ｂ ｝／ （｜Ｃ−Ａ ｜｜Ｂ ｜）＝｛（Ｃ−Ａ ）・Ｂ ｝／ｒ
【０１４７】
図２４は、マイクの角度計算動作を示すフローチャートである。
図２４において、ステップＳ１１１で、あるマイクから見た音源の角度計算を行う。具体的には、図１６に示した３Ｄサウンド処理部１６２のマイクから見た音源の角度計算部１６９−３は、仮想マイクから見た仮想音源の角度を計算する。ステップＳ１１２で、他のマイク、音源があるか否かを判断する。他のマイク、音源があるときは、ステップＳ１１３で、他のマイクと音源の角度計算を行う。
【０１４８】
他のマイク、音源の角度計算終了まで、ステップＳ１１１〜ステップＳ１１３までの処理および判断を繰り返す。
【０１４９】
ここで、仮想マイクから見た仮想音源の方向と仮想マイクの向きの角度差は、ここで、音源の位置ベクトルＡ１、Ａ２、Ａ３…Ａｎ−１、Ａｎ、スピーカの位置ベクトルＣ１、Ｃ２、Ｃ３…Ｃｍ−１、Ｃｍ、仮想マイクの向きベクトル（単位ベクトル）Ｇｎ、仮想音源と仮想マイクの距離ｒとして、以下の数４式で計算される。
【０１５０】
【数４】
ｃｏｓ θ＝ ｛（Ａ−Ｃ ）・Ｇ ｝／ （｜Ａ−Ｃ ｜｜Ｇ ｜）＝｛（Ａ−Ｃ ）・Ｇ ｝／ｒ
【０１５１】
図２５は、遅延量計算動作を示すフローチャートである。
図２５において、ステップＳ１２１で、ある音源とマイクの距離による遅延量計算を行う。具体的には、図１６に示した３Ｄサウンド処理部１６２の距離による遅延量計算部１７０−１は、音源とマイクの距離計算部１６９−１により計算された仮想音源と仮想マイクの距離による仮想音源の遅延量を計算する。
【０１５２】
ステップＳ１２２で、他の音源、マイクがあるか否かを判断する。他の音源、マイクがあるときは、ステップＳ１２３で、他の音源とマイクの距離による遅延量計算を行う。
【０１５３】
他の音源、マイクの距離による遅延量計算終了まで、ステップＳ１２１〜ステップＳ１２３までの処理および判断を繰り返す。
【０１５４】
ここで、音源、マイクの全ての組み合わせにおいて、以下の計算を行う。
距離による遅延ｄ は、仮想音源と仮想マイクの距離ｒとして、以下の数５式で計算される。
【０１５５】
【数５】
ｄ＝ ｒ×１／音速
【０１５６】
図２６は、減衰率計算動作を示すフローチャートである。
図２６において、ステップＳ１３１で、ある音源とマイクの距離による減衰率計算を行う。具体的には、図１６に示した３Ｄサウンド処理部１６２の距離による減衰率計算部１７０−２は、音源とマイクの距離計算部１６９−１により計算された仮想音源と仮想マイクの距離による仮想音源の減衰率を計算する。
【０１５７】
ステップＳ１３２で、他の音源、マイクがあるか否かを判断する。他の音源、マイクがあるときは、ステップＳ１３３で、他の音源とマイクの距離による減衰率計算を行う。
【０１５８】
他の音源、マイクの距離による減衰率計算終了まで、ステップＳ１３１〜ステップＳ１３３までの処理および判断を繰り返す。
【０１５９】
ここで、音源、マイクの全ての組み合わせにおいて、以下の計算を行う。
距離による音の減衰ａｔｔ１は、仮想音源と仮想マイクの距離ｒとして、以下の数６式で計算される。
【０１６０】
【数６】
ａｔｔ １＝ 減衰率＾ｒ
【０１６１】
図２７は、音源の減衰率計算動作を示すフローチャートである。
図２７において、ステップＳ１４１で、ある音源の指向性による減衰率計算を行う。具体的には、図１６に示した３Ｄサウンド処理部１６２の音源の指向性による減衰率計算部１７０−３は、音源から見たマイクの角度計算部１６９−２により計算された仮想音源から見た仮想マイクの角度による仮想音源の指向性による減衰率を計算する。
【０１６２】
ステップＳ１４２で、他の音源、マイクがあるか否かを判断する。他の音源、マイクがあるときは、ステップＳ１４３で、他の音源の指向性による減衰率計算を行う。
【０１６３】
他の音源の指向性による減衰率計算終了まで、ステップＳ１４１〜ステップＳ１４３までの処理および判断を繰り返す。
ここで、数３式のｃｏｓ θを元に音源の指向性による音の減衰ａｔｔ２を得る。
【０１６４】
図２８は、マイクの減衰率計算動作を示すフローチャートである。
図２８において、ステップＳ１５１で、あるマイクの指向性による減衰率計算を行う。具体的には、図１６に示した３Ｄサウンド処理部１６２のマイクの指向性による減衰率計算部１７０−４は、マイクから見た音源の角度計算部１６９−３により計算された仮想マイクから見た仮想音源の角度による仮想マイクの指向性による減衰率を計算する。
【０１６５】
ステップＳ１５２で、他の音源、マイクがあるか否かを判断する。他の音源、マイクがあるときは、ステップＳ１５３で、他のマイクの指向性による減衰率計算を行う。
【０１６６】
他のマイクの指向性による減衰率計算終了まで、ステップＳ１５１〜ステップＳ１５３までの処理および判断を繰り返す。
ここで、数４式のｃｏｓ θを元にマイクの指向性による音の減衰ａｔｔ３を得る。
【０１６７】
図２９は、遅延処理動作を示すフローチャートである。
図２９において、ステップＳ１６１で、ある音源とマイクの距離による遅延処理を行う。具体的には、図１６に示した３Ｄサウンド処理部１６２の距離による遅延処理部１７１は、音源データに対して、距離による遅延量計算部１７０−１により計算された仮想音源と仮想マイクの距離による仮想音源の遅延量に基づく遅延処理を施す。
【０１６８】
ステップＳ１６２で、他の音源、マイクがあるか否かを判断する。他の音源、マイクがあるときは、ステップＳ１６３で、他の音源とマイクの距離による遅延処理を行う。
【０１６９】
他の音源、マイクの距離による遅延処理終了まで、ステップＳ１６１〜ステップＳ１６３までの処理および判断を繰り返す。
【０１７０】
図３０は、減衰処理動作を示すフローチャートである。
図３０において、ステップＳ１７１で、ある音源とマイクの距離による減衰処理を行う。具体的には、図１６に示した３Ｄサウンド処理部１６２の減衰処理部１７２は、音源データに対して、距離による減衰率計算部１７０−２により計算された仮想音源と仮想マイクの距離による仮想音源の減衰率に基づく減衰処理を施す。
【０１７１】
ステップＳ１７２で、他の音源、マイクがあるか否かを判断する。他の音源、マイクがあるときは、ステップＳ１７３で、他の音源とマイクの距離による減衰処理を行う。
【０１７２】
図３１は、音源の減衰処理動作を示すフローチャートである。
図３１において、ステップＳ１８１で、ある音源の指向性による減衰処理を行う。具体的には、図１６に示した３Ｄサウンド処理部１６２の減衰処理部１７２は、音源データに対して、音源の指向性による減衰率計算部１７０−３により計算された仮想音源から見た仮想マイクの角度による仮想音源の指向性による減衰率に基づく減衰処理を施す。
【０１７３】
ステップＳ１８２で、他の音源、マイクがあるか否かを判断する。他の音源、マイクがあるときは、ステップＳ１８３で、他の音源の指向性による減衰処理を行う。
【０１７４】
他の音源の指向性による減衰処理終了まで、ステップＳ１８１〜ステップＳ１８３までの処理および判断を繰り返す。
【０１７５】
図３２は、マイクの減衰処理動作を示すフローチャートである。
図３２において、ステップＳ１９１で、あるマイクの指向性による減衰処理を行う。具体的には、図１６に示した３Ｄサウンド処理部１６２の減衰処理部１７２は、マイクの指向性による減衰率計算部１７０−４により計算された仮想マイクから見た仮想音源の角度による仮想マイクの指向性による減衰率に基づく減衰処理を施す。
【０１７６】
ステップＳ１９２で、他の音源、マイクがあるか否かを判断する。他の音源、マイクがあるときは、ステップＳ１９３で、他のマイクの指向性による減衰処理を行う。
【０１７７】
他のマイクの指向性による減衰処理終了まで、ステップＳ１９１〜ステップＳ１９３までの処理および判断を繰り返す。
【０１７８】
減衰処理部１７２では、仮想マイクに、仮想音源から発せられる音に対してディレイｄ 、音の減衰率ａｔｔ ＝ａｔｔ１×ａｔｔ２×ａｔｔ３を計算した音の足し合わせを行う。
【０１７９】
そして、仮想マイクに入った音を、対応する各スピーカに対応する出力へ出力する。
【０１８０】
上述した本実施の形態により、音源、視聴位置、視聴環境自由の３Ｄサウンド（ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｓｏｕｎｄ）を実現することができる。
【０１８１】
また、仮想空間内の音源位置等のパラメータをリアルタイムに操作し音源を移動させることができる。
【０１８２】
また、仮想空間内の視聴位置パラメータをリアルタイムに操作し仮想空間内を移動することができる。
【０１８３】
また、ユーザは住宅環境に制限されず、好きな場所にスピーカを設置することができる。
【０１８４】
また、ユーザはスピーカの数を増やすことで、臨場感を無制限に高めることができる。
【０１８５】
また、ユーザの再生環境に合ったサウンドを再生することができる。
【０１８６】
また、音源位置、視聴者の位置の移動による自然なドップラー効果を再現できる。
【０１８７】
なお、上述した実施の形態では、音源データはオーディオデータのみの場合を示したが、これに限らず、以下に示すように、映像に対応した位置情報を用いて３Ｄサウンド再生を行うようにしても良い。
【０１８８】
図３３は、３Ｄサウンド処理による音像を示す図である。
図３３において、再生時にリスナ３１１は、上述した３Ｄサウンド処理部によリ、ビデオモニタ３１２に再生される映像の位置情報に対応して、スピーカＬ、Ｒ、ＳＬ、ＳＲに対してセンタースピーカＣを加えた音像となるように視聴環境データを予め再生側で設定し、上述した３Ｄサウンド処理部により音像３１３の向きや位置が変更されるように処理し、再生チャンネルを変更することにより、スピーカＬ、Ｒ、ＳＬ、ＳＲのみにより再生される再生音像３１３を聴取することができる。
【０１８９】
また、ビデオモニタ３１２に再生される映像のうち例えばステージ上の第１バイオリンに対応するように、再生時に視聴位置データを入力して、上述した３Ｄサウンド処理部により音像３１４の向きや位置が変更されるように処理されることにより、リスナ３１１はステージ上の第１バイオリンの音像３１４がリスナ３１１に向けて定位するように聴取することができる。
【０１９０】
また、特定のコンサートホールの任意の座席における視聴環境データを予め再生側で設定することにより、上述した３Ｄサウンド処理部により音像３１４の向きや位置が変更されるように処理されることにより、リスナ３１１は特定のコンサートホールの任意の座席の音像３１４がリスナ３１１に向けて定位するように聴取することができる。
【０１９１】
図３４は、３６０度カメラ撮像映像を示す図である。
図３４において、全方位カメラ３２１は３６０度の周囲の被写体を例えば８画角に分割して連続処理して撮像する。全方位カメラ３２１により撮像された３６０度カメラ撮像映像３２２は、基準位置Ｏに対して前方中央方向の角度情報θ（−θを含む）を有するステージ３２３上の歌手３２４および演奏者３２５の映像を示すエリアＥ１と、基準位置Ｏに対して前方左方向の角度情報θを有する観客３２６の映像を示すエリアＥ２と、基準位置Ｏに対して左横方向の角度情報θを有する観客３２６の映像を示すエリアＥ３と、基準位置Ｏに対して後方左方向の角度情報θを有する観客３２６の映像を示すエリアＥ４と、基準位置Ｏに対して後方中央向の角度情報θを有する観客３２６の映像を示すエリアＥ５と、基準位置Ｏに対して後方右方向の角度情報θを有する観客３２６の映像を示すエリアＥ６と、基準位置Ｏに対して右横方向の角度情報θを有する観客３２６の映像を示すエリアＥ７と、基準位置Ｏに対して前方右方向の角度情報θを有する観客３２６の映像を示すエリアＥ８とを有して構成される。
【０１９２】
図１に示した収録側のＧＵＩアプリケーション画面１の音源設定部８によりθ位置設定部１３によるに角度情報θ位置に応じてオーディオ信号に映像の移動と同期した音像定位の信号処理を施すことにより、３６０度カメラ撮像映像３２２のエリアＥ１〜エリアＥ８までの角度情報θによる反時計方向の映像の移動に対応して滑らかに音像を反時計方向に移動させることができる。
【０１９３】
これにより、エリアＥ１における基準位置Ｏに対する前方中央方向の角度情報θ（−θを含む）を有するステージ３２３上の歌手３２４および演奏者３２５の映像に対して前方中央方向のステージ３２３上の歌手３２４および演奏者３２５の音像が定位し、エリアＥ２における基準位置Ｏに対する前方左方向の角度情報θを有する観客３２６の映像に対して前方左方向の観客３２６の音像が定位し、エリアＥ３における基準位置Ｏに対する左横方向の観客３２６の映像に対して左横方向の観客３２６の音像が定位し、エリアＥ４における基準位置Ｏに対する後方左方向の角度情報θを有する観客３２６の映像に対して後方左方向の観客３２６の音像が定位し、エリアＥ５における基準位置Ｏに対する後方中央向の角度情報θを有する観客３２６の映像に対して後方中央向の観客３２６の音像が定位し、エリアＥ６における基準位置Ｏに対する後方右方向の角度情報θを有する観客３２６の映像に対して後方右方向の観客３２６の音像が定位し、エリアＥ７における基準位置Ｏに対する右横方向の角度情報θを有する観客３２６の映像に対して右横方向の観客３２６の音像が定位し、エリアＥ８における基準位置Ｏに対する前方右方向の角度情報θを有する観客３２６の映像に対して前方右方向の観客３２６の音像が連続して定位する。
【０１９４】
逆に、３６０度カメラ撮像映像３２２のエリアＥ１〜エリアＥ２までの角度情報θによる時計方向の映像の移動に対応して滑らかに音像を時計方向に移動させることができる。
【０１９５】
これにより、エリアＥ１における基準位置Ｏに対する前方中央方向の角度情報θ（−θを含む）を有するステージ３２３上の歌手３２４および演奏者３２５の映像に対して前方中央方向のステージ３２３上の歌手３２４および演奏者３２５の音像が定位し、エリアＥ８における基準位置Ｏに対する前方右方向の角度情報θを有する観客３２６の映像に対して前方右方向の観客３２６の音像が定位し、エリアＥ７における基準位置Ｏに対する右横方向の角度情報θを有する観客３２６の映像に対して右横方向の観客３２６の音像が定位し、エリアＥ６における基準位置Ｏに対する後方右方向の角度情報θを有する観客３２６の映像に対して後方右方向の観客３２６の音像が定位し、エリアＥ５における基準位置Ｏに対する後方中央向の角度情報θを有する観客３２６の映像に対して後方中央向の観客３２６の音像が定位し、エリアＥ４における基準位置Ｏに対する後方左方向の角度情報θを有する観客３２６の映像に対して後方左方向の観客３２６の音像が定位し、エリアＥ３における基準位置Ｏに対する左横方向の観客３２６の映像に対して左横方向の観客３２６の音像が定位し、エリアＥ２における基準位置Ｏに対する前方左方向の角度情報θを有する観客３２６の映像に対して前方左方向の観客３２６の音像が連続して定位する。
【０１９６】
また、このときの角度情報は、水平方向の角度情報θに限らず、Φ位置設定部１４により垂直方向の角度情報としてあおり角度Φを指定することができる。これにより、３６０度カメラ撮像映像３２２のエリアＥ１〜エリアＥ８の映像に対して図１に示した収録側のＧＵＩアプリケーション画面１のチャンネル設定部１５で音像の定位を３次元空間で処理することができる。
【０１９７】
各信号処理の制御量は、３６０度カメラ撮像映像３２２を撮像するコンテンツでは、全方位カメラ３２１の基準位置Ｏに対して移動する角度情報θに応じて、図１に示した収録側のＧＵＩアプリケーション画面１の音源設定部８に対するθ位置設定部１３により音像の定位角度が比例して動くように処理される。
【０１９８】
また、全方位カメラ３２１の基準位置Ｏに対して左方から右方または右方から左方に移動すると移動距離に応じて、図１に示した収録側のＧＵＩアプリケーション画面１の音源設定部８に対するＸ位置設定部１０により音像が右へ移動または左に移動するように定位するように処理される。
【０１９９】
また、全方位カメラ３２１の基準位置Ｏに対して前方から後方または後方から前方に移動すると移動距離に応じて、図１に示した収録側のＧＵＩアプリケーション画面１の音源設定部８に対するＹ位置設定部１１により音像の音量が小さくまたは大きくなるように定位するように処理される。
【０２００】
また、全方位カメラ３２１の基準位置Ｏに対して下方から上方または上方から下方に移動すると移動距離に応じて、図１に示した収録側のＧＵＩアプリケーション画面１の音源設定部８に対するＺ位置設定部１２により音像が上がったり下がったりして定位するように処理される。
【０２０１】
また、全方位カメラ３２１の基準位置Ｏに対して前方から後方へあおり角度Φをつけてまたは後方から前方にあおり角度Φをつけて移動するとあおり角度Φに応じて、図１に示した収録側のＧＵＩアプリケーション画面１の音源設定部８に対するΦ位置設定部１４により音像があおり角度Φをつけて前方から後方へまたは後方から前方に定位するように処理される。
【０２０２】
また、全方位カメラ３２１の基準位置Ｏに対して、３６０度カメラ撮像映像３２２のエリアＥ１〜エリアＥ８の映像をそれぞれチャンネル分割すると、図１に示した収録側のＧＵＩアプリケーション画面１の音源設定部８に対するチャンネル設定部１５によりチャンネルを変更するようにして、３６０度カメラ撮像映像３２２のエリアＥ１〜エリアＥ８の映像音像がチャンネルごとに切り替えられるように処理される。
【０２０３】
なお、全方位カメラに限らず、後述する円周状カメラを用いてもよい。
図３５は、円周状カメラによる撮像を示す図である。
図３５において、被写体である歌手３３２に対して、基準位置Ｏに対して角度情報θに応じて、円周状カメラ３３１−１、３３１−２、３３１−３、３３１−４、３３１−５、３３１−６、３３１−７、３３１−８を設けて、角度情報θを有する円周状映像データを撮像する。このとき、図１に示した収録側のＧＵＩアプリケーション画面１の音源設定部８のΦ位置設定部１４により音像があおり角度Φをつけて前方から後方へまたは後方から前方に定位するように処理される。
なお、円周状カメラに限らず、一部分の円弧状カメラを用いてもよい。
【０２０４】
なお、これら場合にも、このときの角度情報は、θ位置設定部１３による水平方向の角度情報θに限らず、Φ位置設定部１４により垂直方向の角度情報としてあおり角度Φを指定することができる。これにより、円周状または円弧状撮像映像の各エリアの映像に対して図１に示した収録側のＧＵＩアプリケーション画面１のチャンネル設定部１５で音像の定位を３次元空間で処理することができる。
【０２０５】
これにより、収録側の音源数（マイクの数）、再生側のスピーカ数を増やしていくことで、音場の再現性を向上させることができる。
【０２０６】
スピーカの数を増やせることにより再生音がリアルになるのみでなく、逆に収録側のマイクの数＝音源の数を増やせば増やすほど（例えば、部屋中にＸ， Ｙ， Ｚそれぞれ１０ｃｍ間隔でマイクを立てる、など）その分収録側の音場を再生側でリアルに再現できるようにすることができる。
【０２０７】
なお、上述した本実施の形態に限らず、本発明の特許請求の範囲を逸脱しない限り、適宜他の構成をとりうることができることは言うまでもない。
【０２０８】
【発明の効果】
この発明の音像定位信号処理装置は、基準位置に対して位置情報を有して再生時における再生音像を任意の位置に定位させるように制作時において複数の音源から入力される各音源データに信号処理を施す音像定位信号処理装置において、上記複数の音源の位置を設定して音源位置出力を出力する音源設定手段と、上記複数の音源の再生音を出力する複数のスピーカの位置を設定してスピーカ位置出力を出力するスピーカ設定手段と、上記基準位置となるリスナの位置を設定してリスナ位置出力を出力するリスナ設定手段と、上記音源位置出力、スピーカ位置出力およびリスナ位置出力に基づいて上記複数の音源の再生音を出力する音源出力手段と、を備え、上記各音源データにリアルタイムで信号処理を施して上記位置情報に対応して音像定位位置を制御するようにしたので、収録側装置により、音源、リスナの視聴位置、スピーカなどの視聴環境を任意に設定した音響である３Ｄサウンド（ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｓｏｕｎｄ）の生放送（リアルタイム配信）を実現することができ、収録側の音源数（マイクの数）を増やしていくことにより、再生側の音場の再現性を向上させることができるという効果を奏する。
【０２０９】
また、この発明の音像定位信号処理装置は、上述において、上記音源設定手段、上記スピーカ設定手段および上記リスナ設定手段は、それぞれ、少なくとも水平面の縦位置、横位置、垂直面の高さ位置、水平面の角度および垂直面の角度を設定する手段を有するので、３Ｄ空間の任意の位置に、音源、リスナの視聴位置、スピーカなどの視聴環境を自由に設定することができるという効果を奏する。
【０２１０】
また、この発明の音像定位信号処理装置は、上述において、上記音源設定手段、上記スピーカ設定手段に対するチャンネルを設定するチャンネル設定手段を有するので、３Ｄサウンドの音源、スピーカのチャンネルを自由に設定することができるという効果を奏する。
【０２１１】
また、この発明の音像定位信号処理装置は、上述において、上記音源設定手段、上記スピーカ設定手段に対する指向性を設定する指向性設定手段を有するので、３Ｄサウンドの音源、スピーカの指向性を自由に設定することができるという効果を奏する。
【０２１２】
また、この発明の音像定位信号処理装置は、上述において、上記指向性設定手段は、少なくとも無指向性、双指向性、単一指向性を有するので、無指向性、双指向性または単一指向性を設定することができるという効果を奏する。
【０２１３】
また、この発明の音像定位信号処理装置は、上述において、上記音源設定手段、上記スピーカ設定手段に対する設定エリアにおけるスケールを設定するスケール設定手段を有するので、３Ｄサウンドの音源、スピーカのスケールを自由に設定することができるという効果を奏する。
【０２１４】
また、この発明の音像定位信号処理装置は、上述において、上記スケール設定手段は、上記リスナ位置に対する上記音源位置、上記スピーカ位置の距離による音源の再生音の減衰率を設定するので、３Ｄサウンドの音源、スピーカ位置の距離による音源の再生音の減衰率を自由に設定することができるという効果を奏する。
【０２１５】
また、この発明の音像定位信号処理装置は、上述において、上記音源設定手段、上記スピーカ設定手段および上記リスナ位置設定手段は、ＧＵＩアプリケーション画面上に設けられるので、ＧＵＩアプリケーション画面上で、３Ｄサウンドの音源、スピーカおよびリスナ位置を自由に設定することができるという効果を奏する。
【０２１６】
また、この発明の音像定位信号処理装置は、複数の音源から入力される各音源データに対して制作時における制御情報により信号処理を施した各音源データについて、基準位置に対する位置情報に対応するように再生時において再生音像を任意の位置に定位させるように信号処理を施す音像定位信号処理装置において、供給源から上記各音源データおよび上記音源の位置情報を読み出す読み出し手段と、上記音源の位置情報に基づいて仮想音源を配置する仮想音源配置手段と、リスナの視聴位置に応じた仮想マイクの位置を配置する仮想マイク配置手段と、上記仮想音源と上記仮想マイクとの位置に基づいて上記仮想マイクに入力される上記仮想音源の音の特性を計算する計算手段と、上記計算手段により計算された各仮想マイクに入力される音の特性に応じて上記音源データに信号処理を施す信号処理手段と、上記信号処理手段により信号処理を施された上記音源データに基づく再生音を出力する出力手段と、を備え、上記音源データにリアルタイムで信号処理を施して上記位置情報に対応して音像定位位置を制御するようにしたので、再生側装置で、仮想３Ｄ空間における視聴位置、音源の数、位置、方向、再生環境におけるスピーカの数、位置、方向自由の３Ｄサウンドを実現することができ、再生側のスピーカ数を増やしていくことにより、音場の再現性を向上させることができるという効果を奏する。
【０２１７】
また、この発明の音像定位信号処理装置は、上述において、上記計算手段は、上記仮想音源と上記仮想マイクの距離を計算する距離計算手段を有するので、仮想音源と仮想マイクの距離に基づく音源データに対する３Ｄサウンドの信号処理を施すことができるという効果を奏する。
【０２１８】
また、この発明の音像定位信号処理装置は、上述において、上記計算手段は、上記仮想音源から見た上記仮想マイクの角度を計算する音源角度計算手段を有するので、仮想音源から見た仮想マイクの角度に基づく音源データに対する３Ｄサウンドの信号処理を施すことができるという効果を奏する。
【０２１９】
また、この発明の音像定位信号処理装置は、上述において、上記計算手段は、上記仮想マイクから見た上記仮想音源の角度を計算するマイク角度計算手段を有するので、仮想マイクから見た仮想音源の角度に基づく音源データに対する３Ｄサウンドの信号処理を施すことができるという効果を奏する。
【０２２０】
また、この発明の音像定位信号処理装置は、上述において、上記計算手段は、上記距離計算手段により計算された上記仮想音源と上記仮想マイクの距離による上記仮想音源の遅延量を計算する遅延量計算手段を有するので、仮想音源と仮想マイクの距離による仮想音源の遅延量に基づく音源データに対する３Ｄサウンドの信号処理を施すことができるという効果を奏する。
【０２２１】
また、この発明の音像定位信号処理装置は、上述において、上記計算手段は、上記距離計算手段により計算された上記仮想音源と上記仮想マイクの距離による上記仮想音源の減衰率を計算する減衰率計算手段を有するので、仮想音源と仮想マイクの距離による仮想音源の減衰率に基づく音源データに対する３Ｄサウンドの信号処理を施すことができるという効果を奏する。
【０２２２】
また、この発明の音像定位信号処理装置は、上述において、上記計算手段は、上記音源角度計算手段により計算された上記仮想音源から見た上記仮想マイクの角度による上記仮想音源の指向性による減衰率を計算する音源角度減衰率計算手段を有するので、仮想音源から見た仮想マイクの角度による仮想音源の指向性による減衰率に基づく音源データに対する３Ｄサウンドの信号処理を施すことができるという効果を奏する。
【０２２３】
また、この発明の音像定位信号処理装置は、上述において、上記計算手段は、上記マイク角度計算手段により計算された上記仮想マイクから見た上記仮想音源の角度による上記仮想マイクの指向性による減衰率を計算するマイク角度減衰率計算手段を有するので、仮想マイクから見た仮想音源の角度による仮想マイクの指向性による減衰率に基づく音源データに対する３Ｄサウンドの信号処理を施すことができるという効果を奏する。
【０２２４】
また、この発明の音像定位信号処理装置は、上述において、上記仮想マイク配置手段は、上記音源データの再生時に入力されるリスナの視聴位置に対応した視聴位置データに基づいて仮想マイクの位置を配置するので、音源データの再生時における座標の移動または回転により任意のリスナの視聴位置に基づいた３Ｄサウンドの信号処理を施すことができるという効果を奏する。
【０２２５】
また、この発明の音像定位信号処理装置は、上述において、上記仮想マイク配置手段は、予め再生側で設定されるリスナの視聴環境データに基づいて仮想マイクの位置を配置するので、予め再生側で設定された特定の再生チャンネルや特定のステージ位置や特定のコンサートホールの座席などの任意のリスナの視聴環境データに基づいた３Ｄサウンドの信号処理を施すことができるという効果を奏する。
【０２２６】
また、この発明の音像定位信号処理装置は、上述において、上記音源データは、ネットワークを介して配信され、または記録媒体を介して供給されるので、供給源のネットワークから配信され、または記録媒体から各音源データおよび音源の位置情報を読み出すことができるという効果を奏する。
【０２２７】
また、この発明の音像定位信号処理装置は、上述において、上記信号処理手段は、上記音源データに対して、上記遅延量計算手段により計算された上記仮想音源と上記仮想マイクの距離による上記仮想音源の遅延量に基づく遅延処理を施す遅延処理手段を有するので、仮想音源と仮想マイクの距離による仮想音源の遅延量に基づく音源データに対する３Ｄサウンドの遅延処理を施すことができるという効果を奏する。
【０２２８】
また、この発明の音像定位信号処理装置は、上述において、上記信号処理手段は、上記音源データに対して、上記減衰率計算手段により計算された上記仮想音源と上記仮想マイクの距離による上記仮想音源の減衰率に基づく減衰処理を施す減衰処理手段を有するので、仮想音源と仮想マイクの距離による仮想音源の減衰率に基づく音源データに対する３Ｄサウンドの減衰処理を施すことができるという効果を奏する。
【０２２９】
また、この発明の音像定位信号処理装置は、上述において、上記信号処理手段は、上記音源データに対して、上記音源角度減衰率計算手段により計算された上記仮想音源から見た上記仮想マイクの角度による上記仮想音源の指向性による減衰率に基づく減衰処理を施す減衰処理手段を有するので、仮想音源から見た仮想マイクの角度による仮想音源の指向性による減衰率に基づく音源データに対する３Ｄサウンドの減衰処理を施すことができるという効果を奏する。
【０２３０】
また、この発明の音像定位信号処理装置は、上述において、上記信号処理手段は、上記マイク角度減衰率計算手段により計算された上記仮想マイクから見た上記仮想音源の角度による上記仮想マイクの指向性による減衰率に基づく減衰処理を施す減衰処理手段を有するので、仮想マイクから見た仮想音源の角度による仮想マイクの指向性による減衰率に基づく音源データに対する３Ｄサウンドの減衰処理を施すことができるという効果を奏する。
【０２３１】
また、この発明の音像定位信号処理方法は、基準位置に対して位置情報を有して再生時における再生音像を任意の位置に定位させるように制作時において複数の音源から入力される各音源データに信号処理を施す音像定位信号処理方法において、上記複数の音源の位置を設定して音源位置出力を出力する音源設定ステップと、上記複数の音源の再生音を出力する複数のスピーカの位置を設定してスピーカ位置出力を出力するスピーカ設定ステップと、上記基準位置となるリスナの位置を設定してリスナ位置出力を出力するリスナ設定ステップと、上記音源位置出力、スピーカ位置出力およびリスナ位置出力に基づいて上記複数の音源の再生音を出力する音源出力ステップと、を備え、上記各音源データにリアルタイムで信号処理を施して上記位置情報に対応して音像定位位置を制御するようにしたので、収録側で、音源、リスナの視聴位置、スピーカなどの視聴環境を任意に設定した音響である３Ｄサウンドの生放送（リアルタイム配信）を実現することができ、収録側の音源数（マイクの数）を増やしていくことにより、再生側の音場の再現性を向上させることができるという効果を奏する。
【０２３２】
また、この発明の音像定位信号処理方法は、複数の音源から入力される各音源データに対して制作時における制御情報により信号処理を施した各音源データについて、基準位置に対する位置情報に対応するように再生時において再生音像を任意の位置に定位させるように信号処理を施す音像定位信号処理方法において、供給源から上記各音源データおよび上記音源の位置情報を読み出す読み出しステップと、上記音源の位置情報に基づいて仮想音源を配置する仮想音源配置ステップと、リスナの視聴位置に応じた仮想マイクの位置を配置する仮想マイク配置ステップと、上記仮想音源と上記仮想マイクとの位置に基づいて上記仮想マイクに入力される上記仮想音源の音の特性を計算する計算ステップと、上記計算ステップにより計算された各仮想マイクに入力される音の特性に応じて上記音源データに信号処理を施す信号処理ステップと、上記信号処理ステップにより信号処理を施された上記音源データに基づく再生音を出力する出力ステップと、を備え、上記音源データにリアルタイムで信号処理を施して上記位置情報に対応して音像定位位置を制御するようにしたので、再生側で、仮想３Ｄ空間における視聴位置、音源の数、位置、方向、再生環境におけるスピーカの数、位置、方向自由の３Ｄサウンドを実現することができ、再生側のスピーカ数を増やしていくことにより、音場の再現性を向上させることができるという効果を奏する。
【図面の簡単な説明】
【図１】本実施の形態に適用される収録側のスピーカ、音源、リスナ設定のＧＵＩアプリケーション画面を示す図である。
【図２】モード設定部の構成を示すブロック図である。
【図３】指向性選択部の構成を示すブロック図である。
【図４】スケール設定部の構成を示すブロック図である。
【図５】音源出力部の構成を示すブロック図である。
【図６】モード設定動作を示すフローチャートである。
【図７】音源設定動作を示すフローチャートである。
【図８】スピーカ設定動作を示すフローチャートである。
【図９】リスナ設定動作を示すフローチャートである。
【図１０】チャンネル設定動作を示すフローチャートである。
【図１１】位置設定を示す図である。
【図１２】指向性設定を示す図であり、図１２ＡはＯｍｎｉに対するＦｉｇｕｒｅ−８，図１２ＢはＣａｒｄｉｏｉｄ，図１２ＣはＳｕｐｅｒ−Ｃａｒｄｉｏｉｄである。
【図１３】指向性を示す特性図である。
【図１４】音源データと音源の位置情報の送出を示す図である。
【図１５】音源データと音源の位置情報の送出動作を示すフローチャートである。
【図１６】再生側の３Ｄサウンド再生処理を示すブロック図である。
【図１７】３Ｄサウンド対応ゲーム機の構成を示すブロック図である。
【図１８】ＤＶＤディスク再生装置の構成を示すブロック図である。
【図１９】３Ｄサウンド再生処理動作を示すフローチャートである。
【図２０】音源の配置処理動作を示すフローチャートである。
【図２１】マイクの配置処理動作を示すフローチャートである。
【図２２】音源の距離計算動作を示すフローチャートである。
【図２３】音源の角度計算動作を示すフローチャートである。
【図２４】マイクの角度計算動作を示すフローチャートである。
【図２５】遅延量計算動作を示すフローチャートである。
【図２６】減衰率計算動作を示すフローチャートである。
【図２７】音源の減衰率計算動作を示すフローチャートである。
【図２８】マイクの減衰率計算動作を示すフローチャートである。
【図２９】遅延処理動作を示すフローチャートである。
【図３０】減衰処理動作を示すフローチャートである。
【図３１】音源の減衰処理動作を示すフローチャートである。
【図３２】マイクの減衰処理動作を示すフローチャートである。
【図３３】３Ｄサウンド処理による音像を示す図である。
【図３４】３６０度カメラ撮像映像を示す図である。
【図３５】円周状カメラによる撮像を示す図である。
【符号の説明】
１……ＧＵＩアプリケーション画面、２……設定エリア、３……音源、４……スピーカ、５……リスナ、６……モード設定部、７……スピーカ設定部、８……音源設定部、９……リスナ設定部、１０……Ｘ位置設定部、１１……Ｙ位置設定部、１２……Ｚ位置設定部、１３……θ位置設定部、１４……Φ位置設定部、１６……指向性選択部、１７……Ｏｍｎｉ設定部、１８……Ｃａｒｄｉｏｉｄ設定部、１９……Ｓｕｐｅｒ−Ｃａｒｄｉｏｉｄ設定部、２０……Ｆｉｇｕｅｒ−８設定部、２１……スケール設定部、２２……スピーカスケール設定部、２３……音源スケール設定部、２４……距離による減衰率設定部、１６１……供給源、１６２……３Ｄサウンド処理部、１６３……音源データ読み出し部、１６４……コントローラ、１６５……視聴位置データ、１６６……視聴環境データ、１６７……仮想音源配置部、１６８……仮想マイク配置部、１６９−１……音源とマイクの距離計算部、１６９−２……音源から見たマイクの角度計算部、１６９−３……マイクから見た音源の角度計算部、１７０−１……距離による遅延量計算部、１７０−２……距離による減衰量計算部、１７０−３……音源の指向性による減衰量計算部、１７０−４……マイクの指向性による減衰量計算部、１７１……遅延処理部、１７２……減衰処理部、１７６……出力部、３１１……リスナ、３１２……ビデオモニタ、３１３，３１４……音像、３２１……全方位カメラ、３２２……３６０度カメラ映像、３３１……円周状カメラ
Claims (25)
- 基準位置に対して位置情報を有して再生時における再生音像を任意の位置に定位させるように制作時において複数の音源から入力される各音源データに信号処理を施す音像定位信号処理装置において、
上記複数の音源の位置を設定して音源位置出力を出力する音源設定手段と、
上記複数の音源の再生音を出力する複数のスピーカの位置を設定してスピーカ位置出力を出力するスピーカ設定手段と、
上記基準位置となるリスナの位置を設定してリスナ位置出力を出力するリスナ設定手段と、
上記音源位置出力、スピーカ位置出力およびリスナ位置出力に基づいて上記複数の音源の再生音を出力する音源出力手段と、
を備え、上記各音源データにリアルタイムで信号処理を施して上記位置情報に対応して音像定位位置を制御するようにしたことを特徴とする音像定位信号処理装置。 - 請求項１記載の音像定位信号処理装置において、
上記音源設定手段、上記スピーカ設定手段および上記リスナ設定手段は、それぞれ、少なくとも水平面の縦位置、横位置、垂直面の高さ位置、水平面の角度および垂直面の角度を設定する手段を有することを特徴とする音像定位信号処理装置。 - 請求項１記載の音像定位信号処理装置において、
上記音源設定手段、上記スピーカ設定手段に対するチャンネルを設定するチャンネル設定手段を有することを特徴とする音像定位信号処理装置。 - 請求項１記載の音像定位信号処理装置において、
上記音源設定手段、上記スピーカ設定手段に対する指向性を設定する指向性設定手段を有することを特徴とする音像定位信号処理装置。 - 請求項４記載の音像定位信号処理装置において、
上記指向性設定手段は、少なくとも無指向性、双指向性、単一指向性を有することを特徴とする音像定位信号処理装置。 - 請求項１記載の音像定位信号処理装置において、
上記音源設定手段、上記スピーカ設定手段に対する設定エリアにおけるスケールを設定するスケール設定手段を有することを特徴とする音像定位信号処理装置。 - 請求項６記載の音像定位信号処理装置において、
上記スケール設定手段は、上記リスナ位置に対する上記音源位置、上記スピーカ位置の距離による音源の再生音の減衰率を設定する、距離による減衰率設定手段を有することを特徴とする音像定位信号処理装置。 - 請求項１記載の音像定位信号処理装置において、
上記音源設定手段、上記スピーカ設定手段および上記リスナ位置設定手段は、ＧＵＩアプリケーション画面上に設けられることを特徴とする音像定位信号処理装置。 - 複数の音源から入力される各音源データに対して制作時における制御情報により信号処理を施した各音源データについて、基準位置に対する位置情報に対応するように再生時において再生音像を任意の位置に定位させるように信号処理を施す音像定位信号処理装置において、
供給源から上記各音源データおよび上記音源の位置情報を読み出す読み出し手段と、
上記音源の位置情報に基づいて仮想音源を配置する仮想音源配置手段と、
リスナの視聴位置に応じた仮想マイクの位置を配置する仮想マイク配置手段と、
上記仮想音源と上記仮想マイクとの位置に基づいて上記仮想マイクに入力される上記仮想音源の音の特性を計算する計算手段と、
上記計算手段により計算された各仮想マイクに入力される音の特性に応じて上記音源データに信号処理を施す信号処理手段と、
上記信号処理手段により信号処理を施された上記音源データに基づく再生音を出力する出力手段と、
を備え、上記音源データにリアルタイムで信号処理を施して上記位置情報に対応して音像定位位置を制御するようにしたことを特徴とする音像定位信号処理装置。 - 請求項９記載の音像定位信号処理装置において、
上記計算手段は、上記仮想音源と上記仮想マイクの距離を計算する距離計算手段を有することを特徴とする音像定位信号処理装置。 - 請求項９記載の音像定位信号処理装置において、
上記計算手段は、上記仮想音源から見た上記仮想マイクの角度を計算する音源角度計算手段を有することを特徴とする音像定位信号処理装置。 - 請求項９記載の音像定位信号処理装置において、
上記計算手段は、上記仮想マイクから見た上記仮想音源の角度を計算するマイク角度計算手段を有することを特徴とする音像定位信号処理装置。 - 請求項１０記載の音像定位信号処理装置において、
上記計算手段は、上記距離計算手段により計算された上記仮想音源と上記仮想マイクの距離による上記仮想音源の遅延量を計算する遅延量計算手段を有することを特徴とする音像定位信号処理装置。 - 請求項１０記載の音像定位信号処理装置において、
上記計算手段は、上記距離計算手段により計算された上記仮想音源と上記仮想マイクの距離による上記仮想音源の減衰率を計算する減衰率計算手段を有することを特徴とする音像定位信号処理装置。 - 請求項１１記載の音像定位信号処理装置において、
上記計算手段は、上記音源角度計算手段により計算された上記仮想音源から見た上記仮想マイクの角度による上記仮想音源の指向性による減衰率を計算する音源角度減衰率計算手段を有することを特徴とする音像定位信号処理装置。 - 請求項１２記載の音像定位信号処理装置において、
上記計算手段は、上記マイク角度計算手段により計算された上記仮想マイクから見た上記仮想音源の角度による上記仮想マイクの指向性による減衰率を計算するマイク角度減衰率計算手段を有することを特徴とする音像定位信号処理装置。 - 請求項９記載の音像定位信号処理装置において、
上記仮想マイク配置手段は、上記音源データの再生時に入力されるリスナの視聴位置に対応した視聴位置データに基づいて仮想マイクの位置を配置することを特徴とする音像定位信号処理装置。 - 請求項９記載の音像定位信号処理装置において、
上記仮想マイク配置手段は、予め再生側で設定されるリスナの視聴環境データに基づいて仮想マイクの位置を配置することを特徴とする音像定位信号処理装置。 - 請求項９記載の音像定位信号処理装置において、
上記音源データは、ネットワークを介して配信され、または記録媒体を介して供給されることを特徴とする音像定位信号処理装置。 - 請求項１３記載の音像定位信号処理装置において、
上記信号処理手段は、上記音源データに対して、上記遅延量計算手段により計算された上記仮想音源と上記仮想マイクの距離による上記仮想音源の遅延量に基づく遅延処理を施す遅延処理手段を有することを特徴とする音像定位信号処理装置。 - 請求項１４記載の音像定位信号処理装置において、
上記信号処理手段は、上記音源データに対して、上記減衰率計算手段により計算された上記仮想音源と上記仮想マイクの距離による上記仮想音源の減衰率に基づく減衰処理を施す減衰処理手段を有することを特徴とする音像定位信号処理装置。 - 請求項１５記載の音像定位信号処理装置において、
上記信号処理手段は、上記音源データに対して、上記音源角度減衰率計算手段により計算された上記仮想音源から見た上記仮想マイクの角度による上記仮想音源の指向性による減衰率に基づく減衰処理を施す減衰処理手段を有することを特徴とする音像定位信号処理装置。 - 請求項１６記載の音像定位信号処理装置において、
上記信号処理手段は、上記マイク角度減衰率計算手段により計算された上記仮想マイクから見た上記仮想音源の角度による上記仮想マイクの指向性による減衰率に基づく減衰処理を施す減衰処理手段を有することを特徴とする音像定位信号処理装置。 - 基準位置に対して位置情報を有して再生時における再生音像を任意の位置に定位させるように制作時において複数の音源から入力される各音源データに信号処理を施す音像定位信号処理方法において、
上記複数の音源の位置を設定して音源位置出力を出力する音源設定ステップと、
上記複数の音源の再生音を出力する複数のスピーカの位置を設定してスピーカ位置出力を出力するスピーカ設定ステップと、
上記基準位置となるリスナの位置を設定してリスナ位置出力を出力するリスナ設定ステップと、
上記音源位置出力、スピーカ位置出力およびリスナ位置出力に基づいて上記複数の音源の再生音を出力する音源出力ステップと、
を備え、上記各音源データにリアルタイムで信号処理を施して上記位置情報に対応して音像定位位置を制御するようにしたことを特徴とする音像定位信号処理方法。 - 複数の音源から入力される各音源データに対して制作時における制御情報により信号処理を施した各音源データについて、基準位置に対する位置情報に対応するように再生時において再生音像を任意の位置に定位させるように信号処理を施す音像定位信号処理方法において、
供給源から上記各音源データおよび上記音源の位置情報を読み出す読み出しステップと、
上記音源の位置情報に基づいて仮想音源を配置する仮想音源配置ステップと、リスナの視聴位置に応じた仮想マイクの位置を配置する仮想マイク配置ステップと、
上記仮想音源と上記仮想マイクとの位置に基づいて上記仮想マイクに入力される上記仮想音源の音の特性を計算する計算ステップと、
上記計算ステップにより計算された各仮想マイクに入力される音の特性に応じて上記音源データに信号処理を施す信号処理ステップと、
上記信号処理ステップにより信号処理を施された上記音源データに基づく再生音を出力する出力ステップと、
を備え、上記音源データにリアルタイムで信号処理を施して上記位置情報に対応して音像定位位置を制御するようにしたことを特徴とする音像定位信号処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002358322A JP2004193877A (ja) | 2002-12-10 | 2002-12-10 | 音像定位信号処理装置および音像定位信号処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002358322A JP2004193877A (ja) | 2002-12-10 | 2002-12-10 | 音像定位信号処理装置および音像定位信号処理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004193877A true JP2004193877A (ja) | 2004-07-08 |
Family
ID=32758070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002358322A Pending JP2004193877A (ja) | 2002-12-10 | 2002-12-10 | 音像定位信号処理装置および音像定位信号処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004193877A (ja) |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000116943A (ja) * | 1998-10-16 | 2000-04-25 | Sega Enterp Ltd | ゲーム装置 |
| JP2006163175A (ja) * | 2004-12-09 | 2006-06-22 | National Institute Of Advanced Industrial & Technology | 視覚障害者のための歩行訓練環境生成システム |
| JP2006287835A (ja) * | 2005-04-05 | 2006-10-19 | Yamaha Corp | パラメータ生成方法、パラメータ生成装置およびプログラム |
| JP2006287836A (ja) * | 2005-04-05 | 2006-10-19 | Yamaha Corp | パラメータ生成方法、パラメータ生成装置およびプログラム |
| JP2006287833A (ja) * | 2005-04-05 | 2006-10-19 | Yamaha Corp | データ処理方法、データ処理装置およびプログラム |
| JP2007037728A (ja) * | 2005-08-02 | 2007-02-15 | Konami Digital Entertainment:Kk | 音出力装置、音出力方法及びプログラム |
| JP2007266967A (ja) * | 2006-03-28 | 2007-10-11 | Yamaha Corp | 音像定位装置およびマルチチャンネルオーディオ再生装置 |
| JP2008522244A (ja) * | 2004-11-30 | 2008-06-26 | アギア システムズ インコーポレーテッド | オブジェクト・ベースのサイド情報を用いる空間オーディオのパラメトリック・コーディング |
| JP2010041190A (ja) * | 2008-08-01 | 2010-02-18 | Yamaha Corp | 音響装置及びプログラム |
| JP2010521115A (ja) * | 2007-03-09 | 2010-06-17 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号の処理方法及び装置 |
| US7859533B2 (en) | 2005-04-05 | 2010-12-28 | Yamaha Corporation | Data processing apparatus and parameter generating apparatus applied to surround system |
| KR101120909B1 (ko) * | 2006-10-16 | 2012-02-27 | 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. | 멀티 채널 파라미터 변환 장치, 방법 및 컴퓨터로 판독가능한 매체 |
| US8200500B2 (en) | 2001-05-04 | 2012-06-12 | Agere Systems Inc. | Cue-based audio coding/decoding |
| US8204261B2 (en) | 2004-10-20 | 2012-06-19 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Diffuse sound shaping for BCC schemes and the like |
| JP2012249292A (ja) * | 2011-05-27 | 2012-12-13 | Visteon Global Technologies Inc | 方向性音響データを生成するための方法及び装置 |
| US8422688B2 (en) | 2007-09-06 | 2013-04-16 | Lg Electronics Inc. | Method and an apparatus of decoding an audio signal |
| US8463413B2 (en) | 2007-03-09 | 2013-06-11 | Lg Electronics Inc. | Method and an apparatus for processing an audio signal |
| CN103460285A (zh) * | 2010-12-03 | 2013-12-18 | 弗兰霍菲尔运输应用研究公司 | 用于以几何为基础的空间音频编码的装置及方法 |
| JP2014093727A (ja) * | 2012-11-06 | 2014-05-19 | Pioneer Electronic Corp | 音響制御装置、音響制御装置の制御方法、プログラム |
| KR101415026B1 (ko) * | 2007-11-19 | 2014-07-04 | 삼성전자주식회사 | 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법 및장치 |
| JP2014523190A (ja) * | 2011-07-01 | 2014-09-08 | ドルビー ラボラトリーズ ライセンシング コーポレイション | オブジェクトベースオーディオのアップミキシング |
| JP2015149549A (ja) * | 2014-02-05 | 2015-08-20 | 日本放送協会 | 複数音源配置装置、複数音源配置方法 |
| JP2016163181A (ja) * | 2015-03-02 | 2016-09-05 | キヤノン株式会社 | 信号処理装置及び信号処理方法 |
| US9565509B2 (en) | 2006-10-16 | 2017-02-07 | Dolby International Ab | Enhanced coding and parameter representation of multichannel downmixed object coding |
| US10754610B2 (en) | 2017-04-27 | 2020-08-25 | Teac Corporation | Target position setting apparatus and sound image localization apparatus |
| CN112562076A (zh) * | 2020-10-15 | 2021-03-26 | 杭州兆华电子有限公司 | 一种基于云平台及5g网络的噪声分析平台 |
-
2002
- 2002-12-10 JP JP2002358322A patent/JP2004193877A/ja active Pending
Cited By (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000116943A (ja) * | 1998-10-16 | 2000-04-25 | Sega Enterp Ltd | ゲーム装置 |
| US8200500B2 (en) | 2001-05-04 | 2012-06-12 | Agere Systems Inc. | Cue-based audio coding/decoding |
| US8204261B2 (en) | 2004-10-20 | 2012-06-19 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Diffuse sound shaping for BCC schemes and the like |
| JP2008522244A (ja) * | 2004-11-30 | 2008-06-26 | アギア システムズ インコーポレーテッド | オブジェクト・ベースのサイド情報を用いる空間オーディオのパラメトリック・コーディング |
| US8340306B2 (en) | 2004-11-30 | 2012-12-25 | Agere Systems Llc | Parametric coding of spatial audio with object-based side information |
| JP2006163175A (ja) * | 2004-12-09 | 2006-06-22 | National Institute Of Advanced Industrial & Technology | 視覚障害者のための歩行訓練環境生成システム |
| JP4534014B2 (ja) * | 2004-12-09 | 2010-09-01 | 独立行政法人産業技術総合研究所 | 視覚障害者のための歩行訓練環境生成システム |
| JP2006287836A (ja) * | 2005-04-05 | 2006-10-19 | Yamaha Corp | パラメータ生成方法、パラメータ生成装置およびプログラム |
| JP2006287833A (ja) * | 2005-04-05 | 2006-10-19 | Yamaha Corp | データ処理方法、データ処理装置およびプログラム |
| US7859533B2 (en) | 2005-04-05 | 2010-12-28 | Yamaha Corporation | Data processing apparatus and parameter generating apparatus applied to surround system |
| US8331575B2 (en) | 2005-04-05 | 2012-12-11 | Yamaha Corporation | Data processing apparatus and parameter generating apparatus applied to surround system |
| JP2006287835A (ja) * | 2005-04-05 | 2006-10-19 | Yamaha Corp | パラメータ生成方法、パラメータ生成装置およびプログラム |
| JP2007037728A (ja) * | 2005-08-02 | 2007-02-15 | Konami Digital Entertainment:Kk | 音出力装置、音出力方法及びプログラム |
| JP2007266967A (ja) * | 2006-03-28 | 2007-10-11 | Yamaha Corp | 音像定位装置およびマルチチャンネルオーディオ再生装置 |
| US9565509B2 (en) | 2006-10-16 | 2017-02-07 | Dolby International Ab | Enhanced coding and parameter representation of multichannel downmixed object coding |
| KR101120909B1 (ko) * | 2006-10-16 | 2012-02-27 | 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. | 멀티 채널 파라미터 변환 장치, 방법 및 컴퓨터로 판독가능한 매체 |
| US8687829B2 (en) | 2006-10-16 | 2014-04-01 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for multi-channel parameter transformation |
| US8359113B2 (en) | 2007-03-09 | 2013-01-22 | Lg Electronics Inc. | Method and an apparatus for processing an audio signal |
| JP2010521115A (ja) * | 2007-03-09 | 2010-06-17 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号の処理方法及び装置 |
| US8463413B2 (en) | 2007-03-09 | 2013-06-11 | Lg Electronics Inc. | Method and an apparatus for processing an audio signal |
| US8594817B2 (en) | 2007-03-09 | 2013-11-26 | Lg Electronics Inc. | Method and an apparatus for processing an audio signal |
| US8422688B2 (en) | 2007-09-06 | 2013-04-16 | Lg Electronics Inc. | Method and an apparatus of decoding an audio signal |
| US8532306B2 (en) | 2007-09-06 | 2013-09-10 | Lg Electronics Inc. | Method and an apparatus of decoding an audio signal |
| KR101415026B1 (ko) * | 2007-11-19 | 2014-07-04 | 삼성전자주식회사 | 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법 및장치 |
| JP2010041190A (ja) * | 2008-08-01 | 2010-02-18 | Yamaha Corp | 音響装置及びプログラム |
| CN103460285A (zh) * | 2010-12-03 | 2013-12-18 | 弗兰霍菲尔运输应用研究公司 | 用于以几何为基础的空间音频编码的装置及方法 |
| JP2014501945A (ja) * | 2010-12-03 | 2014-01-23 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | 幾何ベースの空間オーディオ符号化のための装置および方法 |
| US9396731B2 (en) | 2010-12-03 | 2016-07-19 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Sound acquisition via the extraction of geometrical information from direction of arrival estimates |
| US10109282B2 (en) | 2010-12-03 | 2018-10-23 | Friedrich-Alexander-Universitaet Erlangen-Nuernberg | Apparatus and method for geometry-based spatial audio coding |
| JP2012249292A (ja) * | 2011-05-27 | 2012-12-13 | Visteon Global Technologies Inc | 方向性音響データを生成するための方法及び装置 |
| JP2014523190A (ja) * | 2011-07-01 | 2014-09-08 | ドルビー ラボラトリーズ ライセンシング コーポレイション | オブジェクトベースオーディオのアップミキシング |
| US9119011B2 (en) | 2011-07-01 | 2015-08-25 | Dolby Laboratories Licensing Corporation | Upmixing object based audio |
| JP2014093727A (ja) * | 2012-11-06 | 2014-05-19 | Pioneer Electronic Corp | 音響制御装置、音響制御装置の制御方法、プログラム |
| JP2015149549A (ja) * | 2014-02-05 | 2015-08-20 | 日本放送協会 | 複数音源配置装置、複数音源配置方法 |
| JP2016163181A (ja) * | 2015-03-02 | 2016-09-05 | キヤノン株式会社 | 信号処理装置及び信号処理方法 |
| US10754610B2 (en) | 2017-04-27 | 2020-08-25 | Teac Corporation | Target position setting apparatus and sound image localization apparatus |
| CN112562076A (zh) * | 2020-10-15 | 2021-03-26 | 杭州兆华电子有限公司 | 一种基于云平台及5g网络的噪声分析平台 |
| CN112562076B (zh) * | 2020-10-15 | 2024-02-23 | 杭州兆华电子股份有限公司 | 一种基于云平台及5g网络的噪声分析平台 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004193877A (ja) | 音像定位信号処理装置および音像定位信号処理方法 | |
| US7881479B2 (en) | Audio processing method and sound field reproducing system | |
| US6490359B1 (en) | Method and apparatus for using visual images to mix sound | |
| US9693009B2 (en) | Sound source selection for aural interest | |
| KR101777639B1 (ko) | 음향 재생을 위한 방법 | |
| US5636283A (en) | Processing audio signals | |
| CN101163204B (zh) | 声音拾取设备和声音拾取方法 | |
| US8688249B2 (en) | Processing audio input signals | |
| Stade et al. | A spatial audio impulse response compilation captured at the WDR broadcast studios | |
| MX2011007035A (es) | Procedimiento y aparato para la codificacion de campos acusticos tridimensionales y una reconstruccion optima. | |
| JP7192786B2 (ja) | 信号処理装置および方法、並びにプログラム | |
| JP2002345097A (ja) | サラウンド音場再生システム | |
| US20220386062A1 (en) | Stereophonic audio rearrangement based on decomposed tracks | |
| JP4498280B2 (ja) | 再生位置を決定するための装置及び方法 | |
| JP2007158527A (ja) | 信号処理装置、信号処理方法、再生装置、記録装置 | |
| Braasch et al. | A loudspeaker-based projection technique for spatial music applications using virtual microphone control | |
| US20190313174A1 (en) | Distributed Audio Capture and Mixing | |
| JP2005086537A (ja) | 高臨場音場再現情報送信装置、高臨場音場再現情報送信プログラム、高臨場音場再現情報送信方法および高臨場音場再現情報受信装置、高臨場音場再現情報受信プログラム、高臨場音場再現情報受信方法 | |
| Chabot | Spatialized sound reproduction for telematic music performances in an immersive virtual environment | |
| Munoz | Space Time Exploration of Musical Instruments | |
| Braasch et al. | A cinematic spatial sound display for panorama video applications | |
| Blackwood | A Methodology for Creating Theatrical Spatial Sound Experiences | |
| Bouillot et al. | Audiodice: an open hardware design of a distributed dodecahedron loudspeaker orchestra | |
| WO2007096792A1 (en) | Device for and a method of processing audio data | |
| JP2006261886A (ja) | 収録再生システム、収録装置および方法、再生装置および方法、並びにプログラム |