JP2005167612A - 音場再生装置及び音場空間再生システム - Google Patents

Abstract

【課題】受聴エリアに所望の音場を合成し、その受聴エリア内の受聴者が仮想現実感を体験することができる音場再生装置及び音場空間再生システムを提供する。
【解決手段】受聴者位置情報と音源位置情報とに基づく相対位置関係に応じて音場合成パラメータを生成し、また、受聴者位置情報と音源位置情報とに基づく相対位置関係に応じて音声データを周波数変換する。周波数変換された音声データと生成された音場合成パラメータとを畳み込み演算し、各チャネルの音源の音声を合成し、合成された音声をｎチャネルの音源を用いて波面合成し、所定範囲に音場を再生する。
【選択図】図１

Description

本発明は、臨場感ある仮想現実空間を提供する音場再生装置及び音場空間再生システムに関する。

３次元の音場再生には、スピーカ又はステレオヘッドホンが使用される。スピーカによる音場再生は、ある程度の範囲をもった受聴エリア内に音場を再生するものであり、音場そのものを合成再生するので、その中にいる受聴者は、その音場で知覚されるであろう所望の音像を知覚することができる。また、ステレオヘッドホンによる音場再生は、受聴者の両耳に再生される波形を制御して、受聴者が音場空間にいるときの両耳に再現されるであろう音と同じ音を受聴者の耳に再現する。

従来における３次元音場再生では、受聴者が仮想現実感の空間内での所定の固定された仮想の受聴位置にいて、固定されている仮想音源、又は、移動している仮想音源からの音を受聴するようにして再現していた。しかし、このような方式では、仮想現実感空間内の指定された受聴位置近辺の音しか聴くことができず、受聴者が仮想空間内を自由に移動するような音場空間を再現することはできない。

このような問題に対して、特許文献１には、ステレオヘッドホンによる受聴を前提とし、音場空間の特性を考慮した直接音、初期反射音、残響音の処理により作り出された音場空間内で受聴者自身や音源の位置、向き、移動速度、移動方向に合わせた音像を作り出す技術が開示されている。

特開平７−３１２８００号公報

しかしながら、特許文献１に記載の技術では、聴覚的にしか空間を再現することができず、仮想現実空間の中を自由に移動している感じや自由落下感などを知覚することはできない。

また、ステレオヘッドホンによる音場再生では、作り出された音場空間を他の受聴者と共有することができないため、他の受聴者とコミュニケーションを図りながら楽しむ空間、例えば、ドライブ中の車内や食堂列車内などの空間を提供することができない。

空間の再現は、リスニングルームに実際の音源を配置して、その中を受聴者が移動すれば、空間を移動したときの音響知覚を得ることは可能であるが、原寸大の音場空間を用意しなければならず、現実的ではない。

本発明はこのような課題に鑑みてなされたものであり、受聴エリアに所望の音場を合成し、その受聴エリア内の受聴者が仮想空間内の音を知覚することができる音場再生装置及び音場空間再生システムを提供することを目的とする。

上述した目的を達成するために、本発明に係る音場再生装置は、仮想空間内の音源位置情報と音声データとを含むコンテンツデータから仮想空間内の受聴者の位置を示す受聴者位置情報に応じて仮想空間内の音場を現実空間の所定範囲に再生する音場再生装置であって、受聴者位置情報と音源位置情報とに基づく相対位置関係に応じて音場合成パラメータを生成する音場合成パラメータ生成手段と、受聴者位置情報と音源位置情報とに基づく相対位置関係に応じて音声データを周波数変換する周波数変換手段と、周波数変換された音声データと生成された音場合成パラメータとを畳み込み演算し、ｎチャネルの音声データを各チャネル毎に合成する音場合成手段と、合成された各チャネル毎の音声データを用いて波面合成し、所定範囲に音場を再生する音場再生手段とを備えることを特徴としている。

また、本発明に係る音場空間再生システムは、仮想空間内の音源位置情報と音声データとを含むコンテンツデータを仮想空間内の受聴者の位置を示す受聴者位置情報に応じて仮想空間内の音場を現実空間の所定範囲に再生する音場再生装置と、仮想空間内の環境を現実空間に再現する再現装置とを有し、音場再生装置は、受聴者位置情報と音源位置情報とに基づく相対位置関係に応じて音場合成パラメータを生成する音場合成パラメータ生成手段と、受聴者位置情報と音源位置情報とに基づく相対位置関係に応じて音声データを周波数変換する周波数変換手段と、周波数変換された音声データと音場合成パラメータ生成手段で生成された音場合成パラメータとを畳み込み演算し、ｎチャネルの音声データを各チャネル毎に合成する音場合成手段と、合成された各チャネル毎の音声データを用いて波面合成し、所定範囲に音場を再生する音場再生手段とを備えることを特徴としている。

本発明に係る音場再生装置及び音場空間再生システムによれば、仮想空間内での受聴者位置情報と音源位置情報とに基づく相対位置関係に応じて現実空間の受聴エリアに合成される音場が制御されるので、受聴者が知覚する音像は受聴者の移動に応じたものになり、受聴者は実際には移動していなくても移動したかように感じることができる。

また、所定範囲に音場空間を再現するので、その所定範囲内の受聴者は同じ音場空間を共有することができる。

さらに、受聴者位置情報に応じた受聴者への音像の変化に合わせて、受聴者への加速度や風の流れを変化させることにより、受聴者はより自然な移動感を知覚することができる。

本発明の具体例として示す音場再生装置は、所望の音像を知覚することができるアレイスピーカを用いて音場空間を再現する光ディスクの再生装置として説明する。ここで、音源位置情報及び受聴者位置情報は、それぞれ仮想空間内での音源位置及び受聴者位置を示す。

図１は、第１の実施の形態における音場再生装置の構成を示すブロック図である。ここで、記録媒体である光ディスクには、図２（ａ）に示すように映像、字幕及び音声データがパケット形式で多重化されており、各音声パケットには図２（ｂ）に示すようにアレイスピーカの音源の数だけチャネルが割り当てられている。そして、図２（ｃ）に示す各音声チャネルには仮想音源の音声データ及び仮想音源の位置情報が割り当てられている。ここでの音声データは、人間の声だけでなく、例えば、鳥の鳴き声、車のエンジン音、音楽、効果音など、全ての音を表すものである。

図１に示す第１の実施の形態における音場再生装置は、仮想空間内での受聴者の位置を入力する受聴者位置情報入力装置１と、入力された受聴者位置情報に基づいて光ディスクを再生する光ディスク再生装置２と、再生されたデータを逆多重化する逆多重化回路３と、受聴者位置情報に基づいて選択されたパケットの各音声チャネルの音声データ及び音源位置情報データをデコードする音声データデコード回路４と、デコードされた音源位置情報を記憶する音源位置情報記憶バッファ５と、受聴位置情報と音源位置情報とに応じて各チャネルを制御する音場合成パラメータを算出する音場合成パラメータ算出手段６と、各音声チャネルの音場合成パラメータと音声データに基づき音場を合成する音場合成手段７と、受聴者位置情報に基づいて音声合成パラメータ算出手段及び音場合成手段を制御する音場合成制御装置８と、音場合成された各音声チャネルを増幅する増幅回路９と、ｎチャネルの音源を用いて音場空間を再現するスピーカシステム１０と、逆多重化回路３で分離された字幕データをデコードする字幕データデコード回路１１と、デコードされた字幕データを再生する字幕再生回路１２と、逆多重化回路３で分離された映像データをデコードする映像データデコード回路１３と、受聴者位置情報に基づいてデコードされた映像データを映像処理する音場映像処理回路１４と、音場映像処理された映像データを再生する映像再生回路１５と、映像に字幕をスーパーインポーズするスーパーインポーズ回路１６と、映像を表示する映像表示装置１７とを備えている。

本発明では、受聴エリア内に所望の音場を再現するスピーカシステム１０にアレイスピーカを用い、複数の人が共有することができる音場空間を提供する。このアレイスピーカを用いた音場再現システムは、現実空間の音源から発せられた音波が作る音場と同じ音場を受聴エリアに再現するようにアレイスピーカから出る音波を制御する音場合成システムである（例えば、武田他，「多チャンネルスピーカ再生を用いた波面合成に関する検討」，日本音響学会公演論文集，2000年9月，ｐ．407−408）。具体的には、図３に示すようにアレイスピーカの前面近傍に設定された評価エリア内のすべての評価点において、仮想音源によって作られる音場とアレイスピーカによって作られる音場との差であるエラー量が最小になるようにアレイスピーカが制御され、評価エリア内の音場が仮想音源位置から発せられたように再現される。すなわち、仮想音源位置から評価点までの伝達関数Ａ（ｆ）と駆動点であるアレイスピーカの各スピーカから評価点までの伝達関数Ｈ１（ｆ）Ｃ１（ｆ），・・・,Ｈ８（ｆ）Ｃ８（ｆ）の総和との差である誤差エネルギが最小になるように各スピーカに直列に挿入されたフィルタの伝達関数Ｈ１（ｆ），・・・,Ｈ８（ｆ）を制御する。このとき、各駆動点（スピーカ）から評価点までの伝達関数Ｃ１（ｆ），・・・,Ｃ８（ｆ）は、駆動点を点音源とみなし距離減衰特性として算出する。このように、アレイスピーカから発せられた音波は、音源位置から発せられた音波と同じように波面が合成されるので、受聴エリアの音場は、評価エリアを通過する音波により音源位置から発せられたように再現される。

ここで、アレイスピーカを制御する音場合成手段７の特性は、例えば、図４（ａ）に示す実音場における音源Ａ１、Ｂ１、Ｃ１中を、受聴者Ｈが図４（ｂ）に示すように移動した音場を再現する場合、図４（ｃ）、（ｄ）に示すように実際のリスニングルームでの受聴者の受聴位置の動きには影響されず、仮想音源の移動（例えばＡ３→Ａ４）にのみに影響される。

このアレイスピーカを用いた音場合成について、図１及び図５を参照にして説明する。音場合成パラメータ算出手段６は、音源位置情報に応じてアレイスピーカの各チャネルを制御するディジタルフィルタ係数（H1(f),…,Hn(f)）を算出する。なお、受聴者位置情報入力装置１からの受聴位置情報によって受聴位置が移動していることを検出した場合には、音場合成パラメータ算出手段６は受聴位置と音源位置との相対位置に応じたディジタルフィルタ係数を算出する。

音場合成手段７は、図５に示すようにフィルタ係数変更回路７ａと、フィルタ係数バッファ回路７ｂと、畳み込み演算回路７ｃと、周波数変換係数算出回路７ｄと、周波数変換回路７ｅとを備えて構成される。フィルタ係数変更回路７ａは、音場合成パラメータ算出手段で算出されたディジタルフィルタ係数を受聴位置と音源位置の相対位置関係の変化に応じてフィルタ係数を変更し、フィルタ係数バッファ回路７ｂを介して畳み込み演算回路７ｃへ送る。また、音源と受聴者の相対的移動速度によりドップラー効果が生じ、受聴周波数が変わるので、周波数変換係数算出回路７ｄは、音源位置情報と受聴位置情報とから音源の音声データの周波数変換係数を算出し、周波数変換回路７ｅで周波数を変換する。畳み込み演算回路７ｃは、変更されたフィルタ係数と周波数が変換された音声データとを畳み込み演算し音響信号を出力する。ここで、ドップラー効果による周波数変化幅は、媒質中を伝播する波動の速度と音源又は受聴点の移動速度との相対的関係で決まることから、各仮想音源の周波数変換係数は、音源位置情報における音源移動速度と受聴点移動速度とから算出される。なお、周波数変換方法には様々な方法があるが、例えば、特開平６−２０４４８号公報に開示されているような方法を用いることができる。

このように、音場合成手段７は、音場合成フィルタ係数を用いて音声データにフィルタ演算を施すだけでなく、音源移動又は受聴位置移動によるドップラー効果に対応するために音声データの周波数を変換する機能も備え、アレイスピーカを用いて受聴者エリアに音場を再現しているので、受聴エリア内の受聴者は、限られた再生音響空間で聴覚知覚上は広い空間の中を移動しながら音を聴いているように知覚することができる。なお、図５では、有限範囲インパルス応答（Finite-extent Impulse Response :FIR）フィルタを想定した畳み込み演算回路７ｃを用いて構成したが、無限長インパルス応答（Infinite Impulse Response :IIR）フィルタによるフィルタリング回路を用いて構成するようにしてもよい。

次に、第１の実施の形態における音場再生装置の動作について図６を参照にして説明する。受聴者位置情報入力装置１で入力された受聴者位置情報に基づいて光ディスク再生装置２は、図２に示す多重化された光ディスクからデータを読み出す（ステップＳ６−１）。逆多重化回路３は、読み出されたデータを逆多重化し、映像データ、字幕データ、音声データ及びそれらに関するヘッダを検出し分離する（ステップＳ６−２）。そして、へッダデータから光ディスク再生装置２の再生環境に応じて必要なパケットを選択し（ステップＳ６−３）、選択されたパケットのヘッダに対応するデコーダへデータを送る（ステップＳ６−４）。再生環境は、受聴位置情報に基づいており、受聴者位置情報入力装置１からの受聴位置情報の入力に応じて変化する。

ステップＳ６−４において音声データデコード回路４に送信された音声データ及び音源位置情報データはデコードされ、バッファに記憶される（ステップＳ６−５）。各音声チャネルの音源位置と音源の移動速度、移動方向を示す音源位置情報は、音源位置情報記憶バッファ５に記憶される。

音場合成パラメータ算出手段６は、音源位置情報記憶バッファ５からの音源位置情報に応じてアレイスピーカの各チャネルを制御するディジタルフィルタの係数（H1(f),・・・,Hn(f)）を算出する（ステップＳ６−６）。

ステップＳ６−７で受聴者位置情報入力装置１からの受聴位置情報によって受聴位置が移動していることを検出した場合には、音場合成制御装置８はその変更情報を音場合成パラメータ算出手段６と音場合成手段７に送り、受聴位置と音源位置とに応じた音源位置の相対位置によりディジタルフィルタ係数を再算出させる（ステップＳ６−６）。受聴位置の変更を検出しなかった場合には、音源位置情報と受聴位置情報とから音源の音声データの周波数変換係数を算出して、周波数変換回路７ｅで周波数を変換する（ステップＳ６−８）。

音場合成手段７は、ステップＳ６−６で算出されたフィルタ係数とステップＳ６−８で周波数変換された音声データとを音源の数だけ畳み込み演算する（ステップＳ６−９）。畳み込み演算された音声データはアレイスピーカに出力される（ステップＳ６−１０）。

ステップＳ６−４において逆多重化回路３から送信された字幕データ及び映像データは、字幕データデコード回路１１及び映像データデコード回路１３でそれぞれヘッダデータに含まれる符号化方式、フレームレートに従ってデコードされる（ステップＳ６−１１）。デコードされた映像データは、受聴者位置情報に応じて音場映像処理回路１４で映像処理される（ステップＳ６−１２）。例えば、受聴者の移動に応じて画像風景も移動するように処理する。デコードされた字幕信号は、ヘッダデータに含まれるタイミング情報に従って映像信号にスーパーインポーズされ（ステップＳ６−１３）、表示装置に応じた映像信号形式で表示装置に出力される（ステップＳ６−１４）。

このように、アレイスピーカの各チャネルを制御するディジタルフィルタ係数を算出することにより、受聴者は、実際には移動していなくてもあたかも移動したかのように感じることができる。

また、ディジタルフィルタ係数を算出する音場合成パラメータ算出手段６の代わりに、予め音源位置ごとに算出しておいたフィルタ係数バンクを構成してもよい。このフィルタ係数バンクはフィルタ係数を音源位置に応じて選択し、音源位置がフィルタ係数バンクにある位置の中間位置である場合には補間データを算出する。

この音場合成パラメータ算出手段６の代わりにフィルタ係数バンクを構成する音場再生装置の動作について図７を参照にして説明する。

受聴者位置情報入力装置１で入力された受聴者位置情報に基づいて光ディスク再生装置２は、図２に示す多重化された光ディスクからデータを読み出す（ステップＳ７−１）。逆多重化回路３は、読み出されたデータを逆多重化し、映像データ、字幕データ、音声データ及びそれらに関するヘッダを検出し分離する（ステップＳ７−２）。そして、へッダデータから光ディスク再生装置２の再生環境に応じて必要なパケットを選択し（ステップＳ７−３）、選択されたパケットのヘッダに対応するデコーダへデータを送る（ステップＳ７−４）。再生環境は、受聴位置情報に基づいており、受聴者位置情報入力装置１からの受聴位置情報の入力に応じて変化する。

ステップＳ７−４において音声データデコード回路４に送信された音声データ及び音源位置情報データはデコードされ、バッファに記憶される（ステップＳ７−５）。各音声チャネルの音源位置と音源の移動速度、移動方向を示す音源位置情報は、音源位置情報記憶バッファ５に記憶される。

フィルタ合成バンクは、音源位置情報記憶バッファ５からの音源位置情報に応じてアレイスピーカの各チャネルを制御するディジタルフィルタの係数（H1(f) ,・・・,Hn(f)）をフィルタの係数バンクから選択する（ステップＳ７−６）。ここで、フィルタ係数バンク内に選択するフィルタ係数の有無が判別される（ステップＳ７−６）。選択するフィルタ係数がない場合、すなわち、音源位置がフィルタ係数バンクにある位置の中間位置である場合には補間データを算出し（ステップＳ７−８）、フィルタ係数バンクにある位置の場合にはステップＳ７−９に進む。

ステップＳ７−９で受聴者位置情報入力装置１からの受聴位置情報によって受聴位置が移動していることを検出した場合には、音場合成制御装置８はその変更情報をフィルタ係数バンクと音場合成手段７とに送り、受聴位置と音源位置とに応じた音源位置の相対位置によりディジタルフィルタ係数を再選択させる（ステップＳ７−６）。受聴位置の変更を検出しなかった場合には、音源位置情報と受聴位置情報とから音源の音声データの周波数変換係数を算出して、周波数変換回路７ｅで周波数を変換する（ステップＳ７−１０）。

音場合成手段７は、ステップＳ７−７求められたフィルタ係数又はＳ７−８で補間されたれたフィルタ係数とステップＳ７−１０で周波数変換された音声データとを音源の数だけ畳み込み演算する（ステップＳ７−１１）。畳み込み演算された音声データはアレイスピーカに出力される（ステップＳ７−１２）。

ステップＳ７−４において逆多重化回路３から送信された字幕データ及び映像データは、字幕データデコード回路１１及び映像データデコード回路１３でそれぞれヘッダデータに含まれる符号化方式、フレームレートに従ってデコードされる（ステップＳ７−１３）。デコードされた映像データは、受聴者位置情報に応じて音場映像処理回路１４で映像処理される（ステップＳ７−１４）。例えば、受聴者の移動に応じて画像風景も移動するように処理するデコードされた字幕信号は、ヘッダデータに含まれるタイミング情報に従って映像信号にスーパーインポーズされ（ステップＳ７−１５）、表示装置に応じた映像信号形式で表示装置に出力される（ステップＳ７−１６）。

このように、アレイスピーカの各チャネルを制御するディジタルフィルタ係数を算出する音場合成パラメータ算出手段６の代わりにフィルタ係数バンクを構成することにより、フィルタ係数の計算を省略し、システムを簡略化することができる。

図８は、第２の実施の形態における音場再生装置を示す図である。この第２の実施の形態は、受聴者位置情報が光ディスクに多重化されて記録されている場合である。この光ディスクには、再生の進行に応じて受聴者位置が適宜変化するように受聴者位置情報が記録されている。

この第２の実施の形態における音場再生装置は、受聴者位置情報が記録されている光ディスクから受聴者位置情報を読み出し、その受聴者位置情報に基づいて音場空間を再生するものである。

すなわち、光ディスクを再生する光ディスク再生装置２０１と、読み出されたデータを逆多重化する逆多重化回路３０１と、受聴者位置情報をデコードする受聴者位置データデコード回路１８と、デコードされた受聴者位置情報を記憶する受聴者位置情報記憶バッファ１９と、音声パケットの各音声チャネルの音声データ及び音源位置情報データをデコードする音声データデコード回路４と、デコードされた音源位置情報を記憶する音源位置情報記憶バッファ５と、受聴位置情報と音源位置情報とに応じて各チャネルを制御する音場合成パラメータを算出する音場合成パラメータ算出手段６と、各音声チャネルの音場合成パラメータと音声データに基づき音場を合成する音場合成手段７と、受聴者位置情報に基づいて音声合成パラメータ算出手段及び音場合成手段を制御する音場合成制御装置８と、音場合成された各音声チャネルを増幅する増幅回路９と、ｎチャネルの音源を用いて音場空間を再現するスピーカシステム１０と、逆多重化回路３０１で分離された字幕データをデコードする字幕データデコード回路１１と、デコードされた字幕データを再生する字幕再生回路１２と、逆多重化回路３で分離された映像データをデコードする映像データデコード回路１３と、受聴者位置情報に基づいてデコードされた映像データを映像処理する音場映像処理回路１４と、音場映像処理された映像データを再生する映像再生回路１５と、映像に字幕をスーパーインポーズするスーパーインポーズ回路１６と、映像を表示する映像表示装置１７とを備えている。

次に、第２の実施の形態における音場再生装置の動作について図９を参照にして説明する。光ディスク再生装置２０１は、多重化された光ディスクからデータを読み出す（ステップＳ９−１）。逆多重化回路３０１は、読み出されたデータを逆多重化し、映像データ、字幕データ、音声データ、及びそれらに関するヘッダを検出し分離する（ステップＳ９−２）。そして、へッダデータから光ディスク再生装置２の再生環境に応じて必要なパケットを選択し（ステップＳ９−３）、選択されたパケットのヘッダに対応するデコーダへデータを送る（ステップＳ９−４）。再生環境は、例えば、予め光ディスクに用意された再生場面から受聴者が選択できる。

ステップＳ９−４において受聴者位置データデコード回路１８に送信された受聴者位置データはデコードされ（ステップＳ９−５）、再生環境に応じて音場合成制御装置８及び音場映像処理回路１４に出力される（ステップＳ９−６）。

ステップＳ９−４において音声データデコード回路４に送信された音声データ及び音源位置情報データはデコードされ、バッファに記憶される（ステップＳ９−７）。各音声チャネルの音源位置と音源の移動速度、移動方向を示す音源位置情報は、音源位置情報記憶バッファ５に記憶される。

音場合成パラメータ算出手段６は、音源位置情報記憶バッファ５からの音源位置情報に応じてアレイスピーカの各チャネルを制御するディジタルフィルタの係数（H1(f) ,・・・,Hn(f)）を算出する（ステップＳ９−８）。

音源位置情報と受聴位置情報とから音源の音声データの周波数変換係数を算出して、周波数変換回路７ｅで周波数を変換する（ステップＳ９−９）。

音場合成手段７は、ステップＳ９−８で算出されたフィルタ係数とステップＳ９−９で周波数変換された音声データとを音源の数だけ畳み込み演算する（ステップＳ９−１０）。畳み込み演算された音声データはアレイスピーカに出力される（ステップＳ９−１１）。

ステップＳ９−４において逆多重化回路３０１から送信された字幕データ及び映像データは、字幕データデコード回路１１及び映像データデコード回路１３でそれぞれヘッダデータに含まれる符号化方式、フレームレートに従ってデコードされる（ステップＳ９−１２）。デコードされた映像データは、受聴者位置情報に応じて音場映像処理回路１４で映像処理される（ステップＳ９−１３）。例えば、受聴者の移動に応じて画像風景も移動するように処理するデコードされた字幕信号は、ヘッダデータに含まれるタイミング情報に従って映像信号にスーパーインポーズされ（ステップＳ９−１４）、表示装置に応じた映像信号形式で表示装置に出力される（ステップＳ９−１５）。

なお、図７のようにフィルタ係数を算出する音場合成パラメータ算出手段６の代わりにフィルタ係数バンクを構成するようにしてもよい。

このように第２の実施の形態における音場再生装置によれば、例えば、自動車や電車などからの車窓風景のように、乗物が走行しても車内の音源と受聴者との相対位置は変化しないが、車外の音源と受聴者との相対位置は変化するようなコンテンツデータの再生にも適用させることができる。

図１０は、第３の実施の形態における音場再生装置を示す図である。この第３の実施の形態は、機器操作者によって再生の進行操作が行われ、進行操作と現在の再生状況とから再生進行制御装置が光ディスクの再生を制御する場合である。この光ディスクには、機器操作者によって再生の進行操作が行われる進行制御情報が記録されており、再生の進行操作に応じて受聴者位置が適宜変化する。

この第３の実施の形態における音場再生装置は、再生進行操作に応じて受聴者位置情報が決定されるものであって、例えば、いわゆるＴＶゲームについて言えば、再生進行操作がゲームの操作に相当し、ゲームの操作に応じてデータの読み込みが行われ、ゲームの進行制御情報に応じて受聴者の位置が決定されるものである。

すなわち、機器操作者によって再生の進行操作が行われる進行操作情報入力装置２０と、再生の進行操作に応じて受聴者の位置を制御し、受聴者位置情報を決定する再生進行制御装置２１と、再生の進行操作に応じて光ディスクを再生する光ディスク再生装置２０２と、再生されたデータを逆多重化する逆多重化回路３０２と、逆多重化された進行制御データをデコードする進行制御データデコード回路２２と、デコードされた進行制御情報を記憶する進行制御情報記憶バッファ２３と、音声パケットの各音声チャネルの音声データ及び音源位置情報データをデコードする音声データデコード回路４と、デコードされた音源位置情報を記憶する音源位置情報記憶バッファ５と、受聴位置情報と音源位置情報とに応じて各チャネルを制御する音場合成パラメータを算出する音場合成パラメータ算出手段６と、各音声チャネルの音場合成パラメータと音声データに基づき音場を合成する音場合成手段７と、受聴者位置情報に基づいて音声合成パラメータ算出手段及び音場合成手段を制御する音場合成制御装置８と、音場合成された各音声チャネルを増幅する増幅回路９と、ｎチャネルの音源を用いて音場空間を再現するスピーカシステム１０と、逆多重化回路３０１で分離された字幕データをデコードする字幕データデコード回路１１と、デコードされた字幕データを再生する字幕再生回路１２と、逆多重化回路３で分離された映像データをデコードする映像データデコード回路１３と、受聴者位置情報に基づいてデコードされた映像データを映像処理する音場映像処理回路１４と、音場映像処理された映像データを再生する映像再生回路１５と、映像に字幕をスーパーインポーズするスーパーインポーズ回路１６と、映像を表示する映像表示装置１７とを備えている。

次に、第３の実施の形態における音場再生装置の動作について図１１を参照にして説明する。光ディスク再生装置２０２は、再生進行制御装置２１の制御に基づいて多重化された光ディスクからデータを読み出す（ステップＳ１１−１）。逆多重化回路３０１は、読み出されたデータを逆多重化し、映像データ、字幕データ、音声データ、及びそれらに関するヘッダを検出し分離する（ステップＳ１１−２）。そして、へッダデータから光ディスク再生装置２の再生環境に応じて必要なパケットを選択し（ステップＳ１１−３）、選択されたパケットのヘッダに対応するデコーダへデータを送る（ステップＳ１１−４）。再生環境は、再生進行制御装置２１が機器操作者による進行操作と現在の再生状況とから光ディスク再生装置２０２を制御することにより得られる。

ステップ１１−４において進行制御データデコード回路２２に送信された進行制御データはデコードされ、デコードされた進行制御情報は進行制御情報記憶バッファ２３に記憶される（ステップＳ１１−５）。再生進行制御装置２１は、進行制御情報記憶バッファ２３に記憶された進行制御情報と機器操作者から入力された進行操作情報とを比較し、再生の進行に応じて受聴者の位置を制御する（ステップＳ１１−６）。進行制御情報には進行操作できる範囲の情報が含まれており、その範囲内で機器操作者は再生の進行操作を行う。そして、再生進行制御装置２１は、進行制御情報に応じて受聴者の位置を決定する。決定された受聴者位置情報は、光ディスク装置２０２、音場合成制御装置８及び音場映像処理回路１４に出力される（ステップＳ１１−７）。

ステップＳ１１−４において音声データデコード回路４に送信された音声データ及び音源位置情報データはデコードされ、バッファに記憶される（ステップＳ１１−８）。各音声チャネルの音源位置と音源の移動速度、移動方向を示す音源位置情報は、音源位置情報記憶バッファ５に記憶される。

音場合成パラメータ算出手段６は、音源位置情報記憶バッファ５からの音源位置情報に応じてアレイスピーカの各チャネルを制御するディジタルフィルタの係数（H1(f),・・・，Hn(f)）を算出する（ステップＳ１１−９）。

ステップＳ１１−１０で受聴者位置情報入力装置１からの受聴位置情報によって受聴位置が移動していることを検出した場合には、音場合成制御装置８はその変更情報を音場合成パラメータ算出手段６と音場合成手段７に送り、受聴位置と音源位置とに応じた音源位置の相対位置によりディジタルフィルタ係数を再算出させる（ステップＳ１１−９）。受聴位置の変更を検出しなかった場合には、音源位置情報と受聴位置情報とから音源の音声データの周波数変換係数を算出して、周波数変換回路７ｅで周波数を変換する（ステップＳ１１−１１）。

音場合成手段７は、ステップＳ１１−９で算出されたフィルタ係数とステップＳ１１−１１で周波数変換された音声データとを音源の数だけ畳み込み演算する（ステップＳ１１−１２）。畳み込み演算された音声データはアレイスピーカに出力される（ステップＳ１１−１３）。

ステップＳ１１−４において逆多重化回路３０２から送信された字幕データ及び映像データは、字幕データデコード回路１１及び映像データデコード回路１３でそれぞれヘッダデータに含まれる符号化方式、フレームレートに従ってデコードされる（ステップＳ１１−１４）。デコードされた映像データは、再生進行制御装置２１から出力された受聴者位置情報に応じて音場映像処理回路１４で映像処理される（ステップＳ１１−１５）。例えば、受聴者の移動に応じて画像風景も移動するように処理するデコードされた字幕信号は、ヘッダデータに含まれるタイミング情報に従って映像信号にスーパーインポーズされ（ステップＳ１１−１６）、表示装置に応じた映像信号形式で表示装置に出力される（ステップＳ１１−１７）。

なお、図７のようにフィルタ係数を算出する音場合成パラメータ算出手段６の代わりにフィルタ係数バンクを構成するようにしてもよい。

このように第３の実施の形態における音場再生装置によれば、例えば、いわゆるＴＶゲームのように再生進行操作に応じて受聴者位置情報が変化するコンテンツデータの再生にも適用させることができる。

図１２は、第４の実施の形態における音場空間再生システムを示す図である。この第４の実施の形態は、上記第３の実施の形態における音場再生装置に、さらに、進行操作による移動に伴う受聴者位置情報に応じて受聴者に与えられるであろう加速度に従った加速度感が得られるような座席駆動装置を備えたものである。

すなわち、この第４の実施の形態における音場空間再生システムは、上記第３の実施の形態における音場再生装置に、さらに、受聴者の座席位置を検知する位置センサ２４と、位置センサ２４からの座席位置情報と再生進行制御装置２１からの受聴者位置情報に基づいて、座席移動距離・座席加速度を制御する移動距離・加速度制御装置２５と、移動距離・加速度制御装置２５からの座席移動距離・座席加速度に応じて座席を駆動させる座席駆動装置２６とを備えている。

この第４の実施の形態における音場空間再生システムの動作は、図１１に示すフローチャートと同様であるが、座席移動装置の制御動作について説明する。再生進行制御装置２１は、光ディスクに多重化された進行制御情報と受聴者の位置移動を示す進行操作情報とに応じて受聴者位置情報を出力する。移動距離・加速度制御装置２５は、再生進行制御装置２１からの進行制御情報に応じた受聴者位置情報と位置センサ２４からの座席位置情報とに基づいて、例えば、受聴者があたかも移動しているかのように感じさせるための座席の移動距離や加速度を決定し、座席駆動装置２６に駆動信号を送信する。

このように第４の実施の形態における音場空間再生システムによれば、受聴者により自然な移動感を与えることができる。

図１３は、第５の実施の形態における音場空間再生システムを示す図である。この第５の実施の形態は、上記第３の実施の形態に、さらに、進行操作による移動に伴う受聴者位置情報に応じて受聴者に与えられるであろう空気の流れ（風）を送るように風量、風向、風速及び温度を制御するものである。

すなわち、この第５の実施の形態における音場空間再生システムは、上記第３の実施の形態における音場再生装置に、さらに、受聴エリアの温度を検知する温度センサ２７と、受聴エリアの風量・風向・風速を検知する風量センサ２８と、送風機３０及び温度調節装置３１を制御する風量・風向・風速・温度制御装置２９と、受聴エリアに風を送る送風機３０と、受聴エリアの温度を調節する温度調節装置３１とを備えている。

この第５の実施の形態における音場空間再生システムの動作も、図１１に示すフローチャートと同様であるが、送風機３０及び温度調節装置３１の制御動作について説明する。再生進行制御装置２１は、光ディスクに多重化された進行制御情報と受聴者の位置移動を示す進行操作情報とに応じて受聴者位置情報を出力する。風量・風向・風速・温度制御装置２９は、再生進行制御装置２１からの進行制御情報に応じた受聴者位置情報に基づいて、例えば、受聴者があたかも移動しているかのように感じさせるための所定の風量・風向・風速・温度を決定する。温度センサ２７及び風量センサ２８は、受聴者エリアの風量・風向・風速・温度を常時検知し、その情報を風量・風向・風速・温度制御装置２９に送る。

このように第５の実施の形態における音場空間再生システムによれば、風や温度により触覚等にも働きかけることができるので、より自然に受聴者に移動感を与えることができる。

なお、上記実施の形態では、光ディスクの再生システムとして説明したが、それに限定されるものではなく、例えば、光ディスク再生装置をネットワーク送受信装置に置き換えてもよい。

この場合、再生される映像・字幕・音声・音源位置情報がネットワークから配信される。そして、ネットワーク送受信装置は、映像・字幕・音声・音源位置情報などを配信するサーバにアクセスし、ユーザ端末認証を行い、例えば、ユーザが利用可能な映像音響コンテンツの一覧表示から所望のコンテンツをダウンロード若しくはストリーミングし、データを再生する。後の動作は上記実施の形態と同様である。

以上説明したように、本発明にかかる音場再生装置及び音場空間再生システムによれば、仮想空間内の任意の受聴者位置に応じて、受聴者の聴覚、視覚等の感覚に働きかけることができるので、臨場感のある音場空間を提供することができる。

第１の実施の形態における音場再生装置の構成を示すブロック図である。 第１の実施の形態における光ディスクのデータを説明するための図である。 本発明を適用させたアレイスピーカを説明するための図である。 本発明を適用させた音場合成を説明するための図である。 本発明を適用させた音場合成手段の構成を示すブロック図である。 第１の実施の形態における音場再装置の動作を説明するフローチャートである（その１）。 第１の実施の形態における音場再生装置の動作を説明するフローチャートである（その２）。 第２の実施の形態における音場再生装置の構成を示すブロック図である。 第２の実施の形態における音場再生装置の動作を説明するフローチャートである。 第３の実施の形態における音場再生装置の構成を示すブロック図である。 第３の実施の形態における音場再生装置の動作を説明するフローチャートである。 第４の実施の形態における音場空間再生システムの構成を示すブロック図である。 第５の実施の形態における音場空間再生システムの構成を示すブロック図である。

符号の説明

１ 受聴者位置情報入力装置、 ２ 光ディスク再生装置、 ３ 逆多重化回路、 ４ 音声データデコード回路、 ５ 音源位置情報記憶バッファ、 ６ 音場合成パラメータ算出手段、 ７ 音場合成手段、 ８ 音場合成制御装置、 ９ ｎチャネル増幅回路、 １０ スピーカシステム、 １１ 字幕データデコード回路、 １２ 字幕再生回路、 １３ 映像データデコード回路、 １４ 音場映像処理回路、 １５ 映像再生回路、 １６ スーパーインポーズ回路、 １７ 映像表示装置、 １８ 受聴者位置データデコード回路、 １９ 受聴者位置情報記憶バッファ、２０ 進行操作情報入力装置、 ２１ 再生進行制御装置、 ２２ 進行制御データデコード回路、 ２３ 進行制御情報記憶バッファ、 ２４ 位置センサ、 ２５ 移動距離・加速度制御装置、 ２６ 座席駆動装置、 ２７ 温度センサ、 ２８ 風量センサ、 ２９ 風量・風向・風速・温度制御装置、 ３０ 送風機、 ３１ 温度調節装置

Claims (8)

1. 仮想空間内の音源位置情報と音声データとを含むコンテンツデータから仮想空間内の受聴者の位置を示す受聴者位置情報に応じて仮想空間内の音場を現実空間の所定範囲に再生する音場再生装置であって、
   上記受聴者位置情報と上記音源位置情報とに基づく相対位置関係に応じて音場合成パラメータを生成する音場合成パラメータ生成手段と、
   上記受聴者位置情報と上記音源位置情報とに基づく相対位置関係に応じて上記音声データを周波数変換する周波数変換手段と、
   上記周波数変換手段で周波数変換された音声データと上記音場合成パラメータ生成手段で生成された音場合成パラメータとを畳み込み演算し、ｎチャネルの音声データを各チャネル毎に合成する音場合成手段と、
   上記音場合成手段で合成された各チャネル毎の音声データを用いて波面合成し、上記所定範囲に音場を再生する音場再生手段と
   を備えることを特徴とする音場再生装置。
2. 上記音場合成パラメータ生成手段は、予め記憶された音場合成パラメータから上記受聴者位置情報と上記音源位置情報とに基づく相対位置関係に応じて選択することを特徴とする請求項１記載の音場再生装置。
3. 上記コンテンツデータは、映像データを含むものであって、
   上記映像データを上記受聴者位置情報に応じて処理する映像処理手段を備えることを特徴とする請求項１記載の音場再生装置。
4. 上記コンテンツデータは、上記受聴者位置情報を含むことを特徴とする請求項１記載の音場再生装置。
5. 上記コンテンツデータは、該コンテンツデータの再生を進行させるための進行制御データを含むものであって、
   上記進行制御データに基づいて上記コンテンツデータの再生を進行する再生進行手段と、
   受聴者により上記コンテンツデータの再生の進行が操作される進行操作手段と、
   上記進行操作手段の操作に応じて、上記コンテンツデータの再生の進行を制御すると共に、上記受聴者位置情報を作成する再生進行制御手段と
   を備えることを特徴とする請求項１記載の音場再生装置。
6. 仮想空間内の音源位置情報と音声データとを含むコンテンツデータを仮想空間内の受聴者の位置を示す受聴者位置情報に応じて仮想空間内の音場を現実空間の所定範囲に再生する音場再生装置と、
   上記仮想空間内の環境を現実空間に再現する再現装置とを有し、
   上記音場再生装置は、
   上記受聴者位置情報と上記音源位置情報とに基づく相対位置関係に応じて音場合成パラメータを生成する音場合成パラメータ生成手段と、
   上記受聴者位置情報と上記音源位置情報とに基づく相対位置関係に応じて上記音声データを周波数変換する周波数変換手段と、
   上記周波数変換手段で周波数変換された音声データと上記音場合成パラメータ生成手段で生成された音場合成パラメータとを畳み込み演算し、ｎチャネルの音声データを各チャネル毎に合成する音場合成手段と、
   上記音場合成手段で合成された各チャネル毎の音声データを用いて波面合成し、上記所定範囲に音場を再生する音場再生手段と
   を備えることを特徴とする音場空間再生システム。
7. 上記再現装置は、上記受聴者位置情報に応じて受聴者の座席を移動させる座席移動手段を備えることを特徴とする請求項６記載の音場空間再生システム。
8. 上記再現装置は、上記受聴者位置情報に応じて受聴者に向けて送風する送風手段を備えることを特徴とする請求項６記載の音場空間再生システム。
   

Images