JP2001503581A - 音源をスピーカへ投射する方法及び装置 - Google Patents

Abstract

(57)【要約】 オーディオ信号の空間再生のために、オーディオ信号は存在するスピーカの位置へ投射されねばならない。この場合、オーディオ信号を伝送するために特殊なスピーカ形状に固定される必要がないことが望ましい。しかしながら、可能な組合せの多様性が存在するという問題がある。本発明による方法では、音源（３）は音源を任意のスピーカ形状（２）へ投射するための音響対象として解釈される。ここで、音響対象は、音源にオーディオ信号と上記音源の仮想の空間位置を指定する空間情報の項目とが割り当てられて構成される。音響対象を再生するために、音源の空間情報とスピーカの実際の位置とは、音源からスピーカを通じて聴取者（１）までの仮想距離を計算するために使用される。再生の前に、各音響対象のために各スピーカに対するオーディオ信号の別々の処理（７，８，９）が実行される。

Description

【発明の詳細な説明】 音源をスピーカへ投射する方法及び装置 本発明は、特に音源の空間再生を可能にするために音源をスピーカへ投射する 方法及び装置に関する。従来技術 ＭＰＥＧ−２規格ＩＳＯ１３８１８より、オーディオ再生のためのマルチチャ ネルステレオ、サラウンド音声とも称される、による空間表現を目標とすること が既知である。マルチチャネル音声にはこの場合は６つのチャネルが設けられ、 そのうち３つのチャネル（左、中央、右）は聴取者の前方の空間に配置され、２ つのチャネル（左サラウンド、右サラウンド）は聴取者の後方の空間に配置され 、第６のチャネルは特殊効果用の低ピッチのトーンを再生するために設けられる 。音声チャネルは、ＭＰＥＧ−１オーディオ信号との逆互換性を確実にするため 、及び完全なサラウンド音声スピーカ形態ではなく１対のスピーカのみが存在す る場合に充分な再生を可能とするために、マトリックス化されている。この場合 、計算されたステレオ信号はＭＰＥＧ−１互換性ステレオ信号として伝送され、 残る信号は追加的なデータとして伝送される。発明 本発明は、仮想音源の空間再生のための方法を特定することを目的とする。こ の目的は請求項１に特定される方法によって達成される。 本発明は、本発明による方法を適用するための装置を特定することを目的とす る。この目的は請求項８に記載される装置によって達成される。 オーディオ信号を再生するために、後者の周波数は存在するスピーカの位置へ 投射されねばならない。例として以下の幾つかの投 射が挙げられる。 （ａ）モノ信号を１対のステレオスピーカへ投射する。 （ｂ）３／２信号（前方の３つのスピーカ／後方の２つのスピーカ）を２／２ス ピーカ配置へ投射する。 （ｃ）３ｍ離れており、左３０°、上方１０°の位置の信号を、８つのスピーカ が２ｍの距離で夫々４５°の間隔で配置されるスピーカリング上に投射する。 （ｄ）室内の２つの音源を２つのスピーカへ投射する。 オーディオ信号の伝送のためには特定の形態の上に固定されねばならないこと は望ましくない。しかしながら、可能な組合せが限りなくあるという問題がある 。 原理的には、音源をスピーカ上へ投射するための本発明による方法は、上記音 源は音響対象として解釈され、音響対象は、音源にオーディオ信号と上記音源の 仮想の空間位置を指定する空間情報の項目とが割り当てられて構成されることか らなる。 有利には、オーディオ信号は、音響対象を再生するために、空間情報の関連す る項目の関数として処理される。 この場合、望ましくはスピーカの空間位置は更に考慮され、音源とスピーカと の間の仮想距離は空間情報とスピーカの位置とから計算され、音響対象のために 各スピーカに対してオーディオ信号の別々の処理が行われる。 更に、上記オーディオ信号を処理するときに、以下のパラメータ、即ち、例え ばダンピング又は回折といった振幅減衰と、 様々な音響対象及びスピーカに対する異なる伝搬時間と、 外耳関数による空間配置上のスピーカレベルの依存の考慮とのうちの１つ以上 が考慮されることが有利である。 この場合、オーディオ信号の処理は、上記パラメータの周波数依存性が考慮さ れれば更に改善される。 上記パラメータを考慮するために必要とされる数学的関数、例え ば減衰関数は、距離及び／又は偏向角の関数として伝送及び／又は記憶される。 音響対象のデータが、ＭＰＥＧ−４規格に従って圧縮データストリームによっ て記憶及び／又は伝送されれば特に有利である。 原理的には、音源をスピーカ上へ投射するための本発明による装置は、オーデ ィオ信号と共に伝送された空間情報の項目及びスピーカの実際の位置から仮想音 響対象と夫々のスピーカとの間の距離を計算する算術ユニットが設けられること からなる。 この場合、上記夫々のスピーカの位置及び／又はパラメータを考慮するための 数学的関数が記憶されるべきメモリが設けられることが望ましい。 ｎの音響対象及びｋのスピーカに対してｎ×ｋのアクチュエータ（７，８，９ ）が設けられ、アクチュエータは上記スピーカのうちのいずれか１つを参照して 音響対象の処理を実行することが有利である。 この場合、上記パラメータの周波数依存性は上記アクチュエータによっても考 慮され、信号はまずスプリットフィルタ（１０）によって周波数帯域へ分割され 、個々の周波数帯域は次に個々に処理され、続いて上記処理された周波数帯域は マージフィルタ（１２）によって再結合される。 上記スプリットフィルタ及び／又は上記マージフィルタが、いかなる場合も存 在するオーディオデコーダの一部である場合、特に有利である。 更に、上記スピーカの位置を測定するために使用される１つ以上の指向性マイ クロホンが設けられることが望ましい。 上記指向性マイクロホンは遠隔制御装置の中に統合されることが望ましい。図面 以下、本発明の典型的な実施例を図面を参照して説明し、図中、 図１は存在するスピーカ対へ投射されるべき仮想音源を示す図であり、 図２は音声路を計算するモデルの図式的表現を示す図であり、 図３は説明されるモデルの表現回路のブロック図を示す図であり、 図４は本発明によるオーディオデコーダの一部を示す図である。典型的な実施例 典型的な問題は図１に示される。２つの仮想音源３、即ちバイオリン及びトラ ンペットは、聴取者１がバイオリン及びトランペットが図１中に示される空間位 置に配置されるような印象を受けるよう、存在する１対のスピーカ２に投射され るべきである。 以下の観察に基づいて、かかる投影用のモデルを形成することができる。人物 は、複数の開放された窓を有する部屋の中にいる。部屋の外側には、ストリート ミュージシャン、自動車の警笛等といった様々な音源、以下音響対象とも称され る、が存在する。人物は、様々な音源が見えなくとも実質的に音響的に音源の場 所が分かる。これは様々な窓を通る音声路が異なるためである。以下説明される モデルは、各窓をスピーカによって置き換えることに基づく。スピーカが正しく 作動しているとすると、同一の音場が生じ、従って同様に音響対象の場所が分か ることが可能なはずである。 図２はモデルの図式的表現を示す図である。聴取者１は任意の形状の部屋の中 におり、この部屋は吸収体材料からなる壁５を有し、従って外部から音声が通過 せず、部屋の内部で反射が生じない。音源３は、基本的には部屋の外側に配置さ れる。スピーカ又は窓は、部屋の壁の孔６によって考慮される。これにより、音 源３から聴取者１へ様々なスピーカ又は窓開口６を通じた様々な音声路４を生成 する。音声はこの場合、各音声路がそれ自体の特徴を有するが全てのスピーカ又 は窓開口を通って部屋に進入する。 図３はその中でモデルが変換されるべき表現回路のブロック図を示す図である 。２つの音響対象３、即ちバイオリン及びトランペッ トはこの場合は、３つの存在するスピーカ上へ投射される。夫々の仮想音声路に 従った駆動を可能とするため、各音響対象に対して、オーディオ信号はこの音響 対象の仮想空間位置と各スピーカの実際の位置との関数として処理される。ｎの 音響対象とｋのスピーカとして一般化すると、ｎ×ｋのアクチュエータが使用さ れることを意味する。この場合、仮想音声路に従って夫々のアクチュエータの中 の１つ以上の以下のパラメータ７，８，９が考慮される。振幅を正しく駆動する ために、後者はまず路の長さの関数として計算されねばならない。更に、空気に よる減衰又は吸収に対する考慮がなされねばならない。この場合、音源の種類、 又は空気の減衰に依存して異なる関数が考慮されねばならない。従って球状音源 は距離の平方によってその音響パワーを失い、即ち受信されるパワーは以下の式 、 受信されるパワー（ｒ）：＝送信される電力／ｒ² によって与えられる。 これに対して、例えば列車又は道路といった円筒状音源は、単純な距離によっ てその音響パワーを失う。夫々の関数はこの場合は表現回路の中に記憶されうる が、同様に送信され信号と共に記憶されうる。これらは同様に夫々のアプリケー ション又はユーザによって決定されうる。更に、スピーカ又は窓開口において生 ずる回折を考慮することもまた可能である。これらの回折効果を正確に考慮する ことを可能にするために、回折は、周波数及び位相を考慮して特定の孔の幾何形 状によって全ての音声路の総和によって計算されねばならない。これにより近似 的には、低い周波数では入射角とは独立に全ての方向に伝搬が生じ、一方、高い 周波数ではオーディオ信号の振幅は夫々の孔への入る方向と出る方向との間の角 度の関数である。近似式は計算上の費用を減少するために使用されうる。かかる 式はまた、減衰の場合について上述されたように、同時に送信されうるか、又は アプリケーション又はユーザによって設定されうる。回折効果は周波数に依存す るため、回折減衰を正確に計算すること が可能であるためにはこの周波数への依存を考慮することが必要である。これを 技術的に実現するには、決められたグループの遅延時間を有するフィルタを使用 するか、又は信号を周波数帯域へ分割しそれらを個々に処理することが必要であ る。 図４に示されるように、この場合、スプリットフィルタ１０によって分割を行 うことができ、それに続き様々なアクチュエータ１１によって処理が実行され、 最後に処理された信号はマージフィルタ１２によって再結合される。特にＭＰＥ Ｇ，ＡＣ３，又はＡＴＲＡＣ信号の場合はこれらの処理は周波数ドメインで実行 され、このために既にスプリットフィルタが設けられているため、ＭＰＥＧ，Ａ Ｃ３，又はＡＴＲＡＣ信号用の典型的なオーディオデコーダへ統合されえ、結果 として追加的なスプリットフィルタを設ける必要はない。 更なるパラメータは信号の伝搬時間（遅延）である。ここでは原理的に、最初 に耳に当たる音波が決定的に方向の認知に関与することが適用できる。路の長さ がｒであり、音の平均速度ｃが約３４０ｍ／ｓであるとき、 遅延（ｒ）：＝ｒ／ｃ であることが成立する。 この場合、長さｒはスピーカと聴取者との間の最短距離ほど短くされうる。こ れは表現ユニットの中の記憶要件を減少させる。 音源と人間の鼓膜との間には、方向及び周波数に依存する伝達関数、或いは外 耳関数と称される、が存在する。簡単に述べると、前方からの音は後方からの音 とは異なって耳の筋肉によってフィルタされる。 角度ｘに位置決めされる仮想音源を角度ｚで設けられるスピーカによって放射 することが所望であれば、外耳関数が考慮されるべきである。これは、仮想位置 及びスピーカ位置の間の差分レベル信号が決定され、信号が適当にフィルタリン グされることを要求する。 外耳関数は全ての人に対して同じではないため、特に良好な補正のためにユーザ は様々な外耳関数から選択することが可能であることが考えられる。 ここではまた、フィルタはオーディオデコーダの周波数面の中のアクチュエー タによって実現されうる。 実際のスピーカの位置は、仮想音響対象と実際のスピーカとの間の路の長さを 決めるよう決定されねばならない。このために様々な方法が考えられる。従って 、ユーザはメートル定規等を使用して夫々のスピーカ筐体の位置の空間座標を測 定することができ、対応する距離データを表現回路へ中継する入力装置へ入力す ることができる。入力はここでは、適当な装置のキーボード又は遠隔制御装置を 使用して実行されえ、また、適当であれば入力データを監視すること、又はユー ザがディスプレイ装置又はビュー装置のスクリーン上の表示によって案内される ことが可能である。 また、ユーザが距離を機械的に測定する必要がないように、１つ以上の指向性 マイクロホンによってスピーカシステムを測定することが可能である。指向性マ イクロホンからスピーカまでの距離は、この場合、スピーカを通じてパルスを有 するテストシーケンスを再生し、伝搬時間を測定することによって決定されうる 。個々のスピーカの角度は次に、指向性マイクロホンの指向性特徴によって決定 されうる。するとスピーカ形態を自動的に測定することが可能である。特に、こ の場合、マイクロホンを遠隔制御装置の中に統合することが自明である。 仮想の路の長さ全体は、次に仮想音響対象の位置と、上述のように、夫々のス ピーカについて決定された位置から生成される。この場合、２つの位置に対して 様々な表現の可能性が考えられる。従って、これは例えば、デカルト座標、即ち 空間中の３つの方向全てにおける距離の指定、又は極座標、即ち距離の指定及び 水平角、適当であれば垂直角の指定によって実行されうる。 殆どの場合にスピーカの位置が不変のままにされねばならない一方で、音響対 象の仮想位置における変化は確かにしばしば生ずる。これは特にオーディオ信号 がビデオ信号に伴って再生される場合に当てはまる。従って、例えば長編映画の 場合、俳優又は車両はスクリーン上を移動したり、スクリーンから消えたりする ことができ、従って空間的な位置を変化させうる。同様に、音声出力を有するコ ンピュータゲームでは、ゲーム参加者は例えばジョイスティックを使用してプレ ーヤによって動かされ、ゲーム参加者に割り当てられた音信号の再生はプレーヤ によって指令又は変更される位置に従って適合されることが考えられる。 本発明は、例えばＭＰＥＧ−４，ＭＰＥＧ−２又はＡＣ３規格に従ってディジ タルオーディオ信号を送信するだけでなく記録及び再生するために使用されうる 。これは、例えばＣＤプレーヤ、ＤＡＢ又はＡＤＲ受信器による純粋なオーディ オ信号再生、及び例えばＤＶＤプレーヤ又はディジタルテレビジョン受像機にお けるビデオ信号に従うオーディオ信号の再生でありうる。更に、この場合テレビ 電話又はコンピュータゲームといった相互対話型システムの場合にも考えられる 。

【手続補正書】特許法第１８４条の８第１項 【提出日】平成１１年２月１３日（１９９９．２．１３） 【補正内容】 ７． 音響対象のデータは、ＭＰＥＧ−４規格に従って圧縮データストリームに よって記憶及び／又は伝送されることを特徴とする、請求項１乃至６のうちいず れか１項記載の方法。 ８． 音源をスピーカ上へ投射する装置であって、 上記音源は音響対象として解釈され、ｎの音響対象及びｋのスピーカに対して ｎ×ｋのアクチュエータ（７，８，９）が設けられ、アクチュエータは上記スピ ーカのうちのいずれか１つを参照して音響対象の処理を実行することを特徴とす る装置。 ９． アクチュエータは、以下のユニット、即ち、 振幅整合のためのユニット（７）と、 異なる伝搬時間を補正するための時間遅延ユニット（８）と、 外耳関数を考慮するためのユニット（９）とのうちの少なくとも１つを含むこ とを特徴とする、請求項８記載の装置。 １０． 上記パラメータの周波数依存性は上記アクチュエータによっても考慮さ れ、信号はまずスプリットフィルタ（１０）によって周波数帯域へ分割され、個 々の周波数帯域は次に個々に処理され、続いて上記処理された周波数帯域はマー ジフィルタ（１２）によって再結合されることを特徴とする、請求項９記載の装 置。 １１． 上記スプリットフィルタ及び／又は上記マージフィルタは、いかなる場 合も存在するオーディオデコーダの一部であることを特徴とする、請求項１０記 載の装置。 １２． 上記オーディオ信号と共に伝送された空間情報の項目及びスピーカの実 際の位置から仮想音響対象と夫々のスピーカとの間の距離を計算する算術ユニッ トが設けられることを特徴とする、請求 項８乃至１１のうちいずれか１項記載の装置。 １３． 上記夫々のスピーカの位置及び／又はパラメータを考慮するための数学 的関数が記憶されるべきメモリが設けられることを特徴とする、請求項８乃至１ ２のうちいずれか１項記載の装置。 １４． 上記スピーカの位置を測定するために使用される１つ以上の指向性マイ クロホンが設けられることを特徴とする、請求項８乃至１３のうちいずれか１項 記載の装置。 １５． 上記指向性マイクロホンは遠隔制御装置の中に統合されることを特徴と する、請求項１４記載の装置。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ， ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＫＥ，ＬＳ，ＭＷ，Ｓ Ｄ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ， ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，Ｆ Ｉ，ＧＢ，ＧＥ，ＧＨ，ＨＵ，ＩＤ，ＩＬ，ＩＳ，ＪＰ ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ， ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，Ｍ Ｗ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ， ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＷ

Claims (1)

1. 【特許請求の範囲】 １． 音源（３）をスピーカ（２）上へ投射する方法であって、 上記音源（３）は音響対象として解釈され、該音響対象は、音源にオーディオ 信号と上記音源の仮想の空間位置を指定する空間情報の項目とが割り当てられて 構成されることを特徴とする方法。 ２． 上記オーディオ信号は、音響対象を再生するために、空間情報の関連する 項目の関数として処理されることを特徴とする、請求項１記載の方法。 ３． 上記スピーカ（２）の空間位置は更に考慮され、音源とスピーカとの間の 仮想距離は空間情報とスピーカの位置とから計算され、音響対象のために各スピ ーカに対してオーディオ信号の別々の処理が行われることを特徴とする、請求項 ２記載の方法。 ４． 上記オーディオ信号を処理するときに、以下のパラメータ、即ち、 例えばダンピング又は回折といった振幅減衰（７）と、 様々な音響対象及びスピーカに対する異なる伝搬時間（８）と、 外耳関数による空間配置上のスピーカレベルの依存の考慮（９）とのうちの１ つ以上が考慮されることを特徴とする、請求項２又は３記載の方法。 ５． 上記パラメータの周波数依存性は、オーディオ信号の処理においても考慮 されることを特徴とする、請求項４記載の方法。 ６． 上記パラメータを考慮するために必要とされる数学的関数、例えば減衰関 数は、距離及び／又は偏向角の関数として伝送及び／ 又は記憶されることを特徴とする、請求項５記載の方法。 ７． 音響対象のデータは、ＭＰＥＧ−４規格に従って圧縮データストリームに よって記憶及び／又は伝送されることを特徴とする、請求項１乃至６のうちいず れか１項記載の方法。 ８． 音源をスピーカ上へ投射する装置であって、 上記音源は音響対象として解釈され、ｎの音響対象及びｋのスピーカに対して ｎ×ｋのアクチュエータ（７，８，９）が設けられ、アクチュエータは上記スピ ーカのうちのいずれか１つを参照して音響対象の処理を実行することを特徴とす る装置。 ９． アクチュエータは、以下のユニット、即ち、 振幅整合のためのユニット（７）と、 異なる伝搬時間を補正するための時間遅延ユニット（８）と、 外耳関数を考慮するためのユニット（９）とのうちの少なくとも１つを含むこ とを特徴とする、請求項８記載の装置。 １０． 上記パラメータの周波数依存性は上記アクチュエータによっても考慮さ れ、信号はまずスプリットフィルタ（１０）によって周波数帯域へ分割され、個 々の周波数帯域は次に個々に処理され、続いて上記処理された周波数帯域はマー ジフィルタ（１２）によって再結合されることを特徴とする、請求項９記載の装 置。 １１． 上記スプリットフィルタ及び／又は上記マージフィルタは、いかなる場 合も存在するオーディオデコーダの一部であることを特徴とする、請求項１０記 載の装置。 １２． 上記オーディオ信号と共に伝送された空間情報の項目及び スピーカの実際の位置から仮想音響対象と夫々のスピーカとの間の距離を計算す る算術ユニットが設けられることを特徴とする、請求項８乃至１１のうちいずれ か１項記載の装置。 １３． 上記夫々のスピーカの位置及び／又はパラメータを考慮するための数学 的関数が記憶されるべきメモリが設けられることを特徴とする、請求項８乃至１ ２のうちいずれか１項記載の方法。 １４． 上記スピーカの位置を測定するために使用される１つ以上の指向性マイ クロホンが設けられることを特徴とする、請求項８乃至１３のうちいずれか１項 記載の装置。 １５． 上記指向性マイクロホンは遠隔制御装置の中に統合されることを特徴と する、請求項１４記載の装置。