JP2009055621A

JP2009055621A - 仮想音響環境において指向性音響を処理する方法

Info

Publication number: JP2009055621A
Application number: JP2008250770A
Authority: JP
Inventors: Jyri Huopaniemi; フオパニエミ、イリ; Riitta Vaeaenaenen; ベーネネン、リータ
Original assignee: Nokia Mobile Phones Ltd
Current assignee: Nokia Mobile Phones Ltd; Nokia Oyj
Priority date: 1998-03-23
Filing date: 2008-09-29
Publication date: 2009-03-12
Also published as: JP4573433B2; US7369668B1; AU2936999A; FI980649A0; CN1132145C; KR100662673B1; KR20010034650A; ATE361522T1; DE69935974D1; ES2285834T3; JP2002508609A; WO1999049453A1; DE69935974T2; FI116505B; CN1302426A; EP1064647B1; FI980649A; EP1064647A1

Abstract

【課題】仮想音響環境が妥当な計算負荷でユーザに伝送され得る方法およびシステムを示すことである。本発明のさらなる目的は、音の高低と到達方向が音の指向性に及ぼす影響を考慮できる方法およびシステムを示すことである。
【解決手段】仮想音響環境が電子装置内で処理される。仮想音響環境は少なくとも１つの音源３００を含む。音が方向づけられる方法をモデル化するために、方向に依存するフィルタの組３０６、３０７、３０８、３０９が音源に対応して設けられることによって、フィルタの組が音に及ぼす影響が所定のパラメータに依存する。指向性は音の周波数に依存可能である。
【選択図】図３

Description

本発明は、ある空間に対応する人工的な聴感覚（audible impression）が聴取者に対して生成され得る方法およびシステムに関する。さらに詳しくは、本発明は、そのような聴感覚における指向性音響の処理およびユーザに提示される情報がディジタル形式で伝送、処理、および／または圧縮されるシステムにおいて結果として生ずる聴感覚の伝送に関する。

仮想音響環境は、電気的再生音に対する聴取者がある空間内にいることを想像できる上で手助けとなる聴感覚を意味する。複雑な仮想音響環境は、多くの場合に実際の空間を模倣することを意図している。それは前記空間の聴覚化と称される。この概念は論文、エム．クライネル、ベー．アイ．ダレンベック、ペー．スベンソン著「聴覚化−概要」、１９９３、ヤー．アウヂオ工学会、第４１巻、Ｎｏ．１１、８６１〜８７５頁（M. Kleiner, B. I. Dalenbaeck, P. Svensson;“Auralization - An Overview”, 1993, J. Audio Eng. Soc., vol. 41, No. 11, pp. 861 - 875）に記載されている。聴覚化は視覚仮想環境の生成と自然な方法で結合され得るので、適当なディスプレイとスピーカまたはヘッドセットを備えたユーザは所望の実際または想像上の空間を観測することができて、前記空間内を「動き回る」ことさえもできる。したがって、ユーザは観測ポイントとして選択した前記環境内の位置に依存して様々な視覚および聴感覚を得る。

仮想音響環境の生成は３つの要素、すなわち音源のモデル化、空間のモデル化、および聴取者のモデル化に分割され得る。本発明はとくに音源のモデル化と早期の音の反射に関する。

ＶＲＭＬ９７言語（バーチャルリアリティモデル化言語（Virtual Reality Modeling Language）９７）は視覚および仮想音響の環境をモデル化して処理するのによく使用され、この言語は出版物ISO/IEC JTC/SC24 IS 14772-1, 1997, 「情報技術−コンピューターグラフィックスおよび画像処理−バーチャルリアリティモデル化言語（Information Technology - Computer Graphics and Image Processing - The Virtual Reality Modeling Language）(VRML97)、１９９７年４月およびインターネットアドレス http://www.vrml.org/Specifications/VRML97/の対応ページで扱われている。本特許出願が作成されているあいだに開発されている規則の他のセットはＪａｖａ３Ｄに関連しており、それはＶＲＭＬの制御および処理環境となり、たとえば出版物ＳＵＮ出版1997;「JAVA 3D API詳説 1.0」およびインターネットアドレス http://www.javasoft.com/-products/java-media/3D/forDevelopers/3Dguide/- に記載されている。さらに、開発中のＭＰＥＧ−４規格（Motion Picture Experts Group 4）は、ディジタル通信リンクを経由して伝送されるマルチメディア提示が実際と仮想の対象を含むことができて、それらはある視聴覚環境をともに形成することを目標としている。ＭＰＥＧ-４規格は出版物ISO/IEC JTC/SC29 WG11 CD 14496, 1997;「情報技術−視聴覚対象のコード化」（Information Technology - Coding of audiovisual objects.）１９９７年１１月およびインターネットアドレス http://www.cselt.it/-mpeg/public/mpeg-4_cd.htm の対応ページに記載されている。

図１はＶＲＭＬ９７およびＭＰＥＧ-４で使用されている既知の指向性音響モデルを示す。音源はポイント１０１に位置し、その回りに２つの楕円体１０２と１０３が一方が他方の内側に仮定され、それによって１つの楕円体の焦点が音源の位置と共通であり、２つの楕円体の主軸が平行である。楕円体１０２と１０４の大きさは、主軸の方向に測定される距離ｍａｘＢａｃｋ、ｍａｘＦｒｏｎｔ、ｍｉｎＢａｃｋとｍｉｎＦｒｏｎｔによって表わされる。距離の関数としての音の減衰は曲線１０４によって表わされる。内側の楕円体１０２の内側では音の強さは一定であり、外側の楕円体１０３の外側では音の強さはゼロである。ポイント１０１を通るすべての直線に沿ってポイント１０１から離れるにつれて、音の強さは内側と外側の楕円体とのあいだで直線的に２０ｄＢ減少する。いいかえれば、２つの楕円体のあいだに位置するポイント１０５で観察される減衰Ａは次式によって計算され得る。

Ａ＝−２０ｄＢ・（ｄ’／ｄ”）
ここで、ｄ'はポイント１０１と１０５を結ぶ直線に沿って測定される内側の楕円体の表面から観察ポイントまでの距離であり、ｄ”は同じ直線に沿って測定される内側と外側の楕円体のあいだの距離である。

Ｊａｖａ３Ｄにおいて、指向性音響モデルは図２に示された円錐状音響概念によってモデル化される。この図は円錐の共通の長手方向軸を含む面に沿った２つの円錐構造の断面を表わす。音源は円錐２０１と２０２の共通の頂点２０３に位置する。前方の円錐２０１と後方の円錐２０２の両方の領域において、音は均一に減衰する。２つの円錐間の領域においては、直線的な補間（interpolation）が適用される。観測ポイント２０４で検出される減衰を計算するために、減衰なしの音の強さ、前方と後方の円錐の幅、および前方の円錐の長手方向軸とポイント２０３と２０４とを結ぶ直線のあいだの角度を知る必要がある。

音響反射面を有する空間の音響特性をモデル化する既知の方法が虚音源法（image source method）であり、そこでは最初の音源に加えて観測対象の反射面に対応する音源の鏡像である１組の仮想虚音源が与えられる。１つの虚音源は各調査対象の反射面の後に配置されるので、この虚音源から観測ポイントまでまっすぐに測定される距離は、最初の音源から反射して観測ポイントに至る距離と同じである。さらに、虚音源からの音は実際の反射音と同じ方向から調査ポイントに到達する。聴感覚は虚音源によって発生される音を加えることによって得られる。

従来技術による方法は計算の負荷が非常に大きい。仮想環境が、たとえば放送またはデータネットワークを通してユーザに伝送されると仮定した場合には、ユーザの受信機は数千の虚音源によって発生される音を絶えず加える必要がある。そのうえ、ユーザが観測ポイントの位置を変更しようと決めた場合には、計算のベースはいつも変化する。さらに、既知の解は、方向角のほかに音の指向性はその波長に強く依存していること、いいかえれば、周波数の高低が様々な音は様々な方向に向かうという事実を完全に無視している。

フィンランド特許出願第９７４００６号明細書（ノキア社(Nokia Corp.)）に、仮想音響環境を処理する方法およびシステムが述べられている。そこでは、モデル化対象の環境の音響反射面は一定の周波数応答を有するフィルタによって表わされる。モデル化された環境をディジタル伝送形式で伝送するためには、その環境に属するすべての不可欠な音響反射面の伝達関数をある方法で表わすことで充分である。しかし、これさえも音の到達方向または高低が音の方向に及ぼす影響を考慮していない。

本発明の目的は、仮想音響環境が妥当な計算負荷でユーザに伝送され得る方法およびシステムを示すことである。本発明のさらなる目的は、音の高低と到達方向が音の指向性に及ぼす影響を考慮できる方法およびシステムを示すことである。

本発明の目的は、音の所望の指向性を様々なパラメータの助けで設定し、その指向性が周波数と到着方向角にどのように依存するかを考慮するパラメータで特徴づけられたシステム関数によって音源またはその早期反射をモデル化することによって達成される。

本発明による方法は、音がどのような方向に向けられるかをモデル化するために、フィルタの組が音源に及ぼす影響がフィルタの所定のパラメータに依存するように方向に依存するフィルタの組が仮想音響環境の音源に対応して設けられることを特徴とする。

また本発明は、仮想音響環境に属する音源からの音の指向性をモデル化するパラメータで特徴づけられたフィルタを含むフィルタバンクを生成する手段を含むことを特徴とするシステムに関する。

本発明によれば、音源のモデルまたはそれから計算された反射は、方向に依存するディジタルフィルタを含む。ゼロ方位と称されるある基準方向が音に対して選択される。この方向は仮想音響環境においてどの方向にも向けられ得る。それに加えて、多数の他の方向が選択され、そこでは音がどの方向に向けられているかをモデル化することが必要とされる。また、これらの方向は任意に選択され得る。選択された各々の他の方向は、周波数に依存するか、または依存しないかを選択することができる伝達関数を有する独自のディジタルフィルタによってモデル化される。観測ポイントがフィルタによって丁度表わされた方向以外のどこかに位置する場合には、フィルタ伝達関数のあいだに様々な補間を形成することが可能である。

情報をディジタル形式で伝送する必要があるシステムにおいて音およびそれがどのように向けられているかをモデル化しようとする場合に、各伝達関数に関するデータだけを伝送すればよい。受信装置は、所要の観測ポイントを知って、音が音源の位置から観測ポイントの方に向いていることを、それが再構成した伝達関数の助けで決定する。観測ポイントの位置がゼロ方位に対して変化する場合に、受信装置は音が新しい観測ポイントに対してどのように向けられているかを調べる。いくつかの音源が有り得るので、受信装置は音が各音源から観測ポイントへどのように向くかを計算し、それに対応して再生音を修正する。そのとき、たとえば楽器が様々な場所に位置し様々な方向に向いている仮想オーケストラに対して、聴取者は正しく位置づけられた聴取位置における聴感覚を得る。

方向に依存するディジタルフィルタリングを実現する最も簡単な代案は、ある増幅率を選択された各方向に割り当てる（attatch）ことである。しかし、そのとき音の高低は考慮されない。より改良された代案では、観測される周波数帯域は小帯域に分割され、各小帯域について選択された各方向においてそれら独自の増幅率が与えられる。さらに改良されたバージョンでは、観測される各方向は一般化された伝達関数によってモデル化され、その伝達関数に対応して同じ伝達関数の再構成を可能にするある係数の組が指示される。

以下において、例として示される好適な実施態様および図面を参照することにより、本発明はより詳細に説明される。

従来技術に関連づけて、図１〜２の例示が前段でなされ、以下の本発明の記述では、好ましい例示が図３〜７ｂになされている。

図３は、ポイント３００に在る音源の場所とゼロ方位の方向３０１を示す。図において、ポイント３００に位置する音源を４つのフィルタで表わすものと仮定する。第１のフィルタは音源から方向３０２に伝播する音を表わし、第２のフィルタは音源から方向３０３に伝播する音を表わし、第３のフィルタは音源から方向３０４に伝播する音を表わし、そして第４のフィルタは音源から方向３０５に伝播する音を表わす。さらに図において、音はゼロ方位の方向３０１に対して対称に伝播すると仮定される。その結果実際に、方向３０２〜３０５の各々は、観測される方向を表わす半径をゼロ方位の方向３０１を中心として回転することによって得られる円錐形の面上のいずれかの対応する方向を表わす。本発明はこれらの仮定に限定されるものではなく、本発明のいくつかの特徴は簡易化された実施の形態を先ず検討することによってより容易に理解される。図において、方向３０２〜３０５は同じ平面内で等距離だけ離れた直線として示されているが、方向は任意に選択され得る。

図３に示されたゼロ方位方向と異なる方向に伝播する音を表わす各フィルタは、ブロック３０６、３０７、３０８および３０９によって記号的に示される。各フィルタはある伝達関数Ｈ_i（ここで、ｉ∈｛１，２，３，４｝）によって特徴づけられる。フィルタの伝達関数は、ゼロ方位に対して伝播する音が音源によって前述のように発生する音と同じであるように正規化される。通常、音は時間の関数なので、音源によって発生する音はＸ（ｔ）と表わされる。各フィルタ３０６〜３０９は次式による応答Ｙｉ（ｔ）（ここで、ｉ∈｛１，２，３，４｝）を生成する。

Ｙｉ（ｔ）＝Ｈｉ^*Ｘ（ｔ）（１）
ここで、＊は時間に対する重畳積分（コンボルーション）を表わす。応答Ｙｉ（ｔ）は当該方向を向いている音である。

最も簡単な形では、伝達関数は、インパルスＸ（ｔ）は実数によって逓倍されることを意味する。最も強い音が向く方向としてゼロ方位を選定することが自然なので、各フィルタ３０６〜３０９の最も簡単な伝達関数は、ゼロと１とのあいだの実数（両限界値を含む）である。

簡単な実数による逓倍は指向性に対する音の高低の重要性を考慮していない。より汎用性のある伝達関数ではインパルスは所定の周波数帯域に分割され、各周波数帯域は実数であるそれぞれの増幅率によって逓倍される。周波数帯域はその周波数帯域の最高周波数を表わす１つの数字によって規定され得る。代替として、ある複数の実数係数がいくつかの周波数例に対してここに示され得る。これによって、適当な補間がこれらの周波数間に適用される（たとえば、周波数４００Ｈｚと増幅率０．６、および周波数１０００Ｈｚと増幅率０．２が与えられた場合に、直接補間によって周波数７００Ｈｚに対して増幅率０．４を得る）。

一般に、各フィルタ３０６〜３０９は、Ｚ変換Ｈ（ｚ）によって表わされる伝達関数Ｈを有するあるＩＩＲまたはＦＩＲフィルタ（Infinite Impulse Response; Finite Impulse Response）であるということができる。インパルスＸ（ｔ）のＺ変換Ｘ（ｔ）とインパルスＹ（ｔ）のＺ変換Ｙ（ｔ）によって、つぎの定義を得る。

これによって、任意の伝達関数を表わすためにＺ変換のモデル化に使用される係数［ｂ₀ｂ₁ａ₁ｂ₂ａ₂・・・］を表わすだけで充分である。加算で使われている上限ＮとＭは、伝達関数を規定するのに必要とされる精度を表わす。実際には、それらは各単一伝達関数をモデル化するために使用される係数を格納および／または伝送システムで伝送するためにどれくらいの大きさの容量が利用できるかによって決定される。

図４は、トランペットによって発生される音がどのように向いているかを示す。それはゼロ方位によって表現され、８つの周波数に依存する伝達関数とそれらのあいだの補間を有する。音が指向性を与えられる様子は、垂直軸が音量をデシベルで表わし、第１の水平軸が方向角をゼロ方位に対する角度で表わし、第２の水平軸が音の周波数をキロヘルツで表わす三次元座標系においてモデル化される。補間のため、音は面４００によって表わされる。図の上左端で、面４００は水平線４０１によって制限され、それは音量がゼロ方位方向において周波数に依存しないことを表現している。上右端で、面４００はほぼ水平な線４０２によって制限され、それは音量が非常に低い周波数（０Ｈｚに近い周波数）において方向角に依存しないことを示している。様々な方向角を表わすフィルタの周波数応答は、線４０２から出発し図の左下方へ斜めに延びる曲線である。方向角は等距離であり、それらの大きさは２２．５°、４５°、６７．５°、９０°、１１２．５°、１３５°、１５７．５°、および１８０°である。たとえば、曲線４０３は音量をゼロ方位から測定された角度１５７．５°で伝播する音に関する周波数の関数として表わし、この曲線はこの方向において最高周波数は低周波数よりもより大きく減衰することを示している。

本発明は、仮想音響環境がコンピュータメモリーで生成されて同じ結合で処理されるか、またはそれがＤＶＤディスク（Digital Versatile Disc）のような記憶媒体から読み出されて、視聴覚表現手段（ディスプレイ、スピーカ）を介してユーザに再生する局所的な装置における再生に適している。さらに本発明は、仮想音響環境がいわゆるサービスプロバイダの装置で生成されて伝送装置を経由してユーザへ伝送されるシステムに適用できる。本発明にもとづいた方法で処理される指向性音響をユーザに対して再生し、ユーザが再生音を聴きたいと欲する仮想音響環境内のポイントを選択できる装置は、一般に受信装置と称される。この用語は本発明に限定されるものではない。

ユーザが再生音を聴きたいと欲する仮想音響環境内のポイントについての情報を受信装置に与えた場合に、受信装置は音がどの方向に音源から前記ポイントへ向けられるかを決定する。図４では、グラフで示すように、受信装置が音源のゼロ方位と観測ポイントの方向のあいだの角度を決定した場合に、面４００を周波数軸に平行な垂直な面で切断し、方向角軸をゼロ方位と観測ポイントとのあいだの角度であるその値で切断することを意味する。面４００と前記垂直な面とのあいだのセクションは、観測ポイントの方向で検出される音の相対的音量を周波数の関数として表わす曲線である。受信装置は前記曲線にもとづいた周波数応答を実現するフィルタを形成し、音源によって発生された音をユーザに向けて再生される前にそれが形成したフィルタを通してユーザに向ける。ユーザが観測ポイントの位置を変更することを決定した場合に、受信装置は新しい曲線を決定して上述のように新しいフィルタを生成する。

図５は、様々に向けられている３つの仮想音源５０１、５０２、および５０３を有する仮想音響環境５００を示す。ポイント５０４はユーザによって選ばれた観測ポイントを示す。図５に示された状況を説明するために、本発明にもとづいて、各音源５０１、５０２、および５０３について音がどのように向けられるかを表わす独自のモデルが生成され、それによって各ケースにおけるモデルはほぼ図３および４の通りであり得るが、ゼロ方位はモデルにおける各仮想音源について異なる方向を有することを考慮する。この場合には、音がどのように向けられるかを考慮するために、受信装置は３つの別々のフィルタを生成する必要がある。第１のフィルタを生成するために、第１の音源によって伝送される音がどのように向けられるかをモデル化する伝達関数が決定されて、これらの伝達関数と補間の助けによって図４のような面が生成される。さらに、観測ポイントの方向と音源５０１のゼロ方位とのあいだの角度が決定されて、この角度の助けによって上記面上の前記方向における周波数応答を読み取ることができる。同じオペレーションが各音源について別々に繰り返される。ユーザに再生される音は３つの音源すべてからの音の和であり、この和において各音は前記音がどのように向けられるかをモデル化するそれぞれのフィルタでろ波されている。

本発明にもとづいて、実際の音源に加えて音の反射、特に早期反射もモデル化することができる。図５で、虚音源法によって形成される虚音源５０６は、音源５０３によって伝送される音がどのように近傍の壁から反射されるかを表わす。
この虚音源は本発明にもとづいて実際の音源と全く同じ様に処理され得る、いいかえれば、それについてゼロ方位の方向およびゼロ方位方向と異なる方向における音の指向性（必要な場合は周波数に依存）を決定することができる。受信装置は実際の音源によって発生された音に対して使用したものと同じ原理で虚音源によって発生された音を再生する。

図６は送信装置６０１および受信装置６０２を有するシステムを示す。送信装置６０１は、少なくとも１つの音源および少なくとも１つの空間の音響特性を含むある仮想音響環境を生成し、その環境を受信装置６０２にある形式で伝える。伝送は、たとえばディジタルラジオ、テレビ放送、またはデータネットワークで行なわれ得る。また伝送は、送信装置６０１はすでに生成されている仮想音響環境にもとづいてＤＶＤディスク（Digital Versatile Disc）のような記録を生成し、受信装置のユーザはこの記録を使用時に入手するということをも意味し得る。記録として引き渡される典型的な応用は、音源が仮想楽器を含むオーケストラによるコンサートであり、空間が電気的にモデル化された仮想または実際のコンサートホールであり、それによって装置を持った受信装置のユーザがホール内の様々な場所で演奏がどのように聞こえるかを聴くことができる。この仮想環境が視聴覚的である場合には、コンピュータグラフィックスによって実現される視覚表示部も含む。本発明では、送信装置と受信装置が異なる装置である必要はなく、ユーザは特定の仮想音響環境を１つの装置で生成し、彼自身が生成したものを試聴するために同じ装置を使用することができる。

図６に示された実施の形態において、送信装置のユーザは、コンピュータグラフィックス・ツール６０３および対応するツール６０４を備える仮想オーケストラのプレーヤと楽器のようなビデオアニメーションの助けによって、コンサートホールのようなある視覚環境を生成する。さらに、彼はキーボード６０５を介して彼が生成した環境の音源のある指向性、できれば音が周波数に依存してどのように向けられるかを表わす伝達関数を入力する。音がどのように向けられるかのモデル化も実際の音源について行なわれた測定にもとづいて行なわれ得る。そのとき、指向性情報は通常データベース６０６から読み出される。仮想楽器の音はデータベース６０６からロードされる。送信装置はユーザによって入力された情報を処理し、ブロック６０７、６０８、６０９、および６１０内でビットストリームに変換して、そのビットストリームをマルチプレクサ６１１内で１つのデータストリームに結合する。そのデータストリームは、受信装置６０２にある形式で供給される。デマルチプレクサ６１２では、データストリームから静止環境を表わす画像セクションをブロック６１３に、時間に依存する画像セクションまたはアニメーションをブロック６１４に、時間に依存する音をブロック６１５に、そして面を表わす係数をブロック６１６に分離する。画像セクションは表示ドライバブロック６１７において結合されてディスプレイ６１８に供給される。音源から伝えられた音を表わす信号は、ブロック６１５からフィルタバンク６１９に供給される。フィルタバンク６１９は、ブロック６１６から得られるパラメータａおよびｂの助けによって再構成される伝達関数を有するフィルタを備えている。フィルタバンクによって発生される音はヘッドセット６２０に供給される。

図７ａおよび７ｂは、本発明にもとづく方法で仮想音響環境を実現できる受信装置のフィルタの構成をより詳細に示す。また、本発明にもとづく音の指向性のモデル化だけでなく、音処理に関する他のファクタも図において考慮されている。遅延手段７２１は様々な音成分の相互時間差（たとえば、様々な経路に沿って反射された音、または様々な距離に位置する仮想音源の相互時間差）を生成する。同時に遅延手段７２１は、正しい音を正しいフィルタ７２２、７２３、および７２４に向けるデマルチプレクサとして動作する。フィルタ７２２、７２３、および７２４は、より詳細に図７ｂに記述されているパラメータで特徴づけられたフィルタである。それらによって供給される信号は、一方ではフィルタ７０１、７０２、および７０３に分岐され、他方では加算器と増幅器７０４を経由して加算器７０５に分岐され、それはエコー分岐７０６、７０７、７０８、および７０９と、加算器７１０と、増幅器７１１、７１２、７１３、および７１４とともに結合を形成し、それによってポストエコーがある信号に対して生成され得る。フィルタ７０１、７０２、および７０３は、たとえばＨＲＴＦモデル(Head-Related Transfer Function)にもとづいた様々な方向における聴取者の聴感覚の差異を考慮する指向性フィルタである。また、フィルタ７０１、７０２、および７０３は、様々な方向から聴取者の耳に届く音成分の相互時間差をモデル化するいわゆるＩＴＤ遅延（Interaural Time Difference）を含んでいることが最も好ましい。

フィルタ７０１、７０２、および７０３において、各信号成分は左右のチャンネルに分割され、また、マルチチャンネルシステムでは一般にＮチャンネルに分割される。あるチャンネルに関連するすべての信号は加算器７１５または７１６で結合され、加算器７１７または７１８へ向けられて、そこで各信号に属するポストエコーが信号に加えられる。ライン７１９および７２０はスピーカまたはヘッドセットに通ずる。図７ａにおいて、フィルタ７２３とフィルタ７２４とのあいだおよびフィルタ７０２とフィルタ７０３とのあいだの点は、本発明は受信装置のフィルタバンク内のフィルタの数を制限しないことを意味する。モデル化された仮想音響環境の複雑さに応じて数百または数千のフィルタがあってもよい。

図７ｂは、図７ａに示されたパラメータで特徴づけられるフィルタ７２２を実現する可能性をより詳細に示す。図７ｂにおいて、フィルタ７２２は３つの連続するフィルタ段７３０、７３１、および７３２を含み、そのうちの第１のフィルタ段７３０は媒体（通常は空気）中の伝播減衰を表わし、第２段７３１は反射材料（それは反射をモデル化する場合にとくに適用される）で起きる吸収を表わし、そして第３段７３２は音が音源から（ことによると反射面を経由して）観測ポイントまで媒体中を伝播する距離と空気の湿度、圧力、および温度のような媒体の特性の両方を考慮する。距離を計算するために、第１段７３０は送信装置からモデル化対象の空間の座標系における音源の位置に関する情報を、そして受信装置からユーザが観測ポイントとして選定したポイントの座標に関する情報を得る。第１段７３０は送信装置または受信装置のどちらかから媒体の特性を表わすデータを得る（受信装置のユーザは所要の媒体特性を設定することができる）。デフォルトとして、第２段７３１は送信装置から反射面の吸収を表わす係数を得るが、またこの場合に受信装置のユーザはモデル化された空間の特性を変更する可能性を与えられ得る。第３段７３２は音源によって伝送された音がどのように音源からモデル化された空間内の様々な方向に向けられるかを考慮する。したがって、第３段７３２は本特許出願で提示される本発明を実現する。

仮想音響環境の特性がパラメータを使用することによって１つの装置から別の装置へどのように処理されて伝送されるかを一般的に上述した。つぎに、本発明がどのようにあるデータ伝送形式に適用されるかを論ずる。マルチメディアはユーザに対する視聴覚対象の相互同期した提示を意味する。会話形式のマルチメディア提示が、たとえば娯楽や電子会議の形式として将来広く普及すると考えられる。従来技術には、電気的形式でマルチメディアプログラムを伝送する様々な方法を規定する多数の規格がある。本特許出願において、いわゆるＭＰＥＧ（Motion Picture Experts Group）規格を詳しく論ずる。その規格のうちの本特許出願が提出された時に作成中のＭＰＥＧ−４規格は、伝送されるマルチメディア提示がある視聴覚環境をともに形成する実際または仮想の対象を含むことができるという目標を有する。本発明はＭＰＥＧ−４規格と接続して使用されることに決して限定されないばかりでなく、たとえばＶＲＭＬ９７規格の拡張に、または現在は未知である将来の視聴覚規格にさえも適用され得る。

ＭＰＥＧ−４規格にもとづくデータストリームは、時間（合成音のような）およびパラメータ（モデル化対象の空間における音源の位置のような）が連続しているセクションを含むことができる多重化視聴覚対象を含む。対象は階層的であるように規定され得るので、いわゆるプリミティブ（primitive）は階層の最低レベルにある。対象のほかに、ＭＰＥＧ−４規格にもとづくマルチメディアプログラムは、対象の相互関係に関する情報およびプログラムの一般的設定の配列に関する情報を含むいわゆる場面記述（scene description）を含み、非常に便利なことにそれらの情報は実際の対象から別々に符号化されたり復号化されたりする。また場面記述はＢＩＦＳセクション（場面記述に対する２進フォーマット）と称される。本発明にもとづく仮想音響環境の伝送は、ＭＰＥＧ−４規格(SAOL/SASL: Structured Audio Orchestra Language / Structured Audio Score Language)またはＶＲＭＬ９７言語で規定される構造化音声言語を使用することによって有利に実現される。

上述の言語において、音源をモデル化する音ノード（sound node）が目下規定されている。本発明によれば既知の音ノードの拡張を規定することが可能であり、本特許出願においてそれは指示音ノード（DirectiveSound node）と称される。既知の音ノードのほかに、指向性フィールドと称されて音の指向性を表わすフィルタを再構成するのに必要な情報を供給するフィールドをさらに含む。フィルタをモデル化する３つの異なる代案が上述された。以下に、これらの代案が本発明にもとづく指示音ノードの指向性フィールドにおいてどのように実現されるかを説明する。

第１の代案によれば、あるゼロ方位とは異なる方向をモデル化する各フィルタは、０と１とのあいだの正規化実数である増幅率による簡単な逓倍に対応する。そのとき、指向性フィールドの内容は、たとえばつぎのようである。
（（０．７９０．８）（１．５７０．６）（２．３６０．４）（３．１４０．２））

この代案において、指向性フィールドは音源モデルにおけるゼロ方位と異なる複数の方向と同数の数値の対を含む。数値の対の第１の数値は注目している方向とゼロ方位とのあいだの角度をラジアンで示し、第２の数値は前記方向における増幅率を示す。

第２の代案によれば、ゼロ方位の方向と異なる各方向における音は周波数帯域に分割されて、その各々は独自の増幅率を有する。指向性フィールドの内容は、たとえばつぎのようである。
（（０．７９１２５．００．８１０００．００．６４０００．００．４）
（１．５７１２５．００．７１０００．００．５４０００．００．３）
（２．３６１２５．００．６１０００．００．４４０００．００．２）
（３．１４１２５．００．５１０００．００．３４０００．００．１））

この代案において、指向性フィールドは音源モデルにおけるゼロ方位と異なる複数の方向と同数の内括弧によって互いに分けられている数値のセットを含む。各数値のセットにおいて、第１の数値は注目している方向とゼロ方位とのあいだの角度をラジアンで示す。第１の数値の後に数値の対があり、それらの第１のものはある周波数をヘルツで示し、第２のものは増幅率である。たとえば、数値のセット（０．７９１２５．００．８１０００．００．６４０００．００．４）は、０．７９ラジアン方向において０．８の増幅率が周波数０〜１２５Ｈｚに対して使用され、０．６の増幅率が周波数１２５〜１０００Ｈｚに対して使用されて、０．４の増幅率が周波数１０００〜４０００Ｈｚに対して使用されると解釈され得る。代案として、上述の数のセットは０．７９ラジアン方向において増幅率は周波数１２５Ｈｚで０．８であり、増幅率は周波数１０００Ｈｚで０．６であり、増幅率は周波数４０００Ｈｚで０．４であり、そして他の周波数における増幅率はこれらから内挿法および外挿法によって計算されることを意味する表記法を使用することが可能である。本発明に関して、使用される表記法が送信装置と受信装置の両方にとって既知である限り、どの表記法が使用されるかは本質的ではない。

第３の代案によれば、伝達関数はゼロ方位と異なる各方向に適用されて、伝達関数を規定するためにそのＺ変換の係数ａおよびｂが与えられる。指向性フィールドの内容は、たとえばつぎのようである。
（（４５ｂ_45.0 ｂ_45.1 ａ_45.1 ｂ_45.2 ａ_45.2 …）
（９０ｂ_90.0 ｂ_90.1 ａ_90.1 ｂ_90.2 ａ_90.2 …）
（１３５ｂ_135.0 ｂ_135.1 ａ_135.1 ｂ_135.2 ａ_135.2 …）
（１８０ｂ_180.0 ｂ_180.1 ａ_180.1 ｂ_180.2 ａ_180.2 …））

この代案においても、指向性フィールドは音源モデルにおけるゼロ方位の方向とは異なる複数の方向と同数の内括弧によって互いに分けられている数値のセットを含む。各数値のセットにおいて、第１の数は注目している方向とゼロ方位とのあいだの角度を今回は度で示す。この場合に、上述の場合のように他の既知の角度単位も同様に使用することが可能である。第１の数値の後に、注目している方向に使用される伝達関数のＺ変換を決定する係数ａおよびｂがある。各数値のセットの後のポイントは、本発明は伝達関数のＺ変換を規定する係数ａおよびｂの数についていかなる制限も課さないことを意味する。様々な各数値のセットにおいて、様々な数の係数ａおよびｂが有り得る。第３の代案において、係数ａおよびｂもそれらの独自のベクトルとして与えられ得る。そのために、ＦＩＲまたは全極ＩＩＲフィルタの効率的なモデル化が、出版物エリス、エス．(Ellis, S.）1998:「ＶＭＲＬにおけるより現実的な音に向けて（Towards more realistic sound in VMRL）」、Proc. VRML'98, アメリカ合衆国、マネー、１９９８年２月１６〜１９日、９５〜１００頁と同じ方法で可能となるだろう。

上に提示された本発明の実施の形態は、勿論例として意図されたにすぎないし、それらは本発明を制限するのになんの影響も有しない。とくにフィルタを表わすパラメータが指示音ノード（DirectiveSound node）の指向性フィールドにおいて配列される方法は、非常に多くの方法で選定され得る。

既知の指向性音響モデルを示す図である。他の既知の指向性音響モデルを示す図である。本発明にもとづく指向性音響モデルを概略的に示す図である。本発明にもとづくモデルによって生成された音がどのような方向に向けられるかを表わすグラフである。本発明がどのように仮想音響環境に適用されるかを示す図である。本発明にもとづくシステムを示す図である。本発明にもとづくシステムの一部をより詳細に示す図である。図７ａの細部を示す図である。

Claims

電子装置において、仮想音響環境を処理する方法であり、それによって該仮想音響環境が少なくとも１つの音源（３００）を含む方法であって、音がどのような方向に向けられるかをモデル化するために、フィルタの組（３０６、３０７、３０８、３０９）が音に及ぼす影響が各フィルタの所定のパラメータに依存するように、方向に依存するフィルタの組を音源に対応して設けることを特徴とする仮想音響環境を処理する方法。