JP2007512740A - 低周波チャネルを生成する装置および方法 - Google Patents

低周波チャネルを生成する装置および方法 Download PDF

Info

Publication number
JP2007512740A
JP2007512740A JP2006540333A JP2006540333A JP2007512740A JP 2007512740 A JP2007512740 A JP 2007512740A JP 2006540333 A JP2006540333 A JP 2006540333A JP 2006540333 A JP2006540333 A JP 2006540333A JP 2007512740 A JP2007512740 A JP 2007512740A
Authority
JP
Japan
Prior art keywords
speaker
low frequency
signal
sound source
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006540333A
Other languages
English (en)
Other versions
JP4255031B2 (ja
Inventor
ミヒャエル ベッキンガー
サンドラ ブリックス
Original Assignee
フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2007512740A publication Critical patent/JP2007512740A/ja
Application granted granted Critical
Publication of JP4255031B2 publication Critical patent/JP4255031B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403—Linear arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

所定の低周波スピーカ位置に配置された低周波スピーカのための低周波チャネルを生成するために、まず複数のオーディオオブジェクトが準備され（９００）、各オーディオオブジェクトは関連するオブジェクト信号とオブジェクト記述とを有する。次に、参照再生位置における実振幅状態が少なくとも目標振幅状態に近づくように、オブジェクト記述に基づいて、オーディオオブジェクトスケーリング値が計算（９０６）される。その後、各オブジェクト信号を関連するオーディオオブジェクトスケーリング値によりスケーリング（９１０）した後、スケーリングされたオブジェクト信号を合計する。そこで得られた合成信号から低周波チャネルが導出され、各低周波スピーカへと送られる（９１８）。オーディオオブジェクトの個々のオブジェクト信号をスケーリングすることで、本方法は、スピーカの個数および密度と現実に存在する上演領域のサイズとにおいて、現状のマルチチャネル再生システムから独立できる。
【選択図】図９

Description

本発明は、一つあるいは複数の低周波チャネルを生成する方法に関し、特に、波面合成(wave-field synthesis)システム等、マルチチャネルのオーディオシステムに関連する一つあるいは複数の低周波チャネルを生成する方法に関する。
エンターテイメント電子工学の分野では、新技術や革新的な製品に対する需要が増大している。新たなマルチメディアシステムでの成功には、最適な機能性または可能性を提供することが重要な必須条件となっている。この条件は、デジタル技術、特にコンピュータ技術を使用することで達成される。その例として、現実により近い視聴覚的印象を与える適応を可能にする技術が挙げられる。従来のオーディオシステムでは、自然環境だけでなく仮想環境下での空間的音響再生の品質において、重大な欠点が存在した。
オーディオ信号をマルチチャネルのスピーカで再生する方法は、長年にわたり公知であり、標準化されてきた。一般的な全ての技術には、スピーカの配置とリスナーの位置とが、既に伝送フォーマットの中に組み込まれているという欠点がある。リスナーに対するスピーカの配置が悪い場合には、オーディオの品質は著しく低下する。最適な音響は、再生空間の中の小さな場所、所謂スイートスポットでのみ可能となる。
オーディオ再生における優れた自然的空間的印象、ならびに良好なエンクロージャまたはエンベロープは、新しい技術の助けにより達成することができる。この技術の原理、いわゆる波面合成（ＷＦＳ）は、デルフト工科大学で研究され、８０年代後半に初めて発表された（非特許文献１）。
この方法は、コンピュータの能力と伝送レートについて多大な条件を必要とするので、波面合成が実際に使用されることは、これまで稀であった。今日、この技術の利用を特定の用途において可能にするには、マイクロプロセッサ技術およびオーディオ符号化の分野における進歩が必須となる。最初の製品化は、プロの分野においては来年には実現すると期待される。さらに数年以内に、波面合成を用いた最初の製品が消費者市場に登場するであろう。
この波面合成の基本的な考え方は、次に記載するホイヘンスの波面の原理、即ち、「波動によって捉えられる全ての点は、球面状または円状に伝播する要素波の始点である」という原理を適用することに基づいている。
これを音響学に適用すれば、いかなる形状の入来波面も、相互に配置された多数のスピーカ（所謂スピーカアレイ）によって再現することが可能である。最も単純な事例で、単一の点音源を再生し、スピーカが線形配置である場合、時間遅延と振幅スケーリングとを持つ各スピーカのオーディオ信号は、個々のスピーカの放射された音場が適切に重なるように供給されなければならない。複数の音源がある場合、各スピーカに対する寄与が各音源について別個に算出され、結果として得られる信号が加算される。反響する壁面を備えた室内では、スピーカアレイを介し、反響音も追加的な音源として再生される可能性もある。このように、算出に係る手間は、音源の個数と、録音室の反響特性と、スピーカの個数とに大きく依存する。
この技術の特に優れた点は、広範囲にわたる再生室で自然な空間的音響印象が可能になることである。公知の技術とは対照的に、音源からの方向および距離が非常に正確に再生される。限られた程度ではあるが、現実のスピーカアレイとリスナーとの間に仮想音源を位置づけることさえも可能になる。
波面合成は、周辺の環境特性が既知である場合には良好に機能するが、特性が変化する場合や、波面合成が実際の環境特性には合致しない環境特性に基づいて実行される場合には、ばらつきが発生する。
しかし、波面合成の技術は、視覚的な知覚を、対応する空間的オーディオ知覚によって補助するために、有効に使用される。以前には、仮想スタジオ内での製作において、仮想シーンの忠実な視覚的印象を伝達することが、前提の中にあった。画像に合致する音響的印象は、通常、手作業の工程、いわゆる製作後の編集によって、オーディオ信号の上に後で組み込まれるか、または、現実化するにはあまりにも高価となり、時間集約的であるとして無視されている。そのため、通常、各感覚の間に矛盾が生じ、それが特定の空間、即ち特定のシーンをあまり忠実に再現できていないと感じるさせる結果となる。
多くの場合、視覚的に描かれたシーンの全体的な音響的印象を概ね得られような概念が、適用される。これは、画像設計の分野から生まれた「トータル」という言葉を用いて、うまく説明することができる。多くの場合、対象物を見る最適な角度には大きな変化があるにも関わらず、この「トータル」音の印象は、一つのシーンの全てのセッティングを通して略一定である。しかし、例えば、光学的に詳細な部分は、適切なセッティングによって強調され、あるいは弱められている。映画の会話を作る中でのカウンターショットはまた、音によって再生されない。
そこで、見る人を視聴覚的シーンの中へと音響的にも取り囲む必要がある。スクリーンあるいは画面は、見る人の視覚ラインおよび見る角度を形成する。音は、画像シーンに常に合致するように、その画像に従うべきである。このことは、特に仮想スタジオにとって、より重要になりつつある。なぜなら、通常は、例えば上演の音と、上演者がその時点で置かれている環境との間には、相関関係がないからである。あるシーンの全体的な視聴覚的印象を得るためには、そのシーンに合致する空間的印象がシミュレートされなければならない。この場合、このような音の概念の重要な主観的要素は、例えば映画のスクリーンなどを見ている人によって知覚される、音源の位置である。
オーディオの領域では、良好な空間音が、広い観客範囲に対して波面合成（ＷＦＳ）の技術によって達成される可能性がある。上述のように、波面合成は、ホイヘンスの原理、即ち、波要素の重なりにより波面が形成され高められるという原理に基づいている。数学的に正確な論理説明によれば、波要素を生成するためには、無限大の個数の音源を、無限に小さな距離に配置しなければならない。しかし、現実には、有限個数のスピーカが、互いから有限に小さな距離に配置される。これらスピーカは、それぞれ波面合成の原理に従い、所定の遅延および所定のレベルを有する仮想音源のオーディオ信号によって作動される。
上述のように、波面合成システムは、ホイヘンスの原理に基づいて作動し、複数の個別の波を使用し、上演領域(vorfuehr bereich)から、および／または上演領域内のリスナーから所定の距離に配置された、例えば仮想音源の波形を再現する。つまり、波面合成のアルゴリズムは、スピーカアレイから個々のスピーカの実際の位置に関する情報を取得し、その情報から、これら個々のスピーカのために、それぞれが放射すべき成分信号を計算する。この信号は、１つのアクティブスピーカからのスピーカ信号と他のアクティブスピーカからのスピーカ信号とが重なり合って再現された効果として、リスナーが、多数の個別スピーカからの音ではなく、仮想音源の位置にある１つのスピーカからの音に曝されているように印象づけられる効果を持つ。
波面合成のセッティング内での複数の仮想音源について、各スピーカに対する各仮想音源の寄与、即ち、第１スピーカに対する第１仮想音源の成分信号、第１スピーカに対する第２仮想音源の成分信号等が計算され、その後これらの成分信号が加算され、最後に実際のスピーカ信号が得られる。例えば３つの仮想音源がある場合、リスナーの場所では全てのアクティブスピーカのスピーカ信号が重なり合い、そのリスナーがスピーカの大きなアレイからの音に曝されているという印象を受けるのではなく、リスナーが聞いている音が、特定の位置に配置されかつ仮想音源と同じである３つの音源から発生している、という印象を受けるようにする。
現実には、成分信号の計算方法は、多くの場合、１つの仮想音源と関連したオーディオ信号が、時間上の所定の点においてその信号に適用された遅延とスケーリングファクタとを持つように計算される。これは仮想音源の位置およびスピーカの位置に依存しており、結果として、遅延され、および／またはスケーリングされた仮想音源のオーディオ信号が得られる。このオーディオ信号は、もし仮想音源が１つだけある場合にはそのままスピーカ信号を表現し、他の場合には、他の仮想音源の考慮されるべきスピーカのためのさらなる成分信号と加算された後に、そのスピーカのためのスピーカ信号に寄与することになる。
典型的な波面合成のアルゴリズムは、スピーカアレイの中にどれだけの個数のスピーカが存在するかには関係なく作動する。波面合成の基本となる理論によると、所望のいかなる音場も、互いに無限に小さな距離を置いて配置された無限数の個別スピーカを用いて、正確に再現可能となる。しかし現実には、無限数の個別スピーカも、無限に小さな距離を置くことも、実現不可能である。代わりに、有限数のスピーカが、相互に予め決められた所定距離を置いて配置されている。このように、現実のシステムにおいて達成できるものは、もし仮想音源が実際に存在するとした場合、即ち実音源であったと仮定した場合に、実際に発生するであろう波形にできるだけ近似した波形でしかない。
さらに、もし映画の場合を考えると、スピーカアレイが例えば映画スクリーンの側にしか配置されないような、さまざまなシナリオが存在する。このような場合、波面合成のモジュールがこれらのスピーカに対して生成するスピーカ信号は、通常は、例えば映画のスクリーンが配置された側を横切るだけでなく、観客スペースの左右および後部にもわたるように配置されたスピーカアレイの中の、対応するスピーカに対するスピーカ信号と同じ信号であろう。このような「３６０度」のスピーカアレイは、例えば観客の前に配置された単なる一面的なアレイと比較して、正確な音場により近似した音場を与えてくれるであろう。しかし、観客の前に配置されたスピーカに対するスピーカ信号は、両方の場合において同じである。つまり、波面合成モジュールは、通常、スピーカがいくつ存在するか、および／またはアレイが一面的であるか多面的であるか、さらには「３６０度」のアレイであるか、という点に関し、フィードバックを得るものではない。換言すれば、波面合成の手段は、スピーカの位置に基づいてそのスピーカに対するスピーカ信号を計算するが、さらなるスピーカが存在するか否かという点は考慮していない。
全く異なる上演室において、様々な既存のスピーカの組み合わせが存在することを考えれば、波面合成アルゴリズムは、モジュラー的に様々な環境に対して最適な方法で適合しうるという意味において、非常に有利である。しかし、不利な点としては、ある環境においては受け入れられるかもしないが、現時点の波面の再現が比較的悪い点と、これに加え、かなりのレベルのアーチファクトが発生する事実とが挙げられる。現実の印象にとって決定的なことは、リスナーに対して仮想音源が配置された方向だけではなく、リスナーが仮想音源を聞くときのラウドネス(loudness)、即ち、特定の仮想音源からどのレベルがリスナーに「到達」するかということである。ある仮想音源に関連しリスナーに到達しているレベルは、スピーカの個々の信号の重畳の結果として生まれるものである。
例えば、５０個のスピーカからなるスピーカアレイがリスナーの前に配置された場合であって、波面合成手段を用いて、仮想音源のオーディオ信号がこれら５０個のスピーカに対する成分信号へとイメージされ、そのオーディオ信号が様々な遅延と様々なスケーリングと共に５０個のスピーカから同時に放射されるようにする場合を考えると、仮想音源に耳をかたむけているリスナーは、個々のスピーカ信号の中にある、仮想音源の成分信号の個々のレベルから、結果として生まれる１つのレベルを知覚することになるであろう。
もし、同じ波面合成手段が、例えばたった１０個のスピーカがリスナーの前に配置されただけの小さなアレイに対して使用された場合には、リスナーの耳に結果的に届く仮想音源からの信号レベルが減少することは、自明であろう。なぜなら、少なくなったスピーカの４０個の成分信号が、いわば消えているからである。
反対に、例えば最初はスピーカがリスナーの左右に設置されており、特定の配列において、２つの相対するスピーカからのスピーカ信号が、波面合成手段によって計算された所定の遅延のために、互いに打ち消し合うように、逆の位相で作動されている場合も考えられる。もしここで、システムを小さくし、例えばリスナー側の一方にあるスピーカを取り除くことになれば、仮想音源は突然、ラウドネスが現実にあるべき大きさよりも、実質的に大きくなる。
静止した音源のレベル修正のためには、一定のファクタを用いることもできるが、そのような解決法は、仮想音源が静止せずに移動すれば実行不可能となる。波面合成の本質的な特徴は、この合成が、特に、移動する仮想音源をも処理できることである。ここでは、一定のファクタを用いた修正は十分とは言えない。なぜなら、その一定ファクタは、１つの位置においては本当に正しいが、しかし仮想音源の他の位置においては、それがアーチファクトを増大させるように働く可能性があるからである。
さらに、波面合成手段は、複数の異なるタイプの音源を再現することができる。音源の顕著な形は点音源であり、リスナーと仮想音源の位置との間の距離をｒとした時に、そのレベルは１／ｒに比例して減少する。他の種類の音源として、平面波を送り出す音源がある。この場合、リスナーからの距離に関係なく、レベルは一定となる。なぜなら、平面波は無限大の距離に配置された点音源によって生成されるからである。
波面合成の理論に従えば、スピーカを２次元的に配置した場合、レベルの変化は、無視できる程度の誤差を除けば、ｒの関数としてレベルの自然な変化に合致する。しかし、音源の位置に依存して、本質的な誤差を含む絶対的なレベルにおける様々な誤差が生じる可能性がある。これは、上述したように、理論上は必要とされる無限個数のスピーカの代わりに、有限個数のスピーカを使用する結果として発生するものである。
マルチチャネル再生システムにおけるさらなる問題点、特に、例えば５個または７個のスピーカを使用するだけではなく、かなり多数のスピーカを使用する波面合成システムにおける問題点として、多数のスピーカによるコスト増大の可能性が挙げられる。スピーカのコストを低減させるために、所謂サブウーファの原理が、現存する５チャネルまたは７チャネルシステムのために使用されている。マルチチャネル再生システムにおいては、サブウーファ原理は、高価で大型の低周波スピーカを節約する役割を果たす。ここでは、約１２０Ｈｚのベース周波数よりも低い周波数を備えた楽音信号だけを含む低周波チャネルが利用される。このような低周波チャネルは、大きなダイアフラム領域を備えた低周波スピーカを駆動し、それによって特に低周波における高い音圧を達成する。
サブウーファの原理は、人間の聴覚が、低周波音をその方向性に関して位置づけることが困難であるという事実を利用するものである。現存のシステムでは、特定のスピーカ配列（空間配列）のための追加的な低周波チャネルは、サウンドミキシングの段階ですでにミキシングされている。このようなマルチチャネル再生システムの例として、ドルビーデジタル、ソニーＳＤＤＳ、ＤＴＳなどが挙げられる。これらのマルチチャネルフォーマットでは、サブウーファのチャネルは音に曝される部屋の大きさに関係なくミキシングされる可能性がある。なぜなら、空間的条件は、スケールに関してのみ変化するからである。スケールに関しては、スピーカ配列は同一のままである。
波面合成を用いると、大きな観客領域を音に曝すことができる。音の事象(events)は、空間的な深さを持って再生されることが可能となる。この目的のために、個々の音事象の全体的な音場が観客領域に再生され、これは多数のスピーカを用いることで達成される。大規模な設備に対しては、約５００またはそれ以上のスピーカシステムが必要とされる。もし、個々のスピーカに高品質の低周波スピーカを備えようとするならば、コストは非常に高くなるであろう。
上述のように、既存のマルチチャネルフォーマットにおいては、特定のサブウーファチャネルをミックスするために、特定のスピーカ配列が必要となる。このスピーカ配列は、個々のミックスは変化させずに、個々のスピーカ同士の相互距離の比率は同じままで、スケール（拡縮）に関して変化させることができる。しかし、波面合成を用いた場合には、これは全て不可能となる。なぜなら、スピーカチャネルの個数は、波面合成の再生システムが音にさらされる領域のサイズに依存するからである。これが個々のスピーカチャネルを記憶できない理由である。もし、５００またはそれ以上のオーディオチャネルを持つシステムを考えた場合、メモリが非常に高価となってしまう。よって、シミュレートされるべき仮想音の事象だけが記憶される。個々のスピーカチャネルが波面合成のアルゴリズムを用いて計算されるのは、再生時だけである。
スピーカチャネルの個数は、上記のように観客領域のサイズに関係する。さらに、スピーカチャネルの個数は、音にさらされるべき領域にスピーカが分散する密度によって決定される。ＷＦＳ再生システムの品質は、この密度に依存する。ラウドネスは、スピーカチャネルの個数と、スピーカの密度とに関係する。なぜなら、公知のように、全てのスピーカチャネルは一つの波面に加算されるからである。よって、ＷＦＳシステムのラウドネスは、簡単に予定できるものではない。しかし、サブウーファチャネルのラウドネスは、電子増幅器とスピーカの公知のパラメータによって予定できる。そのため、あるＷＦＳシステムから異なるスピーカ密度とスピーカ数を持つ別のＷＦＳシステムに対し、サブウーファチャネルのミックスをエラーなく伝送することは不可能である。低周波システムからのラウドネスと、中／高周波数システムからのラウドネスとは、合致しなくなるであろう。
Berkout, A.J.; de Vries, D.; Vogel, P.: Acoustic controlby Wave-field Synthesis. JASA 93, 1993. Welti, Todd,"How Many Subwoofers are Enough", 112th AES Conv. Paper 5602, May 2002, Munich, Germany Martens,"The impact of decorrelated low-frequency reproduction on auditory spatial imagery: Are two subwoofers better than one? ", 16th AES Conv. Paper,April 1999, Rovaniemi, Finland.
本発明の目的は、マルチチャネル再生システムにおいて、レベルアーチファクトを減少させることが可能な低周波チャネルを生成する基本概念を提供することである。
この目的は、請求項１に記載の低周波チャネルを生成する装置、請求項２５に記載の低周波チャネルを生成するための方法、または請求項２６に記載のコンピュータプログラムによって達成される。
本発明は、マルチチャネルシステムにおいて、１つの低周波スピーカのための１つの低周波チャネルおよび／または複数の低周波スピーカのための複数の低周波チャネルは、現実の再生空間とは無関係に実行されるサウンドミキシングプロセスの段階で生成されるのではなく、現実の再生空間を参照し、一方では低周波スピーカの所定の位置と、他方では仮想音源を典型的に表現するオーディオオブジェクト(Audioobjekten) の特性とを考慮しながら、低周波チャネルが生成されるという知見に基づく。特に、本発明は、複数のオーディオオブジェクトを準備し、各オーディオオブジェクトは、一方では１つのオブジェクト記述(Objektbeschreibung)と関連しており、他方では１つのオブジェクト信号と関連している。オブジェクト記述に基づいて、オーディオオブジェクトスケーリング値が各オーディオオブジェクト信号のために計算される。オーディオオブジェクトスケーリング値は、その後各オーディオオブジェクト信号をスケーリングするために使用され、スケーリングされたオブジェクト信号は合計されて、合成信号が取得される。低周波スピーカに送られる低周波チャネルは、この合成信号から導き出される。
平面波を放射する音源であって、その位置は無限大の距離にあると推定される音源の場合には、音源の仮想位置も、参照ラウドネスが求められる参照再生位置（参照ポイント）も、重要ではない。しかし、このような場合は通常の場合ではない。通常の音源は点音源の形式をとり、例えばフィルムセッティングの中では、会話等が行われている時に発生するような音源である。この通常の場合には、仮想位置にある仮想音源から起こるオーディオオブジェクト信号は、追加的なラウドネスおよび／または実振幅状態が、参照再生位置において、仮想音源の目標振幅状態に一致するようにスケーリングされる。目標振幅状態は、仮想音源に関連したオーディオオブジェクト信号のラウドネスと、仮想音源から参照再生位置までの距離とに依存する。上記オーディオオブジェクトスケーリング値の計算は、全ての仮想音源について実行され、その後、各仮想音源のオーディオオブジェクト信号は、対応するスケーリング値によりスケーリングされる。
次に、スケーリングされたオーディオオブジェクト信号は合計され、合成信号が取得される。もし、単一の低周波スピーカしか存在しない場合には、低周波チャネルはこの合成信号から導出される。この導出は、簡単なローパス濾波によって実行されても良い。
ここで注意すべきは、ローパス濾波は、まだスケーリングされていないオーディオオブジェクト信号に対して実行されても良いという点である。この場合、ローパス濾波された信号だけが後続の処理を受け、合成信号は、既に低周波チャネルそのものになっている。
しかし、本発明によれば、一方では、上演室内の低周波信号のラウドネスの最高の近似を得るために、他方では、上演室内の中間周波数および高周波数信号のラウドネスの最高の近似を得るために、低周波チャネルの抽出は、スケーリングされたオブジェクト信号が合計された後に、初めて実行される方が好ましい。
本発明によれば、サブウーファチャネルが、仮想音源、即ち、波面合成のためのサウンドマテリアルからミキシングされるのは、サウンドミキシング処理の時点ほど早くはない。その代わりに、このサブウーファチャネルのミキシングは、波面合成システムにおける再生の時に、システムのサイズやスピーカの個数とは無関係に、自動的に実行される。ここで、サブウーファ信号のラウドネスは、スピーカの数および波面合成システムの取り囲まれた領域のサイズに依存する。所定のスピーカ配列でさえ維持される必要はない。なぜなら、スピーカ位置とスピーカの個数とは、低周波チャネルの生成の中に組み込まれているからである。
本発明は、波面合成システムに限るものではなく、再生チャネル、即ちスピーカチャネルそのもののミキシングおよび生成が、現実の再生の時点まで実行されないような種類の、いかなるマルチチャネル再生システムに対しても、一般的に適用されても良い。このような種類のシステムとは、例えば、５．１システム、７．１システム等である。
好ましくは、本発明の低周波チャネル生成方法は、波面合成システムにおいて、波面合成アルゴリズムに関して使用されるスピーカの個数や位置とは関係なく、しかも低周波チャネルのためだけではなく、全てのスピーカチャネルのためにレベル修正を実行できるので、レベルアーチファクトの削減を達成することができる。
本発明の実施の形態の中で、単一の低周波チャネルが準備され、つまりは単一の低周波スピーカが準備された場合には、この低周波スピーカは、最適なレベル修正が実行されるべき参照再生位置に配置されていない可能性がある。この場合、本発明に従えば、合成信号は、計算されるべきスピーカスケーリング値を用い、低周波スピーカの位置を考慮に入れながら、スケーリングされる。このスケーリングは、好ましくは振幅のスケーリングだけであり、位相のスケーリングではない。その理由は、低周波チャネルの中に存在する低周波においては、聴覚は位置に関しては良好とは言えず、正確な振幅／ラウドネスの知覚だけを表現するという事実を考慮したためである。その代わりに、または加えて、位相のスケーリングが適用のシナリオの中で望ましい場合には、位相のスケーリングをスケーリングとして使用しても良い。
複数の低周波スピーカを配置する場合には、個別の各低周波スピーカのために、それぞれの低周波チャネルが生成される。個々の低周波スピーカの低周波チャネルは、好ましくは振幅においては異なるが、信号そのものにおいては同じである。よって、全ての低周波スピーカは、同一の合成信号を異なる振幅スケーリングにおいて送り出し、個々の低周波スピーカのための振幅スケーリングは、参照再生ポイントから個々の低周波スピーカまでの距離に基づいて実行される。さらに、本発明によれば、参照再生ポイントにおける、全ての重畳された低周波チャネルの全体的なラウドネスは、合成信号のラウドネスに等しいか、あるいは少なくとも所定の許容範囲内で合成信号のラウドネスに対応する。そのため、各スピーカスケーリング値が、個々の低周波チャネルのために計算され、この各スピーカスケーリング値によって、個々の低周波チャネルを得るために、合成信号がスケーリングされる。
サブウーファチャネルを使用することは、明確な価格の減少に繋がるという意味で、特に有利である。なぜなら、例えば波面合成システムの個々のスピーカは、低周波特性を示す必要がないので、相当な安価で作ることができるからである。他方、高い音圧において、相当に大きなサイズのダイアフラム領域によって、非常に低い周波数を実現させることは、単一あるいは少数、例えば３または４個のサブウーファスピーカでも十分である。
本発明は、所望のいかなるスピーカ群またはマルチチャネルフォーマットのためにも、１つおよび／または複数の低周波チャネルを、自動的に生成することができるという点において、さらに有利である。この生成には、特に波面合成システムの枠組みの中では、追加的な支出はわずかしか必要にならない。なぜなら、波面合成システムは、レベル修正をいずれの様式であれとにかく実行するからである。
低周波スピーカの必要個数と、１つまたは複数の低周波スピーカの最適な位置決めとに関しては、専門誌、特に上記非特許文献２および非特許文献３を参照されたい。
本発明の好ましい１つの実施の形態によれば、単一の低周波スピーカが使用され、各仮想音源、即ち各サウンドオブジェクトおよび／またはオーディオオブジェクトの、個々のラウドネスと、好ましくは遅延とは、参照ポイント（参照再生位置）との関係から計算される。次に、各仮想音源のオーディオ信号は対応するスケーリングと遅延とを施され、全ての仮想音源が合計される。その後、サブウーファが既に参照ポイントに配置されている場合を除き、サブウーファの全体的なラウドネスと遅延とが、参照ポイントからの距離に基づいて計算される。
サブウーファが複数個ある場合には、まず、全てのサブウーファの個々のラウドネスを、それらの参照ポイントからの距離に依存して決定することが好ましい。この時、全てのサブウーファチャネルの合計が参照再生位置における参照ラウドネスの合計に等しく、参照再生位置とは、好ましくは波面合成システムの中心部と一致するという、境界条件を満たすことが好ましい。このようにして、まず各仮想音源の個々のラウドネスと遅延とが、参照ポイントとの関係から決定され、各サブウーファに対し、それぞれのスケーリングファクタが計算される。次に、各仮想音源はスケーリングされ、かつ選択的に遅延され、全ての仮想音源が合計されて合成信号が形成される。次に、この合成信号は各サブウーファチャネルのための個々のスケーリングファクタでスケーリングされ、その結果、様々な低周波スピーカのための個々の低周波チャネルが得られる。
本発明の望ましい実施形態を、以下に添付した図面を参照しながら詳細に説明する。
既に上述したように、各スピーカチャネルおよび各仮想音源のために、波面合成アルゴリズムによって、ラウドネスと遅延とが計算される。この目的のために、個々のスピーカの位置が認識されなければならない。よって、本発明によれば、波面合成再生システムのある参照ポイントにおける全てのスピーカの全体的なラウドネスを、絶対的な参照ラウドネス、即ち目標の振幅状態へとスケールすることが望ましい。この波面合成システムの個別のスピーカ、即ちアレイの個々のスピーカのための個々のオーディオオブジェクトの信号のスケーリングとは、次の知見に基づいている。即ち、ある仮想音源に関連するオーディオ信号を、波面合成の前に修正値を用いて調整するか、または、ある仮想音源へと遡ることができる様々なスピーカへの成分信号を、波面合成の後に修正値を用いて調整するように、レベル修正が実行された場合には、現実化が可能な有限個数のスピーカを用いて、波面合成システムの欠点を少なくとも緩和できるという知見である。このようなレベル修正により、上演領域における目標振幅状態と、上演領域における実振幅状態とのずれが減少する。仮想音源の位置に依存し、かつ例えば仮想音源からのリスナーおよび／または上演領域内の最適なポイントまでの距離に依存し、さらに、必要に応じて音波のタイプを考慮に入れながら、目標レベルが目標振幅状態の一例として決定されるという事実と、さらに一方、実レベルはリスナーの位置における実振幅状態の一例として決定されるという事実とから、目標振幅状態が生まれる。目標振幅状態は、個々のスピーカの現実のグループ化やタイプとは無関係に、仮想音源および／またはその位置だけに基づいて決定される。その一方で、実振幅状態は、スピーカアレイの個々のスピーカの配置、タイプ、駆動方式を考慮しながら計算される。
そのため、リスナーの耳に届くサウンドレベルは、上演領域内の最適なポイントにおいて、個々のスピーカを介して放射される仮想音源の成分信号によって決定されてもよい。また、その仮想音源から発生し、かつ他のスピーカを介して放出されている他の成分信号についても、リスナーの耳におけるレベルは、上演領域内の最適なポイントにおいて決定されても良く、その後これらのレベルを結合することで、リスナーの耳における実レベルを得ても良い。このため、個々のスピーカの変換機能と、スピーカにおける信号のレベルと、上演領域内のポイントにおけるリスナーの個々のスピーカからの距離とが考慮に入れられる。より単純な形態のために、スピーカの変換特性は、理想的な点音源として機能するように想定される。しかし、より複雑な実装の場合には、個々のスピーカの指向特性もまた考慮に入れられる。
本発明の概念の本質的な利点は、サウンドレベルが計算される１つの実施例では、乗算的スケーリングだけが発生するので、修正値へと帰着するためには目標レベルと実レベルとの間の商を得るだけでよく、リスナーにおける絶対レベルも、仮想音源の絶対レベルも不必要となることである。代わりに、修正ファクタは、単に仮想音源の位置（つまりは個々のスピーカの位置）と、上演領域内の最適なポイントの位置だけに依存する。しかし、これらの数値は、最適なポイントの位置と、個々のスピーカの位置および変換特性とに関連し、かつ再生されるトラックに関連せずに、予め固定的に設定できる。
よって、本発明の概念は、演算時間に関して効率的な参照テーブルとして実現されてもよい。より詳細には、可能性のある仮想位置の全てまたは本質的な部分について、位置／修正ファクタ値のペアを含む参照テーブルが作成され、使用されてもよい。この場合、目標値の決定、実値の決定、目標値／実値の比較アルゴリズムは、オンラインで実行される必要がない。もし、仮想音源の位置に基づいて参照テーブルにアクセスされ、そこから、その仮想音源のその位置に有効な修正ファクタが決定される場合には、演算時間に関して高価になる可能性があるアルゴリズムは省略することができる。計算と記憶の効率をさらに高めるために、テーブル内の位置および関連する修正ファクタに関し、比較的きめが粗くサポート値のペアを記憶し、２つのサポート値の間の中間位置の修正ファクタのために、一方向、二方向、線形、三次元等の補間を実行することが望ましい。
他の場合として、レベル測定が実行されるという意味で、経験主義的アプローチを用いても良い。このような場合、所定のキャリブレーションレベルを備えた仮想音源が、所定の仮想位置に配置される。その後、現実の波面合成システムのために、波面合成モジュールが、個々のスピーカへのスピーカ信号を計算し、その結果、リスナーの位置において、仮想音源から実際に届くレベルを測定することができる。さらに、目標レベルと現実レベルとのずれが、少なくとも減少するかあるいは好ましくは０になるように、修正ファクタが決定される。この修正ファクタは、その後、仮想音源の位置と関連して参照テーブルに蓄積され、その結果、参照テーブル全体が少しずつ生成される。即ち、仮想音源の様々な位置について、特定の上演ルーム内における特定の波面合成システムのための参照テーブル全体が少しずつ生成される。
修正ファクタに基づく調整方法として、いくつかの可能性がある。ある実施の形態においては、例えばサウンドスタジオからもたらされるオーディオトラックの中で録音されているような、仮想音源のオーディオ信号を修正ファクタを用いて調整し、その後、調整された信号だけを波面合成モジュールへと供給することが望ましい。その結果、いわば自動的に、この調整された仮想音源から発生する全ての成分信号は、本発明に従う修正が実行されていない場合と比較して、適切に重み付けされることになる。
上記に代えて、所定の適用例においては、仮想音源の原オーディオ信号を調整するのではなく、波面合成モジュールによって生成された成分信号を、好ましくは全ての成分信号に対して同一の修正ファクタを用いて調整する。ここで、修正ファクタは、全ての成分信号に対して同一である必要はないという点に注意すべきである。しかし、同一であることは、現実の波状態を再現するために必要となる、成分信号を相対的にスケーリングする点において、互いに過度に弱め合わないようにするために、多くの場合には望ましいことである。
本発明の長所として、比較的単純な工程によって、少なくとも処理の途中でレベル修正が実行できる。その結果、リスナーによって知覚される少なくとも仮想音源のラウドネスに関しては、現実には必要とされるであろう無限大の個数のスピーカではなく、有限個のスピーカが存在しているとは気が付かなくなるということが挙げられる。
本発明のさらなる長所として、たとえ仮想音源が観客に対する距離としては変化がない範囲で（例えば左から右へと）移動する場合に、この音源が例えばスクリーンの前の中央部に着席している観客に対しては常に同じラウドネスを届けることができ、修正しない場合には発生するであろう、ある時には大きくある時には小さなラウドネスが届くような現象が、起こらない点が挙げられる。
さらなる長所は、本発明が提供できる選択肢として、より少数のスピーカを有する安価な波面合成システムであって、特に移動音源に関してレベルアーチファクトを伴わないシステム、即ち、レベル問題に関し、多数のスピーカを有するさらに高価な波面合成システムと同様に、良好な効果をリスナーに与えるシステムがあることが挙げられる。本発明によれば、低過ぎる可能性があるいかなるレベルも、アレイ内のホールに対してさえも、修正を行うことができる。
レベルアーチファクト修正の上述の好ましい手法について詳細に説明する前に、まず本発明の低周波チャネルを生成する概念について、図９を参照しながら説明する。この概念は、それ自身だけで、即ち個々のスピーカのいかなるレベル修正を伴わずに使用されても良いし、また、好ましくは、後に図１〜図８を参照しながら説明するように、レベルアーチファクト修正の概念と組み合わせて使用し、個々のスピーカのレベルアーチファクト修正のために用いる修正値を、低周波チャネルを生成する際に使うべきオーディオオブジェクトのスケーリング値としても用いるようにしても良い。
図９は、所定のスピーカ位置に配置されたある低周波スピーカのために、低周波チャネルを生成する装置を示す。図９に示された装置は、まず、複数のオーディオオブジェクトを準備する手段９００を含み、各オーディオオブジェクトは、オーディオオブジェクト信号９０２と、これに関連するオーディオオブジェクト記述９０４とを備える。オーディオオブジェクト記述は、典型的にはオーディオオブジェクトの位置と、場合によってはオーディオオブジェクトのタイプとを含む。実施の形態により、オーディオオブジェクト記述はまた、オーディオオブジェクトのラウドネスに関する指示も、直接的に含んでも良い。もし含んでいない場合でも、オーディオオブジェクトのラウドネスは、オーディオオブジェクト信号そのものから、例えば所定期間のサンプル毎の平方と合計とで直ちに計算することができる。もし、当該の個々のスピーカあるいは低周波スピーカの変換特性や周波数レスポンス等をこの時点で考慮するべきであれば、それはテーブルを参照するか、および／または修正ファクタを用いることで、簡単に実現できるであろう。なぜなら、再生システムにおいては、スピーカの電気的挙動および／またはスピーカの信号／サウンド特性は安定しているからである。
オーディオ信号のオブジェクト記述は、各オーディオオブジェクトのためのオーディオオブジェクトスケーリング値を計算する手段９０６に送られる。図９に示すように、各オーディオオブジェクトスケーリング値９０８は、次にオブジェクト信号をスケーリングする手段９１０へと送られる。オーディオオブジェクトスケーリング値を計算する手段９０６は、オブジェクト記述に基づいて、各オーディオオブジェクトのためのオーディオオブジェクトスケーリング値を計算するように構成されている。もし処理の対象が、平面波を送り出す音源である場合には、オーディオオブジェクトスケーリング値および／または修正ファクタは１に等しくなるであろう。なぜなら、この場合、仮想位置は無限空間の中にあると推定されるので、そのような平面波を送り出すオーディオオブジェクトに対しては、このオブジェクトの位置と最適な参照再生位置との間隔を決めることは、無意味となるからである。
しかし、オーディオオブジェクトが、点音源のような状態で放射しかつ仮想位置に配置された仮想音源である場合には、オブジェクト記述の中に見出されるかまたはオブジェクト信号から導出されるべきオブジェクトのラウドネスと、オーディオオブジェクトの仮想位置から参照再生位置までの距離とに基づいて、オーディオオブジェクトスケーリング値が計算される。
特に、オーディオオブジェクトスケーリング値および／または修正値の計算は、これらの値が上演領域内における目標振幅状態に基づいているという事実が考慮されるように計算されることが好ましい。この時、目標振幅状態は仮想音源の位置または仮想音源のタイプに依存し、修正値はさらに、上演領域内における実振幅状態に基づいており、この実振幅状態は、当該の仮想音源に起因する個々のスピーカへの成分信号に基づいている。このように、修正値は、その修正値を用いて仮想音源に関連するオーディオ信号を調整することで、目標振幅状態と実振幅状態との間のずれが減少するように計算される。手段９１０によってオブジェクト信号をスケーリングし、スケーリングされたオブジェクト信号９１２を得た後に、これらオブジェクト信号９１２は合計手段９１４へと送られ、ここで合成信号９１６が生成される。
上述のように、手段９１４による合計の前に、様々な仮想位置に起因するいかなる遅延も、考慮に入れることが好ましい。これにより、サンプルのシーケンスとして存在する個々のオーディオオブジェクト信号が時間的にシフトされ、その結果、サウンド信号の仮想位置から参照再生位置までのランタイムの差異を十分に許容できるようになる。スケーリングと、遅延のための許容時間生成の後に、適切にスケーリングされ遅延されたオブジェクト信号は、次に手段９１４によりサンプル毎に合計され、図９の符号９１６で示すように、合成信号サンプルのシーケンスを持つ合成信号を得る。この合成信号９１６は、１つおよび／または複数のサブウーファに対して低周波チャネルを供給する手段９１８へと送られ、この手段９１８は、サブウーファ信号および／または低周波チャネル９２０を出力する。
これまで説明したように、低周波スピーカによって出力されるサウンド信号は、フルバンド幅を備えたサウンド信号ではなく、上限を持つサウンド信号である。ある実施の形態においては、低周波スピーカによって送り出されるサウンド信号のカットオフ周波数は、２５０Ｈｚよりも低いことが好ましく、さらに好ましくは１２５Ｈｚ以下がよい。このサウンド信号のバンド幅制限は、様々な場所で起こり得る。単純な方法としては、低周波スピーカに対してフルバンド幅を持つ励起信号を供給し、その後、低周波スピーカそのものによってバンド幅制限が加えられる。これは、低周波スピーカが低周波だけをサウンド信号へと変換し、高周波を抑制してしまうからである。
上記の代わりに、バンド幅制限は、低周波チャネルを供給する手段９１８の中で、信号がデジタル／アナログ変換の前にローパス濾波を受けることで実行されても良い。ローパス濾波が好ましい理由は、この濾波がデジタル側で実行できるので、サブウーファの現実の構成とは無関係に、明確な周波数制限が可能になるからである。しかし代わりに、ローパス濾波は、オブジェクト信号をスケーリングする手段９１０よりも上流において既に実行されていても良く、この場合には、手段９１０、９１４、９１８によって行われる処理は、全体のバンド幅を持つ信号ではなく、ローパス濾波された信号に対して実行される。
しかし、本発明に従えば、ローパス濾波を手段９１８内で実行し、オーディオオブジェクトスケーリング値の計算とオブジェクト信号のスケーリングと合計計算とを、フルバンド幅の信号で実行し、その結果、低周波数トーンと、中・高周波数トーンとの間において、スピーカ同士ができるだけ良好にマッチできるようにすることが好ましい。換言すれば、波面合成アレイ内のスピーカに対する現実のスピーカ信号を決定するための処理は、できるだけ多くの処理を並行して実行することが望ましく、低周波チャネルの「分離」は時間的に最終段階まで行わないことが望ましい。
図１０は、複数のサブウーファのための複数の低周波チャネルを想定した場合に、手段９１８の好ましい実施の形態を示す。図１０についての詳細な説明に入る前に、図１１を参照しながら、まず幾何学的配置について説明する。図１１は、複数の個別スピーカ８０８を備えた波面合成システムの概略図である。個別スピーカ８０８は、上演領域を取り囲む個別スピーカのアレイ８００を形成している。好ましくは、参照再生位置および／または参照ポイント１１００がこの上演領域内にある。
図１１には、「仮想サウンドオブジェクト」と呼ばれるオーディオオブジェクト１１０２が示されている。この仮想サウンドオブジェクトは、仮想位置１１０４を表すオブジェクト記述を含む。必要に応じて交換も可能な、参照ポイント１１００の座標と、仮想位置１１０４の座標とを使用し、仮想サウンドオブジェクト１１０２の参照再生位置１１００からの距離Ｄが決定される。この距離Ｄを使用する単純なオーディオオブジェクトスケーリング値の計算、即ち後に図７Ａで詳細に説明する法則による計算が、既に実行されても良い。図１１はまた、所定の第１スピーカ位置１１０８にある第１低周波スピーカ１１０６と、所定の第２スピーカ位置１１１２にある第２低周波スピーカ１１１０とを示す。図１１に示すように、第２サブウーファ１１１０および／または図１１には示していない各追加的なサブウーファは、選択的なものである。第１サブウーファ１１０６から参照ポイント１１００までの距離はｄ１で示され、第２サブウーファ１１１０から参照ポイントまでの距離はｄ２で示される。同様に、サブウーファｎから参照ポイント１１００までの距離はｄｎで示される。
図１０を再度参照するが、低周波チャネルを供給する手段９１８は、図１０では符号ｓで示される合成信号９１６に加えて、符号９３０で示される低周波スピーカ１の距離ｄ１と、符号９３２で示される低周波スピーカ２の距離ｄ２と、符号９３４で示される低周波スピーカｎの距離ｄｎとを受け取るように構成されている。手段９１８の出力側では、第１低周波チャネル９４０と、第２低周波チャネル９４２と、ｎ番目の低周波チャネル９４４とを出力する。図１０から分かるように、全ての低周波チャネル９４０，９４２，９４４は、合成信号９１６が重み付けされたものであり、それぞれの重み付けファクタはａ1 ，ａ2 ，... ，ａn で示される。個々の重み付けファクタａ1 ，ａ2 ，... ，ａn は、一方では距離９３０〜９３４に依存し、他方では、参照ポイント１１００における低周波チャネルのラウドネスが、参照ラウドネス、即ち、参照再生位置１１００（図１１）における低周波チャネルのための目標振幅状態に一致するという一般的境界条件に依存している。全てのサブウーファは、参照ポイント１１００から距離をおいて配置されているので、スピーカのスケーリング値ａ1 ，ａ2 ，... ，ａn の合計は１より大きくなり、各サブウーファから参照ポイントへの経路における低周波チャネルのダンピングのために、適当な許容度が生まれる。もし、単一の低周波スピーカ（例えば１１０６）が準備された場合には、スケーリングファクタａ1 もまた１より大きくなり、さらなるスケーリングファクタは計算されないであろう。なぜなら、低周波スピーカは１つしか存在しないからである。
図１〜図８を参照しながら、図８および／または図１１に示すスピーカアレイ８００のためのレベルアーチファクト修正装置を説明する。この装置は、図９〜図１１を参照しながらこれまで説明してきた本発明の低周波チャネルの計算と、好ましくは組み合わせられても良い。
本発明を詳細に説明する前に、図８を参照しながら、波面合成システムの基本構成について説明する。波面合成システムは、上演領域８０２に関連して配置されたスピーカアレイ８００を備える。特に、図８に示された３６０度のスピーカアレイは、４つのアレイサイド８００ａ，８００ｂ，８００ｃ，８００ｄを含む。例えば上演領域８０２が映画館である場合、前後左右の取り決めに関して言えば、この映画のスクリーンは、上演領域８０２の部分アレイ８００ｃが配置された１つのサイドに位置していると想定できる。この場合、上演領域８０２内の最適ポイントＰと呼ばれる位置に座っている観客は、前方、即ちスクリーンを観る。部分アレイ８００ａは観客の背後に配置され、部分アレイ８００ｄは観客の左側に配置され、部分アレイ８００ｂは観客の右側に配置される。各スピーカアレイは複数の異なる個別スピーカ８０８から成り、各スピーカ８０８は、図８には概略的にのみ示されるデータバス８１２を介して、波面合成モジュール８１０から送られる各自のスピーカ信号によって、それぞれ駆動される。波面合成モジュールは、個々のスピーカ８０８のために、例えばスピーカのタイプや上演領域８０２に対するスピーカの位置などの情報を使用しながら、公知の波面合成アルゴリズムに従ってスピーカ信号を計算するように構成されている。即ち、スピーカ情報（ＬＳ情報）と必要に応じ他の入力とを使用しながら、各場合において、上記スピーカ信号が仮想音源へのオーディオトラックから導出されるが、オーディオトラックは位置情報をさらに備えている。加えて、波面合成モジュールは、例えば上演領域の室内音響等さらなる入力を得ても良い。
以下に続く本発明の説明は、原則的に、上演領域内の各ポイントＰについて書かれたものである。最適ポイントは、上演領域８０２内のいかなる位置に置かれても良い。また、例えば最適なラインの上に、複数の最適ポイントがあっても良い。しかし、上演領域８０２内において、可能な限り多くのポイントのために可能な限り良好な状態を得るためには、最適ポイントおよび／または最適ラインは、部分スピーカアレイ８００ａ，８００ｂ，８００ｃ，８００ｄによって定義された波面合成システムの中心および／または重心にあると想定することが好ましい。
波面合成モジュール８００の詳細について、図２および図３を使用し、図２に示される波面合成モジュール２００および／または図３に示される詳細な配列とを参照しながら、以下に説明する。
図２は、本発明の装置を実現可能な波面合成環境を示す。波面合成環境の中央部には波面合成モジュール２００があり、様々な入力２０２，２０４，２０６，２０８と、様々な出力２１０，２１２，２１４，２１６とを含む。入力２０２〜２０４を介し、波面合成モジュールには、仮想音源のための様々なオーディオ信号が入力される。入力２０２は、例えば仮想音源１のオーディオ信号と、この仮想音源の関連する位置情報とを受け取る。例えば、映画のセッティングでは、オーディオ信号１は、例えばスクリーンの左側からスクリーンの右側へと移動し、さらに多分、観客から遠ざかるかまたは観客へと近づく俳優の声である。この場合、オーディオ信号１はこの俳優の実際の声であり、時間の関数としての位置情報は、録音セッティングにおけるこの１番目の俳優の、時間上のある時点における俳優の位置を表す。他方、オーディオ信号ｎは、例えば１番目の俳優と同様かあるいは異なる動作をするさらなる俳優の声である。このさらなる俳優は、その俳優に関連するオーディオ信号ｎを持ち、その時点における位置は、波面合成モジュール２００に対し、オーディオ信号ｎと同期した位置情報によって送られる。現実には、録音セッティングに依存し、様々な仮想音源があり、各仮想音源のオーディオ信号は、波面合成モジュール２００に対し、それ自身のオーディオトラックとして入力される。
上述のように、波面合成モジュールは、出力２１０〜２１６を介し、複数のスピーカＬＳ１, ＬＳ２, ＬＳ３, ＬＳｍの個々のスピーカに対してスピーカ信号を出力する。例えば映画館のような再生セッティング内の個々のスピーカの位置は、入力２０６を介し、波面合成モジュール２００へと伝えられる。映画館の中では、多数の個別スピーカが観客の周囲にグループ化されるが、これらスピーカは、アレイの中であって、観客の前方、例えばスクリーンの後側と、観客の後方と、さらに観客の左右とに位置するよう配置されるのが好ましい。さらに、録音セッティングの間に、映画館の実際の室内音響をシミュレートできるように、他の入力、例えば室内音響に関する情報等が波面合成モジュール２００へと伝えられても良い。
一般的には、例えば出力２１０を介してスピーカＬＳ１に送られるスピーカ信号は、仮想音源の成分信号が重畳されたものであり、スピーカＬＳ１に対するスピーカ信号は、仮想音源１から生じた第１成分と、仮想音源２から生じた第２成分と、仮想音源ｎから生じたｎ番目の成分とを含む。個々の成分信号は、線形的に重畳される。即ち、計算された後で加算され、現実のセッティングの中では、リスナーが音源の線形的な重畳を知覚し、その聞いているリスナーの耳において、知覚された線形的な重畳が再現される。
次に、図３を参照しながら、波面合成モジュール２００をさらに詳細に説明する。波面合成モジュール２００は、高度に並行処理を行う機能を持ち、各仮想音源に係るオーディオ信号と各仮想音源に係る位置情報とからスタートし、遅延情報Ｖi とスケーリングファクタＳＦi とがまず計算される。これら情報は、その位置情報と、当該のスピーカ、即ち番号ｊを持つスピーカＬＳj の位置とに依存する。仮想音源の位置情報および当該のスピーカｊの位置に基づく、遅延情報Ｖi とスケーリングファクタＳＦi との計算は、手段３００，３０２，３０４，３０６内に準備された公知のアルゴリズムによって実行される。遅延情報Ｖi (ｔ) およびスケーリングファクタＳＦi (ｔ) と、個々の仮想音源に関連するオーディオ信号ＡＳi (ｔ) とに基づいて、結果的に得るスピーカ信号の中の成分信号Ｋijのために、時間軸の現在点ｔA に関し、離散値ＡＷi (ｔA) が計算される。この計算は、図３に概略的に示すように、手段３１０，３１２，３１４，３１６により実行される。さらに図３は、個々の成分信号のための、時間ｔA における、いわば「フラッシュライト・ショット」を示している。これら個々の成分信号は、その後、加算機３２０によって合計され、スピーカｊへのスピーカ信号の、時間軸の現在点ｔA に係る離散値が決定される。この離散値は、（例えば、もしスピーカｊがスピーカＬＳ３である場合には出力２１４から）スピーカへと送られる。
図３から分かるように、各仮想音源に対し、１つの値がまず個々に計算される。この値は、遅延とスケーリングファクタを用いたスケーリングとの関係から、時間軸上のある現時点において有効となる値である。その後、１つのスピーカに係る、異なる仮想音源に起因する全ての成分信号が合計される。もし、例えば仮想音源が１つしかない場合には、加算機は省略され、図３に示された加算機の出力から出力される信号は、例えばもし仮想音源１がその１つしかない仮想音源である場合には、手段３１０によって出力される信号と一致するであろう。
ここで注意すべきは、図３の出力３２２において得られるスピーカ信号の値は、このスピーカへの異なる仮想音源１，２，３,...，ｎからの成分信号の重畳であるという点である。図３に示す構成は、原則的に、波面合成モジュール８１０の各スピーカ８０８のために準備すべきである。但し、例外として、現実的な理由から、例えばグループ化された２個，４個または８個のスピーカが、それぞれに同じスピーカ信号で駆動される場合もある。
図１は、これまで図８を参照しながら説明した波面合成システムにおける、本発明のレベル修正のための装置を示すブロック回路図であり、装置である。この波面合成システムは、波面合成モジュール８１０と、上演領域８０２を音にさらすためのスピーカアレイ８００とを備え、波面合成モジュール８１０は、仮想音源に関連したオーディオ信号と、その仮想音源に関連した音源位置情報とを受け取り、さらに、スピーカの位置情報を考慮に入れながら、その仮想音源に起因するスピーカへの成分信号を計算するように構成されている。本発明の装置は、まず、上演領域の目標振幅状態に基づく修正値を決定するための手段１００を含む。この目標振幅状態は、仮想音源の位置または仮想音源のタイプに依存し、さらに修正値は、仮想音源によるスピーカへの成分信号に依存する上演領域の実振幅状態に基づいている。
手段１００は、入力１０２を備える。この入力１０２は、もし仮想音源が例えば点音源の特徴を有する場合には、その位置を得るためであり、もし仮想音源が例えば平面波を生成する場合には、そのタイプを得るためである。後者の場合、現実の状態を決定するために、観客から音源までの距離は必要でない。なぜなら、生成される平面波のために、モデル上では、音源は、リスナーから無限大の距離に配置されていると考えられ、さらに位置から独立したレベルを有すると考えられるからである。手段１００は、出力側においては、修正値１０４を手段１０６へと出力するよう構成されている。この手段１０６は、仮想音源と関連したオーディオ信号（入力１０８を介して受け取るオーディオ信号）を調整するか、または仮想音源によるスピーカへの成分信号（入力１１０を介して受け取る信号）を調整するものである。本発明に従えば、もし入力１０８を介して受け取ったオーディオ信号を調整する場合には、入力１０８に入力された原オーディオ信号の代わりに、調整されたオーディオ信号が、出力１１２から波面合成モジュール２００へと送られ、ここで、個々のスピーカ信号２１０，２１２，... ，２１６が生成される。
しかし、もし他の調整方法、即ち、入力１１０を介して受け取った成分信号の調整、いわば後調整(eingebettete Manipulieren) が実行される場合には、調整された成分信号が出力され、その成分信号は手段１１６によってスピーカ毎に合計されなければならず、詳しくは、さらなる入力１１８から供給される他の仮想音源からの調整された成分信号がある場合には、これらと共に合計されなければならない。出力側では、手段１１６もまた、スピーカ信号２１０，２１２，... ，２１６を出力する。ここで注意すべきは、図１に示す二者択一の操作、即ち、前調整(vorgeschalteten Manipulieren)（出力１１２）または後調整（出力１１４）は、互いに二者択一的に実行されているという点である。しかし、実施の形態に依存して、入力１０４を介して手段１０６に供給された重み付けファクタおよび／または修正値が、いわば分割されており、その結果、部分的には前調整が実行され、部分的には後調整が実行される場合も起こりうる。
図３に関して言えば、前調整とは、手段３１０，３１２，３１４および／または３１６へと入力される仮想音源のオーディオ信号が、入力される前に調整されているという意味になる。他方、後調整とは、手段３１０，３１２，３１４および／または３１６によって出力された成分信号が、現実のスピーカ信号を得るために合計される前に調整されるという意味になる。
これら２つの可能性のある方法は、二者択一的に実行されてもよく、あるいは重複して実行されても良いが、図６Ａおよび図６Ｂで詳細に説明する。例えば、図６Ａは、乗算器として示される調整手段１０６によって実行される後調整を示す。例えば、図３内に示された各ブロック３００，３１０と、ブロック３０２，３１２と、ブロック３０４，３１４と、ブロック３０６，３１６とから構成される波面合成手段は、スピーカＬＳ１のために成分信号Ｋ11，Ｋ12，Ｋ13を供給し、スピーカＬＳｎのために成分信号Ｋn1，Ｋn2，Ｋn3をそれぞれ供給する。
図６Ａ内で使用する符号の中で、Ｋijの第１の指数i はスピーカを表し、第２の指数j は成分信号の起源となる仮想音源を表す。仮想音源１は、例えば、成分信号Ｋ11，... ，Ｋnlの中で表現される。仮想音源１の位置情報からは独立して、（他の仮想音源のレベルには影響を与えず）仮想音源１のレベルに選択的に影響を与えるために、音源１に帰属する成分信号、即ちその指数ｊが仮想音源１を表している成分信号に、修正ファクタＦ1 を掛ける乗算が、図６Ａ内に示される後調整において実行される。仮想音源２に対する同様の振幅および／またはレベル修正を実行するために、仮想音源２に起源を持つ全ての成分信号が、この目的のために特定された修正ファクタＦ2 で掛け算される。同様に、仮想音源３に起源を持つ成分信号もまた、その修正ファクタＦ3 で重み付けされる。
注目すべきは、修正ファクタＦ1 ，Ｆ2 ，Ｆ3 は、他の幾何学的パラメータが同一である場合には、各仮想音源の位置にのみ依存しているという点である。ゆえに、もし、３つの仮想音源が全て例えば点音源（即ち同一種類の音源）であり、同一の位置に置かれていたとすれば、これらの音源に対する修正ファクタは、同一になるであろう。この法則については、以下に図４を参照しながらより詳細に説明する。なぜなら、計算時間を短縮するためには、位置情報とそれぞれに関連した修正ファクタとを備えた参照テーブルを使用することが可能だからである。この参照テーブルは、時間上のある点において確実に参照されなければならないが、しかし、処理の途中に高速でアクセスされても良く、処理の期間中に常時目標値／実値の計算と比較操作とを実行する必要がない。しかし、原理的には常時実行することも可能である。
図６Ｂは、本発明の音源調整の他の方法を示す。ここでは、調整手段は、波面合成手段から見て上流側（アップストリーム）に接続されており、音源のオーディオ信号をそれぞれの修正ファクタを用いて修正し、仮想音源への調整済みオーディオ信号を得る役割を果たしている。これら調整済みオーディオ信号は、次に波面合成手段へと送られ、ここで成分信号が得られ、次にこれら成分信号がれそれぞれの成分合計手段によって合計され、その結果、スピーカＬＳi のような、各スピーカへのスピーカ信号ＬＳが生成される。
本発明の好ましい実施の形態によれば、修正値を決定するための手段１００は、位置／修正ファクタ値のペアを蓄積した参照テーブル４００を備えている。手段１００は、好ましくはさらに、補間手段４０２を備える。この補間手段４０２は、一方では参照テーブル４００のテーブルサイズを所定の範囲内に規制するためであり、他方では、入力４０４を介してこの補間手段に入力された仮想音源の現時点での位置を受け取り、参照テーブルに蓄積されかつ入力４０６を介して補間手段４０２に入力された少なくとも１つまたは複数の隣接する位置／修正ファクタ値のペアを使用して、現時点での補間された修正ファクタを生成して出力４０８において出力するためである。しかし、より簡素な構成においては、補間手段４０２は省略されても良く、この場合、図１に示された決定手段１００は、入力４１０に入力された位置情報を使用しながら参照テーブルに直接アクセスし、それぞれの修正ファクタを出力４１２において出力する。仮想音源のオーディオトラックに関連する現時点での位置情報が、参照テーブル内に発見し得る位置情報の１つと正確に合致しない場合に備え、参照テーブルは、現時点でのサポート値に代えて、テーブル内に蓄積された最も近いサポート値を採用するような、簡単な繰下げ／繰上げ機能を有している。
ここで注目すべきは、様々な種類の音源に対し、様々なテーブルが作られても良いという点であり、あるいは、１つの位置に関連する修正ファクタは１つに限らず、複数の修正ファクタがあり、各修正ファクタが１つの音源タイプと関連しているという点である。
他の方法として、決定手段１００は、参照テーブルを使用する代わりに、または図４の参照テーブルを「補充」するために、目標値／実値の比を実際に計算してもよい。この場合には、図１に示された手段１００は、目標振幅状態決定手段５００と、実振幅状態決定手段５０２とを備え、それぞれが目標振幅状態５０４と実振幅状態５０６とを比較手段５０８へと出力し、この比較手段５０８では、例えばこれら目標振幅状態５０４と実振幅状態５０６とから商を計算して修正ファクタ５１０を生成し、この修正ファクタ５１０を、さらなる使用目的のために図１における調整手段１０６へと出力する。その代わりに、修正値は参照テーブル内に蓄積されても良い。
目標振幅状態の計算は、所定の位置において、および／または所定のタイプとして存在する仮想音源のために、最適なポイントにおける目標レベルを決定するよう構成されている。この目標振幅状態の計算のために、目標振幅状態決定手段５００は、通常は成分信号を必要としない。なぜなら、目標振幅状態は、成分信号から独立しているからである。しかし、図５から分かるように、成分信号は実振幅状態決定手段５０２へと入力される。さらにこの実振幅状態決定手段５０２は、実施の形態に依存するが、スピーカ位置の情報と、スピーカの変換機能の情報および／またはスピーカの指向特性の情報とを取得し、可能な限り現実的な状態を決定する。この代わりに、この実振幅状態決定手段５０２は、実測定システムとして構成し、所定位置に在る所定の仮想音源のための、最適なポイントにおける実レベル状態を決定するようにしても良い。
図７Ａと図７Ｂとを参照しながら、以下に実振幅状態と目標振幅状態とについて、それぞれ説明する。図７Ａでは「最適なポイント」と示され、図８では上演領域８０２内に位置する、所定のポイントにおける目標振幅状態を決定するための図を図７Ａに示す。図７Ａは、同心円的な波面を有する音場を生成する点音源としての仮想音源７００の一例を表す図に過ぎない。さらに、仮想音源７００へのオーディオ信号により、仮想音源７００のレベルＬV は知ることができる。上演領域内のポイントＰにおける目標振幅状態および／または、もし振幅状態があるレベル状態であれば、目標レベルの計算は、次の事実から容易である。即ち、ポイントＰにおけるレベルＬP は、レベルＬV と、仮想音源７００からポイントＰまでの距離ｒとから得る商に等しいという事実である。よって、目標振幅状態は、仮想音源のレベルＬV を計算し、かつ最適ポイントから仮想音源までの距離ｒを計算することで、容易に決定できる。距離ｒを計算するために、仮想の座標を上演室の座標へと変換する座標変換、または、ポイントＰの上演室の座標を仮想の座標へと変換する座標変換が典型的に使用されるが、この座標変換は、波面合成の当業者には、公知の技術である。
しかし、もし仮想音源が無限大の距離に置かれた仮想音源である場合や、ポイントＰにおいて平面波を生成するものである場合には、ポイントＰと音源との距離は、目標振幅状態を決定するために必要ではない。なぜなら、いずれにしろこの距離は無限大に大きくなるからである。この場合、必要となるのは、音源のタイプに関する１つの情報だけである。これにより、ポイントＰにおける目標レベルは、無限大の距離に置かれた仮想音源によって生成される平面波面に関連したレベルと等しくなる。
図７は、実振幅状態を表現するための図である。特に図７Ｂは、様々なスピーカ８０８を示し、これらスピーカ８０８の全てに対し、例えば図８の波面合成モジュール８１０によって生成された個別のスピーカ信号が、それぞれ与えられる。さらに、各スピーカは、同心円的な波面を出力する点音源として設計されている。同心円的な波面の法則によれば、レベルは１／ｒに従って低下する。そのため、実振幅状態を（測定せずに）計算するためには、スピーカダイアフラムに隣接する位置におけるスピーカ８０８により生成された信号、および／またはこの信号のレベルが、スピーカ特性と、当該の仮想音源から起こるスピーカ信号ＬＳｎ内の成分信号とに基づいて、計算されても良い。さらに、ポイントＰとスピーカＬＳｎの位置に関する情報との座標に従い、ポイントＰからスピーカＬＳｎのスピーカダイアフラムまでの距離が計算され、その結果、ポイントＰのためのレベルが、当該の仮想音源から起こり、かつスピーカＬＳｎによって出力された成分信号を基にして取得されても良い。
同様の処理が、スピーカアレイの他のスピーカに対しても実行され、当該の仮想音源の信号寄与を表す、ポイントＰのためのいくつかの「部分レベル値」が生じるようにしても良い。この信号寄与は、個々のスピーカからポイントＰにいるリスナーへと到達したものである。これらの部分レベル値を結合することで、ポイントＰにおける全体的な実振幅状態が得られ、上述のように、目標振幅状態と比較され、その結果、原理的には加算または減算を用いても良いが、好ましくは乗算により修正値が取得される。
本発明によれば、あるポイントのための望ましいレベル、即ち目標振幅状態は、音源の所定の形式に基づいて計算される。最適なポイントおよび／または当該の上演領域内のポイントは、波面合成システムの中央にあることが好ましい。ここで注目すべきは、目標振幅状態を計算する際に基礎として使用されたポイントと、実振幅状態を決定するために使用されたポイントとが直に合致しない場合でも、本発明の効果を発揮できるということである。ここで求めているものは、上演領域内のできるだけ多くのポイントのために、可能な限りレベルアーチファクトを減少させることであるので、原理的には、目標振幅状態は、上演領域内のいかなるポイントについて決定されても良く、また、実振幅状態も、上演領域内のいかなるポイントについて決定されても良い。しかし、好ましくは、実振幅状態が関連するポイントは、目標振幅状態が決定されたポイントの周辺ゾーン内に配置されており、この周辺ゾーンは、通常の映画館であれば、目標振幅状態が決定されたポイントを中心とする半径２メートルの範囲内である。最良の結果を得るためには、これらのポイントは実質的に一致すべきである。
本発明によれば、通常の波面合成アルゴリズムに従ってスピーカの個々のレベルが計算された後に、上演領域内の最適なポイントと呼ばれる当該のポイントにおいて、重畳によって実際に起こるレベルが計算される。次に、個々のスピーカおよび／または音源のレベルが、このファクタを用い、本発明に従って修正される。時間を計算する際の効率的な適用が可能となるように、所定のアレイ配列内の全ての位置について、修正ファクタを一度計算した後に蓄積し、その後、処理の途中でテーブルにアクセスし、時間の計算に係る手間を省略することが、特に好ましい。
ここでは、特に図６Ｂに関して説明する。合計手段９１４は、合成信号９１６を出力する手段として示されているが、その入力側には、スケーリングされたオブジェクト信号９１２が入力されている。オブジェクト信号９１２は、図から分かるように、音源１，２，３の音源信号を、それぞれのオーディオオブジェクトスケーリング値および／または修正値Ｆ１，Ｆ２，Ｆ３によってスケーリングして得られたものである。ここでさらに注意すべきは、本発明の低周波チャネル生成にとっては、図６Ｂに示された実施の形態が好ましいという点である。即ち、スケーリングおよび／または調整および／または修正が、図６Ａに示されるような成分のレベルではなく、オーディオオブジェクト信号のレベルにおいて既に実行されているという場合が好ましい。しかし、図６Ａに示されるような、成分のレベルにおける修正の概念は、少なくともオーディオオブジェクトスケーリング値Ｆ１，Ｆ２，... ，Ｆｎの計算が、一度だけ実行されれば良いという点において、本発明の低周波チャネル生成の概念と組み合わされることも可能である。
本発明によれば、サブウーファチャネルのスケーリングは、波面合成再生システムの参照ポイント内における全てのスピーカの全体ラウドネスのスケーリングと同様の方法で、実行される。よって、本発明の方法は、いかなる個数のサブウーファスピーカに対しても適用でき、全てのサブウーファスピーカは、波面合成システムの中央で参照ラウドネスに到達するようにスケーリングされる。ここで参照ラウドネスは、仮想音源の位置にのみ依存している。参照ポイントからサウンドオブジェクトまでの距離への公知の依存性と、関連するラウドネスダンピングとを考えれば、ここでは、各サブウーファチャネルへの、各サウンドオブジェクトの個々のラウドネスが計算されることが望ましい。各音源の遅延は、ラウドネススケーリングの参照ポイントから仮想音源までの距離から計算される。各サブウーファスピーカは、上述のように変換された全てのサウンドオブジェクトの合計を再生する。サブウーファスピーカの個々のラウドネスが加算される方法は、それらサブウーファスピーカの位置に依存する。サブウーファスピーカの好ましい位置決めと、サブウーファの必要個数の選択とに関しては、上述の専門誌である非特許文献２および非特許文献３に開示されている。
周辺環境に依存して、図９に示された本発明の低周波チャネルを生成する方法は、ハードウェアで実施しても良いし、ソフトウエアで実施しても良い。
周辺環境に依存して、図１に示された本発明のレベル修正の方法は、ハードウェアで実施しても良いし、ソフトウエアで実施しても良い。この実装は、デジタル記憶媒体、特に、本発明の方法が実行できるようにプログラム可能なコンピュータシステムと協働することができ、電子的に読み取り可能な制御信号を備えたディスクまたはＣＤを用いて、実現されても良い。一般的に、本発明は、プログラムコードを備えたコンピュータプログラム製品の中に存在し、機械で読み取り可能なキャリアによって記憶され、コンピュータプログラムがコンピュータで運用された時、レベル修正の方法を実行するものである。換言すれば、本発明は、コンピュータプログラムがコンピュータで運用された時、本発明の方法を実行するためのプログラムコードを有するコンピュータプログラムとして実現されても良い。
本発明の波面合成システムにおけるレベル修正のための装置を示すブロック回路図である。 本発明に使用可能な波面合成環境の原理回路図である。 図２に示す波面合成環境をさらに詳細に示す。 参照テーブルと必要に応じて補間手段とを備えた実施の形態に従って、修正値を決定するための、本発明に係る手段のブロック回路図である。 目標値／実値の決定と後続の比較手段とを備えた、図１に示す決定手段のさらなる実施の形態を示す。 成分信号を調整するための後調整手段が組み込まれた波面合成モジュールのブロック回路図である。 前調整手段を備えた本発明のさらなる実施の形態のブロック回路図である。 上演領域内の最適なポイントにおける目標の振幅状態を示す概略図である。 上演領域内の最適なポイントにおける実振幅状態を示す概略図である。 波面合成モジュールと上演領域内のスピーカアレイとを備えた波面合成システムの原理的なブロック回路図である。 本発明の低周波チャネルを生成するための装置を示すブロック回路図である。 複数の低周波スピーカのための低周波チャネルを提供する手段の好ましい構成を示す。 複数の個別スピーカと２つのサブウーファとを備える上演領域を概略的に示す。
符号の説明
１００ 修正値を決定する手段
１０４ 修正値
１０６ 調整手段
８１０ 波面合成モジュール
９００ オーディオオブジェクト準備手段
９０６ オーディオオブジェクトスケーリング値計算手段
９１０ スケーリングされたオブジェクト信号取得手段
９１２ スケーリングされたオブジェクト信号
９１４ 合計手段
９１６ 合成信号
９１８ 低周波チャネル供給手段
９２０，９４０，９４２，９４４ 低周波チャネル
１１００ 参照再生位置
１１０６，１１１０ 低周波スピーカ

Claims (26)

  1. 低周波スピーカ（１１０６，１１１０）のための低周波チャネル（９４０，９４２，９４４）を生成する装置において、
    複数のオーディオオブジェクトを準備する手段（９００）であって、各オーディオオブジェクトはそれに関連する１つのオブジェクト信号と１つのオブジェクト記述とを有する手段（９００）と、
    前記オブジェクト記述（９０４）に基づいて、前記各オーディオオブジェクトのために、オーディオオブジェクトスケーリング値を計算する手段（９０６）と、
    前記各オブジェクト信号を、関連する前記オーディオオブジェクトスケーリング値（９０８）によりスケーリングし、前記各オーディオオブジェクトのために、スケーリングされたオブジェクト信号（９１２）を得る手段（９１０）と、
    前記スケーリングされたオブジェクト信号を合計して合成信号（９１６）を得る合計手段（９１４）と、
    前記合成信号（９１６）に基づいて、前記各低周波スピーカ（１１０６，１１１０）のために、低周波チャネル（９２０，９４０，９４２，９４４）を供給する手段（９１８）と、を備えることを特徴とする装置。
  2. 請求項１に記載の装置において、
    前記低周波スピーカは所定のスピーカ位置（１１０８，１１１２）に配置され、前記所定のスピーカ位置は参照再生位置（１１００）と異なるものであり、
    前記低周波チャネルを供給する手段（９１８）は、前記所定のスピーカ位置（１１０８，１１１２）に基づいて、前記参照再生位置（１１００）における低周波信号が、前記合成信号（９１６）のラウドネスに対して所定の許容範囲内にあるラウドネスを持つように、前記低周波スピーカのためのスピーカスケーリング値を計算するものであり、
    前記低周波チャネルを供給する手段（９１８）は、さらに、前記低周波チャネル（９２０，９４０，９４２，９４４）を生成するために、前記合成信号（９１６）を前記スピーカスケーリング値でスケーリングするものであることを特徴とする装置。
  3. 請求項１または２に記載の装置において、
    前記各オブジェクト信号は、２５０Ｈｚより低いかまたは等しい上限のカットオフ周波数を有する低周波信号であることを特徴とする装置。
  4. 請求項１または２に記載の装置において、
    前記合成信号（９１６）は、８ｋＨｚより高い上限のカットオフ周波数を有し、
    前記低周波チャネルを供給する手段（９１８）は、２５０Ｈｚより低いかまたは等しいカットオフ周波数において、ローパス濾波を実行することを特徴とする装置。
  5. 請求項１乃至４のいずれかに記載の装置において、
    前記複数のオーディオオブジェクトの各オーディオオブジェクトは、オーディオオブジェクトの位置を含む前記オブジェクト記述を含み、
    前記各オーディオオブジェクトのためにオーディオオブジェクトスケーリング値を計算する手段（９０６）は、オーディオオブジェクトのオーディオオブジェクト位置と、参照再生位置（１１００）とに依存し、かつオーディオオブジェクトに関連したオブジェクトラウドネスに基づいて、前記オーディオオブジェクトスケーリング値を計算することを特徴とする装置。
  6. 請求項１乃至５のいずれかに記載の装置において、
    複数の前記低周波スピーカのための複数の前記低周波チャネルが、複数の所定の低周波スピーカ位置において生成され、
    前記低周波チャネルを供給する手段（９１８）は、各低周波スピーカのためのスピーカスケーリング値を、各低周波スピーカ位置に依存し、かつさらなるいくつかの低周波スピーカの位置に依存して計算するものであり、
    前記参照再生位置（１１００）における、全ての前記低周波スピーカからの出力信号の重畳である低周波信号が、前記合成信号（９１６）のラウドネスに対して所定の許容範囲内にあるラウドネスを持つことを特徴とする装置。
  7. 請求項１乃至６のいずれかに記載の装置において、
    前記オーディオオブジェクトスケーリング値を計算する手段（９０６）は、前記各オーディオオブジェクトのために、前記オーディオオブジェクト位置と参照再生位置とに基づいて、オーディオオブジェクト遅延値を計算するものであり、
    前記合計手段（９１４）は、合計する前に、前記各オブジェクト信号または前記各スケーリングされたオブジェクト信号を、前記各オーディオオブジェクト遅延値によって遅延させることを特徴とする装置。
  8. 請求項１乃至７のいずれかに記載の装置において、
    前記低周波チャネルを供給する手段（９１８）は、前記各低周波スピーカのために、前記各低周波スピーカから参照再生位置までの距離に基づいて、低周波スピーカ遅延値を計算するものであり、
    前記低周波チャネルを供給する手段（９１８）は、さらに、前記低周波チャネルを供給する際に、前記低周波スピーカ遅延値を考慮に入れることを特徴とする装置。
  9. 請求項２に記載の装置において、
    複数の前記低周波スピーカが準備され、前記低周波チャネルを供給する手段（９１８）は、前記各低周波スピーカのためのスピーカスケーリング値を次式に従って計算し、
    (a1 + a2 + ... + an ) ・s =LSref,
    LSref は前記参照再生位置（１１００）における参照ラウドネスを示し、ｓは合成信号（９１６）を示し、ａ1 は第１の低周波スピーカのスピーカスケーリング値を示し、ａ2 は第２の低周波スピーカのスピーカスケーリング値を示し、ａn はｎ番目の低周波スピーカのスピーカスケーリング値を示すことを特徴とする装置。
  10. 請求項９に記載の装置において、
    前記低周波スピーカの前記各スピーカスケーリング値は、前記低周波スピーカから前記参照再生位置（１１００）までの距離に依存することを特徴とする装置。
  11. 請求項１乃至１０のいずれかに記載の装置であって、
    波面合成モジュール（８１０）と、上演領域（８０２）をサウンドにさらすためのスピーカ（８０８）のアレイ（８００）とを有する波面合成システムの中で作動するように構成された装置であり、前記波面合成モジュールは、仮想音源に関連するオーディオ信号と、前記仮想音源に関連する音源位置情報とを受け取り、かつ、スピーカ位置の情報を考慮しながら、前記仮想音源に起因する前記低周波スピーカへの成分信号を計算する装置において、
    前記オーディオオブジェクトスケーリング値（９０８）を計算する手段（９０６）は、前記オーディオオブジェクトスケーリング値としての修正値を決定する手段（１００）を含み、この決定手段（１００）は、前記オーディオオブジェクトスケーリング値を前記上演領域における目標振幅状態に基づいて計算し、目標振幅状態は前記仮想音源の位置またはタイプに依存しており、さらに、前記オーディオオブジェクトスケーリング値を前記上演領域における実振幅状態に基づいて計算し、実振幅状態は前記仮想音源に起因する前記低周波スピーカへの前記成分信号に依存していることを特徴とする装置。
  12. 請求項１１に記載の装置において、
    前記修正値（１０４）を決定する手段（１００）は、前記上演領域内の所定のポイントについて前記目標振幅状態を計算（５００）し、かつ、前記上演領域内の前記所定のポイントと同じかまたは前記所定のポイントを中心に所定の許容範囲内において広がるゾーンについて、前記実振幅状態を計算（５０２）することを特徴とする装置。
  13. 請求項１２に記載の装置において、
    前記所定の許容範囲は、前記所定のポイントを中心に、２メートル未満の半径を持つ球状に広がることを特徴とする装置。
  14. 請求項１１乃至１３のいずれかに記載の装置において、
    前記仮想音源は平面波の音源であり、前記修正値を決定する手段（１００）は、前記仮想音源と関連するオーディオ信号の振幅状態が前記目標振幅状態と一致するように、前記修正値を決定することを特徴とする装置。
  15. 請求項１１乃至１４のいずれかに記載の装置において、
    前記仮想音源は点音源であり、前記修正値を決定する手段（１００）は、前記仮想音源と関連するオーディオ信号の振幅状態と、前記上演領域内の所定のポイントから前記仮想音源の位置までの距離との商に等しい前記目標振幅状態に基づいて、作動することを特徴とする装置。
  16. 請求項１１乃至１５のいずれかに記載の装置において、
    前記修正値を決定する手段（１００）は、前記スピーカ（８０８）の変換機能を考慮に入れながら、前記実振幅状態に基づいて作動することを特徴とする装置。
  17. 請求項１１乃至１６のいずれかに記載の装置において、
    前記修正値を決定する手段（１００）は、前記各スピーカのために、前記スピーカの位置と前記上演領域内の関連ポイントとに依存するダンピング値を計算するものであり、さらに、前記修正値を決定する手段（１００）は、前記スピーカの成分信号を前記スピーカのための前記ダンピング値で重み付けすることで、重み付けされた成分信号を取得し、さらにその後、他のスピーカからの前記成分信号または適切に重み付けされた前記成分信号を合計し、前記修正値（１０４）の基礎となる前記関連ポイントにおける、前記実振幅状態を取得することを特徴とする装置。
  18. 請求項１１乃至１７のいずれかに記載の装置において、
    前記調整手段（１０６）は、前記実振幅状態と前記目標振幅状態との商に等しい修正ファクタを、前記修正値（１０４）として使用することを特徴とする装置。
  19. 請求項１８に記載の装置において、
    前記調整手段（１０６）は、前記波面合成モジュール（８１０）による成分信号の計算の前に、前記仮想音源に関連するオーディオ信号を前記修正ファクタによりスケーリングすることを特徴とする装置。
  20. 請求項１１乃至１９のいずれかに記載の装置において、
    前記目標振幅状態とは目標サウンドレベルであり、前記実振幅状態とは実サウンドレベルであることを特徴とする装置。
  21. 請求項２０に記載の装置において、
    前記目標サウンドレベルと前記実サウンドレベルとは、それぞれ目標サウンド強度と実サウンド強度とに基づいており、前記サウンド強度は、ある時間内に参照領域に降り注ぐエネルギーの量であることを特徴とする装置。
  22. 請求項２０または２１に記載の装置において、
    前記修正値を決定する手段（１００）は、前記仮想音源に関連するオーディオ信号のサンプルをサンプル毎に平方し、かつ、観測時間に相当する所定個数の平方されたサンプルを合計することで、前記目標振幅状態を計算するものであり、
    さらに前記修正値を決定する手段（１００）は、各成分信号をサンプル毎に平方し、前記目標振幅状態を計算する時に合計された個数と同じ個数の平方されたサンプルを合計し、かつ、前記成分信号からの追加的な結果もさらに合計することで、前記実振幅状態を計算することを特徴とする装置。
  23. 請求項１１乃至２２のいずれかに記載の装置において、
    前記修正値を決定する手段（１００）は、位置／修正ファクタのペアを蓄積した参照テーブル（４００）を備え、前記位置／修正ファクタのペアの修正ファクタは、スピーカアレイ内のスピーカの配列と仮想音源の位置とに依存し、さらに前記修正ファクタは、前記調整手段（１０６）がこの修正ファクタを使用する時、前記仮想音源による関連位置における実振幅状態と目標振幅状態とのずれが少なくとも減少するように、選択されることを特徴とする装置。
  24. 請求項２３に記載の装置において、
    前記修正値を決定する手段（１００）は、前記仮想音源の現時点の位置を示す現時点の修正ファクタを、前記位置／修正ファクタのペアから、前記現時点の位置に隣接する位置にある１つまたは複数の修正ファクタを用いて補間（４０２）することを特徴とする装置。
  25. 低周波スピーカ（１１０６，１１１０）のための低周波チャネル（９４０，９４２，９４４）を生成する方法において、
    複数のオーディオオブジェクトを準備する工程（９００）であって、各オーディオオブジェクトは関連する１つのオブジェクト信号と１つのオブジェクト記述とを有する工程（９００）と、
    前記オブジェクト記述（９０４）に基づいて、前記各オーディオオブジェクトのために、オーディオオブジェクトスケーリング値を計算する工程（９０６）と、
    前記各オブジェクト信号を、関連する前記オーディオオブジェクトスケーリング値（９０８）によりスケーリング（９１０）し、前記各オーディオオブジェクトのために、スケーリングされたオブジェクト信号（９１２）を得る工程と、
    前記スケーリングされたオブジェクト信号を合計（９１４）して合成信号（９１６）を得る工程と、
    前記合成信号（９１６）に基づいて、前記各低周波スピーカ（１１０６，１１１０）のために、低周波チャネル（９２０，９４０，９４２，９４４）を供給する工程（９１８）と、を備えることを特徴とする方法。
  26. コンピュータ上で操作された時、請求項２５に記載の方法を実行するためのプログラムコードを備えた、コンピュータプログラム。
JP2006540333A 2003-11-26 2004-11-18 低周波チャネルを生成する装置および方法 Active JP4255031B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10355146A DE10355146A1 (de) 2003-11-26 2003-11-26 Vorrichtung und Verfahren zum Erzeugen eines Tieftonkanals
PCT/EP2004/013130 WO2005060307A1 (de) 2003-11-26 2004-11-18 Vorrichtung und verfahren zum erzeugen eines tieftonkanals

Publications (2)

Publication Number Publication Date
JP2007512740A true JP2007512740A (ja) 2007-05-17
JP4255031B2 JP4255031B2 (ja) 2009-04-15

Family

ID=34638189

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006540333A Active JP4255031B2 (ja) 2003-11-26 2004-11-18 低周波チャネルを生成する装置および方法

Country Status (6)

Country Link
US (1) US8699731B2 (ja)
EP (1) EP1671516B1 (ja)
JP (1) JP4255031B2 (ja)
CN (1) CN100588286C (ja)
DE (2) DE10355146A1 (ja)
WO (1) WO2005060307A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008219228A (ja) * 2007-03-01 2008-09-18 Yamaha Corp 音響再生装置
JP2009071406A (ja) * 2007-09-11 2009-04-02 Sony Corp 波面合成信号変換装置および波面合成信号変換方法
JP2013128314A (ja) * 2013-02-18 2013-06-27 Sony Corp 波面合成信号変換装置および波面合成信号変換方法
JP2014161111A (ja) * 2014-05-09 2014-09-04 Sony Corp 波面合成信号変換装置および波面合成信号変換方法
JP2016524883A (ja) * 2013-06-18 2016-08-18 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ・レンダリングのためのベース管理

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005033239A1 (de) * 2005-07-15 2007-01-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Steuern einer Mehrzahl von Lautsprechern mittels einer graphischen Benutzerschnittstelle
DE102005033238A1 (de) * 2005-07-15 2007-01-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Ansteuern einer Mehrzahl von Lautsprechern mittels eines DSP
US8180067B2 (en) 2006-04-28 2012-05-15 Harman International Industries, Incorporated System for selectively extracting components of an audio input signal
US8036767B2 (en) 2006-09-20 2011-10-11 Harman International Industries, Incorporated System for extracting and changing the reverberant content of an audio input signal
DE102006053919A1 (de) * 2006-10-11 2008-04-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer Anzahl von Lautsprechersignalen für ein Lautsprecher-Array, das einen Wiedergaberaum definiert
US9031267B2 (en) * 2007-08-29 2015-05-12 Microsoft Technology Licensing, Llc Loudspeaker array providing direct and indirect radiation from same set of drivers
DE102007059597A1 (de) 2007-09-19 2009-04-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Eine Vorrichtung und ein Verfahren zur Ermittlung eines Komponentensignals in hoher Genauigkeit
KR100943215B1 (ko) * 2007-11-27 2010-02-18 한국전자통신연구원 음장 합성을 이용한 입체 음장 재생 장치 및 그 방법
KR101461685B1 (ko) * 2008-03-31 2014-11-19 한국전자통신연구원 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치
US8620009B2 (en) * 2008-06-17 2013-12-31 Microsoft Corporation Virtual sound source positioning
KR101387195B1 (ko) 2009-10-05 2014-04-21 하만인터내셔날인더스트리스인코포레이티드 오디오 신호의 공간 추출 시스템
US8553722B2 (en) * 2011-12-14 2013-10-08 Symboll Technologies, Inc. Method and apparatus for providing spatially selectable communications using deconstructed and delayed data streams
KR20140046980A (ko) * 2012-10-11 2014-04-21 한국전자통신연구원 오디오 데이터 생성 장치 및 방법, 오디오 데이터 재생 장치 및 방법
CN105144751A (zh) * 2013-04-15 2015-12-09 英迪股份有限公司 用于产生虚拟对象的音频信号处理方法
CN105432098B (zh) 2013-07-30 2017-08-29 杜比国际公司 针对任意扬声器布局的音频对象的平移
DE102013218176A1 (de) 2013-09-11 2015-03-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur dekorrelation von lautsprechersignalen
WO2015147434A1 (ko) * 2014-03-25 2015-10-01 인텔렉추얼디스커버리 주식회사 오디오 신호 처리 장치 및 방법
JP2016100613A (ja) * 2014-11-18 2016-05-30 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
US20160171987A1 (en) * 2014-12-16 2016-06-16 Psyx Research, Inc. System and method for compressed audio enhancement
EP3335436B1 (en) 2015-08-14 2021-10-06 DTS, Inc. Bass management for object-based audio
US9794689B2 (en) * 2015-10-30 2017-10-17 Guoguang Electric Company Limited Addition of virtual bass in the time domain
WO2018189819A1 (ja) * 2017-04-12 2018-10-18 ヤマハ株式会社 情報処理装置、情報処理方法、及びプログラム
US11102601B2 (en) * 2017-09-29 2021-08-24 Apple Inc. Spatial audio upmixing
WO2020081674A1 (en) * 2018-10-16 2020-04-23 Dolby Laboratories Licensing Corporation Methods and devices for bass management
US11968518B2 (en) 2019-03-29 2024-04-23 Sony Group Corporation Apparatus and method for generating spatial audio
JP2021048500A (ja) * 2019-09-19 2021-03-25 ソニー株式会社 信号処理装置、信号処理方法および信号処理システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8800745A (nl) * 1988-03-24 1989-10-16 Augustinus Johannes Berkhout Werkwijze en inrichting voor het creeren van een variabele akoestiek in een ruimte.
JPH02296498A (ja) 1989-05-11 1990-12-07 Matsushita Electric Ind Co Ltd 立体音響再生装置および立体音響再生装置内蔵テレビセット
JP3067140B2 (ja) 1989-11-17 2000-07-17 日本放送協会 立体音響再生方法
GB9204485D0 (en) * 1992-03-02 1992-04-15 Trifield Productions Ltd Surround sound apparatus
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US6240189B1 (en) * 1994-06-08 2001-05-29 Bose Corporation Generating a common bass signal
GB2294854B (en) * 1994-11-03 1999-06-30 Solid State Logic Ltd Audio signal processing
JPH1063470A (ja) * 1996-06-12 1998-03-06 Nintendo Co Ltd 画像表示に連動する音響発生装置
DE19739425A1 (de) 1997-09-09 1999-03-11 Bosch Gmbh Robert Verfahren und Anordnung zur Wiedergabe eines sterophonen Audiosignals
US6349285B1 (en) * 1999-06-28 2002-02-19 Cirrus Logic, Inc. Audio bass management methods and circuits and systems using the same
JP2001224099A (ja) * 2000-02-14 2001-08-17 Pioneer Electronic Corp オーディオシステムにおける音場補正方法
GB0203895D0 (en) * 2002-02-19 2002-04-03 1 Ltd Compact surround-sound system

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008219228A (ja) * 2007-03-01 2008-09-18 Yamaha Corp 音響再生装置
JP2009071406A (ja) * 2007-09-11 2009-04-02 Sony Corp 波面合成信号変換装置および波面合成信号変換方法
JP2013128314A (ja) * 2013-02-18 2013-06-27 Sony Corp 波面合成信号変換装置および波面合成信号変換方法
JP2016524883A (ja) * 2013-06-18 2016-08-18 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ・レンダリングのためのベース管理
JP2014161111A (ja) * 2014-05-09 2014-09-04 Sony Corp 波面合成信号変換装置および波面合成信号変換方法

Also Published As

Publication number Publication date
EP1671516A1 (de) 2006-06-21
US20060280311A1 (en) 2006-12-14
DE502004002926D1 (de) 2007-03-29
WO2005060307A1 (de) 2005-06-30
JP4255031B2 (ja) 2009-04-15
DE10355146A1 (de) 2005-07-07
EP1671516B1 (de) 2007-02-14
CN100588286C (zh) 2010-02-03
CN1906971A (zh) 2007-01-31
US8699731B2 (en) 2014-04-15

Similar Documents

Publication Publication Date Title
JP4255031B2 (ja) 低周波チャネルを生成する装置および方法
US7706544B2 (en) Audio reproduction system and method for reproducing an audio signal
US7751915B2 (en) Device for level correction in a wave field synthesis system
JP4620468B2 (ja) オーディオ信号を再生するためのオーディオ再生システムおよび方法
JP5719458B2 (ja) 仮想音源に関連するオーディオ信号に基づいて、スピーカ設備のスピーカの駆動係数を計算する装置および方法、並びにスピーカ設備のスピーカの駆動信号を供給する装置および方法
JP4819823B2 (ja) 音響システム駆動装置、駆動方法および音響システム
CN100536609C (zh) 用于驱动扬声器阵列的波场合成装置和方法
US8885834B2 (en) Methods and devices for reproducing surround audio signals
US7734362B2 (en) Calculating a doppler compensation value for a loudspeaker signal in a wavefield synthesis system
US8363847B2 (en) Device and method for simulation of WFS systems and compensation of sound-influencing properties
US9355632B2 (en) Apparatus, method and electroacoustic system for reverberation time extension
CN117882394A (zh) 通过使用线性化和/或带宽扩展产生第一控制信号和第二控制信号的装置和方法
Theile Spatial perception in WFS rendered sound fields
Williams Comparing the Level of Envelopment and Sound Source Location Accuracy Between Different Versions of a Sound Design Piece Using Individual and Non-Individual Head Related Impulse Responses
Happold et al. AURALISATION LEVEL CALIBRATOIN

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080715

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081007

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090120

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090122

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4255031

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140206

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250