JP2016518049A - 任意n角形のメッシュとして編成されたスピーカーを用いたオーディオレンダリング - Google Patents

任意n角形のメッシュとして編成されたスピーカーを用いたオーディオレンダリング Download PDF

Info

Publication number
JP2016518049A
JP2016518049A JP2016505498A JP2016505498A JP2016518049A JP 2016518049 A JP2016518049 A JP 2016518049A JP 2016505498 A JP2016505498 A JP 2016505498A JP 2016505498 A JP2016505498 A JP 2016505498A JP 2016518049 A JP2016518049 A JP 2016518049A
Authority
JP
Japan
Prior art keywords
mesh
speakers
source
subset
speaker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016505498A
Other languages
English (en)
Other versions
JP6082160B2 (ja
Inventor
エール トウィンゴ,ニコラ
エール トウィンゴ,ニコラ
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション, ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2016518049A publication Critical patent/JP2016518049A/ja
Application granted granted Critical
Publication of JP6082160B2 publication Critical patent/JP6082160B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

いくつかの実施形態において、少なくとも1つのソースを示すオーディオプログラムをレンダリングする方法が、メッシュとして編成されたスピーカーを用いてソース配置を含む軌跡に沿ってソースをパンすることを含み、上記メッシュの面は凸状のN角形であり、Nは面ごとに変動することができ、Nは上記メッシュの少なくとも1つの面について3に等しくなく、上記方法は、各ソース配置について、上記メッシュの交差面(上記メッシュ上へのソース配置の投影を含む)を決定し、これにより交差面の頂点に位置が一致するスピーカーのサブセットを決定するステップと、上記サブセットに対応するソース配置から出ていると知覚されるサウンドを出すように各スピーカーサブセットを駆動するためのスピーカーフィードについての利得を決定する(この利得は、一般化された重心座標により決定されてもよい)ステップと、を含む。他の態様には、いずれかの方法の実施形態を実行するように構成された(例えば、プログラムされた)システムが挙げられる。

Description

関連出願の相互参照
本出願は、2013年5月28日に申請された米国仮特許出願第61/805977号に対して優先を主張し、その全体を本明細書において参照により援用する。
本発明は、スピーカーのアレイを用いてオーディオプログラムをレンダリングするシステム及び方法に関し、これにおいてスピーカーはメッシュとして編成されることが仮定され、メッシュの面は任意のN角形(多角形)であり、N角形の頂点がスピーカーの配置に対応する。典型的に、上記プログラムは少なくとも1つのソースを示すものであり、レンダリングすることは、スピーカーを用いて軌跡に沿ってソースをパンすることを含み、上記スピーカーはメッシュとして編成されることが仮定され、メッシュの面は任意のN角形であり、N角形の頂点はスピーカーの配置に対応する。
サウンドパンニングは、サウンドソースがラウドスピーカーのアレイによる再生のための軌跡に沿って移動することを示すオーディオレンダリングプロセスであり、通常のオーディオプログラムレンダリングの重要なコンポーネントである。一般的な場合、ラウドスピーカーは任意に位置づけることができる。ゆえに、ラウドスピーカーが広範なラウドスピーカー位置を有することができて、パンニングプロセスにおけるラウドスピーカー配置を正しく把握するやり方でサウンドパンニングを実施することが望ましい。理想的に、パンニングは、任意数の任意に位置づけられたスピーカーを含むいずれのラウドスピーカーアレイについてもラウドスピーカーの位置を正しく把握している。
通常のパンニング実施において、ソース軌跡は、一組の時間的に変化する位置のメタデータによって、通常3次元(3D)空間において、例えばデカルト(x,y,z)座標系を用いて定義される。ラウドスピーカー位置は、同じ座標系において表現することができる。通常、座標系は、基準の表面又はボリュームに対して正規化される。
一組のラウドスピーカー位置と所望の知覚されるサウンドソース配置とを仮定すると、パンニングプロセスは、正しい知覚イメージを作り出すために(ラウドスピーカーの全部のアレイのうち)ラウドスピーカーのどのサブセットがパンの間の各瞬間に使用されることになるかを決定するステップを含み得る。このプロセスは、通常、一組の利得wを計算するステップを含み、各サブセット(“i”個の寄与するスピーカーを含むことが仮定され、ここで、iは何らかの正の整数である)のスピーカーは、サブセットのうち“i”番目のスピーカーが下式に比例するスピーカーフィードにより駆動されるように、上記利得で重み付けされたソース信号Sのコピーを再生することになる。
Figure 2016518049
利得は、p=1の場合は振幅保持(amplitude preserving)であり、p=2の場合は累乗保持(power preserving)である。
いくつかの従来のオーディオプログラムレンダリング法は、プログラムを(例えば、パンの間のいずれかの瞬間に)再生することになるラウドスピーカーが、リスナー(例えば、スピーカーアレイの「スイートスポット」にいるリスナー)に対して名目上2次元(2D)空間に配列されていると仮定する。他のいくつかの従来のオーディオプログラムレンダリング法は、プログラムを(例えば、パンの間のいずれかの瞬間に)再生することになるラウドスピーカーが、リスナー(例えば、スピーカーアレイの「スイートスポット」にいるリスナー)に対して3次元(3D)空間に配列されていると仮定する。
最も従来的なパンニングへのアプローチ(例えば、ベクトルベースの振幅パンニング、又は“VBAP”)は、利用可能ラウドスピーカーのアレイが、円形(スピーカーの一次元アレイ)に沿ったスピーカー、又はあり得るソース方向の球面を近似する3D三角形メッシュ(メッシュ面が三角形である3Dメッシュ)の頂点にあるスピーカーで構築されていると仮定する(例えば、図13に示される「球面」であり、図13に図示される6つのスピーカーの近似位置に合わせられている)。図13のスピーカーの配置はデカルト座標系に関連して表現されており、図13のスピーカーの1つがこうした座標系の原点“(0,0,0)”にある。あるいは、従来のパンニング法は、別のタイプの座標系に関連してスピーカー配置を表現することもある(そして、座標系の原点は、スピーカーのいずれかの位置に一致する必要はない)。
本明細書において、ラウドスピーカーの「メッシュ」は、頂点、へり及び面の集合を表し、この集合は多面体構造の形状を表し(例えば、メッシュが3次元であるとき)、あるいはその外縁が多角形を定義する(例えば、メッシュが2次元であるとき)。ここで、頂点の各々は、ラウドスピーカーのうち異なる1つのラウドスピーカーの配置である。面の各々は多角形であり(多角形の外縁がメッシュのへりのサブセットであり)、へりの各々はメッシュのうちの2つの頂点間に伸びる。
例えば、5つのスピーカー(例えば、図1においてスピーカー1、2、3、4及び5とラベル付けされたもの)の一次元アレイを含むサウンド再生システムを用いて従来の方向ベースの2Dサウンドパンニング(「ペアワイズパンニング」として知られる)を実施するためには、スピーカーは、仮定されるリスナーの配置(図1における配置“L”)を中心とした円形に沿って位置づけられるよう仮定されることがある。例えば、こうしたシステムは、図1のスピーカー1、2、3、4及び5がリスナー位置Lから少なくとも実質的に等距離にあるように位置づけられると仮定し得る。スピーカーから出されるサウンドがスピーカーの平面の中の(リスナーに対する)あるソース配置のオーディオソース(図1の配置「S」)から出ていると知覚されるようにオーディオプログラムを再生するために、ソース配置に及ぶ2つのスピーカー(すなわち、ソース配置に最も近い2つのスピーカーであり、その間にソース配置が存在する)を決定することができ、それから、これら2つのスピーカーのスピーカーフィードに適用すべき利得を、2つのスピーカーから出されるサウンドをソース配置から出ていると知覚させるように決定することができる。例えば、図1のスピーカー1及び2はソース配置Sに及んでおり、通常の従来法は、これらスピーカーから出されるサウンドをソース配置Sから出ていると知覚させるようにスピーカー1及び2のスピーカーフィードに適用すべき利得を決定するであろう。パンの間、ソース配置がリスナーに対して(仮定されるスピーカー配置により定義される円形に沿った軌跡に沿って)移動するとき、通常の従来法は、利用可能スピーカーの一連のペアの各々について、スピーカーフィードに適用すべき利得を決定し得る。
別の例として、7つのスピーカー(例えば、図2においてスピーカー10、11、12、13、15、16及び17とラベル付けされたもの)を含むサウンド再生システムを用いて通常タイプの従来の方向ベースの3Dサウンドパンニング(ベクトルベースの振幅パンニング、又は“VBAP”として知られる)を実施するためには、スピーカーは、凸状3Dメッシュとして構築され、該メッシュの面は三角形であると仮定され、仮定のリスナーの配置(図2における配置“L”)を囲んでいる。例えば、パンニング方法は、図2のスピーカー10、11、12、13、15、16及び17が三角形のメッシュにおいて配列され、3つのスピーカーが図2に図示される三角形の各々の頂点にあると仮定し得る。スピーカーから出されるサウンドがスピーカーの平面の中の(リスナーに対する)あるソース配置のオーディオソース(図2の配置「S」)から出ていると知覚されるようにオーディオプログラムを再生するために、メッシュ上へのソース配置の投影(図2における配置“S1”)を含む三角形(すなわち、リスナー配置Lからソース配置Sへの線が交わる三角形)を決定することができる。それから、この三角形の頂点にある3つのスピーカーのスピーカーフィードに適用すべき利得を、これら3つのスピーカーから出されるサウンドをソース配置から出ていると知覚させるように決定することができる。例えば、図2のスピーカー10、11及び12は、メッシュ上へのソース配置Sの投影(図2における配置“S1”)を含む三角形の頂点に配置され、こうした方法の一例では、スピーカー10、11及び12から出されるサウンドがソース配置Sから出ていると知覚されるように、これらスピーカーのスピーカーフィードに適用すべき利得を決定するであろう。パンの間、ソース配置がリスナーに対して(メッシュ上に投影された軌跡に沿って)移動するとき、通常の従来法は、一連の三角形のうちの各三角形の頂点にあるスピーカーの三つ揃い(トリプレット)ごとに、スピーカーフィードに適用すべき利得を決定することができ、上記三角形は、メッシュ上へのソース配置の現在の投影を含む。
しかしながら、従来の方向パンニング法は、多くのタイプのサウンドパンを実施するのに最適ではなく、リスニングボリューム又は領域の内側に任意に配置されたスピーカーをサポートしていない。他の従来のパンニング法、例えば距離ベースの振幅パンニング(DBAP)などは、位置ベースであり、各ラウドスピーカーと所望のソース配置との間の直線距離測定に依存してパンニング利得を計算する。従来の方法は、任意のスピーカーアレイとパンニング軌跡とをサポートすることができるが、非常に多くのスピーカーを同時に始動させる傾向があり、このことは音色劣化につながる。従来のVBAPパンニング法は、多くの共通軌跡のうちいずれかに沿ってソースが移動するパンを安定的に実施することができない。例えば、「スイートスポット」付近のソース軌跡(スピーカーのメッシュにより定義されるボリュームを横切るソース軌跡)は、(スイートスポットにおける仮定のリスナー位置に対するソース位置の)急な方向変化と、したがって突然の利得変動とを誘導する可能性がある。例えば、多くの通常のソース軌跡に沿ったパンの間、特にメッシュが細長いスピーカー三角形を含むとき、従来のVBAP法は、パンの継続時間の少なくとも一部の間、スピーカーのペアを(すなわち、一時にスピーカーを2つだけ)駆動することがあり、かつ/あるいは、連続的に駆動されるスピーカーのペア又はトリプレットの位置が、パンの継続時間の少なくとも一部の間、リスナーにとって知覚可能であり気をそらされる突然の大きい変化を被ることがある。例えば、駆動される複数のスピーカーは、2つのスピーカーが短い距離で区切られ、それから別のスピーカーのペアがもっと長い距離で区切られ、それから別のスピーカーのペアが比較的短い距離で区切られるなどを立て続けに含むことがある。こうした不安定なパンニング実施(不安定であると知覚される実施)は、パンがリスナーに対して斜めのソース軌跡に沿うとき(例えばソースが、スピーカーとリスナーとを囲む部屋の、左及び/又は右と前方及び/又は後方との双方に移動する場合)、特に起こり得る。
別のタイプのオーディオレンダリングが、2013年1月10日に国際公開第WO2013/006330 A2号下で公開されているPCT国際出願第PCT/US2012/044363号に記載されており、本出願の譲受人に譲渡されている。このタイプのレンダリングは、種々の高さにおけるいくつかの2次元平面レイヤ(水平レイヤ)へと編成されたラウドスピーカーのアレイを仮定し得る。各水平レイヤのスピーカーは、軸に整列されいる(すなわち、各水平レイヤは、行及び列へと編成されたスピーカーを含み、この列は、リスニング環境のいくつかの特徴で整列されていて、例えば、列は環境の前方‐後方軸に平行である)。例えば、図3(又は、図4若しくは図5)のスピーカー20、21、22、23、24、25、26、27、28、29、30及び31は、こうしたアレイの一例の一水平レイヤのスピーカーである。(図3、図4又は図5の)スピーカー20‐31は、5つの行(例えば、ある行はスピーカー20、21及び22を含み、別の行はスピーカー31及び23を含む)と5つの列(例えば、ある列はスピーカー29、30及び31を含み、別の列はスピーカー20及び28を含む)とへ編成される。スピーカー20、21及び23が部屋(例えば、シアター)の前方壁に沿って天井付近に位置づけられてよく、スピーカー26、27及び28が部屋の後方壁に沿って(同様に天井付近に)位置づけられてよい。第2の組の12個のスピーカーが、より低い水平レイヤに(例えば、部屋の床付近に)位置づけられてよい。こうして、図3−図5の例において、スピーカーの全体アレイ(各水平レイヤのスピーカーを含む)が、仮定されるリスナー(例えば、スピーカーアレイの「スイートスポット」にいると仮定されるリスナー)の位置を囲むスピーカーの長方形メッシュを定義する。
(各水平レイヤのスピーカーを含む)スピーカーの全体アレイは、3スピーカーの(三角形の)スピーカーグループの従来の凸状3Dメッシュも定義し、このメッシュもまた、仮定されるリスナー位置(例えば「スイートスポット」)を囲み、メッシュの各面は、頂点が3つのスピーカーの位置に一致する三角形である。三角形のスピーカーグループから成るこうした従来の凸状3Dメッシュは、図2を参照して記載されたメッシュと同じタイプのものである。
「遠距離場(far-field)」ソース配置と呼ばれることもある、スピーカーアレイの外側の(例えば、図3−図5のメッシュの外側の)ソース配置におけるオーディオソースをイメージさせるために、PCT国際出願第PCT/US2012/044363号は、従来のVBAPパンニング法(又は従来の波動場合成法)の使用を教示している。こうした従来のVBAP法は、図2を参照して記載されたタイプのものであり、(図2を参照して記載されたタイプの)三角形のスピーカーグループから成る従来の凸状3Dメッシュとしてスピーカーが編成されると仮定している。スピーカーから出されるサウンドが所望の遠距離場ソース配置におけるソースから出ていると知覚されるように(ソースを示す)オーディオプログラムをレンダリングするように、三角形メッシュ上へのソース配置の投影を含む三角形の面(三角形)が決定される。それから、この三角形の頂点にある3つのスピーカーのスピーカーフィードに適用すべき利得が、これら3つのスピーカーから出されるサウンドをソース配置から出ていると知覚させるように決定される。こうした遠距離場ソースは、3D三角形メッシュに投影された遠距離場軌跡に沿ってパンされるため、従来のVBAP法によってイメージすることができる。別の代替法は、2Dレイヤの各1つにおいて2D方向ペアワイズパンニング法(例えば、図1を参照して言及されたものなど)を適用し、ソース高さ(z座標)に応じて結果的なスピーカー利得を結合することである。
PCT国際出願第PCT/US2012/044363号はさらに、「近距離場(near-field)」ソース配置と呼ばれることがある、スピーカーアレイの内側の(例えば、図3−図5のメッシュの内側の)ソース配置においてオーディオソースをレンダリングする「デュアルバランス」パンニング法の実行を教示している。デュアルバランスパンニング法は、方向的なパンニングアプローチというよりも位置的なパンニングアプローチである。この方法は、仮定されるリスナー位置を囲む長方形のアレイ(スピーカーの水平レイヤを含む)においてスピーカーが編成されると仮定する。しかしながら、デュアルバランスパンニング法は、このアレイの長方形面上へのソース配置の投影を決定し、それからスピーカーから出されるサウンドをソース配置から出ていると知覚させるように上記面の頂点にあるスピーカーのスピーカーフィードに適用すべき利得を決定するものではない。
むしろ、デュアルバランスパンニング法は、近距離場ソース配置ごとに、一組の左→右パンニング利得(すなわち、スピーカーアレイの水平レイヤのうち1つについてのスピーカーごとの左から右への利得)と一組の前→後パンニング利得(すなわち、上記アレイと同じ水平レイヤについてのスピーカーごとの前方から後方への利得)とを決定する。この方法は、(近距離場ソース配置ごとの)レイヤのスピーカーごとの前→後パンニング利得と(同じ近距離場ソース配置についての)スピーカーの左→右パンニング利得とを乗算して、水平レイヤのスピーカーごとの最終利得を(近距離場ソース配置ごとに)決定する。水平レイヤのスピーカーを駆動することによってソースのパンを実施するために、一連の最終利得がレイヤのスピーカーごとに決定され、最終利得の各々は、前→後パンニング利得の1つと対応する左→右パンニング利得の1つとの積である。
1つの水平面の中のスピーカーを用いて一連の近距離場ソース配置を通じて任意的な水平パンをレンダリングするために(例えば、パンは、水平面に投影された任意的な近距離場軌跡、例えば、図5に図示されるソースSの軌跡に沿った、リスナーに対するソース配置の移動を示す)、上記方法は、通常、水平面の中のスピーカーのスピーカーフィードに適用すべき一連の左→右パンニング利得(ソース配置ごとに1つの左→右パンニング利得)を決定するであろう。例えば、図3に図示されるソース位置Sの左→右パンニング利得は、(ソース位置の水平面の中の)スピーカーの各行のうち2つのスピーカーに関して計算されてよく、該各行は、ソース位置を囲む(平面の中のスピーカーのうちの)2つの列のスピーカーを含む(例えば、1行目のスピーカー20及び21と、2行目のスピーカー31及び23と、3行目のスピーカー30及び24と、4行目のスピーカー29及び25と、最後の行のスピーカー28及び27に関してであり、スピーカー22及び26の左→右パンニング利得はゼロに設定される)。上記方法は、通常、水平面の中のスピーカーのスピーカーフィードに適用すべき一連の前→後パンニング利得(ソース配置ごとに1つの前→後パンニング利得)をさらに決定するであろう。例えば、図4に図示されるソース位置Sの前→後パンニング利得は、ソース位置を囲む平面の中のスピーカーのうち2つの行の各々の2つのスピーカーに関して計算されてよい(例えば、左列のスピーカー30及び31に関してと右列のスピーカー23及び24に関してとであり、スピーカー20、21、22、25、26、27、28及び29の前→後パンニング利得はゼロに設定される)。それから、(任意的な水平パンをレンダリングするために)水平面の各スピーカーのスピーカーフィードに適用すべき一連の利得(「最終利得」)は、スピーカーの前→後パンニング利得にスピーカーの左→右パンニング利得を乗算することによって決定されることになる(したがって、一連の最終利得の中の各最終利得は、前→後パンニング利得の1つと対応する左→右パンニング利得の1つとの積である)。
長方形メッシュのすべての水平面の中のスピーカーを用いて(長方形アレイ内のどこかで3D「近距離場」軌跡に沿って)任意的なパンをレンダリングするために(例えば、パンは、メッシュ内の任意的な近距離場軌跡に沿った、リスナーに対するソース配置の移動を示す)、メッシュの各水平面内のスピーカーのスピーカーフィードのための利得は、ソース軌跡の(水平面上への)投影について、これまでの段落に記載されたデュアルバランスパンニングによって決定されてもよい。それから、ソース軌跡の(垂直面上への)投影を用いて、一連の「高さ」重みが、各水平面のスピーカーのための利得に関して決定されることになる(したがって、例えば、垂直面上への軌跡の投影が水平面の中又は付近にあるとき、高さ重みは水平面に対して比較的高くなり、垂直面上への軌跡の投影が水平面から離れているとき、高さ重みは水平面に対して比較的小さくなる)。それから、(任意的な3Dパンをレンダリングするために)長方形メッシュの水平面の各々のスピーカーごとのスピーカーフィードに適用すべき一連の利得(「最終利得」)は、各レイヤの中のスピーカーの利得に高さ重みを乗算することによって決定されてよい。
例えば、デュアルバランスパンニング法は、シアターにおける(最上水平面の)一組の「天井」スピーカーと少なくとも一組の低部(例えば、壁又は床)スピーカー(低部スピーカーの各組は、最上水平面より低い水平面に位置づけられる)とを含む(図3−図5を参照して記載されたタイプの)スピーカーの長方形アレイ内のどこかで3D「近距離場」軌跡に沿った任意的なパンをレンダリングすることができる。シアターの側壁に平行に垂直面においてパンするために、レンダリングシステムは、変曲点(ムービースクリーンから後方壁に向かって離れた一定の距離)に達するまで、天井スピーカーを通してパンし(すなわち、天井スピーカーだけの一連のサブセットを用いてサウンドをレンダリングし)てよい。それから、天井スピーカーと低部スピーカーとのブレンドが、パンを続けるのに使用されてよい(したがって、ソースは、シアターの後方に移動するにつれて、下方に下がっていると知覚される)。ベースと天井とにおけるブレンドは、スクリーンに対する距離によってではなく、ソースのZ座標(及び、各2DレイヤのスピーカーのZ座標)によって駆動される。
記載されたデュアルバランスパンニング法は、ラウドスピーカーの特定配列(水平面において配列されたスピーカーであって、各水平面の中のスピーカーは行及び列において配列される)を仮定する。ゆえに、この方法は、ラウドスピーカーの軌跡アレイ(例えば、任意数の任意的に位置づけられたスピーカーを含むアレイ)を用いてサウンドパンニングを実施するのに最適ではない。さらに、デュアルバランスパンニング法は、スピーカーが多角形のメッシュとして編成されることを仮定せず、こうしたメッシュの面上へのソース配置(例えば、一連のソース配置の各々)の投影と、スピーカーから出されるサウンドをソース配置から出ていると知覚させるように上記の面の頂点にあるスピーカーのスピーカーフィードに適用すべき利得とを決定しない。(メッシュとして編成されたスピーカーアレイの)1つの多角形面の頂点にある各スピーカーについての利得だけの効率的な決定を実施し、1つのこうした面の頂点にあるスピーカーだけを(いずれかの瞬間に)駆動してソース配置におけるソースをイメージさせるのではなく、デュアルバランス法は、上記のアレイのスピーカーのうち少なくとも1つの水平面のすべてのスピーカーについての利得(前→後パンニング利得及び左→右パンニング利得)を決定し、前→後パンニング利得と左→右パンニング利得との双方が(いずれかの瞬間に)非ゼロであるすべてのスピーカーを駆動する。
本発明のいくつかの実施形態は、オーディオオブジェクトコーディング(又は、オブジェクトベースのコーディング、若しくは「シーン記述」)と呼ばれる一種のオーディオコーディングによってエンコードされているオーディオプログラムをレンダリングするシステム及び方法に向けられている。これらは、各々の上記のオーディオプログラム(本明細書においてオブジェクトベースのオーディオプログラムと呼ばれる)が多数の種々のアレイのラウドスピーカーのいずれかによってレンダリングされ得ることを仮定する。こうしたオブジェクトベースのオーディオプログラムの各チャネルは、オブジェクトチャネルであり得る。オーディオオブジェクトコーディングにおいて、別々のサウンドソース(オーディオオブジェクト)に関連付けられたオーディオ信号は、別個のオーディオストリームとしてエンコーダに入力される。オーディオオブジェクトの例には(これらに限らないが)ダイアログトラック、単一の楽器、及びジェット機が挙げられる。各オーディオオブジェクトは空間パラメータと関係しており、それらは(これらに限らないが)ソース位置、ソース幅、及びソース速度及び/又は軌跡を含むことができる。オーディオオブジェクト及び関係するパラメータは、配給及び記憶のためにエンコードされる。最終的なオーディオオブジェクトミキシング及びレンダリングは、オーディオプログラム再生の一部として、オーディオ記憶及び/又は配給チェーンの受け取り側で、実行される。オーディオオブジェクトミキシング及びレンダリングのステップは、典型的には、プログラムを再生するために採用されるラウドスピーカーの実際の位置についての知識に基づく。
典型的には、オブジェクトベースのオーディオプログラムを生成する間に、コンテンツ作成者は、ミックスの空間的意図(例えば、プログラムの各オブジェクトチャネルにより決定される各オーディオオブジェクトの軌跡)を、メタデータをプログラムに含めることによって埋め込む。メタデータは、プログラムの各オブジェクトチャネルにより決定される各オーディオオブジェクトの位置若しくは軌跡、並びに/又は各々のこうしたオブジェクトのサイズ、速度、タイプ(例えば、ダイアログ又は音楽)及び別の特性のうちの少なくとも1つを表すことができる。
オブジェクトベースのオーディオプログラムをレンダリングする間に、各オブジェクトチャネルは、チャネルのコンテンツを表すスピーカーフィードを生成することにより、そしてスピーカーフィードを一組のラウドスピーカーに(ラウドスピーカーの各々の物理的位置がいかなる時点においても所望の位置と一致する場合もあり、一致しない場合もあるが)適用することにより、(所望の軌跡を有し時間的に変化する位置「で」)レンダリングすることができる。一組のラウドスピーカーについてのスピーカーフィードは、複数のオブジェクトチャネル(又は単一のオブジェクトチャネル)のコンテンツを表すことができる。レンダリングシステムは、典型的には、特定の再生システム(例えば、ホームシアターシステムのスピーカー構成であって、この場合にはレンダリングシステムはホームシアターシステムの一要素でもある)の正確なハードウェア構成と適合するように、スピーカーフィードを生成する。
オブジェクトベースのオーディオプログラムがオーディオオブジェクトの軌跡を表す場合には、レンダリングシステムは、典型的には、上記軌跡を有するオーディオオブジェクトから出ていると知覚されるべく意図されている(そして、典型的には、知覚されることになる)サウンドを出すように、ラウドスピーカーのアレイを駆動するためのスピーカーフィードを生成することになる。例えば、プログラムは、楽器(オブジェクト)からのサウンドが左から右にパンするべきことを表すことができ、レンダリングシステムは、アレイのL(左前方)スピーカーからアレイのC(中央前方)スピーカーへ、それからアレイのR(右前方)スピーカーへパンしていると知覚されることになるサウンドを出すように、ラウドスピーカーの5.1アレイを駆動するためのスピーカーフィードを生成することができる。
一分類の実施形態において、本発明は、少なくとも1つのソースを示すオーディオプログラムをレンダリングする方法であって、一連のソース配置を含む軌跡に沿ってソースをラウドスピーカーのアレイにパンさせるためのスピーカーフィードを生成することを含み、上記方法は、
(a)メッシュを決定するステップであって、該メッシュの面Fが凸状のN角形であり、上記N角形の頂点の位置がラウドスピーカーの配置に対応し、iは範囲1≦i≦Mの中のインデックスであり、Mは2より大きい整数であり、上記面Fの各々は、N個の辺を有する凸状の多角形であり、Nは2より大きいいずれかの整数であり、Nは上記面の少なくとも1つについて3より大きい、ステップと、
(b)上記メッシュの一連の面上へのソース配置の一連の投影を決定し、上記一連の面のうちの上記メッシュの各面の頂点の位置に配置が対応するラウドスピーカーの各サブセットについて、一組の利得を決定するステップと、
を含む。
いくつかの実施形態において、ステップ(a)は、面が三角形面である初期メッシュを決定するステップであって、三角形面の頂点の位置がラウドスピーカーの配置に対応する、ステップと、初期メッシュの三角形面のうち少なくとも2つを非三角形の凸状のN角形である少なくとも1つの置換面で置換するステップであって、これにより上記メッシュを生成する、ステップと、を含む。
いくつかの実施形態において、ラウドスピーカー配置は一組の2Dレイヤであり、各ソース配置はメッシュの内側の「近距離場」配置であり、ステップ(b)において決定される投影は、上記2Dレイヤ上への直接に直交する投影である。いくつかの実施形態において、各ソース配置は上記メッシュの外側の「遠距離場」配置であり、メッシュは、スピーカーの多角形化された(polygonized)「球面」であり、ステップ(b)において決定される投影は、スピーカーの多角形化された球面上への直接の投影である。
メッシュの凸状のN角形は、典型的に、凸状の平面のN角形であり、その頂点の位置はラウドスピーカーの配置に対応する(各頂点は、スピーカーのうち異なる1つの配置に対応する)。例えば、メッシュは、メッシュの面のうちいくつかが三角形でありメッシュの面のうちいくつかが四角形である2次元(2D)メッシュ又は3次元(3D)メッシュであってよい。メッシュ構造は、ユーザ定義されてもよく、あるいは自動的に計算されてもよい(例えば、スピーカー位置又はその凸包のドローネー三角分割法によって、面が三角形であるメッシュを決定し、その後、当初の三角形分割により決定された三角形面のいくつかを非三角形の凸状の(及び、典型的には平面の)N角形で置換する)。
いくつかの実施形態において、本発明は、少なくとも1つのソースを示すオーディオプログラムをレンダリングする方法であって、メッシュとして編成されると仮定されたラウドスピーカーのアレイを用いて、一連のソース配置を含む軌跡に沿って上記ソースをパンすることを含み、上記メッシュの面Fは凸状のN角形であり、上記N角形の頂点の位置はラウドスピーカーの配置に対応し、iは範囲1≦i≦Mの中のインデックスであり、Mは2より大きい整数であり、面Fの各々は、N個の辺を有する凸状の多角形であり、Nは2より大きいいずれかの整数であり、Nは上記面のうち少なくとも1つについて3より大きく、上記方法は、
(a)ソース配置の各々について、メッシュ上へのソース配置の投影を含むメッシュの交差面を決定し、これにより各上記交差面について、交差面の頂点に位置が一致するスピーカーのサブセットを決定するステップと、
(b)上記オーディオプログラムのオーディオサンプルに利得を適用することによりスピーカーフィードが生成され、かつスピーカーの上記サブセットが上記スピーカーフィードにより駆動されるとき、スピーカーの上記サブセットに対応するソース配置から出ていると知覚されるサウンドをスピーカーの上記サブセットが出すことになるように、スピーカーの各上記サブセットについて、上記利得を決定するステップと、
を含む。典型的に、上記方法は、スピーカーの各上記サブセットについての一組のスピーカーフィードを生成するステップをさらに含み、スピーカーのサブセットについてステップ(b)において決定される利得を、上記オーディオプログラムのオーディオサンプルに適用することを含む。
典型的に、N角形は平面の多角形であり、ステップ(b)は、投影についての交差面の頂点に関して、ソース配置の各上記投影の一般化された重心座標を計算するステップを含む。いくつかの実施形態において、スピーカーの各上記サブセットについてステップ(b)において決定される利得は、スピーカーの上記サブセットに対応する交差面の頂点に関する、ソース配置の投影の一般化された重心座標である。いくつかの実施形態において、スピーカーの各上記サブセットについてステップ(b)において決定される利得は、スピーカーの上記サブセットに対応する交差面の頂点に関する、ソース配置の投影の一般化された重心座標から決定される。
一分類の実施形態において、本発明は、少なくとも1つのソースを示すオーディオプログラムをレンダリングする方法であって、メッシュ(2D又は3Dメッシュ、例えば、凸状の3Dメッシュ)として編成されたスピーカーのアレイを用いて、一連のソース配置を含む軌跡に沿って上記ソースをパンすることを含み、上記メッシュの面は凸状の(及び、典型的に平面の)N角形であり、Nは面ごとに変動することができ、Nは上記メッシュの少なくとも1つの面について3より大きく、上記メッシュは仮定されるリスナー配置を囲み、上記方法は、
(a)ソース配置の各々について、上記メッシュ上へのソース配置の投影を含む上記メッシュの交差面を決定するステップであって、これにより各上記交差面について、交差面の頂点に位置が一致するスピーカーのサブセットを決定する、ステップと、
(b)スピーカーの各上記サブセットについて、利得を決定するステップと、
(c)スピーカーの上記サブセットがスピーカーフィードにより駆動されるとき、スピーカーの上記サブセットに対応するソース配置から出ていると知覚されるサウンドをスピーカーの上記サブセットが出すことになるように、スピーカーの各上記サブセットについて、一組のスピーカーフィードを生成するステップであって、スピーカーの上記サブセットについてステップ(b)において決定された利得を上記オーディオプログラムのオーディオサンプルに適用することを含む、ステップと、
を含む。
いくつかの実施形態において、スピーカーのアレイのメッシュ構造は、(スピーカー位置が三角形の頂点に一致する状態で)面が三角形である初期メッシュを決定するようにスピーカー位置(又は、その凸包)の三角形分割によって計算され、その後、スピーカー位置がN角形の頂点に一致する状態で初期メッシュの三角形面の少なくとも1つ(例えば、2つ以上)を非三角形の凸状の(及び、典型的に平面の)N角形(例えば、四角形)で置換することが続く。細長い三角形である初期メッシュの面は、典型的なパンニングにあまり適さず、近隣と共有されているへりを初期メッシュから除去することによって四角形へと崩されてもよく、より均一のパンニング領域がもたらされることになる。
例えば、リスナーに対して斜めのソース軌跡に沿った、パンの不安定な実施(不安定であると知覚される実施)を回避するために(例えば、スピーカーとリスナーとが部屋の中にあり、パン軌跡が部屋の左(又は右)と部屋の後方(又は前方)との双方に向かって伸びている場合)、本発明のいくつかの実施形態は、スピーカーのアレイのメッシュ構造を下記のとおり決定する。スピーカーのアレイの初期メッシュ構造が、スピーカー位置(又はその凸包)の三角形分割によって計算される。初期メッシュの面は、頂点がスピーカー位置に一致する三角形である。それから、初期メッシュの三角形面の少なくともいくつかが、頂点がスピーカー位置に一致する凸状の非三角形のN角形(例えば、四角形)で置換される。例えば、非均一なようにパンニングエリア/ボリュームの左側及び右側をカバーする(初期メッシュの)三角形面は、より均一にパンニングエリア/ボリュームの左側及び右側をカバーする四角形面(又は、他の非三角形のN角形である面)へとマージされてもよい。例えば、初期メッシュの各三角形について、スイートスポット(例えば、メッシュ境界ボリュームの中心)の左に対する三角形のエリアが計算されて、スイートスポットの右に対する三角形のエリアと比較されてもよい。三角形が、スイートスポットの左側及び右側の双方に伸びていて、スイートスポットの左に対するそのエリアの部分が、スイートスポットの右に対するそのエリアの部分とはかなり異なる場合、この三角形は、スイートスポットに関してより均一である非三角形のN角形へと崩されてもよい。
いくつかの実施形態において、スピーカーのアレイは、頂点がスピーカー配置に一致するメッシュとして編成されると仮定される(オーディオプログラムのレンダリングの間、各ソース配置について、メッシュ上へのソース配置の投影を含むメッシュの交差面を決定することを含む)が、メッシュの構造は、初期メッシュの変更によって決定されない。代わって、メッシュは、非三角形の凸状の(及び、典型的に平面の)N角形(例えば、四角形)である少なくとも1つの面を、N角形の頂点がスピーカー配置に一致する状態で含む初期メッシュである。
本発明の典型的実施形態において、多角形(多角形面)のメッシュとして編成されたスピーカーのアレイを用いて一連の(2D又は3Dの)見かけ上のソース位置を通じてサウンドソースのパンをレンダリングするために、上記メッシュは、非三角形の凸状の(及び、典型的に平面の)N角形である少なくとも1つの面を含み(N角形の頂点は、スピーカー位置に一致し)、パンの間のいずれかの瞬間に寄与するN角形(上記の瞬間に駆動すべきメッシュの面)は、(例えば、テストすることによって)下記の基準を満たすメッシュの多角形であると決定される:仮定されるリスナー位置(例えば、スイートスポット)を(ある瞬間の)ターゲットソース位置につなぐ線が、寄与するN角形、又は寄与するN角形により囲まれた領域と交差する。典型的に、仮定されるリスナー位置をターゲットソース位置につなぐ線がある瞬間にメッシュの面のうち2つと交差する(すなわち、線が2つの面の間のへりと交差する)場合、上記面のうち一方だけがこの瞬間に寄与するN角形として選択される。
寄与するN角形であると選択されたメッシュの各N角形の各頂点について(ゆえに、位置がこれら頂点の1つに一致する各スピーカーについて)、寄与するN角形が平面のN角形である場合、利得は、典型的に、ターゲットソースポイントについての寄与するN角形に関して(すなわち、リスナー位置からターゲットソースポイントへの線と、寄与するN角形又は寄与するN角形内のポイントとの交点について)、一般化された重心座標を計算することによって決定される。重心座標b(ここで、iは範囲1≦i≦Nの中のインデックスである)、若しくはその累乗(例えば、b )、又は(累乗又は振幅を保持するような)これらの再正規化されたバージョンが、パンニング利得として使用されてもよい。別の例として、重心座標bは本発明のいずれかの実施形態に従い各ターゲットソースポイントについて決定され、重心座標の変更されたバージョン(例えば、f(b)であり、“f(b)”は値bの何らかの関数を表す)がパンニング利得として使用される。例えば、関数f(b)は、f(b)=(bであってもよく、ここで、pは何らかの数である(典型的に、pは1と2との間の範囲内であろう)。
寄与するN角形が非平面のN角形(例えば、実質的に平面であるが正確には平面でない四角形)である場合、寄与するN角形の各頂点についての利得は、例えば、一般化された重心座標を計算する従来法のバリエーションによって、あるいは、非平面のN角形を平面のN角形へと分割し又は平面のN角形をそれに合わせてから平面のN角形についての一般化された重心座標を決定することによって、同様に決定される。
本発明の態様は、本発明方法のいずれかの実施形態を実行するように構成された(例えば、プログラムされた)システムと、本発明方法のいずれかの実施形態を実施するためのコードを記憶したコンピュータ可読媒体(例えば、ディスク)とを含む。
典型的な実施形態において、本発明システムは、本発明方法の実施形態を実行するようにソフトウェア(又はファームウェア)でプログラムされ、かつ/あるいはその他の方法で構成された汎用目的又は特別目的のプロセッサであり、あるいは該プロセッサを含む。いくつかの実施形態において、本発明システムは、入力オーディオを受信するように結合され、(本発明方法の実施形態を実行することによって)入力オーディオに応答して出力オーディオを生成するように(適切なソフトウェアを用いて)プログラムされた汎用目的プロセッサであり、あるいは該プロセッサを含む。他の実施形態において、本発明システムは、入力オーディオに応答してスピーカーフィード(及び/又は、スピーカーフィードを示すデータ)を生成するための利得値を生成するように動作可能な適切に構成された(例えば、プログラムされ、あるいはその他の方法で構成された)オーディオデジタルシグナルプロセッサ(DSP)であり、あるいは該プロセッサを含む。
2Dサウンドパンニングのための一従来法により仮定されるタイプの、円形に沿って編成されたスピーカーの一次元(1D)メッシュの図である。 3Dサウンドパンニングのための従来の方向ベースの一方法(例えば、従来の方向ベースのVBAP法)により仮定されるタイプの、スピーカーの3次元(3D)三角形メッシュの図である。 3Dサウンドパンニングのための一従来法により仮定されるタイプの、スピーカーの3D長方形メッシュの1つの水平レイヤの図である。 3Dサウンドパンニングのための一従来法により仮定されるタイプの、スピーカーの3D長方形メッシュの1つの水平レイヤの図である。 3Dサウンドパンニングのための一従来法により仮定されるタイプの、スピーカーの3D長方形メッシュの1つの水平レイヤの図である。 3Dサウンドパンニングのための本発明方法の一実施形態により仮定されるスピーカーの3次元(3D)メッシュの図である。 サウンドパンニングのための一従来法により仮定されるスピーカーの三角形メッシュの図である。 サウンドパンニングのための本発明方法の一実施形態により仮定されるスピーカーのメッシュ(図7のメッシュの変更版)の図である。 サウンドパンニングのための本発明方法の別の実施形態により仮定されるスピーカーのメッシュの図である。 サウンドパンニングのための一従来法により仮定されるスピーカーの三角形メッシュの図である。 サウンドパンニングのための本発明方法の一実施形態により仮定されるスピーカーのメッシュ(図9のメッシュの変更版)の図である。 (部屋の床上に位置づけられた)軸に整列されたスピーカー100、101、102、103、104、105及び106と、(部屋の天井に位置づけられた)スピーカー110、111、112、113、114及び115とのアレイの図である。本発明の一実施形態に従い、スピーカー110‐115はスピーカーのメッシュとして編成され、該メッシュの面は三角形面T20及びT21と四角形面Q10とを含む。 一システムのブロック図であり、本発明方法の一実施形態を実行するように上記システムのプロセッサ501をプログラミングするコンピュータコードを記憶したコンピュータ可読記憶媒体504を含む。 サウンドパンニングのための一従来法(VBAP法)により仮定されるタイプの6つのスピーカーの3Dメッシュの図である。図13に示される球面(「球面」)は、6つのスピーカーの近似位置に合わせられる。
記法及び用語
請求項を含む本開示全体にわたって、信号又はデータ「上で」操作を行う(例えば、信号又はデータに対してフィルタリングする、スケーリングする、変換する、又は利得を適用する)という表現は広い意味において使用されて、信号又はデータに直接、あるいは信号又はデータの処理されたバージョンに(例えば、信号への操作の実行の前に予備的なフィルタリング又は前処理を受けている信号のバージョンに)操作を行うことを表す。
請求項を含む本開示全体にわたって、表現「システム」は広い意味において使用されて、装置、システム又はサブシステムを表す。例えば、デコーダを実施するサブシステムはデコーダシステムと呼ばれることがあり、こうしたサブシステムを含むシステム(例えば、複数の入力に応答してX個の出力信号を生成するシステムにおいて、そのサブシステムが、入力のうちM個を生成し、他のX−M個の入力は外部ソースから受信される)がデコーダシステムと呼ばれることもある。
請求項を含む本開示全体にわたって、用語「プロセッサ」は広い意味において使用されて、データ(例えば、オーディオ、又はビデオ若しくは他のイメージデータ)上での操作を実行するように(例えば、ソフトウェア又はファームウェアを用いて)プログラム可能又はその他の方法で構成可能なシステム又は装置を表す。プロセッサの例には、フィールドプログラマブルゲートアレイ(又は、他の構成可能な集積回路若しくはチップセット)と、オーディオ又は他のサウンドデータ上でパイプライン処理を実行するようにプログラムされ、かつ/あるいはその他の方法で構成されたデジタルシグナルプロセッサと、プログラム可能な汎用目的プロセッサ又はコンピュータと、プログラム可能マイクロプロセッサチップ又はチップセットとが挙げられる。
請求項を含む本開示全体にわたって、表現「オーディオプロセッサ」及び「オーディオ処理ユニット」は、置き換え可能に、広い意味において使用されて、オーディオデータを処理するように構成されたシステムを表す。オーディオ処理ユニットの例には、これらに限らないが、エンコーダ(例えばトランスコーダ)、デコーダ、コーデック、前処理システム、後処理システム、及びビットストリーム処理システム(ビットストリーム処理ツールと呼ばれることがある)が挙げられる。
請求項を含む本開示全体にわたって、表現「メタデータ」(例えば、「処理状態メタデータ」といった表現など)は、対応するオーディオデータ(メタデータを同様に含むビットストリームのオーディオコンテンツ)からの別個かつ異なるデータを指す。メタデータはオーディオデータに関連付けられており、オーディオデータの少なくとも1つの特徴又は特性を示す(例えば、オーディオデータ上でどのタイプの処理がすでに実行されているか、あるいは実行されるべきか)。メタデータのオーディオデータとの関連は、時間的に同期している。ゆえに、現在の(最も直近に受信され、あるいは更新された)メタデータは、対応するオーディオデータが同期間に指示された特徴を有し、かつ/あるいは指示されたタイプのオーディオデータ処理の結果を含むことを示すことができる。
請求項を含む本開示全体にわたって、用語「結合する」又は「結合される」は、直接接続又は間接接続のいずれかを意味するように使用される。ゆえに、第1の装置が第2の装置に結合する場合、その接続は、直接接続によってか、あるいは他の装置及び接続を介した間接接続によってかであり得る。
請求項を含む本開示全体にわたって、凸状平面N角形の中の(により囲まれた)ポイント又は凸状平面N角形上のポイントについての「重心座標」という表現は、周知の従来的な意味において使用される(例えば、Meyerらの“Generalized Barycentric Coordinates on Irregular Polygons”、Journal of Graphics Tools、ボリューム7、1版、2002年11月、頁13‐22に定義されるとおりである)。
請求項を含む本開示全体にわたって、下記の表現は下記の定義を有する:
スピーカー及びラウドスピーカーは、同意語として使用されて何らかのサウンドを出す変換器を表す。この定義は、複数の変換器(例えば、ウーファ及びツイーター)として実施されたラウドスピーカーを含む;
スピーカーフィード:ラウドスピーカーに直接適用されるオーディオ信号、又は増幅器及びラウドスピーカーに直列に適用されるべきオーディオ信号;
チャネル(又は「オーディオチャネル」):モノラルオーディオ信号。この信号は、典型的には、所望の位置又は名目的位置でラウドスピーカーに直接信号を印加することと等価な方法で、レンダリングされる。所望の位置は、物理的ラウドスピーカーと典型的に同様に静的であってもよく、動的であってもよい;
オーディオプログラム:一組の1つ又は複数のオーディオチャネル(少なくとも1つのスピーカーチャネル及び/又は少なくとも1つのオブジェクトチャネル)、さらに場合により、関連するメタデータ(例えば、所望の空間オーディオ表現を記述するメタデータ);
スピーカーチャネル(又は「スピーカーフィードチャネル」):指定されたラウドスピーカー(所望の位置又は名目的位置で)と関連する、又は、定義されたスピーカー構成内の指定されたスピーカーゾーンと関連するオーディオチャネル。スピーカーチャネルは、指定されたラウドスピーカー(所望の位置又は名目的位置で)、又は指定されたスピーカーゾーンのスピーカーに直接オーディオ信号を印加することと等価な方法で、レンダリングされる;
オブジェクトチャネル:オーディオソース(オーディオ「オブジェクト」と呼ばれることがある)によって出されるサウンドを表すオーディオチャネル。典型的には、オブジェクトチャネルは、パラメトリックオーディオソース記述を決定する。ソース記述は、(時間の関数としての)ソースにより出されるサウンドと、時間の関数としてのソースの見かけ上の位置(例えば、3D空間座標)と、さらに場合により、ソースを特徴付ける少なくとも1つの付加パラメータ(例えば、見かけ上のソースのサイズ又は幅)とを決定することができる;
オブジェクトベースのオーディオプログラム:一組の1つ又は複数のオブジェクトチャネル(さらに場合により、少なくとも1つのスピーカーチャネルを含む)と、さらに場合により、所望の空間オーディオ表現を記述する関連するメタデータと(例えば、オブジェクトチャネルによって示されるサウンドを出すオーディオオブジェクトの軌跡を表すメタデータ)を含むオーディオプログラム;
レンダリング:オーディオプログラムを1つ又は複数のスピーカーフィードに変換する処理、又はオーディオプログラムを1つ又は複数のスピーカーフィードに変換して、1つ又は複数のラウドスピーカーを用いてスピーカーフィードをサウンドに変換する処理(後者の場合、本明細書では、そのレンダリングをラウドスピーカー「による」レンダリングと呼ぶことがある)。所望の位置の物理的ラウドスピーカーに信号を直接印加することによって、オーディオチャネルを(所望の位置「で」)自明にレンダリングすることができる。あるいは、このような自明なレンダリングに(リスナーにとって)実質的に等価であるように設計された様々な仮想化技術の1つを用いて、1つ又は複数のオーディオチャネルをレンダリングすることができる。この後者の場合、各オーディオチャネルは、通常所望の位置とは異なる既知の位置にあるラウドスピーカーに適用すべき1つ又は複数のスピーカーフィードへと変換することができる。そうすると、フィードに応答してラウドスピーカーによって出されるサウンドは、所望の位置から出ていると知覚されることになる。このような仮想化技術の例は、ヘッドホン(例えば、ヘッドホン着用者に対して最高7.1チャネルのサラウンドサウンドをシミュレートするドルビーヘッドホン処理を用いる)を介したバイノーラルレンダリング及び波動場合成を含む。
好適な実施形態の詳細な説明
本発明についての多くの実施形態が技術的に可能である。これらを実施する方法は、本開示から当業者に明らかになるであろう。本発明システム、方法及び媒体の実施形態は、図6、図7、図8、図9、図10、図11及び図12を参照して記載される。
一分類の実施形態において、本発明は、少なくとも1つのソースを示すオーディオプログラムをレンダリングする方法であって、凸状N角形(典型的には、凸状の平面のN角形)のメッシュ(例えば、2次元メッシュ又は3次元メッシュ)として編成されたラウドスピーカーのアレイを用いて、(仮定されるリスナー位置に対する)軌跡に沿ってソースをパンニングすることを含む。メッシュは面Fを有し、ここでiは範囲1≦i≦Mの中のインデックスであり、Mは2より大きい整数である。各面FはN個の辺を有する凸状の(及び、典型的に平面の)多角形であり、Nは2より大きいいずれかの整数であり、数Nは面ごとに変動してもよいが、面のうち少なくとも1つについて3より大きい。メッシュの頂点の各々が、ラウドスピーカーのうち異なる1つの配置に対応する。例えば、メッシュは、2次元(2D)メッシュ又は3次元(3D)メッシュであってよく、この場合、メッシュの面のいくつかが三角形であり、メッシュの面のいくつかが四角形である。メッシュ構造は、ユーザ定義されてもよく、あるいは、自動的に計算されてもよい(例えば、スピーカー位置又はその凸包のドローネー三角分割法によって、面が三角形であるメッシュを決定し、その後、(最初の三角形分割により決定された)三角形面のいくつかを非三角形の凸状の(及び、典型的には平面の)N角形で置換する)。
一分類の実施形態において、本発明は、少なくとも1つのソースを示すオーディオプログラムをレンダリングする方法であって、面が凸状の(及び、典型的に平面の)N角形である2D又は3Dメッシュ(例えば、凸状3Dメッシュ)として編成されたスピーカーのアレイを用いて、一連のソース配置を含む軌跡に沿ってソースをパンニングすることを含み、(ここで、Nは面ごとに変動してもよく、Nは、上記メッシュの少なくとも1つの面について3より大きい)、上記メッシュは仮定されるリスナーの配置を囲み、上記方法は、
(a)ソース配置の各々について、上記メッシュ上へのソース配置の投影を含む上記メッシュの交差面を決定するステップであって、これにより、各上記交差面について、交差面の頂点に位置が一致するスピーカーのサブセットを決定する、ステップと、
(b)スピーカーの上記サブセットから出されるサウンドを対応するソース配置から出ていると知覚させるように、スピーカーの各上記サブセットについてのスピーカーフィードに適用すべき利得を決定するステップと、
を含む。
例えば、メッシュは、図7に図示される従来のメッシュの改良版であり得る。図7のメッシュは、三角形面T1、T2、T4及びT6の頂点において7つのスピーカーを編成している。図7の上端は、7つのスピーカーを含む部屋の前方に対応し、下端は部屋の後方に対応し、仮定されるリスナー位置(スイートスポット)は図7の中心(部屋の中心)である。しかしながら、パンを(例えば、部屋の前方右コーナーと部屋の後方左コーナーとの間で)実施するとき、このパンは、スピーカーが図7のメッシュに従い編成されていると仮定される場合、不安定であり得る。
一般に、パンを実施するとき、下記の4つの望ましい基準の間にトレードオフが存在する:いかなる瞬間にも所望のソース配置に近接する最少数のスピーカーを始動すること(すなわち、駆動すること)、(スイートスポットにおける)安定度、広範囲の仮定されるリスナー位置にわたる(例えば、広いスイートスポットにわたる)安定度、及び、音色の忠実度。より多くのスピーカーが各瞬間に同時に始動される場合、パンはより安定することになるが、典型的には、より悪化した音色の忠実度と、広いスイートスポットにわたってより悪化した安定度とを有することになる。さらに、一貫した一組の左右対称なスピーカーをある領域にわたって始動することが望ましい。
一般に、従来の、三角形分割アルゴリズムを実行することによる(パンの実施の間に仮定される)スピーカー位置のメッシュの決定は、非対称的な左右構成につながる可能性があり、このことは通常、望ましくない。例えば、図7の従来法で決定されたメッシュは三角形T1及びT2を含み、これら三角形は左右対称性を有していない。三角形T2の中のソースは、スイートスポットの右に対してより多くのスピーカーを始動することになり、三角形T1の中のソースは、左に対してより多くのスピーカーを始動することになる。ゆえに、(図7のメッシュを仮定し、従来の方法で実施される)部屋の前方右コーナーから後方左コーナーへのパンの間、スイートスポットの右に対してより多くのスピーカーが始動される(パンの間の)時間間隔とスイートスポットの左に対してより多くのスピーカーが始動される(パンの間の)時間間隔との間に、望ましくない突然の移行が存在することになる。
ゆえに、本発明の一実施形態によれば、図7のメッシュにより編成されたのと同じ7つのスピーカーが(同じ部屋の中で)、図7のメッシュではなく、図8に図示されるメッシュに従い編成されると仮定される。図8のメッシュによれば、スピーカーは、三角形面T4、T5及びT6と平面の四角形面Q1との頂点に編成される。図8の上端は、スピーカーを含む部屋の前方に対応し、下端は部屋の後方に対応し、仮定されるリスナー位置(スイートスポット)は図8の中心(部屋の中心)である。部屋の前方右コーナーと部屋の後方左コーナーとの間のパンを実施するとき、このパンは、図8のメッシュに従いスピーカーが編成されると(本発明の一実施形態に従い)仮定される場合、面がすべて三角形である従来のメッシュ(例えば、図7のもの)に従いスピーカーが編成されると仮定される場合よりも、より安定することになる。これはなぜならば、スピーカーが図8に従い編成されると仮定してパンが実施される場合、スイートスポットの右に対してより多くのスピーカーが始動される(パンの間の)時間間隔とスイートスポットの左に対してより多くのスピーカーが始動される(パンの間の)時間間隔との間に、望ましくない突然の移行が存在しないことになるからである。
本発明の他の実施形態において、軸に整列されていない(及び、仮定されるリスナー位置に関して対称的に整列されていない)一組のスピーカーが、非三角形の少なくとも1つの面を有するメッシュに従い編成されると仮定される。例えば、1つのこうした実施形態において、軸に整列されていない(及び、仮定されるリスナー位置に関して対称的に整列されていない)一組の7つのスピーカーが、図8Aに図示されるメッシュに従い編成されると仮定される。図8Aのメッシュに従い、スピーカーは、三角形面T40、T50及びT60と平面の四角形面Q10との頂点に編成される。図8Aの上端は、スピーカーを含む部屋の前方に対応する必要はなく、下端は、部屋の後方に対応する必要はない。
いくつかの実施形態において、スピーカーのアレイのメッシュ構造は、面が三角形である初期メッシュを(スピーカー位置が三角形の頂点に一致する状態で)決定するようにスピーカー位置(又はその凸包)を三角形分割し、その後、初期メッシュの三角形面の少なくとも1つ(例えば2つ以上)を非三角形の凸状の(及び、典型的には平面の)N角形(例えば、四角形)で、スピーカー位置がN角形の頂点に一致する状態で置換することによって、計算される。細長い三角形である初期メッシュの面は、典型的なパンニングにあまり適さず、近隣と共有されているへりを初期メッシュから除去することによって四角形へと崩されてもよく、より均一のパンニング領域がもたらされることになる。
例えば、(図2の)スピーカー位置10、11、12、13、15、16及び17についての上記の初期の三角形分割が、図2に図示される初期メッシュを決定してもよい。この初期メッシュの面は、スピーカー位置が三角形の頂点に一致している三角形から成っている。初期メッシュは、本発明の例示的一実施形態によれば、頂点12、15及び16を有する三角形面と頂点12、15及び17を有する三角形面とを平面の凸状の四角形で置換するように変更されてもよい。ゆえに、初期メッシュは、図6の本発明メッシュを決定するように変更されてもよく、図6のメッシュは、図2の(頂点12、15及び16と頂点12、15及び17とを有する)2つの言及された三角形面に代わって、頂点12、15、16及び17を有する平面の凸状の四角形を含む。図2及び図6のスピーカーアレイの頂点12付近の配置と頂点15付近の配置との間でパンを実施するとき、このパンは、スピーカーが図6のメッシュに従い編成されると仮定される場合、スピーカーが図2の従来のメッシュに従い編成されると仮定される場合よりも、より安定することになる。
別の例として、図9に図示されるスピーカーの従来の三角形メッシュを考える。図9のメッシュは、三角形面T7、T8、T9、T10、T11、T12、T13、T14及びT15の頂点に9つのスピーカーを編成している。図9の上端は、9つのスピーカーを含む部屋の前方に対応し、下端は部屋の後方に対応し、仮定されるリスナー位置は図9の中心(部屋の中心)である。いくつかのパン(例えば、前方中央スピーカー60の配置から部屋の後方壁に沿った配置61へのパン)を実施するとき、このパンは、スピーカーが図9のメッシュに従い編成されると仮定される場合、不安定である可能性がある。対照的に、図9のメッシュは、本発明の一実施形態によれば、図10のメッシュを決定するように変更されてもよい(例えば、いくらかの所定閾角度より小さい角度を有する各三角形面を隣接する三角形面と共に崩して四角形面を決定する。細長い三角形面は、多くの典型的なパンを実施するのにあまり適さず、一方、四角形面は、こうしたパンを実施するのによく適している)。図10のメッシュは、三角形面T9、T12及びT14(同じ面が、図9において同一に番号付けされたものである)と平面の四角形面Q2、Q3及びQ4との頂点に、(図9のメッシュにより編成された)同じ9つのスピーカーを編成している。図10の上端は、9つのスピーカーを含む部屋の前方に対応し、下端は部屋の後方に対応し、仮定されるリスナー位置は図10の中心(部屋の中心)である。図10のメッシュの面はあまり細長くなく、より高い左右対称性を有するため、スピーカーが(従来の図9のメッシュではなく)図10のメッシュとして編成されると仮定することによって、典型的なパンは改良された方法で実施することができる。
例えば、リスナーに対して斜めのソース軌跡に沿った、パンの不安定な実施(不安定であると知覚される実施)を回避するために(例えば、スピーカーとリスナーとが部屋の中にあり、パン軌跡は部屋の左(又は右)と部屋の後方(又は前方)との双方に向かって伸びている場合)、本発明のいくつかの実施形態は、スピーカーのアレイのメッシュ構造を下記のとおり決定する。スピーカーのアレイの初期メッシュ構造が、スピーカー位置(又はその凸包)の三角形分割によって計算される。初期メッシュ(例えば、図2のメッシュ)の面は、頂点がスピーカー位置に一致する三角形である。それから、初期メッシュの三角形面の少なくともいくつかを、頂点がスピーカー位置に一致する凸状の非三角形のN角形(例えば、四角形)で置換することによって、変更されたメッシュ(例えば、図6のメッシュ)が初期メッシュから決定される。例えば、非均一なようにパンニングエリア/ボリュームの左側及び右側をカバーする(初期メッシュの)三角形面は、より均一にパンニングエリア/ボリュームの左側及び右側をカバーする四角形面(又は、他の非三角形のN角形である面)へとマージされてもよい。例えば、初期メッシュの各三角形について、スイートスポット(例えば、メッシュ境界ボリュームの中心)の左に対する三角形のエリアが計算されて、スイートスポットの右に対する三角形のエリアと比較されてもよい。三角形が、スイートスポットの左側及び右側の双方に伸びていて、スイートスポットの左に対するそのエリアの部分が、スイートスポットの右に対するそのエリアの部分とはかなり異なる場合、この三角形は、スイートスポットに関してより均一である非三角形のN角形へと崩されてもよい。
いくつかの実施形態において、スピーカーのアレイは、頂点がスピーカー配置に一致するメッシュとして編成されると仮定される(オーディオプログラムのレンダリングの間、各ソース配置について、メッシュ上へのソース配置の投影を含むメッシュの交差面を決定することを含む)が、メッシュの構造は、初期メッシュの変更によって決定されない。代わって、メッシュは、非三角形の凸状の(及び、典型的に平面の)N角形(例えば、四角形)である少なくとも1つの面を、N角形の頂点がスピーカー配置に一致する状態で含む初期メッシュである。
本発明の典型的実施形態において、多角形(多角形面)のメッシュとして編成されたスピーカーのアレイを用いて一連の(2D又は3Dの)見かけ上のソース位置を通じてサウンドソースのパンをレンダリングするために、上記メッシュは、非三角形の凸状の(及び、典型的に平面の)N角形である少なくとも1つの面を含み(N角形の頂点は、スピーカー位置に一致し)、パンの間のいずれかの瞬間に寄与するN角形(上記の瞬間に駆動すべきメッシュの面)は、(例えば、テストすることによって)下記の基準を満たすメッシュの多角形であると決定される:仮定されるリスナー位置(例えば、スイートスポット)を(ある瞬間の)ターゲットソース位置につなぐ線が、寄与するN角形、又は寄与するN角形により囲まれた領域と交差する。典型的に、仮定されるリスナー位置をターゲットソース位置につなぐ線がある瞬間にメッシュの面のうち2つと交差する(すなわち、線が2つの面の間のへりと交差する)場合、上記面のうち一方だけがこの瞬間に寄与するN角形として選択される。
例えば、図6のスピーカーアレイを用いてサウンドソースのパンをレンダリングするために、スピーカーは、図6のメッシュとして編成されると仮定されてよい。スピーカーアレイから出されるサウンドが、リスナー(図6における配置“L”)に対してメッシュの外側のソース配置(例えば、図6における配置“S2”)のオーディオソースから出ていると知覚されるようにオーディオプログラムを再生するためには、メッシュ上へのソース配置の投影(例えば、図6における配置“S3”)を含むメッシュの面(例えば、リスナー配置Lからソース配置S2への線が交わる面)が、寄与するN角形であると決定されてもよい。それから、この面の頂点におけるスピーカー(例えば、図6のスピーカー10、11及び12)についてのスピーカーフィードに適用すべき利得が、これらスピーカーから出されるサウンドを上記ソース配置から出ていると知覚させるように決定されてもよい。同様にして、スピーカーアレイから出されるサウンドが、リスナーに対してメッシュの内側のソース配置(例えば、図6における配置“S4”)におけるオーディオソースから出ていると知覚されるようにオーディオプログラムを再生するためには、メッシュ上へのソース配置の投影(例えば、図6における配置“S5”)を含むメッシュの面(例えば、リスナー配置Lからソース配置S4への線が交わる三角形)が、寄与するN角形であると決定されてもよい。それから、この面の頂点におけるスピーカー(例えば、図6のスピーカー13、15及び16)についてのスピーカーフィードに適用すべき利得が、これらスピーカーから出されるサウンドを上記ソース配置から出ていると知覚させるように決定されてもよい。別法として、スピーカーアレイから出されるサウンドがリスナーに対してメッシュの内側のソース配置(又は、一連のソース配置)におけるオーディオソースから出ていると知覚されるようにオーディオプログラムを再生するために、図6のアレイのスピーカーの別のサブセット(又は、一連のサブセット)が、何らかの他の方法で決定されてもよく(例えば、ソース配置S4から出ていると知覚されるようにサウンドをレンダリングするために、スピーカー13、15、16、11、12及び17から成るサブセットが選択されてもよい)、それから、各々の選択されたスピーカーのサブセットについてのスピーカーフィードに適用すべき利得が決定されてもよい。
寄与するN角形であると選択されたメッシュの各N角形の各頂点について(ゆえに、位置がこれら頂点の1つに一致する各スピーカーについて)、寄与するN角形が平面のN角形である場合、利得は、典型的に、ターゲットソースポイントについての寄与するN角形に関して(すなわち、リスナー位置からターゲットソースポイントへの線と、寄与するN角形又は寄与するN角形内のポイントとの交点について)、一般化された重心座標(generalized barycentric coordinates)を計算することによって決定される。重心座標b(ここで、iは範囲1≦i≦Nの中のインデックスである)、若しくはその累乗(例えば、b )、又は(累乗又は振幅を保持するような)これらの再正規化されたバージョンが、パンニング利得として使用されてもよい。ゆえに、(レンダリングされるオブジェクトベースのオーディオプログラムの)オブジェクトチャネルが、各ターゲットソースポイントについての一連のオーディオサンプルを含む場合、N個のスピーカーフィードが、一連のオーディオサンプルから(ターゲットソースポイントから出ていると知覚されるオーディオをレンダリングするために)生成されてもよい。N個のスピーカーフィードの各々は、一連のオーディオサンプルに対してパンニング利得のうち異なる1つ(例えば、重心座標のうち異なる1つ、又はこれらのスケール変更されたバージョン)を適用することを含むプロセスによって生成されてもよい。
平面のN角形に関してあるポイントの一般化された重心座標を計算する方法は、広く知られている。平面のN角形に関してのあるポイントの一組の一般化された重心座標は、(例えば)Meyerらの論文(“Generalized Barycentric Coordinates on Irregular Polygons”、Journal of Graphics Tools、ボリューム7、1版、2002年11月、頁13‐22)に記載されているとおり、良く知られたアフィン結合、平滑さ及び頂点結合要件を満たさなければならない。
寄与するN角形が非平面のN角形(例えば、実質的に平面であるが正確には平面でない四角形)である場合、寄与するN角形の各頂点についての利得は、例えば、一般化された重心座標を計算する従来法のバリエーションによって、あるいは、非平面のN角形を平面のN角形へと分割し又は平面のN角形をそれに合わせてから平面のN角形についての一般化された重心座標を決定することによって、同様に決定される。好ましくは、各々の寄与するN角形を決定する計算は、寄与するN角形を正確な平面でなくするであろう小さい浮動小数点の/数学的な誤差に対して堅牢であることになる。
図11は、軸に整列されたスピーカー100、101、102、103、104、105及び106のレイヤ(部屋の床上に位置づけられる)と、スピーカー110、111、112、113、114及び115(スピーカーの別レイヤとして、部屋の天井に位置づけられ、軸に整列されていない)とを含むスピーカーのアレイの図である。本発明の一実施形態によれば、スピーカー110‐115はスピーカーの凸状の3Dメッシュとして編成され、このメッシュの面は、三角形面T20、T21と、四角形面Q10と、他の面(図11に図示せず)とを含む。
本発明の例示的一実施形態において、図11のスピーカーアレイを用いてサウンドソースのパンをレンダリングするために、スピーカーは、図11のメッシュとして編成されると仮定されてもよい。スピーカーアレイから出されるサウンドが仮定されるリスナー位置に対してソース配置におけるオーディオソースから出ていると知覚されるようにオーディオプログラムを再生するために、メッシュのレイヤ上へのソース配置の投影を含むメッシュの各レイヤの面が、寄与するN角形であると決定されてもよい。それから、各々のこうした面の頂点におけるスピーカー(例えば、寄与する面がT20である場合は図11のスピーカー110、111及び112、あるいは、寄与する面がQ10である場合は図11のスピーカー112、113、114及び115)についてのスピーカーフィードに適用すべき利得が、これらスピーカーから出されるサウンドを上記ソース配置から出ていると知覚させるように決定されてもよい。
本発明の別の例示的実施形態において、図11のスピーカーアレイを用いてサウンドソースのパンをレンダリングするために、スピーカーは、図11のメッシュとして編成されると仮定されてもよい。図2、図3及び図4を参照して上記で記載されたタイプのデュアルバランスパンニング法が、スピーカー100、101、102、103、104、105及び106の平面の中でサウンドソースのパンをレンダリングするのに採用されてもよい。スピーカー110、111、112、113、114及び115の平面の中でサウンドソースのパンをレンダリングするために、メッシュ上へのソース配置の投影を含む図11のメッシュの面(例えば、仮定されるリスナー位置からソース配置への線が交わる面)が、寄与するN角形であると決定されてもよい。それから、この面の頂点におけるスピーカー(例えば、寄与する面がT20の場合は図11のスピーカー110、111及び112、あるいは、寄与する面がQ10の場合はスピーカー112、113、114及び115)についてのスピーカーフィードに適用すべき利得が、これらスピーカーから出されるサウンドが上記ソース配置から出ていると知覚させるように決定されてもよい。
例示的一実施形態において、天井に沿った第1の部分とスピーカー104及び105をつなぐ床上のラインに向かうメッシュ内の任意的3Dパスである第2の部分とを有する図11のメッシュ内の3D軌跡に沿ってパンをレンダリングするために、レンダリングシステムは、最初、変曲点(スピーカー101からスピーカー104と105とにおけるラインに向かって離れた特定距離)に達するまでは、これまでの段落に記載された方法で(すなわち、天井スピーカー110‐115だけの一連のサブセットを用いてサウンドをレンダリングするように)天井スピーカー110、111、112、113、114及び115のサブセットを通じてパンしてもよい。それから、パンするステップ(例えば、図3‐図5を参照して上記で記載された方法のバリエーション)が、パンを続けるために今度は天井スピーカー110‐115のサブセットとより低いスピーカー100‐106のサブセットとの一連のブレンド(blends)を決定する一連の利得を決定するように実行されてもよい(したがって、ソースがスピーカー104及び105をつなぐ床上のラインへ移動するとき、ソースは下方に下がっていると知覚される)。
別の分類の実施形態において、本発明は、少なくとも1つのソースを示すオーディオプログラムをレンダリングする方法であって、一連のソース配置を含む軌跡に沿ってソースをラウドスピーカーのアレイにパンさせるためのスピーカーフィードを生成することを含み、上記方法は、
(a)3Dメッシュを決定するステップであって、該メッシュの面Fが凸状のN角形であり、N角形の頂点の位置がラウドスピーカーの配置に対応し、iは範囲1≦i≦Mの中のインデックスであり、Mは2より大きい整数であり、面Fの各々は、N個の辺を有する凸状の多角形であり、Nは2より大きいいずれかの整数であり、Nは面の少なくとも1つについて3より大きい(上記の3Dメッシュは、頂点がスピーカーの配置に対応する多面体である)、ステップと、
(b)3Dメッシュの頂点の一連の頂点サブセットを決定し(上記の頂点サブセットの各々は、面が凸状のN角形であって頂点がスピーカーのサブセットの配置に対応する多面体を決定するか、あるいは、3Dメッシュの多角形面の1つを決定する)、サブセットの各々は、ソース配置の1つを囲み(取り囲み)、あるいは仮定されるリスナー位置からソース配置の1つへの線が交わる多角形面であり又は該多角形面を含み、さらに、3Dメッシュの頂点の一連の頂点サブセットのうちの一頂点サブセットの頂点の位置に配置が対応するラウドスピーカーの各サブセットについての一組の利得を決定するステップと、
を含む。
いくつかの実施形態において、ステップ(a)は、面が三角形面である初期メッシュを決定するステップであって、三角形面の頂点の位置がラウドスピーカーの配置に対応する、ステップと、初期メッシュの三角形面のうち少なくとも2つを非三角形の凸状のN角形である少なくとも1つの置換面で置換するステップであって、これにより3Dメッシュを生成する、ステップと、を含む。いくつかの実施形態において、ステップ(b)においてラウドスピーカー(その配置は、一連の頂点サブセットのうちの一頂点サブセットの頂点の位置に対応する)の各サブセットについて決定される利得は、ソース配置の1つについての、対応する頂点サブセットの頂点に関する一般化された重心座標である。
典型的な実施形態において、本発明システムは、本発明方法の実施形態を実行するようにソフトウェア(又はファームウェア)でプログラムされ、かつ/あるいはその他の方法で構成された汎用目的又は特別目的のプロセッサ(例えば、図12の処理サブシステム501の実施)であり、あるいは該プロセッサを含む。他の実施形態において、本発明システムは、構成可能なオーディオデジタルシグナルプロセッサ(DSP)を本発明方法の実施形態を実行するように適切に構成することによって(例えば、プログラムすることによって)実施される。オーディオDSPは、入力オーディオデータ上で様々な操作のうちいずれかを実行するように構成可能な(例えば、適切なソフトウェア又はファームウェアによってプログラム可能な、あるいはその他の方法で制御データに応答して構成可能な)従来のオーディオDSPであり得る。
いくつかの実施形態において、本発明システムは、(オーディオプログラムを示す)入力オーディオデータを受信するように結合され、スピーカーアレイのスピーカーの位置を示すスピーカーアレイデータを受信するように結合され(あるいは記憶するように構成され)、さらに本発明方法の実施形態を実行することによって入力オーディオデータとスピーカーアレイデータとに応答して利得値及び/又はスピーカーフィードを示す出力データを生成するようにプログラムされた汎用目的プロセッサであり、あるいは該プロセッサを含む。プロセッサは、典型的には、本発明方法の実施形態を含む入力データ上での様々な操作のいずれかを実行するようにソフトウェア(又は、ファームウェア)を用いてプログラムされ、かつ/あるいはその他の方法で(例えば、制御データに応答して)構成される。典型的な実施において、図12のシステムは、こうしたシステムの一例である。図12のシステムは、本発明方法の実施形態を含む入力データ上での様々な操作のいずれかを実行するようにプログラムされた処理サブシステム501(一実施において、処理サブシステム501は汎用目的プロセッサである)を含む。入力オーディオデータは、オーディオプログラムを示す。典型的には、オーディオプログラムは、一組の1つ又は複数のオブジェクトチャネル(及び、場合により、少なくとも1つのスピーカーチャネル)を含むオブジェクトベースのオーディオプログラムであり、各々が、オーディオサンプルと、少なくとも1つのオブジェクトチャネルのオーディオサンプルにより示されるサウンドを出す少なくとも1つのオーディオオブジェクト(ソース)の少なくとも1つの軌跡を示すメタデータとを含む。
図12のシステムは、処理サブシステム501(プロセッサ501と呼ばれることがある)に結合された入力装置503(例えば、マウス及び/又はキーボード)と、プロセッサ501に結合された記憶媒体504と、プロセッサ501に結合されたディスプレイ装置505と、プロセッサ501に結合されたスピーカーフィード生成サブシステム506(図12において「レンダリングシステム」と名付けられている)と、スピーカー507とをさらに含む。サブシステム506は、入力オーディオと、入力オーディオに応答してプロセッサ501により生成される一連の利得値とに応答して、(例えば、入力オーディオにより示される少なくとも1つのソースのパンを示すサウンドを出すように)スピーカー507を駆動するためのスピーカーフィード、又はこうしたスピーカーフィードを示すデータを生成するように構成される。
例えば、入力オーディオが、(オブジェクトベースのオーディオプログラムのメタデータにより示される軌跡に沿った一連のソース位置のうちの)各ソース位置についての一連のオーディオサンプルを含むオブジェクトチャネルを含む、オブジェクトベースのオーディオプログラムを示す場合、サブシステム506は、ソース位置ごとの一連のオーディオサンプルから、(1つの上記のソースポイントから出ていると知覚されるサウンドを出すようにスピーカー507のNスピーカーサブセットを駆動するための)N個のスピーカーフィードを生成するように構成されてもよい。サブシステム506は、ソース位置に対応するメッシュのN角形面(すなわち、仮定されるリスナー位置からソース位置への線が交わる面)について、プロセッサ501により決定されたN個の利得のうち異なる1つをソース位置の一連のオーディオサンプルに適用することを含む処理によって、(ソース位置ごとに)N個のスピーカーフィードの各々を生成するように構成されてもよい。いくつかの実施形態において、ソース位置ごとにプロセッサ501により決定されるN個の利得(一組のN個の利得値)は、ソース位置に対応するメッシュのN角形面の頂点に対する、ソース位置の重心座標(又は、重心座標のスケール変更されたバージョン)であってもよい。
プロセッサ501は、スピーカー507が凸状の(及び、典型的に平面の)N角形のメッシュとして編成されるという仮定では、(サブシステム506に対するアサーションのための)利得値を生成するようにプログラムされて、サブシステム506がスピーカー507を駆動するためのスピーカーフィードを生成することを可能にする。プロセッサ501は、(本発明の一実施形態によれば、)スピーカー507の位置を示すデータと(スピーカー507の位置に対する)仮定されるリスナーの位置を示すデータとに応答して、凸状のN角形のメッシュを決定するようにプログラムされる。プロセッサ501は、入力装置503のユーザ操作により入れられる命令及びデータ(例えば、スピーカー507の位置を示すデータ)、並びに/又はプロセッサ501にその他の方法で提供される命令及びデータに応答して、本発明方法を実施するようにプログラムされる。プロセッサ501は、GUI又は他のユーザインターフェースを実施してもよく、ディスプレイ装置505上への関連パラメータ(例えば、メッシュ記述)の表示を生成することを含んでもよい。いくつかの実施形態において、プロセッサ501は、スピーカー507の位置を示す入れられたデータに応答して、N角形のメッシュと(スピーカー507の位置に対する)仮定されるリスナー位置とを決定してもよい。
いくつかの実施において、図12のシステムの処理サブシステム501及び/又はサブシステム506は、スピーカーフィード、及び/又はスピーカーフィードを示すデータ、及び/又は入力オーディオ(及び、スピーカー507の位置を示すデータ)に応じたスピーカーフィードを生成するために利得値を生成するように動作可能なオーディオデジタルシグナルプロセッサ(DSP)である。
コンピュータ可読記憶媒体504(例えば、光ディスク、又は他の有形オブジェクト)は、本発明方法の実施形態を実行するようにプロセッサ501をプログラムするのに適したコンピュータコードを記憶させている。動作において、プロセッサ501は、コンピュータコードを実行して本発明に従って入力オーディオを示すデータ(及び、スピーカー507の位置を示すデータ)を処理して、サブシステム506により採用すべき利得を示す出力データを生成してスピーカー507を駆動するためのスピーカーフィードを生成して、(入力オーディオにより示される)少なくとも1つのサウンドソースを、例えば、入力オーディオの中に含むメタデータにより示される軌跡に沿ったソースパンとして、イメージさせる。
本発明の態様には、本発明方法のいずれかの実施形態を実行するようにプログラムされたコンピュータシステムと、本発明方法のいずれかの実施形態を実施するためのコンピュータ可読コードを記憶したコンピュータ可読媒体とがある。
本発明の特定の実施形態及び本発明の応用が本明細書に記載されているが、本明細書に記載され請求される本発明の範囲を逸脱することなく、本明細書に記載された実施形態及び応用の多くの変形が可能であることは、当業者にとって明らかであろう。本発明の特定の形式が図示され記載されているが、本発明は、記載され図示された特定の実施形態、又は記載された特定の方法に限定されないことが理解されるべきである。
Kenneth Fallerらの“Acoustic Performance of an Installed Real‐Time Three‐Dimensional Audio System”、Proceedings of Meetings on Acoustics、ボリューム11、2010年には、ベクトルベースの振幅パンニングを用いたオーディオシステムの実行が記載されている。Akio Andoらの“Sound integrity based three‐dimensional panning”、Audio Engineering Society Convention Paper、2009年5月7‐10日、ドイツ、ミュンヘンには、ベクトルベースの振幅パンニングを用いたオーディオシステムが記載されている。Ville Pulkkiの“Spatial Sound Generation and Perception by Amplitude Panning Technologies”、Helsinki University of Technology、Department of Technical Physics、Dissertation、2001年1月1日には、ベクトルベースの振幅パンニングを用いたオーディオシステムが記載されている。
サウンドパンニングは、サウンドソースがラウドスピーカーのアレイによる再生のための軌跡に沿って移動することを示すオーディオレンダリングプロセスであり、通常のオーディオプログラムレンダリングの重要なコンポーネントである。一般的な場合、ラウドスピーカーは任意に位置づけることができる。ゆえに、ラウドスピーカーが広範なラウドスピーカー位置を有することができて、パンニングプロセスにおけるラウドスピーカー配置を正しく把握するやり方でサウンドパンニングを実施することが望ましい。理想的に、パンニングは、任意数の任意に位置づけられたスピーカーを含むいずれのラウドスピーカーアレイについてもラウドスピーカーの位置を正しく把握している。

Claims (30)

  1. 少なくとも1つのソースを示すオーディオプログラムをレンダリングする方法であって、一連のソース配置を含む軌跡に沿って前記ソースをスピーカーのアレイにパンさせるためのスピーカーフィードを生成することを含み、当該方法は、
    (a)メッシュを決定するステップであって、前記メッシュの面Fが凸状のN角形であり、前記N角形の頂点の位置がスピーカーの配置に対応し、iは範囲1≦i≦Mの中のインデックスであり、Mは2より大きい整数であり、前記面Fの各々は、N個の辺を有する凸状の多角形であり、Nは2より大きいいずれかの整数であり、Nは前記面のうち少なくとも1つについて3より大きい、ステップと、
    (b)前記メッシュの一連の面上へのソース配置の一連の投影を決定し、前記一連の面のうちの前記メッシュの各面の頂点の位置に配置が対応するスピーカーの各サブセットについて、一組の利得を決定するステップと、
    を含む、方法。
  2. ステップ(a)は、
    初期メッシュを決定するステップであって、前記初期メッシュの面が三角形面であり、該三角形面の頂点の位置がスピーカーの配置に対応する、ステップと、
    前記初期メッシュの三角形面のうち少なくとも2つを、非三角形の凸状のN角形である少なくとも1つの置換面で置換するステップであって、これにより前記メッシュを生成する、ステップと、
    を含む、請求項1に記載の方法。
  3. 前記メッシュの面は、少なくとも1つの三角形面と少なくとも1つの四角形面とを含む、請求項1に記載の方法。
  4. 前記メッシュの面は、少なくとも1つの三角形面と少なくとも1つの平面の四角形面とを含む、請求項1に記載の方法。
  5. スピーカーの前記各サブセットについてスピーカーフィードを生成するステップ、をさらに含み、スピーカーの前記サブセットについてステップ(b)において決定された利得を前記オーディオプログラムのオーディオサンプルに適用することを含む、請求項1に記載の方法。
  6. 少なくとも1つのソースを示すオーディオプログラムをレンダリングする方法であって、メッシュとして編成されると仮定されたスピーカーのアレイを用いて、一連のソース配置を含む軌跡に沿って前記ソースをパンすることを含み、前記メッシュの面Fが凸状のN角形であり、前記N角形の頂点の位置がスピーカーの配置に対応し、iは範囲1≦i≦Mの中のインデックスであり、Mは2より大きい整数であり、前記面Fの各々は、N個の辺を有する凸状の多角形であり、Nは2より大きいいずれかの整数であり、Nは前記面のうち少なくとも1つについて3より大きく、当該方法は、
    (a)ソース配置の各々について、前記メッシュ上へのソース配置の投影を含む前記メッシュの交差面を決定するステップであって、これにより各前記交差面について、交差面の頂点に位置が一致するスピーカーのサブセットを決定する、ステップと、
    (b)前記オーディオプログラムのオーディオサンプルに利得を適用することによりスピーカーフィードが生成され、かつスピーカーの前記サブセットが前記スピーカーフィードにより駆動されるとき、スピーカーの前記サブセットに対応するソース配置から出ていると知覚されるサウンドをスピーカーの前記サブセットが出すことになるように、スピーカーの各前記サブセットについて、前記利得を決定するステップと、
    を含む、方法。
  7. スピーカーの各前記サブセットについての一組のスピーカーフィードを生成するステップ、をさらに含み、スピーカーの前記サブセットについてステップ(b)において決定された利得を前記オーディオプログラムのオーディオサンプルに適用することを含む、請求項6に記載の方法。
  8. 前記メッシュの面の各々は凸状の平面の多角形であり、ステップ(b)は、
    ソース配置についての交差面の頂点に関して、ソース配置の各前記投影の一般化された重心座標を決定するステップ
    を含む、請求項6に記載の方法。
  9. スピーカーの各前記サブセットについてステップ(b)において決定される利得は、スピーカーの前記サブセットに対応する交差面の頂点に関する、ソース配置の投影の前記一般化された重心座標である、請求項8に記載の方法。
  10. 少なくとも1つのソースを示すオーディオプログラムをレンダリングする方法であって、メッシュとして編成されたスピーカーのアレイを用いて、一連のソース配置を含む軌跡に沿って前記ソースをパンすることを含み、前記メッシュの面は凸状のN角形であり、Nは面ごとに変動することができ、Nは前記メッシュの少なくとも1つの面について3より大きく、前記N角形の頂点の位置がスピーカーの配置に対応し、前記メッシュは仮定されるリスナー配置を囲み、当該方法は、
    (a)ソース配置の各々について、前記メッシュ上へのソース配置の投影を含む前記メッシュの交差面を決定するステップであって、これにより各前記交差面について、交差面の頂点に位置が一致するスピーカーのサブセットを決定する、ステップと、
    (b)スピーカーの各前記サブセットについて、利得を決定するステップと、
    (c)スピーカーの前記サブセットがスピーカーフィードにより駆動されるとき、スピーカーの前記サブセットに対応するソース配置から出ていると知覚されるサウンドをスピーカーの前記サブセットが出すことになるように、スピーカーの各前記サブセットについて、一組のスピーカーフィードを生成するステップであって、スピーカーの前記サブセットについてステップ(b)において決定された利得を前記オーディオプログラムのオーディオサンプルに適用することを含む、ステップと、
    を含む、方法。
  11. 前記メッシュの面の各々は凸状の平面の多角形であり、ステップ(b)は、
    ソース配置についての交差面の頂点に関して、ソース配置の各前記投影の一般化された重心座標を決定するステップ
    を含む、請求項10に記載の方法。
  12. スピーカーの各前記サブセットについてステップ(b)において決定される利得は、スピーカーの前記サブセットに対応する交差面の頂点に関する、ソース配置の投影の前記一般化された重心座標である、請求項11に記載の方法。
  13. 少なくとも1つのソースと該ソースについての軌跡とを示すオーディオプログラムをレンダリングするシステムであって、スピーカーのアレイを用いて前記軌跡に沿って前記ソースをパンするためのスピーカーフィードを生成することを含み、前記軌跡は一連のソース配置を含み、当該システムは、
    メッシュを決定するように構成された処理サブシステムであって、前記メッシュの面Fが凸状のN角形であり、前記N角形の頂点の位置がスピーカーの配置に対応し、iは範囲1≦i≦Mの中のインデックスであり、Mは2より大きい整数であり、前記面Fの各々は、N個の辺を有する凸状の多角形であり、Nは2より大きいいずれかの整数であり、Nは前記面のうち少なくとも1つについて3より大きく、前記処理サブシステムは、前記オーディオプログラムを示すデータを受信するように結合され、前記オーディオプログラムを示すデータに応答して前記メッシュの一連の面上へのソース配置の一連の投影を決定し、前記一連の面のうちの前記メッシュの各面の頂点の位置に配置が対応するスピーカーの各サブセットについて、一組の利得値を決定するように構成される、処理サブシステムと、
    前記オーディオプログラムを示すデータと前記利得値とに応答して前記スピーカーフィードを生成するように結合され、構成されたスピーカーフィード生成サブシステムと、
    を含む、システム。
  14. 前記処理サブシステムは、
    初期メッシュを決定し、前記初期メッシュの面が三角形面であり、該三角形面の頂点の位置がスピーカーの配置に対応し、
    前記初期メッシュの三角形面のうち少なくとも2つを、非三角形の凸状のN角形である少なくとも1つの置換面で置換し、これにより前記メッシュを生成する
    ように構成される、請求項13に記載のシステム。
  15. 前記メッシュの面は、少なくとも1つの三角形面と少なくとも1つの四角形面とを含む、請求項13に記載のシステム。
  16. 前記メッシュの面は、少なくとも1つの三角形面と少なくとも1つの平面の四角形面とを含む、請求項13に記載のシステム。
  17. 少なくとも前記処理サブシステムはオーディオデジタルシグナルプロセッサとして実施される、請求項13に記載のシステム。
  18. 前記処理サブシステムは、前記オーディオプログラムを示すデータに応答して前記利得値を生成するようにプログラムされた汎用目的プロセッサである、請求項13に記載のシステム。
  19. 少なくとも1つのソースを示すオーディオプログラムをレンダリングするシステムであって、一連のソース配置を含む軌跡に沿ってスピーカーのアレイに前記ソースをパンさせるためのスピーカーフィードを生成することを含み、スピーカーの前記アレイは、メッシュとして編成されると仮定され、前記メッシュの面Fが凸状のN角形であり、前記N角形の頂点の位置がスピーカーの配置に対応し、iは範囲1≦i≦Mの中のインデックスであり、Mは2より大きい整数であり、前記面Fの各々は、N個の辺を有する凸状の多角形であり、Nは2より大きいいずれかの整数であり、Nは前記面のうち少なくとも1つについて3より大きく、当該システムは、
    前記オーディオプログラムを示すデータを受信するように結合され、ソース配置の各々について、前記メッシュ上へのソース配置の投影を含む前記メッシュの交差面を決定し、これにより各前記交差面について、交差面の頂点に位置が一致するスピーカーのサブセットを決定するように構成された処理サブシステムであって、前記処理サブシステムは、スピーカーの各前記サブセットについての利得値を決定するようにさらに構成される、処理サブシステムと、
    前記利得値とソース配置の各々に対応する前記オーディオプログラムのオーディオサンプルを示すデータとを受信するように結合され、前記オーディオプログラムのオーディオサンプルを示すデータと前記利得値とに応答して前記スピーカーフィードを生成するように構成されたスピーカーフィード生成サブシステムであって、スピーカーの各前記サブセットについての利得値により決定される利得をソース配置の前記各々に対応する前記オーディオサンプルに適用することを含む、スピーカーフィード生成サブシステムと、
    を含む、システム。
  20. 前記メッシュの面の各々は凸状の平面の多角形であり、前記処理サブシステムは、ソース配置についての交差面の頂点に関して、ソース配置の各前記投影の一般化された重心座標を決定するように構成される、請求項19に記載のシステム。
  21. スピーカーの各前記サブセットについての利得値は、スピーカーの前記サブセットに対応する交差面の頂点に関する、ソース配置の投影の前記一般化された重心座標である、請求項20に記載のシステム。
  22. 前記メッシュの面は、少なくとも1つの三角形面と少なくとも1つの四角形面とを含む、請求項19に記載のシステム。
  23. 少なくとも前記処理サブシステムはオーディオデジタルシグナルプロセッサとして実施される、請求項19に記載のシステム。
  24. 前記処理サブシステムは、前記オーディオプログラムを示すデータに応答して前記利得値を生成するようにプログラムされた汎用目的プロセッサである、請求項19に記載のシステム。
  25. 少なくとも1つのソースを示すオーディオプログラムをレンダリングするシステムであって、一連のソース配置を含む軌跡に沿ってスピーカーのアレイに前記ソースをパンさせるためのスピーカーフィードを生成することを含み、スピーカーの前記アレイは、メッシュとして編成されると仮定され、前記メッシュの面が凸状のN角形であり、Nは面ごとに変動することができ、Nは前記メッシュの少なくとも1つの面について3より大きく、前記N角形の頂点の位置がスピーカーの配置に対応し、前記メッシュは仮定されるリスナー配置を囲み、当該システムは、
    前記オーディオプログラムを示すデータを受信するように結合され、ソース配置の各々について、前記メッシュ上へのソース配置の投影を含む前記メッシュの交差面を決定し、これにより各前記交差面について、交差面の頂点に位置が一致するスピーカーのサブセットを決定するように構成された処理サブシステムであって、前記処理サブシステムは、スピーカーの各前記サブセットについての利得値を決定するようにさらに構成される、処理サブシステムと、
    前記利得値とソース配置の各々に対応する前記オーディオプログラムのオーディオサンプルを示すデータとを受信するように結合され、前記オーディオプログラムのオーディオサンプルを示すデータと前記利得値とに応答して前記スピーカーフィードを生成するように構成されたスピーカーフィード生成サブシステムであって、スピーカーの各前記サブセットについての利得値により決定される利得をソース配置の前記各々に対応する前記オーディオサンプルに適用することを含む、スピーカーフィード生成サブシステムと、
    を含む、システム。
  26. 前記メッシュの面の各々は凸状の平面の多角形であり、前記処理サブシステムは、ソース配置についての交差面の頂点に関して、ソース配置の各前記投影の一般化された重心座標を決定するように構成される、請求項25に記載のシステム。
  27. スピーカーの各前記サブセットについての利得値は、スピーカーの前記サブセットに対応する交差面の頂点に関する、ソース配置の投影の前記一般化された重心座標である、請求項26に記載のシステム。
  28. 前記メッシュの面は、少なくとも1つの三角形面と少なくとも1つの四角形面とを含む、請求項25に記載のシステム。
  29. 少なくとも前記処理サブシステムはオーディオデジタルシグナルプロセッサとして実施される、請求項25に記載のシステム。
  30. 前記処理サブシステムは、前記オーディオプログラムを示すデータに応答して前記利得値を生成するようにプログラムされた汎用目的プロセッサである、請求項25に記載のシステム。
JP2016505498A 2013-03-28 2014-03-19 任意n角形のメッシュとして編成されたスピーカーを用いたオーディオレンダリング Active JP6082160B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361805977P 2013-03-28 2013-03-28
US61/805,977 2013-03-28
PCT/US2014/031239 WO2014160576A2 (en) 2013-03-28 2014-03-19 Rendering audio using speakers organized as a mesh of arbitrary n-gons

Publications (2)

Publication Number Publication Date
JP2016518049A true JP2016518049A (ja) 2016-06-20
JP6082160B2 JP6082160B2 (ja) 2017-02-15

Family

ID=50442752

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016505498A Active JP6082160B2 (ja) 2013-03-28 2014-03-19 任意n角形のメッシュとして編成されたスピーカーを用いたオーディオレンダリング

Country Status (5)

Country Link
US (1) US9756444B2 (ja)
EP (1) EP2979467B1 (ja)
JP (1) JP6082160B2 (ja)
CN (1) CN105103569B (ja)
WO (1) WO2014160576A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020505860A (ja) * 2017-01-27 2020-02-20 アウロ テクノロジーズ エンフェー. オーディオオブジェクトをパンする処理方法及び処理システム
WO2020246136A1 (ja) * 2019-06-05 2020-12-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102332968B1 (ko) * 2013-04-26 2021-12-01 소니그룹주식회사 음성 처리 장치, 정보 처리 방법, 및 기록 매체
PL3028474T3 (pl) 2013-07-30 2019-06-28 Dts, Inc. Dekoder matrycowy z panoramowaniem parami o stałej mocy
EP3444815B1 (en) 2013-11-27 2020-01-08 DTS, Inc. Multiplet-based matrix mixing for high-channel count multichannel audio
RU2666248C2 (ru) * 2014-05-13 2018-09-06 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство и способ для амплитудного панорамирования с затуханием фронтов
KR20160122029A (ko) * 2015-04-13 2016-10-21 삼성전자주식회사 스피커 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치
WO2016172111A1 (en) * 2015-04-20 2016-10-27 Dolby Laboratories Licensing Corporation Processing audio data to compensate for partial hearing loss or an adverse hearing environment
CN112562697A (zh) * 2015-06-24 2021-03-26 索尼公司 音频处理装置和方法以及计算机可读存储介质
HK1221372A2 (zh) * 2016-03-29 2017-05-26 萬維數碼有限公司 種獲得空間音頻定向向量的方法、裝置及設備
WO2018093193A1 (en) * 2016-11-17 2018-05-24 Samsung Electronics Co., Ltd. System and method for producing audio data to head mount display device
CN110998724B (zh) * 2017-08-01 2021-05-21 杜比实验室特许公司 基于位置元数据的音频对象分类
WO2019075135A1 (en) * 2017-10-10 2019-04-18 Google Llc JOINT LOCATION AND ACQUISITION OF BROADBAND SOURCE BASED ON GRID SHIFT APPROACH
CN107948880A (zh) * 2017-11-10 2018-04-20 佛山市天啊科技有限公司 一种应用于汽车的车载快装音响系统
WO2019149337A1 (en) 2018-01-30 2019-08-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatuses for converting an object position of an audio object, audio stream provider, audio content production system, audio playback apparatus, methods and computer programs
ES2913426T3 (es) * 2018-03-13 2022-06-02 Nokia Technologies Oy Reproducción de sonido espacial usando sistemas de altavoz de múltiples canales
US20210048976A1 (en) * 2018-04-24 2021-02-18 Sony Corporation Display control apparatus, display control method, and program
US11356791B2 (en) * 2018-12-27 2022-06-07 Gilberto Torres Ayala Vector audio panning and playback system
CN112153538B (zh) * 2020-09-24 2022-02-22 京东方科技集团股份有限公司 显示装置及其全景声实现方法、非易失性存储介质
WO2022179701A1 (en) * 2021-02-26 2022-09-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for rendering audio objects
WO2023131398A1 (en) * 2022-01-04 2023-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for implementing versatile audio object rendering

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010252220A (ja) * 2009-04-20 2010-11-04 Nippon Hoso Kyokai <Nhk> 3次元音響パンニング装置およびそのプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08272380A (ja) 1995-03-30 1996-10-18 Taimuuea:Kk 仮想3次元空間音響の再生方法および装置
US6072878A (en) 1997-09-24 2000-06-06 Sonic Solutions Multi-channel surround sound mastering and reproduction techniques that preserve spatial harmonics
EP1356707A2 (de) 2001-01-29 2003-10-29 Siemens Aktiengesellschaft Elektroakustische umwandlung von audiosignalen, insbesondere sprachsignalen
US7061483B2 (en) 2001-02-08 2006-06-13 California Institute Of Technology Methods for computing barycentric coordinates generalized to irregular n-gons and applications of the same
KR100522593B1 (ko) 2002-07-08 2005-10-19 삼성전자주식회사 다채널 입체음향 사운드 생성방법 및 장치
FI118247B (fi) 2003-02-26 2007-08-31 Fraunhofer Ges Forschung Menetelmä luonnollisen tai modifioidun tilavaikutelman aikaansaamiseksi monikanavakuuntelussa
JP2004266453A (ja) 2003-02-28 2004-09-24 Toshiba Corp ネットワークシステム、サーバ機器および通信方法
KR100608002B1 (ko) 2004-08-26 2006-08-02 삼성전자주식회사 가상 음향 재생 방법 및 그 장치
US20060247918A1 (en) 2005-04-29 2006-11-02 Microsoft Corporation Systems and methods for 3D audio programming and processing
US8626321B2 (en) * 2006-04-19 2014-01-07 Sontia Logic Limited Processing audio input signals
US8483395B2 (en) 2007-05-04 2013-07-09 Electronics And Telecommunications Research Institute Sound field reproduction apparatus and method for reproducing reflections
JP4530007B2 (ja) 2007-08-02 2010-08-25 ヤマハ株式会社 音場制御装置
US8391500B2 (en) 2008-10-17 2013-03-05 University Of Kentucky Research Foundation Method and system for creating three-dimensional spatial audio
KR101517592B1 (ko) * 2008-11-11 2015-05-04 삼성전자 주식회사 고분해능을 가진 화면음원 위치장치 및 재생방법
EP2205007B1 (en) 2008-12-30 2019-01-09 Dolby International AB Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction
WO2011054860A2 (en) 2009-11-04 2011-05-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for calculating driving coefficients for loudspeakers of a loudspeaker arrangement and apparatus and method for providing drive signals for loudspeakers of a loudspeaker arrangement based on an audio signal associated with a virtual source
KR101890229B1 (ko) 2010-03-26 2018-08-21 돌비 인터네셔널 에이비 오디오 재생을 위한 오디오 사운드필드 표현을 디코딩하는 방법 및 장치
US20120113224A1 (en) 2010-11-09 2012-05-10 Andy Nguyen Determining Loudspeaker Layout Using Visual Markers
JP5867672B2 (ja) 2011-03-30 2016-02-24 ヤマハ株式会社 音像定位制御装置
CN103493513B (zh) 2011-04-18 2015-09-09 杜比实验室特许公司 用于将音频上混以便产生3d音频的方法和系统
WO2012164444A1 (en) 2011-06-01 2012-12-06 Koninklijke Philips Electronics N.V. An audio system and method of operating therefor
EP2727381B1 (en) 2011-07-01 2022-01-26 Dolby Laboratories Licensing Corporation Apparatus and method for rendering audio objects
WO2013181272A2 (en) 2012-05-31 2013-12-05 Dts Llc Object-based audio system using vector base amplitude panning

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010252220A (ja) * 2009-04-20 2010-11-04 Nippon Hoso Kyokai <Nhk> 3次元音響パンニング装置およびそのプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN6016050185; Kenneth Faller II 他: 'Acoustic Performance of an Installed Real-Time Three-Dimensional Audio System' Proceedings of Meetings on Acoustics , 20100919, Acoustical Society of America *
JPN6016050186; Akio Ando 他: 'Sound Intensity-Based Three-Dimensional Panning' AES Convention 126 paper number 7675, 20090501, Audio Engineering Society *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020505860A (ja) * 2017-01-27 2020-02-20 アウロ テクノロジーズ エンフェー. オーディオオブジェクトをパンする処理方法及び処理システム
JP7140766B2 (ja) 2017-01-27 2022-09-21 アウロ テクノロジーズ エンフェー. オーディオオブジェクトをパンする処理方法及び処理システム
WO2020246136A1 (ja) * 2019-06-05 2020-12-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JP6082160B2 (ja) 2017-02-15
EP2979467A2 (en) 2016-02-03
CN105103569B (zh) 2017-05-24
WO2014160576A2 (en) 2014-10-02
EP2979467B1 (en) 2019-12-18
WO2014160576A3 (en) 2014-12-11
US20160044433A1 (en) 2016-02-11
US9756444B2 (en) 2017-09-05
CN105103569A (zh) 2015-11-25

Similar Documents

Publication Publication Date Title
JP6082160B2 (ja) 任意n角形のメッシュとして編成されたスピーカーを用いたオーディオレンダリング
JP7280916B2 (ja) 見かけのサイズをもつオーディオ・オブジェクトの任意のラウドスピーカー・レイアウトへのレンダリング
JP7367785B2 (ja) 音声処理装置および方法、並びにプログラム
JP6055576B2 (ja) 任意のスピーカー・レイアウトへのオーディオ・オブジェクトのパン
JP5740531B2 (ja) オブジェクトベースオーディオのアップミキシング
WO2020148120A2 (en) Processing audio signals
KR102507476B1 (ko) 헤드셋을 통한 공간 오디오 렌더링을 위한 룸 특성 수정 시스템 및 방법
JP5919201B2 (ja) 音声を定位知覚する技術
JP2018509864A (ja) ヘッドフォン仮想化のための残響生成
JP6022685B2 (ja) オーディオ再生装置及びその方法
US10382881B2 (en) Audio system and method
JP6513703B2 (ja) 辺フェージング振幅パンニングのための装置および方法
JP6550473B2 (ja) スピーカの配置位置提示装置
WO2021158273A1 (en) Augmented reality virtual audio source enhancement
US20200411020A1 (en) Spatial sound reproduction using multichannel loudspeaker systems
WO2020100670A1 (ja) 信号処理装置および方法、並びにプログラム
JP2020505860A (ja) オーディオオブジェクトをパンする処理方法及び処理システム
Bouillot et al. Rendering of Heterogeneous Spatial Audio Scenes
EP3002960A1 (en) System and method for generating surround sound
KR102119239B1 (ko) 바이노럴 스테레오 오디오 생성 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170119

R150 Certificate of patent or registration of utility model

Ref document number: 6082160

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250