JP2016511990A - 見かけのサイズをもつオーディオ・オブジェクトの任意のラウドスピーカー・レイアウトへのレンダリング - Google Patents

見かけのサイズをもつオーディオ・オブジェクトの任意のラウドスピーカー・レイアウトへのレンダリング Download PDF

Info

Publication number
JP2016511990A
JP2016511990A JP2015557240A JP2015557240A JP2016511990A JP 2016511990 A JP2016511990 A JP 2016511990A JP 2015557240 A JP2015557240 A JP 2015557240A JP 2015557240 A JP2015557240 A JP 2015557240A JP 2016511990 A JP2016511990 A JP 2016511990A
Authority
JP
Japan
Prior art keywords
audio object
virtual source
audio
data
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015557240A
Other languages
English (en)
Other versions
JP5897778B1 (ja
Inventor
ソレ，アントニオ マテオス
ソレ，アントニオ マテオス
アール ツインゴス，ニコラス
アール ツインゴス，ニコラス
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
ドルビー ラボラトリーズ ライセンシング コーポレイション
ドルビー・インターナショナル・アーベー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション, ドルビー ラボラトリーズ ライセンシング コーポレイション, ドルビー・インターナショナル・アーベー filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Application granted granted Critical
Publication of JP5897778B1 publication Critical patent/JP5897778B1/ja
Publication of JP2016511990A publication Critical patent/JP2016511990A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

オーディオ・オブジェクトが動くことができる体積について複数の仮想源位置が定義されてもよい。オーディオ・データをレンダリングするためのセットアップ・プロセスは、再生スピーカー位置データを受領して、該再生スピーカー位置データおよび各仮想源位置に従って各仮想源についての利得値を事前計算することに関わっていてもよい。利得値は、記憶され、再生環境のスピーカーのためにオーディオ再生データがレンダリングされる「ランタイム」の間に使われてもよい。ランタイムの間に、各オーディオ・オブジェクトについて、オーディオ・オブジェクト位置データおよびオーディオ・オブジェクト・サイズ・データによって定義される領域または体積内の仮想源位置からの寄与が計算されてもよい。少なくとも部分的には該計算された寄与に基づいて、再生環境の各出力チャネルについて一組の利得値が計算されてもよい。各出力チャネルは、再生環境の少なくとも一つの再生スピーカーに対応してもよい。

Description

関連出願への相互参照
本願は2013年3月28日に出願されたスペイン特許出願第P201330461号および2013年6月11日に出願された米国仮特許出願第61/833,581号の優先権を主張するものである。各出願の内容はここに参照によりその全体において組み込まれる。
技術分野
本開示は、オーディオ再生データのオーサリングおよびレンダリングに関する。特に、本開示は映画館サウンド再生システムのような再生環境のためのオーディオ再生データをオーサリングおよびレンダリングすることに関する。
1927年に映画に音声が導入されて以来、映画サウンドトラックの芸術的な意図を捉えてそれを映画館環境で再現するために使われる技術は着実に進歩を遂げてきた。1930年代にはディスク上の同期されたサウンドはフィルム上の可変領域サウンドに取って代わられ、それは1940年代にはさらに、劇場の音響の考察および改善されたスピーカー設計により改善された。それとともにマルチトラック録音および方向制御可能な再生（音を動かすために制御トーンを使う）の早期の導入があった。1950年代および1960年代には、フィルムの磁気ストライプにより劇場での多チャネル再生が可能になり、サラウンド・チャネル、高級なシアターでは５つのスクリーン・チャネルまでを導入した。
1970年代には、ドルビーは、ポストプロダクションおよびフィルム上の両方におけるノイズ削減を、３つのスクリーン・チャネルおよびモノのサラウンド・チャネルとの混合をエンコードおよび配布するコスト効率のよい手段とともに、導入した。映画館サウンドの品質は1980年代には、ドルビー・スペクトラル・レコーディング（SR: Spectral Recording）ノイズ削減およびTHXのような認証プログラムによってさらに改善された。ドルビーは1990年代に、離散的な左、中央および右スクリーン・チャネル、左および右のサラウンド・アレイおよび低域効果のためのサブウーファー・チャネルを与える５．１チャネル・フォーマットをもって映画館にデジタル・サウンドをもたらした。2010年に導入されたドルビー・サラウンド７．１は、既存の左および右サラウンド・チャネルを四つの「ゾーン」に分割することによって、サラウンド・チャネルの数を増やした。
チャネル数が増え、スピーカー・レイアウトが平面的な二次元（2D）アレイから高さを含む三次元（3D）アレイに遷移するにつれ、サウンドをオーサリングおよびレンダリングするタスクはますます複雑になる。改善された方法および装置が望ましいであろう。
V. Pulkki、Compensating Displacement of Amplitude-Panned Virtual Sources、Audio Engineering Society (AES) International Conference on Virtual, Synthetic and Entertainment Audio D. de Vries、Wave Field Synthesis、AES Monograph 1999
本開示に記載される主題のいくつかの側面は、いかなる特定の再生環境をも参照することなく生成されるオーディオ・オブジェクトを含むオーディオ再生データをレンダリングするためのツールにおいて実装されることができる。本稿での用法では、用語「オーディオ・オブジェクト」は、オーディオ信号および関連するメタデータのストリームを指してもよい。メタデータは、少なくともオーディオ・オブジェクトの位置および見かけのサイズを示してもよい。しかしながら、メタデータは、レンダリング制約条件データ、コンテンツ型データ（たとえばダイアログ、効果など）、利得データ、軌跡データなども示してもよい。いくつかのオーディオ・オブジェクトは静的であってもよく、一方、他のオーディオ・オブジェクトは時間変化するメタデータを有していてもよい：そのようなオーディオ・オブジェクトは、動いてもよく、サイズを変えてもよく、および／または時間とともに変化する他の属性を有していてもよい。
オーディオ・オブジェクトが再生環境においてモニタリングまたは再生されるとき、オーディオ・オブジェクトは、少なくとも位置およびサイズのメタデータに従ってレンダリングされてもよい。レンダリング・プロセスは、出力チャネルの集合の各チャネルについての一組のオーディオ・オブジェクト利得値を計算することに関わっていてもよい。各出力チャネルは、再生環境の一つまたは複数の再生スピーカーに対応していてもよい。
本稿に記載されるいくつかの実装は、何らかの特定のオーディオ・オブジェクトをレンダリングするのに先立って行なわれうる「セットアップ」プロセスに関わる。本稿で第一段またはステージ１とも称されることがあるこのセットアップ・プロセスは、オーディオ・オブジェクトが動くことができる体積内で複数の仮想源位置を定義することに関わっていてもよい。本稿での用法では、「仮想源位置」は、静的な点源の位置である。そのような実装によれば、セットアップ・プロセスは、再生スピーカー位置データを受領し、再生スピーカー位置データおよび仮想源位置に従って仮想源のそれぞれについて仮想源利得値を事前計算することに関わっていてもよい。本稿での用法では、「スピーカー位置データ」は、再生環境のスピーカーの一部または全部の位置を示す位置データを含んでいてもよい。位置データは、再生スピーカー位置の絶対座標、たとえばデカルト座標、球面座標などとして与えられてもよい。代替的または追加的に、位置データは、再生環境の音響的な「スイートスポット」のような他の再生環境位置に対する座標（たとえばデカルト座標または角座標）として与えられてもよい。
いくつかの実装では、仮想源利得値は、オーディオ再生データが再生環境のスピーカーのためにレンダリングされる「ランタイム」の間に、記憶され、使用されてもよい。ランタイムの間に、各オーディオ・オブジェクトについて、オーディオ・オブジェクト位置データおよびオーディオ・オブジェクト・サイズ・データによって定義される領域または体積内の仮想源位置からの寄与が計算されてもよい。仮想源位置からの寄与を計算するプロセスは、オーディオ・オブジェクトのサイズおよび位置によって定義されるオーディオ・オブジェクト領域または体積内にある仮想源位置についてセットアップ・プロセスの間に決定された複数の事前計算された仮想源利得値の重み付けされた平均を計算することに関わっていてもよい。再生環境の各出力チャネルについての一組のオーディオ・オブジェクト利得値が、少なくとも部分的には、計算された仮想源寄与に基づいて計算されてもよい。各出力チャネルは、再生環境の少なくとも一つの再生スピーカーに対応してもよい。
よって、本稿に記載されるいくつかの方法は、一つまたは複数のオーディオ・オブジェクトを含むオーディオ再生データを受領することに関わる。オーディオ・オブジェクトはオーディオ信号および関連するメタデータを含んでいてもよい。メタデータは、少なくとも、オーディオ・オブジェクト位置データおよびオーディオ・オブジェクト・サイズ・データを含んでいてもよい。これらの方法は、オーディオ・オブジェクト位置データおよびオーディオ・オブジェクト・サイズ・データによって定義されるオーディオ・オブジェクト領域または体積内の仮想源からの寄与を計算することに関わっていてもよい。これらの方法は、複数の出力チャネルのそれぞれについての一組のオーディオ・オブジェクト利得値を、少なくとも部分的には、計算された寄与に基づいて計算することに関わっていてもよい。たとえば、再生環境は映画館サウンド・システム環境であってもよい。
仮想源からの寄与を計算するプロセスは、オーディオ・オブジェクト領域または体積内の仮想源からの仮想源利得値の重み付けされた平均を計算することに関わっていてもよい。重み付けされた平均のための重みは、オーディオ・オブジェクトの位置、オーディオ・オブジェクトのサイズおよび／またはオーディオ・オブジェクト領域または体積内の各仮想源位置に依存してもよい。
これらの方法は、再生スピーカー位置データを含む再生環境データを受領することにも関わっていてもよい。これらの方法は、再生環境データに従って複数の仮想源位置を定義し、各仮想源位置について、前記複数の出力チャネルのそれぞれについての仮想源利得値を計算することにも関わっていてもよい。いくつかの実装では、仮想源位置のそれぞれは、再生環境内のある位置に対応していてもよい。しかしながら、いくつかの実装では、仮想源位置の少なくともいくつかは、再生環境の外の位置に対応していてもよい。
いくつかの実装では、仮想源位置はx、y、z軸に沿って一様に離間されていてもよい。しかしながら、いくつかの実装では、離間はすべての方向において同じでなくてもよい。たとえば、仮想源位置は、x軸およびy軸に沿っての第一の一様な離間と、z軸に沿っての第二の一様な離間を有していてもよい。前記複数の出力チャネルのそれぞれについての一組のオーディオ・オブジェクト利得値を計算するプロセスは、x、y、z軸に沿った仮想源からの寄与の独立した計算に関わっていてもよい。代替的な実装では、仮想源位置は非一様に離間されていてもよい。
いくつかの実装では、前記複数の出力チャネルのそれぞれについてのオーディオ・オブジェクト利得値を計算するプロセスは、位置xo,yo,zoにおいてレンダリングされるべきサイズ（s）のオーディオ・オブジェクトについての利得値（gl(xo,yo,zo;s)）を決定することに関わっていてもよい。たとえば、オーディオ・オブジェクト利得値（gl(xo,yo,zo;s)）は
Figure 2016511990
 と表わされてもよい。ここで、(xvs,yvs,zvs)は仮想源（virtual source）位置を表わし、gl(xvs,yvs,zvs)は仮想源位置xvs,yvs,zvsについてのチャネルlについての利得値を表わし、w(xvs,yvs,zvs;xo,yo,zo;s)は、少なくとも部分的には、オーディオ・オブジェクトの位置(xo,yo,zo)、オーディオ・オブジェクトのサイズ（s）および仮想源位置(xvs,yvs,zvs)に基づいて決定されるgl(xvs,yvs,zvs)についての一つまたは複数の重み関数を表わす。
いくつかのそのような実装によれば、gl(xvs,yvs,zvs)＝gl(xvs)gl(yvs)gl(zvs)であり、ここで、gl(xvs)、gl(yvs)およびgl(zvs)はx、yおよびzの独立な利得関数を表わす。いくつかのそのような実装では、重み関数は次のように因子分解されてもよい。
w(xvs,yvs,zvs;xo,yo,zo;s)＝wx(xvs;xo;s)wy(yvs;yo;s)wz(zvs;zo;s)
ここで、wx(xvs;xo;s)、wy(yvs;yo;s)およびwz(zvs;zo;s)はxvs、yvsおよびzvsの独立な重み関数を表わす。いくつかのそのような実装によれば、pはオーディオ・オブジェクト・サイズ（s）の関数であってもよい。
いくつかのそのような方法は、計算された仮想源利得値をメモリ・システムに記憶することに関わっていてもよい。オーディオ・オブジェクト領域または体積内の仮想源からの寄与を計算するプロセスは、メモリ・システムから、オーディオ・オブジェクト位置およびサイズに対応する計算された仮想源利得値を取り出し、計算された仮想源利得値の間を補間することに関わっていてもよい。計算された仮想源利得値の間を補間するプロセスは：オーディオ・オブジェクト位置の近くの複数の近隣の仮想源位置を決定し；前記近隣の仮想源位置のそれぞれについて計算された仮想源利得値を決定し；前記オーディオ・オブジェクト位置と前記近隣の仮想源位置のそれぞれとの間の複数の距離を決定し；前記複数の距離に従って、計算された仮想源利得値の間を補間することに関わっていてもよい。
いくつかの実装では、再生環境データは、再生環境境界データを含んでいてもよい。前記方法は、オーディオ・オブジェクト領域または体積が再生環境境界の外の外側領域または体積を含むことを判別し、少なくとも部分的には前記外側領域または体積に基づいてフェードアウト因子を適用することに関わっていてもよい。いくつかの方法は、オーディオ・オブジェクトがある再生環境境界から閾値距離以内であってもよいことを判別し、再生環境の向かい側の境界上の再生スピーカーにスピーカー・フィード信号を与えないことに関わっていてもよい。いくつかの実装では、オーディオ・オブジェクト領域または体積は、長方形、直方体、円、球、楕円および／または楕円体であってもよい。
いくつかの方法は、オーディオ再生データの少なくとも一部を脱相関することに関わっていてもよい。たとえば、それらの方法は、ある閾値を超えるオーディオ・オブジェクト・サイズをもつオーディオ・オブジェクトについてのオーディオ再生データを脱相関することに関わっていてもよい。
代替的な諸方法が本稿に記載される。いくつかのそのような方法は、再生スピーカー位置データおよび再生環境境界データを含む再生環境データを受領し、一つまたは複数のオーディオ・オブジェクトおよび関連したメタデータを含むオーディオ再生データを受領することに関わる。メタデータは、オーディオ・オブジェクト位置データおよびオーディオ・オブジェクト・サイズ・データを含んでいてもよい。これらの方法は、オーディオ・オブジェクト位置データおよびオーディオ・オブジェクト・サイズ・データによって定義されるオーディオ・オブジェクト領域または体積が再生環境境界の外の外側領域または体積を含むことを判別し、少なくとも部分的には前記外側領域または体積に基づいてフェードアウト因子を決定することに関わっていてもよい。それらの方法は、少なくとも部分的には前記関連したメタデータおよび前記フェードアウト因子に基づいて複数の出力チャネルのそれぞれについて一組の利得値を計算することに関わっていてもよい。各出力チャネルは、再生環境の少なくとも一つの再生スピーカーに対応していてもよい。
これらの方法は、オーディオ・オブジェクトがある再生環境境界から閾値距離以内であってもよいことを判別し、再生環境の向かい側の境界上の再生スピーカーにスピーカー・フィード信号を与えないことに関わっていてもよい。
これらの方法は、オーディオ・オブジェクト領域または体積内の仮想源からの寄与を計算することに関わっていてもよい。これらの方法は、再生環境データに従って複数の仮想源位置を定義し、該仮想源位置のそれぞれについて、複数の出力チャネルのそれぞれについての仮想源利得を計算することに関わっていてもよい。仮想源位置は、具体的な実装に依存して、一様に離間されていてもいなくてもよい。
いくつかの実装は、ソフトウェアが記憶されている一つまたは複数の非一時的媒体において具現されてもよい。ソフトウェアは、一つまたは複数のオーディオ・オブジェクトを含むオーディオ再生データを受領するために一つまたは複数の装置を制御するための命令を含んでいてもよい。オーディオ・オブジェクトは、オーディオ信号および関連したメタデータを含んでいてもよい。メタデータは、少なくとも、オーディオ・オブジェクト位置データおよびオーディオ・オブジェクト・サイズ・データを含んでいてもよい。ソフトウェアは、前記一つまたは複数のオーディオ・オブジェクトからのオーディオ・オブジェクトについて、オーディオ・オブジェクト位置データおよびオーディオ・オブジェクト・サイズ・データによって定義される領域または体積内の仮想源からの寄与を計算し、少なくとも部分的には計算された寄与に基づいて複数の出力チャネルのそれぞれについての一組のオーディオ・オブジェクト利得値を計算するための命令を含んでいてもよい。各出力チャネルは、再生環境の少なくとも一つの再生スピーカーに対応してもよい。
いくつかの実装では、仮想源からの寄与を計算するプロセスは、オーディオ・オブジェクト領域または体積内の仮想源からの仮想源利得値の重み付けされた平均を計算することに関わっていてもよい。重み付けされた平均のための重みは、オーディオ・オブジェクトの位置、オーディオ・オブジェクトのサイズおよび／またはオーディオ・オブジェクト領域または体積内の各仮想源位置に依存してもよい。
前記ソフトウェアは、再生スピーカー位置データを含む再生環境データを受領するための命令を含んでいてもよい。前記ソフトウェアは、再生環境データに従って複数の仮想源位置を定義し、各仮想源位置について、前記複数の出力チャネルのそれぞれについての仮想源利得値を計算するための命令を含んでいてもよい。仮想源位置のそれぞれは、再生環境内のある位置に対応していてもよい。いくつかの実装では、仮想源位置の少なくともいくつかは、再生環境の外の位置に対応していてもよい。
いくつかの実装によれば、仮想源位置は一様に離間されていてもよい。いくつかの実装では、仮想源位置は、x軸およびy軸に沿っての第一の一様な離間と、z軸に沿っての第二の一様な離間を有していてもよい。前記複数の出力チャネルのそれぞれについての一組のオーディオ・オブジェクト利得値を計算するプロセスは、x、y、z軸に沿った仮想源からの寄与の独立した計算に関わっていてもよい。
さまざまなデバイスおよび装置が本稿に記載される。いくつかのそのような装置は、インターフェース・システムおよび論理システムを含んでいてもよい。インターフェース・システムは、ネットワーク・インターフェースを含んでいてもよい。いくつかの実装では、前記装置は、メモリ・デバイスを含んでいてもよい。インターフェース・システムは、前記論理システムと前記メモリ・デバイスとの間のインターフェースを含んでいてもよい。
前記論理システムは、前記インターフェース・システムから、一つまたは複数のオーディオ・オブジェクトを含むオーディオ再生データを受領するよう適応されていてもよい。オーディオ・オブジェクトは、オーディオ信号および関連したメタデータを含んでいてもよい。メタデータは、少なくとも、オーディオ・オブジェクト位置データおよびオーディオ・オブジェクト・サイズ・データを含んでいてもよい。前記論理システムは、前記一つまたは複数のオーディオ・オブジェクトからのオーディオ・オブジェクトについて、オーディオ・オブジェクト位置データおよびオーディオ・オブジェクト・サイズ・データによって定義されるオーディオ・オブジェクト領域または体積内の仮想源からの寄与を計算するよう適応されていてもよい。前記論理システムは、少なくとも部分的には計算された寄与に基づいて複数の出力チャネルのそれぞれについての一組のオーディオ・オブジェクト利得値を計算するよう適応されていてもよい。各出力チャネルは、再生環境の少なくとも一つの再生スピーカーに対応してもよい。
仮想源からの寄与を計算するプロセスは、オーディオ・オブジェクト領域または体積内の仮想源からの仮想源利得値の重み付けされた平均を計算することに関わっていてもよい。重み付けされた平均のための重みは、オーディオ・オブジェクトの位置、オーディオ・オブジェクトのサイズおよび／またはオーディオ・オブジェクト領域または体積内の各仮想源位置に依存してもよい。前記論理システムは、前記インターフェース・システムから、再生スピーカー位置データを含む再生環境データを受領するよう適応されていてもよい。
前記論理システムは、再生環境データに従って複数の仮想源位置を定義し、各仮想源位置について、前記複数の出力チャネルのそれぞれについての仮想源利得値を計算するよう適応されていてもよい。仮想源位置のそれぞれは、再生環境内のある位置に対応していてもよい。しかしながら、いくつかの実装では、仮想源位置の少なくともいくつかは、再生環境の外の位置に対応していてもよい。具体的な実装に依存して、仮想源位置は一様に離間されていてもいなくてもよい。いくつかの実装では、仮想源位置は、x軸およびy軸に沿っての第一の一様な離間と、z軸に沿っての第二の一様な離間を有していてもよい。前記複数の出力チャネルのそれぞれについての一組のオーディオ・オブジェクト利得値を計算するプロセスは、x、y、z軸に沿った仮想源からの寄与の独立した計算に関わっていてもよい。
前記装置は、ユーザー・インターフェースを含んでいてもよい。前記論理システムは、前記ユーザー・インターフェースを介して、オーディオ・オブジェクト・サイズ・データのようなユーザー入力を受領するよう適応されていてもよい。何らかの実装では、前記論理システムは、入力オーディオ・オブジェクト・サイズ・データをスケーリングするよう適応されていてもよい。
本明細書に記載される主題の一つまたは複数の実装の詳細は、付属の図面および以下の説明において記載される。他の特徴、側面および利点が該説明、図面および請求項から明白となるであろう。以下の図面の相対的な寸法は縮尺通りに描かれていないことがあることを注意しておく。
ドルビー・サラウンド５．１配位をもつ再生環境の例を示す図である。 ドルビー・サラウンド７．１配位をもつ再生環境の例を示す図である。 浜崎２２．２サラウンド・サウンド配位をもつ再生環境の例を示す図である。 仮想再生環境におけるさまざまな高さにおけるスピーカー・ゾーンを描くグラフィカル・ユーザー・インターフェース（GUI）の例を示す図である。 別の再生環境の例を示す図である。 オーディオ処理方法の概観を与える流れ図である。 セットアップ・プロセスの例を与える流れ図である。 仮想源位置についての事前計算された利得値に従って受領されたオーディオ・オブジェクトについての利得値を計算するランタイム・プロセスの例を与える流れ図である。 再生環境に対する仮想源位置の例を示す図である。 再生環境に対する仮想源位置の代替例を示す図である。 種々の位置にあるオーディオ・オブジェクトに近距離場および遠距離場パン技法を適用する例を示す図である。 種々の位置にあるオーディオ・オブジェクトに近距離場および遠距離場パン技法を適用する例を示す図である。 種々の位置にあるオーディオ・オブジェクトに近距離場および遠距離場パン技法を適用する例を示す図である。 種々の位置にあるオーディオ・オブジェクトに近距離場および遠距離場パン技法を適用する例を示す図である。 1に等しい辺長をもつ正方形の各隅に一つのスピーカーをもつ再生環境の例を示す図である。 オーディオ・オブジェクト位置データおよびオーディオ・オブジェクト・サイズ・データによって定義される領域内の仮想源からの寄与の例を示す図である。 ＡおよびＢは、あるオーディオ・オブジェクトを再生環境内の二つの位置において示す図である。 少なくとも部分的には、オーディオ・オブジェクトの領域または体積のうちのどのくらいが再生環境の境界外に広がるかに基づいて、フェードアウト因子を決定する方法を概説する流れ図である。 オーサリングおよび／またはレンダリング装置のコンポーネントの例を与えるブロック図である。 Ａは、オーディオ・コンテンツ生成のために使用されうるいくつかのコンポーネントを表すブロック図であり、Ｂは再生環境におけるオーディオ再生のために使用されうるいくつかのコンポーネントを表すブロック図である。 さまざまな図面における同様の参照番号および符号は同様の要素を指示する。
以下の記述は、本開示のいくつかの斬新な側面およびこれら斬新な側面が実装されうるコンテキストの例を記述する目的のためのある種の実装に向けられる。しかしながら、本稿の教示はさまざまな異なる仕方で適用されることができる。たとえば、さまざまな実装が具体的な再生環境を使って記述されているが、本稿の教示は他の既知の再生環境および将来導入されうる再生環境に広く適用可能である。同様に、記載される実装はさまざまなオーサリングおよび／またはレンダリング・ツールにおいて実装されてもよく、それらは多様なハードウェア、ソフトウェア、ファームウェア等で実装されてもよい。したがって、本開示の教示は、図面に示されるおよび／または本稿で記述される実装に限定されることは意図されておらず、むしろ広い適用可能性をもつものである。
図１は、ドルビー・サラウンド５．１配位をもつ再生環境の例を示している。ドルビー・サラウンド５．１は1990年代に開発されたが、この配位はいまだ広く映画館サウンド・システム環境に配備されている。プロジェクター１０５は、たとえば映画のためのビデオ画像をスクリーン１５０に投影するよう構成されていてもよい。オーディオ再生データは、該ビデオ画像と同期され、サウンド・プロセッサ１１０によって処理されてもよい。電力増幅器１１５はスピーカー・フィード信号を再生環境１００のスピーカーに与えてもよい。
ドルビー・サラウンド５．１配位は、左サラウンド・アレイ１２０、右サラウンド・アレイ１２５を含み、そのそれぞれは単一チャネルによって集団駆動されるスピーカーの群を含む。ドルビー・サラウンド５．１配位は左スクリーン・チャネル１３０、中央スクリーン・チャネル１３５および右スクリーン・チャネル１４０についての別個のチャネルをも含む。サブウーファー１４５についての別個のチャネルが低域効果（LFE: low-frequency effects）のために提供される。
2010年に、ドルビーはドルビー・サラウンド７．１を導入することによってデジタル映画館サウンドに対する向上を提供した。図２は、ドルビー・サラウンド７．１配位をもつ再生環境の例を示している。デジタル・プロジェクター２０５はデジタル・ビデオ・データを受領し、ビデオ画像をスクリーン１５０上に投影するよう構成されていてもよい。オーディオ再生データは、サウンド・プロセッサ２１０によって処理されてもよい。電力増幅器２１５がスピーカー・フィード信号を再生環境２００のスピーカーに提供してもよい。
ドルビー・サラウンド７．１配位は、左側方サラウンド・アレイ２２０および右側方サラウンド・アレイ２２５を含み、そのそれぞれは単一チャネルによって駆動されてもよい。ドルビー・サラウンド５．１と同様に、ドルビー・サラウンド７．１配位は左スクリーン・チャネル２３０、中央スクリーン・チャネル２３５、右スクリーン・チャネル２４０およびサブウーファー２４５のための別個のチャネルを含む。しかしながら、ドルビー・サラウンド７．１は、ドルビー・サラウンド５．１の左および右のサラウンド・チャネルを四つのゾーンに分割することによって、サラウンド・チャネルの数を増している。すなわち、左側方サラウンド・アレイ２２０および右側方サラウンド・アレイ２２５に加えて、左後方サラウンド・スピーカー２２４および右後方サラウンド・スピーカー２２６のために別個のチャネルが含まれる。再生環境２００内のサラウンド・ゾーンの数を増すことは、音の定位を著しく改善できる。
より没入的な環境を生成しようとする努力において、いくつかの再生環境は、増加した数のチャネルによって駆動される増加した数のスピーカーをもって構成されることがある。さらに、いくつかの再生環境は、さまざまな高さに配備されるスピーカーを含むことがあり、そのような高さの一部は再生環境の座席領域より上方であることがある。
図３は、浜崎２２．２サラウンド・サウンド配位をもつ再生環境の例を示している。浜崎２２．２は日本のNHK放送技術研究所において、超高精細度テレビジョンのサラウンド・サウンド・コンポーネントとして開発された。浜崎２２．２は24個のスピーカー・チャネルを提供し、それらは三層に配置されたスピーカーを駆動するために使用されうる。再生環境３００の上スピーカー層３１０は9チャネルによって駆動されうる。中スピーカー層３２０は10チャネルによって駆動されうる。下スピーカー層３３０は5チャネルによって駆動されうるが、そのうち2チャネルはサブウーファー３４５ａおよび３４５ｂ用である。
よって、現在のトレンドは、より多くのスピーカーおよびより多くのチャネルを含めるだけでなく、異なる高さのスピーカーをも含めるものである。チャネルの数が増し、スピーカー・レイアウトが2Dアレイから3Dアレイに遷移するにつれて、サウンドを位置決めし、レンダリングするタスクはますます難しくなる。よって、本願の譲受人は、3Dオーディオ・サウンド・システムのための機能を高めるおよび／またはオーサリング複雑さを軽減するさまざまなツールおよび関係するユーザー・インターフェースを開発した。これらのツールのいくつかは、2012年4月20日に出願され、「向上した3Dオーディオ作成および表現のためのシステムおよびツール」と題する米国仮特許出願第61/636,102号（「作成および表現」出願）の図５Ａ〜図１９Ｄを参照して詳細に記述されている。同出願の内容はここに参照により組み込まれる。
図４Ａは、仮想再生環境におけるさまざまな高さにあるスピーカー・ゾーンを描くグラフィカル・ユーザー・インターフェース（GUI）の例を示している。GUI ４００はたとえば、論理システムからの命令、ユーザー入力装置から受領される信号などに従って、表示装置上に表示されてもよい。そのようないくつかの装置は図１０を参照して後述する。
仮想再生環境４０４のような仮想再生環境への言及に関する本稿での用法では、用語「スピーカー・ゾーン」は概括的に、実際の再生環境の再生スピーカーと一対一対応があってもなくてもよい論理的な構造体を指す。たとえば、「スピーカー・ゾーン位置」は、映画館再生環境の特定の再生スピーカー位置に対応してもしなくてもよい。その代わり、用語「スピーカー・ゾーン位置」は概括的に、仮想再生環境のゾーンを指してもよい。いくつかの実装では、仮想再生環境のスピーカー・ゾーンは、たとえば、二チャネル・ステレオ・ヘッドホンの組を使ってリアルタイムに仮想サラウンド・サウンド環境を生成するドルビー・ヘッドホン（商標）（時にモバイル・サラウンド（商標）と称される）のような仮想化技術の使用を通じて、仮想スピーカーに対応してもよい。GUI ４００には、第一の高さに七つのスピーカー・ゾーン４０２ａがあり、第二の高さに二つのスピーカー・ゾーン４０２ｂがあり、仮想再生環境４０４内のスピーカー・ゾーンは合計九つとなっている。この例では、スピーカー・ゾーン１〜３は仮想再生環境４０４の前方領域４０５にある。前方領域４０５はたとえば、映画館再生環境の、スクリーン１５０が位置する領域、家庭の、テレビジョン・スクリーンが位置する領域などに対応してもよい。
ここで、スピーカー・ゾーン４は概括的には左領域４１０のスピーカーに対応し、スピーカー・ゾーン５は仮想再生環境４０４の右領域４１５のスピーカーに対応する。スピーカー・ゾーン６は左後方領域４１２に対応し、スピーカー・ゾーン７は仮想再生環境４０４の右後方領域４１４に対応する。スピーカー・ゾーン８は上領域４２０ａのスピーカーに対応し、スピーカー・ゾーン９は上領域４２０ｂのスピーカーに対応し、これは図５Ｄおよび５Ｅに示される仮想天井５２０の領域のような仮想天井領域であってもよい。したがって、「作成および表現」出願でより詳細に述べたように、図４Ａに示されるスピーカー・ゾーン１〜９の位置は実際の再生環境の再生スピーカーの位置に対応してもしなくてもよい。さらに、他の実装はより多数またはより少数のスピーカー・ゾーンおよび／または高さを含んでいてもよい。
「作成および表現」出願に記載されるさまざまな実装において、GUI ４００のようなユーザー・インターフェースが、オーサリング・ツールおよび／またはレンダリング・ツールの一部として使用されてもよい。いくつかの実装では、オーサリング・ツールおよび／またはレンダリング・ツールは、一つまたは複数の非一時的な媒体上に記憶されるソフトウェアを介して実装されてもよい。オーサリング・ツールおよび／またはレンダリング・ツールは、（少なくとも部分的には）図１０を参照して後述する論理システムおよび他の装置のようなハードウェア、ファームウェアなどによって実装されてもよい。いくつかのオーサリング実装では、関連するオーサリング・ツールが関連するオーディオ・データについてのメタデータを生成するために使用されてもよい。メタデータは、たとえば、三次元空間におけるオーディオ・オブジェクトの位置および／または軌跡を示すデータ、スピーカー・ゾーン制約条件データなどを含んでいてもよい。メタデータは、実際の再生環境の特定のスピーカー・レイアウトに関してではなく、仮想再生環境４０４のスピーカー・ゾーン４０２に関して生成されてもよい。レンダリング・ツールは、オーディオ・データおよび関連するメタデータを受領してもよく、再生環境のためのオーディオ利得およびスピーカー・フィード信号を計算してもよい。そのようなオーディオ利得およびスピーカー・フィード信号は、振幅パン・プロセスに従って計算されてもよい。振幅パン・プロセスは、音が再生環境中の位置Pから来ているような知覚を創り出すことができるものである。たとえば、スピーカー・フィード信号は、次式
xi(t)＝gix(t) i＝1,…,N (式1)
に従って再生環境の再生スピーカー１ないしNに与えられてもよい。
式(1)において、xi(t)はスピーカーiに加えられるスピーカー・フィード信号を表し、giは対応するチャネルの利得因子を表し、x(t)はオーディオ信号を表し、tは時間を表す。利得因子はたとえばここに参照により組み込まれる非特許文献１のSection 2、pp.3-4に記載される振幅パン方法（amplitude panning methods）に従って決定されてもよい。いくつかの実装では、利得は周波数依存であってもよい。いくつかの実装では、x(t)をx(t−Δt)で置き換えることによって時間遅延が導入されてもよい。
いくつかのレンダリング実装では、スピーカー・ゾーン４０２を参照して生成されたオーディオ再生データは、ドルビー・サラウンド５．１配位、ドルビー・サラウンド７．１配位、浜崎２２．２配位または他の配位であってもよい幅広い範囲の再生環境のスピーカー位置にマッピングされうる。たとえば、図２を参照するに、レンダリング・ツールは、スピーカー・ゾーン４および５についてのオーディオ再生データを、ドルビー・サラウンド７．１配位をもつ再生環境の左側方サラウンド・アレイ２２０および右側方サラウンド・アレイ２２５にマッピングしてもよい。スピーカー・ゾーン１、２および３についてのオーディオ再生データは、それぞれ左スクリーン・チャネル２３０、右スクリーン・チャネル２４０および中央スクリーン・チャネル２３５にマッピングされてもよい。スピーカー・ゾーン６および７についてのオーディオ再生データは、左後方サラウンド・スピーカー２２４および右後方サラウンド・スピーカー２２６にマッピングされてもよい。
図４Ｂは、別の再生環境の例を示している。いくつかの実装では、レンダリング・ツールは、スピーカー・ゾーン１、２および３についてのオーディオ再生データを再生環境４５０の対応するスクリーン・スピーカー４５５にマッピングしてもよい。レンダリング・ツールは、スピーカー・ゾーン４および５についてのオーディオ再生データを、左側方サラウンド・アレイ４６０および右側方サラウンド・アレイ４６５にマッピングしてもよく、スピーカー・ゾーン８および９についてのオーディオ再生データを、左頭上スピーカー４７０ａおよび右頭上スピーカー４７０ｂにマッピングしてもよい。スピーカー・ゾーン６および７についてのオーディオ再生データは、左後方サラウンド・スピーカー４８０ａおよび右後方サラウンド・スピーカー４８０ｂにマッピングされてもよい。
いくつかのオーサリング実装では、オーサリング・ツールは、オーディオ・オブジェクトについてのメタデータを生成するために使われてもよい。本稿での用法では、用語「オーディオ・オブジェクト（audio object）」はオーディオ・データおよび関連するメタデータのストリームを指してもよい。メタデータは、オーディオ・オブジェクトの3D位置、オーディオ・オブジェクトの見かけのサイズ、レンダリング制約条件およびコンテンツ型（たとえばダイアログ、効果など）を指示してもよい。実装に依存して、メタデータは、利得データ、軌跡データなどの他の型のデータを含んでいてもよい。いくつかのオーディオ・オブジェクトは静的であってもよく、一方、他のオーディオ・オブジェクトは動いてもよい。オーディオ・オブジェクトの詳細は、所与の時点における三次元空間内でのオーディオ・オブジェクトの位置などを示しうる関連するメタデータに従ってオーサリングまたはレンダリングされてもよい。オーディオ・オブジェクトが再生環境においてモニタリングまたは再生されるとき、オーディオ・オブジェクトは、再生環境の再生スピーカー・レイアウトに従って、その位置およびサイズのメタデータに従ってレンダリングされうる。
図５Ａは、オーディオ処理方法の概観を与える流れ図である。より詳細な例は図５Ｂ以下を参照して後述する。これらの方法は、図示され本稿で記載されるよりも多数または少数のブロックを含んでいてもよく、必ずしも本稿に示される順序で実行されない。これらの方法は、少なくとも部分的には、図１０〜図１１に示され、後述されるような装置によって実行されてもよい。ソフトウェアは、本稿に記載される方法を実行するよう一つまたは複数の装置を制御するための命令を含んでいてもよい。
図５Ａに示される例では、方法５００は、ある特定の再生環境に対する仮想源位置についての仮想源利得値を決定するセットアップ・プロセスをもって始まる（ステップ５０５）。図６Ａは、再生環境に対する仮想源位置の例を示している。たとえば、ブロック５０５は、再生環境６００ａの再生スピーカー位置６２５に対する仮想源位置６０５の仮想源利得値を決定することに関わっていてもよい。仮想源位置６０５および再生スピーカー位置６２５は単に例である。図６Ａに示される例では、仮想源位置６０５はx、y、z軸に沿って一様に離間している。しかしながら、代替的な実装では、仮想源位置６０５は異なる仕方で離間されていてもよい。たとえば、いくつかの実装では、仮想源位置６０５はx軸およびy軸に沿っての第一の一様な離間およびz軸に沿って第二の一様な離間を有していてもよい。他の実装では、仮想源位置６０５は非一様に離間されていてもよい。
図６Ａに示される例では、再生環境６００ａおよび仮想源体積６０２ａは同一の広がりをもち、そのため仮想源位置６０５のそれぞれは再生環境６００ａ内の位置に対応する。しかしながら、代替的な実装では、再生環境６００と仮想源体積６０２は同一の広がりでなくてもよい。たとえば、仮想源位置６０５の少なくともいくつかが再生環境６００の外の位置に対応してもよい。
図６Ｂは、再生環境に対する仮想源位置の代替的な例を示している。この例では、仮想源体積６０２ｂは、再生環境６００ｂの外側に広がる。
図５Ａに戻ると、この例では、ブロック５０５のセットアップ・プロセスは、何らかの特定のオーディオ・オブジェクトをレンダリングする前に行なわれる。いくつかの実装では、ブロック５０５において決定された仮想源利得値は記憶システムに記憶されてもよい。記憶された仮想源利得値は、仮想源利得値の少なくともいくつかに従って受領されたオーディオ・オブジェクトについてのオーディオ・オブジェクト利得値を計算する「ランタイム」プロセスの間に使用されてもよい（ブロック５１０）。たとえば、ブロック５１０は、少なくとも部分的には、オーディオ・オブジェクト領域または体積内にある仮想源位置に対応する仮想源利得値に基づいてオーディオ・オブジェクト利得値を計算することに関わっていてもよい。
いくつかの実装では、方法５００は、オーディオ・データを脱相関することに関わる任意的なブロック５１５を含んでいてもよい。ブロック５１５は、ランタイム・プロセスの一部であってもよい。いくつかのそのような実装では、ブロック５１５は、周波数領域における畳み込みに関わっていてもよい。たとえば、ブロック５１５は、各スピーカー・フィード信号について有限インパルス応答（「FIR」）フィルタを適用することに関わっていてもよい。
いくつかの実装では、ブロック５１５のプロセスは、オーディオ・オブジェクト・サイズおよび／または作者の芸術的意図に依存して、実行されてもされなくてもよい。いくつかのそのような実装によれば、オーディオ・オブジェクト・サイズがあるサイズ閾値以上であるときには脱相関がオンにされるべきであり、オーディオ・オブジェクト・サイズが前記サイズ閾値未満であれば脱相関がオフにされるべきであることを（たとえば関連したメタデータに含まれる脱相関フラグを介して）示すことによって、オーサリング・ツールが、オーディオ・オブジェクト・サイズを脱相関とリンクさせてもよい。いくつかの実装では、脱相関は、サイズ閾値に関するユーザー入力および／または他の入力値に従って制御（たとえば増大、減少または無効化）されてもよい。
図５Ｂは、セットアップ・プロセスの例を与える流れ図である。よって、図５Ｂに示されるブロックはすべて、図５Ａのブロック５０５において実行されてもよいプロセスの例である。ここで、セットアップ・プロセスは、再生環境データの受領をもって始まる（ブロック５２０）。再生環境データは、再生スピーカー位置データを含んでいてもよい。再生環境データは、壁、天井などといった再生環境の境界を表わすデータを含んでいてもよい。再生環境が映画館である場合、再生環境データは映画スクリーン位置の指示をも含んでいてもよい。
再生環境データは、出力チャネルの、再生環境の再生スピーカーとの相関を示すデータをも含んでいてもよい。たとえば、再生環境は、図２に示され、上記したドルビー・サラウンド７．１配位を有していてもよい。よって、再生環境データは、Lssチャネルと左側方サラウンド・スピーカー２２０との間、Lrsチャネルと左後方サラウンド・スピーカー２２４との間などの相関を示すデータをも含んでいてもよい。
この例では、ブロック５２５は、再生環境データに従って仮想源位置６０５を定義することに関わる。仮想源位置６０５は仮想源体積内で定義されてもよい。いくつかの実装では、仮想源体積は、オーディオ・オブジェクトがその中で動くことのできる体積と対応していてもよい。図６Ａおよび６Ｂに示されるように、いくつかの実装では、仮想源体積６０２は再生環境６００の体積と同じ広がりであってもよいが、一方、他の実装では、仮想源位置６０５の少なくとも一部が再生環境６００の外の位置に対応していてもよい。
さらに、仮想源位置６０５は、具体的な実装に依存して、仮想源体積６０２内で一様に離間されていてもいなくてもよい。いくつかの実装では、仮想源位置６０５は、すべての方向において一様に離間されていてもよい。たとえば、仮想源位置６０５は、NxかけるNyかけるNzの仮想源位置６０５の長方形格子を形成してもよい。いくつかの実装では、Nの値は5ないし100の範囲であってもよい。Nの値は少なくとも部分的には、再生環境中の再生スピーカーの数に依存してもよい：各再生スピーカー位置の間に二つ以上の仮想源位置６０５を含めることが望ましいことがある。
他の実装では、仮想源位置６０５は、x軸およびy軸に沿った第一の一様な離間およびz軸に沿った第二の一様な離間を有していてもよい。仮想源位置６０５は、NxかけるNyかけるMzの仮想源位置６０５の長方形格子を形成してもよい。たとえば、いくつかの実装では、x軸またはy軸に沿ってよりも、z軸に沿ってより少数の仮想源位置６０５があってもよい。いくつかのそのような実装では、Nの値は10ないし100の範囲であってもよく、一方、Mの値は5ないし10の範囲であってもよい。
この例では、ブロック５３０は、仮想源位置６０５のそれぞれについて仮想源利得値を計算することに関わる。いくつかの実装では、ブロック５３０は、各仮想源位置６０５について、再生環境の複数の出力チャネルの各チャネルについて仮想源利得値を計算することに関わる。いくつかの実装では、ブロック５３０は、各仮想源位置６０５に位置される点源についての利得値を計算するために、ベクトル・ベースの振幅パン（VBAP: vector-based amplitude panning）アルゴリズム、対ごとのパン・アルゴリズム（pairwise panning algorithm）または同様のアルゴリズムを適用することに関わっていてもよい。他の実装では、ブロック５３０は、各仮想源位置６０５に位置される点源についての利得値を計算するために、分離可能なアルゴリズムを適用することに関わっていてもよい。本稿での用法では、「分離可能な」アルゴリズムは、所与のスピーカーの利得が、仮想源位置の各座標について別個に計算されうる二つ以上の因子の積として表現できるものである。例は、Pro Tools（商標）ソフトウェアおよびAMS Neveによって提供されるデジタル・フィルム・コンソールにおいて実装されるパンナーを含むがそれに限られないさまざまな既存のミキシング・コンソール・パンナーにおいて実装されるアルゴリズムを含む。いくつかの二次元の例を後に与える。
図６Ｃ〜６Ｆは、種々の位置におけるオーディオ・オブジェクトへの近距離場および遠距離場パン技法の適用の例を示している。まず図６Ｃを参照するに、オーディオ・オブジェクトは実質的に仮想再生環境４００ａの外である。したがって、一つまたは複数の遠距離場パン方法がこの例では適用される。いくつかの実装では、遠距離場パン方法は、当業者に既知のベクトル・ベースの振幅パン（VBAP: vector-based amplitude panning）の式に基づいていてもよい。たとえば、遠距離場パン方法は、ここに参照によって組み込まれる非特許文献１のp.4、Section 2.3に記載されるVBAPの式に基づいていてもよい。代替的な実装では、遠距離場および近距離場のオーディオ・オブジェクトをパンするために他の方法、たとえば対応する音響平面または球面波の合成に関わる方法が使用されてもよい。ここに参照によって組み込まれる非特許文献２が関連する方法を記述している。
ここで図６Ｄを参照するに、オーディオ・オブジェクト６１０は仮想再生環境４００ａの内部である。したがって、一つまたは複数の近距離場パン方法がこの例では適用される。いくつかのそのような近距離場パン方法は、仮想再生環境４００ａ内のオーディオ・オブジェクト６１０を囲むいくつかのスピーカー・ゾーンを使う。
図６Ｇは、1に等しい辺長をもつ正方形の各隅に一つのスピーカーをもつ再生環境の例を示している。この例では、x-y軸の原点(0,0)は左（L）スクリーン・スピーカー１３０と一致する。よって、右（R）スクリーン・スピーカー１４０は座標(1,0)をもち、左サラウンド（Ls）スピーカー１２０は座標(0,1)をもち、右サラウンド（Rs）スピーカー１２５は座標(1,1)をもつ。オーディオ・オブジェクト位置６１５(x,y)はLスピーカーよりx単位右、スクリーン１５０よりy単位のところである。この例では、四つのスピーカーのそれぞれは、x軸およびy軸に沿ってそれらの距離に比例する因子cos/sinを受領する。いくつかの実装によれば、利得は次のようにして計算されてもよい。
G_l(x)＝cos(pi/2*x) l＝L,Lsの場合
G_l(x)＝sin(pi/2*x) l＝R,Rsの場合
G_l(x)＝cos(pi/2*y) l＝L,Rの場合
G_l(x)＝sin(pi/2*y) l＝Ls,Rsの場合
。
全体的な利得は積：G_l(x,y)＝G_l(x)G_l(y)となる。一般に、これらの関数はすべてのスピーカーのすべての座標に依存する。しかしながら、G_l(x)は源のy位置に依存せず、G_l(y)はそのx位置に依存しない。簡単な計算を例解するために、オーディオ・オブジェクト位置６１５が(0,0)、つまりLスピーカーの位置であるとする。G_L(x)＝cos(0)＝1であり、G_L(y)＝cos(0)＝1である。全体的な利得は積G_L(x,y)＝G_L(x)G_L(y)＝1となる。同様の計算によりG_Ls＝G_Rs＝G_R＝0が得られる。
オーディオ・オブジェクトが仮想再生環境４００ａにはいるまたは仮想再生環境４００ａを出る際に異なるパン・モードの間でブレンドすることが望ましいことがある。たとえば、オーディオ・オブジェクト６１０が図６Ｃに示されるオーディオ・オブジェクト位置６１５から図６Ｄに示されるオーディオ・オブジェクト位置６１５にまたはその逆に動くとき、近距離場パン方法および遠距離場パン方法に従って計算された利得のブレンドが適用されてもよい。いくつかの実装では、対ごとのパン則（pair-wise panning law）（たとえばエネルギーを保存する正弦または冪乗則）が、近距離場パン方法および遠距離場パン方法に従って計算された利得の間でブレンドするために使われてもよい。代替的な実装では、ペアごとのパン則は、エネルギーを保存するのではなく、振幅を保存してもよい。よって、平方和が1に等しくなるのではなく、和が1に等しくなる。たとえば両方のパン方法を独立に使ってオーディオ信号を処理し、二つの結果として得られるオーディオ信号をクロスフェードするよう、結果的な処理された信号をブレンドすることも可能である。
ここで図５Ｂに戻ると、ブロック５３０において使われるアルゴリズムによらず、結果として得られる利得値は、ランタイム動作の間に使うために、メモリ・システムに記憶されてもよい（ブロック５３５）。
図５Ｃは、仮想源位置についての事前計算された利得値に従って、受領されたオーディオ・オブジェクトについての利得値を計算するランタイム・プロセスの例を与える流れ図である。図５Ｃに示されるブロックのすべては、図５Ａのブロック５１０において実行されてもよいプロセスの例である。
この例では、ランタイム・プロセスは、一つまたは複数のオーディオ・オブジェクトを含むオーディオ再生データの受領とともに始まる（ブロック５４０）オーディオ・オブジェクトはオーディオ信号と、この例では少なくともオーディオ・オブジェクト位置データおよびオーディオ・オブジェクト・サイズ・データを含む関連するメタデータとを含む。図６Ａを参照するに、たとえば、オーディオ・オブジェクト６１０は、少なくとも部分的には、オーディオ・オブジェクト位置６１５およびオーディオ・オブジェクト体積６２０ａによって定義される。この例では、受領されるオーディオ・オブジェクト・サイズ・データは、オーディオ・オブジェクト体積６２０ａが直方体の体積に対応することを示す。しかしながら、図６Ｂに示される例では、受領されるオーディオ・オブジェクト・サイズ・データはオーディオ・オブジェクト体積６２０ｂが球の体積に対応することを示す。これらのサイズおよび形状は単に例である。代替的な実装では、オーディオ・オブジェクトは多様な他のサイズおよび／または形状を有していてもよい。いくつかの代替的な例では、オーディオ・オブジェクトの領域または体積は、長方形、円、楕円、楕円体または球扇形であってもよい。
この実装では、ブロック５４５は、オーディオ・オブジェクト位置データおよびオーディオ・オブジェクト・サイズ・データによって定義される領域または体積内の仮想源からの寄与を計算することに関わる。図６Ａおよび６Ｂに示される例では、ブロック５４５は、オーディオ・オブジェクト体積６２０ａまたはオーディオ・オブジェクト体積６２０ｂ内である仮想源位置６０５における仮想源からの寄与を計算することに関わっていてもよい。オーディオ・オブジェクトのメタデータが時間的に変化する場合、ブロック５４５は新たなメタデータ値に従って再び実行されてもよい。たとえば、オーディオ・オブジェクト・サイズおよび／またはオーディオ・オブジェクト位置が変化する場合、異なる仮想源位置６０５がオーディオ・オブジェクト体積６２０内にはいることがあり、および／または以前の計算において使われた仮想オブジェクト位置６０５がオーディオ・オブジェクト位置６１５から異なる距離であることがある。ブロック５４５では、新たなオブジェクト・サイズおよび／または位置に従って対応する仮想源寄与が計算される。
いくつかの例では、ブロック５４５は、メモリ・システムから、オーディオ・オブジェクト位置およびサイズに対応する仮想源位置についての計算された仮想源利得値を取り出し、計算された仮想源利得値の間を補間することに関わっていてもよい。計算された仮想源利得値の間を補間するプロセスは、オーディオ・オブジェクト位置の近くの複数の近隣の仮想源位置を決定し、前記近隣の仮想源位置のそれぞれについて、計算された仮想源利得値を決定し、前記オーディオ・オブジェクト位置と前記近隣の仮想源位置のそれぞれとの間の複数の距離を決定し、前記複数の距離に従って、計算された仮想源利得値の間を補間することに関わっていてもよい。
仮想源からの寄与を計算するプロセスは、オーディオ・オブジェクトのサイズによって定義される領域または体積内の仮想源位置について、計算された仮想源利得値の重み付けされた平均を計算することに関わっていてもよい。重み付けされた平均のための重みはたとえば、オーディオ・オブジェクトの位置、オーディオ・オブジェクトのサイズおよび前記領域または体積内の各仮想源位置に依存してもよい。
図７は、オーディオ・オブジェクト位置データおよびオーディオ・オブジェクト・サイズ・データによって定義された領域内の仮想源からの寄与の例を示している。図７は、オーディオ環境２００ａの、z軸に垂直に取った断面を描いている。よって、図７は、z軸に沿ってオーディオ環境２００ａを見下ろす観察者の視点から描かれている。この例では、オーディオ環境２００ａは、図２に示され、上記したドルビー・サラウンド７．１配位を有する映画館サウンド・システム環境である。よって、再生環境２００ａは、左側方サラウンド・スピーカー２２０、左後方サラウンド・スピーカー２２４、右側方サラウンド・スピーカー２２５、右後方サラウンド・スピーカー２２６、左スクリーン・チャネル２３０、中央スクリーン・チャネル２３５、右スクリーン・チャネル２４０およびサブウーファー２４５を含む。
オーディオ・オブジェクト６１０は、オーディオ・オブジェクト体積６２０ｂによって示されるサイズをもつ。該体積の長方形の断面領域が図７に示されている。図７に描かれる時点でのオーディオ・オブジェクト位置６１５を与えられると、xy平面においてオーディオ・オブジェクト体積６２０ｂによって包含される領域には12個の仮想源位置６０５が含まれる。z方向におけるオーディオ・オブジェクト体積６２０ｂの広がりおよびz軸に沿った仮想源位置６０５の間隔に依存して、追加的な仮想源位置６０５がオーディオ・オブジェクト体積６２０ｂ内に包含されてもされなくてもよい。
図７は、オーディオ・オブジェクト６１０のサイズによって定義される領域または体積内の仮想源位置６０５からの寄与を示している。この例では、仮想源位置６０５のそれぞれを描くために使われる円の直径が、対応する仮想源位置６０５からの寄与と対応する。オーディオ・オブジェクト位置６１５に最も近い諸仮想源位置６０５ａが最も大きく示されており、対応する仮想源からの最大の寄与を示している。二番目に大きい寄与は、オーディオ・オブジェクト位置６１５に二番目に近い仮想源位置６０５ｂにある仮想源からのものである。オーディオ・オブジェクト位置６１５からさらに遠いがそれでもオーディオ・オブジェクト体積６２０ｂ内にある仮想源位置６０５ｃによって、より小さな寄与がなされる。オーディオ・オブジェクト体積６２０ｂの外にある仮想源位置６０５ｄは最も小さく示されている。そのことは、この例では、対応する仮想源が寄与をしないことを示す。
図５Ｃを参照するに、この例では、ブロック５５０は、少なくとも部分的には計算された寄与に基づいて、複数の出力チャネルのそれぞれについての一組のオーディオ・オブジェクト利得値を計算することに関わる。各出力チャネルは、再生環境の少なくとも一つの再生スピーカーに対応してもよい。ブロック５５０は、結果として得られるオーディオ・オブジェクト利得値を規格化することに関わっていてもよい。図７に示される実装のためには、たとえば、各出力チャネルは単一のスピーカーまたはスピーカーの群に対応してもよい。
前記複数の出力チャネルのそれぞれについてオーディオ・オブジェクト利得値を計算するプロセスは、位置xo,yo,zoにおいてレンダリングされるサイズ（s）のオーディオ・オブジェクトについて利得値（gl size(xo,yo,zo;s)）を決定することに関わっていてもよい。このオーディオ・オブジェクト利得値は本稿では時に「オーディオ・オブジェクト・サイズ寄与」と称されることがある。いくつかの実装によれば、オーディオ・オブジェクト利得値（gl size(xo,yo,zo;s)）は次式のように表現されてもよい。
Figure 2016511990
 式(2)において、(xvs,yvs,zvs)は仮想源位置を表わし、gl(xvs,yvs,zvs)は仮想源位置xvs,yvs,zvsについてのチャネルlについての利得値を表わし、w(xvs,yvs,zvs;xo,yo,zo;s)は、少なくとも部分的には、オーディオ・オブジェクトの位置(xo,yo,zo)、オーディオ・オブジェクトのサイズ（s）および仮想源位置(xvs,yvs,zvs)に基づいて決定されるgl(xvs,yvs,zvs)についての重みを表わす。
いくつかの例では、指数pは1から10までの間の値を有していてもよい。いくつかの実装では、pはオーディオ・オブジェクト・サイズsの関数であってもよい。たとえば、sが相対的により大きい場合、いくつかの実装では、pは相対的により小さくなってもよい。いくつかのそのような実装によれば、pは次のように決定されてもよい。
p＝6 s≦0.5の場合
p＝6＋(−4)(s−0.5)/(smax−0.5) s＞0.5の場合
ここで、smaxは内部的なスケールアップされたサイズsinternal（後述）の最大値に対応し、オーディオ・オブジェクト・サイズs＝1は、再生環境の境界の一つの長さに等しい（たとえば、再生環境の一つの壁面の長さに等しい）サイズ（たとえば直径）をもつオーディオ・オブジェクトと対応していてもよい。
部分的には仮想源利得値を計算するために使われるアルゴリズム（単数または複数）に依存して、仮想源位置がある軸に沿って一様に分布している場合および重み関数および利得関数がたとえば上記のように分離可能である場合、式(2)を単純化することが可能であることがある。これらの条件が満たされる場合には、gl(xvs,yvs,zvs)はglx(xvs)gly(yvs)glz(zvs)と表現されてもよい。ここで、glx(xvs)、gly(yvs)およびglz(zvs)は仮想源の位置についてのx、yおよびz座標の独立な利得関数を表わす。
同様に、w(xvs,yvs,zvs;xo,yo,zo;s)はwx(xvs;xo;s)wy(yvs;yo;s)wz(zvs;zo;s)と因子分解されてもよい。ここで、wx(xvs;xo;s)、wy(yvs;yo;s)およびwz(zvs;zo;s)は仮想源の位置についてのx、yおよびz座標の独立な重み関数を表わす。一つのそのような例が図７に示されている。この例では、wx(xvs;xo;s)と表わされる重み関数７１０は、wy(yvs;yo;s)と表わされる重み関数７２０から独立に計算されてもよい。いくつかの実装では、重み関数７１０および７２０はガウス関数であってもよく、一方、重み関数wz(zvs;zo;s)は余弦とガウス関数の積であってもよい。
w(xvs,yvs,zvs;xo,yo,zo;s)がwx(xvs;xo;s)wy(yvs;yo;s)wz(zvs;zo;s)と因子分解できるとき、式(2)は次のように単純化される。
Figure 2016511990
 これらの関数fは、仮想源に関して必要とされる情報すべてを含んでいてもよい。可能なオブジェクト位置が各軸に沿って離散化されている場合には、各関数fを行列として表現できる。各関数fは、ブロック５０５のセットアップ・プロセス（図５Ａ参照）の間に事前計算されて、たとえば行列またはルックアップテーブルとしてメモリ・システムに記憶されてもよい。ランタイム（ブロック５１０）には、ルックアップテーブルまたは行列がメモリ・システムから取り出されてもよい。ランタイム・プロセスは、オーディオ・オブジェクトの位置およびサイズを与えられて、これらの行列の最も近い対応する値の間で補間することに関わっていてもよい。いくつかの実装では、補間は線形であってもよい。
いくつかの実装では、オーディオ・オブジェクト・サイズ寄与gl sizeは、オーディオ・オブジェクト位置についての「オーディオ・オブジェクト・ニア利得（neargain）」と組み合わされてもよい。本稿での用法では、「オーディオ・オブジェクト・ニア利得」は、オーディオ・オブジェクト位置６１５に基づく計算された利得である。利得計算は、仮想源利得値のそれぞれを計算するために使われた同じアルゴリズムを使ってなされてもよい。いくつかのそのような実装によれば、オーディオ・オブジェクト・サイズ寄与とオーディオ・オブジェクト・ニア利得結果との間で、たとえばオーディオ・オブジェクト・サイズの関数として、クロスフェード計算が実行されてもよい。そのような実装は、オーディオ・オブジェクトのなめらかなパンおよびなめらかな成長を提供してもよく、最小および最大のオーディオ・オブジェクト・サイズの間でなめらかな遷移を許容しうる。あるそのような実装では、次のようになる。
Figure 2016511990
 ここで、チルダ付きのgl sizeは前に計算されたgl sizeの規格化されたバージョンを表わす。いくつかのそのような実装では、sxfade＝0.2である。しかしながら、代替的な実装では、sxfadeは他の値を有していてもよい。
いくつかの実装によれば、オーディオ・オブジェクト・サイズ値は、その可能な値の範囲の過半な部分（the larger portion）においてスケールアップされてもよい。いくつかのオーサリング実装では、たとえば、ユーザーはオーディオ・オブジェクト・サイズ値suser∈[0,1]を呈されてもよく、これはアルゴリズムによって使用される実際のサイズに、より大きな範囲に、たとえば範囲[0,smax]にマッピングされる。ここで、smax＞1である。このマッピングは、ユーザーによってサイズが最大に設定されるときに、利得が真にオブジェクトの位置とは独立になることを保証しうる。いくつかのそのような実装によれば、そのようなマッピングは、点の諸対（suser,sinternal）を接続する区分線形関数に従ってなされてもよい。ここで、suserはユーザー選択されたオーディオ・オブジェクト・サイズを表わし、sinternalは、アルゴリズムによって決定される対応するオーディオ・オブジェクト・サイズを表わす。いくつかのそのような実装によれば、マッピングは、点の諸対(0,0),(0.2,0.3),(0.5,0.9),(0.75,1.5)および(1,smax)を接続する区分線形関数に従ってなされてもよい。一つのそのような実装では、smax＝2.8である。
図８のＡおよびＢは、オーディオ・オブジェクトを、再生環境内の二つの位置において示している。これらの例では、オーディオ・オブジェクト体積６２０ｂは、再生環境２００ａの長さまたは幅の半分未満の半径をもつ球である。再生環境２００ａは、ドルビー７．１に従って構成されている。図８のＡに描かれる時点では、オーディオ・オブジェクト位置６１５は、再生環境２００ａの中央に対して相対的により近い。図８のＢに描かれる時点では、オーディオ・オブジェクト位置６１５は、再生環境２００ａの境界近くに動いている。この例では、境界は映画館の左の壁であり、左側方サラウンド・スピーカー２２０の位置と一致する。
審美的な理由のため、再生環境の境界に近づきつつあるオーディオ・オブジェクトについてのオーディオ・オブジェクト利得計算を修正することが望ましいことがありうる。図８のＡおよびＢではたとえば、オーディオ・オブジェクト位置６１５が再生環境の左の境界８０５からある閾値距離以内であるときは、再生環境の反対側の境界にあるスピーカー（ここでは、右側方サラウンド・スピーカー２２５）にはスピーカー・フィード信号が与えられない。図８Ｂに示した例では、オーディオ・オブジェクト位置６１５が再生環境の左の境界８０５からある閾値距離（これは異なる閾値距離であってもよい）以内であるときは、オーディオ・オブジェクト位置６１５がさらにスクリーンからある閾値距離より遠ければ、左スクリーン・チャネル２３０、中央スクリーン・チャネル２３５、右スクリーン・チャネル２４０またはサブウーファー２４５にはスピーカー・フィード信号が与えられない。
図８のＢに示したこの例では、オーディオ・オブジェクト体積６２０ｂは左の境界８０５の外の領域または体積を含む。いくつかの実装によれば、利得計算のためのフェードアウト因子は、少なくとも部分的には、左境界８０５のうちのどのくらいがオーディオ・オブジェクト体積６２０ｂ内にあるかおよび／またはオーディオ・オブジェクトの領域または体積のうちどのくらいがそのような境界の外に広がっているかに基づいていてもよい。
図９は、少なくとも部分的には、オーディオ・オブジェクトの領域または体積のうちどのくらいが再生環境の境界の外に広がっているかに基づいて、フェードアウト因子を決定する方法を概説する流れ図である。ブロック９０５では、再生環境データが受領される。この例では、再生環境データは、再生スピーカー位置データおよび再生環境境界データを含む。ブロック９１０は、一つまたは複数のオーディオ・オブジェクトおよび関連するメタデータを含むオーディオ再生データを受領することに関わる。メタデータは、この例では、少なくともオーディオ・オブジェクト位置データおよびオーディオ・オブジェクト・サイズ・データを含む。
この実装では、ブロック９１５は、オーディオ・オブジェクト位置データおよびオーディオ・オブジェクト・サイズ・データによって定義されるオーディオ・オブジェクト領域または体積が再生環境境界の外の外側領域または体積を含むことを判別することに関わる。ブロック９１５は、オーディオ・オブジェクト領域または体積のどのくらいの割合が再生環境境界の外にあるかを決定することにも関わっていてもよい。
ブロック９２０では、フェードアウト因子が決定される。この例では、フェードアウト因子は、少なくとも部分的には前記外側領域に基づいていてもよい。たとえば、フェードアウト因子は前記外側領域に比例してもよい。
ブロック９２５では、少なくとも部分的には前記関連したメタデータ（この例ではオーディオ・オブジェクト位置データおよびオーディオ・オブジェクト・サイズ・データ）および前記フェードアウト因子に基づいて複数の出力チャネルのそれぞれについて一組のオーディオ・オブジェクト利得値が計算されてもよい。各出力チャネルは、再生環境の少なくとも一つの再生スピーカーに対応していてもよい。
いくつかの実装では、オーディオ・オブジェクト利得計算は、オーディオ・オブジェクト領域または体積内の仮想源からの寄与を計算することに関わっていてもよい。仮想源は、再生環境データを参照して定義されうる複数の仮想源位置と対応してもよい。仮想源位置は一様に離間していてもいなくてもよい。仮想源位置のそれぞれについて、前記複数の出力チャネルのそれぞれについて仮想源利得値が計算されてもよい。上記のように、いくつかの実装では、これらの仮想源利得値は、セットアップ・プロセスの間に計算され、記憶され、ランタイム動作の間に使うために取り出されてもよい。
いくつかの実装では、フェードアウト因子（fade-out factor）は、再生環境内の諸仮想源位置に対応するすべての仮想源利得値に適用されてもよい。いくつかの実装では、gl sizeは次のように修正されてもよい。
Figure 2016511990
 ここで、dboundはオーディオ・オブジェクト位置と再生環境の境界（boundary）との間の最小距離を表わし、gl boundは境界に沿った諸仮想源の寄与を表わす。たとえば、図８のＢを参照するに、gl boundは、オーディオ・オブジェクト体積６２０ｂ内であり境界８０５に隣接する諸仮想源の寄与を表わしてもよい。この例では、図６Ａの例のように、再生環境の外に位置される仮想源はない。
代替的な実装では、gl sizeは次のように修正されてもよい。
Figure 2016511990
 ここで、gl outsideは再生環境の外に位置するがオーディオ・オブジェクト領域または体積内である諸仮想源に基づく諸オーディオ・オブジェクト利得を表わす。たとえば、図８のＢを参照するに、gl outsideはオーディオ・オブジェクト体積６２０ｂ内であり境界８０５の外である諸仮想源の寄与を表わしてもよい。この例では、図６Ｂの例と同様に、再生環境の内部および外部両方に仮想源がある。
図１０は、オーサリングおよび／またはレンダリング装置のコンポーネントの例を与えるブロック図である。この例では、装置１０００はインターフェース・システム１００５を含む。インターフェース・システム１００５は、無線ネットワーク・インターフェースのようなネットワーク・インターフェースを含んでいてもよい。代替的または追加的に、インターフェース・システム１００５はユニバーサル・シリアル・バス（USB）インターフェースまたは他のそのようなインターフェースを含んでいてもよい。
装置１０００は論理システム１０１０を含む。論理システム１０１０は、汎用の単一チップまたは複数チップ・プロセッサのようなプロセッサを含んでいてもよい。論理システム１０１０は、デジタル信号プロセッサ（DSP）、特定用途向け集積回路（ASIC）、フィールド・プログラマブル・ゲート・アレイ（FPGA）または他のプログラム可能型論理デバイス、離散的なゲートもしくはトランジスタ論理または離散的なハードウェア・コンポーネントまたはそれらの組み合わせを含んでいてもよい。論理システム１０１０は、装置１０００の他のコンポーネントを制御するよう構成されていてもよい。装置１０００のコンポーネントの間のインターフェースは図１０には示されていないが、論理システム１０１０は、他のコンポーネントとの通信のためのインターフェースをもつよう構成されていてもよい。他のコンポーネントは、適宜、互いとの通信のために構成されていてもいなくてもよい。
論理システム１０１０は、本稿に記載される型のオーディオ・オーサリングおよび／またはレンダリング機能を含むがこれに限られないオーディオ・オーサリングおよび／またはレンダリング機能を実行するよう構成されていてもよい。いくつかのそのような実装では、論理システム１０１０は、（少なくとも部分的には）一つまたは複数の非一時的媒体に記憶されたソフトウェアに従って動作するよう構成されていてもよい。非一時的媒体は、ランダム・アクセス・メモリ（RAM）および／または読み出し専用メモリ（ROM）のような、論理システム１０１０に付随するメモリを含んでいてもよい。非一時的媒体は、メモリ・システム１０１５のメモリを含んでいてもよい。メモリ・システム１０１５は、フラッシュメモリ、ハードドライブなどの、一つまたは複数の好適な型の非一時的な記憶媒体を含んでいてもよい。
表示システム１０３０は、装置１０００の具現に依存して、一つまたは複数の好適な型のディスプレイを含んでいてもよい。たとえば、表示システム１０３０は液晶ディスプレイ、プラズマ・ディスプレイ、双安定ディスプレイなどを含んでいてもよい。
ユーザー入力システム１０３５は、ユーザーからの入力を受け入れるよう構成された一つまたは複数の装置を含んでいてもよい。いくつかの実装では、ユーザー入力システム１０３５は、表示システム１０３０のディスプレイにかぶさるタッチスクリーンを含んでいてもよい。ユーザー入力システム１０３５はマウス、トラックボール、ジェスチャー検出システム、ジョイスティック、一つまたは複数のGUIおよび／または表示システム１０３０上に呈示されるメニュー、ボタン、キーボード、スイッチなどを含んでいてもよい。いくつかの実装では、ユーザー入力システム１０３５は、マイクロホン１０２５を含んでいてもよい：ユーザーは、マイクロホン１０２５を介して装置１０００についての音声コマンドを提供してもよい。論理システムは、音声認識のために、そしてそのような音声コマンドに従って装置１０００の少なくともいくつかの動作を制御するために構成されていてもよい。
電力システム１０４０は、ニッケル‐カドミウム電池またはリチウム・イオン電池のような一つまたは複数の好適なエネルギー蓄積装置を含んでいてもよい。電力システム１０４０は電気コンセントから電力を受領するよう構成されていてもよい。
図１１のＡは、オーディオ・コンテンツ生成のために使用されてもよいいくつかの構成要素を表すブロック図である。システム１１００はたとえば、ミキシング・スタジオおよび／またはダビング・ステージにおけるオーディオ・コンテンツ生成のために使われてもよい。この例では、システム１１００は、オーディオおよびメタデータ・オーサリング・ツール１１０５およびレンダリング・ツール１１１０を含む。この実装では、オーディオおよびメタデータ・オーサリング・ツール１１０５およびレンダリング・ツール１１１０は、それぞれオーディオ接続インターフェース１１０７および１１１２を含み、該オーディオ接続インターフェースはAES/EBU、MADI、アナログなどを介した通信のために構成されていてもよい。オーディオおよびメタデータ・オーサリング・ツール１１０５およびレンダリング・ツール１１１０は、それぞれネットワーク・インターフェース１１０９および１１１７を含み、該ネットワーク・インターフェースはTCP/IPまたは他の任意の好適なプロトコルを介してメタデータを送受信するよう構成されていてもよい。インターフェース１１２０はオーディオ・データをスピーカーに出力するよう構成されている。
システム１１００はたとえば、Pro Tools（商標）システムのような、プラグインとしてメタデータ生成ツール（すなわち、本稿に記載されたパン手段〔パンナー〕のような）を走らせる既存のオーサリング・システムを含んでいてもよい。パン手段は、レンダリング・ツール１１１０に接続されたスタンドアローン・システム（たとえばPCまたはミキシング・コンソール）上で走ることもでき、あるいはレンダリング・ツール１１１０と同じ物理装置上で走ることもできる。後者の場合、パン手段およびレンダラーは、たとえば共有メモリを通じた、ローカルな接続を使うことができる。パン手段GUIは、タブレット装置、ラップトップなどの上で提供されることもできる。レンダリング・ツール１１１０は、図５Ａ〜Ｃおよび図９に記載されるもののようなレンダリング方法を実行するよう構成されたサウンド・プロセッサを含むレンダリング・システムを有していていもよい。レンダリング・システムはたとえば、オーディオ入出力のためのインターフェースおよび適切な論理システムを含むパーソナル・コンピュータ、ラップトップなどを含んでいてもよい。
図１１Ｂは、再生環境（たとえば映画シアター）におけるオーディオ再生のために使用されうるいくつかのコンポーネントを表しているブロック図である。システム１１５０は、この例では、映画館サーバー１１５５およびレンダリング・システム１１６０を含む。映画館サーバー１１５５およびレンダリング・システム１１６０は、それぞれネットワーク・インターフェース１１５７および１１６２を含み、該ネットワーク・インターフェースはTCP/IPまたは他の任意の好適なプロトコルを介してオーディオ・オブジェクトを送受信するよう構成されていてもよい。インターフェース１１６４はオーディオ・データをスピーカーに出力するよう構成されている。
本開示に記載される実装へのさまざまな修正が、当業者にはすぐに明白となりうる。本稿において定義される一般的な原理は、本開示の精神または範囲から外れることなく、他の実装に適用されてもよい。このように、特許請求の範囲は、本稿に示される実装に限定されることは意図されておらず、本稿に開示される開示、原理および新規な特徴と整合する最も広い範囲を与えられるべきものである。
ここで、スピーカー・ゾーン４は概括的には左領域４１０のスピーカーに対応し、スピーカー・ゾーン５は仮想再生環境４０４の右領域４１５のスピーカーに対応する。スピーカー・ゾーン６は左後方領域４１２に対応し、スピーカー・ゾーン７は仮想再生環境４０４の右後方領域４１４に対応する。スピーカー・ゾーン８は上領域４２０ａのスピーカーに対応し、スピーカー・ゾーン９は上領域４２０ｂのスピーカーに対応し、これは仮想天井領域であってもよい。したがって、「作成および表現」出願でより詳細に述べたように、図４Ａに示されるスピーカー・ゾーン１〜９の位置は実際の再生環境の再生スピーカーの位置に対応してもしなくてもよい。さらに、他の実装はより多数またはより少数のスピーカー・ゾーンおよび／または高さを含んでいてもよい。

Claims (54)

  1. 一つまたは複数のオーディオ・オブジェクトを含むオーディオ再生データを受領する工程であって、前記オーディオ・オブジェクトはオーディオ信号および関連するメタデータを含み、前記メタデータは、少なくとも、オーディオ・オブジェクト位置データおよびオーディオ・オブジェクト・サイズ・データを含む、工程と；
    前記一つまたは複数のオーディオ・オブジェクトからのオーディオ・オブジェクトについて、前記オーディオ・オブジェクト位置データおよび前記オーディオ・オブジェクト・サイズ・データによって定義されるオーディオ・オブジェクト領域または体積内の仮想源からの寄与を計算する工程と；
    複数の出力チャネルのそれぞれについての一組のオーディオ・オブジェクト利得値を、少なくとも部分的には、計算された前記寄与に基づいて計算する工程であって、各出力チャネルは、再生環境の少なくとも一つの再生スピーカーに対応する、工程とを含む、
    方法。
  2. 仮想源からの寄与を計算する工程は、前記オーディオ・オブジェクト領域または体積内の仮想源からの仮想源利得値の重み付けされた平均を計算することを含む、請求項１記載の方法。
  3. 前記重み付けされた平均のための重みは、前記オーディオ・オブジェクトの位置、前記オーディオ・オブジェクトのサイズおよび前記オーディオ・オブジェクト領域または体積内の各仮想源位置に依存する、請求項２記載の方法。
  4. 再生スピーカー位置データを含む再生環境データを受領する工程をさらに含む、
    請求項１記載の方法。
  5. 前記再生環境データに従って複数の仮想源位置を定義し；
    各仮想源位置について、前記複数の出力チャネルのそれぞれについての仮想源利得値を計算することを含む、
    請求項４記載の方法。
  6. 各仮想源位置は、前記再生環境内の位置に対応する、請求項５記載の方法。
  7. 前記仮想源位置の少なくともいくつかが前記再生環境の外の位置に対応する、請求項５記載の方法。
  8. 前記仮想源位置はx、y、z軸に沿って一様に離間されている、請求項５記載の方法。
  9. 前記仮想源位置は、x軸およびy軸に沿っての第一の一様な離間と、z軸に沿っての第二の一様な離間をもつ、請求項５記載の方法。
  10. 前記複数の出力チャネルのそれぞれについての一組のオーディオ・オブジェクト利得値を計算する工程は、x、y、z軸に沿った仮想源からの寄与の独立した計算を含む、請求項８または９記載の方法。
  11. 前記仮想源位置は非一様に離間されている、請求項５記載の方法。
  12. 前記複数の出力チャネルのそれぞれについてのオーディオ・オブジェクト利得値を計算する工程は、位置xo,yo,zoにおいてレンダリングされるべきサイズ（s）のオーディオ・オブジェクトについての利得値（gl(xo,yo,zo;s)）を決定することを含み、利得値（gl(xo,yo,zo;s)）は
    Figure 2016511990
     と表わされ、(xvs,yvs,zvs)は仮想源位置を表わし、gl(xvs,yvs,zvs)は仮想源位置xvs,yvs,zvsについてのチャネルlについての利得値を表わし、w(xvs,yvs,zvs;xo,yo,zo;s)は、少なくとも部分的には、前記オーディオ・オブジェクトの位置(xo,yo,zo)、前記オーディオ・オブジェクトのサイズ（s）および前記仮想源位置(xvs,yvs,zvs)に基づいて決定されるgl(xvs,yvs,zvs)についての一つまたは複数の重み関数を表わす、請求項５記載の方法。
  13. gl(xvs,yvs,zvs)＝gl(xvs)gl(yvs)gl(zvs)であり、ここで、gl(xvs)、gl(yvs)およびgl(zvs)はx、yおよびzの独立な利得関数を表わす、請求項１２記載の方法。
  14. 前記重み関数は
    w(xvs,yvs,zvs;xo,yo,zo;s)＝wx(xvs;xo;s)wy(yvs;yo;s)wz(zvs;zo;s)
    と因子分解され、wx(xvs;xo;s)、wy(yvs;yo;s)およびwz(zvs;zo;s)はxvs、yvsおよびzvsの独立な重み関数を表わす、請求項１２記載の方法。
  15. pはオーディオ・オブジェクト・サイズ（s）の関数である、請求項１２記載の方法。
  16. 計算された仮想源利得値をメモリ・システムに記憶する工程をさらに含む、請求項４記載の方法。
  17. 前記オーディオ・オブジェクト領域または体積内の仮想源からの寄与を計算する工程は：
    前記メモリ・システムから、オーディオ・オブジェクト位置およびサイズに対応する計算された仮想源利得値を取り出し；
    計算された仮想源利得値の間を補間することを含む、
    請求項１６記載の方法。
  18. 計算された仮想源利得値の間を補間する工程は：
    前記オーディオ・オブジェクト位置の近くの複数の近隣の仮想源位置を決定し；
    前記近隣の仮想源位置のそれぞれについて、計算された仮想源利得値を決定し；
    前記オーディオ・オブジェクト位置と前記近隣の仮想源位置のそれぞれとの間の複数の距離を決定し；
    前記複数の距離に従って、計算された仮想源利得値の間を補間することを含む、
    請求項１７記載の方法。
  19. 前記オーディオ・オブジェクト領域または体積は、長方形、直方体、円、球、楕円または楕円体のうちの少なくとも一つである、請求項１記載の方法。
  20. 前記再生環境は映画館サウンド・システム環境である、請求項１記載の方法。
  21. 前記オーディオ再生データの少なくとも一部を脱相関する工程をさらに含む、請求項１記載の方法。
  22. ある閾値を超えるオーディオ・オブジェクト・サイズをもつオーディオ・オブジェクトについてのオーディオ再生データを脱相関する工程をさらに含む、請求項１記載の方法。
  23. 前記再生環境データは再生環境境界データを含み、
    前記オーディオ・オブジェクト領域または体積が再生環境境界の外の外側領域または体積を含むことを判別する工程と；
    少なくとも部分的には前記外側領域または体積に基づいてフェードアウト因子を適用する工程とをさらに含む、
    請求項１記載の方法。
  24. オーディオ・オブジェクトがある再生環境境界から閾値距離以内であることを判別することと；
    前記再生環境の向かい側の境界上の再生スピーカーにスピーカー・フィード信号を与えないことをさらに含む、
    請求項２３記載の方法。
  25. 再生スピーカー位置データおよび再生環境境界データを含む再生環境データを受領する工程と；
    一つまたは複数のオーディオ・オブジェクトおよび関連したメタデータを含むオーディオ再生データを受領する工程であって、前記メタデータは、オーディオ・オブジェクト位置データおよびオーディオ・オブジェクト・サイズ・データを含む、工程と；
    前記オーディオ・オブジェクト位置データおよび前記オーディオ・オブジェクト・サイズ・データによって定義されるオーディオ・オブジェクト領域または体積が再生環境境界の外の外側領域または体積を含むことを判別する工程と；
    少なくとも部分的には前記外側領域または体積に基づいてフェードアウト因子を決定する工程と；
    少なくとも部分的には前記関連したメタデータおよび前記フェードアウト因子に基づいて複数の出力チャネルのそれぞれについて一組の利得値を計算する工程であって、各出力チャネルは、再生環境の少なくとも一つの再生スピーカーに対応する、工程とを含む、
    方法。
  26. 前記フェードアウト因子が前記外側領域に比例する、請求項２５記載の方法。
  27. オーディオ・オブジェクトがある再生環境境界から閾値距離以内であることを判別することと；
    前記再生環境の向かい側の境界上の再生スピーカーにスピーカー・フィード信号を与えないこととを含む、
    請求項２５記載の方法。
  28. 前記オーディオ・オブジェクト領域または体積内の仮想源からの寄与を計算する工程をさらに含む、
    請求項２５記載の方法。
  29. 前記再生環境データに従って複数の仮想源位置を定義する工程と；
    前記仮想源位置のそれぞれについて、複数の出力チャネルのそれぞれについての仮想源利得を計算する工程とをさらに含む、
    請求項２８記載の方法。
  30. 前記仮想源位置は一様に離間されている、請求項２９記載の方法。
  31. ソフトウェアが記憶されている非一時的媒体であって、前記ソフトウェアは：
    一つまたは複数のオーディオ・オブジェクトを含むオーディオ再生データを受領する動作であって、前記オーディオ・オブジェクトは、オーディオ信号および関連したメタデータを含み、前記メタデータは、少なくとも、オーディオ・オブジェクト位置データおよびオーディオ・オブジェクト・サイズ・データを含む、動作と；
    前記一つまたは複数のオーディオ・オブジェクトからのオーディオ・オブジェクトについて、前記オーディオ・オブジェクト位置データおよび前記オーディオ・オブジェクト・サイズ・データによって定義されるオーディオ・オブジェクト領域または体積内の仮想源からの寄与を計算する動作と；
    少なくとも部分的には計算された前記寄与に基づいて複数の出力チャネルのそれぞれについての一組のオーディオ・オブジェクト利得値を計算する動作であって、各出力チャネルは、再生環境の少なくとも一つの再生スピーカーに対応する、動作とを実行するよう少なくとも一つの装置を制御するための命令を含む、
    非一時的媒体。
  32. 仮想源からの寄与を計算する工程は、前記オーディオ・オブジェクト領域または体積内の仮想源からの仮想源利得値の重み付けされた平均を計算することを含む、請求項３１記載の非一時的媒体。
  33. 前記重み付けされた平均のための重みは、前記オーディオ・オブジェクトの位置、前記オーディオ・オブジェクトのサイズおよび／または前記オーディオ・オブジェクト領域または体積内の各仮想源位置に依存する、請求項３２記載の非一時的媒体。
  34. 前記ソフトウェアは、再生スピーカー位置データを含む再生環境データを受領するための命令を含む、請求項３１記載の非一時的媒体。
  35. 前記ソフトウェアは：
    前記再生環境データに従って複数の仮想源位置を定義し；
    各仮想源位置について、前記複数の出力チャネルのそれぞれについての仮想源利得値を計算するための命令を含む、
    請求項３４記載の非一時的媒体。
  36. 各仮想源位置は、前記再生環境内の位置に対応する、請求項３５記載の非一時的媒体。
  37. 前記仮想源位置の少なくともいくつかは、前記再生環境の外の位置に対応する、請求項３６記載の非一時的媒体。
  38. 前記仮想源位置はx、y、z軸に沿って一様に離間されている、請求項３５記載の非一時的媒体。
  39. 前記仮想源位置は、x軸およびy軸に沿っての第一の一様な離間と、z軸に沿っての第二の一様な離間をもつ、請求項３５記載の非一時的媒体。
  40. 前記複数の出力チャネルのそれぞれについての一組のオーディオ・オブジェクト利得値を計算する工程は、x、y、z軸に沿った仮想源からの寄与の独立した計算を含む、請求項３８または３９記載の非一時的媒体。
  41. インターフェース・システムおよび論理システムを有する装置であって、
    前記論理システムは：
    前記インターフェース・システムから、一つまたは複数のオーディオ・オブジェクトを含むオーディオ再生データを受領する工程であって、前記オーディオ・オブジェクトは、オーディオ信号および関連したメタデータを含み、前記メタデータは、少なくとも、オーディオ・オブジェクト位置データおよびオーディオ・オブジェクト・サイズ・データを含む、工程と；
    前記一つまたは複数のオーディオ・オブジェクトからのオーディオ・オブジェクトについて、前記オーディオ・オブジェクト位置データおよび前記オーディオ・オブジェクト・サイズ・データによって定義されるオーディオ・オブジェクト領域または体積内の仮想源からの寄与を計算する工程と；
    少なくとも部分的には計算された前記寄与に基づいて複数の出力チャネルのそれぞれについての一組のオーディオ・オブジェクト利得値を計算する工程であって、各出力チャネルは、再生環境の少なくとも一つの再生スピーカーに対応する、工程とを実行するよう適応されている、
    装置。
  42. 仮想源からの寄与を計算する工程は、前記オーディオ・オブジェクト領域または体積内の仮想源からの仮想源利得値の重み付けされた平均を計算することを含む、請求項４１記載の装置。
  43. 前記重み付けされた平均のための重みは、前記オーディオ・オブジェクトの位置、前記オーディオ・オブジェクトのサイズおよび前記オーディオ・オブジェクト領域または体積内の各仮想源位置に依存する、請求項４２記載の装置。
  44. 前記論理システムは、前記インターフェース・システムから、再生スピーカー位置データを含む再生環境データを受領するよう適応されている、請求項４１記載の装置。
  45. 前記論理システムは：
    前記再生環境データに従って複数の仮想源位置を定義し；
    各仮想源位置について、前記複数の出力チャネルのそれぞれについての仮想源利得値を計算するよう適応されている、
    請求項４４記載の装置。
  46. 各仮想源位置は、前記再生環境内の位置に対応する、請求項４５記載の装置。
  47. 前記仮想源位置の少なくともいくつかは、前記再生環境の外の位置に対応する、請求項４５記載の装置。
  48. 前記仮想源位置はx、y、z軸に沿って一様に離間されている、請求項４５記載の装置。
  49. 前記仮想源位置は、x軸およびy軸に沿っての第一の一様な離間と、z軸に沿っての第二の一様な離間をもつ、請求項４５記載の装置。
  50. 前記複数の出力チャネルのそれぞれについての一組のオーディオ・オブジェクト利得値を計算する工程は、x、y、z軸に沿った仮想源からの寄与の独立した計算を含む、請求項４８または４９記載の装置。
  51. メモリ・デバイスをさらに有しており、前記インターフェース・システムが、前記論理システムと前記メモリ・デバイスとの間のインターフェースを有する、請求項５１記載の装置。
  52. 前記インターフェース・システムがネットワーク・インターフェースを有する、請求項５１記載の装置。
  53. ユーザー・インターフェースをさらに有しており、前記論理システムは、前記ユーザー・インターフェースを介して、入力オーディオ・オブジェクト・サイズ・データを含むがそれに限定されないユーザー入力を受領するよう適応されている、請求項５１記載の装置。
  54. 前記論理システムは、前記入力オーディオ・オブジェクト・サイズ・データをスケーリングするよう適応されている、請求項５３記載の装置。
JP2015557240A 2013-03-28 2014-03-10 見かけのサイズをもつオーディオ・オブジェクトの任意のラウドスピーカー・レイアウトへのレンダリング Active JP5897778B1 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
ES201330461 2013-03-28
ESP201330461 2013-03-28
US201361833581P 2013-06-11 2013-06-11
US61/833,581 2013-06-11
PCT/US2014/022793 WO2014159272A1 (en) 2013-03-28 2014-03-10 Rendering of audio objects with apparent size to arbitrary loudspeaker layouts

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016040424A Division JP6250084B2 (ja) 2013-03-28 2016-03-02 見かけのサイズをもつオーディオ・オブジェクトの任意のラウドスピーカー・レイアウトへのレンダリング

Publications (2)

Publication Number Publication Date
JP5897778B1 JP5897778B1 (ja) 2016-03-30
JP2016511990A true JP2016511990A (ja) 2016-04-21

Family

ID=51625134

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2015557240A Active JP5897778B1 (ja) 2013-03-28 2014-03-10 見かけのサイズをもつオーディオ・オブジェクトの任意のラウドスピーカー・レイアウトへのレンダリング
JP2016040424A Active JP6250084B2 (ja) 2013-03-28 2016-03-02 見かけのサイズをもつオーディオ・オブジェクトの任意のラウドスピーカー・レイアウトへのレンダリング
JP2017223243A Active JP6607904B2 (ja) 2013-03-28 2017-11-21 見かけのサイズをもつオーディオ・オブジェクトの任意のラウドスピーカー・レイアウトへのレンダリング
JP2019191956A Active JP6877510B2 (ja) 2013-03-28 2019-10-21 見かけのサイズをもつオーディオ・オブジェクトの任意のラウドスピーカー・レイアウトへのレンダリング
JP2021074974A Active JP7280916B2 (ja) 2013-03-28 2021-04-27 見かけのサイズをもつオーディオ・オブジェクトの任意のラウドスピーカー・レイアウトへのレンダリング

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2016040424A Active JP6250084B2 (ja) 2013-03-28 2016-03-02 見かけのサイズをもつオーディオ・オブジェクトの任意のラウドスピーカー・レイアウトへのレンダリング
JP2017223243A Active JP6607904B2 (ja) 2013-03-28 2017-11-21 見かけのサイズをもつオーディオ・オブジェクトの任意のラウドスピーカー・レイアウトへのレンダリング
JP2019191956A Active JP6877510B2 (ja) 2013-03-28 2019-10-21 見かけのサイズをもつオーディオ・オブジェクトの任意のラウドスピーカー・レイアウトへのレンダリング
JP2021074974A Active JP7280916B2 (ja) 2013-03-28 2021-04-27 見かけのサイズをもつオーディオ・オブジェクトの任意のラウドスピーカー・レイアウトへのレンダリング

Country Status (18)

Country Link
US (7) US9674630B2 (ja)
EP (3) EP3282716B1 (ja)
JP (5) JP5897778B1 (ja)
KR (4) KR102332632B1 (ja)
CN (4) CN105075292B (ja)
AU (6) AU2014241011B2 (ja)
BR (4) BR122022005121B1 (ja)
CA (1) CA2898885C (ja)
ES (1) ES2650541T3 (ja)
HK (5) HK1215339A1 (ja)
IL (6) IL290671B2 (ja)
IN (1) IN2015MN01790A (ja)
MX (1) MX342792B (ja)
MY (1) MY172606A (ja)
RU (3) RU2630955C9 (ja)
SG (1) SG11201505429RA (ja)
UA (1) UA113344C2 (ja)
WO (1) WO2014159272A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023506700A (ja) * 2019-11-20 2023-02-20 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． パンニング済みオブジェクトスピーカーゲインとスプレッドオブジェクトスピーカーゲインとを使用する、オーディオオブジェクトレンダラー、スピーカーゲインを決定するための方法およびコンピュータプログラム

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2893729C (en) 2012-12-04 2019-03-12 Samsung Electronics Co., Ltd. Audio providing apparatus and audio providing method
US20170086005A1 (en) * 2014-03-25 2017-03-23 Intellectual Discovery Co., Ltd. System and method for processing audio signal
US10349197B2 (en) * 2014-08-13 2019-07-09 Samsung Electronics Co., Ltd. Method and device for generating and playing back audio signal
ES2686275T3 (es) * 2015-04-28 2018-10-17 L-Acoustics Uk Limited Un aparato para reproducir una señal de audio multicanal y un método para producir una señal de audio multicanal
WO2016210174A1 (en) * 2015-06-25 2016-12-29 Dolby Laboratories Licensing Corporation Audio panning transformation system and method
US9847081B2 (en) 2015-08-18 2017-12-19 Bose Corporation Audio systems for providing isolated listening zones
US9854376B2 (en) * 2015-07-06 2017-12-26 Bose Corporation Simulating acoustic output at a location corresponding to source position data
US9913065B2 (en) * 2015-07-06 2018-03-06 Bose Corporation Simulating acoustic output at a location corresponding to source position data
EP3706444B1 (en) * 2015-11-20 2023-12-27 Dolby Laboratories Licensing Corporation Improved rendering of immersive audio content
EP3174316B1 (en) * 2015-11-27 2020-02-26 Nokia Technologies Oy Intelligent audio rendering
WO2017098772A1 (ja) * 2015-12-11 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10531216B2 (en) 2016-01-19 2020-01-07 Sphereo Sound Ltd. Synthesis of signals for immersive audio playback
US9949052B2 (en) 2016-03-22 2018-04-17 Dolby Laboratories Licensing Corporation Adaptive panner of audio objects
WO2017208820A1 (ja) 2016-05-30 2017-12-07 ソニー株式会社 映像音響処理装置および方法、並びにプログラム
CN109479178B (zh) 2016-07-20 2021-02-26 杜比实验室特许公司 基于呈现器意识感知差异的音频对象聚集
EP3293987B1 (en) * 2016-09-13 2020-10-21 Nokia Technologies Oy Audio processing
US10356545B2 (en) * 2016-09-23 2019-07-16 Gaudio Lab, Inc. Method and device for processing audio signal by using metadata
US10297162B2 (en) * 2016-12-28 2019-05-21 Honeywell International Inc. System and method to activate avionics functions remotely
CN113923583A (zh) 2017-01-27 2022-01-11 奥罗技术公司 用于平移音频对象的处理方法和系统
WO2018202642A1 (en) 2017-05-04 2018-11-08 Dolby International Ab Rendering audio objects having apparent size
CN110603821A (zh) 2017-05-04 2019-12-20 杜比国际公司 渲染具有表观大小的音频对象
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
CN111316671B (zh) * 2017-11-14 2021-10-22 索尼公司 信号处理设备和方法以及程序
RU2020116581A (ru) * 2017-12-12 2021-11-22 Сони Корпорейшн Программа, способ и устройство для обработки сигнала
JP7146404B2 (ja) * 2018-01-31 2022-10-04 キヤノン株式会社 信号処理装置、信号処理方法、及びプログラム
WO2019189399A1 (ja) 2018-03-30 2019-10-03 住友建機株式会社 ショベル
US11617050B2 (en) 2018-04-04 2023-03-28 Bose Corporation Systems and methods for sound source virtualization
WO2020016685A1 (en) 2018-07-18 2020-01-23 Sphereo Sound Ltd. Detection of audio panning and synthesis of 3d audio from limited-channel surround sound
EP3846501A4 (en) * 2018-08-30 2021-10-06 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
US11503422B2 (en) * 2019-01-22 2022-11-15 Harman International Industries, Incorporated Mapping virtual sound sources to physical speakers in extended reality applications
US11545166B2 (en) * 2019-07-02 2023-01-03 Dolby International Ab Using metadata to aggregate signal processing operations
WO2021021750A1 (en) 2019-07-30 2021-02-04 Dolby Laboratories Licensing Corporation Dynamics processing across devices with differing playback capabilities
GB2587371A (en) 2019-09-25 2021-03-31 Nokia Technologies Oy Presentation of premixed content in 6 degree of freedom scenes
US11483670B2 (en) * 2019-10-30 2022-10-25 Sonos, Inc. Systems and methods of providing spatial audio associated with a simulated environment
US12094476B2 (en) 2019-12-02 2024-09-17 Dolby Laboratories Licensing Corporation Systems, methods and apparatus for conversion from channel-based audio to object-based audio
JP2023506240A (ja) * 2019-12-12 2023-02-15 リキッド・オキシゲン・（エルオーイクス）・ベー・フェー 仮想音源と関連付けられた音声信号を発生させること
EP4078999A1 (en) 2019-12-19 2022-10-26 Telefonaktiebolaget Lm Ericsson (Publ) Audio rendering of audio sources
KR20210142382A (ko) * 2020-05-18 2021-11-25 에스케이하이닉스 주식회사 그리드 게인 계산 회로, 이미지 센싱 장치 및 그 동작방법
CN112135226B (zh) * 2020-08-11 2022-06-10 广东声音科技有限公司 Y轴音频再生方法以及y轴音频再生系统
US11982738B2 (en) 2020-09-16 2024-05-14 Bose Corporation Methods and systems for determining position and orientation of a device using acoustic beacons
US11700497B2 (en) 2020-10-30 2023-07-11 Bose Corporation Systems and methods for providing augmented audio
US11696084B2 (en) 2020-10-30 2023-07-04 Bose Corporation Systems and methods for providing augmented audio
US11750745B2 (en) 2020-11-18 2023-09-05 Kelly Properties, Llc Processing and distribution of audio signals in a multi-party conferencing environment
GB2607885B (en) * 2021-06-11 2023-12-06 Sky Cp Ltd Audio configuration
CN113596673B (zh) * 2021-07-14 2024-07-30 杭州泽沃电子科技有限公司 Ar眼镜扬声器的定向发声方法、装置和发声设备
GB2613558A (en) * 2021-12-03 2023-06-14 Nokia Technologies Oy Adjustment of reverberator based on source directivity
CN114173256B (zh) * 2021-12-10 2024-04-19 中国电影科学技术研究所 一种还原声场空间及姿态追踪的方法、装置和设备
CN115103293B (zh) * 2022-06-16 2023-03-21 华南理工大学 一种面向目标的声重放方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100092014A1 (en) * 2006-10-11 2010-04-15 Fraunhofer-Geselischhaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating a number of loudspeaker signals for a loudspeaker array which defines a reproduction space
WO2013006330A2 (en) * 2011-07-01 2013-01-10 Dolby Laboratories Licensing Corporation System and tools for enhanced 3d audio authoring and rendering
WO2013006338A2 (en) * 2011-07-01 2013-01-10 Dolby Laboratories Licensing Corporation System and method for adaptive audio signal generation, coding and rendering

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2343347B (en) * 1998-06-20 2002-12-31 Central Research Lab Ltd A method of synthesising an audio signal
CA2311817A1 (en) * 1998-09-24 2000-03-30 Fourie, Inc. Apparatus and method for presenting sound and image
US8363865B1 (en) 2004-05-24 2013-01-29 Heather Bottum Multiple channel sound system using multi-speaker arrays
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
EP1851656A4 (en) 2005-02-22 2009-09-23 Verax Technologies Inc SYSTEM AND METHOD FOR FORMATTING MULTIMODE CONTENT OF SOUNDS AND METADATA
DE102005008366A1 (de) * 2005-02-23 2006-08-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Ansteuern einer Wellenfeldsynthese-Renderer-Einrichtung mit Audioobjekten
JP4973919B2 (ja) * 2006-10-23 2012-07-11 ソニー株式会社 出力制御システムおよび方法、出力制御装置および方法、並びにプログラム
RU2443075C2 (ru) * 2007-10-09 2012-02-20 Конинклейке Филипс Электроникс Н.В. Способ и устройство для генерации бинаурального аудиосигнала
EP2056627A1 (en) * 2007-10-30 2009-05-06 SonicEmotion AG Method and device for improved sound field rendering accuracy within a preferred listening area
RU2439717C1 (ru) * 2008-01-01 2012-01-10 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для обработки звукового сигнала
US8315396B2 (en) 2008-07-17 2012-11-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating audio output signals using object based metadata
JP5326910B2 (ja) * 2009-01-20 2013-10-30 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
EP2486567A1 (en) * 2009-10-09 2012-08-15 Dolby Laboratories Licensing Corporation Automatic generation of metadata for audio dominance effects
TWI443646B (zh) * 2010-02-18 2014-07-01 Dolby Lab Licensing Corp 音訊解碼器及使用有效降混之解碼方法
CN108989721B (zh) * 2010-03-23 2021-04-16 杜比实验室特许公司 用于局域化感知音频的技术
JP5655378B2 (ja) * 2010-06-01 2015-01-21 ヤマハ株式会社 音像制御装置、およびプログラム
US20110317841A1 (en) * 2010-06-25 2011-12-29 Lloyd Trammell Method and device for optimizing audio quality
KR101747299B1 (ko) * 2010-09-10 2017-06-15 삼성전자주식회사 데이터 객체 디스플레이 방법 및 장치와 컴퓨터로 읽을 수 있는 저장 매체
US20140214431A1 (en) * 2011-07-01 2014-07-31 Dolby Laboratories Licensing Corporation Sample rate scalable lossless audio coding
UA107304C2 (uk) * 2011-07-01 2014-12-10 Система та інструментальні засоби для удосконаленої авторської розробки та представлення тривимірних аудіоданих
CA2893729C (en) * 2012-12-04 2019-03-12 Samsung Electronics Co., Ltd. Audio providing apparatus and audio providing method
US9338420B2 (en) * 2013-02-15 2016-05-10 Qualcomm Incorporated Video analysis assisted generation of multi-channel audio data
RS1332U (en) 2013-04-24 2013-08-30 Tomislav Stanojević FULL SOUND ENVIRONMENT SYSTEM WITH FLOOR SPEAKERS

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100092014A1 (en) * 2006-10-11 2010-04-15 Fraunhofer-Geselischhaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating a number of loudspeaker signals for a loudspeaker array which defines a reproduction space
WO2013006330A2 (en) * 2011-07-01 2013-01-10 Dolby Laboratories Licensing Corporation System and tools for enhanced 3d audio authoring and rendering
WO2013006338A2 (en) * 2011-07-01 2013-01-10 Dolby Laboratories Licensing Corporation System and method for adaptive audio signal generation, coding and rendering

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023506700A (ja) * 2019-11-20 2023-02-20 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． パンニング済みオブジェクトスピーカーゲインとスプレッドオブジェクトスピーカーゲインとを使用する、オーディオオブジェクトレンダラー、スピーカーゲインを決定するための方法およびコンピュータプログラム

Also Published As

Publication number Publication date
CN107426666A (zh) 2017-12-01
AU2018202867A1 (en) 2018-05-17
BR112015018993A2 (pt) 2017-07-18
KR20230144652A (ko) 2023-10-16
BR122017004541B1 (pt) 2022-09-06
CA2898885A1 (en) 2014-10-02
US20230269551A1 (en) 2023-08-24
HK1246552B (zh) 2020-07-03
JP2021114796A (ja) 2021-08-05
WO2014159272A1 (en) 2014-10-02
AU2014241011A1 (en) 2015-07-23
IL287080B (en) 2022-04-01
IL245897B (en) 2019-05-30
IL266096A (en) 2019-06-30
AU2016200037B2 (en) 2018-02-01
IL245897A0 (en) 2016-07-31
EP3282716A1 (en) 2018-02-14
IL290671B1 (en) 2024-01-01
ES2650541T3 (es) 2018-01-19
HK1246553A1 (zh) 2018-09-07
IL266096B (en) 2021-12-01
US20240334145A1 (en) 2024-10-03
IL290671A (en) 2022-04-01
JP2020025310A (ja) 2020-02-13
JP2023100966A (ja) 2023-07-19
KR101619760B1 (ko) 2016-05-11
KR20150103754A (ko) 2015-09-11
AU2018202867B2 (en) 2019-10-24
RU2742195C2 (ru) 2021-02-03
US10652684B2 (en) 2020-05-12
EP2926571A1 (en) 2015-10-07
CN107396278A (zh) 2017-11-24
IL290671B2 (en) 2024-05-01
US11979733B2 (en) 2024-05-07
BR122017004541A2 (pt) 2019-09-03
US9992600B2 (en) 2018-06-05
JP6250084B2 (ja) 2017-12-20
JP2018067931A (ja) 2018-04-26
IL239782A0 (en) 2015-08-31
RU2017130902A (ru) 2019-02-05
CN107465990B (zh) 2020-02-07
BR112015018993B1 (pt) 2023-11-28
JP2016146642A (ja) 2016-08-12
CA2898885C (en) 2016-05-10
AU2024200627A1 (en) 2024-02-22
JP6877510B2 (ja) 2021-05-26
RU2764227C1 (ru) 2022-01-14
CN105075292A (zh) 2015-11-18
KR20160046924A (ko) 2016-04-29
KR102160406B1 (ko) 2020-10-05
AU2020200378A1 (en) 2020-02-13
US20210352426A1 (en) 2021-11-11
IL239782A (en) 2016-06-30
JP5897778B1 (ja) 2016-03-30
CN105075292B (zh) 2017-07-25
MY172606A (en) 2019-12-05
KR102586356B1 (ko) 2023-10-06
CN107396278B (zh) 2019-04-12
BR122022005121B1 (pt) 2022-06-14
EP3668121A1 (en) 2020-06-17
CN107465990A (zh) 2017-12-12
US20200336855A1 (en) 2020-10-22
US20160007133A1 (en) 2016-01-07
JP6607904B2 (ja) 2019-11-20
US9674630B2 (en) 2017-06-06
IL287080A (en) 2021-12-01
MX2015010786A (es) 2015-11-26
HK1215339A1 (zh) 2016-08-19
RU2017130902A3 (ja) 2020-12-08
KR20210149191A (ko) 2021-12-08
AU2021261862A1 (en) 2021-12-02
RU2630955C9 (ru) 2017-09-29
IN2015MN01790A (ja) 2015-08-28
IL309028A (en) 2024-02-01
AU2020200378B2 (en) 2021-08-05
CN107426666B (zh) 2019-06-18
JP7280916B2 (ja) 2023-05-24
SG11201505429RA (en) 2015-08-28
US11019447B2 (en) 2021-05-25
BR122022005104B1 (pt) 2022-09-13
UA113344C2 (xx) 2017-01-10
RU2630955C2 (ru) 2017-09-14
US20170238116A1 (en) 2017-08-17
KR20200113004A (ko) 2020-10-05
HK1249688A1 (zh) 2018-11-02
EP3282716B1 (en) 2019-11-20
HK1245557B (zh) 2020-05-08
RU2015133695A (ru) 2017-02-20
AU2014241011B2 (en) 2016-01-28
US20180167756A1 (en) 2018-06-14
EP2926571B1 (en) 2017-10-18
AU2021261862B2 (en) 2023-11-09
MX342792B (es) 2016-10-12
AU2016200037A1 (en) 2016-01-28
KR102332632B1 (ko) 2021-12-02
US11564051B2 (en) 2023-01-24

Similar Documents

Publication Publication Date Title
JP6607904B2 (ja) 見かけのサイズをもつオーディオ・オブジェクトの任意のラウドスピーカー・レイアウトへのレンダリング
JP7571192B2 (ja) 見かけのサイズをもつオーディオ・オブジェクトの任意のラウドスピーカー・レイアウトへのレンダリング
KR102712214B1 (ko) 임의적 라우드스피커 배치들로의 겉보기 크기를 갖는 오디오 오브젝트들의 렌더링
KR20240146098A (ko) 임의적 라우드스피커 배치들로의 겉보기 크기를 갖는 오디오 오브젝트들의 렌더링

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160302

R150 Certificate of patent or registration of utility model

Ref document number: 5897778

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250