JP2021521681A - オーディオ・レンダリングのための事前レンダリングされた信号のための方法、装置およびシステム - Google Patents
オーディオ・レンダリングのための事前レンダリングされた信号のための方法、装置およびシステム Download PDFInfo
- Publication number
- JP2021521681A JP2021521681A JP2020555105A JP2020555105A JP2021521681A JP 2021521681 A JP2021521681 A JP 2021521681A JP 2020555105 A JP2020555105 A JP 2020555105A JP 2020555105 A JP2020555105 A JP 2020555105A JP 2021521681 A JP2021521681 A JP 2021521681A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- rendering
- elements
- effective
- rendering mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 319
- 238000000034 method Methods 0.000 title claims abstract description 110
- 230000000694 effects Effects 0.000 claims abstract description 39
- 230000004044 response Effects 0.000 claims abstract description 4
- 238000004590 computer program Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 12
- 230000005236 sound signal Effects 0.000 description 11
- 230000005855 radiation Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
Abstract
Description
本願は、次の優先権出願の優先権を主張する:米国仮出願第62/656,163号(整理番号:D18040USP1)、2018年4月11日出願、および米国仮出願第62/755,957号(整理番号:D18040USP2)、2018年11月5日出願。これらは参照により本明細書に組み込まれる。
本開示は、オーディオ・レンダリングのための装置、システムおよび方法を提供することに関する。
1.音源およびVR/AR/MR環境を記述する不十分なメタデータ
2.6DoFレンダラーおよびリソースの制限された機能。
1.1)VR/AR/MR環境および対応するオーディオ信号を記述するパラメータ化された情報(メタデータ)についてのビットレート制限;
1.2)逆6DoFレンダリングのためのデータが利用可能でないこと(たとえば、一つまたは複数の関心ポイントにおける参照レコーディングが利用可能であるが、この信号を6DoFレンダラーによってどのように再生成するか、およびそのためにどんなデータ入力が必要であるかは不明);
2.1)6DoFレンダラーのデフォルトの(たとえば物理法則に整合する)出力とは異なる可能性のある芸術的意図(たとえば、「芸術的ダウンミックス」概念に似る);
2.2)デコーダ(6DoFレンダラー)実装における機能限界(たとえば、ビットレート、複雑さ、遅延などの制約)。
1.ビットレートの増加(すなわち、もとのオーディオ源信号に加えて、事前レンダリングされた信号(単数または複数)が送られる);
2.限られた妥当性(すなわち、事前レンダリングされた信号(単数または複数)は3DoF位置(単数または複数)についてのみ有効である)。
1.もとのオーディオ源信号の代わりに(またはそれに対する相補的な追加として)事前レンダリングされた信号を使用すること;
2.高レベルの音場近似を保存することにより、3DoF位置(単数または複数)から事前レンダリングされた信号(単数または複数)についての3DoF+領域までの適用可能範囲の増大(6DoFレンダリングの使用)。
{x,y,z;F}:||Output(参照位置)(F(x,y,z)(A))−R||知覚的->min
1.b)仮想オーディオ・オブジェクトの「事前レンダリング・タイプ」(または一般的には前記レンダリング・モード指示)を信号伝達するフラグ;
2.b)少なくとも事前レンダリングされた参照(たとえば、モノ・オブジェクト)から得られた仮想オーディオ・オブジェクト信号(有効オーディオ要素);および
3.b)「3DoF位置」の座標および「6DoF空間」の記述(たとえば、有効オーディオ要素位置を含む有効オーディオ要素情報)。
1.所望の「3DoF位置」(単数または複数)および対応する「3DoF+領域」(単数または複数)(たとえば、レンダリングが所望される聴取者位置および/または聴取者位置領域)の決定
2.「3DoF位置」(単数または複数)についての参照レンダリング(または直接レコーディング)
3.逆オーディオ・レンダリング、「3DoF位置」(単数または複数)における得られた参照信号の最良の可能な近似をもたらす仮想オーディオ・オブジェクト(単数または複数)(有効オーディオ要素)の信号(単数または複数)および位置(単数または複数)の決定
4.結果として生じる仮想オーディオ・オブジェクト(単数または複数)(有効オーディオ要素)とその位置(単数または複数)を、対応する6DoF空間(音響環境)の信号伝達および6DoFレンダラーの「単純レンダリング・モード」を可能にする「事前レンダリング・オブジェクト」属性(レンダリング・モード指示)とともにエンコードすること。
・「単純レンダリング・モード」は、音響環境(たとえば、音響VR/AR/MR環境)を考慮しないことがある。すなわち、単純レンダリング・モードは、(たとえば、空の空間における)距離減衰のみを考慮してもよい。たとえば、図12の左側の上パネルに示されるように、単純レンダリング・モードでは、Fsimpleは距離減衰のみを考慮し、ドアの開閉(たとえば、図2を参照)のようなVR/AR/MR環境の効果を考慮しない。
・「参照レンダリング・モード」(図12の左側の下パネル)は、VR/AR/MR環境効果の一部または全部を考慮に入れてもよい。
・3DoF 所与の参照互換位置(単数または複数)∈6DoF空間
・6DoF 任意の許容される位置(単数または複数)∈VR/AR/MRシーン
・Freference(x) エンコーダで決定される参照レンダリング
・Fsimple(x) デコーダで指定される6DoF「単純モード・レンダリング」
・x(NDoF) 3DoF位置/6DoF空間における音場表現
・xreference (3DoF) エンコーダで決定される、3DoF位置(単数または複数)についての参照信号(単数または複数):
・xreference (3DoF):=3DoFについてのFreference(x)
・xreference (6DoF) 一般的参照レンダリング出力
・xreference (6DoF):=6DoFについてのFreference(x)
与えられるもの(エンコーダ側で):
・オーディオ源信号(単数または複数) x
・3DoF位置(単数または複数)についての参照信号(単数または複数) xreference (3DoF)
利用可能なもの(レンダラーで):
・仮想オブジェクト信号(単数または複数) xvirtual
・デコーダ6DoF「単純レンダリング・モード」 6DoFについてのFsimple、∃F-1 simple
問題:下記を提供するxvirtualおよびx(6DoF)を定義する
・3DoFでの所望されるレンダリング出力x(3DoF)→xreference (3DoF)
・所望されるレンダリングの近似
・芸術的レンダリング機能サポート:6DoFレンダラーの出力は、任意の(エンコーダ側で既知の)芸術的事前レンダリングされた参照信号に対応することができる。
・計算量:6DoFオーディオ・レンダラー(たとえば、MPEG-Iオーディオ・レンダラー)は、複雑な音響VR/AR/MR環境について「単純レンダリング・モード」で動作できる。
・符号化効率:この手法については、事前レンダリングされた信号についてのオーディオ・ビットレートは、もとのオーディオ源の数にではなく、3DoF位置の数(より正確には、対応する仮想オブジェクトの数)に比例する。これは、オブジェクトの数が多く、6DoF移動自由度が制限されている場合に非常に有益でありうる。
・あらかじめ決定された位置(単数または複数)におけるオーディオ品質制御:最良の知覚的オーディオ品質が、VR/AR/MR空間における任意の位置および対応する3DoF+領域(単数または複数)についてエンコーダによって明示的に保証されることができる。
・事前レンダリングされた信号タイプ・フラグ(単数または複数)。これは、対応する仮想オブジェクトについての音響VR/AR/MR環境の影響を無視した「単純レンダリング・モード」を可能にする。
・仮想オブジェクト信号レンダリングのための適用可能領域(すなわち、6DoF空間)を記述するパラメータ表現。
・いかにして6DoFレンダラーがそのような事前レンダリングされた信号を互いに、また通常の信号と混合するか。
・デコーダで指定される「単純モード・レンダリング」機能(すなわち、Fsimple)の定義に関して一般的である;それは任意の複雑さであってもよいが、デコーダ側で対応する近似が存在するべきである(すなわち、∃Fsimple -1);理想的には、この近似は、数学的に「性質のよい」(well-defined)(たとえば、アルゴリズム的に安定な)ものであるべきである
・一般的な音場および音源表現(およびそれらの組み合わせ):オブジェクト、チャネル、FOA、HOAに拡張可能かつ適用可能である
・(距離減衰モデリングに加えて)オーディオ源指向性の諸側面を考慮することができる
・事前レンダリングされる信号について複数の(重なり合っていてもよい)3DoF位置に適用可能である
・事前レンダリングされた信号が通常の信号(周囲音、オブジェクト、FOA、HOAなど)と混合されるシナリオに適用可能である
・3DoF位置についての参照信号xreference (3DoF)を
−コンテンツ制作者側で適用される任意の(任意の複雑さの)「プロダクション・レンダラー」の出力
−実際のオーディオ信号/フィールド・レコーディング(およびその芸術的修正)
として定義し、取得することを許容する。
EEE2は、EEE1の方法に関し、さらに、前記仮想オーディオ・オブジェクトの事前レンダリングされたタイプの存在を示す信号を送信することを含む。
EEE3は、EEE1またはEEE2の方法に関し、少なくとも事前レンダリングされた参照が、3DoF位置および対応する3DoF+領域の参照レンダリングに基づいて決定される。
EEE4は、EEE1〜EEE3のいずれか1つの方法に関し、前記6DoF空間に対する前記仮想オーディオ・オブジェクトの位置を決定することをさらに含む。
EEE5は、EEE1〜EEE4のいずれか1つの方法に関し、前記仮想オーディオ・オブジェクトの位置が、逆オーディオ・レンダリングまたはコンテンツ・プロバイダーによる手動指定のうちの少なくとも一方に基づいて決定される。
EEE6は、EEE1〜EEE5のいずれか1つの方法に関し、前記仮想オーディオ・オブジェクトは、3DoF位置についてあらかじめ定義された参照信号を近似する。
EEE7は、EEE1〜EEE6のいずれか1つの方法に関し、前記仮想オブジェクトは
6DoFについてFsimple、∃Fsimple -1
であり、前記仮想オブジェクトは、3DoF位置と前記仮想オブジェクトについての単純レンダリング・モード決定との間の差の絶対値を最小化するように決定される。
EEE9は、EEE8の方法に関し、前記仮想オブジェクトのレンダリングは:
EEE10は、EEE8またはEEE9の方法に関し、前記仮想オブジェクトのレンダリングは、前記仮想オーディオ・オブジェクトの事前レンダリングされたタイプを信号伝達するフラグに基づいて実行される。
EEE11は、EEEE8〜EEE10のいずれか1つの方法に関し、さらに、事前レンダリングされた3DoF位置および6DoF空間の記述を示すメタデータを受領することを含み、前記レンダリングは、3DoF位置および6DoF空間の記述に基づく。
Claims (19)
- 一つまたは複数のレンダリング・ツールをもつオーディオ・レンダラーを含むデコーダによってビットストリームからオーディオ・シーン・コンテンツをデコードする方法であって、当該方法は:
前記ビットストリームを受領する段階と;
前記ビットストリームから音響環境を含むオーディオ・シーンの記述をデコードする段階と;
前記オーディオ・シーンの記述から一つまたは複数の有効オーディオ要素を決定する段階であって、前記一つまたは複数の有効オーディオ要素は前記音響環境の影響をカプセル化し、前記オーディオ・シーンを表わす一つまたは複数の仮想オーディオ・オブジェクトに対応する、段階と;
前記オーディオ・シーンの記述から、前記一つまたは複数の有効オーディオ要素の有効オーディオ要素位置を示す有効オーディオ要素情報を決定する段階であって、前記有効オーディオ要素情報は、前記一つまたは複数の有効オーディオ要素のそれぞれの音放射パターンを示す情報を含む、段階と;
前記ビットストリームからレンダリング・モード指示をデコードする段階であって、前記レンダリング・モード指示は、前記一つまたは複数の有効オーディオ要素が事前レンダリングされたオーディオ要素から得られた音場を表わし、所定のレンダリング・モードを使用してレンダリングされるべきであるかどうかを示す、段階と;
前記レンダリング・モード指示が、前記一つまたは複数の有効オーディオ要素が事前レンダリングされたオーディオ要素から得られた音場を表わし、所定のレンダリング・モードを使用してレンダリングされるべきであることを示すことに応答して、前記一つまたは複数の有効オーディオ要素を前記所定のレンダリング・モードを用いてレンダリングする段階とを含み、
前記所定のレンダリング・モードを使用して前記一つまたは複数の有効オーディオ要素をレンダリングすることは、前記有効オーディオ要素情報および前記一つまたは複数の有効オーディオ要素のそれぞれの音放射パターンを示す前記情報を考慮に入れ、前記所定のレンダリング・モードは、レンダリング出力に対するオーディオ・シーンの前記音響環境の影響を制御するための前記レンダリング・ツールの所定の構成を定義する、
方法。 - 音響環境における聴取者の頭部の位置を示す聴取者位置情報、および/または音響環境における聴取者の頭部の配向を示す聴取者配向情報を得る段階をさらに含み、
所定のレンダリング・モードを使用して前記一つまたは複数の有効オーディオ要素をレンダリングすることは、前記聴取者位置情報および/または聴取者配向情報をさらに考慮に入れる、
請求項1に記載の方法。 - 前記所定のレンダリング・モードを使用して前記一つまたは複数の有効オーディオ要素をレンダリングすることは、聴取者位置と前記一つまたは複数の有効オーディオ要素の有効オーディオ要素位置との間のそれぞれの距離に従って、音減衰モデリングを適用する、
請求項1または2に記載の方法。 - 少なくとも2つの有効オーディオ要素が、前記オーディオ・シーンの記述から決定され;
前記レンダリング・モード指示は、前記少なくとも2つの有効オーディオ要素のそれぞれについて、それぞれの所定のレンダリング・モードを示し;
当該方法は、それぞれの所定のレンダリング・モードを使用して、前記少なくとも2つの有効オーディオ要素をレンダリングすることを含み;
それぞれの所定のレンダリング・モードを使用して各有効オーディオ要素をレンダリングすることは、その有効オーディオ要素の有効オーディオ要素情報を考慮に入れ、その有効オーディオ要素についてのレンダリング・モードは、その有効オーディオ要素についてのレンダリング出力に対するオーディオ・シーンの音響環境の影響を制御するためのレンダリング・ツールのそれぞれの所定の構成を定義する、
請求項1ないし3のうちいずれか一項に記載の方法。 - 前記オーディオ・シーンの記述から一つまたは複数のもとのオーディオ要素を決定する段階と;
前記オーディオ・シーンの記述から、前記一つまたは複数のオーディオ要素のオーディオ要素位置を示すオーディオ要素情報を決定する段階と;
前記一つまたは複数の有効オーディオ要素について使用される所定のレンダリング・モードとは異なる前記一つまたは複数のオーディオ要素についてのレンダリング・モードを使用して、前記一つまたは複数のオーディオ要素をレンダリングする段階とをさらに含み、
前記一つまたは複数のオーディオ要素についてのレンダリング・モードを使用して前記一つまたは複数のオーディオ要素をレンダリングすることは、前記オーディオ要素情報を考慮に入れる、
請求項1ないし4のうちいずれか一項に記載の方法。 - 前記所定のレンダリング・モードが使用される聴取者位置領域を示す聴取者位置領域情報を取得することをさらに含む、
請求項1ないし5のうちいずれか一項に記載の方法。 - 前記レンダリング・モード指示によって示される所定のレンダリング・モードは、前記聴取者位置に依存し;
当該方法は、前記聴取者位置領域情報によって示される前記聴取者位置領域について、前記レンダリング・モード指示によって示されるその所定のレンダリング・モードを使用して、前記一つまたは複数の有効オーディオ要素をレンダリングすることを含む、
請求項6に記載の方法。 - オーディオ・シーン・コンテンツを生成する方法であって、当該方法は:
音響環境を含むオーディオ・シーンからの捕捉された信号を表す一つまたは複数のオーディオ要素を取得する段階と;
生成される一つまたは複数の有効オーディオ要素の有効オーディオ要素位置を示す有効オーディオ要素情報を得る段階であって、前記一つまたは複数の有効オーディオ要素は前記音響環境の影響をカプセル化し、前記オーディオ・シーンを表わす一つまたは複数の仮想オーディオ・オブジェクトに対応し、前記有効オーディオ要素情報は、前記一つまたは複数の有効オーディオ要素のそれぞれの音放射パターンを示す情報を含む、段階と;
前記捕捉された信号が捕捉された位置と前記一つまたは複数の有効オーディオ要素の有効オーディオ要素位置との間の距離に従って音減衰モデリングを適用することによって、前記捕捉された信号を表わす前記一つまたは複数のオーディオ要素から前記一つまたは複数の有効オーディオ要素を決定する段階とを含む、
方法。 - オーディオ・シーン・コンテンツをビットストリームにエンコードする方法であって、当該方法は:
オーディオ・シーンの記述を受領する段階であって、前記オーディオ・シーンは、音響環境と、それぞれのオーディオ要素位置にある一つまたは複数のオーディオ要素とを含む、段階と;
前記一つまたは複数のオーディオ要素からそれぞれの有効オーディオ要素位置における一つまたは複数の有効オーディオ要素を決定する段階であって、前記一つまたは複数の有効オーディオ要素は一つまたは複数のもとのオーディオ・オブジェクトに対応し、前記一つまたは複数の有効オーディオ要素は前記音響環境の影響をカプセル化し、前記オーディオ・シーンを表わす一つまたは複数の仮想オーディオ・オブジェクトに対応する、段階と;
前記一つまたは複数の有効オーディオ要素の有効オーディオ要素位置を示す有効オーディオ要素情報を生成する段階であって、前記有効オーディオ要素情報は、前記一つまたは複数の有効オーディオ要素のそれぞれの音放射パターンを示す情報を含むように生成される、段階と;
前記一つまたは複数の有効オーディオ要素が、事前レンダリングされたオーディオ要素から得られた音場を表わし、デコーダにおけるレンダリング出力に対する音響環境の影響を制御するためのデコーダのレンダリング・ツールの所定の構成を定義する所定のレンダリング・モードを使用してレンダリングされるべきであることを示すレンダリング・モード指示を生成する段階と;
前記一つまたは複数のオーディオ要素、前記オーディオ要素位置、前記一つまたは複数の有効オーディオ要素、前記有効オーディオ要素情報、および前記レンダリング・モード指示をビットストリームにエンコードする段階を含む、
方法。 - 音響環境における聴取者の頭部の位置を示す聴取者位置情報、および/または音響環境における聴取者の頭部の配向を示す聴取者配向情報を得る段階と;
前記聴取者位置情報および/または聴取者配向情報を前記ビットストリームにエンコードする段階とをさらに含む、
請求項9に記載の方法。 - いくつかの実施形態では、少なくとも2つの有効オーディオ要素が生成され、前記ビットストリームにエンコードされ;
レンダリング・モード指示は、前記少なくとも2つの有効オーディオ要素のそれぞれについて、それぞれの所定のレンダリング・モードを示す、
請求項9または10に記載の方法。 - 前記所定のレンダリング・モードが使用される聴取者位置領域を示す聴取者位置領域情報を取得する段階と;
前記聴取者位置領域情報を前記ビットストリームにエンコードする段階とをさらに含む、
請求項9ないし11のうちいずれか一項に記載の方法。 - 前記レンダリング・モード指示によって示される前記所定のレンダリング・モードは、前記聴取者位置に依存し、前記レンダリング・モード指示は、複数の聴取者位置のそれぞれについてそれぞれの所定のレンダリング・モードを示す、請求項12に記載の方法。
- プロセッサのための命令を記憶しているメモリに結合されたプロセッサを含むオーディオ・デコーダであって、前記プロセッサは、請求項1ないし7のうちいずれか一項に記載の方法を実行するように適応されている、オーディオ・デコーダ。
- 命令を含んでいるコンピュータ・プログラムであって、前記命令は、前記命令を実行するプロセッサに、請求項1ないし7のうちいずれか一項に記載の方法を実行させるものである、コンピュータ・プログラム。
- 請求項15に記載のコンピュータ・プログラムを記憶しているコンピュータ可読記憶媒体。
- プロセッサのための命令を記憶しているメモリに結合されたプロセッサを含むオーディオ・エンコーダであって、前記プロセッサは、請求項8ないし13のうちいずれか一項に記載の方法を実行するように適応されている、オーディオ・エンコーダ。
- 命令を含んでいるコンピュータ・プログラムであって、前記命令は、前記命令を実行するプロセッサに、請求項8ないし13のうちいずれか一項に記載の方法を実行させるものである、コンピュータ・プログラム。
- 請求項18に記載のコンピュータ・プログラムを記憶しているコンピュータ可読記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023179225A JP2024012333A (ja) | 2018-04-11 | 2023-10-18 | オーディオ・レンダリングのための事前レンダリングされた信号のための方法、装置およびシステム |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862656163P | 2018-04-11 | 2018-04-11 | |
US62/656,163 | 2018-04-11 | ||
US201862755957P | 2018-11-05 | 2018-11-05 | |
US62/755,957 | 2018-11-05 | ||
PCT/EP2019/058833 WO2019197349A1 (en) | 2018-04-11 | 2019-04-08 | Methods, apparatus and systems for a pre-rendered signal for audio rendering |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023179225A Division JP2024012333A (ja) | 2018-04-11 | 2023-10-18 | オーディオ・レンダリングのための事前レンダリングされた信号のための方法、装置およびシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021521681A true JP2021521681A (ja) | 2021-08-26 |
JP7371003B2 JP7371003B2 (ja) | 2023-10-30 |
Family
ID=66165950
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020555105A Active JP7371003B2 (ja) | 2018-04-11 | 2019-04-08 | オーディオ・レンダリングのための事前レンダリングされた信号のための方法、装置およびシステム |
JP2023179225A Pending JP2024012333A (ja) | 2018-04-11 | 2023-10-18 | オーディオ・レンダリングのための事前レンダリングされた信号のための方法、装置およびシステム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023179225A Pending JP2024012333A (ja) | 2018-04-11 | 2023-10-18 | オーディオ・レンダリングのための事前レンダリングされた信号のための方法、装置およびシステム |
Country Status (7)
Country | Link |
---|---|
US (1) | US11540079B2 (ja) |
EP (1) | EP3777245A1 (ja) |
JP (2) | JP7371003B2 (ja) |
KR (2) | KR102643006B1 (ja) |
CN (4) | CN115346539A (ja) |
BR (1) | BR112020019890A2 (ja) |
WO (1) | WO2019197349A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113993060A (zh) * | 2018-04-09 | 2022-01-28 | 杜比国际公司 | 用于mpeg-h 3d音频的三自由度(3dof+)扩展的方法、设备和系统 |
CN115346539A (zh) * | 2018-04-11 | 2022-11-15 | 杜比国际公司 | 用于音频渲染的预渲染信号的方法、设备和系统 |
US11722718B2 (en) | 2019-01-24 | 2023-08-08 | Interdigital Vc Holdings, Inc. | System and method for adaptive spatial content streaming with multiple levels of detail and degrees of freedom |
US20230171557A1 (en) * | 2020-03-16 | 2023-06-01 | Nokla Technologies Oy | Rendering encoded 6dof audio bitstream and late updates |
JP2024525456A (ja) * | 2021-06-30 | 2024-07-12 | テレフオンアクチーボラゲット エルエム エリクソン(パブル) | 残響レベルの調整 |
CN116567516A (zh) * | 2022-01-28 | 2023-08-08 | 华为技术有限公司 | 一种音频处理方法和终端 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016521532A (ja) * | 2013-05-16 | 2016-07-21 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | オーディオ処理装置及び方法 |
JP2016538585A (ja) * | 2013-10-22 | 2016-12-08 | フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. | ダウンミックス行列を復号及び符号化するための方法、音声コンテンツを呈示するための方法、ダウンミックス行列のためのエンコーダ及びデコーダ、音声エンコーダ及び音声デコーダ |
WO2016208406A1 (ja) * | 2015-06-24 | 2016-12-29 | ソニー株式会社 | 音声処理装置および方法、並びにプログラム |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SI1875463T1 (sl) * | 2005-04-22 | 2019-02-28 | Qualcomm Incorporated | Sistemi, postopki in naprava za glajenje faktorja ojačenja |
US8817072B2 (en) * | 2010-03-12 | 2014-08-26 | Sony Corporation | Disparity data transport and signaling |
TWI517028B (zh) * | 2010-12-22 | 2016-01-11 | 傑奧笛爾公司 | 音訊空間定位和環境模擬 |
WO2012122397A1 (en) * | 2011-03-09 | 2012-09-13 | Srs Labs, Inc. | System for dynamically creating and rendering audio objects |
KR102185941B1 (ko) * | 2011-07-01 | 2020-12-03 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 적응형 오디오 신호 생성, 코딩 및 렌더링을 위한 시스템 및 방법 |
EP2637427A1 (en) * | 2012-03-06 | 2013-09-11 | Thomson Licensing | Method and apparatus for playback of a higher-order ambisonics audio signal |
KR20140047509A (ko) * | 2012-10-12 | 2014-04-22 | 한국전자통신연구원 | 객체 오디오 신호의 잔향 신호를 이용한 오디오 부/복호화 장치 |
SG11201504368VA (en) * | 2012-12-04 | 2015-07-30 | Samsung Electronics Co Ltd | Audio providing apparatus and audio providing method |
US9412385B2 (en) | 2013-05-28 | 2016-08-09 | Qualcomm Incorporated | Performing spatial masking with respect to spherical harmonic coefficients |
EP2830045A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Concept for audio encoding and decoding for audio channels and audio objects |
EP2830047A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for low delay object metadata coding |
MX361115B (es) | 2013-07-22 | 2018-11-28 | Fraunhofer Ges Forschung | Descodificador de audio multicanal, codificador de audio multicanal, métodos, programa de computadora y representación de audio codificada usando una decorrelación de señales de audio renderizadas. |
EP2830052A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension |
CN103701577B (zh) | 2013-12-11 | 2017-08-11 | 北京邮电大学 | 云无线接入网中抑制导频污染的导频分配方法 |
DE102014211899A1 (de) | 2014-06-20 | 2015-12-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Kopiergeschützten Erzeugen und Abspielen einer Wellenfeldsynthese-Audiodarstellung |
CN104168091A (zh) | 2014-09-01 | 2014-11-26 | 东南大学 | 一种面向多播业务的多天线分组预编码方法 |
KR20230105002A (ko) | 2015-08-25 | 2023-07-11 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 프레젠테이션 변환 파라미터들을 사용하는 오디오 인코딩및 디코딩 |
US9961467B2 (en) | 2015-10-08 | 2018-05-01 | Qualcomm Incorporated | Conversion from channel-based audio to HOA |
US10046229B2 (en) * | 2016-05-02 | 2018-08-14 | Bao Tran | Smart device |
EP3472832A4 (en) | 2016-06-17 | 2020-03-11 | DTS, Inc. | DISTANCE-BASED PANORAMIC USING NEAR / FAR FIELD RENDERING |
US10262665B2 (en) | 2016-08-30 | 2019-04-16 | Gaudio Lab, Inc. | Method and apparatus for processing audio signals using ambisonic signals |
JP2019533404A (ja) * | 2016-09-23 | 2019-11-14 | ガウディオ・ラボ・インコーポレイテッド | バイノーラルオーディオ信号処理方法及び装置 |
US10659904B2 (en) * | 2016-09-23 | 2020-05-19 | Gaudio Lab, Inc. | Method and device for processing binaural audio signal |
CN106603134B (zh) | 2016-12-22 | 2020-10-27 | 东南大学 | 一种用于双向无线通信系统的分布式天线选择设计方法 |
CN115346539A (zh) * | 2018-04-11 | 2022-11-15 | 杜比国际公司 | 用于音频渲染的预渲染信号的方法、设备和系统 |
EP3693846A1 (en) * | 2019-02-06 | 2020-08-12 | Nokia Technologies Oy | An apparatus, method or computer program for rendering sound scenes defined by spatial audio content to a user |
-
2019
- 2019-04-08 CN CN202210986571.1A patent/CN115346539A/zh active Pending
- 2019-04-08 CN CN202210986583.4A patent/CN115334444A/zh active Pending
- 2019-04-08 JP JP2020555105A patent/JP7371003B2/ja active Active
- 2019-04-08 CN CN201980024258.6A patent/CN111955020B/zh active Active
- 2019-04-08 KR KR1020207032058A patent/KR102643006B1/ko active IP Right Grant
- 2019-04-08 KR KR1020247006678A patent/KR20240033290A/ko active Search and Examination
- 2019-04-08 BR BR112020019890-0A patent/BR112020019890A2/pt unknown
- 2019-04-08 US US17/046,295 patent/US11540079B2/en active Active
- 2019-04-08 WO PCT/EP2019/058833 patent/WO2019197349A1/en active Search and Examination
- 2019-04-08 EP EP19717274.5A patent/EP3777245A1/en active Pending
- 2019-04-08 CN CN202210985470.2A patent/CN115346538A/zh active Pending
-
2023
- 2023-10-18 JP JP2023179225A patent/JP2024012333A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016521532A (ja) * | 2013-05-16 | 2016-07-21 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | オーディオ処理装置及び方法 |
JP2016538585A (ja) * | 2013-10-22 | 2016-12-08 | フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. | ダウンミックス行列を復号及び符号化するための方法、音声コンテンツを呈示するための方法、ダウンミックス行列のためのエンコーダ及びデコーダ、音声エンコーダ及び音声デコーダ |
WO2016208406A1 (ja) * | 2015-06-24 | 2016-12-29 | ソニー株式会社 | 音声処理装置および方法、並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3777245A1 (en) | 2021-02-17 |
JP2024012333A (ja) | 2024-01-30 |
RU2020132974A (ru) | 2022-04-07 |
BR112020019890A2 (pt) | 2021-01-05 |
CN111955020B (zh) | 2022-08-23 |
CN115346538A (zh) | 2022-11-15 |
WO2019197349A1 (en) | 2019-10-17 |
US11540079B2 (en) | 2022-12-27 |
KR20200140875A (ko) | 2020-12-16 |
US20210120360A1 (en) | 2021-04-22 |
CN115334444A (zh) | 2022-11-11 |
JP7371003B2 (ja) | 2023-10-30 |
KR102643006B1 (ko) | 2024-03-05 |
CN115346539A (zh) | 2022-11-15 |
CN111955020A (zh) | 2020-11-17 |
KR20240033290A (ko) | 2024-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7371003B2 (ja) | オーディオ・レンダリングのための事前レンダリングされた信号のための方法、装置およびシステム | |
US11937068B2 (en) | Apparatus and method for reproducing a spatially extended sound source or apparatus and method for generating a bitstream from a spatially extended sound source | |
RU2602346C2 (ru) | Рендеринг отраженного звука для объектно-ориентированной аудиоинформации | |
US20230126927A1 (en) | Signal processing device, method, and program | |
US10271156B2 (en) | Audio signal processing method | |
US20220377489A1 (en) | Apparatus and Method for Reproducing a Spatially Extended Sound Source or Apparatus and Method for Generating a Description for a Spatially Extended Sound Source Using Anchoring Information | |
US20240089694A1 (en) | A Method and Apparatus for Fusion of Virtual Scene Description and Listener Space Description | |
US20230262407A1 (en) | Methods, apparatus and systems for a pre-rendered signal for audio rendering | |
TW202332290A (zh) | 使用空間擴展音源之呈現器、解碼器、編碼器、方法及位元串流 | |
RU2787581C2 (ru) | Способы, устройства и системы для подвергнутого предварительному рендерингу сигнала для рендеринга звука | |
CN114128312B (zh) | 用于低频效果的音频渲染 | |
TW202324378A (zh) | 後期迴響距離衰減技術 | |
GB2614537A (en) | Conditional disabling of a reverberator |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A529 Effective date: 20201008 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231018 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7371003 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |