JP2021514164A - オブジェクトベースの空間オーディオマスタリングのための装置および方法 - Google Patents

オブジェクトベースの空間オーディオマスタリングのための装置および方法 Download PDF

Info

Publication number
JP2021514164A
JP2021514164A JP2020543912A JP2020543912A JP2021514164A JP 2021514164 A JP2021514164 A JP 2021514164A JP 2020543912 A JP2020543912 A JP 2020543912A JP 2020543912 A JP2020543912 A JP 2020543912A JP 2021514164 A JP2021514164 A JP 2021514164A
Authority
JP
Japan
Prior art keywords
audio
audio object
processing
group
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020543912A
Other languages
English (en)
Other versions
JP7277475B2 (ja
Inventor
ジーモン ヘスターマン
ジーモン ヘスターマン
クリストフ スラデチェック
クリストフ スラデチェック
マリオ ザイデネック
マリオ ザイデネック
Original Assignee
フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ
フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ, フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ filed Critical フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ
Publication of JP2021514164A publication Critical patent/JP2021514164A/ja
Priority to JP2023004163A priority Critical patent/JP2023055736A/ja
Application granted granted Critical
Publication of JP7277475B2 publication Critical patent/JP7277475B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)

Abstract

一実施形態において、複数のオーディオオブジェクトを使用しながら処理済信号を生成するための装置が提供され、複数のオーディオオブジェクトの各オーディオオブジェクトは、オーディオオブジェクト信号およびオーディオオブジェクトメタデータを含み、オーディオオブジェクトメタデータは、オーディオオブジェクトの位置およびオーディオオブジェクトのゲインパラメーターを含む。装置は、オーディオオブジェクトの処理オブジェクトグループの少なくとも１つのエフェクトパラメーターをユーザー側で指定するためのインタフェース（１１０）を含み、オーディオオブジェクトの処理オブジェクトグループは複数のオーディオオブジェクトのうちの２つ以上のオーディオオブジェクトを含む。装置は、さらに、プロセッサユニット（１２０）を備え、装置はインタフェース（１１０）によって指定される少なくとも１つのエフェクトパラメーターがオーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトのオーディオオブジェクト信号またはオーディオオブジェクトメタデータに適用されるように処理済信号を生成するように構成される。複数のオーディオオブジェクトのうちの１つ以上のオーディオオブジェクトは、オーディオオブジェクトの処理オブジェクトグループに属さない。【選択図】図１

Description

本願は、オーディオオブジェクトの処理、オーディオオブジェクトの符号化および復号化に関し、特にオーディオオブジェクトのオーディオマスタリングに関する。
オブジェクトベースの空間オーディオは、インタラクティブな３次元オーディオ再生へのアプローチである。この概念は、コンテンツの作成者または著作者がオーディオと相互作用する方法だけでなく、オーディオを記憶および伝送する方法も変更する。これを可能にするには、「レンダリング」と呼ばれる再生チェーンにおいて新しいプロセスを確立する必要がある。レンダリングプロセスは、オブジェクトベースのシーンの描写からラウドスピーカー信号を生成する。近年、レコーディングとミキシングについての研究がされているが、オブジェクトベースのマスタリングの概念はほとんどない。チャネルベースのオーディオマスタリングとの主な違いは、オーディオチャネルを調整する代わりに、オーディオオブジェクトを修正する必要があることである。これには、マスタリングのための根本的に新しいアプローチが必要である。この文献において、オブジェクトベースのオーディオをマスタリングする新しい方法が提供される。
近年、オブジェクトベースのオーディオアプローチは多くの関心を集めている。空間オーディオ制作の結果として、ラウドスピーカー信号が記憶されるチャネルベースのオーディオと比較すると、オーディオシーンはオーディオオブジェクトによって説明される。オーディオオブジェクトは、位置やゲインのような追加のメタデータを付加したオーディオ信号からなる仮想の音源として考えることができる。オーディオオブジェクトを再生するためには、いわゆるオーディオレンダラーが必要である。オーディオレンダリングとは、仮想シーンにおけるラウドスピーカーの位置またはリスナーの位置のような追加情報に基づいて、ラウドスピーカーまたはヘッドフォンの信号を生成する処理である。
オーディオコンテンツの作成の処理は、録音、ミキシング、マスタリングの３つの主要部分に分けることができる。過去数十年にわたって、３つのステップのすべてがチャネルベースのオーディオについて広範囲にカバーされてきたが、オブジェクトベースのオーディオは、将来のアプリケーションで新しいワークフローを必要とするだろう。一般的に、将来の技術が新たな可能性をもたらすかもしれないとしても、録音ステップを変更する必要はまだない［１］，［２］。ミキシング処理の場合、サウンドエンジニアが専用スピーカーに信号をパニングすることによって空間ミックスを作成しなくなったため、状況は多少異なる。代わりに、オーディオオブジェクトのすべての位置が空間オーサリングツールによって生成され、これにより、各オーディオオブジェクトのメタデータ部分を定義することができる。オーディオオブジェクトについての完全なマスタリング処理はまだ確立されていない［３］。
従来のオーディオミックスでは、複数のオーディオトラックを特定の数の出力チャネルにルーティングする。このため、異なる再生（プレイバック）構成に対して個別のミックスを作成する必要があるが、マスタリング中に出力チャネルを効率的に処理することができる［４］。オブジェクトベースのオーディオアプローチを使用する場合、オーディオレンダラーはすべてのスピーカー信号をリアルタイムで作成することを担当している。独創的なミキシング処理のフレームワーク内に多数のオーディオオブジェクトを配置することによって、複雑なオーディオシーンが発生する。しかしながら、レンダラーはいくつかの異なるラウドスピーカー手段でオーディオシーンを再生できるため、制作中に出力チャネルを直接処理することはできない。マスタリングの概念は、それ故に、オーディオオブジェクトを個別に修正することのみに基づく場合がある。
今日まで、従来のオーディオ制作は、非常に特殊な聴覚設備とそれらのチャンネル構成、例えばステレオやサラウンド再生に向けられている。それ故に、コンテンツが構成される再生装置の決定は、制作の開始時に行う必要がある。制作処理自体は、録音、ミキシング、マスタリングで構成される。マスタリング処理は最終的なミックスを最適化して、ミックスが異なるスピーカーの特性を有するすべてのコンシューマーシステムで満足のいく品質で再生されることを保証する。ミックスの所望の出力フォーマットは固定されているため、マスタリングエンジニア（ＭＥ）はこの再生構成に最適化されたマスターを作成できる。
マスタリングの間はそれらのミックスの最終的なチェックに頼ることができるため、マスタリングの段階ではクリエイターが次善の音響環境でオーディオを制作するのが賢明である。これにより、専門的なコンテンツの制作への参入障壁が低くなる。一方で、ＭＥら自身が長年にわたって幅広いマスタリングツールを提供してきたことで、修正や拡張を行う能力が劇的に向上している。それにもかかわらず、最終的なコンテンツは通常、それが構成された再生手段に限定される。
この制限は、一般にオブジェクトベースの空間オーディオ制作（ＯＢＡＰ）によって克服される。チャネルベースのオーディオとは対照的に、ＯＢＡＰは「シーン」とも呼ばれる人工的な環境でのそれらの位置を含むメタデータを有する個々のオーディオオブジェクトに基づいている。最終的なリスニング出力でのみ、レンダラーである専用のレンダリングユニットが、リスナーのスピーカー手段に基づいて最終的なスピーカー信号をリアルタイムで計算する。
ＯＢＡＰは各オーディオオブジェクトとそのメタデータとをレンダラーに個別に提供するが、制作中にチャンネルベースで直接調整することはできず、それ故に、従来の再生設備の既存のマスタリングツールを使用することはできない。一方、ＯＢＡＰはすべての最終調整をミックスで行う必要がある。個々のオーディオオブジェクトのそれぞれを手動で処理することによって全体的な音調整を実装する必要性は非常に非効率的であるだけはなく、この状況も各作成者の監視機器に高い要求を課し、オブジェクトベースの３Ｄオーディオコンテンツの音質は作成された環境の音響特性に厳密に制限される。
最終的に、作成者側で同様に強力なＯＢＡＰのマスタリング処理を可能にするツールを開発することで、制作の障壁が低くなり、音の審美性と品質のための新しいスペースが開かれることによって３Ｄオーディオコンテンツの制作への受容性が向上する。
空間マスタリングに関する最初の考えは一般に公開されているが［５］、この文献では、従来のマスタリングツールをどのように適応させることができるか、およびとのような種類のツールがオブジェクトベースの空間オーディオのマスタリングに役立つと考えられるかについて新しいアプローチを提供する。したがって、［５］ではオブジェクト固有のパラメーターをグローバルプロパティからオブジェクトから導出するためにメタデータを使用する方法の基本的なシーケンスが説明されている。さらに、［６］ではＯＢＡＰアプリケーションの文脈で、周囲の遷移領域を有する関心領域の概念が説明されている。
それ故に、改善されたオブジェクトベースのオーディオマスタリングの概念を提供することが望まれている。
請求項１に記載の装置、請求項１４に記載のエンコーダ、請求項１５に記載のデコーダ、請求項１７に記載のシステム、請求項１８に記載の方法および請求項１９に記載のコンピュータプログラムが提供される。
一実施形態において、複数のオーディオオブジェクトを使用しながら処理済信号を生成するための装置が提供され、複数のオーディオオブジェクトの各オーディオオブジェクトは、オーディオオブジェクト信号およびオーディオオブジェクトメタデータを含み、オーディオオブジェクトメタデータは、オーディオオブジェクトの位置およびオーディオオブジェクトのゲインパラメーターを含む。装置は、オーディオオブジェクトの処理オブジェクトグループの少なくとも１つのエフェクトパラメーターをユーザー側で指定するためのインタフェースを含み、オーディオオブジェクトの処理オブジェクトグループは複数のオーディオオブジェクトのうちの２つ以上のオーディオオブジェクトを含む。装置は、さらに、プロセッサユニットを備え、装置はインタフェースによって指定される少なくとも１つのエフェクトパラメーターがオーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトのオーディオオブジェクト信号またはオーディオオブジェクトメタデータに適用されるように処理済信号を生成するように構成される。複数のオーディオオブジェクトのうちの１つ以上のオーディオオブジェクトは、オーディオオブジェクトの処理オブジェクトグループに属さない。
複数のオーディオオブジェクトを使用しながら処理済信号を生成する方法をさらに備え、複数のオーディオオブジェクトの各オーディオオブジェクトはオーディオオブジェクト信号およびオーディオオブジェクトメタデータを含み、オーディオオブジェクトメタデータはオーディオオブジェクトの位置およびオーディオオブジェクトのゲインパラメーターを含む。方法は、
−インタフェース（１１０）によって、オーディオオブジェクトの処理オブジェクトグループの少なくとも１つのエフェクトパラメーターをユーザー側で指定するステップであって、オーディオオブジェクトの処理オブジェクトグループは複数のオーディオオブジェクトのうちの２つ以上のオーディオオブジェクトを備える、指定するステップと、
−インタフェースによって指定される少なくとも１つのエフェクトパラメーターがオーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトのオーディオオブジェクト信号またはオーディオオブジェクトメタデータに適用されるように、処理済信号をプロセッサユニット（１２０）によって生成するステップと、
を含む。
さらに、上記記載の方法を実行するためのプログラムコードを含むコンピュータプログラムが提供される。
提供されるオーディオマスタリングは、オーディオオブジェクトのマスタリングに基づいている。実施形態では、これらをシーンのどこの位置でも、リアルタイムで自由に配置することができる。実施形態では、例えば、一般的なオーディオオブジェクトの特性が影響を受ける。人工コンテナとしてのそれらの機能では、任意の数のオーディオオブジェクトをそれぞれ含めることができる。マスタリングオブジェクトに対するそれぞれの調整は、リアルタイムで同じオーディオオブジェクトに対する個別の調整に変換される。
このようなマスタリングオブジェクトは処理オブジェクトとも呼ばれる。
したがって、多数のオーディオオブジェクトに対して個別に調整する代わりに、ユーザーがマスタリングオブジェクトを使用して、複数のオーディオオブジェクトに対して相互調整を同時に実行できる。
例えば、実施形態によれば、マスタリングオブジェクトのターゲットオーディオオブジェクトのセットを多くの方法で定義することができる。空間的な観点から、ユーザーはマスタリングオブジェクトの位置の周りにカスタマイズされた有効範囲を定義できる。代わりに、位置に関係なく、個別に選択されたオーディオオブジェクトをマスタリングオブジェクトにリンクすることができる。マスタリングオブジェクトは時間の経過に伴うオーディオオブジェクトの位置の潜在的な変化も考慮する。
実施形態によるマスタリングオブジェクトの第２の特性は、例えば、相互作用モデルに基づいて、各オーディオオブジェクトが個々にどのように影響を受けるかを計算する能力であってもよい。チャンネルストリップと同様に、マスタリングオブジェクトは、イコライザーやコンプレッサーなどの一般的なマスタリングエフェクトを引き継ぐことができる。エフェクトプラグインは通常、例えば、周波数またはゲインコントロールとして多数のパラメーターをユーザーに提供する。新しいマスタリングエフェクトがマスタリングオブジェクトに追加されると、前記マスタリングオブジェクトのターゲットセットにすべてのオーディオオブジェクトが自動的にコピーされる。しかし、すべてのエフェクトパラメーター値が変更されずに転送されるわけではない。ターゲットセットの計算方法に依存して、特定のオーディオオブジェクトに適用される前に、いくつかのマスタリングエフェクトパラメーターに重みを付けることができる。重みは、任意のメタデータまたはオーディオオブジェクトのサウンド特性に基づくことができる。
以下では本発明の好ましい実施形態について、図面を参照しながら説明する。
図１は、一実施形態による複数のオーディオオブジェクトを使用しながら処理済信号を生成するための装置を示す。 図２は、別の実施形態による装置を示し、装置はエンコーダである。 図３は、別の実施形態による装置を示し、装置はデコーダである。 図４は、一実施形態によるシステムを示す。 図５は、一実施形態による領域Ａおよびフェード領域Ａfを含む処理オブジェクトを示す。 図６は、一実施形態による領域Ａおよびオブジェクト半径を含む処理オブジェクトを示す。 図７は、一実施形態による処理オブジェクトに対するオーディオオブジェクトの相対角度を示す。 図８は、一実施形態による新しい半径の領域を有するイコライザオブジェクトを示す。 図９は、一実施形態によるｎ個のソースからの信号を圧縮する信号フローを示す。 図１０は一実施形態によるコントロールパネルＭを使用するシーン変換を示す。 図１１は、一実施形態によるオーディオ信号効果およびメタデータ効果を発生させる処理オブジェクトのコンテキストを示す。 図１２は、一実施形態によるユーザー入力についてのオーディオオブジェクトおよびオーディオ信号の変更を示す。 図１３は、一実施形態によるユーザーによる角部Ｃ1、Ｃ2、Ｃ3およびＣ4の歪みについて矩形Ｍを有する処理オブジェクトＰＯ4を示す。 図１４は、一実施形態によるそれぞれの重複する影響を受ける２次元領域ＡおよびＢを有する処理オブジェクトＰＯ1およびＰＯ2を示す。 図１５は、一実施形態による矩形、影響を受ける２次元領域Ｃ、および、ＰＯ3と割り当てられたソースＳ1、Ｓ2およびＳ3との間の角度を有する処理オブジェクトＰＯ3を示す。 図１６は、一実施形態による処理オブジェクトに適用されたイコライザー効果の可能な概略的実装を示す。 図１７は、一実施形態による影響を受ける３次元領域Ｄと、影響を受ける領域を介して割り当てられたソースＳ1，Ｓ2およびＳ3からのそれぞれの距離ｄＳ1，ｄＳ2およびｄＳ3とを有する処理オブジェクトＰ０5を示す。 図１８は、一実施形態によるイコライザーが適用された処理オブジェクトの典型的な実装を示す 図１９は、一実施形態による図１８のような処理オブジェクトを示すが、異なる位置にあり、遷移領域がない処理オブジェクトを示す。 図２０は、一実施形態によるその方位角によって影響を受ける領域として定義された領域を有する処理オブジェクトを示し、ソースＳｒｃ２２およびＳｒｃ４が処理オブジェクトに関連付けられることを示す。 図２１は、一実施形態による図２０のような処理オブジェクトを示すが、「フェザー」スライダーによってユーザーが制御できる追加の遷移領域を有する処理オブジェクトを示す。 図２２は、一実施形態による異なる影響を受ける領域を有する、シーン内のいくつかの処理オブジェクトを示す。 図２３は、一実施形態による画像の右側にある赤い正方形がオーディオオブジェクトの位置の水平方向の歪みに対する処理オブジェクトを示すことを示す。 図２４は、一実施形態によるユーザーが処理オブジェクトの角部を歪ませた後のシーンを示し、すべてのソースの位置が歪みによって変化していることを示す。 図２５は、一実施形態による処理オブジェクトを有する個々のオーディオオブジェクトの関連付けの可能な視覚化を示す。
図１は、一実施形態による複数のオーディオオブジェクトを使用しながら処理済信号を生成するための装置を示し、複数のオーディオオブジェクトの各オーディオオブジェクトは、オーディオオブジェクト信号およびオーディオオブジェクトメタデータを含み、オーディオオブジェクトメタデータは、オーディオオブジェクトの位置およびオーディオオブジェクトのゲインパラメーターを含む。
装置は、オーディオオブジェクトの処理オブジェクトグループの少なくとも１つのエフェクトパラメーターをユーザー側で指定するためのインタフェース１１０を含み、オーディオオブジェクトの処理オブジェクトグループは複数のオーディオオブジェクトのうちの２つ以上のオーディオオブジェクトを含む。
装置は、インタフェース１１０によって指定される少なくとも１つのエフェクトパラメーターがオーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトのオーディオオブジェクト信号またはオーディオオブジェクトメタデータに適用されるように処理済信号を生成するように構成されるプロセッサユニット１２０をさらに含む。
複数のオーディオオブジェクトのうちの１つ以上のオーディオオブジェクトは、オーディオオブジェクトの処理オブジェクトグループに属さない。
上記の図１で説明した装置は、オーディオオブジェクトのためのオーディオマスタリングの効率的な形式を実装する。
オーディオオブジェクトの場合、オーディオシーンに多数のオーディオオブジェクトが存在するという問題がある。これらを変更する場合、各オーディオオブジェクトを個別に指定することはかなりの労力が必要となる。
本発明によれば、２つ以上のオーディオオブジェクトのグループは、処理オブジェクトグループと呼ばれるオーディオオブジェクトのグループにすぐに編成される。それ故に、処理オブジェクトグループはこの特別なグループである処理オブジェクトグループに編成されたオーディオオブジェクトのグループである。
本発明によれば、ユーザーはインタフェース１１０によって１つ以上（少なくとも１つの）エフェクトパラメーターをすぐに指定してもよい。プロセッサユニット１２０は、エフェクトパラメーターの単一の入力により、エフェクトパラメーターが処理オブジェクトグループの２つ以上のオーディオオブジェクトのすべてに適用されることを保証する。
エフェクトパラメーターのこのような適用は、例えば、エフェクトパラメーターが処理オブジェクトグループの各オーディオオブジェクトのオーディオオブジェクト信号の特定の周波数範囲を修正することから構成されていてもよい。
または、処理オブジェクトグループの各オーディオオブジェクトのオーディオオブジェクトメタデータのゲインパラメーターは、例えば、エフェクトパラメーターに依存して増減してもよい。
または、例えば、エフェクトパラメーターに依存して、処理オブジェクトグループの各オーディオオブジェクトのオーディオオブジェクトメタデータの位置が変更されてもよい。例えば、処理オブジェクトグループのすべてのオーディオオブジェクトが、ｘ座標軸に沿って＋２、ｙ座標軸に沿って−３、およびｚ座標軸に沿って＋４だけシフトすることが考えられる。
処理オブジェクトグループのオーディオオブジェクトへのエフェクトパラメーターの適用が、処理オブジェクトグループの各オーディオオブジェクトに異なる影響を及ぼすことも考えられる。例えば、処理オブジェクトのすべてのオーディオオブジェクトの位置がミラーリングされた軸は、エフェクトパラメーターとして定義することができる。したがって、処理オブジェクトグループのオーディオオブジェクトの位置の変更は、処理オブジェクトグループの各オーディオオブジェクトに異なるエフェクトを有するだろう。
例えば、一実施形態では、プロセッサユニット１２０は、例えば、インタフェースによって指定される少なくとも１つのエフェクトパラメーターを、オーディオオブジェクトの処理オブジェクトグループに属していない１つ以上のオーディオオブジェクトのどのオーディオオブジェクト信号およびどのオーディオオブジェクトメタデータに適用しないように構成されてもよい。
このような実施形態の場合、エフェクトパラメーターが処理オブジェクトグループに属さないオーディオオブジェクトには正確に適用されないことが指定される。
原則として、オーディオオブジェクトのマスタリングはエンコーダ側で集中的に実行されてもよい。または、デコーダ側で、オーディオオブジェクトの背景の受信者としてのエンドユーザーが、本発明によってオーディオオブジェクトを自分自身で修正することができる。
本発明によるオーディオオブジェクトのマスタリングをエンコーダ側で実装する実施形態が図２に示されている。
本発明によるオーディオオブジェクトのマスタリングをデコーダ側で実装する実施形態が図３に示されている。
図２は別の実施形態による装置を示し、装置はエンコーダである。
図２では、プロセッサユニット１２０は、複数のオーディオオブジェクトのオーディオオブジェクト信号を使用しながらダウンミックス信号を生成するように構成される。この文脈の中では、プロセッサユニット１２０は、複数のオーディオオブジェクトのオーディオオブジェクトメタデータを使用しながらメタデータ信号を生成するように構成される。
さらに、図２のプロセッサユニット１２０は処理済信号としてダウンミックス信号を生成するように構成され、オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて、少なくとも１つの修正オブジェクト信号がダウンミックス信号に混合され、プロセッサユニット１２０は、オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて、当該オーディオオブジェクトのオーディオオブジェクト信号にインタフェース１１０によって指定される少なくとも１つのエフェクトパラメーターを適用することによって、当該オーディオオブジェクトの修正オブジェクト信号を生成するように構成される。
または、図２のプロセッサユニット１２０は、処理済信号としてメタデータ信号を生成するように構成され、メタデータ信号はオーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて少なくとも１つの修正位置を含み、プロセッサユニット１２０はオーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて、インタフェース１１０によって指定される少なくとも１つのエフェクトパラメーターを当該オーディオオブジェクトの位置に適用することによって当該オーディオオブジェクトの修正位置を生成するように構成される。
または、図２のプロセッサユニット１２０は処理済信号としてメタデータ信号を生成するように構成され、メタデータ信号はオーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて少なくとも１つの修正ゲインパラメーターを含み、プロセッサユニット１２０はオーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて、インタフェース１１０によって指定される少なくとも１つのエフェクトパラメーターを当該オーディオオブジェクトのゲインパラメーターに適用することによって当該オーディオオブジェクトの修正ゲインパラメーターを生成するように構成される。
図３は別の実施形態による装置を示し、装置はデコーダである。図３の装置は複数のオーディオオブジェクトの複数のオーディオオブジェクト信号が混合されているダウンミックス信号を受信するように構成される。さらに、図３の装置はメタデータ信号を受信するように構成され、メタデータ信号は複数のオーディオオブジェクトの各オーディオオブジェクトについて、当該オーディオオブジェクトのオーディオオブジェクトメタデータを含む。
図３のプロセッサユニット１２０は、ダウンミックス信号に基づいて、複数のオーディオオブジェクトの複数のオーディオオブジェクト信号を再構成するように構成される。
さらに、図３のプロセッサユニット１２０は、処理済信号として、１つ以上のオーディオ出力チャネルを備えるオーディオ出力信号を生成するように構成される。
さらに、図３のプロセッサユニット１２０は、インタフェース１１０によって指定される少なくとも１つのエフェクトパラメーターをオーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトのオーディオオブジェクト信号に適用して、処理済信号を生成する、または、インタフェース１１０によって指定される少なくとも１つのエフェクトパラメーターをオーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトのオーディオオブジェクトメタデータの位置もしくはゲインパラメーターに適用して、処理済信号を生成するように構成される。
オーディオオブジェクトの復号において、デコーダ側でのレンダリングは例えばＳＡＯＣ標準（空間オーディオオブジェクトコーディング）から当業者によく知られている。［８］を参照。
デコーダ側では、１つ以上のレンダリングパラメーターを、インタフェース１１０を介したユーザー入力によって指定することができる。
例えば、一実施形態では、図３のインタフェース１１０は１つ以上のレンダリングパラメーターをユーザー側で指定するように構成されてもよい。例えば、図３のプロセッサユニット１２０は、オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトの位置に依存して１つ以上のレンダリングパラメーターを使用しながら処理済信号を生成するように構成されてもよい。
図４は、エンコーダ２００およびデコーダ３００を含む一実施形態によるシステムを示す。
図４のエンコーダ２００は、複数のオーディオオブジェクトのオーディオオブジェクト信号に基づいてダウンミックス信号を生成し、複数のオーディオオブジェクトのオーディオオブジェクトメタデータに基づいてメタデータ信号を生成するように構成され、オーディオオブジェクトメタデータはオーディオオブジェクトの位置およびオーディオオブジェクトのゲインパラメーターを含む。
図４のデコーダ４００は、ダウンミックス信号に基づいておよびメタデータ信号に基づいて、１つ以上のオーディオ出力チャネルを含むオーディオ出力信号を生成するように構成される。
図４のシステムのエンコーダ２００は図２による装置であってもよい。
または、図４のシステムのデコーダ３００は図３による装置であってもよい。
または、図４のシステムのエンコーダ２００は図２による装置であってもよく、図４のシステムのデコーダ３００は図３の装置であってもよい。
以下の実施形態は、図１の装置、図２の装置および図３の装置に等しく実装されてもよい。また、それらは図４のシステムのエンコーダ２００および図４のシステムのデコーダ３００に実装されてもよい。
一実施形態によれば、プロセッサユニット１２０は、例えば、インタフェース１１０によって指定される少なくとも１つのエフェクトパラメーターが、オーディオオブジェクトの処理オブジェクトグループのそれぞれのオーディオオブジェクトのオーディオオブジェクト信号に適用されるように、処理済信号を生成するように構成されてもよい。この文脈の中では、プロセッサユニット１２０は、例えば、インタフェースによって指定される少なくとも１つのエフェクトパラメーターを、オーディオオブジェクトの処理オブジェクトグループに属さない複数のオーディオオブジェクトのうちの１つ以上のオーディオオブジェクトのオーディオオブジェクト信号に適用しないように構成されてもよい。
このようなエフェクトパラメーターの適用は、例えば、処理オブジェクトグループの各オーディオオブジェクトのオーディオオブジェクト信号へのエフェクトパラメーターの適用が、例えば、処理オブジェクトグループの各オーディオオブジェクトのオーディオオブジェクト信号の特定の周波数範囲を変更するように構成されていてもよい。
一実施形態では、プロセッサユニット１２０は、例えば、インタフェース１１０によって指定される少なくとも１つのエフェクトパラメーターが、オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトのメタデータのゲインパラメーターに適用されるように、処理済信号を生成するように構成されてもよい。この文脈の中では、プロセッサユニット１２０は、例えば、インタフェースによって指定される少なくとも１つのエフェクトパラメーターを、オーディオオブジェクトの処理オブジェクトグループに属さない複数のオーディオオブジェクトのうちの１つ以上のオーディオオブジェクトのオーディオオブジェクトメタデータのゲインパラメーターのいずれにも適用しないように構成されてもよい。
上記で説明したように、このような実施形態では、処理オブジェクトグループの各オーディオオブジェクトのオーディオオブジェクトメタデータのゲインパラメーターは、エフェクトパラメーターの関数として、増加（例えば、＋３ｄＢ）または減少させてもよい。
一実施形態によれば、プロセッサユニット１２０は、例えば、インタフェース１１０によって指定される少なくとも１つのエフェクトパラメーターが、オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトのメタデータの位置に適用されるように、処理済信号を生成するように構成されてもよい。この文脈の中では、プロセッサユニット１２０は、例えば、インタフェースによって指定される少なくとも１つのエフェクトパラメーターをオーディオオブジェクトの処理オブジェクトグループに属さない複数のオーディオオブジェクトのうちの１つ以上のオーディオオブジェクトのオーディオオブジェクトメタデータの位置のいずれにも適用しないように構成されてもよい。
既に説明したように、このような実施形態では、処理オブジェクトグループの各オーディオオブジェクトのオーディオオブジェクトメタデータの位置は、例えばエフェクトパラメーターの関数として、それに応じて変更されてもよい。これは、例えば、各オーディオオブジェクトの位置がシフトされる対応するｘ、ｙ、ｚ座標値を指定することで実行されてもよい。または、例えば、特定の角度、例えばユーザーの位置を中心に定義された中心点を中心に回転することのシフト（変位）が指定されてもよい。または、例えば、特定の点からの距離を２倍にする（または、半分にする）ことが、処理オブジェクトグループの各オーディオオブジェクトの位置についてのエフェクトパラメーターとして提供されてもよい。
一実施形態では、インタフェース１１０は、例えば、オーディオオブジェクトの処理オブジェクトグループの少なくとも１つの定義パラメーターをユーザー側で指定するように構成されてもよい。この文脈の中では、プロセッサユニット１２０は、例えば、インタフェース１１０によって指定されたオーディオオブジェクトの処理オブジェクトグループのうちの少なくとも１つの定義パラメーターに応じて、複数のオーディオオブジェクトのオーディオオブジェクトがどのオーディオオブジェクトの処理オブジェクトグループに属するかを決定するように構成されてもよい。
例えば、一実施形態によれば、オーディオオブジェクトの処理オブジェクトグループの少なくとも１つの定義パラメーターは、関心領域の少なくとも１つの位置を含んでもよい（関心領域の位置は、例えば、関心領域の中心または重心である）。関心領域は、オーディオオブジェクトの処理オブジェクトグループに関連付けられていてもよい。プロセッサユニット１２０は、例えば、このオーディオオブジェクトのオーディオオブジェクトメタデータの位置に依存して、且つ、関心領域の位置に依存して、複数のオーディオオブジェクトのうちの各オーディオオブジェクトについて、このオーディオオブジェクトがオーディオオブジェクトの処理オブジェクトグループに属するかどうかを決定するように構成されてもよい。
一実施形態では、オーディオオブジェクトの処理オブジェクトグループの少なくとも１つの定義パラメーターは、例えば、オーディオオブジェクトの処理オブジェクトグループに関連付けられる関心領域の半径範囲をさらに含んでもよい。プロセッサユニット１２０は、例えば、複数のオーディオオブジェクトのうちの各オーディオオブジェクトについて、このオーディオオブジェクトのオーディオオブジェクトメタデータの位置に応じて、且つ、関心領域の位置に依存して、且つ、関心領域の半径範囲に依存して、このオーディオオブジェクトがオーディオオブジェクトの処理オブジェクトグループに属しているかどうかを決定するように構成されてもよい。
例えば、ユーザーは処理オブジェクトグループの位置および処理オブジェクトグループの半径範囲を指定してもよい。処理オブジェクトグループの位置は空間中心点を指定してもよく、処理オブジェクトグループの半径範囲は、処理オブジェクトグループの中心点とともに円を定義してもよい。円内または円の線上の位置にあるすべてのオーディオオブジェクトは、この処理オブジェクトグループのオーディオオブジェクトとして定義されてもよい。すなわち、円の外側の位置にあるすべてのオーディオオブジェクトは、処理オブジェクトグループに含まれないだろう。円内および円の線上の領域は、「関心領域」として理解することができる。
一実施形態によれば、プロセッサユニット１２０は、例えば、オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて、このオーディオオブジェクトのオーディオオブジェクトメタデータの位置と関心領域記位置との間の距離に応じて、重み係数を決定するように構成されてもよい。プロセッサユニット１２０は、例えば、オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて、前記オーディオオブジェクトの重み係数を、インタフェース１１０によって指定された少なくとも１つのエフェクトパラメーターとともに、このオーディオオブジェクトのオーディオオブジェクト信号またはオーディオオブジェクトメタデータのゲインパラメーターに適用するように構成されてもよい。
このような実施形態では、処理オブジェクトグループの個々のオーディオオブジェクトにおけるエフェクトパラメーターの影響は、エフェクトパラメーターに加えて、各オーディオオブジェクトに個別化され、オーディオオブジェクトに適用される重み係数を決定することによって各オーディオオブジェクトに個別化される。
一実施形態では、オーディオオブジェクトの処理オブジェクトグループの少なくとも１つの定義パラメーターは、例えば、オーディオオブジェクトの処理オブジェクトグループに関連付けられる関心領域がある定義されたユーザーの位置からの方向を指定する少なくとも１つの角度を含んでもよい。プロセッサユニット１２０は、例えば、このオーディオオブジェクトのメタデータの位置に依存して、且つ、関心領域が位置する定義されたユーザーの位置からの方向を指定する角度に依存して、複数のオーディオオブジェクトの各オーディオオブジェクトについて、オーディオオブジェクトがオーディオオブジェクトの処理オブジェクトグループに属するかどうかを決定するように構成されてもよい。
一実施形態によれば、プロセッサユニット１２０は、例えば、オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて、第１の角度と別の角度との間の差に依存する重み係数を決定するように構成され、第１の角度は関心領域が位置する定義されたユーザー位置からの方向を指定する角度であり、別の角度は、定義されたユーザー位置およびこのオーディオオブジェクトのメタデータの位置に依存するように構成されてもよい。プロセッサユニット１２０は、例えば、オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトついて、このオーディオオブジェクトの重み係数をインタフェース１１０によって指定される少なくとも１つのエフェクトパラメーターとともにこのオーディオオブジェクトのオーディオオブジェクト信号またはオーディオオブジェクトメタデータのゲインパラメーターに適用するように構成されてもよい。
一実施形態では、オーディオオブジェクトの処理オブジェクトグループは、例えば、オーディオオブジェクトの第１処理オブジェクトグループであってもよく、例えば、オーディオオブジェクトの１つ以上の別の処理オブジェクトグループがそれに追加して存在してもよい。
１つ以上の別のオーディオオブジェクトの処理オブジェクトグループの各処理オブジェクトグループは複数のオーディオオブジェクトのうちの１つ以上のオーディオオブジェクトを含んでもよく、１つ以上の別のオーディオオブジェクトの処理オブジェクトグループの処理オブジェクトグループのうちの少なくとも１つのオーディオオブジェクトは、オーディオオブジェクトの第１処理オブジェクトグループのオーディオオブジェクトではない。
ここで、インタフェース１１０は、１つ以上の別のオーディオオブジェクトの処理オブジェクトグループの各処理オブジェクトグループについて、このオーディオオブジェクトの処理オブジェクトグループのための少なくとも１つの別のエフェクトパラメーターをユーザー側で指定するように構成されてもよい。
この文脈の中では、プロセッサユニット１２０は、１つ以上の別のオーディオオブジェクトの処理オブジェクトグループの各処理オブジェクトグループについて、インタフェース１１０によって指定されるこの処理オブジェクトグループの少なくとも１つの別のエフェクトパラメーターが、この処理オブジェクトグループの１つ以上のオーディオオブジェクトのそれぞれのオーディオオブジェクト信号またはオーディオオブジェクトメタデータに適用されるように、処理済信号を生成するように構成されてもよく、ここで、複数のオーディオオブジェクトのうちの１つ以上のオーディオオブジェクトがこの処理オブジェクトグループに属さない。
ここで、プロセッサユニット１２０は、例えば、インタフェースによって指定されるこの処理オブジェクトグループの少なくとも１つの別のエフェクトパラメーターを、この処理オブジェクトグループに属さない１つ以上のオーディオオブジェクトのどのオーディオオブジェクト信号およびどのオーディオオブジェクトメタデータに適用しないように構成されてもよい。
このような実施形態では、複数の処理オブジェクトグループが存在してもよいことを意味する。各処理オブジェクトグループについて、１つ以上の個別のエフェクトパラメーターが決定される。
一実施形態によれば、インタフェース１１０は、オーディオオブジェクトの第１処理オブジェクトグループに加えて、例えば、１つ以上のオーディオオブジェクトの１つ以上の別の処理オブジェクトグループをユーザー側で指定するように構成されてもよく、インタフェース１１０は、１つ以上のオーディオオブジェクトの１つ以上の別の処理オブジェクトグループの各処理オブジェクトグループについて、この処理オブジェクトグループの少なくとも１つの定義パラメーターをユーザー側で指定するように構成されてもよい。
この文脈の中では、プロセッサユニット１２０は、例えば、１つ以上のオーディオオブジェクトの１つ以上の別の処理オブジェクトグループの各処理オブジェクトグループについて、複数のオーディオオブジェクトのうちどのオーディオオブジェクトがこの処理オブジェクトグループに属するかを、インタフェース１１０によって指定されるこの処理オブジェクトグループの少なくとも１つの定義パラメーターに依存して決定するように構成されてもよい。
以下に、本発明の実施形態の概念および好ましい実施形態を説明する。
実施形態では、ＯＢＡＰにおける任意の種類のグローバル適応は、（例えば、プロセッサユニット１２０によって）影響を受けるオーディオオブジェクトの個々の変化にグローバル適応を変換することで可能になる。
オブジェクトベースのオーディオ制作のための空間マスタリングは、例えば、本発明の処理オブジェクトを実装することによって、以下のように実施することができる。
全体的な適応の提案された実装は、処理オブジェクト（ＰＯ）によって実装される。従来のオーディオオブジェクトと同様に、リアルタイムでシーン内のどこにでも自由に配置されてもよい。ユーザーは、任意の信号処理を処理オブジェクト（処理オブジェクトグループ）、例えばイコライザー（ＥＱ）またはコンプレッションに適用してもよい。これらの各処理ツールでは、処理オブジェクトのパラメーター設定をオブジェクト固有の設定に変換してもよい。さまざまな方法がこの計算に提供されている。
以下に、関心領域を示す。
Figure 2021514164
Figure 2021514164
Figure 2021514164
Figure 2021514164
以下は、一実施形態による逆パラメーターの計算を説明する。
Figure 2021514164
式（１）によって変形された処理オブジェクトへのユーザー調整は、オーディオオブジェクトの正確な位置が考慮されないため、十分な速度で所望の結果が常に得られるとは限らない。例えば、処理オブジェクトの周囲の領域が非常に大きい場合、且つ、含まれるオーディオオブジェクトが処理オブジェクトの位置から離れている場合、計算された調整の効果は処理オブジェクトの位置でも聞こえない可能性がある。
Figure 2021514164
Figure 2021514164
以下の修正された実施形態では、角度ベースの計算が行われる。
Figure 2021514164
したがって、図７は、一実施形態による処理オブジェクトに対するオーディオオブジェクトの相対角度を示す。
Figure 2021514164
図８は、一実施形態による新しい半径方向の周囲を有するイコライザオブジェクトを示す。
Figure 2021514164
Figure 2021514164
一実施形態では、実装されたアプリケーションはイコライゼーションである。
イコライゼーションは、ミックスの周波数応答が再生システム全体で適切な変換（変形）のための最も重要な要素であるため、マスタリングで最も重要なツールと見なすことができる。
提案されたイコライゼーションの実装は、ＥＱオブジェクトを介して実現される。他のすべてのパラメーターは距離に依存しないため、ゲインパラメーターのみが特に重要である。
別の実施形態では、実装されるアプリケーションは動的制御である。
従来のマスタリングでは、動的圧縮を使用して、時間を超えてミックスの動的変動を制御する。これにより、圧縮設定に依存して、知覚される密度とミックスの過渡応答が変化する。固定圧縮の場合、知覚される密度の変化は「グルー（glue）」とも呼ばれ、より強い圧縮設定はポンプまたはビートヘビーミックスにおけるサイドチェーン効果を使用されてもよい。
ＯＢＡＰを使用して、ユーザーは複数の近接オブジェクトに対して同一の圧縮設定を簡単に指定し、マルチチャネル圧縮を得てもよい。しかしながら、オーディオオブジェクトのグループについての合計圧縮は、タイムクリティカルなワークフローに有利であるだけでなく、心理音響的印象がいわゆる「接着（glued）」信号によって成し遂げられる可能性が高くなる。
Figure 2021514164
別の実施形態にしたがって、実装されたアプリケーションはシーンの変形である。
ステレオマスタリングでは、中間／サイドの処理はミックスのステレオイメージを拡張または安定させるために一般的に使用される手法である。空間オーディオミックスについて、部屋やスピーカーの特徴が非対称になる可能性があり、ミックスが音響的に重要な環境で作成された場合、同様のオプションが役立つかもしれない。ミックスの効果を改善するために、ＭＥの新しい創造的な機会が提供されてもよい。
Figure 2021514164
Figure 2021514164
Figure 2021514164
オーディオオブジェクトの位置は時間とともに変化する可能性があるため、座標位置を時間依存関数として解釈してもよい。
一実施形態では、動的イコライザーが実装される。他の実施形態は、マルチバンド圧縮を実装する。
オブジェクトベースの音調整は、導入されたイコライザーアプリケーションに限定されない。
上記の説明は、実施形態のより一般的な説明によって、以下で再び補足される。
オブジェクトベースの３次元オーディオ制作は、レンダリング処理を介してほとんどの任意のスピーカー構成に対してオーディオシーンがリアルタイムで計算および再生されるアプローチに従う。オーディオシーンはオーディオオブジェクトの配置を時間の関数として説明する。オーディオオブジェクトは、オーディオ信号とメタデータとで構成される。これらのメタデータは、特に、部屋内の位置やボリュームなどが含まれる。シーンを編集するために、以前はユーザーがシーンのすべてのオーディオオブジェクトを個別に変更する必要があった。
一方で処理オブジェクトグループ、他方で処理オブジェクトが言及される場合、各処理オブジェクトについて、処理オブジェクトグループはオーディオオブジェクトを含んで定義されることに留意されたい。処理オブジェクトグループは処理オブジェクトのコンテナとも呼ばれる。それ故に、各処理オブジェクトについて、オーディオオブジェクトのグループは複数のオーディオオブジェクト間で定義される。対応する処理オブジェクトグループは、指定されたオーディオオブジェクトのグループを含む。それ故に、処理オブジェクトグループはオーディオオブジェクトのグループである。
処理オブジェクトは、他のオーディオオブジェクトの特性を変更できるオブジェクトとして定義されてもよい。処理オブジェクトは、任意のオーディオオブジェクトを割り当てることができる人工的なコンテナであり、つまり、コンテナは割り当てられたオーディオオブジェクトのすべてをアドレス指定することに使用される。割り当てられたオーディオオブジェクトは、エフェクトの数に影響される。したがって、処理オブジェクトは、ユーザーに複数のオーディオオブジェクトを同時に処理することを可能にする。
処理オブジェクトには、例えば、位置、割り当て方法、コンテナ、重み付け方法、オーディオ信号処理効果およびメタデータ効果がある。
位置は、仮想シーンにおける処理オブジェクトの位置である。
割り当て方法は、処理オブジェクトを有するオーディオオブジェクトを割り当てる（場合によってはそれら位置を使用しながら）。
コンテナ（または接続）は、処理オブジェクトに関連付けられるすべてのオーディオオブジェクト（または、場合によっては追加の他の処理オブジェクト）のセットである。
重み付け方法は、割り当てられるオーディオオブジェクトの個々のエフェクトパラメーター値を計算するためのアルゴリズムである。
オーディオ信号処理効果は、オーディオオブジェクトのそれぞれのオーディオコンポーネント（例えば、イコライザー、ダイナミクス）を変更する。
メタデータ効果は、オーディオオブジェクトおよび／または処理オブジェクトのメタデータを変更する（例えば、位置の歪み）。
同様に、上記の位置、割り当て方法、コンテナ、重み付け方法、オーディオ信号処理効果およびメタデータ効果も処理オブジェクトグループに関連付けてもよい。ここで、処理オブジェクトのコンテナのオーディオオブジェクトは、処理オブジェクトグループのオーディオオブジェクトである。
図１１は、一実施形態による、オーディオ信号効果およびメタデータ効果がもたらされる処理オブジェクトの接続を示す。
以下では、処理オブジェクトの特性が特別な実施形態によって説明される。：
処理オブジェクトはユーザーによって任意にシーン内に配置してもよく、位置は一定の時間とともにまたは時間の関数として設定されてもよい。
処理オブジェクトは、オーディオオブジェクトのオーディオ信号および／またはメタデータを変更するユーザーによって割り当てられるエフェクトを有してもよい。エフェクトの例は、オーディオ信号のイコライゼーション、オーディオ信号のダイナミクスの処理またはオーディオオブジェクトの位置座標の変化である。
処理オブジェクトは、任意の順序で割り当てられる任意の数のエフェクトを有してもよい。
エフェクトは、割り当てられたオーディオオブジェクトのセットのオーディオ信号および／またはメタデータを変更し、時間が経過しても一定であるか、または時間に依存しているかのいずれかである。
エフェクトは信号の処理および／またはメタデータを制御するパラメーターを有する。これらのパラメーターは、ユーザーによって定数または重みパラメーターに分割されるか、またはそれらのそれぞれのタイプによって定義される。
処理オブジェクトのエフェクトがコピーされ、関連付けられるオーディオオブジェクトに適用される。定数パラメーターの値は、各オーディオオブジェクトによって変更されずに採用される。重みパラメーターの値は、異なる重み付け方法を使用することによって、各オーディオオブジェクトに個別に計算される。ユーザーは、各エフェクトの重み付け方法を選択してもよく、または個々のオーディオソースについて、それをアクティブまたは非アクティブにしてもよい。
重み付け方法は、個々のメタデータおよび／または個々のオーディオオブジェクトの信号特性を考慮に入れる。例えば、これは、オーディオオブジェクトと処理オブジェクトとの間の距離またはオーディオオブジェクトの周波数スペクトルに対応する。重み付け方法はリスナーのリスニング位置も考慮してもよい。さらに、重み付け方法は、個別にパラメーター値を導出するためにオーディオオブジェクトの前述のプロパティを組み合わせてもよい。例えば、各オーディオオブジェクトの音量の変化を個別に導出するために、オーディオオブジェクトのサウンドレベルは動的処理の文脈で追加されてもよい。
エフェクトパラメーターは、時間の経過とともに一定になるように、または時間に依存するように設定されてもよい。重み付け方法は、このような時間変化を考慮に入れる。
重み付け方法は、オーディオレンダラーがシーンから分析する情報を処理することもできる。
処理オブジェクトへのエフェクトの割り当てシーケンスは、各オブジェクトの処理信号またはメタデータのシーケンスに対応する。すなわち、前のエフェクトによって修正されたデータは、その計算の基礎として次のエフェクトによって使用される。最初のエフェクトは、オーディオオブジェクトのまだ変更されていないデータに基づいて機能する。
個々のエフェクトを非アクティブにすることができる。その後、前のエフェクトの計算データが存在する場合は、前のエフェクトの計算データは、非アクティブにされたエフェクトの後のエフェクトに転送されるだろう。
明示的に新しく開発されたエフェクトは、ホモグラフィによるオーディオオブジェクトの位置の変化である（「歪み効果」）。ユーザーには、処理オブジェクトの位置に個別に移動可能な角部を有する矩形が表示される。ユーザーが角部を移動する場合、この歪みの変換行列は、矩形の以前の状態と新しく歪んだ状態から計算される。次に、行列は、処理オブジェクトに関連付けられたオーディオオブジェクトのすべての位置座標に適用され、それらの位置は歪みによって変化する。
メタデータのみを変更するエフェクトは、他の処理オブジェクトにも適用されてもよい（特に「歪み効果」）。
オーディオソースはさまざまな方法で処理オブジェクトに関連付けられていてもよい。関連付けられるオーディオオブジェクトの数も、関連のタイプに応じて、時間の経過とともに変化してもよい。この変化はすべての計算で考慮される。
影響を受ける領域は、処理オブジェクトの位置の周囲に定義されてもよい。
影響を受ける領域内に配置されるすべてのオーディオオブジェクトは、処理オブジェクトのエフェクトが適用される、関連付けられオーディオオブジェクトのセットを形成する。
影響を受ける領域は、ユーザーによって定義された任意のボディ（３次元）または任意の形状（２次元）であってもよい。
影響を受ける領域の中心は、処理オブジェクトの位置に対応してもよいが、対応する必要はない。これはユーザーによって指定される。
その位置が３次元のボディ内にある場合、オーディオオブジェクトは３次元の影響を受ける領域内にある。
水平面に投影されたその位置が２次元の形状内にある場合、オーディオオブジェクトは２次元の影響を受ける領域内にある。
影響を受ける領域は指定されないすべての周囲のサイズを想定できるため、シーン内のすべてのオーディオオブジェクトが影響を受ける領域内に配置される。
必要な場合、影響を受ける領域は、シーンプロパティ（例えば、シーンのスケーリング）の変更に適応する。
影響を受ける領域に関係なく、処理オブジェクトはシーン内のオーディオオブジェクトの任意の選択にリンクされてもよい。
カップリングはユーザーによって定義されてもよく、すべての選択されたオーディオオブジェクトは、処理オブジェクトのエフェクトが適用されるオーディオオブジェクトのセットを形成する。
代わりに、選択されたオーディオオブジェクトの位置によって、処理オブジェクトがその位置を時間の関数として調整するような方法で、カップリングはユーザーによって定義されてもよい。この位置の調整は、リスナーのリスニング位置を考慮してもよい。この文脈の中では、処理オブジェクトのエフェクトは、必ずしもカップリングされたオーディオオブジェクトに適用する必要はない。
関係はユーザー定義の基準に基づいて自動的に行われてもよい。この文脈の中では、シーンのすべてのオーディオオブジェクトは、定義された基準について継続的に検査され、基準が満たされている場合は、それらは処理オブジェクトに関連付けられる。関連の期間は、基準が満たされる時間に制限されてもよく、移行期間が定義されてもよい。移行期間は、１つ以上の基準がオーディオオブジェクトによって継続的に満たされ、それが処理オブジェクトに関連付けられる期間、または１つ以上の基準が継続的に無視され、処理オブジェクトへの関係が再び無視される期間を決定する。
処理オブジェクトはユーザーによって非アクティブにされてもよいため、それらのプロパティは保持され、処理オブジェクトによって影響されるオーディオオブジェクトなしで引き続きユーザーに表示される。
ユーザーは、処理オブジェクトの任意の数のプロパティと、任意の数の他の処理オブジェクトの類似のプロパティとをカップリングすることができる。これらのプロパティはエフェクトのパラメーターを含む。ユーザーは、カップリングが絶対的かまたは相対的かどうかを選択できる。カップリングが一定の場合、処理オブジェクトの変更されたプロパティ値は、カップリングされたすべての処理オブジェクトによって正確に採用される。相対的なカップリングの場合、変更の値はカップリングされた処理オブジェクトのプロパティ値に対してオフセットされる。
処理オブジェクトは複製されてもよい。その際、元の処理オブジェクトと同一のプロパティを持つ第２の処理オブジェクトが生成される。処理オブジェクトのプロパティは、互いに独立している。
処理オブジェクトのプロパティは、例えばコピーする時に、永続的に継承できるため、親によって行われた変更は子に自動的に採用される。
図１２は、一実施形態によるユーザー入力に応答するオーディオオブジェクトおよびオーディオ信号の変更を示す。
処理オブジェクトの別の新しいアプリケーションは、シーン分析を使用するインテリジェントパラメーターの計算である。ユーザーは処理オブジェクトを介して特定の位置でエフェクトパラメーターを定義する。オーディオレンダラーは予測シーン分析を実行して、処理オブジェクトの位置に影響を与えるオーディオソースを検出する。そして、シーン分析を考慮して、ユーザー定義のエフェクト設定が処理オブジェクトの位置で最適となるような方法で、エフェクトが選択されたオーディオソースに適用される。
以下では、図１３−図２５によって視覚的に表される、本発明のさらなる実施形態が説明される。
例えば、図１３はユーザー側の角部Ｃ1、Ｃ2、Ｃ3およびＣ4の歪みについての矩形Ｍを有する処理オブジェクトＰＯ4を示す。図１３は角部Ｃ1´、Ｃ2´、Ｃ3´およびＣ4´を有するＭ´への可能性のある歪みと、新しい位置Ｓ1´、Ｓ2´、Ｓ3´およびＳ4´を有するソースＳ1、Ｓ2、Ｓ3およびＳ4で対応するエフェクトとを概略的に示す。
Figure 2021514164
Figure 2021514164
図１６は、処理オブジェクトに適用されたイコライザー効果の可能な概略的実装を示す。各パラメーターの横にあるｗなどのボタンを使用して、それぞれのパラメーターの重みをアクティブにすることができる。ｍ1、ｍ2およびｍ3は前述の重みパラメーターについての重み付け方法のオプションを提供する。
Figure 2021514164
図１８は、イコライザーが適用された処理オブジェクトの典型的な実装を示す。画像の右側にある波の記号を有する青緑色のオブジェクトは、オーディオシーンの処理オブジェクトを示し、ユーザーがマウスで自由に移動できる。処理オブジェクトの周りの青緑色の透明で均一な領域内で、イコライザーパラメーターは変更されずに、画像の左側で定義されているオーディオオブジェクトＳｒｃ１，Ｓｒｃ２およびＳｒｃ３に適用される。均一の円形領域の周りの、透明な領域に移動するシェーディングは、ゲインパラメーターを除くすべてのパラメーターがソースによって変更されずに採用される領域を示す。これに反して、イコライザーのゲインパラメーターは、ソースと処理オブジェクトとの間の距離によって重み付けされる。ソースＳｒｃ４およびソースＳｒｃ２４だけがこの領域にあるため、この場合、重み付けはそれらのパラメーターに対してのみ行われる。ソースＳｒｃ２２は、処理オブジェクトによって影響を受けない。ユーザーは、「エリア」スライダーによって、処理オブジェクトの周りの円形領域の半径のサイズを制御する。「フェザー」スライダーによって、ユーザーは周囲の遷移領域の半径のサイズを制御する。
図１９は、図１８のような処理オブジェクトを示すが、異なる位置にあり、遷移領域がない。イコライザーのすべてのパラメーターは変更されずにソースＳｒｃ２２およびＳｒｃ４に採用される。ソースＳｒｃ３、Ｓｒｃ２、Ｓｒｃ１およびＳｒｃ２４は、処理オブジェクトによって影響を受けない。
図２０は、その方位角によって影響を受ける領域として定義された領域を有する処理オブジェクトを示し、ソースＳｒｃ２２およびＳｒｃ４が処理オブジェクトに関連付けられる。画像の右側中央にある影響を受ける領域の頂点は、リスナー／ユーザーの位置に対応する。処理オブジェクトを移動すると、領域は方位角によって移動される。「エリア」スライダーを使用して、ユーザーは影響を受ける領域の角度のサイズを決定する。ユーザーは、円形から角度ベースの影響を受ける平面に「エリア」／「フェザー」スライダーによって低い選択範囲を介して変更することができ、現在「半径」と表示している。
図２１は、図２０のような処理オブジェクトを示すが、「フェザー」スライダーによってユーザーが制御できる追加の遷移領域を有する。
図２２は、異なる影響を受ける領域を有する、シーン内のいくつかの処理オブジェクトを示す。灰色の処理オブジェクトはユーザーによって非アクティブにされている。すなわち、それらの影響を受ける領域内のオーディオオブジェクトに影響しない。画像の左側に、現在選択されている処理オブジェクトのイコライザーパラメーターが、常に表示される。選択範囲は、オブジェクトの周りの細く明るい青緑色の線で示される。
図２３は、画像の右側にある赤い正方形がオーディオオブジェクトの位置の水平方向の歪みに対する処理オブジェクトを示すことを示す。ユーザーは、マウスで角部を任意の方向にドラッグして、シーンを歪めることができる。
図２４は、ユーザーが処理オブジェクトの角部をドラッグした後のシーンを示す。すべてのソースの位置が歪みによって変化している。
図２５は、処理オブジェクトを有する個々のオーディオオブジェクトの関連付けの可能な視覚化を示す。
いくつかの態様が装置の文脈において記載されてきたが、前記態様は対応する方法の記述をも表すことは明らかであり、ブロックまたは装置の構成要素は方法ステップまたは方法ステップの機能に対応する。同様に、方法ステップの文脈において記載された態様は、対応する装置の対応するブロック、詳細または機能の記述をも表す。いくつかのまたはすべての方法ステップは、例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のようなハードウェア装置によって（またはハードウェア装置を用いて）実行することができる。いくつかの実施形態において、いくつかの１つ以上の最も重要な方法ステップは、このような装置によって実行することができる。
特定の実現要求に依存して、本発明の実施形態は、ハードウェアにおいてまたはソフトウェアにおいてまたはハードウェアの少なくとも一部においてまたはソフトウェアの少なくとも一部において実施することができる。実施は、その上に記憶された電子的に読取可能な制御信号を有し、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働することができるまたは協働する、デジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイディスク、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを用いて実行することができる。それ故に、デジタル記憶媒体は、コンピュータ読取可能とすることができる。
本発明に係るいくつかの実施形態は、本願明細書に記載された方法のいずれかが実行されるように、プログラム可能なコンピュータシステムと協働することができる、電子的に読取可能な制御信号を含むデータキャリアを備える。
一般に、本発明の実施形態は、コンピュータプログラム製品がコンピュータ上で動作するとき、本発明の方法のいずれかを実行するように動作可能であるプログラムコードによるコンピュータプログラム製品として実施することができる。
プログラムコードは、例えば機械読取可能なキャリアに記憶することができる。
他の実施形態は、本願明細書に記載された方法を実行するコンピュータプログラムを備え、前記コンピュータプログラムは機械読取可能なキャリアに記憶される。言い換えれば、本発明の方法の一実施形態は、コンピュータプログラムがコンピュータ上で動作するとき、本願明細書に記載された方法のいずれかを実行するプログラムコードを有するコンピュータプログラムである。
本発明の方法の更なる実施形態は、本願明細書に記載された方法のいずれかを実行するコンピュータプログラムが記憶されたデータキャリア（またはデジタル記憶媒体またはコンピュータ読取可能媒体）である。データキャリアまたはデジタル記憶媒体またはコンピュータ読取可能媒体は、通常は有形および／または不揮発性である。
本発明の方法の更なる実施形態は、本願明細書に記載された方法のいずれかを実行するコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、データ通信接続、例えばインターネットによって転送されるように構成することができる。
更なる実施形態は、本願明細書に記載された方法のいずれかを実行するように構成されたまたは適合された処理手段、例えばコンピュータまたはプログラマブルロジックデバイスを備える。
更なる実施形態は、本願明細書に記載された方法のいずれかを実行するコンピュータプログラムがインストールされたコンピュータを含む。
本発明に係る更なる実施形態は、本願明細書に記載された方法の少なくとも１つを実行するコンピュータプログラムを、受信者に転送するように構成された装置またはシステムを含む。転送は、例えば、電子的または光学的にされる。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどとすることができる。装置またはシステムは、例えば、コンピュータプログラムを受信者へ転送するファイルサーバを備えることができる。
いくつかの実施形態において、本願明細書に記載された方法のいくつかまたは全ての機能を実行するために、プログラマブルロジックデバイス（例えばフィールドプログラマブルゲートアレイ，ＦＰＧＡ）を用いることができる。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本願明細書に記載された方法のいずれかを実行するために、マイクロプロセッサと協働することができる。一般に、方法は、好ましくはいかなるハードウェア装置によっても実行される。前記ハードウェア装置はコンピュータプロセッサ（ＣＰＵ）のような普遍的に適用可能なハードウェアであってもよいし、ＡＳＩＣのような方法に特有のハードウェアであってもよい。
上記記載された実施形態は、単に本発明の原理に対して説明したものである。本願明細書に記載された構成および詳細の修正および変更は、当業者にとって明らかであると理解される。それ故に、本発明は、間近に迫った特許請求の範囲のスコープのみによって制限され、本願明細書の実施形態の記載および説明の方法によって表された特定の詳細によって制限されないことが意図される。
参考文献
[1]Coleman, P., Franck, A., Francombe, J., Liu, Q., Campos, T. D., Hughes, R., Men-zies, D., Galvez, M. S., Tang, Y., Woodcock, J., Jackson, P., Melchior, F., Pike, C., Fazi, F., Cox, T, and Hilton, A., "An Audio-Visual System for Object-Based Audio: From Recording to Listening," IEEE Transactions on Multimedia, PP(99), pp. 1-1, 2018, ISSN 1520- 9210, doi:10.1109/TMM.2018.2794780.

[2] Gasull Ruiz, A., Sladeczek, C., and Sporer, T., "A Description of an Object-Based Audio Workflow for Media Productions," in Audio Engineering Society Conference: 57th International Conference: The Future of Audio Entertainment Technology, Cinema, Television and the Internet, 2015.

[3] Melchior, F., Michaelis, U., and Steffens, R., "Spatial Mastering - a new concept for spatial sound design in object-based audio scenes," in Proceedings of the International Computer Music Conference 2011, 2011.

[4] Katz, B. and Katz, R. A., Mastering Audio: The Art and the Science, Butterworth-Heinemann, Newton, MA, USA, 2003, ISBN 0240805453, AES Conference on Spatial Reproduction, Tokyo, Japan, 2018 August 6 - 9, page 2

[5] Melchior, F., Michaelis, U., and Steffens, R., "Spatial Mastering - A New Concept for Spatial Sound Design in Object-based Audio Scenes," Proceedings of the International Computer Music Conference 2011, University of Huddersfield, UK, 2011.

[6] Sladeczek, C., Neidhardt, A., Boehme, M., Seeber, M., and Ruiz, A. G., "An Approach for Fast and Intuitive Monitoring of Microphone Signals Using a Virtual Listener," Proceedings, International Conference on Spatial Audio (ICSA), 21.2. - 23.2.2014, Erlangen, 2014

[7] Dubrofsky, E., Homography Estimation, Master's thesis, University of British Columbia, 2009.

[8] ISO/IEC 23003-2:2010 Information technology - MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC); 2010

Claims (19)

  1. 複数のオーディオオブジェクトを使用しながら処理済信号を生成するための装置であって、前記複数のオーディオオブジェクトの各オーディオオブジェクトは、オーディオオブジェクト信号およびオーディオオブジェクトメタデータを含み、前記オーディオオブジェクトメタデータは、前記オーディオオブジェクトの位置および前記オーディオオブジェクトのゲインパラメーターを含み、前記装置は、
    オーディオオブジェクトの処理オブジェクトグループの少なくとも１つのエフェクトパラメーターをユーザー側で指定するためのインタフェース（１１０）であって、前記オーディオオブジェクトの処理オブジェクトグループは前記複数のオーディオオブジェクトのうちの２つ以上のオーディオオブジェクトを含む、インタフェース（１１０）と、
    前記インタフェース（１１０）によって指定される前記少なくとも１つのエフェクトパラメーターが前記オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトの前記オーディオオブジェクト信号または前記オーディオオブジェクトメタデータに適用されるように前記処理済信号を生成するように構成されるプロセッサユニット（１２０）と、
    を備える、装置。
  2. 前記複数のオーディオオブジェクトのうちの１つ以上のオーディオオブジェクトは、前記オーディオオブジェクトの処理オブジェクトグループに属さず、前記プロセッサユニット（１２０）は、前記インタフェースによって指定される前記少なくとも１つのエフェクトパラメーターを、前記オーディオオブジェクトの処理オブジェクトグループに属していない前記１つ以上のオーディオオブジェクトのどのオーディオオブジェクト信号およびどのオーディオオブジェクトメタデータにも適用しないように構成される、
    請求項１に記載の装置。
  3. 前記プロセッサユニット（１２０）は、前記インタフェース（１１０）によって指定される前記少なくとも１つのエフェクトパラメーターが、前記オーディオオブジェクトの処理オブジェクトグループのそれぞれの前記オーディオオブジェクトの前記オーディオオブジェクト信号に適用されるように、前記処理済信号を生成するように構成され、
    前記プロセッサユニット（１２０）は、前記インタフェースによって指定される前記少なくとも１つのエフェクトパラメーターを、前記オーディオオブジェクトの処理オブジェクトグループに属さない前記複数のオーディオオブジェクトのうちの前記１つ以上のオーディオオブジェクトのオーディオオブジェクト信号のいずれにも適用しないように構成される、
    請求項２に記載の装置。
  4. 前記プロセッサユニット（１２０）は、前記インタフェース（１１０）によって指定される前記少なくとも１つのエフェクトパラメーターが、前記オーディオオブジェクトの処理オブジェクトグループの前記各オーディオオブジェクトの前記メタデータの前記ゲインパラメーターに適用されるように、前記処理済信号を生成するように構成され、
    前記プロセッサユニット（１２０）は、前記インタフェースによって指定される前記少なくとも１つのエフェクトパラメーターを、前記オーディオオブジェクトの処理オブジェクトグループに属さない前記複数のオーディオオブジェクトのうちの前記１つ以上のオーディオオブジェクトの前記オーディオオブジェクトメタデータのゲインパラメーターのいずれにも適用しないように構成される、
    請求項２または請求項３に記載の装置。
  5. 前記プロセッサユニット（１２０）は、前記インタフェース（１１０）によって指定される前記少なくとも１つのエフェクトパラメーターが、前記オーディオオブジェクトの処理オブジェクトグループの前記各オーディオオブジェクトの前記メタデータの前記位置に適用されるように、前記処理済信号を生成するように構成され、
    前記プロセッサユニット（１２０）は、前記インタフェースによって指定される前記少なくとも１つのエフェクトパラメーターを、前記オーディオオブジェクトの処理オブジェクトグループに属さない前記複数のオーディオオブジェクトのうちの前記１つ以上のオーディオオブジェクトの前記オーディオオブジェクトメタデータの位置のいずれにも適用しないように構成される、
    請求項２ないし請求項４のいずれかに記載の装置。
  6. 前記インタフェース（１１０）は前記オーディオオブジェクトの処理オブジェクトグループの少なくとも１つの定義パラメーターを前記ユーザーによって指定するように構成され、
    前記プロセッサユニット（１２０）は、前記インタフェース（１１０）によって指定される前記オーディオオブジェクトの処理オブジェクトグループのうちの前記少なくとも１つの定義パラメーターに応じて、前記複数のオーディオオブジェクトのうちのどのオーディオオブジェクトが前記オーディオオブジェクトの処理オブジェクトグループに属するかを決定するように構成される、
    請求項１ないし請求項５のいずれかに記載の装置。
  7. 前記オーディオオブジェクトの処理オブジェクトグループの前記少なくとも１つの定義パラメーターは、前記オーディオオブジェクトの処理オブジェクトグループに関連する関心領域の少なくとも１つの位置を備え、
    前記プロセッサユニット（１２０）は、当該オーディオオブジェクトの前記オーディオオブジェクトメタデータの前記位置に依存して且つ前記関心領域の前記位置に依存して、前記複数のオーディオオブジェクトのうちの各オーディオオブジェクトについて、当該オーディオオブジェクトが前記オーディオオブジェクトの処理オブジェクトグループに属するかどうかを決定するように構成される、
    請求項６に記載の装置。
  8. 前記オーディオオブジェクトの処理オブジェクトグループの前記少なくとも１つの定義パラメーターは、前記オーディオオブジェクトの処理オブジェクトグループに関連する前記関心領域の半径範囲をさらに備え、
    前記プロセッサユニット（１２０）は、前記複数のオーディオオブジェクトのうちの各オーディオオブジェクトについて、当該オーディオオブジェクトの前記オーディオオブジェクトメタデータの前記位置に依存して、且つ前記関心領域の前記位置に依存して、且つ前記関心領域の前記半径範囲に依存して、当該オーディオオブジェクトが前記オーディオオブジェクトの処理オブジェクトグループに属するかどうかを決定するように構成される、
    請求項７に記載の装置。
  9. 前記プロセッサユニット（１２０）は、前記オーディオオブジェクトの処理オブジェクトグループの前記各オーディオオブジェクトについて、当該オーディオオブジェクトの前記オーディオオブジェクトメタデータの前記位置と前記関心領域の前記位置との間の距離に応じて、重み係数を決定するように構成され、
    前記プロセッサユニット（１２０）は、前記オーディオオブジェクトの処理オブジェクトグループの前記各オーディオオブジェクトについて、当該オーディオオブジェクトの前記重み係数を、前記インタフェース（１１０）によって指定される前記少なくとも１つのエフェクトパラメーターとともに、当該オーディオオブジェクトの前記オーディオオブジェクト信号または前記オーディオオブジェクトメタデータの前記ゲインパラメーターに適用するように構成される、
    請求項７または請求項８に記載の装置。
  10. 前記オーディオオブジェクトの処理オブジェクトグループの前記少なくとも１つの定義パラメーターは、前記オーディオオブジェクトの処理オブジェクトグループに関連付けられる関心領域がある定義されたユーザー位置からの方向を指定する少なくとも１つの角度を備え、
    前記プロセッサユニット（１２０）は、前記オーディオオブジェクトの前記メタデータの前記位置に依存して、且つ前記関心領域が位置する前記定義されたユーザー位置からの前記方向を指定する前記角度に依存して、前記複数のオーディオオブジェクトのうちの各オーディオオブジェクトについて、前記オーディオオブジェクトが前記オーディオオブジェクトの処理オブジェクトグループに属するかどうかを決定するように構成される、
    請求項６に記載の装置。
  11. 前記プロセッサユニット（１２０）は、前記オーディオオブジェクトの処理オブジェクトグループの前記各オーディオオブジェクトについて、第１の角度と別の角度との間の差に依存する重み係数を決定するように構成され、前記第１の角度は前記関心領域が位置する前記定義されたユーザー位置からの前記方向を指定する前記角度であり、前記別の角度は、前記定義されたユーザー位置および当該オーディオオブジェクトの前記メタデータの前記位置に依存し、
    前記プロセッサユニット（１２０）は、前記オーディオオブジェクトの処理オブジェクトグループの前記各オーディオオブジェクトについて、当該オーディオオブジェクトの前記重み係数を前記インタフェース（１１０）によって指定される前記少なくとも１つのエフェクトパラメーターとともに当該オーディオオブジェクトの前記オーディオオブジェクト信号または前記オーディオオブジェクトメタデータの前記ゲインパラメーターに適用するように構成される、
    請求項１０に記載の装置。
  12. 前記オーディオオブジェクトの処理オブジェクトグループは、オーディオオブジェクトの第１処理オブジェクトグループであり、１つ以上の別のオーディオオブジェクトの処理オブジェクトグループも存在し、前記１つ以上の別のオーディオオブジェクトの処理オブジェクトグループの各処理オブジェクトグループは前記複数のオーディオオブジェクトのうちの１つ以上のオーディオオブジェクトを含み、前記１つ以上の別のオーディオオブジェクトの処理オブジェクトグループの処理オブジェクトグループのうちの少なくとも１つのオーディオオブジェクトは、前記オーディオオブジェクトの第１処理オブジェクトグループのオーディオオブジェクトではなく、
    前記インターフェース（１１０）は、前記１つ以上の別のオーディオオブジェクトの処理オブジェクトグループの各処理オブジェクトグループについて、当該オーディオオブジェクトの処理オブジェクトグループのための少なくとも１つの別のエフェクトパラメーターをユーザー側で指定するように構成され、
    前記プロセッサユニット（１２０）は、前記１つ以上の別のオーディオオブジェクトの処理オブジェクトグループの各処理オブジェクトグループについて、前記インタフェース（１１０）によって指定される当該処理オブジェクトグループの前記少なくとも１つの別のエフェクトパラメーターが、当該処理オブジェクトグループの前記１つ以上のオーディオオブジェクトのそれぞれの前記オーディオオブジェクト信号または前記オーディオオブジェクトメタデータに適用されるように、前記処理済信号を生成するように構成され、前記複数のオーディオオブジェクトのうちの１つ以上のオーディオオブジェクトが当該処理オブジェクトグループに属さず、前記プロセッサユニット（１２０）は、前記インタフェースによって指定される当該処理オブジェクトグループの前記少なくとも１つの別のエフェクトパラメーターを、当該処理オブジェクトグループに属さない前記１つ以上のオーディオオブジェクトのどのオーディオオブジェクト信号およびどのオーディオオブジェクトメタデータにも適用しないように構成される、
    請求項１ないし請求項１１のいずれか１項に記載の装置。
  13. 前記インタフェース（１１０）は、前記オーディオオブジェクトの第１処理オブジェクトグループに加えて、１つ以上のオーディオオブジェクトの前記１つ以上の別の処理オブジェクトグループを前記ユーザー側で指定するように構成され、前記インタフェース（１１０）は、１つ以上のオーディオオブジェクトの前記１つ以上の別の処理オブジェクトグループの各処理オブジェクトグループについて、当該処理オブジェクトグループの少なくとも１つの定義パラメーターを前記ユーザー側で指定するように構成され、
    前記プロセッサユニット（１２０）は、１つ以上のオーディオオブジェクトの前記１つ以上の別の処理オブジェクトグループの各処理オブジェクトグループについて、どのオーディオオブジェクトが当該処理オブジェクトグループの前記複数のオーディオオブジェクトに属するかを、前記インタフェース（１１０）によって指定される当該処理オブジェクトグループの前記少なくとも１つの定義パラメーターに依存して決定するように構成される、
    請求項１２に記載の装置。
  14. 前記装置はエンコーダであり、前記プロセッサユニット（１２０）は前記複数のオーディオオブジェクトの前記オーディオオブジェクト信号を使用しながらダウンミックス信号を生成するように構成され、前記プロセッサユニット（１２０）は前記複数のオーディオオブジェクトの前記オーディオオブジェクトメタデータを使用しながらメタデータ信号を生成するように構成され、
    前記プロセッサユニット（１２０）は前記処理済信号として前記ダウンミックス信号を生成するように構成され、前記オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて、少なくとも１つの修正オブジェクト信号が前記ダウンミックス信号に混合され、前記プロセッサユニット（１２０）は、前記オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて、当該オーディオオブジェクトの前記オーディオオブジェクト信号に前記インタフェース（１１０）によって指定される前記少なくとも１つのエフェクトパラメーターを適用することによって、当該オーディオオブジェクトの前記修正オブジェクト信号を生成するように構成される、または、
    前記プロセッサユニット（１２０）は前記処理済信号として前記メタデータ信号を生成するように構成され、前記メタデータ信号は前記オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて少なくとも１つの修正位置を含み、前記プロセッサユニット（１２０）は前記オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて、前記インタフェース（１１０）によって指定される前記少なくとも１つのエフェクトパラメーターを当該オーディオオブジェクトの前記位置に適用することによって当該オーディオオブジェクトの前記修正位置を生成するように構成される、または、
    前記プロセッサユニット（１２０）は前記処理済信号として前記メタデータ信号を生成するように構成され、前記メタデータ信号は前記オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて少なくとも１つの修正ゲインパラメーターを含み、前記プロセッサユニット（１２０）は前記オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトについて、前記インタフェース（１１０）によって指定される前記少なくとも１つのエフェクトパラメーターを当該オーディオオブジェクトの前記ゲインパラメーターに適用することによって当該オーディオオブジェクトの前記修正ゲインパラメーターを生成するように構成される、
    請求項１ないし請求項１３のいずれか１項に記載の装置。
  15. 前記装置はデコーダであり、前記装置は前記複数のオーディオオブジェクトの前記複数のオーディオオブジェクト信号が混合されているダウンミックス信号を受信するように構成され、前記装置はメタデータ信号を受信するようにさらに構成され、前記メタデータ信号は前記複数のオーディオオブジェクトの各オーディオオブジェクトについて、当該オーディオオブジェクトの前記オーディオオブジェクトメタデータを含み、
    前記プロセッサユニット（１２０）はダウンミックス信号に基づいて、前記複数のオーディオオブジェクトの前記複数のオーディオオブジェクト信号を再構成するように構成され、
    前記プロセッサユニット（１２０）は、前記処理済信号として、１つ以上のオーディオ出力チャネルを備えるオーディオ出力信号を生成するように構成され、
    前記プロセッサユニット（１２０）は、前記インタフェース（１１０）によって指定される前記少なくとも１つのエフェクトパラメーターを、前記オーディオオブジェクトの処理オブジェクトグループの前記各オーディオオブジェクトの前記オーディオオブジェクト信号に適用して、前記処理済信号を生成する、または、前記インタフェース（１１０）によって指定される前記少なくとも１つのエフェクトパラメーターを、前記オーディオオブジェクトの処理オブジェクトグループの前記各オーディオオブジェクトの前記オーディオオブジェクトメタデータの前記位置もしくは前記ゲインパラメーターに適用して、前記処理済信号を生成するように構成される、
    請求項１ないし請求項１３のいずれか１項に記載の装置。
  16. 前記インタフェース（１１０）は１つ以上のレンダリングパラメーターを前記ユーザー側で指定するためにさらに適合され、
    前記プロセッサユニット（１２０）は前記１つ以上のレンダリングパラメーターを前記オーディオオブジェクトの処理オブジェクトグループの各オーディオオブジェクトの前記位置の関数として使用しながら前記処理済信号を生成するように構成される、
    請求項１５に記載の装置。
  17. 複数のオーディオオブジェクトのオーディオオブジェクト信号に基づいてダウンミックス信号を生成し、前記複数のオーディオオブジェクトのオーディオオブジェクトメタデータに基づいてメタデータ信号を生成するためのエンコーダ（２００）であって、前記オーディオオブジェクトメタデータは前記オーディオオブジェクトの位置および前記オーディオオブジェクトのゲインパラメーターを含むエンコーダ（２００）と、
    前記ダウンミックス信号に基づいておよび前記メタデータ信号に基づいて、１つ以上のオーディオ出力チャネルを含むオーディオ出力信号を生成するためのデコーダ（３００）と、
    を含み、
    前記エンコーダ（２００）は請求項１４に記載の装置である、または、
    前記デコーダ（３００）は請求項１５もしくは請求項１６に記載の装置である、または、
    前記エンコーダ（２００）は請求項１４に記載の装置であり、前記デコーダ（３００）は請求項１５もしくは請求項１６に記載の装置である、
    システム。
  18. 複数のオーディオオブジェクトを使用しながら処理済信号を生成する方法であって、前記複数のオーディオオブジェクトの各オーディオオブジェクトはオーディオオブジェクト信号およびオーディオオブジェクトメタデータを含み、前記オーディオオブジェクトメタデータは前記オーディオオブジェクトの位置および前記オーディオオブジェクトのゲインパラメーターを含み、前記方法は、
    インタフェース（１１０）によって、オーディオオブジェクトの処理オブジェクトグループの少なくとも１つのエフェクトパラメーターをユーザー側で指定するステップであって、前記オーディオオブジェクトの処理オブジェクトグループは前記複数のオーディオオブジェクトのうちの２つ以上のオーディオオブジェクトを備える、指定するステップと、
    前記インタフェースによって指定される前記少なくとも１つのエフェクトパラメーターが前記オーディオオブジェクトの処理オブジェクトグループの前記各オーディオオブジェクトの前記オーディオオブジェクト信号または前記オーディオオブジェクトメタデータに適用されるように、前記処理済信号をプロセッサユニット（１２０）によって生成するステップと、
    を含む、方法。
  19. 請求項１８に記載の方法を実行するためのプログラムコードを含むコンピュータプログラム。
JP2020543912A 2018-02-19 2019-02-18 オブジェクトベースの空間オーディオマスタリングのための装置および方法 Active JP7277475B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023004163A JP2023055736A (ja) 2018-02-19 2023-01-13 オブジェクトベースの空間オーディオマスタリングのための装置および方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE102018202511 2018-02-19
DE102018202511.8 2018-02-19
DE102018206025.8A DE102018206025A1 (de) 2018-02-19 2018-04-19 Vorrichtung und Verfahren für objektbasiertes, räumliches Audio-Mastering
DE102018206025.8 2018-04-19
PCT/EP2019/053961 WO2019158750A1 (de) 2018-02-19 2019-02-18 Vorrichtung und verfahren für objektbasiertes, räumliches audio-mastering

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023004163A Division JP2023055736A (ja) 2018-02-19 2023-01-13 オブジェクトベースの空間オーディオマスタリングのための装置および方法

Publications (2)

Publication Number Publication Date
JP2021514164A true JP2021514164A (ja) 2021-06-03
JP7277475B2 JP7277475B2 (ja) 2023-05-19

Family

ID=67482130

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020543912A Active JP7277475B2 (ja) 2018-02-19 2019-02-18 オブジェクトベースの空間オーディオマスタリングのための装置および方法
JP2023004163A Pending JP2023055736A (ja) 2018-02-19 2023-01-13 オブジェクトベースの空間オーディオマスタリングのための装置および方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023004163A Pending JP2023055736A (ja) 2018-02-19 2023-01-13 オブジェクトベースの空間オーディオマスタリングのための装置および方法

Country Status (8)

Country Link
US (1) US20200374649A1 (ja)
EP (1) EP3756363A1 (ja)
JP (2) JP7277475B2 (ja)
KR (3) KR102427809B1 (ja)
CA (1) CA3091529A1 (ja)
DE (1) DE102018206025A1 (ja)
SG (1) SG11202105234TA (ja)
WO (1) WO2019158750A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023062865A1 (ja) * 2021-10-15 2023-04-20 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2594265A (en) * 2020-04-20 2021-10-27 Nokia Technologies Oy Apparatus, methods and computer programs for enabling rendering of spatial audio signals
US11579838B2 (en) * 2020-11-26 2023-02-14 Verses, Inc. Method for playing audio source using user interaction and a music application using the same
WO2024038925A1 (ko) * 2022-08-18 2024-02-22 엘지전자 주식회사 Tv 및 tv의 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010511912A (ja) * 2006-12-07 2010-04-15 エルジー エレクトロニクス インコーポレイティド オーディオ処理方法及び装置
US20130114819A1 (en) * 2010-06-25 2013-05-09 Iosono Gmbh Apparatus for changing an audio scene and an apparatus for generating a directional function

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100223552A1 (en) * 2009-03-02 2010-09-02 Metcalf Randall B Playback Device For Generating Sound Events
TWI543642B (zh) * 2011-07-01 2016-07-21 杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
US9479886B2 (en) * 2012-07-20 2016-10-25 Qualcomm Incorporated Scalable downmix design with feedback for object-based surround codec
EP3264259A1 (en) * 2016-06-30 2018-01-03 Nokia Technologies Oy Audio volume handling
US9980078B2 (en) * 2016-10-14 2018-05-22 Nokia Technologies Oy Audio object modification in free-viewpoint rendering

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010511912A (ja) * 2006-12-07 2010-04-15 エルジー エレクトロニクス インコーポレイティド オーディオ処理方法及び装置
US20130114819A1 (en) * 2010-06-25 2013-05-09 Iosono Gmbh Apparatus for changing an audio scene and an apparatus for generating a directional function

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"AUDIOBIFS: DESCRIBING AUDIO SCENES WITH THE MPEG-4 MULTIMEDIA STANDARD", IEEE TRANSACTIONS ON MULTIMEDIA, vol. 1, no. 3, JPN6021043807, September 1999 (1999-09-01), pages 237 - 250, ISSN: 0004873224 *
"Panoramix: 3D mixing and post-production workstation", 42ND INTERNATIONAL COMPUTER MUSIC CONFERENCE (ICMC) 2016, JPN6021043805, September 2016 (2016-09-01), pages 122 - 127, ISSN: 0004873222 *
SPATIAL AUDIO WORKSTATION USER MANUAL, vol. Version 2.4.0, JPN7021004704, 31 July 2017 (2017-07-31), pages 1 - 50, ISSN: 0004873223 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023062865A1 (ja) * 2021-10-15 2023-04-20 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
JP7277475B2 (ja) 2023-05-19
KR102654354B1 (ko) 2024-04-03
DE102018206025A1 (de) 2019-08-22
US20200374649A1 (en) 2020-11-26
SG11202105234TA (en) 2021-06-29
EP3756363A1 (de) 2020-12-30
WO2019158750A1 (de) 2019-08-22
CA3091529A1 (en) 2019-08-22
KR20220108218A (ko) 2022-08-02
KR20240052967A (ko) 2024-04-23
KR20200120734A (ko) 2020-10-21
KR102427809B1 (ko) 2022-08-01
JP2023055736A (ja) 2023-04-18

Similar Documents

Publication Publication Date Title
JP7277475B2 (ja) オブジェクトベースの空間オーディオマスタリングのための装置および方法
JP6055576B2 (ja) 任意のスピーカー・レイアウトへのオーディオ・オブジェクトのパン
CN106463128B (zh) 屏幕相关的音频对象重映射的设备和方法
CN109068263B (zh) 使用元数据处理的耳机的双耳呈现
CN109891503B (zh) 声学场景回放方法和装置
JP5973058B2 (ja) レイアウト及びフォーマットに依存しない３ｄオーディオ再生のための方法及び装置
US20170098452A1 (en) Method and system for audio processing of dialog, music, effect and height objects
EP3020042B1 (en) Processing of time-varying metadata for lossless resampling
US9813837B2 (en) Screen-relative rendering of audio and encoding and decoding of audio for such rendering
JP2007501553A (ja) オーディオシーンでのオーディオ表現を生成し、保存し、編集するための装置および方法
KR20130101584A (ko) 오디오 신을 변환하기 위한 장치 및 방향 함수를 발생시키기 위한 장치
KR20220044973A (ko) 다중-층 묘사를 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념
US20240089694A1 (en) A Method and Apparatus for Fusion of Virtual Scene Description and Listener Space Description
TW202105164A (zh) 用於低頻率效應之音訊呈現
WO2023083876A2 (en) Renderers, decoders, encoders, methods and bitstreams using spatially extended sound sources
WO2020044244A1 (en) System for and method of controlling a three-dimensional audio engine
JP2023066402A (ja) アコースティック環境間のオーディオ遷移のための方法および装置
CN114128312A (zh) 用于低频效果的音频渲染
KR20160113035A (ko) 음상 외재화에서 3차원 사운드 이미지를 재생하는 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220509

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230113

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230116

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230207

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230508

R150 Certificate of patent or registration of utility model

Ref document number: 7277475

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150