JP2017526264A5 - - Google Patents

Download PDF

Info

Publication number
JP2017526264A5
JP2017526264A5 JP2017505086A JP2017505086A JP2017526264A5 JP 2017526264 A5 JP2017526264 A5 JP 2017526264A5 JP 2017505086 A JP2017505086 A JP 2017505086A JP 2017505086 A JP2017505086 A JP 2017505086A JP 2017526264 A5 JP2017526264 A5 JP 2017526264A5
Authority
JP
Japan
Prior art keywords
audio
channel
metadata
renderer
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017505086A
Other languages
English (en)
Other versions
JP6710675B2 (ja
JP2017526264A (ja
Filing date
Publication date
Application filed filed Critical
Priority claimed from PCT/US2015/042190 external-priority patent/WO2016018787A1/en
Publication of JP2017526264A publication Critical patent/JP2017526264A/ja
Publication of JP2017526264A5 publication Critical patent/JP2017526264A5/ja
Application granted granted Critical
Publication of JP6710675B2 publication Critical patent/JP6710675B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

一つまたは複数の実装が、例として、個別的な実施形態を用いて記載されているが、一つまたは複数の実装は開示される実施形態に限定されないことは理解されるものとする。逆に、当業者に明白であろうさまざまな修正および類似の構成をカバーすることが意図されている。したがって、付属の請求項の範囲は、そのようなすべての修正および類似の構成を包含するような最も広い解釈を与えられるべきである。
いくつかの態様を記載しておく。
〔態様1〕
適応オーディオ・コンテンツを処理する方法であって:
複数のオーディオ・セグメントを含む適応オーディオ・ビットストリームの各オーディオ・セグメントについてチャネル・ベースのオーディオおよびオブジェクト・ベースのオーディオのうちの一方としてオーディオ型を判別する段階と;
対応するオーディオ・セグメントのオーディオ型を示すメタデータ定義をもって前記各オーディオ・セグメントにタグ付けする段階と;
チャネル・ベースのオーディオとしてタグ付けされたオーディオ・セグメントをチャネル・オーディオ・レンダラー・コンポーネントにおいて処理する段階と;
オブジェクト・ベースのオーディオとしてタグ付けされたオーディオ・セグメントを前記チャネル・オーディオ・レンダラー・コンポーネントとは異なるオブジェクト・オーディオ・レンダラー・コンポーネントにおいて処理する段階とを含む、
方法。
〔態様2〕
前記メタデータ定義を、各オーディオ・セグメントに関連付けられたメタデータ・ペイロードの一部としてエンコードされたオーディオ型メタデータ要素としてエンコードすることをさらに含む、態様1記載の方法。
〔態様3〕
前記メタデータ定義は、デコーダ・コンポーネントによって設定され、前記チャネル・オーディオ・レンダラー・コンポーネントおよびオブジェクト・オーディオ・レンダラー・コンポーネントに伝送される二値のフラグ値を含む、態様1または2記載の方法。
〔態様4〕
二値のフラグ値は、前記チャネル・オーディオ・レンダラー・コンポーネントおよびオブジェクト・オーディオ・レンダラー・コンポーネントによって、受領された各オーディオ・セグメントについてデコードされ、該オーディオ・セグメント内のオーディオ・データは、デコードされた二値のフラグ値に基づいて、前記チャネル・オーディオ・レンダラー・コンポーネントおよびオブジェクト・オーディオ・レンダラー・コンポーネントの一方によってレンダリングされる、態様3記載の方法。
〔態様5〕
前記チャネル・ベースのオーディオは、レガシーのサラウンドサウンドのオーディオを含み、前記チャネル・オーディオ・レンダラー・コンポーネントはアップミキサーを含み、前記オブジェクト・オーディオ・レンダラー・コンポーネントはオブジェクト・オーディオ・レンダラー・インターフェースを有する、態様1ないし4のうちいずれか一項記載の方法。
〔態様6〕
任意の二つの相続くオーディオ・セグメントの間の伝送および処理レイテンシーについて、初期化フェーズの間に既知のレイテンシー差について事前補償することによって調整することを含む、態様1ないし5のうちいずれか一項記載の方法。
〔態様7〕
適応オーディオをレンダリングする方法であって:
オーディオ・ビットストリームにおいてエンコードされたチャネル・ベースのオーディオおよびオブジェクト・ベースのオーディオのセグメントを含む入力オーディオをデコーダにおいて受領する段階と;
該デコーダにおいてチャネル・ベースのオーディオとオブジェクト・ベースのオーディオのセグメントとの間の型の変化を検出する段階と;
型の変化の検出に際してオーディオ・セグメントの各型についてメタデータ定義を生成し;
該メタデータ定義を適切なオーディオ・セグメントと関連付ける段階と;
各オーディオ・セグメントを、関連付けられたメタデータ定義に依存して、適切なポストデコーダ処理コンポーネントにおいて処理する段階とを含む、
方法。
〔態様8〕
前記チャネル・ベースのオーディオは、適応オーディオ・レンダリング・システムのアップミキサーを通じてレンダリングされるべきレガシーのサラウンドサウンド・オーディオを含み、さらに、前記オブジェクト・ベースのオーディオは前記適応オーディオ・レンダリング・システムのオブジェクト・オーディオ・レンダラー・インターフェースを通じてレンダリングされる、態様7記載の方法。
〔態様9〕
任意の二つの相続くオーディオ・セグメントの間の伝送および処理レイテンシーについて、初期化フェーズの間に既知のレイテンシー差について事前補償することによって調整することを含む、態様7または8記載の方法。
〔態様10〕
前記メタデータ定義は、前記デコーダによって、前記オーディオ・ビットストリームに関連付けられたメタデータ・ペイロードの一部としてエンコードされるオーディオ型フラグを含む、態様7ないし9のうちいずれか一項記載の方法。
〔態様11〕
前記フラグの第一の状態は関連付けられたオーディオ・セグメントがチャネル・ベースのオーディオであることを示し、前記フラグの第二の状態は関連付けられたオーディオ・セグメントがオブジェクト・ベースのオーディオであることを示す、態様10記載の方法。
〔態様12〕
適応オーディオをレンダリングするシステムであって:
オーディオ・コンテンツおよび関連するメタデータを有するビットストリームにおいて入力オーディオを受領するデコーダであって、前記オーディオ・コンテンツは、任意の一つの時点においては、チャネル・ベースのオーディオまたはオブジェクト・ベースの型のオーディオのうちの一方を有するオーディオ型をもつ、デコーダと;
前記チャネル・ベースのオーディオを処理するための前記デコーダに結合されたアップミキサーと;
オブジェクト・オーディオ・レンダラーを通じて前記オブジェクト・ベースのオーディオをレンダリングするための、前記アップミキサーと並列に前記デコーダに結合されたオブジェクト・オーディオ・レンダラー・インターフェースと;
チャネル・ベースのオーディオを第一のメタデータ定義でタグ付けし、オブジェクト・ベースのオーディオを第二のメタデータ定義でタグ付けするよう構成された、前記デコーダ内のメタデータ要素生成器とを有する、
システム。
〔態様13〕
前記アップミキサーはタグ付けされたチャネル・ベースのオーディオおよびタグ付けされたオブジェクト・ベースのオーディオの両方を前記デコーダから受領し、前記チャネル・ベースのオーディオのみを処理する、態様12記載のシステム。
〔態様14〕
前記オブジェクト・オーディオ・レンダラー・インターフェースはタグ付けされたチャネル・ベースのオーディオおよびタグ付けされたオブジェクト・ベースのオーディオの両方を前記デコーダから受領し、前記オブジェクト・ベースのオーディオのみを処理する、態様12または13記載のシステム。
〔態様15〕
前記メタデータ要素生成器は、前記デコーダから前記アップミキサーおよび前記オブジェクト・オーディオ・レンダラー・インターフェースに伝送されるオーディオ・セグメントの型を示す二値フラグを設定し、前記二値フラグは、前記デコーダによって、前記ビットストリームに関連付けられたメタデータ・ペイロードの一部としてエンコードされる、態様12ないし14のうちいずれか一項記載のシステム。
〔態様16〕
前記チャネル・ベースのオーディオはサラウンドサウンド・オーディオ・ベッドを含み、前記オーディオ・オブジェクトはオブジェクト・オーディオ・メタデータ(OAMD)フォーマットに整合するオブジェクトを含む、態様12ないし15のうちいずれか一項記載のシステム。
〔態様17〕
任意の二つの相続くオーディオ・セグメントの間の伝送および処理レイテンシーについて、初期化フェーズの間に既知のレイテンシー差について事前補償して、前記相続くオーディオ・セグメントについて前記アップミキサーおよびオブジェクト・オーディオ・レンダラー・インターフェースを通る異なる信号経路の時間整列された出力を提供することによって、調整するよう構成されたレイテンシー・マネージャをさらに有する、態様12ないし16のうちいずれか一項記載のシステム。
〔態様18〕
オブジェクト・ベースのオーディオを処理する方法であって:
オーディオ・サンプルのブロックおよび一つまたは複数の関連するオブジェクト・オーディオ・メタデータ・ペイロードを、オブジェクト・オーディオ・レンダラー・インターフェース(OARI)において受領し;
各オブジェクト・オーディオ・メタデータ・ペイロードからの一つまたは複数のオーディオ・ブロック更新をシリアル化解除し;
前記オーディオ・サンプルおよび前記オーディオ・ブロック更新をそれぞれのオーディオ・サンプルおよびオーディオ・ブロック更新メモリ・キャッシュに記憶し;
前記オーディオ・サンプルの処理ブロック・サイズを、処理ブロック境界に対するオーディオ・ブロック更新のタイミングおよび整列ならびに最大/最小処理ブロック・サイズ・パラメータを含む一つまたは複数の他のパラメータに基づいて動的に選択することを含む、
方法。
〔態様19〕
前記オブジェクト・ベースのオーディオを、前記動的な選択段階によって決定されたサイズの処理ブロックで、前記OARIから前記OARに伝送することをさらに含む、態様18記載の方法。
〔態様20〕
各メタデータ要素はメタデータ・フレームにおいて渡され、サンプル・オフセットが、オーディオ・ブロック中のどのサンプルにおいて当該フレームが適用されるかを示す、態様18または19記載の方法。
〔態様21〕
オブジェクト優先順位付け、幅除去、無効化されたオブジェクトの扱い、過度に頻繁な更新のフィルタリング、所望される範囲への空間位置クリッピングおよび更新データの所望されるフォーマットへの変換を含む一つまたは複数のプロセスを通じて前記メタデータ要素を含む前記メタデータを準備することをさらに含む、態様18ないし20のうちいずれか一項記載の方法。
〔態様22〕
前記OARは限られた数の処理ブロック・サイズをサポートする、態様19記載の方法。
〔態様23〕
前記処理ブロック・サイズが、長さ32,64,128,256,480,512,1024,1536および2048サンプルからなる群から選択される、態様22記載の方法。
〔態様24〕
処理ブロック・サイズの選択は、前記オーディオ・ブロック更新が、処理ブロック・サイズ選択パラメータによって許容される限り当該処理ブロックの最初のサンプルの近くに位置されるようになされる、態様19記載の方法。
〔態様25〕
前記処理ブロック・サイズは、オーディオ・ブロック更新位置、OAR処理ブロック・サイズおよびOARI最大および最小ブロック・サイズ・パラメータ値によって制約されて可能な限り大きいように選択される、態様24記載の方法。
〔態様26〕
前記メタデータ・フレームがオーディオ・サンプルのブロックにおいて一つまたは複数のオブジェクトのレンダリングに関する属性を定義するメタデータを含み、それらの属性は、ダイアログ、音楽、効果、効果音、背景音および周囲音定義を含むコンテンツ型属性;3D位置、オブジェクト・サイズおよびオブジェクト速度を含む空間的属性;およびスピーカー位置にスナップ、チャネル重み、利得、傾斜およびベース管理情報を含むスピーカー・レンダリング属性からなる群から選択される、態様18ないし25のうちいずれか一項記載の方法。
〔態様27〕
オーディオ・オブジェクトを処理する方法であって:
オーディオ・サンプルのブロックおよび該オーディオ・サンプルがオブジェクト・オーディオ・レンダラー(OAR)においてどのようにレンダリングされるかを定義する関連するメタデータを、オブジェクト・オーディオ・レンダラー・インターフェース(OARI)において受領する段階であって、前記メタデータは、前記オーディオ・オブジェクトの異なるレンダリング属性を定義するよう時間とともに更新される、段階と;
前記オーディオ・サンプルおよびメタデータ更新を、前記OARによって処理されるよう、諸処理ブロックの配置においてバッファリングする段階と;
処理ブロック・サイズを、ブロック境界に対するメタデータ更新のタイミングおよび整列ならびに最大/最小処理ブロック・サイズ・パラメータを含む一つまたは複数の他のパラメータに基づいて動的に選択する段階と;
前記オブジェクト・ベースのオーディオを、前記動的な選択の段階によって決定されたサイズのブロックで、前記OARIから前記OARに伝送する段階とを含む、
方法。
〔態様28〕
各ブロックについての前記オーディオ・データおよびブロック更新をそれぞれのオーディオ・キャッシュおよび更新メモリ・キャッシュに記憶することを含み、前記ブロック更新は、オブジェクト・オーディオ・メタデータ・ペイロードに格納されるメタデータ要素においてエンコードされる、態様27記載の方法。
〔態様29〕
各メタデータ要素はメタデータ・フレームにおいて渡され、サンプル・オフセットが、処理ブロック中のどのサンプルにおいて当該フレームが適用されるかを示す、態様28記載の方法。
〔態様30〕
ブロック・サイズの選択は、前記ブロック更新が、ブロック・サイズ選択パラメータによって許容される限り当該ブロックの最初のサンプルの近くに位置されるようになされる、態様27ないし29のうちいずれか一項記載の方法。
〔態様31〕
前記ブロック・サイズは、ブロック更新位置、OARブロック・サイズおよびOARI最大および最小ブロック・サイズ・パラメータ値によって制約されて可能な限り大きいように選択される、態様30記載の方法。
〔態様32〕
オブジェクト優先順位付け、幅除去、無効化されたオブジェクトの扱い、過度に頻繁な更新のフィルタリング、所望される範囲への空間位置クリッピングおよび更新データの所望されるフォーマットへの変換を含む一つまたは複数のプロセスを通じて前記メタデータ要素を含む前記メタデータを準備することを含む、態様27ないし31のうちいずれか一項記載の方法。
〔態様33〕
適応オーディオ・データを処理する方法であって:
処理されるべきオーディオがチャネル・ベースのオーディオかオブジェクト・ベースのオーディオかを、定義されたメタデータ定義を通じて判定し;
チャネル・ベースであれば前記オーディオをチャネル・ベース・オーディオ・レンダラー(CAR)を通じて処理し;
オブジェクト・ベースであれば前記オーディオをオブジェクト・ベース・オーディオ・レンダラー(OAR)を通じて処理することを含み、
前記OARは、前記オーディオの処理ブロック・サイズを、メタデータ更新のタイミングおよび整列ならびに最大および最小ブロック・サイズを含む一つまたは複数の他のパラメータに基づいて動的に調整するOARインターフェース(OARI)を利用する、
方法。
〔態様34〕
チャネル・ベースまたはオブジェクト・ベースのオーディオ・レンダリングの間で切り換える方法であって:
メタデータ要素を、関連付けられたオーディオ・ブロックについて、チャネル・ベースのオーディオ・コンテンツを示す第一の状態またはオブジェクト・ベースのオーディオ・コンテンツを示す第二の状態をもつようエンコードし;
前記メタデータ要素を複数のオーディオ・ブロックを含むオーディオ・ビットストリームの一部としてデコーダに伝送し;
各オーディオ・ブロックについて前記メタデータ要素を前記デコーダにおいてデコードして、前記メタデータ要素が前記第一の状態であればチャネル・ベースのオーディオ・コンテンツをチャネル・オーディオ・レンダラー(CAR)に、前記メタデータ要素が前記第二の状態であればオブジェクト・ベースのオーディオ・コンテンツをオブジェクト・オーディオ・レンダラー(OAR)にルーティングすることを含む、
方法。
〔態様35〕
前記メタデータ要素は、前記デコーダに伝送されるパルス符号変調された(PCM)オーディオ・ビットストリームを用いて帯域内で伝送されるメタデータ・フラグを有する、態様34記載の方法。
〔態様36〕
前記CARは、アップミキサーまたはチャネル・ベースのオーディオの入力チャネルを出力スピーカーにマッピングする素通しノードの一方を含む、態様34または35記載の方法。
〔態様37〕
前記OARは、前記オーディオの処理ブロック・サイズを、メタデータ更新のタイミングおよび整列ならびに最大および最小ブロック・サイズを含む一つまたは複数の他のパラメータに基づいて動的に調整するOARインターフェース(OARI)を利用するレンダラーを含む、態様34ないし36のうちいずれか一項記載の方法。

Claims (21)

  1. 適応オーディオ・コンテンツを処理する方法であって:
    複数のオーディオ・セグメントを含む適応オーディオ・ビットストリームの各オーディオ・セグメントについてチャネル・ベースのオーディオおよびオブジェクト・ベースのオーディオのうちの一方としてオーディオ型を判別する段階と;
    対応するオーディオ・セグメントのオーディオ型を示すメタデータ定義をもって前記各オーディオ・セグメントにタグ付けする段階と;
    チャネル・ベースのオーディオとしてタグ付けされたオーディオ・セグメントをチャネル・オーディオ・レンダラー・コンポーネントにおいて処理する段階と;
    オブジェクト・ベースのオーディオとしてタグ付けされたオーディオ・セグメントを前記チャネル・オーディオ・レンダラー・コンポーネントとは異なるオブジェクト・オーディオ・レンダラー・コンポーネントにおいて処理する段階とを
    前記チャネル・オーディオ・レンダラー・コンポーネントおよび前記オブジェクト・オーディオ・レンダラー・コンポーネントは0でない異なるレイテンシーをもち、オブジェクト・ベースのオーディオ・セグメントおよびチャネル・ベースのオーディオ・セグメントの処理の間で切り換えるとき、それらのレンダラー・コンポーネントの両方は、レイテンシーを管理するためのそれらの最初の初期化に際して、サンプル単位でのそれぞれのレイテンシーについて問い合わせされる、
    方法。
  2. 前記メタデータ定義を、各オーディオ・セグメントに関連付けられたメタデータ・ペイロードの一部としてエンコードされたオーディオ型メタデータ要素としてエンコードすることをさらに含む、請求項1記載の方法。
  3. 前記メタデータ定義は、デコーダ・コンポーネントによって設定され、前記チャネル・オーディオ・レンダラー・コンポーネントおよびオブジェクト・オーディオ・レンダラー・コンポーネントに伝送される二値のフラグ値を含む、請求項1または2記載の方法。
  4. 二値のフラグ値は、前記チャネル・オーディオ・レンダラー・コンポーネントおよびオブジェクト・オーディオ・レンダラー・コンポーネントによって、受領された各オーディオ・セグメントについてデコードされ、該オーディオ・セグメント内のオーディオ・データは、デコードされた二値のフラグ値に基づいて、前記チャネル・オーディオ・レンダラー・コンポーネントおよびオブジェクト・オーディオ・レンダラー・コンポーネントの一方によってレンダリングされる、請求項3記載の方法。
  5. 前記チャネル・ベースのオーディオは、レガシーのサラウンドサウンドのオーディオを含み、前記チャネル・オーディオ・レンダラー・コンポーネントはアップミキサーを含み、前記オブジェクト・オーディオ・レンダラー・コンポーネントはオブジェクト・オーディオ・レンダラー・インターフェースを有する、請求項1ないし4のうちいずれか一項記載の方法。
  6. 適応オーディオをレンダリングする方法であって:
    オーディオ・ビットストリームにおいてエンコードされたチャネル・ベースのオーディオおよびオブジェクト・ベースのオーディオのセグメントを含む入力オーディオをデコーダにおいて受領する段階と;
    該デコーダにおいてチャネル・ベースのオーディオとオブジェクト・ベースのオーディオのセグメントとの間の型の変化を検出する段階と;
    型の変化の検出に際してオーディオ・セグメントの各型についてメタデータ定義を生成し;
    該メタデータ定義を適切なオーディオ・セグメントと関連付ける段階と;
    各オーディオ・セグメントを、関連付けられたメタデータ定義に依存して、適切なポストデコーダ処理コンポーネントにおいて処理する段階とを含み、
    前記ポストデコーダ処理コンポーネントはそれぞれの他のポストデコーダ処理コンポーネントのレイテンシーとは異なる0でないレイテンシーをもち、オブジェクト・ベースのオーディオ・セグメントおよびチャネル・ベースのオーディオ・セグメントの処理の間で切り換えるとき、それらのポストデコーダ処理コンポーネントは、レイテンシーを管理するためのそれらの最初の初期化に際して、サンプル単位でのそれぞれのレイテンシーについて問い合わせされる、
    方法。
  7. 前記チャネル・ベースのオーディオは、適応オーディオ・レンダリング・システムのアップミキサーを通じてレンダリングされるべきレガシーのサラウンドサウンド・オーディオを含み、さらに、前記オブジェクト・ベースのオーディオは前記適応オーディオ・レンダリング・システムのオブジェクト・オーディオ・レンダラー・インターフェースを通じてレンダリングされる、請求項6記載の方法。
  8. 前記メタデータ定義は、前記デコーダによって、前記オーディオ・ビットストリームに関連付けられたメタデータ・ペイロードの一部としてエンコードされるオーディオ型フラグを含む、請求項6または7記載の方法。
  9. 前記フラグの第一の状態は関連付けられたオーディオ・セグメントがチャネル・ベースのオーディオであることを示し、前記フラグの第二の状態は関連付けられたオーディオ・セグメントがオブジェクト・ベースのオーディオであることを示す、請求項8記載の方法。
  10. 適応オーディオをレンダリングするシステムであって:
    オーディオ・コンテンツおよび関連するメタデータを有するビットストリームにおいて入力オーディオを受領するデコーダであって、前記オーディオ・コンテンツは、任意の一つの時点においては、チャネル・ベースのオーディオまたはオブジェクト・ベースの型のオーディオのうちの一方を有するオーディオ型をもつ、デコーダと;
    前記チャネル・ベースのオーディオを処理するための前記デコーダに結合されたアップミキサーと;
    オブジェクト・オーディオ・レンダラーを通じて前記オブジェクト・ベースのオーディオをレンダリングするための、前記アップミキサーと並列に前記デコーダに結合されたオブジェクト・オーディオ・レンダラー・インターフェースと;
    チャネル・ベースのオーディオを第一のメタデータ定義でタグ付けし、オブジェクト・ベースのオーディオを第二のメタデータ定義でタグ付けするよう構成された、前記デコーダ内のメタデータ要素生成器と;
    任意の二つの相続くオーディオ・セグメントの間の伝送および処理レイテンシーについて、初期化フェーズの間に既知のレイテンシー差について事前補償して、前記相続くオーディオ・セグメントについて前記アップミキサーおよびオブジェクト・オーディオ・レンダラー・インターフェースを通る異なる信号経路の時間整列された出力を提供することによって、調整するよう構成されたレイテンシー・マネージャとを有
    前記アップミキサーおよび前記オブジェクト・オーディオ・レンダラーの両者は0でない異なるレイテンシーをもち、前記アップミキサーおよび前記オブジェクト・オーディオ・レンダラーはそれらの最初の初期化に際して、サンプル単位でのそれらのレイテンシーについて問い合わせされる、システム。
  11. 前記アップミキサーはタグ付けされたチャネル・ベースのオーディオおよびタグ付けされたオブジェクト・ベースのオーディオの両方を前記デコーダから受領し、前記チャネル・ベースのオーディオのみを処理する、請求項10記載のシステム。
  12. 前記オブジェクト・オーディオ・レンダラー・インターフェースはタグ付けされたチャネル・ベースのオーディオおよびタグ付けされたオブジェクト・ベースのオーディオの両方を前記デコーダから受領し、前記オブジェクト・ベースのオーディオのみを処理する、請求項10または11記載のシステム。
  13. 前記メタデータ要素生成器は、前記デコーダから前記アップミキサーおよび前記オブジェクト・オーディオ・レンダラー・インターフェースに伝送されるオーディオ・セグメントの型を示す二値フラグを設定し、前記二値フラグは、前記デコーダによって、前記ビットストリームに関連付けられたメタデータ・ペイロードの一部としてエンコードされる、請求項10ないし12のうちいずれか一項記載のシステム。
  14. 前記チャネル・ベースのオーディオはサラウンドサウンド・オーディオ・ベッドを含み、前記オーディオ・オブジェクトはオブジェクト・オーディオ・メタデータ(OAMD)フォーマットに整合するオブジェクトを含む、請求項10ないし13のうちいずれか一項記載のシステム。
  15. オブジェクト・ベースのオーディオを処理する方法であって:
    オーディオ・サンプルのブロックおよび一つまたは複数の関連するオブジェクト・オーディオ・メタデータ・ペイロードを、オブジェクト・オーディオ・レンダラー・インターフェース(OARI)において受領し;
    各オブジェクト・オーディオ・メタデータ・ペイロードからの一つまたは複数のオーディオ・ブロック更新をシリアル化解除し;
    前記オーディオ・サンプルおよび前記オーディオ・ブロック更新をそれぞれのオーディオ・サンプルおよびオーディオ・ブロック更新メモリ・キャッシュに記憶し;
    前記オーディオ・サンプルの処理ブロック・サイズを、処理ブロック境界に対するオーディオ・ブロック更新のタイミングおよび整列ならびに最大/最小処理ブロック・サイズ・パラメータを含む一つまたは複数の他のパラメータに基づいて動的に選択することを含む、
    方法。
  16. オーディオ・オブジェクトを処理する方法であって:
    オーディオ・サンプルのブロックおよび該オーディオ・サンプルがオブジェクト・オーディオ・レンダラー(OAR)においてどのようにレンダリングされるかを定義する関連するメタデータを、オブジェクト・オーディオ・レンダラー・インターフェース(OARI)において受領する段階であって、前記メタデータは、前記オーディオ・オブジェクトの異なるレンダリング属性を定義するよう時間とともに更新される、段階と;
    前記オーディオ・サンプルおよびメタデータ更新を、前記OARによって処理されるよう、諸処理ブロックの配置においてバッファリングする段階と;
    処理ブロック・サイズを、ブロック境界に対するメタデータ更新のタイミングおよび整列ならびに最大/最小処理ブロック・サイズ・パラメータを含む一つまたは複数の他のパラメータに基づいて動的に選択する段階と;
    前記オブジェクト・ベースのオーディオを、前記動的な選択の段階によって決定されたサイズのブロックで、前記OARIから前記OARに伝送する段階とを含む、
    方法。
  17. 適応オーディオ・データを処理する方法であって:
    処理されるべきオーディオがチャネル・ベースのオーディオかオブジェクト・ベースのオーディオかを、定義されたメタデータ定義を通じて判定し;
    チャネル・ベースであれば前記オーディオをチャネル・ベース・オーディオ・レンダラー(CAR)を通じて処理し;
    オブジェクト・ベースであれば前記オーディオをオブジェクト・ベース・オーディオ・レンダラー(OAR)を通じて処理することを含み、
    前記OARは、前記オーディオの処理ブロック・サイズを、メタデータ更新のタイミングおよび整列ならびに最大および最小ブロック・サイズを含む一つまたは複数の他のパラメータに基づいて動的に調整するOARインターフェース(OARI)を利用する、
    方法。
  18. チャネル・ベースまたはオブジェクト・ベースのオーディオ・レンダリングの間で切り換える方法であって:
    メタデータ要素を、関連付けられたオーディオ・ブロックについて、チャネル・ベースのオーディオ・コンテンツを示す第一の状態またはオブジェクト・ベースのオーディオ・コンテンツを示す第二の状態をもつようエンコードし;
    前記メタデータ要素を複数のオーディオ・ブロックを含むオーディオ・ビットストリームの一部としてデコーダに伝送し;
    各オーディオ・ブロックについて前記メタデータ要素を前記デコーダにおいてデコードして、前記メタデータ要素が前記第一の状態であればチャネル・ベースのオーディオ・コンテンツをチャネル・オーディオ・レンダラー(CAR)に、前記メタデータ要素が前記第二の状態であればオブジェクト・ベースのオーディオ・コンテンツをオブジェクト・オーディオ・レンダラー(OAR)にルーティングすることを含み、
    前記チャネル・オーディオ・レンダラーおよび前記オブジェクト・オーディオ・レンダラーの両者は0でない異なるレイテンシーをもち、オブジェクト・ベースのオーディオおよびチャネル・ベースのオーディオのレンダリングの間で切り換えるとき、前記チャネル・オーディオ・レンダラーおよび前記オブジェクト・オーディオ・レンダラーは、レイテンシーを管理するためのそれらの最初の初期化に際して、サンプル単位でのそれぞれのレイテンシーについて問い合わせされる、
    方法。
  19. 前記メタデータ要素は、前記デコーダに伝送されるパルス符号変調された(PCM)オーディオ・ビットストリームを用いて帯域内で伝送されるメタデータ・フラグを有する、請求項18記載の方法。
  20. 前記CARは、アップミキサーまたはチャネル・ベースのオーディオの入力チャネルを出力スピーカーにマッピングする素通しノードの一方を含む、請求項18または19記載の方法。
  21. 前記OARは、前記オーディオの処理ブロック・サイズを、メタデータ更新のタイミングおよび整列ならびに最大および最小ブロック・サイズを含む一つまたは複数の他のパラメータに基づいて動的に調整するOARインターフェース(OARI)を利用するレンダラーを含む、請求項18ないし20のうちいずれか一項記載の方法。
JP2017505086A 2014-07-31 2015-07-27 オーディオ処理システムおよび方法 Active JP6710675B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462031723P 2014-07-31 2014-07-31
US62/031,723 2014-07-31
PCT/US2015/042190 WO2016018787A1 (en) 2014-07-31 2015-07-27 Audio processing systems and methods

Publications (3)

Publication Number Publication Date
JP2017526264A JP2017526264A (ja) 2017-09-07
JP2017526264A5 true JP2017526264A5 (ja) 2018-08-30
JP6710675B2 JP6710675B2 (ja) 2020-06-17

Family

ID=53784010

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017505086A Active JP6710675B2 (ja) 2014-07-31 2015-07-27 オーディオ処理システムおよび方法

Country Status (5)

Country Link
US (1) US9875751B2 (ja)
EP (1) EP3175446B1 (ja)
JP (1) JP6710675B2 (ja)
CN (1) CN106688251B (ja)
WO (1) WO2016018787A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160315722A1 (en) * 2015-04-22 2016-10-27 Apple Inc. Audio stem delivery and control
CN107615767B (zh) 2015-06-02 2021-05-25 索尼公司 发送装置、发送方法、媒体处理装置、媒体处理方法以及接收装置
KR102465286B1 (ko) * 2015-06-17 2022-11-10 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
US10325610B2 (en) 2016-03-30 2019-06-18 Microsoft Technology Licensing, Llc Adaptive audio rendering
US10863297B2 (en) 2016-06-01 2020-12-08 Dolby International Ab Method converting multichannel audio content into object-based audio content and a method for processing audio content having a spatial position
EP3337066B1 (en) * 2016-12-14 2020-09-23 Nokia Technologies Oy Distributed audio mixing
US10891962B2 (en) 2017-03-06 2021-01-12 Dolby International Ab Integrated reconstruction and rendering of audio signals
US11303689B2 (en) 2017-06-06 2022-04-12 Nokia Technologies Oy Method and apparatus for updating streamed content
GB2563635A (en) 2017-06-21 2018-12-26 Nokia Technologies Oy Recording and rendering audio signals
KR102483470B1 (ko) * 2018-02-13 2023-01-02 한국전자통신연구원 다중 렌더링 방식을 이용하는 입체 음향 생성 장치 및 입체 음향 생성 방법, 그리고 입체 음향 재생 장치 및 입체 음향 재생 방법
CN108854062B (zh) * 2018-06-24 2019-08-09 广州银汉科技有限公司 一种移动游戏的语音聊天模块
EP3861762A1 (en) 2018-10-01 2021-08-11 Dolby Laboratories Licensing Corporation Creative intent scalability via physiological monitoring
EP3895164B1 (en) * 2018-12-13 2022-09-07 Dolby Laboratories Licensing Corporation Method of decoding audio content, decoder for decoding audio content, and corresponding computer program
US11544032B2 (en) * 2019-01-24 2023-01-03 Dolby Laboratories Licensing Corporation Audio connection and transmission device
US11432097B2 (en) * 2019-07-03 2022-08-30 Qualcomm Incorporated User interface for controlling audio rendering for extended reality experiences
CN112399189B (zh) * 2019-08-19 2022-05-17 腾讯科技(深圳)有限公司 延时输出控制方法、装置、系统、设备及介质
KR102389776B1 (ko) 2019-11-26 2022-04-22 구글 엘엘씨 요청시 오디오 레코딩으로의 보충적 오디오 콘텐츠의 동적 삽입
KR20210068953A (ko) * 2019-12-02 2021-06-10 삼성전자주식회사 전자 장치 및 그 제어 방법
JP7182751B6 (ja) * 2019-12-02 2022-12-20 ドルビー ラボラトリーズ ライセンシング コーポレイション チャネルベースオーディオからオブジェクトベースオーディオへの変換のためのシステム、方法、及び機器
WO2022191356A1 (ko) * 2021-03-08 2022-09-15 세종대학교산학협력단 사운드 전파 성능 향상을 위한 사운드 트레이싱 방법 및 장치
EP4377957A1 (en) * 2021-07-29 2024-06-05 Dolby International AB Methods and apparatus for processing object-based audio and channel-based audio
CN113938811A (zh) * 2021-09-01 2022-01-14 赛因芯微(北京)电子科技有限公司 基于音床音频通道元数据和生成方法、设备及存储介质
CN113905322A (zh) * 2021-09-01 2022-01-07 赛因芯微(北京)电子科技有限公司 基于双耳音频通道元数据和生成方法、设备及存储介质
CN113963725A (zh) * 2021-09-18 2022-01-21 赛因芯微(北京)电子科技有限公司 音频对象元数据和产生方法、电子设备及存储介质
CN114363790A (zh) * 2021-11-26 2022-04-15 赛因芯微(北京)电子科技有限公司 串行音频块格式元数据生成方法、装置、设备及介质
FR3131058A1 (fr) * 2021-12-21 2023-06-23 Sagemcom Broadband Sas Boitier décodeur pour la restitution d’une piste audio additionnelle.

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5949410A (en) 1996-10-18 1999-09-07 Samsung Electronics Company, Ltd. Apparatus and method for synchronizing audio and video frames in an MPEG presentation system
JP3159098B2 (ja) 1997-01-13 2001-04-23 日本電気株式会社 画像と音声の同期再生装置
US7319703B2 (en) 2001-09-04 2008-01-15 Nokia Corporation Method and apparatus for reducing synchronization delay in packet-based voice terminals by resynchronizing during talk spurts
DE60234654D1 (de) 2002-03-05 2010-01-14 D & M Holdings Inc Audiowiedergabegerät
JP2004004274A (ja) * 2002-05-31 2004-01-08 Matsushita Electric Ind Co Ltd 音声信号処理切換装置
EP1427252A1 (en) * 2002-12-02 2004-06-09 Deutsche Thomson-Brandt Gmbh Method and apparatus for processing audio signals from a bitstream
KR20050085273A (ko) 2002-12-04 2005-08-29 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 복수의 비트 스트림 디코더 사이에서 스위칭하는 장치 및방법
US20070208571A1 (en) 2004-04-21 2007-09-06 Pierre-Anthony Stivell Lemieux Audio Bitstream Format In Which The Bitstream Syntax Is Described By An Ordered Transversal of A Tree Hierarchy Data Structure
US20070199043A1 (en) 2006-02-06 2007-08-23 Morris Richard M Multi-channel high-bandwidth media network
US7965771B2 (en) 2006-02-27 2011-06-21 Cisco Technology, Inc. Method and apparatus for immediate display of multicast IPTV over a bandwidth constrained network
US8190441B2 (en) 2006-09-11 2012-05-29 Apple Inc. Playback of compressed media files without quantization gaps
US8254248B2 (en) 2007-03-20 2012-08-28 Broadcom Corporation Method and system for implementing redundancy for streaming data in audio video bridging networks
EP2048890A1 (en) 2007-10-11 2009-04-15 Thomson Licensing System and method for an early start of audio-video rendering
US20090100493A1 (en) 2007-10-16 2009-04-16 At&T Knowledge Ventures, Lp. System and Method for Display Format Detection at Set Top Box Device
US8170226B2 (en) 2008-06-20 2012-05-01 Microsoft Corporation Acoustic echo cancellation and adaptive filters
CN102099854B (zh) * 2008-07-15 2012-11-28 Lg电子株式会社 处理音频信号的方法和装置
US8315396B2 (en) * 2008-07-17 2012-11-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating audio output signals using object based metadata
JP2010098460A (ja) 2008-10-15 2010-04-30 Yamaha Corp オーディオ信号処理装置
GB0820920D0 (en) 2008-11-14 2008-12-24 Wolfson Microelectronics Plc Codec apparatus
WO2010076770A2 (en) 2008-12-31 2010-07-08 France Telecom Communication system incorporating collaborative information exchange and method of operation thereof
FR2942096B1 (fr) 2009-02-11 2016-09-02 Arkamys Procede pour positionner un objet sonore dans un environnement sonore 3d, support audio mettant en oeuvre le procede, et plate-forme de test associe
US20100223552A1 (en) 2009-03-02 2010-09-02 Metcalf Randall B Playback Device For Generating Sound Events
US9282417B2 (en) 2010-02-02 2016-03-08 Koninklijke N.V. Spatial sound reproduction
FR2959037A1 (fr) 2010-04-14 2011-10-21 Orange Vallee Procede de creation d'une sequence media par groupes coherents de fichiers medias
US20120089390A1 (en) 2010-08-27 2012-04-12 Smule, Inc. Pitch corrected vocal capture for telephony targets
WO2012129762A1 (en) 2011-03-25 2012-10-04 Telefonaktiebolaget L M Ericsson (Publ) Hybrid media receiver, middleware server and corresponding methods, computer programs and computer program products
HUE054452T2 (hu) * 2011-07-01 2021-09-28 Dolby Laboratories Licensing Corp Rendszer és eljárás adaptív hangjel elõállítására, kódolására és renderelésére
US8838262B2 (en) 2011-07-01 2014-09-16 Dolby Laboratories Licensing Corporation Synchronization and switch over methods and systems for an adaptive audio system
CN103891303B (zh) 2011-08-16 2018-03-09 黛斯悌尼软件产品有限公司 基于脚本的视频呈现
WO2013117806A2 (en) 2012-02-07 2013-08-15 Nokia Corporation Visual spatial audio
US20130238992A1 (en) 2012-03-08 2013-09-12 Motorola Mobility, Inc. Method and Device for Content Control Based on Data Link Context
US9357326B2 (en) 2012-07-12 2016-05-31 Dolby Laboratories Licensing Corporation Embedding data in stereo audio using saturation parameter modulation
KR102201713B1 (ko) 2012-07-19 2021-01-12 돌비 인터네셔널 에이비 다채널 오디오 신호들의 렌더링을 향상시키기 위한 방법 및 디바이스
WO2014035902A2 (en) * 2012-08-31 2014-03-06 Dolby Laboratories Licensing Corporation Reflected and direct rendering of upmixed content to individually addressable drivers
WO2014046916A1 (en) 2012-09-21 2014-03-27 Dolby Laboratories Licensing Corporation Layered approach to spatial audio coding
EP2733964A1 (en) * 2012-11-15 2014-05-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Segment-wise adjustment of spatial audio signal to different playback loudspeaker setup
EP2936485B1 (en) 2012-12-21 2017-01-04 Dolby Laboratories Licensing Corporation Object clustering for rendering object-based audio content based on perceptual criteria
GB2501150B (en) 2013-01-14 2014-07-23 Oxalis Group Ltd An audio amplifier
US8751832B2 (en) 2013-09-27 2014-06-10 James A Cashin Secure system and method for audio processing
KR102294767B1 (ko) * 2013-11-27 2021-08-27 디티에스, 인코포레이티드 고채널 카운트 멀티채널 오디오에 대한 멀티플렛 기반 매트릭스 믹싱

Similar Documents

Publication Publication Date Title
JP2017526264A5 (ja)
JP6710675B2 (ja) オーディオ処理システムおよび方法
CN108738006B (zh) 基于蓝牙的数据传输方法及装置
ES2732304T3 (es) Concepto para la compresión combinada del intervalo dinámico y prevención guiada de recortes para dispositivos de audio
KR102356012B1 (ko) 복호화 장치 및 방법, 및 프로그램
JP7459913B2 (ja) 信号処理装置および方法、並びにプログラム
CN101689961B (zh) 数据分组序列的传输设备和方法及其解码器和设备
RU2017112527A (ru) Система и способ для генерирования, кодирования и представления данных адаптивного звукового сигнала
WO2015164572A1 (en) Audio segmentation based on spatial metadata
NO338934B1 (no) Generering av kontrollsignal for flerkanals frekvensgeneratorer og flerkanals frekvensgenerering.
US10694199B2 (en) Method for distributed video transcoding
KR20190129976A (ko) 오디오 데이터를 프로세싱하기 위한 시스템 및 방법
US20170048639A1 (en) Matrix Decomposition for Rendering Adaptive Audio Using High Definition Audio Codecs
WO2019071149A1 (en) SPATIAL RELATION CODING FOR SUPERIOR AMBIOPHONIC COEFFICIENTS USING EXTENDED PARAMETERS
KR101603556B1 (ko) 데이터 전송 시스템, 부호화 장치 및 부호화 방법
JP2008538633A5 (ja)
US9911404B2 (en) Combined active noise cancellation and noise compensation in headphone
US8615090B2 (en) Method and apparatus of generating sound field effect in frequency domain
US8542839B2 (en) Audio processing apparatus and method of mobile device
US20080189119A1 (en) Method of implementing equalizer in audio signal decoder and apparatus therefor
US20210327440A1 (en) Audio packet loss concealment method, device and Bluetooth receiver
CN115462097A (zh) 用于使能渲染空间音频信号的装置、方法和计算机程序
JP2010169824A (ja) 送信装置、受信装置、送信方法、受信方法
US8669459B2 (en) Sound processing apparatus, method for sound processing, program and recording medium
MX2008014753A (es) Generacion de marcadores validas de tiempo de referencia de reloj de programa para paquetes duplicados de corriente de transporte.