JP2016520858A - オブジェクト・ベース・オーディオを生成し、対話的にレンダリングする方法およびシステム - Google Patents
オブジェクト・ベース・オーディオを生成し、対話的にレンダリングする方法およびシステム Download PDFInfo
- Publication number
- JP2016520858A JP2016520858A JP2016506613A JP2016506613A JP2016520858A JP 2016520858 A JP2016520858 A JP 2016520858A JP 2016506613 A JP2016506613 A JP 2016506613A JP 2016506613 A JP2016506613 A JP 2016506613A JP 2016520858 A JP2016520858 A JP 2016520858A
- Authority
- JP
- Japan
- Prior art keywords
- content
- channel
- speaker
- channels
- metadata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 165
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000012545 processing Methods 0.000 claims abstract description 117
- 239000000203 mixture Substances 0.000 claims description 305
- 230000007613 environmental effect Effects 0.000 claims description 168
- 238000002156 mixing Methods 0.000 claims description 55
- 230000004044 response Effects 0.000 claims description 39
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 238000006467 substitution reaction Methods 0.000 claims 4
- 238000010586 diagram Methods 0.000 description 15
- 230000014509 gene expression Effects 0.000 description 10
- 230000007935 neutral effect Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 230000008520 organization Effects 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 241000272525 Anas platyrhynchos Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 101150042618 comm2 gene Proteins 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stereophonic System (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
本願は2013年4月3日に出願された米国仮特許出願第61/807,922号の出願日の利益および2013年6月7日に出願された米国仮特許出願第61/832,397号の出願日の利益を主張する。
本発明はオーディオ信号処理に、より詳細には(スピーカー・チャネルおよび少なくとも一つのオーディオ・オブジェクト・チャネルを示す)オーディオ・コンテンツおよび該オーディオ・コンテンツの対話的レンダリングをサポートするメタデータを含むオーディオ・データ・ビットストリームのエンコード、デコードおよび対話的レンダリングに関する。本発明のいくつかの実施形態は、ドルビー・デジタル(AC-3)、ドルビー・デジタル・プラス(Enhanced AC-3[向上AC-3]またはE-AC-3)またはドルビーEとして知られるフォーマットの一つでオーディオ・データを生成、デコードおよび/またはレンダリングする。
N個のオブジェクト・チャネルからなるオブジェクト・チャネルの集合を決定する段階であって、オブジェクト・チャネルの前記集合の第一の部分集合は前記第一の非環境コンテンツを示し、前記第一の部分集合はオブジェクト・チャネルの前記集合のうちM個のオブジェクト・チャネルからなり、NおよびMのそれぞれは0より大きい整数であり、MはN以下である、段階と;
オーディオ・コンテンツのデフォルト混合(たとえば、環境コンテンツおよび非環境コンテンツのデフォルト混合)を示すスピーカー・チャネルのベッドを決定する段階であって、前記ベッドのスピーカー・チャネルのうちのM個からなるオブジェクト・ベース・スピーカー・チャネル部分集合は、前記第二の非環境コンテンツまたは前記デフォルト混合と前記第二の非環境コンテンツとのオーディオ・コンテンツの少なくとも一部の混合を示す、段階と;
M個の置換スピーカー・チャネルの集合を決定する段階であって、M個の置換スピーカー・チャネルの前記集合における各置換スピーカー・チャネルは、前記オブジェクト・ベース・スピーカー・チャネル部分集合の対応するスピーカー・チャネルのコンテンツの全部ではない一部を示す、段階と;
前記オブジェクト・チャネルのうちの少なくとも一つのコンテンツと、前記ベッドのスピーカー・チャネルおよび/または前記置換スピーカー・チャネルのうちの所定のもののコンテンツとの少なくとも一つの選択可能なあらかじめ決定された代替的な混合を示すメタデータ(本稿では時にオブジェクト関係メタデータ(object related metadata)と称される)を生成する段階であって、前記メタデータは、前記代替的な混合それぞれについてのレンダリング・パラメータを含み、少なくとも一つの前記代替的な混合は、前記ベッドのコンテンツおよび前記第一の非環境コンテンツの少なくとも一部を示すが、前記第二の非環境コンテンツは示さない置換混合である、段階と;
スピーカー・チャネルの前記ベッド、M個の置換スピーカー・チャネルの前記集合、オブジェクト・チャネルの前記集合および前記メタデータを含むよう前記オブジェクト・ベース・オーディオ・プログラムを生成して、スピーカー・チャネルの前記ベッドが、前記メタデータを使わなくても、前記デフォルト混合として知覚可能な音を提供するようレンダリング可能であり、前記置換混合が、前記メタデータの少なくとも一部に応答して、前記ベッドのコンテンツおよび前記第一の非環境コンテンツの少なくとも一部を含むが、前記第二の非環境コンテンツは含まない混合として知覚可能な音を提供するようレンダリング可能であるようにする、段階とを含む。
スピーカー・チャネルの前記ベッドは、前記第一の非環境コンテンツとは異なる第二の非環境コンテンツを含む、オーディオ・コンテンツのデフォルト混合を示し、前記ベッドのスピーカー・チャネルのうちのM個からなるオブジェクト・ベース・スピーカー・チャネル部分集合が、前記第二の非環境コンテンツまたは前記デフォルト混合と前記第二の非環境コンテンツとのオーディオ・コンテンツの少なくとも一部の混合を示し、
M個の置換スピーカー・チャネルの前記集合における各置換スピーカー・チャネルは、前記オブジェクト・ベース・スピーカー・チャネル部分集合の対応するスピーカー・チャネルのコンテンツの全部ではない一部を示し、
前記メタデータは、前記オブジェクト・チャネルのうちの少なくとも一つのコンテンツと、前記ベッドのスピーカー・チャネルおよび/または前記置換スピーカー・チャネルのうちの所定のもののコンテンツとの少なくとも一つの選択可能なあらかじめ決定された代替的な混合を示し、前記メタデータは、前記代替的な混合それぞれについてのレンダリング・パラメータを含み、少なくとも一つの前記代替的な混合は、前記ベッドのオーディオ・コンテンツおよび前記第一の非環境コンテンツの少なくとも一部を含むが、前記第二の非環境コンテンツは含まない置換混合であり、前記方法は:
(a)前記オブジェクト・ベース・オーディオ・プログラムをオーディオ処理ユニットに提供する段階と;
(b)前記オーディオ処理ユニットにおいて、スピーカー・チャネルの前記ベッドをパースし、前記メタデータを使うことなく、スピーカー・チャネルの前記ベッドに応答して前記デフォルト混合をレンダリングする段階とを含む。
(c)前記オーディオ処理ユニットにおいて、前記メタデータの少なくとも一部を使って前記置換混合をレンダリングする段階
を含んでいてもよい。該段階は、前記メタデータの少なくとも一部に応答して、オブジェクト・チャネルの前記集合の前記第一の部分集合と、少なくとも一つの前記置換スピーカー・チャネルとのコンテンツを選択して、混合することによることを含む。
請求項を含む本開示を通じて、「非環境音(non-ambient sound)」という表現は、聴取者に対してうまく局在化可能な角度位置(すなわち、聴取者に対して約3ステラジアンを超えない立体角を張る角度位置、ここで、聴取者の位置を中心とする球全体は聴取者に対して4πステラジアンを張る)にまたは該角度位置内に位置している離散的なオーディオ・オブジェクト(またはみなそのように位置しているいくつかのオーディオ・オブジェクト)から発していると知覚されるまたは知覚可能である音(たとえばコメンタリーまたは他のモノローグまたはダイアログ)を表わす。本稿では、「環境音」は、非環境音ではない音(たとえば群衆の一員によって知覚される群衆ノイズ)を表わす。よって、本稿での環境音は、聴取者に対して大きな(または他の意味でうまく局在化可能でない)角度位置から発していると知覚されるまたは知覚可能である音を表わす。
図5は、システムであって、システムの要素の一つまたは複数が本発明の実施形態に基づいて構成されうる、オーディオ処理チェーン(オーディオ・データ処理システム)の例のブロック図である。本システムは、図のように一緒に結合された以下の要素を含む:捕捉ユニット1、プロダクション・ユニット3(これはエンコード・サブシステムを含む)、送達サブシステム5、デコーダ7、オブジェクト処理サブシステム9、コントローラ10およびレンダリング・サブシステム11。図示したシステムに対する諸変形においては、要素の一つまたは複数が省略されたり、あるいは追加的なオーディオ・データ処理ユニットが含められたりする。典型的には、要素7、9、10および11は再生システム(たとえばエンドユーザーの家庭シアター・システム)であるまたは再生システムに含まれる。
プログラムのスピーカー・チャネルのベッドを(典型的にはプログラムの代替スピーカー・チャネルも)示すオーディオ・サンプルのストリーム;および
プログラムのオブジェクト・チャネル(たとえば、ユーザー選択可能なオーディオ・オブジェクト・チャネル)を示すオーディオ・サンプルのストリームおよびオブジェクト関係メタデータの対応するストリーム。
N個のオブジェクト・チャネルからなるオブジェクト・チャネルの集合を決定する段階であって、オブジェクト・チャネルの前記集合の第一の部分集合は前記第一の非環境コンテンツを示し、前記第一の部分集合はオブジェクト・チャネルの前記集合のうちM個のオブジェクト・チャネルからなり、NおよびMのそれぞれは0より大きい整数であり、MはN以下である、段階と;
オーディオ・コンテンツのデフォルト混合を示すスピーカー・チャネルのベッドを決定する段階であって、前記ベッドのスピーカー・チャネルのうちのM個からなるオブジェクト・ベース・スピーカー・チャネル部分集合は、前記第二の非環境コンテンツまたは前記第二の非環境コンテンツと前記デフォルト混合のオーディオ・コンテンツの少なくとも一部との混合を示す、段階と;
M個の置換スピーカー・チャネルの集合を決定する段階であって、M個の置換スピーカー・チャネルの前記集合における各置換スピーカー・チャネルは、前記オブジェクト・ベース・スピーカー・チャネル部分集合の対応するスピーカー・チャネルのコンテンツの全部ではない一部を示す、段階と;
前記オブジェクト・チャネルのうちの少なくとも一つのコンテンツと、前記ベッドのスピーカー・チャネルおよび/または前記置換スピーカー・チャネルのうちの所定のもののコンテンツとの少なくとも一つの選択可能なあらかじめ決定された代替的な混合を示すメタデータを生成する段階であって、前記メタデータは、前記代替的な混合それぞれについてのレンダリング・パラメータを含み、少なくとも一つの前記代替的な混合は、前記ベッドのオーディオ・コンテンツおよび前記第一の非環境コンテンツの少なくとも一部を示すが、前記第二の非環境コンテンツは示さない、段階と;
スピーカー・チャネルの前記ベッド、M個の置換スピーカー・チャネルの前記集合、オブジェクト・チャネルの前記集合および前記メタデータを含むよう前記オブジェクト・ベース・オーディオ・プログラムを生成して、
スピーカー・チャネルの前記ベッドが、前記メタデータを使わなくても、前記デフォルト混合として知覚可能な音を提供するようレンダリング可能であり(たとえば、図12のシステムの再生システム111によってまたはデコーダ7がプログラムのスピーカー・チャネルの前記ベッドをパースし、スピーカー・チャネルの該ベッドがレンダリング・サブシステム11に呈され、レンダリング・サブシステム11が、プログラムのオブジェクト関係メタデータを使うことなく、該ベッドに応答して、該ベッドによって示されるデフォルト混合をレンダリングするよう動作するモードで動作する図5の再生システムによって)、
前記置換混合が、前記メタデータの少なくとも一部に応答して、前記ベッドのオーディオ・コンテンツおよび前記第一の非環境コンテンツの前記少なくとも一部を含むが、前記第二の非環境コンテンツは含まない混合として知覚可能な音を提供するようレンダリング可能である(たとえば、デコーダ7、オブジェクト処理サブシステム9、コントローラ10およびレンダリング・サブシステム11を有する図5の再生システムによって、デコーダ7に送達されたプログラムのオブジェクト関係メタデータを使って)ようにする、段階とを含む、
方法である。
スピーカー・チャネルの前記ベッドは、前記第一の非環境コンテンツとは異なる第二の非環境コンテンツを含む、オーディオ・コンテンツのデフォルト混合を示し、前記ベッドのスピーカー・チャネルのうちのM個からなるオブジェクト・ベース・スピーカー・チャネル部分集合が、前記第二の非環境コンテンツまたは前記デフォルト混合と前記第二の非環境コンテンツとのオーディオ・コンテンツの少なくとも一部の混合を示し、
M個の置換スピーカー・チャネルの前記集合における各置換スピーカー・チャネルは、前記オブジェクト・ベース・スピーカー・チャネル部分集合の対応するスピーカー・チャネルのコンテンツの全部ではない一部を示し、
前記メタデータは、前記オブジェクト・チャネルのうちの少なくとも一つのコンテンツと、前記ベッドのスピーカー・チャネルおよび/または前記置換スピーカー・チャネルのうちの所定のもののコンテンツとの少なくとも一つの選択可能なあらかじめ決定された代替的な混合を示し、前記メタデータは、前記代替的な混合それぞれについてのレンダリング・パラメータを含み、少なくとも一つの前記代替的な混合は、前記ベッドのオーディオ・コンテンツおよび前記第一の非環境コンテンツの少なくとも一部を含むが、前記第二の非環境コンテンツは含まない置換混合であり、前記方法は:
(a)前記オブジェクト・ベース・オーディオ・プログラムをオーディオ処理ユニット(たとえば、図12のシステムの再生システム111またはデコーダ7がプログラムのスピーカー・チャネルの前記ベッドをパースし、スピーカー・チャネルの該ベッドがレンダリング・サブシステム11に呈され、レンダリング・サブシステム11が、プログラムのオブジェクト関係メタデータを使うことなく、該ベッドに応答して、該ベッドによって示されるデフォルト混合をレンダリングするよう動作するモードで動作する図5の再生システム)に提供する段階と;
(b)前記オーディオ処理ユニットにおいて、スピーカー・チャネルの前記ベッドをパースし、前記メタデータを使うことなく、スピーカー・チャネルの前記ベッドに応答して前記デフォルト混合をレンダリングする段階とを含む。
(c)前記オーディオ処理ユニットにおいて、前記メタデータの少なくとも一部を使って前記置換混合をレンダリングする段階
を含んでいてもよい。該段階は、前記メタデータの少なくとも一部に応答して、オブジェクト・チャネルの前記集合の前記第一の部分集合と、少なくとも一つの前記置換スピーカー・チャネルとのコンテンツを選択して、混合することによることを含む(たとえば、このステップは図6のシステムのサブシステム22および24によってまたは図5の再生システムによって実行されてもよい)。
(d)前記メタデータの前記少なくとも一部に応答して、オブジェクト・チャネルの前記集合の前記第一の部分集合を選択し、前記オブジェクト・ベース・スピーカー・チャネル部分集合内のスピーカー・チャネル以外の、スピーカー・チャネルの前記ベッドの少なくとも一つのスピーカー・チャネルを選択し、前記少なくとも一つの前記置換スピーカー・チャネルを選択する段階と;
(e)オブジェクト・チャネルの前記集合の前記第一の部分集合および段階(d)で選択された各スピーカー・チャネルのコンテンツを混合する段階とを含む。
デフォルト・オーディオ・プログラム(たとえば環境コンテンツおよび非環境コンテンツのデフォルト混合)のすべてのコンテンツを示すスピーカー・チャネルのベッドからなる基本層(たとえば5.1チャネル・ベッド);
レンダリングされるべき選択可能なオーディオ・コンテンツを示す少なくとも一つのオブジェクト・チャネル(そのそれぞれが拡張層の要素である);
基本層の対応するチャネル(単数または複数)を置換し、それにより置換されない基本層の各もとの(非置換)チャネルと選択された置換スピーカー・チャネルとを含む修正された基本層を決定するよう(適切に構成された再生システムによって、たとえば図5または図6の再生システムの実施形態によって)選択可能な、少なくとも一つの置換スピーカー・チャネル(そのそれぞれが拡張層の要素である)。修正された基本層は、少なくとも一つの前記オブジェクト・チャネルのコンテンツと混合され、次いでレンダリングされてもよい。たとえば、置換スピーカー・チャネルが(環境コンテンツと混合された非環境コンテンツ(たとえばコメンタリーまたはダイアログ)を示す基本層の中央チャネルを置換する)環境のみを示す中央チャネルからなるとき、そのような置換スピーカー・チャネルを含む修正された基本層は、プログラムの少なくとも一つのオブジェクト・チャネルの非環境コンテンツと混合されてもよい;
任意的にはまた、少なくとも一つのオーディオ・コンテンツ混合を示す代替スピーカー・チャネルの少なくとも一つの集合(そのそれぞれが拡張層の要素である)(たとえば、スピーカー・チャネルの各代替集合は、異なるマルチチャネル環境/効果混合を示していてもよい)。ここで、代替スピーカー・チャネルの各前記集合は、基本層の対応するチャネル(単数または複数)を置換するよう(適切に構成された再生システムによって)選択可能である;および
少なくとも一つの経験定義(典型的には二つ以上の選択可能な経験定義)を示すメタデータ。各経験定義は、選択可能な、プログラムのオーディオ・コンテンツのあらかじめ定義された(「プリセット」)混合である(たとえば、少なくとも一つのオブジェクトおよびスピーカー・チャネル・コンテンツのコンテンツの混合)。各プリセット混合は、レンダリング・パラメータ(たとえば、レンダリングされるオブジェクトの空間位置)のあらかじめ決定された集合をもつ。
高レベル構造。これは、補助データ(またはaddbsi)フィールドがメタデータを含むかどうかを示すフラグ(ここで、このコンテキストにおける「メタデータ」はオブジェクト・チャネル、オブジェクト関係メタデータおよびビットストリームによって担持されるが、記載される型のいかなるコンテナも欠く通常のE-AC-3またはAC-3ビットストリームには通常担持されない他の任意のオーディオ・コンテンツまたはメタデータを表わす)と、どの型(単数または複数)のメタデータが存在しているかを示す少なくとも一つのID値と、典型的にはまた(メタデータが存在する場合)(たとえば各型の)何ビットのメタデータが存在するかを示す値とを含む。このコンテキストにおいて、メタデータの一つのそのような「型」の例は、オブジェクト・チャネル・データおよび関連付けられたオブジェクト関係メタデータ(すなわち、(やはりプログラムによって示されるスピーカー・チャネルのベッドに関係する)一つまたは複数のオブジェクト・チャネルの各オブジェクト・チャネルのオーディオ・サンプルと、各オブジェクト・チャネルに関連付けられたメタデータとの組)である。
一つのコア要素について各ペイロードを含む低レベル構造。これは、少なくとも一つのそのようなペイロードがコア要素によって存在していると同定される場合である。そのようなペイロードの例は、やはりプログラムによって示されるスピーカー・チャネルのベッドに関係する)一つまたは複数のオブジェクト・チャネルの各オブジェクト・チャネルのオーディオ・サンプルと、各オブジェクト・チャネルに関連付けられたメタデータとの組である。そのようなペイロードのもう一つの例は、時にLPSMペイロードと称される、ラウドネス処理状態メタデータ(LPSM: loudness processing state metadata)を含むペイロードである。
いくつかの実施形態では、本発明は、少なくとも一つのあらかじめ決定された規則がオブジェクト・ベース・オーディオ・プログラムのどのオブジェクト・チャネル(単数または複数)が(たとえばスピーカー・チャネルのベッドと一緒に)レンダリングされるかを決定する、規則ベースのオブジェクト・チャネル選択を実装する。ユーザーは、オブジェクト・チャネル選択のための少なくとも一つの規則を(たとえば再生システム・コントローラのユーザー・インターフェースによって呈示される利用可能な規則のメニューから選択することによって)指定してもよく、再生システム(たとえば図6のシステムのオブジェクト処理サブシステム22)は、そのような各規則を適用して、レンダリングされるべきオブジェクト・ベース・オーディオ・プログラムのどのオブジェクト・チャネルが(たとえば図6のシステムのサブシステム24またはサブシステム24および35によって)レンダリングされるべき混合中に含められるべきかを決定するよう構成されていてもよい。再生システムは、プログラムのどのオブジェクト・チャネルが所定の規則(単数または複数)を満たすかをプログラム中のオブジェクト関係メタデータから決定してもよい。
Claims (56)
- 第一の非環境コンテンツ、前記第一の非環境コンテンツとは異なる第二の非環境コンテンツおよび前記第一の非環境コンテンツおよび前記第二の非環境コンテンツとは異なる第三のコンテンツを含むオーディオ・コンテンツを示すオブジェクト・ベース・オーディオ・プログラムを生成する方法であって:
N個のオブジェクト・チャネルからなるオブジェクト・チャネルの集合を決定する段階であって、オブジェクト・チャネルの前記集合の第一の部分集合は前記第一の非環境コンテンツを示し、前記第一の部分集合はオブジェクト・チャネルの前記集合のうちM個のオブジェクト・チャネルからなり、NおよびMのそれぞれは0より大きい整数であり、MはN以下である、段階と;
オーディオ・コンテンツのデフォルト混合を示すスピーカー・チャネルのベッドを決定する段階であって、前記ベッドのスピーカー・チャネルのうちのM個からなるオブジェクト・ベース・スピーカー・チャネル部分集合は、前記第二の非環境コンテンツを示すまたは前記デフォルト混合のオーディオ・コンテンツの少なくとも一部と前記第二の非環境コンテンツとの混合を示す、段階と;
M個の置換スピーカー・チャネルの集合を決定する段階であって、M個の置換スピーカー・チャネルの前記集合における各置換スピーカー・チャネルは、前記オブジェクト・ベース・スピーカー・チャネル部分集合の対応するスピーカー・チャネルのコンテンツの全部ではない一部を示す、段階と;
前記オブジェクト・チャネルのうちの少なくとも一つのコンテンツと、前記ベッドのスピーカー・チャネルおよび/または前記置換スピーカー・チャネルのうちの所定のもののコンテンツとの少なくとも一つの選択可能なあらかじめ決定された代替的な混合を示すメタデータを生成する段階であって、前記メタデータは、前記代替的な混合それぞれについてのレンダリング・パラメータを含み、少なくとも一つの前記代替的な混合は、前記ベッドのオーディオ・コンテンツおよび前記第一の非環境コンテンツの少なくとも一部を示すが、前記第二の非環境コンテンツは示さない置換混合である、段階と;
スピーカー・チャネルの前記ベッド、M個の置換スピーカー・チャネルの前記集合、オブジェクト・チャネルの前記集合および前記メタデータを含むよう前記オブジェクト・ベース・オーディオ・プログラムを生成して、スピーカー・チャネルの前記ベッドが、前記メタデータを使わなくても、前記デフォルト混合として知覚可能な音を提供するようレンダリング可能であり、前記置換混合が、前記メタデータの少なくとも一部に応答して、前記ベッドのオーディオ・コンテンツおよび前記第一の非環境コンテンツの少なくとも一部を含むが、前記第二の非環境コンテンツは含まない混合として知覚可能な音を提供するようレンダリング可能であるようにする、段階とを含む、
方法。 - 前記メタデータの少なくとも一部は、前記プログラムのオーディオ・コンテンツの選択可能なあらかじめ決定された混合の集合を示す選択可能なコンテンツ・メタデータを含み、各あらかじめ決定された混合のレンダリング・パラメータのあらかじめ決定された集合を含む、請求項1記載の方法。
- 前記オブジェクト・ベース・オーディオ・プログラムは、フレームを含むエンコードされたビットストリームであり、前記エンコードされたビットストリームはAC-3ビットストリームまたはE-AC-3ビットストリームであり、前記エンコードされたビットストリームの各フレームは、前記オブジェクト・チャネルの一部のコンテンツおよび前記メタデータの一部を含むコンテナである少なくとも一つのデータ構造を示し、少なくとも一つの前記コンテナは、前記各フレームの補助データ・フィールドまたはaddbsiフィールドに含まれる、請求項1または2記載の方法。
- 前記オブジェクト・ベース・オーディオ・プログラムは、バーストおよびバーストの対の間の保護帯のシーケンスを含むドルビーEビットストリームである、請求項1または2記載の方法。
- オブジェクト・ベース・オーディオ・プログラムが前記プログラムのオーディオ・コンテンツおよびメタデータを示す、エンコードされていない表現であり、前記エンコードされていない表現は、ビットストリームであるまたはメモリに非一時的な仕方で記憶されたデータの少なくとも一つのファイルである、請求項1または2記載の方法。
- 前記メタデータの少なくとも一部は層構成の混合グラフを示し、前記層構成の混合グラフは前記ベッドのスピーカー・チャネル、前記置換スピーカー・チャネルおよび前記オブジェクト・チャネルの選択可能な混合を示し、前記層構成の混合グラフは、メタデータの基本層およびメタデータの少なくとも一つの拡張層を含む、請求項1ないし5のうちいずれか一項記載の方法。
- 前記メタデータの少なくとも一部は混合グラフを示し、前記混合グラフは前記ベッドのスピーカー・チャネル、前記置換スピーカー・チャネルおよび前記オブジェクト・チャネルの選択可能な混合を示し、前記オブジェクト・ベース・オーディオ・プログラムはフレームを含むエンコードされたビットストリームであり、前記エンコードされたビットストリームの各フレームは前記混合グラフを示すメタデータを含む、請求項1ないし6のうちいずれか一項記載の方法。
- 前記オブジェクト・ベース・オーディオ・プログラムは捕捉されたオーディオ・コンテンツを示す、請求項1ないし7のうちいずれか一項記載の方法。
- 前記デフォルト混合は環境コンテンツおよび非環境コンテンツの混合である、請求項1ないし8のうちいずれか一項記載の方法。
- 前記第三のコンテンツは環境コンテンツである、請求項1ないし9のうちいずれか一項記載の方法。
- 前記環境コンテンツは観客イベントにおける環境音を示し、前記第一の非環境コンテンツは前記観客イベントについてのコメンタリーを示し、前記第二の非環境コンテンツは前記観客イベントについての代替的なコメンタリーを示す、請求項10記載の方法。
- オブジェクト・ベース・オーディオ・プログラムによって決定されたオーディオ・コンテンツをレンダリングする方法であって、前記プログラムは、スピーカー・チャネルのベッド、M個の置換スピーカー・チャネルの集合、オブジェクト・チャネルの集合およびメタデータを示し、オブジェクト・チャネルの前記集合はN個のオブジェクト・チャネルからなり、オブジェクト・チャネルの前記集合の第一の部分集合は第一の非環境コンテンツを示し、前記第一の部分集合はオブジェクト・チャネルの前記集合のうちM個のオブジェクト・チャネルからなり、NおよびMのそれぞれは0より大きい整数であり、MはN以下であり、
スピーカー・チャネルの前記ベッドは、前記第一の非環境コンテンツとは異なる第二の非環境コンテンツを含む、オーディオ・コンテンツのデフォルト混合を示し、前記ベッドのスピーカー・チャネルのうちのM個からなるオブジェクト・ベース・スピーカー・チャネル部分集合が、前記第二の非環境コンテンツを示すまたは前記デフォルト混合のオーディオ・コンテンツの少なくとも一部と前記第二の非環境コンテンツとの混合を示し、
M個の置換スピーカー・チャネルの前記集合における各置換スピーカー・チャネルは、前記オブジェクト・ベース・スピーカー・チャネル部分集合の対応するスピーカー・チャネルのコンテンツの全部ではない一部を示し、
前記メタデータは、前記オブジェクト・チャネルのうちの少なくとも一つのコンテンツと、前記ベッドのスピーカー・チャネルおよび/または前記置換スピーカー・チャネルのうちの所定のもののコンテンツとの少なくとも一つの選択可能なあらかじめ決定された代替的な混合を示し、前記メタデータは、前記代替的な混合それぞれについてのレンダリング・パラメータを含み、少なくとも一つの前記代替的な混合は、前記ベッドのオーディオ・コンテンツおよび前記第一の非環境コンテンツの少なくとも一部を含むが、前記第二の非環境コンテンツは含まない置換混合であり、前記方法は:
(a)前記オブジェクト・ベース・オーディオ・プログラムをオーディオ処理ユニットに提供する段階と;
(b)前記オーディオ処理ユニットにおいて、スピーカー・チャネルの前記ベッドをパースし、前記メタデータを使うことなく、スピーカー・チャネルの前記ベッドに応答して前記デフォルト混合をレンダリングする段階とを含む、
方法。 - 前記オーディオ処理ユニットは、前記プログラムの前記オブジェクト・チャネルおよび前記メタデータをパースするよう構成されており、当該方法はさらに:
(c)前記オーディオ処理ユニットにおいて、前記メタデータの少なくとも一部を使って前記置換混合をレンダリングする段階を含み、該段階は、前記メタデータの少なくとも一部に応答して、オブジェクト・チャネルの前記集合の前記第一の部分集合と、少なくとも一つの前記置換スピーカー・チャネルとのコンテンツを選択して、混合することによることを含む、
請求項12記載の方法。 - 段階(c)が、
(d)前記メタデータの前記少なくとも一部に応答して、オブジェクト・チャネルの前記集合の前記第一の部分集合を選択し、スピーカー・チャネルの前記ベッドのうち、前記オブジェクト・ベース・スピーカー・チャネル部分集合内のスピーカー・チャネル以外の少なくとも一つのスピーカー・チャネルを選択し、前記少なくとも一つの置換スピーカー・チャネルを選択する段階と;
(e)オブジェクト・チャネルの前記集合の前記第一の部分集合および段階(d)において選択された各スピーカー・チャネルのコンテンツを混合し、それにより前記置換混合を決定する段階を含む、
請求項13記載の方法。 - 段階(c)が、
前記ベッドのオーディオ・コンテンツおよび前記第一の非環境コンテンツの前記少なくとも一部を含むが、前記第二の非環境コンテンツは含まない混合として知覚可能な音を提供するようスピーカーを駆動する段階を含む、請求項13または14記載の方法。 - 段階(c)が、
前記置換混合に応答して、音を発するようスピーカーを駆動するためのスピーカー・フィードを生成する段階を含み、前記音は、前記第一の非環境コンテンツを示すオブジェクト・チャネル音を含み、前記オブジェクト・チャネル音は、オブジェクト・チャネルの前記集合の前記第一の部分集合によって決定される少なくとも一つの見かけの源位置から発しているよう知覚可能である、請求項13ないし15のうちいずれか一項記載の方法。 - 段階(c)が、
選択のために利用可能な混合のメニューを提供する段階であって、前記混合の少なくともある部分集合の各混合は、前記オブジェクト・チャネルの部分集合および前記置換スピーカー・チャネルの部分集合のコンテンツを含む、段階と;
前記メニューによって示される混合のうちの一つを選択することによって前記置換混合を選択する段階とを含む、
請求項13ないし16のうちいずれか一項記載の方法。 - 前記メニューがコントローラのユーザー・インターフェースによって呈示され、前記コントローラはセットトップデバイスに結合され、前記セットトップデバイスは前記オブジェクト・ベース・オーディオ・プログラムを受領するよう結合され、段階(c)を実行するよう構成される、請求項13ないし17のうちいずれか一項記載の方法。
- 前記オブジェクト・ベース・オーディオ・プログラムはビットストリームの集合を含み、段階(a)は、前記オーディオ処理ユニットに前記オブジェクト・ベース・オーディオ・プログラムのビットストリームを伝送する段階を含む、請求項12ないし18のうちいずれか一項記載の方法。
- 前記デフォルト混合が環境コンテンツおよび非環境コンテンツの混合である、請求項12ないし19のうちいずれか一項記載の方法。
- 前記環境コンテンツは観客イベントにおける環境音を示し、前記第一の非環境コンテンツは前記観客イベントについてのコメンタリーを示し、前記第二の非環境コンテンツは前記観客イベントについての代替的なコメンタリーを示す、請求項20記載の方法。
- 前記オブジェクト・ベース・オーディオ・プログラムは、フレームを含むエンコードされたビットストリームであり、前記エンコードされたビットストリームはAC-3ビットストリームまたはE-AC-3ビットストリームであり、前記エンコードされたビットストリームの各フレームは、前記オブジェクト・チャネルの一部のコンテンツおよび前記メタデータの一部を含むコンテナである少なくとも一つのデータ構造を示し、少なくとも一つの前記コンテナは、前記各フレームの補助データ・フィールドまたはaddbsiフィールドに含まれる、請求項12ないし21のうちいずれか一項記載の方法。
- 前記オブジェクト・ベース・オーディオ・プログラムは、バーストおよびバーストの対の間の保護帯のシーケンスを含むドルビーEビットストリームである、請求項12ないし21のうちいずれか一項記載の方法。
- オブジェクト・ベース・オーディオ・プログラムが前記プログラムのオーディオ・コンテンツおよびメタデータを示す、エンコードされていない表現であり、前記エンコードされていない表現は、ビットストリームであるまたはメモリに非一時的な仕方で記憶されたデータの少なくとも一つのファイルである、請求項12ないし21のうちいずれか一項記載の方法。
- 前記メタデータの少なくとも一部は層構成の混合グラフを示し、前記層構成の混合グラフは前記ベッドのスピーカー・チャネル、前記置換スピーカー・チャネルおよび前記オブジェクト・チャネルの選択可能な混合を示し、前記層構成の混合グラフは、メタデータの基本層およびメタデータの少なくとも一つの拡張層を含む、請求項12ないし24のうちいずれか一項記載の方法。
- 前記メタデータの少なくとも一部は混合グラフを示し、前記混合グラフは前記ベッドのスピーカー・チャネル、前記置換スピーカー・チャネルおよび前記オブジェクト・チャネルの選択可能な混合を示し、前記オブジェクト・ベース・オーディオ・プログラムはフレームを含むエンコードされたビットストリームであり、前記エンコードされたビットストリームの各フレームは前記混合グラフを示すメタデータを含む、請求項12ないし25のうちいずれか一項記載の方法。
- 第一の非環境コンテンツ、前記第一の非環境コンテンツとは異なる第二の非環境コンテンツおよび前記第一の非環境コンテンツおよび前記第二の非環境コンテンツとは異なる第三のコンテンツを含むオーディオ・コンテンツを示すオブジェクト・ベース・オーディオ・プログラムを生成するシステムであって、当該システムは第一のサブシステムを含み、
前記第一のサブシステムは:
N個のオブジェクト・チャネルからなるオブジェクト・チャネルの集合であって、オブジェクト・チャネルの前記集合の第一の部分集合は前記第一の非環境コンテンツを示し、前記第一の部分集合はオブジェクト・チャネルの前記集合のうちM個のオブジェクト・チャネルからなり、NおよびMのそれぞれは0より大きい整数であり、MはN以下である、集合と;
オーディオ・コンテンツのデフォルト混合を示すスピーカー・チャネルのベッドであって、前記ベッドのスピーカー・チャネルのうちのM個からなるオブジェクト・ベース・スピーカー・チャネル部分集合は、前記第二の非環境コンテンツを示すまたは前記デフォルト混合のオーディオ・コンテンツの少なくとも一部と前記第二の非環境コンテンツとの混合を示す、集合と;
M個の置換スピーカー・チャネルの集合であって、M個の置換スピーカー・チャネルの前記集合における各置換スピーカー・チャネルは、前記オブジェクト・ベース・スピーカー・チャネル部分集合の対応するスピーカー・チャネルのコンテンツの全部ではない一部を示す、集合とを決定するよう構成されており、
前記第一のサブシステムは、前記オブジェクト・チャネルのうちの少なくとも一つのコンテンツと、前記ベッドのスピーカー・チャネルおよび/または前記置換スピーカー・チャネルのうちの所定のもののコンテンツとの少なくとも一つの選択可能なあらかじめ決定された代替的な混合を示すメタデータを生成するよう構成されており、前記メタデータは、前記代替的な混合それぞれについてのレンダリング・パラメータを含み、少なくとも一つの前記代替的な混合は、前記ベッドのオーディオ・コンテンツおよび前記第一の非環境コンテンツの少なくとも一部を示すが、前記第二の非環境コンテンツは示さない置換混合であり、
当該システムはさらに、前記第一のサブシステムに結合されたエンコード・サブシステムを含み、前記エンコード・サブシステムは、スピーカー・チャネルの前記ベッド、M個の置換スピーカー・チャネルの前記集合、オブジェクト・チャネルの前記集合および前記メタデータを含むよう前記オブジェクト・ベース・オーディオ・プログラムを生成して、スピーカー・チャネルの前記ベッドが、前記メタデータを使わなくても、前記デフォルト混合として知覚可能な音を提供するようレンダリング可能であり、前記置換混合が、前記メタデータの少なくとも一部に応答して、前記ベッドのオーディオ・コンテンツおよび前記第一の非環境コンテンツの少なくとも一部を含むが、前記第二の非環境コンテンツは含まない混合として知覚可能な音を提供するようレンダリング可能であるようにする、よう構成されている、
システム。 - 前記メタデータの少なくとも一部は、前記プログラムのオーディオ・コンテンツの選択可能なあらかじめ決定された混合の集合を示す選択可能なコンテンツ・メタデータを含み、各あらかじめ決定された混合のレンダリング・パラメータのあらかじめ決定された集合を含む、請求項27記載のシステム。
- 前記デフォルト混合は環境コンテンツおよび非環境コンテンツの混合である、請求項27または28記載のシステム。
- 前記第三のコンテンツは環境コンテンツである、請求項27または28記載のシステム。
- 前記環境コンテンツは観客イベントにおける環境音を示し、前記第一の非環境コンテンツは前記観客イベントについてのコメンタリーを示し、前記第二の非環境コンテンツは前記観客イベントについての代替的なコメンタリーを示す、請求項30記載のシステム。
- 前記エンコード・サブシステムは、前記オブジェクト・ベース・オーディオ・プログラムがフレームを含むエンコードされたビットストリームであり、前記エンコードされたビットストリームはAC-3ビットストリームまたはE-AC-3ビットストリームであり、前記エンコードされたビットストリームの各フレームは、前記オブジェクト・チャネルの一部のコンテンツおよび前記メタデータの一部を含むコンテナである少なくとも一つのデータ構造を示し、少なくとも一つの前記コンテナは、前記各フレームの補助データ・フィールドまたはaddbsiフィールドに含まれるように、前記オブジェクト・ベース・オーディオ・プログラムを生成するよう構成されている、請求項27ないし31のうちいずれか一項記載のシステム。
- 前記エンコード・サブシステムは、前記オブジェクト・ベース・オーディオ・プログラムがバーストおよびバーストの対の間の保護帯のシーケンスを含むドルビーEビットストリームであるように前記オブジェクト・ベース・オーディオ・プログラムを生成するよう構成されている、請求項27ないし32のうちいずれか一項記載のシステム。
- 前記メタデータの少なくとも一部は層構成の混合グラフを示し、前記層構成の混合グラフは前記ベッドのスピーカー・チャネル、前記置換スピーカー・チャネルおよび前記オブジェクト・チャネルの選択可能な混合を示し、前記層構成の混合グラフは、メタデータの基本層およびメタデータの少なくとも一つの拡張層を含む、請求項27ないし33のうちいずれか一項記載のシステム。
- 前記メタデータの少なくとも一部は混合グラフを示し、前記混合グラフは前記ベッドのスピーカー・チャネル、前記置換スピーカー・チャネルおよび前記オブジェクト・チャネルの選択可能な混合を示し、前記オブジェクト・ベース・オーディオ・プログラムはフレームを含むエンコードされたビットストリームであり、前記エンコードされたビットストリームの各フレームは前記混合グラフを示すメタデータを含む、請求項27ないし34のうちいずれか一項記載のシステム。
- オブジェクト・ベース・オーディオ・プログラムによって決定されたオーディオ・コンテンツをレンダリングするよう構成されたオーディオ処理ユニットであって、前記プログラムは、スピーカー・チャネルのベッド、M個の置換スピーカー・チャネルの集合、オブジェクト・チャネルの集合およびメタデータを示し、オブジェクト・チャネルの前記集合はN個のオブジェクト・チャネルからなり、オブジェクト・チャネルの前記集合の第一の部分集合は第一の非環境コンテンツを示し、前記第一の部分集合はオブジェクト・チャネルの前記集合のうちM個のオブジェクト・チャネルからなり、NおよびMのそれぞれは0より大きい整数であり、MはN以下であり、
スピーカー・チャネルの前記ベッドは、前記第一の非環境コンテンツとは異なる第二の非環境コンテンツを含む、オーディオ・コンテンツのデフォルト混合を示し、前記ベッドのスピーカー・チャネルのうちのM個からなるオブジェクト・ベース・スピーカー・チャネル部分集合が、前記第二の非環境コンテンツを示すまたは前記デフォルト混合のオーディオ・コンテンツの少なくとも一部と前記第二の非環境コンテンツとの混合を示し、
M個の置換スピーカー・チャネルの前記集合における各置換スピーカー・チャネルは、前記オブジェクト・ベース・スピーカー・チャネル部分集合の対応するスピーカー・チャネルのコンテンツの全部ではない一部を示し、
前記メタデータは、前記オブジェクト・チャネルのうちの少なくとも一つのコンテンツと、前記ベッドのスピーカー・チャネルおよび/または前記置換スピーカー・チャネルのうちの所定のもののコンテンツとの少なくとも一つの選択可能なあらかじめ決定された代替的な混合を示し、前記メタデータは、前記代替的な混合それぞれについてのレンダリング・パラメータを含み、少なくとも一つの前記代替的な混合は、前記ベッドのオーディオ・コンテンツおよび前記第一の非環境コンテンツの少なくとも一部を含むが、前記第二の非環境コンテンツは含まない置換混合であり、当該オーディオ処理ユニットは:
前記オブジェクト・ベース・オーディオ・プログラムを受領するよう結合され、前記プログラムのスピーカー・チャネルの前記ベッド、前記置換スピーカー・チャネル、前記オブジェクト・チャネルおよび前記メタデータをパースするよう構成された第一のサブシステムと;
前記第一のサブシステムに結合されたレンダリング・サブシステムとを含み、
前記レンダリング・サブシステムは、第一のモードでは、前記メタデータを使うことなく、スピーカー・チャネルの前記ベッドに応答して前記デフォルト混合をレンダリングするよう動作可能であり、前記レンダリング・サブシステムはまた、第二のモードでは、前記メタデータの少なくとも一部を使って前記置換混合をレンダリングするよう動作可能であり、該レンダリングは、前記メタデータの少なくとも一部に応答して、オブジェクト・チャネルの前記集合の前記第一の部分集合と、少なくとも一つの前記置換スピーカー・チャネルとのコンテンツを選択して、混合することによることを含む、
オーディオ処理ユニット。 - 前記レンダリング・サブシステムが、
前記第二のモードにおいて、前記メタデータの前記少なくとも一部に応答して、オブジェクト・チャネルの前記集合の前記第一の部分集合と、スピーカー・チャネルの前記ベッドのうち、前記オブジェクト・ベース・スピーカー・チャネル部分集合内のスピーカー・チャネル以外の少なくとも一つのスピーカー・チャネルと、前記少なくとも一つの置換スピーカー・チャネルとを選択するよう動作可能な第一のサブシステムと;
前記第二のモードにおいて、オブジェクト・チャネルの前記集合の前記第一の部分集合のコンテンツおよび前記第一のサブシステムによって選択された各スピーカー・チャネルのコンテンツを混合し、それにより前記置換混合を決定するよう動作可能な、前記第一のサブシステムに結合された第二のサブシステムとを含む、
請求項36記載のオーディオ処理ユニット。 - 前記レンダリング・サブシステムが、前記置換混合に応答して、前記ベッドのオーディオ・コンテンツおよび前記第一の非環境コンテンツの前記少なくとも一部を含むが、前記第二の非環境コンテンツは含まない混合として知覚可能な音を発するようスピーカーを駆動するためのスピーカー・フィードを生成するよう構成されている、請求項36または37記載のオーディオ処理ユニット。
- 前記レンダリング・サブシステムが、前記置換混合に応答して、音を発するようスピーカーを駆動するためのスピーカー・フィードを生成するよう構成されており、前記音は、前記第一の非環境コンテンツを示すオブジェクト・チャネル音を含み、前記オブジェクト・チャネル音は、オブジェクト・チャネルの前記集合の前記第一の部分集合によって決定される少なくとも一つの見かけの源位置から発しているよう知覚可能である、請求項36ないし38のうちいずれか一項記載のオーディオ処理ユニット。
- 前記レンダリング・サブシステムに結合されたコントローラをさらに含み、前記コントローラが、選択のために利用可能な混合のメニューを提供するよう構成されており、前記混合の少なくともある部分集合の各混合は、前記オブジェクト・チャネルの部分集合および前記置換スピーカー・チャネルの部分集合のコンテンツを含む、請求項36ないし39のうちいずれか一項記載のオーディオ処理ユニット。
- 前記コントローラが、前記メニューを表示するユーザー・インターフェースを実装するよう構成されている、請求項40記載のオーディオ処理ユニット。
- 前記第一のサブシステムおよび前記レンダリング・サブシステムがセットトップデバイスにおいて実装され、前記コントローラが前記セットトップデバイスに結合される、請求項40または41記載のオーディオ処理ユニット。
- 前記デフォルト混合が環境コンテンツおよび非環境コンテンツの混合である、請求項36ないし42のうちいずれか一項記載のオーディオ処理ユニット。
- 前記環境コンテンツは観客イベントにおける環境音を示し、前記第一の非環境コンテンツは前記観客イベントについてのコメンタリーを示し、前記第二の非環境コンテンツは前記観客イベントについての代替的なコメンタリーを示す、請求項43記載のオーディオ処理ユニット。
- 前記オブジェクト・ベース・オーディオ・プログラムは、フレームを含むエンコードされたビットストリームであり、前記エンコードされたビットストリームはAC-3ビットストリームまたはE-AC-3ビットストリームであり、前記エンコードされたビットストリームの各フレームは、前記オブジェクト・チャネルの一部のコンテンツおよび前記メタデータの一部を含むコンテナである少なくとも一つのデータ構造を示し、少なくとも一つの前記コンテナは、前記各フレームの補助データ・フィールドまたはaddbsiフィールドに含まれる、請求項36ないし44のうちいずれか一項記載のオーディオ処理ユニット。
- 前記オブジェクト・ベース・オーディオ・プログラムは、バーストおよびバーストの対の間の保護帯のシーケンスを含むドルビーEビットストリームである、請求項36ないし44のうちいずれか一項記載のオーディオ処理ユニット。
- バッファ・メモリおよび前記バッファ・メモリに結合された少なくとも一つのオーディオ処理サブシステムを含むオーディオ処理ユニットであって、
前記バッファ・メモリは、オブジェクト・ベース・オーディオ・プログラムの少なくとも一つのセグメントを記憶し、前記プログラムは、スピーカー・チャネルのベッド、M個の置換スピーカー・チャネルの集合、オブジェクト・チャネルの集合およびメタデータを示し、オブジェクト・チャネルの前記集合はN個のオブジェクト・チャネルからなり、オブジェクト・チャネルの前記集合の第一の部分集合は第一の非環境コンテンツを示し、前記第一の部分集合はオブジェクト・チャネルの前記集合のうちM個のオブジェクト・チャネルからなり、NおよびMのそれぞれは0より大きい整数であり、MはN以下であり、
スピーカー・チャネルの前記ベッドは、前記第一の非環境コンテンツとは異なる第二の非環境コンテンツを含む、オーディオ・コンテンツのデフォルト混合を示し、前記ベッドのスピーカー・チャネルのうちのM個からなるオブジェクト・ベース・スピーカー・チャネル部分集合が、前記第二の非環境コンテンツを示すまたは前記デフォルト混合のオーディオ・コンテンツの少なくとも一部と前記第二の非環境コンテンツとの混合を示し、
M個の置換スピーカー・チャネルの前記集合における各置換スピーカー・チャネルは、前記オブジェクト・ベース・スピーカー・チャネル部分集合の対応するスピーカー・チャネルのコンテンツの全部ではない一部を示し、
前記メタデータは、前記オブジェクト・チャネルのうちの少なくとも一つのコンテンツと、前記ベッドのスピーカー・チャネルおよび/または前記置換スピーカー・チャネルのうちの所定のもののコンテンツとの少なくとも一つの選択可能なあらかじめ決定された代替的な混合を示し、前記メタデータは、前記代替的な混合それぞれについてのレンダリング・パラメータを含み、少なくとも一つの前記代替的な混合は、前記ベッドのオーディオ・コンテンツおよび前記第一の非環境コンテンツの少なくとも一部を含むが、前記第二の非環境コンテンツは含まない置換混合であり、
前記各セグメントは、スピーカー・チャネルの前記ベッドのオーディオ・コンテンツを示すデータ、前記置換スピーカー・チャネルのオーディオ・コンテンツを示すデータおよび前記オブジェクト・チャネルのオーディオ・コンテンツを示すデータならびに前記メタデータの少なくとも一部を含む、
オーディオ処理ユニット。 - 前記オブジェクト・ベース・オーディオ・プログラムがフレームを含むエンコードされたビットストリームであり、前記各セグメントは該フレームの一つである、請求項47記載のオーディオ処理ユニット。
- 前記エンコードされたビットストリームはAC-3ビットストリームまたはE-AC-3ビットストリームであり、前記フレームのそれぞれは、前記オブジェクト・チャネルのうちの少なくとも一つのオブジェクト・チャネルの一部のコンテンツおよび前記メタデータの一部を含むコンテナである少なくとも一つのデータ構造を示し、少なくとも一つの前記コンテナは、前記フレームの各フレームの補助データ・フィールドまたはaddbsiフィールドに含まれる、請求項47または48記載のオーディオ処理ユニット。
- 前記オブジェクト・ベース・オーディオ・プログラムは、バーストおよびバーストの対の間の保護帯のシーケンスを含むドルビーEビットストリームである、請求項47または48記載のオーディオ処理ユニット。
- オブジェクト・ベース・オーディオ・プログラムが前記プログラムのオーディオ・コンテンツおよびメタデータを示す、エンコードされていない表現であり、前記エンコードされていない表現は、ビットストリームであるまたはメモリに非一時的な仕方で記憶されたデータの少なくとも一つのファイルである、請求項47または48記載のオーディオ処理ユニット。
- 前記バッファ・メモリが前記セグメントを非一時的な仕方で記憶する、請求項47ないし51のうちいずれか一項記載のオーディオ処理ユニット。
- 前記オーディオ処理サブシステムがエンコーダである、請求項47ないし52のうちいずれか一項記載のオーディオ処理ユニット。
- 前記オーディオ処理サブシステムが、スピーカー・チャネルの前記ベッド、前記置換スピーカー・チャネル、前記オブジェクト・チャネルおよび前記メタデータをパースするよう構成されている、請求項47ないし53のうちいずれか一項記載のオーディオ処理ユニット。
- 前記オーディオ処理サブシステムが、前記メタデータを使うことなく、スピーカー・チャネルの前記ベッドに応答して前記デフォルト混合をレンダリングするよう構成されている、請求項47ないし54のうちいずれか一項記載のオーディオ処理ユニット。
- 前記オーディオ処理サブシステムが、前記メタデータの少なくとも一部を使って前記置換混合をレンダリングするよう構成されており、該レンダリングは、前記メタデータの少なくとも一部に応答して、オブジェクト・チャネルの前記集合の前記第一の部分集合と、少なくとも一つの前記置換スピーカー・チャネルとのコンテンツを選択して、混合することによることを含む、請求項47ないし55のうちいずれか一項記載のオーディオ処理ユニット。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361807922P | 2013-04-03 | 2013-04-03 | |
US61/807,922 | 2013-04-03 | ||
US201361832397P | 2013-06-07 | 2013-06-07 | |
US61/832,397 | 2013-06-07 | ||
PCT/US2014/032813 WO2014165668A1 (en) | 2013-04-03 | 2014-04-03 | Methods and systems for generating and interactively rendering object based audio |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016520858A true JP2016520858A (ja) | 2016-07-14 |
JP6212625B2 JP6212625B2 (ja) | 2017-10-11 |
Family
ID=50483612
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016506323A Active JP6212624B2 (ja) | 2013-04-03 | 2014-03-19 | オブジェクト・ベース・オーディオの対話的にレンダリングのための方法およびシステム |
JP2016506612A Active JP6149152B2 (ja) | 2013-04-03 | 2014-04-03 | 条件付きレンダリング・メタデータをもつオブジェクト・ベース・オーディオを生成し、レンダリングする方法およびシステム |
JP2016506613A Active JP6212625B2 (ja) | 2013-04-03 | 2014-04-03 | オブジェクト・ベース・オーディオを生成し、対話的にレンダリングする方法およびシステム |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016506323A Active JP6212624B2 (ja) | 2013-04-03 | 2014-03-19 | オブジェクト・ベース・オーディオの対話的にレンダリングのための方法およびシステム |
JP2016506612A Active JP6149152B2 (ja) | 2013-04-03 | 2014-04-03 | 条件付きレンダリング・メタデータをもつオブジェクト・ベース・オーディオを生成し、レンダリングする方法およびシステム |
Country Status (8)
Country | Link |
---|---|
US (18) | US9997164B2 (ja) |
EP (5) | EP2982140B1 (ja) |
JP (3) | JP6212624B2 (ja) |
KR (1) | KR101800604B1 (ja) |
CN (16) | CN114157978B (ja) |
HK (2) | HK1249655A1 (ja) |
TW (1) | TWI530941B (ja) |
WO (3) | WO2014165326A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017509932A (ja) * | 2014-03-25 | 2017-04-06 | アップル インコーポレイテッド | ダッキング制御のためのメタデータ |
Families Citing this family (72)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI530941B (zh) | 2013-04-03 | 2016-04-21 | 杜比實驗室特許公司 | 用於基於物件音頻之互動成像的方法與系統 |
US9838823B2 (en) * | 2013-04-27 | 2017-12-05 | Intellectual Discovery Co., Ltd. | Audio signal processing method |
KR101805630B1 (ko) * | 2013-09-27 | 2017-12-07 | 삼성전자주식회사 | 멀티 디코딩 처리 방법 및 이를 수행하기 위한 멀티 디코더 |
US10349197B2 (en) * | 2014-08-13 | 2019-07-09 | Samsung Electronics Co., Ltd. | Method and device for generating and playing back audio signal |
WO2016039287A1 (ja) * | 2014-09-12 | 2016-03-17 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
WO2016052191A1 (ja) * | 2014-09-30 | 2016-04-07 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
CN106796809B (zh) * | 2014-10-03 | 2019-08-09 | 杜比国际公司 | 个性化音频的智能访问 |
US10140996B2 (en) | 2014-10-10 | 2018-11-27 | Qualcomm Incorporated | Signaling layers for scalable coding of higher order ambisonic audio data |
CN106537942A (zh) * | 2014-11-11 | 2017-03-22 | 谷歌公司 | 3d沉浸式空间音频系统和方法 |
TWI693595B (zh) * | 2015-03-13 | 2020-05-11 | 瑞典商杜比國際公司 | 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流 |
TWI693594B (zh) | 2015-03-13 | 2020-05-11 | 瑞典商杜比國際公司 | 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流 |
US10136216B2 (en) | 2015-04-10 | 2018-11-20 | Dolby Laboratories Licensing Corporation | Action sound capture using subsurface microphones |
US10136240B2 (en) * | 2015-04-20 | 2018-11-20 | Dolby Laboratories Licensing Corporation | Processing audio data to compensate for partial hearing loss or an adverse hearing environment |
WO2016171002A1 (ja) * | 2015-04-24 | 2016-10-27 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
CN106303897A (zh) | 2015-06-01 | 2017-01-04 | 杜比实验室特许公司 | 处理基于对象的音频信号 |
KR102122004B1 (ko) | 2015-06-17 | 2020-06-26 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 오디오 코딩 시스템들에서 사용자 상호 작용을 위한 음량 제어 |
TWI607655B (zh) * | 2015-06-19 | 2017-12-01 | Sony Corp | Coding apparatus and method, decoding apparatus and method, and program |
GB2543276A (en) * | 2015-10-12 | 2017-04-19 | Nokia Technologies Oy | Distributed audio capture and mixing |
GB2543275A (en) * | 2015-10-12 | 2017-04-19 | Nokia Technologies Oy | Distributed audio capture and mixing |
US20170098452A1 (en) * | 2015-10-02 | 2017-04-06 | Dts, Inc. | Method and system for audio processing of dialog, music, effect and height objects |
US9877137B2 (en) | 2015-10-06 | 2018-01-23 | Disney Enterprises, Inc. | Systems and methods for playing a venue-specific object-based audio |
US9900626B2 (en) | 2015-10-28 | 2018-02-20 | Intel Corporation | System and method for distributing multimedia events from a client |
EP3174317A1 (en) * | 2015-11-27 | 2017-05-31 | Nokia Technologies Oy | Intelligent audio rendering |
EP3174316B1 (en) | 2015-11-27 | 2020-02-26 | Nokia Technologies Oy | Intelligent audio rendering |
US10027994B2 (en) * | 2016-03-23 | 2018-07-17 | Dts, Inc. | Interactive audio metadata handling |
WO2017165837A1 (en) * | 2016-03-24 | 2017-09-28 | Dolby Laboratories Licensing Corporation | Near-field rendering of immersive audio content in portable computers and devices |
US10325610B2 (en) * | 2016-03-30 | 2019-06-18 | Microsoft Technology Licensing, Llc | Adaptive audio rendering |
KR102421292B1 (ko) * | 2016-04-21 | 2022-07-18 | 한국전자통신연구원 | 오디오 객체 신호 재생 시스템 및 그 방법 |
US10015612B2 (en) * | 2016-05-25 | 2018-07-03 | Dolby Laboratories Licensing Corporation | Measurement, verification and correction of time alignment of multiple audio channels and associated metadata |
GB2550877A (en) * | 2016-05-26 | 2017-12-06 | Univ Surrey | Object-based audio rendering |
CN109314832B (zh) * | 2016-05-31 | 2021-01-29 | 高迪奥实验室公司 | 音频信号处理方法和设备 |
US10863297B2 (en) | 2016-06-01 | 2020-12-08 | Dolby International Ab | Method converting multichannel audio content into object-based audio content and a method for processing audio content having a spatial position |
JP6701573B2 (ja) * | 2016-08-03 | 2020-05-27 | 株式会社リコー | 音声処理装置、音声映像出力装置、及び遠隔会議システム |
US10187740B2 (en) * | 2016-09-23 | 2019-01-22 | Apple Inc. | Producing headphone driver signals in a digital audio signal processing binaural rendering environment |
US10356545B2 (en) * | 2016-09-23 | 2019-07-16 | Gaudio Lab, Inc. | Method and device for processing audio signal by using metadata |
US10419866B2 (en) * | 2016-10-07 | 2019-09-17 | Microsoft Technology Licensing, Llc | Shared three-dimensional audio bed |
CN114025301B (zh) * | 2016-10-28 | 2024-07-30 | 松下电器(美国)知识产权公司 | 用于回放多个音频源的双声道渲染装置和方法 |
US11595774B2 (en) | 2017-05-12 | 2023-02-28 | Microsoft Technology Licensing, Llc | Spatializing audio data based on analysis of incoming audio data |
GB2563606A (en) | 2017-06-20 | 2018-12-26 | Nokia Technologies Oy | Spatial audio processing |
GB2563635A (en) * | 2017-06-21 | 2018-12-26 | Nokia Technologies Oy | Recording and rendering audio signals |
CN109429077B (zh) * | 2017-08-24 | 2021-10-15 | 北京搜狗科技发展有限公司 | 视频处理方法和装置、用于视频处理的装置 |
EP3483880A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Temporal noise shaping |
EP3483884A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Signal filtering |
EP3483879A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Analysis/synthesis windowing function for modulated lapped transformation |
WO2019091576A1 (en) | 2017-11-10 | 2019-05-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits |
EP3483878A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder supporting a set of different loss concealment tools |
EP3483886A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Selecting pitch lag |
EP3483883A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio coding and decoding with selective postfiltering |
WO2019091573A1 (en) | 2017-11-10 | 2019-05-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for encoding and decoding an audio signal using downsampling or interpolation of scale parameters |
EP3483882A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Controlling bandwidth in encoders and/or decoders |
US11190335B2 (en) * | 2018-01-23 | 2021-11-30 | Intel Corporation | Method and apparatus for performing non-unique data pattern detection and alignment in a receiver implemented on a field programmable gate array |
US11395083B2 (en) | 2018-02-01 | 2022-07-19 | Qualcomm Incorporated | Scalable unified audio renderer |
US20190246149A1 (en) * | 2018-02-08 | 2019-08-08 | Pccw Vuclip (Singapore) Pte. Ltd. | Protected multimedia content transport and playback system |
WO2019168780A1 (en) * | 2018-02-27 | 2019-09-06 | Thin Film Electronics Asa | System and method for providing augmented reality experience to objects using wireless tags |
EP3780628A1 (en) * | 2018-03-29 | 2021-02-17 | Sony Corporation | Information processing device, information processing method, and program |
GB2575510A (en) | 2018-07-13 | 2020-01-15 | Nokia Technologies Oy | Spatial augmentation |
EP3617871A1 (en) | 2018-08-28 | 2020-03-04 | Koninklijke Philips N.V. | Audio apparatus and method of audio processing |
CN113168838A (zh) | 2018-11-02 | 2021-07-23 | 杜比国际公司 | 音频编码器及音频解码器 |
US20210006976A1 (en) * | 2019-07-03 | 2021-01-07 | Qualcomm Incorporated | Privacy restrictions for audio rendering |
US11430451B2 (en) * | 2019-09-26 | 2022-08-30 | Apple Inc. | Layered coding of audio with discrete objects |
WO2021098957A1 (en) * | 2019-11-20 | 2021-05-27 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio object renderer, methods for determining loudspeaker gains and computer program using panned object loudspeaker gains and spread object loudspeaker gains |
CN114731459A (zh) | 2019-11-20 | 2022-07-08 | 杜比国际公司 | 用于个性化音频内容的方法和设备 |
CN111340923A (zh) * | 2020-02-23 | 2020-06-26 | 广东明星创意动画有限公司 | 一种快速arnold分层渲染设置方法 |
US11315581B1 (en) * | 2020-08-17 | 2022-04-26 | Amazon Technologies, Inc. | Encoding audio metadata in an audio frame |
US11521623B2 (en) | 2021-01-11 | 2022-12-06 | Bank Of America Corporation | System and method for single-speaker identification in a multi-speaker environment on a low-frequency audio recording |
CN112860958B (zh) * | 2021-01-15 | 2024-01-26 | 北京百家科技集团有限公司 | 一种信息显示方法及装置 |
KR20230001135A (ko) * | 2021-06-28 | 2023-01-04 | 네이버 주식회사 | 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 처리하는 컴퓨터 시스템 및 그의 방법 |
CN113963724A (zh) * | 2021-09-18 | 2022-01-21 | 赛因芯微(北京)电子科技有限公司 | 音频内容元数据和产生方法、电子设备及存储介质 |
CN113990355A (zh) * | 2021-09-18 | 2022-01-28 | 赛因芯微(北京)电子科技有限公司 | 音频节目元数据和产生方法、电子设备及存储介质 |
WO2023076039A1 (en) | 2021-10-25 | 2023-05-04 | Dolby Laboratories Licensing Corporation | Generating channel and object-based audio from channel-based audio |
GB2617442B (en) * | 2022-03-03 | 2024-08-21 | Apple Inc | Audio scene description and control |
CN116830193A (zh) * | 2023-04-11 | 2023-09-29 | 北京小米移动软件有限公司 | 音频码流信号处理方法、装置、电子设备和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011528200A (ja) * | 2008-07-17 | 2011-11-10 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | オブジェクトベースのメタデータを用いてオーディオ出力信号を生成するための装置および方法 |
WO2013006338A2 (en) * | 2011-07-01 | 2013-01-10 | Dolby Laboratories Licensing Corporation | System and method for adaptive audio signal generation, coding and rendering |
Family Cites Families (80)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5632005A (en) | 1991-01-08 | 1997-05-20 | Ray Milton Dolby | Encoder/decoder for multidimensional sound fields |
SG49883A1 (en) | 1991-01-08 | 1998-06-15 | Dolby Lab Licensing Corp | Encoder/decoder for multidimensional sound fields |
WO1993003549A1 (en) * | 1991-07-31 | 1993-02-18 | Euphonix, Inc. | Automated audio mixer |
US5727119A (en) | 1995-03-27 | 1998-03-10 | Dolby Laboratories Licensing Corporation | Method and apparatus for efficient implementation of single-sideband filter banks providing accurate measures of spectral magnitude and phase |
US6154549A (en) | 1996-06-18 | 2000-11-28 | Extreme Audio Reality, Inc. | Method and apparatus for providing sound in a spatial environment |
US7210160B2 (en) * | 1999-05-28 | 2007-04-24 | Immersion Entertainment, L.L.C. | Audio/video programming and charging system and method |
US6931370B1 (en) * | 1999-11-02 | 2005-08-16 | Digital Theater Systems, Inc. | System and method for providing interactive audio in a multi-channel audio environment |
AUPQ570700A0 (en) | 2000-02-17 | 2000-03-09 | Lake Technology Limited | Virtual audio environment |
US6351733B1 (en) * | 2000-03-02 | 2002-02-26 | Hearing Enhancement Company, Llc | Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process |
US9008812B2 (en) * | 2008-06-19 | 2015-04-14 | Sirius Xm Radio Inc. | Method and apparatus for using selected content tracks from two or more program channels to automatically generate a blended mix channel for playback to a user upon selection of a corresponding preset button on a user interface |
US6553077B2 (en) | 2001-07-31 | 2003-04-22 | Xm Satellite Radio, Inc. | Method and apparatus for customized selection of audio channels |
JP2004072345A (ja) * | 2002-08-05 | 2004-03-04 | Pioneer Electronic Corp | 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、コンピュータプログラム、並びにデータ構造 |
EP1427252A1 (en) * | 2002-12-02 | 2004-06-09 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for processing audio signals from a bitstream |
US7558393B2 (en) * | 2003-03-18 | 2009-07-07 | Miller Iii Robert E | System and method for compatible 2D/3D (full sphere with height) surround sound reproduction |
US7757173B2 (en) * | 2003-07-18 | 2010-07-13 | Apple Inc. | Voice menu system |
US20050265172A1 (en) * | 2004-05-26 | 2005-12-01 | Star Sessions, Llc | Multi-channel audio/video system and authoring standard |
US20060159291A1 (en) * | 2005-01-14 | 2006-07-20 | Fliegler Richard H | Portable multi-functional audio sound system and method therefor |
EP1851656A4 (en) * | 2005-02-22 | 2009-09-23 | Verax Technologies Inc | SYSTEM AND METHOD FOR FORMATTING MULTIMODE CONTENT OF SOUNDS AND METADATA |
DE102005008343A1 (de) * | 2005-02-23 | 2006-09-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Liefern von Daten in einem Multi-Renderer-System |
SG163521A1 (en) | 2005-06-24 | 2010-08-30 | Dolby Lab Licensing Corp | Immersive audio communication |
US20080152165A1 (en) * | 2005-07-01 | 2008-06-26 | Luca Zacchi | Ad-hoc proximity multi-speaker entertainment |
US8705747B2 (en) * | 2005-12-08 | 2014-04-22 | Electronics And Telecommunications Research Institute | Object-based 3-dimensional audio service system using preset audio scenes |
KR100802179B1 (ko) | 2005-12-08 | 2008-02-12 | 한국전자통신연구원 | 프리셋 오디오 장면을 이용한 객체기반 3차원 오디오서비스 시스템 및 그 방법 |
WO2007078254A2 (en) | 2006-01-05 | 2007-07-12 | Telefonaktiebolaget Lm Ericsson (Publ) | Personalized decoding of multi-channel surround sound |
EP1853092B1 (en) * | 2006-05-04 | 2011-10-05 | LG Electronics, Inc. | Enhancing stereo audio with remix capability |
US9088855B2 (en) | 2006-05-17 | 2015-07-21 | Creative Technology Ltd | Vector-space methods for primary-ambient decomposition of stereo audio signals |
WO2008006108A2 (en) * | 2006-07-07 | 2008-01-10 | Srs Labs, Inc. | Systems and methods for multi-dialog surround audio |
US7876903B2 (en) | 2006-07-07 | 2011-01-25 | Harris Corporation | Method and apparatus for creating a multi-dimensional communication space for use in a binaural audio system |
JP2008072206A (ja) * | 2006-09-12 | 2008-03-27 | Onkyo Corp | マルチチャンネル音声増幅装置 |
CN101479787B (zh) * | 2006-09-29 | 2012-12-26 | Lg电子株式会社 | 用于编码和解码基于对象的音频信号的方法和装置 |
WO2008039041A1 (en) * | 2006-09-29 | 2008-04-03 | Lg Electronics Inc. | Methods and apparatuses for encoding and decoding object-based audio signals |
EP2092791B1 (en) | 2006-10-13 | 2010-08-04 | Galaxy Studios NV | A method and encoder for combining digital data sets, a decoding method and decoder for such combined digital data sets and a record carrier for storing such combined digital data set |
WO2008046530A2 (en) * | 2006-10-16 | 2008-04-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for multi -channel parameter transformation |
US8571875B2 (en) | 2006-10-18 | 2013-10-29 | Samsung Electronics Co., Ltd. | Method, medium, and apparatus encoding and/or decoding multichannel audio signals |
KR100913092B1 (ko) * | 2006-12-01 | 2009-08-21 | 엘지전자 주식회사 | 믹스신호의 인터페이스 표시 방법 및 장치 |
EP2595152A3 (en) | 2006-12-27 | 2013-11-13 | Electronics and Telecommunications Research Institute | Transkoding apparatus |
CA2645915C (en) * | 2007-02-14 | 2012-10-23 | Lg Electronics Inc. | Methods and apparatuses for encoding and decoding object-based audio signals |
CN101542596B (zh) * | 2007-02-14 | 2016-05-18 | Lg电子株式会社 | 用于编码和解码基于对象的音频信号的方法和装置 |
EP3712888B1 (en) * | 2007-03-30 | 2024-05-08 | Electronics and Telecommunications Research Institute | Apparatus and method for coding and decoding multi object audio signal with multi channel |
JP5243556B2 (ja) | 2008-01-01 | 2013-07-24 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号の処理方法及び装置 |
AU2008344132B2 (en) * | 2008-01-01 | 2012-07-19 | Lg Electronics Inc. | A method and an apparatus for processing an audio signal |
WO2009093866A2 (en) * | 2008-01-23 | 2009-07-30 | Lg Electronics Inc. | A method and an apparatus for processing an audio signal |
WO2009109217A1 (en) * | 2008-03-03 | 2009-09-11 | Nokia Corporation | Apparatus for capturing and rendering a plurality of audio channels |
US20090237492A1 (en) | 2008-03-18 | 2009-09-24 | Invism, Inc. | Enhanced stereoscopic immersive video recording and viewing |
EP2111060B1 (en) | 2008-04-16 | 2014-12-03 | LG Electronics Inc. | A method and an apparatus for processing an audio signal |
KR101061128B1 (ko) | 2008-04-16 | 2011-08-31 | 엘지전자 주식회사 | 오디오 신호 처리 방법 및 이의 장치 |
KR101596504B1 (ko) * | 2008-04-23 | 2016-02-23 | 한국전자통신연구원 | 객체기반 오디오 컨텐츠의 생성/재생 방법 및 객체기반 오디오 서비스를 위한 파일 포맷 구조를 가진 데이터를 기록한 컴퓨터 판독 가능 기록 매체 |
US20100064053A1 (en) | 2008-09-09 | 2010-03-11 | Apple Inc. | Radio with personal dj |
WO2010008200A2 (en) * | 2008-07-15 | 2010-01-21 | Lg Electronics Inc. | A method and an apparatus for processing an audio signal |
JP5258967B2 (ja) * | 2008-07-15 | 2013-08-07 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号の処理方法及び装置 |
EP2154677B1 (en) * | 2008-08-13 | 2013-07-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | An apparatus for determining a converted spatial audio signal |
TWI559786B (zh) | 2008-09-03 | 2016-11-21 | 杜比實驗室特許公司 | 增進多聲道之再生 |
WO2010041877A2 (en) * | 2008-10-08 | 2010-04-15 | Lg Electronics Inc. | A method and an apparatus for processing a signal |
EP2194527A3 (en) * | 2008-12-02 | 2013-09-25 | Electronics and Telecommunications Research Institute | Apparatus for generating and playing object based audio contents |
EP2205007B1 (en) | 2008-12-30 | 2019-01-09 | Dolby International AB | Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction |
WO2010085083A2 (en) | 2009-01-20 | 2010-07-29 | Lg Electronics Inc. | An apparatus for processing an audio signal and method thereof |
US8577065B2 (en) | 2009-06-12 | 2013-11-05 | Conexant Systems, Inc. | Systems and methods for creating immersion surround sound and virtual speakers effects |
US20100324915A1 (en) | 2009-06-23 | 2010-12-23 | Electronic And Telecommunications Research Institute | Encoding and decoding apparatuses for high quality multi-channel audio codec |
ES2793958T3 (es) | 2009-08-14 | 2020-11-17 | Dts Llc | Sistema para trasmitir adaptativamente objetos de audio |
US20110069934A1 (en) * | 2009-09-24 | 2011-03-24 | Electronics And Telecommunications Research Institute | Apparatus and method for providing object based audio file, and apparatus and method for playing back object based audio file |
US9185445B2 (en) * | 2009-09-24 | 2015-11-10 | At&T Intellectual Property I, L.P. | Transmitting a prioritized audio stream along with multimedia content |
JP5771618B2 (ja) * | 2009-10-19 | 2015-09-02 | ドルビー・インターナショナル・アーベー | 音声オブジェクトの区分を示すメタデータ時間標識情報 |
TWI443646B (zh) * | 2010-02-18 | 2014-07-01 | Dolby Lab Licensing Corp | 音訊解碼器及使用有效降混之解碼方法 |
CN108989721B (zh) | 2010-03-23 | 2021-04-16 | 杜比实验室特许公司 | 用于局域化感知音频的技术 |
US8908874B2 (en) * | 2010-09-08 | 2014-12-09 | Dts, Inc. | Spatial audio encoding and reproduction |
TWI759223B (zh) | 2010-12-03 | 2022-03-21 | 美商杜比實驗室特許公司 | 音頻解碼裝置、音頻解碼方法及音頻編碼方法 |
WO2012122397A1 (en) | 2011-03-09 | 2012-09-13 | Srs Labs, Inc. | System for dynamically creating and rendering audio objects |
TWI573131B (zh) | 2011-03-16 | 2017-03-01 | Dts股份有限公司 | 用以編碼或解碼音訊聲軌之方法、音訊編碼處理器及音訊解碼處理器 |
US9754595B2 (en) | 2011-06-09 | 2017-09-05 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding 3-dimensional audio signal |
JP5798247B2 (ja) | 2011-07-01 | 2015-10-21 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 向上した3dオーディオ作成および表現のためのシステムおよびツール |
JP5740531B2 (ja) * | 2011-07-01 | 2015-06-24 | ドルビー ラボラトリーズ ライセンシング コーポレイション | オブジェクトベースオーディオのアップミキシング |
WO2013073810A1 (ko) | 2011-11-14 | 2013-05-23 | 한국전자통신연구원 | 스케일러블 다채널 오디오 신호를 지원하는 부호화 장치 및 복호화 장치, 상기 장치가 수행하는 방법 |
WO2013181272A2 (en) | 2012-05-31 | 2013-12-05 | Dts Llc | Object-based audio system using vector base amplitude panning |
US8903526B2 (en) * | 2012-06-06 | 2014-12-02 | Sonos, Inc. | Device playback failure recovery and redistribution |
EP2862370B1 (en) | 2012-06-19 | 2017-08-30 | Dolby Laboratories Licensing Corporation | Rendering and playback of spatial audio using channel-based audio systems |
EP2690621A1 (en) | 2012-07-26 | 2014-01-29 | Thomson Licensing | Method and Apparatus for downmixing MPEG SAOC-like encoded audio signals at receiver side in a manner different from the manner of downmixing at encoder side |
EP2891338B1 (en) | 2012-08-31 | 2017-10-25 | Dolby Laboratories Licensing Corporation | System for rendering and playback of object based audio in various listening environments |
US9319019B2 (en) * | 2013-02-11 | 2016-04-19 | Symphonic Audio Technologies Corp. | Method for augmenting a listening experience |
TWI530941B (zh) | 2013-04-03 | 2016-04-21 | 杜比實驗室特許公司 | 用於基於物件音頻之互動成像的方法與系統 |
US9564136B2 (en) * | 2014-03-06 | 2017-02-07 | Dts, Inc. | Post-encoding bitrate reduction of multiple object audio |
-
2014
- 2014-02-19 TW TW103105464A patent/TWI530941B/zh active
- 2014-03-19 CN CN202111461521.3A patent/CN114157978B/zh active Active
- 2014-03-19 CN CN202111125861.9A patent/CN113766414B/zh active Active
- 2014-03-19 CN CN201810081152.7A patent/CN108134978B/zh active Active
- 2014-03-19 CN CN202111463619.2A patent/CN114157979B/zh active Active
- 2014-03-19 JP JP2016506323A patent/JP6212624B2/ja active Active
- 2014-03-19 CN CN202111119257.5A patent/CN113766413B/zh active Active
- 2014-03-19 CN CN202410389493.6A patent/CN118283520A/zh active Pending
- 2014-03-19 CN CN202410389498.9A patent/CN118301537A/zh active Pending
- 2014-03-19 EP EP14717385.0A patent/EP2982140B1/en active Active
- 2014-03-19 WO PCT/US2014/031246 patent/WO2014165326A1/en active Application Filing
- 2014-03-19 CN CN201480019107.9A patent/CN105103570B/zh active Active
- 2014-03-19 CN CN202410211307.XA patent/CN118102205A/zh active Pending
- 2014-03-19 US US14/781,882 patent/US9997164B2/en active Active
- 2014-03-19 CN CN202410211305.0A patent/CN117880735A/zh active Pending
- 2014-03-19 KR KR1020157027301A patent/KR101800604B1/ko active IP Right Grant
- 2014-04-03 JP JP2016506612A patent/JP6149152B2/ja active Active
- 2014-04-03 EP EP14720878.9A patent/EP2982141B1/en active Active
- 2014-04-03 EP EP18160235.0A patent/EP3413592B1/en active Active
- 2014-04-03 CN CN201710942931.7A patent/CN107731239B/zh active Active
- 2014-04-03 US US14/781,544 patent/US9881622B2/en active Active
- 2014-04-03 CN CN202210302370.5A patent/CN114708873A/zh active Pending
- 2014-04-03 JP JP2016506613A patent/JP6212625B2/ja active Active
- 2014-04-03 EP EP14723616.0A patent/EP2982142B1/en active Active
- 2014-04-03 EP EP21174025.3A patent/EP3930351A1/en active Pending
- 2014-04-03 CN CN202210300855.0A patent/CN114613373A/zh active Pending
- 2014-04-03 WO PCT/US2014/032808 patent/WO2014165665A1/en active Application Filing
- 2014-04-03 WO PCT/US2014/032813 patent/WO2014165668A1/en active Application Filing
- 2014-04-03 CN CN201480020223.2A patent/CN105103571B/zh active Active
- 2014-04-03 US US14/781,562 patent/US9805727B2/en active Active
- 2014-04-03 CN CN201480019912.1A patent/CN105075295B/zh active Active
- 2014-04-03 CN CN202210302375.8A patent/CN114613374A/zh active Pending
-
2017
- 2017-10-24 US US15/792,000 patent/US10276172B2/en active Active
-
2018
- 2018-01-29 US US15/882,589 patent/US10388291B2/en active Active
- 2018-05-24 US US15/989,073 patent/US10515644B2/en active Active
- 2018-07-13 HK HK18109085.7A patent/HK1249655A1/zh unknown
- 2018-10-12 HK HK18113091.1A patent/HK1253941A1/zh unknown
-
2019
- 2019-04-22 US US16/391,038 patent/US10553225B2/en active Active
- 2019-07-15 US US16/512,061 patent/US10748547B2/en active Active
- 2019-12-17 US US16/718,053 patent/US11081118B2/en active Active
- 2019-12-18 US US16/719,648 patent/US10832690B2/en active Active
-
2020
- 2020-08-18 US US16/996,367 patent/US11568881B2/en active Active
- 2020-11-05 US US17/090,309 patent/US11270713B2/en active Active
-
2021
- 2021-08-02 US US17/392,146 patent/US11727945B2/en active Active
-
2022
- 2022-02-24 US US17/679,693 patent/US11769514B2/en active Active
-
2023
- 2023-01-25 US US18/159,595 patent/US11948586B2/en active Active
- 2023-07-03 US US18/346,464 patent/US20230419973A1/en active Pending
- 2023-09-19 US US18/470,165 patent/US20240079015A1/en active Pending
-
2024
- 2024-03-01 US US18/592,965 patent/US20240282322A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011528200A (ja) * | 2008-07-17 | 2011-11-10 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | オブジェクトベースのメタデータを用いてオーディオ出力信号を生成するための装置および方法 |
WO2013006338A2 (en) * | 2011-07-01 | 2013-01-10 | Dolby Laboratories Licensing Corporation | System and method for adaptive audio signal generation, coding and rendering |
JP2014522155A (ja) * | 2011-07-01 | 2014-08-28 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 適応的オーディオ信号生成、コーディング、及びレンダリングのためのシステムと方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017509932A (ja) * | 2014-03-25 | 2017-04-06 | アップル インコーポレイテッド | ダッキング制御のためのメタデータ |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11769514B2 (en) | Methods and systems for rendering object based audio |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170310 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170915 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6212625 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |